CN113465287A - 一种智能冰箱及光照强度调整方法 - Google Patents

Abstract

本申请公开了一种智能冰箱及光照强度调整方法。本申请中，所述冰箱包括：箱体、制冷部，所述箱体上安装有门体；所述箱体设置有摄像头模组，其在所述门体被打开时采集用户向智能冰箱存取的食材的图像；所述摄像头模组连接于控制器，所述控制器被配置为：获取所述摄像头模组采集的食材图像；检测所述食材图像的亮度以及获取环境亮度；根据所述图像的亮度确定对应的图像亮度等级，根据所述环境亮度确定对应的环境亮度等级；根据所述图像亮度等级以及所述环境亮度等级，确定对应的亮度调整方式；根据所述亮度调整方式，调整所述图像的亮度以及所述智能冰箱的照明装置的亮度。

Description

一种智能冰箱及光照强度调整方法

技术领域

本申请涉及智能家居技术领域，特别涉及一种智能冰箱及光照强度调整方法。

背景技术

食材精准管理是目前智能冰箱的研究重点，实现该功能首先需要完成食材的录入。食材录入可以有多种方式，例如手动录入、扫码识别录入、图像识别录入、电子标签(RFID)录入等方式，图像识别录入食材方法与其他食材录入方法相比，无需用户操作完成，便捷性强。因此，基于图像食材识别的方法是目前的研究重点，但是图像识别由于受光照影响，当环境光线较暗或较强时，食材图像模糊不清，严重影响食材识别的准确度。

因此，如何改善场景亮度的影响提高图像质量，是智能冰箱领域需要解决的问题。

发明内容

本申请示例性的实施方式中提供一种智能冰箱及光照强度调整方法，以调整食材图像的亮度，从而提高识别存取食材的准确性。

根据示例性的实施方式中的一方面，提供一种智能冰箱，所述冰箱包括：箱体、制冷部，所述箱体上安装有门体；

所述箱体设置有摄像头模组，其在所述门体被打开时采集用户向智能冰箱存取的食材的图像；

所述摄像头模组连接于控制器，所述控制器被配置为：

获取所述摄像头模组采集的食材图像；

检测所述食材图像的亮度以及获取环境亮度；

根据所述图像的亮度确定对应的图像亮度等级，根据所述环境亮度确定对应的环境亮度等级；

根据所述图像亮度等级以及所述环境亮度等级，确定对应的亮度调整方式；

根据所述亮度调整方式，调整所述图像的亮度以及所述智能冰箱的照明装置的亮度。

本申请的一些实施例中，所述控制器被进一步配置为：

获取被存取的食材在所述智能冰箱中的存取区域；

获取与所述图像亮度等级、所述环境亮度等级以及所述存取区域对应的亮度调整方式。

本申请的一些实施例中，所述控制器被进一步配置为：

若所述图像亮度等级大于设定阈值且所述环境亮度等级大于设定阈值，且所述存取区域为冷藏区，则调低所述智能冰箱的外置补光装置的亮度和/或内置照明装置的亮度，并调低所述食材图像的亮度；

若所述图像亮度等级大于设定阈值且所述环境亮度等级大于设定阈值，且所述存取区域为冷冻区，则调低所述智能冰箱的外置补光装置的亮度，并调低所述食材图像的亮度。

本申请的一些实施例中，所述控制器被进一步配置为：

若所述图像亮度等级低于设定阈值且所述环境亮度等级低于设定阈值，且所述存取区域为冷藏区，则调高所述智能冰箱的外置补光装置的亮度和/或内置照明装置的亮度，并调高所述食材图像的亮度；

若所述图像亮度等级低于设定阈值且所述环境亮度等级低于设定阈值，且所述存取区域为冷冻区，则调高所述智能冰箱的外置补光装置的亮度，并调高所述食材图像的亮度。

本申请的一些实施例中，所述控制器被进一步配置为：

调整所述智能冰箱的照明装置的亮度时：

确定所述智能冰箱的内置照明装置的目标亮度以及外置补光装置的目标亮度，将所述智能冰箱的内置照明装置的亮度调整到对应的目标亮度，将所述智能冰箱的外置照明装置的亮度调整到对应的目标亮度；或者，

按照设定步长调整所述智能冰箱的内置照明装置的亮度以及外置补光装置的亮度后，将调整后的内置照明装置的亮度以及外置补光装置的亮度按设定权重相加，得到环境亮度并采集当前环境亮度下的食材图像，根据当前采集的食材图像的亮度所对应的亮度等级判断是否大于设定阈值，若判定为否，则按照设定步长继续调整所述智能冰箱的内置照明装置的亮度和外置补光装置的亮度，直至在调整后的环境亮度下采集的食材图像的亮度等级大于设定阈值为止。

本申请的一些实施例中，所述控制器被进一步配置为：

获取所述智能冰箱的外置亮度传感器检测到的亮度，并获取所述智能冰箱的内置照明装置的亮度；

根据设定的权重将所述外置亮度传感器检测的亮度以及所述内置照明装置的亮度相加，得到环境亮度。

本申请的一些实施例中，所述控制器被进一步配置为：

若所述食材的存取区域为设定位置的抽屉，则根据所述环境亮度查询亮度映射表，得到对应的抽屉内部亮度；其中，所述亮度映射表包括环境亮度与抽屉内部亮度之间的对应关系信息；

根据所述环境亮度确定对应的环境亮度等级时：

根据所述抽屉内部亮度确定环境亮度等级。

根据示例性的实施方式中的一方面，提供一种光照强度调整方法，应用于智能冰箱，包括：

获取所述摄像头模组采集的食材图像；

检测所述食材图像的亮度以及获取环境亮度；

根据所述图像的亮度确定对应的图像亮度等级，根据所述环境亮度确定对应的环境亮度等级；

根据所述图像亮度等级以及所述环境亮度等级，确定对应的亮度调整方式；

根据所述亮度调整方式，调整所述图像的亮度以及所述智能冰箱的照明装置的亮度。

本申请的一些实施例中，所述方法还包括：

获取被存取的食材在所述智能冰箱中的存取区域；

获取与所述图像亮度等级、所述环境亮度等级以及所述存取区域对应的亮度调整方式。

本申请的一些实施例中，调整所述智能冰箱的照明装置的亮度，包括：

若所述图像亮度等级大于设定阈值且所述环境亮度等级大于设定阈值，且所述存取区域为冷藏区，则调低所述智能冰箱的外置补光装置的亮度和/或内置照明装置的亮度，并调低所述食材图像的亮度；

若所述图像亮度等级大于设定阈值且所述环境亮度等级大于设定阈值，且所述存取区域为冷冻区，则调低所述智能冰箱的外置补光装置的亮度，并调低所述食材图像的亮度。

本申请的一些实施例中，调整所述智能冰箱的照明装置的亮度，包括：

若所述图像亮度等级低于设定阈值且所述环境亮度等级低于设定阈值，且所述存取区域为冷藏区，则调高所述智能冰箱的外置补光装置的亮度和/或内置照明装置的亮度，并调高所述食材图像的亮度；

若所述图像亮度等级低于设定阈值且所述环境亮度等级低于设定阈值，且所述存取区域为冷冻区，则调高所述智能冰箱的外置补光装置的亮度，并调高所述食材图像的亮度。

本申请的一些实施例中，调整所述智能冰箱的照明装置的亮度，包括：

确定所述智能冰箱的内置照明装置的目标亮度以及外置补光装置的目标亮度，将所述智能冰箱的内置照明装置的亮度调整到对应的目标亮度，将所述智能冰箱的外置照明装置的亮度调整到对应的目标亮度；或者，

按照设定步长调整所述智能冰箱的内置照明装置的亮度以及外置补光装置的亮度后，将调整后的内置照明装置的亮度以及外置补光装置的亮度按设定权重相加，得到环境亮度并采集当前环境亮度下的食材图像，根据当前采集的食材图像的亮度所对应的亮度等级判断是否大于设定阈值，若判定为否，则按照设定步长继续调整所述智能冰箱的内置照明装置的亮度和外置补光装置的亮度，直至在调整后的环境亮度下采集的食材图像的亮度等级大于设定阈值为止。

本申请的一些实施例中，获取环境亮度，包括：

获取所述智能冰箱的外置亮度传感器检测到的亮度，并获取所述智能冰箱的内置照明装置的亮度；

根据设定的权重将所述外置亮度传感器检测的亮度以及所述内置照明装置的亮度相加，得到环境亮度。

本申请的一些实施例中，若所述食材的存取区域为设定位置的抽屉，则根据所述环境亮度查询亮度映射表，得到对应的抽屉内部亮度；其中，所述亮度映射表包括环境亮度与抽屉内部亮度之间的对应关系信息；

根据所述环境亮度确定对应的环境亮度等级，包括：

根据所述抽屉内部亮度确定环境亮度等级。

本申请的上述实施例中，根据检测到的摄像头模组采集的食材图像的亮度确定对应的图像亮度等级，根据亮度传感器检测的环境亮度确定对应的环境亮度等级，根据图像亮度等级以及环境亮度等级，调整图像的亮度，可以提高食材图像的清晰度，从而提高识别存取食材的准确性，通过调整智能冰箱的照明装置的亮度，可以使得在该环境下采集的食材图像满足亮度要求，进而可以提高识别存取食材的准确性。

在符合本领域常识的基础上，上述各调整方式，可任意组合，即得本申请各较佳实施例。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1a示例性示出了本申请实施例中的智能冰箱关闭状态的示意图；

图1b示例性示出了本申请实施例中的智能冰箱打开状态的示意图；

图2示例性示出了本申请实施例中冰箱前侧区域的示意图；

图3示例性示出了本申请实施例中智能冰箱的控制器的功能结构示意图；

图4示例性示出了本申请实施例提供的光照调整方法流程图；

图5示例性示出了本申请实施例中判断用户存取食材动作的示意图。

具体实施方式

下面将结合附图对本申请实施例中的技术方案进行清除、详尽地描述。其中，在本申请实施例的描述中，除非另有说明，″/″表示或的意思，例如，A/B可以表示A或B；文本中的″和/或″仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本申请实施例的描述中，″多个”是指两个或多于两个。

以下，术语″第一″、″第二″仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐合指明所指示的技术特征的数量。由此，限定有″第一″、″第二”的特征可以明示或者隐合地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，″多个″的含义是两个或两个以上。

冰箱中食材信息的智能化管理已成为当前冰箱发展的趋势之一。而基于图像识别是食材录入的研究重点。图像食材识别常见的实现过程为：在用户存取食材过程中，智能冰箱的摄像头采集用户存取食材过程的图像，识别图像中被存取的食材。智能冰箱的摄像头通常在冰箱外部箱体的顶部位置或者冰箱冷藏区顶部。

食材存取过程中，如果环境亮度较亮或者较暗，将导致采集的食材图像模糊不清，识别存取食材的准确率较低，进而导致智能冰箱对食材信息的管理不准确。

基于此，本申请实施例提出了一种光照强度调整方法，本申请实施例中，通过检测摄像头模组拍摄的食材图像的亮度，结合当前环境的光照强度，当光线较暗导致食材在图像中无法识别时，调整智能冰箱的内部照明装置和/或外部照明装置进行补光，并调亮食材图像的亮度，从而提高食材图像的清晰度；当光线较亮导致食材在图像中无法识别时，调暗智能冰箱的内部照明装置和/或外部照明装置，同时调低食材图像的亮度，从而提高食材图像的清晰度。针对亮暗两种场景采取不同的调整措施以提高食材图像的清晰度，从而提高识别存取食材的准确性，进而实现智能冰箱的对食材管理的智能化。

本申请实施例提供的光线调整方法，既适用于冰箱的冷藏区，也适用于冰箱的冷冻区，也适用于冰箱的抽屉区域。

下面结合附图对本申请实施例进行详细描述。

图1a和图1b示例性示出了本申请实施例提供的一种智能冰箱的结构。

如图1a所示，智能冰箱包括箱体10、制冷部(未在图中示出)以及其他附件(比如箱体内可设置内置照明装置、温度计等，未在图中示出)。制冷系统中主要组成有压缩机、冷凝器、蒸发器和毛细管节流器等部件，自成一个封闭的循环系统。其中，蒸发器可安装在智能冰箱内部的上方，其他部件安装在智能冰箱的背面。

箱体10安装有门体20，门体20上可进一步设置有显示屏40，显示屏40与控制器耦接(如通过电路连接)。

在箱体10上还可设置摄像头模组30，该摄像头模组可采集门体20前侧区域内的图像。其中，以冰箱门所在平面为第一平面，箱体10前侧区域至少包括已第一平面为基准，向冰箱外方向扩展一定距离的区域，摄像头模组可采集该区域的图像，即能够拍摄到用户打开门体20后用户进行食材存取过程中的手部动作图像以及所存取的食材的图像。

图2示例性示出了箱体10前侧区域的示意。如图所示，智能冰箱门体关闭状态下所在的平面称为平面H2，距离平面H2为d的平面称为平面H1，平面H1与平面H2平行，则平面H1和平面H2之间的空间为箱体10前侧区域。摄像头模组至少要能够采集该区域的图像。其中，d的取值可根据人体手臂长度参数以及图像识别精度等因素设置，比如可设置为25cm～35cm之间。

在一些实施例中，摄像头模组30可设置在箱体10的上部靠近门体20的位置，以便能够拍摄箱体10前侧区域内的图像。

在一些实施例中，摄像头模组30可设置在固定部件上，该固定部件可使得摄像头模组的镜头探出门体20所在的平面一定距离，以便能够更好地拍摄箱体10前侧区域内的图像。当用户打开门体时可触发该摄像头模组开启，当用户关闭门体时可触发该摄像头模组关闭。本申请实施例对该固定部件的形状、连接方式以及材料不做限制。

在另一些实施例中，摄像头模组30可设置在活动部件上，该活动部件可在门体20被打开时将摄像头模组30弹出，使得摄像头模组30探出门体20所在的平面一定距离，当门体20被关闭时，该活动部件将摄像头模组30收回。该活动部件可采用机械连接方式或其他方式与门体20进行联动，使得门体20在被打开和关闭时触发该活动部件的控制摄像头模组。在一些实施例中，该活动部件还可包括摄像头保护盖，在将摄像头模组弹出后打开该保护盖并启动摄像头模组，在将摄像头模组收回后关闭该保护盖并关闭摄像头模组，从而一方面对摄像头模组起到保护作用，一方面节省电源开销。

如图1b所示智能冰箱的箱体10中可包括多个隔层(如图中的隔层50a至隔层50e)，以方便用户对不同食材进行分类存储。本申请实施例中，箱体10的冷藏区内壁设置有内置照明装置(未在图中示出)，在食材存取过程中门体20被打开时，控制器控制内置照明装置点亮，为冷藏区提供光照；在食材存取过程中门体20被关闭时，控制器控制内置照明装置关闭。在一些实施例中，内置照明装置也可设置在冷冻区的抽屉中，当内置照明装置所在的抽屉被打开时，该照明装置被点亮。

在一些实施例中，内置照明装置可与内置亮度传感器集成部署，也可二者单独部署，内置亮度传感器用于检测内置照明装置的亮度。根据采集的食材图像的亮度，控制器向内置照明装置发送控制指令，内置照明装置根据控制指令调整亮度。在另一些实施例中，控制器也可通过调整内置照明装置的电路电阻实现对内置照明装置亮度的调整。

智能冰箱的箱体10的上部靠近门体20的位置还可设置外置补光装置，外置补光装置与控制器藕接，以便在用户存取食材时调整箱体10前侧区域内的环境亮度，当检测到采集的食材图像较亮时，控制器向外置补光装置发送第一控制指令，根据第一控制指令，外置补光装置被关闭或调低亮度；当检测到采集的食材图像较暗时，控制器向外置补光装置发送第二控制指令，根据第二控制指令，外置补光装置被开启或调高亮度。外置补光装置亮度的调整使得当前环境下采集的食材图像更加清晰。

在一些实施例中，外置补光装置可设置在固定部件，该固定部件可使得外置补光装置探出门体20所在的平面一定距离，以便能够为箱体10前侧区域提供光照，使得采集的食材图像更加清晰。本申请实施例对该固定部件的形状、连接方式以及材料不做限制。

在另一些实施例中，外置补光装置可设置在冷藏区与冷冻区的分界处，从而为冷藏区和/或冷冻区提供光照。若冷藏区的门体被打开，则对冷藏区进行补光；若冷冻区的门体被打开，则对冷冻区进行补光，从而使得摄像头模组30在箱体10前侧区域内采集的图像更加清晰。

在一些实施例中，箱体10上还可设置外置亮度传感器(未在图中示出)，外置亮度传感器与控制器藕接，外置亮度传感器可与外置补光装置集成部署，也可在外置补光装置设定区域内独立部署，用于检测采集图像的环境亮度。该外置亮度传感器的位置可以保证能够检测到智能冰箱前侧区域(如图2所示的平面H1和平面H2之间的区域)的亮度，也即能够检测到摄像头模组拍摄区域的亮度，比如，可设置在箱体10的顶部靠近门体20的位置，也可将外置亮度传感器安装在箱体10冷藏区和冷冻区的分界处。外置亮度传感器可在冰箱门体打开时被触发进行亮度检测。根据亮度检测结果，控制器向外置补光装置发送控制指令，外置补光装置根据控制指令调整亮度。

在另一些实施例中，也可利用摄像头模组30的内部测光系统检测环境亮度。预先设定摄像头模组30的曝光系数与环境亮度间的对应关系，使得控制器根据食材图像的曝光系数得到对应的环境亮度。无论采用外置亮度传感器检测环境亮度或是利用摄像头模组30的内部测光系统检测环境亮度，均不影响本申请的实质内容。

需要说明的是，图1a和图1b所示的智能冰箱的结构仅为一种示例，本申请实施例对智能冰箱的大小、以及对门体的数量(比如可以是单个门体，也可以是多个门体)等不做限制。

本申请实施例提供的智能冰箱中包括控制器(未在图1a和图1b中示出)，该控制器与亮度传感器和摄像头模组耦接(比如通过电路连接)，该控制器可在当智能冰箱的门体被打开时，获取摄像头模组采集的食材图像并检测其亮度；获取智能冰箱箱体前侧的环境亮度；如果食材图像亮度达不到要求，则对食材图像的亮度以及环境亮度进行调整，以提高食材图像的清晰度，从而提高存取食材的识别率，并可以使得在同等条件下后续进行食材存取时能够保证在该环境亮度下采集到亮度合适的食材图像。

基于上述控制器所实现的功能，图3示例性示出了该控制器的功能结构。

图3示例性示出了本申请实施例中的智能冰箱控制器的功能结构示意图。如图所示，该控制器300可包括以下功能模块：图像获取模块301、亮度等级确定模块302、亮度调整模块303。

在智能冰箱的门体被打开，用户进行食材存取过程中，图像获取模块301获取摄像头模组采集的用户手部存取食材的图像。

亮度等级确定模块302确定采集的图像亮度对应的亮度等级以及外置亮度传感器检测的环境亮度的亮度等级，并将确定的亮度等级发送至亮度调整模块303。

亮度调整模块303根据亮度等级确定模块302传递来的亮度等级确定是否需要进行亮度调整，若确定需要进行亮度调整，则根据图像亮度等级以及环境亮度等级确定图像以及照明装置的调整方式，并根据该调整方式调整图像的亮度以及智能冰箱的照明装置的亮度，使得食材图像更加清晰，从而准确识别用户存取的食材，实现智能冰箱对食材的准确管理。

其中，被调整的照明装置可包括内置照明装置和/或外置补光装置。

图4示例性示出了本申请实施例提供的光照强度调整方法的流程示意图。

如图所示，该流程可包括以下步骤：

S401：获取摄像头模组采集的食材图像。

该步骤中，当智能冰箱的门体被打开，用户对食材进行存取时，设置在智能冰箱的箱体上的摄像头模组被启动，该摄像头模组采集用户存取的食材图像，并将采集到的食材图像传递给控制器。

为了减少食材图像的处理开销，在一些实施例中，可先进行手部的检测，当检测到手部时，进行图像抓取。其中，若检测到手部，则表明用户很可能正在进行食材存取动作。

以图2所示的冰箱前侧区域为例，在该区域内对手部动作进行检测，如图5所示，在用户打开冰箱门体后进行食材存取动作的过程中，通过对摄像头模组采集的一系列图像进行识别，如果识别出用户的手部先穿越平面H1，再穿越平面H2，则判断用户进行了一次存动作(如图5中所示的按照时间顺序手部的运动)，如果识别出用户的手部先穿越平面H2，再穿越平面H1，则判断用户进行了一次取动作。用户每次操作时，无论是存食材还是取食材，手部都要先进行存动作再进行取动作。

控制器根据摄像头模组采集的食材图像，识别出用户的手部，则抓取图像。进一步地，当检测到食材时，可根据用户此时的动作，决策出用户本次操作行为，比如，若在存动作时检测到食材，则判定用户当前为存放食材，若在取动作时检测到食材，则判定用户当前为拿取食材。

在一些实施例中，对于手部存取动作的检测，当检测到手部时，抓取图像。可通过成熟的深度学习方法进行手部存取动作的检测，以得到存取食材的图像。图像检测所使用的神经网络可以是但不限于(深度)神经网络、卷积神经网络、深度置信网络、深度堆栈神经网络、深度融合网络、深度递归神经网络、深度循环神经网络、深度贝叶斯神经网络、深度生成网络、深度强化学习等网络结构的一种或其衍生模型。无论采用哪种深度神经网络，都不影响本申请实施例的实质。

S402：检测食材图像的亮度以及获取环境亮度。

在一些实施例中，该步骤中，可通过以下方式检测食材图像的亮度：将食材图像转换为灰度图像，根据灰度图像中像素点的灰度均值或灰度均方值，确定食材图像的亮度。

在一些实施例中，可通过以下方式获取环境亮度：在获取到食材图像时，读取外置亮度传感器检测到的环境亮度。在另一些实施例中，可获取食材图像的曝光系数，根据曝光系数与环境亮度之间的对应关系确定环境亮度。

考虑到智能冰箱内置照明装置的亮度对食材图像的亮度也会产生一定影响，因此在本申请的一些实施例中，控制器获取到外置亮度传感器采集到的亮度后，还可获取智能冰箱的内置照明装置的亮度，并根据设定的权重将二者相加，将相加结果确定为环境亮度。其中，内置照明装置可以与控制器耦接，以使得控制器能够根据内置照明装置的亮度调节电路来检测内置照明装置的亮度。当然也可通过内置的亮度传感器来检测内置照明装置的亮度。

其中，权重与外置亮度传感器设置的位置有关。比如，外置亮度传感器设置于门体上部时，外置亮度传感器采集的亮度对环境亮度的影响较大，其对应的权重较大。

举例来说，外置亮度传感器采集的亮度为L1，其对应的权重为m，检测到的内置照明装置的亮度为L2，其对应的权重为n，外置亮度传感器采集的亮度对环境亮度影响较大，m＞n，相加后的环境亮度为L＝m＊L1+n＊L2。

S403：根据图像的亮度确定对应的图像亮度等级，根据环境亮度确定对应的环境亮度等级。

该步骤中，根据S402得到的食材图像的亮度，查询图像亮度等级映射表，确定食材图像对应的亮度等级，根据S402得到的环境亮度，查询环境亮度等级映射表，确定环境亮度对应的亮度等级。

在本申请的实施例中，图像的亮度可用灰度图像中所有像素点的灰度的均值表示，根据灰度均值生成图像亮度等级映射表，图像亮度等级映射表中记录了图像的亮暗程度(亮度等级)与灰度均值的对应关系。表1示例性示出了本申请实施例提供的图像亮度等级映射表。

表1：图像的亮暗程度与灰度均值的对应关系

图像亮度等级	暗	较暗	适中	较亮	亮
						灰度均值	G≤i1	i1＜G≤i2	i2＜G≤i3	i3＜G≤i4	i4≤G

如上表1中，G代表食材图像转换为灰度图像后所有像素点的灰度均值，i1、i2、i3、i4代表不同的灰度阈值。

值得说明的是，表1将图像亮度等级分为5个等级仅是一种示例，也可将图像亮度等级分为3个等级，比如亮、适中、暗。

在本申请的实施例中，可通过预先测试适宜的亮度范围并划分亮度等级生成环境亮度等级映射表，环境亮度等级映射表记录了环境亮度等级与环境亮度值的对应关系。以外置亮度传感器检测的环境亮度值生成环境亮度等级映射表为例，表2示例性示出了本申请实施例提供的环境的亮暗程度(亮度等级)与环境亮度值的对应关系。

表2：环境的亮暗程度与环境亮度值的对应关系

环境亮度等级	暗	较暗	适中	较亮	亮
						环境亮度值	L≤a1	a1＜L≤a2	a2＜L≤a3	a3＜L≤a4	a4≤L

如上表2中，L代表环境亮度值，a1、a2、a3、a4代表不同的环境亮度阈值。

值得说明的是，表2将环境亮度等级分为5个等级仅是一种示例，也可将环境亮度等级分为3个等级，比如亮、适中、暗。

S404：根据图像亮度等级以及环境亮度等级，确定对应的亮度调整方式。

该步骤中，可首先根据图像亮度等级确定是否需要进行亮度调整，若确定需要进行亮度调整，则根据图像亮度等级以及环境亮度等级确定图像以及照明装置的调整方式；否则，无需调整图像以及照明装置的亮度。

具体地，若图像亮度等级表明图像亮度低于第一阈值，则确定需要调高食材图像的亮度以及环境亮度，若图像亮度等级表明图像亮度高于第二阈值，则确定需要调低食材图像的亮度以及环境亮度。其中，第一阈值小于第二阈值。

其中，可以通过以下方式对图像亮度进行调整：确定图像亮度的目标值范围，调整图像中像素点的灰度值，并可进一步根据图像中像素点的灰度分布直方图调整对比度，使得所有像素点的灰度均值或灰度均方值在所述目标值范围内。其中，图像亮度的目标值范围可根据表明图像亮度合适的亮度等级来确定，即，将亮度合适的等级所对应的亮度值范围确定为目标值范围。

可以通过以下方式对环境亮度进行调整：

方式1：确定环境亮度的目标值范围，调整内置照明装置的亮度。其中，环境亮度的目标值范围可根据表明环境亮度合适的亮度等级来确定，即，将亮度合适的等级所对应的亮度值范围确定为目标值范围。

方式2：在一些实施例中，若智能冰箱设置有外置补光装置，则在调整环境亮度时，可按照设定权重调整内置照明装置和外置补光装置的亮度。其中，权重与影响环境亮度的程度有关，若导致环境亮度亮或暗的关键因素外置补光装置的亮度，则其对应的权重高于内置照明装置的权重。

具体地，若环境亮度等级表明环境亮度低于第三阈值，则按设定权重调高内置照明装置的亮度和外置补光装置的亮度；若环境亮度等级表明环境亮度高于第四阈值，则设定权重调低内置照明装置的亮度和外置补光装置的亮度。其中，第三阈值小于第四阈值。

以表1和表2所示的亮度等级为例，若图像亮度等级为较亮(i3＜G≤i4)或亮(i4≤G)，则调低环境亮度使环境亮度等级为适中(a2＜L≤a3)，将图像中像素点的灰度均值调低，并根据图像中像素点的灰度分布直方图调高图像的对比度，使得调整后的图像亮度等级为适中(i2＜G≤i3)。若图像亮度等级为较暗(i1＜G≤i2)或暗(G≤i1)，则调高环境亮度使环境亮度等级为适中(a2＜L≤a3)，将图像中像素点的灰度均值调高，并根据图像中像素点的灰度分布直方图调低图像的对比度，使得调整后的图像亮度等级为适中(i2＜G≤i3)。

S405：根据亮度调整方式，调整图像的亮度以及智能冰箱的照明装置的亮度。

该步骤中，按照S404的调整方式调整图像的亮度以及照明装置的亮度。

在一些实施例中，调整图像中像素点的灰度值时，可采用线性方式调整灰度值(即每次调整的灰度值步长相同)，也可采用非线性方式调整灰度值(即每次调整的灰度值步长不同)。调整图像的对比度时，可采用直方图(如灰度直方图)均衡化方式调整对比度。值得说明的是，采用何种直方图以及采用什么方式调整图像的对比度不影响本申请的实质内容。

在一些实施例中，调整环境亮度时，可直接将内置照明装置和/或外置补光装置的亮度调整到目标亮度。举例来说，可首先确定智能冰箱的内置照明装置的目标亮度以及外置补光装置的目标亮度，将智能冰箱的内置照明装置的亮度调整到对应的目标亮度，将智能冰箱的外置照明装置的亮度调整到对应的目标亮度。其中，目标亮度值可根据表明环境亮度合适的亮度等级来确定。

在另一些实施例中，可以按设定的步长调整内置照明装置和/或外置补光装置的亮度，直到调整到合适的亮度。举例来说，按照设定步长调整智能冰箱的内置照明装置的亮度以及外置补光装置的亮度，按设定的权重将调整后的内置照明装置的亮度以及外置补光装置的亮度相加，得到环境亮度，在当前环境亮度下采集食材图像并检测食材图像的亮度，根据当前环境亮度下采集的食材图像的亮度是否在设定阈值区间，若不在，则再次按照设定步长调整内置照明装置的亮度以及外置补光装置的亮度，并调整图像的亮度，重复上述步骤，直至在调整后的环境亮度下采集的食材图像的亮度在设定阈值区间内为止。

以表1和表2所示的亮度等级为例，若判断当前环境亮度下食材图像的亮度大于i3(图像亮度等级为较亮或亮)，则按照设定步长调低智能冰箱的内置照明装置的亮度以及外置补光装置的亮度，调低图像中像素点的灰度值，并可进一步根据图像中像素点的灰度分布直方图调高对比度，直至在调整后的环境亮度下采集的食材图像的亮度在(i2，i3]区间内(或者直至在调整后的环境亮度下采集的食材图像的亮度等级为适中(a2＜L≤a3))；若判断当前环境亮度下食材图像的亮度小于或等于i2(图像亮度等级为较暗或暗)，则按照设定步长调高智能冰箱的内置照明装置的亮度以及外置补光装置的亮度，调高图像中像素点的灰度值，并可进一步根据图像中像素点的灰度分布直方图调低对比度，直至在调整后的环境亮度下采集的食材图像的亮度在(i2，i3]区间内(或者直至在调整后的环境亮度下采集的食材图像的亮度等级为适中(a2＜L≤a3))。

通过以上描述可以看出，根据检测到的摄像头模组采集的食材图像的亮度确定对应的图像亮度等级，根据获取的环境亮度确定对应的环境亮度等级，根据图像亮度等级调整图像中像素点的灰度值，并可进一步根据图像中像素点的灰度分布情况调整对比度，从而实现对图像的亮度调整，以及根据环境亮度等级调整智能冰箱照明装置的亮度，从而提高食材图像的清晰度，进而提高存取食材的识别率，并可以使得在同等条件下后续进行食材存取时能够保证在该环境亮度下采集到亮度合适的食材图像。将其应用在智能冰箱对食材的智能化管理时，可实现智能冰箱对食材管理的智能化。

在本申请的实施例中，若食材的存储区域为智能冰箱设定位置的抽屉，(比如冷冻区的抽屉)，由于抽屉内通常无内置照明装置，当食材存取位置为该抽屉时，抽屉内的环境亮度可能低于亮度传感器检测到的环境亮度，因此可以建立环境亮度与抽屉内部亮度之间的映射表，从而可以基于该映射表，将检测到的环境亮度映射为对应的抽屉内部亮度，从而使得亮度调整时所依据的环境亮度更接近于真实的环境亮度，从而提高环境亮度调整的准确性，进而提高了采集图像的清晰度。

不同的抽屉可能具有不同的深度，因此可针对具有不同深度的抽屉建立对应的亮度映射表。在建立亮度映射表时，可预先检测环境亮度与抽屉深浅的对应关系，根据抽屉的深度得到对应的环境亮度，进而根据得到的环境亮度。

当用户存取食材时，可获得被存取的食材所对应的存储位置，如果该存储位置为设定抽屉，则可根据检测到的环境亮度，查询亮度映射表，得到对应的抽屉内部亮度，以此作为环境亮度进行亮度调整判决以及确定调整方式。其中，控制器可通过多种方式获取被存取的食材所对应的存取位置，比如，智能冰箱的每个抽屉设置有重量传感器，用户存取食材时，如果某个抽屉中食材重量变化，则该抽屉为当前存取的食材所对应的存储位置。

智能冰箱中不同区域的结构不同可影响亮度调整的方式，因此在本申请的一些实施例中，在进行亮度调整时，除了依据图像亮度以及环境亮度以外，还可以依据被存取的食材的存取区域。比如，当被存取的食材对应的存储区域为冷藏区时，由于冷藏区通常为开放式隔层，因此在调整环境亮度时可不必开启外置补光装置，当被存取的食材对应的存储区域为冷冻区时，由于冷冻区通常为封闭式抽屉，其内部亮度较暗，因此在调整环境亮度时可开启外置补光装置。

根据上述一个实施例或多个实施例的组合，下面以智能冰箱中内置照明装置设置在冷藏区，且智能冰箱设置有外置补光装置为例，详细描述亮度调整方式。

若检测到食材图像的亮度大于设定阈值(如表1中i3＜G≤i4或i4≤G，对应的图像亮度等级为较亮或亮)，且环境亮度大于设定阈值(如表2中a3＜L≤a4或a4≤L，对应的图像亮度等级为较亮或亮)，且当前食材的存取区域为冷藏区，则可调低智能冰箱的外置补光装置的亮度和/或内置照明装置的亮度，使得调整后的环境亮度在阈值区间(如表2中a2＜L≤a3，对应的环境亮度等级为适中)，并调低食材图像的亮度，使得调整后采集的食材图像的亮度在设定阈值区间内(如表1中i2＜G≤i3，对应的图像亮度等级为适中)。

其中，可根据环境亮度等级整智能冰箱的外置补光装置的亮度和/或内置照明装置的亮度。比如，若环境亮度等级为亮，可直接将外置补光装置和/或内置照明装置关闭；若环境亮度等级为较亮，可将外置补光装置和/或内置照明装置的亮度调低。

若检测到食材图像的图像大于设定阈值(如表1中i3＜G≤i4或i4≤G，对应的图像亮度等级为较亮或亮)，且环境亮度大于设定阈值(如表2中a3＜L≤a4或a4≤L，对应的图像亮度等级为较亮或亮)，且当前食材的存取区域为冷冻区，则可调低智能冰箱的外置补光装置的亮度，使得调整后的环境亮度在设定阈值区间(如表2中a2＜L≤a3，对应的环境亮度等级为适中)，并调低所述食材图像的亮度，使得调整后采集的食材图像的图像在设定阈值区间内(如表1中i2＜G≤i3，对应的图像亮度等级为适中)。

其中，可根据环境亮度等级整智能冰箱的外置补光装置的亮度。比如，若环境亮度等级为亮，可直接将外置补光装置关闭；若环境亮度等级为较亮，可将外置补光装置的亮度调低。

若检测到食材图像的图像小于设定阈值(如表1中i1＜G≤i2或G≤i1，对应的图像亮度等级为较暗或暗)，且环境亮度小于设定阈值(如表2中a1＜L≤a2或La1，对应的环境亮度等级为较暗或暗)，且当前食材的存取区域为冷藏区，则可调高智能冰箱的外置补光装置的亮度和/或内置照明装置的亮度，并调高食材图像的亮度，使得调整后采集的食材图像的亮度在设定阈值区间(如表1中i2＜G≤i3，对应的图像亮度等级为适中)。

其中，可根据环境亮度等级整智能冰箱的外置补光装置的亮度和/或内置照明装置的亮度。比如，若环境亮度等级为暗，可直接将外置补光装置和/或内置照明装置打开；若环境亮度等级为较暗，可将外置补光装置和/或内置照明装置的亮度调高。

上述实施例中，若外置补光装置为打开状态，则可按照设定权重调整外置补光装置和内置照明装置的亮度。比如，内置照明装置的亮度为L2，其对应的权重为n，外置补光装置的亮度为L3，其对应的权重为p，按设定权重相加后得到的环境亮度为L＝n＊L2+p＊L3(a2＜L≤a3)。

若检测到食材图像的图像小于设定阈值(如表1中i1＜G≤i2或G≤i1，对应的图像亮度等级为较暗或暗)，且环境亮度小于设定阈值(如表2中a1＜L≤a2或La1，对应的环境亮度等级为较暗或暗)，且当前食材的存取区域为冷冻区，则可调高智能冰箱的外置补光装置的亮度，并调高食材图像的亮度。

其中，可根据环境亮度等级整智能冰箱的外置补光装置的亮度。比如，若环境亮度等级为暗，可直接将外置补光装置打开；若环境亮度等级为较暗，可将外置补光装置的亮度调高。

在一些实施例中，针对智能冰箱中抽屉无内置照明装置的情况，其环境亮度等级的调整与上述实施例中冷冻区的调整方式一致，在此不再重复。

通过以上描述可以看出，根据智能冰箱内部区域是否含有内置照明装置采用不同的调整方式，使得得到的环境亮度等级更加精确，从而提高了采集的食材图像的质量，进而能够准确识别存取的食材种类，实现智能冰箱对食材管理的智能化。

值得说明的是，本申请的以上实施例中，针对不同场景的亮度调整方式，可以单独实施，也可组合实施。

在本申请的实施例中，环境亮度的变化导致采集的图像亮度的变化，例如，用户存取食材过程中打开或关闭外置补光装置，拍摄的图像的亮度可能变亮或变暗，控制器可实时检测图像的亮度变化情况，动态调整外置补光装置的亮度，并通过图像处理方式调整图像亮度，使获取的食材图像的图像亮度等级为适中(i2＜G≤i3)。

将本申请实施例提供的光照强度调整方法应用于智能冰箱，通过调整亮度提高食材图像的清晰度，从而提高识别存取食材的准确性，进而实现智能冰箱对食材管理的智能化。

具体地，用户终端上可安装智能家居管理应用程序，通过该应用程序，用户可对智能冰箱进行设置操作，或者接收智能冰箱发送的信息，或者向智能终端发送指令(比如查询指令)。其中，可预先在服务器中设置与该智能冰箱关联的用户终端信息(比如用户终端的呼叫号码)或者用户的相关信息(比如用户的标识)，以便服务器与该用户的用户终端进行通信。其中，所述用户终端包括但不限于：手机、掌上电脑、可穿戴设备等。进一步地，智能终端可与服务器连接，服务器可通过移动通信网络与用户终端进行通信，从而使得用户可通过用户终端与智能冰箱进行远程通信。

举例来说，当智能冰箱中的某类或某些类食材的存的次数大于设定阈值时，智能冰箱可向服务器发送提示信息，以使得服务器将该提示信息发送给目标用户终端，该提示信息用于提示相应种类的食材的存储量过高，可不进行食材的补充。当智能冰箱中的某类或某些类食材的取的次数大于设定阈值时，智能冰箱可向服务器发送提示信息，以使得服务器将该提示信息发送给目标用户终端，该提示信息用于提示相应种类的食材的存储量过低，需要补充该食材。用户可以随时随地通过APP查看冰箱食材情况。例如，当用户在外购买食材时，可通过手机端的应用程序查看当前智能冰箱现有食材，从而辅助用户购买食材。

本申请实施例中，用户可个性化设置食材购买提醒。用户可根据自己的需求，针对某些必需食材，设置食材购买提醒，当这些食材被取出的次数较多时，在智能冰箱显示屏显示提醒信息，并且还可以将提醒信息发送到用户的手机，以提醒用户尽快补充该食材。

本申请的上述实施例中，通过设置在智能冰箱上的摄像头模组采集智能冰箱前侧区域内的食材图像并获取食材图像的亮度等级，通过外置亮度传感器获取环境亮度等级，根据图像亮度等级以及环境亮度等级确定关照强度的调整方式，从而提高了采集的食材图像的质量，实现智能冰箱对食材管理的智能化。

根据示例性的实施方式中的再一方面，本申请实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机程序指令，当所述指令在计算机上运行时，使得所述计算机执行如上所述的处理方法。

由于本申请实施例中的智能终端和计算机存储介质可以应用于上述处理方法，因此，其所能获得的技术效果也可参考上述方法实施例，本申请的实施例在此不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

虽然以上描述了本申请的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本申请的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本申请的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本申请的保护范围。

Claims (10)

1.一种智能冰箱，其特征在于，所述冰箱包括：箱体、制冷部，所述箱体上安装有门体；

所述箱体设置有摄像头模组，其在所述门体被打开时采集用户向智能冰箱存取的食材的图像；

所述摄像头模组连接于控制器，所述控制器被配置为：

获取所述摄像头模组采集的食材图像；

检测所述食材图像的亮度以及获取环境亮度；

根据所述图像的亮度确定对应的图像亮度等级，根据所述环境亮度确定对应的环境亮度等级；

根据所述图像亮度等级以及所述环境亮度等级，确定对应的亮度调整方式；

根据所述亮度调整方式，调整所述图像的亮度以及所述智能冰箱的照明装置的亮度。

2.如权利要求1所述的智能冰箱，其特征在于，所述控制器被进一步配置为：

获取被存取的食材在所述智能冰箱中的存取区域；

获取与所述图像亮度等级、所述环境亮度等级以及所述存取区域对应的亮度调整方式。

3.如权利要求2所述的智能冰箱，其特征在于，所述控制器被进一步配置为：

若所述图像亮度等级大于设定阈值且所述环境亮度等级大于设定阈值，且所述存取区域为冷藏区，则调低所述智能冰箱的外置补光装置的亮度和/或内置照明装置的亮度，并调低所述食材图像的亮度；

若所述图像亮度等级大于设定阈值且所述环境亮度等级大于设定阈值，且所述存取区域为冷冻区，则调低所述智能冰箱的外置补光装置的亮度，并调低所述食材图像的亮度。

4.如权利要求2所述的智能冰箱，其特征在于，所述控制器被进一步配置为：

若所述图像亮度等级低于设定阈值且所述环境亮度等级低于设定阈值，且所述存取区域为冷藏区，则调高所述智能冰箱的外置补光装置的亮度和/或内置照明装置的亮度，并调高所述食材图像的亮度；

若所述图像亮度等级低于设定阈值且所述环境亮度等级低于设定阈值，且所述存取区域为冷冻区，则调高所述智能冰箱的外置补光装置的亮度，并调高所述食材图像的亮度。

5.如权利要求1所述的智能冰箱，其特征在于，所述控制器被进一步配置为：

调整所述智能冰箱的照明装置的亮度时：

确定所述智能冰箱的内置照明装置的目标亮度以及外置补光装置的目标亮度，将所述智能冰箱的内置照明装置的亮度调整到对应的目标亮度，将所述智能冰箱的外置照明装置的亮度调整到对应的目标亮度；或者，

按照设定步长调整所述智能冰箱的内置照明装置的亮度以及外置补光装置的亮度后，将调整后的内置照明装置的亮度以及外置补光装置的亮度按设定权重相加，得到环境亮度并采集当前环境亮度下的食材图像，根据当前采集的食材图像的亮度所对应的亮度等级判断是否大于设定阈值，若判定为否，则按照设定步长继续调整所述智能冰箱的内置照明装置的亮度和外置补光装置的亮度，直至在调整后的环境亮度下采集的食材图像的亮度等级大于设定阈值为止。

6.如权利要求1所述的智能冰箱，其特征在于，所述控制器被进一步配置为：

获取所述智能冰箱的外置亮度传感器检测到的亮度，并获取所述智能冰箱的内置照明装置的亮度；

根据设定的权重将所述外置亮度传感器检测的亮度以及所述内置照明装置的亮度相加，得到环境亮度。

7.如权利要求1所述的智能冰箱，其特征在于，所述控制器被进一步配置为：

若所述食材的存取区域为设定位置的抽屉，则根据所述环境亮度查询亮度映射表，得到对应的抽屉内部亮度；其中，所述亮度映射表包括环境亮度与抽屉内部亮度之间的对应关系信息；

根据所述环境亮度确定对应的环境亮度等级时：

根据所述抽屉内部亮度确定环境亮度等级。

8.一种光照强度调整方法，应用于智能冰箱，其特征在于，包括：

获取所述摄像头模组采集的食材图像；

检测所述食材图像的亮度以及获取环境亮度；

根据所述图像的亮度确定对应的图像亮度等级，根据所述环境亮度确定对应的环境亮度等级；

根据所述图像亮度等级以及所述环境亮度等级，确定对应的亮度调整方式；

根据所述亮度调整方式，调整所述图像的亮度以及所述智能冰箱的照明装置的亮度。

9.如权利要求8所述的方法，其特征在于，调整所述智能冰箱的照明装置的亮度，包括：

若所述图像亮度等级大于设定阈值且所述环境亮度等级大于设定阈值，且所述存取区域为冷藏区，则调低所述智能冰箱的外置补光装置的亮度和/或内置照明装置的亮度，并调低所述食材图像的亮度；

若所述图像亮度等级大于设定阈值且所述环境亮度等级大于设定阈值，且所述存取区域为冷冻区，则调低所述智能冰箱的外置补光装置的亮度，并调低所述食材图像的亮度。

10.如权利要求8所述的方法，其特征在于，调整所述智能冰箱的照明装置的亮度，包括：

若所述图像亮度等级低于设定阈值且所述环境亮度等级低于设定阈值，且所述存取区域为冷藏区，则调高所述智能冰箱的外置补光装置的亮度和/或内置照明装置的亮度，并调高所述食材图像的亮度；

若所述图像亮度等级低于设定阈值且所述环境亮度等级低于设定阈值，且所述存取区域为冷冻区，则调高所述智能冰箱的外置补光装置的亮度，并调高所述食材图像的亮度。

Images