CN113468359A - 一种智能冰箱及食材识别方法 - Google Patents

Abstract

本申请公开了一种智能冰箱及食材识别方法。本申请中，智能冰箱包括：箱体、制冷部，箱体上安装有门体；箱体上设置有摄像头模组，用于响应于门体的开启，采集用户存取食材的检测图像；摄像头模组连接于控制器，控制器被配置为：获取摄像头模组采集的检测图像并进行识别，得到被存取食材的种类；当确定用户为取动作后，确定被存取食材的种类是否存在于智能冰箱的当前食材存放数据库中；如果不存在，则将与被存取食材的种类相似且存在于当前食材存放数据库中的食材的种类作为被存取食材的种类进行输出；如果存在，则输出被存取食材的种类。

Description

一种智能冰箱及食材识别方法

技术领域

本申请涉及冰箱技术领域，特别涉及一种智能冰箱及食材识别方法。

背景技术

随着生活水平的日益提高，冰箱已经成为人们生活中必不可少的家用电器，用户可以将吃不完的食物放置在冰箱中保存，避免食物出现腐坏。随着生活需求的提高，人们对冰箱产品的智能化的要求程度也越来越高。

发明内容

本申请一些实施例提供了一种智能冰箱及食材识别方法，用以提高冰箱的智能化。

本申请一些实施例提供的智能冰箱，所述智能冰箱包括：箱体、制冷部，所述箱体上安装有门体；

所述箱体上设置有摄像头模组，用于响应于所述门体的开启，采集用户存取食材的检测图像；

所述摄像头模组连接于控制器，所述控制器被配置为：

获取所述摄像头模组采集的所述检测图像并进行识别，得到被存取食材的种类；

当确定用户为取动作后，确定所述被存取食材的种类是否存在于所述智能冰箱的当前食材存放数据库中；

如果不存在，则将与所述被存取食材的种类相似且存在于所述当前食材存放数据库中的食材的种类作为所述被存取食材的种类进行输出；

如果存在，则输出所述被存取食材的种类。

本申请一些实施例中，所述控制器被进一步配置为：

当确定所述被存取食材的种类不存在于所述当前食材存放数据库时：

从所述智能冰箱的食材相似度数据库中找出与所述被存取食材的种类相似度最高、且存在于所述当前食材存放数据库中的食材的种类作为所述被存取食材的种类进行输出；所述食材相似度数据库中存储有多种不同种类的食材，且针对每一种类的食材对应有多种种类相似度不同的食材。

本申请一些实施例中，所述控制器被进一步配置为：

当确定所述被存取食材的种类不存在于所述当前食材存放数据库时：

按照种类相似度由高到低的顺序依次判断所述食材相似度数据库中与所述被存取食材的种类相似的食材的种类是否存在于所述当前食材存放数据库中；

直到确定所述食材相似度数据库中与所述被存取食材的种类相似的食材的种类同样存在于所述当前食材存放数据库中则停止判断，并将与所述被存取食材的种类相似的食材的种类作为所述被存取食材的种类进行输出。

本申请一些实施例中，所述控制器被进一步配置为：

如果所述当前食材存放数据库中不存在与所述被存取食材的种类相似的食材，则输出无食材识别信息。

本申请一些实施例中，所述控制器被进一步配置为：

当所述门体被打开时，检测所述摄像头采集的检测图像；

当检测到手部时，抓取图像，并对抓取的图像进行识别，得到被存取的食材的种类。

本申请一些实施例中，所述控制器被进一步配置为：

根据所述摄像头模组采集的检测图像确定用户为存动作或取动作。

本申请一些实施例中，所述控制器被进一步配置为：

确定所述被存取食材的数量；

在输出所述被存取食材的种类后，或者在确定用户为存动作后，根据确定的所述被存取食材的种类和数量，更新所述当前食材存放数据库。

本申请一些实施例中，所述当前食材存放数据库中存储有以下信息：食材的种类、食材的数量。

根据示例性的实施方式中的一方面，提供一种食材识别方法，包括：

对摄像头模组采集的用户存取食材的检测图像进行识别，得到被存取食材的种类；

确定所述被存取食材的种类是否存在于所述智能冰箱的当前食材存放数据库中；

如果存在，则输出所述被存取食材的种类；

如果不存在，则将与所述被存取食材的种类相似且存在于所述当前食材存放数据库中的食材的种类作为所述被存取食材的种类进行输出。

本申请一些实施例中，所述将与所述被存取食材的种类相似且存在于所述当前食材存放数据库中的食材的种类作为所述被存取食材的种类进行输出，包括：

从食材相似度数据库中找出与所述被存取食材的种类相似度最高、且存在于所述当前食材存放数据库中的食材的种类作为所述被存取食材的种类进行输出；所述食材相似度数据库中存储有多种不同种类的食材，且针对每一种类的食材对应有多种种类相似度不同的食材。

本申请的上述实施例中，利用摄像头模组采集用户存取食材的检测图像；获取摄像头模组采集的检测图像并进行识别，得到被存取食材的种类；当确定用户为取动作后，确定被存取食材的种类是否存在于智能冰箱的当前食材存放数据库中；如果不存在，则将与被存取食材的种类相似且存在于当前食材存放数据库中的食材的种类作为被存取食材的种类进行输出；如果存在，则输出被存取食材的种类。通过提高食材识别准确率来进一步提高智能冰箱食材管理的智能化。

在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本申请各较佳实施例。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1a示例性示出了本申请实施例中的智能冰箱关闭状态的示意图；

图1b示例性示出了本申请实施例中的智能冰箱打开状态的示意图；

图2示例性示出了本申请实施例中的智能冰箱的配置框图；

图3示例性示出了本申请实施例中的处理器的架构配置框图；

图4示例性示出了本申请实施例中智能冰箱的控制器的功能结构示意图；

图5示例性示出了本申请实施例提供的食材识别方法的流程示意图。

具体实施方式

为使本申请一些实施例的目的、技术方案和优点更加清楚，下面将结合本申请一些实施例的附图，对本申请一些实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。基于所描述的本申请的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

除非另外定义，本申请使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。

本申请的说明书和权利要求书及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要注意的是，附图中各图形的尺寸和形状不反映真实比例，目的只是示意说明本申请内容。并且自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。

随着生活需求的提高，人们对冰箱产品的智能化的要求程度也越来越高。例如，人们对冰箱中食材信息的智能化管理的要求也日益提高，从而使得冰箱中食材信息的智能化管理成为当前冰箱发展的趋势之一。其中，对食材种类的准确识别是实现其智能化管理的重要前提。

通常，食材种类录入的方式依赖于用户的手动录入，极大影响了用户体验。虽然当前一些基于视觉识别的方法实现了食材种类的自动识别，其实现方法多为冰箱关门后或食材存取过程中抓取食材图像进行识别。由于环境、光照、食材遮挡等原因导致单纯的食材图像识别存在一定的错误率。对于智能冰箱，当用户从冰箱中取出食材时，冰箱会播报用户拿取的食材种类。若拿取食材时，食材误识别为其它种类食材，而误识别的食材种类又恰好不在冰箱当前食材库中，会令用户产生奇怪突兀的感觉，当前冰箱中没有该食材，却播报拿取该食材，并且会导致冰箱食材数据库紊乱。为了提高用户使用体验感，提高用户拿取食材过程中的食材种类识别的准确率。

有鉴于此，本申请一些实施例提供的智能冰箱，结合图像识别与图像特征相似的食材种类判断方法，使得用户拿取食材时，识别的食材种类在当前冰箱食材种类范围内，降低食材误识别率。

本申请一些实施例提供的智能冰箱，可以应用于对智能冰箱中的食材管理的场景中。

下面结合附图对本申请实施例进行详细描述。

图1a和图1b示例性示出了本申请实施例提供的一种智能冰箱的结构。

如图1a所示，智能冰箱包括箱体10、制冷部(未在图中示出)以及其他附件(比如箱体内可设置照明灯、温度计等，未在图中示出)。制冷系统中主要组成有压缩机、冷凝器、蒸发器和毛细管节流器等部件，自成一个封闭的循环系统。其中，蒸发器可安装在智能冰箱内部的上方，其他部件安装在智能冰箱的背面。

箱体10安装有门体20，门体20上可进一步设置有显示屏50，显示屏50与控制器耦接(如通过电路连接)。

在箱体10上还可设置摄像头模组30，该摄像头模组可采集箱体10前侧区域内的图像。其中，以冰箱门所在平面为第一平面，箱体10前侧区域至少包括已第一平面为基准，向冰箱外方向扩展一定距离的区域，摄像头模组可采集该区域的图像，即能够拍摄到用户打开门体20后用户存取食材的检测图像。

在一些实施例中，摄像头模组30可设置在箱体10的上部靠近门体20的位置，以便能够拍摄箱体10前侧区域内的图像。

在一些实施例中，摄像头模组30可设置在固定部件上，该固定部件可使得摄像头模组的镜头探出门体20所在的平面一定距离，以便能够更好地拍摄箱体10前侧区域内的图像。当用户打开门体时可触发该摄像头模组开启，当用户关闭门体时可触发该摄像头模组关闭。本申请实施例对该固定部件的形状、连接方式以及材料不做限制。

在另一些实施例中，摄像头模组30可设置在活动部件上，该活动部件可在门体20被打开时将摄像头模组30弹出，使得摄像头模组30探出门体20所在的平面一定距离，当门体20被关闭时，该活动部件将摄像头模组30收回。该活动部件可采用机械连接方式或其他方式与门体20进行联动，使得门体20在被打开和关闭时触发该活动部件的控制摄像头模组。在一些实施例中，该活动部件还可包括摄像头保护盖，在将摄像头模组弹出后打开该保护盖并启动摄像头模组，在将摄像头模组收回后关闭该保护盖并关闭摄像头模组，从而一方面对摄像头模组起到保护作用，一方面节省电源开销。

需要说明的是，图1a和图1b所示的智能冰箱的结构仅为一种示例，本申请实施例对智能冰箱的大小、以及对门体的数量(比如可以是单个门体，也可以是多个门体)等不做限制。

在本申请一些实施例中，图2中示例性示出了智能冰箱的一些配置框图。如图2所示，包括控制器110、存储器120、通信器130、用户输入接口140、用户输出接口150、供电电源160，图像采集接口170，以及显示器180。

控制器110包括随机存取存储器(Random Access Memory，RAM)111、只读存储器(Read Only Memory image，ROM)112、处理器113、通信接口以及通信总线。控制器110用于控制上述器件的运行和操作，以及内部各部件之间的通信协作、外部和内部的数据处理功能。

示例性的，当检测到用户按压在按键144的交互或触摸在触摸板142上的交互时，控制器110可控制处理器113产生与检测到的交互相应的信号，并将该信号发送到显示屏50，以使显示屏50可以显示相应的内容或画面。

在一些示例中，处理器113可以是中央处理器(Central Processing Unit，CPU)，图形处理器(Graphics Processing Unit，GPU)或者CPU和GPU的组合。处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(Application-Specific IntegratedCircuit，ASIC)，可编程逻辑器件(Programmable Logic Device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(Complex Programmable Logic Device，CPLD)，现场可编程逻辑门阵列(Field-Programmable Gate Array，FPGA)，通用阵列逻辑(Generic Array Logic，GAL)或其任意组合。

存储器120，用于在控制器110的控制下存储驱动和控制的各种运行程序、数据和应用。存储器120，可以存储用户输入的各类控制信号指令。在一些示例中，存储器通过总线或其它方式与处理器相连，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，上述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行。在一些示例中，存储器可以为易失性存储器(Volatile Memory)，非易失性存储器(Non-volatileMemory)或者它们的组合。易失性存储器可以为随机存取存储器(Random-Access Memory，RAM)，例如静态随机存取存储器(Static Random Access Memory，SRAM)，动态随机存取存储器(Dynamic Random Access Memory，DRAM)。非易失性存储器可以为只读存储器(ReadOnly Memory，ROM)，例如可编程只读存储器(Programmable Read Only Memory，PROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)。非易失性存储器也可以为快闪存储器(Flash Memory)，磁存储器，例如磁带(MagneticTape)，软盘(Floppy Disk)，硬盘。非易失性存储器也可以为光盘。

通信器130，可以是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如冰箱可将内容数据发送至经由通信器130连接的外部设备，或者，从经由通信器130连接的外部设备浏览和下载内容数据。通信器130可以包括红外信号接口131、射频信号接口132、WIFI模块133、蓝牙通信协议模块134、有线以太网通信协议模块135等网络通信协议模块或近场通信协议模块，从而通信器130可根据控制器110的控制，实现与外部设备或外部服务器之间控制信号和数据信号的通信。例如：红外信号接口时，需要将用户发送的红外控制信号按照红外控制协议转化后输出给控制器110。例如，射频信号接口时，需将用户输入的射频控制信号模式的指令转化后输出给控制器110。例如，通过WIFI模块133、蓝牙通信协议模块134、有线以太网通信协议模块135接收外部设备控制冰箱的控制信号，并将控制信号处理后输出给控制器110。

用户输入接口140，可包括麦克风141、触摸板142、传感器143、按键144等中至少一者，从而用户可以通过语音、触摸、手势、按压等将关于控制冰箱的用户指令输入到冰箱。

用户输出接口150，通过将用户输入接口140接收的用户指令输出给控制器110，以通过控制器110控制处理器113执行相应的程序步骤。或者，也可以使处理器113执行相应的程序步骤后，控制显示器180显示相应的画面或者通过用户输出接口输出相应的内容。这里，用户输出接口150可以包括LED接口151、产生振动的振动接口152、输出声音的声音输出接口153等。例如，外部设备中的显示设备可从用户输出接口150接收音频、视频或数据等输出信号，并且将输出信号在显示设备上显示为图像形式、在声音输出接口153输出为音频形式或在振动接口152输出为振动形式。

图像采集接口170，用于将高光谱相机10与冰箱进行信号连接。例如，高光谱相机10采集到的高光谱图像和光谱响应曲线可以通过图像采集接口170传输给控制器110中的处理器113。

显示屏50，用于接收处理器113输入的图像信号，进行显示视频内容、图像以及菜单操控界面。显示视频内容，可以来自处理器113处理后的视频内容，也可以来自通信器130或用户输入接口140输入的视频内容。显示屏50，还可以同时显示用于控制冰箱的用户操控界面UI。

供电电源160，用于在控制器110的控制下为冰箱中的各元件提供运行电力支持。形式可以为电池及相关控制电路。

图3中示例性示出了存储器120中操作系统的架构配置框图。该操作系统架构从上到下依次是应用层、中间件层和内核层。

应用层，系统内置的应用程序以及非系统级的应用程序都是属于应用层。负责与用户进行直接交互。应用层可包括多个应用程序，如设置应用程序、电子帖应用程序、媒体中心应用程序等。这些应用程序可被实现为Web应用，其基于WebKit引擎来执行，具体可基于HTML5、层叠样式表(CSS)和JavaScript来开发并执行。

这里，HTML，全称为超文本标记语言(HyperText Markup Language)，是一种用于创建网页的标准标记语言，通过标记标签来描述网页，HTML标签用以说明文字、图形、动画、声音、表格、链接等，浏览器会读取HTML文档，解释文档内标签的内容，并以网页的形式显示出来。

CSS，全称为层叠样式表(Cascading Style Sheets)，是一种用来表现HTML文件样式的计算机语言，可以用来定义样式结构，如字体、颜色、位置等的语言。CSS样式可以直接存储与HTML网页或者单独的样式文件中，实现对网页中样式的控制。

JavaScript，是一种应用于Web网页编程的语言，可以插入HTML页面并由浏览器解释执行。其中Web应用的交互逻辑都是通过JavaScript实现。JavaScript可以通过浏览器，封装JavaScript扩展接口，实现与内核层的通信。

中间件层，可以提供一些标准化的接口，以支持各种环境和系统的操作。例如，中间件层可以实现为与数据广播相关的中间件的多媒体和超媒体信息编码专家组(MHEG)，还可以实现为与外部设备通信相关的中间件的DLNA中间件，还可以实现为提供显示设备内各应用程序所运行的浏览器环境的中间件等。

内核层，提供核心系统服务，例如：文件管理、内存管理、进程管理、网络管理、系统安全权限管理等服务。内核层可以被实现为基于各种操作系统的内核，例如，基于Linux操作系统的内核。

内核层也同时提供系统软件和硬件之间的通信，为各种硬件提供设备驱动服务，例如：为显示器提供显示驱动程序、为摄像头提供摄像头驱动程序、为遥控器提供按键驱动程序、为WIFI模块提供WiFi驱动程序、为音频输出接口提供音频驱动程序、为电源管理(PM)模块提供电源管理驱动等。

在一些实施例中，用户还可以在显示屏50上显示的图形用户界面(graphic userinterface，GUI)输入用户命令，则控制器110可以接收用户输入的命令。其中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示器中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、控件、菜单、选项卡、文本框、对话框、状态栏、频道栏、Widget等可视的界面元素。

本申请实施例提供的智能冰箱中，控制器与摄像头模组耦接(比如通过电路连接)，该控制器可在当智能冰箱的门体被打开时，获取摄像头模组采集的检测图像并进行识别，得到被存取食材的种类；当确定用户为取动作后，确定被存取食材的种类是否存在于智能冰箱的当前食材存放数据库中；如果不存在，则将与被存取食材的种类相似且存在于当前食材存放数据库中的食材的种类作为被存取食材的种类进行输出；如果存在，则输出被存取食材的种类。

基于上述控制器所实现的功能，图4示例性示出了该控制器的功能结构。

图4示例性示出了本申请实施例中的智能冰箱控制器的功能结构示意图。如图所示，该控制器110可包括以下功能模块：图像识别模块301、判断模块302、输出模块303、当前食材存放数据库304和食材相似度数据库305。

在当智能冰箱的门体被打开时，图像识别模块301接收检测图像并进行识别，得到被存取食材的种类，并将识别到的被存取食材的种类信息传递给判断模块302。

判断模块302当确定用户为取动作后，确定被存取食材的种类是否存在于智能冰箱的当前食材存放数据库304中；如果存在，则将确定的被存取食材的种类信息传递给输出模块303。如果不存在，则将与被存取食材的种类相似且存在于当前食材存放数据库304中的食材的种类作为被存取食材的种类，并将确定的被存取食材的种类信息传递给输出模块303。

输出模块303输出确定的被存取食材的种类。

进一步地，如果判断模块302确定被存取食材的种类不存在于智能冰箱的当前食材存放数据库304中，则从智能冰箱的食材相似度数据库305中找出与被存取食材的种类相似度最高、且存在于当前食材存放数据库中的食材的种类作为被存取食材的种类。

图5示例性示出了本申请实施例提供的一种食材识别方法的流程示意图。

如图5所示，该流程可包括以下步骤：

S501、获取摄像头模组采集的检测图像并进行识别，得到被存取食材的种类。

该步骤中，当智能冰箱的门体被打开时，设置在智能冰箱的箱体上的摄像头模组被启动，该摄像头模组采集智能冰箱箱体前侧区域内的图像，并将采集到的图像传递给控制器。

为了减少识别食材种类所需要的处理开销，在一些实施例中，可先进行手部的检测，当检测到手部时，进行图像抓取，并对抓取的图像进行食材种类的识别。其中，若检测到手部，则表明用户很可能正在进行食材存取动作。

控制器根据摄像头模组采集的图像，识别出用户的手部，则抓取图像，并对抓取的图像进行识别，以得到所存取的食材的种类。进一步地，当检测到食材时，可根据用户此时的动作，决策出用户本次操作行为，比如，若在存动作时检测到食材，则判定用户当前为存放食材，若在取动作时检测到食材，则判定用户当前为拿取食材。

在一些实施例中，对于手部或存取动作的检测，可通过机器学习或深度神经网络训练分类器进行检测。当检测到手部时，抓取图像，对于抓取的图像进行食材识别。可通过成熟的深度学习方法进行食材识别，以得到食材种类信息。用于进行图像识别所使用的神经网络可以是但不限于(深度)神经网络、卷积神经网络、深度置信网络、深度堆栈神经网络、深度融合网络、深度递归神经网络、深度循环神经网络、深度贝叶斯神经网络、深度生成网络、深度强化学习等网络结构的一种或其衍生模型。无论采用哪种深度神经网络，都不影响本申请实施例的实质。

S502、当确定用户为取动作后，确定被存取食材的种类是否存在于智能冰箱的当前食材存放数据库中。如果存在，则输出被存取食材的种类。如果不存在，则执行步骤S503。

S503、将与被存取食材的种类相似且存在于当前食材存放数据库中的食材的种类作为被存取食材的种类进行输出。

在该步骤中，控制器可以从智能冰箱的食材相似度数据库中找出与被存取食材的种类相似度最高、且存在于当前食材存放数据库中的食材的种类作为被存取食材的种类进行输出；食材相似度数据库中存储有多种不同种类的食材，且针对每一种类的食材对应有多种种类相似度不同的食材。

进一步地，控制器可以按照种类相似度由高到低的顺序依次判断食材相似度数据库中与被存取食材的种类相似的食材的种类是否存在于当前食材存放数据库中；直到确定食材相似度数据库中与被存取食材的种类相似的食材的种类同样存在于当前食材存放数据库中则停止判断，并将与被存取食材的种类相似的食材的种类作为被存取食材的种类进行输出。

进一步地，如果当前食材存放数据库中不存在与被存取食材的种类相似的食材，则输出无食材识别信息。

示例性的，以被存取食材的种类的A，食材相似度数据库中与被存取食材的种类相似的食材的种类有：B1、B2、B3、……、B10，A且B1至B10的相似度依次减小。

控制器线从食材相似度数据库中找出B1，再确定B1是否存在于当前食材存放数据库中，如果存在，则将B1作为被存取食材的种类进行输出。

如果不存在，控制器线从食材相似度数据库中找出B2，再确定B2是否存在于当前食材存放数据库中，如果存在，则将B2作为被存取食材的种类进行输出。

如果不存在，控制器线从食材相似度数据库中找出B3，再确定B3是否存在于当前食材存放数据库中，如果存在，则将B3作为被存取食材的种类进行输出。

如果不存在，控制器线从食材相似度数据库中找出B4，再确定B4是否存在于当前食材存放数据库中，如果存在，则将B4作为被存取食材的种类进行输出。

重复以上操作，直到如果B10也不存在于当前食材存放数据库中，则输出无食材识别信息。

在本申请的一些实施例中，输出模块可以将确定的被存取食材的种类的信息传输给显示屏或者语音播报单元，通过显示屏或者语音播报单元输出被存取食材的种类。

在本申请的一些实施例中，当控制器输出无食材识别信息时，可以通过语音播报单元语音询问用户以确定本次操作信息。

在该步骤中，食材相似度数据库是预先构建好的。具体，可以通过如下流程构建食材特征相似数据库：

(1)采集样本图像。

具体为，针对每种食材采集N张在真实场景下用户拿取该食材的图像，图像只扣取食材部分，构成食材数据集。

(2)特征向量提取。由于用户往冰箱存放的食材大多是蔬菜水果之类，而这些食材种类的差异主要体现在纹理、颜色、形状三个方面，故对于每一张图像分别提取纹理特征、颜色特征、形状特征，将这三个特征融合作为该图像食材的特征。对于图像f_ij，其中i表示食材种类，j表示该种类食材的第j张图像，p_ij表示该张图像提取的特征向量，维度为n*3。对于每张图像分别提取其纹理特征、颜色特征、形状特征，分别输出n*1维的特征向量，将三者融合得到n*3维的特征向量p_ij。p_ij为图像f_ij的特征向量：

在提取图像的纹理特征、颜色特征、形状特征时，纹理特征提取算法可以采用LBP特征提取算法(Local Binary Patterns，局部二值模式)、灰度共生矩阵算法(GLCM)、能量谱函数等；颜色特征提取算法可以采用颜色直方图、颜色集、颜色矩、颜色聚合向量等；形状特征提取算法可以采用边界特征法、傅里叶形状描述符法、小波轮廓描述符等。无论采取何种方法提取纹理特征、颜色特征、形状特征都不影响本方案实质。

(3)特征相似度匹配。

对于每一种食材，计算其它每一种食材的每一张图像与该食材每一张图像的特征相似度量，取特征相似度最小的值作为该两种食材的相似度量。

令D_AB表示种类A与种类B的特征相似度量：

D_AB＝min{d(p_Aj,p_Bl)|j＝1,2,…n,l＝1,2,…n}。

可以采用马氏距离(Mahalanobis distance)来计算特征的相似度量：

d(p_Aj,p_Bl)＝(p_Aj-p_Bl)^TC^-1(p_Aj-p_Bl)；

其中，C为p_Aj与p_Bl的协方差矩阵。

通过以上方式，计算其它种类与种类A的特征相似度量，按照距离从低到高排序，选取前m种食材，构成食材A的相似食材种类数据集合。重复上述操作，找到所有食材的相似食材种类数据集合，构成食材特征相似数据库。表1示例性示出了一种食材特征相似数据库的内容。

表1.

在本申请的一些实施例中，控制器还被配置为确定被存取食材的数量；在输出被存取食材的种类后，或者在确定用户为存动作后，根据确定的被存取食材的种类和数量，更新当前食材存放数据库。

本申请实施例中，当前食材存放数据库中可包括：食材的种类和食材的数量。进一步地，还可包括存取的时间。表2示例性示出了一种当前食材存放数据库的内容。

表2.

食材的种类	食材的数量	存取时间
			苹果	2个	1月1日
萝卜	2个	1月2日
			鸡蛋	10个	1月5日
……	……	……

表2中，“存取时间”为最近一次的存取时间。

根据上述表1，若控制器确定用户为存动作，被存取食材的种类为梨，数量为2个，则在当前食材存放数据库中添加梨的种类、数量和存取日期。若控制器确定用户为取动作，被存取食材的种类为苹果，数量为2个，则在当前食材存放数据库中删除苹果的种类、数量和存取日期。

本申请一些实施例提供的上述智能冰箱，利用摄像头模组采集用户存取食材的检测图像；获取摄像头模组采集的检测图像并进行识别，得到被存取食材的种类；当确定用户为取动作后，确定被存取食材的种类是否存在于智能冰箱的当前食材存放数据库中；如果不存在，则将与被存取食材的种类相似且存在于当前食材存放数据库中的食材的种类作为被存取食材的种类进行输出；如果存在，则输出被存取食材的种类。通过提高食材识别准确率来进一步提高智能冰箱食材管理的智能化。

根据示例性的实施方式中的再一方面，本申请实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机程序指令，当所述指令在计算机上运行时，使得所述计算机执行如上所述的处理方法。

由于本申请实施例中的智能终端和计算机存储介质可以应用于上述处理方法，因此，其所能获得的技术效果也可参考上述方法实施例，本申请的实施例在此不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

根据示例性的实施方式中的又一方面，本申请一些实施例还提供了一种智能家居系统，包括本申请一些实施例提供的上述智能冰箱。该智能家居系统解决问题的原理与前述智能冰箱相似，因此该智能家居系统的实施可以参见前述智能冰箱的实施，重复之处在此不再赘述。

虽然以上描述了本申请的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本申请的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本申请的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本申请的保护范围。

Claims (10)

1.一种智能冰箱，其特征在于，所述智能冰箱包括：箱体、制冷部，所述箱体上安装有门体；

所述箱体上设置有摄像头模组，用于响应于所述门体的开启，采集用户存取食材的检测图像；

所述摄像头模组连接于控制器，所述控制器被配置为：

获取所述摄像头模组采集的所述检测图像并进行识别，得到被存取食材的种类；

当确定用户为取动作后，确定所述被存取食材的种类是否存在于所述智能冰箱的当前食材存放数据库中；

如果不存在，则将与所述被存取食材的种类相似且存在于所述当前食材存放数据库中的食材的种类作为所述被存取食材的种类进行输出；

如果存在，则输出所述被存取食材的种类。

2.如权利要求1所述的智能冰箱，其特征在于，所述控制器被进一步配置为：

当确定所述被存取食材的种类不存在于所述当前食材存放数据库时：

从所述智能冰箱的食材相似度数据库中找出与所述被存取食材的种类相似度最高、且存在于所述当前食材存放数据库中的食材的种类作为所述被存取食材的种类进行输出；所述食材相似度数据库中存储有多种不同种类的食材，且针对每一种类的食材对应有多种种类相似度不同的食材。

3.如权利要求2所述的智能冰箱，其特征在于，所述控制器被进一步配置为：

当确定所述被存取食材的种类不存在于所述当前食材存放数据库时：

按照种类相似度由高到低的顺序依次判断所述食材相似度数据库中与所述被存取食材的种类相似的食材的种类是否存在于所述当前食材存放数据库中；

直到确定所述食材相似度数据库中与所述被存取食材的种类相似的食材的种类同样存在于所述当前食材存放数据库中则停止判断，并将与所述被存取食材的种类相似的食材的种类作为所述被存取食材的种类进行输出。

4.如权利要求3所述的智能冰箱，其特征在于，所述控制器被进一步配置为：

如果所述当前食材存放数据库中不存在与所述被存取食材的种类相似的食材，则输出无食材识别信息。

5.如权利要求1所述的智能冰箱，其特征在于，所述控制器被进一步配置为：

当所述门体被打开时，检测所述摄像头采集的检测图像；

当检测到手部时，抓取图像，并对抓取的图像进行识别，得到被存取的食材的种类。

6.如权利要求1所述的智能冰箱，其特征在于，所述控制器被进一步配置为：

根据所述摄像头模组采集的检测图像确定用户为存动作或取动作。

7.如权利要求5所述的智能冰箱，其特征在于，所述控制器被进一步配置为：

确定所述被存取食材的数量；

在输出所述被存取食材的种类后，或者在确定用户为存动作后，根据确定的所述被存取食材的种类和数量，更新所述当前食材存放数据库。

8.如权利要求7所述的智能冰箱，其特征在于，所述当前食材存放数据库中存储有以下信息：食材的种类、食材的数量。

9.一种食材识别方法，其特征在于，包括：

对摄像头模组采集的用户存取食材的检测图像进行识别，得到被存取食材的种类；

确定所述被存取食材的种类是否存在于所述智能冰箱的当前食材存放数据库中；

如果存在，则输出所述被存取食材的种类；

如果不存在，则将与所述被存取食材的种类相似且存在于所述当前食材存放数据库中的食材的种类作为所述被存取食材的种类进行输出。

10.如权利要求9所述的食材识别方法，其特征在于，所述将与所述被存取食材的种类相似且存在于所述当前食材存放数据库中的食材的种类作为所述被存取食材的种类进行输出，包括：

从食材相似度数据库中找出与所述被存取食材的种类相似度最高、且存在于所述当前食材存放数据库中的食材的种类作为所述被存取食材的种类进行输出；所述食材相似度数据库中存储有多种不同种类的食材，且针对每一种类的食材对应有多种种类相似度不同的食材。

Images