CN111503990A - 一种冰箱及食材识别方法 - Google Patents

Abstract

本发明公开了一种冰箱及食材识别方法，由于处理器可以实现接收多帧检测图像，并根据接收的多帧检测图像，确定出每一帧检测图像的特征向量。根据预先确定的多个不同食材种类对应的类特征向量和每一帧检测图像的特征向量，确定待识别食材对应每一个食材种类的目标置信概率，进而将目标置信概率中的最大值对应的食材种类，确定为待识别食材的种类。这样可以降低单帧图像对识别结果异常的影响，提高食材种类识别的准确度。并且，还可以采用图像检索的方法进行种类识别，可以利用少量的图像在短时间内构建识别分类器，快速实现识别分类器的更新和优化，弥补了基于深度学习方法进行分类器更新的局限性。

Description

一种冰箱及食材识别方法

技术领域

本发明涉及冰箱技术领域，特别涉及一种冰箱及食材识别方法。

背景技术

随着生活水平的日益提高，冰箱已经成为人们生活中必不可少的家用电器，用户可以将吃不完的食物放置在冰箱中保存，避免食物出现腐坏。随着生活需求的提高，人们对冰箱产品的智能化的要求程度也越来越高。

发明内容

本申请一些实施例提供了一种冰箱及食材识别方法，用以提高冰箱的智能化。

本申请一些实施例提供的冰箱，包括：

机壳，所述机壳包括储藏室，所述储藏室具有开口；

门体，与所述机壳活动连接，用于遮挡所述开口；

图像采集单元，用于响应于所述门体的开启，采集具有待识别食材的多帧检测图像；

处理器，被配置为：

接收所述多帧检测图像；

确定每一帧所述检测图像的特征向量；

根据预先确定的多个不同食材种类对应的类特征向量和每一帧所述检测图像的特征向量，确定所述待识别食材对应每一个所述食材种类的目标置信概率；

将所述目标置信概率中的最大值对应的食材种类，确定为所述待识别食材的种类。

本申请一些实施例提供的上述冰箱，通过接收图像采集单元采集到的多帧检测图像，可以确定出该多帧检测图像中的每一帧检测图像的特征向量。可以降低单帧图像对识别结果异常的影响，从而可以提高食材种类识别的准确度。

并且，本申请一些实施例提供的上述冰箱，可以根据预先确定的多个不同食材种类对应的类特征向量和每一帧所述检测图像的特征向量，确定出所述待识别食材对应每一个所述食材种类的目标置信概率。目标置信概率越大，说明待识别食材为该食材种类的概率也越大，因此可以将所述目标置信概率中的最大值对应的食材种类，确定为所述待识别食材的种类。这样可以采用图像检索的方法进行种类识别，可以利用少量的图像在短时间内构建识别分类器，快速实现识别分类器的更新和优化，弥补了基于深度学习方法进行分类器更新的局限性。

本申请一些实施例中，所述处理器被进一步配置为：根据预先确定的多个不同食材种类对应的类特征向量和每一帧所述检测图像的特征向量，确定每一帧所述检测图像对应每一个所述食材种类的初始置信概率；将对应同一所述食材种类的每一帧所述检测图像的初始置信概率进行融合处理，确定所述待识别食材对应每一个所述食材种类的目标置信概率。

针对上述示例，通过融合处理的方式可以得到目标置信概率，这样可以进一步提高得到的目标置信概率的准确性。

本申请一些实施例中，所述处理器被进一步配置为：根据预先确定的多个不同食材种类对应的类特征向量和每一帧所述检测图像的特征向量，确定每一帧所述检测图像对应每一个所述食材种类的类相似度；根据每一帧所述检测图像对应每一个所述食材种类的类相似度，确定每一帧所述检测图像对应每一个所述食材种类的初始置信概率。

本申请一些实施例中，所述处理器被进一步配置为：采用如下公式，根据预先确定的多个不同食材种类对应的类特征向量和每一帧所述检测图像的特征向量，确定每一帧所述检测图像对应每一个所述食材种类的类相似度；

其中，S_j(f_i)代表所述多帧检测图像中的第i帧检测图像对应所述预先确定的多个不同食材种类中的第j类食材种类的类相似度，σ代表平滑系数，D(h_i，c_j)代表所述预先确定的多个不同食材种类中的第j类食材种类的类特征向量和所述多帧检测图像中的第i帧检测图像的特征向量的距离，f_i代表所述第i帧检测图像，h_i代表所述第i帧检测图像的特征向量，c_j代表所述第j类食材种类的类特征向量。

针对上述示例，通过上述公式可以得到类相似度。

本申请一些实施例中，所述处理器被进一步配置为：采用如下公式，根据每一帧所述检测图像对应每一个所述食材种类的类相似度，确定每一帧所述检测图像对应每一个所述食材种类的初始置信概率；

其中，0≤m_j(f_i)≤1，

m_j(f_i)代表所述第i帧检测图像对应所述第j类食材种类的初始置信概率。

针对上述示例，通过上述公式可以通过类相似度得到初始置信概率。

本申请一些实施例中，所述处理器被进一步配置为：

采用DS证据理论，从所述多帧检测图像中的第一帧检测图像开始，依次将对应同一所述食材种类的每一帧所述检测图像的初始置信概率进行融合处理，确定所述待识别食材对应每一个所述食材种类的目标置信概率。

针对上述示例，通过DS证据理论进行融合处理，可以得到目标置信概率，这样可以进一步提高得到的目标置信概率的准确性。

本申请一些实施例中，所述处理器被进一步配置为：

接收具有已知食材的多个初始图像组；其中，所述初始图像组包括多个初始图像，同一所述初始图像组的食材的食材种类相同，不同所述初始图像组的食材的食材种类不同；

确定每个所述初始图像的特征向量；

将每一所述初始图像组中的每个初始图像的特征向量进行聚类，得到对应每一所述初始图像组的食材种类的类特征向量。

针对上述示例，通过不同已知食材的多个图像特征向量，采用聚类的方式可以得到类特征向量。这样可以在短时间内构建识别分类器，快速实现识别分类器的更新和优化，弥补了基于深度学习方法进行分类器更新的局限性。

本申请一些实施例提供的食材识别方法，包括：

接收所述多帧检测图像，并确定每一帧所述检测图像的特征向量；

根据预先确定的多个不同食材种类对应的类特征向量和每一帧所述检测图像的特征向量，确定所述待识别食材对应每一个所述食材种类的目标置信概率；

将所述目标置信概率中的最大值对应的食材种类，确定为所述待识别食材的种类。

本申请一些实施例中，所述确定所述待识别食材对应每一个所述食材种类的目标置信概率，包括：

根据预先确定的多个不同食材种类对应的类特征向量和每一帧所述检测图像的特征向量，确定每一帧所述检测图像对应每一个所述食材种类的初始置信概率；

将对应同一所述食材种类的每一帧所述检测图像的初始置信概率进行融合处理，确定所述待识别食材对应每一个所述食材种类的目标置信概率。

本申请一些实施例中，确定多个不同食材种类对应的类特征向量，包括：

接收具有已知食材的多个初始图像组；其中，所述初始图像组包括多个初始图像，同一所述初始图像组的食材的食材种类相同，不同所述初始图像组的食材的食材种类不同；

确定每个所述初始图像的特征向量；

将每一所述初始图像组中的每个初始图像的特征向量进行聚类，得到对应每一所述初始图像组的食材种类的类特征向量。

附图说明

图1为本申请一些实施例提供的冰箱的结构示意图；

图2为本申请一些实施例提供的一些图像采集单元的位置的结构示意图；

图3为本申请一些实施例提供的另一些图像采集单元的位置的结构示意图；

图4为本申请一些实施例提供的一些冰箱的配置框图；

图5为本申请一些实施例提供的处理器中的架构配置框图；

图6为本申请一些实施例提供的食材识别方法的流程图；

图7a为本申请一些实施例提供的第1帧检测图像的示意图；

图7b为本申请一些实施例提供的第2帧检测图像的示意图；

图7c为本申请一些实施例提供的第3帧检测图像的示意图；

图7d为本申请一些实施例提供的第I帧检测图像的示意图；

图8为本申请另一些实施例提供的食材识别方法的流程图；

图9为本申请一些实施例提供的处理器、存储器以及图像采集单元的示意图。

附图标记：

0100-储藏室；

0100A-冷冻室；

0100B-冷藏室；

0200-门体；

0200A-冷冻室门体；

0200B-冷藏室门体；

0101-储物抽屉；

0102-第一层架；

0103-第二层架；

10-图像采集单元；

110-控制器；

120-存储器；

130-通信器；

140-用户输入接口；

150-用户输出接口；

160-供电电源；

170-图像采集接口；

180-显示器；

111-随机存取存储器；

112-只读存储器；

113-处理器；

131-红外信号接口；

132-射频信号接口；

133-WIFI模块；

134-蓝牙模块；

135-有线以太网模块；

141-麦克风；

142-触摸板；

143-触感器；

144-按键；

151-LED接口；

152-振动接口；

153-声音输出接口；

f1-第1帧检测图像；

f2-第2帧检测图像；

f3-第3帧检测图像；

fI-第I帧检测图像。

具体实施方式

为使本申请一些实施例的目的、技术方案和优点更加清楚，下面将结合本申请一些实施例的附图，对本申请一些实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。

本申请的说明书和权利要求书及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要注意的是，附图中各图形的尺寸和形状不反映真实比例，目的只是示意说明本发明内容。并且自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。

图1为本申请一些实施例中的一些冰箱的立体结构示意图。参照图1，本实施例的冰箱1可以包括近似长方体形状的机壳以及与机壳活动连接的门体0200。机壳可以包括储藏室0100。在实际应用中，冰箱1的外观可以通过限定存储空间的储藏室0100和设置在储藏室0100中的门体0200进行确定。在一些示例中，储藏室0100为具有开口的箱体，其由储藏室内胆、储藏室外壳以及位于两者之间的发泡层形成。门体0200用于遮挡储藏室0100的开口。储藏室0100被竖直分隔成位于下方的冷冻室0100A以及位于上方的冷藏室0100B。其中，冷冻室0100A和冷藏室0100B可分别具有独立的存储空间。

在一些示例中，门体0200可以包括冷冻室门体0200A和冷藏室门体0200B。并且，冷冻室0100A限定在储藏室0100的下侧处并且可通过冷冻室门体0200A将冷冻室0100A的开口进行选择性地覆盖。

在一些示例中，冷藏室0100B限定在储藏室0100的上侧处，即冷藏室0100B设置在冷冻室0100A上方。并且，通过冷藏室门体0200B将冷藏室0100B的开口进行选择性地覆盖。在实际应用中，冷藏室门体0200B可枢转地安装在冷藏室0100B上，这样可以使冷藏室0100B的开口可通过冷藏室门体0200B选择性地打开或关闭。

在一些示例中，在本发明实施方式中的冰箱的储藏室0100内，可以包括储物抽屉0101以及位于储物抽屉0101上的第一层架0102和第二层架0103。其中，储物抽屉0101第一层架0102和第二层架0103可以分别用来盛放食材(例如，水果、蔬菜等)。

随着生活需求的提高，人们对冰箱产品的智能化的要求程度也越来越高。例如，人们对冰箱中食材信息的智能化管理的要求也日益提高，从而使得冰箱中食材信息的智能化管理成为当前冰箱发展的趋势之一。其中，对食材种类的准确识别是实现其智能化管理的重要前提。

通常，食材种类录入的方式依赖于用户的手动录入，极大影响了用户体验。虽然当前一些基于视觉识别的方法实现了食材种类的自动识别，其实现方法多为冰箱关门后或食材存取过程中抓取一帧关键图像进行识别，并且识别方法多采用深度学习方法。然而，抓取单帧图像进行识别，极易受到抓取图像质量的影响，导致识别出的食材种类的准确性降低。并且，采用深度学习方法进行识别，需要收集大量的食材图像进行分类器训练，无法在短时间内实现分类器的更新和再训练。因此，限制了食材种类自动识别在冰箱食材管理中的应用。

有鉴于此，本申请一些实施例提供的冰箱，可以降低单帧图像对识别结果异常的影响，从而可以提高食材种类识别的准确度。并且，本申请一些实施例提供的冰箱，还可以采用图像检索的方法进行种类识别，可以利用少量的图像在短时间内构建识别分类器，快速实现识别分类器的更新和优化，弥补了基于深度学习方法进行分类器更新的局限性。

本申请一些实施例提供的冰箱，可以应用于对冰箱中的食材管理的场景中，例如，对用户存取的食材的种类进行识别，以提高对存取的食材的种类识别的准确性。

在本发明一些实施例中，在食材从冰箱的储藏室中拿出或向储藏室放入时实现存取食材的种类的识别，可以通过多帧图像进行动态识别，以提高识别出食材的种类的准确度。

在本发明一些实施例中，如图4所示，冰箱还可以包括图像采集单元10，用于采集用户存取食材过程中拿取食材的检测图像。在一些示例中，图像采集单元可以是彩色相机，也可以是深度相机，或者两者的组合。其中，彩色相机可以是普通彩色相机，也可以是广角彩色相机。深度相机可以是双目相机，也可以是结构光相机，还可以是基于飞行时间(timeof fly，简称TOF)的相机。

在本发明一些实施例中，该图像采集单元的视角范围能够覆盖整个冷藏室和/或整个冷冻室，从而可以在用户存取食材过程中，采集到用户拿取食材的检测图像。在一些示例中，图像采集单元用于响应于门体的开启，获取具有待识别食材的多帧检测图像。例如，在冷藏室门体0200B开启时，在用户拿取食材的过程进行采集，以采集多帧带有待识别食材的多帧检测图像。

在一些示例中，如图2所示，图像采集单元10可以安装在冰箱的储藏室(例如冷藏室0100B)内部的顶端。或者，如图3所示，图像采集单元10也可以安装在冰箱的储藏室(例如冷藏室0100B)外部的顶端(例如，靠近冷藏室门体0200B的顶部)。

在本发明一些实施例中，图4中示例性示出了冰箱的一些配置框图。如图4所示，冰箱还可以包括控制器110、存储器120、通信器130、用户输入接口140、用户输出接口150、供电电源160，图像采集接口170，以及显示器180。

控制器110包括随机存取存储器(Random Access Memory，RAM)111、只读存储器(Read Only Memory image，ROM)112、处理器113、通信接口以及通信总线。控制器110用于控制上述器件的运行和操作，以及内部各部件之间的通信协作、外部和内部的数据处理功能。

示例性的，当检测到用户按压在按键144的交互或触摸在触摸板142上的交互时，控制器110可控制处理器113产生与检测到的交互相应的信号，并将该信号发送到显示器180，以使显示器180可以显示相应的内容或画面。

在一些示例中，处理器113可以被配置为接收图像采集单元采集到的多帧检测图像，并确定每一帧检测图像的特征向量；根据预先确定的多个不同食材种类对应的类特征向量和每一帧检测图像的特征向量，确定待识别食材对应每一个食材种类的目标置信概率；将目标置信概率中的最大值对应的食材种类，确定为待识别食材的种类。进一步地，处理器113可以根据确定出的待识别食材的种类向显示器180发送控制指令，以使显示器180可以显示确定出的待识别食材的种类或图像。

在一些示例中，处理器113可以是中央处理器(Central Processing Unit，CPU)，图形处理器(Graphics Processing Unit，GPU)或者CPU和GPU的组合。处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(Application-Specific IntegratedCircuit，ASIC)，可编程逻辑器件(Programmable Logic Device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(Complex Programmable Logic Device，CPLD)，现场可编程逻辑门阵列(Field-Programmable Gate Array，FPGA)，通用阵列逻辑(Generic Array Logic，GAL)或其任意组合。

存储器120，用于在控制器110的控制下存储驱动和控制的各种运行程序、数据和应用。存储器120，可以存储用户输入的各类控制信号指令。在一些示例中，存储器通过总线或其它方式与处理器相连，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，上述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行。在一些示例中，存储器可以为易失性存储器(Volatile Memory)，非易失性存储器(Non-volatileMemory)或者它们的组合。易失性存储器可以为随机存取存储器(Random-Access Memory，RAM)，例如静态随机存取存储器(Static Random Access Memory，SRAM)，动态随机存取存储器(Dynamic Random Access Memory，DRAM)。非易失性存储器可以为只读存储器(ReadOnly Memory，ROM)，例如可编程只读存储器(Programmable Read Only Memory，PROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)。非易失性存储器也可以为快闪存储器(Flash Memory)，磁存储器，例如磁带(MagneticTape)，软盘(Floppy Disk)，硬盘。非易失性存储器也可以为光盘。

通信器130，可以是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如冰箱可将内容数据发送至经由通信器130连接的外部设备，或者，从经由通信器130连接的外部设备浏览和下载内容数据。通信器130可以包括红外信号接口131、射频信号接口132、WIFI模块133、蓝牙通信协议模块134、有线以太网通信协议模块135等网络通信协议模块或近场通信协议模块，从而通信器130可根据控制器110的控制，实现与外部设备或外部服务器之间控制信号和数据信号的通信。例如：红外信号接口时，需要将用户发送的红外控制信号按照红外控制协议转化后输出给控制器110。例如，射频信号接口时，需将用户输入的射频控制信号模式的指令转化后输出给控制器110。例如，通过WIFI模块133、蓝牙通信协议模块134、有线以太网通信协议模块135接收外部设备控制冰箱的控制信号，并将控制信号处理后输出给控制器110。

用户输入接口140，可包括麦克风141、触摸板142、传感器143、按键144等中至少一者，从而用户可以通过语音、触摸、手势、按压等将关于控制冰箱的用户指令输入到冰箱。

用户输出接口150，通过将用户输入接口140接收的用户指令输出给控制器110，以通过控制器110控制处理器113执行相应的程序步骤。或者，也可以使处理器113执行相应的程序步骤后，控制显示器180显示相应的画面或者通过用户输出接口输出相应的内容。这里，用户输出接口150可以包括LED接口151、产生振动的振动接口152、输出声音的声音输出接口153等。例如，外部设备中的显示设备可从用户输出接口150接收音频、视频或数据等输出信号，并且将输出信号在显示设备上显示为图像形式、在声音输出接口153输出为音频形式或在振动接口152输出为振动形式。

图像采集接口170，用于将图像采集单元10与冰箱进行信号连接。例如，图像采集单元10采集到的检测图像可以通过图像采集接口170传输给控制器110中的处理器113。

显示器180，用于接收处理器113输入的图像信号，进行显示视频内容、图像以及菜单操控界面。显示视频内容，可以来自处理器113处理后的视频内容，也可以来自通信器130或用户输入接口140输入的视频内容。显示器180，还可以同时显示用于控制冰箱的用户操控界面UI。

以及，显示器180还可以包括用于呈现画面的显示器组件以及驱动图像显示的驱动组件。或者，倘若显示器180为一种投影显示器，还可以包括一种投影装置和投影屏幕。

供电电源160，用于在控制器110的控制下为冰箱中的各元件提供运行电力支持。形式可以为电池及相关控制电路。

图5中示例性示出了存储器120中操作系统的架构配置框图。该操作系统架构从上到下依次是应用层、中间件层和内核层。

应用层，系统内置的应用程序以及非系统级的应用程序都是属于应用层。负责与用户进行直接交互。应用层可包括多个应用程序，如设置应用程序、电子帖应用程序、媒体中心应用程序等。这些应用程序可被实现为Web应用，其基于WebKit引擎来执行，具体可基于HTML5、层叠样式表(CSS)和JavaScript来开发并执行。

这里，HTML，全称为超文本标记语言(HyperText Markup Language)，是一种用于创建网页的标准标记语言，通过标记标签来描述网页，HTML标签用以说明文字、图形、动画、声音、表格、链接等，浏览器会读取HTML文档，解释文档内标签的内容，并以网页的形式显示出来。

CSS，全称为层叠样式表(Cascading Style Sheets)，是一种用来表现HTML文件样式的计算机语言，可以用来定义样式结构，如字体、颜色、位置等的语言。CSS样式可以直接存储与HTML网页或者单独的样式文件中，实现对网页中样式的控制。

JavaScript，是一种应用于Web网页编程的语言，可以插入HTML页面并由浏览器解释执行。其中Web应用的交互逻辑都是通过JavaScript实现。JavaScript可以通过浏览器，封装JavaScript扩展接口，实现与内核层的通信。

中间件层，可以提供一些标准化的接口，以支持各种环境和系统的操作。例如，中间件层可以实现为与数据广播相关的中间件的多媒体和超媒体信息编码专家组(MHEG)，还可以实现为与外部设备通信相关的中间件的DLNA中间件，还可以实现为提供显示设备内各应用程序所运行的浏览器环境的中间件等。

内核层，提供核心系统服务，例如：文件管理、内存管理、进程管理、网络管理、系统安全权限管理等服务。内核层可以被实现为基于各种操作系统的内核，例如，基于Linux操作系统的内核。

内核层也同时提供系统软件和硬件之间的通信，为各种硬件提供设备驱动服务，例如：为显示器提供显示驱动程序、为摄像头提供摄像头驱动程序、为遥控器提供按键驱动程序、为WIFI模块提供WiFi驱动程序、为音频输出接口提供音频驱动程序、为电源管理(PM)模块提供电源管理驱动等。

在一些实施例中，用户还可以在显示器180上显示的图形用户界面(graphic userinterface，GUI)输入用户命令，则控制器110可以接收用户输入的命令。其中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示器中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、控件、菜单、选项卡、文本框、对话框、状态栏、频道栏、Widget等可视的界面元素。

如图6所示，本申请一些实施例提供的一些处理器，可以被配置为执行如下程序步骤：

S610、接收多帧检测图像。

S620、确定每一帧检测图像的特征向量。

S630、根据预先确定的多个不同食材种类对应的类特征向量和每一帧检测图像的特征向量，确定待识别食材对应每一个食材种类的目标置信概率。

S640、将目标置信概率中的最大值对应的食材种类，确定为待识别食材的种类。这样可以确定出检测图像中待识别的食材的种类。

本申请一些实施例提供的上述冰箱，由于处理器可以实现接收多帧检测图像，并根据接收的多帧检测图像，可以确定出每一帧检测图像的特征向量。这样可以根据预先确定的多个不同食材种类对应的类特征向量和每一帧检测图像的特征向量，确定待识别食材对应每一个食材种类的目标置信概率，进而将目标置信概率中的最大值对应的食材种类，确定为待识别食材的种类。这样可以降低单帧图像对识别结果异常的影响，从而可以提高食材种类识别的准确度。并且，本申请一些实施例提供的冰箱，还可以采用图像检索的方法进行种类识别，可以利用少量的图像在短时间内构建识别分类器，快速实现识别分类器的更新和优化，弥补了基于深度学习方法进行分类器更新的局限性。

在一些示例中，结合图7a至图7d所示，图像采集单元10可以在冷藏室门体200B开启时对视角范围内的景象进行I次采集，从而可以采集到用户拿着食材的I帧图像f₁、f₂、f₃……f_I。该I帧图像f₁、f₂、f₃……f_I即为具有待识别食材的I帧检测图像f₁、f₂、f₃……f_I。处理器113可以通过图像采集接口11接收图像采集单元10采集到的I帧检测图像f₁、f₂、f₃……f_I。

需要说明的是，f₁代表该I帧检测图像中的第1帧检测图像，f₂代表该I帧检测图像中的第2帧检测图像，f₃代表该I帧检测图像中的第3帧检测图像，f_I代表该I帧检测图像中的第I帧检测图像。

在一些示例中，处理器113可以根据相关技术中的机器学习方法或深度学习方法，提取每一帧检测图像的图像特征。并将第i帧检测图像的图像特征表征为T×1的特征向量h_i，其中T为特征向量的维度，h_i代表上述I帧检测图像中第i帧检测图像的特征向量。例如，第1帧检测图像f₁的图像特征表征为T×1的特征向量h₁，第2帧检测图像f₂的图像特征表征为T×1的特征向量h₂，第3帧检测图像f₃的图像特征表征为T×1的特征向量h₃，第I帧检测图像f_I的图像特征表征为T×1的特征向量h_I。

在一些示例中，图像特征可以包括但不限于统计特征、纹理特征、结构特征、颜色特征。在实际应用中，可以根据实际应用的需求确定图像特征的具体实施方式，在此不作限定。

在一些示例中，预先确定的多个不同食材种类对应的类特征向量可以存储在存储器120中。处理器113在根据预先确定的多个不同食材种类对应的类特征向量和每一帧检测图像的特征向量，确定待识别食材对应每一个食材种类的目标置信概率时，可以从存储器120中调取这些类特征向量。

在一些示例中，预先确定的多个不同食材种类的总数为J类。这J类食材种类中的第j类食材种类的类特征向量c_j也表征为T×1的特征向量。即第j类食材种类的类特征向量c_j与第i帧检测图像的特征向量h_i的维度相同。例如，预先确定的食材种类的总数为5类：苹果、香蕉、鸡蛋、西红柿、黄瓜。其中，可以使苹果对应的类特征向量为c₁，香蕉对应的类特征向量为c₂，鸡蛋对应的类特征向量为c₃，西红柿对应的类特征向量为c₄，黄瓜对应的类特征向量为c₅。

一般互联网上有海量的不同种类的已知食材的图像资源，可以从互联网上收集多个种类的已知食材的多个图像座位初始图像输入到处理器113中。可以根据输入到处理器113中的这些初始图像中的食材的食材种类，将这些初始图像进行分组，从而可以分为多个初始图像组。每个初始图像组可以包括多个初始图像，并且同一初始图像组的食材的食材种类相同，不同初始图像组的食材的食材种类不同。例如，食材种类为苹果的初始图像划分为初始图像组Z₁，食材种类为香蕉的初始图像划分为初始图像组Z₂，食材种类为鸡蛋的初始图像划分为初始图像组Z₃，食材种类为西红柿的初始图像划分为初始图像组Z₄，食材种类为黄瓜的初始图像划分为初始图像组Z₅。

处理器可以接收上述具有已知食材的多个初始图像组，根据接收的这些初始图像组中的初始图像，确定每个初始图像的特征向量。之后，将每一初始图像组中的每个初始图像的特征向量进行聚类，得到对应每一初始图像组的食材种类的类特征向量。例如，处理器可以接收上述初始图像组Z₁、Z₂、Z₃、Z₄、Z₅，根据初始图像组Z₁、Z₂、Z₃、Z₄、Z₅中的初始图像，采用相关技术中的机器学习方法或深度学习方法，提取初始图像组Z₁、Z₂、Z₃、Z₄、Z₅中每个初始图像的图像特征。

以初始图像组Z₁为例，将提取到的初始图像组Z₁中每个初始图像的图像特征表征为T×1的特征向量Cs_1-1、Cs_2-1、Cs_3-1……Cs_A-1。A为初始图像组Z₁中初始图像的总数。从而可以得到初始图像组Z₁中每个初始图像的特征向量Cs_1-1、Cs_2-1、Cs_3-1……Cs_A-1。将初始图像组Z₁中的每个初始图像的特征向量Cs_1-1、Cs_2-1、Cs_3-1……Cs_A-1进行聚类，可以得到初始图像组Z₁对应的聚类中心，从而可以将初始图像组Z₁对应的聚类中心作为苹果这种食材种类的类特征向量c₁。其余食材种类同理，依此类推，在此不作赘述。

在一些示例中，可以采用但不限于k-means聚类、层次聚类、FCM聚类、高斯混合聚类等将每一初始图像组中的每个初始图像的特征向量进行聚类。在实际应用中，可以根据实际需求确定聚类的实施方式，在此不作限定。

在一些示例中，如图8所示，处理器113可以进一步被配置为执行如下程序步骤：

S631、根据预先确定的多个不同食材种类对应的类特征向量和每一帧检测图像的特征向量，确定每一帧检测图像对应每一个食材种类的初始置信概率。

在一些示例中，处理器可以进一步被配置为：根据预先确定的多个不同食材种类对应的类特征向量和每一帧检测图像的特征向量，确定每一帧检测图像对应每一个食材种类的类相似度。之后，可以根据每一帧检测图像对应每一个食材种类的类相似度，确定每一帧检测图像对应每一个食材种类的初始置信概率。

在一些示例中，处理器可以进一步被配置为：采用如下公式，根据预先确定的多个不同食材种类对应的类特征向量和每一帧检测图像的特征向量，确定每一帧检测图像对应每一个食材种类的类相似度；

其中，S_j(f_i)代表上述I帧检测图像中的第i帧检测图像对应上述预先确定的多个不同食材种类中的第j类食材种类的类相似度，σ代表平滑系数，D(h_i，c_j)代表预先确定的多个不同食材种类中的第j类食材种类的类特征向量和多帧检测图像中的第i帧检测图像的特征向量的距离，f_i代表第i帧检测图像，h_i代表第i帧检测图像的特征向量，c_j代表第j类食材种类的类特征向量。

在一些示例中，D(h_i，c_j)代表的距离可采用但不限于欧氏距离(EuclideanDistance)、曼哈顿距离(Manhattan Distance)、切比雪夫距离(Chebyshev Distance)、闵克夫斯基距离(Minkowski Distance)、马氏距离(Mahalanobis Distance)、余弦相似度(Cosine Similarity)距离、汉明距离(Hamming Distance)、相关系数(PearsonCorrelation Coefficient)距离、KL散度(Kullback–Leibler divergence)距离等。

需要说明的是，通过上述公式可以看出，D(h_i，c_j)越大，则第i帧检测图像对应第j类食材种类的类相似度，从而可以说明第i帧检测图像中的待识别食材的种类属于第j类食材种类的概率越小。

在一些示例中，处理器可以进一步被配置为：采用如下公式，根据每一帧检测图像对应每一个食材种类的类相似度，确定每一帧检测图像对应每一个食材种类的初始置信概率；

其中，0≤m_j(f_i)≤1，

m_j(f_i)代表第i帧检测图像对应第j类食材种类的初始置信概率。

S632、将对应同一食材种类的每一帧检测图像的初始置信概率进行融合处理，确定待识别食材对应每一个食材种类的目标置信概率。

在一些示例中，处理器可以进一步被配置为：采用DS证据理论，从多帧检测图像中的第一帧检测图像开始，依次将对应同一食材种类的每一帧检测图像的初始置信概率进行融合处理，确定待识别食材对应每一个食材种类的目标置信概率。

在本申请一些实施例中，处理器113可以通过执行相应的软件代码实现其功能，也可由处理器113在执行相应的软件代码的同时，通过和服务器进行数据交互来实现，例如服务器控制处理器113实现该其功能。处理器113和服务器之间可以通过网络连接。

下面结合具体实施例，对本发明进行详细说明。需要说明的是，本实施例中是为了更好的解释本发明，但不限制本发明。其中，以第1类食材种类为苹果，第2类食材种类为香蕉，第3类食材种类为鸡蛋，第4类食材种类为西红柿，第5类食材种类为黄瓜为例进行说明。

本申请一些实施例提供的冰箱个工作过程，可以包括如下步骤：

(1)结合图1、图2、图7a至图7d、以及图9所示，图像采集单元10在冷藏室门体200B开启时对视角范围内的景象进行I次采集，从而可以采集到用户拿着待识别食材的I帧图像f₁、f₂、f₃……f_I。

(2)处理器113通过图像采集接口11接收图像采集单元10采集到的I帧检测图像f₁、f₂、f₃……f_I。

(3)处理器113根据相关技术中的机器学习方法，提取检测图像f₁、f₂、f₃……f_I的图像特征。并将第1帧检测图像f₁的图像特征表征为T×1的特征向量h₁，第2帧检测图像f₂的图像特征表征为T×1的特征向量h₂，第3帧检测图像f₃的图像特征表征为T×1的特征向量h₃，第I帧检测图像f_I的图像特征表征为T×1的特征向量h_I。

(4)处理器可以采用公式

确定出第1帧检测图像f₁对应苹果的类相似度为：

第1帧检测图像f₁对应香蕉的类相似度为：

第1帧检测图像f₁对应鸡蛋的类相似度为：

第1帧检测图像f₁对应西红柿的类相似度为：

第1帧检测图像f₁对应黄瓜的类相似度为：

并且，第2帧检测图像至第I帧检测图像对应苹果、香蕉、鸡蛋、西红柿以及黄瓜的类相似度同理，以此类推，在此不作赘述。

(5)处理器可以采用公式

约束条件：0≤m_j(f_i)≤1，

可以确定出第1帧检测图像f₁对应苹果的初始置信概率为：

第1帧检测图像f₁对应香蕉的初始置信概率为：

第1帧检测图像f₁对应鸡蛋的初始置信概率为：

第1帧检测图像f₁对应西红柿的初始置信概率为：

第1帧检测图像f₁对应黄瓜的初始置信概率为：

并且，第2帧检测图像至第I帧检测图像对应苹果、香蕉、鸡蛋、西红柿以及黄瓜的初始置信概率同理，以此类推，在此不作赘述。

其中，0≤m_j(f_i)≤1，

m_j(f_i)代表第i帧检测图像对应第j类食材种类的初始置信概率。

(6)采用DS证据理论，从第1帧检测图像f₁开始，将第1帧检测图像f₁至第I帧检测图像f_I对应苹果的初始置信概率m₁(f₁)～m₁(f_I)进行融合处理，确定待识别食材对应苹果的目标置信概率B₁。

示例性地，对于第i帧检测图像，其对应苹果的初始置信概率为：m₁(f_i)，其对应香蕉的初始置信概率为：m₂(f_i)，其对应鸡蛋的初始置信概率为：m₃(f_i)，其对应西红柿的初始置信概率为：m₄(f_i)，其对应黄瓜的初始置信概率为：m₅(f_i)。

则对应上述I帧检测图像的初始置信概率可以有如下分布矩阵：

根据DS证据理论，对于该初始置信概率的分布矩阵，自上往下将第1帧检测图像f₁至第I帧检测图像f_I对应同一食材种类(例如第j类食材种类)的初始置信概率m_j(f₁)、m_j(f₂)、m_j(f₃)、……m_j(f_I)进行证据融合，确定待识别食材对应第j类食材种类的目标置信概率B_j。其融合过程为：

以第1类食材种类(即苹果)为例，将第1帧检测图像f₁至第I帧检测图像f_I对应苹果的初始置信概率m₁(f₁)、m₁(f₂)、m₁(f₃)、……m₁(f_I)进行证据融合，确定待识别食材对应苹果的目标置信概率B₁。其融合过程为：

同理，待识别食材对应香蕉的目标置信概率B₂。其融合过程为：

待识别食材对应鸡蛋的目标置信概率B₃。其融合过程为：

待识别食材对应西红柿的目标置信概率B₄。其融合过程为：

待识别食材对应黄瓜的目标置信概率B₅。其融合过程为：

其中，对于将对应第j类食材种类的第i+1帧检测图像f_i+1进行融合时，其计算方法为：

其中，mj(fa)代表对应第j类食材种类的第i帧检测图像进行融合后的置信概率。K为衡量两个类别之间证据冲突的系数。并且，K满足的公式如下：

基于上述融合过程，可以得到待识别食材对应每一种食材种类的目标置信概率分布[B₁，B₂，B₃，……B_I]。例如，待识别食材对应苹果的目标置信概率B₁，待识别食材对应香蕉的目标置信概率B₂，待识别食材对应鸡蛋的目标置信概率B₃，待识别食材对应西红柿的目标置信概率B₄，待识别食材对应黄瓜的目标置信概率B₅。则可以得到待识别食材对应每一种食材种类的目标置信概率分布[B₁，B₂，B₃，B₄，B₅]。

(7)通过最大值验证(Maximum A Posteriori，MAP)，将目标置信概率B₁～B₅中的最大值对应的食材种类，确定为待识别食材的种类。若B₁是目标置信概率B₁～B₅中的最大值，则可以将待识别食材的种类确定为苹果。

基于同一发明构思，本申请一些实施例还提供了一种食材识别方法，如图6所示，可以包括如下步骤：

S610、接收多帧检测图像。

S620、确定每一帧检测图像的特征向量。

S630、根据预先确定的多个不同食材种类对应的类特征向量和每一帧检测图像的特征向量，确定待识别食材对应每一个食材种类的目标置信概率。示例性地，步骤S630确定待识别食材对应每一个食材种类的目标置信概率，可以包括：根据预先确定的多个不同食材种类对应的类特征向量和每一帧检测图像的特征向量，确定每一帧检测图像对应每一个食材种类的初始置信概率；将对应同一食材种类的每一帧检测图像的初始置信概率进行融合处理，确定待识别食材对应每一个食材种类的目标置信概率。

S640、将目标置信概率中的最大值对应的食材种类，确定为待识别食材的种类。

本申请一些实施例提供的食材识别方法，可以降低单帧图像对识别结果异常的影响，从而可以提高食材种类识别的准确度。并且，本申请一些实施例提供的冰箱，还可以采用图像检索的方法进行种类识别，可以利用少量的图像在短时间内构建识别分类器，快速实现识别分类器的更新和优化，弥补了基于深度学习方法进行分类器更新的局限性。

基于同一发明构思，本申请一些实施例还提供了一种智能家居系统，包括本申请一些实施例提供的上述冰箱。该智能家居系统解决问题的原理与前述冰箱相似，因此该智能家居系统的实施可以参见前述冰箱的实施，重复之处在此不再赘述。

在具体实施时，在本申请一些实施例中，智能家居系统还可以包括：洗衣机、电视机、空调等，在此不作限定。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种冰箱，其特征在于，所述冰箱包括：

机壳，所述机壳包括储藏室，所述储藏室具有开口；

门体，与所述机壳活动连接，用于遮挡所述开口；

图像采集单元，用于响应于所述门体的开启，采集具有待识别食材的多帧检测图像；

处理器，被配置为：

接收所述多帧检测图像；

确定每一帧所述检测图像的特征向量；

根据预先确定的多个不同食材种类对应的类特征向量和每一帧所述检测图像的特征向量，确定所述待识别食材对应每一个所述食材种类的目标置信概率；

将所述目标置信概率中的最大值对应的食材种类，确定为所述待识别食材的种类。

2.如权利要求1所述的冰箱，其特征在于，所述处理器被进一步配置为：

根据预先确定的多个不同食材种类对应的类特征向量和每一帧所述检测图像的特征向量，确定每一帧所述检测图像对应每一个所述食材种类的初始置信概率；

将对应同一所述食材种类的每一帧所述检测图像的初始置信概率进行融合处理，确定所述待识别食材对应每一个所述食材种类的目标置信概率。

3.如权利要求2所述的冰箱，其特征在于，所述处理器被进一步配置为：

根据预先确定的多个不同食材种类对应的类特征向量和每一帧所述检测图像的特征向量，确定每一帧所述检测图像对应每一个所述食材种类的类相似度；

根据每一帧所述检测图像对应每一个所述食材种类的类相似度，确定每一帧所述检测图像对应每一个所述食材种类的初始置信概率。

4.如权利要求3所述的冰箱，其特征在于，所述处理器被进一步配置为：采用如下公式，根据预先确定的多个不同食材种类对应的类特征向量和每一帧所述检测图像的特征向量，确定每一帧所述检测图像对应每一个所述食材种类的类相似度；

其中，S_j(f_i)代表所述多帧检测图像中的第i帧检测图像对应所述预先确定的多个不同食材种类中的第j类食材种类的类相似度，σ代表平滑系数，D(h_i，c_j)代表所述预先确定的多个不同食材种类中的第j类食材种类的类特征向量和所述多帧检测图像中的第i帧检测图像的特征向量的距离，f_i代表所述第i帧检测图像，h_i代表所述第i帧检测图像的特征向量，c_j代表所述第j类食材种类的类特征向量。

5.如权利要求4所述的冰箱，其特征在于，所述处理器被进一步配置为：采用如下公式，根据每一帧所述检测图像对应每一个所述食材种类的类相似度，确定每一帧所述检测图像对应每一个所述食材种类的初始置信概率；

其中，0≤m_j(f_i)≤1，

m_j(f_i)代表所述第i帧检测图像对应所述第j类食材种类的初始置信概率。

6.如权利要求2-5任一项所述的冰箱，其特征在于，所述处理器被进一步配置为：

采用DS证据理论，从所述多帧检测图像中的第一帧检测图像开始，依次将对应同一所述食材种类的每一帧所述检测图像的初始置信概率进行融合处理，确定所述待识别食材对应每一个所述食材种类的目标置信概率。

7.如权利要求1-5任一项所述的冰箱，其特征在于，所述处理器被进一步配置为：

接收具有已知食材的多个初始图像组；其中，所述初始图像组包括多个初始图像，同一所述初始图像组的食材的食材种类相同，不同所述初始图像组的食材的食材种类不同；

确定每个所述初始图像的特征向量；

将每一所述初始图像组中的每个初始图像的特征向量进行聚类，得到对应每一所述初始图像组的食材种类的类特征向量。

8.一种食材识别方法，其特征在于，包括：

接收所述多帧检测图像，并确定每一帧所述检测图像的特征向量；

根据预先确定的多个不同食材种类对应的类特征向量和每一帧所述检测图像的特征向量，确定所述待识别食材对应每一个所述食材种类的目标置信概率；

将所述目标置信概率中的最大值对应的食材种类，确定为所述待识别食材的种类。

9.如权利要求8所述的食材识别方法，其特征在于，所述确定所述待识别食材对应每一个所述食材种类的目标置信概率，包括：

根据预先确定的多个不同食材种类对应的类特征向量和每一帧所述检测图像的特征向量，确定每一帧所述检测图像对应每一个所述食材种类的初始置信概率；

将对应同一所述食材种类的每一帧所述检测图像的初始置信概率进行融合处理，确定所述待识别食材对应每一个所述食材种类的目标置信概率。

10.如权利要求8或9所述的食材识别方法，其特征在于，确定多个不同食材种类对应的类特征向量，包括：

接收具有已知食材的多个初始图像组；其中，所述初始图像组包括多个初始图像，同一所述初始图像组的食材的食材种类相同，不同所述初始图像组的食材的食材种类不同；

确定每个所述初始图像的特征向量；

将每一所述初始图像组中的每个初始图像的特征向量进行聚类，得到对应每一所述初始图像组的食材种类的类特征向量。

Images