CN113465268A - 一种冰箱及食材识别方法 - Google Patents

Abstract

本发明公开了一种冰箱及食材识别方法，可以通过处理器接收至少一帧检测图像，并根据检测图像以及预先确定的多个不同的食材种类标签，可以确定出检测图像对应的目标修复图像，以使目标修复图像可以为将检测图像中的待识别食材的遮挡区域中的至少部分描绘出的图像。这样可以通过对检测图像中的被遮挡的待识别食材进行修复，得到去遮挡后的目标修复图像。在对去遮挡后的目标修复图像进行分类识别，可以得到最终的食材类别。这样可以降低由于遮挡对识别结果异常的影响，从而可以提高食材种类识别的准确度。

Description

一种冰箱及食材识别方法

技术领域

本发明涉及显示技术领域，特别涉及一种冰箱及食材识别方法。

背景技术

随着生活水平的日益提高，冰箱已经成为人们生活中必不可少的家用电器，用户可以将吃不完的食物放置在冰箱中保存，避免食物出现腐坏。随着生活需求的提高，人们对冰箱产品的智能化的要求程度也越来越高。

发明内容

本申请一些实施例提供了一种冰箱及食材识别方法，用以提高冰箱的智能化。

本发明实施例提供的冰箱，包括：

机壳，所述机壳包括储藏室，所述储藏室具有开口；

门体，与所述机壳活动连接，用于遮挡所述开口；

图像采集单元，用于响应于所述门体的开启，采集用户拿取的待识别食材的检测图像；其中，所述检测图像中的待识别食材具有被遮挡主体遮挡的遮挡区域；

处理器，被配置为：

接收至少一帧所述检测图像；

针对每一所述检测图像，根据所述检测图像以及预先确定的多个不同的食材种类标签，确定所述检测图像对应的目标修复图像；其中，所述目标修复图像为将所述检测图像中的所述待识别食材的所述遮挡区域中的至少部分描绘出的图像；

根据所述检测图像对应的目标修复图像进行种类识别，确定所述待识别食材的食材种类。

本申请一些实施例提供的上述冰箱，可以通过处理器接收至少一帧检测图像，并根据检测图像以及预先确定的多个不同的食材种类标签，可以确定出检测图像对应的目标修复图像，以使目标修复图像可以为将检测图像中的待识别食材的遮挡区域中的至少部分描绘出的图像。这样可以通过对检测图像中的被遮挡的待识别食材进行修复，得到去遮挡后的目标修复图像。在对去遮挡后的目标修复图像进行分类识别，可以得到最终的食材类别。这样可以降低由于遮挡对识别结果异常的影响，从而可以提高食材种类识别的准确度。

本发明实施例提供的食材识别方法，包括：

接收至少一帧所述检测图像；

针对每一所述检测图像，根据所述检测图像以及预先确定的多个不同的食材种类标签，确定所述检测图像对应的目标修复图像；其中，所述目标修复图像为将所述检测图像中的所述待识别食材的所述遮挡区域中的至少部分描绘出的图像；

根据所述检测图像对应的目标修复图像进行种类识别，确定所述待识别食材的食材种类。

本申请一些实施例提供的上述食材识别方法，可以通过接收至少一帧检测图像，并根据检测图像以及预先确定的多个不同的食材种类标签，可以确定出检测图像对应的目标修复图像，以使目标修复图像可以为将检测图像中的待识别食材的遮挡区域中的至少部分描绘出的图像。这样可以通过对检测图像中的被遮挡的待识别食材进行修复，得到去遮挡后的目标修复图像。在对去遮挡后的目标修复图像进行分类识别，可以得到最终的食材类别。这样可以降低由于遮挡对识别结果异常的影响，从而可以提高食材种类识别的准确度。

附图说明

图1为本申请一些实施例提供的冰箱的结构示意图；

图2为本申请一些实施例提供的一些图像采集单元的位置的结构示意图；

图3为本申请一些实施例提供的另一些图像采集单元的位置的结构示意图；

图4为本申请一些实施例提供的一些冰箱的配置框图；

图5为本发明实施例中的一些食材识别方法的流程图；

图6a为本发明实施例中的检测图像的示意图；

图6b为本发明实施例中的目标修复图像的示意图；

图6c为本发明实施例中的基准图像的示意图；

图7为本发明实施例中的另一些食材识别方法的流程图；

图8为本发明实施例中的又一些食材识别方法的流程图；

图9为本发明实施例中的一些训练方法的流程图；

图10a为本发明实施例中的又一些示意图；

图10b为本发明实施例中的又一些示意图；

图10c为本发明实施例中的又一些示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。

需要注意的是，附图中各图形的尺寸和形状不反映真实比例，目的只是示意说明本发明内容。并且自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。

图1为本申请一些实施例中的一些冰箱的立体结构示意图。参照图1，本实施例的冰箱1可以包括近似长方体形状的机壳以及与机壳活动连接的门体0200。机壳可以包括储藏室0100。在实际应用中，冰箱1的外观可以通过限定存储空间的储藏室0100和设置在储藏室0100中的门体0200进行确定。在一些示例中，储藏室0100为具有开口的箱体，其由储藏室内胆、储藏室外壳以及位于两者之间的发泡层形成。门体0200用于遮挡储藏室0100的开口。储藏室0100被竖直分隔成位于下方的冷冻室0100A以及位于上方的冷藏室0100B。其中，冷冻室0100A和冷藏室0100B可分别具有独立的存储空间。

在一些示例中，门体0200可以包括冷冻室门体0200A和冷藏室门体0200B。并且，冷冻室0100A限定在储藏室0100的下侧处并且可通过冷冻室门体0200A将冷冻室0100A的开口进行选择性地覆盖。

在一些示例中，冷藏室0100B限定在储藏室0100的上侧处，即冷藏室0100B设置在冷冻室0100A上方。并且，通过冷藏室门体0200B将冷藏室0100B的开口进行选择性地覆盖。在实际应用中，冷藏室门体0200B可枢转地安装在冷藏室0100B上，这样可以使冷藏室0100B的开口可通过冷藏室门体0200B选择性地打开或关闭。

在一些示例中，在本发明实施方式中的冰箱的储藏室0100内，可以包括储物抽屉0101以及位于储物抽屉0101上的第一层架0102和第二层架0103。其中，储物抽屉0101第一层架0102和第二层架0103可以分别用来盛放食材(例如，水果、蔬菜等)。

随着生活需求的提高，人们对冰箱产品的智能化的要求程度也越来越高。例如，人们对冰箱中食材信息的智能化管理的要求也日益提高，从而使得冰箱中食材信息的智能化管理成为当前冰箱发展的趋势之一。其中，对食材种类的准确识别是实现其智能化管理的重要前提。

通常，食材种类录入的方式依赖于用户的手动或语音录入，极大影响了用户体验。虽然当前一些基于视觉识别的方法实现了食材种类的自动识别，其实现方法多为冰箱关门后或食材存取过程中抓取一帧关键图像进行识别。其中，在用户关闭冰箱门后通过冰箱内置的摄像头采集冰箱内部的图像，识别冰箱中现有的食材种类。这种方案的识别效果与食材在冰箱中摆放位置有很大影响，易因为食材之间的遮挡造成食材的漏识别。或者，在用户存取食材过程中至少抓取一帧食材图像进行识别，因此抓取的食材图像易受到用户手部或包装袋的遮挡，进而影响食材识别效果。

有鉴于此，本申请一些实施例提供的冰箱，可以降低由于用户手部或包装袋的遮挡对识别结果异常的影响，从而可以提高食材种类识别的准确度。

本申请一些实施例提供的冰箱，可以应用于对冰箱中的食材管理的场景中，例如，对用户存取的食材的种类进行识别，以提高对存取的食材的种类识别的准确性。

在本发明一些实施例中，在食材从冰箱的储藏室中拿出或向储藏室放入时实现存取食材的种类的识别，可以通过单帧图像进行识别，或者也可以通过多帧图像进行动态识别，以提高识别出食材的种类的准确度。

在本发明一些实施例中，如图2至图4所示，冰箱还可以包括图像采集单元10，用于采集用户存取食材过程中拿取食材的检测图像。在一些示例中，图像采集单元可以是彩色相机，也可以是深度相机，或者两者的组合。其中，彩色相机可以是普通彩色相机，也可以是广角彩色相机。深度相机可以是双目相机，也可以是结构光相机，还可以是基于飞行时间(time of fly，简称TOF)的相机。

在本发明一些实施例中，该图像采集单元的视角范围能够覆盖整个冷藏室和/或整个冷冻室，从而可以在用户存取食材过程中，采集到用户拿取食材的检测图像。在一些示例中，图像采集单元用于响应于门体的开启，获取具有待识别食材的检测图像。例如，在冷藏室门体0200B开启时，在用户拿取食材的过程进行采集，以采集多帧带有待识别食材的多帧检测图像。

在一些示例中，如图2所示，图像采集单元10可以安装在冰箱的储藏室(例如冷藏室0100B)内部的顶端。或者，如图3所示，图像采集单元10也可以安装在冰箱的储藏室(例如冷藏室0100B)外部的顶端(例如，靠近冷藏室门体0200B的顶部)。

在本发明一些实施例中，图4中示例性示出了冰箱的一些配置框图。如图4所示，冰箱还可以包括处理器110、存储器120、通信器130、用户输入接口140、用户输出接口150、供电电源160，图像采集接口170，以及显示器180。

处理器110包括随机存取存储器(Random Access Memory，RAM)111、只读存储器(Read Only Memory image，ROM)112、通信接口以及通信总线。处理器110用于控制上述器件的运行和操作，以及内部各部件之间的通信协作、外部和内部的数据处理功能。

示例性的，当检测到用户按压在按键144的交互或触摸在触摸板142上的交互时，处理器110可产生与检测到的交互相应的信号，并将该信号发送到显示器180，以使显示器180可以显示相应的内容或画面。

在一些示例中，处理器110可以是中央处理器(Central Processing Unit，CPU)，图形处理器(Graphics Processing Unit，GPU)或者CPU和GPU的组合。处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(Application-Specific IntegratedCircuit，ASIC)，可编程逻辑器件(Programmable Logic Device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(Complex Programmable Logic Device，CPLD)，现场可编程逻辑门阵列(Field-Programmable Gate Array，FPGA)，通用阵列逻辑(Generic Array Logic，GAL)或其任意组合。

存储器120，用于在处理器110的控制下存储驱动和控制的各种运行程序、数据和应用。存储器120，可以存储用户输入的各类控制信号指令。在一些示例中，存储器通过总线或其它方式与处理器相连，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，上述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行。在一些示例中，存储器可以为易失性存储器(Volatile Memory)，非易失性存储器(Non-volatileMemory)或者它们的组合。易失性存储器可以为随机存取存储器(Random-Access Memory，RAM)，例如静态随机存取存储器(Static Random Access Memory，SRAM)，动态随机存取存储器(Dynamic Random Access Memory，DRAM)。非易失性存储器可以为只读存储器(ReadOnly Memory，ROM)，例如可编程只读存储器(Programmable Read Only Memory，PROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)。非易失性存储器也可以为快闪存储器(Flash Memory)，磁存储器，例如磁带(MagneticTape)，软盘(Floppy Disk)，硬盘。非易失性存储器也可以为光盘。

通信器130，可以是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如冰箱可将内容数据发送至经由通信器130连接的外部设备，或者，从经由通信器130连接的外部设备浏览和下载内容数据。通信器130可以包括红外信号接口131、射频信号接口132、WIFI模块133、蓝牙通信协议模块134、有线以太网通信协议模块135等网络通信协议模块或近场通信协议模块，从而使通信器130可根据处理器110的控制，实现与外部设备或外部服务器之间控制信号和数据信号的通信。例如：红外信号接口时，需要将用户发送的红外控制信号按照红外控制协议转化后输出给处理器110。例如，射频信号接口时，需将用户输入的射频控制信号模式的指令转化后输出给处理器110。例如，通过WIFI模块133、蓝牙通信协议模块134、有线以太网通信协议模块135接收外部设备控制冰箱的控制信号，并将控制信号处理后输出给处理器110。

用户输入接口140，可包括麦克风141、触摸板142、传感器143、按键144等中至少一者，从而用户可以通过语音、触摸、手势、按压等将关于控制冰箱的用户指令输入到冰箱。

用户输出接口150，通过将用户输入接口140接收的用户指令输出给处理器110，以通过处理器110执行相应的程序步骤。或者，也可以使处理器110执行相应的程序步骤后，控制显示器180显示相应的画面或者通过用户输出接口输出相应的内容。这里，用户输出接口150可以包括LED接口151、产生振动的振动接口152、输出声音的声音输出接口153等。例如，外部设备中的显示设备可从用户输出接口150接收音频、视频或数据等输出信号，并且将输出信号在显示设备上显示为图像形式、在声音输出接口153输出为音频形式或在振动接口152输出为振动形式。

图像采集接口170，用于将图像采集单元10与冰箱进行信号连接。例如，图像采集单元10采集到的检测图像可以通过图像采集接口170传输给处理器110。

显示器180，用于接收处理器110输入的图像信号，进行显示视频内容、图像以及菜单操控界面。显示视频内容，可以来自处理器110处理后的视频内容，也可以来自通信器130或用户输入接口140输入的视频内容。显示器180，还可以同时显示用于控制冰箱的用户操控界面UI。

以及，显示器180还可以包括用于呈现画面的显示器组件以及驱动图像显示的驱动组件。或者，倘若显示器180为一种投影显示器，还可以包括一种投影装置和投影屏幕。

在一些实施例中，用户还可以在显示器180上显示的图形用户界面(graphic userinterface，GUI)输入用户命令，则处理器110可以接收用户输入的命令。其中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示器中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、控件、菜单、选项卡、文本框、对话框、状态栏、频道栏、Widget等可视的界面元素。

供电电源160，用于为冰箱中的各元件提供运行电力支持。示例性地，供电电源160可以为电池及相关控制电路。

如图5所示，本申请一些实施例提供的一些处理器，可以被配置为执行如下程序步骤：

S510、接收至少一帧检测图像。

S520、针对每一检测图像，根据检测图像以及预先确定的多个不同的食材种类标签，确定检测图像对应的目标修复图像；其中，目标修复图像为将检测图像中的待识别食材的遮挡区域中的至少部分描绘出的图像。

S530、根据检测图像对应的目标修复图像进行种类识别，确定待识别食材的食材种类。

本申请一些实施例提供的上述冰箱，由于处理器可以通过接收至少一帧检测图像，并根据检测图像以及预先确定的多个不同的食材种类标签，可以确定出检测图像对应的目标修复图像，以使目标修复图像可以为将检测图像中的待识别食材的遮挡区域中的至少部分描绘出的图像。这样可以通过对检测图像中的被遮挡的待识别食材进行修复，得到去遮挡后的目标修复图像。在对去遮挡后的目标修复图像进行分类识别，可以得到最终的食材类别。这样可以降低由于遮挡对识别结果异常的影响，从而可以提高食材种类识别的准确度。

在实际应用中，由于在用户存取食材过程中，至少抓取一帧食材图像进行识别，因此抓取的食材图像易受到用户手部或包装袋的遮挡，进而影响食材识别效果。示例性地，本申请中的遮挡主体可以为用户手部或包装袋。示例性地，图6a示意出了图像采集单元采集到的用户拿取的待识别食材的检测图像C0，该检测图像中的待识别食材具有被用户手部遮挡的遮挡区域。图6b示意出了目标修复图像M0，该目标修复图像为将检测图像中的待识别食材的遮挡区域中的至少部分描绘出的图像。示例性地，目标修复图像可以为将检测图像中的待识别食材的遮挡区域中的部分食材描绘出的图像，或者，目标修复图像也可以为将检测图像中的待识别食材的遮挡区域中的全部食材描绘出的图像，在此不作限定。

在一些示例中，如图7所示，处理器进一步被配置为：

S521、将检测图像输入预先训练完成的条件生成对抗网络的多个生成器中；其中，一个生成器存储预先确定的一个食材种类标签；

S522、针对每一个生成器，根据检测图像以及生成器中存储的预先确定的食材种类标签，生成检测图像对应生成器中存储的食材种类标签的初始修复图像；其中，初始修复图像为根据对应的食材种类标签将检测图像中的待识别食材的遮挡区域中的至少部分描绘出的图像；

S523、根据检测图像和各初始修复图像，确定检测图像对应的目标修复图像。

本发明通过条件生成对抗网络(CGAN，Conditional Generative AdversarialNetworks)将具有遮挡区域的检测图像进行修复，以获取目标修复图像。示例性地，由于食材多种多样，为了可以对不同种类食材的照片进行修复，可以使预先训练完成的条件生成对抗网络具有多个生成器，每个生成器存储有预先确定的一个食材种类标签，不同生成器存储的食材种类标签不同，这样可以满足多种食材的修复要求。例如，以生成器A1存储的食材种类标签为苹果，生成器A2存储的食材种类标签为梨，生成器A3存储的食材种类标签为香蕉，结合图6a，将一个检测图像C0分别输入生成器A1、生成器A2以及生成器A3中，经生成器A1生成的初始修复图像B1为将遮挡区域修复为具有苹果的特征的图像，经生成器A2生成的初始修复图像B2为将遮挡区域修复为具有梨的特征的图像，经生成器A3生成的初始修复图像B3为将遮挡区域修复为具有香蕉的特征的图像。之后，再根据检测图像和这些初始修复图像，确定出目标修复图像，以进行种类识别。

在一些示例中，可以采用编码器和解码器的结构作为生成器。示例性地，编码器可以通过变分自编码器(Variational Auto-Encoder)，自编码器、转置卷积神经网络等构成。示例性地，以编码器通过变分自编码器(Variational Auto-Encoder)构成为例，该变分自编码器的输入图像尺寸为224×224。因此，检测图像应通过图像放缩达到指定的分辨率，再输入变分自编码器中。在编码器的设计上，采用VGG-16的基本网络架构，即利用VGG-16卷积神经网络的全部卷积层(含激活层)和全部池化层部分，并在利用VGG-16卷积神经网络的全部卷积层(含激活层)和池化层部分中的最后一个池化层012后增加一个全连接层013。其结构如图10a所示，011代表含有激活层的卷积层，012代表池化层，013代表全连接层。其中，每一个卷积层011采用3×3的卷积核，每个卷积层011接一个ReLU激活层。池化层012采用最大池化，窗口大小为2×2。在利用VGG-16卷积神经网络的全部卷积层(含激活层)和池化层部分中最后一个池化层012后增加的全连接层013，神经元个数为1000，用以输出图像编码。示例性地，将初始修复图像输入第一个卷积层011中，之后根据卷积层011和池化层012之间的关系，将处理后的图像数据输入全连接层013，并经过全连接层013输出图像编码。

示例性地，解码器(Decoder)的设计采用与编码器的对称结构，采用相同数量和大小的卷积核，通过上采样层代替编码器中的池化层，窗口大小与池化层相同，具体在此不作赘述。

需要说明的是。生成器的功能可以使用上述步骤S522，其具体结构在此不作限定。

在一些示例中，如图8所示，处理器，进一步被配置为：

S5231、确定检测图像与各初始修复图像之间的相似度。

S5232、将初始修复图像的相似度中的最大值对应的初始修复图像，确定为检测图像对应的目标修复图像。

示例性地，提取检测图像的图像特征和各初始修复图像的图像特征，根据检测图像的图像特征和各初始修复图像的图像特征，确定检测图像与各初始修复图像之间的相似度。以初始修复图像B1、B2、B3为例，确定检测图像C0的图像特征，以及确定初始修复图像B1、B2、B3的图像特征。根据检测图像C0的图像特征和初始修复图像B1的图像特征，确定检测图像C0和初始修复图像B1之间的相似度D1。根据检测图像C0的图像特征和初始修复图像B2的图像特征，确定检测图像C0和初始修复图像B2之间的相似度D2。根据检测图像C0的图像特征和初始修复图像B3的图像特征，确定检测图像C0和初始修复图像B3之间的相似度D3。若相似度D1是相似度D1、D2、D3中的最大值，则将相似度D1对应的初始修复图像B1，确定为检测图像C0对应的目标修复图像M0。

在一些示例中，图像特征可以包括但不限于统计特征、纹理特征、结构特征、颜色特征。在实际应用中，可以根据实际应用的需求确定图像特征的具体实施方式，在此不作限定。

在一些示例中，可以使处理器被配置为接收一帧检测图像，这样可以仅通过一帧检测图像即可进行食材种类的识别，降低存储空间和计算量。示例性地，处理器被配置为接收一帧检测图像C0，确定出的目标修复图像为M0，直接根据目标修复图像M0进行食材种类的识别。

在一些示例中，也可以使处理器被配置为接收多帧检测图像。且处理器进一步被配置为；根据目标修复图像与对应的检测图像之间的相似度中的最大值对应的目标修复图像进行种类识别。这样可以得到多个目标修复图像，由于目标修复图像与检测图像之间的相似度已经在步骤S5231中确定出来了，因此可以直接根据这些目标修复图像与检测图像之间的相似度，将相似度中的最大值对应的目标修复图像确定出来，以根据该目标修复图像进行食材种类的识别，从而可以进一步提高食材种类的识别准确性。

在一些示例中，处理器进一步被配置为：将检测图像对应的目标修复图像输入采用卷积神经网络构建的分类器进行种类识别，确定待识别食材的食材种类。示例性地，如图10c所示，分类器的结构可以包括三个卷积层031-1、031-2、031-3及两个全连接层032-1、032-2。这三个卷积层中的前两个卷积层031-1、031-2采用的卷积核大小为3×3，最后一个卷积层031-3采用的卷积核为1×1。这两个全连接层中的第一个全连接层032-1的神经元个数为1024，第二个全连接层032-2的神经元个数为N。其中，N为食材种类的全部类别数。需要说明的是，分类器采用的上述卷积神经网络的结构仅是一个优选实施例。在实际应用中，通过其他结构的卷积神经网络形成的分类器也可行。当然，对于分类器部分，也可通过非深度学习的方法构建分类器，以实现食材种类的分类，如支持向量机等机器学习方法。

在一些示例中，如图9所示，条件生成对抗网络的训练方法，可以包括如下步骤：

S910、选取训练集和多个不同的食材种类标签；其中，训练集包括与各食材种类标签对应的样本图像和基准图像；样本图像中的食材具有被遮挡主体遮挡的遮挡区域；

S920、采用多个生成器和判别器构建条件生成对抗网络；其中，一个生成器存储一个食材种类标签；

S930、将每一样本图片输入各生成器中，生成每一样本图像对应各生成器中存储的食材种类标签的初始样本修复图像；其中，初始样本修复图像为根据对应的食材种类标签将样本图像中的食材的遮挡区域中的至少部分描绘出的图像；

S940、根据每一样本图像和对应的各初始样本修复图像，确定每一样本图像对应的目标样本修复图像；

S950、将同一食材种类标签对应的目标样本修复图像和基准图像输入判别器，确定同一食材种类标签对应的目标样本修复图像和基准图像之间相似的概率；

S960、根据概率对生成器中的参数和判别器中的参数进行调整。

示例性地，图6c示意出了基准图像MC。该基准图像MC可以为已知食材的图形，且该基准图像MC中的食材被用户的手部遮挡的部分较少。也就是说，可以通过分类器将基准图像MC中的食材种类直接识别出来。

示例性地，可以采用卷积神经网络作为判别器。示例性地，在判别器的设计上，可以采用LeNet、AlexNet、VGG、GeogleNet、ResNet等用于分类的常用卷积神经网络，其只需把最后的全连接层的神经元个数改为2个即可。示例性地，根据概率调整生成器中的每一层卷积核的值。

示例性地，判别器基于改进的AlexNet网络结构，本发明中将原AlexNet网络结构中卷积层后使用的ReLU激活函数改为Leakly ReLU激活函数。如图10b所示，021代表卷积层，022代表BN层，023代表全连接层。其中，将原AlexNet网络结构原有的池化层使用卷积层021代替，通过卷积操作实现特征图的降采样；将原AlexNet网络结构原有的LRN层改为BN层022；去除原AlexNet网络结构原来网络结构中的Dropout层。此外，为了实现图像的真假判别，本发明将原AlexNet网络结构最后一个全连接层023神经元的个数改为2个，使用Logistic分类器。示例性地，目标样本修复图像和基准图像输入第一个卷积层021，之后通过卷积层021和池化层022之间的关系，将处理后的数据依次经三个全连接层023，输出同一食材种类标签对应的目标样本修复图像和基准图像之间相似的概率。

进一步地，为了抑制判别器的不收敛问题，在判别器中增加谱归一化模块，即在模型参数更新时进行谱归一化操作。需要说明的是，改进的AlexNet网络结构能够实现上述步骤S950、具体结构在此不作赘述。并且，采用改进的AlexNet网络结构只是本发明的一个优选实施例，其他用于图像分类的神经网络同样可以实现判别器的结构，在此不作限定。示例性地，根据概率调整判别器中的每一层卷积核的值。

本申请一些实施例提供的冰箱个工作过程，可以包括如下步骤：

(1)如图6a所示，处理器接收一帧检测图像C0。该检测图像C0中待识别食材被用户手部遮挡了一部分。

(2)将检测图像C0分别输入生成器A1、生成器A2以及生成器A3中，检测图像C0经生成器A1生成初始修复图像B1，检测图像C0经生成器A2生成初始修复图像B2，检测图像C0经生成器A3生成初始修复图像B3。其中，初始修复图像B1为将遮挡区域修复为具有苹果的特征的图像，初始修复图像B2为将遮挡区域修复为具有梨的特征的图像，初始修复图像B3为将遮挡区域修复为具有香蕉的特征的图像。

(3)确定检测图像C0的图像特征，以及初始修复图像B1、B2、B3的图像特征。根据检测图像C0的图像特征和初始修复图像B1的图像特征，确定检测图像C0和初始修复图像B1之间的相似度D1。根据检测图像C0的图像特征和初始修复图像B2的图像特征，确定检测图像C0和初始修复图像B2之间的相似度D2。根据检测图像C0的图像特征和初始修复图像B3的图像特征，确定检测图像C0和初始修复图像B3之间的相似度D3。

(4)若相似度D1是相似度D1、D2、D3中的最大值，则将相似度D1对应的初始修复图像B1，确定为检测图像C0对应的目标修复图像M0。

(5)将目标修复图像M0输入采用卷积神经网络构建的分类器进行种类识别，以确定出待识别食材的食材种类为苹果。

基于同一发明构思，本发明实施例还提供了一种食材识别方法，如图5所示，可以包括如下步骤：

S510、接收至少一帧检测图像。

S520、针对每一检测图像，根据检测图像以及预先确定的多个不同的食材种类标签，确定检测图像对应的目标修复图像；其中，目标修复图像为将检测图像中的待识别食材的遮挡区域中的至少部分描绘出的图像。

S530、根据检测图像对应的目标修复图像进行种类识别，确定待识别食材的食材种类。

在一些示例中，如图7所示，确定检测图像对应的目标修复图像，具体可以包括如下步骤：

S521、将检测图像输入预先训练完成的条件生成对抗网络的多个生成器中；其中，一个生成器存储预先确定的一个食材种类标签；

S522、针对每一个生成器，根据检测图像以及生成器中存储的预先确定的食材种类标签，生成检测图像对应生成器中存储的食材种类标签的初始修复图像；其中，初始修复图像为根据对应的食材种类标签将检测图像中的待识别食材的遮挡区域中的至少部分描绘出的图像；

S523、根据检测图像和各初始修复图像，确定检测图像对应的目标修复图像。

在一些示例中，如图8所示，根据检测图像和各初始修复图像，确定检测图像对应的目标修复图像，具体可以包括如下步骤：

S5231、确定检测图像与各初始修复图像之间的相似度。

S5232、将初始修复图像的相似度中的最大值对应的初始修复图像，确定为检测图像对应的目标修复图像。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种冰箱，其特征在于，包括：

机壳，所述机壳包括储藏室，所述储藏室具有开口；

门体，与所述机壳活动连接，用于遮挡所述开口；

图像采集单元，用于响应于所述门体的开启，采集用户拿取的待识别食材的检测图像；其中，所述检测图像中的待识别食材具有被遮挡主体遮挡的遮挡区域；

处理器，被配置为：

接收至少一帧所述检测图像；

针对所述检测图像，根据所述检测图像以及预先确定的多个不同的食材种类标签，确定所述检测图像对应的目标修复图像；其中，所述目标修复图像为将所述检测图像中的所述待识别食材的所述遮挡区域中的至少部分描绘出的图像；

根据所述检测图像对应的目标修复图像进行种类识别，确定所述待识别食材的食材种类。

2.如权利要求1所述的冰箱，其特征在于，所述处理器，进一步被配置为：

将所述检测图像输入预先训练完成的条件生成对抗网络的多个生成器中；其中，一个所述生成器存储预先确定的一个所述食材种类标签；

针对每一个所述生成器，根据所述检测图像以及所述生成器中存储的预先确定的食材种类标签，生成所述检测图像对应所述生成器中存储的所述食材种类标签的初始修复图像；其中，所述初始修复图像为根据对应的所述食材种类标签将所述检测图像中的所述待识别食材的遮挡区域中的至少部分描绘出的图像；

根据所述检测图像和各所述初始修复图像，确定所述检测图像对应的目标修复图像。

3.如权利要求2所述的冰箱，其特征在于，所述处理器，进一步被配置为：

确定所述检测图像与各所述初始修复图像之间的相似度；

将所述初始修复图像的相似度中的最大值对应的初始修复图像，确定为所述检测图像对应的目标修复图像。

4.如权利要求1-3任一项所述的冰箱，其特征在于，所述处理器被配置为接收一帧所述检测图像；或者，

所述处理器被配置为接收多帧所述检测图像，且所述处理器进一步被配置为；根据所述目标修复图像与对应的所述检测图像之间的相似度中的最大值对应的目标修复图像进行种类识别。

5.如权利要求4所述的冰箱，其特征在于，所述处理器，进一步被配置为：将所述检测图像对应的目标修复图像输入采用卷积神经网络构建的分类器进行种类识别，确定所述待识别食材的食材种类。

6.如权利要求1-3任一项所述的冰箱，其特征在于，所述条件生成对抗网络的训练方法，包括：

选取训练集和多个不同的所述食材种类标签；其中，所述训练集包括与各所述食材种类标签对应的样本图像和基准图像；所述样本图像中的食材具有被所述遮挡主体遮挡的遮挡区域；

采用多个生成器和判别器构建所述条件生成对抗网络；其中，一个所述生成器存储一个所述食材种类标签；

将每一所述样本图片输入各所述生成器中，生成每一所述样本图像对应各所述生成器中存储的所述食材种类标签的初始样本修复图像；其中，所述初始样本修复图像为根据对应的所述食材种类标签将所述样本图像中的食材的遮挡区域中的至少部分描绘出的图像；

根据每一所述样本图像和对应的各所述初始样本修复图像，确定每一所述样本图像对应的目标样本修复图像；

将同一所述食材种类标签对应的目标样本修复图像和所述基准图像输入判别器，确定同一所述食材种类标签对应的目标样本修复图像和所述基准图像之间相似的概率；

根据所述概率对所述生成器中的参数和所述判别器中的参数进行调整。

7.如权利要求6所述的冰箱，其特征在于，采用编码器和解码器的结构作为所述生成器，采用卷积神经网络作为所述判别器。

8.一种食材识别方法，其特征在于，包括：

接收至少一帧所述检测图像；

针对每一所述检测图像，根据所述检测图像以及预先确定的多个不同的食材种类标签，确定所述检测图像对应的目标修复图像；其中，所述目标修复图像为将所述检测图像中的所述待识别食材的所述遮挡区域中的至少部分描绘出的图像；

根据所述检测图像对应的目标修复图像进行种类识别，确定所述待识别食材的食材种类。

9.如权利要求8所述的食材识别方法，其特征在于，所述确定所述检测图像对应的目标修复图像，具体包括：

将所述检测图像输入预先训练完成的条件生成对抗网络的多个生成器中；其中，一个所述生成器存储预先确定的一个所述食材种类标签；

针对每一个所述生成器，根据所述检测图像以及所述生成器中存储的预先确定的食材种类标签，生成所述检测图像对应所述生成器中存储的所述食材种类标签的初始修复图像；其中，所述初始修复图像为根据对应的所述食材种类标签将所述检测图像中的所述待识别食材的遮挡区域中的至少部分描绘出的图像；

根据所述检测图像和各所述初始修复图像，确定所述检测图像对应的目标修复图像。

10.如权利要求9项所述的食材识别方法，其特征在于，所述根据所述检测图像和各所述初始修复图像，确定所述检测图像对应的目标修复图像，具体包括：

确定所述检测图像与各所述初始修复图像之间的相似度；

将所述初始修复图像的相似度中的最大值对应的初始修复图像，确定为所述检测图像对应的目标修复图像。

Images