CN107133650A - 冰箱的食物识别方法、装置及冰箱 - Google Patents

Abstract

本发明公开了一种冰箱的食物识别方法、装置及冰箱，所述冰箱包括图像识别协处理器，所述食物识别方法包括以下步骤：采集食物图像；通过所述图像识别协处理器对所述食物图像进行卷积处理以提取所述食物图像的特征图像，并对所述特征图像进行池化处理，以及根据预设的神经网络模型对池化处理后的结果进行识别分类以获取食物的识别结果。本发明实施例的方法，能够通过冰箱内置的图像识别协处理器对采集到的食物图像进行识别分类以获得食物的识别结果，从而无需在云端进行识别，避免了因网络延时而带来的问题，提高了用户体验。

Description

冰箱的食物识别方法、装置及冰箱

技术领域

本发明涉及家用电器技术领域，特别涉及一种冰箱的食物识别方法、一种冰箱的食物识别装置和一种冰箱。

背景技术

随着人工智能技术的发展，尤其是深度学习方法的出现，使图像识别开始具有实用化的价值。然而在冰箱的食物识别方面，由于识别算法复杂，通常在云端进行识别，而后再将识别结果返回本地，但是这种方式由于网络延时等问题，可能无法满足实时性要求。

发明内容

本发明旨在至少在一定程度上解决上述技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种冰箱的食物识别方法，能够通过冰箱内置的图像识别协处理器对采集到的食物图像进行识别分类以获得食物的识别结果，从而无需在云端进行识别，避免了因网络延时而带来的问题，提高了用户体验。

本发明的第二个目的在于提出一种冰箱的食物识别装置。

本发明的第三个目的在于提出一种冰箱。

为达到上述目的，本发明第一方面实施例提出了一种冰箱的食物识别方法，所述冰箱包括图像识别协处理器，所述食物识别方法包括以下步骤：采集食物图像；通过所述图像识别协处理器对所述食物图像进行卷积处理以提取所述食物图像的特征图像，并对所述特征图像进行池化处理，以及根据预设的神经网络模型对池化处理后的结果进行识别分类以获取食物的识别结果。

根据本发明实施例的冰箱的食物识别方法，首先采集食物图像，然后通过图像识别协处理器对食物图像进行卷积处理以提取食物图像的特征图像，并对特征图像进行池化处理，以及根据预设的神经网络模型对池化处理后的结果进行识别分类以获取食物的识别结果。由此，该方法能够通过冰箱内置的图像识别协处理器对采集到的食物图像进行识别分类以获得食物的识别结果，从而无需在云端进行识别，避免了因网络延时而带来的问题，提高了用户体验。

另外，根据本发明上述实施例提出的冰箱的食物识别方法还可以具有如下附加的技术特征：

在本发明的一个实施例中，通过高清摄像头或红外摄像头采集食物图像。

在本发明的一个实施例中，所述识别结果包括食物的种类和对应的位置信息。

在本发明的一个实施例中，所述预设的神经网络模型为经过训练的神经网络模型。

在本发明的一个实施例中，在采集食物图像之前，还包括：连接服务器，并通过所述服务器检测所述预设的神经网络模型是否有更新；如果所述预设的神经网络模型有更新，则通过所述服务器下载最新的神经网络模型，以对所述预设的神经网络模型进行更新。

为达到上述目的，本发明第二方面实施例提出了一种冰箱的食物识别装置，所述冰箱包括图像识别协处理器，所述食物识别装置包括：图像采集模块，所述图像采集模块用于采集食物图像；图像识别模块，所述图像识别模块用于通过所述图像识别协处理器对所述食物图像进行卷积处理以提取所述食物图像的特征图像，并对所述特征图像进行池化处理，以及根据预设的神经网络模型对池化处理后的结果进行识别分类以获取食物的识别结果。

本发明实施例的冰箱的食物识别装置，通过图像采集模块采集食物图像，且使图像识别模块通过图像识别协处理器对食物图像进行卷积处理以提取食物图像的特征图像，并对特征图像进行池化处理，以及根据预设的神经网络模型对池化处理后的结果进行识别分类以获取食物的识别结果。由此，该装置能够通过冰箱内置的图像识别协处理器对采集到的食物图像进行识别分类以获得食物的识别结果，从而无需在云端进行识别，避免了因网络延时而带来的问题，提高了用户体验。

另外，根据本发明上述实施例提出的冰箱的食物识别装置还可以具有如下附加的技术特征：

在本发明的一个实施例中，所述图像采集模块通过高清摄像头或红外摄像头采集食物图像。

在本发明的一个实施例中，所述识别结果包括食物的种类和对应的位置信息。

在本发明的一个实施例中，所述预设的神经网络模型为经过训练的神经网络模型。

在本发明的一个实施例中，所述图像采集模块，还用于：在采集食物图像之前，连接服务器，并通过所述服务器检测所述预设的神经网络模型是否有更新；如果所述预设的神经网络模型有更新，则通过所述服务器下载最新的神经网络模型，以对所述预设的神经网络模型进行更新。

为了实现上述目的，本发明第三方面实施例提出的一种冰箱包括：本发明第二方面实施例的冰箱的食物识别装置。

本发明实施例的冰箱，通过上述冰箱的食物识别装置，能够控制冰箱内置的图像识别协处理器对采集到的食物图像进行识别分类以获得食物的识别结果，从而无需在云端进行识别，避免了因网络延时而带来的问题，提高了用户体验。

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1是根据本发明一个实施例的冰箱的食物识别方法的流程图。

图2是根据本发明一个实施例的冰箱的食物识别装置的方框示意图。

图3是根据本发明另一个实施例的冰箱的食物识别装置的方框示意图。

图4是根据本发明又一个实施例的冰箱的食物识别装置的方框示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面结合附图来描述本发明实施例的冰箱的食物识别方法、装置及冰箱。

图1是根据本发明一个实施例的冰箱的食物识别方法的流程图。在本发明的实施例中，冰箱可包括图像识别协处理器，其中，图像识别协处理器可为GPU(GraphicsProcessing Unit，图形处理器)、FPGA(Field Programmable Gate Array，现场可编程逻辑门阵列)或者其他利于卷积预算的SoC(System on Chip，系统级芯片)。

如图1所示，本发明实施例的冰箱的食物识别方法包括以下步骤：

S1，采集食物图像。

在本发明的一个实施例中，可通过高清摄像头或红外摄像头采集食物图像(例如，食物的图片)。应说明的是，该实施例中所描述的高清摄像头或红外摄像头均可安装在冰箱门的内侧，以方便采集冰箱内的食物图像。

另外，需要说明的是，由于冰箱食物的拍摄场景固定，因此可以认为在冰箱内采集的实物图像具有相似的背景，而所要识别的食物的种类和位置不同。

具体地，冰箱在上电后进入运行状态，此时该冰箱的摄像头处于关闭状态。当该冰箱接收到用户输入的食物识别指令时，可开启摄像头采集冰箱内食物的图像。在本发明的实施例中，在开启摄像头的同时还可点亮冰箱内的灯(例如，冰箱内的LED(Light EmittingDiode，发光二极管)灯管)，以使摄像头采集到的图片更为的清晰。

另外，鉴于图像在采集和传输时，色彩信息容易受到光源颜色和方向等多种因素的影响。为了避免这种色彩偏移，冰箱在获取到食物的图像后，可首先对该食物的图像进行图像增强处理，可包括对比度增强、空域滤波、噪声消除、图像平滑和图像锐化等。

在本发明的其他实施例中，冰箱在采集到食物图像后，还可将该食物图像保存在冰箱的存储设备中，以方便用户查看，例如，用户可通过冰箱的控制面板或移动终端发送查看食物图像的指令给冰箱的主CPU(Central Processing Unit，中央处理器)，然后冰箱的主CPU从该冰箱的存储设备中调出食物图像，并将其提供给用户，从而提高用户体验。

S2，通过图像识别协处理器对食物图像进行卷积处理以提取食物图像的特征图像，并对特征图像进行池化处理，以及根据预设的神经网络模型对池化处理后的结果进行识别分类以获取食物的识别结果。其中，预设的神经网络模型可根据实际情况进行标定。

在本发明的实施例中，识别结果可包括食物的种类(例如，白菜、萝卜、西红柿和猪肉等)和对应的位置信息，预设的神经网络模型可为经过训练的神经网络模型。应说明的是，在冰箱内食物的位置是随机摆放的，本发明在检测冰箱内每种食材的位置的时候，通常用(x，y，w，h)表示，其中(x，y)代表食物左上角的坐标，w为其宽度，h为其高度。

具体地，冰箱(即，冰箱的主CPU)在采集到食物图像后，可将该食物图像发送至图像识别协处理器，然后通过图像识别协处理器对该食物图像进行卷积处理以提取食物图像的特征图像，并在提取到该食物图像的特征图像后，通过图像识别协处理器对该特征图像进行池化处理，以得到降低冗余度后的特征图像，最后通过图像识别协处理器根据预设的神经网络模型对上述降低冗余度后的特征图像进行识别分类以获取食物的种类和对应的位置信息。

需要说明的是，该实施例中所描述的卷积处理可以是图像识别协处理器采用卷积核对采集的食物图像进行卷积运算。即，通过选定的卷积核对食物图片进行处理首先是基于局部感知野的原理。一般认为人对外界的认知是从局部到全局的，而图像的空间联系也是局部的像素联系较为紧密，而距离较远的像素相关性则较弱。因而，每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，然后在更高层将局部的信息综合起来就得到了全局的信息。其次，可以认为图像的各个部分的统计特征是相同的，这也意味着我们在这一部分学习的特征也能用在另一部分上，所以对于这个图像上的所有位置，我们都能使用同样的学习特征。就可以选用同样的卷积核进行处理，而得到特征图像。

另外，该实施例中所描述的池化处理的作用可以是通过降采样的方式进一步降低冗余度。这是利用静态图片的空间相关性。可以认为经过卷积处理得到的特征图表述了图像的某种特征，邻近各点之间具有较强的相关性，可以利用降采样降低冗余。

此外，该实施例中所描述的卷积处理和池化处理的操作可能会进行若干次，之后得到最终的特征图像。

为了进一步保证食物识别的准确性，在本发明的一个实施例中，在采集食物图像之前，还可包括连接服务器，并通过服务器检测预设的神经网络模型是否有更新，如果预设的神经网络模型有更新，则通过服务器下载最新的神经网络模型，以对预设的神经网络模型进行更新。

例如，当冰箱上电运行时，可通过内置的WIFI(Wireless Fidelity，无线局域网)模块连接相应的服务器，并通过服务器检测预先存储在冰箱中的神经网络模型是否有更新。如果预先存储在冰箱中的神经网络模型有更新，则通过服务器下载最新的神经网络模型，以替换预先存储在冰箱中的神经网络模型。从而确保在对冰箱内的食物进行识别分类之前，冰箱中的神经网络模型为最新的。

需要说明的是，上述实施例中所描述的服务器中的最新的神经网络模型是经过训练后的神经网络模型。

在本发明的实施例中，冰箱在得到食物的识别结果后，可将该食物的识别结果显示在冰箱的显示屏中，或者通过无线网络将该食物的识别结果发送至用户的移动终端中，以使用户能够及时了解冰箱中食材的种类以及其分布的状况。

综上，根据本发明实施例的冰箱的食物识别方法，首先采集食物图像，然后通过图像识别协处理器对食物图像进行卷积处理以提取食物图像的特征图像，并对特征图像进行池化处理，以及根据预设的神经网络模型对池化处理后的结果进行识别分类以获取食物的识别结果。由此，该方法能够通过冰箱内置的图像识别协处理器对采集到的食物图像进行识别分类以获得食物的识别结果，从而无需在云端进行识别，避免了因网络延时而带来的问题，提高了用户体验。

图2是根据本发明一个实施例的冰箱的食物识别装置的方框示意图。在本发明的实施例中，冰箱可包括图像识别协处理器10，其中，图像识别协处理器10可为GPU、FPGA或者其他利于卷积预算的SoC。

如图2所示，本发明实施例的冰箱的食物识装置包括：图像采集模块100和图像识别模块200。

其中，图像采集模块100用于采集食物图像。

在本发明的一个实施例中，图像采集模块100通过高清摄像头或红外摄像头采集食物图像。应说明的是，该实施例中所描述的高清摄像头或红外摄像头均可安装在冰箱门的内侧，以方便采集冰箱内的食物图像。

另外，需要说明的是，由于冰箱食物的拍摄场景固定，因此可以认为在冰箱内采集的实物图像具有相似的背景，而所要识别的食物的种类和位置不同。

具体地，冰箱在上电后进入运行状态，此时该冰箱的摄像头处于关闭状态。当该冰箱接收到用户输入的食物识别指令时，图像采集模块100可开启摄像头采集冰箱内食物的图像。在本发明的实施例中，图像采集模块100在开启摄像头的同时还可点亮冰箱内的灯(例如，冰箱内的LED灯管)，以使摄像头采集到的图片更为的清晰。

另外，鉴于图像在采集和传输时，色彩信息容易受到光源颜色和方向等多种因素的影响。为了避免这种色彩偏移，图像采集模块100在获取到食物的图像后，可首先对该食物的图像进行图像增强处理，可包括对比度增强、空域滤波、噪声消除、图像平滑和图像锐化等。

在本发明的其他实施例中，如图3所示，图像采集模块100在采集到食物图像后，还可将该食物图像保存在冰箱的存储设备20中，以方便用户查看，例如，用户可通过冰箱的控制面板或移动终端发送查看食物图像的指令给冰箱的主CPU(Central Processing Unit，中央处理器)，然后冰箱的主CPU从该冰箱的存储设备20中调出食物图像，并将其提供给用户，从而提高用户体验。

图像识别模块200用于通过图像识别协处理器10对食物图像进行卷积处理以提取食物图像的特征图像，并对特征图像进行池化处理，以及根据预设的神经网络模型对池化处理后的结果进行识别分类以获取食物的识别结果。其中，预设的神经网络模型可根据实际情况进行标定。

在本发明的实施例中，识别结果可包括食物的种类(例如，白菜、萝卜、西红柿和猪肉等)和对应的位置信息，预设的神经网络模型可为经过训练的神经网络模型。应说明的是，在冰箱内食物的位置是随机摆放的，本发明在检测冰箱内每种食材的位置的时候，通常用(x，y，w，h)表示，其中(x，y)代表食物左上角的坐标，w为其宽度，h为其高度。

具体地，图像采集模块100(即，冰箱的主CPU)在采集到食物图像后，可将该食物图像发送至图像识别模块200，然后图像识别模块200通过图像识别协处理器10对该食物图像进行卷积处理以提取食物图像的特征图像，并在提取到该食物图像的特征图像后，通过图像识别协处理器10对该特征图像进行池化处理，以得到降低冗余度后的特征图像，最后通过图像识别协处理器10根据预设的神经网络模型对上述降低冗余度后的特征图像进行识别分类以获取食物的种类和对应的位置信息。

需要说明的是，该实施例中所描述的卷积处理可以是图像识别协处理器采用卷积核对采集的食物图像进行卷积运算。即，通过选定的卷积核对食物图片进行处理首先是基于局部感知野的原理。一般认为人对外界的认知是从局部到全局的，而图像的空间联系也是局部的像素联系较为紧密，而距离较远的像素相关性则较弱。因而，每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，然后在更高层将局部的信息综合起来就得到了全局的信息。其次，可以认为图像的各个部分的统计特征是相同的，这也意味着我们在这一部分学习的特征也能用在另一部分上，所以对于这个图像上的所有位置，我们都能使用同样的学习特征。就可以选用同样的卷积核进行处理，而得到特征图像。

另外，该实施例中所描述的池化处理的作用可以是通过降采样的方式进一步降低冗余度。这是利用静态图片的空间相关性。可以认为经过卷积处理得到的特征图表述了图像的某种特征，邻近各点之间具有较强的相关性，可以利用降采样降低冗余。

此外，该实施例中所描述的卷积处理和池化处理的操作可能会进行若干次，之后得到最终的特征图像。

为了进一步保证食物识别的准确性，在本发明的一个实施例中，如图4所示，图像采集模块100还可用于在采集食物图像之前，连接服务器30，并通过服务器30检测预设的神经网络模型是否有更新，如果预设的神经网络模型有更新，则通过服务器30下载最新的神经网络模型，以对预设的神经网络模型进行更新。

例如，当冰箱上电运行时，图像采集模块100可通过内置的WIFI(WirelessFidelity，无线局域网)模块连接相应的服务器30，并通过服务器30检测预先存储在冰箱中的神经网络模型是否有更新。如果预先存储在冰箱中的神经网络模型有更新，则通过服务器30下载最新的神经网络模型，以替换预先存储在冰箱中的神经网络模型。从而确保在对冰箱内的食物进行识别分类之前，冰箱中的神经网络模型为最新的。

需要说明的是，上述实施例中所描述的服务器中的最新的神经网络模型是经过训练后的神经网络模型。

在本发明的实施例中，图像识别模块200在得到食物的识别结果后，可将该食物的识别结果显示在冰箱的显示屏中，或者通过无线网络将该食物的识别结果发送至用户的移动终端中，以使用户能够及时了解冰箱中食材的种类以及其分布的状况。

综上，本发明实施例的冰箱的食物识别装置，通过图像采集模块采集食物图像，且使图像识别模块通过图像识别协处理器对食物图像进行卷积处理以提取食物图像的特征图像，并对特征图像进行池化处理，以及根据预设的神经网络模型对池化处理后的结果进行识别分类以获取食物的识别结果。由此，该装置能够通过冰箱内置的图像识别协处理器对采集到的食物图像进行识别分类以获得食物的识别结果，从而无需在云端进行识别，避免了因网络延时而带来的问题，提高了用户体验。

为了实现上述实施例，本发明还提出一种冰箱，其包括上述冰箱的食物识别装置。

本发明实施例的冰箱，通过上述冰箱的食物识别装置，能够控制冰箱内置的图像识别协处理器对采集到的食物图像进行识别分类以获得食物的识别结果，从而无需在云端进行识别，避免了因网络延时而带来的问题，提高了用户体验。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种冰箱的食物识别方法，其特征在于，所述冰箱包括图像识别协处理器，所述食物识别方法包括以下步骤：

采集食物图像；

通过所述图像识别协处理器对所述食物图像进行卷积处理以提取所述食物图像的特征图像，并对所述特征图像进行池化处理，以及根据预设的神经网络模型对池化处理后的结果进行识别分类以获取食物的识别结果。

2.如权利要求1所述的冰箱的食物识别方法，其特征在于，其中，

通过高清摄像头或红外摄像头采集食物图像。

3.如权利要求1所述的冰箱的食物识别方法，其特征在于，所述识别结果包括食物的种类和对应的位置信息。

4.如权利要求1所述的冰箱的食物识别方法，其特征在于，所述预设的神经网络模型为经过训练的神经网络模型。

5.如权利要求1所述的冰箱的食物识别方法，其特征在于，在采集食物图像之前，还包括：

连接服务器，并通过所述服务器检测所述预设的神经网络模型是否有更新；

如果所述预设的神经网络模型有更新，则通过所述服务器下载最新的神经网络模型，以对所述预设的神经网络模型进行更新。

6.一种冰箱的食物识别装置，其特征在于，所述冰箱包括图像识别协处理器，所述食物识别装置包括：

图像采集模块，所述图像采集模块用于采集食物图像；

图像识别模块，所述图像识别模块用于通过所述图像识别协处理器对所述食物图像进行卷积处理以提取所述食物图像的特征图像，并对所述特征图像进行池化处理，以及根据预设的神经网络模型对池化处理后的结果进行识别分类以获取食物的识别结果。

7.如权利要求6所述的冰箱的食物识别装置，其特征在于，其中，

所述图像采集模块通过高清摄像头或红外摄像头采集食物图像。

8.如权利要求6所述的冰箱的食物识别装置，其特征在于，所述识别结果包括食物的种类和对应的位置信息。

9.如权利要求6所述的冰箱的食物识别装置，其特征在于，所述预设的神经网络模型为经过训练的神经网络模型。

10.如权利要求6所述的冰箱的食物识别装置，其特征在于，所述图像采集模块，还用于：

在采集食物图像之前，连接服务器，并通过所述服务器检测所述预设的神经网络模型是否有更新；

如果所述预设的神经网络模型有更新，则通过所述服务器下载最新的神经网络模型，以对所述预设的神经网络模型进行更新。

11.一种冰箱，其特征在于，包括如权利要求6-10中任一项所述的冰箱的食物识别装置。