CN108615015A - 一种冰箱内部食材的识别方法、设备及图像识别系统 - Google Patents

Abstract

本发明的实施例公开一种冰箱内部食材的识别方法、设备及图像识别系统，涉及图像处理领域，能够简化冰箱的结构，降低成本。该方法包括：图像处理服务器获取冰箱的储物间室内的图像，图像包括所述冰箱的储物间室内的每个层架的食材；所述图像处理服务器通过直线检测的方式将所述图像按照层架进行分离；所述图像处理服务器对每个层架对应的图像区域包含的食材进行识别；所述图像处理服务器通将识别结果发送至终端设备。

Description

一种冰箱内部食材的识别方法、设备及图像识别系统

技术领域

本发明的实施例涉及图像处理领域，尤其涉及一种冰箱内部食材的识别方法、设备及图像识别系统。

背景技术

目前，大部分的智能冰箱都实现了对内部食材的识别功能。通常为了在冰箱上实现对冰箱内部食材的准确识别，冰箱的每个层架都对应安装一个或多个摄像头用于拍摄食材，并对拍摄的照片进行处理后生成识别结果直接显示在冰箱的显示界面或者发送至与冰箱连接的移动终端，例如手机。在当前的食材识别方法中，由于需要通过冰箱自身携带的算法进行图像处理，因此，在冰箱中需要设置多个摄像头，以尽量保证食材图片的清晰度，从而保证识别的准确性，并且清晰的食材照片也有利于降低算法的复杂度。但是，这将使得冰箱的结构复杂，成本增加。

发明内容

本发明的实施例提供一种冰箱内部食材的识别方法、设备及图像识别系统，能够简化冰箱的结构，降低成本。

第一方面，提供一种冰箱内部食材的识别方法，包括：获取冰箱的储物间室内的图像，所述图像包括所述冰箱的储物间室内的每个层架的食材；通过直线检测的方式将所述图像按照层架进行分离；对每个层架对应的图像区域包含的食材进行识别；将识别结果发送至所述终端设备。在上述方案中，由于可以将冰箱采集的图像上传至图像服务器进行图像识别，从而实现冰箱内食材的识别，因此可以降低冰箱中对图像的处理复杂度，由于图像处理服务器可以实现较为复杂的运算，这样便降低了对图像清晰度的要求，因此能够将冰箱采集的储物间室内的图像上传至图像处理服务器，则图像处理服务器便可以进行食材的识别，而不必在冰箱内设置多处摄像头，这样简化了冰箱的结构，降低了成本。

第二方面，提供一种图像处理服务器，包括：获取模块，用于获取冰箱的储物间室内的图像，所述图像包括所述冰箱的储物间室内的每个层架的食材；处理模块，用于通过直线检测的方式将所述获取模块获取的图像按照层架进行分离；所述处理模块，还用于对每个层架对应的图像区域包含的食材进行识别；发送模块，用于将处理模块生成的识别结果发送至所述终端设备。

第三方面，提供一种图像处理服务器，包括：通信接口、处理器、存储器、总线；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过所述总线连接，当所述图像处理服务器运行时，所述处理器执行所述存储器存储的计算机执行指令，以使所述图像处理服务器执行如上述第五方面提供的方法。

第四方面，提供一种计算机存储介质，包括指令，当其在计算机上运行时，使得所述计算机执行如上述第五方面提供的方法。

第五方面，提供一种图像识别系统，包括冰箱、终端设备以及如上述的图像处理服务器；其中，所述冰箱中设置有图像采集装置，用于采集冰箱的储物间室内的图像，其中所述图像包括所述冰箱的储物间室内的每个层架的食材。

可以理解地，上述提供的任一种图像识别系统、图像处理服务器或计算机存储介质均用于执行上文所提供的第五方面对应的方法，因此，其所能达到的有益效果可参考上文第五方面的方法以及下文具体实施方式中对应的方案的有益效果，此处不再赘述。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的实施例提供的一种图像识别系统的示意图；

图2为本发明的实施例提供的一种冰箱内部食材的识别方法示意图；

图3为本发明的实施例提供的一种图像上的候选框和识别框的设置方式示意图；

图4为本发明的实施例提供的一种冰箱的结构示意图；

图5为本发明的另一实施例提供的一种冰箱的结构示意图；

图6为本发明的实施例提供的一种图像处理服务器的结构示意图；

图7为本发明的另一实施例提供的一种图像处理服务器的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着智能家用电器的发展，大部分的智能冰箱都实现了对内部食材的识别功能。通常为了在冰箱上实现对冰箱内部食材的准确识别，冰箱的每个层架都对应安装一个或多个摄像头用于拍摄食材，并对拍摄的照片进行处理后生成识别结果直接显示在冰箱的显示界面或者发送至与冰箱连接的移动终端，例如手机。在当前的食材识别方法中，由于需要通过冰箱自身携带的算法进行图像处理，因此，在冰箱中需要设置多个摄像头，以尽量保证食材图片的清晰度，从而保证识别的准确性，并且清晰的食材照片也有利于降低算法的复杂度。但是，这将使得冰箱的结构复杂，成本增加。

为解决上述问题，本发明的实施例提供一种冰箱内部食材的识别方法，该方法应用于如下图1示出的场景的图像识别系统，具体包括：冰箱11、图像处理服务器12以及终端设备13(例如手机、ipad等)，其中终端设备13可以为集成在冰箱11上的具有显示功能显示装置。此外，冰箱11、图像处理服务器12以及终端设备13通过无线接入设备14进行通信，示例性的，无线接入设备14可以为WiFi设备。其中，冰箱11中设置有图像采集装置，用于采集冰箱11的储物间室内的图像，其中图像包括冰箱的储物间室内的每个层架的食材。

基于上述的场景本申请的实施例提供一种冰箱内部食材的识别方法，参照图2所示，包括如下步骤：

101、冰箱检测冰箱门的状态，当冰箱门处于预定位置时，触发图像采集装置采集冰箱的储物间室内的图像，其中图像包括冰箱的储物间室内每个层架的食材。

其中，冰箱门上设置有图像采集装置，例如：摄像头，其中该摄像头设置的位置以及角度可以使得摄像头随冰箱门移动至预定位置时，能够一次拍摄到冰箱的每个层架，示例性的，如图3所示，提供一种冰箱的箱体内部的示意图，其中该冰箱设置有五个层架。可以在冰箱门和冰箱箱体之间设置光敏传感器，这样，可以根据光敏传感器检测的光感参数确定冰箱门的状态，当根据光敏传感器的光感参数检测到冰箱门运动到预定位置时，触发摄像头对五个层架进行拍照，例如图片分辨率为1080×1920。此外，冰箱还包括灯光补偿装置；在触发图像采集装置采集冰箱内部的图像时，还可以驱动灯光补偿装置对冰箱内部的预定位置进行灯光补偿。例如，冰箱内部的第四层和第五层位置靠下，冰箱顶部的光线照射至第四层和第五层时已经比较暗，这时在第四层和第五层的位置设置灯光补偿装置，触发图像采集装置采集冰箱内部的图像时，驱动灯光补偿装置对第四层和第五层的位置进行灯光补偿。

102、冰箱将图像发送至终端设备以及图像处理服务器，以便图像处理服务器对图像进行识别。

示例性的，采集到图像后，冰箱通过WiFi设备把图像上传到图像处理服务器。若用户需要获知冰箱内部的食材，则通过终端设备查看对图像的识别结果，则会触发图像处理服务器中的识别程序。识别程序首先获取冰箱发送过来的图像，然后进行食材识别。当然上述仅是示例性的说明，冰箱通过WiFi设备把图像上传到图像处理服务器，可以理解的是，也可以是，冰箱通过WiFi设备把图像发送至终端设备，然后由终端设备将图像上传至图像处理服务器，具体的，当终端设备向图像处理服务器发送识别指令后，图像处理服务器具体通过如下方式进行图像识别：

103、图像处理服务器获取冰箱的储物间室内的图像，图像包括冰箱的储物间室内的每个层架的食材。

104、图像处理服务器通过直线检测的方式将获取模块获取的图像按照层架进行分离。

需要说明的是，图像处理服务器进行图像识别可以由终端设备发送的识别指令触发。其中，步骤103中可以是冰箱直接将图像发送至图像服务器，此时，终端设备需要控制图像服务器对图像进行识别前，仅需要在识别指令中携带图像的标识；或者步骤103中可以是冰箱将图像通过终端设备转发至图像服务器，这是可以理解的是识别指令可以为与图像同时发送至图像处理服务器。

在进行下述步骤的食材检测之前，首先在步骤104中进行直线检测，例如可以采用霍夫变换，检测直线角度在-15度到15度之间的直线，通过直线检测的结果把图像按照五个层架分离开，然后对每个层架对应的图像区域进行食材识别。

105、图像处理服务器对每个层架对应的图像区域包含的食材进行识别。

具体的，步骤105包括：在每一层架对应的图像区域设置至少一个候选框，其中至少一个候选框横向排列；在候选框周围设置至少两个识别框，其中所述识别框覆盖的像素区域包含候选框覆盖的像素区域，并且至少两个识别框的像素位置不重合；需要说明的是两个识别框的像素不重合指两个识别框内所包含的像素的坐标部分相同或者全部不相同，例如，第一识别框所包含的部分部分像素区域位于第二识别框内部，或者第一识别框与第二识别框不相交；通过卷积神经网络对识别框中的食材进行识别，获取识别结果。

以下结合图3进行说明，由于拍摄角度问题，距离摄像头较近的食材在图像中的缩放比例要比距离摄像头较远的食材的缩放比例小，因此本发明的实施例中对距离摄像头较近的第一个层架、第二个层架和第三个层架以及距离摄像头较远的第四个层架和第五个层架区别处理。示例性的在上面第一个层架、第二个层架和第三个层架对应的图像区域中，每一层架对应的图像区域横向左右各留出120个像素，然后平均分为六列设置六个候选框，候选框离层架的距离为80个像素，候选框的大小为140×140像素；第四个层架和第五个层架对应的图像区域中，每一层架对应的图像区域横向左右各留出210个像素，然后平均分为六列设置六个候选框，候选框离层架的距离为40个像素，候选框的大小为110×110像素，其中第一个层架对应的图像区域的候选框如图3中实线框所示。

对每个候选框周围选取两个识别框，识别框的大小为上面三个层架对应的图像区域分别取280×180和180×280像素，如图3中虚线框所示，下面个层架对应的图像区域分别取220×140和140×220像素，这样保证不同形状的食材能够被精确识别，图3中未示出，其中第四个层架和第五个层架对应的图像区域的识别框可以参考上面三个层架对应的图像区域的识别框的设置方式，只是像素面积不同。对应识别框中的食材图片，设计卷积神经网络进行识别，例如，识别种类为200种已经设定的食材。遍历五个层架对应的图像区域所有识别框，通过卷积神经网络进行识别。

设计的卷积神经网络为：第一层为32个3×3卷积，步长为2；第二层为32个3×3卷积层，步长为1；第三层为64个3×3卷积层，步长为2；第四层为128个3×3卷积层，步长为1；第五层和第六层为全连接层，神经元都是4096个；第七层为全连接层，神经元为200个，代表识别的食材的个数。这样设计的好处是网络深度不会太深，参数不会太多，另外采用步长为2的卷积替代传统的池化层能够减小卷积神经网络层数，另外，从第二层到第四层，后一层卷积个数是前一层卷积个数的2倍，很好的弥补了由于图像尺寸降低带来的空间信息的丢失。对于识别出的某一食材的结果概率大于0.7时，认为识别结果正确。训练时采用的数据为提前分类好的四十万个样本数据，例如，200种食材×2000张样本图像/种食材。

对于同一个候选框所对应的两个识别框中食材如果识别结果对应同一食材则，对其结果进行合并，保留任一识别框的识别结果或者取置信度大的值所对应的识别框的食材为识别结果。如果两个识别框结果不一致，则两个结果都保留。

106、图像处理服务器将识别结果发送至终端设备。

在上述方案中，由于可以将冰箱采集的图像上传至图像服务器进行图像识别，从而实现冰箱内食材的识别，因此可以降低冰箱中对图像的处理复杂度，由于图像处理服务器可以实现较为复杂的运算，这样便降低了对图像清晰度的要求，因此能够将冰箱采集的储物间室内的图像上传至图像处理服务器，则图像处理服务器便可以进行食材的识别，而不必在冰箱内设置多处摄像头，这样简化了冰箱的结构，降低了成本。

此外，由于可以降低冰箱中对图像的处理复杂度，而图像处理服务器可以实现较为复杂的运算，这样便降低了对图像清晰度的要求，从而而不必在冰箱内设置多处摄像头获取清晰的图像，这样简化了冰箱的结构，降低了成本。

参照图4所示，提供一种冰箱，冰箱门上设置有图像采集装置41，冰箱还包括：

检测模块42，用于检测冰箱门的状态；

处理模块43，用于当所述检测模块42检测到冰箱门处于预定位置时，触发所述图像采集装置41采集冰箱的储物间室内的图像，其中所述图像包括所述冰箱的储物间室内的每个层架的食材；

发送模块44，用于将所述图像采集装置41采集的图像发送至终端设备以及图像处理服务器，以便所述图像处理服务器根据终端设备发送的识别指令对所述图像进行识别。

在一种示例性的方案中，所述冰箱还包括光敏传感器45；所述检测模块42具体用于根据所述光敏传感器45检测的光感参数确定所述冰箱门的状态。

在一种示例性的方案中，所述冰箱还包括灯光补偿装置46；所述处理模块43，还用于在触发所述图像采集装置41采集冰箱内部的图像时，驱动所述灯光补偿装置46对所述冰箱内部的预定位置进行灯光补偿。

其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，其作用在此不再赘述。

在采用集成的模块的情况下，冰箱包括：存储单元、处理单元以及接口单元。处理单元用于对冰箱的动作进行控制管理，例如，处理单元用于支持终端设备执行图2中的过程101；接口单元用于支持冰箱与其他设备的信息交互例如执行图2中的过程102。存储单元，用于存储冰箱的程序代码和数据。

其中，以处理单元为处理器，存储单元为存储器，接口单元为通信接口为例。其中，冰箱参照图5中所示，包括通信接口501、处理器502、存储器503和总线504，通信接口501、处理器502通过总线504与存储器503相连。

处理器502可以是一个通用中央处理器(Central Processing Unit，

CPU)，微处理器，特定应用集成电路(Application-Specific IntegratedCircuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。

存储器503可以是只读存储器(Read-Only Memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(Random Access Memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。

其中，存储器503用于存储执行本申请方案的应用程序代码，并由处理器502来控制执行。通讯接口501用于与其他设备进行信息交互，例如与图像处理服务器以及终端设备的信息交互。处理器502用于执行存储器503中存储的应用程序代码，从而实现本申请实施例中所述的方法。

此外，还提供一种计算存储媒体(或介质)，包括在被执行时进行上述实施例中的冰箱执行的方法操作的指令。另外，还提供一种计算机程序产品，包括上述计算存储媒体(或介质)。

参照图6所示，提供一种图像处理服务器，包括：

获取模块61，用于获取冰箱的储物间室内的图像，所述图像包括所述冰箱的储物间室内每个层架的食材；

处理模块62，用于通过直线检测的方式将所述获取模块61获取的图像按照层架进行分离；

所述处理模块62，还用于对每个层架对应的图像区域包含的食材进行识别；

发送模块63，用于将处理模块生成的识别结果发送至所述终端设备。

在一种示例性的方案中，所述处理模块62具体用于在每一层架对应的图像区域设置至少一个候选框，其中所述至少一个候选框横向排列；在所述候选框周围设置至少两个识别框，其中所述识别框覆盖的像素区域包含所述候选框覆盖的像素区域，并且所述至少两个识别框的像素位置不重合；通过卷积神经网络对所述识别框中的食材进行识别，获取识别结果。

在一种示例性的方案中，所述处理模块62还用于若确定所述候选框对应的至少两个识别框的识别结果对应同一食材，则保留任一识别框的识别结果。

其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，其作用在此不再赘述。

在采用集成的模块的情况下，图像处理服务器包括：存储单元、处理单元以及接口单元。处理单元用于对图像处理服务器的动作进行控制管理，例如，处理单元用于支持图像处理服务器执行图2中的过程104-105；接口单元用于支持图像处理服务器执与其他设备的信息交互，例如执行上述的步骤103、106。存储单元，用于存储冰箱的程序代码和数据。

其中，以处理单元为处理器，存储单元为存储器，接口单元为通信接口为例。其中，冰箱参照图7中所示，包括通信接口701、处理器702、存储器703和总线704，通信接口701、处理器702通过总线704与存储器703相连。

其中各部件的具体功能与上述冰箱中的各部件的功能类似不再赘述，其中，存储器703用于存储执行本申请方案的应用程序代码，并由处理器702来控制执行。通讯接口701用于与其他设备进行信息交互，例如执行上述的步骤103、106。处理器702用于执行存储器703中存储的应用程序代码，从而实现本申请实施例中所述的方法。

此外，还提供一种计算存储媒体(或介质)，包括在被执行时进行上述实施例中的图像处理服务器执行的方法操作的指令。另外，还提供一种计算机程序产品，包括上述计算存储媒体(或介质)。

其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，其作用在此不再赘述。

应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称:read-only memory，英文简称：ROM)、随机存取存储器(英文全称：random access memory，英文简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种冰箱内部食材的识别方法，其特征在于，包括：

图像处理服务器获取冰箱的储物间室内的图像，所述图像包括所述冰箱的储物间室内的每个层架的食材；

所述图像处理服务器通过直线检测的方式将所述图像按照层架进行分离；

所述图像处理服务器对每个层架对应的图像区域包含的食材进行识别；

所述图像处理服务器通将识别结果发送至终端设备。

2.根据权利要求1所述的方法，其特征在于，所述图像处理服务器对每个层架对应的图像区域包含的食材进行识别，包括：

在每一层架对应的图像区域设置至少一个候选框，其中所述至少一个候选框横向排列；

在所述候选框周围设置至少两个识别框，其中所述识别框覆盖的像素区域包含所述候选框覆盖的像素区域，并且所述至少两个识别框的像素位置不重合；

通过卷积神经网络对所述识别框中的食材进行识别，获取识别结果。

3.根据权利要求1所述的方法，其特征在于，所述获取识别结果之前还包括：

若确定所述候选框对应的至少两个识别框的识别结果对应同一食材，则保留任一识别框的识别结果。

4.一种图像处理服务器，其特征在于，包括：

获取模块，用于获取冰箱的储物间室内的图像，所述图像包括所述冰箱的储物间室内的每个层架的食材；

处理模块，用于通过直线检测的方式将所述获取模块获取的图像按照层架进行分离；

所述处理模块，还用于对每个层架对应的图像区域包含的食材进行识别；

发送模块，用于将处理模块生成的识别结果发送至所述终端设备。

5.根据权利要求4所述的图像处理服务器，其特征在于，所述处理模块具体用于在每一层架对应的图像区域设置至少一个候选框，其中所述至少一个候选框横向排列；在所述候选框周围设置至少两个识别框，其中所述识别框覆盖的像素区域包含所述候选框覆盖的像素区域，并且所述至少两个识别框的像素位置不重合；通过卷积神经网络对所述识别框中的食材进行识别，获取识别结果。

6.根据权利要求4所述的图像处理服务器，其特征在于，所述处理模块还用于若确定所述候选框对应的至少两个识别框的识别结果对应同一食材，则保留任一识别框的识别结果。

7.一种图像识别系统，其特征在于，包括冰箱、终端设备以及如权利要求4-6任一项所述的图像处理服务器；

其中，所述冰箱中设置有图像采集装置，用于采集冰箱的储物间室内的图像，其中所述图像包括所述冰箱的储物间室内的每个层架的食材。