CN107609554A - 一种识别冰箱中食材的方法及装置 - Google Patents

Abstract

本发明涉及智能家电领域，特别涉及一种识别冰箱中食材的方法及装置，用以提高冰箱对内部食材进行识别时的速度和准确率，该方法为：该方法为：别设备获得冰箱内部的目标拍摄图像，并分别采用预设的滑动窗口集合中的每一种规格的滑动窗口对上述目标拍摄图像进行处理，获得多个局部拍摄图像，并分别通过对多个局部拍摄图像进行图像内容识别，输出相应的识别结果，其中，若相邻所述滑动窗口的识别结果相同，则将相邻所述滑动窗口合并为目标识别窗口。这样，可以采用不同规格的滑动窗口识别出不同外观的食材，既提高了食材的识别速度，又提升了食材的识别准确率，从而满足了用户对冰箱智能化程度的要求，使用户获得更好的用户体验。

Description

一种识别冰箱中食材的方法及装置

技术领域

本发明涉及智能家电领域，特别涉及一种识别冰箱中食材的方法及装置。

背景技术

随着科技的发展，人们生活中智能化产品越来越多，各种智能化产品的智能化程度也在不断提高。

智能冰箱的出现为人们的生活提供了方便，在相关技术人员对智能冰箱进行研发的过程中，难以攻克的一个难关是实现智能冰箱对内部食材的识别，目前技术下，智能冰箱的识别系统对内部的食材进行识别时的准确度低，并且识别速度慢，在智能冰箱内部的食材发生变化时，识别系统的反应速度慢，无法达到用户对智能冰箱的智能化程度的要求，用户体验差。

因此，需要设计一种新的识别冰箱中食材的方法以克服上述缺陷。

发明内容

本发明实施例提供一种识别冰箱中食材的方法及装置，用以解决现有技术中存在智能冰箱无法对内部的食材进行快速准确识别的问题。

本发明实施例提供的具体技术方案如下：

一种识别冰箱中食材的方法，包括：

获取冰箱内部的目标拍摄图像；

分别采用预设的滑动窗口集合中的每一种规格的滑动窗口对所述目标拍摄图像执行以下操作：

按照对应一种规格的滑动窗口预设的滑动步长，在所述目标拍摄图像上滑动所述滑动窗口；其中，每滑动一次，将所述滑动窗口当前覆盖的区域作为一个局部拍摄图像进行图像内容识别，输出相应的识别结果，以及若相邻所述滑动窗口的识别结果相同，则将相邻所述滑动窗口合并为目标识别窗口。

可选的，获取冰箱内部的目标拍摄图像，包括：

针对所述冰箱内部的一个层架进行拍摄，获得所述目标拍摄图像；

可选的，获取冰箱内部的目标拍摄图像，包括：

将通过摄像头获得的冰箱内部图像，作为初始拍摄图像；

确定所述初始拍摄图像中的物品占用区域，按照预定规格对所述初始拍摄图像中除所述物品占用区域之外的区域进行剪裁；其中，所述物品占用区域为推断出的冰箱内的物品对应的图像所在的大致区域；

将剪裁后得到的图像作为目标拍摄图像。

可选的，包括：

按照水平方向滑动所述滑动窗口。

可选的，将所述一个滑动窗口当前覆盖的区域作为一个局部拍摄图像进行图像内容识别，输出相应的识别结果，包括：

通过卷积神经网络对所述一个局部拍摄图像进行图像内容识别，分别获得所述一个局部拍摄图像中包含每一种食材的识别概率；

分别将每一种食材的识别概率与预设阈值进行比较，获得比较结果；

基于所述比较结果，确定存在识别概率大于所述设定阈值的一种食材时，将所述一种食材作为识别结果输出。

可选的，识别设备通过卷积神经网络对所述一个局部拍摄图像进行图像内容识别之前，进一步包括：

将所述一个局部拍摄图像和背景拍摄图像进行对比，所述背景拍摄图像是指：冰箱内部没有物品的情景下拍摄到的图像；

根据对比结果，确定所述一个局部拍摄图像和背景拍摄图像不相同时，则确定能够进行后续的图像识别。

可选的，进一步包括：

将最终获得的各个目标识别窗口对应的识别结果上报至控制系统。

一种识别冰箱中食材的装置，至少包括拍摄单元和识别单元，其中：

拍摄单元，用于获取冰箱内部的目标拍摄图像；

识别单元，用于分别采用预设的滑动窗口集合中的每一种规格的滑动窗口对所述目标拍摄图像执行以下操作：

按照对应一种规格的滑动窗口预设的滑动步长，在所述目标拍摄图像上滑动所述滑动窗口；其中，每滑动一次，将所述滑动窗口当前覆盖的区域作为一个局部拍摄图像进行图像内容识别，输出相应的识别结果，以及若相邻所述滑动窗口的识别结果相同，则将相邻所述滑动窗口合并为目标识别窗口。

可选的，所述拍摄单元具体用于：

针对所述冰箱内部的一个层架进行拍摄，获得所述目标拍摄图像；

可选的，所述拍摄单元具体用于：

将通过摄像头获得的冰箱内部图像，作为初始拍摄图像；

确定所述初始拍摄图像中的物品占用区域，按照预定规格对所述初始拍摄图像中除所述物品占用区域之外的区域进行剪裁；其中，所述物品占用区域为推断出的冰箱内的物品对应的图像所在的大致区域；

将剪裁后得到的图像作为目标拍摄图像。

可选的，所述识别单元具体用于：

按照水平方向滑动所述滑动窗口。

可选的，所述识别单元具体用于：

通过卷积神经网络对所述一个局部拍摄图像进行图像内容识别，分别获得所述一个局部拍摄图像中包含每一种食材的识别概率；

分别将每一种食材的识别概率与预设阈值进行比较，获得比较结果；

基于所述比较结果，确定存在识别概率大于所述设定阈值的一种食材时，将所述一种食材作为识别结果输出。

可选的，所述识别单元进一步用于：

通过卷积神经网络对所述一个局部拍摄图像进行图像内容识别之前，将所述一个局部拍摄图像和背景拍摄图像进行对比，所述背景拍摄图像是指：冰箱内部没有物品的情景下拍摄到的图像；

根据对比结果，确定所述一个局部拍摄图像和背景拍摄图像不相同时，则确定能够进行后续的图像识别。

可选的，进一步包括：

上报单元，用于将最终获得的各个目标识别窗口对应的识别结果上报至控制系统。

本发明有益效果如下：

本发明实施例中，针对冰箱的每一个层架上分别安装有相应的摄像头，识别设备通过层架上安装的摄像头获得目标拍摄图像，这样，当冰箱内部食材发生变化时，识别设备可以准确快速的获得信息，识别设备分别采用预设的滑动窗口集合中的每一种规格的滑动窗口对上述目标拍摄图像进行处理，获得多个局部拍摄图像，并分别通过对多个局部拍摄图像进行图像内容识别，输出相应的识别结果，其中，若相邻所述滑动窗口的识别结果相同，则将相邻所述滑动窗口合并为目标识别窗口。这样，可以采用不同规格的滑动窗口识别出不同外观的食材，既提高了食材的识别速度，又提升了食材的识别准确率，从而满足了用户对冰箱智能化程度的要求，使用户获得更好的用户体验。

附图说明

图1为本发明实施例中智能冰箱对食材进行识别的流程图；

图2为本发明实施例中识别设备结构功能示意图。

具体实施方式

为了实现冰箱对内部食材准确快速的识别，提高用户体验，本发明实施例中，针对冰箱的每一个层架上分别安装有相应的摄像头，识别设备通过层架上安装的摄像头获得目标拍摄图像，识别设备分别采用预设的滑动窗口集合中的每一种规格的滑动窗口对上述目标拍摄图像进行处理，通过不同规格的滑动窗口在目标拍摄图像中识别出不同外观的食材

下面结合附图对本发明优选的实施方式进行详细说明。

参阅图1所示，本发明实施例中，智能冰箱对食材进行识别的具体流程如下：

步骤100：智能冰箱确定冰箱门已经关闭后，开启摄像头对智能冰箱内部场景进行拍摄，获取初始拍摄图像。

具体的，智能冰箱中可以设置有多个层架，针对每一个层架上分别安装有相应的摄像头，一个摄像头用于对相应层架上摆放的食材进行拍摄。

后续实施例中，仅以智能冰箱中的一个层架及其对应的一个摄像头为例进行说明。

另一方面，实际应用中，冰箱门处通常安装有传感器，冰箱门关闭时，智能冰箱的控制器会接收到传感器发送的关门信息，智能冰箱接收到关门信息时则确定冰箱门已经关闭，从而开启摄像头对智能冰箱内部相应的层架上的食材进行拍摄，获取初始拍摄图像。

步骤101：智能冰箱按照预设图像规格对上述初始拍摄图像进行剪裁，获得目标拍摄图像，并且将目标拍摄图像发送到指定的识别设备进行后续处理。

具体的，由于初始拍摄图像中可能包含有多余的图像内容，同时为了减少后续的识别工作量，因此，智能冰箱在读取初始拍摄图像后，会先确定初始拍摄图像中的物品占用区域，按照预定规格对初始拍摄图像中除物品占用区域之外的区域进行剪裁；其中，物品占用区域为推断出的冰箱内的物品对应的图像所在的大致区域，然后，将剪裁后得到的图像作为目标拍摄图像。

之所以这样处理，是因为每个层架上设置了一个摄像头，用于拍摄层架空间内的物品，然而，一个摄像头的镜头范围可能会大于层架高度，相应的，通过一个摄像头获得的初始拍摄图像中有可能会包含其他层架(如，上上层架，下下层架等等)的物品，因此，本发明实施例中，需要对初始拍摄图像进行边缘剪载处理，以获得仅包含本层层架内物品的目标拍摄图像。

接着，智能冰箱会将目标拍摄图像发送到识别设备进行后续处理，上述识别设备可以是云端，也可以是其它智能设备。

例如，假设摄像头的分辨率为1280×760，智能冰箱读取初始拍摄图像后，按照图像分辨率为1280×380的预设图像规格对上述初始拍摄图像的中心区域进行剪裁，即将初始拍摄图像的列数保持不变，行数取原来的181-560，从而获得分辨率为1280×380的目标拍摄图像，然后，智能冰箱将目标拍摄图像发送到识别设备进行后续处理。

步骤102：识别设备分别采用预设的滑动窗口集合中的每一种规格的滑动窗口对所述目标拍摄图像执行以下操作：确定当前采用的一个滑动窗口；按照对应所述一个滑动窗口预设的滑动步长，在所述目标拍摄图像上滑动所述一个滑动窗口；其中，每滑动一次，将所述一个滑动窗口当前覆盖的区域作为一个局部拍摄图像进行图像内容识别，输出相应的识别结果，以及若相邻所述滑动窗口的识别结果相同，则将相邻所述滑动窗口合并为目标识别窗口。

具体的，识别设备中设置有一个滑动窗口集合，在上述滑动窗口集合中包含多种规格大小的滑动窗口，可选的，滑动窗口在水平方向滑动。

第一种情况下，假设滑动窗口为正方形。

例如，可以将滑动窗口的大小设置为96×96，将对应的滑动步长设置为32。

又例如，可以将滑动窗口的大小设置为76×76(即针对96×96的滑动窗口进行0.8倍缩小且取整数)，将对应的滑动步长设置为26的滑动窗口。

又例如，可以将滑动窗口的大小设置为114×114将(即针对96×96的滑动窗口进行1.2倍放大且取整数)，将对应的滑动步长设置为38。

等等。

上述多种规格大小的滑动窗口，可以针对目标拍摄图像中外切矩形接近正方形的不同体积的食材分别进行识别，如：苹果，橙子，西瓜等。

第二种情况下，假设滑动窗口为水平距离大于垂直距离的长方形。

例如，可以将滑动窗口的大小设置为144×64，将对应的滑动步长设置为16。

又例如，可以将滑动的窗口的大小设置为116×52，(即针对144×64的滑动窗口进行0.8倍缩小且取整数)，将对应的滑动步长设置为16。

又例如，可以将滑动窗口的大小设置为172×76(即将144×64的滑动窗口进行1.2倍放大且取整数)，将对应的滑动步长设置为20。

等等。

上述多种规格大小的滑动窗口，可以针对目标拍摄图像中外切矩形的水平距离大于垂直距离的不同体积的食材分别进行识别，如：萝卜，黄瓜等。

第三种情况，假设滑动窗口为水平距离小于垂直距离的长方形。

例如，可以将滑动窗口的大小设置为64×144，将对应的滑动步长设置为16。

又例如，可以将滑动窗口的大小设置为52×116(即将64×144的滑动窗口进行0.8倍缩小且取整数)，将对应的滑动步长设置为16。

又例如，可以将滑动窗口的大小设置为76×172(即将64×144的滑动窗口进行1.2倍放大且取整数)，将对应的滑动步长设置为20。

等等。

上述多种规格大小的滑动窗口，可以针对目标拍摄图像中外切矩形的垂直距离大于水平距离的不同体积的食材分别进行识别，如：各种大小的饮料瓶等。

设置多种规格大小的滑动窗口，目的在于对目标拍摄图像进行图像内容识别时，滑动窗口的规格大小和食材的形状大小更加接近。

后续实施例中，为了便于说明，仅以识别设备采用其中一种规格大小的滑动窗口(以下称为“滑动窗口x”)，对目标拍摄图像进行图像内容识别为例进行说明。

具体的，在使用滑动窗口时，识别设备从目标拍摄图像的任一端开始，将滑动窗口x按照对应的滑动步长在目标拍摄图像上进行滑动，每滑动一次，均会基于滑动窗口x当前的覆盖区域得到一个局部拍摄图像，那么，识别设备便会针对每一个局部拍摄图像进行图像内容识别。

以一个局部拍摄图像(以下称为局部拍摄图像x)为例，当识别设备对局部拍摄图像x进行图像内容识别时，可选的，可以按照以下步骤操作：

首先，将局部拍摄图像x和背景拍摄图像进行对比，上述背景拍摄图像是指：智能冰箱中预存的摄像头在食材为空的状态下对智能冰箱内部场景进行拍摄所得到的图像。

可选的，分别提取局部拍摄图像x和背景拍摄图像的局部二值模式(Local BinaryPatterns，LBP)特征，建立局部拍摄图像x和背景拍摄图像的LBP直方图，计算上述LBP直方图的欧氏距离，上述欧氏距离是指：在局部拍摄图像和背景拍摄图像的LBP直方图中，相同位置的两个元素的取值之差的平方和，表示局部拍摄图像和背景拍摄图像的像素之差。

若上述LBP直方图的欧氏距离大于设定阈值，则说明局部拍摄图像x和背景拍摄图像的差异大，进而说明局部拍摄图像x中存在食材，将局部拍摄图像x标注为识别候选框。

若上述LBP直方图的欧氏距离小于等于设定阈值，则说明局部拍摄图像x和背景拍摄图像的差异小，进而说明局部拍摄图像x中不存在食材，对局部拍摄图像x不进行标注。

然后，输出局部拍摄图像x和背景拍摄图像的对比结果。

当然，在已确定智能冰箱内部存在食材的情况下，为提高识别效率，可以不将每一个局部拍摄图像分别和背景拍摄图像进行对比，而是直接进行图像内容识别操作，在此不再赘述。

其次，识别设备直接通过卷积神经网络对每一个局部拍摄图像进行图像内容识别，并输出对应的识别结果，上述卷积神经网络中包括至少一个卷积层，至少一个池化层和至少一个全连接层。

以一个局部拍摄图像(以下称“局部拍摄图像y”)为例，当识别设备采用卷积神经网络对局部拍摄图像y进行图像内容识别时，按照以下步骤操作：

1)通过卷积神经网络中的卷积层对局部拍摄图像y的图像特征进行提取，获得局部拍摄图像y的特征图。

2)通过卷积神经网络中的池化层对局部拍摄图像y的特征图进行池化处理，即对局部拍摄图像y的特征图进行压缩，使得特征图变小，简化网络计算复杂量，并提取出输入的局部拍摄图像y的特征图的主要特征进行图像内容识别。

3)通过卷积神经网络中的全连接层对识别结果进行分类，输出局部拍摄图像y的识别结果。其中，通过获得的局部拍摄图像y中包含每一种食材的识别概率和设定阈值进行比较，获得局部拍摄图像y的识别结果。

若判断局部拍摄图像y的内容是任意一种食材的识别概率大于设定阈值，则确定局部拍摄图像y的内容为上述任意一种食材，输出上述任意一种食材的名称。

例如，局部拍摄图像y是苹果的识别概率是0.8，局部拍摄图像y是橙子的概率是0.3，设定阈值为0.6，等等，识别设备判断只有局部拍摄图像y是苹果的概率大于设定阈值，0.8>0.6，所以确定局部拍摄图像y的内容为苹果，并输出食材名称为苹果。

若判断局部拍摄图像y是任意一种食材的识别概率小于等于设定阈值，则确定局部拍摄图像y的内容为背景，输出识别结果。

例如，局部拍摄图像y是苹果的识别概率是0.1，局部拍摄图像y是橙子的概率是0.3，局部拍摄图像y是萝卜的识别概率是0.2，等等，设定阈值为0.6，识别设备判断所有的识别概率均小于等于设定阈值0.6，所以确定局部拍摄图像y的内容为背景，并输出识别结果为背景。

识别设备采用卷积神经网络对各个局部拍摄图像进行识别的过程中，在采用同一规格的滑动窗口进行滑动时，若相邻所述滑动窗口的识别结果相同，则将相邻所述滑动窗口合并为目标识别窗口。

以任意一个种规格的滑动窗口为例(以下称为滑动窗口x)，以及将滑动窗口x在滑动过程中的每一次停留位置称为滑动窗口x1、滑动窗口x2和滑动窗口x3……。

若识别设备确定滑动窗口x在滑动过程中，滑动窗口x1和滑动窗口x2先后获得的相邻的两个局部拍摄图像的识别结果相同，则将滑动窗口x1和滑动窗口合并为一个目标识别窗口，这样，滑动窗口x1和滑动窗口x2的识别结果便进行了合并。

实际应用中，同一滑动窗口在滑动过程中，通过对多个先后获得的相邻的两个局部拍摄图像的识别结果进行对比，可以将多个识别结果相同的滑动窗口合并为同一个目标识别窗口；可选的，可以采用一个外框对目标识别窗口进行标注显示，这样，通过目标识别窗口便可以看出识别出的物体的外观和位置。

具体的，若识别设备确定任意两个局部拍摄图像的中心距离小于预设的距离门限，则说明上述任意两个局部拍摄图像为基于同一滑动窗口先后两次获得的相邻的两个局部拍摄图像，上述中心距离是指：任意两个局部拍摄图像中心点之间的直线距离。

以任意三个局部拍摄图像(以下称为“局部拍摄图像a”，“局部拍摄图像b”和“局部拍摄图像c”)为例进行说明。

例如，假设预设的距离门限为32，局部拍摄图像a和局部拍摄图像b的中心距离为28，并且识别设备确定局部拍摄图像a的识别结果为苹果，确定局部拍摄图像b的识别结果也是苹果，则将局部拍摄图像a和局部拍摄图像b的识别结果进行合并，并将局部拍摄图像a和局部拍摄图像b各自对应的滑动窗口合并为目标识别窗口1。

若局部拍摄图像b与局部拍摄图像c的中心距离为28，并且局部拍摄图像c的识别结果也是苹果，则将局部拍摄图像b和局部拍摄图像c的识别结果进行合并汇总，即将局部拍摄图像a，局部拍摄图像b和局部拍摄图像c的识别结果进行合并汇总，并将目标识别窗口1和局部拍摄图像c对应的滑动窗口合并为目标识别窗口2。

以此类推，可以将识别结果相同的连续多个相邻的局部拍摄图像各自对应的滑动窗口最终合并为一个目标识别窗口，在此不再赘述。

步骤103：识别设备将最终获得的各个目标识别窗口对应的识别结果上报至控制系统。

识别设备采用不同规格的滑动窗口在目标拍摄图像上滑动，会产生若干局部拍摄图像，针对这些局部拍摄图像进行图像内容识别后，识别设备最终会获得若干目标识别窗口(经过步骤102，已将识别结果相同的相邻滑动窗口进行了合并)，如，目标识别窗口1标注了“苹果”、目标识别窗口2标注了“黄瓜”，目标识别窗口3标注了“白菜”，则识别设备将这些目标识别窗口的识别结果上报至控制系统，如，将包含有上述所有目标识别窗口的目标拍摄图像发送至用户使用的移动终端，或者，发送至后台服务器，等等。

基于上述实施例，参阅图2所示，本发明实施例中，一种识别冰箱中食材的装置，至少包括拍摄单元20，识别单元21，其中：

拍摄单元20，用于获取冰箱内部的目标拍摄图像；

识别单元21，用于分别采用预设的滑动窗口集合中的每一种规格的滑动窗口对所述目标拍摄图像执行以下操作：

按照对应一种规格的滑动窗口预设的滑动步长，在所述目标拍摄图像上滑动所述滑动窗口；其中，每滑动一次，将所述滑动窗口当前覆盖的区域作为一个局部拍摄图像进行图像内容识别，输出相应的识别结果，以及若相邻所述滑动窗口的识别结果相同，则将相邻所述滑动窗口合并为目标识别窗口。

可选的，拍摄单元20具体用于：

针对所述冰箱内部的一个层架进行拍摄，获得所述目标拍摄图像；

可选的，拍摄单元20具体用于：

将通过摄像头获得的冰箱内部图像，作为初始拍摄图像；

确定所述初始拍摄图像中的物品占用区域，按照预定规格对所述初始拍摄图像中除所述物品占用区域之外的区域进行剪裁；其中，所述物品占用区域为推断出的冰箱内的物品对应的图像所在的大致区域；

将剪裁后得到的图像作为目标拍摄图像。

可选的，识别单元21具体用于：

按照水平方向滑动所述滑动窗口。

可选的，识别单元21具体用于：

通过卷积神经网络对所述一个局部拍摄图像进行图像内容识别，分别获得所述一个局部拍摄图像中包含每一种食材的识别概率；

分别将每一种食材的识别概率与预设阈值进行比较，获得比较结果；

基于所述比较结果，确定存在识别概率大于所述设定阈值的一种食材时，将所述一种食材作为识别结果输出。

可选的，识别单元21进一步用于：

通过卷积神经网络对所述一个局部拍摄图像进行图像内容识别之前，将所述一个局部拍摄图像和背景拍摄图像进行对比，所述背景拍摄图像是指：冰箱内部没有物品的情景下拍摄到的图像；

根据对比结果，确定所述一个局部拍摄图像和背景拍摄图像不相同时，则确定能够进行后续的图像识别。

可选的，进一步包括：

上报单元22，用于将最终获得的各个目标识别窗口对应的识别结果上报至控制系统。

综上所述，本发明实施例中，针对冰箱的每一个层架上分别安装有相应的摄像头，识别设备通过层架上安装的摄像头获得目标拍摄图像，这样，当冰箱内部食材发生变化时，识别设备可以准确快速的获得信息，识别设备分别采用预设的滑动窗口集合中的每一种规格的滑动窗口对上述目标拍摄图像进行处理，获得多个局部拍摄图像，并分别通过对多个局部拍摄图像进行图像内容识别，输出相应的识别结果，其中，若相邻所述滑动窗口的识别结果相同，则将相邻所述滑动窗口合并为目标识别窗口。这样，可以采用不同规格的滑动窗口识别出不同外观的食材，既提高了食材的识别速度，又提升了食材的识别准确率，从而满足了用户对冰箱智能化程度的要求，使用户获得更好的用户体验。

进一步的，识别设备在分别采用预设的滑动窗口集合中的每一种规格的滑动窗口对上述目标拍摄图像进行处理之前，将目标拍摄图像和背景拍摄图像进行对比，判断是否进行后续的识别，上述背景拍摄图像是指：层架上安装的摄像头在食材为空的状态下，对冰箱内部场景进行拍摄所得到的图像，这样，节省了识别过程的时间，后续识别采用卷积神经网络的方式，进一步提高了识别速度和识别准确率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种识别冰箱中食材的方法，其特征在于，包括：

获取冰箱内部的目标拍摄图像；

分别采用预设的滑动窗口集合中的每一种规格的滑动窗口对所述目标拍摄图像执行以下操作：

按照对应一种规格的滑动窗口预设的滑动步长，在所述目标拍摄图像上滑动所述滑动窗口；其中，每滑动一次，将所述滑动窗口当前覆盖的区域作为一个局部拍摄图像进行图像内容识别，输出相应的识别结果，以及若相邻所述滑动窗口的识别结果相同，则将相邻所述滑动窗口合并为目标识别窗口。

2.如权利要求1所述的方法，其特征在于，获取冰箱内部的目标拍摄图像，包括：

针对所述冰箱内部的一个层架进行拍摄，获得所述目标拍摄图像。

3.如权利要求1所述的方法，其特征在于，获取冰箱内部的目标拍摄图像，包括：

将通过摄像头获得的冰箱内部图像，作为初始拍摄图像；

确定所述初始拍摄图像中的物品占用区域，按照预定规格对所述初始拍摄图像中除所述物品占用区域之外的区域进行剪裁；其中，所述物品占用区域为推断出的冰箱内的物品对应的图像所在的大致区域；

将剪裁后得到的图像作为目标拍摄图像。

4.如权利要求1所述的方法，其特征在于，包括：

按照水平方向滑动所述滑动窗口。

5.如权利要求1－4任一项所述的方法，其特征在于，将所述一个滑动窗口当前覆盖的区域作为一个局部拍摄图像进行图像内容识别，输出相应的识别结果，包括：

通过卷积神经网络对所述一个局部拍摄图像进行图像内容识别，分别获得所述一个局部拍摄图像中包含每一种食材的识别概率；

分别将每一种食材的识别概率与预设阈值进行比较，获得比较结果；

基于所述比较结果，确定存在识别概率大于所述设定阈值的一种食材时，将所述一种食材作为识别结果输出。

6.如权利要求5所述的方法，其特征在于，识别设备通过卷积神经网络对所述一个局部拍摄图像进行图像内容识别之前，进一步包括：

将所述一个局部拍摄图像和背景拍摄图像进行对比，所述背景拍摄图像是指：冰箱内部没有物品的情景下拍摄到的图像；

根据对比结果，确定所述一个局部拍摄图像和背景拍摄图像不相同时，则确定能够进行后续的图像识别。

7.如权利要求1－4任一项所述的方法，其特征在于，进一步包括：

将最终获得的各个目标识别窗口对应的识别结果上报至控制系统。

8.一种识别冰箱中食材的装置，其特征在于，至少包括拍摄单元和识别单元，其中：

拍摄单元，用于获取冰箱内部的目标拍摄图像；

识别单元，用于分别采用预设的滑动窗口集合中的每一种规格的滑动窗口对所述目标拍摄图像执行以下操作：

按照对应一种规格的滑动窗口预设的滑动步长，在所述目标拍摄图像上滑动所述滑动窗口；其中，每滑动一次，将所述滑动窗口当前覆盖的区域作为一个局部拍摄图像进行图像内容识别，输出相应的识别结果，以及若相邻所述滑动窗口的识别结果相同，则将相邻所述滑动窗口合并为目标识别窗口。

9.如权利要求8所述的装置，其特征在于，所述拍摄单元具体用于：

将通过摄像头获得的冰箱内部图像，作为初始拍摄图像；

确定所述初始拍摄图像中的物品占用区域，按照预定规格对所述初始拍摄图像中除所述物品占用区域之外的区域进行剪裁；其中，所述物品占用区域为推断出的冰箱内的物品对应的图像所在的大致区域；

将剪裁后得到的图像作为目标拍摄图像。

10.如权利要求8或9所述的装置，其特征在于，进一步包括：

上报单元，用于将最终获得的各个目标识别窗口对应的识别结果上报至控制系统。