CN110929658A - 图像识别方法、图像识别装置及冰箱 - Google Patents

Abstract

本申请涉及图像处理技术领域，公开一种图像识别方法。该方法应用于冰箱，包括：在检测到冰箱的门体打开时，对冰箱的间室进行拍摄，得到第一视频图像；在检测到间室内的热源时，对热源的移动进行拍摄，得到第二视频图像；从第一视频图像中选取与第二视频图像对应的视频图像作为第三视频图像；对第三视频图像进行图像识别，并根据图像识别结果获取待放入食材的相关信息。该方法能够仅对第一视频图像中与第二视频图像对应的视频图像进行图像识别，因此，降低了运算量。本申请还公开一种图像识别装置及冰箱。

Description

图像识别方法、图像识别装置及冰箱

技术领域

本申请涉及图像处理技术领域，例如涉及一种图像识别方法、图像识别装置及冰箱。

背景技术

随着计算机技术的发展和计算机视觉原理的应用，利用图像识别技术对诸如冰箱等产品内的食材进行准确识别具有广泛的应用价值。目前，对冰箱内的食材的识别主要是基于安装在冰箱门体的摄像头拍摄的视频图像进行的。例如，在冰箱门体打开一定角度后启动摄像头的拍摄，而在冰箱门体关闭后停止摄像头的拍摄。

在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：由于摄像头拍摄得到的是视频图像，并且仅能够获取该视频图像的开始时间和结束时间，因此，在对待放入食材进行图像识别时，需要对所拍摄的视频图像的每一帧图像进行图像识别，导致运算量大。

发明内容

为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

本公开实施例提供了一种图像识别方法、图像识别装置和冰箱，以解决在对待放入食材进行图像识别时，需要对所拍摄的视频图像的每一帧图像进行图像识别，导致运算量大的技术问题。

在一些实施例中，图像识别方法，应用于冰箱，包括：在检测到冰箱的门体打开时，对冰箱的间室进行拍摄，得到第一视频图像；在检测到间室内的热源时，对热源的移动进行拍摄，得到第二视频图像；从第一视频图像中选取与第二视频图像对应的视频图像作为第三视频图像；对第三视频图像进行图像识别，并根据图像识别结果获取待放入食材的相关信息。

在一些实施例中，图像识别装置，应用于冰箱，包括：第一检测模块，被配置为在检测到冰箱的门体打开时，对冰箱的间室进行拍摄，得到第一视频图像；第二检测模块，被配置为在检测到间室内的热源时，对热源的移动进行拍摄，得到第二视频图像；选取模块，被配置为从第一视频图像中选取与第二视频图像对应的视频图像作为第三视频图像；识别模块，被配置为对第三视频图像进行图像识别，并根据图像识别结果获取待放入食材的相关信息。

在一些实施例中，图像识别装置包括处理器和存储有程序指令的存储器，其中，处理器被配置为在执行程序指令时，执行如上所述的图像识别方法。

在一些实施例中，冰箱包括如上所述的图像识别装置。

本公开实施例提供的图像识别方法、图像识别装置及冰箱，可以实现以下技术效果：

通过在检测到冰箱的门体打开时对冰箱的间室进行拍摄，得到第一视频图像，在检测到间室内的热源时对热源的移动进行拍摄，得到第二视频图像，从第一视频图像中选取与第二视频图像对应的视频图像作为第三视频图像，以及对第三视频图像进行图像识别，并根据图像识别结果获取待放入食材的相关信息，能够仅对第一视频图像中与第二视频图像对应的视频图像进行图像识别，因此，降低了运算量。

以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。

附图说明

一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：

图1是相关技术中使用摄像头拍摄的冰箱的间室的场景示意图；

图2是本公开实施例的实施环境的环境示意图；

图3是本公开实施例提供的图像识别方法的流程示意图；

图4是本公开实施例的用户的手部轨迹的示意图；

图5是本公开实施例提供的图像识别方法的流程示意图；

图6是本公开实施例提供的图像识别装置的结构示意图；

图7是本公开实施例提供的图像识别装置的结构示意图。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。

图1是相关技术中使用摄像头拍摄的冰箱的间室的场景示意图。如图1所示，冰箱一般包括箱体、收容在箱体内的间室、设置在间室外侧的门体、以及收容在间室内用于放置食材的抽屉和搁板。此外，冰箱还包括角度传感器和摄像头，其中，角度传感器可以设置在门体的铰链处，用于检测门体的打开和关闭状态，以便启动摄像头；摄像头可以设置在间室的顶部，用于对间室内部进行拍摄。

当角度传感器检测到冰箱的门体打开一定角度后，启动摄像头对间室内部进行连续拍摄，得到如图1所示的四张视频图像。从上述视频图像可以看出，其记录了用户从打开冰箱到将柠檬放入冰箱的整个过程，通过对上述视频图像中的矩形区域进行图像识别，可以确定待放入冰箱内的食材为柠檬。

然而，相关技术中至少存在如下问题：由于无法确定待放入食材何时进入上述视频图像中的矩形区域，因此，需要对启动摄像头后拍摄的每一帧图像进行识别。这里，以高速摄像头为例，假设其采集速率为30帧/秒，并且从开启到关闭的拍摄时间为2分钟，则对于所拍摄的视频图像，其图像识别的运算量为2×60×30＝3,600帧，也就是说，对于2分钟的视频图像需要进行3,600次图像识别，导致运算量大。

图2是本公开实施例的实施环境的环境示意图。如图2所示，该实施环境包括储藏设备210、终端设备220、服务器230和网络设备240。

储藏设备210可以是用于冷藏、保鲜和/或冷冻食材的设备，例如冰箱、冰柜等；终端设备220可以称之为用户设备、终端设备、移动台或移动终端等，例如，终端设备220可以是移动电话或具有移动终端的计算机，也可以是便携式、手持式、计算机内置的或车载的移动装置，或者还可以是集成在储藏设备210上的具有显示功能的显示装置；服务器230可以是一台服务器，也可以是由若干台服务器组成的服务器集群，或者还可以是一个云计算服务中心，本公开实施例对此不作限制。

储藏设备210、终端设备220和服务器230通过网络设备240进行通信。网络设备240可以是有线网络设备，例如路由器、交换机等；也可以是无线网络设备，例如无线路由器、无线接入点(Access Point，AP)设备等，本公开实施例对此不作限制。服务器230存储有食材的相关信息，用于接收储藏设备210发送的识别请求，以及向终端设备220发送识别结果。

需要说明的是，本公开实施例也可以在离线的实施环境下实现。

图3是本公开实施例提供的图像识别方法的流程示意图，以及图4是本公开实施例的用户的手部轨迹的示意图。图3的图像识别方法可以由图2的储藏设备210、终端设备220和服务器230中的任一个执行，如图3所示，该图像识别方法，应用于冰箱，包括：

S310，在检测到冰箱的门体打开时，对冰箱的间室进行拍摄，得到第一视频图像；

S320，在检测到间室内的热源时，对热源的移动进行拍摄，得到第二视频图像；

S330，从第一视频图像中选取与第二视频图像对应的视频图像作为第三视频图像；

S340，对第三视频图像进行图像识别，并根据图像识别结果获取待放入食材的相关信息。

具体地，当角度传感器检测到冰箱的门体打开一定角度后，启动设置在冰箱的间室的顶部的红绿蓝摄像头和红外热成像摄像头，其中，红绿蓝摄像头用于对冰箱的间室内部进行连续拍摄，得到第一视频图像；红外热成像摄像头用于检测间室内的热源，并在检测到间室内的热源时对热源的移动进行拍摄，得到第二视频图像。

这里，红绿蓝摄像头为红(R)、绿(G)、蓝(B)三色摄像头(即RGB摄像头)，是相关技术中最常用的摄像头，其拍摄的图像为RGB图像，也就是说，第一视频图像为RGB图像；红外热成像摄像头是采用红外热成像技术，即利用红外探测器和光学成像物镜接受被测目标的红外辐射能量分布图形反映到红外探测器的光敏元件上，从而获得红外热成像图像，这种热成像图像与物体表面的热分布场相对应。热源通常是指持有待放入食材的用户的手部，其表面温度明显高于环境温度或者拍摄画面内其他物体的温度。

需要说明的是，RGB摄像头和红外热成像摄像头不限于如上所述的设置在间室的顶部，例如，也可以设置在间室的左上角或右上角或者左下角或右下角，或者，还可以分别设置在间室的左上角和右上角或左下角和右下角，本公开实施例对此不作限制。另外，RGB摄像头和红外热成像摄像头的数量可以是一个，也可以是两个，或者还可以是三个或三个以上，本公开实施例对此不作限制。应理解，多个RGB摄像头和多个红外热成像摄像头有利于同时获取间室内的多个不同角度的图像，从而可以更准确地确定间室内的食材的相关信息。

此外，RGB摄像头和红外热成像摄像头的采集速率可以相同，也可以不同，但为了便于RGB摄像头和红外热成像摄像头之间的同步，通常采用具有相同采集速率的RGB摄像头和红外热成像摄像头。举例来说，假设RGB摄像头和红外热成像摄像头的采集速率均为30帧/秒，则红外热成像摄像头的第2帧对应于RGB摄像头的第2帧；假设RGB摄像头的采集速率为60帧/秒，红外热成像摄像头的采集速率为30帧/秒，则红外热成像摄像头的第3帧可能对应于RGB摄像头的第5帧；假设RGB摄像头的采集速率为30帧/秒，红外热成像摄像头的采集速率为25帧/秒，则红外热成像摄像头的第13帧可能对应于RGB摄像头的第15帧或者第16帧。

接着，对获取到第一视频图像进行截取操作，得到多张视频图像，从多张视频图像中选取与第二视频图像对应的视频图像作为第三视频图像。进一步地，使用图像识别算法对第三视频图像进行图像识别，并根据图像识别结果获取待放入食材的相关信息。

这里，图像识别是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术；图像识别算法可以包括基于快速区域的卷积神经网络(FastRegion-based Convolutional Neural Network，Fast R-CNN)、残差网络(ResidualNetwork，ResNet)、尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)等，本公开实施例对此不作限制。此外，可以使用冰箱内集成的图像处理模块(未示出)对第三视频图像进行图像识别，也可以将第三视频图像传输至服务器进行图像识别，本公开实施例对此不作限制。

待放入食材的相关信息可以包括但不限于待放入食材的名称、种类、数量等。此外，待放入食材的相关信息可以直接在冰箱的显示模块(例如，显示屏)上显示，也可以通过冰箱本身自带的无线传输功能发送至终端设备(例如，手机、平板电脑等)，以方便用户随时查看。

根据本公开实施例提供的技术方案，通过在检测到冰箱的门体打开时对冰箱的间室进行拍摄，得到第一视频图像，在检测到间室内的热源时对热源的移动进行拍摄，得到第二视频图像，从第一视频图像中选取与第二视频图像对应的视频图像作为第三视频图像，以及对第三视频图像进行图像识别，并根据图像识别结果获取待放入食材的相关信息，能够仅对第一视频图像中与第二视频图像对应的视频图像进行图像识别，因此，降低了运算量。

另外，通过使用RGB摄像头和红外热成像摄像头分别对冰箱的间室进行连续视频拍摄，能够对食材的整个放入过程进行记录，因此，确保了记录的完整性。

在一些实施例中，从第一视频图像中选取与第二视频图像对应的视频图像作为第三视频图像，包括：对第二视频图像进行二值化处理，得到多张二值化图像；获取多张二值化图像中的每张二值化图像内的热源的最高点的位置坐标，并根据最高点的位置坐标确定最优二值化图像；从第一视频图像中选取与最优二值化图像对应的视频图像作为第三视频图像。

具体地，在获取到第二视频图像之后，对该第二视频图像进行二值化处理，得到多张二值化图像。这里，图像二值化就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程。图像的二值化有利于图像的进一步处理，使图像变得简单，而且数据量减小，能凸显出感兴趣的目标的轮廓。

接着，获取多张二值化图像中的每张二值化图像内的热源的最高点的位置坐标，并根据最高点的位置坐标确定最优二值化图像；进一步地，从第一视频图像中选取与最优二值化图像对应的视频图像作为第三视频图像。这里，热源的最高点的位置坐标是指每张二值化图像中的热源的最高点所在位置的坐标，用“(x，y)”表示。

根据本公开实施例提供的技术方案，通过获取热源的最高点的位置坐标，能够准确地确定热源的最高点到二值化图像的中心点的距离，从而确定最优的二值化图像，因此，提高了第三视频图像选取的准确度。

在一些实施例中，获取多张二值化图像中的每张二值化图像内的热源的最高点的位置坐标，并根据最高点的位置坐标确定最优二值化图像，包括：获取多张二值化图像中的每张二值化图像内的热源的最高点的位置坐标，得到由多个最高点的位置坐标组成的数组；计算数组的最小值，并将最小值对应的二值化图像作为最优二值化图像。

具体地，获取多张二值化图像中的每张二值化图像内的热源的最高点的位置坐标，得到由多个最高点的位置坐标组成的数组；计算该数组的最小值，并将最小值对应的二值化图像作为最优二值化图像。这里，数组是用于储存多个相同类型数据的集合，例如，可以表示为“(x₁，y₁)，(x₂，y₂)，……，(x_i，y_i)”，其中，i为整数。

以用户的手部轨迹为例，假设对红外热成像摄像头拍摄的第二视频图像进行二值化处理，得到如图4所示的六张二值化图像。从上述二值化图像可以看出，其记录了用户将待放入食材放入冰箱的整个过程，获取六张二值化图像中的每张二值化图像内的手部的最高点的位置坐标，得到六个最高点的位置坐标(x₁，y₁)、(x₂，y₂)、(x₃，y₃)、(x₄，y₄)、(x₅，y₅)、(x₆，y₆)，这六个位置坐标组成的数组即可用来描述用户的手部轨迹；进一步地，根据上述位置坐标计算手部的最高点到二值化图像的中心点的距离，并将计算结果中的最小值对应的二值化图像作为最优二值化图像，也就是说，最优二值化图像中的待放入食材的位置是最容易进行图像识别的，并且最优二值化图像仅有一张。

根据本公开实施例提供的技术方案，通过获取热源的最高点的位置坐标，并计算热源的最高点到二值化图像的中心点之间的距离，能够准确地确定最优二值化图像，因此，提高了最优二值化图像选取的准确度。

在一些实施例中，通过如下公式计算数组的最小值：

其中，x_i表示第i个最高点的横坐标，y_i表示第i个最高点的纵坐标，w表示二值化图像的宽度，h表示二值化图像的高度，

表示使

取得最小值时变量i的取值，其中，i为整数，w和h为正整数。

具体地，argminf(x_i,y_i)是指使得函数f(x_i,y_i)取得最小值的所有自变量x_i和y_i的集合。这里，

其中，x_i表示第i个最高点的横坐标，y_i表示第i个最高点的纵坐标，w表示二值化图像的宽度，h表示二值化图像的高度，其中，i为整数，w和h为正整数。通过公式

可以计算得到与二值化图像的中心点距离最短的最高点的位置坐标所在的二值化图像，也就是说，通过上述公式可以计算得到唯一的一张二值化图像。

根据本公开实施例提供的技术方案，通过对一张二值化图像进行图像识别，能够减少图像识别的运算量，因此，提高了图像识别效率。

在一些实施例中，从第一视频图像中选取与最优二值化图像对应的视频图像作为第三视频图像，包括：获取最优二值化图像对应的时间戳；从第一视频图像中选取与时间戳对应的视频图像作为第三视频图像。

具体地，由于RGB摄像头拍摄得到的是视频图像，因此，对待放入食材进行图像识别时的素材是从视频图像中截取的，即按照时间顺序对视频图像的每一帧图像进行截取操作，得到多张视频图像；多张视频图像中的每张视频图像携带有时间戳，该时间戳可用于区分不同的视频图像，也就是说，每张视频图像都包含不同的时间戳。进一步地，在选取了最优二值化图像之后，可以根据最优二值化图像对应的时间戳，从RGB摄像头拍摄得到的第一视频图像中选取与该时间戳对应的视频图像作为第三视频图像。

根据本公开实施例提供的技术方案，通过基于时间戳选取与该时间戳对应的视频图像，能够快速地找到待识别的第三视频图像，因此，提高了图像选取的速度。

在一些实施例中，对第三视频图像进行图像识别，并根据图像识别结果获取待放入食材的相关信息，包括：通过机器学习对第三视频图像进行图像识别，并根据图像识别结果获取待放入食材的相关信息。

具体地，可以通过机器学习对第三视频图像进行图像识别，并根据图像识别结果获取待放入食材的相关信息。这里，从广义上来说，机器学习是一种能够赋予机器学习的能力以让其完成直接编程无法完成的功能的方法；但从实践的意义上来说，机器学习是一种通过利用数据，训练出模型，然后使用模型预测的一种方法。机器学习的算法可以包括但不限于决策树(Decision Trees)算法、朴素贝叶斯分类(Naive Bayes Classification)算法、普通最小二乘回归(Ordinary Least Squares Regression)算法、逻辑回归(LogisticRegression)算法、支持向量机(Support Vector Machines)算法、随机森林(Randomforest)算法、人工神经网络(Artificial Neural Network，ANN)算法、主成分分析(Principal Component Analysis)算法等。

进一步地，如果能够识别出第三视频图像中的待放入食材，则可以直接在冰箱的显示模块(例如，显示屏)上显示待放入食材的相关信息，或者可以通过冰箱本身自带的无线传输功能将待放入食材的相关信息发送至终端设备(例如，手机、平板电脑等)，以方便用户随时查看；如果无法识别出第三视频图像中的待放入食材，则可以直接在显示屏上显示诸如“食材无法识别”的提示信息，也可以发出诸如蜂鸣声的提示音，或者还可以通过冰箱本身自带的无线传输功能将诸如“食材识别失败”的提示信息发送至终端设备，以提醒用户，本公开实施例对此不作限制。

根据本公开实施例提供的技术方案，通过使用机器学习算法对第三视频图像进行图像识别，能够快速且准确地确定待放入食材的相关信息，因此，提高了图像识别结果的准确率，并降低了误报率。

上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

图5是本公开实施例提供的图像识别方法的流程示意图。图5的图像识别方法可以由图2的储藏设备210、终端设备220和服务器230中的任一个执行，如图5所示，该图像识别方法，应用于冰箱，包括：

S510，在检测到冰箱的门体打开时，对冰箱的间室进行拍摄，得到第一视频图像；

S520，在检测到间室内的热源时，对热源的移动进行拍摄，得到第二视频图像；

S530，对第二视频图像进行二值化处理，得到多张二值化图像；

S540，获取多张二值化图像中的每张二值化图像内的热源的最高点的位置坐标，得到由多个位置坐标组成的数组；

S550，计算数组的最小值，并将最小值对应的二值化图像作为最优二值化图像；

S560，从第一视频图像中选取与最优二值化图像对应的视频图像作为第三视频图像；

S570，通过机器学习对第三视频图像进行图像识别，并根据图像识别结果获取待放入食材的相关信息。

根据本公开实施例提供的技术方案，通过在检测到冰箱的门体打开时，对冰箱的间室进行拍摄，得到第一视频图像，在检测到间室内的热源时，对热源的移动进行拍摄，得到第二视频图像，对第二视频图像进行二值化处理，得到多张二值化图像，获取多张二值化图像中的每张二值化图像内的热源的最高点的位置坐标，得到由多个位置坐标组成的数组，计算数组的最小值，并将最小值对应的二值化图像作为最优二值化图像，从第一视频图像中选取与最优二值化图像对应的视频图像作为第三视频图像，通过机器学习对第三视频图像进行图像识别，并根据图像识别结果获取待放入食材的相关信息，能够仅对第一视频图像中与第二视频图像对应的视频图像进行图像识别，因此，降低了运算量。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图6是本公开实施例提供的图像识别装置的结构示意图。如图6所示，该图像识别装置，应用于冰箱，包括：

第一检测模块610，被配置为在检测到冰箱的门体打开时，对冰箱的间室进行拍摄，得到第一视频图像；

第二检测模块620，被配置为在检测到间室内的热源时，对热源的移动进行拍摄，得到第二视频图像；

选取模块630，被配置为从第一视频图像中选取与第二视频图像对应的视频图像作为第三视频图像；

识别模块640，被配置为对第三视频图像进行图像识别，并根据图像识别结果获取待放入食材的相关信息。

根据本公开实施例提供的技术方案，通过在检测到冰箱的门体打开时对冰箱的间室进行拍摄，得到第一视频图像，在检测到间室内的热源时对热源的移动进行拍摄，得到第二视频图像，从第一视频图像中选取与第二视频图像对应的视频图像作为第三视频图像，以及对第三视频图像进行图像识别，并根据图像识别结果获取待放入食材的相关信息，能够仅对第一视频图像中与第二视频图像对应的视频图像进行图像识别，因此，降低了运算量。

在一些实施例中，图6的选取模块630对第二视频图像进行二值化处理，得到多张二值化图像，获取多张二值化图像中的每张二值化图像内的热源的最高点的位置坐标，并根据位置坐标确定最优二值化图像，以及从第一视频图像中选取与最优二值化图像对应的视频图像作为第三视频图像。

在一些实施例中，图6的选取模块630获取多张二值化图像中的每张二值化图像内的热源的最高点的位置坐标，得到由多个位置坐标组成的数组，计算数组的最小值，并将最小值对应的二值化图像作为最优二值化图像。

在一些实施例中，通过如下公式计算数组的最小值：

其中，x_i表示第i个最高点的横坐标，y_i表示第i个最高点的纵坐标，w表示二值化图像的宽度，h表示二值化图像的高度，

表示使

取得最小值时变量i的取值，其中，i为整数，w和h为正整数。

在一些实施例中，图6的选取模块630获取最优二值化图像对应的时间戳，并从第一视频图像中选取与时间戳对应的视频图像作为第三视频图像。

在一些实施例中，通过红绿蓝摄像头获取第一视频图像，以及通过红外热成像摄像头获取第二视频图像，其中，红绿蓝摄像头和红外热成像摄像头的采集速率相同。

在一些实施例中，图6的识别模块640通过机器学习对第三视频图像进行图像识别，并根据图像识别结果获取待放入食材的相关信息。

在一些实施例中，如果识别出第三视频图像中的待放入食材，则图6的识别模块640发送待放入食材的相关信息；如果无法识别出第三视频图像中的待放入食材，则图6的识别模块640发出提示信息。

图7是本公开实施例提供的图像识别装置的结构示意图。如图7所示，该图像识别装置包括：处理器(processor)700和存储器(memory)701，还可以包括通信接口(Communication Interface)702和总线703。其中，处理器700、通信接口702、存储器701可以通过总线703完成相互间的通信。通信接口702可以用于信息传输。处理器700可以调用存储器701中的逻辑指令，以执行上述实施例的图像识别方法。

此外，上述的存储器701中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器701作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器700通过运行存储在存储器701中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的图像识别方法。

存储器701可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器701可以包括高速随机存取存储器，还可以包括非易失性存储器。

本公开实施例提供了一种冰箱，包含上述的图像识别装置。

本公开实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，该计算机可执行指令设置为执行上述图像识别方法。

本公开实施例提供了一种计算机程序产品，该计算机程序产品包括存储在计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行上述图像识别方法。

上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。

本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。当用于本申请中时，虽然术语“第一”、“第二”等可能会在本申请中使用以描述各元件，但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如，在不改变描述的含义的情况下，第一元件可以叫做第二元件，并且同样第，第二元件可以叫做第一元件，只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件，但可以不是相同的元件。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (10)

1.一种图像识别方法，应用于冰箱，其特征在于，包括：

在检测到所述冰箱的门体打开时，对所述冰箱的间室进行拍摄，得到第一视频图像；

在检测到所述间室内的热源时，对所述热源的移动进行拍摄，得到第二视频图像；

从所述第一视频图像中选取与所述第二视频图像对应的视频图像作为第三视频图像；

对所述第三视频图像进行图像识别，并根据图像识别结果获取待放入食材的相关信息。

2.根据权利要求1所述的方法，其特征在于，所述从所述第一视频图像中选取与所述第二视频图像对应的视频图像作为第三视频图像，包括：

对所述第二视频图像进行二值化处理，得到多张二值化图像；

获取所述多张二值化图像中的每张二值化图像内的所述热源的最高点的位置坐标，并根据所述位置坐标确定最优二值化图像；

从所述第一视频图像中选取与所述最优二值化图像对应的视频图像作为所述第三视频图像。

3.根据权利要求2所述的方法，其特征在于，所述获取所述多张二值化图像中的每张二值化图像内的所述热源的最高点的位置坐标，并根据所述位置坐标确定最优二值化图像，包括：

获取所述多张二值化图像中的每张二值化图像内的所述热源的最高点的位置坐标，得到由多个所述位置坐标组成的数组；

计算所述数组的最小值，并将所述最小值对应的二值化图像作为所述最优二值化图像。

4.根据权利要求3所述的方法，其特征在于，通过如下公式计算所述数组的最小值：

其中，x_i表示第i个最高点的横坐标，y_i表示第i个最高点的纵坐标，w表示所述二值化图像的宽度，h表示所述二值化图像的高度，

表示使

取得最小值时变量i的取值，其中，i为整数，w和h为正整数。

5.根据权利要求2所述的方法，其特征在于，所述从所述第一视频图像中选取与所述最优二值化图像对应的视频图像作为所述第三视频图像，包括：

获取所述最优二值化图像对应的时间戳；

从所述第一视频图像中选取与所述时间戳对应的视频图像作为所述第三视频图像。

6.根据权利要求1至5中任一项所述的方法，其特征在于，

通过红绿蓝摄像头获取所述第一视频图像，以及通过红外热成像摄像头获取所述第二视频图像，其中，所述红绿蓝摄像头和所述红外热成像摄像头的采集速率相同。

7.根据权利要求1至5中任一项所述的方法，其特征在于，所述对所述第三视频图像进行图像识别，并根据图像识别结果获取待放入食材的相关信息，包括：

通过机器学习对所述第三视频图像进行图像识别，并根据图像识别结果获取所述待放入食材的相关信息。

8.一种图像识别装置，应用于冰箱，其特征在于，包括：

第一检测模块，被配置为在检测到所述冰箱的门体打开时，对所述冰箱的间室进行拍摄，得到第一视频图像；

第二检测模块，被配置为在检测到所述间室内的热源时，对所述热源的移动进行拍摄，得到第二视频图像；

选取模块，被配置为从所述第一视频图像中选取与所述第二视频图像对应的视频图像作为第三视频图像；

识别模块，被配置为对所述第三视频图像进行图像识别，并根据图像识别结果获取待放入食材的相关信息。

9.一种图像识别装置，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至7中任一项所述的方法。

10.一种冰箱，其特征在于，包括如权利要求8或9所述的装置。

Images