CN106871568A - 冰箱内部食物的种类识别方法与冰箱 - Google Patents

Abstract

本发明提供了一种冰箱内部食物的种类识别方法与冰箱。其中冰箱的储物间室内部布置有相对设置的高光谱成像装置和反射镜，高光谱成像装置与反射镜之间形成用于放置待识别食物的识别区域，并且种类识别方法包括：控制高光谱成像装置对反射镜进行拍摄，以得到反射镜对识别区域的反射图像的高光谱数据；从高光谱数据中提取出图像特征信息和特征光谱信息；以及使用预设的识别模型对图像特征信息和特征光谱信息进行匹配，以确定出待识别食物的类型。本方案解决了冰箱内部空间狭小，高光谱成像装置难于拍摄识别区域全貌的问题，综合利用图像信息和光谱信息进行食物的种类识别，提高了识别的准确率。

Description

冰箱内部食物的种类识别方法与冰箱

技术领域

本发明涉及储物技术领域，特别是涉及一种冰箱内部食物的种类识别方法与冰箱。

背景技术

随着社会的进步和人们生活水平的提高，消费者在购买食品时不仅关注食品的营养价值与安全，还会考虑价格、口感、外观及新鲜程度等因素，而冰箱的角色也从单纯的存储保鲜逐渐转变为食材管理中心和家庭营养中心，这也对冰箱提出了新的挑战，同时，这也为各种智能识别技术应用在冰箱上提供了契机。了解冰箱中存放食材种类的方式，也从打开冰箱门实际查看变为了智能化识别。利用自动识别技术，在家用冰箱上实现食品的种类识别功能，已经成为智能化冰箱的发展趋势。

自动识别技术就是应用特定识别装置，将被识别物品接近识别装置，自动获取被识别物品的相关信息，并提供给计算机处理系统来完成相关后续处理的一种技术。目前应用于冰箱的自动识别技术包括射频识别和图像识别等，射频识别是在放进冰箱的食材上张贴射频识别码，利用安装在冰箱上的射频识别装置进行识别，该技术需要所购置的食材本身含有射频识别码，而目前市场上的大部分食品都不含有射频识别码，特别是蔬菜、水果，更是不含有识别码，因此该技术受到了很大的应用限制。

图像识别技术也已应用于冰箱上，但是正确识别率较低，由于该技术主要是依赖于对食材图像颜色或者食材形状、纹理的不同进行识别，因此对于颜色、形状相近的食材很难正确识别，比如桔子和橙子很难区别，识别结果为柑类，因此该技术的正确率需要进一步提高。

发明内容

本发明的一个目的是要提供一种准确率高的冰箱内部食物的种类识别方法。

本发明一个进一步的目的是要冰箱识别食物种类的功能便于用户使用。

本发明首先提供了一种冰箱内部食物的种类识别方法，冰箱的储物间室内部布置有相对设置的高光谱成像装置和反射镜，高光谱成像装置与反射镜之间形成用于放置待识别食物的识别区域，并且种类识别方法包括：控制高光谱成像装置对反射镜进行拍摄，以得到反射镜对识别区域的反射图像的高光谱数据；从高光谱数据中提取出图像特征信息和特征光谱信息；以及使用预设的识别模型对图像特征信息和特征光谱信息进行匹配，以确定出待识别食物的类型。

可选地，高光谱数据包括设定数量的三元数据组，每个三元数据组中包括一个像素点的两个图像像素元素和一个光谱波长元素，每个像素点具有多组三元数据组，并且图像特征信息通过对图像像素元素中数据分析提取得出，特征光谱信息通过对光谱波长元素中的数据分析提取得出。

可选地，使用预设的识别模型对图像特征信息和特征光谱信息进行匹配包括：向布置有识别模型的网络侧设备发送图像特征信息和特征光谱信息，以由网络侧设备使用识别模型对图像特征信息和特征光谱信息进行匹配。

可选地，确定出待识别食物的类型的步骤之后还包括：向用户输出识别结果，并接收用户对识别结果的反馈，在反馈结果为正确的情况下，记录识别结果以及对应的图像特征信息和特征光谱信息，以作为识别模型的后续训练样本。

可选地，向用户输出识别结果的步骤包括：向与冰箱绑定的移动终端发送包括识别结果的消息。

可选地，在确定出待识别食物的类型的步骤之后还包括：获取与食物类型匹配的保存信息，并按照保存信息建立食物的储藏档案。

根据本发明的另一个方面，还提供了一种冰箱，其包括：箱体，其内限定有储物间室；反射镜，设置于储物间室内部；高光谱成像装置，也设置于箱体内部并与反射镜间隔相对，高光谱成像装置与反射镜之间形成用于放置待识别食物的识别区域，并且高光谱成像装置配置成对反射镜进行拍摄，以得到反射镜对识别区域的反射图像的高光谱数据；高光谱数据处理装置，配置成从高光谱数据中提取出图像特征信息和特征光谱信息；识别装置，配置成使用预设的识别模型对图像特征信息和特征光谱信息进行匹配，以确定出待识别食物的类型。

可选地，反射镜设置于识别区域的顶部，并且高光谱成像装置设置于识别区域的底部。

可选地，上述冰箱还包括：光源系统，设置于识别区域内，以为高光谱成像装置提供拍摄光线，其中光源系统的光谱范围设置为400～1100nm。

可选地，光源系统设置于识别区域的顶壁后部，向斜下方提供拍摄光线。

本发明的冰箱内部食物的种类识别方法与冰箱，在冰箱内部设置高光谱成像装置，拍摄得到待识别食物的高光谱数据，综合利用图像信息和光谱信息进行食物的种类识别，识别的准确率高。另外针对冰箱内部空间狭小，高光谱成像装置难于拍摄识别区域全貌的问题，通过设置反光镜，利用拍摄反射图像的方式得到反映识别区域全貌的高光谱数据。

进一步地，本发明的冰箱内部食物的种类识别方法与冰箱，还可以利用云技术进行食物的高光谱数据的处理和分析，并直接通过用户终端输出识别信息，大大提高了用户的便利性。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。在附图中：

图1是根据本发明一个实施例的冰箱的示意图；

图2是根据本发明一个实施例的冰箱中识别区域的示意图；

图3是根据本发明一个实施例的冰箱的功能示意框图；以及

图4是根据本发明一个实施例的冰箱的内部食物的种类识别方法的示意图。

具体实施方式

图1是根据本发明一个实施例的冰箱10的示意图，图2是根据本发明一个实施例的冰箱10中识别区域的示意图。图3是根据本发明一个实施例的冰箱10的功能示意框图。本实施例的冰箱10一般性地可以包括：箱体110、门体120、高光谱成像装置210、高光谱数据处理装置230、光源系统220、识别装置240、反射镜250等。

箱体110内限定有至少一个前侧敞开的储物间室，通常为多个，如冷藏室、冷冻室、变温室等等。具体的储物间室的数量和功能可以根据预先的需求进行配置，在一些实施例中，冷藏室的保藏温度可为2～9℃，或者可为4～7℃；冷冻室的保藏温度可为-22～-14℃，或者可为-20～16℃。冷冻室设置于冷藏室的下方，变温室设置于冷冻室和冷藏室之间。冷冻室内的温度范围一般在-14℃至-22℃。变温室可根据需求进行调整，以储存合适的食物，或者作为保鲜储藏室。

门体120，设置于箱体110前侧，用于开闭储物间室。例如门体120可以通过铰接的方式设置箱体110前部的一侧，通过枢转的方式开闭储物间室，门体120的数量可以与储物间室的数量匹配，从而可以将储物间室逐一单独开启。例如可以为冷藏室、冷冻室、变温室分别设置冷藏室门体、冷冻室门体、变温室门体。在一些可选实施例中，门体120也可以采用平开门、对开门、侧滑门、抽拉门等形式。

储物间室由制冷系统提供冷量，以实现冷藏、冷冻、变温的储物环境。制冷系统可为由压缩机、冷凝器、节流装置和蒸发器等构成的制冷循环系统。蒸发器配置成直接或间接地向储物间室内提供冷量。例如压缩式直冷冰箱中，蒸发器可设置于冰箱内胆的后壁面外侧或内侧。压缩式风冷冰箱中，箱体110内还具有蒸发器室，蒸发器室通过风路系统与储物间室连通，且蒸发器室内设置蒸发器，出口处设置有风机，以向储物间室进行循环制冷。由于上述箱体110、门体120、制冷系统本身是本领域技术人员习知且易于实现的，为了不掩盖和模糊本申请的发明点，后文对箱体110、门体120、制冷系统本身不做赘述。

储物间室内形成有识别区域130，该识别区域130可以作为一个单独的储物间室，在另一些可选实施例中，识别区域130可以是某一储物间室的某一层，例如可以为冷藏间室的某一层。

反射镜250和高光谱成像装置210相对设置于储物间室内部，反射镜250和高光谱成像装置210之间的区域可作为识别区域130。高光谱成像装置210，可以配置成对反射镜250进行拍摄，以得到反射镜250对识别区域130的反射图像的高光谱数据。由于冰箱内部的空间比较狭小，而且储物间室为了便于储物一般为扁平分层结构，在这种空间狭小的扁平区域内，现有的高光谱成像装置210很难拍摄识别区域的全貌，因此在本实施例中，通过拍摄反射镜250的反射图像，可以有效地解决这一问题。在一些可选实施例中，反射镜250可以选择使用凸镜，以反射整个识别区域。

反射镜250设置于识别区域130的顶部(例如储藏间室的顶壁上)，并且高光谱成像装置210设置于识别区域130的底部(例如储藏间室的底壁中)。高光谱成像装置210所在的区域可以设置为空白区，防止用户将待识别食物300放置在高光谱成像装置210的上方，遮挡镜头。

高光谱数据可以为一系列三元数据组，每个三元数据组中包括一个像素点的两个图像像素元素和一个光谱波长元素，每个像素点具有多组三元数据组。因此高光谱数据同时获得每个像素点的连续光谱数据和每个光谱波段的连续图像数据。高光谱图像是连续波长的光学图像，光谱范围可以设置为200nm到2500nm，具有更高的光谱分辨率，分辨率可达到2～3nm。高光谱数据可以用三维数据块来表示，其中二维是图像像素信息(x，y)，第三维是波长信息(λ)。分辨率为x×y像素的图像检测器阵列在n个波长处获得的数据立方是x×y×λ的三维阵列。

光源系统220，设置于识别区域130内，以为高光谱成像装置210提供拍摄光线，其中光源系统220的光谱范围设置为400～1100nm。光源系统220可以设置于识别区域130的顶壁后部，向斜下方提供拍摄光线。

高光谱数据处理装置230，配置成从高光谱数据中提取出图像特征信息和特征光谱信息，其中图像特征信息通过对图像像素元素中数据分析提取得出，特征光谱信息通过对光谱波长元素中的数据分析提取得出。

识别装置240，配置成使用预设的识别模型对图像特征信息和特征光谱信息进行匹配，以确定出食物300的类型。

高光谱数据处理装置230和识别装置240可以对高光谱数据进行分割、分类，从而自动确定物品的类型。例如识别装置240可以布置于服务器侧，高光谱数据处理装置230对高光谱数据进行初步处理后，向布置有识别模型的网络侧设备发送图像特征信息和特征光谱信息，以由网络侧设备使用识别装置240的识别模型对图像特征信息和特征光谱信息进行匹配。

在识别装置240确定出食物300的类型后，还可向用户输出识别结果，并接收用户对识别结果的反馈，在反馈结果为正确的情况下，记录识别结果以及对应的图像特征信息和特征光谱信息，以作为识别模型的后续训练样本。

与用户的交互可以通过冰箱10的人机交互系统实现，例如在冰箱10的显示屏上进行输出，利用输入装置接收用户的反馈。在另一种实施例中，可以向与冰箱10绑定的移动终端发送包括识别结果的消息，并接收用户通过移动终端反馈的消息。

识别装置240可以预先选择一定数量的食物及其高光谱数据作为训练样本，利用这些训练样本对判决函数进行训练，得到识别模型。然后在识别过程中，将图像特征信息和特征光谱信息输入识别模型，按照不同的规则将其划分到与其最接近的分类中，完成类型的确定。其可以使用匹配算法包括：最小距离法，最大似然法，马氏距离法、SVM(SupportVector Machine，支持向量机)。识别模型通过迭代处理，确定与图像特征信息和特征光谱信息最接近的分类(即食物类型)。

例如，用户在识别区域130内放置一个苹果后，通过冰箱10上的按钮或者移动终端下发识别指令。高光谱成像装置210对识别区域130进行拍摄，得到包括苹果在内的高光谱数据，高光谱数据处理装置230对高光谱数据进行初步处理，从高光谱数据中确定出苹果的图像(进行分割)，然后从分割出的图像中提取出图像特征信息和特征光谱信息，以供识别装置240进行识别。识别装置240，将光谱检测技术与图像识别技术相结合，可同时对食物300的光谱数据和空间图像信息进行分析。高光谱成像技术能够快速、无损获取食品的品质信息及其空间分布，从而实现高准确率的食材种类识别。

在确定出放入的物品为苹果后，可以向用户输出识别结果，如果确定识别正确，该次识别的结果可以作为识别模型的后续训练样本。另外在确定食物300的类型后，还可以进一步建立该食物300的储藏档案，记录食物300的储藏信息(例如保质期、保存环境)，为食物的智能管理提供数据基础。

本实施例还提供了一种冰箱内部食物的种类识别方法，该种类识别方法可以用于上述任一实施例的冰箱10，对冰箱10内部的识别区域130的食物进行识别。图4是根据本发明一个实施例的冰箱的内部食物的种类识别方法的示意图。该冰箱内部食物的种类识别方法一般性地可以包括：

步骤S402，控制高光谱成像装置210对反射镜250进行拍摄，以得到反射镜250对识别区域130的反射图像的高光谱数据；

步骤S404，从高光谱数据中提取出图像特征信息和特征光谱信息；

步骤S406，使用预设的识别模型对图像特征信息和特征光谱信息进行匹配，以确定出待识别食物300的类型。

可选地，高光谱数据包括设定数量的三元数据组，每个三元数据组中包括一个像素点的两个图像像素元素和一个光谱波长元素，每个像素点具有多组三元数据组，并且图像特征信息通过对图像像素元素中数据分析提取得出，特征光谱信息通过对光谱波长元素中的数据分析提取得出。高光谱数据可以用三维数据块来表示，其中二维是图像像素信息(x，y)，第三维是波长信息(λ)。分辨率为x×y像素的图像检测器阵列在n个波长处获得的数据立方是x×y×λ的三维阵列。

步骤S406，可以采取云识别的方式进行，例如向布置有识别模型的网络侧设备发送图像特征信息和特征光谱信息，以由网络侧设备使用识别模型对图像特征信息和特征光谱信息进行匹配。在确定出食物300的类型的步骤之后还包括：向用户输出识别结果，并接收用户对识别结果的反馈，在反馈结果为正确的情况下，记录识别结果以及对应的图像特征信息和特征光谱信息，以作为识别模型的后续训练样本。

向用户输出识别结果可以通过在冰箱10的显示屏上进行输出，另一种可选方式为向与冰箱10绑定的移动终端发送包括识别结果的消息。在确定出食物300的类型的步骤之后还包括：获取与食物类型匹配的保存信息，并按照保存信息建立食物300的储藏档案。记录食物300的储藏信息(例如保质期、保存环境)，为食物300的智能管理提供数据基础。

一次识别的具体过程可以包括：

用户在冰箱10的操作界面选择开始识别或者通过与冰箱10绑定的移动终端向冰箱10下发开始识别的指令，光源系统220和高光谱成像装置210在获取到开始识别的指令后，其中光源系统220的光谱范围为400～1100nm；

高光谱成像装置210对反射镜250进行拍摄，获取反射镜250反射图像及其光谱数据，获取的图像分辨率可以为1280×1024像素，获取的每个像素点的光谱数据光谱分辨率可以为2nm；

将获取的高光谱数据进行预处理，分别提取待测食物300种类对应的图像特征信息和特征光谱信息，之后将得到的特征信息代入已经建立好的食材种类识别模型；

综合图像数据和光谱数据的特征信息，通过已经建立的高准确度智能算法模型，进行食材的种类识别，得到食材类型结果，并将识别结果反馈给用户；

根据确定出的食物类型，建立该食物300的储藏档案，记录食物300的储藏信息(例如保质期、保存环境)，为用户食物300的智能管理提供数据基础。由于综合使用了图像和光谱两项特征，显著提高了识别正确率。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种冰箱内部食物的种类识别方法，所述冰箱的储物间室内部布置有相对设置的高光谱成像装置和反射镜，所述高光谱成像装置与所述反射镜之间形成用于放置待识别食物的识别区域，并且所述种类识别方法包括：

控制所述高光谱成像装置对所述反射镜进行拍摄，以得到所述反射镜对识别区域的反射图像的高光谱数据；

从所述高光谱数据中提取出图像特征信息和特征光谱信息；以及

使用预设的识别模型对所述图像特征信息和所述特征光谱信息进行匹配，以确定出所述待识别食物的类型。

2.根据权利要求1所述的方法，其中，

高光谱数据包括设定数量的三元数据组，每个三元数据组中包括一个像素点的两个图像像素元素和一个光谱波长元素，每个像素点具有多组所述三元数据组，并且

所述图像特征信息通过对所述图像像素元素中数据分析提取得出，所述特征光谱信息通过对所述光谱波长元素中的数据分析提取得出。

3.根据权利要求1所述的方法，其中，使用预设的识别模型对所述图像特征信息和所述特征光谱信息进行匹配包括：

向布置有所述识别模型的网络侧设备发送所述图像特征信息和所述特征光谱信息，以由所述网络侧设备使用所述识别模型对所述图像特征信息和所述特征光谱信息进行匹配。

4.根据权利要求3所述的方法，其中，确定出所述待识别食物的类型的步骤之后还包括：

向用户输出识别结果，并接收用户对所述识别结果的反馈，在反馈结果为正确的情况下，记录所述识别结果以及对应的图像特征信息和特征光谱信息，以作为所述识别模型的后续训练样本。

5.根据权利要求4所述的方法，其中，向用户输出识别结果的步骤包括：向与所述冰箱绑定的移动终端发送包括所述识别结果的消息。

6.根据权利要求1所述的方法，其中，在确定出所述待识别食物的类型的步骤之后还包括：

获取与所述食物类型匹配的保存信息，并按照所述保存信息建立所述食物的储藏档案。

7.一种冰箱，包括：

箱体，其内限定有储物间室；

反射镜，设置于所述储物间室内部；

高光谱成像装置，也设置于所述箱体内部并与所述反射镜间隔相对，所述高光谱成像装置与所述反射镜之间形成用于放置待识别食物的识别区域，并且所述高光谱成像装置配置成对所述反射镜进行拍摄，以得到所述反射镜对识别区域的反射图像的高光谱数据；

高光谱数据处理装置，配置成从所述高光谱数据中提取出图像特征信息和特征光谱信息；

识别装置，配置成使用预设的识别模型对所述图像特征信息和所述特征光谱信息进行匹配，以确定出所述待识别食物的类型。

8.根据权利要求7所述的冰箱，其中

所述反射镜设置于所述识别区域的顶部，并且所述高光谱成像装置设置于所述识别区域的底部。

9.根据权利要求7所述的冰箱，还包括：

光源系统，设置于所述识别区域内，以为所述高光谱成像装置提供拍摄光线，其中所述光源系统的光谱范围设置为400～1100nm。

10.根据权利要求9所述的冰箱，其中

所述光源系统设置于所述识别区域的顶壁后部，向斜下方提供所述拍摄光线。