CN103604271B

CN103604271B - 一种基于智能冰箱的食品识别方法

Info

Publication number: CN103604271B
Application number: CN201310545110.1A
Authority: CN
Inventors: 吕钊; 刘柏良; 刘桥; 郑伟; 文茂阳
Original assignee: Sichuan Changhong Electric Co Ltd
Current assignee: Sichuan Changhong Electric Co Ltd
Priority date: 2013-11-07
Filing date: 2013-11-07
Publication date: 2016-04-13
Anticipated expiration: 2033-11-07
Also published as: CN103604271A

Abstract

本发明涉及智能冰箱、食品管理、图像识别等领域，尤其是涉及一种基于智能冰箱的食品识别方法。本发明所要解决的技术问题是：针对现有技术中存在的技术问题，提供一种基于智能冰箱的食品识别方法，使得人们在使用智能冰箱的时候，减少或免去对新添加食品进行频繁的信息手动输入操作，节约时间，提高使用效率。本发明通过智能冰箱采集食品信息，并通过云服务器进行食品图像信息的匹配处理，完成本发明。

Description

一种基于智能冰箱的食品识别方法

技术领域

本发明涉及智能冰箱、食品管理、图像识别等领域，尤其是涉及一种基于智能冰箱的食品识别方法。

背景技术

随着移动互联网、云计算技术的快速发展，智能家居也越来越得到人们的关注，越来越多的人开始注意到智能家居所能给人们带来的便利。智能冰箱作为智能家居的重要组成部分，但在食品管理方面，对新添加的食品进行手动的文字输入非常不方便，不但浪费时间，对老人或者不熟悉文字输入的人群来说也是一个比较困难的事情。

发明内容

本发明所要解决的技术问题是：针对现有技术中存在的技术问题，提供一种基于智能冰箱的食品识别方法，使得人们在使用智能冰箱的时候，减少或免去对新添加食品进行频繁的信息手动输入操作，节约时间，提高使用效率。

本发明采用的技术方案如下：

一种基于智能冰箱的食品识别方法包括：

步骤1：通过智能冰箱内置摄像头对将要放入冰箱的食品进行拍照，然后智能冰箱对所拍食品图片进行图像处理，提取所拍食品的颜色特征值、形状特征值后，与本地用户食品信息库进行匹配，若没有匹配项，则将提取到的食品特征值发送至云端服务器；否则，记录此次食品添加操作到用户食品信息库中对应添加记录项；

步骤2：云端服务器接收到信号采集模块发送的食品特征值，将食品信息特征值与公共食品信息库中进行食品信息匹配，若在公共食品信息库中匹配到对应食品图像信息，则将该食品在公共食品信息库中的相关食品信息添加到用户食品信息库；否则，在用户食品信息库中新添加一条该食品的相关信息，将所采集到的食品图像作为该食品的食品图片，自定义食品相关信息，并进行添加及存储。

所述步骤1之前还包括：智能冰箱从云端服务器中拷贝一份用户食品信息库到智能冰箱存储器中本地用户食品信息库，拷贝到智能冰箱存储器中的本地用户食品信息库将定时依据云端服务器中的用户食品信息库进行更新操作，与云端服务器中的用户食品信息库数据保持一致。

所述图像信息特征值包括食品颜色、形状和最大轮廓线，根据食品图像信息特征值进行用户食品信息库的制作。

所述步骤3中将该食品在公共数据库中的相关食品信息添加到用户食品信息库之前还包括按添加记录次数降序展示匹配到的食品信息。

所述步骤2中，当食品图像信息匹配处理的结果为多个食品类型时，云端服务器默认是用户食品信息库中多个匹配项供用户选择。

所述进行食品图像信息识别采用模糊识别算法。

一种基于智能冰箱的食品模糊识别方法还包括步骤4：云端服务器定时清理用户食品信息库始终没有添加过的食品信息

综上所述，由于采用了上述技术方案，本发明的有益效果是：

能够方便快捷地通过食品智能识别模块快速地添加食品、注册食品信息，增加了操作的灵活性，提升了用户使用的交互性、体验感和实用性。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1智能冰箱食品智能识别流程图。

图2智能冰箱食品模糊识别示意图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书（包括任何附加权利要求、摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

一、本发明相关说明：

1、用户食品信息库针对每个用户是不同的食品信息库。

2、食品相关信息可以是食品名称，保质期等等。

2、本发明中采用两个模块：

1）智能冰箱：通过对新添加的食品进行图像采集，并将食品图像信息上传至云服务器。

2）云服务器：接收智能冰箱发送的食品图像信息，根据此图像特征值（如颜色特征值、形状特征值等）进行相关数据匹配。

3、由于食品种类繁多，虽然通过图像处理获取了具体的图像特征值，但是符合该图像特征值的食品仍然有很多。所以本发明采用模糊识别的方式进行食品识别。

二、工作原理是：

1）如果用户在使用智能冰箱的食品管理功能时，是第一次使用智能冰箱的食品智能识别功能添加新食品，那么在云服务器进行数据匹配时，首先选择最原始的食品信息库，最原始的食品信息库是系统为用户第一次使用食品智能识别功能时提供的数据匹配库，主要特点是本食品信息库主要包含最熟悉最常用的食品信息，一般都是每家每户都经常食用的，例如苹果，香蕉，青椒，黄瓜，大蒜等等。使用本信息库能够快速准确的识别出食品。

2）在用户使用食品智能识别的过程当中，云服务器将会记录用户每一次添加的食品信息，并把数据记录在用户食品信息库中，当用户在添加新食品时，系统将根据用户以往的添加记录优先匹配之前添加次数最多的食品。随着时间的推移，最原始的食品信息库将慢慢变成用户的个性化食品信息库。这样在食品信息匹配的时候，匹配过程将越来越快、越来越精准。

3）当用户在添加食品时，如果没有匹配到准确的食品信息，那么用户可以有两个选项。第一个是通过将原本匹配使用的用户食品信息库切换成公共食品信息库后再次进行匹配操作。公共食品信息库中包含所有用户自定义的食品信息。如果还是没有匹配到准确的食品信息，那么就选择第二个选项。第二个选项是将摄像头所拍到的图片作为该食品的食品图片存储于用户食品信息库中。

4）由于食品种类繁多，每次匹配可能会有多个选项，所以匹配的多个结果将根据用户之前相应食品的添加记录次数的降序展示出来，供用户选择。

三：具体实施例。

如图1所示，当用户需要往冰箱里添加新购入食品时，首先启动智能冰箱食品管理功能，通过账号、密码进行登录。然后点击食品管理模块中的食品智能识别按钮，进入食品智能识别界面，此时智能冰箱的摄像头将自动开启，用户通过屏幕指示，将要添加的食品对准摄像头。

当摄像头拍照完成后，屏幕会出现一个让用户稍等片刻的指示性提示。系统将会对采集到的照片进行一系列的图像处理，通过图像处理分析过后提取所拍食品的颜色特征值、形状特征值。

下面将结合图2所示食品模糊识别示意图进行详细阐述：

当智能冰箱处理得到所拍食品的颜色、形状、大小特征值后，智能冰箱将这些食品相关特征值传递到云服务器。云服务器在接收到这些食品相关特征值后，首先在用户食品信息库中去匹配这些食品相关特征值。

比如此时所要加入的食品是橙子，那么橙子在云服务器中的食品相关特征值表示的是颜色为黄色、形状为圆形。如果用户此前往冰箱里加入的颜色为黄色、形状为圆形的食品是橙子、芒果、水晶梨，并且用户在之前往冰箱里加入橙子的次数是最多的，那么此时的食品特征值经过与用户食品信息库匹配过后，将优先判断用户此时需要加入的食品为橙子。如果用户在之前只是有时往冰箱里加入橙子，也就是说用户之前添加橙子的次数不是很多，不及添加芒果的次数，那么此时的食品特征值经过与用户个人食品信息库匹配过后可能出现的匹配结果为芒果、橙子、水晶梨。用户此时只需要在这三个匹配结果中手动选择橙子，这样就完成了一次模糊识别。

如果用户此前往冰箱里加入的颜色为黄色、形状为圆形的食品是橘子、芒果、水晶梨，并没有橙子的添加记录，那么此时食品特征值经过与用户食品信息库匹配过后将提示用户没有匹配到相关食品信息。此时用户将此时食品特征值将与公共食品信息库进行匹配，匹配结果将是其他所有用户之前往冰箱里添加过的颜色为黄色、形状为圆形的食品，结果将按照添加次数的降序排列，用户此时会在结果列表中找到橙子的选项。

如果其他所有的用户之前都没有往冰箱里添加过橙子，那么用户此时可以选择自定义食品信息，将所拍图片作为该食品的食品图片记录在用户食品信息库中。这样，用户在以后添加橙子的时候将直接通过用户食品信息库就能匹配到橙子选项。

采用本发明，实现了智能冰箱食品模糊识别的功能，不仅能将用户平时经常食用的食品记录在用户食品信息库中，也能帮助用户快速地识别出所要添加的食品。具有简单实用、方便快捷的优点。避免了用户频繁的手动输入，节约了时间，提升了用户的体验。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims

1.一种基于智能冰箱的食品识别方法，其特征在于包括：

步骤1：通过智能冰箱内置摄像头对将要放入冰箱的食品进行拍照，然后智能冰箱对所拍食品图片进行图像处理，提取所拍食品的颜色特征值、形状特征值后，与本地用户食品信息库进行匹配，若没有匹配项，则将提取到的食品特征值发送至云端服务器；否则，记录此次食品添加操作到用户食品信息库中对应的添加记录项；

步骤2：云端服务器接收到信号采集模块发送的食品特征值，将食品信息特征值与公共食品信息库中的食品图像信息进行食品信息匹配，若在公共食品信息库中匹配到对应食品图像信息，则将该食品在公共食品信息库中的相关食品信息添加到用户食品信息库；否则，在用户食品信息库中新添加一条该食品的相关信息，将所采集到的食品图像作为该食品的食品图片，自定义食品相关信息，并进行添加及存储；

步骤1之前：智能冰箱从云端服务器中拷贝一份用户食品信息库到智能冰箱存储器中本地用户食品信息库，拷贝到智能冰箱存储器中的本地用户食品信息库将定时依据云端服务器中的用户食品信息库进行更新操作，与云端服务器中的用户食品信息库数据保持一致。

2.根据权利要求1所述的一种基于智能冰箱的食品识别方法，其特征在于所述图像信息特征值包括食品颜色、形状和最大轮廓线，根据食品图像信息特征值进行用户食品信息库的制作。

3.根据权利要求2所述的一种基于智能冰箱的食品识别方法，其特征在于所述步骤2中将该食品在公共食品信息库中的相关食品信息添加到用户食品信息库之前还包括按添加记录次数降序展示匹配到的食品信息。

4.根据权利要求3所述的一种基于智能冰箱的食品识别方法，其特征在于所述步骤2中，当食品图像信息匹配处理的结果为多个食品类型时，云端服务器默认是用户食品信息库中多个匹配项供用户选择。

5.根据权利要求1所述的一种基于智能冰箱的食品识别方法，其特征在于所述进行食品图像信息识别采用模糊识别算法。

6.根据权利要求1至5之一所述的一种基于智能冰箱的食品识别方法，其特征在于还包括步骤3：云端服务器定时清理用户食品信息库始终没有添加过的食品信息。