CN108364675A - 一种基于图像识别的食物重量及营养素含量的鉴定方法 - Google Patents

Abstract

本发明涉及一种基于图像识别的食物重量及营养素含量的鉴定方法，包括以下步骤：获取目标食物图片；对获取的食物图片进行取点划线，计算选取的图片路径、取点划线的数据以及对每个取点划线的值打上标签；根据图片路径获取到目标食物图片，并根据取点划线的数据和标签对取点的地方进行颜色提取和对颜色建立模型；扫描目标食物并进行颜色匹配，完成各类食物的区分；在终端上扫描和匹配，调用识别算法计算目标食物的面积，通过得到的面积数据和获取到的目标食物的密度和营养素，计算出目标食物的重量及所含营养素，获得目标食物的重量及所含营养素含量；本发明操作简单快速且识别准确度高。

Description

一种基于图像识别的食物重量及营养素含量的鉴定方法

技术领域

本发明涉及计算机应用技术领域，具体的说是一种基于图像识别的食物重量及营养素含量的鉴定方法。

背景技术

目前市面上可以做食物图像识别得到每种食物重量及营养素含量的算法或者软件很少，有的识别算法或者软件对食物重量的识别的准确度只能达到50％左右，所以在用户想通过食物图像识别获取食物重量及所含营养素的时候，误差是可能达到40％以上。食物重量的识别的准确度只能达到50％左右，这样导致：a、在对每餐食物重量和营养素有知情要求的用户中完全无法使用；b、如果盘内的食物有一种或者多种出现颜色相近的时候，也容易导致算法出现识别错误或将颜色相近的当做是一种食物。出现a情况的原因是，它们的算法或者软件的着重点在于计算食物图像中每种食物的体积，这个就需要双视图三维立体重建的方法来实现，这样的方法的复杂程度和难度就很高。出现b情况的原因是，它们的算法没有对每种食物颜色进行建模和分割。

基于此，针对上述现状中存在的局限性，本发明提出了一种操作简单且提高识别准确度的基于图像识别的食物重量及营养素含量的鉴定方法。

发明内容

为了解决上述现有技术中存在的问题，本发明提供一种操作简单且提高识别准确度的基于图像识别的食物重量及营养素含量的鉴定方法。

本发明解决其技术问题所采用的技术方案是：

一种基于图像识别的食物重量及营养素含量的鉴定方法，包括以下步骤：

保持目标食物的高度一致，通过摄像头获取目标食物图片；

对获取的食物图片进行取点划线，计算选取的图片路径、取点划线的数据以及对每个取点划线的值打上标签；

根据图片路径获取到所述目标食物图片，并根据取点划线的数据和标签对取点的地方进行颜色提取和对颜色建立模型；

扫描目标食物并进行颜色匹配，完成各类食物的区分；

在终端上扫描和匹配，调用识别算法计算目标食物的面积，通过得到的面积数据和获取到的目标食物的密度和营养素进行匹配，计算出目标食物的重量及所含营养素，获得目标食物的重量及所含营养素含量。

进一步地，所述目标食物为单一食物形成的堆积或者由多种食物形成的堆积。

进一步地，所述建立模型具体为，根据取点的坐标点找到图片当中对应的地方，并获取到图片在该地方的颜色，算法对该种颜色进行建模，然后对图片当中所有的区域进行扫描，获取到颜色相同的所有坐标点，通过坐标点计算该种颜色的区域面积，得到对应食物的相对面积，将对应食物的相对面积通过和预设的图片面积参考值进行比较，可计算出对应食物的绝对面积。

进一步地，所述颜色提取具体为，食物区域和划线点按照连通域分解，划线交界处颜色提取为目标食物颜色或目标食物颜色中面积比例最大的颜色。

更进一步地，所述颜色提取时还包括修正，所述修正具体为修正交接处区域的用户划线点的颜色，交接处颜色有混合时，自动修正为颜色比例大的颜色。

进一步地，所述扫描和匹配具体为，扫描获取到目标食物图片中目标点的ARGB颜色值，通过调用算法函数进行匹配，在循环遍历找到ARGB颜色值相同的点，则这个点就认为是匹配的食物的范围内。

更进一步地，所述循环遍历的条件为，当目标点的ARGB颜色值达不到预设条件对于ARGB颜色值范围的设定条件时，则跳出循环，匹配过程结束。

进一步地，在通过摄像头获取目标食物图片前还包括检测餐盘和参考标记，然后在餐盘区域里分割出食物分布区域。

进一步地，计算目标食物的重量具体为，

假设食物实际总重量为W，目标食物的面积为S，密度为ρ，目标食物的重量按照S*ρ*W/(S*ρ+S*ρ+S*ρ)计算得出。

与现有技术相比，本发明的有益效果是：

1、本发明算法简单，计算时间大大加快，一般在一秒或者一秒内就可以完成计算面积的工作；

2、本发明算法准确度大幅提高，可以达到80％以上；

3、本发明中多种食物颜色相近也可以分辨出来各自的面积；

4、本发明的方法可以在嵌入到app中使用，给用户带来更好的体验。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1为本发明的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明所述的一种基于图像识别的食物重量及营养素含量的鉴定方法，包括以下步骤：

保持目标食物的高度一致，通过摄像头获取目标食物图片；

对获取的食物图片进行取点划线，计算选取的图片路径、取点划线的数据以及对每个取点划线的值打上标签；

根据图片路径获取到所述目标食物图片，并根据取点划线的数据和标签对取点的地方进行颜色提取和对颜色建立模型；

扫描目标食物并进行颜色匹配，完成各类食物的区分；

在终端上扫描和匹配，调用识别算法计算目标食物的面积，通过得到的面积数据和获取到的目标食物的密度和营养素进行匹配，计算出目标食物的重量及所含营养素，获得目标食物的重量及所含营养素含量。

在上述技术方案中，可以通过网络在服务器上获取到食物密度和营养素含量。

具体实施时，所述目标食物为单一食物形成的堆积或者由多种食物形成的堆积。

具体实施时，所述建立模型具体为，根据取点的坐标点找到图片当中对应的地方，并获取到图片在该地方的颜色，算法对该种颜色进行建模，然后对图片当中所有的区域进行扫描，获取到颜色相同的所有坐标点，通过坐标点计算该种颜色的区域面积，得到对应食物的相对面积，将对应食物的相对面积通过和预设的图片面积参考值进行比较，可计算出对应食物的绝对面积。

具体实施时，所述颜色提取具体为，食物区域和划线点按照连通域分解，划线交界处颜色提取为目标食物颜色或目标食物颜色中面积比例最大的颜色。

具体实施时，所述颜色提取时还包括修正，所述修正具体为修正交接处区域的用户划线点的颜色，交接处颜色有混合时，自动修正为颜色比例大的颜色，交接处往往会出现不同食物，在颜色取点建模提取时，不可能完全细化到实现一个取点区域内只有一种颜色，这时需要对颜色进行修正，自动修复为面积占比最大的颜色，通过即时修正，可以使后续步骤快速进行，提高整体的效率。

具体实施时，所述扫描和匹配具体为，扫描获取到目标食物图片中目标点的ARGB颜色值，通过调用算法函数进行匹配，在循环遍历找到ARGB颜色值相同的点，则这个点就认为是匹配的食物的范围内。

在上述技术方案中，具体过程为：

pX是用户划线取点的时候所有X轴坐标点的集合，pY是所有Y轴的坐标点集合，pLable是X轴，Y轴坐标点的标记集合。先遍历这3个集合，pLable集合中的值(1,1,1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,2,2,2,3,3,3,3,3,3,3,3,3,3)，也就是说第一个1一定对应着X轴点集合的第一个值，同理也对应着Y轴集合的第一个值，X轴，Y轴的第一个值就组成一个点的坐标了。所有的1，所有的2，所有的3就是代表一种食物。用这个点找到图片中的地方获取到图片中的颜色值，这个颜色值就是标准，同理获取到其他点对应的颜色值和这个颜色值做比较，相同或者很相近就认为是一种食物的范围内的点。所有的点就组成了一个二维的平面，这个平面的大小和预设的图片面积的相对大小(大小包括2个：一个是绝对大小，还有一个是相对面积，这个就需要算法去识别图片中的目标区域，获取到预设的参考对象的相对面积)做比较，再者预设的图片的绝对面积是已知的，所以就会知道每种食物的绝对面积，并赋值。

具体实施时，所述循环遍历的条件为，当目标点的ARGB颜色值达不到预设条件对于ARGB颜色值范围的设定条件时，则跳出循环，匹配过程结束。

在上述技术方案中，具体为，如果随机取得的点的颜色是红色，那么这个颜色的rgb值就可以获取到，比如r＝255，g＝20，b＝20，那么预设的判断条件就是254<r<＝255，18g<＝20，18<b<20，不满足这个条件就跳出循环。

具体实施时，在通过摄像头获取目标食物图片前还包括检测餐盘和参考标记，然后在餐盘区域里分割出食物分布区域。

具体实施时，计算目标食物的重量具体为，

假设食物实际总重量为W，目标食物的面积为S，密度为ρ，目标食物的重量按照S*ρ*W/(S*ρ+S*ρ+S*ρ)计算得出。

在上述技术方案中，具体过程为：假设有三种食物A、B、C，已知三种面积比为S₁:S₂:S₃，假设高度相同，则体积比V₁:V₂:V₃＝S₁:S₂:S₃，已知A、B、C密度分别为ρ₁、ρ₂、ρ₃，且由公式m＝ρ*g*V(ρ为密度,g为常量,V为体积)，重量＝mg，推出：重量比＝质量比＝ρ*V之比，

则A、B、C重量比W_A:W_B:W_C＝V₁*ρ₁:V₂*ρ₂:V₃*ρ₃；

即W_A:W_B:W_C＝S₁*ρ₁:S₂*ρ₂:S₃*ρ₃；

假设食物实际总重量为W，最后，可推导出：

W_A＝S₁*ρ₁*W/(S₁*ρ₁+S₂*ρ₂+S₃*ρ₃)，

W_B＝S₂*ρ₂*W/(S₁*ρ₁+S₂*ρ₂+S₃*ρ₃)，

W_C＝S₃*ρ₃*W/(S₁*ρ₁+S₂*ρ₂+S₃*ρ₃)，

将体积约分掉，只需每种食物的面积和密度及总重量，就可计算出每种食物的重量，通过重量计算本餐中每种食物的营养素含量。对食物重量的识别的准确度可以达到80％以上，这样提高了食物图像识别中每种食物的重量的准确度，在用户可以容忍的误差范围内计算出每餐中每种食物的重量和营养素含量。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种基于图像识别的食物重量及营养素含量的鉴定方法，其特征在于，包括以下步骤：

保持目标食物的高度一致，通过摄像头获取目标食物图片；

对获取的食物图片进行取点划线，计算选取的图片路径、取点划线的数据以及对每个取点划线的值打上标签；

根据图片路径获取到所述目标食物图片，并根据取点划线的数据和标签对取点的地方进行颜色提取和对颜色建立模型；

扫描目标食物并进行颜色匹配，完成各类食物的区分；

在终端上扫描和匹配，调用识别算法计算目标食物的面积，通过得到的面积数据和获取到的目标食物的密度和营养素进行匹配，计算出目标食物的重量及所含营养素，获得目标食物的重量及所含营养素含量。

2.根据权利要求1所述的一种基于图像识别的食物重量及营养素含量的鉴定方法，其特征在于：所述目标食物为单一食物形成的堆积或者由多种食物形成的堆积。

3.根据权利要求1所述的一种基于图像识别的食物重量及营养素含量的鉴定方法，其特征在于：所述建立模型具体为，根据取点的坐标点找到图片当中对应的地方，并获取到图片在该地方的颜色，算法对该种颜色进行建模，然后对图片当中所有的区域进行扫描，获取到颜色相同的所有坐标点，通过坐标点计算该种颜色的区域面积，得到对应食物的相对面积，将对应食物的相对面积通过和预设的图片面积参考值进行比较，可计算出对应食物的绝对面积。

4.根据权利要求1所述的一种基于图像识别的食物重量及营养素含量的鉴定方法，其特征在于：所述颜色提取具体为，食物区域和划线点按照连通域分解，划线交界处颜色提取为目标食物颜色或目标食物颜色中面积比例最大的颜色。

5.根据权利要求4所述的一种基于图像识别的食物重量及营养素含量的鉴定方法，其特征在于：所述颜色提取时还包括修正，所述修正具体为修正交接处区域的用户划线点的颜色，交接处颜色有混合时，自动修正为颜色比例大的颜色。

6.根据权利要求1所述的一种基于图像识别的食物重量及营养素含量的鉴定方法，其特征在于：所述扫描和匹配具体为，扫描获取到目标食物图片中目标点的ARGB颜色值，通过调用算法函数进行匹配，在循环遍历找到ARGB颜色值相同的点，则这个点就认为是匹配的食物的范围内。

7.根据权利要求6所述的一种基于图像识别的食物重量及营养素含量的鉴定方法，其特征在于：所述循环遍历的条件为，当目标点的ARGB颜色值达不到预设条件对于ARGB颜色值范围的设定条件时，则跳出循环，匹配过程结束。

8.根据权利要求1所述的一种基于图像识别的食物重量及营养素含量的鉴定方法，其特征在于：在通过摄像头获取目标食物图片前还包括检测餐盘和参考标记，然后在餐盘区域里分割出食物分布区域。

9.根据权利要求1所述的一种基于图像识别的食物重量及营养素含量的鉴定方法，其特征在于：计算目标食物的重量具体为，

假设食物实际总重量为W，目标食物的面积为S，密度为ρ，目标食物的重量按照S*ρ*W/(S*ρ+S*ρ+S*ρ)计算得出。