CN104778374A - 一种基于图像处理识别方法的自动膳食评估装置 - Google Patents

Abstract

本发明主要是设计一个在具有内置相机的智能手机或其他移动设备上运行的半自动化测量模块以记录食物的卡路里摄入量。通过测量食物的体积和其营养成分来计算卡路里的摄入量。

Description

一种基于图像处理识别方法的自动膳食评估装置

技术领域

 本发明属于物联网技术领域，涉及一种基于图像处理识别方法的自动膳食评估装置, 本发明的目的在于使用该技术解决现实生活中食物摄入量测量的问题。它有助于营养师监测每日营养摄入量。要做到这一点，在食物识别装置的不同步骤中已经采用了各种图像处理技术。在肥胖症患者的移动设备上使用这种食物识别装置，任何人都可以监控他/她的食物的摄入量，由此可降低饮食记录者的负担。

背景技术

随着生活质量和水平的不断提升，年轻人中肥胖病患者的数量逐步增长是一个巨大的问题。不幸的是，这种持续的增长趋势导致2型糖尿病病人的数量也持续增长。在2008年，肥胖症患者占世界成人人口的十分之一，而在2012年这个数字已增长到六分之一，并且还在以惊人的速度增长。最近的研究表明，肥胖的人更可能产生严重的健康疾病，如高血压、心脏病、2型糖尿病、高血脂、乳腺癌、结肠癌和呼吸疾病等。肥胖症的主要原因是食物和能量的摄入与消耗之间的不平衡。所以，为了用健康的方式减肥并且维持正常人的健康体重，必须每天测量食物摄取量。事实上，所有现有的肥胖症治疗技术要求病人每天记录食物的摄入量来对比能量的摄入和消耗。

膳食摄入量，即定义某人每天吃什么。膳食摄入量可以为增加干预方案提供宝贵意见，从而能够预防许多疾病。在营养和健康领域，精确测量膳食摄入量是开放的研究课题。通过引入一个新的半自动膳食评估装置，它有助于营养师监测每日营养摄入量。要做到这一点，在食物识别装置的不同步骤中已经采用了各种图像处理技术。在肥胖症患者的移动设备上使用这种食物识别装置，任何人都可以监控他/她的食物的摄入量。

本发明的膳食评估装置是由几个独立的部分组成，一个部分的输出信息是另一个部分的输入信息。因此，整个摄入测量装置对每个操作过程都非常敏感。换句话说，一个早期阶段（如分割阶段）的错误估计，会将错误传播到整个装置，并降低最终结果的精确度。本发明为了有一个精确的摄入测量装置，考虑并使用了这一特点。因此，在每个部分的算法的技术准确性上可以称得上“精准”。 整体食物卡路里的精确和准确的测量是需要解决的主要问题。整体食物卡路里的精确测量是另一个问题。在讨论任何技术问题之前，对本装置的精度的预期是很重要的。为了回答这个问题，首先必须了解现有的食物营养成分测量方法的精度。从两个方面进行考虑。首先，如果把一盘食物放到专业营养师面前，他/她不能仅仅通过简单的观察或手动测量就给出精确的营养成分测量结果，这是因为营养师不知道盘中食物的精确的成分，例如食物中是否包含盐，如果含有盐则含量是多少，或者它是否包含油，如果含有油是什么类型（橄榄油，玉米油，动物类，...），如果含有某一类油，其含量是多少等问题。此外，某些食物不易察觉，例如一片肉隐藏在汤内，使营养师也无法看到。因此，我们可以看出在现实生活中高精度卡路里测量是不可能实现的。本发明主要是设计一个在具有内置相机的智能手机或其他移动设备上运行的半自动化测量模块以记录食物的卡路里摄入量。与现有的临床方法相比，本装置是通过测量食物的体积和其营养成分来计算卡路里的摄入量。

本目标必然不是得到高精度的结果，因为如上文所述，在实际生活中是不可能测量出高精度的数据的。当然，越精准的装置，最后得出的结论越好。这就是为什么考虑试图测量食物的摄入部分的体积的大小，并且尽可能准确的辨认食物的类型。但非常重要的是仅通过食物图片的处理是不可能得到高精度的数据的。

发明内容

本发明的目的是提供一种基于图像处理识别方法的自动膳食评估装置。

上述的目的通过以下的技术方案实现：

考虑到在年轻人群中移动设备（例如智能手机和平板电脑）的普及，并且这些通信设备普遍存在，它们可以加载饮食相关的应用模块，例如我们的食物识别模块。本发明的目的在于使用该技术解决现实生活中食物摄入量测量的问题。当前这一领域的研究可以分为三类，即临床研究、辅助研究和半自动化方法研究。在如24小时膳食回顾（24HR）和食物频率问卷这类临床研究中，其数据是由患者手工记录，之后再计算卡路里摄入量。由于这些方法的数据是手工记录，因此在整个记录过程中可能产生大量的错误。这些方法的另一个缺点是病人很难将记录应用于治疗。最近，一些研究人员研究半自动化的方法。本发明将设计开发一个简单而实用的半自动化的应用模块，人们可以使用应用模块进行交互。此外，在这种情况下，通过使用模块化的方法来增加如智能手机这类移动设备的使用机会。使用移动设备作为用户接口，并且通过网络将自己的食物图像数据发送给专家来计算卡路里摄入量。 移动应用模块提供了一个独特的机制来收集饮食信息，由此可降低饮食记录者的负担。

在早期阶段，用户用移动设备拍摄图像，随后进行预处理步骤。然后，在分割步骤中对每个图像进行分析并提取出各个食物部分。众所周知，若非具有良好的图像分割机制，该装置则不能够适当地处理图像。 因此，本项目将这个步骤分解成了更多的步骤。为此，我们使用了颜色分割、K均值聚类和纹理分割等工具。对于每个检测到的食品部分，特征提取过程必须被执行。对于每个检测到的食物图像，必须执行特征提取步骤。 在这一步骤中将会提取出食物的各种属性，如大小、形状、颜色和纹理等。所提取的特征将被发送到分类步骤，分类步骤使用SVM方案将食物识别出来。最后，通过估计食物部分的面积，并参照营养表，计算出食物中卡路里的含量。

图像分析模块的步骤如下:

1、预处理

首先，为了分割可以获得准确的结果，必须将图像的大小简单变换为标准格式。这样做能够将图像与标准尺寸的图像相比较进行分类。如果图像的尺寸无法与其他任何尺寸兼容，则对图像使用裁剪或填充技术。

2、图像分割

在下面的部分，我们将介绍在本装置中采用的图像分割工具。

1)K均值聚类

均值漂移算法是一种无需聚类数目的先验知识并且不限制聚类形状的非参数聚类技术。K-均值算法迭代地计算一组聚类的平均值，直到其收敛于一组稳定聚类。在灰度图像中，通常建模为均匀强度的区域。分割算法采用某种形式的欧几里德距离测量，以确定无论是空间地方上还是在全局颜色上相似的像素。聚类算法在复杂的多维空间中进行图像颜色处理。 因为彩色图像中需要加入三个复杂的变量来表示颜色像素，所以彩色图像的区域分割问题不如灰度图像的分割问题好处理。

在分割步骤中，更注重颜色相近的区域。由于颜色的相似性在很大程度上取决于测量颜色间的距离，因此选择适合的测量距离是十分重要的。在本发明中，首先使用高斯边缘检测来平滑RGB直方图，然后使用接近和扩张操作来分割图像。换句话说，在使用的K-均值聚类法如下。

(1)随机初始化K-聚类中心。

(2)将每个样本分配给最接近的中心。

(3)计算K-聚类的中心（平均值）。

(4)如果中心不变，则完成。否则回到步骤2。

2)纹理分割

为了在分割阶段获得更准确的结果，我们还添加了纹理分割的方法。为了获得纹理特征，通过使用伽柏滤波器来测量频域中的局部纹理属性。 伽柏滤波器能够描述关于信号的本地功率谱特性并且已被用于纹理分析。在空间域中的伽柏脉冲响应包括定向的正弦平面波和二维高斯包络调频，有如下公式（1）。

      (1)

对每个图像中的所有像素进行伽柏滤波操作得到纹理特征，然后估算平均值和图像滤波后的能量标准偏差。 伽柏滤波器组由几种高斯调频的伽柏滤波器组成，此调频是受相同伽柏滤波器的不同定向确定的正弦平面波所影响。

在实现中，伽柏滤波器组有六种不同的所需定向以及五种波长应用到图像。此外，在分割步骤中包含了像素的空间坐标作为两个额外的属性，这可以获得更精确的结果。每个伽柏滤波器的输出是与输入图像大小相等的二维矩阵。这样一个矩阵中所有元素的和代表匹配输入图像的定向和空间频率的数字。

3、轮廓描述

此时，图像通过K-均值颜色分割和纹理分割进行特征区分，然后提取出轮廓。图像分割出的结果是一系列共同覆盖整个图像的线段或者是一系列从图像中提取出的轮廓。每个区域内的像素在一些特征上表现出相似性，例如颜色、强度或纹理。 相邻的区域在相同的特征上表现出显著的不同。只需要依据锐度增量过程和增加图像有意义特征的过程定义图像的主动轮廓。从这些图像轮廓的提取会给我们一系列完整的平面上相应的坐标，并且能够描绘出图像内的物体简单形状。一旦这一系列像素被确定，我们就可以用较强的颜色（如红、绿或蓝）来重新人工构造轮廓画线。

4、感兴趣区域说明

在这个步骤中，需要从分割出的区域中提取出感兴趣区域。通过使用轮廓检测方法，从背景中提取出每个部分。

当前，由于我们要计算食物的卡路里，所以我们需要计算每个感兴趣区域的大小。 为了做到这一点，我们使用二进制对象，它是将单一实体存储为二进制数据的集合。“二进制对象”最初表示未经过滤器或纠错就将大量数据从一个数据库移动到另一个数据库。

现在我们将对象的感兴趣区域转变为二进制表示。这样做，感兴趣区域内的像素将变为白色，其余部分图像将变为黑色。

5、肤色定义

为了获得图像中患者的拇指部分，要在图像上进行一个特殊的变换，将RGB颜色空间变换到YCbCr颜色空间。这些图像进行变化时分析图像中人体肤色的特定范围。图像中对应肤色的像素保持不变，其它像素用黑色像素替代。

6 、拇指测量法

当图像中有明显的人的皮肤时，含有拇指的感兴趣区域的特征被提取。然后，所提取的区域产生对应于拇指本身的二进制对象。最后，当拇指的二进制对象可用时，可以提取出像素中拇指的面积。即使当二进制对象将图像转换为黑色和白色像素，我们一直使用的是三通道图像，能够使用特殊颜色来突出拇指的尺寸。

图5显示了三个不同拇指图像的二进制对象。注意，二进制对象提取前，为了减少处理过程，只需集中处理整幅图像的一小部分区域，每幅图的感兴趣区域已经被提取。

图像公开的数据是像素，这些数据不能算做营养摄入和热量测量的一部分。 因此通过数据转换成一个实际的结果，以便于尺寸的计算并将其呈现给用户最终实际结果和尺寸。

7、特征的提取和分类

通过使用四种特征的框架，包括颜色、纹理、尺寸和形状。对于颜色特征，使用了边缘检测和颜色K-均值聚类。对于纹理特征，使用了伽柏滤波器。为了尺寸和形状特征，使用了的边缘检测技术和图像的感兴趣区域像素计算技术。

下一步骤是对提取出的特征进行分类，以便于识别每种食物。SVM算法它是用于数据分类的流行技术之一。 一个分类任务通常包括训练数据和测试数据，数据由一些实例组成。训练数据中的每个实例都包含一个类标签和几个特征。SVM的目标是构架一个模型，该模型能够仅通过测试数据中数据实例的属性预测出该实例的目标值。

为了提高准确性，在SVM模块已确定每种食物类型后，该装置任意与用户进行交互来验证食物种类。 装置可以对用户显示出食物的图像并注解出装置认为的食物类型，如鸡肉、肉、蔬菜等。 然后，用户可以确认或改变食物的类型。 虽然这种改变使装置从自动化变为半自动化，然而它会增加装置的准确度。

本模型中使用RBF核，它以非线形方式在更高维度空间映射样本。与线性核不同，RBF核非常适合于类标记和属性是非线性的情况。

在本发明中，SVM的特征向量包含五个纹理特征、十个颜色特征、三个形状特征和六个大小特征。在分割阶段提取出各种食物的特征向量，然后成为SVM的训练向量。

8、计量单位

1) 卡路里的定义和营养表

卡路里是一个典型的测量单元，它被定义为一克水提高一度所需的热能。换句话说，这种测量单元用于测量在食物中所含的总能量，食物的主要组成部分是碳水化合物、蛋白质和脂肪。在营养表中除了以克为单位，也以卡路里为单位。 每个人每天都应该摄取一定量的卡路里。如果摄入过多，则会导致体重增加。

2) 图像处理的形状识别部分

形状识别是图像处理的一部分，集中处理图像中所有不同类型的特征。处理的最常见的特征是面积、周长、尺码和欧拉数(E)。E由连接的组件的数量(C)和对象孔的数量(H)组成，定义为E=C-H。几何属性与如圆形、方形或三角形这类标准的几何形状密切相关的。

3) 利用面积大小获取体积

本文提出的食品识别装置是基于捕获的相片中包含用户的拇指的一个新的测量技术。由于食物体积的测量是最困难的一部分。除了易用性和随处可用性，在该方法中，我们使用拇指来校准图像，并分析所选择的食物的尺寸。因此，在照相时用户将食物放在盘中，并且确保在盘子的一侧放有他/她的拇指。得出食物的体积可使我们从之前所述的营养表中轻易的计算出卡路里的含量。

4)采用营养表

食物数据库的结构是用于构建和测试食品识别装置的主要部分。 通过专门的模块，食物营养值的数据被存储在装置数据库中的如表1形式的表中。 这个数据库可以帮助本装置在短时间内并且在没有互联网的情况下计算卡路里的含量。

附图说明：

图1为整体装置设计,第一步骤采集食物图像。利用图像分割技术（如颜色分割、纹理分割），提取食物部分区域。接下来，通过食物识别技术（如支持向量机）将食物分类。然后，计算被检测到的食物的体积。之后，根据食物的体积和食物营养表估算识别出的食物热量信息。最后，将热量信息发送给用户。

图2 移动设备应用模块的体系结构

图3 图像分析装置

图4两个对象的提取和转化

图5 用户手指图像的感兴趣区域和二进制对象

表1显示出各种食物所含的热量。本发明将已经建立的表为参考，通过选定的食物图像来估算卡路里的值。

表1 一些样例食物的营养表

有益效果:

  本发明的接口可包括有显示器及人机操作接口,显示器为手机、平板类触控或非触控均可。使用者可通过显示器分析识别出的食物,确定是否为使用者所消耗,也可自行设定食物内容和分量。

1) 节约成本，代替人工作业，达到专业效果；

2) 启动设备，移动终端自带的摄像机将要吃的食物进行录制，用户吃完食物后,对剩余食物还要进行去除，通过内部算法芯片模块对使用者的食物进行分析，再通过设备的显示终端显示出来，并可智能选择和专家判断的模式对吃掉的卡路里进行综合测评。

3) 使用移动设备作为用户接口，并且通过网络将自己的食物图像数据发送给专家来计算卡路里摄入量。 移动应用模块提供了一个独特的机制来收集饮食信息，由此可降低饮食记录者的负担。 在肥胖症患者的移动设备上使用这种食物识别装置，任何人都可以监控他/她的食物的摄入量。

4)对糖尿病患者也可以起到辅助和提醒的作用。

5)设备小巧，易于携带，方便使用，随时随地都可用。

6) 智能化设备，引领行业龙头。未来社会，将是一个智慧化城市时代，很多劳作都可以用智能机器去取代。该产品的研发，将引起一场新的变革；

具体实施方式：

上述的目的通过以下的技术方案实现：

     1）一种基于图像处理识别方法的自动膳食评估装置，其组成包括：摄像头，装载识别和分析算法的DSP芯片，无线传输模块，USB接口等设备组成，设计实现了一种基于图像处理识别方法的自动膳食评估装置。

2）根据权利要求1所述一种基于图像处理识别方法的自动膳食评估装置，其特征是基于捕获的相片中包含用户的拇指的一个新的测量技术。由于食物体积的测量是最困难的一部分。除了易用性和随处可用性，在该方法中，使用拇指来校准图像，并分析所选择的食物的尺寸。

3）根据权利要求1和2所述 ，一种基于图像处理识别方法的自动膳食评估装置，第一步骤采集食物图像。利用图像分割技术（如颜色分割、纹理分割），提取食物部分区域。接下来，通过食物识别技术（如支持向量机）将食物分类。然后，计算被检测到的食物的体积。之后，根据食物的体积和食物营养表估算识别出的食物热量信息。最后，将热量信息发送给用户。

4）根据权利要求1、2、3、4所述 ，图像分析模块的步骤如下:

（1） 预处理:首先，为了分割可以获得准确的结果，必须将图像的大小简单变换为标准格式。这样做能够将图像与标准尺寸的图像相比较进行分类。如果图像的尺寸无法与其他任何尺寸兼容，则对图像使用裁剪或填充技术。

（2）图像分割：采用K均值聚类和纹理分割两种融合方法。图像通过K-均值颜色分割和纹理分割进行特征区分，然后提取出轮廓。图像分割出的结果是一系列共同覆盖整个图像的线段或者是一系列从图像中提取出的轮廓。每个区域内的像素在一些特征上表现出相似性，例如颜色、强度或纹理。 相邻的区域在相同的特征上表现出显著的不同。

（3）轮廓描述。只需要依据锐度增量过程和增加图像有意义特征的过程定义图像的主动轮廓。从这些图像轮廓的提取会给我们一系列完整的平面上相应的坐标，并且能够描绘出图像内的物体简单形状。

（4）感兴趣区域说明。当前，由于我们要计算食物的卡路里，所以我们需要计算每个感兴趣区域的大小。 为了做到这一点，我们使用二进制对象，它是将单一实体存储为二进制数据的集合。“二进制对象”最初表示未经过滤器或纠错就将大量数据从一个数据库移动到另一个数据库。

现在我们将对象的感兴趣区域转变为二进制表示。这样做，感兴趣区域内的像素将变为白色，其余部分图像将变为黑色。

（5）肤色定义。为了获得图像中患者的拇指部分，要在图像上进行一个特殊的变换，将RGB颜色空间变换到YCbCr颜色空间。这些图像进行变化时分析图像中人体肤色的特定范围。图像中对应肤色的像素保持不变，其它像素用黑色像素替代。

（6）拇指测量法。当图像中有明显的人的皮肤时，含有拇指的感兴趣区域的特征被提取。然后，所提取的区域产生对应于拇指本身的二进制对象。最后，当拇指的二进制对象可用时，可以提取出像素中拇指的面积。即使当二进制对象将图像转换为黑色和白色像素，我们一直使用的是三通道图像，能够使用特殊颜色来突出拇指的尺寸。图像公开的数据是像素，这些数据不能算做营养摄入和热量测量的一部分。 因此通过数据转换成一个实际的结果，以便于尺寸的计算并将其呈现给用户最终实际结果和尺寸。

（7）特征的提取和分类。通过使用四种特征的框架，包括颜色、纹理、尺寸和形状。对于颜色特征，使用了边缘检测和颜色K-均值聚类。对于纹理特征，使用了伽柏滤波器。为了尺寸和形状特征，使用了边缘检测技术和图像的感兴趣区域像素计算技术。SVM的目标是构架一个模型，该模型能够仅通过测试数据中数据实例的属性预测出该实例的目标值。为了提高准确性，在SVM模块已确定每种食物类型后，该装置任意与用户进行交互来验证食物种类。 装置可以对用户显示出食物的图像并注解出装置认为的食物类型，如鸡肉、肉、蔬菜等。 然后，用户可以确认或改变食物的类型。 虽然这种改变使装置从自动化变为半自动化，然而它会增加装置的准确度。本模型中使用RBF核，它以非线形方式在更高维度空间映射样本。与线性核不同，RBF核非常适合于类标记和属性是非线性的情况。在本发明中，SVM的特征向量包含五个纹理特征、十个颜色特征、三个形状特征和六个大小特征。在分割阶段提取出各种食物的特征向量，然后成为SVM的训练向量。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.  一种基于图像处理识别方法的自动膳食评估装置，其组成包括：摄像头，装载识别和分析算法的DSP芯片，无线传输模块，USB接口等设备组成，设计实现了一种基于图像处理识别方法的自动膳食评估装置。

2.根据权利要求1所述一种基于图像处理识别方法的自动膳食评估装置，其特征是基于捕获的相片中包含用户的拇指的一个新的测量技术；由于食物体积的测量是最困难的一部分；在该方法中，使用拇指来校准图像，并分析所选择的食物的尺寸，具有易用性和随处可用性。

3.根据权利要求1和2所述 ，一种基于图像处理识别方法的自动膳食评估装置，第一步骤采集食物图像；利用图像分割技术（如颜色分割、纹理分割），提取食物部分区域；接下来，通过食物识别技术（如支持向量机）将食物分类；然后，计算被检测到的食物的体积；根据食物的体积和食物营养表估算识别出的食物热量信息；最后，将热量信息发送给用户。

4.根据权利要求1、2、3、4所述 ，图像分析模块的步骤如下；（1） 预处理：首先，为了分割可以获得准确的结果，必须将图像的大小简单变换为标准格式；这样做能够将图像与标准尺寸的图像相比较进行分类；如果图像的尺寸无法与其他任何尺寸兼容，则对图像使用裁剪或填充技术；（2）图像分割：采用K均值聚类和纹理分割两种融合方法；图像通过K-均值颜色分割和纹理分割进行特征区分，然后提取出轮廓；图像分割出的结果是一系列共同覆盖整个图像的线段或者是一系列从图像中提取出的轮廓；每个区域内的像素在一些特征上表现出相似性，例如颜色、强度或纹理；相邻的区域在相同的特征上表现出显著的不同；（3）轮廓描述；只需要依据锐度增强过程和增加图像有意义特征的过程定义图像的主动轮廓；从这些图像轮廓的提取会给我们一系列完整的平面上相应的坐标，并且能够描绘出图像内的物体简单形状；（4）感兴趣区域说明；当前，由于我们要计算食物的卡路里，所以我们需要计算每个感兴趣区域的大小；为了做到这一点，我们使用二进制对象，它是将单一实体存储为二进制数据的集合；“二进制对象”最初表示未经过滤器或纠错就将大量数据从一个数据库移动到另一个数据库；现在我们将对象的感兴趣区域转变为二进制表示；这样做，感兴趣区域内的像素将变为白色，其余部分图像将变为黑色；（5）肤色定义；为了获得图像中患者的拇指部分，要在图像上进行一个特殊的变换，将RGB颜色空间变换到YCbCr颜色空间；这些图像进行变化时分析图像中人体肤色的特定范围；图像中对应肤色的像素保持不变，其它像素用黑色像素替代；（6）拇指测量法；当图像中有明显的人的皮肤时，含有拇指的感兴趣区域的特征被提取；然后，所提取的区域产生对应于拇指本身的二进制对象；最后，当拇指的二进制对象可用时，可以提取出像素中拇指的面积；即使当二进制对象将图像转换为黑色和白色像素，我们一直使用的是三通道图像，能够使用特殊颜色来突出拇指的尺寸；图像公开的数据是像素，这些数据不能算做营养摄入和热量测量的一部分；因此通过数据转换成一个实际的结果，以便于尺寸的计算并将其呈现给用户最终实际结果和尺寸；（7）特征的提取和分类；通过使用四种特征的框架，包括颜色、纹理、尺寸和形状；对于颜色特征，使用了边缘检测和颜色K-均值聚类；对于纹理特征，使用了伽柏滤波器；为了尺寸和形状特征，使用了边缘检测技术和图像的感兴趣区域像素计算技术；SVM的目标是构架一个模型，该模型能够仅通过测试数据中数据实例的属性预测出该实例的目标值；为了提高准确性，在SVM模块已确定每种食物类型后，该装置任意与用户进行交互来验证食物种类；装置可以对用户显示出食物的图像并注解出装置认为的食物类型，如鸡肉、肉、蔬菜等；然后，用户可以确认或改变食物的类型；虽然这种改变使装置从自动化变为半自动化，然而它会增加装置的准确度；本模型中使用RBF核，它以非线形方式在更高维度空间映射样本；与线性核不同，RBF核非常适合于类标记和属性是非线性的情况；在本发明中，SVM的特征向量包含五个纹理特征、十个颜色特征、三个形状特征和六个大小特征；在分割阶段提取出各种食物的特征向量，然后成为SVM的训练向量。