CN108830898A - 一种基于3d模型嵌套的食物体积估算方法 - Google Patents

Abstract

本发明公开了一种基于三视图的简单模型嵌套求食物体积的方法，该方法能还原出食物对应的简单几何模型，进而求得食物的估计体积。包括如下步骤：挑选特定模型建立三维模型库，录入使用者手部信息。将手和食物放在同一平面拍摄，得到三视图图像。对图像进行L*a*b色彩空间预处理，对处理结果进行k‑means聚类分割，获得图像分割结果。对分割结果与三维模型库中模型的三视图进行外轮廓匹配，根据特定函数，计算食物与各个模型投影图的匹配度，找到匹配度最大的投影图，其对应的三维模型即为与食物匹配的三维模型。以手为比例尺，确定匹配模型的参数大小，进而通过体积计算公式，估算食物体积。本发明能够达到简化体积重构复杂度，估计食物体积的效果。

Description

一种基于3D模型嵌套的食物体积估算方法

技术领域

本发明属于计算机图像处理和计算机视觉技术领域，特别涉及一种适用于手机APP应用的基于3D模型轮廓嵌套匹配的食物体积估算算法。

背景技术

早在1997年，世界卫生组织(WTO)就已经将肥胖列为一种疾病。研究表明，个体层面人们可以限制来自于总脂肪和糖的能量摄入，增加水果、蔬菜以及豆类、全谷类及坚果的食用量等。由此可见，控制饮食对肥胖患者管理健康具有很大作用。随着智能手机的普及，利用手机获取食用食物照片并进行处理极为方便，用户可以通过APP估算食物体积以及各项营养成分组成，使用户了解自己所食用的食物的各项成分含量，便于监控自己的饮食状况，辅助实现饮食控制，从而达到更好地管理自身健康的目的。开发适用于手机APP的食物体积估算方法是此过程的核心算法，也是本发明的目标。

目前已有许多学者研究了食物体积估计的相关算法，其中较为常用的两种方法是通过使用3D点云来还原食物模型，应用相关算法从而提取深度信息；或使用轮廓的提取，结合简单几何图形匹配来完成。

使用点云重建出来的结果很完整，拥有比较全面的分层重建模型，点云数据具有可量测性，可以直接在点云上获取三维坐标、距离、方位角、表面法向量，还可以计算得到点云所表达目标的表面积、体积等。但是其建模过程较为复杂，受亮度的影响较大，扫描角越大，点间隔也越大，再加上各种偶然误差的影响，所以导致点云的空间的分布并不规则。并且由于建模要求较高，在手机app中集成较为复杂，对产品性能有一定的要求。

而传统轮廓提取法计算较为简便，适合集成于手机软件中。但目前使用的基于轮廓提取，模型匹配嵌套的方法需要用户大量的交互，过程繁琐不易于使用。而且其标定过程往往需要一些额外的参照物，不方便用户携带，不利于用户体验感的提升。

发明内容

有鉴于此，本发明所要解决的技术问题是提供一种适用于手机APP应用的基于3D模型嵌套的食物体积估算方法，简单、快捷且在误差允许的范围内估算食物体积，帮助人们合理膳食。

本发明的目的是这样实现的：

1)建立3D模型数据库，存储各个模型的三视图投影图像，正式使用前，输入手部的信息；

2)将拍摄的处于同一平面的食物与手的三视图进行图像分割，分别得到食物和手部图像；

3)利用外轮廓匹配的思想将食物外轮廓图像与模型库各个模型投影轮廓比较，选取最契合的模型；

4)将手作为比例尺计算食物实际尺寸，并通过体积计算公式估算食物体积。

附图说明

图1为以手为参考系基于三视图的食物体积估计的流程图。

图2为食物拍摄原图。

图3为L*a*b色彩空间处理效果图。

图4为外轮廓提取图。

图5为图像分割效果图。

图6为简单几何体匹配结果图。

具体实施方式

下面结合附图对本发明作进一步详细的说明。

图1为以手为参考系基于三视图的食物体积估计的流程图。

下面通过图1将本发明为基于3D模型嵌套的食物体积估算方法进行详尽的描述。

步骤1：本文通过调查研究，发现烹饪过后的食物大多数都可以被几个固定模型嵌套，尤其是对于减肥健康类食品。因此，本文通过统计分析，挑选一定数量的三维模型，构建3D模型库。

本文构建了一个3D几何形状模型库。对于长方体，可以用来计算芝士条等食物，其公式为：

V＝l*w*h (1)

对于圆柱体，可以用来计算汉堡等食物，其公式为：

V＝πr²*h (2)

对于扇体，可以用来计算切角蛋糕、派等食物，其公式为：

对于球体，可以用来计算西红柿、荔枝等食物，其公式为：

对于半球体，可以用来计算米饭、果冻等食物，其公式为：

对于椭球体，可以用来计算鸡蛋、土豆等食物，其公式为：

对于半椭球体，可以用来计算半个鸡蛋等食物，其公式为：

对于圆锥体，可以用来计算冰激凌甜筒等食物，其公式为：

对于复杂形状的食物，将其看成上述模型的组合。例如，鸡腿可以看作是由圆锥和圆柱组成。对上述模型的三视图(俯视图、正视图、左视图)投影，保存投影图像。在本文的方法中，手是比例尺用来计算模型当中各个参数的实际大小。因此，测试者需要将自己手的长度lhand、宽度whand录入。

步骤2：拍摄处于同一平面的食物与手的三视图，如图2是食物拍摄原图。之后进行图像分割。将拍摄的图片转换到L*a*b色彩空间，将亮度l这个变量确定为经过大量实验后选取的固定值，从而滤掉背景带来的影响，方便图片归一化处理，效果见图3。将L*a*b色彩空间图像以距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大，利用K-means方法进行分割。该算法认为簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终目标。核心公式为：

将得到的灰度图像进行滤波，填充等操作，并提取外轮廓，效果见图4。利用二值图像连通域的思想，对各个部分的食物和手分别切割形成单独的图片，并与原图片进行点乘操作，还原出每个部分的实际分割图像，效果见图5。

步骤3：利用外轮廓匹配的思想，将分割好的食物轮廓图片转换为二值图像，计算目标区域和边界的中心矩。对上述两组中心矩进行归一化,在归一化的基础上计算出7个不变矩M1～M7,最终共同组成目标图像和测试图像中目标的特征向量。根据特定的函数，规定

为两个图像的匹配值(值越小相似程度越高)。其中

和为两个图像的Hu矩。对所有模型的同一个角度视图与食物轮廓图像外轮廓匹配，找到具有最小匹配值I_min的模型，将其确定为所选择的模型，具体如图6所示。

步骤4：将手作为比例尺。将步骤2中得到的手部的二值图像调取出来，计算含有白色像素个数最多的一行所占白色像素个数α和含有白色像素个数最多的一列所占白色像素个数β，将α和β作为手图像的长和宽。再将步骤2中得到的食物的二值图像调取出来，按照同样的方法计算出该食物投影图像的各个参数所占的像素个数。将图像中手的长度(或宽度)所占的像素个数比上测试者手掌实际长度作为缩放比例γ。

按照缩放比例γ计算，得到模型的实际参数。步骤1中建立的3D模型数据库中存储了所有模型体积计算公式。将所有参数带入步骤3所确定的模型体积计算公式中，得到食物体积。

重点选取了芝士条作为实验对象。通过对芝士条的实际尺寸进行测量，再根据以上方法对芝士条体积进行计算，得到实验值与真实值的误差。经过大量反复实验，发现误差始终维持在可以满足日常人们生活的基本需要的范围内。

经过大量实验，结果显示针对蛋糕等规则形状食物，体积估计错误率较小，针对香蕉等形状不规则食物体积估计错误率较大，平均错误率小于人眼估计误差值。

对比前文论述的几种方式来看，本方法的优势在于：

首先，使用点云来还原模型相对较为复杂，为了简化计算，使项目成果更好的应用于移动app，我们用食物的三视图来估算食物体积。分别对食物的三视图进行简单模型的嵌套，找到轮廓最匹配的项。利用体积公式，即可求出食物相关的体积、营养成分等。整个过程运算简便，具有很强的操作性。

其次，上文提到的应用轮廓提取的方法正是本方法的核心思想，与众不同的是，目前大多数的方法在选择比例尺的时候，通常需要借助一些附加的参照物，这往往限制了相关算法的实际应用，不便于用户操作。我们创造性地采用以用户手部为比例尺的方法，通过事先采集用户手部长度、宽度、厚度信息，实现简化，同时方便用户使用。用户只需要在拍摄过程中将手与食物放在同一平面上拍照即可。

以上所述仅为本发明的优选实施例，并不用于限制本发明，显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (5)

1.一种基于3D模型估算食物体积的算法，其特征在于，包括以下步骤：

1)建立3D模型数据库，存储各个模型的三视图投影图像，正式使用前，输入测试者手部的信息；

2)将拍摄的处于同一平面的食物与手的三视图进行图像分割，分别得到食物和手部图像；

3)利用外轮廓匹配的思想将食物外轮廓图像与模型库各个模型投影轮廓比较，选取最契合的模型；

4)将手作为比例尺计算食物实际尺寸，并通过体积计算公式估算食物体积。

2.根据权利要求1所述的基于3D模型估算食物体积的算法，其特征在于，步骤1)中所述3D模型数据库是通过研究分析确定的，包括以下模型：长方体、圆柱体、半圆柱体、扇体、球体、半球体、椭圆体、半椭圆体。对于复杂形状的食物，将其看成上述模型的组合。对上述模型的三视图(俯视图、正视图、左视图)投影，保存投影图像。步骤1)中所述测试者手部的信息，是指测试者手的长度、宽度、厚度。

3.根据权利要求1所述的基于3D模型估算食物体积的算法，其特征在于，步骤2)中所述图像分割是指将拍摄的图片转换到L*a*b色彩空间，将亮度l这个变量确定为经过大量实验后选取的固定值，从而滤掉背景带来的影响，方便图片归一化处理。将L*a*b色彩空间图像利用K-means方法进行分割。将得到的灰度图像进行滤波，填充等操作，并提取外轮廓。利用二值图像连通域的思想，对各个部分的食物和手分别切割形成单独的图片，并与原图片进行点乘操作，还原出每个部分的实际分割图像。

4.根据权利要求1所述的基于3D模型估算食物体积的算法，其特征在于，步骤3)中所述外轮廓匹配的思想是：将分割好的食物轮廓图片转换为二值图像，计算目标区域和边界的中心矩。对上述两组中心矩进行归一化,计算出7个不变矩M1～M7,共同组成目标图像和测试图像中目标的特征向量。根据特定的函数，规定

两个图像的相似度(值越小相似程度越高)。其中和为两个图像的Hu矩。对所有模型的同一个角度视图与食物轮廓图像外轮廓匹配，找到最小相似度Imin的模型确定为所选择的模型。

5.根据权利要求1所述的基于3D模型估算食物体积的算法，其特征在于，步骤4)中计算出在三幅图像中手的长度，将图像中手的长度比上测试者手掌实际长度α作为缩放比例。同时计算出每幅图像中食物投影轮廓所能得到的长度，按照缩放比例α对模型参数进行计算。步骤4)中所述体积计算公式是将3D模型数据库中所有模型体积计算公式保存，将计算的参数带入公式，由此得到食物体积。