CN117316382A

CN117316382A - 一种基于食材图像生重估计的智能营养跟踪方法

Info

Publication number: CN117316382A
Application number: CN202311261320.8A
Authority: CN
Inventors: 余海燕; 王琪琪; 黎森林; 徐仁应; 陈建斌
Original assignee: Chongqing University of Post and Telecommunications
Current assignee: Chongqing University of Post and Telecommunications
Priority date: 2023-09-27
Filing date: 2023-09-27
Publication date: 2023-12-29

Abstract

本发明属于健康管理技术领域，具体涉及一种基于食材图像生重估计的智能营养跟踪方法，包括：获取食物图像、用户身体健康指标数据；对图像进行验证；将验证后的图像输入到语义分割模型中，得到分割后的食物图像；估计摄入食物的体积、重量以及营养元素；获取用户每日营养元素推荐摄入量，根据用户每日营养元素推荐摄入量估计菜品最大摄入量；将最优的摄入食物的体积、最优的摄入食物的重量、最优的摄入食物的营养元素以及菜品最大摄入量输入到多目标规划模型，得到最优的饮食推荐方案；本发明通过构建的多目标优化模型对实际摄入量，结合医嘱、体检等临床医学信息和个性化需求，得到优化的饮食配餐方案。

Description

一种基于食材图像生重估计的智能营养跟踪方法

技术领域

本发明属于健康管理技术领域，具体涉及一种基于食材图像生重估计的智能营养跟踪方法。

背景技术

目前急需一种高效、准确的方法，来帮助人们了解自己的饮食状况，并提供一种有效的营养跟踪方法。常用的膳食摄入信息获取工具包括称重法、膳食回顾和食物频率法(food frequency questionnaire，FFQ)。称重法要求对每种食物用餐前后都进行称量，从而获得食物种类和份量的信息。这种方法虽然准确，但费时、费力、可操作性不强，仅适用于小样本研究。膳食回顾是依靠受试者回忆过去较短时间内摄入的所有食物名称和份量。很显然回顾时间不可能太长(通常为24或72h)，否则容易遗忘。该方法反映的是短期，而不是长期的膳食摄入。但饮食对健康的影响需要一个长期的过程才能显现，因而对于需要跟踪随访的研究该方法并不适合。FFQ可以在大样本中使用，能够反映较长时期内食物种类、摄入量和疾病之间的剂量依赖关系。FFQ是大样本流行病学调查特别是随访研究最常使用的膳食摄入评价工具。但FFQ的准确性同样依赖于受试者良好的记忆力和受教育程度。然而，传统的饮食调查方法并不十分实用，例如称重法，操作较为繁琐而且在日常生活中使用频率不高。此外，因为食物烹饪过程会使食材混合，熟食难以辨识。为了解决这些问题，急需一种具有高效性和准确性的饮食调查和跟踪方法，用以评估膳食摄入信息，为患者及医护人员提供及时信息并做出营养改善建议。因食物烹饪的技术严重影响营养成分比重，所以本方法选择对食物生材进行图像分割和估重。结合烹饪中的营养流失和个体营养吸收的比重，仍然能够提供较为精确的客观的食物重量估计方法，用以提供智能算法的准确性。

发明内容

为解决以上现有技术存在的问题，本发明提出了一种基于食材图像生重估计的智能营养跟踪方法，包括：

S1：获取食物图像以及用户身体健康指标数据；

S2：确定食物图像中各个食物的完整性，若图像中的食物不完整，则重新获取食物图像，若图像中的食物完整，则执行步骤S3；

S3：采用训练后的语义分割模型对食物图像进行处理，得到分割后的食物图像；

S4：将所有的分割后的食物图像划分为训练集和测试集；

S5、将训练集中的食物图像输入食物重量预测模型中，得到摄入食物的体积、重量以及营养元素；

S6：设置误差阈值，根据摄入食物的体积、重量以及营养元素计算均方根误差RMSE，将计算出的RMSE与设置的误差阈值进行对比，若大于设置的误差阈值，则调整食物重量预测模型参数，并返回步骤S5；否则得到训练后的食物重量预测模型参数，将测试即中的食物输入到训练后的食物重量预测模型中，输出最优的摄入食物的体积、重量以及营养元素；

S7：根据用户身体健康指标数据获取用户每日营养元素推荐摄入量，根据用户每日营养元素推荐摄入量估计菜品最优摄入量；

S8：将最优的摄入食物的体积、最优的摄入食物的重量、最优的摄入食物的营养元素以及菜品最大摄入量输入到多目标规划模型，求解多目标规划模型，获取模型目标函数值最优时的优化解，即输出最优的饮食配餐方案。

优选的，采用训练后的语义分割模型对食物图像进行处理包括：获取食物水平一周和俯拍的固定距离的食物图像；将食物图像输入训练好的语义分割模型中进行食物识别、图像分割。

本发明的有益效果：

本发明首先采用图像识别技术对多视图的食物图像进行分割，将食物从图像中分离出来。在这个过程中，得到了用户摄入的食物种类、重量、营养元素含量。这些获取的数据相较于一般的测定方法更加准确且全面，尽可能的还原了用户的真实摄入量；本发明构建的多目标优化模型对于实际摄入量，结合医嘱、体检等临床医学信息和个性化需求给出了最优的饮食配餐方案，相较于之前的饮食推荐给出了最适合该用户且满意度最高的配餐方案，真正实现了对用户膳食摄入跟踪的精准管理，达到保护健康的目的。

附图说明

图1为本发明的智能营养跟踪方法和系统总设计图

图2为本发明的图像识别分析流程

图3为本发明的语义分割模型分割结构图；

图4为本发明的多目标优化算法推荐概述图。

图5为本发明的语义分割、分离图像和二值化过程

图6为本发明的高度比例系数计算示意图

图7为本发明的面积比例系数计算示意图

图8为本发明体积计算流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于食材图像生重估计的智能营养跟踪方法，如图1所示，该方法包括：

S1：获取食物图像以及用户身体健康指标数据；

S4：将所有的分割后的食物图像划分为训练集和测试集；

基于食物图像估计食材生重的智能营养跟踪方法和系统，包括获取用户的多视图食物图像；对用户的食物图像进行分割，计算得到食物的体积；结合食物平均标准密度得到食物的重量，并判断误差，误差过大需要调整模型重新计算食物体积，误差较小可进入下一步；结合不同重量食物标准营养元素含量得到用户实际的营养元素摄入量；将用户实际摄入的营养元素含量、当日营养元素推荐摄入量(临床信息确定)、备选菜品的限制数量、每日食用菜品的限制重量输入到多目标优化模型中进行求解，得到最优的配餐方案，不满意配餐方案可再次推荐；将以上过程集成到智能营养推荐系统，系统的设计思路如图1，用户可以在系统功能中快捷完成。

对用户食物图像进行分割的过程具体包括：

逻辑流程：用户拍照上传食物多视图图片，对于食物图片分割计算得到食物体积、质量、营养成分，为后续智能推荐提供准确的数据，如图2。

详细过程：根据提供食物数据集，使用语义分割模型对目标图像分割，目标在于获取目标体积算计的相关数据。分割图像数据使用P_i表示分割后的图像。x_i表示输入的食物图片。首先通过下采样卷积池化，再通过上采样卷积池化，最后经过1×1的卷积输出P_i，卷积过程如图3所示。

每层卷积由softmax()函数进行激活，损失函数E使用交叉熵函数，a_k(x)表示第k个特征通道上的激活函数。

其中，w(x)表示权重，w_c(x)是事前计算的物体的真实分割值，d₁表示距离目标物体最近的距离，d₂表示距离目标第二近的距离。

其中，p是经过softmax()处理后的输出值，l：Ω→{1,2,...,k}表示每个像素的真实标签，p_l(x)(x)是表示x在对应的标签给出的类别输出的激活值，w:Ω→R是在训练过程中添加给每个像素的权重。

对分割图像进行体积计算的具体过程包括：根据模型输入的图片为x_i(i＝0,1,2,3,4)分别表示该食物的前、后、左、右、上视图，分割图片P_i(i＝0,1,2,3,4)相应表示该食物前、后、左、右分割图像；G_i表示P_i的二值化图像，模型分割和二值化处理的过程如图5所示。

计算食物提交的过程包括：

步骤1：将P_i转换为灰度图像G_i；

G＝R·0.299+G·0.587+B·0.114

其中，R、G、B表示图片中的三种颜色通道。

步骤2：将G_i转换为二值化图像B_i；

其中L,K∈(0,255)

其中，L,K表示设置的阈值，用来转换将分割图片P_i转换为二值化图B_i，且x_ij∈G。

步骤3：分别计算B_i的总像素点数S_i；

其中，S_i表示第i个视角的二值化图像中所有元素和，且y_ij∈B。

其中，α_j(j＝1,2,...,n)表示二值化图像矩阵中第j列，w_ij(x)表示激活函数，判断该二值化图像矩阵中该列像素点是否为0。

步骤4：H_i表示第i张角度二值化图像的平均高度，H_i分别取值H₁、H₂、...、H_m-1、H_m。当食物形状被简化为柱状时，食物平均高度以及底面积S₀的计算公式分别为：

S₀＝R_f·S_c

其中，H₀表示食物估计的高度，计算过程如图6所示；m表示侧视图数量，/>λ_i表示比例系数(由参考物的像素与真实尺寸之间的比例得出)，S_i表示当前侧面高度H_i的总像素点数，w_ij(x)表示激活函数，当像素表示食物时取1，否则取0。R_f表示食物在物理面积为S_c的盘子中的占比，S_c表示食物的物理面积，计算过程如图7所示。

步骤5：当食物形状被简化为柱状时，计算近似体积为V＝H₀×S₀，计算过程如图8所示。

根据分割图像的计算体积得到实际摄入重量、营养元素含量的具体过程包括：收集整理的食物平均标准密度、标准营养成分数据，根据计算的食物体积，令当前食物的密度为ρ_i，V_i表示当前食物体积，m_i表示当前食物的重量。α∈{θ,λ}表示矫正参数，β_i表示当前食物蛋白质、能量、脂肪、碳水化合物密度的向量组；f_i(β_i)分别表示当前食物蛋白质、能量、脂肪、碳水化合物的含量。

m_i＝ρ_iV_i

f_i(β_i)＝α·ρ_i·V_i(β_i)^T

将数据输入模型得到最优配餐方案的具体过程包括：

逻辑流程：在前一步图像分割得到用户食用食物质量、营养成分后，还需要结合用户自身所需的营养成分、体检报告等临床信息，以及影响推荐结果的食物营养成分表、膳食标准数据表、菜品营养成分表等多项因素进行优化求解，给出最优的饮食推荐方案，并按一定的标准对配餐结果进行评价，如图4。

详细过程：智能营养推荐决策系统定义为一个六元组(X,A,B,Y,F,C),其中决策变量义表示决策主体(如患者或某些特定人群)选择摄入的某种食物量，常数A表示该食物的属性(相关营养素)，常数B表示营养摄入参考值或医嘱建议的营养摄入值(医学知识中表示为RNI)。观测数据Y表示用户实际摄入的食物类别(分类变量)，观测数据F表示用户实际摄入的食物数据(实际营养摄入，医学知识中表示为ANI),协变量C表示决策主体的相关信息或偏好(如性别和年龄等信息).该系统的观测数据可表示为(x,a,b,y,f,c),其中类别y是转化为类别数据类型的值，在该系统中，决策变量值x需要建模求解(重量单位g),常数a和b从健康管理领域知识或临床指南中获取(重量单位)，数据y从食物图像分类中获取食物类别，数据f从食物图像分割中获取的实际营养摄入值(重量单位g),数据c从用户系统中获取，为方便起见，将每一个摄入营养素含量与需要摄入的食物重量x₁,x₂,...,x_n视为线性关系。

构建矩阵A＝A_4×n如公式所示：

每一个列向量A_i＝[h_i,p_i,f_i,c_i]^T代表第i种食物中的热量、蛋白质、脂肪、碳水化合物的含量。B＝[h,p,f,c]^T是根据用户的身体健康指标数据得到该用户每日需要摄入的医嘱推荐营养元素量，n种食物的摄入量未知，记为X＝[x₁,x₂,...,x₄]^T∈Rⁿ。

为了建立合理的数学模型，文章对营养膳食多目标优化问题提出了以下几点作为该问题的约束条件：(1)假定某患者用户所摄入的营养素满足某患者用户对营养素的要求且中间所吸收的营养素无流失现象。(2)某患者用户所食用的菜品满足营养学上每日应该食用的标准。(3)某患者用户所食用的菜品种类能够达到较高的满意度。

营养评价还包括膳食营养评价。膳食营养评价是指健康人群膳食营养素摄入量与国家参考标准进行比较，常用的评价指标为达标率。在理想情况下，用户摄入食物当中所含的营养元素和推荐摄入量相等，基于上述的定义，由此可以得到以下公式：

x₁×a_1j+x₂×a_2j+...x_n×a_nj＝b_j

对上述公式进行化简，化简后的公式为：

AX＝B

其中，RNI为医嘱推荐摄入量，x_i*为备选食物的摄入量的理想值，其来源于矩阵X，b_j为营养元素j的推荐摄入量，来源于矩阵B，x_i为食物i的重量，食物i所含的第j种营养素的含量用单位食物所含的营养素比重与其重量相乘来表示，记为a_ijx_i。

记j种营养素的实际摄入量为f_j，来源于各种所食用食物。用户所实际摄入的食物营养素f_j与目标推荐量b_j之间一定会存在差距。现引入征服偏差变量，表示实际摄入量与推荐摄入量的差距。

但现实情况中，用户所实际摄入的食物营养ANI与目标推荐量RNI之间一定会存在差距。现引入偏差量d_j，且d_j一定是存在的，表示实际摄入量与推荐摄入量的差距。其中d_j ⁺表示实际摄入量超过推荐摄入量的部分，即需要减少摄入的营养含量，目标规划里d_j ⁺≥0；d_j ^-表示实际摄入量未达到推荐摄入量的部分，目标规划里d_j ^-≥0；记j种营养的实际摄入量为f_j。

偏差量包括正偏差量和负偏差量，计算的表达式为：

正偏差量为：

负偏差量为：

其中，f_j为营养的实际摄入量，b_j为营养的目标摄入量。

由于用户各营养素(如脂肪和饱和脂肪酸指数)的推荐摄入量并非固定值，根据实际情况，引入偏差变量，表示与理想推荐摄入量的偏差。假设正偏差变量d_j ⁺，表示实际值超过目标值的部分，目标规划里d_j ⁺≥0；假设负偏差变量d_j ^-，表示实际值未达到目标值的部分，目标规划里d_j ^-≥0。

智能营养推荐的平衡约束条件包括：每日摄入营养素的平衡约束、日所食用重量的平衡约束以及食用菜品种类的平衡约束；其表达式为：

摄入营养素的平衡约束表达式为：

f_j(x)∈[f_j(x)^l,f_j(x)^u]

其中，f_j(x)表示人体每天所摄入的第j中营养素的总含量；f_j(x)^l表示f_j(x)所属的下区间；f_j(x)^u表示f_j(x)所属的上区间；

每日所食用重量的平衡约束：

其中，w(x)表示所食用菜品的总重量；x_i表示所选第i种菜品的重量；a表示营养学中人体食用菜品的重量下界；e表示营养学中人体食用菜品的重量上界；

食用菜品种类的平衡约束：设置菜品种类示性函数当x_i＞0时，/>否则为0；即某患者用户未食用的第i种菜品用0表示，食用第i种菜品用1表示；/>表示总共选择的食物种类。

食物当中有很多种营养素，人体需要的营养素更是有数十种甚至上百种，不同营养素(如脂肪和饱和脂肪酸指数)的重要程度不同。在判定套餐优劣时优先满足重要营养素需要的套餐更优，在优先营养素目标已经满足的基础上，才考虑比较低优先级的对应营养素满足情况，比如能量、碳水化合物、脂肪、蛋白质三大营养素优先级较高。优先因子也称为优先等级，用P_i表示，且p_i＞＞p_i+1,i＝1,2...n。用于区别具有同样优先因子的营养素之间的差别。比如，能量、碳水化合物、脂肪、蛋白质三大营养素优先级相同，但三者之间的重要程度也各不相同，用权系数W_ij ⁺和W_ij ^-表示食物i优先因子对于营养素j正负偏差变量的权系数，W为J×2矩阵，W＝[W_ij ⁺,W_ij ^-],j＝1,2,...,J。

由于目标规划的目标是让各个偏差变量达到最小化，即尽量接近各个既定目标值，因此目标函数采用极小化形式。使得各偏差变量尽可能接近目标推荐营养摄入量b_j。在本实例中，使得各偏差变量尽可能接近目标摄入量。

综合多目标优化问题的符号定义、实际问题分析和人群特定营养问题(某患者用户)的建模假设，以及多目标优化问题的约束条件，则营养膳食多目标优化问题的数学模型表示为：

这一优化模型考虑了每日摄入营养素的平衡约束，每日所食用食物的平衡约束，食用菜品种类的平衡约束，并以医嘱推荐营养素摄入量作为最优的摄入推荐量，以此作为标准评价该饮食是否需要改善。同时，还加入了各营养素(如脂肪和饱和脂肪酸指数)的总摄入量的范围约束和营养素的总摄入约束，保证了模型判别更接近于实际饮食套餐营养素情况。

配餐评价作为对配餐结果的评估，可以通过下列式子进行定义：

其中L_dowm和L_up分别表示期望达标比例的上下限，不同的人群对于营养素需求程度不同，可通过手工调整。D表示达标率，通过下式对配餐结果的达标率进行筛选：

建立智能营养跟踪系统包括：用户可以通过拍照上传食物图像，并确认图片是否清晰、视图是否正确等。如果图片不满足要求，则可以选择重新拍照上传食物图像。如果图片满足要求，则可以对上传的食物图像的进行分割识别。首先，通过对多视图图片的识别与计算，得到食物大致的底面积与平均高度，进而估计食物体积V，并结合食物的平均标准密度ρ，根据公式m＝ρV预测出食物重量。然后，比较预测的食物重量与实际的食物重量的误差，如果误差过大，则需要调整学习模型并重新估计食物体积与重量，再次比较误差。如果误差较小，则可以结合用户营养目标，并采用多目标规划算法实现智能营养推荐。如果用户接受推荐结果，则可以直接退出。如果用户不接受推荐结果，则可以调整多目标规划模型并再次进行推荐，直到用户接受为止。

以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于食材图像生重估计的智能营养跟踪方法，其特征在于，包括：

S1：获取食物图像以及用户身体健康指标数据；

S4：将所有的分割后的食物图像划分为训练集和测试集；

2.根据权利要求1所述的一种基于食材图像生重估计的智能营养跟踪方法，其特征在于，采用训练后的语义分割模型对食物图像进行处理包括：获取食物水平一周四个方向角度的图片和俯拍的固定距离的食物图像；将食物图像输入训练好的语义分割模型中进行食物识别和图像分割。

3.根据权利要求1所述的一种基于食材图像生重估计的智能营养跟踪方法，其特征在于，食物重量预测模型对食物图像进行处理包括：计算食物生重体积V，调取数据库，得到当前食物密度ρ以及当前食物各营养素的占比α；根据食物生重体积V、当前食物密度ρ以及当前食物各营养素的占比α计算当前食物所含营养量β；其中营养量β的计算公式为：

β＝V·ρ·α

其中，ρ为当前食物密度，α为当前食物各营养素的占比。

4.根据权利要求3所述的一种基于食材图像生重估计的智能营养跟踪方法，其特征在于，计算食物生重体积V包括：设置参考系，将分割后的食物图像映射到参考系的平面P₁上，在平面P₁计算比例系数λ_i；根据比例系数预测当前食物图像高度H_i；根据食物图像高度估计食物体积；计算食物生重体积V的公式为：

其中，R_f表示食物在物理面积为S_c的盘子中的占比，S_c表示食物的物理面积，H₀表示食物估计的高度；m表示侧视图数量，λ_i表示比例系数，S_i表示当前侧面高度H_i的总像素点数，w_ij(x)表示激活函数。

5.根据权利要求1所述的一种基于食材图像生重估计的智能营养跟踪方法，其特征在于，计算均方根误差的公式为：

其中，表示预测值，m_i表示真实值，n表示被分割食物数量。

6.根据权利要求1所述的一种基于食材图像生重估计的智能营养跟踪方法，其特征在于，采用多目标规划模型对最优的摄入食物的体积、最优的摄入食物的重量、最优的摄入食物的营养元素以及菜品最大摄入量进行处理包括：将用户已经摄入的营养元素含量、当日营养元素推荐摄入量、备选菜品的限制数量、每日菜品最大摄入量输入到多目标优化模型中进行求解，并通过智能营养推荐的平衡约束条件得到最优的配餐方案；将最优配餐方案与用户个性化需求、身体健康信息进行比对，如果符合，则推荐任务完成，如果不符合，则调整优化模型再次给出最优配餐方案，直到符合为止。

7.根据权利要求6所述的一种基于食材图像生重估计的智能营养跟踪方法，其特征在于，计算用户实际摄入的营养素含量与推荐摄入量的差距；用户实际摄入量的计算公式为：

ANI＝x₁×a_1j+x₂×a_2j+...x_n×a_nj-d_j

其中，x_n表示某食物的重量，a_nj表示该食物中的第j类营养元素比重，d_j为偏差量。

8.根据权利要求7所述的一种基于食材图像生重估计的智能营养跟踪方法，其特征在于，偏差量包括正偏差量和负偏差量，计算的表达式为：

正偏差量为：

负偏差量为：

其中，f_j为营养的实际摄入量，b_j为营养的目标摄入量。

9.根据权利要求6所述的一种基于食材图像生重估计的智能营养跟踪方法，其特征在于，智能营养推荐的平衡约束条件包括：每日摄入营养素的平衡约束、日所食用重量的平衡约束以及食用菜品种类的平衡约束；其表达式为：

摄入营养素的平衡约束表达式为：‘

f_j(x)∈[f_j(x)^l,f_j(x)^u]

每日所食用重量的平衡约束：

食用菜品种类的平衡约束：设置菜品选用示性函数当x_i＞0时，/>否则为0；即某患者用户未食用的第i种菜品用0表示，食用第i种菜品用1表示；/>表示总共选择的食物种类。

10.根据权利要求6所述的一种基于食材图像生重估计的智能营养跟踪方法，其特征在于，目标函数为：

其中，控制参数λ∈(0,1)，P_i表示优先因子，W_ij ⁺和W_ij ^-表示食物i优先因子对于营养素j正负偏差变量的权系数，W为J×2矩阵，和/>表示正负偏差变量；/>表示总共选择的食物种类。