CN116884572B - 一种基于图像处理的营养智能管理方法及系统 - Google Patents

一种基于图像处理的营养智能管理方法及系统 Download PDF

Info

Publication number
CN116884572B
CN116884572B CN202311148047.8A CN202311148047A CN116884572B CN 116884572 B CN116884572 B CN 116884572B CN 202311148047 A CN202311148047 A CN 202311148047A CN 116884572 B CN116884572 B CN 116884572B
Authority
CN
China
Prior art keywords
food
representing
image
boundary
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311148047.8A
Other languages
English (en)
Other versions
CN116884572A (zh
Inventor
李利明
贺志晶
石磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sihai Huizhi Technology Co ltd
Original Assignee
Beijing Sihai Huizhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sihai Huizhi Technology Co ltd filed Critical Beijing Sihai Huizhi Technology Co ltd
Priority to CN202311148047.8A priority Critical patent/CN116884572B/zh
Publication of CN116884572A publication Critical patent/CN116884572A/zh
Application granted granted Critical
Publication of CN116884572B publication Critical patent/CN116884572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Nutrition Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Primary Health Care (AREA)
  • Computer Graphics (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明公开了一种基于图像处理的营养智能管理方法及系统,属于数据处理技术领域,方法包括:获取待评估食物的深度图像和彩色图像;采用张量分解算法将其进行融合;然后输入至深度学习模型进行食材识别,获取各个食材相应的食材密度与食材热量;重建食物三维模型;间隔预设距离对食物三维模型进行切片,并记录切片顺序,得到多层点云切片;利用欧氏聚类算法对点云切片进行边界分割,获取点云切片的边界多边形;区分各边界多边形的位置状态,并结合位置状态,确定各点云切片的截面面积,计算待评估食物体积;计算待评估食物所包含的热量;间隔预设时长采集热量的反馈结果,并计算反馈结果差值;热量摄入值超出时发出营养摄入量超标提醒。

Description

一种基于图像处理的营养智能管理方法及系统
技术领域
本发明属于数据处理技术领域,具体涉及一种基于图像处理的营养智能管理方法及系统。
背景技术
热量摄入是一个人体能量平衡的重要因素,如果一个人摄入的热量超过了其消耗的热量,就会导致体重增加,从而可能引发肥胖和相关的健康问题。通过监测热量摄入,人们可以更好地控制自己的饮食,以达到健康管理和控制体重的目标。了解食物的热量含量有助于人们实现营养均衡,通过控制热量摄入,人们可以确保自己获得足够的能量,同时避免过量的热量导致的营养失衡。随着生活水平的提高,越来越多的人关注自身健康状态,对于一些有特定健康需求的群体,比如需要控制血糖、胆固醇或者钠摄入量,了解食物的热量含量有助于他们在饮食选择中更好地满足这些需求。在生活方式管理方面,一些人可能有特定的生活方式管理目标,比如增肌、减脂、维持体形等,监测热量摄入可以帮助他们调整饮食和锻炼计划,以实现这些目标,通过了解食物的热量含量,人们可以更深入地了解不同食物的能量差异,从而在日常生活中做出更健康的饮食选择。
现有技术中,对于热量摄入值的监测往往要借助许多第三方仪器,热量摄入值获取流程繁琐,而且目前的食物含热量都是基于粗略估计得出的,偏差较大,对于热量摄入严格的群体不适用。
发明内容
为了解决现有技术存在的对于热量摄入值的监测往往要借助许多第三方仪器,热量摄入值获取流程繁琐,而且目前的食物含热量都是基于粗略估计得出的,偏差较大,对于热量摄入严格的群体不适用的技术问题,本发明提供一种基于图像处理的营养智能管理方法及系统。
第一方面
本发明提供了一种基于图像处理的营养智能管理方法,包括:
S101:获取待评估食物的深度图像和彩色图像;
S102:采用张量分解算法将深度图像和彩色图像进行融合,得到融合深度图像;
S103:将融合深度图像输入至深度学习模型进行食材识别,并获取各个食材相应的食材密度与食材热量;
S104:基于融合深度图像重建食物三维模型;
S105:间隔预设距离对食物三维模型进行切片处理,并记录切片顺序,得到多层点云切片;
S106:利用欧氏聚类算法对点云切片进行边界分割,获取点云切片的边界多边形;
S107:通过PnP算法区分各边界多边形的位置状态,并结合位置状态,确定各边界多边形的截面面积,进而计算待评估食物体积,其中,位置状态包括包含状态、被包含状态和相离状态;
S108:结合食材密度、食材热量和待评估食物体积计算待评估食物所包含的热量;
S109:间隔预设时长采集热量的反馈结果,并计算反馈结果差值,将反馈结果差值作为热量摄入值进行展示;
S110:在热量摄入值的绝对值超出预设热量摄入值的情况下,发出营养摄入量超标提醒。
第二方面
本发明提供了一种基于图像处理的营养智能管理系统,用于执行第一方面中的基于图像处理的营养智能管理方法。
与现有技术相比,本发明至少具有以下有益技术效果:
(1)在本发明中,通过张量分解算法对获取待评估食物的深度图像和彩色图像进行重新分割融合,提取高级结构和特征,之后使用识别模型对食材进行准确识别,代替传统的易受噪声影响的图像分割算法,保留更多的待评估食物的综合特征信息,分割结果稳定可靠,识别准确率高,提升最终的食物含热量评估准确性。
(2)在本发明中,通过对待评估食物进行建模和切片处理,对于食物切片中不规则形状引入适用于分类个数未知的欧式聚类算法进行聚类,准确提取不规则的边界多边形,通过PnP算法明确多个边界多边形的位置信息,避免重叠现象导致切片面积出现较大误差影响评估结果,进而提高各个点云切片的面积计算的准确性,最终获得准确的待评估食物体积,在不借助第三方测量仪器的情况下得出待评估食物的含热量,并通过待评估食物在食用前后的体积变化评估出食用者的热量摄入值,在出现热量摄入过高时发出提醒,热量检测结果准确性高,且方法简单,无需人工的专业仪器的介入便可完成实时的热量摄入监测,为各种群体提供高效的营养管理,有效助力身体健康保养,提升身体素质。
附图说明
下面将以明确易懂的方式,结合附图说明优选实施方式,对本发明的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明提供的一种基于图像处理的营养智能管理方法的流程示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。
实施例1
在一个实施例中,参考说明书附图1,示出了本发明提供的基于图像处理的营养智能管理方法的流程示意图。
本发明提供的一种基于图像处理的营养智能管理方法,包括:
S101:获取待评估食物的深度图像和彩色图像。
在一种可能的实施方式中,S101具体为:
S1011:通过深度相机获取深度图像和彩色图像。
其中,深度图像是一种特殊类型的图像,它不仅捕捉了食物的外观,还提供了关于食物表面的距离信息,彩色图像是普通的彩色照片,它显示了食物的外观、颜色和纹理等视觉特征。深度图像和彩色图像共同构成了待评估食物的图像数据基础,也是实现营养职能管理的基础,通过采集深度图像,有助于通过三维建模方式完成不规则食物状态的消耗量评估,提升本发明的适用范围,而不仅仅局限于传统的标准空间容器,提供方便人性化的使用体验。
S102:采用张量分解算法将深度图像和彩色图像进行融合,得到融合深度图像。
需要说明的是,张量是多维数据的一种表现形式,它是标量、向量和矩阵的一种高阶扩展。利用张量分析的方法可以保留图像数据原有的结构信息并挖掘出其空间相关信息。传统的图像分割方法通常使用像素级别的信息进行分割,将图像划分为不同的区域,每个区域对应一个物体或特定的结构,然而,这些方法可能受到噪声、复杂背景和光照变化的影响,导致分割结果不稳定。张量分解方法则通过将图像表示为低秩张量的组合,可以捕捉到图像中的高级结构和特征,这些特征可以用于实现不同类型的分析任务,例如将不同类型的图像信息(如彩色图像和深度图像)融合成一个更综合的特征表示,或者从图像中提取出潜在的语义信息,更好的特征提取和融合能力,获取更准确的待评估食物的空间特征。
在一种可能的实施方式中,S102具体包括:
S1021:将深度图像和彩色图像缩放至相同尺寸。
S1022:构造关于深度图像和彩色图像的图像张量:
其中,X表示深度图像张量,R表示图像,第一阶维数I1和第二阶维数I2分别表示深度图像上的行维数和列维数,第三阶维数“4”表示R、G、B、D四个颜色通道,第四阶维数M表示样本图像数量。
S1023:对图像张量进行张量图克分解,得到包括四个模式的核心张量以及四个模式相对应的四个因子矩阵:
其中,表示核心张量,即四个模式成分相互之间的权重,表示第n个模式对应的因子矩阵,符号/>表示将所述核心张量在第 i 个模式上执行矩阵乘积,其中,因子矩阵的列向量代表该模式上的主分量。
S1024:建立核心张量与因子矩阵的寻优方程:
其中,表示目标函数,即求解在目标函数取最小值时核心张量G和因子矩阵/>的值,F表示弗罗贝尼乌斯范数。
S1025:通过高阶正交迭代算法求解寻优方程,得到核心张量和四个因子矩阵。
在一种可能的实施方式中,S1025具体包括:
S1025A:计算图像张量在四个模式上的水平展开矩阵;
S1025B:对水平展开矩阵进行奇异值分解,并令左奇异值矩阵作为初始因子矩阵
其中,表示水平展开矩阵,/>表示左奇异值矩阵,/>表示对角矩阵,/>表示右奇异值矩阵,k表示迭代次数;
S1025C:更新初始因子矩阵,并将迭代次数加1,得到新矩阵:
其中,表示新矩阵;
S1025D:将新矩阵在模式n上水平展开,并对展开后的矩阵进行奇异值分解,将分解得到的左奇异值矩阵替换初始因子矩阵;
S1025E:计算当前迭代次数下的核心张量:
S1025F:判断当前迭代次数下的核心张量是否满足收敛条件,若满足,则进入S1025G,否则,返回S1025C,收敛条件为:
其中,表示收敛阈值;
S1025G:输出当前迭代次数下的核心张量和相应的四个因子矩阵。
S1026:选取代表图像张量在模式1和模式2主分量的因子矩阵作为投影矩阵将图像张量进行投影,完成深度图像和彩色图像的融合,得到融合深度图像:
其中,表示融合深度图像,预设参数/>分别表示模式1和模式2主分量的因子矩阵的前/>个主分量,其中,预设参数根据所要降低的分辨率进行选取。
具体地,首先要做的是将深度图像和彩色图像缩放到相同的尺寸,以确保它们具有一致的数据结构,然后,我们构建一个称为图像张量的数据结构,其中包含了深度图像和彩色图像的信息,以便将它们进行融合。通过张量分解算法,我们将这个图像张量分解成四个模式,即深度、红色、绿色和蓝色通道,每个模式都对应一个因子矩阵,以及一个核心张量来表示这些模式之间的关系,这个过程帮助我们从原始图像中提取出重要的特征。然后,我们使用高阶正交迭代算法来优化核心张量和因子矩阵,以获取更准确的表示,这个算法通过多次迭代,不断更新因子矩阵和核心张量,直到满足收敛条件为止。接着,我们使用因子矩阵作为投影矩阵,将图像张量进行投影,完成深度图像和彩色图像的融合,从而得到融合深度图像,通过这个过程,我们将深度信息和彩色信息融合在一起,为后续的食材识别和体积计算提供更完整的数据。提供更精确的食材识别结果,因为融合深度图像能够捕捉到更多的细节和特征。此外,通过获取食材的体积和密度信息,我们可以更准确地计算食物的热量和营养含量,从而为用户提供更有价值的营养管理信息,帮助用户控制饮食,避免摄入过多的热量,提高营养管理的准确性和实用性,帮助用户保持健康的饮食习惯。
S103:将融合深度图像输入至深度学习模型进行食材识别,并获取各个食材相应的食材密度与食材热量。
在实际用用过程中,融合深度图像包含了食物的距离信息和视觉外观信息,将融合深度图像作为输入,传递给深度学习模型进行食材识别,深度学习模型是一种机器学习算法,特别适用于处理复杂的图像数据,使用训练好的深度学习模型,该模型已经通过大量的食材图像数据进行训练,以识别不同食材的种类,进而提取相应种类的数据,得到食材密度和食材热量,现有食物种类都已有准确的食材密度和食材热量。
在一种可能的实施方式中,深度学习模型包括卷积神经网络、循环神经网络、注意力机制模型和Transformers模型。
融合深度图像是一个包含食物距离信息和视觉外观信息的图像,将这个图像作为输入,传递给已经经过训练的深度学习模型,模型经过大量食材图像数据的训练,已经具备了识别不同食材种类的能力,模型会识别图像中的食材种类,并提取相应种类的数据,其中包括食材的密度和热量信息。这种自动化的方法不仅提高了处理效率,还可以在大量数据中准确地捕捉有关食材的信息,为智能营养管理提供更精确的数据基础。
S104:基于融合深度图像重建食物三维模型。
在一种可能的实施方式中,通过三角测量法将融合深度图像重建为三维模型,S104具体包括:
S1041:对融合深度图像进行预处理,预处理包括去除噪声、填补缺失深度值;
S1042:将预处理后的融合深度图像的深度值映射到三维坐标系中,生成一个点云数据集;
S1043:连接点云数据集中各个点之间的三角形来恢复物体的三维形状,生成三维模型。
需要说明的是,生成三维模型的目的是为了从融合深度图像中还原出待评估食物的真实三维形状和结构信息,生成三维模型可以更准确地表征待评估食物的实际形状和结构,包括其高度、宽度、厚度等维度信息,使得对物体的理解更加准确和全面,维模型提供了物体的几何信息,包括几何结构、曲率和边界,有助于更好地理解物体的表面特征和形态。生成三维模型使得对待评估食物的识别和分析更加精确,它不仅考虑了视觉外观,还包括了物体的真实尺寸和形状,从而提供了更准确的信息。不受外部光照和角度的影响的情况下捕捉待评估食物的整体形状,从而提供更完整、稳定的数据。生成的三维模型包含了更多的维度信息,可以用于不同的分析和应用,例如体积计算、表面特征分析等。
S105:间隔预设距离对食物三维模型进行切片处理,并记录切片顺序,得到多层点云切片。
在一种可能的实施方式中,S105具体包括:
S1051:计算点云切片的投影厚度,其中,投影厚度为以切片平面为基准,将上下投影厚度内的点投影至切片平面,投影厚度的计算方式为:
其中,δ表示投影厚度,b表示取值为0.4~0.8的经验常数,ρ表示三维模型的点云密度;
S1052:根据投影厚度和预设距离,将三维模型进行切片,得到多层点云切片。
需要说明的是,切片处理是将三维对象分解为一系列平行的二维层,从而将复杂的三维数据转化为更易于处理和分析的二维数据,切片处理的目的是将食物的三维模型切分成一系列薄的二维切片,以便对每个切片进行进一步分析。每个切片在二维平面上呈现食物在不同高度位置的形状,从而可以更好地理解食物的结构和特征。通过将食物的三维模型切片,可以提供更详细、精确和易于分析的数据,以便更准确地评估食物的热量和营养价值。这有助于提高营养智能管理方法的精度和实用性。
S106:利用欧氏聚类算法对点云切片进行边界分割,获取点云切片的边界多边形。
在一种可能的实施方式中,S106具体包括:
S1061:设定搜索半径对点云切片进行遍历搜索,将点间距小于预设距离的进行归类,分割出多个单轮廓边界点;
S1062:利用双向最近点搜索法对各单轮廓边界点进行排序,得到点云数据的初始边界多边形;
S1063:统计初始边界多边形中的边长平均值、边长中位数和边长标准差:
其中,表示边长平均值,/>表示边长中位数,/>表示边长标准差,/>表示初始边界多边形的边界点间距,μ表示初始边界多边形的边界点数量;
S1064:根据边长平均值和边长标准差确定异常值剔除指标:
其中,表示异常值剔除指标,k表示取值为2~4之间的剔除指数;
S1065:利用异常值剔除指标对初始边界多边形进行异常值去除,得到点云切片的边界多边形。
具体地,首先通过设定一个搜索半径来遍历点云切片上的每个点,如果两个点之间的距离小于预设的距离,它们就被归类到同一个边界点组中,这样,具有相邻或接近距离的点会被分为不同的边界点组,从而实现边界点的分割。
对于每个边界点组,算法使用双向最近点搜索法对其中的点进行排序,双向最近点搜索法是一种算法,用于找到每个点的最近邻点,从而构建一个表示点云之间连接关系的数据结构,排序后,可以得到一个点的顺序序列,这个序列将有助于构建边界多边形。对初始边界多边形的边长进行统计分析。具体来说,算法计算初始边界多边形中边长的平均值、中位数和标准,。这些统计指标可以帮助判断边界多边形的形状和规律。根据前面计算得到的边长统计指标,算法确定一个异常值剔除指标,异常值剔除指标是根据平均值和标准差计算的,目的是判断哪些边界点可能是异常值,这些异常值可能由于噪音、错误数据等原因引起。利用异常值剔除指标,算法对初始边界多边形进行异常值去除,这一步骤旨在去除那些被认为是异常的边界点,从而获得更准确和稳定的边界多边形。这个去除异常值的过程有助于确保最终的边界多边形能够更好地代表食物的实际边界。通过多个步骤将点云切片分割成具有规则和准确边界的多边形,以便进一步的分析和计算。这有助于从点云数据中提取出食物的实际边界形状,为后续的营养计算和分析提供基础。
S107:通过PnP算法区分各边界多边形的位置状态,并结合位置状态,确定各点云切片的截面面积,进而计算待评估食物体积。
其中,位置状态包括包含状态、被包含状态和相离状态。
其中,PnP算法(Perspective-n-Point算法)是一种计算机视觉和计算机图形学中常用的算法,用于解决从图像中检测到的2D点与真实世界中物体上的3D点之间的相机姿态和位置的问题。PnP算法能够从2D图像和3D点之间的关系,准确地确定点云切片在食物三维模型中的位置状态。这有助于理解切片是如何与整个食物模型相互作用的,从而在计算食物体积时考虑到了其几何结构。通过确定点云切片的位置状态,可以更准确地计算每个切片的截面面积。根据不同的位置状态,截面面积可能有所不同。这有助于更精确地估算食物的体积,从而为热量和营养计算提供更可靠的数据。利用PnP算法确定位置状态,可以在计算食物体积时排除不正确的位置数据,这有助于减少因数据错误或不一致性引起的计算偏差,提高了数据的质量和可信度。食物的形状和结构可能会因类型不同而变化。通过使用PnP算法,可以在不同的位置状态下处理不同形状的食物,使方法更加通用和适用于各种食物。位置状态对食物的密度分布和形状变化有影响。通过利用PnP算法,可以更全面地考虑食物的特性,不仅仅是表面形状,从而提供更准确的热量和营养计算。使用PnP算法在点云切片位置状态的确定中,为食物体积的计算提供了更精确、可靠和全面的数据,有助于提高方法的准确性和实用性。
在一种可能的实施方式中,S107具体包括:
S1071:通过坐标解析法计算各边界多边形的区域面积:
其中,表示第j个边界多边形的区域面积,m表示边界多边形的顶点数量,xi表示第i个顶点的x坐标和y坐标;
S1072:通过PnP算法计算边界多边形上的点是否在其他边界多边形内部,以确定边界多边形的位置状态;
S1073:然后使用链表和树形结构记录各边界多边形的位置状态;
S1074:采用递归计算,确定边界多边形各个点在树形结构中的深度,进而确定各边界多边形的边界关系,确定区域面积的正负号:
其中,表示第t个点在树形结构中的深度,/>表示单轮廓边界点,/>表示符号转换函数,/>表示截面面积;
S1075:基于截面面积计算待评估食物体积:
其中,表示待评估食物体积,/>表示相邻两个所述点云切片之间的体积,h表示预设距离,n表示点云切片的数量。
S108:结合食材密度、食材热量和待评估食物体积计算待评估食物所包含的热量。
其中,食材密度表示单位体积内所含食材质量,不同食材具有不同的密度,例如水果、蔬菜、肉类等,它们的密度不同。食材热量表示食材在代谢过程中所释放的能量,通常以卡路里(Cal)为单位,不同食材的热量值不同,这是根据其化学成分和组成确定的。通过之前的步骤,已经计算出了待评估食物的体积,即食物在三维空间中所占的空间大小。首先将食材的密度与食材的热量值相乘,得到单位体积内的能量值,然后将这个单位体积内的能量值乘以待评估食物的体积,就得到了待评估食物所包含的总能量,即热量。这个过程基于物质的质量-能量转换关系,将食材密度、食材热量和食物体积综合起来,计算食物的能量含量,以精确地计算待评估食物所包含的热量,这对于营养价值评估非常重要。
S109:间隔预设时长采集热量的反馈结果,并计算反馈结果差值,将反馈结果差值作为热量摄入值进行展示。
在间隔预设时长内,系统收集用户的热量反馈结果,这可能涉及用户记录的食物摄入量、食物种类、食物热量等信息,这些数据可以来自用户的输入、食物日志或其他测量设备。对于连续的两个时间点,系统计算前后两次热量反馈结果的差值,这个差值表示在这个时间间隔内的热量摄入变化。计算得到的热量摄入差值可以在界面上进行展示,以便用户了解在这个时间段内摄入的热量变化情况。这提供了用户对自己的饮食习惯和热量摄入的实时反馈。实现了对用户饮食热量摄入的实时监控,通过定期收集反馈结果并计算差值,用户可以追踪自己的饮食习惯,及时调整摄入量。用户通过看到实际的热量摄入差值,可能会更加关注自己的饮食选择,有助于提高警觉性,从而作出更健康的饮食决策。如果系统具备智能功能,可以根据用户的热量摄入差值,提供个性化的饮食建议和指导,帮助用户实现他们的营养目标。用户可以根据热量摄入差值,适时调整自己的饮食计划,以更好地管理热量摄入和维持健康。
需要说明的是,本领域技术人员可以根据实际需要设置预设时长的大小,本发明在此不做限定。
S110:在热量摄入值的绝对值超出预设热量摄入值的情况下,发出营养摄入量超标提醒。
需要说明的是,超标提醒可以帮助用户更好地控制自己的饮食,避免过度摄入热量,从而维护健康的饮食习惯,提醒用户热量摄入已经超标,有助于引起他们对饮食习惯的重视,从而鼓励他们作出更明智的选择,根据用户的个人信息和目标,设置适当的预设热量摄入值,从而为用户提供个性化的营养管理,帮助用户保持健康的饮食习惯,预防潜在的健康问题。
需要说明的是,本领域技术人员可以根据实际需要设置预设热量摄入值的大小,本发明在此不做限定。
与现有技术相比,本发明至少具有以下有益技术效果:
(1)在本发明中,通过张量分解算法对获取待评估食物的深度图像和彩色图像进行重新分割融合,提取高级结构和特征,之后使用识别模型对食材进行准确识别,代替传统的易受噪声影响的图像分割算法,保留更多的待评估食物的综合特征信息,分割结果稳定可靠,识别准确率高,提升最终的食物含热量评估准确性。
(2)在本发明中,通过对待评估食物进行建模和切片处理,对于食物切片中不规则形状引入适用于分类个数未知的欧式聚类算法进行聚类,准确提取不规则的边界多边形,通过PnP算法明确多个边界多边形的位置信息,避免重叠现象导致切片面积出现较大误差影响评估结果,进而提高各个点云切片的面积计算的准确性,最终获得准确的待评估食物体积,在不借助第三方测量仪器的情况下得出待评估食物的含热量,并通过待评估食物在食用前后的体积变化评估出食用者的热量摄入值,在出现热量摄入过高时发出提醒,热量检测结果准确性高,且方法简单,无需人工的专业仪器的介入便可完成实时的热量摄入监测,为各种群体提供高效的营养管理,有效助力身体健康保养,提升身体素质。
实施例2
在一个实施例中,本发明提供的一种基于图像处理的营养智能管理系统,用于执行实施例1中的基于图像处理的营养智能管理方法。
本发明提供的一种基于图像处理的营养智能管理系统可以实现上述实施例1中的基于图像处理的营养智能管理方法的步骤和效果,为避免重复,本发明不再赘述。
与现有技术相比,本发明至少具有以下有益技术效果:
(1)在本发明中,通过张量分解算法对获取待评估食物的深度图像和彩色图像进行重新分割融合,提取高级结构和特征,之后使用识别模型对食材进行准确识别,代替传统的易受噪声影响的图像分割算法,保留更多的待评估食物的综合特征信息,分割结果稳定可靠,识别准确率高,提升最终的食物含热量评估准确性。
(2)在本发明中,通过对待评估食物进行建模和切片处理,对于食物切片中不规则形状引入适用于分类个数未知的欧式聚类算法进行聚类,准确提取不规则的边界多边形,通过PnP算法明确多个边界多边形的位置信息,避免重叠现象导致切片面积出现较大误差影响评估结果,进而提高各个点云切片的面积计算的准确性,最终获得准确的待评估食物体积,在不借助第三方测量仪器的情况下得出待评估食物的含热量,并通过待评估食物在食用前后的体积变化评估出食用者的热量摄入值,在出现热量摄入过高时发出提醒,热量检测结果准确性高,且方法简单,无需人工的专业仪器的介入便可完成实时的热量摄入监测,为各种群体提供高效的营养管理,有效助力身体健康保养,提升身体素质。
以上实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于图像处理的营养智能管理方法,其特征在于,包括:
S101:获取待评估食物的深度图像和彩色图像;
S102:采用张量分解算法将所述深度图像和所述彩色图像进行融合,得到融合深度图像;
S103:将所述融合深度图像输入至深度学习模型进行食材识别,并获取各个食材相应的食材密度与食材热量;
S104:基于所述融合深度图像重建食物三维模型;
S105:间隔预设距离对所述食物三维模型进行切片处理,并记录切片顺序,得到多层点云切片;
S106:利用欧氏聚类算法对所述点云切片进行边界分割,获取所述点云切片的边界多边形;
S107:通过PnP算法区分各所述边界多边形的位置状态,并结合所述位置状态,确定各所述点云切片的截面面积,进而计算待评估食物体积,其中,所述位置状态包括包含状态、被包含状态和相离状态;
S108:结合所述食材密度、所述食材热量和所述待评估食物体积计算所述待评估食物所包含的热量;
S109:间隔预设时长采集所述热量的反馈结果,并计算反馈结果差值,将所述反馈结果差值作为热量摄入值进行展示;
S110:在所述热量摄入值的绝对值超出预设热量摄入值的情况下,发出营养摄入量超标提醒;
所述S102具体包括:
S1021:将所述深度图像和所述彩色图像缩放至相同尺寸;
S1022:构造关于所述深度图像和所述彩色图像的图像张量:
其中,X表示深度图像张量,R表示图像,第一阶维数D1和第二阶维数D2分别表示深度图像上的行维数和列维数,第三阶维数“4”表示红色、绿色、蓝色和深度四个颜色通道,第四阶维数M表示样本图像数量;
S1023:对所述深度图像张量进行张量图克分解,得到包括四个模式的核心张量以及四个模式相对应的四个因子矩阵:
其中, 表示核心张量,即四个模式成分相互之间的权重,/>表示第n个模式对应的因子矩阵,其中,In表示模式n的维数,符号/>表示将所述核心张量在第 i 个模式上执行矩阵乘积,其中,所述因子矩阵的列向量代表该模式上的主分量;
S1024:建立所述核心张量与所述因子矩阵的寻优方程:
其中,表示目标函数,即求解在所述目标函数取最小值时所述核心张量G和所述因子矩阵/>的值,F表示弗罗贝尼乌斯范数;
S1025:通过高阶正交迭代算法求解所述寻优方程,得到所述核心张量和四个所述因子矩阵;
S1026:选取代表所述深度图像张量在模式1和模式2主分量的因子矩阵作为投影矩阵将所述深度图像张量进行投影,完成所述深度图像和所述彩色图像的融合,得到所述融合深度图像:
其中,表示融合深度图像,预设参数/>分别表示模式1和模式2主分量的因子矩阵的前/>行的主分量,其中,所述预设参数根据所要降低的分辨率进行选取。
2.根据权利要求1所述的基于图像处理的营养智能管理方法,其特征在于,所述S101具体为:
S1011:通过深度相机获取所述深度图像和所述彩色图像。
3.根据权利要求2所述的基于图像处理的营养智能管理方法,其特征在于,所述S1025具体包括:
S1025A:计算所述深度图像张量在四个模式上的水平展开矩阵;
S1025B:对所述水平展开矩阵进行奇异值分解,并令左奇异值矩阵作为初始因子矩阵
其中,表示水平展开矩阵,/>表示因子矩阵,/>表示对角矩阵,/>表示右奇异值矩阵,k表示迭代次数;
S1025C:更新所述初始因子矩阵,并将所述迭代次数加1,得到新矩阵:
其中,表示所述新矩阵;
S1025D:将所述新矩阵在模式n上水平展开,并对展开后的矩阵进行奇异值分解,将分解得到的左奇异值矩阵替换所述初始因子矩阵;
S1025E:计算当前迭代次数下的核心张量:
S1025F:判断当前迭代次数下的核心张量是否满足收敛条件,若满足,则进入S1025G,否则,返回S1025C,所述收敛条件为:
其中,表示收敛阈值;
S1025G:输出所述当前迭代次数下的核心张量和相应的四个因子矩阵。
4.根据权利要求1所述的基于图像处理的营养智能管理方法,其特征在于,所述深度学习模型包括卷积神经网络、循环神经网络、注意力机制模型和Transformers模型。
5.根据权利要求1所述的基于图像处理的营养智能管理方法,其特征在于,通过三角测量法将所述融合深度图像重建为三维模型,所述S104具体包括:
S1041:对所述融合深度图像进行预处理,所述预处理包括去除噪声、填补缺失深度值;
S1042:将预处理后的融合深度图像的深度值映射到三维坐标系中,生成一个点云数据集;
S1043:连接所述点云数据集中各个点之间的三角形来恢复物体的三维形状,生成三维模型。
6.根据权利要求1所述的基于图像处理的营养智能管理方法,其特征在于,所述S105具体包括:
S1051:计算所述点云切片的投影厚度,其中,所述投影厚度为以切片平面为基准,将上下所述投影厚度内的点投影至所述切片平面,所述投影厚度的计算方式为:
其中,δ表示投影厚度,b表示取值为0.4~0.8的经验常数,ρ表示三维模型的点云密度;
S1052:根据所述投影厚度和所述预设距离,将所述三维模型进行切片,得到多层所述点云切片。
7.根据权利要求1所述的基于图像处理的营养智能管理方法,其特征在于,所述S106具体包括:
S1061:设定搜索半径对所述点云切片进行遍历搜索,将点间距小于预设距离的进行归类,分割出多个单轮廓边界点;
S1062:利用双向最近点搜索法对各所述单轮廓边界点进行排序,得到点云数据的初始边界多边形;
S1063:统计所述初始边界多边形中的边长平均值、边长中位数和边长标准差:
其中,表示边长平均值,/>表示边长中位数,/>表示边长标准差,/>表示初始边界多边形的边界点间距,μ表示初始边界多边形的边界点数量;
S1064:根据所述边长平均值和所述边长标准差确定异常值剔除指标:
其中,表示异常值剔除指标,z表示取值为2~4之间的剔除指数;
S1065:利用所述异常值剔除指标对所述初始边界多边形进行异常值去除,得到所述点云切片的边界多边形。
8.根据权利要求1所述的基于图像处理的营养智能管理方法,其特征在于,所述S107具体包括:
S1071:通过坐标解析法计算各所述边界多边形的区域面积:
其中,表示第j个边界多边形的区域面积,m表示边界多边形的顶点数量;
S1072:通过所述PnP算法计算边界多边形上的点是否在其他边界多边形内部,以确定所述边界多边形的位置状态;
S1073:然后使用链表和树形结构记录各所述边界多边形的位置状态;
S1074:采用递归计算,确定所述边界多边形各个点在所述树形结构中的深度,进而确定各所述边界多边形的边界关系,确定所述区域面积的正负号:
其中,表示第t个点在树形结构中的深度,/>表示单轮廓边界点,/>表示符号转换函数,/>表示截面面积;
S1075:基于截面面积计算所述待评估食物体积:
其中,表示待评估食物体积,/>表示相邻两个所述点云切片之间的体积,h表示预设距离,n表示点云切片的数量。
9.一种基于图像处理的营养智能管理系统,其特征在于,用于执行权利要求1至8中任一项所述的基于图像处理的营养智能管理方法。
CN202311148047.8A 2023-09-07 2023-09-07 一种基于图像处理的营养智能管理方法及系统 Active CN116884572B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311148047.8A CN116884572B (zh) 2023-09-07 2023-09-07 一种基于图像处理的营养智能管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311148047.8A CN116884572B (zh) 2023-09-07 2023-09-07 一种基于图像处理的营养智能管理方法及系统

Publications (2)

Publication Number Publication Date
CN116884572A CN116884572A (zh) 2023-10-13
CN116884572B true CN116884572B (zh) 2024-02-06

Family

ID=88272087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311148047.8A Active CN116884572B (zh) 2023-09-07 2023-09-07 一种基于图像处理的营养智能管理方法及系统

Country Status (1)

Country Link
CN (1) CN116884572B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117831028B (zh) * 2024-03-06 2024-05-07 深圳鸿博智成科技有限公司 食材加工数据的处理方法、装置、设备以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013036907A (ja) * 2011-08-09 2013-02-21 Seiko Epson Corp 摂取熱量推定装置、摂取熱量推定方法および摂取熱量推定用データ出力装置
CN106846484A (zh) * 2017-02-20 2017-06-13 深圳市唯特视科技有限公司 一种基于双视图三维重建的食物体积估计方法
CN108805979A (zh) * 2018-02-05 2018-11-13 清华-伯克利深圳学院筹备办公室 一种动态模型三维重建方法、装置、设备和存储介质
CN114565659A (zh) * 2022-01-19 2022-05-31 北京精培医学研究院 基于单深度图深度学习视图合成的食物体积估计方法
WO2022133190A1 (en) * 2020-12-17 2022-06-23 Trustees Of Tufts College Food and nutrient estimation, dietary assessment, evaluation, prediction and management
WO2023159909A1 (zh) * 2022-02-25 2023-08-31 重庆邮电大学 一种基于深度学习食物图像识别模型的营养管理方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013036907A (ja) * 2011-08-09 2013-02-21 Seiko Epson Corp 摂取熱量推定装置、摂取熱量推定方法および摂取熱量推定用データ出力装置
CN106846484A (zh) * 2017-02-20 2017-06-13 深圳市唯特视科技有限公司 一种基于双视图三维重建的食物体积估计方法
CN108805979A (zh) * 2018-02-05 2018-11-13 清华-伯克利深圳学院筹备办公室 一种动态模型三维重建方法、装置、设备和存储介质
WO2022133190A1 (en) * 2020-12-17 2022-06-23 Trustees Of Tufts College Food and nutrient estimation, dietary assessment, evaluation, prediction and management
CN114565659A (zh) * 2022-01-19 2022-05-31 北京精培医学研究院 基于单深度图深度学习视图合成的食物体积估计方法
WO2023159909A1 (zh) * 2022-02-25 2023-08-31 重庆邮电大学 一种基于深度学习食物图像识别模型的营养管理方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的三维物体检测方法;李洋洋;史历程;万卫兵;赵群飞;;上海交通大学学报(01);全文 *
基于深度信息的草莓三维重建技术;刘刚;张雪;宗泽;郭彩玲;;农业机械学报(04);全文 *

Also Published As

Publication number Publication date
CN116884572A (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN110110617B (zh) 医学影像分割方法、装置、电子设备和存储介质
Gao et al. The deep features and attention mechanism-based method to dish healthcare under social IoT systems: An empirical study with a hand-deep local–global net
US9916520B2 (en) Automated food recognition and nutritional estimation with a personal mobile electronic device
CN108288271A (zh) 基于三维残差网络的图像检测系统及方法
CN116884572B (zh) 一种基于图像处理的营养智能管理方法及系统
Yang et al. Food recognition using statistics of pairwise local features
JP7470203B2 (ja) 水産養殖における分析及び選別
CN108597582B (zh) 一种用于执行Faster R-CNN神经网络运算的方法和装置
WO2023159909A1 (zh) 一种基于深度学习食物图像识别模型的营养管理方法及系统
CN107679503A (zh) 一种基于深度学习的人群计数算法
CN105426929B (zh) 对象形状对准装置、对象处理装置及其方法
CN106846484A (zh) 一种基于双视图三维重建的食物体积估计方法
CN110047081A (zh) 胸部x光图像的实例分割方法、装置、设备及介质
CN106446508A (zh) 智能筷子预测系统及利用该系统进行预测的方法
CN112926541A (zh) 一种睡岗检测方法、装置及相关设备
CN109345624A (zh) 一种自动识别食物热量的估算方法及系统
Kaashki et al. Deep learning-based automated extraction of anthropometric measurements from a single 3-D scan
CN117787510B (zh) 基于时序预测分析的农药残留监测过程的优化方法
CN116912025A (zh) 基于云边协同的畜牧养殖信息综合管理方法及系统
Sari et al. Measuring food volume from RGB-Depth image with point cloud conversion method using geometrical approach and robust ellipsoid fitting algorithm
CN110838179A (zh) 基于体测数据的人体建模方法、装置及电子设备
CN114565659A (zh) 基于单深度图深度学习视图合成的食物体积估计方法
CN117078955B (zh) 一种基于图像识别的健康管理方法
CN116958053B (zh) 一种基于yolov4-tiny的竹签计数方法
Subaran et al. Mask R-CNN and GrabCut algorithm for an image-based calorie estimation system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant