CN116434911A - 一种基于智能识别的个性化饮食监测方法及系统 - Google Patents
一种基于智能识别的个性化饮食监测方法及系统 Download PDFInfo
- Publication number
- CN116434911A CN116434911A CN202310157818.3A CN202310157818A CN116434911A CN 116434911 A CN116434911 A CN 116434911A CN 202310157818 A CN202310157818 A CN 202310157818A CN 116434911 A CN116434911 A CN 116434911A
- Authority
- CN
- China
- Prior art keywords
- information
- meal
- network
- dining
- space occupation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000005911 diet Nutrition 0.000 title claims abstract description 37
- 230000037213 diet Effects 0.000 title claims abstract description 37
- 238000012544 monitoring process Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 21
- 235000012054 meals Nutrition 0.000 claims abstract description 84
- 235000016709 nutrition Nutrition 0.000 claims abstract description 69
- 239000004615 ingredient Substances 0.000 claims abstract description 35
- 230000035764 nutrition Effects 0.000 claims abstract description 32
- 230000007246 mechanism Effects 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 230000001815 facial effect Effects 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 238000010801 machine learning Methods 0.000 claims abstract description 12
- 238000012098 association analyses Methods 0.000 claims abstract description 10
- 235000013305 food Nutrition 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 230000003862 health status Effects 0.000 claims description 11
- 238000010219 correlation analysis Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000005303 weighing Methods 0.000 claims description 5
- 238000004821 distillation Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 3
- 108010006519 Molecular Chaperones Proteins 0.000 claims description 2
- 235000012041 food component Nutrition 0.000 claims 1
- 230000036541 health Effects 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 description 5
- 235000003715 nutritional status Nutrition 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 235000003166 Opuntia robusta Nutrition 0.000 description 1
- 244000218514 Opuntia robusta Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 235000018823 dietary intake Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- Nutrition Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Primary Health Care (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于智能识别的个性化饮食监测方法及系统，涉及医疗健康监测技术领域，包括以下步骤：构建空间占用网络，其包括空间占用概率特征提取网络和查询注意力机制，利用该网络获取餐食的类别概率，并确定餐食的营养成分信息；构建蒸馏后的轻量级分类网络，并利用其识别面部图像信息，得到就餐者的身份识别信息、目前身体营养状况信息；基于机器学习构建全因素关联分析网络，其根据餐食的营养成分信息，及就餐者的身份识别信息、目前身体营养状况信息，以及就餐者过往的身体检测信息，对就餐者提出就餐建议。本发明实现对就餐者的日常饮食进行监测并给出合理的饮食建议，为就餐者的日常饮食监控提供个体化的保障。
Description
技术领域
本发明涉及医疗健康监测技术领域，具体为一种基于智能识别的个性化饮食监测方法及系统。
背景技术
目前，最为常见的日常饮食摄入能量与管理系统就是基于手机app的营养分析软件，这类软件往往根据用户自身输入其日常所摄入的食物种类以及重量，来分析用户每日摄入的营养成分并提出建议。但是，这一类软件在应用时因需要用户将自身的每顿饮食均自主输入，导致该类软件的应用被大大限制，使其几乎不可能被大范围运用。因此为了简单、快捷的对用户日常的饮食摄入进行营养分析监测，现大多采用手机扫码的方式来获取用户在日常饮食中所摄入的营养，但是因采用手机扫码的方式难以准确获取食物的精确信息，使其在使用时误差仍然较大。
近年来，一些智能识别的手段也被逐步运用。其利用软件拍摄食物，智能化地识别出餐盘内的食物，从而从视觉上估算这些食物中各个营养所占的比例。这一类研究往往基于大量自然食物图片，种类极为繁多，成分复杂，因此，其往往只能大致识别食物的种类，了解就餐者大致的营养摄入，使得其估计结果往往不够准确，同时缺少对就餐本人个性化的分析与监测，且难以纳入就餐者的基本信息或体检信息共同分析。
发明内容
本发明提出了一种基于智能识别的个性化饮食监测方法及系统，通过获取就餐者所摄入的餐食的多个视角的图像信息，以及就餐者的面部图像信息，通过体积占用而非食物识别的方法准确分析所摄入的餐食的食物本身的营养成分与就餐者的身体营养状况之间的相关性，对就餐者的日常饮食进行监测并给出合理的饮食建议，为就餐者的日常饮食监控提供个体化的保障。
本发明提供一种基于智能识别的个性化饮食监测方法，包括以下步骤：
获取就餐者的面部图像信息及其所要摄入的餐食的图像信息、重量信息；
构建空间占用网络，其包括空间占用概率特征提取网络和查询注意力机制，将餐食的图像信息输入到空间占用网络中后，利用空间占用概率特征提取网络提取餐食的空间占用概率特征，并利用查询注意力机制获取餐食的类别概率；
结合餐食的餐食的类别概率及其重量信息，确定餐食的营养成分信息；
构建蒸馏后的轻量级分类网络，并利用其识别面部图像信息，得到就餐者的身份识别信息、目前身体营养状况信息；
基于机器学习构建全因素关联分析网络，其根据餐食的营养成分信息，及就餐者的身份识别信息、目前身体营养状况信息，以及就餐者过往的身体检测信息，对就餐者提出就餐建议。
进一步地，利用摄像头获取所述就餐者的面部图像信息；
利用多角度摄像头捕捉所述餐食的图像信息，包括多个视角的景深图片及RGB图片。
进一步地，所述利用空间占用概率特征提取网络提取餐食的空间占用概率特征，包括以下步骤：
基于多角度的编解码网络，并根据多个视角的景深图片及RGB图片，确定餐食的位置、深度、色彩；
根据餐食的位置、深度、色彩，利用三维重建技术对餐食进行三维物体重建；
确定三维物体的占用函数，为：
设计空间占用概率特征提取网络的函数f，利用该函数得到餐食的任意一个角度的三维物体的空间占用概率，该函数f的表达式为：
其中，
表示空间中的一点的集合，χ表示任意角度的观察。
进一步地，基于已有菜谱的成分组成信息构建所述查询注意力机制；
利用所述查询注意力机制识别餐食的空间占用概率特征，确定餐食类别概率，包括：
其中，Qfix表示为固定查询的餐食；
K表示被查询的键；KT为K的转置；V为待查询食物的特征值；
d为放缩系数；
根据餐食类别概率，得到餐食的组成成分信息。
进一步地，利用KL散度对所述轻量级分类网络进行蒸馏，包括：
其中，q(xi)，p(xi)分别为教师模型和学生蒸馏模型的输出；
N为样本个数。
进一步地，所述基于机器学习构建全因素关联分析网络，其根据餐食的营养成分信息，及就餐者的身份识别信息、目前身体营养状况信息，以及就餐者过往的身体检测信息，对就餐者提出就餐建议，包括：
基于所述餐食的营养成分信息、就餐者的身份识别信息、目前身体营养状况信息、过往的身体检测信息，利用所述全因素关联分析网络，并将夏普利值作为重要性权重，得到不同营养成分对就餐者身体健康状态的重要性，并分析就餐者长期摄入的餐食的营养成分与其身体健康状态之间的相关性；
其中，所述夏普利值的计算公式为：
其中，N{i}表示所有特征的集合，
表示对于特征i的夏普利值计算；v(S)表示对集合S的预测输出。
根据就餐者长期摄入的餐食的营养成分与其身体健康状态之间的相关性，对就餐者提出就餐建议。
本发明还提供一种个性化饮食监测系统，包括：
数据采集设备，用于获取就餐者的面部图像信息及其所要摄入的餐食的图像信息、重量信息；
第一数据处理模块，其用于构建空间占用网络，其包括空间占用概率特征提取网络和查询注意力机制，将餐食的图像信息输入到空间占用网络中后，利用空间占用概率特征提取网络提取餐食的空间占用概率特征，并利用查询注意力机制获取餐食的类别概率；结合餐食的餐食的类别概率及其重量信息，确定餐食的营养成分信息；
第二数据处理模块，其用于构建蒸馏后的轻量级分类网络，并利用该网络识别面部图像信息，得到就餐者的身份识别信息、目前身体营养状况信息；
监测结果输出模块，其用于基于机器学习构建全因素关联分析网络，该网络根据餐食的营养成分信息，及就餐者的身份识别信息、目前身体营养状况信息，以及就餐者的过往身体检测信息，对就餐者提出就餐建议。
进一步地，所述数据采集设备，包括：
底座；
直角型支撑臂，设在底座上一侧；
多角度摄像头，设在直角型支撑臂上方，其拍摄方向朝向底座；
人脸识别摄像头，设在底座上另一侧；
称重设备，设在底座上，且位于多角度摄像头的正下方。
与现有技术相比，本发明的有益效果：
本发明中通过构建空间占用网络以及查询注意力机制，实现了根据餐食的图像信息确定餐食的营养成分信息；并通过构建蒸馏后的轻量级分类网络，用于就餐者的身份识别信息、目前身体营养状况信息；最后通过基于机器学习构建全因素关联分析网络，实现将餐食的营养成分信息，及就餐者的身份识别信息、目前身体营养状况信息，以及就餐者过往的身体检测信息进行关联，得到就餐者长期摄入的餐食的营养成分与其身体健康状态之间的相关性，从而对就餐者提出就餐建议，本发明中所提出的饮食健康监测方法避免了用户自主进行餐食摄入情况记录，提高了应用便捷性以及应用范围，并且所得到的摄入餐食的营养成分信息结果准确性高，以及对用户所提出的就餐建议与就餐者自身的身体健康状况的关联性高。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明的一种基于智能识别的个性化饮食监测方法的流程示意图；
图2为本发明的一种基于智能识别的个性化饮食监测方法的模型总体架构图；
图3为本发明的一种基于智能识别的个性化饮食监测方法的餐食三维建模和营养分析过程；
图4为本发明的一种基于智能识别的个性化饮食监测方法的全因素关联分析结果；
图5为本发明的一种个性化饮食监测系统的数据获取设备的结构示意图。
附图标号说明：
1-底座，2-直角型支撑臂，3-多角度摄像头，4-人脸识别摄像头，5-称重设备。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
实施例1
如图1-2所示，本发明提供了一种基于智能识别的个性化饮食监测方法，包括以下步骤：
步骤S1：获取就餐者的面部图像信息及其所要摄入的餐食的图像信息、重量信息；
步骤S2：构构建空间占用网络，其包括空间占用概率特征提取网络和查询注意力机制，将餐食的图像信息输入到空间占用网络中后，利用空间占用概率特征提取网络提取餐食的空间占用概率特征，并利用查询注意力机制获取餐食的类别概率；
步骤S3：结合餐食的餐食的类别概率及其重量信息，确定餐食的营养成分信息；
步骤S4：构建蒸馏后的轻量级分类网络，并利用其识别面部图像信息，得到就餐者的身份识别信息、目前身体营养状况信息；
步骤S5：基于机器学习构建全因素关联分析网络，其根据餐食的营养成分信息，及就餐者的身份识别信息、目前身体营养状况信息，以及就餐者过往的身体检测信息，对就餐者提出就餐建议。
在步骤S1中，利用摄像头获取就餐者的面部图像信息；
利用多角度摄像头捕捉餐食的图像信息，包括多个视角的景深图片及RGB图片。
如图3所示，在步骤S2中，将餐食的图像信息输入到空间占用网络中，得到其空间占用概率，包括以下步骤：
基于多角度的编解码网络，并根据多个视角的景深图片及RGB图片，确定餐食的位置、深度、色彩；
根据餐食的位置、深度、色彩，利用三维重建技术对餐食进行三维物体重建；
确定三维物体的占用函数，为：
设计空间占用概率特征提取网络的函数f，利用该函数得到餐食的任意一个角度的三维物体的空间占用概率，该函数f的表达式为：
其中，
表示空间中的一点的集合，χ表示任意角度的观察。
如图3所示，在步骤S3中，基于已有菜谱的成分组成信息构建查询注意力机制，利用查询注意力机制识别餐食的空间占用概率，确定餐食的组成成分信息，包括：
其中，Qfix表示为固定查询的餐食；
K表示被查询的键；KT为K的转置；V为待查询食物的特征值；
d为放缩系数。
根据餐食类别概率，得到餐食的组成成分信息。
在步骤S3中，根据餐食的组成成分信息，及其重量信息，以及餐食的各个组成成分的实际营养表，可以确定餐食的营养成分信息。
在步骤S4中，构建轻量级分类网络，并在大量参数网络上进行预训练，再利用KL散度对轻量级分类网络进行蒸馏，包括：
其中q(xi)，p(xi)分别为教师模型和学生蒸馏模型的输出；
N为样本个数。
通过对轻量级分类网络进行蒸馏，有利于保证就餐者身份信息的实时识别，且有利于保证日常就餐体验。
在步骤S5中，基于机器学习构建全因素关联分析网络，其根据餐食的营养成分信息，及就餐者的身份识别信息、目前身体营养状况信息，以及就餐者过往的身体检测信息，对就餐者提出就餐建议，包括：
基于餐食的营养成分信息、就餐者的身份识别信息、目前身体营养状况信息、过往的身体检测信息，利用全因素关联分析网络，并将夏普利值作为重要性权重，得到不同营养成分对就餐者身体健康状态的重要性，并分析就餐者长期摄入的餐食的营养成分与其身体健康状态之间的相关性；
其中，夏普利值的计算公式为：
其中，N{i}表示所有特征的集合，
表示对于特征i的夏普利值计算；
v(S)表示对集合S的预测输出；
根据就餐者长期摄入的餐食的营养成分与其身体健康状态之间的相关性，对就餐者提出就餐建议。
如图4所示，在本实施例中，对某一位就餐者所食用的餐食通过多角度拍摄后进行营养成分分析，并通过对就餐者进行人脸识别获得就餐者的身份识别信息、目前身体营养状况信息。
利用全因素关联分析网络对该就餐者所食用的餐食的营养成分信息，及该就餐者的身份识别信息、目前身体营养状况信息，以及就餐者的过往身体检测信息进行全因素关联分析，得到对该就餐者的饮食建议。
实施例2
本发明还提供一种个性化饮食监测系统，包括：
数据采集设备，用于获取就餐者的面部图像信息及其所要摄入的餐食的图像信息、重量信息；
第一数据处理模块，其用于构建空间占用网络，其包括空间占用概率特征提取网络和查询注意力机制，将餐食的图像信息输入到空间占用网络中后，利用空间占用概率特征提取网络提取餐食的空间占用概率特征，并利用查询注意力机制获取餐食的类别概率；结合餐食的餐食的类别概率及其重量信息，确定餐食的营养成分信息；
第二数据处理模块，其用于构建蒸馏后的轻量级分类网络，并利用该网络识别面部图像信息，得到就餐者的身份识别信息、目前身体营养状况信息；
监测结果输出模块，其用于基于机器学习构建全因素关联分析网络，该网络根据餐食的营养成分信息，及就餐者的身份识别信息、目前身体营养状况信息，以及就餐者的过往身体检测信息，对就餐者提出就餐建议。
其中，如图5所示，数据采集设备，包括底座1；直角型支撑臂2，设在底座1上一侧；多角度摄像头3，设在直角型支撑臂2上方，其拍摄方向朝向底座1；人脸识别摄像头4，设在底座1上另一侧；称重设备5，设在底座1上，且位于多角度摄像头3的正下方。将餐食放置在称重设备5上，并利用多角度摄像头3拍摄餐食的多个视角的图像信息，利用人脸识别摄像头4获取就餐者的面部图像信息，最后将所获取的各个图像信息分别传送至第一数据处理模块，第二数据处理模块进行分析，从而得到所需的餐食的营养成分信息以及就餐者的身份识别信息、目前身体营养状况信息。
本发明中所提出的个性化饮食监测系统，实现了就餐者在日常饮食过程中快捷、方便的监测其日常饮食，且能准确的估计就餐者的饮食营养成分，并结合就餐者的日常饮食的营养成分状况以及就餐者的身体健康状况，对就餐者提出就餐建议。
最后说明的是：以上公开的仅为本发明的一个具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。
Claims (8)
1.一种基于智能识别的个性化饮食监测方法，其特征在于，包括以下步骤：
获取就餐者的面部图像信息及其所要摄入的餐食的图像信息、重量信息；
构建空间占用网络，其包括空间占用概率特征提取网络和查询注意力机制，将餐食的图像信息输入到空间占用网络中后，利用空间占用概率特征提取网络提取餐食的空间占用概率特征，并利用查询注意力机制获取餐食的类别概率；
结合餐食的餐食的类别概率及其重量信息，确定餐食的营养成分信息；
构建蒸馏后的轻量级分类网络，并利用其识别面部图像信息，得到就餐者的身份识别信息、目前身体营养状况信息；
基于机器学习构建全因素关联分析网络，其根据餐食的营养成分信息，及就餐者的身份识别信息、目前身体营养状况信息，以及就餐者过往的身体检测信息，对就餐者提出就餐建议。
2.根据权利要求1所述的一种基于智能识别的个性化饮食监测方法，其特征在于：利用摄像头获取所述就餐者的面部图像信息；
利用多角度摄像头捕捉所述餐食的图像信息，包括多个视角的景深图片及RGB图片。
3.根据权利要求1所述的一种基于智能识别的个性化饮食监测方法，其特征在于：所述利用空间占用概率特征提取网络提取餐食的空间占用概率特征，包括以下步骤：
基于多角度的编解码网络，并根据多个视角的景深图片及RGB图片，确定餐食的位置、深度、色彩；
根据餐食的位置、深度、色彩，利用三维重建技术对餐食进行三维物体重建；
确定三维物体的占用函数，为：
设计空间占用概率特征提取网络的函数f，利用该函数得到餐食的任意一个角度的三维物体的空间占用概率，该函数f的表达式为：
其中，
表示空间中的一点的集合，χ表示任意角度的观察。
4.根据权利要求1所述的一种基于智能识别的个性化饮食监测方法，其特征在于：基于已有菜谱的成分组成信息构建所述查询注意力机制；
利用所述查询注意力机制识别餐食的空间占用概率特征，确定餐食类别概率，包括：
其中，Qfix表示为固定查询的餐食；
K表示被查询的键；KT为K的转置；V为待查询食物的特征值；
d为放缩系数；
根据餐食类别概率，得到餐食的组成成分信息。
5.根据权利要求1所述的一种基于智能识别的个性化饮食监测方法，其特征在于：利用KL散度对所述轻量级分类网络进行蒸馏，包括：
其中，q(xi)，p(xi)分别为教师模型和学生蒸馏模型的输出；
N为样本个数。
6.根据权利要求1所述的一种基于智能识别的个性化饮食监测方法，其特征在于：所述基于机器学习构建全因素关联分析网络，其根据餐食的营养成分信息，及就餐者的身份识别信息、目前身体营养状况信息，以及就餐者过往的身体检测信息，对就餐者提出就餐建议，包括：
基于所述餐食的营养成分信息、就餐者的身份识别信息、目前身体营养状况信息、过往的身体检测信息，利用所述全因素关联分析网络，并将夏普利值作为重要性权重，得到不同营养成分对就餐者身体健康状态的重要性，并分析就餐者长期摄入的餐食的营养成分与其身体健康状态之间的相关性；
其中，所述夏普利值的计算公式为：
其中，N{i}表示所有特征的集合，
表示对于特征i的夏普利值计算；v(S)表示对集合S的预测输出。
根据就餐者长期摄入的餐食的营养成分与其身体健康状态之间的相关性，对就餐者提出就餐建议。
7.一种个性化饮食监测系统，其特征在于：包括：
数据采集设备，用于获取就餐者的面部图像信息及其所要摄入的餐食的图像信息、重量信息；
第一数据处理模块，其用于构建空间占用网络，其包括空间占用概率特征提取网络和查询注意力机制，将餐食的图像信息输入到空间占用网络中后，利用空间占用概率特征提取网络提取餐食的空间占用概率特征，并利用查询注意力机制获取餐食的类别概率；结合餐食的餐食的类别概率及其重量信息，确定餐食的营养成分信息；
第二数据处理模块，其用于构建蒸馏后的轻量级分类网络，并利用该网络识别面部图像信息，得到就餐者的身份识别信息、目前身体营养状况信息；
监测结果输出模块，其用于基于机器学习构建全因素关联分析网络，该网络根据餐食的营养成分信息，及就餐者的身份识别信息、目前身体营养状况信息，以及就餐者的过往身体检测信息，对就餐者提出就餐建议。
8.根据权利要求7所述的一种个性化饮食监测系统，其特征在于：所述数据采集设备，包括：
底座(1)；
直角型支撑臂(2)，设在底座(1)上一侧；
多角度摄像头(3)，设在直角型支撑臂(2)上方，其拍摄方向朝向底座(1)；
人脸识别摄像头(4)，设在底座(1)上另一侧；
称重设备(5)，设在底座(1)上，且位于多角度摄像头(3)的正下方。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310157818.3A CN116434911B (zh) | 2023-02-23 | 2023-02-23 | 一种基于智能识别的个性化饮食监测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310157818.3A CN116434911B (zh) | 2023-02-23 | 2023-02-23 | 一种基于智能识别的个性化饮食监测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116434911A true CN116434911A (zh) | 2023-07-14 |
| CN116434911B CN116434911B (zh) | 2023-12-01 |
Family
ID=87093274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310157818.3A Active CN116434911B (zh) | 2023-02-23 | 2023-02-23 | 一种基于智能识别的个性化饮食监测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116434911B (zh) |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6605038B1 (en) * | 2000-06-16 | 2003-08-12 | Bodymedia, Inc. | System for monitoring health, wellness and fitness |
| US20120083669A1 (en) * | 2010-10-04 | 2012-04-05 | Abujbara Nabil M | Personal Nutrition and Wellness Advisor |
| US20170277863A1 (en) * | 2016-03-24 | 2017-09-28 | Anand Subra | Real-time or just-in-time online assistance for individuals to help them in achieving personalized health goals |
| CN110930404A (zh) * | 2019-12-31 | 2020-03-27 | 中国人民解放军第四军医大学 | 一种基于完整腔壁的空腔器官内病灶的检测方法 |
| CN111798465A (zh) * | 2020-07-02 | 2020-10-20 | 中国人民解放军空军军医大学 | 基于医学影像的异质肿瘤高危区域检测方法及系统 |
| CN112017756A (zh) * | 2020-09-07 | 2020-12-01 | 神思电子技术股份有限公司 | 一种基于人脸识别自助打餐系统的饮食营养分析方法 |
| CN112614564A (zh) * | 2020-12-24 | 2021-04-06 | 武汉理工大学 | 一种基于多源异构数据融合的智能化营养膳食推荐方法 |
| EP3905120A1 (en) * | 2020-04-27 | 2021-11-03 | 20Face B.V. | Quality check method and system for determining a recognition quality of an input face image |
| WO2022007977A1 (zh) * | 2020-07-08 | 2022-01-13 | 徐浩仁 | 营养与慢性病管理的方法、装置、存储介质以及终端设备 |
| WO2022038963A1 (ja) * | 2020-08-17 | 2022-02-24 | Ｎｅｃソリューションイノベータ株式会社 | 食事提案支援装置、食事提案支援方法、食事提案支援端末、食事提案支援システム、プログラム、および記録媒体 |
| CN114203278A (zh) * | 2021-12-16 | 2022-03-18 | 珠海格力电器股份有限公司 | 一种健康饮食建议的生成方法及装置 |
| CN114360690A (zh) * | 2022-03-18 | 2022-04-15 | 天津九安医疗电子股份有限公司 | 一种慢病患者的饮食营养管理方法和系统 |
| US20220215930A1 (en) * | 2019-05-12 | 2022-07-07 | Makesense Digital Health Technologies Ltd. | A system and a method for heal th and diet management and nutritional monitoring |
| WO2022160148A1 (zh) * | 2021-01-28 | 2022-08-04 | 曹庆恒 | 一种饮食智能推荐的方法、系统 |
| CN114882973A (zh) * | 2022-06-07 | 2022-08-09 | 北京富通智康科技有限公司 | 一种基于标准食品识别的每日营养摄取分析方法及系统 |
| CN115131783A (zh) * | 2022-06-23 | 2022-09-30 | 贵州大学 | 基于机器视觉的用户饮食营养成分信息自主感知方法 |
| US20220399099A1 (en) * | 2021-06-15 | 2022-12-15 | Seoul National University R&Db Foundation | System and method for providing personalized dietary suggestion platform |
| US20220399098A1 (en) * | 2020-12-25 | 2022-12-15 | Boe Technology Group Co., Ltd. | Diet recommendation method, device, storage medium and electronic device |
| US20230029505A1 (en) * | 2021-08-02 | 2023-02-02 | Fujitsu Limited | Image synthesis for personalized facial expression classification |
-
2023
- 2023-02-23 CN CN202310157818.3A patent/CN116434911B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6605038B1 (en) * | 2000-06-16 | 2003-08-12 | Bodymedia, Inc. | System for monitoring health, wellness and fitness |
| US20120083669A1 (en) * | 2010-10-04 | 2012-04-05 | Abujbara Nabil M | Personal Nutrition and Wellness Advisor |
| US20170277863A1 (en) * | 2016-03-24 | 2017-09-28 | Anand Subra | Real-time or just-in-time online assistance for individuals to help them in achieving personalized health goals |
| US20220215930A1 (en) * | 2019-05-12 | 2022-07-07 | Makesense Digital Health Technologies Ltd. | A system and a method for heal th and diet management and nutritional monitoring |
| CN110930404A (zh) * | 2019-12-31 | 2020-03-27 | 中国人民解放军第四军医大学 | 一种基于完整腔壁的空腔器官内病灶的检测方法 |
| EP3905120A1 (en) * | 2020-04-27 | 2021-11-03 | 20Face B.V. | Quality check method and system for determining a recognition quality of an input face image |
| CN111798465A (zh) * | 2020-07-02 | 2020-10-20 | 中国人民解放军空军军医大学 | 基于医学影像的异质肿瘤高危区域检测方法及系统 |
| WO2022007977A1 (zh) * | 2020-07-08 | 2022-01-13 | 徐浩仁 | 营养与慢性病管理的方法、装置、存储介质以及终端设备 |
| WO2022038963A1 (ja) * | 2020-08-17 | 2022-02-24 | Ｎｅｃソリューションイノベータ株式会社 | 食事提案支援装置、食事提案支援方法、食事提案支援端末、食事提案支援システム、プログラム、および記録媒体 |
| CN112017756A (zh) * | 2020-09-07 | 2020-12-01 | 神思电子技术股份有限公司 | 一种基于人脸识别自助打餐系统的饮食营养分析方法 |
| CN112614564A (zh) * | 2020-12-24 | 2021-04-06 | 武汉理工大学 | 一种基于多源异构数据融合的智能化营养膳食推荐方法 |
| US20220399098A1 (en) * | 2020-12-25 | 2022-12-15 | Boe Technology Group Co., Ltd. | Diet recommendation method, device, storage medium and electronic device |
| WO2022160148A1 (zh) * | 2021-01-28 | 2022-08-04 | 曹庆恒 | 一种饮食智能推荐的方法、系统 |
| US20220399099A1 (en) * | 2021-06-15 | 2022-12-15 | Seoul National University R&Db Foundation | System and method for providing personalized dietary suggestion platform |
| US20230029505A1 (en) * | 2021-08-02 | 2023-02-02 | Fujitsu Limited | Image synthesis for personalized facial expression classification |
| CN114203278A (zh) * | 2021-12-16 | 2022-03-18 | 珠海格力电器股份有限公司 | 一种健康饮食建议的生成方法及装置 |
| CN114360690A (zh) * | 2022-03-18 | 2022-04-15 | 天津九安医疗电子股份有限公司 | 一种慢病患者的饮食营养管理方法和系统 |
| CN114882973A (zh) * | 2022-06-07 | 2022-08-09 | 北京富通智康科技有限公司 | 一种基于标准食品识别的每日营养摄取分析方法及系统 |
| CN115131783A (zh) * | 2022-06-23 | 2022-09-30 | 贵州大学 | 基于机器视觉的用户饮食营养成分信息自主感知方法 |
Non-Patent Citations (3)
| Title |
|---|
| ZHENFENG LEI等: "Is the suggested food your desired?: Multi-modal recipe recommendation with demand-based knowledge graph", 《ELSEVIER》 * |
| 喻兵等: "基于多维度特征的饮食健康推荐", 《计算机应用与软件》, vol. 36, no. 7 * |
| 张国琴;庄黛娜;: "海岛大学生的日常饮食行为、营养状况及消化功能的调查分析", 中国校医, no. 04 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116434911B (zh) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lu et al. | An artificial intelligence-based system to assess nutrient intake for hospitalised patients | |
| Thames et al. | Nutrition5k: Towards automatic nutritional understanding of generic food | |
| CN107238427A (zh) | 智能营养秤系统及提供膳食建议的方法 | |
| Zhu et al. | An image analysis system for dietary assessment and evaluation | |
| Tahir et al. | A comprehensive survey of image-based food recognition and volume estimation methods for dietary assessment | |
| Pouladzadeh et al. | You are what you eat: So measure what you eat! | |
| Pouladzadeh et al. | Foodd: food detection dataset for calorie measurement using food images | |
| CN111599438B (zh) | 一种基于多模态数据的面向糖尿病患者的实时饮食健康监控方法 | |
| Liang et al. | Computer vision-based food calorie estimation: dataset, method, and experiment | |
| CN104778374A (zh) | 一种基于图像处理识别方法的自动膳食评估装置 | |
| CN116645721B (zh) | 基于深度学习的坐姿识别方法及系统 | |
| Wang et al. | Infrared and visible image fusion based on random projection and sparse representation | |
| CN111627555B (zh) | 一种基于深度学习的智能检查诊断系统 | |
| Stark et al. | Low-cost method for 3D body measurement based on photogrammetry using smartphone | |
| Vasiloglou et al. | Multimedia data-based mobile applications for dietary assessment | |
| CN104765980A (zh) | 一种基于云计算的智能膳食评估方法 | |
| CN110456050B (zh) | 便携式智能数字化寄生虫体外诊断仪 | |
| CN116504392A (zh) | 一种基于数据分析的智能辅助诊断提示系统 | |
| CN117078955B (zh) | 一种基于图像识别的健康管理方法 | |
| CN116434911B (zh) | 一种基于智能识别的个性化饮食监测方法及系统 | |
| CN116469505A (zh) | 数据处理方法、装置、计算机设备及可读存储介质 | |
| Vinod et al. | Image based food energy estimation with depth domain adaptation | |
| CN116580832A (zh) | 基于视频数据的老年痴呆症辅助诊断系统及其方法 | |
| CN107862727B (zh) | 健康信息推送方法和装置 | |
| Liu et al. | A new data visualization and digitization method for building electronic health record |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |