CN116884571A - 一种基于图像处理的膳食重量智能评估系统 - Google Patents
一种基于图像处理的膳食重量智能评估系统 Download PDFInfo
- Publication number
- CN116884571A CN116884571A CN202311148043.XA CN202311148043A CN116884571A CN 116884571 A CN116884571 A CN 116884571A CN 202311148043 A CN202311148043 A CN 202311148043A CN 116884571 A CN116884571 A CN 116884571A
- Authority
- CN
- China
- Prior art keywords
- meal
- plan
- user
- information
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000012054 meals Nutrition 0.000 title claims abstract description 118
- 238000012545 processing Methods 0.000 title claims abstract description 47
- 238000011156 evaluation Methods 0.000 title claims abstract description 38
- 235000005911 diet Nutrition 0.000 claims abstract description 61
- 230000037213 diet Effects 0.000 claims abstract description 61
- 235000013305 food Nutrition 0.000 claims abstract description 45
- 239000000463 material Substances 0.000 claims abstract description 43
- 235000016709 nutrition Nutrition 0.000 claims abstract description 34
- 230000033001 locomotion Effects 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 8
- 230000035764 nutrition Effects 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims abstract description 7
- 230000009467 reduction Effects 0.000 claims description 30
- 239000004615 ingredient Substances 0.000 claims description 26
- 235000019577 caloric intake Nutrition 0.000 claims description 10
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 238000012015 optical character recognition Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 6
- 235000015097 nutrients Nutrition 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000037406 food intake Effects 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 235000013311 vegetables Nutrition 0.000 description 6
- 208000008589 Obesity Diseases 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 235000020824 obesity Nutrition 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 208000017667 Chronic Disease Diseases 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 208000024172 Cardiovascular disease Diseases 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000002124 endocrine Effects 0.000 description 2
- 235000012041 food component Nutrition 0.000 description 2
- 239000008103 glucose Substances 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 229940088597 hormone Drugs 0.000 description 2
- 239000005556 hormone Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010022489 Insulin Resistance Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010033307 Overweight Diseases 0.000 description 1
- 241001122767 Theaceae Species 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 208000016097 disease of metabolism Diseases 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 208000030159 metabolic disease Diseases 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 238000005086 pumping Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 208000001072 type 2 diabetes mellitus Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/15—Cutting or merging image elements, e.g. region growing, watershed or clustering-based techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19173—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/413—Classification of content, e.g. text, photographs or tables
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Medical Informatics (AREA)
- Epidemiology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Physical Education & Sports Medicine (AREA)
- Artificial Intelligence (AREA)
- Nutrition Science (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明提供一种基于图像处理的膳食重量智能评估系统，涉及营养控制领域，包括：请求接收模块，用于接收用户端发起的饮食控制请求；信息获取模块，用于基于饮食控制请求，获取用户的相关信息；画像建立模块，用于基于用户的相关信息，建立用户画像；计划生成模块，用于基于用户画像及饮食控制请求，生成饮食计划及对应的运动计划；图像获取模块，用于在执行饮食计划及对应的运动计划的过程中，获取待评估膳食的图像；图像处理模块，用于进行图像处理，识别待评估膳食包括的食材及对应的重量；数据获取模块，用于获取用户的运动信息；膳食评估模块，用于综合信息进行膳食评估，具有为用户提供更加精准、科学的膳食建议的优点。
Description
技术领域
本发明涉及营养控制领域，特别涉及一种基于图像处理的膳食重量智能评估系统。
背景技术
肥胖是一种由多种因素引起的慢性代谢性疾病，包括但不限于食用廉价且热量密集的食物，身体活动减少，胰岛素抵抗，抑郁和社交焦虑。肥胖症或与肥胖症有关的慢性病影响全球超过20亿人。根据《2020年中国居民慢性病与营养报告》，超重或肥胖困扰着一半以上的中国成年人。尽管在多个方面都取得了进步，但肥胖仍然是一系列慢性疾病(例如心血管疾病(CVD)，糖尿病和癌症)的高危因素，并且会对机体健康产生不利影响。在肥胖人群中，与BMI相关的CVD导致41％的死亡和34％的残疾，这是不良事件的主要原因。
人们为了健康往往容易走上节食、抽脂、减肥茶等不科学减肥的道路，损害身体。
因此，需要提供一种基于图像处理的膳食重量智能评估系统，用于为用户提供更加精准、科学的膳食建议。
发明内容
本发明提供一种基于图像处理的膳食重量智能评估系统，包括：请求接收模块，用于接收用户端发起的饮食控制请求；信息获取模块，用于基于所述饮食控制请求，获取用户的相关信息；画像建立模块，用于基于所述用户的相关信息，建立用户画像；计划生成模块，用于基于所述用户画像及所述饮食控制请求，生成饮食计划及对应的运动计划；图像获取模块，用于在执行所述饮食计划及对应的运动计划的过程中，获取待评估膳食的图像；图像处理模块，用于对所述待评估膳食的图像进行图像处理，识别所述待评估膳食包括的食材及对应的重量；数据获取模块，用于在执行所述饮食计划及对应的运动计划的过程中，获取所述用户的运动信息；膳食评估模块，用于基于识别的所述待评估膳食包括的食材及对应的重量、所述饮食计划、所述运动信息及所述运动计划，进行膳食评估。
更进一步地，所述信息获取模块获取用户的相关信息，包括：获取所述用户的体检报告；对所述用户的体检报告进行OCR识别，获取减脂相关指标信息；和/或，基于身体检测设备，对所述用户进行身体检测，获取身体相关信息，其中，所述用户的相关信息至少包括所述减脂相关指标信息和/或所述身体相关信息。
更进一步地，所述画像建立模块建立用户画像，包括：基于所述减脂相关指标信息，生成至少一个第一画像标签；和/或，基于所述身体相关信息，生成至少一个第二画像标签，其中，所述用户画像包括所述至少一个第一画像标签和/或所述至少一个第二画像标签。
更进一步地，所述计划生成模块基于所述用户画像及所述饮食控制请求，生成饮食计划及对应的运动计划，包括：基于所述用户画像，确定目标计划样本，其中，所述目标计划样本包括减脂时间段的多个减脂日的样本饮食计划及对应的样本运动计划；基于所述饮食控制请求包括的减脂要求、食物知识图谱、所述用户画像包括的所述至少一个第一画像标签和/或所述至少一个第二画像标签，对所述目标计划样本进行调整，生成减脂时间段的多个减脂日的饮食计划及对应的运动计划。
更进一步地，所述图像获取模块获取待评估膳食的图像，包括：获取多张分别在多个拍摄角度下拍摄的待评估膳食的图像。
更进一步地，所述图像处理模块对所述待评估膳食的图像进行图像处理，识别所述待评估膳食包括的食材及对应的重量，包括：提取所述多张分别在多个拍摄角度下拍摄的待评估膳食的图像的多个区域的颜色特征；基于提取的多个区域的颜色特征对所述待评估膳食的图像进行图像分割，确定至少一个菜品区域；对于每个所述菜品区域，基于所述菜品区域对应的多张分别在多个拍摄角度下拍摄的菜品区域的图像，生成所述菜品区域对应的菜品三维模型；基于所述菜品区域对应的菜品三维模型的形态特征及颜色特征，确定所述菜品区域对应的食材。
更进一步地，所述图像处理模块对所述待评估膳食的图像进行图像处理，识别所述待评估膳食包括的食材及对应的重量，包括：基于所述菜品区域对应的菜品三维模型，确定所述菜品区域的体积信息；基于所述菜品区域的体积信息及对应的食材，确定所述菜品区域的包括的食材的重量。
更进一步地，所述数据获取模块获取所述用户的运动信息，包括：与至少一个运动设备建立无线通信连接；从建立无线通信连接的至少一个运动设备，获取所述用户的运动信息。
更进一步地，所述膳食评估模块基于识别的所述待评估膳食包括的食材及对应的重量、所述饮食计划、所述运动信息及所述运动计划，进行膳食评估，包括：基于所述待评估膳食包括的食材及对应的重量，计算本次摄入热量；获取当日历史进食信息，计算当日已摄入热量；基于所述饮食计划及所述运动计划，计算当日预设摄入热量；基于所述本次摄入热量、所述当日已摄入热量及所述当日预设摄入热量，生成摄入热量提示。
更进一步地，所述膳食评估模块基于识别的所述待评估膳食包括的食材及对应的重量、所述饮食计划、所述运动信息及所述运动计划，进行膳食评估，包括：基于所述待评估膳食包括的食材及对应的重量，计算本次摄入的营养成分及对应的分量；获取当日历史进食信息，计算当日已摄入的营养成分及对应的分量；基于所述饮食计划及所述运动计划，计算当日预设摄入的营养成分及对应的分量；基于所述本次摄入的营养成分及对应的分量、所述当日已摄入的营养成分及对应的分量和所述当日预设摄入的营养成分及对应的分量，生成摄入营养提示。
相比于现有技术，本说明书提供的一种基于图像处理的膳食重量智能评估系统，至少具备以下有益效果：
1、基于用户画像及饮食控制请求，自动化生成匹配的个性化的饮食计划及对应的运动计划，使得后续的膳食评估存在科学的依据，进一步的，在执行饮食计划及对应的运动计划的过程中，获取待评估膳食的图像，对待评估膳食的图像进行图像处理，识别待评估膳食包括的食材及对应的重量，对用户摄入的食物进行监管，进而结合识别的待评估膳食包括的食材及对应的重量、饮食计划、运动信息及运动计划，进行膳食评估，实现了为用户提供更加精准、科学的自动化的膳食管理的服务；
2、基于用户画像，可以较为准确地确定目标计划样本，进而基于饮食控制请求包括的减脂要求、食物知识图谱、用户画像包括的至少一个第一画像标签和/或至少一个第二画像标签，对目标计划样本进行调整，较为快速地生成与用户匹配的个性化的在减脂时间段的多个减脂日的饮食计划及对应的运动计划。
附图说明
本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1是根据本说明书一些实施例所示的基于图像处理的膳食重量智能评估系统的模块示意图；
图2是根据本说明书一些实施例所示的生成饮食计划及对应的运动计划的流程示意图；
图3是根据本说明书一些实施例所示的识别待评估膳食包括的食材及对应的重量的流程示意图；
图4是根据本说明书一些实施例所示的进行膳食评估的流程示意图；
图5是根据本说明书另一些实施例所示的进行膳食评估的流程示意图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
图1是根据本说明书一些实施例所示的基于图像处理的膳食重量智能评估系统的模块示意图，如图1所示，基于图像处理的膳食重量智能评估系统可以包括请求接收模块、信息获取模块、画像建立模块、计划生成模块、图像获取模块、图像处理模块、数据获取模块及膳食评估模块。
请求接收模块可以用于接收用户端发起的饮食控制请求。
用户端可以为便于用户携带的终端设备，例如，手机、智能手表等。
在一些实施例中，饮食控制请求可以包括用户个人信息（例如，用户ID、用户昵称等）、用户期望达成的体重、用户期望的减脂时间段长度、用户期望达成的体脂率等信息。
信息获取模块可以用于基于饮食控制请求，获取用户的相关信息。
在一些实施例中，信息获取模块获取用户的相关信息，包括：
获取用户的体检报告；
对用户的体检报告进行OCR识别，获取减脂相关指标信息（例如，体重、血脂、空腹血糖、内分泌激素等）；和/或，
基于身体检测设备，对用户进行身体检测，获取身体相关信息（例如，体重指数、腰围等），其中，用户的相关信息至少包括减脂相关指标信息和/或身体相关信息。
仅作为示例，对用户的体检报告进行OCR识别可以包括以下流程：
预处理：对包含文字的用户的体检报告图像进行处理以便后续进行特征提取、学习，减少图像中的无用信息，具体包括：灰度化、降噪、二值化、字符切分以及归一化这些子步骤。经过二值化后，图像只剩下两种颜色，即黑和白，其中一个是图像背景，另一个颜色就是要识别的文字了。降噪在这个阶段非常重要，降噪算法的好坏对特征提取的影响很大。字符切分则是将图像中的文字分割成单个文字——识别的时候是一个字一个字识别的。如果文字行有倾斜的话往往还要进行倾斜校正。归一化则是将单个的文字图像规整到同样的尺寸，在同一个规格下，才能应用统一的算法。
特征提取和降维：特征是用来识别文字的关键信息，每个不同的文字都能通过特征来和其他文字进行区分。对于数字和英文字母来说，这个特征提取是比较容易的，因为数字只有10个，英文字母只有52个，都是小字符集。对于汉字来说，特征提取比较困难，因为首先汉字是大字符集，国标中光是最常用的第一级汉字就有3755个；第二个汉字结构复杂，形近字多。在确定了使用何种特征后，可能要进行特征降维，如果特征的维数太高，分类器的效率会受到很大的影响，为了提高识别速率，需要进行降维。
分类器设计、训练和实际识别：分类器是用来对特征进行识别的，确定特征该识别成哪个文字。
后处理：后处理是用来对分类结果进行优化的，可以理解的，分类器的分类有时候不一定是完全正确的，比如对汉字的识别，由于汉字中形近字的存在，很容易将一个字识别成其形近字。后处理中可以去解决这个问题，比如通过语言模型来进行校正。如果分类器将“在哪里”识别成“存哪里”，通过语言模型会发现“存哪里”是错误的，然后进行校正。并且，用户的体检报告图像往往是有大量文字的，而且这些文字存在排版、字体大小等复杂情况，后处理中可以尝试去对识别结果进行格式化，例如，按照图像中的排版排列，一张图像其左半部分的文字和右半部分的文字毫无关系，而在字符切分过程中，往往是按行切分的，那么识别结果中左半部分的第一行后面会跟着右半部分的第一行诸如此类，后处理可以对此类问题进行处理。
画像建立模块可以用于基于用户的相关信息，建立用户画像。
在一些实施例中，画像建立模块建立用户画像，包括：
基于减脂相关指标信息，生成至少一个第一画像标签（例如，体重标签、血脂标签、空腹血糖标签、内分泌激素标签等）；和/或，
基于身体相关信息，生成至少一个第二画像标签，其中，用户画像包括至少一个第一画像标签和/或至少一个第二画像标签（例如，体重指数标签、腰围等）。
计划生成模块可以用于基于用户画像及饮食控制请求，生成饮食计划及对应的运动计划。
图2是根据本说明书一些实施例所示的生成饮食计划及对应的运动计划的流程示意图，如图2所示，在一些实施例中，计划生成模块基于用户画像及饮食控制请求，生成饮食计划及对应的运动计划，包括：
基于用户画像，确定目标计划样本，其中，目标计划样本包括减脂时间段的多个减脂日的样本饮食计划及对应的样本运动计划；
基于饮食控制请求包括的减脂要求、食物知识图谱、用户画像包括的至少一个第一画像标签和/或至少一个第二画像标签，对目标计划样本进行调整，生成减脂时间段的多个减脂日的饮食计划及对应的运动计划。
计划样本可以为样本用户使用的成效较好的在减脂时间段的多个减脂日的样本饮食计划及对应的样本运动计划。对于每个样本用户，可以获取该样本用户的相关信息，建立该样本用户对应的样本用户画像，其中，该样本用户对应的样本用户画像可以包括至少一个第一画像标签和/或至少一个第二画像标签。
在一些实施例中，计划生成模块可以计算用户画像与每个计划样本对应的样本用户画像之间的相似度，确定目标计划样本。具体的，计划生成模块可以计算用户画像包括的至少一个第一画像标签和/或至少一个第二画像标签与每个计划样本对应的样本用户画像包括的至少一个第一画像标签和/或至少一个第二画像标签之间的相似度，进而确定目标计划样本。
例如，可以基于以下公式计算用户画像与计划样本对应的样本用户画像之间的相似度：
其中，为用户画像与计划样本对应的样本用户画像之间的相似度，/>为第n个画像标签对应的权重，N为画像包括的画像标签的总数（即第一画像标签和第二画像标签的总数），m、L均为预设参数，/>为归一化后的用户画像在第n个画像标签的值，为归一化后的样本用户画像在第n个画像标签的值。
可以理解的，计划生成模块可以将相似度最大的样本用户作为目标样本用户，将该目标样本用户对应的计划样本作为目标计划样本。
图像获取模块可以用于在执行饮食计划及对应的运动计划的过程中，获取待评估膳食的图像。
在一些实施例中，图像获取模块可以获取多张分别在多个拍摄角度下拍摄的待评估膳食的图像。
图像处理模块可以用于对待评估膳食的图像进行图像处理，识别待评估膳食包括的食材及对应的重量。
图3是根据本说明书一些实施例所示的识别待评估膳食包括的食材及对应的重量的流程示意图，如图3所示，在一些实施例中，图像处理模块对待评估膳食的图像进行图像处理，识别待评估膳食包括的食材及对应的重量，包括：
提取多张分别在多个拍摄角度下拍摄的待评估膳食的图像的多个区域的颜色特征；
基于提取的多个区域的颜色特征对待评估膳食的图像进行图像分割，确定至少一个菜品区域；
对于每个菜品区域，基于菜品区域对应的多张分别在多个拍摄角度下拍摄的菜品区域的图像，生成菜品区域对应的菜品三维模型；
基于菜品区域对应的菜品三维模型的形态特征及颜色特征，确定菜品区域对应的食材。
具体的，对于每张待评估膳食的图像，图像处理模块可以先将待评估膳食的图像切分为多个子区域，对于每个子区域，可以基于该子区域的像素的RGB值，确定该子区域的像素RGB值变化率。例如，可以基于以下公式确定子区域的像素RGB值变化率：
其中，为子区域的像素RGB值变化率，/>为子区域的第i个像素对应的权重，/>为子区域的第i个像素的RGB值，/>为子区域的像素的RGB值的均值，I为子区域包括的像素的总数。
可以将RGB值变化率大于预设RGB值变化率阈值的子区域作为待分割子区域，并通过图像分割模型确定该子区域的分割线，其中，图像分割模型可以为人工神经网络(Artificial Neural Network，ANN)模型、循环神经网络(Recurrent Neural Networks，RNN)模型、长短时记忆网络(Long Short-Term Memory，LSTM)模型、双向循环神经网络(BRNN)模型等机器学习模型。
然后，将该待评估膳食的图像包括的所有的待分割子区域的分割线进行融合，对待评估膳食的图像进行图像分割，确定至少一个菜品区域。
在一些实施例中，图像处理模块可以基于菜品区域对应的多张分别在多个拍摄角度下拍摄的菜品区域的图像，生成菜品区域对应的初始点云，并使用点云补全模型对初始点云进行补全，基于补全后的初始点云，生成菜品区域对应的菜品三维模型。其中，点云补全模型可以为人工神经网络(Artificial Neural Network，ANN)模型、循环神经网络(Recurrent Neural Networks，RNN)模型、长短时记忆网络(Long Short-Term Memory，LSTM)模型、双向循环神经网络(BRNN)模型等机器学习模型。
在一些实施例中，图像处理模块可以基于菜品区域对应的菜品三维模型的形态特征及颜色特征与预存的样本菜品对应的菜品三维模型的形态特征及颜色特征之间的相似度，确定菜品相似度，确定菜品区域对应的食材。
例如，图像处理模块可以基于以下公式计算菜品相似度：
其中，为菜品相似度，/>为菜品区域对应的菜品三维模型的颜色特征与预存的样本菜品对应的菜品三维模型的颜色特征之间的相似度，/>为菜品区域对应的菜品三维模型的形态特征与预存的样本菜品对应的菜品三维模型的形态特征之间的相似度，/>、/>为预设权重。
可以理解的，可以将菜品相似度最大的样本菜品作为菜品区域对应的菜品，将该样本菜品包括的食材作为菜品区域对应的食材。
在一些实施例中，图像处理模块对待评估膳食的图像进行图像处理，识别待评估膳食包括的食材及对应的重量，包括：
基于菜品区域对应的菜品三维模型，确定菜品区域的体积信息；
基于菜品区域的体积信息及对应的食材，确定菜品区域的包括的食材的重量。
具体的，对于每种菜品，图像处理模块可以预先建立该菜品对应的线性模型，该线性模型可以表征该菜品的重量与体积之间的线性关系。确定菜品区域对应的食材后，可以基于调用对应的线性模型，基于菜品区域的体积信息，确定菜品区域的包括的食材的重量。
数据获取模块可以用于在执行饮食计划及对应的运动计划的过程中，获取用户的运动信息。
在一些实施例中，数据获取模块获取用户的运动信息，包括：
与至少一个运动设备建立无线通信连接；
从建立无线通信连接的至少一个运动设备，获取用户的运动信息。
膳食评估模块可以用于基于识别的待评估膳食包括的食材及对应的重量、饮食计划、运动信息及运动计划，进行膳食评估。
图4是根据本说明书一些实施例所示的进行膳食评估的流程示意图，如图4所示，在一些实施例中，膳食评估模块基于识别的待评估膳食包括的食材及对应的重量、饮食计划、运动信息及运动计划，进行膳食评估，包括：
基于待评估膳食包括的食材及对应的重量，计算本次摄入热量；
获取当日历史进食信息，计算当日已摄入热量；
基于饮食计划及运动计划，计算当日预设摄入热量；
基于本次摄入热量、当日已摄入热量及当日预设摄入热量，生成摄入热量提示。
例如，膳食评估模块可以先计算本次摄入热量和当日已摄入热量的热量之和，再计算该热量之和与当日预设摄入热量的热量差值，若该热量差值大于预设热量差值阈值，则判断用户摄入过量，生成摄入热量提示，其中，该摄入热量提示可以包括及建议放弃食用的菜品的分量。建议放弃食用的菜品可以基于本次摄入的营养成分及对应的分量、当日已摄入的营养成分及对应的分量和当日预设摄入的营养成分及对应的分量确定。仅作为示例的，若今日某种营养成分的摄入已经满足当日预设摄入的营养成分对应的分量，则可以将包括该营养成分的菜品作为建议放弃食用的菜品，并根据热量差值确定对应的分量。
图5是根据本说明书另一些实施例所示的进行膳食评估的流程示意图，如图5所示，在一些实施例中，膳食评估模块基于识别的待评估膳食包括的食材及对应的重量、饮食计划、运动信息及运动计划，进行膳食评估，包括：
基于待评估膳食包括的食材及对应的重量，计算本次摄入的营养成分及对应的分量；
获取当日历史进食信息，计算当日已摄入的营养成分及对应的分量；
基于饮食计划及运动计划，计算当日预设摄入的营养成分及对应的分量；
基于本次摄入的营养成分及对应的分量、当日已摄入的营养成分及对应的分量和当日预设摄入的营养成分及对应的分量，生成摄入营养提示。
例如，对于每种需要摄入的营养成分，膳食评估模块可以基于本次摄入的营养成分及对应的分量和当日已摄入的营养成分及对应的分量之和作为该营养成分对应的摄入分量，当该分量与当日预设摄入的营养成分对应的分量之间的差值大于预设差值最大阈值时，生成摄入营养提示，用于提示用户该营养成分摄入过量及建议用户可以放弃哪些菜品的食用。当该分量与当日预设摄入的营养成分对应的分量之间的差值小于预设差值最小阈值时，生成摄入营养提示，用于提示用户该营养成分摄入过少及推荐食用的菜品。
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。
Claims (10)
1.一种基于图像处理的膳食重量智能评估系统，其特征在于，包括：
请求接收模块，用于接收用户端发起的饮食控制请求；
信息获取模块，用于基于所述饮食控制请求，获取用户的相关信息；
画像建立模块，用于基于所述用户的相关信息，建立用户画像；
计划生成模块，用于基于所述用户画像及所述饮食控制请求，生成饮食计划及对应的运动计划；
图像获取模块，用于在执行所述饮食计划及对应的运动计划的过程中，获取待评估膳食的图像；
图像处理模块，用于对所述待评估膳食的图像进行图像处理，识别所述待评估膳食包括的食材及对应的重量；
数据获取模块，用于在执行所述饮食计划及对应的运动计划的过程中，获取所述用户的运动信息；
膳食评估模块，用于基于识别的所述待评估膳食包括的食材及对应的重量、所述饮食计划、所述运动信息及所述运动计划，进行膳食评估。
2.根据权利要求1所述的一种基于图像处理的膳食重量智能评估系统，其特征在于，所述信息获取模块获取用户的相关信息，包括：
获取所述用户的体检报告；
对所述用户的体检报告进行OCR识别，获取减脂相关指标信息；和/或，
基于身体检测设备，对所述用户进行身体检测，获取身体相关信息，其中，所述用户的相关信息至少包括所述减脂相关指标信息和/或所述身体相关信息。
3.根据权利要求2所述的一种基于图像处理的膳食重量智能评估系统，其特征在于，所述画像建立模块建立用户画像，包括：
基于所述减脂相关指标信息，生成至少一个第一画像标签；和/或，
基于所述身体相关信息，生成至少一个第二画像标签，其中，所述用户画像包括所述至少一个第一画像标签和/或所述至少一个第二画像标签。
4.根据权利要求3所述的一种基于图像处理的膳食重量智能评估系统，其特征在于，所述计划生成模块基于所述用户画像及所述饮食控制请求，生成饮食计划及对应的运动计划，包括：
基于所述用户画像，确定目标计划样本，其中，所述目标计划样本包括减脂时间段的多个减脂日的样本饮食计划及对应的样本运动计划；
基于所述饮食控制请求包括的减脂要求、食物知识图谱、所述用户画像包括的所述至少一个第一画像标签和/或所述至少一个第二画像标签，对所述目标计划样本进行调整，生成减脂时间段的多个减脂日的饮食计划及对应的运动计划。
5.根据权利要求4所述的一种基于图像处理的膳食重量智能评估系统，其特征在于，所述图像获取模块获取待评估膳食的图像，包括：
获取多张分别在多个拍摄角度下拍摄的待评估膳食的图像。
6.根据权利要求1-5中任意一项所述的一种基于图像处理的膳食重量智能评估系统，其特征在于，所述图像处理模块对所述待评估膳食的图像进行图像处理，识别所述待评估膳食包括的食材及对应的重量，包括：
提取多张分别在多个拍摄角度下拍摄的待评估膳食的图像的多个区域的颜色特征；
基于提取的多个区域的颜色特征对所述待评估膳食的图像进行图像分割，确定至少一个菜品区域；
对于每个所述菜品区域，基于所述菜品区域对应的多张分别在多个拍摄角度下拍摄的菜品区域的图像，生成所述菜品区域对应的菜品三维模型；
基于所述菜品区域对应的菜品三维模型的形态特征及颜色特征，确定所述菜品区域对应的食材。
7.根据权利要求6所述的一种基于图像处理的膳食重量智能评估系统，其特征在于，所述图像处理模块对所述待评估膳食的图像进行图像处理，识别所述待评估膳食包括的食材及对应的重量，还包括：
基于所述菜品区域对应的菜品三维模型，确定所述菜品区域的体积信息；
基于所述菜品区域的体积信息及对应的食材，确定所述菜品区域的包括的食材的重量。
8.根据权利要求1-5中任意一项所述的一种基于图像处理的膳食重量智能评估系统，其特征在于，所述数据获取模块获取所述用户的运动信息，包括：
与至少一个运动设备建立无线通信连接；
从建立无线通信连接的至少一个运动设备，获取所述用户的运动信息。
9.根据权利要求1-5中任意一项所述的一种基于图像处理的膳食重量智能评估系统，其特征在于，所述膳食评估模块基于识别的所述待评估膳食包括的食材及对应的重量、所述饮食计划、所述运动信息及所述运动计划，进行膳食评估，包括：
基于所述待评估膳食包括的食材及对应的重量，计算本次摄入热量；
获取当日历史进食信息，计算当日已摄入热量；
基于所述饮食计划及所述运动计划，计算当日预设摄入热量；
基于所述本次摄入热量、所述当日已摄入热量及所述当日预设摄入热量，生成摄入热量提示。
10.根据权利要求9所述的一种基于图像处理的膳食重量智能评估系统，其特征在于，所述膳食评估模块基于识别的所述待评估膳食包括的食材及对应的重量、所述饮食计划、所述运动信息及所述运动计划，进行膳食评估，还包括：
基于所述待评估膳食包括的食材及对应的重量，计算本次摄入的营养成分及对应的分量；
获取当日历史进食信息，计算当日已摄入的营养成分及对应的分量；
基于所述饮食计划及所述运动计划，计算当日预设摄入的营养成分及对应的分量；
基于所述本次摄入的营养成分及对应的分量、所述当日已摄入的营养成分及对应的分量和所述当日预设摄入的营养成分及对应的分量，生成摄入营养提示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311148043.XA CN116884571B (zh) | 2023-09-07 | 2023-09-07 | 一种基于图像处理的膳食重量智能评估系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311148043.XA CN116884571B (zh) | 2023-09-07 | 2023-09-07 | 一种基于图像处理的膳食重量智能评估系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116884571A true CN116884571A (zh) | 2023-10-13 |
| CN116884571B CN116884571B (zh) | 2023-12-12 |
Family
ID=88262564
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311148043.XA Active CN116884571B (zh) | 2023-09-07 | 2023-09-07 | 一种基于图像处理的膳食重量智能评估系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116884571B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117393109A (zh) * | 2023-12-11 | 2024-01-12 | 亿慧云智能科技（深圳）股份有限公司 | 场景自适应的饮食监控方法、装置、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010049332A (ja) * | 2008-08-19 | 2010-03-04 | Kenichi Inoue | 不足栄養情報提供方法及びプログラム |
| CN105224802A (zh) * | 2015-10-08 | 2016-01-06 | 广东欧珀移动通信有限公司 | 一种提醒方法及移动终端 |
| CN109102861A (zh) * | 2018-11-01 | 2018-12-28 | 京东方科技集团股份有限公司 | 一种基于智能终端的饮食监控方法及装置 |
| CN112002388A (zh) * | 2020-07-09 | 2020-11-27 | 无锡睿健时代科技有限公司 | 饮食推荐方法及装置 |
| CN112053428A (zh) * | 2020-08-07 | 2020-12-08 | 联保（北京）科技有限公司 | 一种识别食物所含营养信息的方法及装置 |
| CN113488137A (zh) * | 2021-07-30 | 2021-10-08 | 海信集团控股股份有限公司 | 健康管理计划的推荐方法、装置及系统 |
| CN113591576A (zh) * | 2021-06-29 | 2021-11-02 | 青岛海尔科技有限公司 | 食材信息的检测方法和装置、存储介质及电子装置 |
-
2023
- 2023-09-07 CN CN202311148043.XA patent/CN116884571B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010049332A (ja) * | 2008-08-19 | 2010-03-04 | Kenichi Inoue | 不足栄養情報提供方法及びプログラム |
| CN105224802A (zh) * | 2015-10-08 | 2016-01-06 | 广东欧珀移动通信有限公司 | 一种提醒方法及移动终端 |
| CN109102861A (zh) * | 2018-11-01 | 2018-12-28 | 京东方科技集团股份有限公司 | 一种基于智能终端的饮食监控方法及装置 |
| CN112002388A (zh) * | 2020-07-09 | 2020-11-27 | 无锡睿健时代科技有限公司 | 饮食推荐方法及装置 |
| CN112053428A (zh) * | 2020-08-07 | 2020-12-08 | 联保（北京）科技有限公司 | 一种识别食物所含营养信息的方法及装置 |
| CN113591576A (zh) * | 2021-06-29 | 2021-11-02 | 青岛海尔科技有限公司 | 食材信息的检测方法和装置、存储介质及电子装置 |
| CN113488137A (zh) * | 2021-07-30 | 2021-10-08 | 海信集团控股股份有限公司 | 健康管理计划的推荐方法、装置及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117393109A (zh) * | 2023-12-11 | 2024-01-12 | 亿慧云智能科技（深圳）股份有限公司 | 场景自适应的饮食监控方法、装置、设备及存储介质 |
| CN117393109B (zh) * | 2023-12-11 | 2024-03-22 | 亿慧云智能科技（深圳）股份有限公司 | 场景自适应的饮食监控方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116884571B (zh) | 2023-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP4035168B1 (en) | Predictive personalized three-dimensional body models | |
| Mezgec et al. | Mixed deep learning and natural language processing method for fake-food image recognition and standardization to help automated dietary assessment | |
| CN116884571B (zh) | 一种基于图像处理的膳食重量智能评估系统 | |
| CN107256246B (zh) | 基于卷积神经网络的印花织物图像检索方法 | |
| Zhang et al. | Probabilistic graphlet transfer for photo cropping | |
| JP2022521844A (ja) | 深層学習ネットワークを使用してユーザ写真から体重を測定するシステム及び方法 | |
| US10671893B2 (en) | System and method for recipe to image associations | |
| KR101562364B1 (ko) | 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템 | |
| CN109271884A (zh) | 人脸属性识别方法、装置、终端设备和存储介质 | |
| CN103824053A (zh) | 一种人脸图像的性别标注方法及人脸性别检测方法 | |
| Metwalli et al. | Food image recognition based on densely connected convolutional neural networks | |
| CN108171243B (zh) | 一种基于深度神经网络的医疗图像信息识别方法及系统 | |
| CN108320786A (zh) | 一种基于深度神经网络的中餐菜品推荐方法 | |
| CN104361357B (zh) | 基于图片内容分析的相片集分类系统及分类方法 | |
| CN104951770B (zh) | 人脸图像数据库的构建方法、应用方法及相应装置 | |
| US11861860B2 (en) | Body dimensions from two-dimensional body images | |
| CN112232448B (zh) | 图像分类方法、装置、电子设备和存储介质 | |
| WO2023004546A1 (zh) | 中医体质识别方法、装置、电子设备、存储介质及程序 | |
| KR20210099876A (ko) | 딥러닝 알고리즘 기반의 식품 영상 인식을 통한 개인 맞춤형 영양 및 질병 관리 시스템 및 방법 | |
| CN109034012A (zh) | 基于动态图像和视频子序列的第一人称视角手势识别方法 | |
| CN109711309A (zh) | 一种自动识别人像图片是否闭眼的方法 | |
| CN110648170A (zh) | 一种物品推荐的方法及相关装置 | |
| CN112233102A (zh) | 图像样本集中噪声的识别方法、装置、设备及存储介质 | |
| Tan et al. | Quantized deep residual convolutional neural network for image-based dietary assessment | |
| CN108595596A (zh) | 一种图像相似度检索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |