CN110689946A - 一种基于图像识别技术确定用户饮食结构的健康饮食干预系统及干预方法 - Google Patents

一种基于图像识别技术确定用户饮食结构的健康饮食干预系统及干预方法 Download PDF

Info

Publication number
CN110689946A
CN110689946A CN201910968024.9A CN201910968024A CN110689946A CN 110689946 A CN110689946 A CN 110689946A CN 201910968024 A CN201910968024 A CN 201910968024A CN 110689946 A CN110689946 A CN 110689946A
Authority
CN
China
Prior art keywords
food
user
dietary
diet
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910968024.9A
Other languages
English (en)
Other versions
CN110689946B (zh
Inventor
殷伟东
丁腊春
苏逸飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING HEALTH INFORMATION CENTER
Original Assignee
NANJING HEALTH INFORMATION CENTER
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING HEALTH INFORMATION CENTER filed Critical NANJING HEALTH INFORMATION CENTER
Priority to CN201910968024.9A priority Critical patent/CN110689946B/zh
Publication of CN110689946A publication Critical patent/CN110689946A/zh
Application granted granted Critical
Publication of CN110689946B publication Critical patent/CN110689946B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Nutrition Science (AREA)
  • Multimedia (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明涉及一种基于图像识别技术确定用户饮食结构的健康饮食干预系统及干预方法，通过图像识别技术，对用户在预设周期内的饮食主材种类进行识别、计量预估、分类及排序，并同步用户的个人健康档案，从而规划出针对该用户的推荐的健康饮食清单，既避免了采用用户回忆方式容易因疏忽或者遗漏相关的食物从而导致饮食干预不准确的缺陷；又避免了采用用户定时记录每餐饮食的方式而需要用户随身携带纸、笔、及计量装置，从而会为用户饮食带来麻烦的缺陷，通过简单的手机即能进行用户饮食的图像识别，操作简单可靠。

Description

一种基于图像识别技术确定用户饮食结构的健康饮食干预系 统及干预方法
技术领域
本发明涉及饮食干预方法的技术领域，具体涉及一种基于图像识别技术确定用户饮食结构的健康饮食干预系统及干预方法。
背景技术
随着现代生活节奏的不断加快，人们生活水平的不断提高，现代人们的饮食结构已经逐步发生了变化，多油、盐、糖、味精的荤食愈来愈受到都市人群、尤其是年轻人群的欢迎，且随着人们生活压力不断的增大，人们的饮食习惯也发生了变化，早餐的逐步减少，以及夜宵的不断增多，都对人们的身体健康构成了严重威胁。
现有技术中，随着人们自身健康意识的不断提高，越来越多的人群开始对自身健康状况及时关注并及时调整，例如搭配健身、轻食、合理安排作息时间等，但是人们所做出的调整往往是按照大众情况进行的调整，并不能针对自身情况进行有效的饮食干预。
此外，在现有技术中，对饮食进行干预的手段相对单一，往往都是通过用户回忆或者按时记录每餐饮食，再转述给相应的医生从而针对近期饮食做出及时干预，然而，采用用户回忆时往往会导致疏忽或者遗漏相关的食物从而导致饮食干预不准确；而采用用户按时记录每餐饮食的方式又需要用户随时准备纸、笔、及计量装置，从而会为用户饮食带来麻烦。
发明内容
基于现有技术中存在的缺陷与不足，本发明提供一种基于图像识别技术确定用户饮食结构的健康饮食干预系统及干预方法。
本发明为解决相应的技术问题所采取的技术方案为：
一种基于图像识别技术确定用户饮食结构的健康饮食干预系统，其特征在于：所述系统包括彼此相互连接的用户身份识别模块、饮食图像接收模块、饮食图像识别模块、可靠度分析模块、食品种类分类模块、主材用量排序模块、个人档案读取模块、用量超限判断模块、以及饮食清单生成模块；其中，
所述用户身份识别模块用于对用户的身份进行识别，且与用户个人健康档案连接，并根据用户个人健康档案中的用户信息对用户所属的人群进行分类；
所述饮食图像接收模块用于接收用户在预设周期内的规定时间点提交的饮食图像；
所述饮食图像识别模块包括食物和背景识别单元、主材和辅材识别单元、用量预估单元、主材种类一次确定单元、主材种类二次确定单元；其中，食物和背景识别单元用于确定图像中的食物部分和背景部分，主材和辅材识别单元用于识别食物部分中的饮食主材和饮食辅材，用量预估单元预估饮食主材和饮食辅材的用量，主材种类一次确定单元根据饮食主材的形状一次确定食物部分中主材的种类，主材种类二次确定单元根据饮食主材的颜色二次确定食物部分中主材的种类；
所述可靠度分析模块确定本次图像识别的可靠度级别；并依据可靠度级别对饮食图像识别模块中的主材种类一次确定单元和主材种类二次确定单元中的预设食品库进行修正；
所述食品种类分类模块在所述预设周期内对用户摄入的食品种类进行分类；
所述主材用量排序模块根据所述食品种类分类模块中的分类结果对所属类别中的食品根据饮食主材的用量高低从上至下进行排序；
所述个人档案读取模块按照预设的读取顺序依次读取患者个人健康档案中记载的家族病史、既往病史、及个人缺陷；
所述用量超限判断模块按照预设的读取顺序依序逐一判断用户摄入的饮食主材的预估用量与饮食人群指导推荐库对比以判断是否超出预设值，当超出预设值时及时通知用户本人、社区医疗中心、以及用户所属地区医院；
所述饮食清单生成模块形成用户的健康饮食清单，并根据可靠度分析模块确定本次图像识别的可靠度级别对用户的健康饮食清单进行修正。
进一步地，本发明还提供一种基于图像识别技术确定用户饮食结构的健康饮食干预方法，其特征在于：包括以下步骤：
（1）对用户进行身份识别，并进行人群分类；
（2）根据识别出的用户身份提取并激活该用户的个人健康档案；
（3）用户在预设周期内的规定时间点提交饮食图像；
（4）对用户所提交的饮食图像进行识别，以确定图像中的食物部分和背景部分；
（5）选取步骤（4）中确定的食物部分，根据预设的食物识别的优先级别，
（5.1）识别出食物部分中的饮食主材和饮食辅材，同时根据饮食主材和饮食辅材的图像比例、以及步骤（4）中确定的食物部分与背景部分的图像比例预估饮食主材和饮食辅材的用量；
（5.2）通过与预设食品库的比对，根据饮食主材的形状一次确定食物部分中主材的种类；
（5.3）通过与预设食品库的比对，根据饮食主材的颜色二次确定食物部分中主材的种类；
（6）可靠度分析
（6.1）标准比对：将确定种类的食物主材与该种食物的标准图片进行特征比对分析；
（6.2）匹配分析：将确定种类的食物主材与步骤（5）中识别出的饮食辅材进行匹配分析；
（6.3）用量评价：将步骤（5.1）中预估的饮食主材和饮食辅材的用量进行匹配评价；
（7）根据步骤（6）中计算出的可靠度数值与预设可靠度比较，确定本次图像识别的可靠度级别；并根据确定的可靠度级别对所述步骤（5.2）和所述步骤（5.3）中的预设食品库进行用户修正；
（8）在所述预设周期内对用户摄入的食品种类进行分类；
（9）按照步骤（8）中的分类类别对所属类别中的食品根据饮食主材的用量高低从上至下进行排序；
（10）读取患者的个人健康档案，且按照预设的读取顺序依次读取患者个人健康档案中记载的
（10.1）家族病史、
（10.2）既往病史、
（10.3）个人缺陷；
（11）按照所述步骤（1）中的人群分类，按照预设的读取顺序依序逐一判断用户摄入的饮食主材的预估用量与饮食人群指导推荐库对比以判断是否超出预设值，当超出预设值时及时通知用户本人、社区医疗中心、以及用户所属地区医院；其中，所述饮食人群指导推荐库根据用户人群具体分类为婴幼儿食品库、孕产妇食品库、老年人食品库、以及慢病患者食品库；
（12）每隔固定周期将用户的饮食数据存入用户的个人健康档案中并定期更新，同时根据用户在固定周期内的饮食数据生成针对用户的推荐的健康饮食清单；
（13）根据步骤（7）中确定的可靠度级别对步骤（12）中形成的用户的健康饮食清单进行修正。
进一步地，所述步骤（1）中对用户进行身份识别的方式选用身份证识别、医保卡识别、图像识别、语音识别、指纹识别中的任一种或多种的组合。
进一步地，所述步骤（4）中确定图像中的食物部分和背景部分具体包括步骤：
（4.1）饮食图像中主要位置和次要位置的划分；
（4.2）饮食图像中色彩差异区分；
（4.3）饮食图像中像素密集度区分。
进一步地，所述步骤（5.2）中通过与预设食品库的比对，确定前5位与预设食品库中饮食主材的形状近似度最高的饮食主材，并以此一次确定食物部分中主材的种类；
所述步骤（5.3）中通过与预设食品库的比对，确定前5位与预设食品库中饮食主材的颜色近似度最高的饮食主材，并以此二次确定食物部分中主材的种类；
当所述步骤（5.2）中确定的第1位与预设食品库中饮食主材的形状近似度最高的饮食主材与所述步骤（5.3）中确定的第1位与预设食品库中饮食主材的颜色近似度最高的饮食主材相同时，确定该饮食主材即为用户所提交的饮食图像中的饮食主材；
当所述步骤（5.2）中确定的第1位与预设食品库中饮食主材的形状近似度最高的饮食主材与所述步骤（5.3）中确定的第1位与预设食品库中饮食主材的颜色近似度最高的饮食主材不同时，确定所述步骤（5.2）中确定的第1位与预设食品库中饮食主材的形状近似度最高的饮食主材即为用户所提交的饮食图像中的饮食主材。
进一步地，所述步骤（6）中采用加权算法，分别为标准比对、匹配分析、及用量评价确定权重系数，以计算可靠度数值。
进一步地，所述步骤（6）中的标准比对、匹配分析、及用量评价分别采用百分数进行记录。
进一步地，所述步骤（7）中，
当计算出的可靠度数值低于预设可靠度时，确定本次图像识别不可靠；
当计算出的可靠度数值不低于预设可靠度，且低于第一预设阈值时，确定本次图像识别可靠度低；
当计算出的可靠度数值不低于第一预设阈值，且低于第二预设阈值时，确定本次图像识别可靠度中；
当计算出的可靠度数值不低于第二预设阈值，且低于第三预设阈值时，确定本次图像识别可靠度高；且其中，
预设可靠度小于第一预设阈值，第一预设阈值小于第二预设阈值，第二预设阈值小于第三预设阈值。
进一步地，所述步骤（9）中饮食主材的用量根据预设周期内识别出的饮食主材的使用频次和单次预估的用量共同确定。
进一步地，所述步骤（5）中预设的食物识别的优先级别能够由用户本人、社区医生、或医院医生进行调节；所述步骤（10）和所述步骤（11）中预设的读取顺序仅能够由医院医生进行调节。
本发明的有益效果是；
（1）通过图像识别技术，对用户在预设周期内的饮食主材种类进行识别、计量预估、分类及排序，并同步用户的个人健康档案，从而规划出针对该用户的推荐的健康饮食清单，既避免了采用用户回忆方式容易因疏忽或者遗漏相关的食物从而导致饮食干预不准确的缺陷；又避免了采用用户定时记录每餐饮食的方式而需要用户随身携带纸、笔、及计量装置，从而会为用户饮食带来麻烦的缺陷，通过简单的手机即能进行用户饮食的图像识别，操作简单可靠。
（2）通过可靠度分析确定识别结果的可靠度，并依据可靠度针对形成的用户的健康饮食清单进行修正，从而进一步提高针对该用户的健康饮食清单的准确性、针对性、及有效性。
附图说明
图1为本发明一种基于图像识别技术确定用户饮食结构的健康饮食干预系统的结构示意图；
图2为本发明一种基于图像识别技术确定用户饮食结构的健康饮食干预方法的步骤流程图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图1所示，一种基于图像识别技术确定用户饮食结构的健康饮食干预系统，所述系统包括彼此相互连接的用户身份识别模块、饮食图像接收模块、饮食图像识别模块、可靠度分析模块、食品种类分类模块、主材用量排序模块、个人档案读取模块、用量超限判断模块、以及饮食清单生成模块；其中，
所述用户身份识别模块用于对用户的身份进行识别，且与用户个人健康档案连接，并根据用户个人健康档案中的用户信息对用户所属的人群进行分类；
所述饮食图像接收模块用于接收用户在预设周期内的规定时间点提交的饮食图像；
所述饮食图像识别模块包括食物和背景识别单元、主材和辅材识别单元、用量预估单元、主材种类一次确定单元、主材种类二次确定单元；其中，食物和背景识别单元用于确定图像中的食物部分和背景部分，主材和辅材识别单元用于识别食物部分中的饮食主材和饮食辅材，用量预估单元预估饮食主材和饮食辅材的用量，主材种类一次确定单元根据饮食主材的形状一次确定食物部分中主材的种类，主材种类二次确定单元根据饮食主材的颜色二次确定食物部分中主材的种类；
所述可靠度分析模块确定本次图像识别的可靠度级别；并依据可靠度级别对饮食图像识别模块中的主材种类一次确定单元和主材种类二次确定单元中的预设食品库进行修正；
所述食品种类分类模块在所述预设周期内对用户摄入的食品种类进行分类；
所述主材用量排序模块根据所述食品种类分类模块中的分类结果对所属类别中的食品根据饮食主材的用量高低从上至下进行排序；
所述个人档案读取模块按照预设的读取顺序依次读取患者个人健康档案中记载的家族病史、既往病史、及个人缺陷；
所述用量超限判断模块按照预设的读取顺序依序逐一判断用户摄入的饮食主材的预估用量与饮食人群指导推荐库对比以判断是否超出预设值，当超出预设值时及时通知用户本人、社区医疗中心、以及用户所属地区医院；
所述饮食清单生成模块形成用户的健康饮食清单，并根据可靠度分析模块确定本次图像识别的可靠度级别对用户的健康饮食清单进行修正。
如图2所示，一种基于图像识别技术确定用户饮食结构的健康饮食干预方法，包括以下步骤：
（1）对用户进行身份识别；作为优选，对用户进行身份识别的方式选用身份证识别、医保卡识别、图像识别、语音识别、指纹识别中的任一种或多种的组合，从而能够及时通过身份识别获取用户的个人健康档案信息，以便于后期针对用户的个人体征形成健康饮食清单；
（2）根据识别出的用户身份提取并激活该用户的个人健康档案；从而便于后期随时调用用户的个人健康档案中记录的个人体征信息；
（3）用户在预设周期内的规定时间点提交饮食图像，作为优选，预设周期和规定时间点由医院医生进行确定且能够由医院医生进行调节；
（4）对用户所提交的饮食图像进行识别，以确定图像中的食物部分和背景部分，其中背景部分包括有桌面、餐盘和餐具；
（5）选取步骤（4）中确定的食物部分，根据预设的食物识别的优先级别，
（5.1）识别出食物部分中的饮食主材和饮食辅材，同时根据饮食主材和饮食辅材的图像比例、以及步骤（4）中确定的食物部分与背景部分的图像比例预估饮食主材和饮食辅材的用量；其中根据饮食主材和饮食辅材的图像比例以预估饮食主材和饮食辅材的用量配比，根据食物部分与背景部分的图像比例以预估饮食主材和饮食辅材的用量总量，从而预估出饮食主材和饮食辅材的各自用量；
（5.2）通过与预设食品库的比对，根据饮食主材的形状一次确定食物部分中主材的种类；作为优选，饮食主材的形状至少包括有饮食主材的整体形状和特征形状，其中整体形状是饮食整体呈现的形态（例如整体呈现的圆形、方形等），特征形状即是饮食特有的形状（例如花菜茎叶部特有的花状等）
（5.3）通过与预设食品库的比对，根据饮食主材的颜色二次确定食物部分中主材的种类；作为优选，饮食主材的颜色至少包括饮食主材原始状态下的颜色和烹饪完成后的颜色，以保证比对效果准确有效；
（6）可靠度分析，作为优选，其中标准比对、匹配分析、及用量评价分别采用百分数进行记录。
（6.1）标准比对：将确定种类的食物主材与该种食物的标准图片进行特征比对分析；作为优选，该种食物的标准图片至少包括原始状态下的颜色和烹饪完成后的颜色，通过与该种食物的标准图片进行特征比对分析从而用百分数确定与标准图片的相似度；
（6.2）匹配分析：将确定种类的食物主材与步骤（5）中识别出的饮食辅材进行匹配分析；通过与预输入的备选匹配方案进行比对，以分析步骤（6.1）中确定出的饮食主材与饮食辅材的搭配是否在预输入的备选匹配方案中，当在备选匹配方案中时匹配分析的百分数即为100%，当不在备选匹配方案中时匹配分析的百分数即为0%；
（6.3）用量评价：将步骤（5.1）中预估的饮食主材和饮食辅材的用量进行匹配评价；通过与预输入的饮食主材和饮食辅材的用量预设范围进行比对，当饮食主材和饮食辅材的预估用量位于预设范围内时，用量评价的百分数即为100%，当饮食主材和饮食辅材的预估用量超出预设范围时，按照超出部分占预设范围的比例逐步降低用量评价的百分数；
（7）根据步骤（6）中计算出的可靠度数值与预设可靠度比较，确定本次图像识别的可靠度级别；作为优选，当计算出的可靠度数值低于预设可靠度时，确定本次图像识别不可靠；当计算出的可靠度数值不低于预设可靠度，且低于第一预设阈值时，确定本次图像识别可靠度低；当计算出的可靠度数值不低于第一预设阈值，且低于第二预设阈值时，确定本次图像识别可靠度中；当计算出的可靠度数值不低于第二预设阈值，且低于第三预设阈值时，确定本次图像识别可靠度高；且其中，预设可靠度小于第一预设阈值，第一预设阈值小于第二预设阈值，第二预设阈值小于第三预设阈值；并根据确定的可靠度级别对所述步骤（5.2）和所述步骤（5.3）中的预设食品库进行用户修正；作为其中一种优选实施例，可以仅选择多次识别过程中的步骤（7）中确定的级别为可靠度高的作为修正依据；作为其中另一种优选实施例，也可以采用加权算法对多次识别过程中的步骤（7）中确定的不同的可靠度进行加权计算，并针对较高的可靠度级别确定较高的加权系数，针对较低的可靠度级别确定较低的加权系数。
（8）在所述预设周期内对用户摄入的食品种类进行分类；从而便于后期按照分类形成针对用户的健康饮食清单；
（9）按照步骤（8）中的分类类别对所属类别中的食品根据饮食主材的用量高低从上至下进行排序；从而便于用户、社区医生、医院医生能够直观了解到用户饮食主材的用量情况；
（10）读取患者的个人健康档案，且按照预设的读取顺序依次读取患者个人健康档案中记载的
（10.1）家族病史、
（10.2）既往病史、
（10.3）个人缺陷；从而从用户个人的家族病史、既往病史、及个人缺陷各方面比对饮食主材的用量；
（11）按照所述步骤（1）中的人群分类，按照预设的读取顺序依序逐一判断用户摄入的饮食主材的预估用量与饮食人群指导推荐库对比以判断是否超出预设值，当超出预设值时及时通知用户本人、社区医疗中心、以及用户所属地区医院；其中，所述饮食人群指导推荐库根据用户人群具体分类为婴幼儿食品库、孕产妇食品库、老年人食品库、以及慢病患者食品库；
（12）每隔固定周期将用户的饮食数据存入用户的个人健康档案中并定期更新，同时根据用户在固定周期内的饮食数据生成针对用户的推荐的健康饮食清单；
（13）根据步骤（7）中确定的可靠度级别对步骤（12）中形成的用户的健康饮食清单进行修正；作为其中一种优选实施例，可以仅选择多次识别过程中的步骤（7）中确定的级别为可靠度高的作为修正依据；作为其中另一种优选实施例，也可以采用加权算法对多次识别过程中的步骤（7）中确定的不同的可靠度进行加权计算，并针对较高的可靠度级别确定较高的加权系数，针对较低的可靠度级别确定较低的加权系数。
具体地，所述步骤（4）中确定图像中的食物部分和背景部分具体包括步骤：
（4.1）饮食图像中主要位置和次要位置的划分；通常状况下用户提交的饮食图像中食物部分往往位于图像的主要位置，而背景部分往往位于图像的次要位置；
（4.2）饮食图像中色彩差异区分；通常状况下用户提交的饮食图像中食物部分的色彩种类相对较多，而背景部分的色彩种类相对单一；
（4.3）饮食图像中像素密集度区分；通常状况下用户提交的饮食图像中食物部分的像素密集度相对较高，而背景部分的像素密集度相对较低。
具体地，所述步骤（5）中预设的食物识别的优先级别能够由用户本人、社区医生、或医院医生进行调节，从而可以根据用户的需求自己把握对图像识别的准确性要求。
具体地，所述步骤（5.2）中通过与预设食品库的比对，确定前5位与预设食品库中饮食主材的形状近似度最高的饮食主材，并以此一次确定食物部分中主材的种类；
所述步骤（5.3）中通过与预设食品库的比对，确定前5位与预设食品库中饮食主材的颜色近似度最高的饮食主材，并以此二次确定食物部分中主材的种类；
当所述步骤（5.2）中确定的第1位与预设食品库中饮食主材的形状近似度最高的饮食主材与所述步骤（5.3）中确定的第1位与预设食品库中饮食主材的颜色近似度最高的饮食主材相同时，确定该饮食主材即为用户所提交的饮食图像中的饮食主材；
当所述步骤（5.2）中确定的第1位与预设食品库中饮食主材的形状近似度最高的饮食主材与所述步骤（5.3）中确定的第1位与预设食品库中饮食主材的颜色近似度最高的饮食主材不同时，确定所述步骤（5.2）中确定的第1位与预设食品库中饮食主材的形状近似度最高的饮食主材即为用户所提交的饮食图像中的饮食主材。
具体地，所述步骤（6）中采用加权算法，分别为标准比对、匹配分析、及用量评价确定权重系数，以计算可靠度数值，从而进一步提高可靠度数值的计算精确度。
具体地，所述步骤（9）中饮食主材的用量根据预设周期内识别出的饮食主材的使用频次和单次预估的用量共同确定。
具体地，所述步骤（10）和所述步骤（11）中预设的读取顺序仅能够由医院医生进行调节，从而便于医院医生进行针对性观察和健康饮食清单的形成。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (10)

1.一种基于图像识别技术确定用户饮食结构的健康饮食干预系统，其特征在于：所述系统包括彼此相互连接的用户身份识别模块、饮食图像接收模块、饮食图像识别模块、可靠度分析模块、食品种类分类模块、主材用量排序模块、个人档案读取模块、用量超限判断模块、以及饮食清单生成模块；其中，
所述用户身份识别模块用于对用户的身份进行识别，且与用户个人健康档案连接，并根据用户个人健康档案中的用户信息对用户所属的人群进行分类；
所述饮食图像接收模块用于接收用户在预设周期内的规定时间点提交的饮食图像；
所述饮食图像识别模块包括食物和背景识别单元、主材和辅材识别单元、用量预估单元、主材种类一次确定单元、主材种类二次确定单元；其中，食物和背景识别单元用于确定图像中的食物部分和背景部分，主材和辅材识别单元用于识别食物部分中的饮食主材和饮食辅材，用量预估单元预估饮食主材和饮食辅材的用量，主材种类一次确定单元根据饮食主材的形状一次确定食物部分中主材的种类，主材种类二次确定单元根据饮食主材的颜色二次确定食物部分中主材的种类；
所述可靠度分析模块确定本次图像识别的可靠度级别；并依据可靠度级别对饮食图像识别模块中的主材种类一次确定单元和主材种类二次确定单元中的预设食品库进行修正；
所述食品种类分类模块在所述预设周期内对用户摄入的食品种类进行分类；
所述主材用量排序模块根据所述食品种类分类模块中的分类结果对所属类别中的食品根据饮食主材的用量高低从上至下进行排序；
所述个人档案读取模块按照预设的读取顺序依次读取患者个人健康档案中记载的家族病史、既往病史、及个人缺陷；
所述用量超限判断模块按照预设的读取顺序依序逐一判断用户摄入的饮食主材的预估用量与饮食人群指导推荐库对比以判断是否超出预设值，当超出预设值时及时通知用户本人、社区医疗中心、以及用户所属地区医院；
所述饮食清单生成模块形成用户的健康饮食清单，并根据可靠度分析模块确定本次图像识别的可靠度级别对用户的健康饮食清单进行修正。
2.一种基于图像识别技术确定用户饮食结构的健康饮食干预方法，其特征在于：包括以下步骤：
（1）对用户进行身份识别，并进行人群分类；
（2）根据识别出的用户身份提取并激活该用户的个人健康档案；
（3）用户在预设周期内的规定时间点提交饮食图像；
（4）对用户所提交的饮食图像进行识别，以确定图像中的食物部分和背景部分；
（5）选取步骤（4）中确定的食物部分，根据预设的食物识别的优先级别，
（5.1）识别出食物部分中的饮食主材和饮食辅材，同时根据饮食主材和饮食辅材的图像比例、以及步骤（4）中确定的食物部分与背景部分的图像比例预估饮食主材和饮食辅材的用量；
（5.2）通过与预设食品库的比对，根据饮食主材的形状一次确定食物部分中主材的种类；
（5.3）通过与预设食品库的比对，根据饮食主材的颜色二次确定食物部分中主材的种类；
（6）可靠度分析
（6.1）标准比对：将确定种类的食物主材与该种食物的标准图片进行特征比对分析；
（6.2）匹配分析：将确定种类的食物主材与步骤（5）中识别出的饮食辅材进行匹配分析；
（6.3）用量评价：将步骤（5.1）中预估的饮食主材和饮食辅材的用量进行匹配评价；
（7）根据步骤（6）中计算出的可靠度数值与预设可靠度比较，确定本次图像识别的可靠度级别；并根据确定的可靠度级别对所述步骤（5.2）和所述步骤（5.3）中的预设食品库进行用户修正；
（8）在所述预设周期内对用户摄入的食品种类进行分类；
（9）按照步骤（8）中的分类类别对所属类别中的食品根据饮食主材的用量高低从上至下进行排序；
（10）读取患者的个人健康档案，且按照预设的读取顺序依次读取患者个人健康档案中记载的
（10.1）家族病史、
（10.2）既往病史、
（10.3）个人缺陷；
（11）按照所述步骤（1）中的人群分类，按照预设的读取顺序依序逐一判断用户摄入的饮食主材的预估用量与饮食人群指导推荐库对比以判断是否超出预设值，当超出预设值时及时通知用户本人、社区医疗中心、以及用户所属地区医院；其中，所述饮食人群指导推荐库根据用户人群具体分类为婴幼儿食品库、孕产妇食品库、老年人食品库、以及慢病患者食品库；
（12）每隔固定周期将用户的饮食数据存入用户的个人健康档案中并定期更新，同时根据用户在固定周期内的饮食数据生成针对用户的推荐的健康饮食清单；
（13）根据步骤（7）中确定的可靠度级别对步骤（12）中形成的用户的健康饮食清单进行修正。
3.根据权利要求2所述的一种基于图像识别技术确定用户饮食结构的健康饮食干预方法，其特征在于：所述步骤（1）中对用户进行身份识别的方式选用身份证识别、医保卡识别、图像识别、语音识别、指纹识别中的任一种或多种的组合。
4.根据权利要求2所述的一种基于图像识别技术确定用户饮食结构的健康饮食干预方法，其特征在于：所述步骤（4）中确定图像中的食物部分和背景部分具体包括步骤：
（4.1）饮食图像中主要位置和次要位置的划分；
（4.2）饮食图像中色彩差异区分；
（4.3）饮食图像中像素密集度区分。
5.根据权利要求2所述的一种基于图像识别技术确定用户饮食结构的健康饮食干预方法，其特征在于：
所述步骤（5.2）中通过与预设食品库的比对，确定前5位与预设食品库中饮食主材的形状近似度最高的饮食主材，并以此一次确定食物部分中主材的种类；
所述步骤（5.3）中通过与预设食品库的比对，确定前5位与预设食品库中饮食主材的颜色近似度最高的饮食主材，并以此二次确定食物部分中主材的种类；
当所述步骤（5.2）中确定的第1位与预设食品库中饮食主材的形状近似度最高的饮食主材与所述步骤（5.3）中确定的第1位与预设食品库中饮食主材的颜色近似度最高的饮食主材相同时，确定该饮食主材即为用户所提交的饮食图像中的饮食主材；
当所述步骤（5.2）中确定的第1位与预设食品库中饮食主材的形状近似度最高的饮食主材与所述步骤（5.3）中确定的第1位与预设食品库中饮食主材的颜色近似度最高的饮食主材不同时，确定所述步骤（5.2）中确定的第1位与预设食品库中饮食主材的形状近似度最高的饮食主材即为用户所提交的饮食图像中的饮食主材。
6.根据权利要求2所述的一种基于图像识别技术确定用户饮食结构的健康饮食干预方法，其特征在于：所述步骤（6）中采用加权算法，分别为标准比对、匹配分析、及用量评价确定权重系数，以计算可靠度数值。
7.根据权利要求2所述的一种基于图像识别技术确定用户饮食结构的健康饮食干预方法，其特征在于：所述步骤（6）中的标准比对、匹配分析、及用量评价分别采用百分数进行记录。
8.根据权利要求2所述的一种基于图像识别技术确定用户饮食结构的健康饮食干预方法，其特征在于：所述步骤（7）中，
当计算出的可靠度数值低于预设可靠度时，确定本次图像识别不可靠；
当计算出的可靠度数值不低于预设可靠度，且低于第一预设阈值时，确定本次图像识别可靠度低；
当计算出的可靠度数值不低于第一预设阈值，且低于第二预设阈值时，确定本次图像识别可靠度中；
当计算出的可靠度数值不低于第二预设阈值，且低于第三预设阈值时，确定本次图像识别可靠度高；且其中，
预设可靠度小于第一预设阈值，第一预设阈值小于第二预设阈值，第二预设阈值小于第三预设阈值。
9.根据权利要求2所述的一种基于图像识别技术确定用户饮食结构的健康饮食干预方法，其特征在于：所述步骤（9）中饮食主材的用量根据预设周期内识别出的饮食主材的使用频次和单次预估的用量共同确定。
10.根据权利要求2所述的一种基于图像识别技术确定用户饮食结构的健康饮食干预方法，其特征在于：所述步骤（5）中预设的食物识别的优先级别能够由用户本人、社区医生、或医院医生进行调节；所述步骤（10）和所述步骤（11）中预设的读取顺序仅能够由医院医生进行调节。
CN201910968024.9A 2019-10-12 2019-10-12 一种基于图像识别技术确定用户饮食结构的健康饮食干预系统及干预方法 Active CN110689946B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910968024.9A CN110689946B (zh) 2019-10-12 2019-10-12 一种基于图像识别技术确定用户饮食结构的健康饮食干预系统及干预方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910968024.9A CN110689946B (zh) 2019-10-12 2019-10-12 一种基于图像识别技术确定用户饮食结构的健康饮食干预系统及干预方法

Publications (2)

Publication Number Publication Date
CN110689946A true CN110689946A (zh) 2020-01-14
CN110689946B CN110689946B (zh) 2022-01-28

Family

ID=69112297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910968024.9A Active CN110689946B (zh) 2019-10-12 2019-10-12 一种基于图像识别技术确定用户饮食结构的健康饮食干预系统及干预方法

Country Status (1)

Country Link
CN (1) CN110689946B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037888A (zh) * 2020-08-28 2020-12-04 康键信息技术（深圳）有限公司 生理健康特征数据的监控方法、装置、设备及存储介质
CN115936514A (zh) * 2022-12-14 2023-04-07 湖南工业大学 基于大数据联动管理的乡村美食创意系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100111383A1 (en) * 2008-09-05 2010-05-06 Purdue Research Foundation Dietary Assessment System and Method
CN106203493A (zh) * 2016-07-04 2016-12-07 何广森 一种食物识别装置及识别方法
WO2017022017A1 (ja) * 2015-07-31 2017-02-09 株式会社ＦｉＮＣ 健康管理サーバおよび健康管理サーバ制御方法並びに健康管理プログラム
CN107731278A (zh) * 2017-09-04 2018-02-23 广东数相智能科技有限公司 一种食物识别方法、营养健康分析方法、系统及装置
CN107871532A (zh) * 2017-10-17 2018-04-03 珠海格力电器股份有限公司 一种饮食健康管理系统
CN108020310A (zh) * 2017-11-22 2018-05-11 广东永衡良品科技有限公司 一种基于大数据分析食物营养值的电子秤系统
CN109346153A (zh) * 2018-08-31 2019-02-15 北京唐冠天朗科技开发有限公司 一种数字化就餐系统和方法
US20190057766A1 (en) * 2017-08-21 2019-02-21 Boe Technology Group Co., Ltd. System for monitoring diet

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100111383A1 (en) * 2008-09-05 2010-05-06 Purdue Research Foundation Dietary Assessment System and Method
WO2017022017A1 (ja) * 2015-07-31 2017-02-09 株式会社ＦｉＮＣ 健康管理サーバおよび健康管理サーバ制御方法並びに健康管理プログラム
CN106203493A (zh) * 2016-07-04 2016-12-07 何广森 一种食物识别装置及识别方法
US20190057766A1 (en) * 2017-08-21 2019-02-21 Boe Technology Group Co., Ltd. System for monitoring diet
CN107731278A (zh) * 2017-09-04 2018-02-23 广东数相智能科技有限公司 一种食物识别方法、营养健康分析方法、系统及装置
CN107871532A (zh) * 2017-10-17 2018-04-03 珠海格力电器股份有限公司 一种饮食健康管理系统
CN108020310A (zh) * 2017-11-22 2018-05-11 广东永衡良品科技有限公司 一种基于大数据分析食物营养值的电子秤系统
CN109346153A (zh) * 2018-08-31 2019-02-15 北京唐冠天朗科技开发有限公司 一种数字化就餐系统和方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037888A (zh) * 2020-08-28 2020-12-04 康键信息技术（深圳）有限公司 生理健康特征数据的监控方法、装置、设备及存储介质
CN115936514A (zh) * 2022-12-14 2023-04-07 湖南工业大学 基于大数据联动管理的乡村美食创意系统
CN115936514B (zh) * 2022-12-14 2023-08-08 湖南工业大学 基于大数据联动管理的乡村美食创意系统

Also Published As

Publication number Publication date
CN110689946B (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
US20210151165A1 (en) Health tracking device
US11222422B2 (en) Hyperspectral imaging sensor
CN107871532A (zh) 一种饮食健康管理系统
CN107658001B (zh) 一种家庭用油健康管理方法和系统
CN110689946B (zh) 一种基于图像识别技术确定用户饮食结构的健康饮食干预系统及干预方法
JP2004288047A (ja) 診療支援システム及び診療支援プログラム
CN101167087A (zh) 在对图像中的人的识别过程中使用时间
CN104615894A (zh) 一种基于k近邻标签特定权重特征的中医诊断方法及系统
JP2008242963A (ja) 健康分析表示方法及び健康分析表示装置
US11581094B2 (en) Methods and systems for generating a descriptor trail using artificial intelligence
CN112528009A (zh) 生成用户慢病调理方案的方法、装置及计算机可读介质
CN115240861A (zh) 慢性病患者数据处理方法、装置、设备及存储介质
Lopez-Meyer et al. Automatic identification of the number of food items in a meal using clustering techniques based on the monitoring of swallowing and chewing
CN102053158A (zh) 血糖分析系统、装置及其方法
US8208696B2 (en) Relation tree
KR102326540B1 (ko) 음식 영상을 이용한 영양관리 및 질병관리 방법
Bosch et al. Integrated database system for mobile dietary assessment and analysis
CN114983385B (zh) 一种通过人体成分检测提供智能营养管理的系统
Kong Automatic food intake assessment using camera phones
WO2021176432A1 (en) Intelligent food image recognition and recommendation method
Eskin et al. An intelligent nutritional assessment system
KR102309173B1 (ko) 개인 맞춤형 영양관리 시스템 및 이의 분석 방법
US11810669B2 (en) Methods and systems for generating a descriptor trail using artificial intelligence
JP2018049584A (ja) 食事量推定プログラム、食事量推定方法及び食事量推定装置
Chen et al. Toward dietary assessment via mobile phone video cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant