CN113539427A - 基于卷积神经网络的营养干预分析系统及分析方法 - Google Patents

基于卷积神经网络的营养干预分析系统及分析方法 Download PDF

Info

Publication number
CN113539427A
CN113539427A CN202010321009.8A CN202010321009A CN113539427A CN 113539427 A CN113539427 A CN 113539427A CN 202010321009 A CN202010321009 A CN 202010321009A CN 113539427 A CN113539427 A CN 113539427A
Authority
CN
China
Prior art keywords
food
neural network
convolutional neural
marker
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010321009.8A
Other languages
English (en)
Inventor
许静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qianhai Hi Tech International Medical Management Co ltd
Original Assignee
Shenzhen Qianhai Hi Tech International Medical Management Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qianhai Hi Tech International Medical Management Co ltd filed Critical Shenzhen Qianhai Hi Tech International Medical Management Co ltd
Priority to CN202010321009.8A priority Critical patent/CN113539427A/zh
Publication of CN113539427A publication Critical patent/CN113539427A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nutrition Science (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于卷积神经网络的营养干预分析系统及分析方法,系统其包括相互连接的第一卷积神经网、第二卷积神经网、数据库、控制单元、运算单元,第一卷积神经网用于在训练后对食物图像进行检测,并判断是否检测到食物或标志物,同时检测到食物和标志物的情况下,计算出食物与标志物的标记框信息,并截取食物区的图像,第二卷积神经网用于在训练后对输入图像进行识别,并输出食物的特征数据,数据库用于控制单元用于控制数据的计算以及第一卷积神经网、第二卷积神经网的运行,运算单元用于非特征分析的运算;第一卷积神经网络和第二卷积神经网络分别由卷积层、最大池化层和激活函数层交替连接组成。

Description

基于卷积神经网络的营养干预分析系统及分析方法
技术领域
本发明涉及一种基于卷积神经网络的营养干预分析系统及分析方法。
技术背景
图像识别技术被广泛应用于各个领域,然而由于图片的拍摄受角度、光照等条件影响,不能够直接将图片应用于物体识别中,而需要针对具体问题提取其内在特征。以物体的内在特征相对不变性为依据,完成对物体的检测与种类划分。近几年,随着深度学习技术的快速发展,神经网络模型已被部分应用于营养干预识别当中。然而,营养估计不仅需要对食品图像进行精确识别,同时也需要对食品的质量进行估计,再结合该种类食品的营养列表,从而做出营养成分估计。所以现有技术中实质没有技术可以实现对食品图像的检测、分类以及相对应的营养成分估计的手段,更不能对食物的营养成分做出估计。
发明内容
为了解决现有技术中的问题,本发明公开一种基于卷积神经网络的营养干预分析系统及分析方法,其系统包括相互连接的第一卷积神经网、第二卷积神经网、数据库、控制单元、运算单元,其中的第一卷积神经网用于在训练后对食物图像进行检测,并判断是否检测到食物或标志物,在同时检测到食物和标志物的情况下,计算出食物与标志物的标记框信息,并截取食物区的图像,第二卷积神经网用于在训练后对输入图像进行识别,并输出食物的特征数据,食物的特征数据包含食物的分类信息以及特征信息,数据库用于,控制单元用于控制数据的计算以及第一卷积神经网、第二卷积神经网的运行,运算单元用于非特征分析的运算;第一卷积神经网络和第二卷积神经网络分别由卷积层、最大池化层和激活函数层交替连接组成。
进一步,所述第一卷积神经网络采用基于yolov2的检测网络,第一卷积神经网络包含22层卷积层、5层最大池化层,检测网络用于是检测出标志物与食物,并不对食物进行分类,检测网络输出为食物与标志物的标记框信息以及分别与其对应的概率。
进一步,所述的第二卷积神经网络采用基于RESNET-50的分类网络,以检测到的食物图像作为输入图像,经过预处理,将输入图像转化为相应像素大小(224×224像素),然后将输入图像的BGR三个通道分别减去食物图像的BGR三个通道像素的平均值(97 .183 ,122.796 ,139 .162),将其读取作为一个三维矩阵,输入该分类网络,该分类网络的输出为该输入图像对应各个食物种类的概率,选取概率最大的种类作为该食物种类的预测值。
基于卷积神经网络的营养干预分析方法,包括以下步骤:
s1:控制单元控制预先训练第一卷积神经网,然后使用预先训练好的第一卷积神经网络对食物图像进行检测,并判断是否检测到食物或标志物,在同时检测到食物和标志物的情况下,计算出食物与标志物的标记框信息,并截取食物区域作为步骤s2的输入图像;
s2:控制单元控制预先训练第二卷积神经网络,使用预先训练好的第二卷积神经网络,对上述s1中输入图像进行识别,并输出食物的特征数据,食物的特征数据包含食物的分类信息以及特征信息;
s3:基于步骤s2输出的食物的特征数据,计算单元计算该食物的营养成分。
进一步,所述步骤s1还包括:在只检测到食物的情况下,直接截取食物区域作为输入图像;在未检测到食物的情况下,终止程序,输出 “未检测到食物” 的结果。
进一步,所述步骤s2中,预先训练第二卷积神经网络是指第二卷积神经网络对输入图像进行预处理,具体包括以下步骤:采用Opencv的cv2接口读取输入图像,存储到一个numpy的矩阵中,然后进行缩放处理,最后将输入图像中的所有像素值除以255进行归一化。
进一步,所述步骤s3具体包括:计算单元基于特征数据中食物的特征信息,获取食物与营养成分之间的映射关系:根据步骤s1中食物与标志物的标记框信息,或者步骤s2中食物特征数据中的特征信息,计算出俯视图与正视图中食物与标志物的相对大小; 根据俯视图中食物与标志物的相对大小以及已知的标志物尺寸计算出食物的底面长与宽,求出食物的底面积; 根据正视图中食物与标志物的相对大小,计算出食物的高度信息; 结合步骤s2中计算出的食物特征数据中的特征信息,读取预设的各种食物的堆叠模型,从而计算出食物的体积; 根据已知的各食物的密度信息计算出该食物的质量,最后结合该食物的单位营养成分列表,估算出其营养成分。
进一步,所述步骤s3具体还包括:基于特征数据中食物的分类信息,获取数据库中预设的食物与营养成分之间的映射关系;基于特征数据中食物的分类信息,通过训练卷积神经网络获取食物与营养成分之间的映射关系。
有益效果:
本发明提出一种基于卷积神经网络的营养干预分析系统,能够实现食品图像的检测、分类以及相对应的营养成分估计,且准确率较高,同时在没有检测到食品的情况下输出“未检测到食品” 作为结果。具体地,能够对食物营养种类进行识别,对其体积、质量进行计算,从而对食物营养成分进行估算,所以能够实现食物的检测、分类以及相对应的营养成分估计,而且准确率较高;在实施中,基于卷积神经网络的营养干预分析系统,第一卷积神经网、第二卷积神经网完成检测和识别的工作,而且不仅仅局限于对食物的种类进行识别,同时也考虑到实际营养学、健康领域的需求,对食物的营养成分做出估计。计算单元可在给定食物正视图、俯视图(包含标志物)的情况下,能够对食物种类进行识别,对其体积、质量进行计算,从而对食物营养成分进行估算,即能够实现食物的检测、分类以及相对应的营养成分估计,而且考虑到较高准确率的需求,要求输入两张包含标志物的图片(俯视图与平视图),在兼顾便利性的基础上保证了准确性。
附图说明
图1是本发明系统的组成框图。
图2是本发明方法的流程图。
具体实施方式
如图1所示,一种基于卷积神经网络的营养干预分析系统包括相互连接的第一卷积神经网、第二卷积神经网、数据库、控制单元、运算单元,其中的第一卷积神经网用于在训练后对食物图像进行检测,并判断是否检测到食物或标志物,在同时检测到食物和标志物的情况下,计算出食物与标志物的标记框信息,并截取食物区的图像,第二卷积神经网用于在训练后对输入图像进行识别,并输出食物的特征数据,食物的特征数据包含食物的分类信息以及特征信息,数据库用于,控制单元用于控制数据的计算以及第一卷积神经网、第二卷积神经网的运行,运算单元用于非特征分析的运算;第一卷积神经网络和第二卷积神经网络分别由卷积层、最大池化层和激活函数层交替连接组成。
所述第一卷积神经网络采用基于yolov2的检测网络,第一卷积神经网络包含22层卷积层、5层最大池化层,检测网络用于是检测出标志物与食物,并不对食物进行分类,检测网络输出为食物与标志物的标记框信息以及分别与其对应的概率。所述的第二卷积神经网络采用基于RESNET-50的分类网络,以检测到的食物图像作为输入图像,经过预处理,将输入图像转化为相应像素大小(224×224像素),然后将输入图像的BGR三个通道分别减去食物图像的BGR三个通道像素的平均值(97 .183 ,122 .796 ,139 .162),将其读取作为一个三维矩阵,输入该分类网络,该分类网络的输出为该输入图像对应各个食物种类的概率,选取概率最大的种类作为该食物种类的预测值。
一种基于卷积神经网络的营养干预分析方法,如图2所示,包括步骤:
s1:控制单元控制预先训练第一卷积神经网,然后使用预先训练好的第一卷积神经网络对食物图像进行检测,并判断是否检测到食物或标志物,在同时检测到食物和标志物的情况下,计算出食物与标志物的标记框信息,并截取食物区域作为步骤s2的输入图像;s2:控制单元控制预先训练第二卷积神经网络,使用预先训练好的第二卷积神经网络,对上述s1中输入图像进行识别,并输出食物的特征数据,食物的特征数据包含食物的分类信息以及特征信息;s3:基于步骤s2输出的食物的特征数据,计算单元计算该食物的营养成分。
步骤s1还包括:在只检测到食物的情况下,直接截取食物区域作为输入图像;在未检测到食物的情况下,终止程序,输出 “未检测到食物” 的结果。
在步骤s1中,第一卷积神经网络采用基于yolov2的检测网络,第一卷积神经网络包含22层卷积层、5层最大池化层,检测网络的作用是检测出标志物与食物,并不对食物进行分类,检测网络输出为食物与标志物的标记框信息以及分别与其对应的概率。
在步骤s2中,第二卷积神经网络采用基于RESNET-50的分类网络,以步骤s1中检测到的食物图像作为输入图像,经过预处理,将输入图像转化为相应像素大小(224×224像素),然后将输入图像的BGR三个通道分别减去食物图像的BGR三个通道像素的平均值(97.183 ,122 .796 ,139 .162),将其读取作为一个三维矩阵,输入该分类网络,该分类网络的输出为该输入图像对应各个食物种类的概率,选取概率最大的种类作为该食物种类的预测值。
步骤s2中,预先训练第二卷积神经网络是指第二卷积神经网络对输入图像进行预处理,具体包括以下步骤:采用Opencv的cv2接口读取输入图像,存储到一个numpy的矩阵中,然后进行缩放处理,最后将输入图像中的所有像素值除以255进行归一化。
步骤s3具体包括:
基于特征数据中食物的特征信息,获取食物与营养成分之间的映射关系:
计算单元,根据步骤s1中食物与标志物的标记框信息,或者步骤s2中食物特征数据中的特征信息,计算出俯视图与正视图中食物与标志物的相对大小;根据俯视图中食物与标志物的相对大小以及已知的标志物尺寸计算出食物的底面长与宽,求出食物的底面积; 根据正视图中食物与标志物的相对大小,计算出食物的高度信息; 结合步骤s2中计算出的食物特征数据中的特征信息,读取预设的各种食物的堆叠模型,从而计算出食物的体积; 根据已知的各食物的密度信息计算出该食物的质量,最后结合该食物的单位营养成分列表,估算出其营养成分。
步骤s3具体还包括:基于特征数据中食物的分类信息,获取数据库中预设的食物与营养成分之间的映射关系;基于特征数据中食物的分类信息,通过训练卷积神经网络获取食物与营养成分之间的映射关系。
具体实施中,所述第一卷积神经网络和第二卷积神经网络分别由卷积层、最大池化层和激活函数层交替连接组成,各层的参数设置包括卷积层的卷积核大小和数量、池化窗口的尺寸和步长以及激活函数的类型等,参数设置可以自由选择。
值得说明的是,上述仅是本发明的实施例,可以理解是在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型获得其他实施例,其他实施例如在本发明权利要求范围的前提下也应当是本发明的保护范围。

Claims (8)

1.基于卷积神经网络的营养干预分析系统,其特征在于,包括相互连接的第一卷积神经网、第二卷积神经网、数据库、控制单元、运算单元,其中的第一卷积神经网用于在训练后对食物图像进行检测,并判断是否检测到食物或标志物,在同时检测到食物和标志物的情况下,计算出食物与标志物的标记框信息,并截取食物区的图像,第二卷积神经网用于在训练后对输入图像进行识别,并输出食物的特征数据,食物的特征数据包含食物的分类信息以及特征信息,数据库用于,控制单元用于控制数据的计算以及第一卷积神经网、第二卷积神经网的运行,运算单元用于非特征分析的运算;第一卷积神经网络和第二卷积神经网络分别由卷积层、最大池化层和激活函数层交替连接组成。
2.如权利要求1所述的基于卷积神经网络的营养干预分析系统,其特征在于,所述第一卷积神经网络采用基于yolov2的检测网络,第一卷积神经网络包含22层卷积层、5层最大池化层,检测网络用于是检测出标志物与食物,并不对食物进行分类,检测网络输出为食物与标志物的标记框信息以及分别与其对应的概率。
3.如权利要求1所述的基于卷积神经网络的营养干预分析系统,其特征在于,所述的第二卷积神经网络采用基于RESNET-50的分类网络,以检测到的食物图像作为输入图像,经过预处理,将输入图像转化为相应像素大小,然后将输入图像的BGR三个通道分别减去食物图像的BGR三个通道像素的平均值,将其读取作为一个三维矩阵,输入该分类网络,该分类网络的输出为该输入图像对应各个食物种类的概率,选取概率最大的种类作为该食物种类的预测值。
4.基于卷积神经网络的营养干预分析方法,其特征在于,包括以下步骤:
s1:控制单元控制预先训练第一卷积神经网,然后使用预先训练好的第一卷积神经网络对食物图像进行检测,并判断是否检测到食物或标志物,在同时检测到食物和标志物的情况下,计算出食物与标志物的标记框信息,并截取食物区域作为步骤s2的输入图像;
s2:控制单元控制预先训练第二卷积神经网络,使用预先训练好的第二卷积神经网络,对上述s1中输入图像进行识别,并输出食物的特征数据,食物的特征数据包含食物的分类信息以及特征信息;
s3:基于步骤s2输出的食物的特征数据,计算单元计算该食物的营养成分。
5.如权利要求4所述的基于卷积神经网络的营养干预分析方法,其特征在于,所述步骤s1还包括:在只检测到食物的情况下,直接截取食物区域作为输入图像;在未检测到食物的情况下,终止程序,输出 “未检测到食物” 的结果。
6.如权利要求4所述的基于卷积神经网络的营养干预分析方法,其特征在于,所述步骤s2中,预先训练第二卷积神经网络是指第二卷积神经网络对输入图像进行预处理,具体包括以下步骤:采用Opencv的cv2接口读取输入图像,存储到一个numpy的矩阵中,然后进行缩放处理,最后将输入图像中的所有像素值除以255进行归一化。
7.如权利要求4所述的基于卷积神经网络的营养干预分析方法,其特征在于,所述步骤s3具体包括:计算单元基于特征数据中食物的特征信息,获取食物与营养成分之间的映射关系:根据步骤s1中食物与标志物的标记框信息,或者步骤s2中食物特征数据中的特征信息,计算出俯视图与正视图中食物与标志物的相对大小; 根据俯视图中食物与标志物的相对大小以及已知的标志物尺寸计算出食物的底面长与宽,求出食物的底面积; 根据正视图中食物与标志物的相对大小,计算出食物的高度信息; 结合步骤s2中计算出的食物特征数据中的特征信息,读取预设的各种食物的堆叠模型,从而计算出食物的体积; 根据已知的各食物的密度信息计算出该食物的质量,最后结合该食物的单位营养成分列表,估算出其营养成分。
8.如权利要求7所述的基于卷积神经网络的营养干预分析方法,所述步骤s3具体还包括:基于特征数据中食物的分类信息,获取数据库中预设的食物与营养成分之间的映射关系;基于特征数据中食物的分类信息,通过训练卷积神经网络获取食物与营养成分之间的映射关系。
CN202010321009.8A 2020-04-22 2020-04-22 基于卷积神经网络的营养干预分析系统及分析方法 Pending CN113539427A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010321009.8A CN113539427A (zh) 2020-04-22 2020-04-22 基于卷积神经网络的营养干预分析系统及分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010321009.8A CN113539427A (zh) 2020-04-22 2020-04-22 基于卷积神经网络的营养干预分析系统及分析方法

Publications (1)

Publication Number Publication Date
CN113539427A true CN113539427A (zh) 2021-10-22

Family

ID=78094072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010321009.8A Pending CN113539427A (zh) 2020-04-22 2020-04-22 基于卷积神经网络的营养干预分析系统及分析方法

Country Status (1)

Country Link
CN (1) CN113539427A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005070908A (ja) * 2003-08-20 2005-03-17 Matsumoto Takashi 院内用食事摂取量の計測方法と計測システム
CN106709525A (zh) * 2017-01-05 2017-05-24 北京大学 一种相机测量食物营养成分方法
CN108256571A (zh) * 2018-01-16 2018-07-06 佛山市顺德区中山大学研究院 一种基于卷积神经网络的中餐食物识别方法
CN108597582A (zh) * 2018-04-18 2018-09-28 中国科学院计算技术研究所 一种用于执行Faster R-CNN神经网络运算的方法和装置
CN108831530A (zh) * 2018-05-02 2018-11-16 杭州机慧科技有限公司 基于卷积神经网络的菜品营养成分计算方法
CN110689963A (zh) * 2019-08-08 2020-01-14 天津大学 基于深度学习的分析食物营养成分的慢性病风险预测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005070908A (ja) * 2003-08-20 2005-03-17 Matsumoto Takashi 院内用食事摂取量の計測方法と計測システム
CN106709525A (zh) * 2017-01-05 2017-05-24 北京大学 一种相机测量食物营养成分方法
CN108256571A (zh) * 2018-01-16 2018-07-06 佛山市顺德区中山大学研究院 一种基于卷积神经网络的中餐食物识别方法
CN108597582A (zh) * 2018-04-18 2018-09-28 中国科学院计算技术研究所 一种用于执行Faster R-CNN神经网络运算的方法和装置
CN108831530A (zh) * 2018-05-02 2018-11-16 杭州机慧科技有限公司 基于卷积神经网络的菜品营养成分计算方法
CN110689963A (zh) * 2019-08-08 2020-01-14 天津大学 基于深度学习的分析食物营养成分的慢性病风险预测方法

Similar Documents

Publication Publication Date Title
CN108960245B (zh) 轮胎模具字符的检测与识别方法、装置、设备及存储介质
US10896323B2 (en) Method and device for image processing, computer readable storage medium, and electronic device
CN111178120B (zh) 一种基于作物识别级联技术的害虫图像检测方法
US9418426B1 (en) Model-less background estimation for foreground detection in video sequences
CN105809146A (zh) 一种图像场景识别方法和装置
CN111339975A (zh) 基于中心尺度预测与孪生神经网络的目标检测识别跟踪方法
CN110400278A (zh) 一种图像颜色和几何畸变的全自动校正方法、装置及设备
CN114897816A (zh) 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法
CN114693661A (zh) 一种基于深度学习的快速分拣方法
CN110363072B (zh) 舌象识别方法、装置、计算机设备及计算机可读存储介质
WO2022127814A1 (zh) 一种图像的显著性物体检测方法、装置、设备及存储介质
CN110991256A (zh) 一种基于人脸特征进行年龄估计、和/或性别识别的系统及方法
CN111274895A (zh) 基于空洞卷积的cnn微表情识别方法
CN111222502B (zh) 一种红外小目标图像标注方法及系统
CN113095445B (zh) 一种目标识别方法及装置
CN117115754B (zh) 基于计算机视觉的鸭舍智能化监测方法
TWI536280B (zh) 街景影像之文字區域偵測系統及裝置
CN113539427A (zh) 基于卷积神经网络的营养干预分析系统及分析方法
JPH11306325A (ja) 対象物検出装置及び対象物検出方法
CN112001388B (zh) 一种基于YOLOv3改进模型的用于检测PCB中圆形目标的方法
CN115171151A (zh) 一种基于猪脸识别的猪只饮水行为检测方法
CN114358131A (zh) 数码相框智能照片优化处理系统
CN110633710B (zh) 一种生猪疾病预警系统
CN107220650B (zh) 食物图像检测方法及装置
CN117037049B (zh) 基于YOLOv5深度学习的图像内容检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211022