CN109002850A - 一种计算图像中食物热量的方法及装置 - Google Patents

一种计算图像中食物热量的方法及装置 Download PDF

Info

Publication number
CN109002850A
CN109002850A CN201810736434.6A CN201810736434A CN109002850A CN 109002850 A CN109002850 A CN 109002850A CN 201810736434 A CN201810736434 A CN 201810736434A CN 109002850 A CN109002850 A CN 109002850A
Authority
CN
China
Prior art keywords
food
image
fuel value
indicate
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810736434.6A
Other languages
English (en)
Inventor
林柱英
曾海军
王细娥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Zhong Chuang Future Technology Application Co Ltd
Original Assignee
Wuxi Zhong Chuang Future Technology Application Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Zhong Chuang Future Technology Application Co Ltd filed Critical Wuxi Zhong Chuang Future Technology Application Co Ltd
Priority to CN201810736434.6A priority Critical patent/CN109002850A/zh
Publication of CN109002850A publication Critical patent/CN109002850A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Nutrition Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种计算图像中食物热量的方法及装置,所述方法包括:步骤1:获取食物图像,采用模糊C均值算法对食物图像进行分割获取各种类食物图像块;步骤2:基于所述各种类食物图像块提取图像块特征,所述图像块特征包括全局特征和局部特征;步骤3:采用球形SVM分类器对各种类食物进行识别;步骤4:根据识别出的食物种类以及食物热量表对食物的热量进行计算。基于本发明所述方法能够自动对食物图像中的食物进行识别,并计算食物中的热量,为用餐者提供饮食评估,辅助用餐者进行饮食,并更加高效的对健康进行管理。

Description

一种计算图像中食物热量的方法及装置
技术领域
本发明涉及图像处理领域,尤其涉及一种计算图像中美食热量的方法。
背景技术
近年来,随着人们生活水平的不断提高,减肥问题越来越引起人们的关注,与此同时人们对所获取的食物种类以及进食量产生了浓厚的兴趣。目前,大多数人们需要通过专业机构根据自身的体质制定健康的食谱,以达到在保证营养的同时控制饮食摄入的热量,避免出现由于饮食摄入的热量过多导致体型过胖的情况。然而,这种方式无法使人们实时获知自身饮食中每种食物的热量,时效性较低,并且成本较高。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的目的之一在于提出一种计算图像中食物热量的方法,该方法包括步骤1:获取食物图像,采用模糊C均值算法对食物图像进行分割获取各种类食物图像块;步骤2:基于所述各种类食物图像块提取图像块特征,所述图像块特征包括全局特征和局部特征;步骤3:采用球形SVM分类器对各种类食物进行识别;步骤4:根据识别出的食物种类以及食物热量表和食物密度表对食物的热量进行计算。
其中所述采用模糊C均值算法对食物图像进行分割获取各种类食物图像块进一步包括:步骤101:确定聚类类别数c,其中c满足条件2≤c≤n,确定模糊加权指数m,其中1≤m≤∞,确定迭代停止条件ε以及最大迭代次数,初始化迭代次数b=0,同时确定初始化模糊分类矩阵U(0);步骤102:根据模糊分类矩阵U(b)计算聚类中心矩阵所述公式为其中表示第j个像素对第i类的隶属度,xi表示样本集合中的样本,N表示样本集中元素的个数;步骤103:利用获取的聚类中心矩阵更新模糊分类矩阵U(b+1),所述公式为其中Djk表示第k个像素到第i类的距离;步骤104:如果计算||U(b)-U(b+1)||<ε,则计算停止,否则置b=b+1,返回步102;步骤105:通过求得的目标函数最小值得到最佳聚类,所述目标函数表示为其中,D是像素点的数量,yj是群簇的中心向量,||xi-yj||2表示像素点xi到群簇j的距离。
所述全局特征包括颜色特征描述符和纹理特征描述符,其中,所述颜色特征描述符通过颜色空间矩的颜色分量来表示,该特征可以从RGB和HSV颜色空间的每个分量中获得,其表示为:F={(C1P1V1),...(CpPpVp)},其中Cp是分割图像的3D颜色矢量表示,Pp表示百分比值,Pp表示该区域的测量方差。
基于梯度方向空间相关性矩阵或熵分类或基于Gabor的图像分解和分形维数估计的方法来获取纹理特征描述符,其中,梯度方向的特征向量包括角二次矩(A),熵(E),对比度(Ct)相关性(Cr)和均匀性(H)等几种统计量,所述纹理特征描述符表示为其中fd=[Cr0,A0,E0,Ct0,H0,Cr45,A45,E45,Ct45,H45,Cr90,A90,E90,Ct90,H90,Cr135,A135,E135,Ct135,H135]。
其中通过SIFT(尺度不变特征)和SUFT(加速鲁棒特征)特征描述符检测所述局部特征。
其中所述根据识别出的食物种类以及食物热量表和食物密度表对该食物的热量进行计算具体为:步骤401:获取基于球形SVM分类器识别的食物类型;步骤402:获取食物图像的总面积,具体为其中n表示从食物图像中切分得到的食品图像块中的正方形网格的总数,T表示切分得到的食物图像块面积;步骤403:基于食物图像总面积以及食物图像深度估计食物体积,具体为V=TA*d,其中d表示食物图像深度,V表示食物体积;
步骤404:根据食物体积和对应食物密度表中提取的食物密度估算食物质量,具体为M=ρV,其中M表示食物质量,ρ表示食物密度;步骤405:基于食物热量表中食物的热量值以及食物质量获取图像中食物热量,具体为H=Ht*M,其中Ht表示热量表中对应食物热量。
本发明目的之二,提出一种计算图像中食物热量的装置,所述装置包括,图像获取模块,获取食物图像,图像分割模块,采用模糊C均值算法对食物图像进行分割获取各种类食物图像块;图像特征提取模块,基于所述各种类食物图像块提取图像块特征,所述图像块特征包括全局特征和局部特征;识别模块,采用球形SVM分类器对各种类食物进行识别;存储模块,存储食物热量表和食物密度表,计算模块,根据识别出的食物种类以及食物热量表和食物密度表对食物的热量进行计算。
其中所述图像分割模块采用模糊C均值算法对食物图像进行分割获取各种类食物图像块包括;步骤101:确定聚类类别数c,其中c满足条件2≤c≤n,确定模糊加权指数m,其中1≤m≤∞,确定迭代停止条件ε以及最大迭代次数,初始化迭代次数b=0,同时确定初始化模糊分类矩阵U(0);步骤102:根据模糊分类矩阵U(b)计算聚类中心矩阵所述公式为其中表示第j个像素对第i类的隶属度,xi表示样本集合中的样本,N表示样本集中元素的个数;步骤103:利用获取的聚类中心矩阵更新模糊分类矩阵U(b+1),所述公式为其中Djk表示第k个像素到第i类的距离;步骤104:如果计算||U(b)-U(b+1)||<ε,则计算停止,否则置b=b+1,返回步102;步骤105:通过求得的目标函数最小值得到最佳聚类,所述目标函数表示为其中,D是像素点的数量,yj是群簇的中心向量,||xi-yj||2表示像素点xi到群簇j的距离。
所述图像特征提取模块提取全局特征包括颜色特征描述符和纹理特征描述符,其中,所述颜色特征描述符通过颜色空间矩的颜色分量来表示,该特征可以从RGB和HSV颜色空间的每个分量中获得,其表示为:F={(C1P1V1),...(CpPpVp)},其中Cp是分割图像的3D颜色矢量表示,Pp表示百分比值,Pp表示该区域的测量方差。
其中,基于梯度方向空间相关性矩阵或熵分类或基于Gabor的图像分解和分形维数估计的方法来获取纹理特征描述符,其中,梯度方向的特征向量包括角二次矩(A),熵(E),对比度(Ct)相关性(Cr)和均匀性(H)等几种统计量,所述纹理特征描述符表示为其中fd=[Cr0A0,E0,Ct0,H0,Cr45,A45,E45,Ct45,H45,Cr90,A90,E90,Ct90,H90,Cr135,A135,E135,Ct135,H135]。
其中通过SIFT(尺度不变特征)和SUFT(加速鲁棒特征)特征描述符检测所述局部特征。
其中,所述计算模块,根据识别出的食物种类以及食物热量表和食物密度表对食物的热量进行计算具体为:步骤401:获取基于球形SVM分类器识别的食物类型;步骤402:获取食物图像的总面积,具体为其中n表示从食物图像中切分得到的食品图像块中的正方形网格的总数,T表示切分得到的食物图像块面积;步骤403:基于食物图像总面积以及食物图像深度估计食物体积,具体为V=TA*d,其中d表示食物图像深度,V表示食物体积;步骤404:根据食物体积和对应食物密度表中提取的食物密度估算食物质量,具体为M=ρV,其中M表示食物质量,ρ表示食物密度;步骤405:基于食物热量表中食物的热量值以及食物质量获取图像中食物热量,具体为H=Ht*M,其中Ht表示热量表中对应食物热量。
与现有技术相比,本发明所述方法及装置通过采用模糊C均值算法对食物图像进行分割获取各种类食物,并根据球形SVM分类器对食物种类进行识别,进一步计算食物图像中的食物热量,能够自动对食物图像中的食物进行识别,并计算食物中的热量,为用餐者提供饮食评估,辅助用餐者进行饮食,并更加高效的对健康进行管理,时效性较高,并且具有较低成本。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例提供的一种计算图像中食物热量的方法流程示意图。
图2为本发明实施例提供的一种计算图像中食物热量装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的个性化新闻推荐方法及其装置
图1为本发明实施例提供的一种计算图像中美食热量的方法流程示意图。
如图1所示,该方法包括以下步骤:步骤1,获取食物图像,采用模糊C均值算法对食物图像进行分割获取各种类食物图像块;
其中,可以利用移动终端的拍照功能采集获取食物图像,所述食物图像应当保证清晰度,进一步该食物图像包括至少一种食物种类。
采用模糊C均值算法对食物图像进行分割获取各种类食物图像块,模糊c-均值算法(FCM)通过优化目标函数得到每个样本点对所有类中心的隶属度,从而决定样本点的类属以达到自动对样本数据进行分类的目的。假设样本集合为X={x1,x2,…,xn},将其分成c个模糊组,并求每组的聚类中心cj(j=1,2,…,C),使目标函数达到最小。
通过模糊c均值算法实现相应的图像分割,获取各个种类食物图像块,所述步骤包括,步骤101:确定聚类类别数c,其中c满足条件2≤c≤n,确定模糊加权指数m,其中1≤m≤∞,确定迭代停止条件ε以及最大迭代次数,初始化迭代次数b=0,同时确定初始化模糊分类矩阵U(0);步骤102:根据模糊分类矩阵U(b)计算聚类中心矩阵所述公式为其中表示第j个像素对第i类的隶属度,xi表示样本集合中的样本,N表示样本集中元素的个数;步骤103:利用获取的聚类中心矩阵更新模糊分类矩阵U(b+1),所述公式为其中Djk表示第k个像素到第i类的距离;步骤104:如果计算||U(b)-U(b+1)||<ε,则计算停止,否则置b=b+1,返回步102;步骤105:通过求得的目标函数最小值得到最佳聚类,所述目标函数表示为其中,D是像素点的数量,yj是群簇的中心向量,||xi-yj||2表示像素点xi到群簇j的距离。
通过上述步骤,获取各个种类食物图像块,例如通过移动终端拍照获取食物图片包括土豆和茄子,通过模糊C均值算法将土豆图像块和茄子图像块进行分割提取。
步骤2:基于所述各种类食物图像块提取图像块特征,所述图像块特征包括全局特征和局部特征。
由于食物形状的变化比较多样,因此提取颜色特征和纹理特征作为全局特征以提高识别的准确率,通过全局特征表示图像的形状特征,所述全局特征由颜色和纹理描述符组成。
颜色特征是用于区分输入图像中食物种类的主要特征,例如将红色可以认定为西红柿,紫色可以认定为茄子等。全局颜色信息通过采用颜色空间的矩的颜色分量来表示。因此,该特征可以从RGB和HSV颜色空间的颜色空间的每个分量中获得,借助RGB空间中频繁代表性的颜色来实现该特征。获得每个分割区域的主要颜色特征,其表示为:
F={(C1P1V1),...(CpPpVp)},其中Cp是分割图像的3D颜色矢量表示,Pp表示百分比值,Vp表示该区域的测量方差。
纹理描述符是表征提取的食品形状的重要特征描述符之一。可以采用梯度方向空间相关矩阵(GOSDM),熵分类和分形维数(EFD)以及基于Gabor的图像分解和分形维数估计(GFD)方法来获取纹理描述符。
其中,梯度方向的特征向量包括角二次矩(A),熵(E),对比度(Ct)相关性(Cr)和均匀性(H)等几种统计量,所述纹理特征描述符表示为其中fd=[Cr0,A0,E0,Ct0,H0,Cr45A45,E45,Ct45,H45,Cr90,A90,E90,Ct90,H90,Cr135,A135,E135,Ct135,H135],fd为特征向量。
进一步,图像块特征还包括局部特征,图像的局部特征可以通过图像中像素点的区域周围的局部相邻像素来获取。局部特征展现了直接相邻像素的图像模式,其可以是点,边缘以及图像块。通过提取局部特征可以消除图像的遮挡和噪声影响。本发明中通过SIFT(尺度不变特征变换)和SURF(加速鲁棒特征)特征描述符来检测局部特征信息。其中,该过滤器使用本地邻域像素从第一个和第二个时刻指针中提取特征,其中SIFT描述符应用于表示RGB图像的颜色分量。
步骤3,采用球形SVM分类器对各种类食物进行识别。
在通过分割获取各种类食物图像块以及对全局特征和局部特征进行提取后,采用球形SVM分类器对食物进行分类识别,球形SVM分类器是用于分类的常用技术之一。其与普通分类算法相比较具有更高效率而且易于扩展和使用。分类阶段通常涉及训练和测试,训练集中的每个样本都包含一个类标签以及多种特征,而通过球形SVM分类器可以将具备多种相似特征的样本进行聚类生成相同的类表示,进一步将测试集中的数据进行分类扩展获取对应集合的类表示。根据检测到的食物图像块,通过球形SVM分类器进行分类,将每个食物图像块中对应食物的颜色,纹理和形状等特征都发送到球形SVM分类器,在球形SVM分类器确定每种食物图像块中食物种类之后,将该特征与训练步骤中产生的特征进行比较以提高准确度,进一步用户展示检测到的食物图像块种食物的名称。
步骤4,根据识别出的食物种类以及食物热量表和食物密度表对食物的热量进行计算。
在步骤3中通过球形SVM分类器对食物进行分类识别后,能够根据食物密度表和食物热量表获取对应食物的热量和密度,进一步根据食物体积和热量获取该食物的热量值。其中,步骤402:获取食物图像的总面积,具体为其中n表示从食物图像中切分得到的食品图像块中的正方形网格的总数,T表示切分得到的食物图像块面积,TA表示食物图像的总面积;步骤403:基于食物图像总面积以及食物图像深度估计食物体积,具体为V=TA*d,其中d表示食物图像深度,可以通过摄像头测距原理计算得到所述待测食物的深度,V表示食物体积;步骤404:根据食物体积和对应食物密度表中提取的食物密度估算食物质量,具体为M=ρV,其中M表示食物质量,ρ表示食物密度;步骤405:基于食物热量表中食物的热量值以及食物质量获取图像中食物热量,具体为H=Ht*M,其中Ht表示热量表中对应食物热量。
根据从图像中获取的食物热量值,还可以进一步对用餐者进行反馈,例如该食物是否热量过高,用户可以预设每日用食热量最大值,并根据获取的热量值对摄入量进行监控,从而提供饮食评估,辅助用餐者进行饮食。
为了实现上述实施例,本发明还提出一种计算图像中食物热量的装置。
所述装置包括图像获取模块,获取食物图像;图像分割模块,采用模糊C均值算法对食物图像进行分割获取各种类食物图像块;
其中,图像获取模块可以利用移动终端的拍照功能采集获取食物图像,所述食物图像应当保证清晰度,进一步该食物图像包括至少一种食物种类。
图像分割模块,采用模糊C均值算法对食物图像进行分割获取各种类食物图像块,模糊c-均值算法(FCM)通过优化目标函数得到每个样本点对所有类中心的隶属度,从而决定样本点的类属以达到自动对样本数据进行分类的目的。假设样本集合为X={x1,x2,…,xn},将其分成c个模糊组,并求每组的聚类中心cj(j=1,2,…,C),使目标函数达到最小。
通过模糊c均值算法实现相应的图像分割,获取各个种类食物图像块,所述步骤包括,步骤101:确定聚类类别数c,其中c满足条件2≤c≤n,确定模糊加权指数m,其中1≤m≤∞,确定迭代停止条件ε以及最大迭代次数,初始化迭代次数b=0,同时确定初始化模糊分类矩阵U(0);步骤102:根据模糊分类矩阵U(b)计算聚类中心矩阵所述公式为其中表示第j个像素对第i类的隶属度,xi表示样本集合中的样本,N表示样本集中元素的个数;步骤103:利用获取的聚类中心矩阵更新模糊分类矩阵U(b+1),所述公式为其中Djk表示第k个像素到第i类的距离;步骤104:如果计算||U(b)-U(b+1)||<ε,则计算停止,否则置b=b+1,返回步102;步骤105:通过求得的目标函数最小值得到最佳聚类,所述目标函数表示为其中,D是像素点的数量,yj是群簇的中心向量,||xi-yj||2表示像素点xi到群簇j的距离。
通过上述步骤,获取各个种类食物图像块,例如通过移动终端拍照获取食物图片包括土豆和茄子,通过模糊C均值算法将土豆图像块和茄子图像块进行分割提取。
图像特征提取模块,基于所述各种类食物图像块提取图像块特征,所述图像块特征包括全局特征和局部特征。
由于食物形状的变化比较多样,因此可以提取颜色特征和纹理特征作为全局特征以提高识别的准确率,通过全局特征表示图像的形状特征,所述全局特征由颜色和纹理描述符组成。
颜色特征是用于区分输入图像中食物种类的主要特征,例如将红色可以认定为西红柿,紫色可以认定为茄子等。全局颜色信息通过采用颜色空间的矩的颜色分量来表示。因此,该特征可以从RGB和HSV颜色空间的颜色空间的每个分量中获得,借助RGB空间中频繁代表性的颜色来实现该特征。获得每个分割区域的主要颜色特征,其表示为:
F={(C1P1V1),...(CpPpVp)},其中Cp是分割图像的3D颜色矢量表示,Pp表示百分比值,Vp表示该区域的测量方差。
纹理描述符是表征提取的食品形状的重要特征描述符之一。可以采用梯度方向空间相关矩阵(GOSDM),熵分类和分形维数(EFD)以及基于Gabor的图像分解和分形维数估计(GFD)方法来获取纹理描述符。
其中,梯度方向的特征向量包括角二次矩(A),熵(E),对比度(Ct)相关性(Cr)和均匀性(H)等几种统计量,所述纹理特征描述符表示为其中fd=[Cr0,A0,E0,Ct0,H0,Cr45A45,E45Ct45,H45,Cr90,A90,E90,Ct90,H90,Cr135,A135,E135,Ct135,H135],fd为特征向量。
进一步,图像块特征还包括局部特征,图像的局部特征可以通过图像中像素点的区域周围的局部相邻像素来获取。局部特征展现了直接相邻像素的图像模式,其可以是点,边缘以及图像块。通过提取局部特征可以消除图像的遮挡和噪声影响。本发明中通过SIFT(尺度不变特征变换)和SURF(加速鲁棒特征)特征描述符来检测局部特征信息。其中,该过滤器使用本地邻域像素从第一个和第二个时刻指针中提取特征,其中SIFT描述符应用于表示RGB图像的颜色分量。
识别模块,采用球形SVM分类器对各种类食物进行识别。
在通过分割获取各种类食物图像块以及对全局特征和局部特征进行提取后,采用球形SVM分类器对食物进行分类识别,球形SVM分类器是用于分类的常用技术之一。其与普通分类算法相比较具有更高效率而且易于扩展和使用。分类阶段通常涉及训练和测试,训练集中的每个样本都包含一个类标签以及多种特征,而通过球形SVM分类器可以将具备多种相似特征的样本进行聚类生成相同的类表示,进一步将测试集中的数据进行分类扩展获取对应集合的类表示。根据检测到的食物图像块,通过球形SVM分类器进行分类,将每个食物图像块中对应食物的颜色,纹理和形状等特征都发送到球形SVM分类器,在球形SVM分类器确定每种食物图像块中食物种类之后,将该特征与训练步骤中产生的特征进行比较以提高准确度,进一步用户展示检测到的食物图像块种食物的名称。
存储模块,存储食物热量表和食物密度表,计算模块,根据识别出的食物种类以及食物热量表和食物密度表对食物的热量进行计算。
在通过球形SVM分类器对食物进行分类识别后,能够根据食物密度表和食物热量表获取对应食物的热量和密度,进一步根据食物体积和热量获取该食物的热量值。其中,步骤402:获取食物图像的总面积,具体为其中n表示从食物图像中切分得到的食品图像块中的正方形网格的总数,T表示切分得到的食物图像块面积,TA表示食物图像的总面积;步骤403:基于食物图像总面积以及食物图像深度估计食物体积,具体为V=TA*d,其中d表示食物图像深度,可以通过摄像头测距原理计算得到所述待测食物的深度,V表示食物体积;步骤404:根据食物体积和对应食物密度表中提取的食物密度估算食物质量,具体为M=ρV,其中M表示食物质量,ρ表示食物密度;步骤405:基于食物热量表中食物的热量值以及食物质量获取图像中食物热量,具体为H=Ht*M,其中Ht表示热量表中对应食物热量。
进一步,所述装置还可以包括反馈模块,可以对用餐者进行用餐反馈,例如该食物是否热量过高,同时用户还可以预设每日用食热量最大值,并根据获取的热量值对摄入量进行监控,从而提供饮食评估,辅助用餐者进行饮食。
由此可见,基于本发明所述计算图像中食物热量的方法和装置,通过采用模糊C均值算法对食物图像进行分割获取各种类食物,进一步提取各食物图像块中的全局特征和局部特征,并根据球形SVM分类器对食物种类进行识别,进一步根据食物种类从食物热量表和食物密度表中获取对应食物的热量和密度,根据所述待测食物的体积、密度和对应食物的热量计算得出所述待测食物所对应摄入的热量,能够自动对食物图像中的食物进行识别,并计算食物中的热量,为用餐者提供饮食评估,辅助用餐者进行饮食,并更加高效的对健康进行管理,时效性较高,并且具有较低成本。
上述实施方式仅为本发明的优选实施方式,不能以此来限定本发明保护的范围,本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.一种计算图像中食物热量的方法,所述方法包括如下步骤:
步骤1:获取食物图像,采用模糊C均值算法对食物图像进行分割获取各种类食物图像块;
步骤2:基于所述各种类食物图像块提取图像块特征,所述图像块特征包括全局特征和局部特征;
步骤3:采用球形SVM分类器对各种类食物进行识别;
步骤4:根据识别出的食物种类以及食物热量表和食物密度表对食物的热量进行计算。
2.根据权利要求1所述计算图像中食物热量的方法,其中所述采用模糊C均值算法对食物图像进行分割获取各种类食物图像块进一步包括:步骤101:确定聚类类别数c,其中c满足条件2≤c≤n,确定模糊加权指数m,其中1≤m≤∞,确定迭代停止条件ε以及最大迭代次数,初始化迭代次数b=0,同时确定初始化模糊分类矩阵U(0)
步骤102:根据模糊分类矩阵U(b)计算聚类中心矩阵所述公式为其中表示第j个像素对第i类的隶属度,xi表示样本集合中的样本,N表示样本集中元素的个数;
步骤103:利用获取的聚类中心矩阵更新模糊分类矩阵U(b+1),所述公式为
其中Djk表示第k个像素到第i类的距离;
步骤104:如果计算||U(b)-U(b+1)||<ε,则计算停止,否则置b=b+1,返回步102;
步骤105:通过求得的目标函数最小值得到最佳聚类,所述目标函数表示为其中,D是像素点的数量,yj是群簇的中心向量,||xi-yi||2表示像素点xi到群簇j的距离。
3.根据权利要求1所述的计算图像中食物热量的方法,所述全局特征包括颜色特征描述符和纹理特征描述符,其中,所述颜色特征描述符通过颜色空间矩的颜色分量来表示,该特征可以从RGB和HSV颜色空间的每个分量中获得,其表示为:F={(C1P1V1),...(CpPpVp)}
其中Cp是分割图像的3D颜色矢量表示,Pp表示百分比值,Vp表示该区域的测量方差。
4.根据权利要求3所述的计算图像中食物热量的方法,其中,基于梯度方向空间相关性矩阵或熵分类或基于Gabor的图像分解和分形维数估计的方法来获取纹理特征描述符,其中,梯度方向的特征向量包括角二次矩(A),熵(E),对比度(Ct)相关性(Cr)和均匀性(H)等几种统计量,所述纹理特征描述符表示为其中fd=[Cr0,A0,E0,Ct0,H0,Cr45,A45,E45,Ct45,H45,Cr90A90E90Ct90,H90Cr135,A135,E135,Ct135,H135]。
5.根据权利要求1所述的计算图像中食物热量的方法,其中所述根据识别出的食物种类以及食物热量表和食物密度表对该食物的热量进行计算具体为:步骤401:获取基于球形SVM分类器识别的食物类型;
步骤402:获取食物图像的总面积,具体为其中n表示从食物图像中切分得到的食品图像块中的正方形网格的总数,T表示切分得到的食物图像块面积;
步骤403:基于食物图像总面积以及食物图像深度估计食物体积,具体为V=TA*d,其中d表示食物图像深度,V表示食物体积;
步骤404:根据食物体积和对应食物密度表中提取的食物密度估算食物质量,具体为M=ρV,其中M表示食物质量,ρ表示食物密度;
步骤405:基于食物热量表中食物的热量值以及食物质量获取图像中食物热量,具体为H=Ht*M,其中Ht表示热量表中对应食物热量。
6.一种计算图像中食物热量的装置,所述装置包括图像获取模块,获取食物图像,图像分割模块,采用模糊C均值算法对食物图像进行分割获取各种类食物图像块;
图像特征提取模块,基于所述各种类食物图像块提取图像块特征,所述图像块特征包括全局特征和局部特征;
识别模块,采用球形SVM分类器对各种类食物进行识别;
存储模块,存储食物热量表和食物密度表,计算模块,根据识别出的食物种类以及食物热量表和食物密度表对食物的热量进行计算。
7.根据权利要求6所述的计算图像中食物热量的装置,其中所述图像分割模块采用模糊C均值算法对食物图像进行分割获取各种类食物图像块包括;
步骤101:确定聚类类别数c,其中c满足条件2≤c≤n,确定模糊加权指数m,其中1≤m≤∞,确定迭代停止条件ε以及最大迭代次数,初始化迭代次数b=0,同时确定初始化模糊分类矩阵U(0)
步骤102:根据模糊分类矩阵U(b)计算聚类中心矩阵所述公式为其中表示第j个像素对第i类的隶属度,xi表示样本集合中的样本,N表示样本集中元素的个数;
步骤103:利用获取的聚类中心矩阵更新模糊分类矩阵U(b+1),所述公式为
其中Djk表示第k个像素到第i类的距离;
步骤104:如果计算||U(b)-U(b+1)||<ε,则计算停止,否则置b=b+1,返回步102;
步骤105:通过求得的目标函数最小值得到最佳聚类,所述目标函数表示为其中,D是像素点的数量,yj是群簇的中心向量,||xi-yi||2表示像素点xi到群簇j的距离。
8.根据权利要求6所述的计算图像中食物热量的装置,所述图像特征提取模块提取全局特征包括颜色特征描述符和纹理特征描述符,其中,所述颜色特征描述符通过颜色空间矩的颜色分量来表示,该特征可以从RGB和HSV颜色空间的每个分量中获得,其表示为:F={(C1P1V1),...(CpPpVp)},
其中Cp是分割图像的3D颜色矢量表示,Pp表示百分比值,Vp表示该区域的测量方差。
9.根据权利要求8所述的计算图像中食物热量的装置,其中,基于梯度方向空间相关性矩阵或熵分类或基于Gabor的图像分解和分形维数估计的方法来获取纹理特征描述符,其中,梯度方向的特征向量包括角二次矩(A),熵(E),对比度(Ct)相关性(Cr)和均匀性(H)等几种统计量,所述纹理特征描述符表示为其中fd=[Cr0,A0,E0,Ct0,H0,Cr45,A45,E45,Ct45,H45,Cr90,A90,E90,Ct90,H90,Cr135,A135,E135,Ct135H135]。
10.根据权利要求6所述的计算图像中食物热量的装置,其中所述计算模块,根据识别出的食物种类以及食物热量表和食物密度表对食物的热量进行计算具体为:步骤401:获取基于球形SVM分类器识别的食物类型;
步骤402:获取食物图像的总面积,具体为其中n表示从食物图像中切分得到的食品图像块中的正方形网格的总数,T表示切分得到的食物图像块面积;
步骤403:基于食物图像总面积以及食物图像深度估计食物体积,具体为V=TA*d,其中d表示食物图像深度,V表示食物体积;
步骤404:根据食物体积和对应食物密度表中提取的食物密度估算食物质量,具体为M=ρV,其中M表示食物质量,ρ表示食物密度;
步骤405:基于食物热量表中食物的热量值以及食物质量获取图像中食物热量,具体为H=Ht*M,其中Ht表示热量表中对应食物热量。
CN201810736434.6A 2018-07-06 2018-07-06 一种计算图像中食物热量的方法及装置 Pending CN109002850A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810736434.6A CN109002850A (zh) 2018-07-06 2018-07-06 一种计算图像中食物热量的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810736434.6A CN109002850A (zh) 2018-07-06 2018-07-06 一种计算图像中食物热量的方法及装置

Publications (1)

Publication Number Publication Date
CN109002850A true CN109002850A (zh) 2018-12-14

Family

ID=64599413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810736434.6A Pending CN109002850A (zh) 2018-07-06 2018-07-06 一种计算图像中食物热量的方法及装置

Country Status (1)

Country Link
CN (1) CN109002850A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069652A (zh) * 2018-08-30 2019-07-30 Oppo广东移动通信有限公司 提示方法、装置、存储介质及穿戴式设备
CN110287207A (zh) * 2019-06-30 2019-09-27 北京健康有益科技有限公司 一种基于密度表的食物质量估测方法
CN110632851A (zh) * 2019-09-20 2019-12-31 青岛海尔科技有限公司 基于智能家居控制系统的提示信息的发送方法及装置
CN115331217A (zh) * 2022-09-02 2022-11-11 烟台创迹软件有限公司 一种餐食结算方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867192A (zh) * 2012-09-04 2013-01-09 北京航空航天大学 一种基于监督测地线传播的场景语义迁移方法
CN103617328A (zh) * 2013-12-08 2014-03-05 中国科学院光电技术研究所 一种飞机三维姿态解算方法
CN104778374A (zh) * 2015-05-04 2015-07-15 哈尔滨理工大学 一种基于图像处理识别方法的自动膳食评估装置
CN104809472A (zh) * 2015-05-04 2015-07-29 哈尔滨理工大学 一种基于svm的食物分类识别方法
CN105488536A (zh) * 2015-12-10 2016-04-13 中国科学院合肥物质科学研究院 一种基于多特征深度学习技术的农田害虫图像识别方法
CN106872513A (zh) * 2017-01-05 2017-06-20 深圳市金立通信设备有限公司 一种检测食物热量的方法及终端
CN106897679A (zh) * 2017-02-13 2017-06-27 长江水利委员会长江科学院 一种基于改进模糊c均值聚类的语义变化检测方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867192A (zh) * 2012-09-04 2013-01-09 北京航空航天大学 一种基于监督测地线传播的场景语义迁移方法
CN103617328A (zh) * 2013-12-08 2014-03-05 中国科学院光电技术研究所 一种飞机三维姿态解算方法
CN104778374A (zh) * 2015-05-04 2015-07-15 哈尔滨理工大学 一种基于图像处理识别方法的自动膳食评估装置
CN104809472A (zh) * 2015-05-04 2015-07-29 哈尔滨理工大学 一种基于svm的食物分类识别方法
CN105488536A (zh) * 2015-12-10 2016-04-13 中国科学院合肥物质科学研究院 一种基于多特征深度学习技术的农田害虫图像识别方法
CN106872513A (zh) * 2017-01-05 2017-06-20 深圳市金立通信设备有限公司 一种检测食物热量的方法及终端
CN106897679A (zh) * 2017-02-13 2017-06-27 长江水利委员会长江科学院 一种基于改进模糊c均值聚类的语义变化检测方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069652A (zh) * 2018-08-30 2019-07-30 Oppo广东移动通信有限公司 提示方法、装置、存储介质及穿戴式设备
CN110287207A (zh) * 2019-06-30 2019-09-27 北京健康有益科技有限公司 一种基于密度表的食物质量估测方法
CN110632851A (zh) * 2019-09-20 2019-12-31 青岛海尔科技有限公司 基于智能家居控制系统的提示信息的发送方法及装置
CN110632851B (zh) * 2019-09-20 2022-12-06 青岛海尔科技有限公司 基于智能家居控制系统的提示信息的发送方法及装置
CN115331217A (zh) * 2022-09-02 2022-11-11 烟台创迹软件有限公司 一种餐食结算方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
Bosch et al. Combining global and local features for food identification in dietary assessment
CN109002850A (zh) 一种计算图像中食物热量的方法及装置
CN105740842B (zh) 基于快速密度聚类算法的无监督人脸识别方法
He et al. Food image analysis: Segmentation, identification and weight estimation
CN107229917B (zh) 一种基于迭代聚类的多幅遥感影像共性显著目标检测方法
CN105740945B (zh) 一种基于视频分析的人群计数方法
Bruce et al. Classifying mammographic mass shapes using the wavelet transform modulus-maxima method
Ciocca et al. Food recognition and leftover estimation for daily diet monitoring
CN106022375B (zh) 一种基于hu不变矩和支持向量机的服装款式识别方法
CN108961265B (zh) 一种基于颜色显著性和高斯模型的精确目标分割方法
CN107392968B (zh) 融合颜色对比图和颜色空间分布图的图像显著性检测方法
CN110443809A (zh) 带边界约束的结构敏感性彩色图像分割超像素化方法
CN109934287A (zh) 一种基于lbp与glcm的服装纹理识别分类方法
CN106056165B (zh) 一种基于超像素关联性增强Adaboost分类学习的显著性检测方法
CN108960260A (zh) 一种分类模型生成方法、医学影像图像分类方法及装置
CN109035196A (zh) 基于显著性的图像局部模糊检测方法
CN108550148A (zh) 组织切片显微图像中的细胞核自动分割及分类识别方法
CN108664969A (zh) 基于条件随机场的路标识别方法
CN104680189A (zh) 基于改进词袋模型的不良图像检测方法
CN109902692A (zh) 一种基于局部区域深度特征编码的图像分类方法
CN109145947A (zh) 一种基于部件检测和视觉特征的时尚女装图像细粒度分类方法
CN109740429A (zh) 基于嘴角坐标平均值变化的笑脸识别方法
Rotem et al. Combining region and edge cues for image segmentation in a probabilistic gaussian mixture framework
Yang et al. Classification of human epithelial type 2 cell images using independent component analysis
Wo et al. A saliency detection model using aggregation degree of color and texture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181214