CN114549908A - 非接触式计算机视觉食物营养素识别方法和系统及设备 - Google Patents

非接触式计算机视觉食物营养素识别方法和系统及设备 Download PDF

Info

Publication number
CN114549908A
CN114549908A CN202210192138.0A CN202210192138A CN114549908A CN 114549908 A CN114549908 A CN 114549908A CN 202210192138 A CN202210192138 A CN 202210192138A CN 114549908 A CN114549908 A CN 114549908A
Authority
CN
China
Prior art keywords
meal
type
volume
image
hierarchical classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210192138.0A
Other languages
English (en)
Inventor
王慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University School of Medicine
Original Assignee
Shanghai Jiaotong University School of Medicine
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University School of Medicine filed Critical Shanghai Jiaotong University School of Medicine
Priority to CN202210192138.0A priority Critical patent/CN114549908A/zh
Publication of CN114549908A publication Critical patent/CN114549908A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明提供了一种非接触式计算机视觉食物营养素识别方法和系统及设备，包括：拍摄采集膳食图像；对所述膳食图像进行识别；根据识别得到的膳食，确定膳食在第一层级分类中的类型，记为第一类型；根据识别得到的膳食的第一类型，确定膳食在第二层级分类中的类型，记为第二类型；根据所述第一类型、第二类型得到膳食的营养素信息。本发明能够对食物进行细化区别，营养素的识别更加准确。本发明通过主料与配料对食物进行分类识别，能够识别同一道菜的不同做法。本发明特别适合我国不同地方菜肴制作方式不同而带来的营养素不同的识别。

Description

非接触式计算机视觉食物营养素识别方法和系统及设备
技术领域
本发明涉及膳食营养素识别技术领域，具体地，涉及非接触式计算机视觉食物营养素识别方法和系统及设备。
背景技术
如今合理膳食越来越引起社会的重视，其与人们的用餐营养与生活健康密切相关。合理膳食带来的合理营养能够满足人体生长、发育和各种生理、体力活动所需，即合理膳食是保证健康的基础。现今我国居民营养健康状况明显改善，但仍面临营养不足与过剩并存、营养相关疾病多发等问题。
由于我国幅员辽阔，各地方对于同一道菜的做法是存在区别的，例如有的是食用油使用较多，有的是使用当地的食材，而当地的食材的某些糖分等营养素含量要高于其他地区相同食材。又例如即使是粥，白粥、菜粥、牛肉粥的营养素含量是不同的，因此需要更进一步对食物进行细化区分。
专利文献CN110517752A公开了一种实时采集膳食摄入信息的方法：在光线充足的地方将网格背景图平铺于水平桌面；将调查对象平常摄入量的食物放入到标准餐具内，再将盛有食物的标准餐具摆放在网格背景图；进餐前、后用智能摄像设备分别从正上方、侧方、前斜上方和后斜上方四个方向对膳食进行摄像；通过“膳食助手”微信小程序，向后台专业评估人员传送调查对象的基本信息和进餐膳食信息；后台专业人员收到膳食图像后，根据膳食图像和食物原料及烹调方法，结合预先制定的食物评估参比图谱，对调查对象膳食中各种食物的摄入情况进行估量，并用于后期的膳食评价及指导。该专利文献的不足之处是，无法对食物进行细化区分。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种非接触式计算机视觉食物营养素识别方法和系统及设备。
根据本发明提供的一种非接触式计算机视觉食物营养素识别方法，包括：
步骤S1：拍摄采集膳食图像；
步骤S2：对所述膳食图像进行识别；
步骤S3：根据识别得到的膳食，确定膳食在第一层级分类中的类型，记为第一类型；
步骤S4：根据识别得到的膳食的第一类型，确定膳食在第二层级分类中的类型，记为第二类型；
步骤S5：根据所述第一类型、第二类型得到膳食的营养素信息；
其中，所述第一层级分类以主料区分膳食，所述第二层级分类以配料区分膳食，第二层级分类是第一层级分类的子分类。
优选地，在所述步骤S1中，通过深度相机拍摄膳食图像，其中，所述膳食图像含有膳食与盛放膳食的容器；
在所述步骤S2中，对膳食图像进行识别，识别得到容器，基于容器进一步识别得到膳食；
在所述步骤3中，通过已经训练好的第一神经网络，识别得到膳食在第一层级分类中的类型；其中，所述第一神经网络的训练样本包括以不同主料区分膳食的膳食图像样本；
在所述步骤4中，通过已经训练好的第二神经网络，识别得到膳食在第二层级分类中的类型；其中，每种第一类型的膳食均有多种不同的第二类型的膳食子分类。
优选地，在所述步骤S2中，对所述膳食图像进行识别，得到膳食的体积；
在所述步骤S5中，基于所述膳食的体积，根据所述第一类型、第二类型得到膳食的营养素信息。
优选地，所述得到膳食的体积，包括：
针对所述膳食图像，去除容器的点云，得到膳食的点云；对膳食的点云进行转化得到相应的网格，根据网格计算得到膳食的体积；
其中，对于固体类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积排除食料之间的空隙后得到所述膳食的体积；
其中，对于固液混合类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积依照设定的固液比例得到膳食中固体的体积和膳食中液体的体积作为所述膳食的体积。
根据本发明提供的一种非接触式计算机视觉食物营养素识别系统，包括：
模块M1：拍摄采集膳食图像；
模块M2：对所述膳食图像进行识别；
模块M3：根据识别得到的膳食，确定膳食在第一层级分类中的类型，记为第一类型；
模块M4：根据识别得到的膳食的第一类型，确定膳食在第二层级分类中的类型，记为第二类型；
模块M5：根据所述第一类型、第二类型得到膳食的营养素信息；
其中，所述第一层级分类以主料区分膳食，所述第二层级分类以配料区分膳食，第二层级分类是第一层级分类的子分类。
优选地，在所述模块M1中，通过深度相机拍摄膳食图像，其中，所述膳食图像含有膳食与盛放膳食的容器；
在所述模块M2中，对膳食图像进行识别，识别得到容器，基于容器进一步识别得到膳食；
在所述步骤3中，通过已经训练好的第一神经网络，识别得到膳食在第一层级分类中的类型；其中，所述第一神经网络的训练样本包括以不同主料区分膳食的膳食图像样本；
在所述步骤4中，通过已经训练好的第二神经网络，识别得到膳食在第二层级分类中的类型；其中，每种第一类型的膳食均有多种不同的第二类型的膳食子分类。
优选地，在所述模块M2中，对所述膳食图像进行识别，得到膳食的体积；
在所述模块M5中，基于所述膳食的体积，根据所述第一类型、第二类型得到膳食的营养素信息。
优选地，所述得到膳食的体积，包括：
针对所述膳食图像，去除容器的点云，得到膳食的点云；对膳食的点云进行转化得到相应的网格，根据网格计算得到膳食的体积；
其中，对于固体类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积排除食料之间的空隙后得到所述膳食的体积；
其中，对于固液混合类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积依照设定的固液比例得到膳食中固体的体积和膳食中液体的体积作为所述膳食的体积。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现所述的非接触式计算机视觉食物营养素识别方法的步骤。
根据本发明提供的一种膳食营养识别终端智能设备，包括控制器，还包括在控制器的控制下采集膳食图像的摄像头、深度相机；
所述控制器包括所述的非接触式计算机视觉食物营养素识别系统，或者包括所述的存储有计算机程序的计算机可读存储介质。
与现有技术相比，本发明具有如下的有益效果：
1、本发明能够对食物进行细化区别，营养素的识别更加准确。
2、本发明通过主料与配料对食物进行分类识别，能够识别同一道菜的不同做法。
3、本发明特别适合我国不同地方菜肴制作方式不同而带来的营养素不同的识别。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的整体流程示意图。
图2为本发明神经网络的训练流程示意图。
图3为本发明的摄像头采集的膳食与容器俯视视角的二维信息图像示意图。
图4为本发明的深度相机采集的膳食与容器的三维信息图像示意图。
图5为本发明的膳食体积计算的原理示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种非接触式计算机视觉食物营养素识别方法，包括：
步骤S1：拍摄采集膳食图像；
步骤S2：对所述膳食图像进行识别；
步骤S3：根据识别得到的膳食，确定膳食在第一层级分类中的类型，记为第一类型；
步骤S4：根据识别得到的膳食的第一类型，确定膳食在第二层级分类中的类型，记为第二类型；
步骤S5：根据所述第一类型、第二类型得到膳食的营养素信息；
其中，所述第一层级分类以主料区分膳食，所述第二层级分类以配料区分膳食，第二层级分类是第一层级分类的子分类。
具体地，不同地方菜系的主料通常是一样的，且配料通常是不一样的。例如西红柿炒鸡蛋，主料都是西红柿与鸡蛋，但是新疆西红柿炒鸡蛋的配料是洋葱粒，且使用的食用油较多，上海西红柿炒鸡蛋的配料是葱段，且食用油较少而清淡。又例如炒面，主料都是面条，但是新疆炒面的配料是洋葱和牛肉丝，少量生抽，上海炒面的配料是绿豆芽和猪肉丝，大量生抽和老抽。再以粥品为例，粥是第一层级分类，其子分类有菜粥、皮蛋粥、鱼片粥、牛肉粥等等，营养素含量也各不相同。所以有必要细分食物。
从而，本发明能够对食物进行细化区别，营养素的识别更加准确。本发明通过主料与配料对食物进行分类识别，能够识别同一道菜的不同做法。本发明特别适合我国不同地方菜肴制作方式不同而带来的营养素不同的识别。
在所述步骤S1中，通过深度相机拍摄膳食图像，其中，所述膳食图像含有膳食与盛放膳食的容器；所述膳食图像包括：摄像头拍摄的俯视视角的二维信息图像、深度相机拍摄的三维信息图像，分别如图3所示的二维信息图像，图4所示的三维信息图像。根据所述二维信息图像通过已训练的神经网络就能够识别得到膳食的菜品、容器。在训练过程中，准备不同菜品与容器的组合的图像作为样本，使得神经网络能够识别相应的菜品与容器。所述膳食的菜品为膳食的名称，即菜名，以区分不同的膳食。例如在同样的体积下，炒青椒的蛋白质含量要小于烧肉丝的蛋白质含量，因此需要对不同膳食进行区分，以利用已知的信息根据膳食的体积得到膳食的营养素含量。所述膳食的菜品的属性包括固体类、固液混合类、液体类，以使得膳食体积的计算更加符合实际。
例如菜品可以是番茄炒鸡蛋、青椒炒肉丝、土豆炖牛肉、豆角炖小排、豆腐菌菇汤、皮蛋瘦肉粥。在这些菜品中，将番茄炒鸡蛋、青椒炒肉丝的属性归类为固体类，固体类膳食以固体食材为主，汤汁较少，汤汁表面在俯视视角下因为被固体食材遮挡而不可见；将土豆炖牛肉、豆角炖小排的属性归类为固液混合类，固液混合类膳食的以固体食材为主，汤汁较多，汤汁表面在俯视视角下可见，但汤汁表面区域小于固体食材表面区域；将豆腐菌菇汤、皮蛋瘦肉粥的属性归类为液体类，液体类膳食以流质为主，固体为辅，流质表面在俯视视角下可见，流质表面区域大于固体食材表面区域。
对于固体类属性的番茄炒鸡蛋、青椒炒肉丝等膳食，不同食材之间以及相同食材之间均会存在空隙，将这些空隙排除则可以提高计算准确度。对于固液混合类属性的土豆炖牛肉、豆角炖小排等膳食，牛肉、土豆、豆角、小排的一部分被浸没在汤汁的表面之下而不可见，因此需要估算出汤汁表面之下固体食材的体积。对于液体类属性的豆腐菌菇汤、皮蛋瘦肉粥等膳食，其主要以汤汁为主，因此基于汤汁表面的面积来计算膳食的整体体积。
盛放有膳食的容器放置在承载平面上，承载平面与摄像头之间的距离是已知的，承载平面与深度相机之间的距离也是已知的，容器的直径等尺寸信息和表面形状等三维模型信息也是已知的，因此在获得二维信息图像后，通过容器在二维信息图像中的直径尺寸与容器实际的直径尺寸之间的比例，基于膳食在二维信息图像中的尺寸，就能够得到换算为膳食实际尺寸的缩放比例。优选例中，承载平面与摄像头之间的距离是固定值，承载平面与深度相机之间的距离也是固定值，在装配承载平面、摄像头、深度相机时按照固定值进行组装。其中，所述二维信息图像为彩色图像，可见膳食、容器、承载平面。三维信息图像中可见膳食、容器、承载平面。相应地，为识别膳食与容器的深度学习神经网络的学习样本中也含有膳食、容器、承载平面。其中，所述三维信息图像记载了点云数据，根据三维信息图像得到容器的点云、膳食的点云。具体是俯视视角下，容器表面未被膳食遮挡的区域对应的点云，以及膳食表面对应的点云。由于膳食底部的形状受到容器的用来盛放膳食的内表面的限制，可以用所述内表面的形状轮廓作为膳食底部的形状轮廓，而膳食顶部的形状受到盛菜人的操作而会发生变化，例如即使是同一菜品的膳食，若菜量不同，则膳食顶部的高度是不同的，又例如在相同的菜量下，盛菜人习惯将膳食平均铺设，还是以堆积方式形成金字塔状，其膳食顶部的形状也是不同的。因此，通过深度相机采集膳食顶部对应的点云来反映其形状有助于后续营养素的精确评估。
在所述步骤S2中，对膳食图像进行识别，识别得到容器，基于容器进一步识别得到膳食；对所述膳食图像进行识别，得到膳食的体积；所述得到膳食的体积，包括：针对所述膳食图像，去除容器的点云，得到膳食的点云；对膳食的点云进行转化得到相应的网格，根据网格计算得到膳食的体积；其中，对于固体类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积排除食料之间的空隙后得到所述膳食的体积；其中，对于固液混合类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积依照设定的固液比例得到膳食中固体的体积和膳食中液体的体积作为所述膳食的体积。
根据所述膳食图像和已知信息，去除容器的点云，得到膳食的点云；其中，所述已知信息包括容器的三维模型。为了得到膳食顶部的形状，需将膳食的点云区分于容器的点云。容器的信息是已知的，由于深度相机与容器及其摆放的承载平买之间的距离也是已知的，因此可以将三维信息图像中容器的尺寸与已知的容器三维模型的尺寸调整到一个统一的尺寸缩放比例下。在统一尺寸缩放比例下，将三维信息图像中的点云与容器三维模型进行重叠，其中，容器外边缘，例如盘子的口沿，高于承载平面，据此识别得到三维信息图像中容器外边缘，将容器三维模型外边缘与三维信息图像中容器外边缘重合，将与容器三维模型重叠的点云识别为容器的点云，将容器点云内部的点云识别为膳食的点云。在变化例中，基于已知的容器的颜色，也可以通过颜色来识别容器的点云与膳食的点云。为了便于识别容器，还可以在容器表面设置标识信息，例如二维码等。
对于固体类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积排除食料之间的空隙后得到所述膳食的体积；例如，在菜品椒盐排条中，排条是长条形的，排条与排条之间通常并非是整齐地依次排布，而是相互交叠堆积，排条与排条之间具有较大的空隙，若将空隙也计入膳食的体积并参与到营养素的计算评估中，则会造成评估结果的不准确，因此需要将空隙排除。
对于固液混合类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积依照设定的固液比例得到膳食中固体的体积和膳食中液体的体积作为所述膳食的体积；例如，土豆牛腩属于炖菜，相对于炒菜而言汤汁明显较多，属于固液混合类属性的菜品，除了汤汁液面上可见的土豆块与牛腩块之外，在汤汁中还浸没了另一部分的土豆块和牛腩块，因此，通过设定的固液比例，例如典型值，可以得到膳食中固体和液体分别的体积，从而分别评估固体、液体中的营养素，并能够加权求和得到营养素的总和。
所述根据对应于膳食表面的网格面计算膳食的整体体积，包括：
将所述对应于膳食表面的网格面放大到实际尺寸；根据已知的承载平面与深度相机之间的距离、已知的容器的高度、直径等尺寸的三维模型，如上文所述，可以得到缩放比例，将对应于膳食表面的网格面放大到实际尺寸。根据所述交界线，得到所述容器内表面的网格面位于交界线下部的部分。具体而言，为了得到交界线，根据所述膳食图像识别得到容器的特征信息，其中，所述特征信息例如可以是二维码，二维码用于指示唯一的一个容器或者用于指示唯一的相同规格的一个容器类别；然后根据所述容器的特征信息去除该特征信息指示的容器的点云，并且得到该特征信息指示的容器中盛放膳食的实际尺寸的容器内表面的网格面；根据容器的点云、膳食的点云，得到容器内表面与膳食的交界线，即，容器内表面与膳食表面的网格面两者之间的交界线。在优选例中，尤其是，基于已区分了容器的点云与膳食的点云，在三维信息图像中，设置与圆形容器同轴的多个线圈，线圈与容器的点云、膳食的点云接触，统计各个线圈上容器的点、膳食的点两者的数量，将两者数量相等对应的线圈作为所述交界线。将实际尺寸的膳食表面的网格面与所述容器内表面的网格面位于交界线下部的部分合成为一个封闭的空间曲面；如图5所示，图5示出了实际尺寸的膳食表面的网格面100、容器内表面的网格面200、容器内表面的网格面位于交界线下部的部分300、交界线400、容器500。将所述封闭的空间曲面内部空间的体积，作为所述膳食的体积。
在所述步骤3中，通过已经训练好的第一神经网络，识别得到膳食在第一层级分类中的类型；其中，所述第一神经网络的训练样本包括以不同主料区分膳食的膳食图像样本；在所述步骤4中，通过已经训练好的第二神经网络，识别得到膳食在第二层级分类中的类型；其中，每种第一类型的膳食均有多种不同的第二类型的膳食子分类。具体地，本发明准备两种类的样本，来分别训练第一神经网络、第二神经网络，使得在识别第一层级分类时减少配料对识别的干扰，在识别第二层级分类时，更针对性地对配料进行区分。
在所述步骤S5中，基于所述膳食的体积，根据所述第一类型、第二类型得到膳食的营养素信息。根据膳食的体积，得到膳食的重量，其中，膳食单位体积与营养素的关系可以通过膳食单位重量与营养素的关系进行表示，例如将膳食的体积乘以每单位体积营养素含量得到膳食的营养素含量，也可以将膳食的重量乘以每单位质量营养素含量得到膳食的营养素含量。然后，根据第一类型、第二类型修正所述营养素含量。例如，第一类型是西红柿炒蛋，第二类型是新疆菜系的西红柿炒蛋，则新疆西红柿的番茄红素含量更高，因此需修正营养素含量。
根据本发明提供的一种非接触式计算机视觉食物营养素识别系统，包括：
模块M1：拍摄采集膳食图像；
模块M2：对所述膳食图像进行识别；
模块M3：根据识别得到的膳食，确定膳食在第一层级分类中的类型，记为第一类型；
模块M4：根据识别得到的膳食的第一类型，确定膳食在第二层级分类中的类型，记为第二类型；
模块M5：根据所述第一类型、第二类型得到膳食的营养素信息；
其中，所述第一层级分类以主料区分膳食，所述第二层级分类以配料区分膳食，第二层级分类是第一层级分类的子分类。
在所述模块M1中，通过深度相机拍摄膳食图像，其中，所述膳食图像含有膳食与盛放膳食的容器；
在所述模块M2中，对膳食图像进行识别，识别得到容器，基于容器进一步识别得到膳食；
在所述步骤3中，通过已经训练好的第一神经网络，识别得到膳食在第一层级分类中的类型；其中，所述第一神经网络的训练样本包括以不同主料区分膳食的膳食图像样本；
在所述步骤4中，通过已经训练好的第二神经网络，识别得到膳食在第二层级分类中的类型；其中，每种第一类型的膳食均有多种不同的第二类型的膳食子分类。
在所述模块M2中，对所述膳食图像进行识别，得到膳食的体积；
在所述模块M5中，基于所述膳食的体积，根据所述第一类型、第二类型得到膳食的营养素信息。
所述得到膳食的体积，包括：
针对所述膳食图像，去除容器的点云，得到膳食的点云；对膳食的点云进行转化得到相应的网格，根据网格计算得到膳食的体积；
其中，对于固体类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积排除食料之间的空隙后得到所述膳食的体积；
其中，对于固液混合类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积依照设定的固液比例得到膳食中固体的体积和膳食中液体的体积作为所述膳食的体积。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现所述的非接触式计算机视觉食物营养素识别方法的步骤。
根据本发明提供的一种膳食营养识别终端智能设备，包括控制器，还包括在控制器的控制下采集膳食图像的摄像头、深度相机；
所述控制器包括所述的非接触式计算机视觉食物营养素识别系统，或者包括所述的存储有计算机程序的计算机可读存储介质。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种非接触式计算机视觉食物营养素识别方法，其特征在于，包括：
步骤S1：拍摄采集膳食图像；
步骤S2：对所述膳食图像进行识别；
步骤S3：根据识别得到的膳食，确定膳食在第一层级分类中的类型，记为第一类型；
步骤S4：根据识别得到的膳食的第一类型，确定膳食在第二层级分类中的类型，记为第二类型；
步骤S5：根据所述第一类型、第二类型得到膳食的营养素信息；
其中，所述第一层级分类以主料区分膳食，所述第二层级分类以配料区分膳食，第二层级分类是第一层级分类的子分类。
2.根据权利要求1所述的非接触式计算机视觉食物营养素识别方法，其特征在于，
在所述步骤S1中，通过深度相机拍摄膳食图像，其中，所述膳食图像含有膳食与盛放膳食的容器；
在所述步骤S2中，对膳食图像进行识别，识别得到容器，基于容器进一步识别得到膳食；
在所述步骤3中，通过已经训练好的第一神经网络，识别得到膳食在第一层级分类中的类型；其中，所述第一神经网络的训练样本包括以不同主料区分膳食的膳食图像样本；
在所述步骤4中，通过已经训练好的第二神经网络，识别得到膳食在第二层级分类中的类型；其中，每种第一类型的膳食均有多种不同的第二类型的膳食子分类。
3.根据权利要求1所述的非接触式计算机视觉食物营养素识别方法，其特征在于，在所述步骤S2中，对所述膳食图像进行识别，得到膳食的体积；
在所述步骤S5中，基于所述膳食的体积，根据所述第一类型、第二类型得到膳食的营养素信息。
4.根据权利要求3所述的非接触式计算机视觉食物营养素识别方法，其特征在于，所述得到膳食的体积，包括：
针对所述膳食图像，去除容器的点云，得到膳食的点云；对膳食的点云进行转化得到相应的网格，根据网格计算得到膳食的体积；
其中，对于固体类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积排除食料之间的空隙后得到所述膳食的体积；
其中，对于固液混合类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积依照设定的固液比例得到膳食中固体的体积和膳食中液体的体积作为所述膳食的体积。
5.一种非接触式计算机视觉食物营养素识别系统，其特征在于，包括：
模块M1：拍摄采集膳食图像；
模块M2：对所述膳食图像进行识别；
模块M3：根据识别得到的膳食，确定膳食在第一层级分类中的类型，记为第一类型；
模块M4：根据识别得到的膳食的第一类型，确定膳食在第二层级分类中的类型，记为第二类型；
模块M5：根据所述第一类型、第二类型得到膳食的营养素信息；
其中，所述第一层级分类以主料区分膳食，所述第二层级分类以配料区分膳食，第二层级分类是第一层级分类的子分类。
6.根据权利要求5所述的非接触式计算机视觉食物营养素识别系统，其特征在于，
在所述模块M1中，通过深度相机拍摄膳食图像，其中，所述膳食图像含有膳食与盛放膳食的容器；
在所述模块M2中，对膳食图像进行识别，识别得到容器，基于容器进一步识别得到膳食；
在所述步骤3中，通过已经训练好的第一神经网络，识别得到膳食在第一层级分类中的类型；其中，所述第一神经网络的训练样本包括以不同主料区分膳食的膳食图像样本；
在所述步骤4中，通过已经训练好的第二神经网络，识别得到膳食在第二层级分类中的类型；其中，每种第一类型的膳食均有多种不同的第二类型的膳食子分类。
7.根据权利要求5所述的非接触式计算机视觉食物营养素识别系统，其特征在于，在所述模块M2中，对所述膳食图像进行识别，得到膳食的体积；
在所述模块M5中，基于所述膳食的体积，根据所述第一类型、第二类型得到膳食的营养素信息。
8.根据权利要求7所述的非接触式计算机视觉食物营养素识别系统，其特征在于，所述得到膳食的体积，包括：
针对所述膳食图像，去除容器的点云，得到膳食的点云；对膳食的点云进行转化得到相应的网格，根据网格计算得到膳食的体积；
其中，对于固体类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积排除食料之间的空隙后得到所述膳食的体积；
其中，对于固液混合类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积依照设定的固液比例得到膳食中固体的体积和膳食中液体的体积作为所述膳食的体积。
9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的非接触式计算机视觉食物营养素识别方法的步骤。
10.一种膳食营养识别终端智能设备，其特征在于，包括控制器，还包括在控制器的控制下采集膳食图像的摄像头、深度相机；
所述控制器包括权利要求5至8中任一项所述的非接触式计算机视觉食物营养素识别系统，或者包括权利要求9所述的存储有计算机程序的计算机可读存储介质。
CN202210192138.0A 2022-02-28 2022-02-28 非接触式计算机视觉食物营养素识别方法和系统及设备 Pending CN114549908A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210192138.0A CN114549908A (zh) 2022-02-28 2022-02-28 非接触式计算机视觉食物营养素识别方法和系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210192138.0A CN114549908A (zh) 2022-02-28 2022-02-28 非接触式计算机视觉食物营养素识别方法和系统及设备

Publications (1)

Publication Number Publication Date
CN114549908A true CN114549908A (zh) 2022-05-27

Family

ID=81660968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210192138.0A Pending CN114549908A (zh) 2022-02-28 2022-02-28 非接触式计算机视觉食物营养素识别方法和系统及设备

Country Status (1)

Country Link
CN (1) CN114549908A (zh)

Similar Documents

Publication Publication Date Title
Chowdhury et al. Food beliefs and practices among British Bangladeshis with diabetes: implications for health education
Ma et al. Applications of computer vision for assessing quality of agri-food products: a review of recent research advances
CN114566254A (zh) 非接触式计算机视觉智能膳食营养评估方法和系统及设备
CN109841270A (zh) 基于智能设备的膳食营养健康调查评估系统及其实现方法
CN107122905B (zh) 饮食工艺管理方法、系统及其饮食标识和计算机存储介质
Davies Image processing for the food industry
KR20140146202A (ko) 영양 물질들에 대한 정보 시스템
CN110179319A (zh) 一种智能烹饪的方法及装置
Favero et al. Sources of macro-and micronutrients in Italian women: results from a food frequency questionnaire for cancer studies
CN111125516A (zh) 一种基于图像识别的智能菜谱推荐方法与系统
CN112053428A (zh) 一种识别食物所含营养信息的方法及装置
Akpa et al. Smartphone-based food weight and calorie estimation method for effective food journaling
CN115862005A (zh) 一种食品检测系统、模型训练方法和食品检测方法
CN114549854A (zh) 食物整体空间轮廓获取方法和系统及设备
CN106650244A (zh) 一种基于半定量食物频率法的营养调查分析方法及系统
CN114549908A (zh) 非接触式计算机视觉食物营养素识别方法和系统及设备
Kim et al. A study testing the usefulness of a dish-based food-frequency questionnaire developed for epidemiological studies in Korea
JP2018147415A (ja) 食事の識別システムとそのプログラム
JP7064853B2 (ja) 調理内容判別システム及び摂取内容判別システム
Anjos et al. Development of a food frequency questionnaire in a probabilistic sample of adults from Niterói, Rio de Janeiro, Brazil
CN114565662A (zh) 固体食物体积的计算方法和系统及设备
CN116092635A (zh) 一种基于人工智能的食材配比方法及装置
CN112858597A (zh) 一种食品现场检验检测用样品存放系统及方法
CN109448819A (zh) 一种孕期膳食评估方法及装置
West et al. Food preparation practices influence nutrition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination