CN114566254A - 非接触式计算机视觉智能膳食营养评估方法和系统及设备 - Google Patents

Abstract

本发明提供了一种非接触式计算机视觉智能膳食营养评估方法和系统及设备，包括：获取膳食图像，根据所述膳食图像识别膳食的菜品；针对所述膳食图像，去除容器的点云，得到膳食的点云；对膳食的点云进行转化得到相应的网格，根据网格计算得到膳食的体积；按照菜品对应的膳食单位体积与营养素的关系，根据所述膳食的体积，得到膳食的营养素含量；比对所述膳食的营养素含量与设定的营养素需求量，得到评估结果。本发明根据采集到的膳食图像得到膳食的菜品与体积，并进一步计算得到营养素含量，从而实现膳食合理度的自动化与智能化的评估。特别适用于食堂等集中就餐场景下的膳食评估，也可用于家庭就餐、在外就餐等各种场景下的个体化精准营养评估。

Description

非接触式计算机视觉智能膳食营养评估方法和系统及设备

技术领域

本发明涉及膳食营养评估领域，具体地，涉及非接触式计算机视觉智能膳食营养评估方法和系统及设备。

背景技术

如今合理膳食越来越引起社会的重视，其与人们的用餐营养与生活健康密切相关。合理膳食带来的合理营养能够满足人体生长、发育和各种生理、体力活动所需，即合理膳食是保证健康的基础。现今我国居民营养健康状况明显改善，但仍面临营养不足与过剩并存、营养相关疾病多发等问题。

专利文献CN110517752A公开了一种实时采集膳食摄入信息的方法：在光线充足的地方将网格背景图平铺于水平桌面；将调查对象平常摄入量的食物放入到标准餐具内，再将盛有食物的标准餐具摆放在网格背景图；进餐前、后用智能摄像设备分别从正上方、侧方、前斜上方和后斜上方四个方向对膳食进行摄像；通过“膳食助手”微信小程序，向后台专业评估人员传送调查对象的基本信息和进餐膳食信息；后台专业人员收到膳食图像后，根据膳食图像和食物原料及烹调方法，结合预先制定的食物评估参比图谱，对调查对象膳食中各种食物的摄入情况进行估量，并用于后期的膳食评价及指导。该专利文献的不足之处是，对膳食的评估主要由人工完成，智能化水平有待提高。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种非接触式计算机视觉智能膳食营养评估方法和系统及设备。

根据本发明提供的一种非接触式计算机视觉智能膳食营养评估方法，包括：

步骤S1：获取膳食图像，根据所述膳食图像识别膳食的菜品，其中，所述膳食图像含有容器和盛放在容器中的膳食；

步骤S2：针对所述膳食图像，去除容器的点云，得到膳食的点云；

步骤S3：对膳食的点云进行转化得到相应的网格，根据网格计算得到膳食的体积；

步骤S4：按照菜品对应的膳食单位体积与营养素的关系，根据所述膳食的体积，得到膳食的营养素含量；

步骤S5：比对所述膳食的营养素含量与设定的营养素需求量，得到评估结果。

优选地，在所述步骤S1中，所述膳食的菜品的属性包括固体类、固液混合类、液体类；

在所述步骤S3中：

对于固体类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积排除食料之间的空隙后得到所述膳食的体积；

对于固液混合类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积依照设定的固液比例得到膳食中固体的体积和膳食中液体的体积作为所述膳食的体积；

对于液体类属性的菜品，根据对应于膳食表面的网格面计算所述膳食的体积。

优选地，在所述步骤S1中，根据所述膳食图像识别得到容器的特征信息；

在所述步骤S2中，根据所述容器的特征信息去除该特征信息指示的容器的点云，并且得到该特征信息指示的容器中盛放膳食的实际尺寸的容器内表面的网格面；根据容器的点云、膳食的点云，得到容器内表面与膳食的交界线；

在所述步骤S3中，所述根据对应于膳食表面的网格面计算膳食的整体体积，包括：

步骤S3.1：将所述对应于膳食表面的网格面放大到实际尺寸；

步骤S3.2：根据所述交界线，得到所述容器内表面的网格面位于交界线下部的部分；

步骤S3.3：将实际尺寸的膳食表面的网格面与所述容器内表面的网格面位于交界线下部的部分合成为一个封闭的空间曲面；

步骤S3.4：将所述封闭的空间曲面内部空间的体积，作为所述膳食的体积。

优选地，在所述步骤S1中，所述膳食图像包括：摄像头拍摄的俯视视角的二维信息图像、深度相机拍摄的三维信息图像；

根据所述二维信息图像通过已训练的神经网络识别得到膳食的菜品、容器；

根据所述三维信息图像得到容器的点云、膳食的点云。

根据本发明提供的一种非接触式计算机视觉智能膳食营养评估系统，包括：

模块M1：获取膳食图像，根据所述膳食图像识别膳食的菜品，其中，所述膳食图像含有容器和盛放在容器中的膳食；

模块M2：针对所述膳食图像，去除容器的点云，得到膳食的点云；

模块M3：对膳食的点云进行转化得到相应的网格，根据网格计算得到膳食的体积；

模块M4：按照菜品对应的膳食单位体积与营养素的关系，根据所述膳食的体积，得到膳食的营养素含量；

模块M5：比对所述膳食的营养素含量与设定的营养素需求量，得到评估结果。

优选地，在所述模块M1中，所述膳食的菜品的属性包括固体类、固液混合类、液体类；

在所述模块M3中：

对于固体类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积排除食料之间的空隙后得到所述膳食的体积；

对于固液混合类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积依照设定的固液比例得到膳食中固体的体积和膳食中液体的体积作为所述膳食的体积；

对于液体类属性的菜品，根据对应于膳食表面的网格面计算所述膳食的体积。

优选地，在所述模块M1中，根据所述膳食图像识别得到容器的特征信息；

在所述模块M2中，根据所述容器的特征信息去除该特征信息指示的容器的点云，并且得到该特征信息指示的容器中盛放膳食的实际尺寸的容器内表面的网格面；根据容器的点云、膳食的点云，得到容器内表面与膳食的交界线；

在所述模块M3中，所述根据对应于膳食表面的网格面计算膳食的整体体积，包括：

模块M3.1：将所述对应于膳食表面的网格面放大到实际尺寸；

模块M3.2：根据所述交界线，得到所述容器内表面的网格面位于交界线下部的部分；

模块M3.3：将实际尺寸的膳食表面的网格面与所述容器内表面的网格面位于交界线下部的部分合成为一个封闭的空间曲面；

模块M3.4：将所述封闭的空间曲面内部空间的体积，作为所述膳食的体积。

优选地，在所述模块M1中，所述膳食图像包括：摄像头拍摄的俯视视角的二维信息图像、深度相机拍摄的三维信息图像；

根据所述二维信息图像通过已训练的神经网络识别得到膳食的菜品、容器；

根据所述三维信息图像得到容器的点云、膳食的点云。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现所述的非接触式计算机视觉智能膳食营养评估方法的步骤。

根据本发明提供的一种膳食营养评估终端智能设备，包括控制器，还包括在控制器的控制下采集膳食图像的摄像头、深度相机；

所述控制器包括所述的非接触式计算机视觉智能膳食营养评估系统，或者包括所述的存储有计算机程序的计算机可读存储介质。

与现有技术相比，本发明具有如下的有益效果：

1、本发明通过智能化的手段，根据采集到的膳食图像得到膳食的菜品与体积，并进一步计算得到营养素含量，从而实现膳食合理度的自动化与智能化的评估。

2、本发明特别适用于食堂等集中就餐场景下的膳食评估，可用于家庭就餐、在外就餐等各种场景下的个体化精准营养评估。

3、本发明可以应用于各类人群实时、长期营养监测评估，例如一般人群、特殊年龄/职业/工作环境人群、疾病人群等，还可以应用于慢病风险因素评估，例如人体成分、身体活动、睡眠等连续监测与评估。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的整体步骤流程示意图。

图2为本发明的计算膳食的整体体积的步骤流程示意图。

图3为本发明的摄像头采集的膳食与容器俯视视角的二维信息图像示意图。

图4为本发明的深度相机采集的膳食与容器的三维信息图像示意图。

图5为本发明的膳食体积计算的原理示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

如图1所示，根据本发明提供的一种非接触式计算机视觉智能膳食营养评估方法，包括：

步骤S1：获取膳食图像，根据所述膳食图像识别膳食的菜品，其中，所述膳食图像含有容器和盛放在容器中的膳食；

步骤S2：针对所述膳食图像，去除容器的点云，得到膳食的点云；

步骤S3：对膳食的点云进行转化得到相应的网格，根据网格计算得到膳食的体积；

步骤S4：按照菜品对应的膳食单位体积与营养素的关系，根据所述膳食的体积，得到膳食的营养素含量；

步骤S5：比对所述膳食的营养素含量与设定的营养素需求量，得到评估结果。

下面对本发明中的各个步骤进行更为具体的说明。

在所述步骤S1中，所述膳食图像包括：摄像头拍摄的俯视视角的二维信息图像、深度相机拍摄的三维信息图像，分别如图3所示的二维信息图像，图4所示的三维信息图像。根据所述二维信息图像通过已训练的神经网络就能够识别得到膳食的菜品、容器。在训练过程中，准备不同菜品与容器的组合的图像作为样本，使得神经网络能够识别相应的菜品与容器。所述膳食的菜品为膳食的名称，即菜名，以区分不同的膳食。例如在同样的体积下，炒青椒的蛋白质含量要小于烧肉丝的蛋白质含量，因此需要对不同膳食进行区分，以利用已知的信息根据膳食的体积得到膳食的营养素含量。所述膳食的菜品的属性包括固体类、固液混合类、液体类，以使得膳食体积的计算更加符合实际。

例如菜品可以是番茄炒鸡蛋、青椒炒肉丝、土豆炖牛肉、豆角炖小排、豆腐菌菇汤、皮蛋瘦肉粥。在这些菜品中，将番茄炒鸡蛋、青椒炒肉丝的属性归类为固体类，固体类膳食以固体食材为主，汤汁较少，汤汁表面在俯视视角下因为被固体食材遮挡而不可见；将土豆炖牛肉、豆角炖小排的属性归类为固液混合类，固液混合类膳食的以固体食材为主，汤汁较多，汤汁表面在俯视视角下可见，但汤汁表面区域小于固体食材表面区域；将豆腐菌菇汤、皮蛋瘦肉粥的属性归类为液体类，液体类膳食以流质为主，固体为辅，流质表面在俯视视角下可见，流质表面区域大于固体食材表面区域。

对于固体类属性的番茄炒鸡蛋、青椒炒肉丝等膳食，不同食材之间以及相同食材之间均会存在空隙，将这些空隙排除则可以提高计算准确度。对于固液混合类属性的土豆炖牛肉、豆角炖小排等膳食，牛肉、土豆、豆角、小排的一部分被浸没在汤汁的表面之下而不可见，因此需要估算出汤汁表面之下固体食材的体积。对于液体类属性的豆腐菌菇汤、皮蛋瘦肉粥等膳食，其主要以汤汁为主，因此基于汤汁表面的面积来计算膳食的整体体积。

盛放有膳食的容器放置在承载平面上，承载平面与摄像头之间的距离是已知的，承载平面与深度相机之间的距离也是已知的，容器的直径等尺寸信息和表面形状等三维模型信息也是已知的，因此在获得二维信息图像后，通过容器在二维信息图像中的直径尺寸与容器实际的直径尺寸之间的比例，基于膳食在二维信息图像中的尺寸，就能够得到换算为膳食实际尺寸的缩放比例。优选例中，承载平面与摄像头之间的距离是固定值，承载平面与深度相机之间的距离也是固定值，在装配承载平面、摄像头、深度相机时按照固定值进行组装。其中，所述二维信息图像为彩色图像，可见膳食、容器、承载平面。三维信息图像中可见膳食、容器、承载平面。相应地，为识别膳食与容器的深度学习神经网络的学习样本中也含有膳食、容器、承载平面。其中，所述三维信息图像记载了点云数据，根据三维信息图像得到容器的点云、膳食的点云。具体是俯视视角下，容器表面未被膳食遮挡的区域对应的点云，以及膳食表面对应的点云。由于膳食底部的形状受到容器的用来盛放膳食的内表面的限制，可以用所述内表面的形状轮廓作为膳食底部的形状轮廓，而膳食顶部的形状受到盛菜人的操作而会发生变化，例如即使是同一菜品的膳食，若菜量不同，则膳食顶部的高度是不同的，又例如在相同的菜量下，盛菜人习惯将膳食平均铺设，还是以堆积方式形成金字塔状，其膳食顶部的形状也是不同的。因此，通过深度相机采集膳食顶部对应的点云来反映其形状有助于后续营养素的精确评估。

在所述步骤2中，根据所述膳食图像和已知信息，去除容器的点云，得到膳食的点云；其中，所述已知信息包括容器的三维模型。为了得到膳食顶部的形状，需将膳食的点云区分于容器的点云。容器的信息是已知的，由于深度相机与容器及其摆放的承载平买之间的距离也是已知的，因此可以将三维信息图像中容器的尺寸与已知的容器三维模型的尺寸调整到一个统一的尺寸缩放比例下。在统一尺寸缩放比例下，将三维信息图像中的点云与容器三维模型进行重叠，其中，容器外边缘，例如盘子的口沿，高于承载平面，据此识别得到三维信息图像中容器外边缘，将容器三维模型外边缘与三维信息图像中容器外边缘重合，将与容器三维模型重叠的点云识别为容器的点云，将容器点云内部的点云识别为膳食的点云。在变化例中，基于已知的容器的颜色，也可以通过颜色来识别容器的点云与膳食的点云。为了便于识别容器，还可以在容器表面设置标识信息，例如二维码等。

在所述步骤S3中：对于固体类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积排除食料之间的空隙后得到所述膳食的体积；例如，在菜品椒盐排条中，排条是长条形的，排条与排条之间通常并非是整齐地依次排布，而是相互交叠堆积，排条与排条之间具有较大的空隙，若将空隙也计入膳食的体积并参与到营养素的计算评估中，则会造成评估结果的不准确，因此需要将空隙排除。

对于固液混合类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积依照设定的固液比例得到膳食中固体的体积和膳食中液体的体积作为所述膳食的体积；例如，土豆牛腩属于炖菜，相对于炒菜而言汤汁明显较多，属于固液混合类属性的菜品，除了汤汁液面上可见的土豆块与牛腩块之外，在汤汁中还浸没了另一部分的土豆块和牛腩块，因此，通过设定的固液比例，例如典型值，可以得到膳食中固体和液体分别的体积，从而分别评估固体、液体中的营养素，并能够加权求和得到营养素的总和。

对于液体类属性的菜品，根据对应于膳食表面的网格面计算所述膳食的体积。例如，酸辣汤、粥等均是以液体流质为主的膳食，这类膳食的表面由汤水的表面构成，而其中固体均浸没在汤水中。

更为具体地，如图2所示，在所述步骤S3中，所述根据对应于膳食表面的网格面计算膳食的整体体积，包括：

步骤S3.1：将所述对应于膳食表面的网格面放大到实际尺寸；根据已知的承载平面与深度相机之间的距离、已知的容器的高度、直径等尺寸的三维模型，如上文所述，可以得到缩放比例，将对应于膳食表面的网格面放大到实际尺寸。步骤S3.2：根据所述交界线，得到所述容器内表面的网格面位于交界线下部的部分。具体而言，为了得到交界线，在所述步骤S1中，根据所述膳食图像识别得到容器的特征信息，其中，所述特征信息例如可以是二维码，二维码用于指示唯一的一个容器或者用于指示唯一的相同规格的一个容器类别；然后在所述步骤S2中，根据所述容器的特征信息去除该特征信息指示的容器的点云，并且得到该特征信息指示的容器中盛放膳食的实际尺寸的容器内表面的网格面；根据容器的点云、膳食的点云，得到容器内表面与膳食的交界线，即，容器内表面与膳食表面的网格面两者之间的交界线。在优选例中，尤其是，基于已区分了容器的点云与膳食的点云，在三维信息图像中，设置与圆形容器同轴的多个线圈，线圈与容器的点云、膳食的点云接触，统计各个线圈上容器的点、膳食的点两者的数量，将两者数量相等对应的线圈作为所述交界线。步骤S3.3：将实际尺寸的膳食表面的网格面与所述容器内表面的网格面位于交界线下部的部分合成为一个封闭的空间曲面；如图5所示，图5示出了实际尺寸的膳食表面的网格面100、容器内表面的网格面200、容器内表面的网格面位于交界线下部的部分300、交界线400、容器500。步骤S3.4：将所述封闭的空间曲面内部空间的体积，作为所述膳食的体积。

在所述步骤S4中，根据膳食的体积，得到膳食的重量，其中，膳食单位体积与营养素的关系可以通过膳食单位重量与营养素的关系进行表示，例如将膳食的体积乘以每单位体积营养素含量得到膳食的营养素含量，也可以将膳食的重量乘以每单位质量营养素含量得到膳食的营养素含量。

在所述步骤S5中，比对所述膳食的营养素含量与设定的营养素需求量，得到评估结果。若膳食的营养素含量低于设定的营养素需求量，则评估结果为提示营养补充不足；若膳食的营养素含量高于设定的营养素需求量，则评估结果为提示营养过剩；若膳食的营养素含量等于设定的营养素需求量，则评估结果为提示营养适中。其中，营养素需求量可以是一个值，也可以是一个数值范围。

根据本发明提供的一种非接触式计算机视觉智能膳食营养评估系统，包括：

模块M1：获取膳食图像，根据所述膳食图像识别膳食的菜品，其中，所述膳食图像含有容器和盛放在容器中的膳食；

模块M2：针对所述膳食图像，去除容器的点云，得到膳食的点云；

模块M3：对膳食的点云进行转化得到相应的网格，根据网格计算得到膳食的体积；

模块M4：按照菜品对应的膳食单位体积与营养素的关系，根据所述膳食的体积，得到膳食的营养素含量；

模块M5：比对所述膳食的营养素含量与设定的营养素需求量，得到评估结果。

在所述模块M1中，所述膳食的菜品的属性包括固体类、固液混合类、液体类；

在所述模块M3中：

对于固体类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积排除食料之间的空隙后得到所述膳食的体积；

对于固液混合类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积依照设定的固液比例得到膳食中固体的体积和膳食中液体的体积作为所述膳食的体积；

对于液体类属性的菜品，根据对应于膳食表面的网格面计算所述膳食的体积。

在所述模块M1中，根据所述膳食图像识别得到容器的特征信息；

在所述模块M2中，根据所述容器的特征信息去除该特征信息指示的容器的点云，并且得到该特征信息指示的容器中盛放膳食的实际尺寸的容器内表面的网格面；根据容器的点云、膳食的点云，得到容器内表面与膳食的交界线；

在所述模块M3中，所述根据对应于膳食表面的网格面计算膳食的整体体积，包括：

模块M3.1：将所述对应于膳食表面的网格面放大到实际尺寸；

模块M3.2：根据所述交界线，得到所述容器内表面的网格面位于交界线下部的部分；

模块M3.3：将实际尺寸的膳食表面的网格面与所述容器内表面的网格面位于交界线下部的部分合成为一个封闭的空间曲面；

模块M3.4：将所述封闭的空间曲面内部空间的体积，作为所述膳食的体积。

在所述模块M1中，所述膳食图像包括：摄像头拍摄的俯视视角的二维信息图像、深度相机拍摄的三维信息图像；

根据所述二维信息图像通过已训练的神经网络识别得到膳食的菜品、容器；

根据所述三维信息图像得到容器的点云、膳食的点云。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现所述的非接触式计算机视觉智能膳食营养评估方法的步骤。

根据本发明提供的一种膳食营养评估终端智能设备，包括控制器，还包括在控制器的控制下采集膳食图像的摄像头、深度相机；

所述控制器包括所述的非接触式计算机视觉智能膳食营养评估系统，或者包括所述的存储有计算机程序的计算机可读存储介质。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种非接触式计算机视觉智能膳食营养评估方法，其特征在于，包括：

步骤S1：获取膳食图像，根据所述膳食图像识别膳食的菜品，其中，所述膳食图像含有容器和盛放在容器中的膳食；

步骤S2：针对所述膳食图像，去除容器的点云，得到膳食的点云；

步骤S3：对膳食的点云进行转化得到相应的网格，根据网格计算得到膳食的体积；

步骤S4：按照菜品对应的膳食单位体积与营养素的关系，根据所述膳食的体积，得到膳食的营养素含量；

步骤S5：比对所述膳食的营养素含量与设定的营养素需求量，得到评估结果。

2.根据权利要求1所述的非接触式计算机视觉智能膳食营养评估方法，其特征在于，在所述步骤S1中，所述膳食的菜品的属性包括固体类、固液混合类、液体类；

在所述步骤S3中：

对于固体类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积排除食料之间的空隙后得到所述膳食的体积；

对于固液混合类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积依照设定的固液比例得到膳食中固体的体积和膳食中液体的体积作为所述膳食的体积；

对于液体类属性的菜品，根据对应于膳食表面的网格面计算所述膳食的体积。

3.根据权利要求2所述的非接触式计算机视觉智能膳食营养评估方法，其特征在于，在所述步骤S1中，根据所述膳食图像识别得到容器的特征信息；

在所述步骤S2中，根据所述容器的特征信息去除该特征信息指示的容器的点云，并且得到该特征信息指示的容器中盛放膳食的实际尺寸的容器内表面的网格面；根据容器的点云、膳食的点云，得到容器内表面与膳食的交界线；

在所述步骤S3中，所述根据对应于膳食表面的网格面计算膳食的整体体积，包括：

步骤S3.1：将所述对应于膳食表面的网格面放大到实际尺寸；

步骤S3.2：根据所述交界线，得到所述容器内表面的网格面位于交界线下部的部分；

步骤S3.3：将实际尺寸的膳食表面的网格面与所述容器内表面的网格面位于交界线下部的部分合成为一个封闭的空间曲面；

步骤S3.4：将所述封闭的空间曲面内部空间的体积，作为所述膳食的体积。

4.根据权利要求1所述的非接触式计算机视觉智能膳食营养评估方法，其特征在于，

在所述步骤S1中，所述膳食图像包括：摄像头拍摄的俯视视角的二维信息图像、深度相机拍摄的三维信息图像；

根据所述二维信息图像通过已训练的神经网络识别得到膳食的菜品、容器；

根据所述三维信息图像得到容器的点云、膳食的点云。

5.一种非接触式计算机视觉智能膳食营养评估系统，其特征在于，包括：

模块M1：获取膳食图像，根据所述膳食图像识别膳食的菜品，其中，所述膳食图像含有容器和盛放在容器中的膳食；

模块M2：针对所述膳食图像，去除容器的点云，得到膳食的点云；

模块M3：对膳食的点云进行转化得到相应的网格，根据网格计算得到膳食的体积；

模块M4：按照菜品对应的膳食单位体积与营养素的关系，根据所述膳食的体积，得到膳食的营养素含量；

模块M5：比对所述膳食的营养素含量与设定的营养素需求量，得到评估结果。

6.根据权利要求5所述的非接触式计算机视觉智能膳食营养评估系统，其特征在于，在所述模块M1中，所述膳食的菜品的属性包括固体类、固液混合类、液体类；

在所述模块M3中：

对于固体类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积排除食料之间的空隙后得到所述膳食的体积；

对于固液混合类属性的菜品，根据对应于膳食表面的网格面计算膳食的整体体积，并将所述整体体积依照设定的固液比例得到膳食中固体的体积和膳食中液体的体积作为所述膳食的体积；

对于液体类属性的菜品，根据对应于膳食表面的网格面计算所述膳食的体积。

7.根据权利要求6所述的非接触式计算机视觉智能膳食营养评估系统，其特征在于，在所述模块M1中，根据所述膳食图像识别得到容器的特征信息；

在所述模块M2中，根据所述容器的特征信息去除该特征信息指示的容器的点云，并且得到该特征信息指示的容器中盛放膳食的实际尺寸的容器内表面的网格面；根据容器的点云、膳食的点云，得到容器内表面与膳食的交界线；

在所述模块M3中，所述根据对应于膳食表面的网格面计算膳食的整体体积，包括：

模块M3.1：将所述对应于膳食表面的网格面放大到实际尺寸；

模块M3.2：根据所述交界线，得到所述容器内表面的网格面位于交界线下部的部分；

模块M3.3：将实际尺寸的膳食表面的网格面与所述容器内表面的网格面位于交界线下部的部分合成为一个封闭的空间曲面；

模块M3.4：将所述封闭的空间曲面内部空间的体积，作为所述膳食的体积。

8.根据权利要求5所述的非接触式计算机视觉智能膳食营养评估系统，其特征在于，

在所述模块M1中，所述膳食图像包括：摄像头拍摄的俯视视角的二维信息图像、深度相机拍摄的三维信息图像；

根据所述二维信息图像通过已训练的神经网络识别得到膳食的菜品、容器；

根据所述三维信息图像得到容器的点云、膳食的点云。

9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的非接触式计算机视觉智能膳食营养评估方法的步骤。

10.一种膳食营养评估终端智能设备，其特征在于，包括控制器，还包括在控制器的控制下采集膳食图像的摄像头、深度相机；

所述控制器包括权利要求5至8中任一项所述的非接触式计算机视觉智能膳食营养评估系统，或者包括权利要求9所述的存储有计算机程序的计算机可读存储介质。

Images