CN109509535A - 食物体积的获取方法、食物热量的获取方法、电子设备 - Google Patents

食物体积的获取方法、食物热量的获取方法、电子设备 Download PDF

Info

Publication number
CN109509535A
CN109509535A CN201811168574.4A CN201811168574A CN109509535A CN 109509535 A CN109509535 A CN 109509535A CN 201811168574 A CN201811168574 A CN 201811168574A CN 109509535 A CN109509535 A CN 109509535A
Authority
CN
China
Prior art keywords
food
standard card
image
images
volume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811168574.4A
Other languages
English (en)
Inventor
李宇欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Health Technology Co Ltd
Original Assignee
Beijing Health Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Health Technology Co Ltd filed Critical Beijing Health Technology Co Ltd
Priority to CN201811168574.4A priority Critical patent/CN109509535A/zh
Publication of CN109509535A publication Critical patent/CN109509535A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Nutrition Science (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种食物体积的获取方法、食物热量的获取方法、电子设备,其中的方法包括如下步骤:获取至少两张图像,食物与标准卡均同时出现于同一图像中,其中的标准卡的形状数据为已知信息;针对每一图像,以食物所在区域在图像中占据的像素行数和像素列数作为第一参数,以标准卡所在区域在图像中占据的像素行数和像素列数作为第二参数;根据标准卡的形状数据、所述第一参数、所述第二参数及两张图像的视图夹角得到食物的体积。以上方案中,对于采集图像的设备没有任何要求,单目摄像头即可实现,而且仅仅有两幅图像的情况下也可以实现,计算过程简单,采用简单的处理芯片即可实现。

Description

食物体积的获取方法、食物热量的获取方法、电子设备
技术领域
本发明涉及医用设备的技术领域,具体涉及一种食物体积的获取方法、食物热量的获取方法、电子设备。
背景技术
肥胖是体内过量脂肪积聚,并可能对健康产生负面影响的医学状况。肥胖治疗要求患者吃健康食物并减少每日卡路里摄入量。对于这类患者,需要对食物的热量进行估算,目前常用的方式是通过食物照片估算食物的卡路里。
为了能准确得到食物的热量,准确估算食物的体积非常关键,得到食物体积后能够根据食物的种类结合其体积确定食物所含的热量。现有技术中大多通过如下两种方式实现体积的测算:
一种是利用单目相机拍摄一组食物的图片(20-30张),使用图像处理技术提取每张图片的特征点,并计算各个特征点的描述子,对特征点进行匹配,使用相机的内外参数估计每个特征点的空间位置,将所有照片的特征点匹配到一个三维点云中从而得到食物的三维模型。这种方案必须要针对具有复杂纹理的食物,而且需要长时间的计算(一般需要10分钟以上),并且极易受到环境、光线的影响。
另外一种是利用深度摄像头重建三维模型,对食物进行360度扫描,重建出三维模型。但深度摄像头价格较高,并适用于普通用户使用,并且不方便携带。
除此之外,现有技术中也可以采用三维激光扫描仪、红外扫描仪、散斑扫描仪,压碎性测量仪等对食物进行扫描,然而这些设备造价昂贵,成本可能达到几十万左右,使用条件极其苛刻,必须要将固定种类的食物进行特殊角度的摆放,不能随身携带方便地进行测量。甚至有些仪器需要对食物进行拆解等处理,会使得食物变得不方便食用。
发明内容
本发明旨在提供一种食物体积的获取方法、食物热量的获取方法、电子设备,以解决现有技术中对食物体积测算存在的效率低、便携性差的技术问题。
为此,本发明提供一种食物体积的获取方法,包括如下步骤:
获取至少两张图像,每一图像通过拍摄食物和标准卡的照片得到,其中食物与标准卡均同时出现于同一图像中,且其中两张图像的视图夹角大于零度;以上,所述标准卡的形状数据为已知信息;
针对每一图像,标识食物所在区域,以食物所在区域在图像中占据的像素行数和像素列数作为第一参数;
针对每一图像,标识标准卡所在区域,以标准卡所在区域在图像中占据的像素行数和像素列数作为第二参数;
根据标准卡的形状数据、所述第一参数、所述第二参数及两张图像的视图夹角得到食物的体积。
可选地,上述的食物体积的获取方法中,针对每一图像,标识食物所在区域中,基于深度卷积网络模型框选食物的边缘得到食物所在区域;针对每一图像,标识标准卡所在区域中,基于深度卷积网络模型框选标准卡的边缘得到标准卡所在区域。
可选地,上述的食物体积的获取方法中,根据标准卡的形状数据、所述第一参数、所述第二参数、所述标准卡的形状数据及两张图像的视图夹角得到食物的体积的步骤中,包括:
根据标准卡的形状数据和所述第二参数,确定图像中每一行像素和每一列像素对应的尺寸值;
根据图像中每一行像素和每一列像素对应的尺寸值、所述第二参数以及两张图像的视图夹角,确定食物的实际形状和尺寸值;
根据食物的实际形状和尺寸值,结合食物的填充率得到食物的体积。
可选地,上述的食物体积的获取方法中,根据图像中每一行像素和每一列像素对应的尺寸值和所述第二参数以及两张图像的视图夹角,确定食物的实际形状和尺寸值的步骤包括:
在每一张图像中选定多个特征点;
对两张图像进行特征点的匹配运算以确定同一特征点在两张图像中的位置;
根据同一特征点在两张图像中的位置结合两张图像的视图夹角,得到镜头到标准卡中心点的距离和镜头到食物中心点的距离;
根据镜头到标准卡中心点的距离、卡片的形状数据和镜头到食物中心点的距离得到食物的实际形状和尺寸值。
可选地,上述的食物体积的获取方法中,在获取至少两张图像,每一图像通过拍摄食物和标准卡的照片得到,其中食物与标准卡均同时出现于同一图像中,且其中两张图像的视图夹角大于零度的步骤中:
两张图像的视图夹角在25°-35°之间。
可选地,上述的食物体积的获取方法中,在获取至少两张图像,每一图像通过拍摄食物和标准卡的照片得到,其中食物与标准卡均同时出现于同一图像中,且其中两张图像的视图夹角大于零度的步骤之前,还包括:
根据标准卡的形状数据和拍摄俯仰角,在镜头的拍摄区域中划分出标准卡预置区域;
拍摄照片时调整食物与标准卡的位置关系以保证拍摄得到图像满足:标准卡位于所述标准卡预置区域内,且食物整体落入图像中;
以所述标准卡预置区域作为所述标准卡所在区域。
可选地,上述的食物体积的获取方法中,根据标准卡的形状数据和拍摄俯仰角,在镜头的拍摄区域中划分出标准卡预置区域的步骤中:
所述俯仰角在40°-48°之间。
本发明还提供一种食物热量的获取方法,包括:
采用以上任一项所述的方法获取食物的体积;
根据食物的品种查询密度表确定食物的密度,结合食物的密度和体积得到食物的质量;
根据食物的品种查询热量表确定食物的热量密度,结合食物的质量和热量密度确定食物的热量。
本发明还提供一种计算机可读存储介质,所述存储介质中存储有程序指令,计算机读取所述程序指令后执行以上任一项所述的食物体积的获取方法或食物热量的获取方法。
本发明还提供一种电子设备,包括至少一个处理器和至少一个存储器,至少一个所述存储器中存储有程序指令,至少一个所述处理器读取所述程序指令后执行以上任一项所述的食物体积的获取方法或食物热量的获取方法。
本发明提供的上述技术方案,与现有技术相比,至少具有如下有益效果:
本发明提供的食物体积的获取方法、食物热量的获取方法、电子设备,其中的方法包括如下步骤:获取至少两张图像,食物与标准卡均同时出现于同一图像中,其中的标准卡的形状数据为已知信息;针对每一图像,标识食物所在区域,以食物所在区域在图像中占据的像素行数和像素列数作为第一参数;针对每一图像,标识标准卡所在区域,以标准卡所在区域在图像中占据的像素行数和像素列数作为第二参数;根据标准卡的形状数据、所述第一参数、所述第二参数及两张图像的视图夹角得到食物的体积。以上方案中,直接利用标准卡作为参考基准,将食物与标准卡置于同于图像中,根据标准卡在图像中所占区域的大小与食物在图像中所占区域的大小进行比对,即可得到食物的尺寸与标准卡的尺寸之间的比例关系,进而根据标准卡的实际尺寸得到食物的实际尺寸,由此即可准确计算出食物的体积。上述方案中对于采集图像的设备没有任何要求,单目摄像头即可实现,而且仅仅有两幅图像的情况下也可以实现,计算过程简单,采用简单的处理芯片即可实现,很好地解决了现有技术中对食物体积测算存在的效率低、便携性差的技术问题。
附图说明
图1为本发明一个实施例所述食物体积的获取方法的流程图;
图2为本发明一个实施例所述食物体积估算的方法流程图;
图3为本发明一个实施例所述食物尺寸获取方式的流程图;
图4a和图4b为本发明一个实施例所述苹果与交通卡的不同视角的图像;
图4c为图4a中标定苹果区域和交通卡区域后的示意图;
图4d为图4b中标定苹果区域和交通卡区域后的示意图;
具体实施方式
下面将结合本实施例中附图,对本发明中的技术方案进行示例描述。在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明的简化描述,而不是指示或暗示所指的装置或组件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。其中,术语“第一位置”和“第二位置”为两个不同的位置。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个组件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
实施例1
本实施例提供一种食物体积的获取方法,可应用于食物热量检测设备的处理器芯片中或者用来估算食物体积的控制模块中,如图1所示,上述方法包括如下步骤S101-S104。其中:
S101:获取至少两张图像,每一图像通过拍摄食物和标准卡的照片得到,其中食物与标准卡均同时出现于同一图像中,且其中两张图像的视图夹角大于零度;以上,所述标准卡的形状数据为已知信息。所述标准卡可以选择现有常规卡片,例如交通卡、银行卡等,也可以选择为用户自己制备的卡片,但是需要预先将卡片的形状数据确定好并输入至相应的设备中。
其中图像可以通过如下两种方式得到:第一种,用户可以通过自己携带的手机等移动终端拍摄食物的照片,将拍摄得到的照片通过wifi、蓝牙等通信方式传输至测量食物热量的设备,供其计算食物体积使用。第二中,测量食物热量的设备自身配置摄像头,当用户启动测量食物热量的功能之后,会提示用户先通过摄像头拍摄食物的照片,由此直接可以将摄像头拍摄的照片作为图像。对于食物和标准卡的摆放位置,需要保持一定的距离,为了在拍照时能够保证将二者均置入拍摄窗口内,从而保证二者均出现在同一图像中。另外,食物与标准卡之间的距离能够保证二者有明显的分界线,即在图像中能够明确区分哪一部分是食物所在区域,哪一部分是标准卡所在区域。
另外,由于食物本身为三维立体结构,而标准卡为平面化结构,其形状信息包括长度和宽度。因此对于食物来说需要确定其至少两个视角上的尺寸信息才能够准确得到其长度、高度和宽度方向上的尺寸,从而能够计算三维立体结构的食物的体积。所以需要有两张图像的视图夹角大于零度,优选两张图像的视图夹角在25°-35°之间,最佳选择为30°左右,即至少两张图像是在不同视角上拍摄的。
S102:针对每一图像,标识食物所在区域,以食物所在区域在图像中占据的像素行数和像素列数作为第一参数。对于每一图像,能够确定其中每一像素点的灰度数据、亮度数据等,因而能够根据像素点的灰度突变位置或者亮度突变位置等准确确定食物所在区域的边缘像素点,从而确定食物所在区域。
S103:针对每一图像,标识标准卡所在区域,以标准卡所在区域在图像中占据的像素行数和像素列数作为第二参数。可以采用与步骤S102类似的方式确定标准卡所在区域。对于标准卡来说,其颜色属性为已知信息,因此当划分出食物所在区域和标准卡所在区域后,完全能够根据两个区域内的像素点的RGB值等来确定哪一区域是标准卡所在区域。
S104:根据标准卡的形状数据、所述第一参数、所述第二参数及两张图像的视图夹角得到食物的体积。在同一图像中,食物所在区域与标准卡所在区域的宽度比值、长度比值是可以确定的,结合两张图像的视图夹角,能够换算出两张图像中的长度方向关系和宽度方向关系,根据上述数据之间的比例关系,即可确定在行方向上食物尺寸与标准卡尺寸的比例关系,在列方向上食物尺寸与标准卡尺寸的比例关系,以及食物的高度与食物的长度或食物的宽度之间的比例关系,由此结合标准卡的实际尺寸可换算得到食物的实际长度、宽度和高度,进而能够计算得到食物的体积。
本实施例提供的上述方案中,直接利用标准卡作为参考基准,将食物与标准卡置于同于图像中,根据标准卡在图像中所占区域的大小与食物在图像中所占区域的大小进行比对,即可得到食物的尺寸与标准卡的尺寸之间的比例关系,进而根据标准卡的实际尺寸得到食物的实际尺寸,由此即可准确计算出食物的体积。上述方案中对于采集图像的设备没有任何要求,单目摄像头即可实现,而且仅仅有两幅图像的情况下也可以实现,计算过程简单,采用简单的处理芯片即可实现,很好地解决了现有技术中对食物体积测算存在的效率低、便携性差的技术问题。
优选地,在以上方案中,在步骤S102中,针对每一图像,标识食物所在区域中,基于深度卷积网络模型框选食物的边缘得到食物所在区域;相似地,在步骤S103中,针对每一图像,标识标准卡所在区域中,基于深度卷积网络模型框选标准卡的边缘得到标准卡所在区域。以上步骤中,利用Faster R-CNN框选食物所在区域和标准卡所在区域。而没有使用全卷积等语义分割方法网络(FCN)。如同,“https://zhuanlan.zhihu.com/p/24916624”中对Faster R-CNN所说明的,其是一个基于深度卷积网络的框架。它包括区域提议网络(RPN)和一个对象检测网络。当我们把图像以RGB通道作为输入,即可得到一系列边缘识别结果或者说目标包围框以及每个识别区域内食物的名称。以苹果为例,其中能够识别出苹果所在区域,还能够判断出食物即为苹果。当然,食物种类也可以由用户预先输入,例如为用户提供数据输入端口,即可通过输入端口输入食物品种:水果,通过水果的种类选项选择苹果即可。
如图2所示,上述方案中步骤S104可以包括如下步骤:
S201:根据标准卡的形状数据和所述第二参数,确定图像中每一行像素和每一列像素对应的尺寸值;通过图像处理算法,根据标准卡在图像中的位置,确定了占用了多少行和多少列像素点,确定标准卡的实际放置角度之后,即可确定标准卡在行方向上实际占用的像素行数及实际尺寸,也可以确定标准卡在列方向上实际占用的像素列数及实际尺寸。
S202:根据图像中每一行像素和每一列像素对应的尺寸值、所述第二参数以及两张图像的视图夹角,确定食物的实际形状和尺寸值;通过图像处理算法,根据食物在图像中的位置,确定食物占用了多少行和多少列像素点。即可确定食物在行方向和列方向上与标准卡尺寸的比例关系。根据两张图像的夹角,即可确定食物的长度、高度和宽度之间的比例关系,结合标准卡的实际尺寸,即可确定食物的实际形状和尺寸。食物的形状可以分为四大类:球,棒,流体和堆。根据不同食物形状,就可以根据此种形状的特点,使用不同的体积计算公式来计算食物体积。
S203:根据食物的实际形状和尺寸值,结合食物的填充率得到食物的体积。通过填充率来计算,可以应对数学上不规则的食物形状,通过多次实验优化不同食物、不同形状的填充率,能够使得体积测量误差在30m3范围内。填充率可以通过大量实验得到。
以上方案中,步骤S202中可以如图3所示,包括:
S301:对两张图像进行特征点的匹配运算以确定同一特征点在两张图像中的位置;特征点可以先选择其中一张图像中像素点信息明显的点,像素点信息包括相对位置,即该点距离边缘、距离区域中心的相对位置,之后根据该像素点信息去其他图像中找到相同位置点的像素点作为特征点即可。
S302:根据同一特征点在两张图像中的位置结合两张图像的视图夹角,得到镜头到标准卡中心点的距离和镜头到食物中心点的距离。也即,确定镜头在拍摄第一张图像和第二张图像时,分别确定镜头到标准卡中心点的距离和食物中心点的距离。
S303:根据镜头到标准卡中心点的距离、卡片的形状数据和镜头到食物中心点的距离得到食物的实际形状和尺寸值。镜头在拍摄图像过程中,根据拍摄的图像结合镜头自身的属性,例如焦距、分辨率等即可确定到被拍摄物体的尺寸,由此可以实现对食物的实际形状和尺寸值进行确定。
实施例2
本实施例提供的食物体积的获取方法,在上述步骤S101之前还可以包括:
S001:根据标准卡的形状数据和拍摄俯仰角,在镜头的拍摄区域中划分出标准卡预置区域;通过程序设定,可以在镜头的拍摄区域内预先规划一窗口作为标准卡预置区域,当启动拍摄功能时,能够在拍摄的镜头中看到该窗口的边界,该窗口和聚焦框区分开即可,并可同时提示将标准卡置入该窗口内。此时,可预先规定好镜头拍摄时俯仰角需要满足一定的要求,例如与标准卡平行的话就无法拍摄到完整的标准卡表面了,因此可以优选所述俯仰角在40°-48°之间,以45°角为最佳。
S002:拍摄照片时调整食物与标准卡的位置关系以保证拍摄得到图像满足:标准卡位于所述标准卡预置区域内,且食物整体落入图像中;也即保证标准卡和食物能够同时完整地出现在图像中,如果无法满足上述条件可以发出提示信息,提醒用户调整食物与卡片之间的位置关系。之后,在步骤S103中,即可直接采用所述标准卡预置区域作为所述标准卡所在区域。
以上方案能够更方便地得到标准卡所在区域,用户仅需要根据要求俯仰角度拍摄即可,操作方便且能够提高数据处理的效率。
实施例3
本实施例提供一种食物热量的获取方法,采用前述实施例中任一项所述的方法获取食物的体积;之后,根据食物的品种查询密度表确定食物的密度,结合食物的密度和体积得到食物的质量;根据食物的品种查询热量表确定食物的热量密度,结合食物的质量和热量密度确定食物的热量。
下面以苹果为例对上述方案进行详细描述:
步骤一:图像拍摄。拍摄两张图像,图4a和图4b,每一图像中应包含水果(苹果)和标准卡(交通卡),俯仰角度在45°左右,两张视图水平夹角在30°左右。
步骤二:选定水果所在区域和交通卡所在区域,如图4c和图4d所示,其中可以针对水果边缘和交通卡边缘均选定三个以上边缘点,进而确定其所在区域。具体地,可利用深度学习模型Faster R-CNN处理两张图片,进行边界的框选,得到水果的种类以及在图片中的长度和宽度(可通过占用像素行数和列数来得到)。本步骤利用Faster R-CNN框选目标水果,Faster R-CNN是一个基于深度卷积网络的框架。它包括区域提议网络(RPN)和一个对象检测网络。当我们把图像以RGB通道作为输入,得到一系列目标包围框以及每个框内水果名称。
步骤三:预估水果的体积。利用标准卡换算水果的实际尺寸,包括宽度和高度。再结合水果种类估计水果体积。水果种类分为四大类:球,棒,流体和堆。根据不同食物种类,根据此种类食物外观的特点,使用不同的体积计算公式来计算水果体积。最后再乘以此种水果的填充率,来应对数学上不规则的食物外观,以此估计食物体积。
步骤四:卡路里预估,根据估算的体积并查询密度表,计算质量,根据食物热量表换算出食物热量。分别对标准卡、水果在两张图上做三次特征点匹配,以计算标准卡在图片中的位置,对两张图像做特征点匹配还用于计算摄像机镜头到卡片及食物中心点的距离,再根据标准卡的实际尺寸,换算出水果的实际宽度和高度,由于苹果是圆形的因此只需要换算宽度作为直径即可,结合高度即可计算体积,对于其他食物有的还需要得到长度信息。Bundler是一个sfm(struct-from-motion)的系统,它能够利用无序的图片集合计算特征点的空间位置,根据其使用说明编辑指令即可,Bundler的输入是一些图像、图像特征以及图像匹配信息,输出则是一个根据这些图像反应的场景的3D重建模型,伴有少量识别得到的相机以及场景几何信息。因此,直接利用Bundler即可重建水果的三维图像并计算体积。
以上方案中,由于准确计算了食物的体积,因此能够准确得到食物所含的热量,帮助用户高效管理自己的饮食。
实施例3
本实施例提供一种计算机可读存储介质,所述存储介质中存储有程序指令,计算机读取所述程序指令后执行实施例1和2中任一方案所述的食物体积的获取方法或食物热量的获取方法。
实施例4
本实施例提供一种电子设备,其特征在于,包括至少一个处理器和至少一个存储器,至少一个所述存储器中存储有程序指令,至少一个所述处理器读取所述程序指令后执行实施例1和2中任一方案所述的食物体积的获取方法或食物热量的获取方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种食物体积的获取方法,其特征在于,包括如下步骤:
获取至少两张图像,每一图像通过拍摄食物和标准卡的照片得到,其中食物与标准卡均同时出现于同一图像中,且其中两张图像的视图夹角大于零度;以上,所述标准卡的形状数据为已知信息;
针对每一图像,标识食物所在区域,以食物所在区域在图像中占据的像素行数和像素列数作为第一参数;
针对每一图像,标识标准卡所在区域,以标准卡所在区域在图像中占据的像素行数和像素列数作为第二参数;
根据标准卡的形状数据、所述第一参数、所述第二参数及两张图像的视图夹角得到食物的体积。
2.根据权利要求1所述的食物体积的获取方法,其特征在于:
针对每一图像,标识食物所在区域中,基于深度卷积网络模型框选食物的边缘得到食物所在区域;
针对每一图像,标识标准卡所在区域中,基于深度卷积网络模型框选标准卡的边缘得到标准卡所在区域。
3.根据权利要求1所述的食物体积的获取方法,其特征在于,根据标准卡的形状数据、所述第一参数、所述第二参数、所述标准卡的形状数据及两张图像的视图夹角得到食物的体积的步骤中,包括:
根据标准卡的形状数据和所述第二参数,确定图像中每一行像素和每一列像素对应的尺寸值;
根据图像中每一行像素和每一列像素对应的尺寸值、所述第二参数以及两张图像的视图夹角,确定食物的实际形状和尺寸值;
根据食物的实际形状和尺寸值,结合食物的填充率得到食物的体积。
4.根据权利要求3所述的食物体积的获取方法,其特征在于,根据图像中每一行像素和每一列像素对应的尺寸值和所述第二参数以及两张图像的视图夹角,确定食物的实际形状和尺寸值的步骤包括:
在每一张图像中选定多个特征点;
对两张图像进行特征点的匹配运算以确定同一特征点在两张图像中的位置;
根据同一特征点在两张图像中的位置结合两张图像的视图夹角,得到镜头到标准卡中心点的距离和镜头到食物中心点的距离;
根据镜头到标准卡中心点的距离、卡片的形状数据和镜头到食物中心点的距离得到食物的实际形状和尺寸值。
5.根据权利要求1-4任一项所述的食物体积的获取方法,其特征在于,在获取至少两张图像,每一图像通过拍摄食物和标准卡的照片得到,其中食物与标准卡均同时出现于同一图像中,且其中两张图像的视图夹角大于零度的步骤中:
两张图像的视图夹角在25°-35°之间。
6.根据权利要求5所述的食物体积的获取方法,其特征在于,在获取至少两张图像,每一图像通过拍摄食物和标准卡的照片得到,其中食物与标准卡均同时出现于同一图像中,且其中两张图像的视图夹角大于零度的步骤之前,还包括:
根据标准卡的形状数据和拍摄俯仰角,在镜头的拍摄区域中划分出标准卡预置区域;
拍摄照片时调整食物与标准卡的位置关系以保证拍摄得到图像满足:标准卡位于所述标准卡预置区域内,且食物整体落入图像中;
以所述标准卡预置区域作为所述标准卡所在区域。
7.根据权利要求6所述的食物体积的获取方法,其特征在于,根据标准卡的形状数据和拍摄俯仰角,在镜头的拍摄区域中划分出标准卡预置区域的步骤中:
所述俯仰角在40°-48°之间。
8.一种食物热量的获取方法,其特征在于,包括:
采用权利要求1-8任一项所述的方法获取食物的体积;
根据食物的品种查询密度表确定食物的密度,结合食物的密度和体积得到食物的质量;
根据食物的品种查询热量表确定食物的热量密度,结合食物的质量和热量密度确定食物的热量。
9.一种计算机可读存储介质,其特征在于,所述存储介质中存储有程序指令,计算机读取所述程序指令后执行权利要求1-8任一项所述的食物体积的获取方法或食物热量的获取方法。
10.一种电子设备,其特征在于,包括至少一个处理器和至少一个存储器,至少一个所述存储器中存储有程序指令,至少一个所述处理器读取所述程序指令后执行权利要求1-8任一项所述的食物体积的获取方法或食物热量的获取方法。
CN201811168574.4A 2018-10-08 2018-10-08 食物体积的获取方法、食物热量的获取方法、电子设备 Pending CN109509535A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811168574.4A CN109509535A (zh) 2018-10-08 2018-10-08 食物体积的获取方法、食物热量的获取方法、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811168574.4A CN109509535A (zh) 2018-10-08 2018-10-08 食物体积的获取方法、食物热量的获取方法、电子设备

Publications (1)

Publication Number Publication Date
CN109509535A true CN109509535A (zh) 2019-03-22

Family

ID=65746429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811168574.4A Pending CN109509535A (zh) 2018-10-08 2018-10-08 食物体积的获取方法、食物热量的获取方法、电子设备

Country Status (1)

Country Link
CN (1) CN109509535A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111053454A (zh) * 2019-12-18 2020-04-24 广东美的白色家电技术创新中心有限公司 烹饪箱内食物的加热方法、烹饪箱及计算机存储介质
CN111524180A (zh) * 2020-04-23 2020-08-11 Oppo广东移动通信有限公司 物体体积计算方法、装置、电子设备及存储介质
CN112150533A (zh) * 2019-06-28 2020-12-29 顺丰科技有限公司 物体体积计算方法、装置、设备、及存储介质
US20210158502A1 (en) * 2019-11-26 2021-05-27 Canon Kabushiki Kaisha Analyzing apparatus and method, and image capturing system
CN113222939A (zh) * 2021-05-14 2021-08-06 广东工业大学 一种基于拇指甲标定的食物图像体积计算方法
CN111879772B (zh) * 2020-07-28 2021-11-05 食安慧(深圳)科技股份有限公司 一种基于大数据的食品安全智慧管理方法与系统
CN114066208A (zh) * 2021-11-11 2022-02-18 深圳市乐福衡器有限公司 一种食物质量的评价方法、系统、智能终端和存储介质
WO2022077348A1 (zh) * 2020-10-15 2022-04-21 京东方科技集团股份有限公司 食物体积、热量计算方法、电子装置、电子设备和存储介质
CN114581265A (zh) * 2022-03-08 2022-06-03 北京女娲补天科技信息技术有限公司 一种就餐人员食用喜好分析系统及方法
US20220222844A1 (en) * 2021-01-13 2022-07-14 Nuvilabs Co., Ltd. Method, device, and program for measuring food

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1954351A (zh) * 2004-05-19 2007-04-25 本田技研工业株式会社 车辆用行驶划分线识别装置
CN102564311A (zh) * 2012-01-13 2012-07-11 常州环视高科电子科技有限公司 利用传统相机测量物体尺寸的方法和系统
CN103148781A (zh) * 2013-01-26 2013-06-12 广西工学院鹿山学院 一种基于双目视觉的柚子体积估测方法
CN103292710A (zh) * 2013-05-27 2013-09-11 华南理工大学 一种应用双目视觉视差测距原理的距离测量方法
CN104463899A (zh) * 2014-12-31 2015-03-25 北京格灵深瞳信息技术有限公司 一种目标对象检测、监控方法及其装置
CN104778720A (zh) * 2015-05-07 2015-07-15 东南大学 一种基于空间不变特性的快速体积测量方法
US20160143582A1 (en) * 2014-11-22 2016-05-26 Medibotics Llc Wearable Food Consumption Monitor
CN107168520A (zh) * 2017-04-07 2017-09-15 北京小鸟看看科技有限公司 基于单目摄像头的追踪方法、vr设备和vr头戴设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1954351A (zh) * 2004-05-19 2007-04-25 本田技研工业株式会社 车辆用行驶划分线识别装置
CN102564311A (zh) * 2012-01-13 2012-07-11 常州环视高科电子科技有限公司 利用传统相机测量物体尺寸的方法和系统
CN103148781A (zh) * 2013-01-26 2013-06-12 广西工学院鹿山学院 一种基于双目视觉的柚子体积估测方法
CN103292710A (zh) * 2013-05-27 2013-09-11 华南理工大学 一种应用双目视觉视差测距原理的距离测量方法
US20160143582A1 (en) * 2014-11-22 2016-05-26 Medibotics Llc Wearable Food Consumption Monitor
CN104463899A (zh) * 2014-12-31 2015-03-25 北京格灵深瞳信息技术有限公司 一种目标对象检测、监控方法及其装置
CN104778720A (zh) * 2015-05-07 2015-07-15 东南大学 一种基于空间不变特性的快速体积测量方法
CN107168520A (zh) * 2017-04-07 2017-09-15 北京小鸟看看科技有限公司 基于单目摄像头的追踪方法、vr设备和vr头戴设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
梁炎超,李建华: "基于深度学习的食物卡路里估算方法", 《华东理工大学学报》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150533A (zh) * 2019-06-28 2020-12-29 顺丰科技有限公司 物体体积计算方法、装置、设备、及存储介质
US20210158502A1 (en) * 2019-11-26 2021-05-27 Canon Kabushiki Kaisha Analyzing apparatus and method, and image capturing system
US11763437B2 (en) * 2019-11-26 2023-09-19 Canon Kabushiki Kaisha Analyzing apparatus and method, and image capturing system
CN111053454A (zh) * 2019-12-18 2020-04-24 广东美的白色家电技术创新中心有限公司 烹饪箱内食物的加热方法、烹饪箱及计算机存储介质
CN111524180A (zh) * 2020-04-23 2020-08-11 Oppo广东移动通信有限公司 物体体积计算方法、装置、电子设备及存储介质
CN111879772B (zh) * 2020-07-28 2021-11-05 食安慧(深圳)科技股份有限公司 一种基于大数据的食品安全智慧管理方法与系统
WO2022077348A1 (zh) * 2020-10-15 2022-04-21 京东方科技集团股份有限公司 食物体积、热量计算方法、电子装置、电子设备和存储介质
US20220222844A1 (en) * 2021-01-13 2022-07-14 Nuvilabs Co., Ltd. Method, device, and program for measuring food
CN113222939B (zh) * 2021-05-14 2023-04-07 广东工业大学 一种基于拇指甲标定的食物图像体积计算方法
CN113222939A (zh) * 2021-05-14 2021-08-06 广东工业大学 一种基于拇指甲标定的食物图像体积计算方法
CN114066208A (zh) * 2021-11-11 2022-02-18 深圳市乐福衡器有限公司 一种食物质量的评价方法、系统、智能终端和存储介质
CN114581265A (zh) * 2022-03-08 2022-06-03 北京女娲补天科技信息技术有限公司 一种就餐人员食用喜好分析系统及方法
CN114581265B (zh) * 2022-03-08 2022-09-20 北京女娲补天科技信息技术有限公司 一种就餐人员食用喜好分析系统及方法

Similar Documents

Publication Publication Date Title
CN109509535A (zh) 食物体积的获取方法、食物热量的获取方法、电子设备
CN109801374B (zh) 一种通过多角度图像集重构三维模型的方法、介质及系统
CN104173054B (zh) 基于双目视觉技术的人体身高测量方法及其装置
US20150381965A1 (en) Systems and methods for depth map extraction using a hybrid algorithm
CN100443856C (zh) 一种平面叶片面积无损测量系统及其方法
CN105654547B (zh) 三维重建方法
CN109559371B (zh) 一种用于三维重建的方法和装置
Rahman et al. Food volume estimation in a mobile phone based dietary assessment system
CN109211264A (zh) 测量系统的标定方法、装置、电子设备及可读存储介质
US9294682B2 (en) Information processing device, information processing method, and program for light source estimation
CN107580777A (zh) 色彩调节
CN109795830A (zh) 自动定位物流托盘的方法及装置
CN111630524A (zh) 测量物体参数的方法及装置
CN101534698A (zh) 用于表面测量的系统和方法
Mattoccia et al. A passive RGBD sensor for accurate and real-time depth sensing self-contained into an FPGA
US20160072986A1 (en) Body part imaging system
US20190114801A1 (en) Interactive interface system, work assistance system, kitchen assistance system, and interactive interface system calibration method
CN110232707A (zh) 一种测距方法及装置
CN109640066A (zh) 高精度稠密深度图像的生成方法和装置
CN104596419A (zh) 一种基于双摄像头测量物体质量的方法、装置和终端
CN112016570A (zh) 用于背景板同步旋转采集中的三维模型生成方法
CN107966100A (zh) 基于相机阵列的测量方法及测量系统
CN113947658A (zh) 水下三维重构装置以及方法
CN109345624A (zh) 一种自动识别食物热量的估算方法及系统
CN109547692A (zh) 图像姿态矫正方法、设备及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190322

RJ01 Rejection of invention patent application after publication