CN111127545A - 基于三维参照物和膳食图像分析的膳食调查及评估方法 - Google Patents
基于三维参照物和膳食图像分析的膳食调查及评估方法 Download PDFInfo
- Publication number
- CN111127545A CN111127545A CN202010058086.9A CN202010058086A CN111127545A CN 111127545 A CN111127545 A CN 111127545A CN 202010058086 A CN202010058086 A CN 202010058086A CN 111127545 A CN111127545 A CN 111127545A
- Authority
- CN
- China
- Prior art keywords
- food
- meal
- outer frame
- axis
- inner frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000012054 meals Nutrition 0.000 title claims abstract description 115
- 238000011156 evaluation Methods 0.000 title abstract description 35
- 238000011835 investigation Methods 0.000 title description 10
- 238000010191 image analysis Methods 0.000 title description 4
- 235000013305 food Nutrition 0.000 claims abstract description 142
- 238000000034 method Methods 0.000 claims abstract description 73
- 235000005911 diet Nutrition 0.000 claims abstract description 64
- 230000037213 diet Effects 0.000 claims abstract description 40
- 230000000378 dietary effect Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 4
- 229920001903 high density polyethylene Polymers 0.000 claims description 3
- 239000004700 high-density polyethylene Substances 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 230000001788 irregular Effects 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 239000002184 metal Substances 0.000 claims description 3
- 229920003229 poly(methyl methacrylate) Polymers 0.000 claims description 3
- 239000004926 polymethyl methacrylate Substances 0.000 claims description 3
- 238000011160 research Methods 0.000 claims description 2
- 239000011347 resin Substances 0.000 claims description 2
- 229920005989 resin Polymers 0.000 claims description 2
- 229920001296 polysiloxane Polymers 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 10
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 238000003703 image analysis method Methods 0.000 description 7
- 235000016709 nutrition Nutrition 0.000 description 4
- 230000035764 nutrition Effects 0.000 description 4
- 239000003292 glue Substances 0.000 description 3
- 238000005303 weighing Methods 0.000 description 3
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 239000000741 silica gel Substances 0.000 description 2
- 229910002027 silica gel Inorganic materials 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 240000001592 Amaranthus caudatus Species 0.000 description 1
- 235000009328 Amaranthus caudatus Nutrition 0.000 description 1
- 241000758791 Juglandaceae Species 0.000 description 1
- 244000046052 Phaseolus vulgaris Species 0.000 description 1
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 1
- 239000004698 Polyethylene Substances 0.000 description 1
- 240000006677 Vicia faba Species 0.000 description 1
- 235000010749 Vicia faba Nutrition 0.000 description 1
- 235000002098 Vicia faba var. major Nutrition 0.000 description 1
- 241000219094 Vitaceae Species 0.000 description 1
- 235000012735 amaranth Nutrition 0.000 description 1
- 239000004178 amaranth Substances 0.000 description 1
- 235000013405 beer Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000013339 cereals Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229940112822 chewing gum Drugs 0.000 description 1
- 235000015218 chewing gum Nutrition 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 235000021021 grapes Nutrition 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000003715 nutritional status Nutrition 0.000 description 1
- 235000014571 nuts Nutrition 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 235000013580 sausages Nutrition 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 235000020234 walnut Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Nutrition Science (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供一种膳食拍照参照物、膳食记录方法以及膳食图像的测量分析方法和分析系统。所述膳食拍照参照物由内框架、外框架和内外框架连接部组成，内框架、外框架内部和外部均设置标尺，可提供二维或三维坐标体系，方便使用者作为膳食拍照参照物用于膳食的测量和评估；将上述拍照参照物与食物同框、从不同角度拍照记录膳食；对使用上述膳食拍照参照体系获得的膳食图像进行测量，估计食物体积，再根据食物体积‑重量关系(食物密度)获得食物的重量。本发明所述方法无论在食物尺寸还是食物重量的估计上都与真实值更为接近，同时也提高了评估结果的客观性和自动化程度，为后续人工智能在膳食评估领域的应用奠定了基础。
Description
技术领域
本发明涉及营养、膳食管理领域，具体涉及一种可对接互联网+及人工智能技术的较为精准的膳食调查(或记录)系统和评估方法。
背景技术
膳食是获得营养的基础，也是了解营养状况的重要途径和手段。在健康中国的大背景下，国家加大力度开展全国范围的居民膳食情况基础资源调查，老百姓也对自己的膳食营养空前关注，因此，迫切需要便捷、准确的膳食调查和评估方法来获得大样本的膳食基础数据，用以指导人们健康饮食、并为国家相关政策的制定提供依据。
目前常用且较为公认的膳食调查方法包括回顾性调查(如24小时膳食回顾法和食物频率法)和前瞻性调查(称重法和记账法)两类，其中，24小时膳食回顾和食物频率法均依赖被调查者的回忆，存在回忆偏倚，对食物重量估计的准确性也欠佳；称重法虽能获得较为准确的食物重量，但操作较为繁琐，不适用于大规模人群研究，繁琐操作也会改变被调查者饮食习惯，从而无法反映真实情况；记账法也同样存在漏记和食物重量估计不准确的问题。随着科技的发展和电子数码产品的普及,摄像机、基于互联网和数字终端的设备和软件逐渐应用于膳食调查，意愿调查表明，无论是临床、科研工作者还是普通老百姓，都愿意选择拍照这种简单易操作的方式来记录自己的膳食。
为了更好地对拍照记录的膳食进行评估，拍照时最好能有固定尺寸的参照物和食物同时出现在一张图片中，以利于更准确地判断食物的实际尺寸。坐标纸、啤酒罐、口香糖、钥匙等多种参照物现已被陆续用于膳食记录，但由于不是日常或每餐必备、不能或不方便随身携带，在人们生活节奏日益加快、外出就餐频率增高的当今社会难以很好地发挥参照作用，特意去买也增加不便，不利于坚持拍照记录膳食。此外，对膳食图片的后期评估目前多是靠评估员人为评估，不仅所需人力较大，不利于大样本资料的获得，而且易受评估员主观因素的影响，使得对食物重量的估计存在偏差，这些都极大地限制了拍照这种便捷的膳食记录方式的推广和使用。本发明旨在建立一种便捷的包含特定三维膳食拍照参照物的膳食记录方法和膳食图像分析方法来解决上述瓶颈问题。
发明内容
本发明所要解决的技术问题是：如何能够便捷地使用参照坐标系拍照记录膳食，并使用膳食图像分析软件对图片记录膳食的重量进行客观、准确、快速的估计，为大样本膳食基础资料的准确获得及其未来在互联网+和人工智能领域的应用提供核心技术支撑。
基于上述现有技术的缺陷和空白，本发明旨在提供一种便携式的膳食拍照参照体系，可作为手机的一部分随身携带，用手机拍照时取下，作为辅助人们日常拍照记录膳食的参照物；同时还提供一种膳食图像分析方法及软件，能够对上述图像记录的膳食进行准确、快速地重量估计。
具体包括以下内容：
本发明提供了一种膳食拍照参照物，所述膳食拍照参照物由内框架、外框架与内外框架连接部组成；内框架为方形或长方形三边结构，包括内框架外沿，内框架内沿，内框架底面，内框架缺口；外框架为方形或长方形四边结构，包括外框架外沿、外框架内沿、外框架底面和卡扣；内框架短边末端与外框架短边末端相应部位设置内外框架连接部，基于此内外框架连接部的活动，可将内框架完全扣合于外框架中；内框架外沿上设置内框架缺口，对应外框架上的卡扣的位置，便于内外框架扣合时的收纳；内框架外沿、内框架内沿、内框架底面、外框架外沿、外框架内沿和外框架底面上设置标尺。
本发明所述的膳食拍照参照物中，内框架、外框架的材质可选自金属、ABS、 PP、HDPE、PC、PS、PVC、PMMA、COC或COP。
本发明所述的膳食拍照参照物，搭配支架即可固定于手机背面；所述支架底面设置有背胶层，可粘附于手机背面；支架可容纳膳食拍照参照物的卡扣，将膳食拍照参照物紧密地固定在手机上。
本发明所述的膳食拍照参照物，内外框架连接部为能够使内框架和外框架沿连接部轴线自由开合的连接构件，可将内框架和外框架折叠为各种角度；所述内外框架连接部优选螺钉结构。
本发明所述的膳食拍照参照物中，支架的材质可选自金属、ABS、PP、HDPE、 PC、PS、PVC、PMMA、COC、COP、树脂或硅胶。
本发明所述的膳食拍照参照物，内框架长度为6-10cm、宽度为4-6cm；内框架底面宽0.5-1cm；内框架外沿和内框架内沿高4-8mm。
本发明所述的膳食拍照参照物，外框架长度为6.5-10.5cm、宽度为4.5-6.5cm；外框架底面宽0.7-1.2cm；外框架外沿和外框架内沿高5-10mm。
本发明所述的膳食拍照参照物，支架长度为0.8-2cm，宽度为0.5-1cm，高度为0.7-1.2cm。
本发明所述的膳食拍照参照物，内框架外沿和外框架外沿的外侧均设置标尺；内框架底面和外框架底面的内外两侧均设置标尺。
本发明所述的膳食拍照参照物，外框架包含1个、2个或多个卡扣。所述卡扣为圆棍状结构、方棍状结构等等。
本发明提供一种膳食记录方法，使用本发明所述的膳食拍照参照物，将其尽可能近的放置于待拍照膳食/食物的旁边，用手机从前面、后面和上面三个方向 (也可更多方向)拍照，即至少从膳食拍照参照物X轴、Y轴和Z轴三维方向上进行拍照，并确保膳食/食物和膳食拍照参照物同时出现在每一张图片中，获得膳食图片。
本发明提供一种膳食图片测量方法，具体步骤如下：
a.根据获得的膳食图片，分别测量膳食图片中膳食拍照参照物X轴、Y轴和Z轴三维方向上固定两点之间的像素，在软件中手动输入该参照物X轴、Y 轴和Z轴三维方向上上述两点之间的实际尺寸，自动获得图像距离与实际距离的比例；
b.测量某种单一或混合食物X轴、Y轴和Z轴三维方向上固定两点之间的像素，再根据步骤a中获得的图像距离与实际距离的比例，求出该单一或混合食物X轴、Y轴和Z轴三维方向上的实际尺寸。
本发明提供一种利用膳食图片估算食物重量的方法，具体步骤如下：
a.使用上述膳食图片测量方法获得的食物X轴、Y轴和Z轴三维方向上的实际尺寸来估算食物体积：
i.单一食物：根据X轴、Y轴和Z轴等不同角度拍摄的膳食/食物图片估计食物形状或拟合出食物三维模型，选择最接近食物形状的体积公式或用积分的方法，使用计算出的实际尺寸计算食物体积；若食物体积不规则，可拆分为不同部分，对每一部分分别测量、估计并计算体积，最后再将几部分的体积相加；
ii.混合食物：方法及步骤同i；
iii.混合食物中的单一食物：根据X轴、Y轴和Z轴等不同角度拍摄的图片估计单一食物在混合食物中所占的比例，用步骤ii中计算出的混合食物体积乘以估计的相应比例获得混合食物中单一食物的相应体积；
b.膳食重量估计：将步骤a中计算得到的食物的体积代入公式M(质量)＝ρ (密度)V(体积)，求得其质量。
本发明提供一种膳食图片测量系统，所述系统包含能够计算处理样本数据的软件和用于承载上述软件的硬件，
a.所述系统还包括储存有膳食图片的硬件；
b.所述软件按照本发明所述方法测量食物实际尺寸。
本发明提供一种利用膳食图片估算食物重量的系统，所述系统包含能够计算处理样本数据的软件和用于承载上述软件的硬件，
a.所述系统还包括储存有食物密度数据库的硬件；
b.所述系统还包括储存有体积公式数据库的硬件；
c.所述系统还包括储存有膳食图片的硬件；
d.所述软件按照本发明所述方法测量食物实际尺寸；
e.所述软件按照本发明所述方法估算食物重量。
本发明所述膳食图片测量系统或/和所述利用膳食图片估算食物重量的系统在膳食记录、膳食评估、和/或膳食调查中的应用。
本发明与现有技术相比具有下述优点：
1、本发明能够提供二维或三维坐标体系，方便使用者作为膳食拍照记录的参照物，以利于后期的测量和评估；该膳食拍照参照物的内框架和外框架扣合时可固定收纳于手机背部，便于使用者随身携带和随时使用。
2、本发明所述膳食拍照参照物，可折叠成一定角度作为手机支架使用；本发明一物多用，方便美观，灵活性强。
3、本发明所述的膳食图像分析方法及软件具备科学性：多角度三维膳食拍照参照物以及固定的拍照角度和方法使测量结果更准确；利用估计出的食物体积，结合食物密度/体积-质量关系数据库和体积-质量公式获得食物重量，使得食物重量的估计更客观。
4、本发明所述的膳食图像分析方法及软件具备实用性：膳食拍照参照物作为手机支架方便随身携带，为随时随地拍照记录膳食提供了便利；以图片的形式记录膳食，不依赖网络，便于在网络不发达地区使用；对于非规定角度拍摄的照片也可(在一定程度上)进行评估；膳食测量软件使得对膳食图片的估计更客观、准确，减少主观误差，同时操作简单，操作的技术含量不高，易于被普通人掌握。
5、本发明所述的膳食图像分析方法及软件具备创新性：三维膳食拍照参照物的发明和膳食图像的测量分析方法及软件实现是本发明的创新点。互联网+以及低成本使得膳食评估工作更平民化，增强其普适性，有助于全民营养的真正实现。
附图说明
图1.本发明膳食拍照参照物的立体结构示意图，图中标记：1-膳食拍照参照物，10-内框架，11-内框架外沿，12-内框架内沿，13-内框架底面，14-内框架缺口，20-外框架，21-外框架外沿，22-外框架内沿，23-外框架底面，24-卡扣， 30-内外框架连接部，40-标尺。
图2.本发明膳食拍照参照物扣合状态的背面结构示意图，图中标记：10- 内框架，20-外框架，24-卡扣，30-内外框架连接部。
图3.本发明膳食拍照参照物的内框架立体结构示意图，图中标记：10-内框架，11-内框架外沿，12-内框架内沿，13-内框架底面，14-内框架缺口，30-内外框架连接部，40-标尺。
图4.本发明膳食拍照参照物的配套支架的纵向剖面结构示意图，图中标记：50-支架，51-背胶层，a-支架高度，b-支架宽度。
图5.本发明膳食拍照参照物固定于手机上的结构示意图，图中标记：1-膳食拍照参照物，2-手机，50-支架，c-支架长度。
本发明膳食拍照参照物使用状态示意图：
图6A.外框架正背面拍照角度示意图(可处于扣合状态或展开角度状态)： 20-外框架，40-标尺，3-橙子。
图6B.内外框架展开成90度顶面拍照角度示意图：10-内框架，20-外框架，40-标尺，4-苹果。
图7.三种方法对食物尺寸的估计值与实际值的相关性。
图8.三种方法对食物尺寸估计的差值及误差率分布。
图9.三种方法对食物重量的估计值与实际值的相关性。
图10.三种方法对食物重量估计的差值及误差率分布。
具体实施方式
下面结合附图及实施例对本发明作进一步描述。应当注意，实施例中未详细说明的常规条件和方法，均按照所属领域人员常规采用的实验条件和方法进行。
实施例1：膳食拍照参照物示例一
所述膳食拍照参照物(1)由内框架(10)、外框架(20)与内外框架连接部 (30)组成；内框架(10)包括内框架外沿(11)，内框架内沿(12)，内框架底面(13)，内框架缺口(14)；外框架(20)包括外框架外沿(21)、外框架内沿 (22)、外框架底面(23)和卡扣(24)；内框架(10)短边末端与外框架(20) 短边末端相应部位设置内外框架连接部(30)，基于此内外框架连接部(30)的活动，可将内框架(10)完全扣合于外框架(20)中；内框架外沿(11)上设置内框架缺口(14)，对应外框架(20)上的卡扣(24)的位置，便于内外框架扣合时的收纳；内框架外沿(11)和外框架外沿(21)的外侧均设置标尺(40)；内框架底面(13)和外框架底面(23)的内外两侧均设置标尺(40)。所述膳食拍照参照物(1)搭配支架(50)即可固定于手机背面；所述支架(50)底面设置有背胶层(51)，可粘附于手机背面；支架(50)可容纳膳食拍照参照物(1) 的卡扣(24)，将膳食拍照参照物(1)固定；外框架包含2个卡扣(24)，内框架 (10)包含1或2个对应卡扣(24)位置的内框架缺口(14)。
内框架(10)、外框架(20)为金属材质。内外框架连接部(30)为螺钉结构。支架(50)的材质为硅胶。
内框架(10)长度为10cm、宽度为6cm；内框架底面(13)宽0.5cm；内框架外沿(11)和内框架内沿(12)高5mm。
外框架(20)长度为10.5cm、宽度为6.5cm；外框架底面(23)宽0.7cm；外框架外沿(21)和外框架内沿(22)高6mm。
支架(50)长度为2cm，宽度为0.5cm，高度为0.7cm。
实施例2：膳食拍照参照物示例二
所述膳食拍照参照物(1)由内框架(10)、外框架(20)与内外框架连接部 (30)组成；内框架(10)包括内框架外沿(11)，内框架内沿(12)，内框架底面(13)，内框架缺口(14)；外框架(20)包括外框架外沿(21)、外框架内沿 (22)、外框架底面(23)和卡扣(24)；内框架(10)短边末端与外框架(20) 短边末端相应部位设置内外框架连接部(30)，基于此内外框架连接部(30)的活动，可将内框架(10)完全扣合于外框架(20)中；内框架外沿(11)上设置内框架缺口(14)，对应外框架(20)上的卡扣(24)的位置，便于内外框架扣合时的收纳；内框架外沿(11)、内框架内沿(12)、内框架底面(13)、外框架外沿(21)、外框架内沿(22)、内框架底面(13)和外框架底面(23)的内侧上设置标尺(40)。所述膳食拍照参照物(1)搭配支架(50)即可固定于手机背面；所述支架(50)底面设置有背胶层(51)，可粘附于手机背面；支架(50)可容纳膳食拍照参照物(1)的卡扣(24)，将膳食拍照参照物(1)固定；外框架(20) 包含3个卡扣(24)，内框架(10)包含3个对应卡扣(24)位置的内框架缺口(14)。
内框架(10)、外框架(20)为PE或PVC材质。内外框架连接部(30)为螺钉结构。支架(50)的材质为PVC。
内框架(10)长度为6cm、宽度为6cm；内框架底面(13)宽0.5cm；内框架外沿(11)和内框架内沿(12)高6mm。
外框架(20)长度为6.5cm、宽度为6.5cm；外框架底面(23)宽0.7cm；外框架外沿(21)和外框架内沿(22)高7mm。
支架(50)长度为1.5cm，宽度为0.8cm，高度为0.8cm。
实施例3：膳食拍照参照物的使用方法
1、作为膳食拍照参照体系：
1)将膳食拍照参照物的内框架和外框架展开成90度角置于所需拍摄食物的旁边(参见图6)，内框架外沿和外框架外沿的外侧均设置有标尺，可通过标尺对食物尺寸进行读数；
2)从多个角度对膳食拍照参照体系和所需拍摄食物一同拍照，并记录结果以供膳食分析系统读取；使用者可选取多种角度，利用内框架和外框架内侧或外侧的标尺，全方位的记录食物尺寸数据。
3)使用完后，内框架可折叠收纳于外框架中，如图2所示，通过外框架上的卡扣固定收纳于手机背面，如图5所示。
2、作为手机支架：
将膳食拍照参照物的内框架和外框架展开成45-60度角立于桌面，将手机放置于内框架或外框架槽内，手机另一端背靠外框架或内框架，可保持手机稳定站立。使用完后，内框架可折叠收纳于外框架中，如图2所示，通过外框架上的卡扣可固定收纳于手机背面，如图5所示。
另一种支撑方法，膳食拍照参照物一侧卡扣固定在手机上，以卡扣为轴将膳食拍照参照物打开一定的角度，再把内框架打开呈一定的角度，内框架、外框架和手机呈三角形支撑结构，手机一侧通过卡扣固定参照体系，另一侧可置于内框架槽内。
实施例4：一种膳食图像分析方法和软件实现
(一)膳食图像分析方法：
本发明所述方法旨在对使用上述三维膳食拍照参照体系获得的膳食图片进行测量，估计出食物的体积，再根据食物体积-重量关系(即食物密度)获得食物的重量。该分析方法的使用前提是获得前面、后面和上面三个维度(即X轴、 Y轴和Z轴)的至少三张食物与上述参照物同框的膳食图片。具体分析方法如下：
1.膳食图片测量：图片测量规则如下，
a.根据获得的膳食图片，分别测量膳食图片中膳食拍照参照物X轴、Y轴和Z轴三维方向上固定两点之间的像素，在软件中手动输入该参照物X轴、Y 轴和Z轴三维方向上上述两点之间的实际尺寸，自动获得图像距离与实际距离的比例。
b.分别测量某种单一(或混合)食物X轴、Y轴和Z轴三维方向上固定两点之间的像素，再根据步骤a中获得的图像距离与实际距离的比例，求出该单一 (或混合)食物X轴、Y轴和Z轴三维方向上的实际尺寸。
2.食物体积估算：食物体积估算规则如下，
a.单一食物：根据前、后、上面等不同角度(即X轴、Y轴和Z轴)拍摄的膳食图片估计食物形状或拟合出食物三维模型，选择最接近食物形状的体积公式或用积分的方法，利用步骤1(b)中计算出的实际尺寸计算食物体积。若食物体积不规则，可拆分为不同部分，对每一部分分别测量、估计和计算体积，最后再将几部分的体积相加。
b.混合食物：将混合食物当成一个整体，具体方法及步骤同上2(a)。
c.混合食物中的单一食物：根据前、后、上面等不同角度(即X轴、Y轴和Z轴)拍摄的图片估计单一食物在混合食物中所占的比例，用步骤b中计算出的混合食物体积乘以估计的相应比例获得。
3.膳食重量估计：通过预先获得的可直接入口食物的体积-重量对应关系(测量并计算已知重量食物的体积，建立食物密度数据库)，将步骤2中计算得到的某种食物的体积代入公式M(质量)＝ρ(密度)V(体积)，求得其重量。
(二)上述膳食调查和评估方法的效果分析：
从谷类(包子)、蔬菜(苋菜)、水果(葡萄)、肉类(香肠)、豆类(蚕豆)和坚果(核桃)这六大类食物中各选择一种食物，每种食物4～6个，共32 个食物，测量实际尺寸并称重后，用本发明所述方法拍照(从X轴、Y轴和Z 轴三个方向分别拍照，每张照片均保证三维膳食拍照参照物与食物在同一图片中) 记录膳食，用软件对膳食图片进行测量分析，估计图中食物的尺寸和重量，结果与实际值进行比较。同时，我们还选择经过培训的膳食调查评估员和未经训练的大学生分别对相同图片中食物的尺寸和重量进行估计，并分别与实际值和本发明测量结果进行比较。
本次效果评价共获得食物的实际值、测量值、专业膳食评估员评估值和普通大学生评估值四组数据(每组均包括96个食物尺寸数据和32个食物重量数据)，并将对本发明的图像测量评估、专业评估员目测评估和普通大学生目测评估三种方法的效果进行评价。结果分析如下：
1、基于三维膳食拍照参照物和膳食图像分析对食物尺寸的估计(三维膳食拍照参照物使用效果的评估)
通过使用本发明中的三维膳食拍照参照物和膳食图片测量分析技术/软件共同对食物的实际尺寸进行评估。使用该参照物拍照并通过对膳食图片的测量获得食物的实际尺寸，并与食物的实际值进行比较，结果发现：
使用本发明(三维膳食拍照参照物加膳食图片测量分析)方法获得的食物尺寸与食物实际尺寸的相关系数为0.9586，而专业评估员目测评估和普通大学生目测评估获得的食物尺寸与实际尺寸的相关系数分别为0.5133和0.6022(详见图7)，可见，通过本发明获得的食物尺寸与实际尺寸有更好的相关性，远优于两种人工目测评估方法。
三种方法(本发明评估、专业评估员评估和普通大学生评估)获得的食物尺寸数据与实际尺寸的差值、差值绝对值、误差率及误差率绝对值的均值、标准差详见表1。从表中可以看出，本发明所述方法获得的食物尺寸数据与实际尺寸的差值、差值绝对值、误差率以及误差率绝对值在三组中都是最小的，且除普通大学生评估组的差值与本发明所述方法无统计学差异外，专业评估员评估组和普通大学生评估组上述各指标与本发明所述方法组的差异都有统计学意义(p<0.05)。从箱式图(图8)中也可以看出，本发明所述方法组的差值和误差率两个指标分布更为集中，落在三倍标准差以外的样本数仅分别有4个和0个，而2个人工目测评估组的结果均较之分散，差值落在三倍标准差以外的样本数分别为11个和 7个，误差率指标在三倍标准差以外的样本数分别是9个和4个。由以上结果可以看出，本发明所述方法获得的食物尺寸误差最小，远优于两种人工目测评估方法。
表1三种方法对食物尺寸估计的效果比较(均数±标准差)
*：与本发明评估组相比，p<0.05
#：与评估员评估组相比，p<0.05
2、基于三维膳食拍照参照物和膳食图像分析对食物重量的估计(本膳食调查方法使用效果的评估)
使用本发明所述方法(三维膳食拍照参照物结合膳食图片测量分析)评估的食物重量与实际重量的相关系数为0.9668，而专业评估员和普通大学生评估获得的相关系数分别为0.8532和0.5579(详见图9)，本发明所述方法的相关性最高，专业评估员次之，均远高于普通大学生。
三种方法(本发明评估、专业评估员评估和普通大学生评估)获得的食物重量数据与实际重量的差值、差值绝对值、误差率及误差率绝对值的均值和标准差详见表2。从表中可以看出，本发明所述方法获得的食物重量数据与实际重量的差值、差值绝对值、误差率以及误差率绝对值在三组中都是最小的，且两组人工评估组的差值绝对值和误差率绝对值(这两个指标更能准确反映估计的偏移程度) 均显著大于本发明方法组(p<0.05)。且从箱式图(图10)也可以看出，本发明所述方法组的差值和误差率分布更为集中，偏离的异常值更少。由此可见，本发明所述方法获得的食物重量估计值更接近实际值，显著优于两种人工目测评估方法。
表2三种方法对食物重量估计的效果比较(均数±标准差)
*：与本发明方法组相比，p<0.05
#：与专业评估员评估组相比，p<0.05
1：去除某一类食物后的专业评估员评估组
a：与专业评估员评估组1相比，p<0.05
b：与专业评估员评估组1相比，0.05<p<0.1
综上所述，本发明所述方法无论在食物尺寸还是食物重量的估计上都与真实值更为接近，其估计效果显著优于两种(专业评估员和普通大学生)人工目测评估方法。相对于专业评估员培训的高要求，本发明所述方法对操作者的专业要求不高，更容易掌握，大大节省了培训的人力，同时也保证了评估结果的客观性和准确性。同时，随着科学技术的不断发展，人工测量过程也可逐渐由软件自动识别完成，大大解放人力、提高工作效率。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种膳食拍照参照物，其特征在于，所述膳食拍照参照物(1)由内框架(10)、外框架(20)与内外框架连接部(30)组成；内框架(10)为方形或长方形三边结构，包括内框架外沿(11)，内框架内沿(12)，内框架底面(13)，内框架缺口(14)；外框架(20)为方形或长方形四边结构，包括外框架外沿(21)、外框架内沿(22)、外框架底面(23)和卡扣(24)；内框架(10)短边末端与外框架(20)短边末端相应部位设置内外框架连接部(30)；内框架外沿(11)上设置内框架缺口(14)，对应外框架(20)上的卡扣(24)的位置；内框架外沿(11)、内框架内沿(12)、内框架底面(13)、外框架外沿(21)、外框架内沿(22)、和/或外框架底面(23)上设置标尺(40)；所述内外框架连接部(30)优选螺钉结构；优选，所述外框架(20)包含1个、2个或多个卡扣(24)。
2.根据权利要求1所述的膳食拍照参照物，其特征在于，所述支架(50)或内框架(10)的材质可选自金属、ABS、PP、HDPE、PC、PS、PVC、PMMA、COC、COP、树脂或硅胶。
3.根据权利要求1或2所述的膳食拍照参照物，其特征在于，内框架(10)长度为6-10cm、宽度为4-6cm；内框架底面(13)宽0.5-1cm；内框架外沿(11)和内框架内沿(12)高4-8mm；
优选的，外框架(20)长度为6.5-10.5cm、宽度为4.5-6.5cm；外框架底面(23)宽0.7-1.2cm；外框架外沿(21)和外框架内沿(22)高5-10mm。
4.根据权利要求1或2所述的膳食拍照参照物，其特征在于，支架(50)长度为0.8-2cm，宽度为0.5-1cm，高度为0.7-1.2cm。
5.一种膳食图像记录方法，其特征在于，将权利要求1-4任一项所述膳食拍照参照物置于膳食/食物旁边，从至少X轴、Y轴和Z轴三维方向上拍照，并确保膳食/食物和膳食拍照参照物同时出现在每一张图片中，获得至少3张膳食图片。
6.一种膳食图片测量方法，其特征在于，具体步骤如下：
a.使用权利要求5所述方法获得膳食图片，分别测量膳食图片中膳食拍照参照物X轴、Y轴和Z轴三维方向上固定两点之间的像素，在软件中手动输入该参照物X轴、Y轴和Z轴三维方向上上述两点之间的实际尺寸，自动获得图像距离与实际距离的比例；
b.测量某种单一或混合食物X轴、Y轴和Z轴三维方向上固定两点之间的像素，再根据步骤a中获得的图像距离与实际距离的比例，求出该单一或混合食物X轴、Y轴和Z轴三维方向上的实际尺寸。
7.一种利用膳食图片估算食物重量的方法，其特征在于，
a.使用权利要求6所述方法获得的食物X轴、Y轴和Z轴三维方向上的实际尺寸来估算食物体积：
i.单一食物：根据X轴、Y轴和Z轴等不同角度拍摄的图片估计食物形状或拟合出食物三维模型，选择最接近食物形状的体积公式或用积分的方法，使用权利要求6所述方法计算出的实际尺寸计算食物体积；若食物体积不规则，可拆分为不同部分，对每一部分分别测量、估计和计算体积，最后再将几部分的体积相加；
ii.混合食物：方法及步骤同i；
iii.混合食物中的单一食物：根据X轴、Y轴和Z轴等不同角度拍摄的图片估计单一食物在混合食物中所占的比例，用步骤ii中计算出的混合食物体积乘以估计的相应比例获得混合食物中单一食物的相应体积；
b.膳食重量估计：将步骤a中计算得到的食物的体积代入公式M(质量)＝ρ(密度)V(体积)，求得其质量。
8.一种膳食图片测量系统，所述系统包含能够计算处理样本数据的软件、和用于承载上述软件的硬件，其特征在于，
a.所述系统还包括储存有膳食图片的硬件；
b.所述软件按照权利要求6所述方法测量食物实际尺寸。
9.一种利用膳食图片估算食物重量的系统，所述系统包含能够计算处理样本数据的软件、和用于承载上述软件的硬件，其特征在于，
a.所述系统还包括储存有食物密度数据库的硬件；
b.所述系统还包括储存有体积公式数据库的硬件；
c.所述系统还包括储存有膳食图片的硬件；
d.所述软件按照权利要求6所述方法测量食物实际尺寸；
e.所述软件按照权利要求7所述方法估算食物重量。
10.权利要求8所述膳食图片测量系统或/和权利要求9所述利用膳食图片估算食物重量的系统在膳食记录、膳食评估、和/或膳食调查中的应用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010058086.9A CN111127545B (zh) | 2020-01-19 | 2020-01-19 | 基于三维参照物和膳食图像分析的膳食调查及评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010058086.9A CN111127545B (zh) | 2020-01-19 | 2020-01-19 | 基于三维参照物和膳食图像分析的膳食调查及评估方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111127545A true CN111127545A (zh) | 2020-05-08 |
| CN111127545B CN111127545B (zh) | 2023-12-05 |
Family
ID=70489766
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010058086.9A Active CN111127545B (zh) | 2020-01-19 | 2020-01-19 | 基于三维参照物和膳食图像分析的膳食调查及评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111127545B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022077348A1 (zh) * | 2020-10-15 | 2022-04-21 | 京东方科技集团股份有限公司 | 食物体积、热量计算方法、电子装置、电子设备和存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107958696A (zh) * | 2017-11-15 | 2018-04-24 | 四川大学 | 一种用于标注中小学生膳食专用食物图谱系统及标注方法 |
-
2020
- 2020-01-19 CN CN202010058086.9A patent/CN111127545B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107958696A (zh) * | 2017-11-15 | 2018-04-24 | 四川大学 | 一种用于标注中小学生膳食专用食物图谱系统及标注方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022077348A1 (zh) * | 2020-10-15 | 2022-04-21 | 京东方科技集团股份有限公司 | 食物体积、热量计算方法、电子装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111127545B (zh) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Stumbo | New technology in dietary assessment: a review of digital methods in improving food record accuracy | |
| Yang et al. | Image-based food portion size estimation using a smartphone without a fiducial marker | |
| Bythell et al. | Three-dimensional morphometric measurements of reef corals using underwater photogrammetry techniques | |
| CN102435619B (zh) | 用于测定食品样品的卡路里含量的系统 | |
| Jia et al. | Imaged based estimation of food volume using circular referents in dietary assessment | |
| CN104949617B (zh) | 用于对象包装的对象三维尺寸估测系统及方法 | |
| CN108597582B (zh) | 一种用于执行Faster R-CNN神经网络运算的方法和装置 | |
| CN104730073A (zh) | 一种餐盘所盛取菜品的定量分析方法及其系统 | |
| Akpro Hippocrate et al. | Food weight estimation using smartphone and cutlery | |
| Sun et al. | Determination of food portion size by image processing | |
| US11759151B2 (en) | Body composition assessment using two-dimensional digital image analysis | |
| CN1952599A (zh) | 一种平面叶片面积无损测量系统及其方法 | |
| CN111127545A (zh) | 基于三维参照物和膳食图像分析的膳食调查及评估方法 | |
| CN110020609A (zh) | 一种分析食物的方法、系统以及储存介质 | |
| Subhi et al. | Food volume estimation based on stereo image analysis | |
| Das et al. | Three-dimensional workspace for industrial workstations | |
| Deshmukh et al. | Caloriemeter: food calorie estimation using machine learning | |
| CN209605869U (zh) | 一种鱼体形态学数据测量装置 | |
| CN103955958B (zh) | 一种基于Kinect设备的交互式材质外观采集方法 | |
| CN107958696A (zh) | 一种用于标注中小学生膳食专用食物图谱系统及标注方法 | |
| Liao et al. | Food intake estimation method using short-range depth camera | |
| Dinic et al. | EatAR tango: Results on the accuracy of portion estimation | |
| Shermila et al. | Estimation of protein from the images of health drink powders | |
| CN210053439U (zh) | 一种多功能便携式膳食拍照参照物 | |
| CN113299368A (zh) | 一种辅助群体健康饮食的系统以及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |