CN106709525A - 一种相机测量食物营养成分方法 - Google Patents
一种相机测量食物营养成分方法 Download PDFInfo
- Publication number
- CN106709525A CN106709525A CN201710007855.0A CN201710007855A CN106709525A CN 106709525 A CN106709525 A CN 106709525A CN 201710007855 A CN201710007855 A CN 201710007855A CN 106709525 A CN106709525 A CN 106709525A
- Authority
- CN
- China
- Prior art keywords
- food
- camera
- suggestion
- nutrition
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013305 food Nutrition 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 23
- 235000012041 food component Nutrition 0.000 title abstract 2
- 235000016709 nutrition Nutrition 0.000 claims abstract description 14
- 230000035764 nutrition Effects 0.000 claims abstract description 9
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 3
- 238000005259 measurement Methods 0.000 claims description 17
- 239000004615 ingredient Substances 0.000 claims description 5
- 230000009977 dual effect Effects 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 claims description 3
- 230000019771 cognition Effects 0.000 claims description 3
- 235000015097 nutrients Nutrition 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims 2
- 239000007795 chemical reaction product Substances 0.000 claims 1
- 238000013136 deep learning model Methods 0.000 claims 1
- 238000011156 evaluation Methods 0.000 claims 1
- 238000010801 machine learning Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 abstract 2
- 238000000691 measurement method Methods 0.000 abstract 1
- 230000036541 health Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000037396 body weight Effects 0.000 description 2
- 206010018473 Glycosuria Diseases 0.000 description 1
- 235000019577 caloric intake Nutrition 0.000 description 1
- 150000001720 carbohydrates Chemical class 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 239000004519 grease Substances 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 239000013558 reference substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
快速检测食物卡路里有重要意义，可以用于规划我们的食物结构，并且发送给营养师给我们提供建议。但目前卡路里检测一般用仪器进行，十分繁琐。相机比如手机相机使我们随身携带物品，本发明设计了一种利用相机检测食物卡路里的方法：首先，利用相机进行拍照，照片传输到之前利用大量数据训练的深度学习模型(比如卷积神经网络)进行食物识别；其次，利用本发明的相机测量物体(食物)体积法进行体积测量；再者，将识别的结果提取到终端，与各种食物的卡路里数据相乘进行计算；最后，将结果传输到终端，利用IBM Watson模型提供建议或者发送到营养咨询师提供建议，将建议发送给消费者。
Description
技术领域：本发明涉及到用相机识别物体的领域，尤其涉及相机测量食物营养成分的方法
背景技术：目前随着中国人生活水平提高，人们越来越关心自己的身体健康。食物的健康是人最重要的健康指标之一。不健康因素一直困扰着人们的身心健康，例如在富裕地区肥胖流行。肥胖是因为摄入卡路里量太多而消耗量太少，目前测量消耗卡路里量的方法有一些商业的手环、计步器等等，但是测量卡路里摄入的设备太少而且昂贵不方便，如果进行食物卡路里检测到实验室会繁琐。
目前人们不能快速，随时地了解盘中的食物状况但是非常需要。健身者非常需要快速了解每日摄入的食物营养成分，热量；女孩子希望有匀称体型希望了解自己摄入卡路里；慢性病人如糖尿病者对碳水化合物，心血管病人需要对油脂类食物有所限制，能够测量食物营养成分对他们和他们医生具有较大帮助。
目前去没有公司通过图像识别测算食物中的营养成分，没有将此和智能提供饮食建议结合在一起。
因此面对现有状况，本发明人设计了一种利用相机(如手机相机)快速测量食物营养成分的方法。
发明内容：
面对现有的技术问题，本发明提供了一种快速，简便测量食物营养成分的方法。
本发明是通过以下技术方案来解决上述技术问题的：
所述的方案由食物智能识别模块，食物体积测量模块，食物清单计算模块，食物建议与反馈模块组成。
食物智能识别模块由人工智能方法，如深度学习中的卷积神经网络进行食物的训练与识别；
食物体积测量模块由本发明的相机变焦距体积测量法测出；
食物清单计算模块，根据先前记录的各种食物营养成分数据，计算所有食物的营养成分；
食物建议与反馈模块，根据日常个人的食物营养成分积累的数据，反馈给专家系统，提供合理定制化的建议。在反馈营养数据的专家系统中，可以是人给出营养建议或者利用IBM Watson认知计算模型给出建议。反馈前会让用户提供与个人健康有关的数据，比如身高、体重、性别、年龄等。
个人营养成分数据可以与一些智能终端结合，比如手环，手表等，共同为个人健康提供建议。
附图说明：
图1为本专利模块结构
图2为单镜头测量物体尺寸示意图
图3为双镜头(等焦距)测量物体尺寸示意图
图4为置顶物体拍照示意图
图5为垂直物体平面拍照示意图
具体实施方式：
现在参考如附图中的所示的一些实施来详细描述本发明。为了更加透彻地理解本发明，在以下的描述中阐述了具体的细节。但是，本领域技术人员可以明确的是，在缺少部分或全部这些具体细节的情况下也可以实现本发明。在其它情况下，为了不会是本发明存在不必要的不清楚之处，没有具体描述公知的处理步骤/结构。另外，尽管结合特定的实施例对本发明进行描述，但应该理解的是，该描述并不旨在将本发明限制于所描述的实施例。相反，该描述旨在覆盖可包括在有所附权利要求书限定的本发明的精神和范围内的替换、改进和等同方案。
建立用户账户，账户中用户输入性别，年龄，身高，体重等信息，可与未来的个人健康档案相关联。
用户用相机在食物正上方向食物拍照一次，设备自动保存照片；然后用户在与食物水平的桌面上垂直手机或者相机拍照一次，设备自动保存照片；或者用户在两次拍照的过程中，加入参考物，用于下一步体积的识别，比如标准大小的方块。
之后进行相机体积测量。相机测量物体体积首先要测量物体几何尺寸，本发明设计了单镜头变焦距法测量物体尺寸(图2)，双摄像头测量物体尺寸法(图3)。在单镜头变焦聚法测量物体尺寸法中，如图2，物体原长度为A，fa、fb分别代表两次不同摄影的焦距，对应在屏幕上成像长度分别为A1和A2,A1和A2易在屏幕上测得，焦距fa和fb已知，D为物体到焦点A的距离，根据等式(1)和(2)可计算出物体大小A
本次是两次变焦距求物体尺寸，也可以通过多次变焦距求平差更加精确地计算物体尺寸A，本方法也可以适用于不同焦距的双摄像头或者多摄像头联合求平差。一些手机镜头不是纵向变焦，则fa和fb是虚拟焦距，可以通过已知尺寸大小的物体按(1)(2)求出。利用手机摄像头拍摄时，自动调到最短焦距，将物体全部照入相机再自动调到最长焦距照入物体，进行尺寸计算。
双摄像头测量物体尺寸法如图3，不同焦距的摄像头原理类似单镜头变焦距法测量物体尺寸法，现在考虑相同焦距的摄像头，如图3：D0代表物体与焦点距离，f代表摄像头焦距，A1和A2分半代表物体在相平面的大小，D代表两个焦点距离，d1代表成像A1到相平面下端距离，D1代表两个像平面距离(如果D1为负数代表两个像平面重叠)，d2代表成像A2距离像平面上端距离。其中除A和D0位置，其它都可以预先测量得到。根据公式(3)(4)(5)可联合求得物体尺寸A的大小
在目标物顶端适当距离用相机拍照(相机平面垂直物体平面)如图4，用本专利测量尺寸法测量出上平面各个尺寸，测量完毕后，相机垂直目标物适当距离拍照，如图5，测量各个尺寸，此过程中利用人工智能方法识别物体种类和适用的体积计算公式。最后根据公式算出物体体积。
根据事先收集的物体营养成分表，计算本次食物所含营养成分总和。
将计算结果反馈给建议中心，建议中心由营养专家负者或者认知计算(如Watson)训练的智能专家系统负责，将建议反馈给用户。
Claims (5)
1.一种相机测量食物的方法，其特征在于：利用相机进行拍照，照片传输到之前利用大量数据训练的深度学习模型(比如卷积神经网络)进行食物识别，用于对食品的图像进行分类和分割；在此基础上，利用本发明的相机变焦聚测量物体(食物)体积法进行体积测量；将识别和计算的结果提取到终端，与各种食物单位营养成分(如卡路里)数据相乘进行计算；将最后结果传输到终端，利用IBM Watson模型提供建议或者发送到营养咨询师提供建议，将建议发送给消费者。
2.如权利要求1所述的系统，其特征在于，所述的食物智能识别模块包括先利用人工智能的方法如机器学习，深度学习进行食物的分割与分类，将分割的每个对象标记为识别的类别。
3.如权利要求1所述的系统，其特征在于，所述的体积测量方法是一种变焦聚或双摄像头相机测量技术，利用改变镜头焦距或者双摄像头多摄像头在手机上显示的大小差异来进行体积的计算。
4.如权利要求1所述的系统，其特征在于，所述的计算总食物营养成分步骤中，建立了各种食物的营养数据库，根据食物的营养数据乘以食物的量(质量或体积)，食物的营养数据库建立可通过SmartPlate等物联网智能设备或者已有的营养数据库建立，当有多源数据时候综合起来进行修正，还可以根据位置信息定位到所在的餐厅，与餐厅食物数据库连接，使得计算更加准确。
5.如权利要求1所述的系统，其特征在于，所述的提供营养建议步骤中，利用人工或Watson认知计算智能的方法进行建议提供，人工建议通过互联网咨询有资质的营养师或医生，并有互相打分评价系统；Watson认知计算模型利用营养数据对计算机训练达到专家的水平。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710007855.0A CN106709525A (zh) | 2017-01-05 | 2017-01-05 | 一种相机测量食物营养成分方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710007855.0A CN106709525A (zh) | 2017-01-05 | 2017-01-05 | 一种相机测量食物营养成分方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106709525A true CN106709525A (zh) | 2017-05-24 |
Family
ID=58907867
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710007855.0A Pending CN106709525A (zh) | 2017-01-05 | 2017-01-05 | 一种相机测量食物营养成分方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106709525A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107273678A (zh) * | 2017-06-09 | 2017-10-20 | 张碧波 | 一种基于智能手机的食物营养成分自动分析计算系统 |
| CN108182969A (zh) * | 2017-12-12 | 2018-06-19 | 昆明亿尚科技有限公司 | 一种营养师在线问诊系统及方法 |
| CN108198188A (zh) * | 2017-12-28 | 2018-06-22 | 北京奇虎科技有限公司 | 基于图片的食物营养分析方法、装置及计算设备 |
| CN108224895A (zh) * | 2018-01-08 | 2018-06-29 | 合肥美的智能科技有限公司 | 基于深度学习的物品信息录入方法、装置、冰箱和介质 |
| CN108229337A (zh) * | 2017-12-14 | 2018-06-29 | 阿里巴巴集团控股有限公司 | 一种数据处理的方法、装置及设备 |
| CN108537329A (zh) * | 2018-04-18 | 2018-09-14 | 中国科学院计算技术研究所 | 一种利用Volume R-CNN神经网络进行运算的方法和装置 |
| CN108597582A (zh) * | 2018-04-18 | 2018-09-28 | 中国科学院计算技术研究所 | 一种用于执行Faster R-CNN神经网络运算的方法和装置 |
| CN108831530A (zh) * | 2018-05-02 | 2018-11-16 | 杭州机慧科技有限公司 | 基于卷积神经网络的菜品营养成分计算方法 |
| CN108932265A (zh) * | 2017-05-26 | 2018-12-04 | 浩鑫股份有限公司 | 饮食信息建议系统及其饮食信息建议方法 |
| WO2020010561A1 (zh) * | 2018-07-12 | 2020-01-16 | 华为技术有限公司 | 测量物体参数的方法及装置 |
| CN111768863A (zh) * | 2020-06-28 | 2020-10-13 | 暨南大学 | 一种基于人工智能的婴幼儿发展监测系统及其方法 |
| CN113539427A (zh) * | 2020-04-22 | 2021-10-22 | 深圳市前海高新国际医疗管理有限公司 | 基于卷积神经网络的营养干预分析系统及分析方法 |
-
2017
- 2017-01-05 CN CN201710007855.0A patent/CN106709525A/zh active Pending
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108932265A (zh) * | 2017-05-26 | 2018-12-04 | 浩鑫股份有限公司 | 饮食信息建议系统及其饮食信息建议方法 |
| CN107273678A (zh) * | 2017-06-09 | 2017-10-20 | 张碧波 | 一种基于智能手机的食物营养成分自动分析计算系统 |
| CN108182969A (zh) * | 2017-12-12 | 2018-06-19 | 昆明亿尚科技有限公司 | 一种营养师在线问诊系统及方法 |
| CN108229337A (zh) * | 2017-12-14 | 2018-06-29 | 阿里巴巴集团控股有限公司 | 一种数据处理的方法、装置及设备 |
| US11106909B2 (en) | 2017-12-14 | 2021-08-31 | Advanced New Technologies Co., Ltd. | Recognizing carbon-saving behaviors from images |
| CN108229337B (zh) * | 2017-12-14 | 2021-03-30 | 创新先进技术有限公司 | 一种数据处理的方法、装置及设备 |
| WO2019114425A1 (zh) * | 2017-12-14 | 2019-06-20 | 阿里巴巴集团控股有限公司 | 一种数据处理的方法、装置及设备 |
| US10878239B2 (en) | 2017-12-14 | 2020-12-29 | Advanced New Technologies Co., Ltd. | Recognizing carbon-saving behaviors from images |
| CN108198188A (zh) * | 2017-12-28 | 2018-06-22 | 北京奇虎科技有限公司 | 基于图片的食物营养分析方法、装置及计算设备 |
| CN108224895B (zh) * | 2018-01-08 | 2020-11-10 | 合肥美的智能科技有限公司 | 基于深度学习的物品信息录入方法、装置、冰箱和介质 |
| CN108224895A (zh) * | 2018-01-08 | 2018-06-29 | 合肥美的智能科技有限公司 | 基于深度学习的物品信息录入方法、装置、冰箱和介质 |
| CN108597582B (zh) * | 2018-04-18 | 2021-02-12 | 中国科学院计算技术研究所 | 一种用于执行Faster R-CNN神经网络运算的方法和装置 |
| CN108597582A (zh) * | 2018-04-18 | 2018-09-28 | 中国科学院计算技术研究所 | 一种用于执行Faster R-CNN神经网络运算的方法和装置 |
| CN108537329A (zh) * | 2018-04-18 | 2018-09-14 | 中国科学院计算技术研究所 | 一种利用Volume R-CNN神经网络进行运算的方法和装置 |
| CN108831530A (zh) * | 2018-05-02 | 2018-11-16 | 杭州机慧科技有限公司 | 基于卷积神经网络的菜品营养成分计算方法 |
| CN111630524A (zh) * | 2018-07-12 | 2020-09-04 | 华为技术有限公司 | 测量物体参数的方法及装置 |
| WO2020010561A1 (zh) * | 2018-07-12 | 2020-01-16 | 华为技术有限公司 | 测量物体参数的方法及装置 |
| CN111630524B (zh) * | 2018-07-12 | 2024-04-30 | 华为技术有限公司 | 测量物体参数的方法及装置 |
| CN113539427A (zh) * | 2020-04-22 | 2021-10-22 | 深圳市前海高新国际医疗管理有限公司 | 基于卷积神经网络的营养干预分析系统及分析方法 |
| CN111768863A (zh) * | 2020-06-28 | 2020-10-13 | 暨南大学 | 一种基于人工智能的婴幼儿发展监测系统及其方法 |
| CN111768863B (zh) * | 2020-06-28 | 2024-02-02 | 暨南大学 | 一种基于人工智能的婴幼儿发展监测系统及其方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106709525A (zh) | 一种相机测量食物营养成分方法 | |
| Capling et al. | Validity of dietary assessment in athletes: a systematic review | |
| Wu et al. | Fast food recognition from videos of eating for calorie estimation | |
| CN107731278A (zh) | 一种食物识别方法、营养健康分析方法、系统及装置 | |
| CN107423549A (zh) | 健康跟踪设备 | |
| Liang et al. | Computer vision-based food calorie estimation: dataset, method, and experiment | |
| TW201228632A (en) | Health monitoring system | |
| CN104778374A (zh) | 一种基于图像处理识别方法的自动膳食评估装置 | |
| Doulah et al. | A systematic review of technology-driven methodologies for estimation of energy intake | |
| Vidal Perez et al. | Relationship of limb lengths and body composition to lifting in weightlifting | |
| Tay et al. | Current developments in digital quantitative volume estimation for the optimisation of dietary assessment | |
| CN106446508A (zh) | 智能筷子预测系统及利用该系统进行预测的方法 | |
| CN111599438A (zh) | 一种基于多模态数据的面向糖尿病患者的实时饮食健康监控方法 | |
| KR101890989B1 (ko) | 딥러닝 알고리즘을 이용한 사물인식을 사용하여 칼로리 측정 및 소비를 위한 o2o 방식의 칼로리 관리시스템 | |
| CN104765980A (zh) | 一种基于云计算的智能膳食评估方法 | |
| JP6021223B2 (ja) | マッチングサーバ | |
| Jia et al. | A novel approach to dining bowl reconstruction for image-based food volume estimation | |
| Pandurevic et al. | Analysis of competition and training videos of speed climbing athletes using feature and human body keypoint detection algorithms | |
| Hussain et al. | Smart piezoelectric-based wearable system for calorie intake estimation using machine learning | |
| KR20190125157A (ko) | 정보처리 장치와 그 동작 방법 | |
| Esco et al. | Utilizing a Novel 2D Image Processing System for Relating Body Composition Metrics to Performance in Collegiate Female Rowers | |
| JP2002149828A (ja) | 遠隔栄養相談システム及び装置及び方法及び撮影装置 | |
| KR20190066361A (ko) | 건강관리 서비스를 위한 음식이미지의 컬러패턴 분석장치 및 그 방법 | |
| CN114360690B (zh) | 一种慢病患者的饮食营养管理方法和系统 | |
| CN114359299B (zh) | 一种饮食分割方法及慢病患者的饮食营养管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170524 |