CN115131783B - 基于机器视觉的用户饮食营养成分信息自主感知方法 - Google Patents
基于机器视觉的用户饮食营养成分信息自主感知方法 Download PDFInfo
- Publication number
- CN115131783B CN115131783B CN202210715460.7A CN202210715460A CN115131783B CN 115131783 B CN115131783 B CN 115131783B CN 202210715460 A CN202210715460 A CN 202210715460A CN 115131783 B CN115131783 B CN 115131783B
- Authority
- CN
- China
- Prior art keywords
- food
- information
- feature
- user
- machine vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000016709 nutrition Nutrition 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 66
- 235000005911 diet Nutrition 0.000 title claims abstract description 64
- 239000004615 ingredient Substances 0.000 title claims abstract description 50
- 230000035764 nutrition Effects 0.000 title claims abstract description 42
- 230000037213 diet Effects 0.000 title claims abstract description 31
- 235000013305 food Nutrition 0.000 claims abstract description 162
- 230000000378 dietary effect Effects 0.000 claims abstract description 33
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 10
- 235000015219 food category Nutrition 0.000 claims abstract description 4
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 239000000463 material Substances 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 24
- 235000015097 nutrients Nutrition 0.000 claims description 22
- 235000012041 food component Nutrition 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 239000013256 coordination polymer Substances 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 235000011888 snacks Nutrition 0.000 claims description 2
- 230000001629 suppression Effects 0.000 claims description 2
- 230000008447 perception Effects 0.000 claims 8
- BULVZWIRKLYCBC-UHFFFAOYSA-N phorate Chemical compound CCOP(=S)(OCC)SCSCC BULVZWIRKLYCBC-UHFFFAOYSA-N 0.000 claims 1
- 239000000758 substrate Substances 0.000 claims 1
- 238000012360 testing method Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 235000013336 milk Nutrition 0.000 description 4
- 239000008267 milk Substances 0.000 description 4
- 210000004080 milk Anatomy 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 235000015277 pork Nutrition 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 235000021061 dietary behavior Nutrition 0.000 description 3
- 235000005686 eating Nutrition 0.000 description 3
- 230000020595 eating behavior Effects 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 235000021049 nutrient content Nutrition 0.000 description 3
- 238000001303 quality assessment method Methods 0.000 description 3
- 235000013311 vegetables Nutrition 0.000 description 3
- 101100153586 Caenorhabditis elegans top-1 gene Proteins 0.000 description 2
- 241000287828 Gallus gallus Species 0.000 description 2
- 101100370075 Mus musculus Top1 gene Proteins 0.000 description 2
- 208000008589 Obesity Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 235000021409 diet quality Nutrition 0.000 description 2
- 235000012762 dietary quality Nutrition 0.000 description 2
- 235000013601 eggs Nutrition 0.000 description 2
- 239000005417 food ingredient Substances 0.000 description 2
- 235000013372 meat Nutrition 0.000 description 2
- 235000020824 obesity Nutrition 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 235000014102 seafood Nutrition 0.000 description 2
- LRGWIFMZKBJNGI-KARMISDFSA-N 2,4-dinitrophenylmorphine Chemical compound O([C@@H]1[C@]23CCN([C@H](C4)[C@@H]3C=C[C@@H]1O)C)C1=C2C4=CC=C1OC1=CC=C([N+]([O-])=O)C=C1[N+]([O-])=O LRGWIFMZKBJNGI-KARMISDFSA-N 0.000 description 1
- 235000008534 Capsicum annuum var annuum Nutrition 0.000 description 1
- 240000008384 Capsicum annuum var. annuum Species 0.000 description 1
- 206010016946 Food allergy Diseases 0.000 description 1
- 240000009088 Fragaria x ananassa Species 0.000 description 1
- 206010033307 Overweight Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000001720 carbohydrates Chemical class 0.000 description 1
- 235000013339 cereals Nutrition 0.000 description 1
- 235000021270 cold food Nutrition 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000005118 dietary health Nutrition 0.000 description 1
- 235000004879 dioscorea Nutrition 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 235000012631 food intake Nutrition 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 239000005871 repellent Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 235000021012 strawberries Nutrition 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Nutrition Science (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明的一种基于机器视觉的用户饮食营养成分信息自主感知方法，包括如下步骤：通过基于卷积神经网络的食品识别算法对食品数据集进行训练，获得食品识别特征模型；将获得的食品特征模型传送到服务机器人上，服务机器人接收到后加载食品识别特征模型，基于摄像头，服务机器人通过基于机器视觉的饮食营养成分信息自主感知方法开始食品识别检测、同时导入人脸特征信息库进行人脸识别；根据检测到的结果将食品类别信息映射到营养成分库中，计算营养成分，获得用户的营养成分信息，将其存入到用户饮食信息库中，用户可以通过终端查询自己的饮食信息。本发明能够自动感知用户的饮食营养成分信息。
Description
技术领域
本发明涉及机器视觉领域，具体涉及一种基于机器视觉的用户饮食营养成分信息自主感知方法。
背景技术
饮食行为是导致肥胖增加的关键因素，营养成分摄入量是衡量饮食是否过量、是否健康的重要指标，近年来，国内外学者对膳食营养成分的感知技术进行了广泛研究。传统的“24小时饮食回忆”等方法是进行饮食质量评估的主要手段，但是由于使用者的主观判断和估计偏差而难以保证准确性。因此，人们提出了各种基于视觉的客观饮食评估方法，包括基于立体的方法、基于模型的方法、基于深度相机的方法和深度学习方法。
现有技术中，在食品图像识别方面，Dehais和Anthimopoulos等人基于多角度图像对食品进行3D重建，从而预测食品的碳水化合物含量。基于多角度图像的食品体积估计方法要求输入多张图像，且对拍摄距离和角度有较高的要求，为用户操作带来不便。Myers和Johnston等人设计了名为Im2Calories的移动应用，能够根据食品图像预测卡路里值。首先利用GoogLeNet模型识别食品类别，然后采用目标识别、语义分割并定位图像中的不同食品并基于深度图像估计食品体积，最后通过查询USDA食品信息库计算卡路里值，但由于各个子任务之间是相互独立的，其关联信息在训练过程中不得不被忽略。事实上，根据食品图像关联组成成分可以并进一步完成用户的饮食质量评估。围绕饮食质量评估，2020年LanduJiang等人开发了一个基于深度模型的食品识别和饮食评估系统，以研究和分析日常膳食图像的食品项目。上述所提出的饮食监测和评估系统能追踪监测用户的饮食行为以及评估饮食摄入量，但缺乏用户饮食质量的有效评估，且所提系统没有关联食品图像识别算法，没有充分考虑饮食的主要组成成分，食品太过单一。
因此，构建拓展的多菜品数据集，实现菜品的多目标识别以应对复杂的生活场景，同时对摄入量进行定性与定量分析，才能准确评估使用者的饮食摄入，指导其健康生活。虽然数据集构建、食品识别和饮食质量评估已经有了很好的方法，但仍存在三个基本的问题。首先，大多数数据集图像只有一种食品，大多数食品识别的方法都是处理单一食品的图像。其次，检测和分类图像中的食品仍然很耗时(一般为2秒)。最后，缺乏用户饮食质量有效评估。
发明内容
本发明的目的在于克服上述缺点而提出了一种基于机器视觉的用户饮食营养成分信息自主感知方法，通过摄像头识别食品，并关联食品营养成分，为长期医疗保健计划生成饮食质量评估。
本发明的一种基于机器视觉的用户饮食营养成分信息自主感知方法，其中：该方法包括如下步骤：
步骤一、通过基于卷积神经网络的食品识别算法对食品数据集进行训练，获得食品识别特征模型；
步骤二、将获得的食品特征模型传送到服务机器人上，服务机器人接收到后加载食品识别特征模型，基于摄像头，服务机器人通过基于机器视觉的饮食营养成分信息自主感知方法开始食品识别检测、同时导入人脸特征信息库进行人脸识别；
所述基于机器视觉的饮食营养成分信息自主感知方法，具体步骤如下：
步骤2.1：加载人脸数据特征库P,食品特征模型w，食品集f，营养成份库D；并初始化当前时间tb；
步骤2.2：读取摄像头C＝{c1,c2,…,cn}的视频流中同一时刻的帧数据I＝{I1,I2,…,In}；
步骤2.3：基于食品特征模型w，运用基于卷积神经网络的食品识别算法识别I＝{I1,I2,…,In}中的食品，获得临时食品集Tfood；
步骤2.4：人脸数据特征库P，运用人脸识别方法识别I＝{I1,I2,…,In}中的人物身份信息，获得临时人员集Tp；
步骤2.5：如果临时食品集Tfood不为空集并且临时人员集Tp也不为空集，转到步骤2.6，否则转步骤2.2；
步骤2.6：对于每一个临时人员pi进行遍历以获得人物身份信息；基于营养成份库D，对于每一个临时食品集Tfood中识别到的食品fi进行遍历以获得食品的营养成分；
步骤2.7：输出当前时间T,当前时间的营养成分库DT和食品集FT。
步骤三、根据检测到的结果将食品类别信息映射到营养成分库中，计算营养成分，获得用户的营养成分信息，将其存入到用户饮食信息库中，用户可以通过终端查询自己的饮食信息。
上述基于机器视觉的用户饮食营养成分信息自主感知方法，其中：所述步骤2.1中的营养成份库D：为了获得食品营养成分需要先标定各食材的重量；以各个食材在重量为100克的营养成分量为基准，将食品中的各主要食材的营养成分量累加，得到该食品的营养成分量，其计算方法为：
假设有c种主要食材组成一食品，第j种食材的标准营养成分量是Yij，则第j种食材的营养成分量Nij＝Yij*Gj/100，Gj是标定的第j种食材的重量，营养成分种类i＝1,2,3,4,5,…,33，j＝1,2,…,c：
CPi＝∑Nij
其中CPi是食品的第i种营养成分量。
上述基于机器视觉的用户饮食营养成分信息自主感知方法，其中：所述步骤2.4中的人脸识别方法：首先从所述摄像头中预先采集人脸图片和人物身份的姓名信息并储存到本地的人脸数据特征库P中；然后使用人脸数据库Dlib，根据预先采集人脸图片提取128D特征值，计算该用户人脸图片的128D特征均值，将得到的128D特征均值储存到本地的人脸数据特征库P中；服务机器人工作时识别摄像头的视频流中的人脸，提取人脸中的特征点与储存在本地人脸数据特征库P中的人脸图片数据特征进行欧几里得距离匹配，判定是否为同一张人脸，如果是，就返回相应的人物姓名信息，如果不是，显示unknown；人脸识别设置的阈值为0.4，欧几里得度量匹配度小于等于0.4，就会返回对应的人物姓名信息，人脸识别成功。
上述基于机器视觉的用户饮食营养成分信息自主感知方法，其中：所述步骤一中的基于卷积神经网络的食品识别算法，具体步骤如下：
步骤1.1：初始化批处理、学习率；
步骤1.2：将食品集f＝{f1,f2,…,fn}输入到输入层Input，经过数据增强操作，得到食品数据集S＝{s1,s2,…,sn}；
步骤1.3：使用自适应锚框计算将食品数据集S＝{s1,s2,…,sn}进行初始锚框标定；
步骤1.4：使用自适应图片缩放技术将图片大小统一，得到食品数据集D＝{d1,d2,d3,…,dn}；
步骤1.5：将食品数据集D＝{d1,d2,d3,…,dn}输入到主干层Backbone，利用重点结构Focus进行切分、拼接，生成尺寸大小为304*304*12的特征图，然后通过卷积单元CBL，使用卷积进行特征提取、同时进行权重归一化降低计算量，最终经过激活函数Leaky Relu变成尺寸大小为304*304的特征图向量I＝{I1,I2,…,In}；
步骤1.6：将特征图向量I＝{I1,I2,…,In}经过多个卷积单元CBL进行处理，然后输入到卷积单元CSP进行再次特征提取；其卷积单元CSP内部先将特征图向量划分为两部分：一部分进行连接操作Contact、标准归一化操作BN、激活函数Relu；另一部分进行卷积单元CBL卷积操作将特征向量合并，再通过空间金字塔池化操作SPP进行下采样操作，得到19*19的特征图向量M＝{M1,M2,…,Mn}；
步骤1.7：将特征图向量M＝{M1,M2,…,Mn}输入到颈层Neck，经过卷积单元模块CSP、卷积单元CBL卷积操作及上采样操作进行再一次的特征提取得到特征向量N＝{N1,N2,…,Nn}；
步骤1.8：将N＝{N1,N2,…,Nn}输入到特征金字塔结构FPN进行特征拼接，通过特征金字塔结构FPN自顶向下传递强语义特征、特征金字塔结构PAN自底向上传递强定位特征的方式，对图像的高层特征信息进行特征融合，得到进行19*19、38*38、76*76的特征图向量E＝{e1,e2,…,en}；
步骤1.9：输入特征图E＝{e1,e2,…,en}到输出层Prediction，输出层Prediction通过计算预测框和真实框之间的损失，再反向更新迭代模型参数；
步骤1.10：利用非极大值抑制NMS加权操作对预测框进行筛选，最终得到模型预测的结果数据集F＝{F1,…,Fi,…,Fn}。
上述基于机器视觉的用户饮食营养成分信息自主感知方法，其中：所述步骤1.1中的初始化批处理大小batch-size＝32及学习率learning rate＝0.001。
上述基于机器视觉的用户饮食营养成分信息自主感知方法，其中：所述步骤1.2中的数据增强操作：随机裁剪、随机分布。
上述基于机器视觉的用户饮食营养成分信息自主感知方法，其中：所述步骤1.4中的图片大小统一为608*608*3。
上述基于机器视觉的用户饮食营养成分信息自主感知方法，其中：所述步骤1.8中的特征金字塔结构FPN包括连接操作Contact、卷积单元CBL卷积操作、卷积单元CSP卷积操作。
上述基于机器视觉的用户饮食营养成分信息自主感知方法，其中：所述步骤1.9中计算预测框和真实框之间的损失包括分类损失、回归损失。
上述基于机器视觉的用户饮食营养成分信息自主感知方法，其中：所述步骤二中所述摄像头部署在智能家居环境和服务机器人上。
本发明与现有技术的相比，具有明显的有益效果，由以上方案可知，为了利用服务机器人监测用户的饮食摄入情况，通过基于卷积神经网络的食品识别算法对食品数据集进行训练，获得食品识别特征模型，基于卷积神经网络的食品识别算法可以在餐桌场景中识别多个菜肴中的多种食物，并具有强大的目标检测能力和实时性能。为了获得用户饮食的营养成分，校准了食物成分的重量，设计了食物营养成分的计算方法，在此基础上，服务机器人通过基于机器视觉的饮食营养成分信息自主感知方法开始食品识别检测，支持营养成分的定量分析。本发明只需要通过摄像头识别出用户饮食，就可关联其营养成分，测量用户每日营养成分量，实现自动感知用户的饮食营养成分信息情况，确保用户的饮食健康。
以下通过具体实施方式，进一步说明本发明的有益效果。
附图说明
图1为本发明的方法流程图。
具体实施方式
以下结合附图及较佳实施例，对依据本发明提出的一种基于机器视觉的用户饮食营养成分信息自主感知方法的具体实施方式、特征及其功效，详细说明如后。
参见图1，本发明的一种基于机器视觉的用户饮食营养成分信息自主感知方法，其中：该方法包括如下步骤：
(1)通过基于卷积神经网络的食品识别算法对食品数据集进行训练获得食品识别特征模型；
(2)将获得的食品特征模型传送到服务机器人上，服务机器人接收到模型后加载模型，部署到智能家居环境中的多个摄像头和带有深度摄像头的服务机器人通过基于机器视觉的饮食营养成分信息自主感知方法开始食品识别检测，同时导入人脸特征信息库进行人脸身份识别；
(3)根据检测到的结果将食品类别信息映射到营养成分库中，计算营养成分，获得用户的营养成分信息，将其存入到用户饮食信息库中，用户可以通过终端查询自己的饮食信息。
上述基于机器视觉的饮食营养成分信息自主感知方法，按如下步骤进行营养成分信息感知：
步骤1：加载人脸数据特征库P，模型w，食品集f，营养成份库D；并初始化tb＝当前时间；
步骤2：读取摄像头C＝{c1,c2,…,cn}的视频流中同一时刻的帧数据I＝{I1,I2,…,In},并置临时食品集临时人员集/>
步骤3：基于食品特征模型w，运用卷积神经网络识别I＝{I1,I2,…,In}中的食物，获得食品集Tfood；
基于卷积神经网络的食品识别算法，具体步骤如下：
步骤3.1：初始化batch-size＝32及learning rate＝0.001；
步骤3.2：将食品训练数据集f＝{f1,f2,…,fn}输入到Input层，利用Mosaic经过随机裁剪、随机分布等数据增强操作，得到食品数据集S＝{s1,s2,…,sn}；
步骤3.3：使用自适应锚框计算将食品数据集S＝{s1,s2,…,sn}进行初始锚框标定；
步骤3.4：使用自适应图片缩放技术将图片大小统一修改维度为608*608*3,得到数据集D＝{d1,d2,d3,…,dn}；
步骤3.5：将D＝{d1,d2,d3,…,dn}输入到Backbone层，利用Focus结构进行切分、拼接，生成304*304*12的特征图，然后通过CBL卷积单元，使用卷积进行特征提取、同时进行权重归一化降低计算量，最终经过Leaky Relu层变成304*304的特征图向量I＝{I1,I2,…,In}；
步骤3.6：将304*304的特征图向量I＝{I1,I2,…,In}经过多个CBL卷积单元进行处理，然后输入到CSP单元进行再次特征提取。其内部先将特征图向量划分为两部分，Contact操作、BN操作、Relu激活函数、CBL卷积操作将特征图合并，再通过CBL卷积操作、多个最大池化操作、Contact操作、CBL卷积操作等称为SPP模块操作，再通过SPP模块进行下采样操作，得到19*19的特征图向量M＝{M1,M2,…,Mn}；
步骤3.7：将M＝{M1,M2,…,Mn}输入到Neck层，经过CSP模块、CBL卷积操作及上采样等操作进行再一次的特征提取得到特征向量N＝{N1,N2,…,Nn}；
步骤3.8：将N＝{N1,N2,…,Nn}输入到FPN结构进行特征拼接，FPN结构包括Contact操作、CBL卷积操作、CSP模块操作等，通过FPN结构自顶向下传递强语义特征、PAN结构自底向上传递强定位特征的方式，对图像的高层特征信息进行特征融合，得到进行19*19、38*38、76*76的特征图向量E＝{g1,g2,…,gn}；
步骤3.9：输入特征图E＝{g1,g2,…,gn}到Prediction层，Prediction层通过计算预测框和真实框之间的损失，主要是分类损失回归损失计算两者差距，再反向更新迭代模型参数；
步骤3.10：模型算法会产生多个预测框,利用加权的NMS操作对预测框进行筛选,最终得到模型预测的结果数据集F＝{F1,…,Fi,…,Fn}。
步骤4：人脸数据特征库P，运用人脸识别方法识别I＝{I1,I2,…,In}中的人物信息，获得临时人员集Tp；
首先从摄像头中预先采集人脸信息和人物姓名信息并储存到本地，然后使用人脸数据库Dlib根据录入的多张人脸图片提取128D特征值，计算该监护对象的128D特征均值，将得到的128D特征均值储存到本地。系统工作时识别视频流中的人脸,提取人脸中的特征点与储存本地中的人脸图像信息进行欧几里得距离匹配,判定是否为同一张人脸，如果是就返回相应的人物身份信息，如果不是会显示unknown。人脸识别设置的阈值为0.4，欧几里得度量匹配度小于等于0.4，就会返回对应的人物身份信息，人脸识别成功。
步骤5：if&&/>转到步骤6；
else转步骤2；
步骤6：for each person pi in Tp,//获得这桌人的身份；
for each food fi in Tfood,//获得这桌菜的营养成分；
ifDi＝Di∪di and Fi＝Fi∪fi；
DT＝DT∪Di；
FT＝FT∪Fi；
即置这桌人每个人的营养成分构成集Di为空集；置这桌人每个人的食品集Fi为空集
考虑到用户的食物忌口，比如海鲜过敏不吃海鲜类食物，回族人不吃猪肉，素食主义者不吃肉类、蛋类和奶类，孕妇不能吃寒性食物，由此建成了一个忌口的菜品库G(见表1)。
表1忌口菜
为获得菜品营养成分需要先标定食材的重量，本发明根据“美食杰”菜品食材量标定了各食材的标准重量(见表2)，并根据国家营养数据库-食物营养成分查询平台和食安通-食物营养成分查询平台查询到各个食材在重量为100克的营养成分量，将识别到的食物映射到营养成分表。
表2 32种基本食材及标定的量
假设有c种主要食材组成某一菜品，第j种食材的标准营养成分量是Yij，则第j种食材的营养成分量Nij＝Yij*Gj/100，G是标定的食材重量，i＝1,2,3,4,5,…,33，代表33种营养成分(见表3)，j＝1,2,…,c，表示该菜品的c种主要食材(见表2)。
将菜品中的各主要食材的营养成分量累加，得到该菜品的营养成分量。
其计算方法为
CPi＝∑Nij
其中CPi是菜品的第i种营养成分量，i＝1,2,…,33。
表3青椒肉丝主要食材营养成分表
步骤7：输出T＝tb,DT and FT。
实验如下：
1实验环境
搭建的智能家居实验环境部署了多个摄像头以及带有深度摄像头的服务机器人用于监测用户的饮食行为，将捕获到的多个摄像头视频流中同一时刻的帧数据通过无线通信实时传输到工作站，数据的训练和分析工作由Dell Tower 5810工作站(英特尔i7-6770HQ CPU，2600MHz，32G内存；NVIDIA Quadro GV100 GPU，32G显存)完成。服务机器人的硬件包括Intel NUC mini主机、EAI DashgoB1移动底盘、IPad显示屏和Microsoft KinectV2深度摄像头，各硬件模块之间的通信控制则采用ROS(robot operation system)框架实现。软件层面，服务机器人平台主机和工作站均安装了Ubuntu16.04LTS操作系统，TensorFlow深度学习框架，YOLO，以及机器视觉工具包Opencv3.3.0。
1.1菜品识别算法性能实验与分析
1.1.1数据集
本发明从ChinesFoodNet数据集中选择最常见的23种菜品种类作为训练集和测试集，包括五谷杂粮类、薯芋类、蔬菜类、肉蛋乳类、海鲜类五类，同时考虑到实际场景中的食物类型还应包含牛奶和水果，因此添加牛奶和10种水果以拓展数据集，共构成了34类食物图像，形成数据集CFNet-34。以数据集CFNet-34的80％为训练数据集，20％为测试数据集进行训练和测试。
本发明采用精确率P(见式1)、召回率R(见式2)、mAP@0.5、mAP@0.5:0.95四个指标对食品识别模型进行评价。
其中TPi表示第i类食品被预测正确的数量，N为食品的类别总数，FPi表示其他食品错误预测为第i类食品的数量，FNi表示第i类食品错误预测为其他食品的数量。
mAP@0.5代表在IoU阈值为0.5时的mAP，体现模型的识别能力，mAP@0.5:0.95表示在IoU阈值从0.5到0.95，步长为0.05时各个mAP的平均值，反应模型的定位效果以及边界回归能力。这六个评估指标的值都与检测效果呈正相关。mAP中AP是PR曲线下方的面积，其计算方式如式3所示。
AP＝∫0 1Precision(Recall)dRecall (3)
1.1.2实验结果与分析
实验超参数设置为：迭代次数600，批处理参数32，学习率0.001，实验所有输入的图像大小均为640，置信度阈值为0.01，IoU阈值为0.06，对测试集进行测试。
表4为卷积神经网络模型在测试集上测试获得的食品识别的评价结果。可以看出，图像特征越明显越容易识别，如水果的识别准确率较高，特征最为明显的草莓识别准确率达到了100％，而红烧肉、叉烧、可乐鸡翅这三种菜品类间相似性太大容易导致识别错误，所以识别准确率偏低，其中可乐鸡翅的识别准确率最低，为69.5％。该模型测试平均准确率为89.7％，平均召回率为91.4％，平均mAP@0.5和mAP@0.5:0.95分别为94.8％、87.1％。
表4食品测试集的识别评价
表5为不同图像识别算法在测试集上的实验结果。从表5中可以看出，基于卷积神经网络的食品识别算法在整体上表现良好，测试集的Top-1、Top-5准确率均高于其他算法，能够获得更加鲁棒的特征模型，从而提高算法的识别准确率。表明算法1在食品识别中具有更高的识别准确性和鲁棒性。
表5不同图像识别算法在测试集上的Top-1、Top-5准确率
总之，为了降低因用户肥胖和超重所带来的疾病风险，从饮食行为上规范用户的饮食摄入量，开发具有饮食行为监测和饮食质量评估功能的服务机器人很有必要。本发明围绕智能家居环境中用户饮食行为监测和饮食质量评估的需求，提出了智能家居环境中基于机器视觉的用户饮食营养成分自主感知方法。该方法应用了深度学习、图像处理、数据库存储和管理等技术，以此来获取、存储用户饮食信息。首先，我们提出了基于神经网络的食品识别算法来识别餐桌上的食物。然后，为了量化分析用户饮食信息，我们标定了菜品食材重量以及设计了菜品营养成分计算方法，基于此提出了基于机器视觉的饮食营养成分信息自主感知方法(DNPM)来计算用户的营养成分摄入量，将获取的用户饮食信息存储到饮食营养成分信息自主感知系统中，以便用户查询。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，任何未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (10)
1.一种基于机器视觉的用户饮食营养成分信息自主感知方法，其特征在于：该方法包括如下步骤：
步骤一、通过基于卷积神经网络的食品识别算法对食品数据集进行训练，获得食品识别特征模型；
步骤二、将获得的食品特征模型传送到服务机器人上，服务机器人接收到后加载食品识别特征模型，基于摄像头，服务机器人通过基于机器视觉的饮食营养成分信息自主感知方法开始食品识别检测、同时导入人脸特征信息库进行人脸识别；
所述基于机器视觉的饮食营养成分信息自主感知方法，具体步骤如下：
步骤2.1：加载人脸数据特征库P, 食品特征模型w，食品集f，营养成份库D；并初始化当前时间t b；
步骤2.2：读取摄像头C=｛c 1,c 2,…,c n ｝的视频流中同一时刻的帧数据I=｛I 1,I 2,…,I n ｝；
步骤2.3：基于食品特征模型w，运用基于卷积神经网络的食品识别算法识别I=｛I 1,I 2,…,I n ｝中的食品，获得临时食品集T food；
步骤2.4：人脸数据特征库P，运用人脸识别方法识别I=｛I 1,I 2,…,I n ｝中的人物身份信息，获得临时人员集T p ；
步骤2.5：如果临时食品集T food 不为空集并且临时人员集T p 也不为空集，转到步骤2.6，否则转步骤2.2；
步骤2.6：对于每一个临时人员p i 进行遍历以获得人物身份信息；基于营养成份库D，对于每一个临时食品集T food中识别到的食品f i 进行遍历以获得食品的营养成分；
步骤2.7：输出当前时间T, 当前时间的营养成分库D T 和食品集F T ；
步骤三、根据检测到的结果将食品类别信息映射到营养成分库中，计算营养成分，获得用户的营养成分信息，将其存入到用户饮食信息库中，用户可以通过终端查询自己的饮食信息。
2.如权利要求1所述的基于机器视觉的用户饮食营养成分信息自主感知方法，其特征在于：所述步骤2.1中的营养成份库D：为了获得食品营养成分需要先标定各食材的重量；以各个食材在重量为100克的营养成分量为基准，将食品中的各主要食材的营养成分量累加，得到该食品的营养成分量，其计算方法为：
假设有c种主要食材组成一食品，第j种食材的标准营养成分量是Y ij ，则第j种食材的营养成分量N ij =Y ij *G j /100，是标定的第j种食材的重量，营养成分种类i=1,2,3,4,5,…,33，j=1,2,…,c：
其中CP i 是食品的第i种营养成分量。
3.如权利要求1所述的基于机器视觉的用户饮食营养成分信息自主感知方法，其特征在于：所述步骤2.4中的人脸识别方法：首先从所述摄像头中预先采集人脸图片和人物身份的姓名信息并储存到本地的人脸数据特征库P中；然后使用人脸数据库Dlib，根据预先采集人脸图片提取128D特征值，计算该用户人脸图片的128D特征均值，将得到的128D特征均值储存到本地的人脸数据特征库P中；服务机器人工作时识别摄像头的视频流中的人脸，提取人脸中的特征点与储存在本地人脸数据特征库P中的人脸图片数据特征进行欧几里得距离匹配，判定是否为同一张人脸，如果是，就返回相应的人物身份姓名信息，如果不是，显示unknown；人脸识别设置的阈值为0.4，欧几里得度量匹配度小于等于0.4，就会返回对应的人物身份姓名信息，人脸识别成功。
4.如权利要求1所述的基于机器视觉的用户饮食营养成分信息自主感知方法，其特征在于：所述步骤一中的基于卷积神经网络的食品识别算法，具体步骤如下：
步骤1.1：初始化批处理、学习率；
步骤1.2：将食品集f={f 1,f 2,…,f n }输入到输入层Input，经过数据增强操作，得到食品数据集S=｛s 1,s 2,…,s n ｝；
步骤1.3：使用自适应锚框计算将食品数据集S=｛s 1,s 2,…,s n ｝进行初始锚框标定；
步骤1.4：使用自适应图片缩放技术将图片大小统一，得到食品数据集D={d 1,d 2,d 3,…,d n }；
步骤1.5：将食品数据集D={d 1,d 2,d 3,…,d n }输入到主干层Backbone，利用重点结构Focus进行切分、拼接，生成尺寸大小为304*304*12的特征图，然后通过卷积单元CBL，使用卷积进行特征提取、同时进行权重归一化降低计算量，最终经过激活函数Leaky Relu变成尺寸大小为304*304的特征图向量I=｛I 1,I 2,…,I n ｝；
步骤1.6：将特征图向量I=｛I 1,I 2,…,I n ｝经过多个卷积单元CBL进行处理，然后输入到卷积单元CSP进行再次特征提取；其卷积单元CSP内部先将特征图向量划分为两部分：一部分进行连接操作Contact、标准归一化操作BN、激活函数Relu；另一部分进行卷积单元CBL卷积操作将特征向量合并，再通过空间金字塔池化操作SPP进行下采样操作，得到19*19的特征图向量M=｛M 1,M 2,…,M n ｝；
步骤1.7：将特征图向量M=｛M 1,M 2,…,M n ｝输入到颈层Neck，经过卷积单元模块CSP、卷积单元CBL卷积操作及上采样操作进行再一次的特征提取得到特征向量N=｛N 1,N 2,…,N n ｝；
步骤1.8：将N=｛N 1,N 2,…,N n ｝输入到特征金字塔结构FPN进行特征拼接，通过特征金字塔结构FPN自顶向下传递强语义特征、特征金字塔结构PAN自底向上传递强定位特征的方式，对图像的高层特征信息进行特征融合，得到19*19、38*38、76*76的特征图向量E=｛e 1,e 2,…,e n ｝；
步骤1.9：输入E=｛e 1,e 2,…,e n ｝到输出层Prediction，输出层Prediction通过计算预测框和真实框之间的损失，再反向更新迭代模型参数；
步骤1.10：利用非极大值抑制NMS加权操作对预测框进行筛选，最终得到模型预测的结果数据集F={F 1,…,F i ,…,F n }。
5.如权利要求4所述的基于机器视觉的用户饮食营养成分信息自主感知方法，其特征在于：所述步骤1.1中的初始化批处理大小batch-size=32及学习率learning rate=0.001。
6.如权利要求4所述的基于机器视觉的用户饮食营养成分信息自主感知方法，其特征在于：所述步骤1.2中的数据增强操作：随机裁剪、随机分布。
7.如权利要求4所述的基于机器视觉的用户饮食营养成分信息自主感知方法，其特征在于：所述步骤1.4中的图片大小统一为608*608*3。
8.如权利要求4所述的基于机器视觉的用户饮食营养成分信息自主感知方法，其特征在于：所述步骤1.8中的特征金字塔结构FPN包括连接操作Contact、卷积单元CBL卷积操作、卷积单元CSP卷积操作。
9.如权利要求4所述的基于机器视觉的用户饮食营养成分信息自主感知方法，其特征在于：所述步骤1.9中计算预测框和真实框之间的损失包括分类损失、回归损失。
10.如权利要求1-9中任一项所述的基于机器视觉的用户饮食营养成分信息自主感知方法，其特征在于：所述步骤二中所述摄像头部署在智能家居环境和服务机器人上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210715460.7A CN115131783B (zh) | 2022-06-23 | 2022-06-23 | 基于机器视觉的用户饮食营养成分信息自主感知方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210715460.7A CN115131783B (zh) | 2022-06-23 | 2022-06-23 | 基于机器视觉的用户饮食营养成分信息自主感知方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115131783A CN115131783A (zh) | 2022-09-30 |
| CN115131783B true CN115131783B (zh) | 2024-02-20 |
Family
ID=83380881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210715460.7A Active CN115131783B (zh) | 2022-06-23 | 2022-06-23 | 基于机器视觉的用户饮食营养成分信息自主感知方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115131783B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115530773B (zh) * | 2022-10-17 | 2024-01-05 | 广州市番禺区中心医院 | 一种基于病人摄入饮食的心血管疾病评估预防系统 |
| CN116434911B (zh) * | 2023-02-23 | 2023-12-01 | 中国人民解放军空军军医大学 | 一种基于智能识别的个性化饮食监测方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110059654A (zh) * | 2019-04-25 | 2019-07-26 | 台州智必安科技有限责任公司 | 一种基于细粒度识别的菜品自动结算及饮食健康管理方法 |
| CN110781829A (zh) * | 2019-10-28 | 2020-02-11 | 华北电力大学 | 一种轻量级深度学习的智慧营业厅人脸识别方法 |
| KR20210099876A (ko) * | 2020-02-05 | 2021-08-13 | 주식회사 아이앤아이솔루션 | 딥러닝 알고리즘 기반의 식품 영상 인식을 통한 개인 맞춤형 영양 및 질병 관리 시스템 및 방법 |
| CN113343003A (zh) * | 2021-06-30 | 2021-09-03 | 上海歆广数据科技有限公司 | 一种用餐营养构建记录系统及方法 |
| WO2022011509A1 (zh) * | 2020-07-13 | 2022-01-20 | 华为技术有限公司 | 监管饮食行为的方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11232329B2 (en) * | 2019-05-22 | 2022-01-25 | Lg Electronics Inc. | Method and apparatus for providing user-customized food information |
-
2022
- 2022-06-23 CN CN202210715460.7A patent/CN115131783B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110059654A (zh) * | 2019-04-25 | 2019-07-26 | 台州智必安科技有限责任公司 | 一种基于细粒度识别的菜品自动结算及饮食健康管理方法 |
| CN110781829A (zh) * | 2019-10-28 | 2020-02-11 | 华北电力大学 | 一种轻量级深度学习的智慧营业厅人脸识别方法 |
| KR20210099876A (ko) * | 2020-02-05 | 2021-08-13 | 주식회사 아이앤아이솔루션 | 딥러닝 알고리즘 기반의 식품 영상 인식을 통한 개인 맞춤형 영양 및 질병 관리 시스템 및 방법 |
| WO2022011509A1 (zh) * | 2020-07-13 | 2022-01-20 | 华为技术有限公司 | 监管饮食行为的方法和装置 |
| CN113343003A (zh) * | 2021-06-30 | 2021-09-03 | 上海歆广数据科技有限公司 | 一种用餐营养构建记录系统及方法 |
Non-Patent Citations (3)
| Title |
|---|
| 丁静 ; 沈明霞 ; 刘龙申 ; 孙玉文 ; 陆明洲 ; 姚文 ; 张海林 ; .基于机器视觉的断奶仔猪腹泻自动识别方法.南京农业大学学报.2020,(第05期),全文. * |
| 李策 ; 蓝天 ; .基于深度视感知学习的食物识别移动系统研究与实现.兰州理工大学学报.2019,(第06期),全文. * |
| 王怀豹 ; 杨观赐 ; 李杨 ; 林家丞 ; .基于卷积神经网络的服务机器人听觉隐私信息分类算法.贵州大学学报(自然科学版).2020,(第03期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115131783A (zh) | 2022-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115131783B (zh) | 基于机器视觉的用户饮食营养成分信息自主感知方法 | |
| CN107873101B (zh) | 用于对象辨识和评估的成像系统 | |
| CN111879772B (zh) | 一种基于大数据的食品安全智慧管理方法与系统 | |
| Donis-González et al. | Assessment of chestnut (Castanea spp.) slice quality using color images | |
| US9449029B2 (en) | Method and system for diet management | |
| US20190205608A1 (en) | Method and apparatus for safety monitoring of a body of water | |
| Hosseinpour et al. | An intelligent machine vision-based smartphone app for beef quality evaluation | |
| US11756282B2 (en) | System, method and computer program for guided image capturing of a meal | |
| CN112016527A (zh) | 基于深度学习的大熊猫行为识别方法、系统、终端及介质 | |
| Behera et al. | On-tree fruit monitoring system using IoT and image analysis | |
| Rafiq et al. | Application of computer vision system in food processing | |
| WO2023084543A1 (en) | System and method for leveraging neural network based hybrid feature extraction model for grain quality analysis | |
| Yuan et al. | Detection of early bruise in apple using near-infrared camera imaging technology combined with deep learning | |
| Sarkar et al. | Comparative analysis of statistical and supervised learning models for freshness assessment of oyster mushrooms | |
| CN115908257A (zh) | 缺陷识别模型训练方法及果蔬缺陷识别方法 | |
| CN112906780A (zh) | 一种果蔬图像分类系统及方法 | |
| Devi et al. | IoT-deep learning based prediction of amount of pesticides and diseases in fruits | |
| Liao et al. | Food intake estimation method using short-range depth camera | |
| CN113324928A (zh) | 一种基于图谱数据智能化无损检测菜肴食品营养含量方法 | |
| Aviara et al. | Application of computer vision in food grain quality inspection, evaluation and control during bulk storage | |
| CN106442339B (zh) | 熟肉冷藏时间可视化检测方法及装置 | |
| Dibiano et al. | Food image analysis for measuring food intake in free living conditions | |
| Yin et al. | A diagnosis and prescription system to automatically diagnose pests | |
| CN107220650A (zh) | 食物图像检测方法及装置 | |
| Feng et al. | Grading bunch tightness for grape by multiperspective imaging approach coupled with multivariate classification methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |