CN108766528A - 一种饮食管理系统及其构建方法、一种食材管理方法 - Google Patents
一种饮食管理系统及其构建方法、一种食材管理方法 Download PDFInfo
- Publication number
- CN108766528A CN108766528A CN201810432254.9A CN201810432254A CN108766528A CN 108766528 A CN108766528 A CN 108766528A CN 201810432254 A CN201810432254 A CN 201810432254A CN 108766528 A CN108766528 A CN 108766528A
- Authority
- CN
- China
- Prior art keywords
- food materials
- user
- information
- model
- diet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000013305 food Nutrition 0.000 title claims abstract description 183
- 235000005911 diet Nutrition 0.000 title claims abstract description 53
- 230000037213 diet Effects 0.000 title claims abstract description 51
- 238000007726 management method Methods 0.000 title claims abstract description 50
- 238000010276 construction Methods 0.000 title claims abstract description 6
- 239000000463 material Substances 0.000 claims abstract description 128
- 238000012545 processing Methods 0.000 claims abstract description 10
- 235000013311 vegetables Nutrition 0.000 claims description 69
- 238000012549 training Methods 0.000 claims description 56
- 238000000034 method Methods 0.000 claims description 25
- 230000036541 health Effects 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 235000020979 dietary recommendations Nutrition 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 18
- 238000013480 data collection Methods 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 claims description 15
- 238000013523 data management Methods 0.000 claims description 13
- 230000033001 locomotion Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 238000004378 air conditioning Methods 0.000 claims description 3
- 238000005406 washing Methods 0.000 claims description 3
- 230000000378 dietary effect Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims 1
- 230000010365 information processing Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 31
- 230000000875 corresponding effect Effects 0.000 description 27
- 235000005686 eating Nutrition 0.000 description 10
- 235000004280 healthy diet Nutrition 0.000 description 9
- 230000035622 drinking Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 4
- 230000013011 mating Effects 0.000 description 4
- 235000013372 meat Nutrition 0.000 description 4
- 239000003242 anti bacterial agent Substances 0.000 description 3
- 229940088710 antibiotic agent Drugs 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003862 health status Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 235000012054 meals Nutrition 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 238000002562 urinalysis Methods 0.000 description 1
- 230000004580 weight loss Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nutrition Science (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种饮食管理系统及其构建方法、以及一种食材管理方法，包括智能终端，信息采集系统，Faster RCNN模型以及有向加权复杂网络，其中，所述信息采集系统设置于智能终端内并用于采集信息；所述信息采集系统连接所述Faster RCNN模型，并用于向Faster RCNN模型发送信息；所述Faster RCNN模型用于食材辨识，其连接至有向加权复杂网络；所述有向加权复杂网络用于获取相关信息并处理。优选地，所述智能终端包括用户界面，所述有向加权复杂网络通信连接用户界面并可将处理后得到信息反馈和/或显示在所述用户界面。
Description
技术领域
本发明涉及饮食管理系统及其构建方法、一种食材管理方法，具体涉及以智能冰箱为销售终端的健康饮食大数据管理系统及其构建和使用方法。
背景技术
在家电智能化的浪潮中，传统冰箱仅有的食物冷藏与保鲜的功能不再能满足人们的需求，如何有效的完成与用户的交互并增加实用功能是智能冰箱发展的方向。通过便捷的交互可以方便的了解冰箱存储食物种类并施加相应的控制，提高管理水平；应用新的食品推荐功能可以为用户提供意见，提高生活水平。
复杂网络理论自创立以来，如今已在多领域得到了蓬勃发展，是研究复杂系统的一个重要工具。该理论分析认为，如果某个系统由多个实体构成，可以把每个实体当作一个节点，把实体间的某种联系当作连边，这样该系统就被抽象成了复杂网络。通过对该网络特性的分析，即可得到原系统相关性能的结果。
深度学习作为一种新兴的机器学习方法，在图像识别、语音处理等方面均取得了成功。优选地模拟人脑关于认知的结构，不断提取样本特征，进而抽象出样本的属性特征。通过数据驱动，可找寻大量样本的内在联系，进而解决一类问题。
在当前大数据与互联网+的背景下，可以通过收集众多用户的饮食习惯数据及健康信息数据，构建云端平台，利用复杂网络相关方法分析其相关性，然后根据冰箱中已有的食物、本用户健康状况给出饮食建议，通过联网查询相关食物信息，生成对应的购买需求，组建成销售终端，实现新型冰箱的功能提升；在高交互水平要求下，可以通过图像识别对冰箱内的食品进行识别、分类、呈现，在不打开冰箱的情况下即可了解存储食物的情况；通过添加语音识别模块，可以让冰箱直接听懂人的语音命令，从而远程执行操作，更加便捷；同时可以与家庭中其他家电进行互联，对各自采集的信息进行共享，作为冰箱本身决断来源；并且可以配备显示界面，对家居信息可视化展示并在该界面上提供操控接口，使用户可以了解当前家居系统信息(特别是冰箱中食品的信息)并针对这些信息进行控制；与移动端播放窗口互联，提供新的视频观看终端，构成更加方便、舒适的家居系统。
发明内容
针对以上现有技术问题，本发明的目的在于提供一种饮食管理系统及其构建方法，一种食材管理方法，具体技术方案如下：
一一种饮食管理系统，包括智能终端，信息采集系统，Faster RCNN模型以及有向加权复杂网络，其中，
所述信息采集系统设置于智能终端内并用于采集信息；
所述信息采集系统连接所述Faster RCNN模型，并用于向Faster RCNN模型发送信息；
所述Faster RCNN模型用于食材辨识，其连接至有向加权复杂网络；
所述有向加权复杂网络用于获取相关信息并处理。
优选地，所述有向加权复杂网络用于获取相关信息并处理中的所述相关信息包括用户群食用菜品信息和/或用户身体状况信息。优选地，所述智能终端包括用户界面，所述有向加权复杂网络通信连接用户界面并可将处理后得到信息反馈和/或显示在所述用户界面。
优选地，所述信息采集系统通信连接用户界面并可将采集信息反馈和/或显示在所述用户界面。
优选地，
所述智能终端为智能冰箱，和/或，
所述信息采集系统为智能冰箱内食材图像采集设备，和/或，
所述智能终端为具有记录用户饮食记录/饮食历史功能模块的智能冰箱。
优选地，还包括数据管理系统，所述有向加权复杂网络连接至数据管理系统，并用于向其发送处理后得到信息，所述数据管理系统用于处理所述有向加权复杂网络处理后得到信息并给出建议信息。
优选地，所述数据管理系统为智能冰箱饮食大数据管理系统，所述建议信息为食材/饮食推荐与购买信息。
优选地，还包括关联网站，其连接至有向加权复杂网络并可向其发送关联信息。
优选地，所述关联信息包括饮食推荐结果信息或推荐菜品信息。
优选地，还包括语音识别模块，其连接至智能终端或内置在智能终端内，用于识别语音和/或识别语音后向智能终端发送信息。
优选地，还包括家居系统中其他终端，所述其他终端连接至智能终端、和/或有向加权复杂网络、和/或数据管理系统。
优选地，所述其他终端包括洗衣机，和/或，电子秤，和/或，手机，和/或，电视，和/或，空调。
优选地，所述Faster RCNN模型采用如下方式构建：
将带标签的图片数据集分为两部分作为输入，其中80％数据集作为训练样本，用于模型训练，20％数据集作为测试样本，用于分析模型的好坏,获取网络上公开的用于图像识别的已训练RPN模型R1和Fast RCNN模型F1作为初始化网络模型，基于反向传播算法，通过训练样本对模型R1进行参数更新，得到食材候选区域P1,利用食材候选区域P1和训练样本对Fast RCNN模型F1进行训练，得到可初步对食材进行识别的检测网络F2，F2为新的FastRCNN模型,通过模型F2对模型R1进行重新训练，固定R1和F2的共享卷积层参数不变，只对R1独有的层进行微调，得到新的RPN模型R2,通过调用模型R2产生新的候选区域P2，保持共享卷积层的参数不变，微调F2的全连接层，对bounding box的位置进行精修，得到具有食材识别功能的Faster RCNN模型，实现较为精准的食材识别。
所述的反向传播算法中的损失函数为
其中损失函数分为两部分，对应RPN两条支路，即所识别的种类是否正确的分类误差和bounding box(边框)的回归误差是目标与非目标的对数损失，损失函数为
回归误差表达式为其中R是Smooth L1，其计算公式为
Ncls表示分类层的归一化，Nreg表示回归层的归一化，pi为第i个anchor的目标预测概率值，为ground truth的标签值，当第i个anchor为正标签时为1，当第i个anchor为负标签时为0，λ为平衡权重，ti为预测的bounding box参数化坐标(tx,ty,tw,th)的向量，为第i个anchor为正标签时对应的bounding box参数化坐标的向量。
所述的精修过程为先对bounding box的位置进行平移，然后进行尺度缩放，使其与目标窗口非常接近。
在上述训练过程中计算bounding box误差时，比较tx，ty，tw，th，计算如下：
其中：x,y,w,h为RPN网络预测框的中心位置坐标和宽、高；xa,ya,wa,ha为anchorbox的中心位置坐标和宽、高，x*,y*,w*,h*为正确标定的边框的中心位置坐标和宽、高；tx,ty,tw,th为经过预测和标定后得到的真正需要的平移量(tx,ty)和尺度缩放(tw,th)。
优选地，所述带标签的图片数据集包括依据食材名称完成标记的食材图片。
优选地，所述有向加权复杂网络采用如下方式构建：
针对单个用户αi的饮食记录/饮食历史，以食用过的菜品为网络节点，以各种菜品的食用时间顺序为依据，构建菜品之间的有向连边，得到有向加权复杂网络Ai，对于某种菜品的频繁食用将导致该菜品所对应的网络节点拥有较大的网络度值；
对所有用户{αi},i＝1,2,...,n，分别构建有向加权复杂网络，得到层数为n的分层有向加权复杂网络；
基于用户身体状况信息对所有用户{αi}进行分类，标记为{βj},j＝1,2,...,k(k≤n)。
一一种饮食管理系统的构建方法，包括如下步骤：
1)设置智能冰箱系统的用户界面；
2)构建Faster RCNN模型，支撑智能冰箱系统的食材辨识与管理；
3)构建有向加权复杂网络。
优选地，步骤1)中所述用户界面包括注册登录、冰箱环境、用户身体状况、食材管理、食谱推荐、美食检索与历史记录界面。
优选地，步骤2)中对Faster RCNN模型以食材图片为输入进行有监督训练，优化模型结构、参数。
优选地，步骤3)中以用户群食用菜品为基础，构建有向加权复杂网络。
优选地，步骤3)中包括如下步骤：
3-1)针对单个用户αi的饮食记录，以食用过的菜品为网络节点，以各种菜品的食用时间顺序为依据，构建菜品之间的有向连边，得到有向加权复杂网络Ai，对于某种菜品的频繁食用将导致该菜品所对应的网络节点拥有较大的网络度值；
3-2)对所有用户{αi},i＝1,2,...,n，分别构建有向加权复杂网络，得到层数为n的分层有向加权复杂网络；
3-3)基于身体健康状况对所有用户{αi}进行分类，标记为{βj},j＝1,2,...,k(k≤n)。
优选地，步骤2)中包括如下步骤：
2-1)获取食材图片，依据食材名称完成标记，形成带标签的图片数据集；
2-2)构建Faster RCNN模型，确定模型结构及待优化模型参数，将步骤2-1)中图片数据集分为两部分作为输入，其中80％数据集作为训练样本，用于模型训练，20％数据集作为测试样本，用于分析模型的好坏,获取网络上公开的用于图像识别的已训练RPN模型R1和Fast RCNN模型F1作为初始化网络模型，基于反向传播算法，通过训练样本对模型R1进行参数更新，得到食材候选区域P1,利用食材候选区域P1和训练样本对Fast RCNN模型F1进行训练，得到可初步对食材进行识别的检测网络F2，F2为新的Fast RCNN模型,通过模型F2对模型R1进行重新训练，固定R1和F2的共享卷积层参数不变，只对R1独有的层进行微调，得到新的RPN模型R2,通过调用模型R2产生新的候选区域P2，保持共享卷积层的参数不变，微调F2的全连接层，对bounding box的位置进行精修，得到具有食材识别功能的Faster RCNN模型，实现较为精准的食材识别。
所述的反向传播算法中的损失函数为
其中损失函数分为两部分，对应RPN两条支路，即所识别的种类是否正确的分类误差和bounding box(边框)的回归误差是目标与非目标的对数损失，损失函数为
回归误差表达式为其中R是Smooth L1，其计算公式为
Ncls表示分类层的归一化，Nreg表示回归层的归一化，pi为第i个anchor的目标预测概率值，为ground truth的标签值，当第i个anchor为正标签时为1，当第i个anchor为负标签时为0，λ为平衡权重，ti为预测的bounding box参数化坐标(tx,ty,tw,th)的向量，为第i个anchor为正标签时对应的bounding box参数化坐标的向量。
所述的精修过程为先对bounding box的位置进行平移，然后进行尺度缩放，使其与目标窗口非常接近。
在上述训练过程中计算bounding box误差时，比较tx，ty，tw，th，计算如下：
其中：x,y,w,h为RPN网络预测框的中心位置坐标和宽、高；xa,ya,wa,ha为anchorbox的中心位置坐标和宽、高，x*,y*,w*,h*为正确标定的边框的中心位置坐标和宽、高；tx,ty,tw,th为经过预测和标定后得到的真正需要的平移量(tx,ty)和尺度缩放(tw,th)。
一一种饮食/食材管理方法，包括如下步骤：
(1)智能终端获取信息或者接受指令；
(2)Faster RCNN模型对智能终端内食材进行辨识与管理；
(3)有向加权复杂网络获取相关信息并处理；
(4)步骤(3)的处理结果信息反馈和/或显示在智能终端。
优选地，步骤(1)中所述智能终端为具备交互功能的智能冰箱，其设置有用户界面。
优选地，所述用户界面包括注册登录、冰箱环境、用户身体状况、食材管理、食谱推荐、美食检索与历史记录界面。
优选地，步骤(1)中用户通过语音输入向智能冰箱发送远程控制信号。
优选地，步骤(2)中用户通过内置在冰箱内部的图像采集设备完成冰箱内食材的图片获取，输入所述Faster RCNN模型，支撑智能冰箱系统实现食材准确辨识与管理。
优选地，步骤(3)中有向加权复杂网络以用户群食用菜品信息为基础，结合用户身体状况信息处理得到饮食推荐结果信息或推荐菜品,作为饮食参考。
优选地，步骤(4)中通过所述用户界面完成实时反馈和/或显示。
优选地，
还包括步骤(5)：在得到作为参考的饮食推荐结果信息或推荐菜品后，通过网络在指定网站查询对应的食品信息，并实时生成食材购买推荐；
或者
还包括步骤(5)：记录用户的饮食记录/饮食历史。
优选地，步骤(3)中所述信息包括用户群食用菜品信息和/或用户身体状况信息。
优选地，步骤(3)包括如下步骤：
(3-1)针对单个用户αi的饮食记录，以食用过的菜品为网络节点，以各种菜品的食用时间顺序为依据，构建菜品之间的有向连边，得到有向加权复杂网络Ai，对于某种菜品的频繁食用将导致该菜品所对应的网络节点拥有较大的网络度值；
(3-2)对所有用户{αi},i＝1,2,...,n，分别构建有向加权复杂网络，得到层数为n的分层有向加权复杂网络；
(3-3)基于身体健康状况对所有用户{αi}进行分类，标记为{βj},j＝1,2,...,k(k≤n)；
(3-4)对于某类用户βj，根据网络节点度，考虑相关因素，定制饮食推荐方案。
优选地，步骤(3-4)中所述相关因素包括：
a.确定本用户在过去一段时间内经常食用的食物与身体健康状态的变化并分析内在联系；
b.考察同类用户在过去一段时间内发生同样身体健康状态的变化时经常食用的食物；
c.考察同类用户在过去一段时间内食用相同食物后发生的身体健康状态的变化。
优选地，步骤(2)中包括如下步骤：
(2-1)获取食材图片，并依据食材名称完成标记，形成带标签的图片数据集；
(2-2)构建Faster RCNN模型，确定模型结构及待优化模型参数，将上述图片数据集分为两部分，其中80％数据集作为训练样本，用于模型训练，20％数据集作为测试样本，用于分析模型的好坏,获取网络上公开的用于图像识别的已训练RPN模型R1和Fast RCNN模型F1作为初始化网络模型，基于反向传播算法，通过训练样本对模型R1进行参数更新，得到食材候选区域P1,利用食材候选区域P1和训练样本对Fast RCNN模型F1进行训练，得到可初步对食材进行识别的检测网络F2，F2为新的Fast RCNN模型,通过模型F2对模型R1进行重新训练，固定R1和F2的共享卷积层参数不变，只对R1独有的层进行微调，得到新的RPN模型R2,通过调用模型R2产生新的候选区域P2，保持共享卷积层的参数不变，微调F2的全连接层，对bounding box的位置进行精修，得到具有食材识别功能的Faster RCNN模型，实现较为精准的食材识别。
所述的反向传播算法中的损失函数为
其中损失函数分为两部分，对应RPN两条支路，即所识别的种类是否正确的分类误差和bounding box(边框)的回归误差是目标与非目标的对数损失，损失函数为
回归误差表达式为其中R是Smooth L1，其计算公式为
Ncls表示分类层的归一化，Nreg表示回归层的归一化，pi为第i个anchor的目标预测概率值，为ground truth的标签值，当第i个anchor为正标签时为1，当第i个anchor为负标签时为0，λ为平衡权重，ti为预测的bounding box参数化坐标(tx,ty,tw,th)的向量，为第i个anchor为正标签时对应的bounding box参数化坐标的向量。
所述的精修过程为先对bounding box的位置进行平移，然后进行尺度缩放，使其与目标窗口非常接近。
在上述训练过程中计算bounding box误差时，比较tx，ty，tw，th，计算如下：
其中：x,y,w,h为RPN网络预测框的中心位置坐标和宽、高；xa,ya,wa,ha为anchorbox的中心位置坐标和宽、高，x*,y*,w*,h*为正确标定的边框的中心位置坐标和宽、高；tx,ty,tw,th为经过预测和标定后得到的真正需要的平移量(tx,ty)和尺度缩放(tw,th)。
(2-3)通过内置在冰箱内部的图像采集设备以一定时间间隔定时获取冰箱内食材信息，输入上述优化确定的Faster RCNN模型，确定食材种类、数目以及位置，进而更新食材信息，完成食材辨识与管理。
一一种以智能冰箱为销售终端的健康饮食大数据管理系统，通过智能冰箱对用户日常食材进行管理，并记录用户的饮食历史，以用户群食用菜品为基础，构建有向加权复杂网络，结合用户身体状况，为用户提供智能饮食推荐服务，在关联指定网站查询相应食物信息后，给出智能筛选后的购买推荐，包含以下步骤：
1)开发智能冰箱系统以及配套的用户界面，包括注册登录、冰箱环境、用户身体状况、食材管理、食谱推荐、美食检索与历史记录界面；
2)支持用户通过语音输入完成智能冰箱的远程控制，并通过步骤1)中所述界面完成实时反馈；
3)支持用户通过内置在冰箱内部的图像采集设备完成冰箱内食材的图片获取，构建Faster RCNN模型，以食材图片为输入进行有监督训练，优化模型结构、参数，支撑智能冰箱系统实现食材准确辨识与管理；
4)以用户群食用菜品为基础，构建有向加权复杂网络，结合用户身体状况，为用户提供智能饮食推荐服务，包括：
(1)针对单个用户αi的饮食记录，以食用过的菜品为网络节点，以各种菜品的食用时间顺序为依据，构建菜品之间的有向连边，得到有向加权复杂网络Ai，对于某种菜品的频繁食用将导致该菜品所对应的网络节点拥有较大的网络度值；
(2)对所有用户{αi},i＝1,2,...,n，分别构建有向加权复杂网络，得到层数为n的分层有向加权复杂网络；
(3)基于身体健康状况对所有用户{αi}进行分类，标记为{βj},j＝1,2,...,k(k≤n)；
(4)对于某类用户βj，根据网络节点度，考虑以下三点，定制饮食推荐方案，包括：
a.确定本用户在过去一段时间内经常食用的食物与身体健康状态的变化并分析内在联系；
b.考察同类用户在过去一段时间内发生同样身体健康状态的变化时经常食用的食物；
c.考察同类用户在过去一段时间内食用相同食物后发生的身体健康状态的变化；
通过以上三点，以本用户健康状态为指导、同类用户健康状态为辅助对食用食物进行评价，进而对饮食方案进行推荐，即对于该类用户中身体状况变差的用户，从其经常食用菜品中确定不宜使用的名单，提醒该类用户减少食用；对于该类用户中身体状况改善的用户，确定其经常食用菜品，作为推荐菜品供用户参考；
(5)在得到作为参考的推荐菜品后，通过网络在网站查询对应的食品信息，并实时生成饮食购买推荐。
优选地，步骤1)所述的用户身体状况界面用于管理来源于权威医疗机构的用户体检报告。
优选地，步骤3)所述的食材辨识与管理，包括：
1)获取大量包括各种蔬菜、水果、肉类等在内的食材图片，并依据食材名称完成标记，形成带标签的图片数据集；
2)构建Faster RCNN模型，确定模型结构及待优化模型参数，将上述图片数据集分为两部分，其中80％数据集作为训练样本，用于模型训练，20％数据集作为测试样本，用于分析模型的好坏,获取网络上公开的用于图像识别的已训练RPN模型R1和Fast RCNN模型F1作为初始化网络模型，基于反向传播算法，通过训练样本对模型R1进行参数更新，得到食材候选区域P1,利用食材候选区域P1和训练样本对Fast RCNN模型F1进行训练，得到可初步对食材进行识别的检测网络F2，F2为新的Fast RCNN模型,通过模型F2对模型R1进行重新训练，固定R1和F2的共享卷积层参数不变，只对R1独有的层进行微调，得到新的RPN模型R2,通过调用模型R2产生新的候选区域P2，保持共享卷积层的参数不变，微调F2的全连接层，对bounding box的位置进行精修，得到具有食材识别功能的Faster RCNN模型，实现较为精准的食材识别。
所述的反向传播算法中的损失函数为
其中损失函数分为两部分，对应RPN两条支路，即所识别的种类是否正确的分类误差和bounding box(边框)的回归误差是目标与非目标的对数损失，损失函数为
回归误差表达式为其中R是Smooth L1，其计算公式为
Ncls表示分类层的归一化，Nreg表示回归层的归一化，pi为第i个anchor的目标预测概率值，为ground truth的标签值，当第i个anchor为正标签时为1，当第i个anchor为负标签时为0，λ为平衡权重，ti为预测的bounding box参数化坐标(tx,ty,tw,th)的向量，为第i个anchor为正标签时对应的bounding box参数化坐标的向量。
所述的精修过程为先对bounding box的位置进行平移，然后进行尺度缩放，使其与目标窗口非常接近。
在上述训练过程中计算bounding box误差时，比较tx，ty，tw，th，计算如下：
其中：x,y,w,h为RPN网络预测框的中心位置坐标和宽、高；xa,ya,wa,ha为anchorbox的中心位置坐标和宽、高，x*,y*,w*,h*为正确标定的边框的中心位置坐标和宽、高；tx,ty,tw,th为经过预测和标定后得到的真正需要的平移量(tx,ty)和尺度缩放(tw,th)。
3)通过内置在冰箱内部的图像采集设备以一定时间间隔定时获取冰箱内食材信息，输入上述优化确定的Faster RCNN模型，确定食材种类、数目以及位置，进而更新食材信息，完成食材辨识与管理。
与目前现有技术相比，本发明
(1)能够实现语音识别与图像识别的有机结合，方便用户进行日常食材管理；
(2)能够通过复杂网络结合用户饮食历史与身体状况，为用户提供智能饮食推荐服务；
(3)能够关联网站查询所推荐食物的信息，并自动生成购买需求清单。
附图说明
图1是以智能冰箱为销售终端的健康饮食大数据管理系统的流程框图；
图2是智能冰箱可视化用户界面，其中图2a是用户注册登录界面，图2b是冰箱环境界面，图2c是用户身体状况界面，图2d是食材管理界面，图2e是食谱推荐界面，图2f是美食检索与历史记录界面，图2g是家居系统管理界面；
图3是Faster RCNN模型整体结构示意图；
图4是区域建议网络(RPN)整体结构；
图5是Faster RCNN模型框架。
具体实施方式
下面根据附图对本发明进行详细描述，其为本发明多种实施方式中的一种优选实施例。
以智能冰箱为销售终端的健康饮食大数据管理系统，通过内置在冰箱内部的图像采集设备完成冰箱内食材的图像获取，融入Faster RCNN模型实现对用户日常食材的管理，并记录用户的饮食历史，以用户群食用菜品为基础，构建有向加权复杂网络，结合用户身体状况及用户喜好等，为用户给出饮食建议。在关联某网站查询相应食物信息后，给出智能筛选后的购买推荐。
在一个优选实施例中，以智能冰箱为销售终端的健康饮食大数据管理系统，优选地，通过智能冰箱对用户日常食材进行管理，并记录用户的饮食历史，以用户群食用菜品为基础，构建有向加权复杂网络，结合用户身体状况，为用户提供智能饮食推荐服务，在关联某网站查询相应食物信息后，给出智能筛选后的购买推荐，具体包含以下步骤：
1)开发功能完备、交互友好的智能冰箱系统以及配套的用户界面，包括注册登录、冰箱环境、用户身体状况、食材管理、食谱推荐、美食检索与历史记录界面；
2)支持用户通过语音输入完成智能冰箱的远程控制，并通过步骤1)中所述界面完成实时反馈；
3)支持用户通过内置在冰箱内部的图像采集设备完成冰箱内食材的图片获取，构建Faster RCNN模型，以食材图片为输入进行有监督训练，优化模型结构、参数，支撑智能冰箱系统实现食材准确辨识与管理；
4)以用户群食用菜品为基础，构建有向加权复杂网络，结合用户身体状况，为用户提供智能饮食推荐服务，包括：
(1)针对单个用户αi的饮食记录，以食用过的菜品为网络节点，以各种菜品的食用时间顺序为依据，构建菜品之间的有向连边，得到有向加权复杂网络Ai，对于某种菜品的频繁食用将导致该菜品所对应的网络节点拥有较大的网络度值；
(2)对所有用户{αi},i＝1,2,...,n，分别构建有向加权复杂网络，得到层数为n的分层有向加权复杂网络；
(3)基于身体健康状况对所有用户{αi}进行分类，标记为{βj},j＝1,2,...,k(k≤n)；
(4)对于某类用户βj，根据网络节点度，考虑以下三点，定制饮食推荐方案，包括：
a.确定本用户在过去一段时间内经常食用的食物与身体健康状态的变化并分析内在联系；
b.考察同类用户在过去一段时间内发生同样身体健康状态的变化时经常食用的食物；
c.考察同类用户在过去一段时间内食用相同食物后发生的身体健康状态的变化；
通过以上三点，以本用户健康状态为指导、同类用户健康状态为辅助对食用食物进行评价，进而对饮食方案进行推荐，即对于该类用户中身体状况变差的用户，从其经常食用菜品中确定不宜使用的名单，提醒该类用户减少食用；对于该类用户中身体状况改善的用户，确定其经常食用菜品，作为推荐菜品供用户参考。
(5)在得到作为参考的推荐菜品后，通过网络在网站查询对应的食品信息，并实时生成饮食购买推荐。
步骤1)所述的用户身体状况界面用于管理来源于权威医疗机构的用户体检报告，可为个性化健康饮食推荐提供重要参考。
步骤3)所述的食材辨识与管理，包括：
1)获取大量包括各种蔬菜、水果、肉类等在内的食材图片，并依据食材名称完成标记，形成带标签的图片数据集；
2)构建Faster RCNN模型，确定模型结构及待优化模型参数，将上述图片数据集分为两部分作为输入，其中80％数据集作为训练样本，用于模型训练，20％数据集作为测试样本，用于分析模型的好坏,获取网络上公开的用于图像识别的已训练RPN模型R1和FastRCNN模型F1作为初始化网络模型，基于反向传播算法，通过训练样本对模型R1进行参数更新，得到食材候选区域P1,利用食材候选区域P1和训练样本对Fast RCNN模型F1进行训练，得到可初步对食材进行识别的检测网络F2，F2为新的Fast RCNN模型,通过模型F2对模型R1进行重新训练，固定R1和F2的共享卷积层参数不变，只对R1独有的层进行微调，得到新的RPN模型R2,通过调用模型R2产生新的候选区域P2，保持共享卷积层的参数不变，微调F2的全连接层，对bounding box的位置进行精修，得到具有食材识别功能的Faster RCNN模型，实现较为精准的食材识别。
所述的反向传播算法中的损失函数为
其中损失函数分为两部分，对应RPN两条支路，即所识别的种类是否正确的分类误差和bounding box(边框)的回归误差是目标与非目标的对数损失，损失函数为
回归误差表达式为其中R是Smooth L1，其计算公式为
Ncls表示分类层的归一化，Nreg表示回归层的归一化，pi为第i个anchor的目标预测概率值，为ground truth的标签值，当第i个anchor为正标签时为1，当第i个anchor为负标签时为0，λ为平衡权重，ti为预测的bounding box参数化坐标(tx,ty,tw,th)的向量，为第i个anchor为正标签时对应的bounding box参数化坐标的向量。
所述的精修过程为先对bounding box的位置进行平移，然后进行尺度缩放，使其与目标窗口非常接近。
在上述训练过程中计算bounding box误差时，比较tx，ty，tw，th，计算如下：
其中：x,y,w,h为RPN网络预测框的中心位置坐标和宽、高；xa,ya,wa,ha为anchorbox的中心位置坐标和宽、高，x*,y*,w*,h*为正确标定的边框的中心位置坐标和宽、高；tx,ty,tw,th为经过预测和标定后得到的真正需要的平移量(tx,ty)和尺度缩放(tw,th)。
3)通过内置在冰箱内部的图像采集设备以一定时间间隔定时获取冰箱内食材信息，输入上述优化确定的Faster RCNN模型，确定食材种类、数目以及位置，进而更新食材信息，完成食材辨识与管理。
在另一个优选实施例中，可以采用如下方案：以智能冰箱为销售终端的健康饮食大数据管理系统，通过深度学习相关理论实现对智能冰箱的远程语音控制和冰箱内食材的自动识别，通过配套的用户界面进行食材管理；在互联网+的基础上，收集众多用户的饮食与健康相关信息，在云平台上构建数据集；以复杂网络为核心，将用户饮食历史与身体状况有机结合，基于大数据分析融合理论，并通过关联网站查询食物信息以及生成购物清单，以智能冰箱为销售终端实现健康饮食大数据管理系统。
本发明的以智能冰箱为销售终端的健康饮食大数据管理系统，如图1所示，具体包括如下步骤：
1)开发功能完备、交互友好的智能冰箱系统以及配套的用户界面，如图2所示，包括注册登录、冰箱环境、用户身体状况、食材管理、食谱推荐、美食检索与历史记录界面；
所述的用户身体状况界面用于管理来源于权威医疗机构的用户体检报告，体检内容包括身高、体重、血压、血脂、血常规、尿常规等，可为个性化健康饮食推荐提供重要参考。
2)支持用户通过语音输入完成智能冰箱的远程控制，并通过步骤1)中所述界面完成实时反馈，并且可以在冰箱的该界面下了解整个家居系统(包括冰箱)的信息并依此做出调控，如，通过该界面了解到空调恰好处于休眠中，可以在界面上直接开启并进行温度设定，通过该界面了解到冰箱中食物(如肉类)不足，可以直接进行购买等；
3)支持用户通过内置在冰箱内部的图像采集设备完成冰箱内食材的图像获取，构建Faster RCNN模型，优化模型结构、参数，支撑智能冰箱系统实现食材准确辨识与管理；
所述的食材辨识与管理，包括：
(1)获取大量包括各种蔬菜、水果、肉类等在内的食材图片，并依据食材名称完成标记，形成带标签的图片数据集；
(2)如图3和图5所示，构建Faster RCNN模型，其框架如图5所示，确定模型结构及待优化模型参数，将上述图片数据集分为两部分作为输入，其中80％数据集作为训练样本，用于模型训练，20％数据集作为测试样本，用于分析模型的好坏,获取网络上公开的用于图像识别的已训练RPN模型R1和Fast RCNN模型F1作为初始化网络模型，基于反向传播算法，通过训练样本对模型R1进行参数更新，得到食材候选区域P1,利用食材候选区域P1和训练样本对Fast RCNN模型F1进行训练，得到可初步对食材进行识别的检测网络F2，F2为新的Fast RCNN模型,通过模型F2对模型R1进行重新训练，固定R1和F2的共享卷积层参数不变，只对R1独有的层进行微调，得到新的RPN模型R2,通过调用模型R2产生新的候选区域P2，保持共享卷积层的参数不变，微调F2的全连接层，对bounding box的位置进行精修，得到具有食材识别功能的Faster RCNN模型，实现较为精准的食材识别。
所述的反向传播算法中的损失函数为
其中损失函数分为两部分，对应RPN两条支路，即所识别的种类是否正确的分类误差和bounding box(边框)的回归误差是目标与非目标的对数损失，损失函数为
回归误差表达式为其中R是Smooth L1，其计算公式为
Ncls表示分类层的归一化，Nreg表示回归层的归一化，pi为第i个anchor的目标预测概率值，为ground truth的标签值，当第i个anchor为正标签时为1，当第i个anchor为负标签时为0，λ为平衡权重，ti为预测的bounding box参数化坐标(tx,ty,tw,th)的向量，为第i个anchor为正标签时对应的bounding box参数化坐标的向量。
所述的精修过程为先对bounding box的位置进行平移，然后进行尺度缩放，使其与目标窗口非常接近。
在上述训练过程中计算bounding box误差时，比较tx，ty，tw，th，计算如下：
其中：x,y,w,h为RPN网络预测框的中心位置坐标和宽、高；xa,ya,wa,ha为anchorbox的中心位置坐标和宽、高，x*,y*,w*,h*为正确标定的边框的中心位置坐标和宽、高；tx,ty,tw,th为经过预测和标定后得到的真正需要的平移量(tx,ty)和尺度缩放(tw,th)。
(3)通过内置在冰箱内部的图像采集设备以一定时间间隔定时获取冰箱内食材信息，输入上述优化确定的深度卷积神经网络模型，确定食材种类、数目以及位置，进而更新食材信息，完成食材辨识与管理。本方法在深度学习图像识分类基础上添加了目标识别部分，可以在图片背景下对特定目标进行框选，进而较传统方法提高识别分类的准确率。
4)以用户群食用菜品为基础，构建有向加权复杂网络，结合用户身体状况，为用户提供智能饮食推荐服务，包括：
(1)针对单个用户αi的饮食记录，以食用过的菜品为网络节点，以各种菜品的食用时间顺序为依据，构建菜品之间的有向连边，得到有向加权复杂网络Ai，对于某种菜品的频繁食用将导致该菜品所对应的网络节点拥有较大的网络度值；这里的饮食记录指用户的三餐中的某一餐或者组合中的饮食记录；
(2)“互联网+”是互联网发展的新业态，是依托互联网技术，把传统产业联合进来完成优势互补的手段；在“互联网+”的基础上，将冰箱记录的大量用户的饮食信息实时更新至云服务器，构建用户饮食大数据，并与用户的身体健康状况、喜好等建立对应关系，对所有用户{αi},i＝1,2,...,n，分别构建有向加权复杂网络，得到层数为n的分层有向加权复杂网络；
(3)基于身体健康状况对所有用户{αi}进行分类，标记为{βj},j＝1,2,...,k(k≤n)；
(4)对于某类用户βj，根据网络节点度，考虑以下三点，定制饮食推荐方案。
a.确定本用户在过去一段时间内经常食用的食物(如鱼、奶等)与身体健康状态的变化(如血压升高、血脂降低等)并分析内在联系；
b.考察同类用户在过去一段时间内发生同样身体健康状态的变化时经常食用的食物；
c.考察同类用户在过去一段时间内食用相同食物后发生的身体健康状态的变化；
通过以上三点，以本用户健康状态为指导、同类用户健康状态为辅助对食用食物进行评价，进而对饮食方案进行推荐，即对于该类用户中身体状况变差的用户，从其经常食用菜品中确定不宜使用的名单，提醒该类用户减少食用；对于该类用户中身体状况改善的用户，确定其经常食用菜品，作为推荐菜品供用户参考。本方法在交通、金融等多变量，强耦合的复杂系统下取得了好的结果，而饮食推荐问题具有相同特点，故采用本方法进行研究。
(5)在得到作为参考的推荐菜品后，在网上查询对应的食品信息，并实时生成购买推荐。
(6)在与家居系统中其它家电进行信息互通后，对生成的购买推荐进行修正。如，通过信息互通，在洗衣机上得到洗涤的衣物汗渍、灰尘增加，电子秤上得到体重减少等信息，可在购买推荐中增加相关运动后营养补充的食物；在手机、电视等发现经常浏览、评价的食物，可以添加到购买推荐中，等。
本专利充分利用智能冰箱分布式的特点，依托“互联网+”的互联互通优势，凭借云服务器以及复杂网络数据挖掘、分析理论，建立日常饮食与身体状况变化的对应关系，为用户提供饮食重要参考，并关联网站查询食物信息后，给出购买推荐，并根据家电系统中其他家电获取的信息修改购买推荐，对其进行完善，实现健康饮食大数据管理。
上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种改进，或未经改进直接应用于其它场合的，均在本发明的保护范围之内。
Claims (10)
1.一种饮食管理系统，其特征在于，包括智能终端，信息采集系统，Faster RCNN模型，数据管理系统以及有向加权复杂网络，其中，
所述信息采集系统设置于智能终端内并用于采集信息；
所述信息采集系统连接所述Faster RCNN模型，并用于向Faster RCNN模型发送信息；
所述Faster RCNN模型连接至数据管理系统，所述Faster RCNN模型用于食材辨识；
所述数据管理系统连接至有向加权复杂网络；
所述有向加权复杂网络用于获取相关信息并处理。
2.如权利要求1所述的饮食管理系统，其特征在于，所述智能终端包括用户界面，所述有向加权复杂网络通信连接用户界面并可将处理后得到信息反馈和/或显示在所述用户界面，优选地，所述信息采集系统通信连接用户界面并可将采集信息反馈和/或显示在所述用户界面；和/或，
所述有向加权复杂网络用于获取相关信息并处理中的所述相关信息包括用户群食用菜品信息和/或用户身体状况信息；
优选地，
所述智能终端为智能冰箱，和/或，
所述信息采集系统为智能冰箱内食材图像采集设备，和/或，
所述智能终端为具有记录用户饮食记录/饮食历史功能模块的智能冰箱。
3.如权利要求1或2所述的饮食管理系统，其特征在于，所述有向加权复杂网络连接至数据管理系统，并用于向其发送处理后得到信息，所述数据管理系统用于处理所述有向加权复杂网络处理后得到信息并给出建议信息；和/或，
所述数据管理系统为智能冰箱饮食大数据管理系统，所述建议信息为食材/饮食推荐与购买信息；和/或，
所述的饮食管理系统还包括关联网站，其连接至有向加权复杂网络并可向其发送关联信息，优选地，所述关联信息包括饮食推荐结果信息或推荐菜品信息；和/或，
所述的饮食管理系统还包括语音识别模块，其连接至智能终端或内置在智能终端内，用于识别语音和/或识别语音后向智能终端发送信息；和/或，
所述的饮食管理系统还包括家居系统中其他终端，所述其他终端连接至智能终端、和/或有向加权复杂网络、和/或数据管理系统；和/或，
所述其他终端包括洗衣机，和/或，电子秤，和/或，手机，和/或，电视，和/或，空调。
4.如权利要求1-3任一项所述的饮食管理系统，其特征在于，所述Faster RCNN模型采用如下方式构建：
将带标签的图片数据集分为两部分，其中80％数据集作为训练样本，用于模型训练，20％数据集作为测试样本，用于分析模型的好坏,获取网络上公开的用于图像识别的已训练RPN模型R1和Fast RCNN模型F1作为初始化网络模型，基于反向传播算法，通过训练样本对模型R1进行参数更新，得到食材候选区域P1,利用食材候选区域P1和训练样本对FastRCNN模型F1进行训练，得到可初步对食材进行识别的检测网络F2，F2为新的Fast RCNN模型,通过模型F2对模型R1进行重新训练，固定R1和F2的共享卷积层参数不变，只对R1独有的层进行微调，得到新的RPN模型R2,通过调用模型R2产生新的候选区域P2，保持共享卷积层的参数不变，微调F2的全连接层，对bounding box的位置进行精修，得到具有食材识别功能的Faster RCNN模型，实现较为精准的食材识别；
所述的反向传播算法中的损失函数为
其中损失函数分为两部分，对应RPN两条支路，即所识别的种类是否正确的分类误差和bounding box(边框)的回归误差是目标与非目标的对数损失，损失函数为
回归误差表达式为其中R是Smooth L1，其计算公式为
Ncls表示分类层的归一化，Nreg表示回归层的归一化，pi为第i个anchor的目标预测概率值，为ground truth的标签值，当第i个anchor为正标签时为1，当第i个anchor为负标签时为0，λ为平衡权重，ti为预测的bounding box参数化坐标(tx,ty,tw,th)的向量，为第i个anchor为正标签时对应的bounding box参数化坐标的向量；
所述的精修过程为先对bounding box的位置进行平移，然后进行尺度缩放，使其与目标窗口非常接近；
在上述训练过程中计算bounding box误差时，比较tx，ty，tw，th，计算如下：
其中：x,y,w,h为RPN网络预测框的中心位置坐标和宽、高；xa,ya,wa,ha为anchor box的中心位置坐标和宽、高，x*,y*,w*,h*为正确标定的边框的中心位置坐标和宽、高；tx,ty,tw,th为经过预测和标定后得到的真正需要的平移量(tx,ty)和尺度缩放(tw,th)；
优选地，所述带标签的图片数据集包括依据食材名称完成标记的食材图片；
优选地，所述有向加权复杂网络采用如下方式构建：
针对单个用户αi的饮食记录/饮食历史，以食用过的菜品为网络节点，以各种菜品的食用时间顺序为依据，构建菜品之间的有向连边，得到有向加权复杂网络Ai，对于某种菜品的频繁食用将导致该菜品所对应的网络节点拥有较大的网络度值；
对所有用户{αi},i＝1,2,...,n，分别构建有向加权复杂网络，得到层数为n的分层有向加权复杂网络；
基于用户身体状况信息对所有用户{αi}进行分类，标记为{βj},j＝1,2,...,k(k≤n)。
5.一种饮食管理系统的构建方法，其特征在于，包括如下步骤：
1)设置智能冰箱系统的用户界面；
2)构建Faster RCNN模型，支撑智能冰箱系统的食材辨识与管理；和
3)构建有向加权复杂网络；
优选地，所述步骤1)中所述用户界面包括注册登录、冰箱环境、用户身体状况、食材管理、食谱推荐、美食检索与历史记录界面；
优选地，所述步骤2)中对Faster RCNN模型以食材图片为输入进行有监督训练，优化模型结构、参数；
优选地，所述步骤3)中以用户群食用菜品为基础，构建有向加权复杂网络；
优选地，所述步骤3)中包括如下步骤：
3-1)针对单个用户αi的饮食记录，以食用过的菜品为网络节点，以各种菜品的食用时间顺序为依据，构建菜品之间的有向连边，得到有向加权复杂网络Ai，对于某种菜品的频繁食用将导致该菜品所对应的网络节点拥有较大的网络度值；
3-2)对所有用户{αi},i＝1,2,...,n，分别构建有向加权复杂网络，得到层数为n的分层有向加权复杂网络；
3-3)基于身体健康状况对所有用户{αi}进行分类，标记为{βj},j＝1,2,...,k(k≤n)；
优选地，所述步骤2)中包括如下步骤：
2-1)获取食材图片，依据食材名称完成标记，形成带标签的图片数据集；
2-2)构建Faster RCNN模型，确定模型结构及待优化模型参数，将步骤2-1)中图片数据集分为两部分，其中80％数据集作为训练样本，用于模型训练，20％数据集作为测试样本，用于分析模型的好坏,获取网络上公开的用于图像识别的已训练RPN模型R1和Fast RCNN模型F1作为初始化网络模型，基于反向传播算法，通过训练样本对模型R1进行参数更新，得到食材候选区域P1,利用食材候选区域P1和训练样本对Fast RCNN模型F1进行训练，得到可初步对食材进行识别的检测网络F2，F2为新的Fast RCNN模型,通过模型F2对模型R1进行重新训练，固定R1和F2的共享卷积层参数不变，只对R1独有的层进行微调，得到新的RPN模型R2,通过调用模型R2产生新的候选区域P2，保持共享卷积层的参数不变，微调F2的全连接层，对bounding box的位置进行精修，得到具有食材识别功能的Faster RCNN模型，实现较为精准的食材识别；
所述的反向传播算法中的损失函数为
其中损失函数分为两部分，对应RPN两条支路，即所识别的种类是否正确的分类误差和bounding box(边框)的回归误差是目标与非目标的对数损失，损失函数为
回归误差表达式为其中R是Smooth L1，其计算公式为
Ncls表示分类层的归一化，Nreg表示回归层的归一化，pi为第i个anchor的目标预测概率值，为ground truth的标签值，当第i个anchor为正标签时为1，当第i个anchor为负标签时为0，λ为平衡权重，ti为预测的bounding box参数化坐标(tx,ty,tw,th)的向量，为第i个anchor为正标签时对应的bounding box参数化坐标的向量；
所述的精修过程为先对bounding box的位置进行平移，然后进行尺度缩放，使其与目标窗口非常接近；
在上述训练过程中计算bounding box误差时，比较tx，ty，tw，th，计算如下：
其中：x,y,w,h为RPN网络预测框的中心位置坐标和宽、高；xa,ya,wa,ha为anchor box的中心位置坐标和宽、高，x*,y*,w*,h*为正确标定的边框的中心位置坐标和宽、高；tx,ty,tw,th为经过预测和标定后得到的真正需要的平移量(tx,ty)和尺度缩放(tw,th)。
6.一种饮食/食材管理方法，其特征在于，包括如下步骤：
(1)智能终端获取信息或者接受指令；
(2)Faster RCNN模型对智能终端内食材进行辨识与管理；
(3)有向加权复杂网络获取相关信息并处理；和
(4)有向加权复杂网络获取相关信息的处理结果信息反馈和/或显示在智能终端。
7.如权利要求6所述的饮食/食材管理方法，其特征在于，所述步骤(1)中所述智能终端为具备交互功能的智能冰箱，其设置有用户界面；优选地，所述用户界面包括注册登录、冰箱环境、用户身体状况、食材管理、食谱推荐、美食检索与历史记录界面；进一步优选地，所述步骤(1)中用户通过语音输入向智能冰箱发送远程控制信号；和/或，
所述步骤(2)中用户通过内置在冰箱内部的图像采集设备完成冰箱内食材的图片获取，输入所述Faster RCNN模型，支撑智能冰箱系统实现食材准确辨识与管理；和/或，
所述步骤(3)中有向加权复杂网络以用户群食用菜品信息为基础，结合用户身体状况信息处理得到饮食推荐结果信息或推荐菜品,作为饮食参考；和/或，
所述步骤(4)中通过所述用户界面完成实时反馈和/或显示；和/或，
所述的饮食/食材管理方法还包括步骤(5)：在得到作为参考的饮食推荐结果信息或推荐菜品后，通过网络在指定网站查询对应的食品信息，并实时生成食材购买推荐；或者，还包括步骤(5)：记录用户的饮食记录/饮食历史。
8.如权利要求7所述的饮食/食材管理方法，其特征在于，所述步骤(3)包括如下步骤：
(3-1)针对单个用户αi的饮食记录，以食用过的菜品为网络节点，以各种菜品的食用时间顺序为依据，构建菜品之间的有向连边，得到有向加权复杂网络Ai，对于某种菜品的频繁食用将导致该菜品所对应的网络节点拥有较大的网络度值；
(3-2)对所有用户{αi},i＝1,2,...,n，分别构建有向加权复杂网络，得到层数为n的分层有向加权复杂网络；
(3-3)基于身体健康状况对所有用户{αi}进行分类，标记为{βj},j＝1,2,...,k(k≤n)；
(3-4)对于某类用户βj，根据网络节点度，考虑相关因素，定制饮食推荐方案。
9.如权利要求8所述的饮食/食材管理方法，其特征在于，所述步骤(3-4)中所述相关因素包括：
a.确定本用户在过去一段时间内经常食用的食物与身体健康状态的变化并分析内在联系；
b.考察同类用户在过去一段时间内发生同样身体健康状态的变化时经常食用的食物；
c.考察同类用户在过去一段时间内食用相同食物后发生的身体健康状态的变化。
10.如权利要求7所述的饮食/食材管理方法，其特征在于，所述步骤(2)中包括如下步骤：
(2-1)获取食材图片，并依据食材名称完成标记，形成带标签的图片数据集；
(2-2)构建Faster RCNN模型，确定模型结构及待优化模型参数，将上述图片数据集分为两部分，其中80％数据集作为训练样本，用于模型训练，20％数据集作为测试样本，用于分析模型的好坏,获取网络上公开的用于图像识别的已训练RPN模型R1和Fast RCNN模型F1作为初始化网络模型，基于反向传播算法，通过训练样本对模型R1进行参数更新，得到食材候选区域P1,利用食材候选区域P1和训练样本对Fast RCNN模型F1进行训练，得到可初步对食材进行识别的检测网络F2，F2为新的Fast RCNN模型,通过模型F2对模型R1进行重新训练，固定R1和F2的共享卷积层参数不变，只对R1独有的层进行微调，得到新的RPN模型R2,通过调用模型R2产生新的候选区域P2，保持共享卷积层的参数不变，微调F2的全连接层，对bounding box的位置进行精修，得到具有食材识别功能的Faster RCNN模型，实现较为精准的食材识别；
所述的反向传播算法中的损失函数为
其中损失函数分为两部分，对应RPN两条支路，即所识别的种类是否正确的分类误差和bounding box(边框)的回归误差是目标与非目标的对数损失，损失函数为
回归误差表达式为其中R是Smooth L1，其计算公式为
Ncls表示分类层的归一化，Nreg表示回归层的归一化，pi为第i个anchor的目标预测概率值，为ground truth的标签值，当第i个anchor为正标签时为1，当第i个anchor为负标签时为0，λ为平衡权重，ti为预测的bounding box参数化坐标(tx,ty,tw,th)的向量，为第i个anchor为正标签时对应的bounding box参数化坐标的向量；
所述的精修过程为先对bounding box的位置进行平移，然后进行尺度缩放，使其与目标窗口非常接近；
在上述训练过程中计算bounding box误差时，比较tx，ty，tw，th，计算如下：
其中：x,y,w,h为RPN网络预测框的中心位置坐标和宽、高；xa,ya,wa,ha为anchor box的中心位置坐标和宽、高，x*,y*,w*,h*为正确标定的边框的中心位置坐标和宽、高；tx,ty,tw,th为经过预测和标定后得到的真正需要的平移量(tx,ty)和尺度缩放(tw,th)；
(2-3)通过内置在冰箱内部的图像采集设备以一定时间间隔定时获取冰箱内食材信息，输入上述优化确定的Faster RCNN模型，确定食材种类、数目以及位置，进而更新食材信息，完成食材辨识与管理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810432254.9A CN108766528B (zh) | 2018-05-08 | 2018-05-08 | 一种饮食管理系统及其构建方法、一种食材管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810432254.9A CN108766528B (zh) | 2018-05-08 | 2018-05-08 | 一种饮食管理系统及其构建方法、一种食材管理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108766528A true CN108766528A (zh) | 2018-11-06 |
| CN108766528B CN108766528B (zh) | 2021-07-16 |
Family
ID=64009722
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810432254.9A Expired - Fee Related CN108766528B (zh) | 2018-05-08 | 2018-05-08 | 一种饮食管理系统及其构建方法、一种食材管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108766528B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109584991A (zh) * | 2018-11-08 | 2019-04-05 | 上海优悦信息科技有限公司 | 一种用于通过冰箱提供食材配组信息的方法以及冰箱 |
| CN109829774A (zh) * | 2018-11-30 | 2019-05-31 | 广州富港万嘉智能科技有限公司 | 食材一键订购方法、系统、电子设备及存储介质 |
| CN111353333A (zh) * | 2018-12-21 | 2020-06-30 | 九阳股份有限公司 | 一种食材识别方法、家电设备及食材识别系统 |
| CN112016582A (zh) * | 2019-05-31 | 2020-12-01 | 口口相传(北京)网络技术有限公司 | 菜品推荐方法及其装置 |
| WO2021027655A1 (zh) * | 2019-08-15 | 2021-02-18 | 青岛海尔电冰箱有限公司 | 查看和跟踪储存物品的方法 |
| CN115547457A (zh) * | 2022-10-14 | 2022-12-30 | 广东省第二人民医院（广东省卫生应急医院） | 基于体检数据的食谱智能推荐方法、装置、设备及介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101010031A (zh) * | 2004-02-17 | 2007-08-01 | 波蒂生物公司 | 用于整合个人化临床试验结果和营养治疗的网络和方法 |
| CN103024017A (zh) * | 2012-12-04 | 2013-04-03 | 武汉大学 | 一种社交网络重要目标及社区群体识别方法 |
| CN103177339A (zh) * | 2013-03-25 | 2013-06-26 | 中山大学 | 基于智能冰箱的食品管理与推荐系统 |
| CN103905279A (zh) * | 2012-12-30 | 2014-07-02 | 青岛海尔软件有限公司 | 基于物联网中间件的家庭健康系统 |
| CN103984847A (zh) * | 2014-04-14 | 2014-08-13 | 小米科技有限责任公司 | 一种饮食推荐方法及相关装置 |
| CN105135782A (zh) * | 2015-08-31 | 2015-12-09 | 合肥格易集成电路有限公司 | 一种基于物联网的智能冰箱管理系统 |
| CN105426477A (zh) * | 2015-11-18 | 2016-03-23 | 四川长虹电器股份有限公司 | 基于云服务平台和智能冰箱的配餐方法 |
| CN106403488A (zh) * | 2016-09-08 | 2017-02-15 | 三星电子（中国）研发中心 | 智能冰箱及其管理方法 |
| CN106447451A (zh) * | 2016-09-29 | 2017-02-22 | 四川长虹电器股份有限公司 | 基于智能冰箱的线下购物推荐系统及方法 |
| CN107665336A (zh) * | 2017-09-20 | 2018-02-06 | 厦门理工学院 | 智能冰箱中基于Faster‑RCNN的多目标检测方法 |
-
2018
- 2018-05-08 CN CN201810432254.9A patent/CN108766528B/zh not_active Expired - Fee Related
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101010031A (zh) * | 2004-02-17 | 2007-08-01 | 波蒂生物公司 | 用于整合个人化临床试验结果和营养治疗的网络和方法 |
| CN103024017A (zh) * | 2012-12-04 | 2013-04-03 | 武汉大学 | 一种社交网络重要目标及社区群体识别方法 |
| CN103905279A (zh) * | 2012-12-30 | 2014-07-02 | 青岛海尔软件有限公司 | 基于物联网中间件的家庭健康系统 |
| CN103177339A (zh) * | 2013-03-25 | 2013-06-26 | 中山大学 | 基于智能冰箱的食品管理与推荐系统 |
| CN103984847A (zh) * | 2014-04-14 | 2014-08-13 | 小米科技有限责任公司 | 一种饮食推荐方法及相关装置 |
| CN105135782A (zh) * | 2015-08-31 | 2015-12-09 | 合肥格易集成电路有限公司 | 一种基于物联网的智能冰箱管理系统 |
| CN105426477A (zh) * | 2015-11-18 | 2016-03-23 | 四川长虹电器股份有限公司 | 基于云服务平台和智能冰箱的配餐方法 |
| CN106403488A (zh) * | 2016-09-08 | 2017-02-15 | 三星电子（中国）研发中心 | 智能冰箱及其管理方法 |
| CN106447451A (zh) * | 2016-09-29 | 2017-02-22 | 四川长虹电器股份有限公司 | 基于智能冰箱的线下购物推荐系统及方法 |
| CN107665336A (zh) * | 2017-09-20 | 2018-02-06 | 厦门理工学院 | 智能冰箱中基于Faster‑RCNN的多目标检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| MINGGANG WANG等: "Systemic risk and spatiotemporal dynamics of the consumer market of China", 《PHYSICA A》 * |
| SHAOQING REN等: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", 《网页在线公开：HTTPS://ARXIV.ORG/ABS/ 1506.01497V3》 * |
| ZHONG-KE GAO等: "A directed weighted complex network for characterizing chaotic dynamics from time series", 《NONLINEAR ANALYSIS: REAL WORLD APPLICATIONS》 * |
| 卢丹等: "电子商务中基于复杂网络社团发现的商品推荐研究", 《工业技术创新》 * |
| 赵帆: "基于复杂网络数据挖掘的个性化电子商务推荐系统研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109584991A (zh) * | 2018-11-08 | 2019-04-05 | 上海优悦信息科技有限公司 | 一种用于通过冰箱提供食材配组信息的方法以及冰箱 |
| CN109829774A (zh) * | 2018-11-30 | 2019-05-31 | 广州富港万嘉智能科技有限公司 | 食材一键订购方法、系统、电子设备及存储介质 |
| CN111353333A (zh) * | 2018-12-21 | 2020-06-30 | 九阳股份有限公司 | 一种食材识别方法、家电设备及食材识别系统 |
| CN111353333B (zh) * | 2018-12-21 | 2023-10-20 | 九阳股份有限公司 | 一种食材识别方法、家电设备及食材识别系统 |
| CN112016582A (zh) * | 2019-05-31 | 2020-12-01 | 口口相传(北京)网络技术有限公司 | 菜品推荐方法及其装置 |
| CN112016582B (zh) * | 2019-05-31 | 2023-11-24 | 口口相传(北京)网络技术有限公司 | 菜品推荐方法及其装置 |
| WO2021027655A1 (zh) * | 2019-08-15 | 2021-02-18 | 青岛海尔电冰箱有限公司 | 查看和跟踪储存物品的方法 |
| CN114270124A (zh) * | 2019-08-15 | 2022-04-01 | 青岛海尔电冰箱有限公司 | 查看和跟踪储存物品的方法 |
| CN114270124B (zh) * | 2019-08-15 | 2023-05-16 | 青岛海尔电冰箱有限公司 | 查看和跟踪储存物品的方法 |
| CN115547457A (zh) * | 2022-10-14 | 2022-12-30 | 广东省第二人民医院（广东省卫生应急医院） | 基于体检数据的食谱智能推荐方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108766528B (zh) | 2021-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108766528A (zh) | 一种饮食管理系统及其构建方法、一种食材管理方法 | |
| CN108829723B (zh) | 基于复杂网络和深度学习的可交互智能冰箱健康服务终端 | |
| WO2020210543A1 (en) | Method and system for optimized foods using biomarker data and fitting models | |
| CN107680652A (zh) | 一种基于机器学习的营养饮食推荐及评价方法 | |
| CN107004370B (zh) | 上下文导出的行为建模和反馈 | |
| KR20190096851A (ko) | 비전 인식 기반의 조리기 제어 방법 및 제어 장치 | |
| CN110765273B (zh) | 推荐文案生成方法、装置、电子设备及可读存储介质 | |
| CN110807150A (zh) | 信息处理方法及装置、电子设备和计算机可读存储介质 | |
| WO2019174549A1 (zh) | 信息推荐方法和装置 | |
| CN109242593B (zh) | 一种基于案例推理的服装推荐方法、装置和存储介质 | |
| CN111949887A (zh) | 物品推荐方法、装置及计算机可读存储介质 | |
| CN110119479A (zh) | 一种餐馆推荐方法、装置、设备及可读存储介质 | |
| Gorbonos et al. | NutRec: Nutrition oriented online recipe recommender | |
| CN111949889A (zh) | 一种基于大数据的共享平台智能推荐方法、系统及可读存储介质 | |
| CN116049536A (zh) | 一种推荐方法及相关装置 | |
| Al-Sarayreh et al. | Inverse design and ai/deep generative networks in food design: a comprehensive review | |
| US20210208753A1 (en) | Generating a user-specific user interface | |
| CN115905688B (zh) | 一种基于人工智能和智能家居的参考信息生成方法 | |
| Zhang | Innovative food recommendation systems: a machine learning approach | |
| CN110418171B (zh) | 媒体资源的推送方法和装置、存储介质及电子装置 | |
| Santhuja et al. | Intelligent Personalized Nutrition Guidance System Using IoT and Machine Learning Algorithm | |
| Sachin et al. | Location Based Agricultural Product Recommendation System Using Novel KNN Algorithm | |
| CN108845066A (zh) | 一种基于物联网的食品添加剂自动检测方法及系统 | |
| KR102621988B1 (ko) | 이미지 기반 퍼스널 향수 추천 서비스 제공 시스템 | |
| US12039585B2 (en) | System and method for blood and saliva optimized food consumption and delivery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210716 |