CN110569759A - 一种获取个体进食数据的方法、系统、服务端及前端 - Google Patents
一种获取个体进食数据的方法、系统、服务端及前端 Download PDFInfo
- Publication number
- CN110569759A CN110569759A CN201910793320.XA CN201910793320A CN110569759A CN 110569759 A CN110569759 A CN 110569759A CN 201910793320 A CN201910793320 A CN 201910793320A CN 110569759 A CN110569759 A CN 110569759A
- Authority
- CN
- China
- Prior art keywords
- food
- picture set
- eating
- picture
- identity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 171
- 235000013305 food Nutrition 0.000 claims abstract description 317
- 235000012631 food intake Nutrition 0.000 claims abstract description 208
- 230000037406 food intake Effects 0.000 claims abstract description 179
- 238000010801 machine learning Methods 0.000 claims abstract description 128
- 230000008569 process Effects 0.000 claims abstract description 120
- 235000016709 nutrition Nutrition 0.000 claims abstract description 16
- 235000005911 diet Nutrition 0.000 claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims description 105
- 230000009471 action Effects 0.000 claims description 55
- 238000013528 artificial neural network Methods 0.000 claims description 36
- 230000033001 locomotion Effects 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 32
- 239000003086 colorant Substances 0.000 claims description 23
- 239000000284 extract Substances 0.000 claims description 7
- 230000000378 dietary effect Effects 0.000 claims description 2
- 230000036544 posture Effects 0.000 claims 2
- 235000002864 food coloring agent Nutrition 0.000 claims 1
- 230000035764 nutrition Effects 0.000 abstract description 15
- 230000037213 diet Effects 0.000 abstract description 13
- 230000036541 health Effects 0.000 abstract description 12
- 210000002569 neuron Anatomy 0.000 description 20
- 238000004186 food analysis Methods 0.000 description 19
- 238000011156 evaluation Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 235000015219 food category Nutrition 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000010365 information processing Effects 0.000 description 6
- 238000010295 mobile communication Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000013480 data collection Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 235000004251 balanced diet Nutrition 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 235000004280 healthy diet Nutrition 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nutrition Science (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种获取个体进食数据的方法、系统、服务端及前端，其方法包括如下步骤：对进食者进行身份注册，并绑定进食者的个体身份标识；拍摄进食者的进食过程，获得图片集；将所述图片集输入机器学习模型，获取由所述机器学习模型输出的识别结果，并存入进食档案。该获取个体进食数据的技术方案，通过拍摄个体进食过程，同时结合进食者提前注册的身份信息以及绑定的个体身份标识，识别视频中的进食者的人物身份，并以进食时使用的进食工具为参照，根据进食工具入口和离开口的一组照片，计算实际的进食重量，同时判断食物种类，并将个体身份信息与其对应的进食档案、个人健康档案、标准化的营养学模型结合，以期为个体进行合理的膳食营养健康指导。
Description
技术领域
本发明涉及信息技术领域，更具体地说是涉及一种获取个体进食数据的方法、系统、服务端及前端。
背景技术
目前，与营养相关的慢性疾病已经成为造成人类死亡的重要原因，对个体进行膳食营养评估，结合个体身体指标，为个体进行膳食营养健康指导，是保持个体身体健康的重要手段，实现这个目标的前提是能够方便准确的获取个体每餐的进食数据。
常规获取个体进食数据的方法有称重法、连续3天24小时进食回顾法以及食物频率法获得个体进食数据，但是，使用上述方法，只能依靠进食者的记忆，推测获取到大致数据，准确性很差，同时还需要进食者高度配合，尤其当采集多个体的进食数据时，操作过程过于繁琐，因此使用常规方法获取个体进食数据不易实现。当然，现有技术中也存在利用图像识别技术获取个体进食数据的方式，通过对进食前的整份食物和进食后的剩余食物进行拍照，设置特定的物体做参照物，用来比对计算食物的提及，从而获取个体的进食数据，但是通过拍摄整份食物的照片很难反映出菜品的食材结构，并且菜品的制作并不完全切合标准，一般制作菜品时，食材构成与数据库中预设的食材结构不符合预期，所以这种方法的准确性较差，设定参照物，操作起来也不够简便。
因此，如何简便高效地获取个体进食数据，并且能够将获取个体进食数据的技术手段应用于各种场所，以期为个体进行膳食营养健康指导，为本领域技术人员亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种获取个体进食数据的方法、系统、服务端及前端，通过拍摄个体进食过程，并结合进食者提前注册的身份信息以及绑定的个体身份标识，识别视频中的进食者的人物身份，并以进食时使用的进食工具为参照，根据进食工具入口和离开口的一组照片，计算实际的进食重量，同时判断食物种类，并将个体身份信息与其对应的进食档案、个人健康档案、标准化的营养学模型结合，以期通过高效简便的方法为个体进行膳食营养健康指导。
为了实现上述目的，本发明采用如下技术方案：
一种获取个体进食数据的方法，包括如下步骤：
对进食者进行身份注册，并绑定进食者的个体身份标识；
拍摄进食者的进食过程，获得图片集；
将所述图片集输入机器学习模型，获取由所述机器学习模型输出的识别结果，并存入进食档案。
优选的，进食者的个体身份标识包括但不限于进食者使用的不同颜色或者形状的餐具、进食者的姿态动作特征、进食者的头顶特征、进食者进食时佩戴或附着在衣服上的颜色或形状不同的标识物，进食者可以选取颜色或者形状不同的餐具作为区别于其他进食者的个体身份标识，由于每个个体的姿态动作、头顶特征都是存在差异的，因此也可以设定姿态动作特征或者头顶特征作为个体身份标识，所述个体身份标识应选取易于进行图像识别的颜色或者形状，便于后续过程中将进食者的身份信息与进食数据匹配。
优选的，获取的图片集为进食分析图片集和/或进食者身份识别图片集。
优选的，获取图片集的方式有以下两种：先获取进食视频然后分离图片的方式、直接拍摄图片的方式；
利用先获取进食视频然后分离图片的方式获取图片集时，有如下过程：首先对进食者的进食全过程进行拍摄，从而获得进食视频，再将进食视频提供给识别程序，识别程序根据进食图片获取规则和/或进食者身份识别图片获取规则，从进食视频中识别并提取进食分析图片集和/或进食者身份识别图片集；
利用直接拍摄图片的方式获取图片集时，主要利用直接拍摄图片的方式获取图片集时，主要利用摄像机对进食者进食过程进行间隔拍摄，每幅进食图片的拍摄间隔以不漏掉进食者吃饭动作为原则，拍摄的视频或者图片的文件名称中包含拍摄的起始时间和终止时间，然后将拍摄的图片提供给识别程序，由识别程序根据进食图片获取规则和/或进食者身份识别图片获取规则获取进食分析图片集和/或进食者身份识别图片集，该过程在服务端或者具备边缘计算能力的摄像机前端均可完成。
优选的，所述图片集中每组数据都包含进食者的一个完整的进食过程，其中包括一个入口动作图片和一个离开口动作图片，获取上述图片，需要在所述识别程序中设定入口动作模型以及离开口动作模型，在检测到与入口动作模型一致的动作图片后，每100毫秒检测一次，直至检测到与离开口动作模型一致的动作图片，保留入口动作图片和离开口动作图片，并舍弃其余图片。
由于视频即一系列连续的图像帧，因此采用上述两种方式获取图片集的结果是一致的；另外，由于每位进食者的进食方式存在着差异，对于大部分进食者而言，使用进食工具夹取的食物，并非每次真实入口的食物重量，只有入口动作图片中显示的食物重量减去离开口动作图片中显示的食物重量，才能准确计算出进食者每次真实入口的重量，因此为了准确的计算进食者每次真实的入口重量，所述识别程序依赖的进食图片获取规则为，获取的进食分析图片集中的每组数据均包含一张入口动作图片和一张离开口动作图片，并舍弃其余图片，减少机器学习模型识别过程的计算量，提高识别速度，并且一组数据中的食物图片必须清晰可识别；每位进食者注册的身份标识不同，因此进食者身份识别图片获取规则为，将具有同一个体身份标识的图片帧整合在一起，成为一组图片集。
优选的，所述机器学习模型采用神经网络算法，因此所述机器学习模型在训练完成后能够根据输入的图片集，识别并输出进食者身份和/或食物种类和重量，输出的识别结果为键值对格式信息，即输出进食者的身份信息与进食档案的匹配对应的信息。
神经网络的学习过程包括信息的正向传播和误差的反向传播，由于本发明中所述机器学习模型采用神经网络算法，因此，所述机器学习模型的训练过程为：将进食分析图片集样本和/或进食者身份识别图片集样本输入至输入层，输入层各个神经元负责接收输入的进食分析图片集样本和/或进食者身份识别图片集样本，并将其传递给中间层各神经元，中间层是内部信息处理层，负责处理变换进食分析图片集样本和/或进食者身份识别图片集样本，将其转换为食物种类、重量和/或进食者的身份信息，并通过输出层输出，与样本期望输出的食物种类、重量和/或进食者的身份信息进行比对，结果符合预期则完成训练，结果不符合预期，则将误差反馈给神经网络进行调试，修改中间层的权值参数，直至输出的食物种类、重量和/或进食者的身份信息与样本期望输出的食物种类、重量和/或进食者的身份信息符合预期，则完成该神经网络的训练，获得一个训练完成的机器学习模型，该过程计算量较大，因此只能在服务端进行。
将实际场景的进食分析图片集和/或进食者身份识别图片集输入到训练完成的机器学习模型中，输入层各个神经元负责接收输入的进食分析图片集和/或进食者身份识别图片集，并将其传递给中间层各神经元，中间层处理并由输出层输出食物种类、重量和/或进食者的身份信息，该过程可以利用训练完成的服务端的机器学习模型，直接在服务端完成，也可以将训练完成的机器学习模型部署到具备边缘计算能力的摄像机前端，并完成由进食分析图片集和/或进食者身份识别图片集到食物种类、重量信息和/或进食者的身份信息的转换过程，由于服务端和前端具有完全一致的运行环境，因此该过程在服务端或者具备边缘计算能力的摄像机的前端完成均可。
优选的，将所述识别结果存入进食档案后，将进食档案中的数据与营养学知识数据、以及个人健康档案结合，用于评价进食者的饮食是否符合国家营养学会发布的平衡膳食宝塔的要求。
基于上述方法，本发明提出如下系统：
一种获取个体进食数据的系统，其特征在于，包括：摄像机、身份注册模块、图片集获取模块、进食数据识别模块；其中，
所述身份注册模块用于对进食者进行身份注册，并绑定进食者的个体身份标识；
所述图片集获取模块用于根据所述摄像机拍摄的进食者的进食过程，获得图片集；
所述进食数据识别模块用于将所述图片集输入机器学习模型，获取由所述机器学习模型输出的识别结果，并存入进食档案。
所述摄像机、所述身份注册模块、所述图片集获取模块、所述进食数据识别模块通过网络进行数据传输，所述网络包括但不限于互联网、企业内部网、局域网、移动通信网、电连接。
优选的，所述身份注册模块中绑定的个体身份标识为进食者使用的不同颜色或者形状的餐具、进食者的姿态动作特征、进食者的头顶特征、进食者进食时佩戴或附着在衣服上的颜色或形状不同的标识物。
优选的，所述图片集获取模块中获取的图片集为进食分析图片集和/或进食者身份识别图片集。
优选的，所述图片集获取模块利用先获取进食视频然后分离图片的方式获取图片集时，有如下过程：首先对进食者的进食全过程进行拍摄，从而获得进食视频，再将进食视频提供给识别程序，识别程序根据进食图片获取规则和进食者身份识别图片获取规则，从进食视频中识别并提取进食分析图片集以及进食者身份识别图片集。
优选的，所述图片集获取模块利用直接拍摄图片的方式获取图片集时，主要利用摄像机对进食者进食过程进行间隔拍摄，每幅进食图片的拍摄间隔以不漏掉进食者吃饭动作为原则，并将拍摄的图片提供给识别程序，由所述识别程序根据进食图片获取规则和进食者身份识别图片获取规则获取进食分析图片集以及进食者身份识别图片集。
优选的，所述图片集获取模块获取的图片集中每组数据都包含进食者的一个完整的进食过程，其中包括一个入口动作图片和一个离开口的动作图片。
优选的，所述进食数据识别模块中的所述机器学习模型采用神经网络算法，因此所述机器学习模型在训练完成后能够根据输入的图片集，识别并输出进食者身份和/或食物种类和重量，输出的识别结果为键值对格式信息。
优选的，所述饮食评价模块将所述识别结果存入进食档案后，将进食档案中的数据与个人健康档案以及营养学知识数据结合，获取对进食者的饮食评价与建议。
一种获取个体进食数据的服务端，包括：身份注册模块、图片集获取模块、进食数据识别模块；其中，
所述身份注册模块用于对进食者进行身份注册，并绑定进食者的个体身份标识；
所述图片集获取模块用于根据进食者的进食过程，获得图片集；
所述进食数据识别模块用于将所述图片集输入机器学习模型，获取由所述机器学习模型输出的识别结果，并存入进食档案。
优选的，所述身份注册模块、所述图片集获取模块、所述进食数据识别模块通过网络进行数据传输，所述网络包括但不限于互联网、企业内部网、局域网、移动通信网、电连接。
优选的，所述身份注册模块用于对个体及其身份标识进行管理，接收多个体进行身份注册，并与所述身份标识进行绑定，所述身份标识包括但不限于进食者使用的不同颜色或者形状的餐具、进食者的姿态动作特征、进食者的头顶特征、进食者进食时佩戴或附着在衣服上的颜色或形状不同的标识物，所述身份标识选取易于图像识别的特征，便于后续过程中将进食者的身份信息与进食数据匹配。
优选的，所述图片集获取模块中获取的图片集为进食分析图片集和/或进食者身份识别图片集。
优选的，所述图片集获取模块利用先获取进食视频然后分离图片的方式获取图片集时，有如下过程：首先对进食者的进食全过程进行拍摄，从而获得进食视频，再将进食视频提供给识别程序，所述识别程序根据进食图片获取规则和进食者身份识别图片获取规则，从进食视频中识别并提取进食分析图片集以及进食者身份识别图片集；所述图片集获取模块利用直接拍摄图片的方式获取图片集时，主要利用摄像机对进食者进食过程进行间隔拍摄，每幅进食图片的拍摄间隔以不漏掉进食者吃饭动作为原则，并将拍摄的图片提供至识别程序，由所述识别程序根据进食图片获取规则和进食者身份识别图片获取规则获取进食分析图片集以及进食者身份识别图片集。
优选的，所述图片集获取模块获取的图片集中每组数据都包含进食者的一个完整的进食过程，其中包括一个入口动作图片和一个离开口的动作图片。
优选的，所述机器学习模型采用神经网络算法，因此所述机器学习模型在训练完成后能够根据输入的图片集，识别并输出进食者身份和/或食物种类和重量，输出的识别结果为键值对格式信息。
优选的，所述进食数据识别模块将通过机器学习模型获取的识别结果、进食者的身份信息、时间信息对应储存至进食档案中。
一种获取个体进食数据的前端，包括：摄像机、图片集获取模块、进食数据识别模块；其中，
所述图片集获取模块用于根据所述摄像机拍摄的进食者的进食过程，获得图片集；
所述进食数据识别模块用于将所述图片集输入机器学习模型，获取由所述机器学习模型输出的识别结果，并存入进食档案。
优选的，所述摄像机、所述图片集获取模块、所述进食数据识别模块分别通过网络进行数据传输，所述网络包括但不限于互联网、企业内部网、局域网、移动通信网、电连接。
优选的，所述图片集获取模块中获取的图片集为进食分析图片集和/或进食者身份识别图片集。
优选的，所述图片集获取模块利用先获取进食视频然后分离图片的方式获取图片集时，有如下过程：首先对进食者的进食全过程进行拍摄，从而获得进食视频，再将进食视频提供给识别程序，所述识别程序根据进食图片获取规则和进食者身份识别图片获取规则，从进食视频中识别并提取进食分析图片集以及进食者身份识别图片集；所述图片集获取模块利用直接拍摄图片的方式获取图片集时，主要利用所述摄像机对进食者进食过程进行间隔拍摄，每幅进食图片的拍摄间隔以不漏掉进食者吃饭动作为原则，并将拍摄的图片提供至识别程序，由所述识别程序根据进食图片获取规则和进食者身份识别图片获取规则获取进食分析图片集以及进食者身份识别图片集。
优选的，所述图片集获取模块获取的图片集中每组数据都包含进食者的一个完整的进食过程，其中包括一个入口动作图片和一个离开口的动作图片。
优选的，所述机器学习模型采用神经网络算法，因此所述机器学习模型在训练完成后能够根据输入的图片集，识别并输出进食者身份和/或食物种类和重量，输出的识别结果为键值对格式信息。
优选的，所述进食数据识别模块将通过机器学习模型获取的识别结果、进食者的身份信息上传并对应储存至进食档案中。
基于上述方法和系统，本发明还设计出对应的用户端APP，通过网络与身份注册模块、进食数据识别模块、饮食评价模块连接，获取与进食者身份信息对应的进食的食物种类、重量以及时间等键值对形式的信息，同时显示饮食评价模块根据进食档案、个人健康档案、营养学知识数据得出的饮食评价，以便进食者对饮食情况有及时的了解。
一种人物身份识别方法，包括如下步骤：
对进食者进行身份注册，并绑定进食者的个体身份标识；
拍摄进食者的进食过程，获得进食者身份识别图片集；
将所述进食者身份识别图片集输入机器学习模型，获取由所述机器学习模型输出的进食者身份识别结果。
优选的，绑定的进食者的身份标识包括但不限于进食者使用的不同颜色或者形状的餐具、进食者的姿态动作特征、进食者的头顶特征、进食者进食时佩戴或附着在衣服上的颜色或形状不同的标识物，所述身份标识选取易于图像识别的特征，便于后续过程中将进食者的身份信息与进食数据匹配。
优选的，获取进食者身份识别图片集有如下步骤：
将拍摄的视频或者图片提供给识别程序，所述识别程序根据进食者提前绑定的个体身份标识，识别出具有同样个体身份标识的图片帧，作为进食者身份识别图片集，该过程在服务端或者具备边缘计算能力的摄像机前端完成均可。
优选的，所述机器学习模型采用神经网络算法，因此所述机器学习模型在训练完成后能够根据输入的图片集，识别并输出进食者身份信息。
神经网络的学习过程包括信息的正向传播和误差的反向传播，本发明中所述机器学习模型采用神经网络算法，因此所述机器学习模型的训练过程为：将进食者身份识别图片集样本输入至神经网络中，输入层各个神经元负责接收输入的进食者身份识别图片集样本，并将其传递给中间层各神经元，中间层是内部信息处理层，负责处理变换进食者身份识别图片集样本为进食者的身份信息，将输出的进食者的身份信息与样本期望输出的进食者的身份信息进行比对，结果符合预期则完成训练，结果不符合预期，则将误差反馈给神经网络进行调试，并重复上述过程，不断修改中间层的取值参数，直至输出的进食者的身份信息与样本期望输出的进食者的身份信息符合预期，则完成该神经网络的训练，获得一个训练完成的机器学习模型，该过程在服务端完成。
将实际场景的进食者身份识别图片集输入到训练完成的机器学习模型的输入层，输入层各个神经元负责接收输入的进食者身份识别图片集，并将其传递给中间层各神经元，中间层处理并由输出层输出进食者的身份信息该过程可以利用训练完成的服务端的机器学习模型，直接在服务端完成，也可以将训练完成的机器学习模型部署到具备边缘计算能力的摄像机前端，并完成由进食者身份识别图片集到进食者的身份信息的转换过程，由于服务端和前端具有完全一致的运行环境，因此该过程在服务端或者具备边缘计算能力的摄像机的前端完成均可。
一种人物身份识别的系统，包括：摄像机、身份注册模块、进食者身份识别图片集获取模块、进食者身份识别模块；其中，
所述身份注册模块用于对进食者进行身份注册，并绑定进食者的个体身份标识；
所述进食者身份识别图片集获取模块用于拍摄进食者的进食过程，获得进食者身份识别图片集；
所述进食者身份识别模块用于将所述进食者身份识别图片集输入机器学习模型，获取由所述机器学习模型输出的进食者身份识别结果。
优选的，所述摄像机、所述身份注册模块、所述进食者身份识别图片集获取模块、所述进食者身份识别模块分别通过网络进行数据传输，所述网络包括但不限于互联网、企业内部网、局域网、移动通信网、电连接。
优选的，所述身份注册模块中绑定的进食者的身份标识包括但不限于进食者使用的不同颜色或者形状的餐具、进食者的姿态动作特征、进食者的头顶特征、进食者进食时佩戴或附着在衣服上的颜色或形状不同的标识物，所述身份标识选取易于图像识别的特征。
优选的，所述进食者身份识别图片集获取模块根据进食者提前绑定的个体身份标识，识别出具有同样个体身份标识的图片帧，作为进食者身份识别图片集。
优选的，所述进食者身份识别模块中的所述机器学习模型采用神经网络算法，因此所述机器学习模型在训练完成后能够根据输入的图片集，识别并输出进食者身份信息。
一种人物身份识别服务端，包括：身份注册模块、进食者身份识别图片集获取模块、进食者身份识别模块；其中，
所述身份注册模块用于对进食者进行身份注册，并绑定进食者的个体身份标识；
所述进食者身份识别图片集获取模块用于拍摄进食者的进食过程，获得进食者身份识别图片集；
所述进食者身份识别模块用于将进食者身份识别图片集输入机器学习模型，获取由所述机器学习模型输出的进食者身份识别结果。
优选的，所述身份注册模块、所述进食者身份识别图片集获取模块、所述进食者身份识别模块分别通过网络进行数据传输，所述网络包括但不限于互联网、企业内部网、局域网、移动通信网、电连接。
优选的，所述身份注册模块中绑定的进食者的身份标识包括但不限于进食者使用的不同颜色或者形状的餐具、进食者的姿态动作特征、进食者的头顶特征、进食者进食时佩戴或附着在衣服上的颜色或形状不同的标识物，所述身份标识选取易于图像识别的特征。
优选的，所述进食者身份识别图片集获取模块根据进食者提前绑定的个体身份标识，识别出具有同样个体身份标识的图片帧，作为进食者身份识别图片集。
优选的，所述进食者身份识别模块中的所述机器学习模型采用神经网络算法，因此所述机器学习模型在训练完成后能够根据输入的图片集，识别并输出进食者身份信息。
一种人物身份识别前端，包括：摄像机、进食者身份识别图片集获取模块、进食者身份识别模块；其中，
进食者身份识别图片集获取模块用于拍摄进食者的进食过程，获得进食者身份识别图片集；
所述进食者身份识别模块用于将进食者身份识别图片集输入机器学习模型，获取由所述机器学习模型输出的进食者身份识别结果。
优选的，所述摄像机、所述进食者身份识别图片集获取模块、所述进食者身份识别模块分别通过网络进行数据传输，所述网络包括但不限于互联网、企业内部网、局域网、移动通信网、电连接。
优选的，所述进食者身份识别图片集获取模块根据进食者提前绑定的个体身份标识，识别出具有同样个体身份标识的图片帧，作为进食者身份识别图片集。
优选的，所述进食者身份识别模块中的所述机器学习模型为训练完成的神经网络，将所述进食者身份识别图片集输入至所述机器学习模型中，由机器学习模型识别并输出进食者身份信息。
一种进食数据采集识别方法，包括如下步骤：
拍摄进食者的进食过程，获得进食者进食分析图片集，所述图片集具有食物的画面信息；
将所述进食者进食分析图片集输入机器学习模型，获取由所述机器学习模型输出的食物种类和重量的识别结果。
优选的，所述进食分析图片集的获取步骤如下：
将拍摄的真实的视频或者图片帧输入到识别程序中，识别程序输出入口动作图片帧和离开口动作图片帧；
删除其余图片帧，保留所述识别程序识别出的入口动作图片帧和离开口动作图片帧，并将每次入口动作图片帧和离开口动作图像帧作为进食过程的一个基本单位，存入进食分析图片集，该过程在服务端和具备边缘计算能力的摄像机的前端完成均可。
由于每个人进食的方式不同，对于大部分进食者而言，使用进食工具夹取的食物，并非每次真实入口的食物重量，只有入口动作图片中显示的食物重量减去离开口动作图片中显示的食物重量，才能准确计算出进食者每次真实入口的重量，因此为了准确的计算进食者每次真实的入口重量，需要拍摄识别入口照片和离开口照片，两张照片作为一套完整的进食过程，以满足各种各样进食者的需求，并且，一套完整的进食过程有利于识别判断进食者每次进食的食物种类和数量，保证所识别的进食数据的准确性，另外删除其余图片帧也减少了机器学习模型在是被过程中的计算量，提高了识别速度。
优选的，所述机器学习模型以进食分析图片集中进食者使用的进食工具包括但不限于筷子、叉子、手指作为参照物，判断进食过程的一个基本单位中，进食者进食的食物重量。
进食时使用的筷子、刀叉等工具，筷子的粗细基本相差不大，刀叉的齿和把的形状可能略有不同，但是外形和体积也基本一致，因此使用筷子和刀叉这样的进食工具作为参照物，具有普遍性；另外，进食者使用手指作为进食工具时，根据进食者注册时登记的年龄和性别等信息，可以准确地分析获得进食者的手指外形数据，如手指的大小等，因此同样可以将手指作为确定食物重量的参照物，本发明中使用进食工具作为参照物，避免了另设参照物的麻烦，为进食者进行食物数据采集提供易于实行的方式。
优选的，所述机器学习模型采用神经网络算法，因此所述机器学习模型在训练完成后能够根据输入的图片集，识别并输出食物种类和重量。
神经网络的学习过程包括信息的正向传输和误差的反向传输两个过程，由于机器学习模型采用神经网络算法，那么训练机器学习模型的过程如下：将进食分析图片集样本输入至神经网络中，输入层的各个神经元负责接收输入的进食分析图片集样本，并将其传递给中间层各神经元，中间层是内部信息处理层，将输入的进食分析图片集样本进行处理分析，并通过输出层输出食物种类、重量信息，将输出的食物种类、重量信息与样本中预期输出的食物种类、重量信息进行比对，比对结果符合预期，则该机器学习模型训练完成，比对结果不符合预期，则将误差反向传输，并修改中间层的权值参数，不断重复上述过程，直至输出的食物种类、重量信息与样本中预期输出的食物种类、重量信息符合预期，完成对机器学习模型的训练，获得一个可以根据实际场景的图片集，输出对应食物种类、重量信息的机器学习模型，该过程在服务端完成。
将实际场景中获取的进食分析图片集输入到训练完成的机器学习模型中，该机器学习模型根据输入的进食分析图片集，处理分析并输出对应的食物种类、重量信息，该过程可以利用训练完成的服务端的机器学习模型，直接在服务端完成，也可以将训练完成的机器学习模型部署到具备边缘计算能力的摄像机前端，并完成由进食分析图片集到食物种类、重量信息的转换过程，由于服务端和前端具有完全一致的运行环境，因此该过程在服务端或者具备边缘计算能力的摄像机的前端完成均可。
一种进食数据采集识别系统，包括：摄像机、进食分析图片集获取模块、食物种类及重量分析模块；其中，
所述进食分析图片集获取模块用于拍摄进食者的进食过程，获得进食者进食分析图片集，所述图片集具有清晰的食物画面信息；
所述食物种类及重量分析模块用于将所述进食者进食分析图片集输入机器学习模型，获取由所述机器学习模型输出的食物种类和重量的识别结果。
优选的，所述进食分析图片集获取模块包括：图片帧识别单元、进食分析图片集获取单元；其中，
所述图片帧识别单元用于将拍摄的真实的视频或者图片帧输入到识别程序中，所述识别程序输出入口动作图片帧和离开口动作图片帧；
所述进食分析图片集获取单元用于删除其余图片帧，保留所述识别程序识别出的入口动作图片帧和离开口动作图片帧，并将每次入口动作图片帧和离开口动作图像帧作为进食过程的一个基本单位，存入进食分析图片集。
优选的，食物种类及重量分析模块中的所述机器学习模型以进食分析图片集中进食者使用的进食工具包括但不限于筷子、叉子、手指作为参照物，判断进食过程的一个基本单位中，进食者进食的食物重量。
优选的，所述食物种类及重量分析模块中的所述机器学习模型采用神经网络算法，因此所述机器学习模型在训练完成后能够根据输入的图片集，识别并输出食物种类和重量。
一种进食数据采集识别服务端，包括：进食分析图片集获取模块、食物种类及重量分析模块；其中，
所述进食分析图片集获取模块用于拍摄进食者的进食过程，获得进食者进食分析图片集，所述图片集具有食物的画面信息；
所述食物种类及重量分析模块用于将所述进食者进食分析图片集输入机器学习模型，由机器学习模型输出进食者进食的食物种类和重量的识别结果。
优选的，所述进食分析图片集获取模块包括：图片帧识别单元、进食分析图片集获取单元；其中，
所述图片帧识别单元用于将拍摄的真实的视频或者图片帧输入到识别程序中，所述识别程序输出入口动作图片帧和离开口动作图片帧；
所述进食分析图片集获取单元用于删除其余图片帧，保留所述识别程序识别出的入口动作图片帧和离开口动作图片帧，并将每次入口动作图片帧和离开口动作图像帧作为进食过程的一个基本单位，存入进食分析图片集。
优选的，食物种类及重量分析模块中的所述机器学习模型以进食分析图片集中进食者使用的进食工具包括但不限于筷子、叉子、手指作为参照物，判断进食过程的一个基本单位中，进食者进食的食物重量。
一种进食数据采集识别前端，包括：进食分析图片集获取模块、食物种类及重量分析模块；其中；
所述进食分析图片集获取模块用于拍摄进食者的进食过程，获得进食者进食分析图片集，所述图片集具有食物的画面信息；
所述食物种类及重量分析模块用于将所述进食者进食分析图片集输入机器学习模型，由机器学习模型输出进食者进食的食物种类和重量的识别结果。
优选的，所述进食分析图片集获取模块包括：图片帧识别单元、进食分析图片集获取单元；其中，
所述图片帧识别单元用于将拍摄的真实的视频或者图片帧输入到识别程序中，所述识别程序输出入口动作图片帧和离开口动作图片帧；
所述进食分析图片集获取单元用于删除其余图片帧，保留所述识别程序识别出的入口动作图片帧和离开口动作图片帧，并将每次入口动作图片帧和离开口动作图像帧作为进食过程的一个基本单位，存入进食分析图片集。
优选的，食物种类及重量分析模块中的所述机器学习模型以进食分析图片集中进食者使用的进食工具包括但不限于筷子、叉子、手指作为参照物，判断进食过程的一个基本单位中，进食者进食的食物重量。
本发明具有以下有益效果：
经由上述的技术方案可知，为了弥补现有技术的缺陷，本发明提出了一种获取个体进食数据的方法、系统、服务端及前端，并分别阐述了人物身份识别以及进食数据采集两部分，包括各部分的方法、系统、服务端以及前端，本发明以进食时使用的进食工具为参照，根据进食工具入口和离开口的一组照片，计算实际的进食重量，同时判断出食物种类，其中，食物重量的参照物为进食工具，避免另设参照物的麻烦，并结合神经网络，能够准确快速的识别个体身份信息，便于将个体的身份信息与其进食的数据结合在一起，并给予进食者健康饮食的评价，相比于现有技术，具备更强的可实施性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明获取个体进食数据方法流程图；
图2为本发明获取个体进食数据的系统结构框图；
图3为本发明人物身份识别方法流程图；
图4为本发明人物身份识别的系统结构框图；
图5为本发明进食数据采集识别方法流程图；
图6为本发明进食数据采集识别的系统结构框图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供了如下方法：
一种获取个体进食数据的方法，包括如下步骤：
步骤一：对进食者进行身份注册，并绑定进食者的个体身份标识；
进食者的个体身份标识包括但不限于进食者使用的不同颜色或者形状的餐具、进食者的姿态动作特征、进食者的头顶特征、进食者进食时佩戴或附着在衣服上的颜色或形状不同的标识物。
为了进一步优化上述技术特征，进食者在进行身份注册的时候，输入的身份信息包括：性别、年龄、身体健康档案等。
步骤二：拍摄进食者的进食过程，获得图片集；
拍摄进食者的进食过程需要摄像机的参与，本发明中，可以采用每个餐桌设置一台摄像机，对整个餐桌完成注册的进食者进行进食过程进行拍摄采集，也可以将摄像机与智能眼镜结合，智能眼镜上的摄像机将对使用的个体的进食过程进行针对性的拍摄采集。
获取的图片集包括进食分析图片集和/或进食者身份识别图片集，获取上述图片集时采用以下两种方式：先获取进食视频然后分离图片的方式、直接拍摄图片的方式；其中，
利用先获取进食视频然后分离图片的方式获取图片集时，有如下过程：首先对进食者的进食全过程进行拍摄，从而获得进食视频，再将进食视频提供给识别程序，识别程序根据进食图片获取规则和/或进食者身份识别图片获取规则，从进食视频中识别并提取进食分析图片集和/或进食者身份识别图片集。
利用直接拍摄图片的方式获取图片集时，主要利用摄像机对进食者进食过程进行间隔拍摄，每幅进食图片的拍摄间隔以不漏掉进食者吃饭动作为原则，并将拍摄的图片提供给识别程序，由识别程序根据进食图片获取规则和/或进食者身份识别图片获取规则获取进食分析图片集和/或进食者身份识别图片集。
利用上述两种方式均能获取较大数量的图片，若令机器学习模型对采集到的图片逐一进行识别，将降低识别的速度，为了提高识别速度，本发明的识别程序将根据进食图片获取规则和/或进食者身份识别图片获取规则对采集到的大量的图片进行筛选；
另外，由于每位进食者进食的方式不同，对于大部分进食者而言，使用进食工具夹取的食物，并非每次真实入口的食物重量，例如：
食物每次都能夹起来完整的一个，一口吃完；
食物每次都能夹起来完整的一个，多口吃完；
食物每次夹起来若干数量，一口吃完；
食物每次夹起来若干数量，多口吃完。
因此，只有入口动作图片中显示的食物重量减去离开口动作图片中显示的食物重量，才能准确计算出进食者每次真实入口的重量；为了准确的计算进食者每次真实的入口重量，需要拍摄识别入口照片和离开口照片，两张照片作为一套完整的进食过程，以满足各种各样进食者的需求。
因此进食分析图片集的筛选规则为：删除其余图片帧，保留所述识别程序识别出的入口动作图片帧和离开口动作图片帧，并将每次入口动作图片帧和离开口动作图像帧作为进食过程的一个基本单位，存入进食分析图片集，且所述动作图片中的食物部分清晰可识别；
由于每个人注册时的个体身份标识不同，因此进食者身份识别图片集的获取规则为：将具有同样的个体身份标识的图片帧进行整理集合。
步骤三：将所述图片集输入机器学习模型，获取由所述机器学习模型输出的识别结果，并存入进食档案。
所述机器学习模型采用神经网络算法，因此所述机器学习模型在训练完成后能够根据输入的图片集，识别并输出进食者身份和/或食物种类和重量，输出的识别结果为键值对格式信息。
具体的，所述机器学习模型的训练过程如下：将进食分析图片集样本和/或进食者身份识别图片集样本输入至输入层，输入层各个神经元负责接收输入的进食分析图片集样本和/或进食者身份识别图片集样本，并将其传递给中间层各神经元，中间层是内部信息处理层，负责处理变换进食分析图片集样本和/或进食者身份识别图片集样本，将其转换为食物种类、重量和/或进食者的身份信息，并通过输出层输出，与样本期望输出的食物种类、重量和/或进食者的身份信息进行比对，结果符合预期则完成训练，结果不符合预期，则将误差反馈给神经网络进行调试，修改中间层的权重参数，直至输出的食物种类、重量和/或进食者的身份信息与样本期望输出的食物种类、重量和/或进食者的身份信息符合预期，则完成该神经网络的训练，获得一个训练完成的机器学习模型，该过程在服务端进行。
将实际场景的进食分析图片集和/或进食者身份识别图片集输入到训练完成的机器学习模型中，输入层各个神经元负责接收输入的进食分析图片集和/或进食者身份识别图片集，并将其传递给中间层各神经元，中间层处理并由输出层输出食物种类、重量和/或进食者的身份信息，该过程可以利用训练完成的服务端的机器学习模型，直接在服务端完成，也可以将训练完成的机器学习模型部署到具备边缘计算能力的摄像机前端，并完成由进食分析图片集和/或进食者身份识别图片集到食物种类、重量信息和/或进食者的身份信息的转换过程，由于服务端和前端具有完全一致的运行环境，因此该过程在服务端或者具备边缘计算能力的摄像机的前端完成均可。
步骤四：将所述识别结果存入进食档案后，将进食档案中的数据与营养学知识数据、个人健康档案结合，用于评价进食者的饮食是否符合国家营养学会发布的平衡膳食宝塔的要求。
如图2所示，基于上述方法，设计出如下系统：
一种获取个体进食数据的系统，包括：摄像机1、身份注册模块2、图片集获取模块3、进食数据识别模块4；其中，
身份注册模块2用于对进食者进行身份注册，并绑定进食者的个体身份标识；
图片集获取模块3用于根据摄像机1拍摄的进食者的进食过程，获得图片集；
进食数据识别模块4用于将图片集输入机器学习模型，获取由机器学习模型输出的识别结果，并存入进食档案。
为了进一步优化上述技术特征，身份注册模块2中绑定的个体身份标识为进食者使用的不同颜色或者形状的餐具、进食者的姿态动作特征、进食者的头顶特征、进食者进食时佩戴或附着在衣服上的颜色或形状不同的标识物。
为了进一步优化上述技术特征，图片集获取模块3中获取的图片集为进食分析图片集和/或进食者身份识别图片集，且图片集获取模块3获取图片集的方式有：利用先获取进食视频然后分离图片的方式获取图片集时，过程为首先对进食者的进食全过程进行拍摄，从而获得进食视频，再将进食视频提供给识别程序，识别程序根据进食图片获取规则和进食者身份识别图片获取规则，从进食视频中识别并提取进食分析图片集以及进食者身份识别图片集；利用直接拍摄图片的方式获取图片集时，主要利用摄像机对进食者进食过程进行间隔拍摄，每幅进食图片的拍摄间隔以不漏掉进食者吃饭动作为原则，并将拍摄的图片提供给识别程序，由所述识别程序根据进食图片获取规则和进食者身份识别图片获取规则获取进食分析图片集以及进食者身份识别图片集。
为了进一步优化上述技术特征，图片集获取模块3获取的图片集中每组数据都包含进食者的一个完整的进食过程，其中包括一个入口动作图片和一个离开口的动作图片。
为了进一步优化上述技术特征，进食数据识别模块4中的所述机器学习模型采用神经网络算法，因此所述机器学习模型在训练完成后能够根据输入的图片集，识别并输出进食者身份和/或食物种类和重量，输出的识别结果为键值对格式信息。
本系统还包括饮食评价模块5，饮食评价模块5将所述识别结果存入进食档案后，将进食档案中的数据与营养学知识数据结合，获取对进食者的饮食评价。
身份注册模块2、图片集获取模块3、进食数据识别模块4为获取个体进食系统的服务端。
摄像机1、图片集获取模块2、进食数据识别模块4为获取个体进食系统的前端。
如图3所示，
一种人物身份识别方法，包括如下步骤：
步骤一：对进食者进行身份注册，并绑定进食者的个体身份标识；
绑定的进食者的身份标识包括但不限于进食者使用的不同颜色或者形状的餐具、进食者的姿态动作特征、进食者的头顶特征、进食者进食时佩戴或附着在衣服上的颜色或形状不同的标识物，所述身份标识选取易于图像识别的特征。
进食者在进行身份注册的时候，输入的身份信息包括：性别、年龄、身体健康档案等。
步骤二：拍摄进食者的进食过程，获得进食者身份识别图片集；
将拍摄的视频或者图片提供给识别程序，所述识别程序根据进食者提前绑定的个体身份标识，识别出具有同样个体身份标识的图片帧，作为进食者身份识别图片集。
步骤三：将所述进食者身份识别图片集输入机器学习模型，获取由所述机器学习模型输出的进食者身份识别结果。
所述机器学习模型采用神经网络算法，因此所述机器学习模型在训练完成后能够根据输入的图片集，识别并输出进食者身份信息。
机器学习模型的训练过程为：将进食者身份识别图片集样本输入至神经网络中，输入层各个神经元负责接收输入的进食者身份识别图片集样本，并将其传递给中间层各神经元，中间层是内部信息处理层，负责处理变换进食者身份识别图片集样本为进食者的身份信息，将输出的进食者的身份信息与样本期望输出的进食者的身份信息进行比对，结果符合预期则完成训练，结果不符合预期，则将误差反馈给神经网络进行调试，并重复上述过程，不断修改中间层的权值参数，直至输出的进食者的身份信息与样本期望输出的进食者的身份信息符合预期，则完成该神经网络的训练，获得一个训练完成的机器学习模型，该过程在服务端完成。
将实际场景的进食者身份识别图片集输入到训练完成的机器学习模型的输入层，输入层各个神经元负责接收输入的进食者身份识别图片集，并将其传递给中间层各神经元，中间层处理并由输出层输出进食者的身份信息，该过程可以利用训练完成的服务端的机器学习模型，直接在服务端完成，也可以将训练完成的机器学习模型部署到具备边缘计算能力的摄像机前端，并完成由图片集到进食者的身份信息的转换过程，由于服务端和前端具有完全一致的运行环境，因此该过程在服务端或者具备边缘计算能力的摄像机的前端均可完成。
如图4所示，基于上述方法设计出如下系统：
一种人物身份识别的系统，包括：摄像机1、身份注册模块2、进食者身份识别图片集获取模块31、进食者身份识别模块41；其中，
身份注册模块2用于对进食者进行身份注册，并绑定进食者的个体身份标识；
进食者身份识别图片集获取模块31用于拍摄进食者的进食过程，获得进食者身份识别图片集；
进食者身份识别模块41用于将所述进食者身份识别图片集输入机器学习模型，获取由所述机器学习模型输出的进食者身份识别结果。
为了进一步优化上述技术特征，身份注册模块2中绑定的进食者的身份标识包括但不限于进食者使用的不同颜色或者形状的餐具、进食者的姿态动作特征、进食者的头顶特征、进食者进食时佩戴或附着在衣服上的颜色或形状不同的标识物，所述身份标识选取易于图像识别的特征。
为了进一步优化上述技术特征，进食者身份识别图片集获取模块31根据进食者提前绑定的个体身份标识，识别出具有同样个体身份标识的图片帧，作为进食者身份识别图片集。
为了进一步优化上述技术特征，进食者身份识别模块41中的所述机器学习模型采用神经网络算法，因此所述机器学习模型在训练完成后能够根据输入的图片集，识别并输出进食者身份信息。
身份注册模块2、进食者身份识别图片集获取模块31、进食者身份识别模块41为人物身份识别系统的服务端，。
摄像机1、进食者身份识别图片集获取模块31、进食者身份识别模块41为人物身份识别系统的前端。
如图5所示，
一种进食数据采集识别方法，包括如下步骤：
步骤一：拍摄进食者的进食过程，获得进食者进食分析图片集，所述图片集具有食物的画面信息；
拍摄进食者的进食过程，可以在一个餐桌设置一个摄像机，对该餐桌上所有完成注册的进食者进行拍摄，也可以将摄像机与智能眼镜结合，由进食者对个体进食过程进行针对性的拍摄。
进食分析图片集的获取包括如下两个步骤：
将拍摄的真实的视频或者图片帧输入到识别程序中，识别程序输出入口动作图片帧和离开口动作图片帧；
删除其余图片帧，保留所述识别程序识别出的入口动作图片帧和离开口动作图片帧，并将每次入口动作图片帧和离开口动作图像帧作为进食过程的一个基本单位，存入进食分析图片集。
由于每位进食者进食的方式不同，对于大部分进食者而言，使用进食工具夹取的食物，并非每次真实入口的食物重量，例如：
食物每次都能夹起来完整的一个，一口吃完；
食物每次都能夹起来完整的一个，多口吃完；
食物每次夹起来若干数量，一口吃完；
食物每次夹起来若干数量，多口吃完。
因此，只有入口动作图片中显示的食物重量减去离开口动作图片中显示的食物重量，才能准确计算出进食者每次真实入口的重量；为了准确的计算进食者每次真实的入口重量，需要拍摄识别入口照片和离开口照片，两张照片作为一套完整的进食过程，以满足各种各样进食者的需求。同时，图片集将进食每口食物的中间过程舍弃，通过识别程序仅保留入口动作图片和离开口动作图片，也有利于加快机器学习模型对图片集的识别速度。
为了进一步优化上述技术特征，机器学习模型以进食分析图片集中进食者使用的进食工具包括但不限于筷子、叉子、手指作为参照物，判断进食过程的一个基本单位中，进食者进食的食物重量，避免另设参照物造成的操作上的麻烦。
步骤二：将所述进食者进食分析图片集输入机器学习模型，获取由所述机器学习模型输出的食物种类和重量的识别结果。
机器学习模型采用神经网络算法，因此所述机器学习模型在训练完成后能够根据输入的图片集，识别并输出食物种类和重量。
机器学习模型的训练过程为：将进食分析图片集样本输入至神经网络中，输入层的各个神经元负责接收输入的进食分析图片集样本，并将其传递给中间层各神经元，中间层是内部信息处理层，将输入的进食分析图片集样本进行处理分析，并通过输出层输出食物种类、重量信息，将输出的食物种类、重量信息与样本中预期输出的食物种类、重量信息进行比对，比对结果符合预期，则该机器学习模型训练完成，比对结果不符合预期，则将误差反向传输，并修改中间层的权值参数，不断重复上述过程，直至输出的食物种类、重量信息与样本中预期输出的食物种类、重量信息符合预期，完成对机器学习模型的训练，获得一个可以根据实际场景的图片集，输出对应食物种类、重量信息的机器学习模型，该过程在服务端完成。
将实际场景中获取的进食分析图片集输入到训练完成的机器学习模型中，该机器学习模型根据输入的进食分析图片集，处理分析并输出对应的食物种类、重量信息，该过程可以利用训练完成的服务端的机器学习模型，直接在服务端完成，也可以将训练完成的机器学习模型部署到具备边缘计算能力的摄像机前端，并完成由进食分析图片集到食物种类、重量信息的转换过程，由于服务端和前端具有完全一致的运行环境，因此该过程在服务端或者具备边缘计算能力的摄像机的前端完成均可。
如图6所示，基于上述方法，设计出如下系统：
一种进食数据采集识别系统，包括：摄像机1、进食分析图片集获取模块32、食物种类及重量分析模块42；其中，
进食分析图片集获取模块32用于拍摄进食者的进食过程，获得进食者进食分析图片集，所述图片集具有食物的画面信息；
食物种类及重量分析模块42用于将所述进食者进食分析图片集输入机器学习模型，获取由所述机器学习模型输出的食物种类和重量的识别结果。
进食分析图片集获取模块32包括：图片帧识别单元、进食分析图片集获取单元；其中，
图片帧识别单元用于将拍摄的真实的视频或者图片帧输入到识别程序中，识别程序输出入口动作图片帧和离开口动作图片帧；
进食分析图片集获取单元用于删除其余图片帧，保留识别程序识别出的入口动作图片帧和离开口动作图片帧，并将每次入口动作图片帧和离开口动作图像帧作为进食过程的一个基本单位，存入进食分析图片集。
食物种类及重量分析模块42中的所述机器学习模型以进食分析图片集中进食者使用的进食工具包括但不限于筷子、叉子、手指作为参照物，判断进食过程的一个基本单位中，进食者进食的食物重量。
食物种类及重量分析模块42中的所述机器学习模型采用神经网络算法，因此所述机器学习模型在训练完成后能够根据输入的图片集，识别并输出食物种类和重量。
进食分析图片集获取模块32、食物种类及重量分析模块42为进食数据采集识别系统的服务端。
摄像机1、进食分析图片集获取模块32、食物种类及重量分析模块42为进食数据采集识别系统的前端。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种获取个体进食数据的方法，其特征在于，包括如下步骤：
对进食者进行身份注册，并绑定进食者的个体身份标识；
拍摄进食者的进食过程，获得图片集；
将所述图片集输入机器学习模型，获取由所述机器学习模型输出的识别结果，并存入进食档案。
2.根据权利要求1所述的一种获取个体进食数据的方法，其特征在于，进食者的个体身份标识包括但不限于进食者使用的不同颜色或者形状的餐具、进食者的姿态动作特征、进食者的头顶特征、进食者进食时佩戴或附着在衣服上的颜色或形状不同的标识物。
3.根据权利要求1所述的一种获取个体进食数据的方法，其特征在于，获取的图片集为进食分析图片集和/或进食者身份识别图片集。
4.根据权利要求1所述的一种获取个体进食数据的方法，其特征在于，利用先获取进食视频然后分离图片的方式获取图片集时，有如下过程：首先对进食者的进食全过程进行拍摄，从而获得进食视频，再将进食视频提供给识别程序，识别程序根据进食图片获取规则和/或进食者身份识别图片获取规则，从进食视频中识别并提取进食分析图片集和/或进食者身份识别图片集。
5.根据权利要求1所述的一种获取个体进食数据的方法，其特征在于，利用直接拍摄图片的方式获取图片集时，主要利用摄像机对进食者进食过程进行间隔拍摄，每幅进食图片的拍摄间隔以不漏掉进食者吃饭动作为原则，并将拍摄的图片提供给识别程序，由识别程序根据进食图片获取规则和/或进食者身份识别图片获取规则获取进食分析图片集和/或进食者身份识别图片集。
6.根据权利要求1所述的一种获取个体进食数据的方法，其特征在于，所述图片集中每组数据都包含进食者的一个完整的进食过程，其中包括一个入口动作图片和一个离开口的动作图片。
7.根据权利要求1所述的一种获取个体进食数据的方法，其特征在于，所述机器学习模型采用神经网络算法，因此所述机器学习模型在训练完成后能够根据输入的图片集，识别并输出进食者身份和/或食物种类和重量，输出的识别结果为键值对格式信息。
8.根据权利要求1所述的一种获取个体进食数据的方法，其特征在于，将所述识别结果存入进食档案后，将进食档案中的数据与营养学知识数据结合，获取对进食者的饮食评价。
9.一种获取个体进食数据的系统，其特征在于，包括：摄像机(1)、身份注册模块(2)、图片集获取模块(3)、进食数据识别模块(4)；其中，
所述身份注册模块(2)用于对进食者进行身份注册，并绑定进食者的个体身份标识；
所述图片集获取模块(3)用于根据所述摄像机(1)拍摄的进食者的进食过程，获得图片集；
所述进食数据识别模块(4)用于将所述图片集输入机器学习模型，获取由所述机器学习模型输出的识别结果，并存入进食档案。
10.根据权利要求9所述的一种获取个体进食数据的系统，其特征在于，所述身份注册模块(2)中绑定的个体身份标识为进食者使用的不同颜色或者形状的餐具、进食者的姿态动作特征、进食者的头顶特征、进食者进食时佩戴或附着在衣服上的颜色或形状不同的标识物。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910793320.XA CN110569759B (zh) | 2019-08-26 | 2019-08-26 | 一种获取个体进食数据的方法、系统、服务端及前端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910793320.XA CN110569759B (zh) | 2019-08-26 | 2019-08-26 | 一种获取个体进食数据的方法、系统、服务端及前端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110569759A true CN110569759A (zh) | 2019-12-13 |
| CN110569759B CN110569759B (zh) | 2020-11-03 |
Family
ID=68776171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910793320.XA Active CN110569759B (zh) | 2019-08-26 | 2019-08-26 | 一种获取个体进食数据的方法、系统、服务端及前端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110569759B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111563518A (zh) * | 2020-03-20 | 2020-08-21 | 时时同云科技(成都)有限责任公司 | 基于边缘计算的菜品图像识别方法及装置 |
| CN111738879A (zh) * | 2020-06-19 | 2020-10-02 | 北京明略软件系统有限公司 | 制作菜品时间预估方法及装置 |
| CN111798943A (zh) * | 2020-06-30 | 2020-10-20 | 南方医科大学南方医院 | 出量和入量记录方法、系统、装置和存储介质 |
| CN112133436A (zh) * | 2020-10-13 | 2020-12-25 | 广州万孚健康科技有限公司 | 一种基于大数据分析的健康警示方法、系统和可读存储介质 |
| CN113059573A (zh) * | 2021-03-16 | 2021-07-02 | 读书郎教育科技有限公司 | 一种陪伴儿童自主进食的语音交互机器人及方法 |
| CN113974611A (zh) * | 2021-10-25 | 2022-01-28 | 首都医科大学宣武医院 | 一种智能化进食提醒装置 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100145974A1 (en) * | 2008-12-04 | 2010-06-10 | Chi Mei Communication Systems, Inc. | System and method for managing recipes using an electronic device |
| CN105184105A (zh) * | 2015-10-15 | 2015-12-23 | 上海斐讯数据通信技术有限公司 | 一种监测用户饮食的系统 |
| CN106022380A (zh) * | 2016-05-25 | 2016-10-12 | 中国科学院自动化研究所 | 基于深度学习的个体身份识别方法 |
| CN106503691A (zh) * | 2016-11-10 | 2017-03-15 | 广州视源电子科技股份有限公司 | 一种人脸图片的身份标注方法和装置 |
| CN107731278A (zh) * | 2017-09-04 | 2018-02-23 | 广东数相智能科技有限公司 | 一种食物识别方法、营养健康分析方法、系统及装置 |
| CN107820616A (zh) * | 2015-07-01 | 2018-03-20 | 维京遗传学Fmba | 用于基于背部图像来识别个体动物的系统和方法 |
| CN107873101A (zh) * | 2014-11-21 | 2018-04-03 | 克里斯多夫·M·马蒂 | 用于对象辨识和评估的成像系统 |
| CN108597582A (zh) * | 2018-04-18 | 2018-09-28 | 中国科学院计算技术研究所 | 一种用于执行Faster R-CNN神经网络运算的方法和装置 |
| US10149958B1 (en) * | 2015-07-17 | 2018-12-11 | Bao Tran | Systems and methods for computer assisted operation |
| CN109102413A (zh) * | 2018-09-03 | 2018-12-28 | 中国平安人寿保险股份有限公司 | 健康指数预测方法、装置及存储介质 |
| CN109979586A (zh) * | 2018-09-29 | 2019-07-05 | 大连艾米移动科技有限公司 | 一种基于图像识别的快速定位养老院监控系统 |
| CN109979566A (zh) * | 2019-04-03 | 2019-07-05 | 王睿琪 | 餐厅膳食营养管理系统及其方法 |
| CN110062183A (zh) * | 2019-05-01 | 2019-07-26 | 王睿琪 | 获取进食数据的方法、装置、服务器、存储介质及系统 |
-
2019
- 2019-08-26 CN CN201910793320.XA patent/CN110569759B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100145974A1 (en) * | 2008-12-04 | 2010-06-10 | Chi Mei Communication Systems, Inc. | System and method for managing recipes using an electronic device |
| CN107873101A (zh) * | 2014-11-21 | 2018-04-03 | 克里斯多夫·M·马蒂 | 用于对象辨识和评估的成像系统 |
| CN107820616A (zh) * | 2015-07-01 | 2018-03-20 | 维京遗传学Fmba | 用于基于背部图像来识别个体动物的系统和方法 |
| US10149958B1 (en) * | 2015-07-17 | 2018-12-11 | Bao Tran | Systems and methods for computer assisted operation |
| CN105184105A (zh) * | 2015-10-15 | 2015-12-23 | 上海斐讯数据通信技术有限公司 | 一种监测用户饮食的系统 |
| CN106022380A (zh) * | 2016-05-25 | 2016-10-12 | 中国科学院自动化研究所 | 基于深度学习的个体身份识别方法 |
| CN106503691A (zh) * | 2016-11-10 | 2017-03-15 | 广州视源电子科技股份有限公司 | 一种人脸图片的身份标注方法和装置 |
| CN107731278A (zh) * | 2017-09-04 | 2018-02-23 | 广东数相智能科技有限公司 | 一种食物识别方法、营养健康分析方法、系统及装置 |
| CN108597582A (zh) * | 2018-04-18 | 2018-09-28 | 中国科学院计算技术研究所 | 一种用于执行Faster R-CNN神经网络运算的方法和装置 |
| CN109102413A (zh) * | 2018-09-03 | 2018-12-28 | 中国平安人寿保险股份有限公司 | 健康指数预测方法、装置及存储介质 |
| CN109979586A (zh) * | 2018-09-29 | 2019-07-05 | 大连艾米移动科技有限公司 | 一种基于图像识别的快速定位养老院监控系统 |
| CN109979566A (zh) * | 2019-04-03 | 2019-07-05 | 王睿琪 | 餐厅膳食营养管理系统及其方法 |
| CN110062183A (zh) * | 2019-05-01 | 2019-07-26 | 王睿琪 | 获取进食数据的方法、装置、服务器、存储介质及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 任传成等: "《健康物联网》", 31 October 2015, 上海科学技术文献出版社 * |
| 王科俊: "《视频下的正面人体身份自动识别》", 《智能系统学报》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111563518A (zh) * | 2020-03-20 | 2020-08-21 | 时时同云科技(成都)有限责任公司 | 基于边缘计算的菜品图像识别方法及装置 |
| CN111563518B (zh) * | 2020-03-20 | 2023-08-11 | 时时同云科技(成都)有限责任公司 | 基于边缘计算的菜品图像识别方法及装置 |
| CN111738879A (zh) * | 2020-06-19 | 2020-10-02 | 北京明略软件系统有限公司 | 制作菜品时间预估方法及装置 |
| CN111798943A (zh) * | 2020-06-30 | 2020-10-20 | 南方医科大学南方医院 | 出量和入量记录方法、系统、装置和存储介质 |
| CN111798943B (zh) * | 2020-06-30 | 2024-06-04 | 南方医科大学南方医院 | 出量和入量记录方法、系统、装置和存储介质 |
| CN112133436A (zh) * | 2020-10-13 | 2020-12-25 | 广州万孚健康科技有限公司 | 一种基于大数据分析的健康警示方法、系统和可读存储介质 |
| CN113059573A (zh) * | 2021-03-16 | 2021-07-02 | 读书郎教育科技有限公司 | 一种陪伴儿童自主进食的语音交互机器人及方法 |
| CN113974611A (zh) * | 2021-10-25 | 2022-01-28 | 首都医科大学宣武医院 | 一种智能化进食提醒装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110569759B (zh) | 2020-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110569759B (zh) | 一种获取个体进食数据的方法、系统、服务端及前端 | |
| CN111437583B (zh) | 一种基于Kinect的羽毛球基本动作辅助训练系统 | |
| CN108553081B (zh) | 一种基于舌苔图像的诊断系统 | |
| CN106984027B (zh) | 一种动作对比分析方法、装置及一种显示器 | |
| CN107238427A (zh) | 智能营养秤系统及提供膳食建议的方法 | |
| CN106407715A (zh) | 一种智能服务机器人健康辨识系统及方法 | |
| CN109685611A (zh) | 一种产品推荐方法、装置、计算机设备及存储介质 | |
| CN111401103B (zh) | 一种个人饮食营养摄入实时收集系统和方法 | |
| CN107341688A (zh) | 一种客户体验的采集方法及系统 | |
| CN105512501A (zh) | 一种智能饮食分析系统 | |
| JP7036401B2 (ja) | 学習用サーバ、不足学習用画像収集支援システム、及び不足学習用画像推定プログラム | |
| CN108875654A (zh) | 一种人脸特征采集方法及装置 | |
| US11295117B2 (en) | Facial modelling and matching systems and methods | |
| CN110782986A (zh) | 一种智能舌诊数据处理系统及方法 | |
| CN111696648A (zh) | 一种基于互联网的心理咨询平台 | |
| US10706967B2 (en) | Apparatus and system for processing diagnostic data on the basis of medical interview data and camera data | |
| CN109493340A (zh) | 一种胃镜下食管胃底静脉曲张辅助诊断系统及方法 | |
| CN108830154A (zh) | 一种基于双目摄像头的食物营养成分检测方法及系统 | |
| CN109886095A (zh) | 一种基于视觉的轻型卷积神经网络的乘客属性识别系统及方法 | |
| CN117078955B (zh) | 一种基于图像识别的健康管理方法 | |
| CN117671774B (zh) | 一种人脸情绪智能识别分析设备 | |
| CN108810050A (zh) | 一种基于人工智能的美容信息推送系统 | |
| CN116342564A (zh) | 一种用于移动端的舌象健康检测系统 | |
| CN110472482A (zh) | 一种物体识别及实时翻译的方法及装置 | |
| CN110321782A (zh) | 一种检测人体特征信号的系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |