CN111401103A - 一种个人饮食营养摄入实时收集系统和方法 - Google Patents

Abstract

本发明提出一种个人饮食营养摄入实时收集系统和收集方法，所述收集系统包括：云端服务器和至少一个图像采集系统，所述图像采集系统实时采集用户用餐图像数据，并将所采集的用户用餐图像数据传输给云端服务器，所述云端服务器基于用户用餐图像数据分析处理得到用户饮食营养数据，所述用户饮食营养数据包括用户用餐时所摄入的菜品营养数据。本发明所述方案使用简单，无需人为干涉，一方面实现了实时地采集个人饮食数据，帮助用户自我约束健康饮食；另一方面，将大量用户“零门槛”接入营养监测平台，使得规模化收集个人饮食数据成为可能，能够带来人类健康饮食革命，具有广阔的推广应用前景。

Description

一种个人饮食营养摄入实时收集系统和方法

技术领域

本发明涉及饮食数据监测技术领域，具体涉及一种个人饮食营养摄入实时收集系统和方法。

背景技术

把人体系统作为一个黑箱来看，人体的输入系统由耳朵、鼻子、嘴、皮肤、眼睛等组成；人体的输出系统由身体各项指标、动作、语音等组成。现在的医学技术手段对于人体的输出参数监控是比较全面的，通过监控人体系统的各项输出参数（体检）来判断人体系统的健康状态。但是，此类方法都是后发制人的治疗手段，而不是预防手段。如果从预防的角度来维持人体系统的健康，我们需要更多的关注人体系统的输入参数。

根据WHO《WORLD HEALTH STATISTICS 2017》报告显示，2015年因慢性非传染病死亡人数约4000万人，其中心脑血管病占45%、慢性呼吸系统疾病占10%、癌症占22%（胃癌和肺癌为主）、糖尿病占4%。根据这些数据我们可以看出，饮食状况和空气质量是影响人类健康的重要因素。其中，空气质量是较容易监测的，且已经逐渐引起了人们的重视。但是，饮食状况由于其琐碎性和复杂性，而一直难以被监测，也不能得到人们的重视。我国的营养监测体系主要通过抽样住户全年的食物消费资料来实现监测，这种监测手段适用于统计意义上的营养监测，而不适于个人饮食数据的收集。现有的家用个人饮食数据获取方法主要有以下方法：

1）营养配餐分析：

通过制定饮食计划为自己配餐，通过配餐的资料来分析每餐的营养摄入数据。这种方法仅适合于自律性极强或需求强烈的少数人群，实现难度高，不具备普遍意义，且营养摄入数据分析准确性差，因为配餐不一定全部摄入。

2）人为数据收集：

通过人为的方式，依靠食物标注重量或称量重量来记录自己每餐的饮食情况，进而获取自己的营养摄入数据。这种方法繁琐且可实施难度高，没有任何的普适性。

在我国由于中餐的特殊性（种类多、工艺复杂、采用分餐方式等），目前还没有一种简便的方式能够针对家庭环境实时采集个人饮食营养摄入数据，本发明基于此提出。

发明内容

本发明提出了一种基于云端服务器和和图像采集系统实现的个人饮食营养摄入实时收集系统和方法，通过将图像采集系统设置于餐桌附近，基于摄像头测距技术、人脸识别技术和物体检测技术等，实时准确获取每人摄入的菜品种类和摄入重量，然后结合创新开发的云端服务器进行数据分析与处理，最终形成个人饮食营养摄入监测数据，可通过APP、网页或显示屏等方式将用户的营养摄入数据实时呈现给用户。本发明所述方案使用简单，无需人为干涉，一方面实现了实时地采集个人饮食数据，帮助用户自我约束健康饮食；另一方面，将大量用户“零门槛”接入营养监测平台，使得规模化收集个人饮食数据成为可能，能够带来人类健康饮食革命，具有广阔的推广应用前景。

本发明解决上述技术问题所采取的技术方案如下：

一种个人饮食营养摄入实时收集系统，包括：云端服务器和至少一个图像采集系统，所述图像采集系统实时采集用户用餐图像数据，并将所采集的用户用餐图像数据传输给云端服务器，所述云端服务器基于用户用餐图像数据分析处理得到用户饮食营养数据，所述用户饮食营养数据包括用户用餐时所摄入的菜品营养数据。

进一步的根据本发明所述的个人饮食营养摄入实时收集系统，其中所述云端服务器包括菜品检测模块、人脸识别模块、单餐临时数据库、饮食数据修正模块、图像数据处理模块、用户饮食数据归集模块、用户饮食资料库、菜品营养数据库和营养数据管理系统，所述菜品检测模块、人脸识别模块、单餐临时数据库、饮食数据修正模块和用户饮食数据归集模块均连接于所述图像数据处理模块，所述用户饮食资料库连接于所述用户饮食数据归集模块和所述营养数据管理系统，所述菜品营养数据库连接于所述营养数据管理系统，所述菜品检测模块和所述人脸识别模块连接；所述图像采集系统连接于所述图像数据处理模块；所述图像采集系统将自身的辅助信息和采集的用户用餐图像数据实时传递给所述图像数据处理模块；所述菜品检测模块通过对图像数据处理模块提供的来自某一图像采集系统的辅助信息和用户用餐图像数据进行分析处理后生成菜品种类与重量检测信息，并反馈给图像数据处理模块；所述人脸识别模块通过对图像数据处理模块提供的来自某一图像采集系统的辅助信息和用户用餐图像数据进行分析处理后生成用餐人菜品取用识别信息，并反馈给图像数据处理模块；所述图像数据处理模块基于所述菜品种类与重量检测信息和用餐人菜品取用识别信息生成用餐临时数据信息，并将其存储于所述单餐临时数据库中，所述用餐临时数据信息包括所述图像采集系统对应的用餐场景中每种菜品的取用重量和每个用餐人对每种菜品的取用次数；所述图像数据处理模块在取餐结束时将所述单餐临时数据库中存储的用餐临时数据信息提供给饮食数据修正模块，所述饮食数据修正模块基于所述用餐临时数据信息处理得到饮食修正数据信息，并反馈给所述图像数据处理模块，所述饮食修正数据信息包括所述图像采集系统对应的用餐场景中每个用餐人对每种菜品的取用重量信息；所述图像数据处理模块将所述饮食修正数据信息提供给所述用户饮食数据归集模块，所述用户饮食数据归集模块基于所述饮食修正数据信息在所述用户饮食资料库中归集形成记录用户用餐情况的用户用餐数据信息，所述菜品营养数据库存储有每种菜品的营养含量，所述营养数据管理系统基于用户饮食资料库和菜品营养数据库提供的数据信息处理得到个人饮食营养摄入数据信息。

进一步的根据本发明所述的个人饮食营养摄入实时收集系统，其中所述菜品种类与重量检测信息包括图像采集系统所采集的用户用餐图像数据中所含有的所有菜品的名称信息和每种菜品的重量信息，并以所述图像采集系统的身份识别特征作为索引，形成菜品种类与重量检测数据记录，所述数据记录包括所述图像采集系统的身份识别特征、所述图像采集系统所采集的用户用餐图像数据中含有的所有菜品名称和每种菜品对应的重量；

所述用餐人菜品取用识别信息包括图像采集系统所采集的用户用餐图像数据中所有有取餐行为的用餐人人脸识别信息和该用餐人所取用的菜品名称信息，并以所述图像采集系统的身份识别特征作为索引，形成用餐人菜品取用识别数据记录，所述数据记录包括所述图像采集系统的身份识别特征、所述图像采集系统所采集的用户用餐图像数据中所有有取餐行为的用餐人人脸识别特征和每个用餐人人脸识别特征对应的用餐人所取用的菜品名称；

所述用餐临时数据信息包括菜品取用重量数据表和菜品取用次数数据表，所述菜品取用重量数据表以所述图像采集系统的身份识别特征为索引建立有菜品取用重量数据记录，所述菜品取用重量数据记录包括所述图像采集系统的身份识别特征、所述图像采集系统对应的用餐场景中含有的所有菜品名称以及每种菜品对应的初始重量和剩余重量；所述菜品取用次数数据表以所述图像采集系统的身份识别特征为索引建立有菜品取用次数数据记录，所述菜品取用次数数据记录包括所述图像采集系统的身份识别特征、所述图像采集系统对应的用餐场景中所有有取餐行为的用餐人人脸识别特征、每个用餐人人脸识别特征对应的用餐人所取用的所有菜品名称以及对每个菜品的取用次数。

进一步的根据本发明所述的个人饮食营养摄入实时收集系统，其中所述饮食修正数据信息以所述图像采集系统的身份识别特征作为索引建立有饮食修正数据记录，所述饮食修正数据记录包括所述图像采集系统的身份识别特征、所述图像采集系统对应的用餐场景所在的用餐地点、所述图像采集系统对应的用餐场景的用餐时间、所述图像采集系统对应的用餐场景中所有有取餐行为的用餐人人脸识别特征、每个用餐人人脸识别特征对应的用餐人所取用的所有菜品名称以及对每种菜品的取用重量，所述用餐地点基于图像采集系统的身份识别特征获得，所述用餐时间为取餐结束时间，所述饮食数据修正模块通过如下方法得到所述图像采集系统对应的用餐场景中某次用餐时每个用餐人对每种菜品的取用重量：

步骤a）、根据单餐临时数据库提供的菜品取用重量数据表中，所述图像采集系统的身份识别特征目录下某种菜品的初始重量减去剩余重量，得到所述图像采集系统对应的用餐场景中某次用餐时该种菜品的实际消耗重量；

步骤b）、根据单餐临时数据库提供的菜品取用次数数据表中，所述图像采集系统的身份识别特征目录下所有用餐人人脸识别特征代表的用餐人对该种菜品的取用次数，统计得到所述图像采集系统对应的用餐场景中某次用餐时该种菜品被取用的总次数；

步骤c）、利用步骤a）中得到的该种菜品的实际消耗重量除以步骤b）中得到的该种菜品被取用的总次数，得到所述图像采集系统对应的用餐场景中某次用餐时该种菜品每次被取用的平均重量；

步骤d）、利用步骤c）中得到的该种菜品每次被取用的平均重量乘以所述图像采集系统的身份识别特征目录下某一用餐人人脸识别特征代表的某个用餐人对该种菜品的取用次数，得到所述图像采集系统对应的用餐场景中某次用餐时该用餐人对该菜品的实际取用重量；

步骤e）重复步骤a）-d）即可得到所述图像采集系统对应的用餐场景中某次用餐时每个用餐人对每种菜品的取用重量。

进一步的根据本发明所述的个人饮食营养摄入实时收集系统，其中所述用户饮食资料库中的用户用餐数据信息以用餐人人脸识别特征作为索引形成有用户饮食数据记录，所述用户饮食数据记录包括用餐人人脸识别特征、所述用餐人人脸识别特征对应的用餐人的用餐时间和用餐地点、所述用餐人人脸识别特征对应的用餐人在所述用餐时间和用餐地点下所取用的所有菜品名称以及对每种菜品的取用重量；所述用户饮食数据归集模块在收到图像数据处理模块提供的饮食修正数据记录后，根据所述饮食修正数据记录中的用餐人人脸识别特征、用餐时间、用餐地点、该用餐人人脸识别特征对应的用餐人所取用的所有菜品名称和对每种菜品的取用重量数据在所述用户饮食资料库中添加或更新对应的用户饮食数据记录。

进一步的根据本发明所述的个人饮食营养摄入实时收集系统，其中所述营养数据管理系统通过如下方式处理得到个人饮食营养摄入数据信息：

步骤a）、提取用户饮食资料库的用户饮食数据记录中某一用餐人人脸识别特征代表的用餐人在某一用餐时间和用餐地点下，所取用的某一菜品名称和对该菜品的取用重量数据；

步骤b）、在菜品营养数据中查询得到该菜品名称所对应的菜品营养含量数据；

步骤c）、将步骤a）中得到的该菜品取用重量数据与步骤b）中得到的该菜品营养含量数据进行运算，得到该用餐人人脸识别特征代表的用餐人在该用餐时间和用餐地点下对该菜品的营养摄入数据信息；

步骤d）、重复步骤a）-c）即可得到所有用餐人的个人饮食营养摄入数据信息。

进一步的根据本发明所述的个人饮食营养摄入实时收集系统，其中所述图像数据处理模块记录有每个图像采集系统的工作状态，所述工作状态包括启动状态、待机状态和取餐结束状态，初始情况下各图像采集系统的工作状态设为待机状态；所述图像数据处理模块接收到菜品检测模块提供的菜品种类与重量检测信息后，基于如下判断进行工作状态设定：

（1）若菜品种类与重量检测信息中包括的菜品种类不为零，且所述图像采集系统当前的工作状态为待机状态，则所述图像数据处理模块将所述图像采集系统的工作状态修改为启动状态；

（2）若菜品种类与重量检测信息中包括的菜品种类不为零，且所述图像采集系统当前的工作状态为启动状态，则所述图像数据处理模块将所述图像采集系统的工作状态继续保持为启动状态；

（3）若菜品种类与重量检测信息中包括的菜品种类为零，且所述图像采集系统当前的工作状态为待机状态，则所述图像数据处理模块将所述图像采集系统的工作状态继续保持为待机状态；

（4）若菜品种类与重量检测信息中包括的菜品种类为零，且所述图像采集系统当前的工作状态为启动状态，则所述图像数据处理模块将所述图像采集系统的工作状态修改为取餐结束状态；

（5）若菜品种类与重量检测信息中包括的菜品种类为零，且所述图像采集系统当前的工作状态为取餐结束状态，则所述图像数据处理模块将所述图像采集系统的工作状态修改为待机状态。

进一步的根据本发明所述的个人饮食营养摄入实时收集系统，其中当所述图像数据处理模块将所述图像采集系统的工作状态修改为启动状态时，所述图像数据处理模块基于所述菜品种类与重量检测信息中的菜品种类与重量检测数据记录在所述单餐临时数据库的菜品取用重量数据表中添加菜品取用重量数据记录，将菜品种类与重量检测数据记录中的图像采集系统身份识别特征作为菜品取用重量数据记录中对应的图像采集系统身份识别特征、将菜品种类与重量检测数据记录中的菜品名称作为菜品取用重量数据记录中对应的菜品名称、将菜品种类与重量检测数据记录中的菜品对应重量作为菜品取用重量数据记录中对应的菜品初始重量和菜品剩余重量；

当所述图像数据处理模块将所述图像采集系统的工作状态继续保持为启动状态时，所述图像数据处理模块基于所述菜品种类与重量检测信息中的菜品种类与重量检测数据记录更新所述单餐临时数据库的菜品取用重量数据表中对应的菜品取用重量数据记录，然后所述图像数据处理模块基于人脸识别模块反馈的用餐人菜品取用识别信息中的用餐人菜品取用识别数据记录更新所述单餐临时数据库的菜品取用次数数据表中对应的菜品取用次数数据记录；

当所述图像数据处理模块将所述图像采集系统的工作状态修改为取餐结束状态时，所述图像数据处理模块将单餐临时数据库中所述图像采集系统对应的菜品取用重量数据记录和菜品取用次数数据记录全部传输给所述饮食数据修正模块；

当所述图像数据处理模块将所述图像采集系统的工作状态修改为待机状态时，所述图像数据处理模块将单餐临时数据库中所述图像采集系统对应的菜品取用重量数据记录和菜品取用次数数据记录全部清空。

进一步的根据本发明所述的个人饮食营养摄入实时收集系统，其中还包括有营养数据显示系统，所述营养数据显示系统连接于所述营养数据管理系统，所述营养数据显示系统用于用户输入个人饮食营养摄入查询指令，并向用户显示所述营养数据管理系统反馈的个人饮食营养摄入数据信息。

一种基于本发明所述的个人饮食营养摄入实时收集系统进行的个人饮食营养摄入实时收集方法，其中所述方法包括以下步骤：

步骤一、图像采集系统将自身的辅助信息和所采集的用户用餐图像数据实时传递给图像数据处理模块；

步骤二、所述图像数据处理模块将所述辅助信息和用户用餐图像数据提供给菜品检测模块，并基于菜品检测模块反馈的菜品种类与重量检测信息进行如下判断与工作状态设定：

（1）若菜品种类与重量检测信息中包括的菜品种类不为零，且所述图像采集系统当前的工作状态为待机状态，则所述图像数据处理模块将所述图像采集系统的工作状态修改为启动状态，并基于所述菜品种类与重量检测信息中的菜品种类与重量检测数据记录在所述单餐临时数据库的菜品取用重量数据表中添加菜品取用重量数据记录；

（2）若菜品种类与重量检测信息中包括的菜品种类不为零，且所述图像采集系统当前的工作状态为启动状态，则所述图像数据处理模块将所述图像采集系统的工作状态继续保持为启动状态，并基于所述菜品种类与重量检测信息中的菜品种类与重量检测数据记录更新所述单餐临时数据库的菜品取用重量数据表中对应的菜品取用重量数据记录，然后所述图像数据处理模块将所述辅助信息和用户用餐图像数据提供给人脸识别模块，并基于人脸识别模块反馈的用餐人菜品取用识别信息中的用餐人菜品取用识别数据记录更新所述单餐临时数据库的菜品取用次数数据表中对应的菜品取用次数数据记录；

（3）若菜品种类与重量检测信息中包括的菜品种类为零，且所述图像采集系统当前的工作状态为待机状态，则所述图像数据处理模块将所述图像采集系统的工作状态继续保持为待机状态；

（4）若菜品种类与重量检测信息中包括的菜品种类为零，且所述图像采集系统当前的工作状态为启动状态，则所述图像数据处理模块将所述图像采集系统的工作状态修改为取餐结束状态，并将单餐临时数据库中所述图像采集系统对应的菜品取用重量数据记录和菜品取用次数数据记录全部传输给所述饮食数据修正模块，所述饮食数据修正模块通过修正计算得到饮食修正数据信息并反馈给图像数据处理模块，所述图像数据处理模块将所述饮食修正数据信息提供给所述用户饮食数据归集模块，所述用户饮食数据归集模块基于所述饮食修正数据信息在所述用户饮食资料库中归集形成记录用户用餐情况的用户用餐数据信息；

（5）若菜品种类与重量检测信息中包括的菜品种类为零，且所述图像采集系统当前的工作状态为取餐结束状态，则所述图像数据处理模块将所述图像采集系统的工作状态修改为待机状态，并将单餐临时数据库中所述图像采集系统对应的菜品取用重量数据记录和菜品取用次数数据记录全部清空。

本发明的目的及能够达到的技术效果：

（1）本发明针对中餐用餐环境复杂的现状，基于摄像头测距技术、人脸识别技术和物体检测技术等提出了一种简单的、自动的个人饮食营养数据实时收集方法，能够实时准确的获知每人每时摄入的营养数据，实现了个人饮食数据的精确采集和营养数据的精确分析，有利于帮助用户自我约束健康饮食，具有广阔的推广应用前景。

（2）本发明所述方案能够实时采集个人饮食数据，并基于菜品营养数据库为用户呈现个人饮食营养数据，所述系统实施简单、无需人为干涉、适应性更广，能够让消费者“零门槛”接入营养监测平台，真正使规模化收集个人饮食数据成为可能，能够带来人类健康饮食革命。

附图说明

附图1为本发明所述个人饮食营养摄入实时收集系统的框架结构图。

具体实施方式

以下结合附图对本发明的技术方案进行详细的描述，以使本领域技术人员能够更加清楚的理解本发明，但并不因此限制本发明的保护范围。

本发明所述的个人饮食营养摄入实时收集系统整体组成见附图1，包括云端服务器和图像采集系统、营养数据显示系统，所述的图像采集系统和营养数据显示系统均连接于所述的云端服务器，图像采集系统用于采集用户用餐图像数据，并将其传输给云端服务器进行分析处理后，得到个人饮食营养数据，通过营养数据显示系统提供给用户。下面分别对所包括的图像采集系统、营养数据显示系统和云端服务器进行详细具体的描述。

（一）图像采集系统：图像采集系统中包含一个图像预处理模块和一个图像采集模块，两者相互连接。该系统放置于用户端，用来采集用户的用餐图像。通常以用户用餐餐桌为单位，针对一个用户餐桌设置一个图像采集系统，每个图像采集系统具有能够唯一确定其身份信息的系统ID（Identification的缩写，表示身份信息，常用地址信息标定）。每个图像采集系统所包括的图像预处理模块和图像采集模块具体功能作用如下：

1）图像预处理模块有三个功能，一是用来判断当前采集到的用餐图像是否发生了变化，二是负责与云端服务器的图像数据处理模块进行通信，三是为图像数据处理模块提供所在图像采集系统的辅助信息，根据图像采集模块实现方式的不同，所述辅助信息包括但不限于图像采集系统ID，图像采集系统到餐桌的距离信息，标准餐具型号信息，图像采集模块型号、上传图像时间等。所述辅助信息在图像采集系统安装校准后作为初始化数据提前录入至图像采集系统所包括的图像预处理模块中；

2）图像采集模块用来获取实时的用户用餐的餐桌图像画面，并传输至图像预处理模块。

如前所述，每一个图像采集系统有自己的系统ID，用以区分其他的图像采集系统，可用来根据图像采集系统的系统ID的注册信息查询到图像采集系统的地点信息，作为用餐地点信息。每个用户餐桌优选的只布置一个图像采集系统。图像采集系统工作时，其中的图像采集模块实时采集用户用餐的用餐图像，并将采集的用餐图像传输至其中的图像预处理模块，所述图像预处理模块通过对比两个相邻时间的用餐图像内容，判断餐桌画面是否产生了变化。仅当餐桌画面产生变化时，所述图像预处理模块才将当前餐桌画面对应的用餐图像和所在图像采集系统的辅助信息上传至云端服务器的图像数据处理模块；而当餐桌画面没有变化时，所述图像预处理模块进入待机状态，等待图像采集模块继续传输下一帧用餐图像画面。

本发明中每个图像采集系统所包括的图像采集模块可包括一个、两个或多个摄像头，并优选的可通过以下三种方式之一实现图像采集：

A.单摄像头采集方法一：首先，将单个摄像头固定于餐桌正上方，使摄像头镜头平面平行于桌面；然后，在正式使用前进行摄像头距离校准，并在校准后储存摄像头到餐桌的实际距离数据至图像预处理模块。最后，摄像头在用餐时将会实时上传用餐图像至图像预处理模块。图像预处理模块在上传用餐图像数据时将会同时上传预存的摄像头到餐桌的实际距离信息和图像采集系统ID作为辅助信息。

B.单摄像头采集方法二：首先，家庭需要配备针对本系统的标准餐具一套，并记录标准餐具型号至图像预处理模块；然后，摄像头将会在用餐时实时上传用餐图像至图像预处理模块。图像预处理模块在上传用餐图像数据时将会同时上传预存的标准餐具型号和图像采集系统ID作为辅助信息。

C.双摄像头方法：首先，将双摄像头置于餐桌任意位置，其中双摄像头是绑定为一体的，两个摄像头之间的距离由生产设计时预设，由图像采集模块型号决定，并预存于图像预处理模块中；双摄像头在用餐时将会实时上传两张用餐图像至图像预处理模块。图像预处理模块在上传两张用餐图像数据至图像数据处理模块的同时将会上传其中预存的图像采集模块型号和图像采集系统ID作为辅助信息。

综上，图像采集系统用于实时采集用户用餐的图像画面，并在用餐图像画面发生变化（表明进入用餐阶段）时将用餐图像传输给云端服务器，在传输用餐图像的同时，也传输与用餐图像相对应的便于对用餐图像中菜品重量进行计算的关联辅助信息、以及图像采集系统自身的ID信息至云端服务器，便于云端服务器对其传输数据进行分析处理。

（二）云端服务器，包括菜品检测模块、人脸识别模块、单餐临时数据库、饮食数据修正模块、图像数据处理模块、用户饮食数据归集模块、用户饮食资料库、菜品营养数据库和营养数据管理系统，如附图1所示，所述的菜品检测模块、人脸识别模块、单餐临时数据库、饮食数据修正模块和用户饮食数据归集模块均连接于所述的图像数据处理模块，所述用户饮食资料库连接于所述用户饮食数据归集模块和营养数据管理系统，所述的菜品营养数据库连接于所述营养数据管理系统，菜品检测模块和人脸识别模块相互连接。各图像采集系统的图像预处理模块均连接于所述图像数据处理模块，所述营养数据显示系统连接于所述营养数据管理系统。下面具体给出云端服务器所包括的各模块的功能结构和具体工作过程，以便于充分理解各模块以及整个云端服务器的运行过程，但并不将本发明的保护范围局限于此，在本发明所述云端服务器的功能范畴内进行的各模块的功能、结构及名称等的相同、等同或相似范围内的任何改变或替换都属于本发明的保护范围。

（1）菜品检测模块：所述菜品检测模块实现了两大功能，一是基于深度神经网络识别图像数据处理模块提供的由图像采集系统拍摄的用餐图像中的菜品种类，并标注不同菜品在图像中的位置和形状；二是结合菜品种类识别结果和图像数据处理模块提供的辅助信息估算出每种菜品的重量。菜品检测模块中存储有以下数据：菜品识别用深度神经网络模型和菜品密度信息、以及由图像数据处理模块提供的来自图像采集系统的辅助信息（包括图像采集系统到餐桌的距离信息、标准餐具型号信息、图像采集模块型号信息等）。菜品检测模块接受图像数据处理模块传输的来自某个图像采集系统的用餐图像和辅助信息数据，并对该数据进行识别检测处理后生成用餐图像中所包括的所有菜品名称和每种菜品的重量信息，然后反馈给图像数据处理模块。优选的所述菜品检测模块包括菜品识别单元、菜品重量估算单元和存储单元，三者两两相互连接，所述的菜品识别单元基于预设的深度神经网络用于对图像数据处理模块上传的用餐图像进行菜品种类名称识别、菜品位置标定和菜品形状标定，并将识别信息传递给菜品重量估算单元，所述菜品重量估算单元基于菜品识别单元的识别信息和存储单元的存储信息计算用餐图像中各菜品的重量信息，所述的存储单元用于存储菜品识别用深度神经网络模型、菜品密度信息以及图像采集系统到餐桌的距离信息、标准餐具型号信息、图像采集模块型号信息等信息数据。具体的功能实现过程为：

1）菜品名称识别功能：

菜品识别单元的基于类似于人脸识别和图像物体检测的深度神经网络技术实现菜品种类名称识别。首先，根据理论分析建立一种深度神经网络模型。然后利用大数据的菜品图像库作为训练集，通过大数据图像训练集预先修正深度神经网络模型，得到可用于菜品名称识别、菜品位置和形状标定的深度神经网络模型。将该训练好的深度神经网络模型存储于菜品检测模块的存储单元，用于正式使用时对图像数据处理模块上传的用餐图像进行菜品名称识别、菜品位置标定和菜品形状标定，得到每幅用餐图像中所包括的所有菜品的种类名称、以及每种菜品在图像中所在的位置信息和每种菜品的形状信息，并将这些信息对应关联后提供给菜品重量估算单元。

2）菜品重量估算功能：

首先如前所述，图像数据处理模块在调用菜品检测模块时，会与用餐图像一同传输与之对应的辅助信息到菜品检测模块的存储单元，这些辅助信息包括但不限于图像采集系统到餐桌的距离信息、标准餐具型号信息、图像采集模块型号信息等。根据图像采集模块实现图像采集方式的不同，提供的辅助信息也有差异，对应的菜品重量估算方法也有所区别，下面分别给出针对每种不同的图像采集系统提供的用餐图像进行的菜品重量估算过程：

A、针对基于“单摄像头采集方法一”工作的图像采集系统数据：

如前所述，该图像采集系统向图像数据处理模块上传用餐图像和辅助信息，其中的辅助信息包括摄像头到餐桌实际距离信息和图像采集系统ID。图像数据处理模块将来自该图像采集系统的用餐图像和辅助信息提供给菜品检测模块后，首先其中菜品识别单元基于用餐图像识别出图像中包括的菜品名称、菜品位置和菜品形状，并将其传输给菜品重量估算单元，菜品重量估算单元基于辅助信息中的图像采集系统到餐桌的距离信息以及图像识别出的每种菜品的位置和形状信息，即可计算出每种菜品的实际大小，然后再结合存储单元预存的对应菜品深度评价信息和对应菜品密度信息即可估算用餐图像中每种菜品的重量信息。

B、针对基于“单摄像头采集方法二” 工作的图像采集系统数据：

如前所述，该图像采集系统向图像数据处理模块上传用餐图像和辅助信息，其中的辅助信息包括标准餐具型号信息和图像采集系统ID。图像数据处理模块将来自该图像采集系统的用餐图像和辅助信息提供给菜品检测模块后，首先其中菜品识别单元基于用餐图像识别出图像中包括的菜品名称、菜品位置和菜品形状，并将其传输给菜品重量估算单元，菜品重量估算单元基于辅助信息中的标准餐具型号信息以及图像识别出的每种菜品的位置和形状信息，即可计算出每种菜品的实际体积，然后再结合存储单元预存的对应菜品密度信息即可估算用餐图像中每种菜品的重量信息，此方法估算的体积精度较好，因为基于标准餐具型号信息能够获知较为精确的菜品深度信息。

C、针对基于“双摄像头采集方法” 工作的图像采集系统数据：

如前所述，该图像采集系统向图像数据处理模块上传用餐图像和辅助信息，其中的辅助信息包括图像采集模块型号信息和图像采集系统ID。图像数据处理模块将来自该图像采集系统的用餐图像和辅助信息提供给菜品检测模块后，首先其中菜品识别单元基于用餐图像识别出图像中包括的菜品名称、菜品位置和菜品形状，并将其传输给菜品重量估算单元，菜品重量估算单元基于辅助信息中的图像采集模块型号信息以及图像识别出的每种菜品的位置和形状信息，进行每种菜品的重量分析计算，具体的针对双摄像头采集的两张图像进行菜品识别，首先能够得到不同菜品在两张图像中的位置和形状信息。针对两张图像中的同一菜品，仿照人眼的工作方式，利用视差、两摄像头的水平距离、摄像头焦距等信息计算出该菜品距离摄像头的距离，结合菜品在图像中的相对大小和预设的对应菜品深度评价信息、存储的对应菜品密度信息即可估算出菜品的重量。其中两摄像头的水平距离、摄像头焦距等信息包括在图像数据处理模块在调用菜品检测模块时提供的辅助信息中的图像采集模块型号信息中。此方法对体积的估算精度一般。

综上，本发明中的菜品检测模块用于接收图像数据处理模块传输的来自某个图像采集系统的任一幅用餐图像和辅助信息数据，并能够基于现有较为成熟的图像识别技术和重量估算技术对数据进行识别检测处理，生成该幅用餐图像中所包括的所有菜品种类的名称信息和每种菜品的重量信息，并与提供该幅用餐图像的图像采集系统的ID关联后反馈给图像数据处理模块，优选的菜品检测模块向图像数据处理模块每次反馈的检测信息所包括的主要内容如下表1所示：

表1 菜品检测模块反馈的菜品检测信息

（2）人脸识别模块：基于现有的人脸识别技术和人物行为识别技术，分别建立针对人脸识别和行为识别（如取餐手臂动作行为等）的深度神经网络模型，接着利用大量的图片作为训练集修正上述两个深度神经网络，进而得到训练好的人脸识别神经网络模型和行为识别深度神经模块模型，然后存储于人脸识别模块中，这种识别模型建立在现有技术中相对陈述，在此不做展开描述。所述的人脸识别模块接受到图像数据处理模块提供的来自某个图像采集系统的某幅用餐图像和辅助信息后，人脸识别神经网络模型基于输入的用餐图像识别出图像中各用餐人的人脸特征信息（可记为用餐人人脸特征ID，每个用餐人具有唯一对应的人脸特征ID），行为识别神经网络模型基于用餐图像识别出各用餐人是否有取餐行为，并针对每个有取餐行为的用餐人进一步识别出其所取菜品名称，具体过程为：当行为识别神经网络模型基于用餐图像识别出图像中的用餐人有取餐行为时，将预处理的取餐行为对应图像画面传递给菜品检测模块，由菜品检测模块中的菜品识别深度神经网络模型识别出该图像画面中的菜品名称（亦即取餐行为所针对菜品的菜品名称），并反馈给人脸识别模块。最后人脸识别模块向图像数据处理模块反馈用餐图像中有取餐行为的用餐人人脸特征ID和该用餐人所取用的菜品名称（每个人每次取餐仅针对一个菜品），当然这些信息与提供用餐图像的图像采集系统的ID关联，优选的反馈信息如下表2所示：

表2 人脸识别模块反馈的人脸识别信息

（3）单餐临时数据库：用于存储每一个图像采集系统正在采集的用户餐桌所对应的饮食临时数据，所存储的数据由图像数据处理模块直接提供，这些数据包括来自人脸识别模块、菜品检测模块等的数据，各数据经由图像数据处理模块处理或转接后提供给单餐临时数据库。具体的单餐临时数据库中存储的数据内容包括：用餐地点、图像采集系统ID、每种菜品的初始重量、每种菜品的剩余重量、用餐人人脸特征ID、每位用餐人每种菜品的取餐次数等等。单餐临时数据库中的所述各数据以图像采集系统的ID为索引进行关联，其余各数据均记录在其对应的图像采集系统的ID目录下，优选的单餐临时数据库中包括相互关联的如表3和表4所示的数据格式内容：

表3 单餐临时数据库中菜品取用次数数据记录表

通过菜品取用次数数据表能够准确记录每次用餐时，每位用餐人对每种菜品的取用次数，进而得知所有用餐人对所有菜品的取用情况。

表4 单餐临时数据库中菜品取用重量数据记录表

通过菜品取用重量数据表能够准确记录每次用餐时，每种菜品的初始重量和剩余重量，准确得知每次用餐时每种菜品的取用情况。单餐临时数据库中菜品取用次数数据表和菜品取用重量数据表通过图像采集系统ID和菜品名称信息进行关联，形成能够准确记录每种菜品重量变化和每位用餐人对每种菜品取用情况的数据库。后面将结合图像数据处理模块的工作过程具体说明单餐临时数据库中各数据的录入过程。

（4）图像数据处理模块：本发明中的图像数据处理模块针对所有图像采集系统存储记录有其正在采集餐桌的用餐状态，本发明中每个图像采集系统对应的用餐状态包括启动、待机、取餐结束等状态，这些状态按照图像采集系统的ID为索引存储记录于图像数据处理模块中，初始化情况下，各图像采集系统对应的用餐状态均为待机状态。

本发明中的所述图像数据处理模块属于核心逻辑控制和数据处理模块，用于对图像采集系统上传的用餐图像和辅助信息进行分析，依据不同的分析结果采取不同的处理方法，并调配其他所有模块，包括：所述图像数据处理模块可以从图像采集系统获取用餐图像和辅助信息，所述辅助信息如前所述的包括图像采集系统ID、图像采集系统到餐桌的距离信息、标准餐具型号信息、图像采集模块型号、上传用餐图像时间等等；所述图像数据处理模块可以将来自图像采集系统的用餐图像和辅助信息提供给菜品检测模块，从菜品检测模块获取菜品种类和每种菜品对应的重量数据，可以将来自图像采集系统的用餐图像和辅助信息提供人脸识别模块，从人脸识别模块得到取餐人的人脸特征ID和取用菜品数据，可以将菜品检测模块、人脸识别模块反馈的数据提供给单餐临时数据库形成本次用餐临时数据记录，并可以向饮食数据修正模块推送本次用餐临时数据记录以便进行用餐营养分析，并可以向用户饮食数据归集模块推送用餐营养分析数据等等。下面具体给出图像数据处理模块具备的这些功能和对应的工作过程：

1）调用菜品检测模块

图像数据处理模块将从图像采集系统获取的用餐图像和辅助信息提供给菜品检测模块，所述菜品检测模块通过对用餐图像和辅助信息进行分析后生成该用餐图像中所包括的所有菜品名称信息和每种菜品的重量信息，并反馈给图像数据处理模块；

2）调用人脸识别模块

图像数据处理模块将从图像采集系统获取用餐图像和辅助信息提供给人脸识别模块，所述人脸识别模块通过对用餐图像和辅助信息进行分析后生成该用餐图像中有取餐行为的用餐人人脸特征ID和该用餐人取用的菜品名称信息，并反馈给图像数据处理模块；

3）进行用餐状态的分析与判断

首先图像数据处理模块中针对所有图像采集系统存储其所采集餐桌的用餐状态（包括启动、待机、取餐结束等状态），初始化情况下，每个图像采集系统对应的用餐状态均为待机状态。

当图像数据处理模块收到从某一图像采集系统上传的用餐图像和辅助信息后，调用菜品检测模块，并从菜品检测模块反馈得到包括该用餐图像中所有菜品种类名称和每种菜品对应重量数据记录的菜品检测信息，然后图像数据处理模块对反馈的菜品检测信息进行分析，判断该菜品检测信息包括的菜品种类是否为零（判断方法：只要菜品检测信息中存在有菜品名称的数据记录即判定其包括的菜品种类不为零），并基于判断结果进行如下处理：

a）若菜品检测信息中包括的菜品种类不为零，且该图像采集系统对应的用餐状态为待机状态，则图像数据处理模块首先将该图像采集系统对应的用餐状态修改为启动状态，接着利用该图像采集系统的ID结合注册信息判断出取餐地点信息，然后将该图像采集系统的ID、基于该ID判断出的所述取餐地点、以及菜品检测信息中的菜品检测数据记录（包括用餐图像中的菜品种类名称和每种菜品对应的重量）提供给单餐临时数据库，并记录于单餐临时数据库的菜品取用重量数据表中，其中每种菜品对应的重量数据作为该菜品的初始重量和剩余重量，各数据通过图像采集系统ID进行索引关联；然后等待图像采集系统上传下一张用餐图像；

b）若菜品检测信息中包括的菜品种类不为零，且该图像采集系统对应的用餐状态为启动状态，则图像数据处理模块继续将该图像采集系统对应的用餐状态保持为启动状态。接着图像数据处理模块用菜品检测信息中的所有菜品检测数据记录（包括菜品名称、菜品重量等）更新单餐临时数据库的菜品取用重量数据表，具体的首先判断某一菜品检测数据记录中的菜品名称是否包括在菜品取用重量数据表中该图像采集系统（即提供该用餐图像的图像采集系统）ID目录下的数据记录中，若否则在菜品取用重量数据表的该图像采集系统ID目录下新增一条数据记录，新增数据记录的菜品名称为该菜品检测数据记录中的菜品名称，新增数据记录的菜品初始重量和菜品剩余重量为该菜品检测数据记录中对应的菜品重量；若该菜品检测数据记录中的菜品名称已包括在菜品取用重量数据表中该图像采集系统ID目录下的数据记录中，则将菜品取用重量数据表中该图像采集系统ID目录下包括该菜品名称的数据记录中的菜品剩余重量更新为该菜品检测数据记录中该菜品名称对应的菜品重量。然后图像数据处理模块调用人脸识别模块，将该图像采集系统上传的该用餐图像和辅助信息传输给人脸识别模块，并从人脸识别模块反馈得到人脸识别信息，该人脸识别信息包括若干人脸识别数据记录，每条人脸识别数据记录中记录有用餐图像中一个具有用餐行为的用餐人人脸特征ID和该用餐人取用的菜品名称。然后图像数据处理模块用人脸识别模块反馈的所有人脸识别数据记录更新单餐临时数据库的菜品取用次数数据表，具体的首先判断某一人脸识别数据记录中的用餐人人脸特征ID是否包括在菜品取用次数数据表中对应的该图像采集系统（即提供该用餐图像的图像采集系统）ID目录下的数据记录中，若否则在菜品取用次数数据表中对应的该图像采集系统ID目录下新增一条数据记录，新增数据记录的“用餐人人脸特征ID”为该人脸识别数据记录中的用餐人人脸特征ID，新增数据记录的“取用菜品名称”为该人脸识别数据记录中的“本次取用菜品名称”，新增数据记录的“该菜品取用次数”记为“1次”。若该人脸识别数据记录中的用餐人人脸特征ID已包括在菜品取用次数数据表中对应的该图像采集系统ID目录下的数据记录中，则进一步判断该人脸识别数据记录中该用餐人人脸特征ID对应的“本次取用菜品名称”是否包括在菜品取用次数数据表中对应的该图像采集系统ID目录下该用餐人人脸特征ID所在数据记录中，若否则在菜品取用次数数据表中该图像采集系统ID目录下的该用餐人人脸特征ID下新增一条数据记录，新增数据记录的“取用菜品名称”为该人脸识别数据记录中的“本次取用菜品名称”，新增数据记录的“该菜品取用次数”记为“1次”，若是则将菜品取用次数数据表中该图像采集系统ID目录下的该用餐人人脸特征ID所在数据记录下的“取用菜品名称”为该人脸识别数据记录中“本次取用菜品名称”的数据记录中的“该菜品取用次数”增加一次。等待图像采集系统上传下一张用餐图像。

c）若菜品检测信息中包括的菜品种类为零，且该图像采集系统对应的用餐状态为待机状态，则图像数据处理模块保持该图像采集系统对应的用餐状态为待机状态，此时用餐尚未发生或开始，继续等待图像采集系统上传下一张图片；

d）若菜品检测信息中包括的菜品种类为零，且该图像采集系统对应的用餐状态为启动状态，则图像数据处理模块将该图像采集系统对应的用餐状态修改为取餐结束状态。因为在启动状态下没有检测到菜品，说明菜品已经吃饭，即将用餐结束。此时当图像数据处理模块将某一图像采集系统对应的用餐状态设置为取餐结束状态时，所述图像数据处理模块同时将单餐临时数据库中对应该图像采集系统ID目录内的全部数据传输至饮食数据修正模块，并将此时作为用餐时间上传给饮食数据修正模块，开始调用饮食数据修正模块进行分析处理。在饮食数据修正模块对相关数据完成分析处理后，再次反馈给图像数据处理模块，由图像数据处理模块将饮食数据修正模块反馈的用户饮食数据传输至用户饮食数据归集模块，生成每个用户人脸特征ID及其对应的本次用餐饮食数据，并存储于用户饮食资料库中，等待图像采集系统上传下一张图片；

e）若菜品检测信息中包括的菜品种类为零，且该图像采集系统对应的用餐状态为取餐结束状态，则图像数据处理模块将该图像采集系统对应的用餐状态修改为待机状态，同时所述图像数据处理模块清空单餐临时数据库中对应该图像采集系统ID目录内的全部数据，等待图像采集系统上传下一张用餐图像。

4）调用饮食数据修正模块

当图像数据处理模块调用饮食数据修正模块时，将单餐临时数据库中对应的图像采集系统ID目录下全部数据传输至饮食数据修正模块，并向饮食数据修正模块上传此时的时间信息作为用餐时间。饮食数据修正模块将利用这些数据对每个人的实际用餐数据进行修正，获取针对该图像采集系统所采集的用户用餐中每个人对每种菜品的实际取餐重量。基于单餐临时数据库上传的某一图像采集系统ID目录下的全部数据（代表了一张餐桌某次用餐时间用户用餐的全部数据），饮食数据修正模块具体的工作过程如下：

a）根据单餐临时数据库菜品取用重量数据表中该图像采集系统ID目录下某种菜品的初始重量减去剩余重量，得到本次用餐该种菜品的实际消耗重量；

b）根据单餐临时数据库菜品取用次数数据表中该图像采集系统ID目录下本次所有用餐人（该图像采集系统ID目录下所有用餐人人脸特征ID代表的用餐人）取用该种菜品的次数，统计出该种菜品被取用的总次数；

c）利用a）中得到的该种菜品的实际消耗重量除以b）中得到的该种菜品被取用的总次数，估算出针对该种菜品每次取菜的重量；

d）利用c）中得到的针对该种菜品每次取菜的重量乘以某人（以菜品取用次数数据表中该图像采集系统ID目录下某个用餐人人脸特征ID代表的用餐人）取用该种菜品的次数（菜品取用次数数据表中有记录），即可估算出此人本次用餐时取用该种菜品的实际重量；

e）重复步骤a）-d）即可针对每个用餐人（即该图像采集系统ID目录下每个用餐人人脸特征ID所代表的用餐人），估算出其摄入每种菜品的实际重量。

综上，饮食数据修正模块进行修正处理后得到对应于各图像采集系统ID的如下表5所示饮食修正数据信息，其中的用餐时间由图像数据处理模块提供，其他各数据基于单餐临时数据库提供的对应数据和上述修正运算获得：

表5 饮食修正数据记录表

最后，饮食数据修正模块将得到的上述饮食修正数据信息反馈提供给图像数据处理模块。

5）调用用户饮食数据归集模块

当图像数据处理模块从饮食数据修正模块得到饮食修正数据信息后，调用用户饮食数据归集模块，并将得到的该饮食修正数据信息提供给用户饮食数据归集模块。所述用户饮食数据归集模块将该饮食修正数据信息归集于用户饮食资料库中，从而在用户饮食资料库中形成完整的用户饮食数据信息。具体的当所述用户饮食数据归集模块接收到图像数据处理模块提供的所述饮食修正数据信息后，将该饮食修正数据信息中的各饮食修正数据记录归集于用户饮食资料库中，形成对应的用户饮食数据记录，具体的提取饮食修正数据记录中每个用餐人人脸特征ID和该用餐人人脸特征ID对应的用餐时间、用餐地点、取用菜品名称和摄入菜品重量信息，并将这些信息添加在用户饮食资料库中的用户饮食数据记录中，所述用户饮食数据记录以用餐人人脸特征ID为索引，每个用户饮食数据记录包括一个用餐人人脸特征ID和该用餐人人脸特征ID下对应的所有用餐时间、用餐地点、取用菜品名称和摄入菜品重量信息，从而在用户饮食资料库中归集形成有每个用户在每次用餐下（通过用餐时间和用餐地点唯一区分，因为同一用户某一时间只能在一个地点用餐）对每种菜品的取用情况，达到了对用户饮食数据归集的目的。

（5）饮食数据修正模块

所述饮食数据修正模块基于图像数据处理模块提供的单餐临时数据库中对应于某图像采集系统ID目录内的数据对该图像采集系统所采集用餐下每个人的实际用餐数据进行修正，得到该图像采集系统所采集的用户用餐中每个人对每种菜品的实际摄入重量，具体的修正工作过程如前述图像数据处理模块调用饮食数据修正模块时描述的包括：

a）根据单餐临时数据库菜品取用重量数据表中该图像采集系统ID目录下某种菜品的初始重量减去剩余重量，得到本次用餐该种菜品的实际消耗重量；

b）根据单餐临时数据库菜品取用次数数据表中该图像采集系统ID目录下本次所有用餐人（该图像采集系统ID目录下所有用餐人人脸特征ID代表的用餐人）取用该种菜品的次数，统计出该种菜品被取用的总次数；

c）利用a）中得到的该种菜品的实际消耗重量除以b）中得到的该种菜品被取用的总次数，估算出针对该种菜品每次取菜的重量；

d）利用c）中得到的针对该种菜品每次取菜的重量乘以某人（以菜品取用次数数据表中该图像采集系统ID目录下某个用餐人人脸特征ID代表的用餐人）取用该种菜品的次数（菜品取用次数数据表中有记录），即可估算出此人本次用餐时取用该种菜品的实际重量；

e）重复步骤a）-d）即可针对每个用餐人（即该图像采集系统ID目录下每个用餐人人脸特征ID所代表的用餐人），估算出其摄入每种菜品的实际重量。

经上述修正处理所述饮食数据修正模块得到对应于各图像采集系统ID的如下饮食修正数据信息，并将其反馈给图像数据处理模块：

（6）用户饮食数据归集模块

所述用户饮食数据归集模块用于将图像数据处理模块提供的来自饮食数据修正模块的饮食修正数据信息归集于用户饮食资料库中，从而在用户饮食资料库中形成完整的用户饮食数据信息，具体的数据归集过程如前述图像数据处理模块调用用户饮食数据归集模块时所描述的那样：当用户饮食数据归集模块接收到图像数据处理模块提供的饮食修正数据信息后，将该饮食修正数据信息中每个用餐人人脸特征ID和该每个用餐人人脸特征ID对应的用餐时间、用餐地点、取用菜品名称和摄入菜品重量分别添加至用户饮食资料库对应的用户饮食数据记录中，添加过程采用本领域熟知的查询录入过程，如首先查找来自饮食修正数据记录中的某个用餐人人脸特征ID是否存在于用户饮食资料库中的某一用户饮食数据记录中，若否则直径添加一条新的记录，新增记录的用餐人人脸特征ID为饮食修正数据记录中的该用餐人人脸特征ID，新增记录的用餐时间、用餐地点、取用菜品名称和摄入菜品重量为饮食修正数据记录中该用餐人人脸特征ID关联对应的用餐时间、用餐地点、取用菜品名称和摄入菜品重量数据；若是则直接在该用餐人人脸特征ID所在的用户饮食数据记录下增加饮食修正数据记录中该用餐人人脸特征ID关联对应的用餐时间、用餐地点、取用菜品名称和摄入菜品重量数据。最终所有用餐人人脸特征ID和其对应的所有用餐时间、用餐地点、取用菜品名称和摄入菜品重量信息都被记录在用户饮食资料库的各用户饮食数据记录中，从而在用户饮食资料库中归集形成每个用户在每次用餐下对每种菜品的取用情况，达到用户饮食数据归集目的。

（7）用户饮食资料库

所述用户饮食资料库用于归集每个用户在每次用餐下对每种菜品的取用情况，包括如下表6结构的用户饮食数据记录：

表6 用户饮食数据记录表

所述用户饮食资料库中的上述用户饮食数据记录通过前述用户饮食数据归集模块建立形成，并存储于用户饮食资料库中，具体的：当用户饮食数据归集模块接收到图像数据处理模块提供的饮食修正数据信息后，首先查找来自饮食修正数据记录中的某个用餐人人脸特征ID是否存在于用户饮食资料库中的某一用户饮食数据记录中，若否则直径添加一条新的记录，新增记录的用餐人人脸特征ID为饮食修正数据记录中的该用餐人人脸特征ID，新增记录的用餐时间、用餐地点、取用菜品名称和摄入菜品重量为饮食修正数据记录中该用餐人人脸特征ID关联对应的用餐时间、用餐地点、取用菜品名称和摄入菜品重量数据；若是则直接在该用餐人人脸特征ID所在的用户饮食数据记录下新增饮食修正数据记录中该用餐人人脸特征ID关联对应的用餐时间、用餐地点、取用菜品名称和摄入菜品重量数据记录。

（8）菜品营养数据库：用于存储每种菜品的营养含量，包括但不限于菜品名称、菜品的蛋白质含量、菜品的纤维素含量、菜品的维生素含量、菜品的脂肪含量、菜品的碳水化合物含量等。菜品营养数据库中的数据为预先设定好的数据，可以根据开源营养库获取，也可以通过人为测定每种菜品的营养含量获取。菜品营养数据库中优选的以如下表7所示方式记录有针对每种菜品的营养数据记录：

表7 营养数据记录表

（9）营养数据管理系统：当用户通过营养数据显示系统提出获取营养数据的查询请求时，营养数据管理系统首先确认用户身份，然后在用户饮食资料库中查找该用户身份对应的满足查询条件的用户饮食数据记录，并结合菜品营养数据库提供的对应菜品营养数据记录计算出该查询条件下用户的营养摄入情况并反馈给营养数据显示系统。

营养数据管理系统对营养数据计算过程包括：

1）从用户饮食资料库中查询得到满足用户查询设定条件（包括基于查询用户身份识别确定的用餐人人脸特征ID、用餐时间、用餐地点等查询条件）的用户饮食数据记录，该数据记录有该用户的用餐时间、用餐地点、所取用的菜品种类名称和对每种菜品的摄入重量信息；

2）接着营养数据管理系统在菜品营养数据库中查找每种菜品对应的各营养含量，然后将每种菜品对应的各营养含量与该种菜品的摄入重量进行运算（如相乘运算等），得到该用户在所查询用餐时间和地点下，摄入的所有营养数据。

（三）营养数据显示系统：

1）根据用户要求，上传营养数据查询请求至营养数据管理系统；

2）根据营养数据管理系统的反馈结果，通过APP、网页、短信、显示终端等方式将用户的营养数据呈现给用户。

下面进一步给出基于本发明所述个人饮食营养摄入实时收集系统进行的个人饮食营养摄入实时收集方法：

（1）用户将图像采集系统固定于餐桌侧面或上方，并打开图像采集系统；

（2）图像采集系统的图像采集模块传输实时用餐图像至图像预处理模块，当图像预处理模块没有检测到画面变换时保持休眠状态，等待图像采集模块传输下一帧图像。当图像预处理模块检测到画面变换时，上传实时用餐图像、图像采集系统ID、其他辅助信息（图像采集系统到餐桌的距离信息、标准餐具型号信息、图像采集模块型号等）至图像数据处理模块；

（3）图像数据处理模块将收到的用餐图像传输至菜品检测模块，菜品检测模块通过对所述用餐图像和辅助信息进行分析后生成该用餐图像中所包括的所有菜品名称信息和每种菜品的重量信息，并反馈给图像数据处理模块；

（4）图像数据处理模块对菜品检测模块反馈的菜品检测信息进行分析，判断该菜品检测信息中包括的菜品种类是否为零，并基于判断结果进行如下处理：

4-1）若菜品检测信息中包括的菜品种类不为零，且该图像采集系统对应的用餐状态为待机状态，则图像数据处理模块首先将该图像采集系统对应的用餐状态修改为启动状态，接着利用该图像采集系统的ID结合注册信息判断出取餐地点信息，然后将该图像采集系统的ID、基于该ID判断出的所述取餐地点、以及菜品检测信息中的菜品检测数据记录提供给单餐临时数据库，并记录于单餐临时数据库的菜品取用重量数据表中，其中每种菜品对应的重量数据作为该菜品的初始重量和剩余重量，各数据通过图像采集系统ID进行索引关联；然后等待图像采集系统上传下一张用餐图像（转至步骤（2））；

4-2）若菜品检测信息中包括的菜品种类不为零，且该图像采集系统对应的用餐状态为启动状态，则图像数据处理模块继续将该图像采集系统对应的用餐状态保持为启动状态。接着图像数据处理模块用菜品检测信息中的所有菜品检测数据记录更新单餐临时数据库的菜品取用重量数据表，然后图像数据处理模块调用人脸识别模块，将该图像采集系统上传的该用餐图像和辅助信息传输给人脸识别模块。接着图像数据处理模块用人脸识别模块反馈的所有人脸识别数据记录更新单餐临时数据库的菜品取用次数数据表；等待图像采集系统上传下一张用餐图像（转至步骤（2））；

4-3）若菜品检测信息中包括的菜品种类为零，且该图像采集系统对应的用餐状态为待机状态，则图像数据处理模块保持该图像采集系统对应的用餐状态为待机状态，此时用餐尚未发生或开始，继续等待图像采集系统上传下一张图片（转至步骤（2））；

4-4）若菜品检测信息中包括的菜品种类为零，且该图像采集系统对应的用餐状态为启动状态，则图像数据处理模块将该图像采集系统对应的用餐状态修改为取餐结束状态，同时图像数据处理模块将单餐临时数据库中对应该图像采集系统ID目录内的全部数据传输至饮食数据修正模块，并将此时作为用餐时间上传给饮食数据修正模块，开始调用饮食数据修正模块进行分析处理。在饮食数据修正模块对相关数据完成分析处理后，再次反馈给图像数据处理模块，由图像数据处理模块将饮食数据修正模块反馈的用户饮食修正数据传输至用户饮食数据归集模块，生成对应于每个用餐人应的用户饮食数据信息，并存储于用户饮食资料库中，等待图像采集系统上传下一张图片（转至步骤（2））；

4-5）若菜品检测信息中包括的菜品种类为零，且该图像采集系统对应的用餐状态为取餐结束状态，则图像数据处理模块将该图像采集系统对应的用餐状态修改为待机状态，同时所述图像数据处理模块清空单餐临时数据库中对应该图像采集系统ID目录内的全部数据，等待图像采集系统上传下一张用餐图像（转至步骤（2））。

最后给出个人饮食营养摄入数据查询流程：

（1）用户通过营养数据显示系统上传查询请求命令和查询条件至营养数据管理系统；

（2）营养数据管理系统首先确认查询用户身份，然后在用户饮食资料库中查找得到满足用户查询设定条件（包括基于查询用户身份识别确定的用餐人人脸特征ID、用餐时间、用餐地点等查询条件）的用户饮食数据记录，该数据记录有该用户的用餐时间、用餐地点、所取用的菜品种类名称和对每种菜品的摄入重量信息；

（3）接着营养数据管理系统在菜品营养数据库中查找该用户饮食数据记录中每种菜品对应的各营养含量，然后将每种菜品对应的各营养含量与该种菜品的摄入重量进行运算（如相乘运算等），得到该用户在所查询条件下摄入的所有营养数据。

（4）最后营养数据管理系统将处理得到的用户摄入营养数据反馈给营养数据显示系统，再由营养数据显示系统根据营养数据管理系统的反馈结果，通过APP、网页、短信、显示终端等方式将用户的营养数据呈现给用户。

本发明所述个人饮食营养摄入实时收集系统及个人饮食营养摄入实时收集方法与现有技术相比，至少具有以下特点：

（1）能够自动检测菜品种类，精确估算每个菜品重量；

（2）能够自动识别用户并匹配ID，用餐过程中能实时监测每个用户的取餐行为，准确计算每个用户对每种菜品的实际摄入重量；

（3）能够全面准确的得到用于对各种菜品的营业摄入情况，呈现给用户全面准确的营业数据；

综上，本发明能够实时、精确、自动、全面、智能化收集用户的用餐营养数据，对于营养分析大数据的发展、用户健康检测等都具有重大意义，技术推广与市场应用前景都非常广阔。

以上仅是对本发明的优选实施方式进行了描述，并不将本发明的技术方案限制于此，本领域技术人员在本发明的主要技术构思的基础上所作的任何公知变形都属于本发明所要保护的技术范畴，本发明具体的保护范围以权利要求书的记载为准。

Claims (10)

1.一种个人饮食营养摄入实时收集系统，其特征在于，包括：云端服务器和至少一个图像采集系统，所述图像采集系统实时采集用户用餐图像数据，并将所采集的用户用餐图像数据传输给云端服务器，所述云端服务器基于用户用餐图像数据分析处理得到用户饮食营养数据，所述用户饮食营养数据包括用户用餐时所摄入的菜品营养数据。

2.根据权利要求1所述的个人饮食营养摄入实时收集系统，其特征在于，所述云端服务器包括菜品检测模块、人脸识别模块、单餐临时数据库、饮食数据修正模块、图像数据处理模块、用户饮食数据归集模块、用户饮食资料库、菜品营养数据库和营养数据管理系统，所述菜品检测模块、人脸识别模块、单餐临时数据库、饮食数据修正模块和用户饮食数据归集模块均连接于所述图像数据处理模块，所述用户饮食资料库连接于所述用户饮食数据归集模块和所述营养数据管理系统，所述菜品营养数据库连接于所述营养数据管理系统，所述菜品检测模块和所述人脸识别模块连接；所述图像采集系统连接于所述图像数据处理模块；所述图像采集系统将自身的辅助信息和采集的用户用餐图像数据实时传递给所述图像数据处理模块；所述菜品检测模块通过对图像数据处理模块提供的来自某一图像采集系统的辅助信息和用户用餐图像数据进行分析处理后生成菜品种类与重量检测信息，并反馈给图像数据处理模块；所述人脸识别模块通过对图像数据处理模块提供的来自某一图像采集系统的辅助信息和用户用餐图像数据进行分析处理后生成用餐人菜品取用识别信息，并反馈给图像数据处理模块；所述图像数据处理模块基于所述菜品种类与重量检测信息和用餐人菜品取用识别信息生成用餐临时数据信息，并将其存储于所述单餐临时数据库中，所述用餐临时数据信息包括所述图像采集系统对应的用餐场景中每种菜品的取用重量和每个用餐人对每种菜品的取用次数；所述图像数据处理模块在取餐结束时将所述单餐临时数据库中存储的用餐临时数据信息提供给饮食数据修正模块，所述饮食数据修正模块基于所述用餐临时数据信息处理得到饮食修正数据信息，并反馈给所述图像数据处理模块，所述饮食修正数据信息包括所述图像采集系统对应的用餐场景中每个用餐人对每种菜品的取用重量信息；所述图像数据处理模块将所述饮食修正数据信息提供给所述用户饮食数据归集模块，所述用户饮食数据归集模块基于所述饮食修正数据信息在所述用户饮食资料库中归集形成记录用户用餐情况的用户用餐数据信息，所述菜品营养数据库存储有每种菜品的营养含量，所述营养数据管理系统基于用户饮食资料库和菜品营养数据库提供的数据信息处理得到个人饮食营养摄入数据信息。

3.根据权利要求2所述的个人饮食营养摄入实时收集系统，其特征在于，所述菜品种类与重量检测信息包括图像采集系统所采集的用户用餐图像数据中所含有的所有菜品的名称信息和每种菜品的重量信息，并以所述图像采集系统的身份识别特征作为索引，形成菜品种类与重量检测数据记录，所述数据记录包括所述图像采集系统的身份识别特征、所述图像采集系统所采集的用户用餐图像数据中含有的所有菜品名称和每种菜品对应的重量；

所述用餐人菜品取用识别信息包括图像采集系统所采集的用户用餐图像数据中所有有取餐行为的用餐人人脸识别信息和该用餐人所取用的菜品名称信息，并以所述图像采集系统的身份识别特征作为索引，形成用餐人菜品取用识别数据记录，所述数据记录包括所述图像采集系统的身份识别特征、所述图像采集系统所采集的用户用餐图像数据中所有有取餐行为的用餐人人脸识别特征和每个用餐人人脸识别特征对应的用餐人所取用的菜品名称；

所述用餐临时数据信息包括菜品取用重量数据表和菜品取用次数数据表，所述菜品取用重量数据表以所述图像采集系统的身份识别特征为索引建立有菜品取用重量数据记录，所述菜品取用重量数据记录包括所述图像采集系统的身份识别特征、所述图像采集系统对应的用餐场景中含有的所有菜品名称以及每种菜品对应的初始重量和剩余重量；所述菜品取用次数数据表以所述图像采集系统的身份识别特征为索引建立有菜品取用次数数据记录，所述菜品取用次数数据记录包括所述图像采集系统的身份识别特征、所述图像采集系统对应的用餐场景中所有有取餐行为的用餐人人脸识别特征、每个用餐人人脸识别特征对应的用餐人所取用的所有菜品名称以及对每个菜品的取用次数。

4.根据权利要求3所述的个人饮食营养摄入实时收集系统，其特征在于，所述饮食修正数据信息以所述图像采集系统的身份识别特征作为索引建立有饮食修正数据记录，所述饮食修正数据记录包括所述图像采集系统的身份识别特征、所述图像采集系统对应的用餐场景所在的用餐地点、所述图像采集系统对应的用餐场景的用餐时间、所述图像采集系统对应的用餐场景中所有有取餐行为的用餐人人脸识别特征、每个用餐人人脸识别特征对应的用餐人所取用的所有菜品名称以及对每种菜品的取用重量，所述用餐地点基于图像采集系统的身份识别特征获得，所述用餐时间为取餐结束时间，所述饮食数据修正模块通过如下方法得到所述图像采集系统对应的用餐场景中某次用餐时每个用餐人对每种菜品的取用重量：

步骤a）、根据单餐临时数据库提供的菜品取用重量数据表中，所述图像采集系统的身份识别特征目录下某种菜品的初始重量减去剩余重量，得到所述图像采集系统对应的用餐场景中某次用餐时该种菜品的实际消耗重量；

步骤b）、根据单餐临时数据库提供的菜品取用次数数据表中，所述图像采集系统的身份识别特征目录下所有用餐人人脸识别特征代表的用餐人对该种菜品的取用次数，统计得到所述图像采集系统对应的用餐场景中某次用餐时该种菜品被取用的总次数；

步骤c）、利用步骤a）中得到的该种菜品的实际消耗重量除以步骤b）中得到的该种菜品被取用的总次数，得到所述图像采集系统对应的用餐场景中某次用餐时该种菜品每次被取用的平均重量；

步骤d）、利用步骤c）中得到的该种菜品每次被取用的平均重量乘以所述图像采集系统的身份识别特征目录下某一用餐人人脸识别特征代表的某个用餐人对该种菜品的取用次数，得到所述图像采集系统对应的用餐场景中某次用餐时该用餐人对该菜品的实际取用重量；

步骤e）、重复步骤a）-d）即可得到所述图像采集系统对应的用餐场景中某次用餐时每个用餐人对每种菜品的取用重量。

5.根据权利要求4所述的个人饮食营养摄入实时收集系统，其特征在于，所述用户饮食资料库中的用户用餐数据信息以用餐人人脸识别特征作为索引形成有用户饮食数据记录，所述用户饮食数据记录包括用餐人人脸识别特征、所述用餐人人脸识别特征对应的用餐人的用餐时间和用餐地点、所述用餐人人脸识别特征对应的用餐人在所述用餐时间和用餐地点下所取用的所有菜品名称以及对每种菜品的取用重量；所述用户饮食数据归集模块在收到图像数据处理模块提供的饮食修正数据记录后，根据所述饮食修正数据记录中的用餐人人脸识别特征、用餐时间、用餐地点、该用餐人人脸识别特征对应的用餐人所取用的所有菜品名称和对每种菜品的取用重量数据在所述用户饮食资料库中添加或更新对应的用户饮食数据记录。

6.根据权利要求5所述的个人饮食营养摄入实时收集系统，其特征在于，所述营养数据管理系统通过如下方式处理得到个人饮食营养摄入数据信息：

步骤a）、提取用户饮食资料库的用户饮食数据记录中某一用餐人人脸识别特征代表的用餐人在某一用餐时间和用餐地点下，所取用的某一菜品名称和对该菜品的取用重量数据；

步骤b）、在菜品营养数据中查询得到该菜品名称所对应的菜品营养含量数据；

步骤c）、将步骤a）中得到的该菜品取用重量数据与步骤b）中得到的该菜品营养含量数据进行运算，得到该用餐人人脸识别特征代表的用餐人在该用餐时间和用餐地点下对该菜品的营养摄入数据信息；

步骤d）、重复步骤a）-c）即可得到所有用餐人的个人饮食营养摄入数据信息。

7.根据权利要求3-6任一项所述的个人饮食营养摄入实时收集系统，其特征在于，所述图像数据处理模块记录有每个图像采集系统的工作状态，所述工作状态包括启动状态、待机状态和取餐结束状态，初始情况下各图像采集系统的工作状态设为待机状态；所述图像数据处理模块接收到菜品检测模块提供的菜品种类与重量检测信息后，基于如下判断进行工作状态设定：

（1）若菜品种类与重量检测信息中包括的菜品种类不为零，且所述图像采集系统当前的工作状态为待机状态，则所述图像数据处理模块将所述图像采集系统的工作状态修改为启动状态；

（2）若菜品种类与重量检测信息中包括的菜品种类不为零，且所述图像采集系统当前的工作状态为启动状态，则所述图像数据处理模块将所述图像采集系统的工作状态继续保持为启动状态；

（3）若菜品种类与重量检测信息中包括的菜品种类为零，且所述图像采集系统当前的工作状态为待机状态，则所述图像数据处理模块将所述图像采集系统的工作状态继续保持为待机状态；

（4）若菜品种类与重量检测信息中包括的菜品种类为零，且所述图像采集系统当前的工作状态为启动状态，则所述图像数据处理模块将所述图像采集系统的工作状态修改为取餐结束状态；

（5）若菜品种类与重量检测信息中包括的菜品种类为零，且所述图像采集系统当前的工作状态为取餐结束状态，则所述图像数据处理模块将所述图像采集系统的工作状态修改为待机状态。

8.根据权利要求7所述的个人饮食营养摄入实时收集系统，其特征在于，

当所述图像数据处理模块将所述图像采集系统的工作状态修改为启动状态时，所述图像数据处理模块基于所述菜品种类与重量检测信息中的菜品种类与重量检测数据记录在所述单餐临时数据库的菜品取用重量数据表中添加菜品取用重量数据记录，将菜品种类与重量检测数据记录中的图像采集系统身份识别特征作为菜品取用重量数据记录中对应的图像采集系统身份识别特征、将菜品种类与重量检测数据记录中的菜品名称作为菜品取用重量数据记录中对应的菜品名称、将菜品种类与重量检测数据记录中的菜品对应重量作为菜品取用重量数据记录中对应的菜品初始重量和菜品剩余重量；

当所述图像数据处理模块将所述图像采集系统的工作状态继续保持为启动状态时，所述图像数据处理模块基于所述菜品种类与重量检测信息中的菜品种类与重量检测数据记录更新所述单餐临时数据库的菜品取用重量数据表中对应的菜品取用重量数据记录，然后所述图像数据处理模块基于人脸识别模块反馈的用餐人菜品取用识别信息中的用餐人菜品取用识别数据记录更新所述单餐临时数据库的菜品取用次数数据表中对应的菜品取用次数数据记录；

当所述图像数据处理模块将所述图像采集系统的工作状态修改为取餐结束状态时，所述图像数据处理模块将单餐临时数据库中所述图像采集系统对应的菜品取用重量数据记录和菜品取用次数数据记录全部传输给所述饮食数据修正模块；

当所述图像数据处理模块将所述图像采集系统的工作状态修改为待机状态时，所述图像数据处理模块将单餐临时数据库中所述图像采集系统对应的菜品取用重量数据记录和菜品取用次数数据记录全部清空。

9.根据权利要求1-8任一项所述的个人饮食营养摄入实时收集系统，其特征在于，还包括有营养数据显示系统，所述营养数据显示系统连接于所述营养数据管理系统，所述营养数据显示系统用于用户输入个人饮食营养摄入查询指令，并向用户显示所述营养数据管理系统反馈的个人饮食营养摄入数据信息。

10.一种基于权利要求1-9任一项所述的个人饮食营养摄入实时收集系统进行的个人饮食营养摄入实时收集方法，其特征在于，所述方法包括以下步骤：

步骤一、图像采集系统将自身的辅助信息和所采集的用户用餐图像数据实时传递给图像数据处理模块；

步骤二、所述图像数据处理模块将所述辅助信息和用户用餐图像数据提供给菜品检测模块，并基于菜品检测模块反馈的菜品种类与重量检测信息进行如下判断与工作状态设定：

（1）若菜品种类与重量检测信息中包括的菜品种类不为零，且所述图像采集系统当前的工作状态为待机状态，则所述图像数据处理模块将所述图像采集系统的工作状态修改为启动状态，并基于所述菜品种类与重量检测信息中的菜品种类与重量检测数据记录在所述单餐临时数据库的菜品取用重量数据表中添加菜品取用重量数据记录；

（2）若菜品种类与重量检测信息中包括的菜品种类不为零，且所述图像采集系统当前的工作状态为启动状态，则所述图像数据处理模块将所述图像采集系统的工作状态继续保持为启动状态，并基于所述菜品种类与重量检测信息中的菜品种类与重量检测数据记录更新所述单餐临时数据库的菜品取用重量数据表中对应的菜品取用重量数据记录，然后所述图像数据处理模块将所述辅助信息和用户用餐图像数据提供给人脸识别模块，并基于人脸识别模块反馈的用餐人菜品取用识别信息中的用餐人菜品取用识别数据记录更新所述单餐临时数据库的菜品取用次数数据表中对应的菜品取用次数数据记录；

（3）若菜品种类与重量检测信息中包括的菜品种类为零，且所述图像采集系统当前的工作状态为待机状态，则所述图像数据处理模块将所述图像采集系统的工作状态继续保持为待机状态；

（4）若菜品种类与重量检测信息中包括的菜品种类为零，且所述图像采集系统当前的工作状态为启动状态，则所述图像数据处理模块将所述图像采集系统的工作状态修改为取餐结束状态，并将单餐临时数据库中所述图像采集系统对应的菜品取用重量数据记录和菜品取用次数数据记录全部传输给所述饮食数据修正模块，所述饮食数据修正模块通过修正计算得到饮食修正数据信息并反馈给图像数据处理模块，所述图像数据处理模块将所述饮食修正数据信息提供给所述用户饮食数据归集模块，所述用户饮食数据归集模块基于所述饮食修正数据信息在所述用户饮食资料库中归集形成记录用户用餐情况的用户用餐数据信息；

（5）若菜品种类与重量检测信息中包括的菜品种类为零，且所述图像采集系统当前的工作状态为取餐结束状态，则所述图像数据处理模块将所述图像采集系统的工作状态修改为待机状态，并将单餐临时数据库中所述图像采集系统对应的菜品取用重量数据记录和菜品取用次数数据记录全部清空。

Images