CN109903836A - 一种基于体质和大数据的饮食智能推荐和匹配系统及方法 - Google Patents

Abstract

本发明公开了医疗检测技术领域的一种基于体质和大数据的饮食智能推荐和匹配系统及方法，包括图像采集模块、体质图像预处理模块、体质特征提取模块、中央处理模块、特征检测模块、体质迁移学习模块、网络训练模块、手动输入模块、摄像头、食物图像预处理模块、食物特征提取模块、食物迁移学习模块、无线传输模块、显示终端、存储模块、定时更新单元以及系统评估模块，本发明能够定时的对用户上传的人体图像信息进行多次检测，并根据检测结果由中医智能检测系统给出一个体质的发展趋势并预警，同时根据图像采集模块实时采集用户所食用的食物，根据采集的食物图像与该用户体质自动匹配后，针对该食物是否会影响不同体质人群以及食用的多少给出指导意见。

Description

一种基于体质和大数据的饮食智能推荐和匹配系统及方法

技术领域

本发明公开了一种基于体质和大数据的饮食智能推荐和匹配系统及方法， 具体为智能饮食推荐技术领域。

背景技术

随着年龄的增长，人类罹患某些疾病的机会也在增加。这些疾病大都是早 期没有明显症状，但往往有严重的后果，这样，进行定期健康体检就显得非常 有必要。中医作为一种诊病手段，自神农尝百草、扁鹊“望闻问切”之后便被 世人所知，它通过对人体的气、色、声等的观察进行人体身体状况的检查。

其中，手诊是一门历史悠久的中医检测学科。在东西方医学中都可以找到研究 痕迹和成果，手诊在当代已经成为专门的学科，广泛应用于生活。手诊主要是 指对手部的望诊，这种方法中西方都有，主要分为气色形态、手纹、手形和手 温等几大类。在长期的研究中发现：手纹、手型、气色形态、手温、皮纹、指 甲在手掌与健康相对性的医学研究中，有着同等重要的地位，缺一不可。手诊 的概念就是指通过人体手的手型、气色形态、手温、皮纹、指甲、手纹纹路形 态变化和规律等方式，对人体器官的演变作出推理的一种防治辅助手段。运用 视觉、触觉等，对手上的征象进行有目的地观察，以了解人体健康或疾病状况。 而随着社会进步，交通方便，医疗手段先进，这些条件虽然增强了病愈的几率， 但仍存在忙碌学习和工作的人群、行动不便的老人与日理万患的医生的对接矛 盾和用户经济能力不足的实际问题的矛盾。因此，通过中医手段对人体手掌进 行检测，切实增加治病的效率与几率，对于解决现有经济矛盾具有实际意义。 目前的手诊一般采用传统的中医面对面现场进行检测，不适用一些行动不便的 人群，其效率缓慢，精度不够，成本高。

另外，面诊和舌诊是中医检测中非常重要的方法之一。传统的中医面诊和 舌诊一般是医生根据自己的经验、知识对用户的面部特征，舌体特征进行观察 并作出检测。这种检测方式受医生的知识水平、经验、技巧甚至检测时的心理 状态等因素影响，主观性强，也在客观上受诊室的光线、温度的影响。不同的 医生对同一用户的诊查结果可能差异较大，而且重复性差。诊查的结果只能以 文字描述或者口头的方式保存，不利于对治疗效果的评估，也不利于知识的交 流、传承和教学研究。因此，对用户面部图像和舌体图像的采集、保存、分析， 定量的分析和描述常见的舌体生理、病理指标具有重要意义。

古人云，病从口入，药补不如食补，是药三分毒，因此，尊重并重视饮食才 是人们更应该关注的问题，但是由于每个用户用户的体质并不相同，不同的体 质人群往往需要禁忌一些食物，而用户对该食物对身体或治疗过程中所带来的 危害并不明确，更有一部分人，即便是医生告知了饮食注意事项，也存在过时 就忘的可能，或者虽然记得自己是什么类型的体制，但是对于什么食物能吃， 什么食物不能吃，感觉很迷茫，搞不清楚，即便是通医生口头或者书面告知， 其执行的可能也很小，究其原因就是传统的口头或者书面告知方式，往往使得 人们感觉枯燥乏味，难以激发人们关注的兴趣，其结果自然也就不理想，大大减缓了用户的恢复时间。为此，我们提出了一种基于体质和大数据的饮食智能 推荐和匹配系统及方法投入使用，以解决上述问题。

发明内容

本发明的目的在于提供一种基于体质和大数据的饮食智能推荐和匹配系统 及方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于体质和大数据的饮食智能推荐和匹配系统，包括图像采集模块、 体质图像预处理模块、体质特征提取模块、中央处理模块、特征检测模块、体 质迁移学习模块、网络训练模块、手动输入模块、摄像头、食物图像预处理模 块、食物特征提取模块、食物迁移学习模块、无线传输模块、显示终端、存储 模块、定时更新单元以及系统评估模块；

所述图像采集模块用于实时采集用户的人体特征图像，具体的，首先采集 人体面部图像，随后根据系统提示依次采集人体舌苔、左右手掌特征图像，并 将采集的图像信息压缩后上传至所述体质图像预处理模块中；

所述体质图像预处理模块利用图像直方图对所述图像采集模块内的图像对 比度进行调整，增强图像的对比度，构成人体体质的面部大数据集、舌苔大数 据集、手掌大数据集和皮肤大数据集；

所述体制特征提取模块从所述面部大数据集、舌苔大数据集、手掌大数据 集和皮肤大数据集内提取出面部、舌苔、手掌和皮肤的特征区域，通过提取出 的特征区域将其转换为具有代表性的计算机可识别的向量，从原始数据中获取 最相关的信息；

所述体质迁移学习模块对所述体质特征提取模块提取出的面部、舌苔、手 掌和皮肤的特征区域进行迁移学习，得到深度神经网络中面部、舌苔、手掌和 皮肤图像的初始化结构和权值，并同步更新至所述网络训练模块中；

所述摄像头利用手机、平板、电脑、手表或带摄像头的可穿戴设备拍照的 方式采集不同食物的图像信息，构建食物图像库；

所述食物图像预处理模块利用图像直方图对所述摄像头内构建的食物图像 库中的图像对比度进行调整，增强图像的对比度，构成食物大数据集；

所述食物特征提取模块从所述食物大数据集内提取出不同食物的特征区 域，通过提取出的特征区域将其转换为具有代表性的计算机可识别的向量，从 原始数据中获取最相关的信息；

所述食物迁移学习模块对所述食物特征提取模块中提取出的不同食物的特 征区域进行迁移学习，得到深度神经网络中不同食物的初始化结构和权值并同 步更新至所述网络训练模块中；

所述网络训练模块以面部大数据集、舌苔大数据集、手掌大数据集和皮肤 大数据集以及食物大数据集信息经过迁移学习得到的网络结构和权值做初值， 用扩充后的面部大数据集、舌苔大数据集、手掌大数据集、皮肤大数据集以及 食物大数据集对网络进行有监督训练，并对参数进行微调，获得适于判别人体 体质图像和食物图像的网络结构和权值并存储至所述中央处理模块中；

所述中央处理模块用于对其内部的人体面部、舌苔、手掌、皮肤以及食物 图像特征值进行大数据分类处理，得到人体九大体质分数据库和食物图像分数 据库,并形成人体中医九大体质与不同食物的匹配关系；

所述特征检测模块根据人体中医九大体质类型的评判标准以及实时更新的 食物图像信息，对所述图像采集模块以及所述摄像头实时上传的人体面部、舌 苔、手掌图像、皮肤以及食物图像进行特征检测，并与人体中医九大体质类型 的评判标准对比后得出检测结果，并上传至所述系统评估模块中，所述特征检 测模块接收来自所述中央处理模块中下发的经过图像标准化和深度学习训练后 的食物图像信息，并检测出经过手机、平板、电脑、手表或带摄像头的可穿戴 设备拍摄的食物图像信息具体为何种食物；

所述系统评估模块根据中央处理模块中人体中医九大体质与不同食物的匹 配关系自动匹配手机、平板、电脑手表或带摄像头的可穿戴设备拍摄的食物是 否适合该用户食用，并根据用户近一段时间内所食用的食物，给出预判，判断 该用户在该段时间内的体质变化，由所述无线传输模块实时传输至所述显示终 端进行显示；

所述存储模块用于预先录入人体中医九大体质的评判标准以及预先存储的 食物图像信息，并通过所述定时更新单元对所述存储模块中的数据进行定时更 新；

所述手动输入模块用于用户手动输入其属于的中医体质类型，或手动输入 所食用的食物名称和饮料名称。

优选的，所述体质图像预处理模块和所述食物图像预处理模块还包括图像 的直方图均衡、图像锐化以及图像背景去除的处理，并根据人体面部、舌苔、 手掌、皮肤以及食物图像的定位结果将图像中的人体器官以及食物边缘位置分 别转换到同一位置和大小。

优选的，所述中央处理模块还包括对采集的人体面部、舌苔、手掌以及皮 肤图像信息进行分类处理，具体的包括如下步骤：

S1：分类数据预处理：针对分类前的数据减少或清除噪声以及处理缺失值， 使用神经网络对数据进行归一化变化；

S2：数据的近邻分类：给定一个特定分类样本，从数据集中找出与之最近 的前K个邻居，然后根据这些邻居的类别来判定该样本的类别；

S3：特征选择：按照特征词的权重的大小排序，选择具有较大的权重词作 为该数据的特征词，降低文本表示向量的维度，从而降低计算机的计算复杂程 度；

S4：文档数据库建立：根据数据索引和动态查询的需求，并以单个文档数 据的形式建立存储数据库。

优选的，所述步骤S1中，在处理缺失值时，使用该数据属性出现最多的值 或最可能出现的值来替代缺失值，而在对数据进行归一化变化时，将所给的数 据属性值按比例缩放，使所有的数据落入到一个较小的直径区间内，通过小波 变换聚类对数据进行规约。

优选的，所述存储模块采用分布式存储系统，并提供数据查询端口，所述 定时更新单元内置时间继电器，与所述存储模块之间采用RS485连接。

优选的，所述特征检测模块还内置定时器和警报器，所述定时器用于对上 传的人体面部、舌苔、手掌以及皮肤图像信息定时检测，所述警报器用于在进 行多次检测后给出用户用户体质的发展趋势，并提供预警功能。

优选的，所述中央处理模块中的中医智能检测系统中，人体面部、舌苔、 手掌以及皮肤图像间的类内差异和类间差异服从正态分布，依据人体面部、舌 苔、手掌以及皮肤图像信息训练样本估计出类间差异和类内差异的条件概率密 度，对于一幅待识别的人体面部、舌苔、手掌以及皮肤图像，将该图像与正常 人体面部、舌苔、手掌以及皮肤图像数据库中的每一类人体面部、舌苔、手掌 以及皮肤图像作差，并分别求出该差为类间差异和类内差异的概率，若类间差 异概率大于类内差异概率，则认为二者为非正常人体面部、舌苔、手掌以及皮 肤图像，若类间差异概率小于类内差异概率，则认为二者为正常人体面部、舌苔、手掌以及皮肤图像。

优选的，所述存储模块中存储的中医九大体质包括平和质、气虚质、阳虚 质、阴虚质、痰湿质、湿热质、血瘀质、气郁质、特禀质，其中平和质对应的 人体面部、舌苔以及手掌纹图像信息为面色润泽、鼻色明润、唇色红润、舌色 淡红及胎薄白；气虚质对应的人体面部、舌苔以及手掌纹图像信息为舌淡红且 舌边有齿痕；阳虚质对应的人体面部、舌苔以及手掌纹图像信息为舌淡胖嫩； 阴虚质对应的人体面部、舌苔以及手掌纹图像信息为鼻微干、舌红少津；痰湿 质对用的人体面部、舌苔以及手掌纹图像信息为面部皮肤油脂较多、多汗且黏、 苔腻；湿热质对应的人体面部、舌苔以及手掌纹图像信息为面垢油光且易生痤疮、舌质偏红、苔黄腻；血瘀质对应的人体面部、舌苔以及手掌纹图像信息为 肤色晦暗、色素沉着、易出现瘀斑、口唇黯淡、舌黯或有瘀点、舌下脉紫黯或 增粗；气郁质对应的人体面部、舌苔以及手掌纹图像信息为舌淡红、苔薄白； 特禀质的形体特征为过敏体质者无特殊，其先天禀赋异常者或有畸形或有生理 缺陷。

优选的，具体的，首先采集人体面部图像，随后根据系统提示依次采集人 体面部、舌苔、左右手掌特征图像，并将采集的图像信息压缩后上传至体质图 像预处理模块中，体质图像预处理模块提取人体图像不同的频带信息，并进行 相应的低通、带通或高通滤波的处理，同时提取图像的边缘以及梯度信息，消 除图像采集模块在拍摄图像过程中的位置、方向的影响和抖动，体质特征提取 模块通过动态模板与活动轮廓模型提取人体面部、舌苔、手掌以及皮肤的轮廓 并作为分类特征，并将分类特征输入至体质迁移学习模块中，同步采集食物图 像信息，经过食物图像预处理模块提取图像边缘信息，并消除摄像头在拍摄食 物图像过程中的位置、方向的影响和抖动，利用食物特征提取模块提取食物图 像特征，随后送入食物迁移学习模块中，体质迁移学习模块和食物迁移学习模 块对体质特征提取模块和食物特征提取模块中提取出的面部、舌苔、手掌和皮 肤的特征区域以及食物图像特征进行迁移学习，得到深度神经网络中面部、舌 苔、手掌和皮肤以及食物图像的初始化结构和权值，并同步更新至网络训练模 块中，网络训练模块以面部大数据集、舌苔大数据集、手掌大数据集和皮肤大 数据集以及食物大数据集信息经过迁移学习得到的网络结构和权值做初值，用 扩充后的面部大数据集、舌苔大数据集、手掌大数据集、皮肤大数据集以及食物大数据集对网络进行有监督训练，并对参数进行微调，获得适于判别人体体 质图像和食物图像的网络结构和权值并存储至中央处理模块中，中央处理模块 对其内部的人体面部、舌苔、手掌以及皮肤特征值进行大数据分类处理，并存 储至医疗数据库中，供中医智能检测系统实时调用，通过特征检测模块根据知 识库中存储的人体中医九大体质类型的评判标准，对图像采集模块实时上传的 人体面部、舌苔、手掌以及皮肤图像进行特征检测，并与人体中医九大体质类 型的评判标准对比后得出检测结果，由无线传输模块实时传输至显示终端中， 由系统根据采集的食物与该患者的体质自动匹配后，给出具体的指导建议，提供用户手动输入其属于的中医体质类型，或手动输入所食用的食物名称和饮料 名称，并根据用户近一段时间内所食用的食物，给出预判，判断该用户在该段 时间内的体质变化。

与现有技术相比，本发明的有益效果是：本发明根据中医手诊、面诊、舌 诊和肤诊原理，将手掌、面部、舌苔及皮肤采集和系统互动相结合，通过智能 终端采集待测者个人信息，通过对手掌、面部特征、舌部及皮肤特征的影像原 色还原和定点温度实测，将采集到的手掌、面部、舌苔及皮肤数据通过与系统 采集的食物图像进行匹配后进行自动辨别，并给出包含有多种信息的详情报告， 实现快速检测，且检测结果精度高，对于解决老人行动不便、体力不支具有切 实效果，从而实现后续中医望诊的效果，亦可以切实解决部分忙碌学习和工作、 行动不便与经济实力不足人群的问题，更加人性化，可广泛应用于社会各个人群疾病的初步检测及体检，同时本发明结合医疗健康资讯类数据的特点，运行 改进型的特征提取算法，更合理的计算医疗健康数据的的特征词权重，从而使 特征选择更加准确，同时根据医疗健康数据的动态变化特点，引入增量学习的 方法到特征提取过程中，解决了训练文本集动态变化，提高训练分类的准确性；

本发明能够定时的对用户上传的人体图像信息进行多次检测，并根据检测 结果系统给出一个体质的发展趋势并预警，同时根据摄像头实时采集用户所食 用的食物和饮料，根据系统采集的食物图像进行匹配后进行自动辨别后，针对 该食物是否会影响不同体质人群以及食用的多少给出指导意见，并实时反馈至 用户的显示终端中，用户根据体检报告中的指导意见对该食物进行判别，极大 的促进了中医检测和治疗的效果，提高用户的恢复速度。同时，本发明通过用 户拍照或扫描饮料、食物、菜品、菜单、食谱的方式获得饮食与其自身体质的 匹配程度，既可以起到辅助点餐或者饮食的作用，同时也适合当下人们的生活 习惯，使得更多的人在关注自身身体体质的基础上，能够随时随地进行应用， 简单方便，且富有一定的娱乐功能，激发人们关注的兴趣，坚持使用，能够极 大的改善用户的身体，起到健康饮食的作用。

附图说明

图1为本发明系统原理拓扑图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，一种基于体质和大数据的饮食智能推荐和匹配系统，其特征在 于：包括图像采集模块、体质图像预处理模块、体质特征提取模块、中央处理 模块、特征检测模块、体质迁移学习模块、网络训练模块、手动输入模块、摄 像头、食物图像预处理模块、食物特征提取模块、食物迁移学习模块、无线传 输模块、显示终端、存储模块、定时更新单元以及系统评估模块；

所述图像采集模块用于实时采集用户的人体特征图像，具体的，首先采集 人体面部图像，随后根据系统提示依次采集人体舌苔、左右手掌特征图像，并 将采集的图像信息压缩后上传至所述体质图像预处理模块中；

所述体质图像预处理模块利用图像直方图对所述图像采集模块内的图像对 比度进行调整，增强图像的对比度，构成人体体质的面部大数据集、舌苔大数 据集、手掌大数据集和皮肤大数据集；

所述体制特征提取模块从所述面部大数据集、舌苔大数据集、手掌大数据 集和皮肤大数据集内提取出面部、舌苔、手掌和皮肤的特征区域，通过提取出 的特征区域将其转换为具有代表性的计算机可识别的向量，从原始数据中获取 最相关的信息；

所述体质迁移学习模块对所述体质特征提取模块提取出的面部、舌苔、手 掌和皮肤的特征区域进行迁移学习，得到深度神经网络中面部、舌苔、手掌和 皮肤图像的初始化结构和权值，并同步更新至所述网络训练模块中；

所述摄像头利用手机、平板、电脑、手表或带摄像头的可穿戴设备拍照的 方式采集不同食物的图像信息，构建食物图像库；

所述食物图像预处理模块利用图像直方图对所述摄像头内构建的食物图像 库中的图像对比度进行调整，增强图像的对比度，构成食物大数据集；

所述食物特征提取模块从所述食物大数据集内提取出不同食物的特征区 域，通过提取出的特征区域将其转换为具有代表性的计算机可识别的向量，从 原始数据中获取最相关的信息；

所述食物迁移学习模块对所述食物特征提取模块中提取出的不同食物的特 征区域进行迁移学习，得到深度神经网络中不同食物的初始化结构和权值并同 步更新至所述网络训练模块中；

所述网络训练模块以面部大数据集、舌苔大数据集、手掌大数据集和皮肤 大数据集以及食物大数据集信息经过迁移学习得到的网络结构和权值做初值， 用扩充后的面部大数据集、舌苔大数据集、手掌大数据集、皮肤大数据集以及 食物大数据集对网络进行有监督训练，并对参数进行微调，获得适于判别人体 体质图像和食物图像的网络结构和权值并存储至所述中央处理模块中；

所述中央处理模块用于对其内部的人体面部、舌苔、手掌、皮肤以及食物 图像特征值进行大数据分类处理，得到人体九大体质分数据库和食物图像分数 据库,并形成人体中医九大体质与不同食物的匹配关系；

所述特征检测模块根据人体中医九大体质类型的评判标准以及实时更新的 食物图像信息，对所述图像采集模块以及所述摄像头实时上传的人体面部、舌 苔、手掌图像、皮肤以及食物图像进行特征检测，并与人体中医九大体质类型 的评判标准对比后得出检测结果，并上传至所述系统评估模块中，所述特征检 测模块接收来自所述中央处理模块中下发的经过图像标准化和深度学习训练后 的食物图像信息，并检测出经过手机、平板、电脑、手表或带摄像头的可穿戴 设备拍摄的食物图像信息具体为何种食物；

所述系统评估模块根据中央处理模块中人体中医九大体质与不同食物的匹 配关系自动匹配手机、平板、电脑手表或带摄像头的可穿戴设备拍摄的食物是 否适合该用户食用，并根据用户近一段时间内所食用的食物，给出预判，判断 该用户在该段时间内的体质变化，由所述无线传输模块实时传输至所述显示终 端进行显示；

所述存储模块用于预先录入人体中医九大体质的评判标准以及预先存储的 食物图像信息，并通过所述定时更新单元对所述存储模块中的数据进行定时更 新；

所述手动输入模块用于用户手动输入其属于的中医体质类型，或手动输入 所食用的食物名称和饮料名称。

其中，所述体质图像预处理模块和所述食物图像预处理模块还包括图像的 直方图均衡、图像锐化以及图像背景去除的处理，并根据人体面部、舌苔、手 掌、皮肤以及食物图像的定位结果将图像中的人体器官以及食物边缘位置分别 转换到同一位置和大小，所述中央处理模块还包括对采集的人体面部、舌苔、 手掌以及皮肤图像信息进行分类处理，具体的包括如下步骤：

S1：分类数据预处理：针对分类前的数据减少或清除噪声以及处理缺失值， 使用神经网络对数据进行归一化变化，在处理缺失值时，使用该数据属性出现 最多的值或最可能出现的值来替代缺失值，而在对数据进行归一化变化时，将 所给的数据属性值按比例缩放，使所有的数据落入到一个较小的直径区间内， 通过小波变换聚类对数据进行规约；

S2：数据的近邻分类：给定一个特定分类样本，从数据集中找出与之最近 的前K个邻居，然后根据这些邻居的类别来判定该样本的类别；

S3：特征选择：按照特征词的权重的大小排序，选择具有较大的权重词作 为该数据的特征词，降低文本表示向量的维度，从而降低计算机的计算复杂程 度；

S4：文档数据库建立：根据数据索引和动态查询的需求，并以单个文档数 据的形式建立存储数据库，所述存储模块采用分布式存储系统，并提供数据查 询端口，所述定时更新单元内置时间继电器，与所述存储模块之间采用RS485 连接，所述特征检测模块还内置定时器和警报器，所述定时器用于对上传的人 体面部、舌苔、手掌以及皮肤图像信息定时检测，所述警报器用于在进行多次 检测后给出用户用户体质的发展趋势，并提供预警功能，所述中央处理模块中 的中医智能检测系统中，人体面部、舌苔、手掌以及皮肤图像间的类内差异和 类间差异服从正态分布，依据人体面部、舌苔、手掌以及皮肤图像信息训练样本估计出类间差异和类内差异的条件概率密度，对于一幅待识别的人体面部、 舌苔、手掌以及皮肤图像，将该图像与正常人体面部、舌苔、手掌以及皮肤图 像数据库中的每一类人体面部、舌苔、手掌以及皮肤图像作差，并分别求出该 差为类间差异和类内差异的概率，若类间差异概率大于类内差异概率，则认为 二者为非正常人体面部、舌苔、手掌以及皮肤图像，若类间差异概率小于类内 差异概率，则认为二者为正常人体面部、舌苔、手掌以及皮肤图像，所述存储 模块中存储的中医九大体质包括平和质、气虚质、阳虚质、阴虚质、痰湿质、湿热质、血瘀质、气郁质、特禀质，其中平和质对应的人体面部、舌苔以及手 掌纹图像信息为面色润泽、鼻色明润、唇色红润、舌色淡红及胎薄白；气虚质 对应的人体面部、舌苔以及手掌纹图像信息为舌淡红且舌边有齿痕；阳虚质对 应的人体面部、舌苔以及手掌纹图像信息为舌淡胖嫩；阴虚质对应的人体面部、 舌苔以及手掌纹图像信息为鼻微干、舌红少津；痰湿质对用的人体面部、舌苔 以及手掌纹图像信息为面部皮肤油脂较多、多汗且黏、苔腻；湿热质对应的人 体面部、舌苔以及手掌纹图像信息为面垢油光且易生痤疮、舌质偏红、苔黄腻； 血瘀质对应的人体面部、舌苔以及手掌纹图像信息为肤色晦暗、色素沉着、易 出现瘀斑、口唇黯淡、舌黯或有瘀点、舌下脉紫黯或增粗；气郁质对应的人体 面部、舌苔以及手掌纹图像信息为舌淡红、苔薄白；特禀质的形体特征为过敏 体质者无特殊，其先天禀赋异常者或有畸形或有生理缺陷。

具体的，首先采集人体面部图像，随后根据系统提示依次采集人体面部、 舌苔、左右手掌特征图像，并将采集的图像信息压缩后上传至体质图像预处理 模块中，体质图像预处理模块提取人体图像不同的频带信息，并进行相应的低 通、带通或高通滤波的处理，同时提取图像的边缘以及梯度信息，消除图像采 集模块在拍摄图像过程中的位置、方向的影响和抖动，体质特征提取模块通过 动态模板与活动轮廓模型提取人体面部、舌苔、手掌以及皮肤的轮廓并作为分 类特征，并将分类特征输入至体质迁移学习模块中，同步采集食物图像信息， 经过食物图像预处理模块提取图像边缘信息，并消除摄像头在拍摄食物图像过程中的位置、方向的影响和抖动，利用食物特征提取模块提取食物图像特征， 随后送入食物迁移学习模块中，体质迁移学习模块和食物迁移学习模块对体质 特征提取模块和食物特征提取模块中提取出的面部、舌苔、手掌和皮肤的特征 区域以及食物图像特征进行迁移学习，得到深度神经网络中面部、舌苔、手掌 和皮肤以及食物图像的初始化结构和权值，并同步更新至网络训练模块中，网 络训练模块以面部大数据集、舌苔大数据集、手掌大数据集和皮肤大数据集以 及食物大数据集信息经过迁移学习得到的网络结构和权值做初值，用扩充后的 面部大数据集、舌苔大数据集、手掌大数据集、皮肤大数据集以及食物大数据集对网络进行有监督训练，并对参数进行微调，获得适于判别人体体质图像和 食物图像的网络结构和权值并存储至中央处理模块中，中央处理模块对其内部 的人体面部、舌苔、手掌以及皮肤特征值进行大数据分类处理，并存储至医疗 数据库中，供中医智能检测系统实时调用，通过特征检测模块根据知识库中存 储的人体中医九大体质类型的评判标准，对图像采集模块实时上传的人体面部、 舌苔、手掌以及皮肤图像进行特征检测，并与人体中医九大体质类型的评判标 准对比后得出检测结果，由无线传输模块实时传输至显示终端中，由系统根据 采集的食物与该患者的体质自动匹配后，给出具体的指导建议，提供用户手动输入其属于的中医体质类型，或手动输入所食用的食物名称和饮料名称，并根 据用户近一段时间内所食用的食物，给出预判，判断该用户在该段时间内的体 质变化。

本发明根据中医手诊、面诊、舌诊和肤诊原理，将手掌、面部、舌苔及皮 肤采集和系统互动相结合，通过智能终端采集待测者个人信息，通过对手掌、 面部特征、舌部及皮肤特征的影像原色还原和定点温度实测，将采集到的手掌、 面部、舌苔及皮肤数据通过与系统采集的食物图像进行匹配后进行自动辨别， 并给出包含有多种信息的详情报告，实现快速检测，且检测结果精度高，对于 解决老人行动不便、体力不支具有切实效果，从而实现后续中医望诊的效果， 亦可以切实解决部分忙碌学习和工作、行动不便与经济实力不足人群的问题， 更加人性化，可广泛应用于社会各个人群疾病的初步检测及体检，同时本发明 结合医疗健康资讯类数据的特点，运行改进型的特征提取算法，更合理的计算 医疗健康数据的的特征词权重，从而使特征选择更加准确，同时根据医疗健康 数据的动态变化特点，引入增量学习的方法到特征提取过程中，解决了训练文 本集动态变化，提高训练分类的准确性。

本发明能够定时的对用户上传的人体图像信息进行多次检测，并根据检测 结果系统给出一个体质的发展趋势并预警，同时根据图像采集模块实时采集用 户所食用的食物和饮料，根据系统采集的食物图像进行匹配后进行自动辨别， 针对该食物是否会影响不同体质人群以及食用的多少给出指导意见，并实时反 馈至用户的显示终端中，用户根据系统采集的食物图像进行匹配后进行自动辨 别后的指导意见对该食物进行判别，极大的促进了中医检测和治疗的效果，提 高用户的恢复速度。

在生成的报告中，以阳虚质体质为例，具体包括如下内容：

面部分析检测结果：

颜值评分：54.56％；

检测性别：女；

生理年龄：25岁；

心情：平静；

微笑指数：17.542％；

人种：黄种人；

脸部：戴眼镜睁眼；

青春痘：4.20％；

黑眼圈：8.13％；

色斑：4.47％；

整体分析结果：

阳虚质：78.08％；

平和质：0.02％；

气郁质：0.00％；

湿热质：0.04％；

痰湿质：20.84％；

特禀质：0.00％；

血瘀质：0.00％；

阴虚质：1.02％；

气虚质：0.00％；

中医体质评估报告

体质类型：阳虚质

体质概述：由于阳气不足，失于温煦，以形寒肢冷等虚寒现象为主要特征 的体质状态。

形体特征：肌肉松软不实。

常见表现：平素畏冷，手足不温，喜热饮食，精神不振，舌淡胖嫩，脉沉 迟。

心理特征：性情多沉静、内向。

发病倾向：易患痰饮、肿胀、泄泻等疾病；感邪易从寒化。

对环境适应能力：耐夏不耐冬；易感风、寒、湿邪。

冬季养生要则

冬季养生要遵循人体肾脏“闭藏”功能的特点，做到闭藏有度，勿乱施泄 的基本原则。在寒冬的早晨，应该避免过早出门锻炼，待太阳出来，地表温度 升高时方可外出，且宜选择动作幅度较小的运动或室内运动，如散布、打球、 阅读、室内养花、观鱼等；不生气、不发怒，保持心情愉快、情绪条畅；在饮 食上要以清淡为主，适量吃些苦味食品，少食咸味，这样才符合肾脏的养生要 则。

一、个体化调养方案-饮食调养

在五行中，冬季属水，正是肾气当旺的季节。而火属心，心气在冬季是偏 衰的，水又能克火，由于肾和心在五味中分别属咸和苦，因此，在冬季要适当 增加苦味食物，同时减少咸味食物的摄入，以护养心气。

1、养生食材

核桃仁能够温阳散寒，补养体内不足的阳气，从而缓解精神疲劳、容易犯 困、怕冷、面色白、手脚冰凉等由于体内阳气不足引起的不适，适合阳虚体质 的人食用；

注意事项：不宜与酒同食；肺脏有热、阴虚、腹泻之人不宜食用。

羊肉，能够温补体内阳气，从而缓解因为阳气虚衰引起的精神疲劳、乏力、 懒言、容易犯困、怕冷、面色白、手脚冰凉、腹泻等症状，适宜阳虚体质的人 食用；

具体做法：建议阳虚体质的人在食用时以煲汤或煮粥为主，不宜食用凉的 羊肉，以免凉食加重体内阳气的损伤。

注意事项：体内有热者不宜食用；有外感者不宜食用。

2、养生茶

艾姜茶

具体做法：取艾叶5克、干姜3克、红茶3克，用艾叶、干姜的煎煮液250ml 泡红茶饮用，冲饮至淡味即可。

功效：温中祛寒。

3、养生粥

羊肉粥

具体做法：取鲜羊肉100克、粳米100克，盐、姜、葱适量，将原料洗净 后，一起放入锅内，加水适量，先用武火煮沸，再用文火煮成粥即可。

功效：温阳补虚。

4、养生汤

桂圆蛋汤

具体做法：取鲜桂圆肉50克(干桂圆肉25克)、鸡蛋两个、干红枣15枚， 一起放入锅中，加水适量煮至红枣烂熟，将鸡蛋打散放入汤内稍煮，加红糖调 味即可。

功效：温阳补气养血。

5、饮食禁忌

阳虚体质的人宜少食性味寒凉等易损伤人体阳气的食物，如菱角、茄子、 冬瓜、苦瓜、梨子、西瓜、蛏肉、海螺等；宜少食生食冷食，以避免增加体内 的寒气。

请参阅图1，客户表现层：主要负责处理患者客户的互动，接收客户的操作 并反馈操作结果，处理客户的查询访问并返回查询结果，并提供软件和用户操 作、互动的界面；

数据访问层：用于负责对数据库中的数据进行读取或保存，数据对象一般 是数据库，也可扩展到一些数据文件，如图像文件、文本文件、XML文件和二进 制文件；

业务逻辑层：为客户表现层和数据访问层之间的桥梁，负责接收用户从客 户表现层输入的信息，并将这些数据信息传递给数据访问层，在该层中，数据 的传递是双向的，一方面患者用户操作输入的信息可传递到数据访问层加以保 存，另一方面响应用户的查询请求通过数据访问层从数据库中读取并显示。

同时，在选择食物时，用手机拍摄图片：长山药炒木耳，则系统提示您拍 照的美食可能是：长山药炒木耳，其主要食材为：长山药，木耳，点击长山药， 系统则显示长山药的功效，在功效介绍的下方，显示：根据您的阳虚型体质， 推荐指数为86.6％。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言， 可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变 化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种基于体质和大数据的饮食智能推荐和匹配系统，其特征在于：包括图像采集模块、体质图像预处理模块、体质特征提取模块、中央处理模块、特征检测模块、体质迁移学习模块、网络训练模块、手动输入模块、摄像头、食物图像预处理模块、食物特征提取模块、食物迁移学习模块、无线传输模块、显示终端、存储模块、定时更新单元以及系统评估模块；

所述图像采集模块用于实时采集用户的人体特征图像，具体的，首先采集人体面部图像，随后根据系统提示依次采集人体舌苔、左右手掌特征图像，并将采集的图像信息压缩后上传至所述体质图像预处理模块中；

所述体质图像预处理模块利用图像直方图对所述图像采集模块内的图像对比度进行调整，增强图像的对比度，构成人体体质的面部大数据集、舌苔大数据集、手掌大数据集和皮肤大数据集；

所述体制特征提取模块从所述面部大数据集、舌苔大数据集、手掌大数据集和皮肤大数据集内提取出面部、舌苔、手掌和皮肤的特征区域，通过提取出的特征区域将其转换为具有代表性的计算机可识别的向量，从原始数据中获取最相关的信息；

所述体质迁移学习模块对所述体质特征提取模块提取出的面部、舌苔、手掌和皮肤的特征区域进行迁移学习，得到深度神经网络中面部、舌苔、手掌和皮肤图像的初始化结构和权值，并同步更新至所述网络训练模块中；

所述摄像头利用手机、平板、电脑、手表或带摄像头的可穿戴设备拍照的方式采集不同食物的图像信息，构建食物图像库；

所述食物图像预处理模块利用图像直方图对所述摄像头内构建的食物图像库中的图像对比度进行调整，增强图像的对比度，构成食物大数据集；

所述食物特征提取模块从所述食物大数据集内提取出不同食物的特征区域，通过提取出的特征区域将其转换为具有代表性的计算机可识别的向量，从原始数据中获取最相关的信息；

所述食物迁移学习模块对所述食物特征提取模块中提取出的不同食物的特征区域进行迁移学习，得到深度神经网络中不同食物的初始化结构和权值并同步更新至所述网络训练模块中；

所述网络训练模块以面部大数据集、舌苔大数据集、手掌大数据集和皮肤大数据集以及食物大数据集信息经过迁移学习得到的网络结构和权值做初值，用扩充后的面部大数据集、舌苔大数据集、手掌大数据集、皮肤大数据集以及食物大数据集对网络进行有监督训练，并对参数进行微调，获得适于判别人体体质图像和食物图像的网络结构和权值并存储至所述中央处理模块中；

所述中央处理模块用于对其内部的人体面部、舌苔、手掌、皮肤以及食物图像特征值进行大数据分类处理，得到人体九大体质分数据库和食物图像分数据库,并形成人体中医九大体质与不同食物的匹配关系；

所述特征检测模块根据人体中医九大体质类型的评判标准以及实时更新的食物图像信息，对所述图像采集模块以及所述摄像头实时上传的人体面部、舌苔、手掌图像、皮肤以及食物图像进行特征检测，并与人体中医九大体质类型的评判标准对比后得出检测结果，并上传至所述系统评估模块中，所述特征检测模块接收来自所述中央处理模块中下发的经过图像标准化和深度学习训练后的食物图像信息，并检测出经过手机、平板、电脑、手表或带摄像头的可穿戴设备拍摄的食物图像信息具体为何种食物；

所述系统评估模块根据中央处理模块中人体中医九大体质与不同食物的匹配关系自动匹配手机、平板、电脑手表或带摄像头的可穿戴设备拍摄的食物是否适合该用户食用，并根据用户近一段时间内所食用的食物，给出预判，判断该用户在该段时间内的体质变化，由所述无线传输模块实时传输至所述显示终端进行显示；

所述存储模块用于预先录入人体中医九大体质的评判标准以及预先存储的食物图像信息，并通过所述定时更新单元对所述存储模块中的数据进行定时更新；

所述手动输入模块用于用户手动输入其属于的中医体质类型，或手动输入所食用的食物名称和饮料名称。

2.根据权利要求1所述的一种基于体质和大数据的饮食智能推荐和匹配系统，其特征在于：所述体质图像预处理模块和所述食物图像预处理模块还包括图像的直方图均衡、图像锐化以及图像背景去除的处理，并根据人体面部、舌苔、手掌、皮肤以及食物图像的定位结果将图像中的人体器官以及食物边缘位置分别转换到同一位置和大小。

3.根据权利要求1所述的一种基于体质和大数据的饮食智能推荐和匹配系统，其特征在于：所述中央处理模块还包括对采集的人体面部、舌苔、手掌以及皮肤图像信息进行分类处理，具体的包括如下步骤：

S1：分类数据预处理：针对分类前的数据减少或清除噪声以及处理缺失值，使用神经网络对数据进行归一化变化；

S2：数据的近邻分类：给定一个特定分类样本，从数据集中找出与之最近的前K个邻居，然后根据这些邻居的类别来判定该样本的类别；

S3：特征选择：按照特征词的权重的大小排序，选择具有较大的权重词作为该数据的特征词，降低文本表示向量的维度，从而降低计算机的计算复杂程度；

S4：文档数据库建立：根据数据索引和动态查询的需求，并以单个文档数据的形式建立存储数据库。

4.根据权利要求3所述的一种基于体质和大数据的饮食智能推荐和匹配系统，其特征在于：所述步骤S1中，在处理缺失值时，使用该数据属性出现最多的值或最可能出现的值来替代缺失值，而在对数据进行归一化变化时，将所给的数据属性值按比例缩放，使所有的数据落入到一个较小的直径区间内，通过小波变换聚类对数据进行规约。

5.根据权利要求1所述的一种基于体质和大数据的饮食智能推荐和匹配系统，其特征在于：所述存储模块采用分布式存储系统，并提供数据查询端口，所述定时更新单元内置时间继电器，与所述存储模块之间采用RS485连接。

6.根据权利要求1所述的一种基于体质和大数据的饮食智能推荐和匹配系统，其特征在于：所述特征检测模块还内置定时器和警报器，所述定时器用于对上传的人体面部、舌苔、手掌以及皮肤图像信息定时检测，所述警报器用于在进行多次检测后给出用户体质的发展趋势，并提供预警功能。

7.根据权利要求1所述的一种基于体质和大数据的饮食智能推荐和匹配系统，其特征在于：所述中央处理模块中的中医智能检测系统中，人体面部、舌苔、手掌以及皮肤图像间的类内差异和类间差异服从正态分布，依据人体面部、舌苔、手掌以及皮肤图像信息训练样本估计出类间差异和类内差异的条件概率密度，对于一幅待识别的人体面部、舌苔、手掌以及皮肤图像，将该图像与正常人体面部、舌苔、手掌以及皮肤图像数据库中的每一类人体面部、舌苔手掌以及皮肤图像作差，并分别求出该差为类间差异和类内差异的概率，若类间差异概率大于类内差异概率，则认为二者为非正常人体面部、舌苔、手掌以及皮肤图像，若类间差异概率小于类内差异概率，则认为二者为正常人体面部、舌苔、手掌以及皮肤图像。

8.根据权利要求1所述的一种基于体质和大数据的饮食智能推荐和匹配系统，其特征在于：所述存储模块中存储的中医九大体质包括平和质、气虚质、阳虚质、阴虚质、痰湿质、湿热质、血瘀质、气郁质、特禀质，其中平和质对应的人体面部、舌苔以及手掌图像信息为面色润泽、鼻色明润、唇色红润、舌色淡红及苔薄白、手掌润泽；气虚质对应的人体面部、舌苔以及手掌图像信息为舌淡红且舌边有齿痕、手颤；阳虚质对应的人体面部、舌苔以及手掌图像信息为舌淡胖嫩、手掌潮湿有汗渍；阴虚质对应的人体面部、舌苔以及手掌图像信息为鼻微干、舌红少津、手掌干瘦且手心红热；痰湿质对用的人体面部、舌苔以及手掌图像信息为面部皮肤油脂较多、多汗且黏、苔腻、手掌肥大；湿热质对应的人体面部、舌苔以及手掌图像信息为面垢油光且易生痤疮、舌质偏红、苔黄腻、手掌偏红；血瘀质对应的人体面部、舌苔以及手掌图像信息为肤色晦暗、色素沉着、易出现瘀斑、口唇黯淡、舌黯或有瘀点、舌下脉紫黯或增粗、手掌晦暗；气郁质对应的人体面部、舌苔以及手掌图像信息为面色晦暗、舌淡红、苔薄白、手掌黯淡；特禀质的形体特征为过敏体质者无特殊，其先天禀赋异常者或有畸形或有生理缺陷。

9.一种基于体质和大数据的饮食智能推荐和匹配方法，其特征在于：具体的，首先采集人体面部图像，随后根据系统提示依次采集人体面部、舌苔、左右手掌特征图像，并将采集的图像信息压缩后上传至体质图像预处理模块中，体质图像预处理模块提取人体图像不同的频带信息，并进行相应的低通、带通或高通滤波的处理，同时提取图像的边缘以及梯度信息，消除图像采集模块在拍摄图像过程中的位置、方向的影响和抖动，体质特征提取模块通过动态模板与活动轮廓模型提取人体面部、舌苔、手掌以及皮肤的轮廓并作为分类特征，并将分类特征输入至体质迁移学习模块中，同步采集食物图像信息，经过食物图像预处理模块提取图像边缘信息，并消除摄像头在拍摄食物图像过程中的位置、方向的影响和抖动，利用食物特征提取模块提取食物图像特征，随后送入食物迁移学习模块中，体质迁移学习模块和食物迁移学习模块对体质特征提取模块和食物特征提取模块中提取出的面部、舌苔、手掌和皮肤的特征区域以及食物图像特征进行迁移学习，得到深度神经网络中面部、舌苔、手掌和皮肤以及食物图像的初始化结构和权值，并同步更新至网络训练模块中，网络训练模块以面部大数据集、舌苔大数据集、手掌大数据集和皮肤大数据集以及食物大数据集信息经过迁移学习得到的网络结构和权值做初值，用扩充后的面部大数据集、舌苔大数据集、手掌大数据集、皮肤大数据集以及食物大数据集对网络进行有监督训练，并对参数进行微调，获得适于判别人体体质图像和食物图像的网络结构和权值并存储至中央处理模块中，中央处理模块对其内部的人体面部、舌苔、手掌以及皮肤特征值进行大数据分类处理，并存储至医疗数据库中，供中医智能检测系统实时调用，通过特征检测模块根据知识库中存储的人体中医九大体质类型的评判标准，对图像采集模块实时上传的人体面部、舌苔、手掌以及皮肤图像进行特征检测，并与人体中医九大体质类型的评判标准对比后得出检测结果，由无线传输模块实时传输至显示终端中，由系统根据采集的食物与该患者的体质自动匹配后，给出具体的指导建议，提供用户手动输入其属于的中医体质类型，或手动输入所食用的食物名称和饮料名称，并根据用户近一段时间内所食用的食物，给出预判，判断该用户在该段时间内的体质变化。