CN110310737A - 一种中医体质养生的智能移动终端 - Google Patents

一种中医体质养生的智能移动终端 Download PDF

Info

Publication number
CN110310737A
CN110310737A CN201910670410.XA CN201910670410A CN110310737A CN 110310737 A CN110310737 A CN 110310737A CN 201910670410 A CN201910670410 A CN 201910670410A CN 110310737 A CN110310737 A CN 110310737A
Authority
CN
China
Prior art keywords
user
somatotypes
mobile terminal
machine learning
intelligent mobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910670410.XA
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGZHOU HUAJIU INFORMATION TECHNOLOGY Co Ltd
Original Assignee
GUANGZHOU HUAJIU INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGZHOU HUAJIU INFORMATION TECHNOLOGY Co Ltd filed Critical GUANGZHOU HUAJIU INFORMATION TECHNOLOGY Co Ltd
Publication of CN110310737A publication Critical patent/CN110310737A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/90—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to alternative medicines, e.g. homeopathy or oriental medicines
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Alternative & Traditional Medicine (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供一种中医体质养生的智能移动终端，其特征在于智能移动终端有望诊、闻诊和问诊合参功能，实现了中医体质辨识方法，并根据体质辨识结果推荐个性化的健康食品、药膳和理疗方案。智能移动终端还有中医商城，购买体质辨识结果推荐的商品并支付费用后由物流快递上门。本发明的有益之处在于：体质辨识准确性高。使用方便，支持用户自诊自查，实现治未病，实现偏颇体质的个性化调理。

Description

一种中医体质养生的智能移动终端
技术领域
本发明属于中医医疗器械和人工智能技术领域，特别涉及一种中医体质养生的智能移动终端。
背景技术
目前处于亚健康的人群占比达70%以上，这部分人需要治未病，从日常的饮食、生活习惯、运动等方面服从科学指导。但目前大多少人都是按自己的喜好来生活，而自己喜好的往往又是不健康的。健康生活与个体的体质密切相关。根据《中医体质分类与判定》标准，体质类型分九类：平和质、气虚质、阳虚质、阴虚质、痰湿质、湿热质、血瘀质、气郁质、特禀质。
中医体质学认为体质决定了我们的健康，偏颇体质（平和质之外的其它体质类型）决定了我们对某些疾病的易感性，决定了患病之后的反应形式及治疗效果和预后转归，但是体质辨识需要丰富的专家经验，大多数普通人没有能力辨识自己的体质，因此需要研究一款智能移动终端，能够很科学地指导人们健康的日常生活。现有中医体质养生的智能移动终端如智能手机只提供了问诊功能，没有望诊、闻诊及合参功能，体质辨识准确性不高。
发明内容
本发明旨在提供一种中医体质养生的智能移动终端，解决现有技术的体质辨识不准确的问题。
一种中医体质养生的智能移动终端，其特征在于智能移动终端包括摄像头、拾音器、触摸屏、数据存储器、无线通讯卡和智能信息处理器
[1]摄像头用来采集用户的面部图像、舌苔图像
[2]拾音器用来录音用户的声音
[3]触摸屏用来显示问诊问题及用户的回答
[4]数据存储器存储用户的体征信息和体质辨识结果
[5]无线通讯卡用来传递数据到服务器
[6]智能信息处理器主要完成以上各类信息的处理，并完成用户体检。
一种中医体质养生的智能移动终端，其特征在于它体检的方法包括如下步骤：
[1]识别用户身份
[2]奖励用户参加中医体检的积分
[3]判断用户是否是初次体检
[4]若不是初次体检，则获得已记录过的用户基本信息
[5]对于初次体检用户，则提醒用户录入一些基本信息
[6]辨识用户的体质类型
[7]根据用户的体质类型，推荐对应的调理方案
[8]根据用户的体质类型，推荐用户进入中医商城购买体质类型对应的商品
[9]获得用户体质辨识时的时间、地点和天气情况
[10]保存用户的基本信息和体检档案
本发明一种中医体质养生的智能移动终端的好处在于：
1)体质辨识的准确性高
2)体质辨识方便，实现用户自诊自查、治未病
3)偏颇体质的调理方便，可在线购买调理偏颇体质的商品
附图1卷积神经网络GoogleNet的结构示意图
附图2 声谱图切片示例
附图3 闻诊机器学习算法的网络结构
附图4 一种中医体质养生的智能移动终端的流程图
附图5 一种中医体质养生的智能移动终端设备的结构图
实施案例（1）
下面对本发明实施例中的技术方案进行清楚、完整地描述，目的是为了使公众更好地理解所述技术内容，而并非对技术方案的限制。
本发明一种中医体质养生的智能移动终端的实施案例的硬件直接选用华为公司的智能手机：华为P20，它本身带有摄像头、拾音器、触摸屏、无线通讯卡、智能信息处理器和数据存储器。
P20本身有WIFI和4G，利用它们与云端的服务器通讯，传递数据。
一种中医体质养生的智能移动终端，其特征在于它的体检方法包括以下步骤：
【S01】识别用户身份
【S02】奖励用户参加中医体检的积分
【S03】判断用户是否是初次体检
【S04】若不是初次体检，则获得已记录过的用户基本信息
【S05】对于初次体检用户，则提醒用户录入一些基本信息
【S06】辨识用户的体质类型
【S07】根据用户的体质类型，推荐对应的调理方案
【S08】根据用户的体质类型，推荐用户进入中医商城购买商品
【S09】获得用户体质辨识时的时间、地点和天气情况
【S10】保存用户的基本信息和体检档案
步骤【S01】通过人脸识别来识别用户身份
目前百度、科大讯飞、Face++等都提供人脸识别的API，本实施方案采用Face++提供人脸识别API实现用户的身份识别。
步骤【S02】奖励用户参加中医体检的积分
为鼓励用户积极参加中医体检，对每次测试系统都奖励给定的分数（10分）给用户，累计记录到用户账号。
步骤【S03】判断用户是否是初次体检
通过步骤【S01】识别的用户身份，检查系统中是否已有用户的基本信息，若已有用户的基本信息，则表明用户不是初次体检，否则就是第一次中医体检。
步骤【S04】若不是初次体检，则获得已记录过的用户信息
因为在云服务器上已保存有用户的基本信息，直接从云服务器上获取，避免重复询问用户初次体检时的一些信息。
步骤【S05】对于初次体检用户，则提醒用户录入一些基本信息
录用用户的基本信息，以建立用户健康档案，基本信息包括账号、密码、姓名、面部图像、积分、性别、出生日期、籍贯、主诉、现病史、既往史、个人生活史、家族史信息。
步骤【S06】辨识用户的体质类型
因为华为P20有摄像头，因此采用望诊机器学习算法识别用户的体质类型。面诊和舌诊均属于望诊，用摄像头采集用户的望诊图像，包括面部图像和舌苔图像。
面诊机器学习算法采用经典的卷积神经网络模型GoogleNet实现，准备的面部图像样本数据库有3万张面部图像，用于训练GoogleNet。每张图像都归一化为256*256。由于部分类别的图像个数较少，导致整个数据集在数量上不均衡，为了防止在训练过程中出现过拟合情况，对训练集采用复制方法，让各个类别在数量上达到一致；并且，基于神经网络特性考虑，对输入数据进行均值化操作，公式如下：
其中，平均值计算公式为：
所述 R、G、B值分别为像素点中的 RGB 值，Rmij，Gmij，Bmij为第 m 个图像样本的第（i,j）个像素的 RGB 值。
本实施案例中的卷积神经网络GoogleNet的网络层数有22层。分类算法采用softmax分类器算法，该方法适用于多分类问题，同时能够直接与卷积神经网络相连接，并且该分类器算法处处可导，因此可以实现端到端的训练方式。具体如下：
如图1所示为卷积神经网络GoogleNet的结构示意图，舌苔图像作为输入，通过多个卷积层和下采样层输出特征图，其中，卷积层的公式如下：
其中f(*)代表激活函数，x 代表输入数据，W和 b 代表参数，本实施案例采用 ReLU 激活函数：
其求导形式为：
下采样层的公式如下，本实施案例采用Max-pooling方法：
其中 X 代表n*n 矩阵。
然而全连接层的输入是一个向量，因此通过光栅化得到向量连接到全连接层，最后通过softmax分类器得到该分类器的分类结果。softmax分类器接收4096维的输入数据，输出9维的结果，该结果代表该输入样本对应9个体质类型的置信度，而后取最大值所在的类型为分类结果，softmax的公式如下：
其中j = 1,2,…,K, K 代表类的个数，本实施案例中 K = 9。
其中, W、b为softmax的参数，x为4096维的输入特征。
本实施案例的训练算法采用随机梯度下降方法，每次训练接受一定数量的训练数据，经过网络前向后，使用损失函数来衡量输出与数据实际标签的差距，接着利用这种衡量来反向训练网络参数，其中损失函数采用了CrossEntropy Function与Center Loss的结合体，公式如下：
CrossEntropy Funciton：
其中 x 代表原始信号，z 代表重构信号，以向量形式表示长度均为 d，又可轻易地将其改造为向量内积的形式，K代表样本的个数。
Center Loss Function：
其中，Cyi代表第yi类特征的类中心向量。
我们采用这两种损失函数的结合体，如下：
其中，用来控制Center Loss在总的损失函数中的比例。
最后我们采用深度学习框架Caffe来实现以上算法。
面诊机器学习的训练过程：
[1]通过Caffe公共网络发布平台下载GoogleNet；
[2]将上述网络全连接层最后一层的输出节点数改为9，因为体质类型为9类；
[3]将数据集准备过程获得的lmdb（Lightning Memory-Mapped Database）文件格式数据输入卷积神经网络GoogleNet；
[4]通过GoogleNet卷积神经网络中的多个卷积层和下采样层输出特征图；
[5]光栅化处理得到一个特征向量连接到全连接层；
[6]经过softmax分类器得到该分类器的结果，根据结果和损失函数计算其损失以及回传梯度；
[7]通过反向传播算法，调整卷积神经网络参数；其中反向传播算法采用如下参数，这些参数是由多次交叉验证得到：
表（一） 反向传播算法的参数
[8]重复以上3-7的过程，直到损失函数值小于阈值或者最大迭代次数，训练终止。
面诊机器学习的测试过程：
[1]将面部图像大小归一化为256*256，并完成均值化操作。
[2]将归一化面部图像输入训练好的GoogleNet模型，获得的输出就是体质类型。
舌诊机器学习的训练过程和测试过程与面诊机器学习一样，不同的是训练样本不同。我们准备的舌苔图像样本有4万张图像。
最后面诊、舌诊都会对每个体质类型给一个概率，如表（二）所示，本实施案例的望诊机器学习算法就是将每列的概率值求和，得到每个体质类型的综合值，然后取最大综合值的那个体质类别为该用户的体质类型。
例如表（二）中每个体质类型的综合值为：平和质（0.8）、气虚质(0.1)、阳虚质(0.7)、阴虚质(0)、痰湿质(0)、湿热质(0.1)、血瘀质(0.3)、气郁质(0)、特禀质(0)。综合值最大的是平和质，因此合参后用户的体质类型是平和质。
表（二）面诊舌诊闻诊问诊的体质类型
平和质 气虚质 阳虚质 阴虚质 痰湿质 湿热质 血瘀质 气郁质 特禀质
面诊 0.5 0 0.3 0 0 0 0.2 0 0
舌诊 0.3 0.1 0.4 0 0 0.1 0.1 0 0
步骤【S07】根据用户的体质，推荐对应的调理方案
目前体质类型分九类：平和质、气虚质、阳虚质、阴虚质、痰湿质、湿热质、血瘀质、气郁质、特禀质。在服务器上保存有每个体质类别的调理方案，这些调理方案是中医专家预先确定。
根据用户的体质类型，在服务器上选择对应体质类型的调理方案即可。
步骤【S08】根据用户的体质类型，推荐用户进入中医商城购买商品
在智能手机上建立中医商城是非常普通的技术，普通IT技术人员都能够完成。但是这个商城要支持下列功能的实现
[1]向用户推荐中医体检结果对应的商品，有利于用户的健康
[2]用户用积分购买选择的商品，对积分不足的部分，采用微信或支付宝等网络付费
[3]快递选择的商品到用户指定的收货地址
步骤【S09】S15自动获得用户体检时的时间、地点和天气情况
[1]华为P20手机提供系统时间，体检时的时间从手机的系统时间自动获得。
[2]通过华为P20的定位系统自动获得诊断地点。
[3]华为P20通过互联网络查询获得本地的天气情况。例如可在网站
http://www.weather.com.cn/查询任何城市的天气。
步骤【S10】保存用户的基本信息和体检档案
在云服务器上有用户健康档案数据库，保存每个用户的基本信息和体检档案。
[1]用户的基本信息：账号、密码、姓名、面部图像、积分、性别、出生日期、籍贯、主诉、现病史、既往史、个人生活史、家族史信息。
[2]用户的体检档案：用户身份标识、用户姓名、面部图像、面诊体质类型、舌苔图像、舌诊体质类型、音频文件、闻诊体质类型、问诊体质类型、合参类型、合参体质类型、体检时间、天气、地点、选择的商品目录
实施案例（2）
下面对本发明实施例中的技术方案进行清楚、完整地描述，目的是为了使公众更好地理解所述技术内容，而并非对技术方案的限制。
本发明一种中医养生的智能移动终端的实施案例的硬件直接选用华为的平板电脑：华为 MediaPad M5，它本身带有摄像头、拾音器、触摸屏、无线通讯卡、智能信息处理器和数据存储器。
MediaPad M5本身有WIFI，利用它们与云端的服务器通讯，传递数据。
一种中医体质养生的智能移动终端，其特征在于它的体检方法包括以下步骤：
【S01】识别用户身份
【S02】奖励用户参加中医体检的积分
【S03】判断用户是否是初次体检
【S04】若不是初次体检，则获得已记录过的用户基本信息
【S05】对于初次体检用户，则提醒用户录入一些基本信息
【S06】辨识用户的体质类型
【S07】根据用户的体质类型，推荐对应的调理方案
【S08】根据用户的体质类型，推荐用户进入中医商城购买商品
【S09】获得用户体质辨识时的时间、地点和天气情况
【S10】保存用户的基本信息和体检档案
与实施案例（1）不同，本实施案例的步骤【S06】选择基于闻诊机器学习（声音）实现，其余步骤的实现与实施案例（1）相同，因此只叙述步骤【S06】的实现。
闻诊机器学习的思路是首先将声音信号转化为声谱图，然后采用类似望诊机器学习算法的方法实现。
考虑到双通道音频文件两个通道包含的信息是一模一样的，为避免信息冗余，使用一个通道即可。为此，使用音频处理软件SoX（Sound eXchange），它可以在命令行环境下对音频进行各种处理。利用SoX将所有原始的双通道音频文件转换为新的单通道音频文件，具体执行命令为：
sox Before.mp3 After.mp3 remix 1,2
该命令的含义为：将原文件Before.mp3的通道1和通道2融合，然后生成新文件After.mp3。得到的新文件等同于只选择原文件任意一个通道的情况。
声谱图是一种用于描述频率如何随时间变化的热图，横坐标为时间，纵坐标为频率，频率点上颜色的强度则代表了该时刻该频率的幅度。它能很好地反映频率随时间的变化曲线。利用SoX将音频文件转换为对应的声谱图，具体执行命令为：
sox After.mp3 -n spectrogram -Y 300 -X 50 -m -r -o After.png
该命令的含义为：将音频文件Atfer.mp3转换为声谱图After.png，如图2所显示，其中参数-Y 300指定图片最大高度为300像素，-X 50指定按每秒50像素进行转换，-m指定生成的为单色图，-r指定生成的图像无轴，-o After.png指定输出文件名。
现在得到的声谱图大小混乱，为了送入神经网络进行训练，需要统一输入图片的尺寸大小。为此，将所有的声谱图都分割为许多个256*256大小的小切片。切割完毕后，考虑到个别切片可能会出现几乎没有甚至完全没有频率的情况，即切片图的大小几乎为0，因此再次进行数据清洗。清洗完成后，得到完整数据集。
将训练集合中的每个声音信号随机切成100个相同规模的图像后，获得新的图像训练集。在这些声音转换后的图像训练集上训练闻诊机器学习算法。
闻诊机器学习算法采用深度学习框架Keras实现，输入图片大小为256×256，输出为经过Softmax回归得到的9值向量（九种体质类型）。闻诊机器学习算法的网络结构如图3所示。
对网络及训练过程进行一些说明：
1）激活函数：卷积层和全连接层使用Relu作激活函数，输出层为Softmax分类器，因此使用softmax作激活函数。
2）优化器：使用自适应学习率调整算法Adadelta，能加速收敛，提高训练速度，而且不依赖于全局学习率，优化器的使用参数为lr=1.0，rho=0.95，epsilon=1e-06，其中lr为学习率，rho为衰减常数，epsilon是用于防止除0错误的小浮点数，可以理解成精度。考虑到实验所用数据集较大，在1e-06的精度下无法有效学习，故设置epsilon=1e-10，学习率lr按默认设置为1.0，rho设置为0.95。
3）模型记录：每轮训练结束后保存一次模型，全部训练完成后用json文件存储模型的结构，用HDF5文件分别保存模型的权重和整个模型。
然后用声音转换成的图像样本集训练闻诊机器学习算法，获得闻诊机器学习模型。
对测试的声音信号同样随机切成100个相同规模的图像，调用闻诊机器学习模型识别每个图像对应的体质类型，从而获得100个识别结果，然后采用简单投票法，100个结果中数量最多的类别为测试声音的体质类型。
实施案例（3）
下面将结合本发明实施案例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，目的是为了使公众更好地理解所述技术内容，而并非对技术方案的限制。
本发明一种中医体质养生的智能移动终端的实施案例的硬件直接选用华为公司的智能手机：华为P20，它本身带有摄像头、拾音器、触摸屏、无线通讯卡、智能信息处理器和数据存储器。
P20本身有WIFI和4G，利用它们与云端的服务器通讯，传递数据。
如附图4所示，一种中医体质养生的智能移动终端华为P20，其特征在于它的体检方法包括以下步骤：
【S01】通过人脸识别来识别用户身份
【S02】奖励用户参加中医体检的积分
【S03】判断用户是否是初次体检
【S04】若不是初次体检，则获得已记录过的用户信。
【S05】对于初次体检用户，则提醒用户录入一些基本信息。
【S06】采用摄像头采集用户的望诊图像，包括面部图像、舌苔图像。
【S07】采用望诊机器学习算法识别体质，输入是望诊图像，输出是体质类型。
【S08】采用拾音器用录音用户的声音
【S09】采用闻诊机器学习算法识别体质，输入是用户的声音，输出是体质类型
【S10】采用触摸屏显示问诊问题及获得用户的回答
【S11】采用问诊机器学习算法识别体质，输入是用户对问题的答案，输出是体质类型
【S12】采用合参机器学习算法，合参的输入是望诊机器学习算法、闻诊机器学习算法、和问诊机器学习算法的输出，合参的输出是体质类型。
【S13】根据用户的体质，推荐对应的调理方案
【S14】根据用户的体质，推荐用户进入中医商城购买商品
【S15】自动获得用户体检时的时间、地点和天气情况
【S16】保存用户的基本信息和体检档案。
步骤【S01】通过人脸识别来识别用户身份
目前百度、科大讯飞、Face++等都提供人脸识别的API，本实施方案采用Face++提供人脸识别API实现用户的身份。
步骤【S02】奖励用户参加中医体检的积分
为鼓励用户积极参加中医体检，对每次测试系统都奖励给定的分数（10分）给用户，累计记录到用户账号。
步骤【S03】判断用户是否是初次体检
通过步骤【S01】识别的用户身份，检查系统中是否已有用户的基本信息，若已有用户的基本信息，则表明用户不是初次体检，否则就是第一次中医体检。
步骤【S04】若不是初次体检，则获得已记录过的用户信息
因为在云服务器上已保存有用户的基本信息，直接从云服务器上获取，避免重复询问用户初次体检时的一些信息。
步骤【S05】对于初次体检用户，则提醒用户录入一些基本信息
录用用户的基本信息，以建立用户健康档案，基本信息包括账号、密码、姓名、面部图像、积分、性别、出生日期、籍贯、主诉、现病史、既往史、个人生活史、家族史信息。
步骤【S06】采用摄像头采集用户的望诊图像，包括面部图像、舌苔图像
因为华为P20有摄像头，因此采用P20有摄像头采集用户的望诊图像，包括面部图像、舌苔图像。
步骤【S07】采用望诊机器学习算法识别体质，输入是望诊图像，输出是体质类型
望诊体质识别方法采用实施案例（1）的望诊机器学习算法实现。
步骤【S08】S08采用拾音器用录音用户的声音
因为华为P20有拾音器，采用P20的拾音器采集用户的声音，10秒声音长度。
步骤【S09】采用闻诊机器学习算法识别体质，输入是用户的声音，输出是体质类型
闻诊体质识别方法采用实施案例（2）的闻诊机器学习算法实现。
步骤【S10】采用触摸屏显示问诊问题及获得用户的回答
目前问诊体质辨识已有标准：中华中医药学会标准。标准提供了《中医体质分类与判定表》，其中对每种体质都设计了对应的一些问题，例如阳虚质对应的问题如表（三）：
表（三）《中医体质分类与判定表》中阳虚质对应的问题
用户回答所有体质类型对应的问题。
步骤【S11】采用问诊机器学习算法识别体质，输入是用户对问题的答案，输出是体 质类型
用户回答了问题之后，需要根据问题的回答来判定用户的体质类型，方法如下：
判定方法
回答《中医体质分类与判定表》中的全部问题，每一问题按5级评分，计算原始分及转化分，根据判定标准判定体质类型。
原始分=各个条目的分相加。
转化分数=[（原始分-条目数）/（条目数×4）] ×100
判定标准
平和质为正常体质，其他8种体质为偏颇体质，判定标准见表（四）。
表（四）中医体质分类与判定表
判断体质类型的范例
范例1：用户甲的各体质类型转化分如一：平和质75分，气虚质56分，阳虚质27分，阴虚质25分，痰湿质12分，湿热质15分，血瘀质20分，气郁质18分，特禀质10分。根据判定标准，虽然平和质转化分≧60分，但其他8种体质转化分并未全部﹤40分，其中气虚质转化分≧40分，故此人不能判定为平和质，应判定为是气虚质。
范例2：用户乙的各体质类型转化分如一：平和质75分，气虚质16分，阳虚质27分，阴虚质25分，痰湿质32分，湿热质25分，血瘀质10分，气郁质18分，特禀质10分。根据判定标准，平和质转化分≧60分，同时，痰湿质转化分在30~39之间，可判定为痰湿质倾向，故此人最终体质判定结果基本是平和质，有痰湿质倾向。
在本实施案例中，不考虑偏颇体质倾向，只考虑9种偏颇体质类型，有偏颇体质倾向的情况视为平和质。
步骤【S12】采用合参机器学习算法，合参的输入是望诊机器学习算法、闻诊机器学 习算法、和问诊机器学习算法的输出，合参的输出是体质类型
面诊、舌诊、闻诊和问诊都会对每个体质类型给一个概率，如表（五）所示，合参机器学习算法的一个方法就是将每列的概率值求和，得到每个体质类型的综合值，然后取最大综合值的那个体质类别为该用户的体质类型。
例如表（五）中每个体质类型的综合值为：平和质（1.2）、气虚质(0.3)、阳虚质(1.0)、阴虚质(0)、痰湿质(0.1)、湿热质(0.3)、血瘀质(0.7)、气郁质(0.3)、特禀质(0.1)。综合值最大的是平和质，因此合参后用户的体质类型是平和质。
表（五）面诊舌诊闻诊问诊的体质类型
步骤【S13】根据用户的体质，推荐对应的调理方案
目前体质类型分九类：平和质、气虚质、阳虚质、阴虚质、痰湿质、湿热质、血瘀质、气郁质、特禀质。在服务器上保存有每个体质类别的调理方案，这些调理方案是中医专家预先确定。
根据用户的体质类型，在服务器上选择对应体质类型的调理方案即可。
步骤【S14】根据用户的体质类型，推荐用户进入中医商城购买商品
在智能手机上建立中医商城是非常普通的技术，普通IT技术人员都能够完成。但是这个商城要支持下列功能的实现
[1]向用户推荐中医体检结果对应的商品，有利于用户的健康
[2]用户用积分购买选择的商品，对积分不足的部分，采用微信或支付宝等网络付费
[3]快递选择的商品到用户指定的收货地址
步骤【S15】S15自动获得用户体检时的时间、地点和天气情况
[1]华为P20手机提供系统时间，体检时的时间从手机的系统时间自动获得。
[2]通过华为P20的定位系统自动获得诊断地点。
[3]华为P20通过互联网络查询获得本地的天气情况。例如可在网站
http://www.weather.com.cn/查询任何城市的天气。
步骤【S16】保存用户的基本信息和体检档案
在云服务器上有用户健康档案数据库，保存每个用户的基本信息和体检档案。
[1]用户的基本信息：账号、密码、姓名、面部图像、积分、性别、出生日期、籍贯、主诉、现病史、既往史、个人生活史、家族史信息。
[2]用户的体检档案：用户身份标识、用户姓名、面部图像、面诊体质类型、舌苔图像、舌诊体质类型、音频文件、闻诊体质类型、问诊体质类型、合参类型、合参体质类型、体检时间、天气、地点、选择的商品目录。
实施案例（4）
如图5（b）所示，本发明一种中医体质养生的智能移动终端的实施案例，其特征在于设备包括红外检测器、摄像机、拾音器、播音器、触摸屏、无线通讯卡、信息处理器和数据存储器，每个单元的功能如下：
H1红外检测器：检测到用户到来时开启设备，当被试离开给定的时间，则关闭设备
H2摄像机：用来采集被试的面部和舌部图像
H3数据存储器：存储数据
H4信息处理器：完成所有计算，包括体质识别
H5触摸屏：显示问诊问题及答案的选项, 同时显示识别出来的体质类型及调理方案
H6播音器：用来播音问诊问题及答案的选项，同时播音识别出的体质类型及调理方案
H7拾音器：录音被试回答问题的答案，录音用户的声音
H8无线通讯卡：WIFI和4G，利用它们与云端的服务器通讯，传递数据。
信息处理器单元H4连接其它所有硬件单元H1,H2,H3,H5,H6,H7,H8。而H4采用的体检方法是实施案例（3）的体检方法，分成7个软件模块实现，如图5（a）所示。
S1 身份识别模块：完成人体红外检测、人脸识别身份、验证基本信息等功能。它使用H1硬件单元：红外传感器和H2摄像机。
S2望诊体质识别模块：它根据面部图像识别体质，它使用硬件单元H2。它根据舌部图像识别体质。它使用硬件单元H2。然后采用实施案例（1）的合参方法获得望诊体质辨识结果。H7
S3闻诊体质辨识模块，输入是用户的声音，输出是体质类型，它使用硬件单元H7录音用户的声音。
S4问诊体质辨识题模块：它用触摸屏H5显示问题及答案选项，用户选择答案。或者它用硬件单元H6播音器播放问题及答案选项，并用拾音器H7录音用户选择的选项。
S5合参体质识别模块：它将S2、S3、S4的输出作为自己的输入，输出是望诊问诊合参后的体质类型和调理方案。
S6中医商城模块：用户根据S5的输出，到中医城选择推荐的商品，并完成付款和快递地址填写等任务。
S7健康档案管理模块：将用户的基本信息、体检信息和购买的商品目录信息通过H8发送到服务器保存。
以上所述仅为本发明的实施案例，凡在本发明的思想和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种中医体质养生的智能移动终端，其特征在于智能移动终端包括摄像头、拾音器、触摸屏、数据存储器、无线通讯卡和智能信息处理器
摄像头用来采集用户的面部图像、舌苔图像
拾音器用来录音用户的声音
触摸屏用来显示问诊问题及用户的回答
数据存储器存储用户的基本信息和体检信息
无线通讯卡用来传递数据到服务器
智能信息处理器主要完成以上各类信息的处理，并完成用户体检。
2.根据权利要求1所述的一种中医体质养生的智能移动终端，其特征在于它体检的方法包括如下步骤：
识别用户身份
奖励用户积分，鼓励用户参加了此次中医体检
判断用户是否是初次体检
若不是初次体检，则获得已记录过的用户基本信息
对于初次体检用户，则提醒用户录入一些基本信息
辨识用户的体质类型
根据用户的体质类型，推荐对应的调理方案
根据用户的体质类型推荐用户合适的商品，用户进入中医商城购买商品
获得用户体质辨识的时间、地点和天气
保存用户的基本信息和体检档案。
3.根据权利要求1和权利要求2所述的一种中医体质养生的智能移动终端，其特征在于：通过人脸识别完成用户身份识别，获得的身份信息包括人脸图像和姓名。
4.根据权利要求1和权利要求2所述的一种中医体质养生的智能移动终端，其特征在于：权利要求2的步骤[6] 采用望诊机器学习辨识用户的体质类型，望诊机器学习包括以下步骤：（a）采用摄像头采集用户的面部图像；(b)采用机器学习算法识别用户的体质，输入是面部图像，输出是体质类型，称为面诊体质类型。
5.根据权利要求1和权利要求2所述的一种中医体质养生的智能移动终端，其特征在于：权利要求2的步骤[6] 采用望诊机器学习辨识用户的体质类型，望诊机器学习包括以下步骤：（a）采用摄像头采集用户的舌苔图像；(b)采用机器学习算法识别用户的体质，输入是舌苔图像，输出是体质类型，称为舌诊体质类型。
6.根据权利要求1和权利要求2所述的一种中医体质养生的智能移动终端，其特征在于：权利要求2的步骤[6] 采用闻诊机器学习辨识用户的体质类型，闻诊包括以下步骤：（a）采用拾音器录音用户的声音；(b) 采用机器学习算法识别用户的体质，输入是用户的声音，输出是体质类型，称为闻诊体质类型。
7.根据权利要求1和权利要求2所述的一种中医体质养生的智能移动终端，其特征在于：权利要求2的步骤[6] 采用望诊机器学习和闻诊机器学习的合参实现，输入是望诊机器学习和闻诊机器学习的输出，输出是体质类型，称为合参体质类型。
8.根据权利要求1和权利要求2所述的一种中医体质养生的智能移动终端，其特征在于：权利要求2的步骤[6] 采用望诊机器学习、闻诊机器学习和问诊（问卷调查）的合参实现，输入望诊机器学习、闻诊机器学习和问诊的输出，输出是体质类型，称为合参体质类型。
9.根据权利要求1和权利要求2所述的一种中医体质养生的智能移动终端，其特征在于：权利要求2的步骤[6] 采用望诊机器学习和问诊（问卷调查）的合参实现，输入望诊机器学习和问诊的输出，输出是体质类型，称为合参体质类型。
10.根据权利要求1和权利要求2所述的一种中医体质养生的智能移动终端，其特征在于：权利要求2的步骤[6] 采用闻诊机器学习和问诊（问卷调查）的合参实现，输入望闻诊机器学习和问诊的输出，输出是体质类型，称为合参体质类型。
11.根据权利要求1和权利要求2所述的一种中医体质养生的智能移动终端，其特征在于：权利要求2的步骤[8]用户在中医商城购买商品时，可采用用户的积分支付。
12.根据权利要求1和权利要求2所述的一种中医体质养生的智能移动终端，其特征在于：权利要求2的步骤[10]保存的体检档案包括：用户身份标识、用户姓名、面部图像、面诊体质类型、舌苔图像、舌诊体质类型、音频文件、闻诊体质类型、问诊体质类型、合参类型、合参体质类型、体检时间、天气、地点、选择的商品目录。
13.根据权利要求1和权利要求2所述的一种中医体质养生的智能移动终端，其特征在于将用户的基本信息和体检档案保存在云服务器。
CN201910670410.XA 2018-12-07 2019-07-24 一种中医体质养生的智能移动终端 Pending CN110310737A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811491906 2018-12-07
CN2018114919062 2018-12-07

Publications (1)

Publication Number Publication Date
CN110310737A true CN110310737A (zh) 2019-10-08

Family

ID=68080600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910670410.XA Pending CN110310737A (zh) 2018-12-07 2019-07-24 一种中医体质养生的智能移动终端

Country Status (1)

Country Link
CN (1) CN110310737A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111599444A (zh) * 2020-05-18 2020-08-28 深圳市悦动天下科技有限公司 智能舌诊检测方法、装置、智能终端和存储介质
CN112287782A (zh) * 2020-10-19 2021-01-29 北京青蓝在线教育咨询有限公司 基于影像大数据的中医体质智能检测与调养系统及方法
CN116982933A (zh) * 2023-06-28 2023-11-03 北京中医药大学 一种基于图像识别技术的中医体质辨识系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200120A (zh) * 2014-09-18 2014-12-10 上海中医药大学 一种基于中医诊断信息的健康状态监测系统及其方法
CN105574792A (zh) * 2015-12-14 2016-05-11 北京龙欢九和医药科技有限公司 一种中医体质辨识调理系统
CN106295139A (zh) * 2016-07-29 2017-01-04 姹ゅ钩 一种基于深度卷积神经网络的舌体自诊健康云服务系统
CN107945869A (zh) * 2017-12-08 2018-04-20 李玉东 一种基于大数据的经方药智能化辩证论治系统
CN107970027A (zh) * 2017-11-23 2018-05-01 安徽大学 一种桡动脉检测与人体体质识别系统和方法
CN108154927A (zh) * 2017-12-21 2018-06-12 华子昂 一种智能中医机器人软件架构
CN208111088U (zh) * 2017-11-24 2018-11-16 杭州天翼商务服务有限公司 一种中医体质辨识与饮食指导的智能机器人
CN208126880U (zh) * 2017-11-24 2018-11-20 杭州天翼商务服务有限公司 利用问切模块实现中医体质辨识与饮食指导的智能机器人
CN208157077U (zh) * 2017-11-24 2018-11-27 杭州天翼商务服务有限公司 利用望问模块实现中医体质辨识与饮食指导的智能机器人
CN108899070A (zh) * 2018-05-31 2018-11-27 平安医疗科技有限公司 处方推荐生成方法、装置、计算机设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200120A (zh) * 2014-09-18 2014-12-10 上海中医药大学 一种基于中医诊断信息的健康状态监测系统及其方法
CN105574792A (zh) * 2015-12-14 2016-05-11 北京龙欢九和医药科技有限公司 一种中医体质辨识调理系统
CN106295139A (zh) * 2016-07-29 2017-01-04 姹ゅ钩 一种基于深度卷积神经网络的舌体自诊健康云服务系统
CN107970027A (zh) * 2017-11-23 2018-05-01 安徽大学 一种桡动脉检测与人体体质识别系统和方法
CN208111088U (zh) * 2017-11-24 2018-11-16 杭州天翼商务服务有限公司 一种中医体质辨识与饮食指导的智能机器人
CN208126880U (zh) * 2017-11-24 2018-11-20 杭州天翼商务服务有限公司 利用问切模块实现中医体质辨识与饮食指导的智能机器人
CN208157077U (zh) * 2017-11-24 2018-11-27 杭州天翼商务服务有限公司 利用望问模块实现中医体质辨识与饮食指导的智能机器人
CN107945869A (zh) * 2017-12-08 2018-04-20 李玉东 一种基于大数据的经方药智能化辩证论治系统
CN108154927A (zh) * 2017-12-21 2018-06-12 华子昂 一种智能中医机器人软件架构
CN108899070A (zh) * 2018-05-31 2018-11-27 平安医疗科技有限公司 处方推荐生成方法、装置、计算机设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111599444A (zh) * 2020-05-18 2020-08-28 深圳市悦动天下科技有限公司 智能舌诊检测方法、装置、智能终端和存储介质
CN112287782A (zh) * 2020-10-19 2021-01-29 北京青蓝在线教育咨询有限公司 基于影像大数据的中医体质智能检测与调养系统及方法
CN116982933A (zh) * 2023-06-28 2023-11-03 北京中医药大学 一种基于图像识别技术的中医体质辨识系统

Similar Documents

Publication Publication Date Title
Smith et al. Neural activity reveals preferences without choices
US10832094B2 (en) Generating hyperspectral image database by machine learning and mapping of color images to hyperspectral domain
CN105469376B (zh) 确定图片相似度的方法和装置
CN106663240A (zh) 用于对人才的数据驱动辨识的系统和方法
CN110310737A (zh) 一种中医体质养生的智能移动终端
CN109582875A (zh) 一种在线医疗教育资源的个性化推荐方法及系统
Kaur et al. Deep neural network for food image classification and nutrient identification: A systematic review
CN110379487B (zh) 营养方案管理系统
Samad et al. Smartphone apps for tracking food consumption and recommendations: Evaluating artificial intelligence-based functionalities, features and quality of current apps
KR20190130447A (ko) 건강 증진 정보 제공 장치 및 방법
CN110119479A (zh) 一种餐馆推荐方法、装置、设备及可读存储介质
Vasiloglou et al. Multimedia data-based mobile applications for dietary assessment
KR20230056239A (ko) Ai 기반의 비건 화장품 추천 방법
Oliver et al. Visual data mining with self-organizing maps for “self-monitoring” data analysis
Haritosh et al. A novel method to estimate Height, Weight and Body Mass Index from face images
CN113361494B (zh) 基于人脸识别的自助服务方法及自助服务系统
CN109657059A (zh) 异常参保人购药数据检测方法、装置、设备及存储介质
Wang et al. Evaluation of beef flavor attribute based on sensor array in tandem with support vector machines
Pouladzadeh A cloud-assisted mobile food recognition system
CN114882973A (zh) 一种基于标准食品识别的每日营养摄取分析方法及系统
Temdee et al. Smart Care Environment with Food Recognition for Personalization Support: A Case Study of Thai Seniors
Chhabra et al. Artificial Intelligence and Machine Learning Approaches for Understanding Food and Nutrients
Neha et al. Food prediction based on recipe using machine learning algorithms
Kuo et al. Computerized color distinguishing system for color printed fabric by using the approach of probabilistic neural network
CN111291829A (zh) 一种精选图片的自动确定方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191008

RJ01 Rejection of invention patent application after publication