CN109994202A - 一种基于深度学习的人脸生成中药处方的方法 - Google Patents

一种基于深度学习的人脸生成中药处方的方法 Download PDF

Info

Publication number
CN109994202A
CN109994202A CN201910221369.8A CN201910221369A CN109994202A CN 109994202 A CN109994202 A CN 109994202A CN 201910221369 A CN201910221369 A CN 201910221369A CN 109994202 A CN109994202 A CN 109994202A
Authority
CN
China
Prior art keywords
granularity
image
chinese medicine
traditional chinese
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910221369.8A
Other languages
English (en)
Inventor
文贵华
廖辉强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910221369.8A priority Critical patent/CN109994202A/zh
Publication of CN109994202A publication Critical patent/CN109994202A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Epidemiology (AREA)
  • Medicinal Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的人脸生成中药处方的方法，具体步骤包括：将病人的人脸图像分割为三个粒度的图像：器官粒度、局部区域粒度和人脸的粒度；将由像素矩阵和多标签向量组成的数据集划分为训练数据集和测试数据集；构建基于三粒度人脸的卷积神经网络模型；对训练数据集进行训练，调整参数迭代多次训练后得到表现良好的神经网络模型；将测试数据集的像素矩阵输入神经网络模型，生成中药处方。本发明能够从数据中学习到中医的开药经验，根据病人的人脸图像自动生成病人所需要的中药处方，从而对中医的望诊工作起到辅助作用，减少重复性工作，对人脸进行快速稳定的分析。

Description

一种基于深度学习的人脸生成中药处方的方法
技术领域
本发明涉及计算机应用领域，尤其涉及一种基于深度学习的人脸生成中药处方的方法。
背景技术
面部望诊是中医望诊的重要内容，也是中医诊断的重要依据，是通过观察人脸的色泽和形态的变化来辅助诊断及鉴别的一个简单有效的方法。面部望诊是几千年来中医理论精华的一部分，是中医“望，闻，问，切”四诊的方法中的一部分。健康的人脸上应该是干干净净，色泽红润有光泽。刚出生的婴儿脸上通常都是干干净净的，但随着岁月的增长以及空气、水、食物添加剂、环境污染、精神压力等多种因素的影响，人体健康受到伤害，面部就会逐步产生症状。
中药是指以中医药理论为指导，有着独特的理论体系和应用形式，是用于预防和治疗疾病并具有康复与保健作用的天然药物及其加工代用品。中国劳动人民几千年来在与疾病作斗争的过程中，逐渐积累了丰富的医药知识和医药书籍，这些书籍起到了总结前人经验并且便于流传和推广的作用，是中国人民长期同疾病作斗争的极为丰富的经验总结。很多中草药的疗效不但经受住了长期医疗实践的检验，而且也已被现代科学研究所证实。大量事实证明，中国古代劳动人民通过长期实践所积累起来的医药遗产是极为丰富和宝贵的。中药对于中医的诊断治疗有着极其重要的意义，传统中医诊断中可以根据人脸和舌苔来判定病人的身体情况，对症下药，开具中药处方。
图像识别一直以来都是计算机领域的一个重要且热门的研究方向，随着深度学习的兴起及其在图像识别应用中取得的巨大成就，这门技术已经掀起了一股浪潮。深度学习受到人脑神经元的启发建立一套分层模型结构，对输入数据逐层提取特征，能很好地建立底层信号到高级语义的映射关系。
传统中医诊断中根据人脸来开具中药处方具有一定的重复性，而且诊断价值极大地受到医生的临床经验、环境因素诸如光源、亮度等主客观因素的影响，使面部望诊的宝贵经验不能科学量化地保留下来。而利用深度学习技术能够从大量的已有数据中提取出有用的特征，学习到复杂的函数来根据输入特征给出对应的输出。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于深度学习的人脸生成中药处方的方法。本发明能够从数据中学习到中医的开药经验，并根据病人的人脸图像自动生成病人所需的中药处方，从而对中医的人脸诊断工作起到辅助作用，减少了重复性工作，能够对病人的人脸进行快速稳定的分析。
本发明的目的能够通过以下技术方案实现：
一种基于深度学习的人脸生成中药处方的方法，具体步骤包括：
将病人的人脸图像分割为三个粒度的图像：器官粒度、局部区域粒度和人脸的粒度；
将由像素矩阵和多标签向量组成的数据集划分为训练数据集和测试数据集；
构建基于三粒度人脸的卷积神经网络模型；
根据训练数据集对卷积神经网络模型进行训练并调整超参数，迭代进行多次训练后得到表现良好的卷积神经网络模型；
将测试数据集的像素矩阵输入得到的卷积神经网络模型，生成中药处方。
具体地，采用三个粒度图像的像素矩阵表示病人的三粒度人脸，采用多标签向量表示病人的中药处方。
更进一步地，所述三粒度人脸包括八张相关的人脸图像组成，分别为左眼图像、右眼图像、鼻子图像、嘴巴图像、左脸颊图像、右脸颊图像、下巴图像、人脸图像。八张相关的人脸图像与三个粒度图像的关系分别为：器官粒度的图像包括左眼图像、右眼图像、鼻子图像和嘴巴图像；局部区域粒度的图像包括左脸颊图像、右脸颊图像和下巴图像；人脸粒度的图像包括人脸图像。
具体地，以八个像素矩阵和一个多标签向量作为一个基本的数据样本，将数据样本组成的数据集划分为训练数据集和测试数据集。训练数据集，用于学习卷积神经网络模型；测试数据集，用于对卷积神经网络进行无偏估计。
具体地，所述基于三粒度人脸的卷积神经网络模型中，以三个粒度图像的像素矩阵作为输入，多标签向量作为输出；所述像素矩阵均可为多维矩阵。
具体地，所述构建的卷积神经网络模型中包括CNN1、CNN2_1、CNN2_2、CNN3和FC；其中CNN1、CNN2_1、CNN2_2、CNN3都是卷积模块，用于对图像进行特征提取；FC为一个全连接模块，用于深化特征的提取。
具体地，所述像素矩阵和多标签向量在输入基于三粒度人脸的卷积神经网络模型训练前需要进行预处理，即转换为卷积神经网络需要的格式。
具体地，基于三粒度人脸的卷积神经网络模型的输入为三个粒度的输入，同时模型分为三个通道的输出：主输出通道使用的编码特征结合了器官粒度、局部区域粒度和人脸粒度的特征；辅助输出1使用了器官粒度的编码特征；辅助输出2使用的编码特征结合了器官粒度和局部区域粒度的特征。
具体地，所述根据训练数据集对卷积神经网络模型进行训练并调整参数，迭代进行多次训练后得到表现良好的神经网络模型的步骤，包括：
将训练数据集划分为验证集与训练集；
将训练集中的器官粒度图像输入到CNN1中，局部区域粒度图像输入到CNN2_1中，人脸粒度图像输入到CNN3中；
对于每一个数据样本，CNN1对器官粒度的图像提取特征，计算得到辅助输出1；CNN2_2根据CNN1提取得到的器官粒度特征和CNN2_1提取得到的局部区域粒度特征计算得到辅助输出2；FC根据CNN2_2得到的器官粒度特征和局部区域粒度特征，以及CNN3提取得到的人脸粒度特征计算得到主输出；
对于每一个数据样本，根据卷积神经网络模型最后的输出和实际输出计算损失；计算损失时把多个样本的损失相加；
训练时以训练集的损失进行训练，进行多轮训练，直至训练集损失非常小或者足够多次的迭代后停止，得到一个模型；
根据验证集上的表现好坏对超参数进行调整，重复进行多次训练得到多个模型，选择在验证集上表现良好的模型作为最终模型。
更进一步地，所述训练后得到的卷积神经网络模型的评判标准有三个指标：精准率(precision)，召回率(recall)和f1分数(f1)。精准率表示为“预测处方和真实处方中同时出现的中药数量和预测处方中的中药数量之比”，召回率表示为“预测处方和真实处方中同时出现的中药数量和真实处方中的中药数量之比”。f1分数被作为主要指标，因为f1分数为精准率和召回率的调和平均数，能更好地体现模型的性能。
三个指标的计算公式如下所示：
其中，n_truei表示第i个样本中，预测处方和真实处方中同时出现的中药数量，n_predicti表示第i个样本中，预测处方中的中药数量，n_reali表示第i个样本中，真实处方中的中药数量。m表示验证模型时用的样本数量。
具体地，所述将测试数据集的像素矩阵输入到卷积神经网络中，生成中药处方的步骤，包括：
将训练数据集中的三粒度图像输入到训练好的卷积神经网络模型中，经过CNN1、CNN2_1、CNN2_2、CNN3、FC及最后的输出层，计算得到主输出；
输出向量中每个值在[0，1]区间，表示开药的概率，设置一个阈值，大于阈值时表示开具了对应药品；
根据建立的药品表、阈值和多标签向量，输出相应药品，得到中药处方。
本发明相较于现有技术，具有以下的有益效果：
1、本发明采用深度学习的卷积神经网络，通过卷积神经网络对图像的特征进行充分的提取和挖掘，所述卷积神经网络为基于三粒度的卷积神经网络，分别从人脸器官粒度(眼睛、鼻子、嘴巴)、人脸局部区域粒度(脸颊、下巴)和人脸粒度(人脸)三个粒度上对人脸的特征进行更有效和全面的提取，相较于传统的简单卷积神经网络，提高了准确率。
2、本发明采用了逻辑回归分类算法，通过采用一种二分类的监督学习方法，把生成中药处方的问题转化为多个“是否开某个药”的二分类问题来进行处理，能够得到显著的生成效果。
3、本发明基于大量的病人人脸图像和中药处方数据集，将深度学习和图像识别技术应用到传统的中医诊断治疗领域，使得无论在电脑端还是移动端都能进行中药处方生成，方便高效，节省时间；同时处方结果易于保存，方便日后用于分析。相较于传统的面部诊断开具中药处方，降低了诊断时间，减少了重复性工作和人力成本，同时解决了传统中医诊断需要预约中医医生进行治疗的问题，具有一定的市场价值和推广价值。
附图说明
图1为一种基于深度学习的人脸生成中药处方方法的流程图。
图2为本发明实施例中采用多标签向量对中药处方进行表示的示意图。
图3为本发明实施例中基于三粒度的卷积神经网络模型的示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图1所示为一种基于深度学习的人脸生成中药处方方法的流程图，具体步骤包括：
S1、将病人的人脸图像分割为三个粒度的图像：器官粒度、局部区域粒度和人脸粒度。
具体地，采用三个粒度图像的像素矩阵表示病人的三粒度人脸，采用多标签向量表示病人的中药处方。
更进一步地，所述三粒度人脸包括八张相关的人脸图像组成，分别为左眼图像、右眼图像、鼻子图像、嘴巴图像、左脸颊图像、右脸颊图像、下巴图像、人脸图像。八张相关的人脸图像与三个粒度图像的关系分别为：器官粒度的图像包括左眼图像、右眼图像、鼻子图像和嘴巴图像；局部区域粒度的图像包括左脸颊图像、右脸颊图像和下巴图像；人脸粒度的图像包括人脸图像。
在本实施例中，每个图像读取为深度为3的像素矩阵，分别表示红、绿、蓝三个颜色通道，矩阵中每个像素值的大小为0-255之间的整数。器官粒度图像的像素矩阵的大小调整为56*56*3；局部区域粒度图像的像素矩阵的大小调整为112*112*3；人脸粒度图像的像素矩阵的大小调整为224*224*3。
为了便于在计算机中表示，因此建立一个数字和药品名称一一对应的药品表，即采用数字来表示药品。采用一个多标签向量来表示中药处方，维度数量为药品的数量，每一维表示一个药品，1表示开具相应药品，0表示不开具相应药品，维度序号为表示药品的数字，如第2维表示数字2对应的药品。
S2、将由三个粒度图像的像素矩阵和多标签向量组成的数据集划分为训练数据集和测试数据集。
在本实施例中，以八个像素矩阵和一个多标签向量作为一个基本的数据样本，取90％的数据集作为训练数据集，用于学习卷积神经网络模型；剩下10％的数据集作为测试数据集，用于对卷积神经网络模型进行无偏估计。
S3、构建基于三粒度人脸的卷积神经网络模型。
在本实施例中，基于三粒度人脸的卷积神经网络模型如图3所示。模型主要分为三个通道的输出：主输出通道使用的编码特征结合了器官粒度、局部区域粒度和人脸粒度的特征；辅助输出1使用了器官粒度的编码特征；辅助输出2使用的编码特征结合了器官粒度和局部区域粒度的特征。
实际上，在每个输出上都分成了559个输出，表示559种药品的开药情况：输出0表示不开具相应药品，输出1表示开具相应药品，输出0到1之间的值表示开具相应药品的概率。将生成问题转化为559个二分类问题。模型训练前对训练数据集进行划分，取一部分作为验证集，根据验证集表现来调整一些参数，通过多次训练迭代，取验证集表现最好的模型作为最后的卷积神经网络模型。
如图3所示，输入为经过步骤S1、S2处理后得到的三粒度人脸图像：大小为224*224*3的人脸粒度图像、大小为112*112*3的局部区域粒度图像、大小为56*56*3的器官粒度图像。每个输出都是一个559维的多标签向量，预测了中药处方的开药情况。
在卷积神经网络模型中，CNN1、CNN2_1、CNN2_2、CNN3都是卷积模块，用于对图像进行特征提取。FC是一个全连接模块，用于深化特征的提取。本发明中的矩阵均可为多维矩阵。
CNN1模块对器官粒度的图像进行特征提取，相关设计如表1所示。
表1
层名称 参数 输出大小
conv2d_1_1(对左眼卷积) 16,3*3,激活函数:relu (56,56,16)
conv2d_1_2(对右眼卷积) 16,3*3,激活函数:relu (56,56,16)
conv2d_1_3(对鼻子卷积) 16,3*3,激活函数:relu (56,56,16)
conv2d_1_4(对嘴巴卷积) 16,3*3,激活函数:relu (56,56,16)
concatenate_1 (56,56,64)
dropout_1 0.4 (56,56,64)
conv2d_1_5 32,3*3,激活函数:relu (56,56,32)
在CNN1模块中，卷积层conv2d_1_1、conv2d_1_2、conv2d_1_3、conv2d_1_4输入四张图像矩阵，分别表示左眼图像、右眼图像、鼻子图像、嘴巴图像，大小均为56*56*3。其中56表示宽和高，3表示图像的RGB三个通道。参数为16个3*3的卷积核，每个3*3的卷积核与56*56的图像矩阵进行卷积运算，卷积运算具体为：3*3卷积核中的9个值和224*224图像中左上角的3*3个值对应相乘，最后再相加得到一个值，然后3*3的9个值在图像矩阵上向右移动一个单位继续进行相同的对应相乘再相加的操作，得到一个值，以此类推执行完一行的计算后可以得到56个值(这里采用same卷积，即使用填充策略来使得卷积后图像大小不变)，然后向下移动一个单位按上述的相乘再相加操作继续执行，最后可以得到56个输出值。因为总共有16个卷积核，最后输出的矩阵大小为56*56*16。激活函数为relu，将56*56*16矩阵中的每一个值经过relu函数进行数学计算后得到的值为最后的输出值。在本实施例中，由于是三通道，因此3*3卷积核实际上是3*3*3个参数，最后一个3由通道数决定，每个通道做相同的操作，最后相乘的次数为3*3*3即27次。
连接层concatenate_1的输入是conv2d_1_1、conv2d_1_2、conv2d_1_3、conv2d_1_4四个层的输出，即大小为56*56*16的矩阵。对这四个矩阵进行连接，最后得到一个56*56*64的矩阵，能够将四个器官粒度图像卷积后提取的特征连接起来。
丢弃层dropout_1的参数是0.4，表示以40％的概率随机断开上一层的输出，用于防止过拟合。只在训练阶段发挥作用，实际预测阶段不使用，因此这里矩阵的输出大小保持不变。
卷积层conv2d_1_5的操作和卷积层conv2s_1_1的操作相同，区别为参数不同：从16个3*3的卷积核变为32个3*3的卷积核。对连接层concatenate_1的输出进行卷积操作，得到的输出矩阵大小为56*56*32。
CNN2_1模块对局部区域粒度的图像进行特征提取，相关设计如表2所示。
表2
层名称 参数 输出大小
conv2d_2_1(对左脸卷积) 32,3*3,激活函数:relu (112,112,32)
max_pooling2d_2_1 (56,56,32)
conv2d_2_2(对右脸卷积) 32,3*3,激活函数:relu (112,112,32)
max_pooling2d_2_2 (56,56,32)
conv2d_2_3(对下巴卷积) 32,3*3,激活函数:relu (112,112,32)
max_pooling2d_2_3 (56,56,32)
具体地，在CNN2_1模块中，卷积层conv2d_2_1、conv2d_2_2、conv2d_2_3输入三张图像矩阵，分别表示左脸颊图像、右脸颊图像、下巴图像，大小均为112*112*3。三个卷积层的操作和卷积层conv2d_1_1的操作相同，区别是参数不同：从16个3*3的卷积核变成了32个3*3的卷积核，最后的输出矩阵代销为112*112*32。
最大池化层max_pooling2d_2_1、max_pooling2d_2_2、max_pooling2d_2_3分别对三个卷积后的图像进行池化操作，具体池化操作为：112*112的图像中左上角的2*2个值中选择最大的一个值保留，然后向右移动两个单位进行相同的操作，以此类推执行完一行后可以得到56个值，向下两个单位按上述操作继续执行，最后得到56*56个输出值，由于是32个通道，因此最后输出的矩阵大小为56*56*32。
CNN2_2模块结合了器官粒度和局部区域粒度的特征，相关设计如表3所示。
表3
层名称 参数 输出大小
concatenate_2 (56,56,128)
dropout_2 0.4 (56,56,128)
conv2d_2_4 64,3*3,激活函数:relu (56,56,64)
max_pooling2d_2_4 (28,28,64)
具体地，连接层concatenate_2和连接层concatenate_1的操作相同，区别为：连接层concatenate_2的输入是CNN1的输出和CNN2_1的输出，CNN1输出一张56*56*32的矩阵(提取了器官粒度的特征)，CNN2_1输出三个56*56*32的矩阵(提取了局部区域粒度的特征，三个矩阵分别表示左脸，右脸，下巴)，因此连接后输出的是56*56*128的矩阵。
丢弃层dropout_2和前文所述的dropout_1作用相同。
卷积层conv2d_2_4的操作和卷积层conv2d_1_1的操作相同，区别为参数不同：从16个3*3的卷积核变成了64个3*3的卷积核。对输入大小为56*56*128的矩阵进行卷积，得到的输出大小为56*56*64。
最大池化层max_pooling2d_2_4的操作和最大池化层max_pooling2d_2_1的操作和参数都相同，类似地，这里池化后宽高减半的输出矩阵大小为28*28*64。
CNN3模块对人脸粒度的图像进行特征修改，相关设计如表4所示。
表4
层名称 参数 输出大小
conv2d_3_1 16,3*3,激活函数:relu (224,224,16)
max_pooling2d_3_1 (112,112,16)
conv2d_3_2 32,3*3,激活函数:relu (112,112,32)
max_pooling2d_3_2 (56,56,32)
conv2d_3_3 64,3*3,激活函数:relu (56,56,64)
max_pooling2d_3_3 (28,28,64)
具体地，卷积层conv2d_3_1的操作和卷积层conv2d_1_1的操作和参数相同，这里对224*224*3的人脸图像进行卷积操作，由于使用了16个卷积核，最后输出大小为224*224*16的图像。
最大池化层max_pooling2d_3_1的操作和最大池化层max_pooling2d_2_1的操作和参数都相同，类似地，这里池化后宽高减半的输出矩阵大小为111*111*16。
卷积层conv2d_3_2和卷积层conv2d_2_1的操作相同，区别为参数不同：从16个3*3的卷积核变成了32个3*3的卷积核。最后的输出矩阵大小为112*112*32。
最大池化层max_pooling2d_3_2的操作和最大池化层max_pooling2d_2_1的操作和参数都相同，类似地，这里池化后宽高减半的输出矩阵大小为56*56*32。
卷积层conv2d_3_3和卷积层conv2d_2_1的操作相同，区别为参数不同：从16个3*3的卷积核变成了64个3*3的卷积核。最后的输出矩阵大小为56*56*64。
最大池化层max_pooling2d_3_3的操作和最大池化层max_pooling2d_2_1的操作和参数都相同，类似地，这里池化后宽高减半的输出矩阵大小为28*28*32。
FC模块结合了器官粒度、局部区域粒度和人脸粒度的特征，并对特征进行深化编码，相关设计如表5所示。
表5
层名称 参数 输出大小
concatenate_3 (28,28,128)
dropout_3 0.4 (28,28,128)
flatten_3 100352
fully_connected_3_1 256,激活函数:relu 256
fully_connected_3_2 256,激活函数:relu 256
具体地，连接层concatenate_3和连接层concatenate_1的操作相同，区别为：连接层concatenate_3的输入是CNN2_2的输出和CNN3的输出，CNN2_2输出一张28*28*64的矩阵(提取了器官粒度和局部区域粒度的特征)，CNN3输出一张28*28*64的矩阵(提取了人脸粒度的特征)，因此连接后输出的是28*28*128的矩阵。
丢弃层dropout_3和前文所述的dropout_1作用相同。
压平层flatten_3用于将数据压平，压成可以平铺在一层的数据，把多维的矩阵一维化，该层输入为28*28*128大小的矩阵，输出一维的长度为28*28*128即54080的向量。
fully_connected_3_1是全连接层，该层的每个单元会和前一层flatten_3层的每个单元进行相连，每个相连的边有一个权重值。fully_connected_3_1层中的每个单元的值等于flatten_3中每个单元的值乘以一个权重再相加，由于具有激活函数relu，fully_connected_3_1层中每个单元的值还需要通过relu函数的运算得到最后的输出值。该层共有256个单元，最后会输出256个值。
fully_connected_3_2的操作和fully_connected_3_1相同，这两层全连接层是用来深化三粒度人脸的特征的。
最后，模型会把CNN_1、CNN2_2和FC三个模块的输出连接到各自的输出层。每个输出层均为一个全连接层，单元数为559，这里的输出就是最后表示中药处方的多标签向量，559个分量代表559个药品。输出层的激活函数为sigmoid，是常用于进行二分类的激活函数：将所有的值转化为一个0到1之间的数字，这里表示的是开药的概率。559个分量表示559种药的开药概率。如图2所述为本发明实施例中采用多标签向量对中药处方进行表示的示意图。
S4、对训练数据集进行训练，调整参数迭代进行多次训练后得到表现良好的神经网络模型。
具体地，本实施例步骤S4包括：
S41、将训练数据集划分为验证集与训练集；
在本实施例中，取训练数据集中的90％作为训练集，10％作为验证集。
S42、将训练集中的大小为56*56*3的器官粒度图像(左眼、右眼、鼻子、嘴巴)输入到CNN1中，大小为112*112*3的局部区域粒度图像(左脸颊、右脸颊、下巴)输入到CNN2_1中，大小为224*224*3的人脸粒度图像输入到CNN3中；
S43、对于每一个数据样本，CNN1对器官粒度的图像提取特征，计算得到辅助输出1；CNN2_2根据CNN1提取得到的器官粒度特征和CNN2_1提取得到的局部区域粒度特征计算得到辅助输出2；FC根据CNN2_2提取得到的器官粒度特征和局部区域粒度特征，以及CNN3提取得到的人脸粒度特征计算得到主输出；
S44、对于每一个数据样本，根据卷积神经网络模型最后的输出(将主输出和辅助输出按照一定比例相加得到总输出)和实际输出(真实处方)计算损失；当模型计算的输出越接近实际输出时，损失越小，计算损失时把多个样本的损失相加；
S45、训练时以训练集的损失进行训练，利用反向传播算法，进行模型训练：对数据进行分批训练，即采用mini-batch的方式做最小化损失的梯度下降，迭代进行多轮训练，直至训练集损失非常小或者足够多次的迭代后停止，得到一个模型；
S46、调整超参数，重复多次上述的训练，得到多个模型，选择在验证集上表现良好的模型作为最终模型。
S5、将测试数据集的像素矩阵输入到卷积神经网络中，生成中药处方。
具体地，所述步骤S5包括：
S51、将训练数据集中的三粒度图像输入到训练好的卷积神经网络模型中，经过CNN1、CNN2_1、CNN2_2、CNN3、FC及最后的输出层，计算得到主输出(多标签向量)；
S52、输出向量中每个值在[0,1]区间，表示开药的概率，设置一个阈值0.25，大于阈值时表示开具了对应药品；
S53、根据建立的药品表、阈值和多标签向量，输出相应药品，得到中药处方。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的人脸生成中药处方的方法，其特征在于，具体步骤包括：
将病人的人脸图像分割为三个粒度的图像：器官粒度、局部区域粒度和人脸的粒度；
将由像素矩阵和多标签向量组成的数据集划分为训练数据集和测试数据集；
构建基于三粒度人脸的卷积神经网络模型；
根据训练数据集对卷积神经网络模型进行训练并调整超参数，迭代进行多次训练后得到表现良好的神经网络模型；
将测试数据集的像素矩阵输入卷积神经网络模型，生成中药处方。
2.根据权利要求1所述的一种基于深度学习的人脸生成中药处方的方法，其特征在于，采用三个粒度图像的像素矩阵表示病人的三粒度人脸，采用多标签向量表示病人的中药处方；所述三粒度人脸包括八张相关的人脸图像组成，分别为左眼图像、右眼图像、鼻子图像、嘴巴图像、左脸颊图像、右脸颊图像、下巴图像、人脸图像；八张相关的人脸图像与三个粒度图像的关系分别为：器官粒度的图像包括左眼图像、右眼图像、鼻子图像和嘴巴图像；局部区域粒度的图像包括左脸颊图像、右脸颊图像和下巴图像；人脸粒度的图像包括人脸图像。
3.根据权利要求1所述的一种基于深度学习的人脸生成中药处方的方法，其特征在于，所述将由像素矩阵和多标签向量组成的数据集划分为训练数据集和测试数据集的步骤中，以八个像素矩阵和一个多标签向量作为一个基本的数据样本，将数据样本组成的数据集划分为训练数据集和测试数据集；训练数据集，用于学习卷积神经网络模型；测试数据集，用于对卷积神经网络进行无偏估计。
4.根据权利要求1所述的一种基于深度学习的人脸生成中药处方的方法，其特征在于，所述基于三粒度人脸的卷积神经网络中，以三个粒度图像的像素矩阵作为输入，多标签向量作为输出；所述像素矩阵均可为多维矩阵。
5.根据权利要求1所述的一种基于深度学习的人脸生成中药处方的方法，其特征在于，所述构建的卷积神经网络模型中包括CNN1、CNN2_1、CNN2_2、CNN3和FC；其中CNN1、CNN2_1、CNN2_2、CNN3都是卷积模块，用于对图像进行特征提取；FC为一个全连接模块，用于深化特征的提取。
6.根据权利要求1所述的一种基于深度学习的人脸生成中药处方的方法，其特征在于，所述像素矩阵和多标签向量在输入基于三粒度人脸的卷积神经网络模型训练前需要进行预处理：转换为卷积神经网络需要的格式。
7.根据权利要求1所述的一种基于深度学习的人脸生成中药处方的方法，其特征在于，基于三粒度人脸的卷积神经网络的输入为三个粒度的输入，同时模型分为三个通道的输出：主输出通道使用的编码特征结合了器官粒度、局部区域粒度和人脸粒度的特征；辅助输出1使用了器官粒度的编码特征；辅助输出2使用的编码特征结合了器官粒度和局部区域粒度的特征。
8.根据权利要求5所述的一种基于深度学习的人脸生成中药处方的方法，其特征在于，所述根据训练数据集对卷积神经网络模型进行训练并调整超参数，迭代进行多次训练后得到表现良好的神经网络模型的步骤，包括：
将训练数据集划分为验证集与训练集；
将训练集中的器官粒度图像输入到CNN1中，局部区域粒度图像输入到CNN2_1中，人脸粒度图像输入到CNN3中；
对于每一个数据样本，CNN1对器官粒度的图像提取特征，计算得到辅助输出1；CNN2_2根据CNN1提取得到的器官粒度特征和CNN2_1提取得到的局部区域粒度特征计算得到辅助输出2；FC根据CNN2_2得到的器官粒度特征和局部区域粒度特征，以及CNN3提取得到的人脸粒度特征计算得到主输出；
对于每一个数据样本，根据卷积神经网络模型最后的输出和实际输出计算损失；计算损失时把多个样本的损失相加；
训练时以训练集的损失进行训练，进行多轮训练，直至训练集损失非常小或者足够多次的迭代后停止，得到一个模型；
根据验证集上的表现好坏对超参数进行调整，重复进行多次训练得到多个模型，选择在验证集上表现良好的模型作为最终模型。
9.根据权利要求8所述的一种基于深度学习的人脸生成中药处方的方法，其特征在于，所述训练后得到的卷积神经网络模型的评判标准有三个指标：精准率，召回率和f1分数；精准率表示为“预测处方和真实处方中同时出现的中药数量和预测处方中的中药数量之比”，召回率表示为“预测处方和真实处方中同时出现的中药数量和真实处方中的中药数量之比”；
三个指标的计算公式如下所示：
其中，precision表示精准率，recall表示召回率，f1表示f1分数；n_truei表示第i个样本中，预测处方和真实处方中同时出现的中药数量，n_predicti表示第i个样本中，预测处方中的中药数量，n_reali表示第i个样本中，真实处方中的中药数量；m表示验证模型时用的样本数量。
10.根据权利要求5所述的一种基于深度学习的人脸生成中药处方的方法，其特征在于，所述将测试数据集的像素矩阵输入到卷积神经网络中，生成中药处方的步骤，包括：
将训练数据集中的三粒度图像输入到训练好的卷积神经网络模型中，经过CNN1、CNN2_1、CNN2_2、CNN3、FC及最后的输出层，计算得到主输出；
输出向量中每个值在[0,1]区间，表示开药的概率，设置一个阈值，大于阈值时表示开具了对应药品；
根据建立的药品表、阈值和多标签向量，输出相应药品，得到中药处方。
CN201910221369.8A 2019-03-22 2019-03-22 一种基于深度学习的人脸生成中药处方的方法 Pending CN109994202A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910221369.8A CN109994202A (zh) 2019-03-22 2019-03-22 一种基于深度学习的人脸生成中药处方的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910221369.8A CN109994202A (zh) 2019-03-22 2019-03-22 一种基于深度学习的人脸生成中药处方的方法

Publications (1)

Publication Number Publication Date
CN109994202A true CN109994202A (zh) 2019-07-09

Family

ID=67129873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910221369.8A Pending CN109994202A (zh) 2019-03-22 2019-03-22 一种基于深度学习的人脸生成中药处方的方法

Country Status (1)

Country Link
CN (1) CN109994202A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837805A (zh) * 2021-01-12 2021-05-25 浙江大学 基于深度学习的眼睑拓扑形态特征的提取方法
CN113284613A (zh) * 2021-05-24 2021-08-20 暨南大学 一种基于深度学习的人脸诊断系统
CN116383512A (zh) * 2023-05-29 2023-07-04 天津市肿瘤医院（天津医科大学肿瘤医院） 一种基于人脸识别的配药方法和计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426644A (zh) * 2011-08-24 2012-04-25 夏东 基于GentleBoost机器学习的人眼十字定位法
CN103208012A (zh) * 2013-05-08 2013-07-17 重庆邮电大学 一种光照人脸识别方法
CN107958223A (zh) * 2017-12-13 2018-04-24 北京小米移动软件有限公司 人脸识别方法及装置、移动设备、计算机可读存储介质
CN108877923A (zh) * 2018-05-03 2018-11-23 华南理工大学 一种基于深度学习的舌苔生成中药处方的方法
CN109086711A (zh) * 2018-07-27 2018-12-25 华南理工大学 人脸特征分析方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426644A (zh) * 2011-08-24 2012-04-25 夏东 基于GentleBoost机器学习的人眼十字定位法
CN103208012A (zh) * 2013-05-08 2013-07-17 重庆邮电大学 一种光照人脸识别方法
CN107958223A (zh) * 2017-12-13 2018-04-24 北京小米移动软件有限公司 人脸识别方法及装置、移动设备、计算机可读存储介质
CN108877923A (zh) * 2018-05-03 2018-11-23 华南理工大学 一种基于深度学习的舌苔生成中药处方的方法
CN109086711A (zh) * 2018-07-27 2018-12-25 华南理工大学 人脸特征分析方法、装置、计算机设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DANYANG LI等: "MRMR-based ensemble pruning for facial expression recognition", 《MULTIMED TOOLS APPL》 *
LEI QI等: "Exploiting spatial relation for fine-grained image classification", 《PATTERN RECOGNITION》 *
YANG HU等: ""Automatic construction of Chinese herbal prescription from tongue image via convolution networks and auxiliary latent therapy topics", 《网页在线公开：ARXIV.ORG/ABS/1802.02203V1》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837805A (zh) * 2021-01-12 2021-05-25 浙江大学 基于深度学习的眼睑拓扑形态特征的提取方法
CN112837805B (zh) * 2021-01-12 2024-03-29 浙江大学 基于深度学习的眼睑拓扑形态特征的提取方法
CN113284613A (zh) * 2021-05-24 2021-08-20 暨南大学 一种基于深度学习的人脸诊断系统
CN116383512A (zh) * 2023-05-29 2023-07-04 天津市肿瘤医院（天津医科大学肿瘤医院） 一种基于人脸识别的配药方法和计算机可读存储介质
CN116383512B (zh) * 2023-05-29 2023-08-22 天津市肿瘤医院（天津医科大学肿瘤医院） 一种基于人脸识别的配药方法和计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN106682616A (zh) 基于双通道特征深度学习的新生儿疼痛表情识别方法
CN109886986A (zh) 一种基于多分支卷积神经网络的皮肤镜图像分割方法
Guo et al. Classification of thyroid ultrasound standard plane images using ResNet-18 networks
CN107016438B (zh) 一种基于中医辨证人工神经网络算法模型的系统
CN107977932A (zh) 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN107958213A (zh) 一种基于脑机接口辅助康复医疗的共空间模式与深度学习方法
CN108806792A (zh) 深度学习面诊系统
CN107958257A (zh) 一种基于深度神经网络的中药材识别方法
CN109994202A (zh) 一种基于深度学习的人脸生成中药处方的方法
CN112472048B (zh) 用于心血管疾病患者脉象识别的神经网络的实现方法
CN108877923A (zh) 一种基于深度学习的舌苔生成中药处方的方法
CN108491077A (zh) 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
CN108596069A (zh) 基于深度3d残差网络的新生儿疼痛表情识别方法及系统
CN111104961A (zh) 基于改进的MobileNet网络对乳腺癌进行分类的方法
CN107330393A (zh) 一种基于视频分析的新生儿疼痛表情识别方法
CN105023023B (zh) 一种用于计算机辅助诊断的乳腺b超图像特征自学习提取方法
CN111783792B (zh) 一种提取b超图像显著纹理特征的方法及其应用
CN111430025B (zh) 一种基于医疗影像数据扩增的疾病诊断模型训练方法
CN112489769A (zh) 基于深度神经网络的慢性病智慧中医诊断与药物推荐系统
CN110120055A (zh) 基于深度学习的眼底荧光造影图像无灌注区自动分割方法
CN109978873A (zh) 一种基于中医影像大数据的智能体检系统及其方法
CN106485085A (zh) 一种智能服务机器人健康辨识系统及方法
CN113689954A (zh) 高血压风险预测方法、装置、设备及介质
CN112101424A (zh) 一种视网膜病变识别模型的生成方法、识别装置及设备
CN103324952A (zh) 基于特征提取的痤疮分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190709