CN108877923A - 一种基于深度学习的舌苔生成中药处方的方法 - Google Patents

一种基于深度学习的舌苔生成中药处方的方法 Download PDF

Info

Publication number
CN108877923A
CN108877923A CN201810412773.9A CN201810412773A CN108877923A CN 108877923 A CN108877923 A CN 108877923A CN 201810412773 A CN201810412773 A CN 201810412773A CN 108877923 A CN108877923 A CN 108877923A
Authority
CN
China
Prior art keywords
chinese medicine
traditional chinese
prescriptions
tongue fur
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810412773.9A
Other languages
English (en)
Inventor
文贵华
廖辉强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201810412773.9A priority Critical patent/CN108877923A/zh
Publication of CN108877923A publication Critical patent/CN108877923A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/90—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to alternative medicines, e.g. homeopathy or oriental medicines

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Chemical & Material Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medicinal Chemistry (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Alternative & Traditional Medicine (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的舌苔生成中药处方的方法，包括以下步骤：S1、用像素矩阵表示病人的舌苔图像，用向量表示病人的中药处方；S2、以像素矩阵作为输入，向量作为输出，将数据集分为训练数据集和测试数据集；S3、使用基于文档主题模型的双通道卷积神经网络对训练数据集进行训练，调整参数迭代多次训练后得到表现良好的神经网络模型；S4、将测试数据集的像素矩阵输入神经网络模型，生成中药处方。所述方法能够从数据中学习到中医的开药经验，根据病人的舌苔图像自动生成病人所需要的中药处方，从而对中医的舌苔诊断工作起到辅助作用，减少重复性工作，对舌苔进行快速稳定的分析。

Description

一种基于深度学习的舌苔生成中药处方的方法
技术领域
本发明涉及计算机在中药处方的应用技术领域，具体涉及一种基于深度学习的舌苔生成中药处方的方法。
背景技术
舌诊是中医望诊的重要内容，也是中医诊断的重要依据，舌诊是观察舌头的色泽、形态的变化来辅助诊断及鉴别的一个简单有效的方法。舌为心之苗，脾之外候，苔由胃气所生。脏腑通过经脉与舌相联从而作为中医诊断疾病的重要客系，手少阴之别系舌本，足少阴之脉挟舌本，足厥阴之脉络舌本，足太阴之脉连舌本，散舌下，故脏腑病变，可在舌质和舌苔上反映出来，舌诊主要诊察舌质和舌苔的形态、色泽、润燥等，以此判断疾病的性质、病势的浅深、气血的盛衰、津液的盈亏及脏腑的虚实等。
中药是指以中医药理论为指导，有着独特的理论体系和应用形式，用于预防和治疗疾病并具有康复与保健作用的天然药物及其加工代用品。中国劳动人民几千年来在与疾病作斗争的过程中，逐渐积累了丰富的医药知识和医药书籍，这些书籍起到了总结前人经验并便于流传和推广的作用，是中国人民长期同疾病作斗争的极为丰富的经验总结。很多中草药的疗效不但经受住了长期医疗实践的检验，而且也已被现代科学研究所证实。大量事实证明，中国古代劳动人民通过长期实践所积累起来的医药遗产是极为丰富、极为宝贵的。中药对于中医的诊断治疗有着极其重要的意义，传统中医诊断中可以根据舌苔来判定病人的身体情况，对症下药，开具中药处方。
图像识别一直以来都是计算机领域的一个重要且热门的研究方向，随着深度学习的兴起以及它在图像识别应用中取得的巨大成就，这门技术已经掀起了一股浪潮。深度学习受到人脑神经元的启发建立一套分层模型结构，对输入数据逐层提取特征，能很好地建立底层信号到高级语义的映射关系。
传统中医诊断中根据舌苔来开具中药处方具有一定的重复性，而且诊断价值极大地受到医生的临床经验、环境因素诸如光源、亮度等主客观因素的影响，使舌诊的宝贵经验不能科学量化地保留下来。而利用深度学习技术能够从大量的已有数据中提取出有用的特征，学习到复杂的函数来根据输入特征给出对应的输出。
发明内容
本发明的目的是针对现有技术的不足，提供了一种基于深度学习的舌苔生成中药处方的方法，所述方法能够从数据中学习到中医的开药经验，根据病人的舌苔图像自动生成病人所需要的中药处方，从而对中医的舌苔诊断工作起到辅助作用，减少重复性工作，对舌苔进行快速稳定的分析。
本发明的目的可以通过如下技术方案实现：
一种基于深度学习的舌苔生成中药处方的方法，所述方法包括以下步骤：
S1、用像素矩阵表示病人的舌苔图像，用向量表示病人的中药处方；
S2、以像素矩阵作为输入，向量作为输出，将由像素矩阵和向量组成的数据集分为训练数据集和测试数据集；
S3、使用基于文档主题模型的双通道卷积神经网络对训练数据集进行训练，调整参数迭代多次训练后得到表现良好的神经网络模型；
S4、将测试数据集的像素矩阵输入神经网络模型，生成中药处方。
进一步地，舌苔图像的像素矩阵在输入双通道卷积神经网络模型训练前进行了一定比例的缩小。
进一步地，步骤S1中，表示中药处方的向量有两种，一种是多标签向量，其长度为药品的种类数量，向量值为0或1，1代表中药处方中开了该药，0表示中药处方中未开该药；另一种是基于文档主题模型的向量，其长度为限定的主题种类的数量，向量值为主题与该中药处方的相关程度。
进一步地，所述主题为中药处方的潜在特征，比如寒性，治肾，止咳等。
进一步地，像素矩阵和向量在输入双通道卷积神经网络模型训练前要进行预处理，转换为卷积神经网络需要的格式。
进一步地，步骤S3中，双通道卷积神经网络的主通道输出为多标签向量，辅助通道输出为基于文档主题模型的向量，训练过程中用主通道输出计算主要损失，用辅助通道输出计算辅助损失，将两个损失按一定比例相加作为总损失进行训练；在训练过程中，取训练数据集的一部分作为验证集，剩下数据用来训练，在训练时根据验证集的表现调整参数，进行多次训练迭代，取验证集表现最好的模型作为最后的神经网络模型。
进一步地，步骤S4中，生成的中药处方是根据双通道卷积神经网络模型的主通道输出即多标签向量得到的，需要将多标签向量根据事先建立的药品序号对应表输出中药处方中每个药品的名称。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明所述方法采用深度学习的卷积神经网络，通过卷积神经网络能够对舌苔图像的特征进行充分的提取和挖掘，所述卷积神经网络为双通道卷积神经网络，利用了文档主题模型来设计辅助通道，可以纠正主通道的损失，相比于简单的单通道卷积神经网络提高了准确率。
2、本发明采用的逻辑回归分类算法，用一种二分类的监督学习方法，把生成中药处方的问题转化为多个“是否开某个药”的二分类问题来处理，能得到显著的生成效果。
3、本发明所述方法基于大量的舌苔图像和中药处方数据集，将深度学习和图像识别技术应用到传统的中医诊断治疗领域，无论在电脑端或移动端都能进行中药处方生成，方便高效，节省时间，同时处方结果易于保存，方便日后用于分析，相比于传统的舌苔诊断开具中药处方，降低了诊断时间，减少了重复性工作和人力成本，同时解决了传统中医诊断需要预约中医医生进行治疗的问题，具有一定的市场价值和推广价值。
附图说明
图1为本发明实施例基于深度学习的舌苔生成中药处方方法的流程图。
图2为本发明实施例中用多标签向量表示中药处方的示意图。
图3为本发明实施例中用基于文档主题模型的向量表示中药处方的示意图。
图4为本发明实施例中双通道卷积神经网络模型的示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例：
本实施例提供了一种基于深度学习的舌苔生成中药处方的方法，所述方法的流程图如图1所示，包括以下步骤：
S1、用像素矩阵表示病人的舌苔图像，用向量表示病人的中药处方；
S2、以像素矩阵作为输入，向量作为输出，将由像素矩阵和向量组成的数据集分为训练数据集和测试数据集；
S3、使用基于文档主题模型的双通道卷积神经网络对训练数据集进行训练，调整参数迭代多次训练后得到表现良好的神经网络模型；
S4、将测试数据集的像素矩阵输入神经网络模型，生成中药处方。
本实施例的舌苔图像是在省级中医院等多家医院人工采集得来，对应的中药处方也是相关医院专家开具的。因为采集的原始图像是包含人脸和舌苔的，所以对图像进行了舌苔检测、切割和调整来得到了只有舌苔的图像。另外，由于部分的采集图像模糊、药品名字有所重复(比如柴胡颗粒和柴胡)等原因，对数据做了相应的预处理(比如删除无用样本，合并重复的药品)。
步骤S1中，具体地，将舌苔图像读取为深度为3的像素矩阵，分别代表红、绿、蓝三个颜色通道，每个像素矩阵的大小调整为224*224，矩阵中每个像素值的大小为0-255。所以实际用于训练的舌苔图像的大小为224*224*3，图像的值处于[0-255]区间。对于中药处方，如图2所示，为了便于在计算机中表示，首先建立了一个数字和药品名称一一对应的药品表，用数字来表示药品；然后用一个多标签向量表示中药处方，维度数量为药品的数量，每一维表示一个药品，为1时表示开这个药，为0时表示不开这个药，这个维度的序号就是之前所说的表示药品的数字，比如第2维表示的就是数字2对应的药品，该多标签向量从药品是否开具的角度考虑了处方的特征，它将作为后面提到的双通道卷积神经网络中的主输出。另外，基于主题模型用另一种向量来表示处方，如图3所示，其长度为限定的主题种类数量，向量值表示某个主题和该处方的相关程度，该向量从主题的角度考虑了处方的特征，在后面提到的双通道卷积神经网络中作为辅助输出，对主输出向量起一定的调节作用。
步骤S2中，具体地，我们用python作为编程语言从磁盘读取数据后首先是用list数据类型装载数据集，而我们使用的深度学习框架keras在构建神经网络的时候需要输入的数据类型为numpy库的array类型，所以需要做一定的转换把数据从list转换为array类型。对于数据集我们需要取一部分作为测试数据集，剩下的作为训练数据集，训练数据集的数据用来学习神经网络模型，测试数据集的数据用来对神经网络模型做无偏估计。
步骤S3中，具体地，搭建了一个双通道的卷积神经网络模型，如图4所示。模型的训练就是通过从已有的训练集数据中学习到舌苔图像和中药处方之间的关系，建立一个复杂的函数，实际上，本实施例的模型在最后的主通道输出上分成了566个输出，表示566种药品的开药情况，输出0代表不开这个药，输出1代表开这个药，输出0到1之间的值表示开这个药的概率，所以模型其实建立了566个函数分别预测566种药是否应该开具，由此将生成问题转化为566个二分类的问题。另外，除了主通道之外，还有一条辅助通道，其输出是基于主题模型构建的向量，该向量与主输出的多标签向量不同，多标签向量是从药品是否开具的角度构建处方特征，而该向量是从主题的角度来构建处方特征，表示处方和各个主题之间的相关程度，该向量在神经网络训练时可以辅助主通道输出，对神经网络进行一定的矫正。模型训练前我们先对训练数据集进行划分，取一部分作为验证集，在训练学习后，根据验证集的表现来调整一些参数，然后通过多次的训练迭代，取验证集表现最好的模型作为最后的神经网络模型。
如图4所示，其输入是指经过步骤S1、S2处理后的舌苔图像，大小为224*224*3，其主输出是指一个566维的多标签向量，它预测了中药处方的开药情况，其辅助输出是一个基于主题模型的向量，长度为限定的主题种类，我们设定为100，它表示处方和100个主题之间的相关程度。
其中，其CNN1是一种卷积神经网络，CNN1的详细设计如表1所示：
层名称 参数 输出大小
conv2d_1_1 80,3*3,激活函数:relu (222,222,80)
max_pooling2d_1_1 2*2 (111,111,80)
batch_normalization_1_1 (111,111,80)
conv2d_1_2 80,3*3,激活函数:relu (109,109,80)
max_pooling2d_1_2 2*2 (54,54,80)
batch_normalization_1_2 (54,54,80)
conv2d_1_3 80,3*3,激活函数:relu (52,52,80)
max_pooling2d_1_3 2*2 (26,26,80)
batch_normalization_1_3 (26,26,80)
flatten_1 54080
dense_1 160 160
dropout_1 0.5 160
表1
具体地，卷积层conv2d_1_1的输入是一张图像矩阵，大小为224*224*3(平常说的矩阵是两维的，比如224*224，这里说的矩阵指的是矩阵的推广，可以是多维的)，其中224为宽和高，3表示图像的RGB三个通道。参数为80个3*3的卷积核，每个3*3的卷积核与224*224的图像矩阵进行卷积运算，卷积运算具体为：3*3卷积核中的9个值和224*224的图像中左上角的3*3个值对应相乘(由于是三通道，每个通道做相同的操作，最后相乘的次数为3*3*3即27次)最后再相加得到一个值，然后3*3的9个值在图像矩阵上向右移动一个单位继续进行相同的对应相乘再相加的操作得到一个值，以此类推执行完一行的计算后可以得到222个值，然后向下移动一个单位按上述的相乘再相加操作继续执行，最后可以得到222*222个输出值。因为总共有80个卷积核，所以最后输出的矩阵大小为222*222*80。激活函数为relu，这是一个数学函数，它把222*222*80矩阵中的每一个值做了一个relu的数学运算，运算后的值才是最后的输出。
最大池化层max_pooling2d_1_1的输入是conv2d_1_1层的输出即大小为222*222*80的矩阵。参数为2*2的池化矩阵，具体池化操作为：222*222的图像中左上角的2*2个值中选择最大的一个值保留，然后向右移动两个单位进行相同的操作，以此类推执行完一行后可以得到111个值，然后向下两个单位按上述操作继续执行，最后可以得到111*111个输出值，由于是80个通道，所以最后输出的矩阵大小为111*111*80。卷积和池化主要用于提取图像中的特征。
规范层batch_normalization_1_1用于将批量数据进行规划化，具体训练的时候不是所有样本一起计算训练，而是按照一批批样本依次送进去进行训练，规范化则是将一批数据做一个归一化，使得所有样本的数据均值接近为0，方差接近为1。该层只是对数值做了规范化，所以输出矩阵大小不变，和输入矩阵大小相同。
卷积层conv2d_1_2的操作和卷积层conv2d_1_1的操作和参数都相同，从conv2d_1_1层可以知道，输出矩阵大小为222*222*80，相比于输入矩阵来说高和宽分别减小了2个单位，通道为卷积核的个数。类似地，conv2d_1_2的输入矩阵大小为111*111*80，输出矩阵大小则为109*109*80。
最大池化层max_pooling2d_1_2的操作和最大池化层max_pooling2d_1_1的操作和参数都相同，从max_pooling2d_1_1知道，输出矩阵大小为111*111*80，宽和高分别减半。类似地，max_pooling2d_1_2输入矩阵大小为109*109*80，则输出矩阵大小为54*54*80。
规范层batch_normalization_1_2和规范层batch_normalization_1_1操作相同，输出矩阵和输入矩阵的大小相同。
卷积层conv2d_1_3的操作和卷积层conv2d_1_1的操作和参数都相同，可以得知这里输出矩阵大小为52*52*80。
最大池化层max_pooling2d_1_3的操作和最大池化层max_pooling2d_1_1的操作和参数都相同，可以得知这里输出矩阵大小为26*26*80。
规范层batch_normalization_1_3和规范层batch_normalization_1_1操作相同，输出矩阵和输入矩阵的大小相同。
flatten_1层用于将数据压平，压成可以平铺在一层的数据，把多维的矩阵一维化，该层输入为26*26*80，输出为一维的长度为26*26*80即54080的向量。
dense_1是全连接层，该层的每个单元会和前一层flatten_1层的每个单元进行相连，每个相连的边有一个权重值。dense_1层中的每个单元的值等于flatten_1中每个单元的值乘以一个权重再相加，由于具有激活函数relu，dense_1层中每个单元的值还需要通过relu函数的运算得到最后的输出值。该层共有160个单元，最后会输出160个值。
dropout_1层的参数是0.5，表示以50％的概率随机断开上一层的输入，用于防止过拟合。
如图4所示，其CNN2是一种卷积神经网络，CNN2的详细设计如表2所示：
层名称 参数 输出大小
conv2d_2_1 40,3*3,激活函数:relu (222,222,40)
max_pooling2d_2_1 2*2 (111,111,40)
batch_normalization_2_1 (111,111,40)
conv2d_2_2 40,3*3,激活函数:relu (109,109,40)
max_pooling2d_2_2 2*2 (54,54,40)
batch_normalization_2_2 (54,54,40)
conv2d_2_3 40,3*3,激活函数:relu (52,52,40)
max_pooling2d_2_3 2*2 (26,26,40)
batch_normalization_2_3 (26,26,40)
flatten_2 27040
dense_2 160 160
dropout_2 0.5 160
表2
具体地，卷积层conv2d_2_1的操作和卷积层conv2d_1_1的操作相同，只是参数有所不同，从80个3*3的卷积核变成了40个3*3的卷积核。所以最后的输出矩阵大小为222*222*40。
最大池化层max_pooling2d_2_1的操作和最大池化层max_pooling2d_1_1的操作和参数都相同，类似地，这里池化后宽高减半的输出矩阵大小为111*111*40。
规范层batch_normalization_2_1和规范层batch_normalization_1_1操作相同，输出矩阵和输入矩阵的大小相同。
卷积层conv2d_2_2和卷积层conv2d_2_1的操作和参数相同，类似地，这里最后的输出矩阵大小为109*109*40。
最大池化层max_pooling2d_2_2的操作和最大池化层max_pooling2d_2_1的操作和参数都相同，类似地，这里池化后宽高减半的输出矩阵大小为54*54*40。
规范层batch_normalization_2_2和规范层batch_normalization_1_1操作相同，输出矩阵和输入矩阵的大小相同。
卷积层conv2d_2_3和卷积层conv2d_2_1的操作和参数相同，类似地，这里最后的输出矩阵大小为52*52*40。
最大池化层max_pooling2d_2_3的操作和最大池化层max_pooling2d_2_1的操作和参数都相同，类似地，这里池化后宽高减半的输出矩阵大小为26*26*40。
规范层batch_normalization_2_3和规范层batch_normalization_1_1操作相同，输出矩阵和输入矩阵的大小相同。
flatten_2层的操作和作用和前文所述的flatten_1层相同，用于将数据压平。该层输入为26*26*40，输出为一维的长度为26*26*40即27040的向量。
dense_2是全连接层，操作和作用和前文所述的dense_1层相同。
dropout_2层的操作和作用和前文所述的dropout_1层相同。
如图4所示，其FC1(Full Connect全连接)表示主输出之前的几层处理，涉及到全连接层和dropout层，FC1的详细设计如表3所示：
层名称 参数 输出大小
dense_3 256,激活函数:relu 256
dropout_3 0.6 256
dense_4 566，激活函数:sigmoid 566
表3
具体地，表3中dense_3是全连接层，操作和dense_1相同，这里的输入是把CNN1和CNN2的输出连接起来的数据，单元数为160+160即320，输出单元数为256；dropout_3的参数是0.6，其操作和dropout_1相同，这里表示以60％的概率随机断开上一层的输入；dense_4是全连接层，操作和dense_1层相同，该层的激活函数为sigmoid，单元数为566，这里的输出就是最后表示中药处方的多标签向量，566个分量代表566个药品。sigmoid是常用于用于二分类的激活函数，它把所有的值转化为一个0到1之间的数字，这里表示的是开药的概率，566个分量表示566种药的开药概率。
如图4所示，其FC2(Full Connect全连接)表示辅助输出之前的处理，涉及到1层全连接层，设计如表4所示：
层名称 参数 输出大小
dense_5 100,激活函数:sigmoid 100
表4
具体地，表4中dense_5是全连接层，操作和dense_1相同，这里的输入是CNN2的输出，单元数为160，输出单元数为100，这里的输出就是最后表示中药处方的基于主题模型的向量，100个分量代表100种主题。sigmoid把所有的值转化为一个0到1之间的数字，这里表示的是处方和主题的相关程度，100个分量表示处方与100种主题的相关程度。
上述双通道卷积神经网络模型分为步骤S3的训练阶段和步骤S4的测试阶段，其中步骤S3的训练阶段具体步骤是：
[1]：将训练数据集中的224*224*3图像作为输入分别传入CNN1和CNN2。
[2]：对于每一个数据样本，将CNN1输出的160维向量和CNN2输出的160维向量连在一起成为320维的向量输入到FC1，得到最终的566维的多标签向量输出。将CNN2输出的160维向量输入到FC2，得到最终的100维的基于主题模型的向量(辅助输出)。
[3]：对于每一个数据样本，根据模型最后的输出(将主输出和辅助输出按一定比例相加得到总输出)和实际输出计算损失函数。当模型计算的输出越接近实际输出时，损失函数越小。
[4]：将原本的训练数据集样本划分一部分作为验证集，剩下的作训练集。
[5]：利用反向传播算法，调整参数的权重，进行模型训练，对数据进行分批训练，即使用mini-batch的方式做最小化损失函数的梯度下降，反复训练，迭代多次，直到损失函数非常小或足够多次的迭代后停止。
[6]：训练时以训练数据集的损失进行训练，每一轮训练后用训练数据集训练后的模型在验证集上计算损失来观测验证集上的表现，在最终迭代训练完后，观察验证集上的表现好坏来调整一些超参数。
[7]：然后重复[1]到[6]的过程，选择得到在验证集上表现良好的模型作为最终模型。
步骤S4的测试阶段具体步骤是：
[1]：将训练数据集中的224*224*3图像作为输入传入训练好的模型，经过CNN1、CNN2、FC1网络和FC2网络的计算后最终得到主输出(多标签向量)。
[2]：输出的多标签向量和训练时的不一样，训练时给定的值是0或1，而模型得到的输出向量中的每个值在[0,1]区间，表示开药的概率，设置一个阈值0.3，大于阈值的时候认为开了这个药。
[3]：最后根据事先建立的药品表、阈值和多标签向量，输出相应的药品，最终得到一个中药处方。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (7)

1.一种基于深度学习的舌苔生成中药处方的方法，其特征在于，所述方法包括以下步骤：
S1、用像素矩阵表示病人的舌苔图像，用向量表示病人的中药处方；
S2、以像素矩阵作为输入，向量作为输出，将由像素矩阵和向量组成的数据集分为训练数据集和测试数据集；
S3、使用基于文档主题模型的双通道卷积神经网络对训练数据集进行训练，调整参数迭代多次训练后得到表现良好的神经网络模型；
S4、将测试数据集的像素矩阵输入神经网络模型，生成中药处方。
2.根据权利要求1所述的一种基于深度学习的舌苔生成中药处方的方法，其特征在于：舌苔图像的像素矩阵在输入双通道卷积神经网络模型训练前进行了一定比例的缩小。
3.根据权利要求1所述的一种基于深度学习的舌苔生成中药处方的方法，其特征在于：步骤S1中，表示中药处方的向量有两种，一种是多标签向量，其长度为药品的种类数量，向量值为0或1，1代表中药处方中开了该药，0表示中药处方中未开该药；另一种是基于文档主题模型的向量，其长度为限定的主题种类的数量，向量值为主题与该中药处方的相关程度。
4.根据权利要求3所述的一种基于深度学习的舌苔生成中药处方的方法，其特征在于：所述主题为中药处方的潜在特征。
5.根据权利要求1所述的一种基于深度学习的舌苔生成中药处方的方法，其特征在于：像素矩阵和向量在输入双通道卷积神经网络模型训练前要进行预处理，转换为卷积神经网络需要的格式。
6.根据权利要求3所述的一种基于深度学习的舌苔生成中药处方的方法，其特征在于：步骤S3中，双通道卷积神经网络的主通道输出为多标签向量，辅助通道输出为基于文档主题模型的向量，训练过程中用主通道输出计算主要损失，用辅助通道输出计算辅助损失，将两个损失按一定比例相加作为总损失进行训练；在训练过程中，取训练数据集的一部分作为验证集，剩下数据用来训练，在训练时根据验证集的表现调整参数，进行多次训练迭代，取验证集表现最好的模型作为最后的神经网络模型。
7.根据权利要求1所述的一种基于深度学习的舌苔生成中药处方的方法，其特征在于：步骤S4中，生成的中药处方是根据双通道卷积神经网络模型的主通道输出即多标签向量得到的，需要将多标签向量根据事先建立的药品序号对应表输出中药处方中每个药品的名称。
CN201810412773.9A 2018-05-03 2018-05-03 一种基于深度学习的舌苔生成中药处方的方法 Pending CN108877923A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810412773.9A CN108877923A (zh) 2018-05-03 2018-05-03 一种基于深度学习的舌苔生成中药处方的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810412773.9A CN108877923A (zh) 2018-05-03 2018-05-03 一种基于深度学习的舌苔生成中药处方的方法

Publications (1)

Publication Number Publication Date
CN108877923A true CN108877923A (zh) 2018-11-23

Family

ID=64327515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810412773.9A Pending CN108877923A (zh) 2018-05-03 2018-05-03 一种基于深度学习的舌苔生成中药处方的方法

Country Status (1)

Country Link
CN (1) CN108877923A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816629A (zh) * 2018-12-20 2019-05-28 新绎健康科技有限公司 一种基于k-means聚类的苔质分离方法和装置
CN109994202A (zh) * 2019-03-22 2019-07-09 华南理工大学 一种基于深度学习的人脸生成中药处方的方法
CN110021428A (zh) * 2019-04-03 2019-07-16 北京大学第三医院（北京大学第三临床医学院） 一种利用神经网络提高激光祛斑效果的方法
CN111312356A (zh) * 2020-01-17 2020-06-19 四川大学 一种基于bert和融入功效信息的中药处方生成方法
CN112349427A (zh) * 2020-10-21 2021-02-09 上海中医药大学 一种基于舌象和深度残差卷积神经网络的糖尿病预测方法
CN112652373A (zh) * 2020-12-09 2021-04-13 华南理工大学 一种基于舌头图像检索的处方推荐方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295139A (zh) * 2016-07-29 2017-01-04 姹ゅ钩 一种基于深度卷积神经网络的舌体自诊健康云服务系统
CN107564580A (zh) * 2017-09-11 2018-01-09 合肥工业大学 基于集成学习的胃镜图像辅助处理系统及方法
CN107680683A (zh) * 2017-10-09 2018-02-09 上海睦清视觉科技有限公司 一种ai眼部健康评估方法
CN107863147A (zh) * 2017-10-24 2018-03-30 清华大学 基于深度卷积神经网络的医疗诊断的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295139A (zh) * 2016-07-29 2017-01-04 姹ゅ钩 一种基于深度卷积神经网络的舌体自诊健康云服务系统
CN107564580A (zh) * 2017-09-11 2018-01-09 合肥工业大学 基于集成学习的胃镜图像辅助处理系统及方法
CN107680683A (zh) * 2017-10-09 2018-02-09 上海睦清视觉科技有限公司 一种ai眼部健康评估方法
CN107863147A (zh) * 2017-10-24 2018-03-30 清华大学 基于深度卷积神经网络的医疗诊断的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YANG HU等: "Automatic construction of Chinese herbal prescription from tongue image via convolution networks and auxiliary latent therapy topics", 《网页在线公开：ARXIV.ORG/ABS/1802.02203V1》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816629A (zh) * 2018-12-20 2019-05-28 新绎健康科技有限公司 一种基于k-means聚类的苔质分离方法和装置
CN109816629B (zh) * 2018-12-20 2023-10-13 新绎健康科技有限公司 一种基于k-means聚类的苔质分离方法和装置
CN109994202A (zh) * 2019-03-22 2019-07-09 华南理工大学 一种基于深度学习的人脸生成中药处方的方法
CN110021428A (zh) * 2019-04-03 2019-07-16 北京大学第三医院（北京大学第三临床医学院） 一种利用神经网络提高激光祛斑效果的方法
CN111312356A (zh) * 2020-01-17 2020-06-19 四川大学 一种基于bert和融入功效信息的中药处方生成方法
CN111312356B (zh) * 2020-01-17 2022-07-01 四川大学 一种基于bert和融入功效信息的中药处方生成方法
CN112349427A (zh) * 2020-10-21 2021-02-09 上海中医药大学 一种基于舌象和深度残差卷积神经网络的糖尿病预测方法
CN112652373A (zh) * 2020-12-09 2021-04-13 华南理工大学 一种基于舌头图像检索的处方推荐方法
CN112652373B (zh) * 2020-12-09 2022-10-25 华南理工大学 一种基于舌头图像检索的处方推荐方法

Similar Documents

Publication Publication Date Title
CN108877923A (zh) 一种基于深度学习的舌苔生成中药处方的方法
Meng et al. Liver fibrosis classification based on transfer learning and FCNet for ultrasound images
Hassantabar et al. CovidDeep: SARS-CoV-2/COVID-19 test based on wearable medical sensors and efficient neural networks
EP4002271A1 (en) Image segmentation method and apparatus, and storage medium
CN106295139B (zh) 一种基于深度卷积神经网络的舌体自诊健康云服务系统
Guo et al. Classification of thyroid ultrasound standard plane images using ResNet-18 networks
Chan et al. Texture-map-based branch-collaborative network for oral cancer detection
CN111430025B (zh) 一种基于医疗影像数据扩增的疾病诊断模型训练方法
Lai et al. LCANet: learnable connected attention network for human identification using dental images
Dai et al. Data driven intelligent diagnostics for Parkinson’s disease
CN112365980A (zh) 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统
CN105023023B (zh) 一种用于计算机辅助诊断的乳腺b超图像特征自学习提取方法
WO2021243783A1 (zh) 一种提取b超图像显著纹理特征的方法及其应用
CN115410046A (zh) 基于深度学习的皮肤病舌象分类模型、建立方法及应用
CN113284136A (zh) 一种双损失函数训练的残差网络和XGBoost的医学图像分类方法
CN109978873A (zh) 一种基于中医影像大数据的智能体检系统及其方法
CN109994202A (zh) 一种基于深度学习的人脸生成中药处方的方法
CN110321827A (zh) 一种基于人脸疼痛表情视频的疼痛水平评估方法
KR20110098286A (ko) 퍼지 추론기법을 이용한 한방 자가 진단방법
Agalya et al. Cpro: competitive poor and rich optimizer-enabled deep learning model and holoentropy weighted-power k-means clustering for brain tumor classification using mri
CN113539476A (zh) 基于人工智能的胃内窥活检拉曼图像辅助诊断方法和系统
Joshi et al. Ishemic stroke lesion segmentation by analyzing mri images using dilated and transposed convolutions in convolutional neural networks
CN111951950A (zh) 基于深度学习的三维数据医疗分类系统、方法和装置
Kusuma et al. A Hybrid Model for Skin Disease Classification using Transfer Learning
CN115472258A (zh) 乳腺癌新辅助化疗后mri影像生成及疗效预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181123

RJ01 Rejection of invention patent application after publication