CN107242857A - 基于深度学习的智能中医综合诊疗系统 - Google Patents

Abstract

本发明提出了一种基于深度学习的智能中医综合诊疗系统。按照本发明所构建的智能中医综合诊疗系统应当包括：望诊采集子系统、闻诊采集子系统、问诊采集子系统、脉诊采集子系统，以及综合分析子系统。其中，望诊采集子系统采集患者的面部、舌体等局部图像信息；闻诊采集子系统对患者语音、呼吸、咳嗽等声音信息进行采集；问诊采集子系统采用交互问答方式获取患者症状信息；脉诊采集子系统采集患者的脉搏信号；综合分析子系统采用深度学习相关理论和技术对以上子系统得到的信息数据进行综合分析，得到诊断结果并给出建议处方。本发明实现了中医望、闻、问、切四方面的结合，借助深度学习理论得到全面详实的诊断结果，为患者就诊提供了便利。

Description

基于深度学习的智能中医综合诊疗系统

技术领域

本发明属于远程医疗领域，特别涉及一种基于深度学习的智能中医综合诊疗系统。

背景技术

中医是中华民族数千年智慧的结晶，中医诊断是中医理论的重要组成部分，“望、闻、问、切”是最常见的、也是独具特色的中医诊断方法，通常也被看作是中医辨证施治的缩影，甚至一定程度上成为为中医的代名词。随着现代医学的迅猛发展、国际交流的广泛开展，健康养生理念得到前所未有的重视，中医也逐渐走向了国际化，越来越多的民众认识到中医在很多方面可以弥补西医的不足，开始接受中医理论，学习中医知识。

随着信息技术的快速发展，中医也逐渐与信息技术结合起来，在远程医疗诊断模式中，医生不需要与患者面对面即可进行诊断，为患者提供了方便。然而中医远程诊断技术的发展仍然存在很多局限性，如现有的脉象仪只能获取脉搏跳动的频率、强度等基本信息，无法得到脉宽、脉长以及浮沉度、流利度和紧张度等中医关心的详细信息，也无法给出科学的诊断结果和治疗建议，因此无法满足诊断要求。许多单位研制的舌象仪由于在图像处理或者分析等具体环节技术不够完善，至目前尚未能在临床中推广、普及和应用。现有的中医远程诊断系统功能较为单一，都只关注在切诊中，而没有配合望诊、闻诊和问诊一起对患者进行病情诊断。因此，现代中医领域迫切需要一种能够实现望诊、闻诊、问诊与脉诊相结合的综合诊断系统。

发明内容

本发明针对存在的上述问题提出一种全面的远程智能中医诊疗系统，将中医的望、闻、问、切诊疗手段结合起来对患者进行远程诊疗，而且采用深度学习相关理论和技术进行综合分析；最终得到诊断结果并给出建议处方。

基于上述目的本发明提出了一种基于深度学习的智能中医综合诊疗系统，包括：望诊采集子系统、闻诊采集子系统、问诊采集子系统、脉诊采集子系统和综合分析子系统。

所述望诊采集子系统，用于采集患者的面部、舌体等局部及全身图像信息。包括以下几个模块：

a.视频信号采集模块，以摄像头作为视频采集设备，由计算机控制照明系统以提供稳定光源。

b.视频信号处理模块，接收来自摄像头的视频信号，首先在不影响后续处理的前提下从中截取面部、舌头等关键部位图像，随后借助于基于深度学习理论的图像识别算法进行特征提取，对眼睛、鼻子、舌头、脸颊等重要部位进行定位和划分。再根据相关图像处理算法，提取视频信号中可以辅助专业人员诊断的信息。生成具体的视频信息分析报告，并且存储至自身专家库或者云端数据库，以供综合分析子系统进行后续处理。

所述闻诊采集子系统，用于对患者语音、呼吸、咳嗽等声音信息进行采集。包括以下几个模块：

a.音频信号采集模块，以麦克风作为音频采集设备。

b.音频信号处理模块，接收来自麦克风的音频信号，借助于基于深度学习理论的音频识别算法进行特征提取，将患者的音色，音高，音调等信息存储至自身专家库或者云端数据库，以供综合分析子系统进行后续处理。

所述问诊采集子系统，采用交互问答方式获取患者症状信息。系统已经将中医问诊常用到的问题预先设定好，患者就诊时，系统通过语音问询配合文字提示引导患者以选择或者填空的形式录入个人生理状况相关信息，或可选地以调查问卷的形式提取患者的其他信息。问诊结果中可能包含生活习惯、症状表现以及过往病史等多个方面的信息。在问诊环节中患者还可以手动录入关于望诊、闻诊和脉诊这几个部分的生理信息，作为对其他三个子系统诊断信息的补充。对于问诊信息同样要进行归纳处理，制作问诊信息分析报告，并且存储至自身专家库或者云端数据库，以供综合分析子系统进行后续处理。

所述脉诊采集子系统，用于采集患者的脉搏信号，包括寸、关、尺的浮、中、沉脉搏信号，并进行信号的预处理。具体应包含以下几个模块：

a.脉搏信号采集模块，由单片机控制的脉搏传感器和小型气动加减压装置组成。

所述脉搏传感器分三组附着于一个柔性护腕上，每组由64个微桥传感器标准单元布置成的8×8方形微桥传感器阵列组成。患者通过佩戴该护腕实现传感器与人手取脉位置之间的软接触，使得传感器的三个触头与寸、关、尺三个位置紧密契合，从而检测三个脉搏压力信号。

所述小型气动加减压装置，位于传感器与护腕之间由单片机控制，能够对寸、关、尺三个脉位施以不同的压力，模拟医生“三指并齐”、“举、按、寻、循、俯、仰、总按”的取脉手法，帮助传感器获取不同切脉指力下的脉搏信号。

b.脉搏信号处理与信号调理电路模块，接收来自感器的压力信号，经过放大电路和滤波电路，再由单片机控制的A-D转换模块输出至计算机，由相关软件生成对应的可视化的脉搏波形图，然后借助于脉搏信号处理算法对脉搏数字信号进行特征提取，得到主波上升斜率、脉搏周期、重搏波高度等信息。生成具体的脉搏信息分析报告，并且存储至自身专家库或者云端数据库，以供综合分析子系统进行后续处理。

所述综合分析子系统用于将望诊采集子系统、闻诊采集子系统、问诊采集子系统、脉诊采集子系统得到的信息数据，采用深度学习相关理论和技术进行综合分析；与诊断结果数据库进行关联，得到诊断结果；与药物或处方数据库关联，给出建议处方。

其中综合分析子系统主要包括以下模块：

a.数据预处理模块。它的功能包括：首先对于来自前述各个子系统的各种包含患者生理信息的信号进行数据的降噪，压缩，特征提取和离散化。随后对数据信息进行初级建模并且存储于自身专家库或者云端数据库。并且根据过往收集到的大量中医治疗成功案例中各种常见病症的诊断方法对患者生理特征进行科学分类。

b.数据分析模块。它的作用是：构造一个函数，输入患者的相关生理信息，输出患者的病理信息，实现患者生理信息和病理信息的双向关联。查询诊断结果数据库，给出诊断结果。并且通过算法从与药物或处方数据库中选择适合患者的个性化治疗方案，给出建议处方。

c.结果展示模块。它负责将最终的诊断结果、治疗建议添加时间标签并反馈给患者，内容包括：1个人档案以及就诊季节和时间信息；2该患者的视频信息分析报告；3该患者的音频信息分析报告；4该患者的问诊信息分析报告；5该患者的脉搏信息分析报告；6该患者的最终的诊断结果、个性化诊疗方案以及健康指导建议。

当综合分析子系统与其它子系统共同集成为一体置于本地时，还应当包含自身专家库。自身专家库应当包含就诊病历库、诊断结果数据库和药物或处方数据库。自身专家库应当定期进行系统数据的维护和更新，将保存的个人就诊记录和电子病历定期提交给总服务器。

而当综合分析子系统被置于云端，供多个终端通过网络共享时，还应当包含云端数据库。云端数据库除了具备自身专家库的所有功能之外，还负责收集管理用户的信息以及系统数据的维护和更新，及时将自身专家库保存的个人就诊记录和电子病历定期提交给总服务器，实现全网络下的数据共享。

本发明与现有技术相比具有明显的优点和有益效果，具体可表现在以下四个方面：

1.本发明采用深度学习算法并且加入医疗知识作为辅助分析依据，更加科学地对患者的情况进行分析，针对不同情况的患者人群给出更加合理的诊疗方案和健康指导。

2.本发明综合了中医望、闻、问、切四诊，通过询问患者情况、听患者声音、观察患者面色、舌苔以及采集患者脉搏来进行诊断，并且可以在不需要医生的情况下给出治疗方案或者建议处方，为患者的就诊提供了方便。

3.本发明为每名注册用户建立就诊病历库，保存个人就诊记录、电子病历，方便病人的个人信息管理。并且系统及时更新总数据库，能够把用户此次的诊断报告与以往病历进行比对，进一步了解病人的身体状况走向或病情发展趋势。

4.本发明采用的三组8×8方形微桥传感器阵列，能够准确而且全面采集患者寸、关、尺三个部位在浮、中、沉等不同压力下的脉搏信号，减少单点测量带来的误差。

附图说明

图1为本专利基于深度学习的智能中医综合诊疗系统的结构框图

图2为本专利基于深度学习的智能中医综合诊疗系统的工作方式流程图

图3为本专利的综合分析子系统中应用深度学习理论进行诊断的工作方式流程图

具体实施方式

以下结合附图继续解释本发明的具体实施方式，需要指出的是，本发明的实施不限于以下的实施方式。

如图1所示，本专利所述的一种基于深度学习的智能中医综合诊疗系统，由五大部分组成，包括望诊采集子系统、闻诊采集子系统、问诊采集子系统、脉诊采集子系统和综合分析子系统。

首先，新用户在使用本系统前需要按照提示进行账号注册，在此过程中，用户需填写用户名和密码，系统将记录用户的姓名，年龄，联系方式等基本信息，并将这些基本信息上传到云端数据库或者自身专家库。老用户则凭借账户密码登陆本系统。用户登录本系统后即可借助软件界面提示完成自助诊疗。

随后前述各个子系统协调工作，分别实现“望、闻、问、切”四诊远程诊疗。具体实施方式如下：

望诊采集子系统和综合分析子系统协调工作，实现中医四诊之一的“望诊”，包括以下步骤：

a.视频信号采集。以摄像头作为视频采集设备，由计算机控制照明系统以提供稳定光源，实现对患者身体及局部的视频图像采集。

b.视频信号处理。计算机接收来自摄像头的视频信号后，首先在不影响后续处理的前提下从中截取面部、舌头等关键部位图像，随后借助于基于深度学习的相关视频与图像识别算法，对眼睛、鼻子、舌头、脸颊等重要部位进行定位和划分。最后，根据综合分析子系统提供的相关图像处理算法，提取视频信号中可以辅助专业人员诊断的信息，包括用户的面色，唇色，口鼻的干燥程度等。生成具体的视频信息分析报告，并存储至自身专家库或者云端数据库，以供综合分析子系统进行后续处理。

闻诊采集子系统和综合分析子系统实现中医四诊中的“闻诊”，包括以下步骤：

a.音频信号采集。以麦克风作为音频采集设备，对患者语音、呼吸、咳嗽等声音进行采集。

b.音频信号处理。接收来自麦克风的音频信号，借助于基于深度学习理论的音频识别算法进行特征提取获取音频信号中可以辅助专业人员诊断的信息。例如用户的音色，音高，音调等。生成具体的音频信息分析报告，并存储至自身专家库或者云端数据库，以供综合分析子系统进行后续处理。

问诊采集子系统和综合分析子系统实现中医四诊中的“问诊”，完成问诊信息的采集，其具体工作方式如下：

a.问诊信息采集。自身专家库或者云端数据库中存储有定量的典型的来自于患者的基本信息以及图像，音频和脉搏等生理信息。利用以上信息，组建专业医生团队，结合专业医疗知识，一一作出相应诊断，由此将典型患者的基本信息，生理信息以及病理信息结合起来，由此训练综合分析子系统中的用于模式识别的具体模型以稳定模型中的各项参数，挖掘出与特定病理信息相关的生理信息，形成调查问卷，完成基本信息、生理信息和病理信息的双向关联。当一个新患者前来就诊，系统通过语音问询配合文字提示引导患者以选择或者填空的形式录入个人生理状况相关信息，或可选地以调查问卷的形式提取患者的其他信息。

b.问诊信息处理。问诊结果中可能包含生活习惯、症状表现以及过往病史等多个方面的信息。在问诊环节中患者还可以手动录入关于望诊、闻诊和脉诊这几个部分的生理信息，作为对其他三个子系统诊断信息的补充。对于问诊信息同样要进行归纳处理，制作问诊信息分析报告，并且存储至自身专家库或者云端数据库，以供综合分析子系统进行后续处理。

脉诊采集子系统和综合分析子系统协同工作，实现中医四诊中的“脉诊”，包括以下步骤：

a.脉搏信号采集。脉搏传感器分三组附着于一个柔性护腕上，每组由64个微桥传感器标准单元布置成的8×8方形微桥传感器阵列组成。患者通过佩戴该护腕实现传感器与人手取脉位置之间的软接触，使得传感器的三个触头与寸、关、尺三个位置紧密契合。随后气动加减压装置作用于患者的脉搏采集位置，检测三个脉搏压力信号，并通过传输网络传输。

b.脉搏信号处理。借助基于深度学习理论的脉搏信号处理算对脉搏数字信号进行处理，最后由相关软件生成对应的可视化的脉搏波形图。根据相关脉搏信号处理算法，提取出脉率，脉压等信息。生成具体的脉搏信息分析报告，并存储至自身专家库或者云端数据库，以供综合分析子系统进行后续处理。

综合分析子系统在前述各个子系统完成对患者生理信息的采集后开始工作，采用深度学习相关理论对所采集到的数据进行分析，如图3所示，该系统的工作步骤分为训练和分类两大步骤。训练过程是指在构建了一定的数学模型的基础上，根据大量的已知类别的训练数据和一定的规则调节模型的相关参数，不断的加强该数学模型的精准度，直至训练误差小于某一个阈值。分类过程是指对于全新的未知类别的数据和稳定的数学模型，将这些数据输入模型，以预测数据的类型。对于本发明来说，输入数据即患者相关的来自前述各个子系统的生理信息，而分类结果即患者的病理信息也即诊断结果。该系统的工作包含以下几步：

a.数据预处理。数据预处理模块首先对来自前述各个子系统的各种信号进行数据的降噪处理。接下来，从两种角度对数据进行压缩，其一是对于数据量的压缩，减少其中过于重复和相似的数据项；其二是对于参数量的压缩，尽可能保持信息量基本不变的前提下选择有用的特征，剔除信息熵小于某一阈值的参数，利于模式识别。最后对于前述各种信号，选取连续类型的数字信号，使用基于深度学习的相关理论选取分割点，可选地将这些数据离散化，以方便模式识别。

b.数据分类。数据处理模块对来自数据预处理模块的信息进行初级建模，并根据过往收集到的大量中医治疗成功案例中各种常见病症的诊断方法对患者生理特征进行科学分类。根据不同的源数据，选用准确度最高的模型作为该类数据的分类模型。对于视频信号，利用基于深度学习的图像处理算法对脸颊，眼睛，眼周，唇色，舌像等重要信息进行特征提取，脸颊区域的重要信号包括：脸色，皱纹，痘痕，对称系数，穴位；眼周区域的重要信号包括：颜色，纹路；眼睛区域的重要信号包括：眼球，眼白，眼睑；唇部区域的重要信号包括：唇纹，唇角；舌像区域的重要信号包括：舌神、舌色、舌形、舌态、舌质和苔色，等等。对于音频信号，利用基于深度学习的音频处理算法对患者的音色，音高，音调等信息进行特征提取，对于脉搏信号主要记录脉搏的脉宽，脉长，脉率，力度，节律，频率，充盈度，通畅情况，动势等信息。并将以上信息生成特定格式的数据项存储于自身专家库或者云端数据库。

c.数据分析。此时数据处理模块会构造一个函数，该函数的输入是患者的相关生理信息，输出为患者的病理信息，即利用患者的生理信息进行病理分类，查询诊断结果数据库，给出诊断结果。并且通过算法从与药物或处方数据库中选择适合患者的个性化治疗方案，给出建议处方。主要方法是利用存储于云端数据库的前述数据项训练参数模型，可选地采用遗传算法、贝叶斯决策理论、决策树和神经网络等多种模型，并且加入医疗知识作为辅助分析依据。以下简单介绍两种本发明可采用的分类模型：

(1)遗传算法。遗传算法的工作原理主要是模拟生物学的进化论原理。遗传算法的主要内容包含四个部分：编码方式，适应度函数，遗传方式和参数控制。该算法将原始数据采用一定编码方式编码成二进制数据，不同的二进制数据用以模拟物种中不同的基因型，编码方式应当满足相似的数据在二进制表示上有更多相同的位；适应度函数以基因型作为输入，求解出原始数据在遗传过程中得以保留的几率值；遗传方式主要包括对基因位点的交叉，变异和选择；参数控制指调节算法执行过程中的执行各种遗传方式的几率。该算法经过多次迭代，最终输出原始数据在概率收敛的情况下最有可能的分类结果。

(2)BP人工神经网络。BP(反向传播)人工神经网络是神经网络中使用最为广泛的一种，他通过迭代梯度算法求出前馈网络的输出与期望输出之间的最小均方差值，并反向传递修改误差。随着该步骤不断进行，网络对输入的响应的正确率也不断上升，当参数适当，此过程最终可得到收敛到最小的均方值。

d.显示诊断结果。结果展示模块将最终的诊断结果、治疗建议添加时间标签并反馈给患者，内容包括： 1个人档案以及就诊季节和时间信息；2该患者的视频信息分析报告；3该患者的音频信息分析报告；4该患者的问诊信息分析报告；5该患者的脉搏信息分析报告；6该患者的最终的诊断结果、个性化诊疗方案以及健康指导建议。

在整个诊断过程中，自身专家库和云端数据库负责随时存储和调用用户的生理信息、分析报告，检索诊断结果数据库和药物或处方数据库配合完成对患者的诊断并给出建议处方。还要及时将个人就诊记录和电子病历定期提交给总服务器，同时注意对数据库的更新及升级。

由于云端数据库存储容量有限，而且数据项中容易存在重复或者相近的诊疗方案。综合分析子系统为患者生成的每一个诊疗方案都只会暂存于就诊病历库中，在医生十分认可该诊疗方案或者疗效良好的情况下，该诊疗方案可以被加入数据库长久保存。云端数据库会周期性地，将暂存的诊疗方案的诊疗效果同系统预设的某一个阈值相比较，以此为依据删除治疗效果不佳的诊疗方案。并且数据库会对相似症状的病人的治疗方案进行汇总比对，不断完成自学习。随着系统的推广，获取的病例越来越多，自学习更新速度也就越来越快，系统功能也会得到升级。

需要特别声明的是，以上仅为本发明的一种优选的具体实施而已，并不用以限制本发明，凡在本发明所揭示的知识和方法之内，所做的任何修改、等同变换、改进等，均应包含在本发明的保护范围内。

Claims (8)

1.一种基于深度学习的智能中医综合诊疗系统，其特征在于：包括为基于深度学习的综合诊断提供信息的望诊采集子系统、闻诊采集子系统、问诊采集子系统、脉诊采集子系统，以及基于深度学习进行诊断的综合分析子系统。

2.根据权利要求1所述的望诊采集子系统，其特征在于，用于采集患者的面部、舌体等局部及全身图像信息，也可手动录入相关信息特征，供综合分析子系统使用。

3.根据权利要求1所述的闻诊采集子系统，其特征在于，用于对患者语音、呼吸、咳嗽等声音信息进行采集，也可手动录入相关信息特征，供综合分析子系统使用。

4.根据权利要求1所述的问诊采集子系统，其特征在于，采用交互问答方式获取患者症状信息，供综合分析子系统使用。

5.根据权利要求1所述的脉诊采集子系统，其特征在于，用于采集患者的脉搏信号，包括寸、关、尺的浮、中、沉脉搏信号，供综合分析子系统使用。

6.根据权利要求1所述的综合分析子系统，其特征在于，用于将望诊采集子系统、闻诊采集子系统、问诊采集子系统、脉诊采集子系统得到的信息数据，采用深度学习相关理论和技术进行综合分析；与诊断结果数据库进行关联，得到诊断结果；与药物或处方数据库关联，给出建议处方。

7.根据权利要求1和6所述的综合分析子系统，其特征在于，综合分析子系统及其关联的数据库既可以与其它子系统共同集成为一体，形成独立的综合诊疗系统，也可以将其它子系统集成为终端，而将综合分析子系统及其关联的数据库置于云端，供多个终端通过网络共享。

8.根据权利要求1、6和7所述的综合分析子系统，其特征在于，最初的综合分析算法采用大量样本进行训练而成，其后在使用过程中，通过自学习和人工干预不断提高和完善，并进行升级。