CN106778047A - 一种基于多维度医学图像的中医面诊综合系统 - Google Patents

Abstract

本发明涉及一种基于多维度医学图像的中医面诊综合系统，包括：面诊图像采集模块、模拟自然光人脸图像处理模块、面部红外热像处理模块、面部光电血管容积图处理模块、检索与匹配模块以及系统主界面，其中模拟自然光人脸图像处理模块、面部红外热像处理模块和面部光电血管容积图处理模块均与面诊图像采集模块以及检索匹配模块分别相连，检索匹配模块与系统主界面通信相连。本发明不仅实现模拟自然光条件下的人脸整体与子区域特征信息分析，而且实现了面部热态温度数据、面部血流容积等特征信息辅助诊断，最后根据中医临床经验进行综合诊断，得到更加准确、客观的定性诊断结果，实现中医面诊的标准化与客观化。

Description

一种基于多维度医学图像的中医面诊综合系统

技术领域

本发明涉及中医诊断数字化、、医学红外影像、医学光电技术、计算机医学图像处理和模式识别等技术领域，具体是一种基于多维度医学图像的中医面诊综合系统。

背景技术

中医面诊是中医诊断中经常使用的诊断方法，中医认为面部能够比较全面地反映身体的健康情况，面部又可以分为若干个部分，与脏腑属于分属关系，每个反射区均能够不同程度地反映身体整体状况。传统的面诊主要是医生直接目测诊察，结果与医生的临床经验有着密切的关系，主观依赖性强，同时容易受到光照条件等外界环境干扰因素的影响，缺乏一定的客观量化标准。这些可能出现的误差严重影响中医面诊的规范性与客观性，因此迫切地需要一种新的方法，实现中医面诊的自动化与客观化，促进中医面诊的应用和进一步发展。

随着计算机技术的不断发展，医学图像处理、模式识别、人工智能等技术已经应用到中医面诊数字化之中，实现了中医面诊的标准化与客观化，并取得了一定的成果。通过查阅大量的资料，目前的中医面诊系统主要是通过对面部颜色、光泽和口唇等进行定性的特征分析，并且已经取得了一定的成果，如专利号为CN103034775B的中国发明专利，提出了比较完整的中医面诊分析与诊断系统，但是面诊图像主要是在单一的模拟自然光条件下采集的人脸图像，实验结果具有一定的局限性，容易受到化妆品、汗渍等外在条件的影响，同时在电磁频谱中，自然可见光的范围极其窄，严重影响面诊结果的准确性，限制了中医面诊数字化的发展。

本发明主要依据中医面诊理论，从模拟自然光人脸图像、面部红外热像、面部光电血管容积图三个方面进行综合特征分析，实现面部多维度并行诊断，同时为中医大夫提供多维度面部定量分析数据，辅助中医临床诊断，对医学临床、科研教学等方面有着重大的意义，将会极大地推动中医诊断客观化与标准化的发展，有着广泛的发展前景。

发明内容

本发明为了克服现有技术中存在的上述缺陷，提供了一种基于多维度医学图像的中医面诊综合系统，对模拟自然光条件下采集的人脸图像进行面部区域分割与特征分析，获取面部整体与子区域的颜色、光泽、润燥和口唇等特征；对面部红外热像进行特征分析，获取面部热态温度数据；同时分析面部光电血管容积图，获取面部血流容积特征，通过多维度面部特征数据量化分析，实现中医面诊客观化与数字化，提高中医面诊的准确性与规范性。

为解决上述问题，本发明提出的基于多维度医学图像的中医面诊综合系统包括：面诊图像采集模块、模拟自然光人脸图像处理模块、面部红外热像处理模块、面部光电血管容积图处理模块、检索匹配模块以及系统主界面。

所述面诊图像采集模块与多维度中医面诊采集装置相连接，通过计算机网络通信实现采集面诊图像的无线传输，获取模拟自然光人脸图像、面部红外热像以及面部光电血管容积图，为后续的医学图像处理与特征综合分析提供多维图像来源，并将获取的多维图像直接显示在系统软件主界面，方便医生进行对比性判断与综合诊断。

所述模拟自然光人脸图像处理模块对模拟自然光条件下获取的人脸图像进行人脸检测与区域分割、关键点定位、子区域划分、特征提取等医学图像处理，为中医面部诊断提供重要的特征依据，具体步骤如下：

1)人脸检测与分割

为了进行人脸图像的处理与分析，首先要从采集图像中检测出人脸的位置，进行人脸检测与分割，提取人脸面部图像。目前，人脸检测与分割的技术已经非常的成熟，尤其是在人脸识别等技术领域。目前有关中医面诊的人脸分割方法主要有肤色模型法、Haar特征的人脸检测法、活动轮廓模型法等。本发明使用的是基于Haar特征的AdaBoost人脸检测技术，从而去除了复杂背景的干扰，缩小后期的处理范围，同时该算法的速度特别快，处理一幅人脸图像的时间大概在10ms-100ms之间。

2)关键点定位与子区域分割

本发明根据中医面诊理论知识，结合有多年中医临床面诊经验的知名专家指导意见，对人脸进行子区域划分。首先进行人眼定位、嘴角定位、其他关键点定位，然后根据关键点的位置以及先验的位置关系等辅助条件，将人脸划分为5个子区域，每个划分部分对应了不同的内脏器官，对应分区的颜色、光泽、润燥等特征信息可以反应不同内脏器官的健康状况。

3)各区域特征提取

整体区域特征提取、首先对人脸整体进行面部颜色分析、面部光泽分析以及唇色分析等，获取面部颜色特征、面部光泽特征以及口唇的颜色和纹理等特征，为计算机自动面诊提供重要的诊断依据。

子区域特征提取、为了更加准确地进行中医面部诊断，本发明对每个子区域进行了单独的特征分析，提取每个子区域的颜色、光泽、润燥等重要的特征信息，以更加有针对性地进行特征提取与后续的自动化面诊，极大提高了自动面诊的准确性。

所述面部红外热像处理模块通过分析多维度采集设备采集的面部红外热像，获取面部连续的、动态的红外信息，同时获取面部整体与子区域的热态温度数据等特征信息，为自动化中医面诊提供重要的诊断依据。该模块能够将面部红外热像传输给系统主界面，为医生综合诊断提供直观的依据。

所述面部光电血管容积图处理模块对面部光电血管容积图进行分析。根据传统中医色诊，整体的生理病理是通过心血管、面部血液等因素在面部皮肤表面反映，本发明通过面部光电血管容积图，分析皮肤脉络的流态、流速、容积等信息，获取面部血管和周围组织的多维信息，为中医自动化面诊提供重要的诊断依据。如同面部红外热像处理模块，该模块同样能够将面部光电血管容积图传输给系统主界面，为医生综合诊断提供直观的依据。

所述检索匹配模块首先将模拟自然光人脸图像处理模块、面部红外热像处理模块、面部光电血管容积图处理模块获取的面诊信息进行综合分析，得到面部全局与子区域的综合特征信息，然后将获取的综合特征信息与标准化样本特征信息数据库进行特征匹配与加权相似度计算，然后准确地将综合特征信息以及计算机辅助诊断结果反馈给系统主界面。医生根据得到的自动化诊断信息以及综合特征信息，结合自己的临床经验，最后进行综合的诊断，并给出具体的诊断结果，最终实现数字化中医面诊。

本发明提出的基于多维度医学图像的中医面诊综合系统的具体工作流程如下：

1)首先系统通过图像采集模块与多维度中医面诊采集装置相连接，通过计算机网络无线传输技术，获取模拟自然光人脸图像、面部红外热像以及面部光电血管容积图；

2)模拟自然光人脸图像处理模块对模拟自然光人脸图像进行人脸检测与分割，对分割后得到的面部图像进行关键划分点定位，并结合先验知识，对面部图像进行子区域划分；同时对面部整体区域与子区域进行特征提取，获取面部颜色、光泽、润燥、唇色等特征信息；

3)面部红外热像处理模块对面部红外热像进行分析处理，获取面部整体与局部的热态温度数据，为面诊综合系统提供连续、动态的面部红外信息；

4)面部光电血管容积图处理模块对面部光电血管容积图分析处理，获取面部整体与局部的光电血流容积特征信息，为面诊综合系统提供重要的特征信息，进行面部辅助诊断；

5)检索匹配模块综合上述步骤中面部颜色、光泽、润燥、唇色等特征信息、热态温度数据、面部光电血流容积等综合特征，与面诊特征数据库进行局部与全局多维度特征信息匹配和相似度的计算，反馈给系统软件界面自动化面部诊断信息；

6)系统主界面对模拟自然光人脸图像、面部红外热像以及面部光电血管容积图进行直观显示，为医生提供最原始的诊断依据，同时界面显示自动化面部诊断的全部特征信息参数和参考性诊断结果，然后医生根据临床经验，进行综合判断，得到面部诊断报告。

本发明与现有技术方案相比具有以下有益效果和优点：

相对于现有的中医面部诊断系统，本发明提出的基于多维度医学图像的中医面诊综合系统与中医面诊采集装置相连接，能够通过计算机网络无线传输获取面部图像，对面部图像进行子区域划分，不仅实现模拟自然光条件下的人脸整体与子区域颜色、光泽、口唇颜色特征信息分析，而且增加了面部红外热像处理模块和面部光电血管容积图处理模块，实现面部热态温度数据、面部血流容积等特征信息辅助诊断，最后根据中医临床经验进行综合诊断，得到更加准确、客观的定性诊断结果，实现中医面诊的标准化与客观化。

附图说明

图1为本发明的基于多维度医学图像的中医面诊综合系统结构示意图。

图2为本发明面部区域分割的具体流程图。

图3为本发明面部红外热像图。

图4为本发明光电血管容积图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步的详细描述：

如图1、图2、图3和图4所示，本实施例中，本发明提出的基于多维度医学图像的中医面诊综合系统，包括：面诊图像采集模块、模拟自然光人脸图像处理模块、面部红外热像处理模块、面部光电血管容积图处理模块、检索匹配模块以及系统主界面，其中模拟自然光人脸图像处理模块、面部红外热像处理模块和面部光电血管容积图处理模块均与面诊图像采集模块以及检索匹配模块分别相连，检索匹配模块与系统主界面通信相连，各个部分之间相互协作，共同构成了整个基于多维度医学图像的中医面诊综合系统。

图像采集模块利用计算机网络传输技术，系统直接与多维度面诊采集装置无线连接，更加方便的获取面部诊断图像，移动性更强，同时进行标准化光照条件，以及面部红外图像、面部光电血管容积图的辅助诊断，极大地提高了诊断结果的准确性。

模拟自然光人脸图像处理模块利用类Haar特征的方法，使用AdaBoost级联分类方法构建基于多级分类器的人脸检测算法，同时为了更加准确地进行人脸检测，嵌套人眼检测技术，使得人脸检测准确率高达98.9％。

模拟自然光人脸图像处理模块采用基于Gabor小波变换的方法进行人眼定位，该方法鲁棒性特别强，能够较好的排除表情、姿势、角度、光照条件等干扰因素的影响，从而满足中医面诊的要求，能够准确地定位出人眼的位置，具体检测步骤如下：

a)对人脸检测与分割之后获取的面部图像进行图像预处理，完成直方图归一化处理；

b)对所得的直方图归一化图像进行Gabor小波变换；

c)对人脸的上半部分进行灰度投影，确定人眼的位置。

面部红外热像处理模块采用面部红外热像分析，获取面部各个区域的热态温度数据，为自动化面诊提供可靠的面部温度数据，各种疾病所产生的局部新陈代谢的异常活跃与减低与面部温差，为诊断疾病提供客观的依据，同时将面部红外热像传输至系统主界面，医生能够直观地观察被诊断者面部的温度数据。

面部光电血管容积图处理模块采用面部光电血管容积分析，获取面部各个区域的光电血管容积各指标信息，为自动化面诊提供可靠的面部血流容积数据，同时将面部光电血管容积图传输至系统主界面，使医生能够直观地观察被诊断者面部的光电血流容积信息，辅助面部诊断。

检索匹配模块采用多分类向量机来对面诊综合特征向量识别归类，使用多类支撑向量机算法建立分类模型，通过多类SVM对面诊信息进行识别归类，计算输入面诊特征信息与数据库中面诊特征信息的相似度，得到检索具体的顺序结果，为医生提供客观定量的诊断依据，用于临床医学、辅助医学诊断、教学科研等领域的相关研究工作。

系统主界面提供医生综合诊断功能，医生可以参考面诊图像采集模块获取的模拟自然光人脸图像、面部红外热像、面部光电容积图、子区域图像以及图像分析与处理后得到的具体的各个特征数据信息、相似度计算结果等进行综合的评判，结合医生的临床经验与被诊断者的实际情况，做出综合的诊断结果，实现中医面诊的综合性科学诊断。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围中。

Claims (4)

1.一种基于多维度医学图像的中医面诊综合系统，用于与多维度中医面诊采集装置无线连接，其特征在于，所述的基于多维度医学图像的中医面诊综合系统包括：面诊图像采集模块、模拟自然光人脸图像处理模块、面部红外热像处理模块、面部光电血管容积图处理模块、检索匹配模块以及系统主界面，所述面诊图像采集模块用于与多维度中医面诊采集装置无线连接，为系统提供模拟自然光人脸图像、面部红外热像以及面部光电血管容积图；所述模拟自然光人脸图像处理模块主要对模拟自然光条件下获取的人脸图像进行医学图像处理，为中医面部诊断提供重要的特征依据；所述面部红外热像处理模块主要分析面部红外热像，获取面部连续的、动态的红外信息以及热态温度数据；所述面部光电血管容积图处理模块主要分析面部光电血管容积图，分析皮肤脉络的流态、流速、容积，获取面部血管和周围组织的多维特征信息；所述模拟自然光人脸图像处理模块、面部红外热像处理模块和面部光电血管容积图处理模块共同组成了图像处理与分析模块，所述图像处理与分析模块的输入端均与所述面诊图像采集模块通信相连，所述图像处理与分析模块的输出端与所述检索匹配模块通信相连，所述检索匹配模块与所述系统主界面通信通信相连，所述检索匹配模块对所述图像处理与分析模块获取的面诊信息进行综合分析并与标准化样本特征信息数据库进行特征匹配与加权相似度计算得出计算机自动诊断结果，并将得到的综合特征信息以及计算机自动诊断结果反馈到所述系统主界面，最后医生根据得到综合特征信息以及计算机自动诊断结果，结合自己的临床经验，进行综合的诊断，最终实现数字化中医面诊。

2.根据权利要求1所述的基于多维度医学图像的中医面诊综合系统，其特征在于，所述模拟自然光人脸图像处理模块包括人脸检测与分割子模块、关键点定位与子区域分割子模块以及各区域特征提取子模块，其中，所述人脸检测与分割子模块从多维面诊图像中检测出人脸的位置，进行人脸检测与分割，提取人脸面部图像；所述关键点定位与子区域分割子模块对面部图像进行关键点定位与子区域划分；所述各区域特征提取子模块对面部整体区域与子区域进行特征提取，获取面部颜色特征、面部光泽特征以及口唇的颜色和纹理特征。

3.根据权利要求1所述的基于多维度医学图像的中医面诊综合系统，其特征在于，所述系统主界面的功能包括：显示原始模拟自然光人脸图像、面部红外热像以及面部光电血管容积图，提供原始诊断依据；获取并显示面部综合特征信息参数以及计算机自动化面诊结果，辅助中医面诊；医生综合诊断，结合多方位、多维度综合特征信息，输出最终诊断报告。

4.根据权利要求1所述的基于多维度医学图像的中医面诊综合系统，其特征在于，所述人脸检测与分割子模块采用基于Haar特征的AdaBoost人脸检测技术。