CN106971147A - 一种基于人脸区域分割的中医面诊系统及面诊方法 - Google Patents
一种基于人脸区域分割的中医面诊系统及面诊方法 Download PDFInfo
- Publication number
- CN106971147A CN106971147A CN201710126296.5A CN201710126296A CN106971147A CN 106971147 A CN106971147 A CN 106971147A CN 201710126296 A CN201710126296 A CN 201710126296A CN 106971147 A CN106971147 A CN 106971147A
- Authority
- CN
- China
- Prior art keywords
- facial
- image
- face
- facial diagnosis
- diagnosis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 178
- 238000003745 diagnosis Methods 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims description 11
- 238000004458 analytical method Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims abstract description 19
- 238000011524 similarity measure Methods 0.000 claims abstract description 4
- 210000001508 eye Anatomy 0.000 claims description 18
- 210000004709 eyebrow Anatomy 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 238000005192 partition Methods 0.000 claims description 6
- 238000012706 support-vector machine Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 201000010099 disease Diseases 0.000 claims description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 3
- 210000001061 forehead Anatomy 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims description 3
- 230000002503 metabolic effect Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000010191 image analysis Methods 0.000 claims 2
- 230000010354 integration Effects 0.000 claims 1
- 230000002596 correlated effect Effects 0.000 abstract description 2
- 238000007405 data analysis Methods 0.000 abstract description 2
- 238000004445 quantitative analysis Methods 0.000 abstract 1
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 239000003814 drug Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 210000001835 viscera Anatomy 0.000 description 2
- 241001300078 Vitrea Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4854—Diagnosis based on concepts of traditional oriental medicine
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Artificial Intelligence (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Biodiversity & Conservation Biology (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Alternative & Traditional Medicine (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明涉及一种基于人脸区域分割的中医面诊系统，包括：图像采集模块获取人脸图像以及面部红外图像；图像处理分析模块对得到的人脸图像进行人脸检测与分割和子区域划分；面部红外热像分析子模块对面部红外热像进行定量分析，获取面部热态温度数据；检索匹配模块将从面部整体区域与子区域中提取的综合特征信息和面部热态温度数据与面诊特征数据库进行局部和全局的特征匹配以及相似度计算，并将具体的自动化诊断信息返回给面诊系统主界面。本发明对面部图像进行子区域划分，实现人脸整体特征信息与子区域相关特征信息的综合分析，同时增加了红外面部热像热态温度数据分析，能得到更加准确的定性诊断结果，实现中医面诊的标准化与客观化。
Description
技术领域
本发明涉及中医诊断数字化、医学红外热像技术、计算机医学图像处理技术领域，具体涉及一种基于人脸区域分割的中医面诊系统。
背景技术
中医面诊是中医诊断中经常使用的诊断方法，中医认为面部能够比较全面地反映身体的健康情况，面部又可以分为若干个部分，与脏腑属于分属关系，每个反射区均能够不同程度地反映身体整体状况。传统的面诊主要是医生直接目测诊察，结果与医生的临床经验有着密切的关系，主观依赖性强，同时容易受到光照条件等外界环境干扰因素的影响，缺乏一定的客观量化标准。这些可能出现的误差严重影响中医面诊的规范性与客观性，因此迫切地需要一种新的方法，实现中医面诊的自动化与客观化，促进中医面诊的应用和进一步发展。
随着计算机技术的不断发展，医学图像处理、模式识别、人工智能等技术已经应用到中医面诊数字化之中，实现了中医面诊的标准化与客观化，并取得了一定的成果。所谓“相由心生”，内在五脏六腑的病理变化或是心理变化，终会表现在脸上的相关区域，所以面部望诊最能洞察病机、掌握病情。通过查阅大量的资料，目前的中医面诊系统主要是通过对面部颜色、光泽、润燥和口唇等进行定性的特征分析，虽然已经取得了一定的成果，但是缺乏诊断针对性，同时在电磁频谱中，自然可见光的范围极其窄，严重影响面诊结果的准确性，限制了中医面诊数字化的发展。
发明内容
本发明为了克服现有技术中存在的上述缺陷，提供了一种基于人脸区域分割的中医面诊系统及面诊方法。
为解决上述问题，本发明提出的基于人脸区域分割的中医面诊系统，包括：图像采集模块、图像处理分析模块、检索匹配模块以及面诊系统主界面四大模块，其中图像处理分析模块由人脸检测分割子模块、关键点定位与子区域分割子模块、特征提取子模块和面部红外热像分析子模块组成；所述图像采集模块与所述图像处理分析模块通过计算机无线网络相连，所述图像处理分析模块与所述检索匹配模块通信相连，所述检索匹配模块与所述面诊系统主界面通信相连；
所述图像采集模块通过面诊采集装置在标准光源环境照明条件下直接获取受诊者的自然光面诊图像，同时通过面诊采集装置的红外模式功能获取面部红外热像，并将采集的自然光面诊图像和面部红外热像传输到所述图像处理分析模块以及面诊系统主界面；
所述人脸检测分割子模块采用基于Haar特征的AdaBoost算法对所述图像处理分析模块接收的面诊图像进行人脸检测，该算法具有检测速度快，检测准确率高的特点；
所述关键点定位与子区域分割子模块对位于人眼、嘴巴、鼻子和眉毛四个关键部位的关键点进行定位并根据这些关键点以及先验位置关系将面部区域分割为前额区域、左眼区域、右眼区域、鼻子区域、左脸颊区域、右脸颊区域、上唇区域、下唇区域共八个子区域；
所述特征提取子模块通过支持向量机(SVM)对面诊图像整体进行面部颜色分析、面部光泽分析以及唇色分析，获取RGB、HIS、Lab多颜色空间下的面部颜色特征、面部光泽特征以及口唇的颜色和纹理，为数字化面诊提供客观的诊断依据；对每个子区域进行单独的特征分析，提取每个子区域的关于颜色、光泽、润燥的特征信息；
所述面部红外热像分析子模块通过对面诊采集装置获取的面部红外热像进行定量分析，根据各种疾病所产生的局部新陈代谢的异常活跃或减低与面部温差的关系，获取面部连续的、动态的红外信息，同时获取面部子区域的热态温度数据特征信息，为自动化中医面诊提供重要的诊断依据；
所述检索与匹配模块首先将获取的面诊信息进行综合分析，得到面部全局与子区域的综合特征信息，然后将获取的综合特征信息以及面部红外热像特征信息与标准化样本特征信息数据库进行特征匹配与加权相似度计算，最后准确地将综合特征信息、以及计算机辅助诊断结果反馈给面诊系统主界面模块；
所述的面诊系统主界面为医生呈现原始面诊图像、面诊综合特征信息以及计算机辅助诊断结果，医生结合自己的临床经验，最后进行综合的诊断，并给出具体的诊断结果，最终实现数字化中医面诊。
上述方案中，人眼定位的具体步骤如下：
步骤一、对人脸检测与分割之后获取的面部图像进行图像预处理，完成直方图归一化处理；
步骤二、对步骤一所得的直方图归一化图像进行Gabor小波变换；
步骤三、对人脸的上半部分进行灰度投影，确定人眼的位置。
上述方案中，嘴角定位的具体步骤如下：
步骤一、对面部图像进行光线补偿，改善彩色偏差；
步骤二、根据先验经验，嘴角位于人脸的偏下部分，因此限定搜索的范围，然后采用基于Hear特征的AdaBoost分类器对嘴部进行目标检测与粗略的定位；
步骤三、采用利用YIQ唇色模型进行嘴唇分割，通过形态学处理后，获得嘴角的位置。
上述方案中，鼻子和眉毛的具体定位方法为：将人脸图像进行灰度化处理，然后在做水平方向积分投影，得到积分曲线，再次进行局部的积分投影，然后根据相关波峰与波谷的位置，结合眼睛与嘴角的位置以及各区域划分关键点的先验比例关系，判定鼻翼和眉峰的具体位置。
一种基于人脸区域分割的中医面诊系统的面诊方法，包括以下步骤：
步骤一、系统通过所述图像采集模块和计算机网络无线传输技术获取人脸图像以及面部红外热像；
步骤二、图像处理分析模块对得到的人脸图像进行人脸检测与分割，对分割后得到的面部图像进行关键划分点定位，并结合先验知识，对面部图像进行子区域划分，然后获取面诊综合特征以及面部热态温度数据；
步骤三、所述检索匹配模块对面部整体区域和子区域的面诊综合特征和面部热态温度数据进行特征提取后与系统特征数据库中的标准化样本特征信息进行局部和全局的特征匹配以及相似度计算，并将具体的自动化诊断信息返回到所述面诊系统主界面上；
步骤四、医生根据所述面诊系统主界面上呈现的原始面诊图像、自动化诊断信息、具体情况，结合临床经验进行综合判断，得到最终的面部诊断报告。
本发明与现有技术方案相比具有以下有益效果和优点：
相对于现有的中医面部诊断系统，本发明通过与中医面诊采集装置相连接，能够通过计算机网络无线传输获取面部图像，对面部图像进行子区域划分，实现人脸整体颜色、光泽以及口唇颜色特征信息与子区域相关特征信息的综合分析，同时增加了面部红外热像热态温度数据分析，最后根据中医综合诊断，得到更加准确的定性诊断结果，实现中医面诊的标准化与客观化。
本发明主要依据在中医面诊理论中，不同的面部区域映射不同的内脏器官，对采集的人脸进行面部区域分割，同步分析结合面部整体与各子区域的颜色、光泽、润燥和口唇特征，实现局部与整体并行诊断，同时增加了面部红外热像的分析，获取面部热态温度数据，极大的提高了中医面诊的规范化与客观化。该系统可以为中医大夫提供客观的局部与全局面部区域定量分析数据，辅助中医临床诊断，对医学临床、科研教学等方面有着重大的意义，将会极大地推动医疗诊断客观化与标准化的发展，有着广泛的发展前景。
附图说明
图1是本发明提出的基于人脸区域分割的中医面诊系统结构示意图。
图2为本发明面部区域分割的具体流程图。
图3位本发明嘴角定位具体流程图。
图4为本发明划分点定位与子区域划分的具体结果示例图。
图5为本发明人眼定位与嘴角定位的具体结果示例图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细描述：
如图1、图2、图3、图4和图5所示，本实施例中的基于人脸区域分割的中医面诊系统，包括：图像采集模块、图像处理分析模块、检索匹配模块以及面诊系统主界面四大模块，其中图像处理分析模块由人脸检测分割子模块、关键点定位与子区域分割子模块、特征提取子模块和面部红外热像分析子模块组成；图像采集模块与图像处理分析模块通过计算机无线网络相连，图像处理分析模块与检索匹配模块通信相连，检索匹配模块与面诊系统主界面通信相连；
图像采集模块通过面诊采集装置在标准光源环境照明条件下直接获取受诊者的自然光面诊图像，同时通过面诊采集装置的红外模式功能获取面部红外热像，并将采集的自然光面诊图像和面部红外热像传输到所述图像处理分析模块以及面诊系统主界面；
人脸检测分割子模块采用基于Haar特征的Adaboost算法对图像处理分析模块接收的面诊图像进行人脸检测，该算法具有检测速度快，检测准确率高的特点；
关键点定位与子区域分割子模块对位于人眼、嘴巴、鼻子和眉毛四个关键部位的关键点进行定位并根据这些关键点以及先验位置关系将面部区域分割为前额区域、左眼区域、右眼区域、鼻子区域、左脸颊区域、右脸颊区域、上唇区域、下唇区域共八个子区域；
特征提取子模块通过支持向量机(SVM)对面诊图像整体进行面部颜色分析、面部光泽分析以及唇色分析，获取RGB、HIS、Lab多颜色空间下的面部颜色特征、面部光泽特征以及口唇的颜色和纹理，为数字化面诊提供客观的诊断依据；对每个子区域进行单独的特征分析，提取每个子区域的关于颜色、光泽、润燥的特征信息；
面部红外热像分析子模块通过对面诊采集装置获取的面部红外热像进行定量分析，根据各种疾病所产生的局部新陈代谢的异常活跃或减低与面部温差的关系，获取面部连续的、动态的红外信息，同时获取面部子区域的热态温度数据特征信息，为自动化中医面诊提供重要的诊断依据；
检索与匹配模块首先将获取的面诊信息进行综合分析，得到面部全局与子区域的综合特征信息，然后将获取的综合特征信息以及面部红外热像特征信息与标准化样本特征信息数据库进行特征匹配与加权相似度计算，最后准确地将综合特征信息、以及计算机辅助诊断结果反馈给面诊系统主界面模块；
面诊系统主界面为医生呈现原始面诊图像、面诊综合特征信息以及计算机辅助诊断结果，医生结合自己的临床经验，最后进行综合的诊断，并给出具体的诊断结果，最终实现数字化中医面诊。
人眼定位的具体步骤如下：
步骤一、对人脸检测与分割之后获取的面部图像进行图像预处理，完成直方图归一化处理；
步骤二、对步骤一得到的直方图归一化图像进行Gabor小波变换；
步骤三、对人脸的上半部分进行灰度投影，确定人眼的位置。
嘴角定位的具体步骤如下：
步骤一、对面部图像进行光线补偿，改善彩色偏差；
步骤二、根据先验经验，嘴角位于人脸的偏下部分，因此限定搜索的范围，然后采用基于Haar特征的AdaBoost分类器对嘴部进行目标检测与粗略的定位；
步骤三、采用利用YIQ唇色模型进行嘴唇分割，通过形态学处理后，获得左右嘴角的位置。
鼻子和眉毛的具体定位方法为：将人脸图像进行灰度化处理，然后在做水平方向积分投影，得到积分曲线，再次进行局部的积分投影，然后根据相关波峰与波谷的位置，结合眼睛与嘴角的位置以及各区域划分关键点的先验比例关系，判定左鼻翼、右鼻翼、左眉峰和右眉峰的具体位置。
一种基于人脸区域分割的中医面诊系统的面诊方法，包括以下步骤：
步骤一、系统通过图像采集模块和计算机网络无线传输技术获取人脸图像以及面部红外图像；
步骤二、图像处理分析模块对得到的人脸图像进行人脸检测与分割，对分割后得到的面部图像进行关键划分点定位，并结合先验知识，将面部图像划分成八个子区域；
步骤三、检索匹配模块对面部整体区域和子区域的面诊综合特征和面部热态温度数据进行特征提取后与系统特征数据库中的标准化样本特征信息进行局部和全局的特征匹配以及相似度计算，并将具体的自动化诊断信息返回到所述面诊系统主界面上；
步骤四、医生根据所述面诊系统主界面上呈现的原始面诊图像、自动化诊断信息、具体情况，结合临床经验进行综合判断，得到最终的面部诊断报告。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围中。
Claims (5)
1.一种基于人脸区域分割的中医面诊系统，其特征在于，包括：图像采集模块、图像处理分析模块、检索匹配模块以及面诊系统主界面四大模块，其中图像处理分析模块由人脸检测分割子模块、关键点定位与子区域分割子模块、特征提取子模块和面部红外热像分析子模块组成；所述图像采集模块与所述图像处理分析模块通过计算机无线网络相连，所述图像处理分析模块与所述检索匹配模块通信相连，所述检索匹配模块与所述面诊系统主界面通信相连；
所述图像采集模块通过面诊采集装置在标准光源环境照明条件下直接获取受诊者的自然光面诊图像，同时通过面诊采集装置的红外模式功能获取面部红外热像，并将采集的自然光面诊图像和面部红外热像传输到所述图像处理分析模块以及面诊系统主界面；
所述人脸检测分割子模块采用基于Haar特征的AdaBoost算法对所述图像处理分析模块接收的面诊图像进行人脸检测；
所述关键点定位与子区域分割子模块对位于人眼、嘴巴、鼻子和眉毛四个关键部位的关键点进行定位并根据这些关键点以及先验位置关系将面部区域分割为前额区域、左眼区域、右眼区域、鼻子区域、左脸颊区域、右脸颊区域、上唇区域、下唇区域共八个子区域；
所述特征提取子模块通过支持向量机对面诊图像整体进行面部颜色分析、面部光泽分析以及唇色分析，获取RGB、HIS、Lab多颜色空间下的面部颜色特征、面部光泽特征以及口唇的颜色和纹理；对每个子区域进行单独的特征分析，提取每个子区域的关于颜色、光泽、润燥的特征信息；
所述面部红外热像分析子模块通过对面诊采集装置获取的面部红外热像进行定量分析，根据各种疾病所产生的局部新陈代谢的异常活跃或减低与面部温差的关系，获取面部连续的、动态的红外信息，同时获取面部子区域的热态温度数据特征信息，为自动化中医面诊提供重要的诊断依据；
所述检索与匹配模块首先将获取的面诊信息进行综合分析，得到面部全局与子区域的综合特征信息，然后将获取的综合特征信息以及面部红外热像特征信息与标准化样本特征信息数据库进行特征匹配与加权相似度计算，最后准确地将综合特征信息、以及计算机辅助诊断结果反馈给面诊系统主界面模块；
所述的面诊系统主界面为医生呈现原始面诊图像、面诊综合特征信息以及计算机辅助诊断结果。
2.根据权利要求1所述的基于人脸区域分割的中医面诊系统，其特征在于，人眼定位的具体步骤如下：
步骤一、对人脸检测与分割之后获取的面部图像进行图像预处理，完成直方图归一化处理；
步骤二、对步骤一所得的直方图归一化图像进行Gabor小波变换；
步骤三、对人脸的上半部分进行灰度投影，确定人眼的位置。
3.根据权利要求1所述的基于人脸区域分割的中医面诊系统，其特征在于，嘴角定位的具体步骤如下：
步骤一、对面部图像进行光线补偿，改善彩色偏差；
步骤二、根据先验经验，嘴角位于人脸的偏下部分，因此限定搜索的范围，然后采用基于Haar特征的AdaBoost分类器对嘴部进行目标检测与粗略的定位；
步骤三、采用利用YIQ唇色模型进行嘴唇分割，通过形态学处理后，获得嘴角的位置。
4.根据权利要求1所述的基于人脸区域分割的中医面诊系统，其特征在于，鼻子和眉毛的具体定位方法为：将人脸图像进行灰度化处理，然后再做水平方向积分投影，得到积分曲线，再次进行局部的积分投影，然后根据相关波峰与波谷的位置，结合眼睛与嘴角的位置以及各区域划分关键点的先验比例关系，判定鼻翼和眉峰的具体位置。
5.一种基于权利要求1所述的基于人脸区域分割的中医面诊系统的面诊方法，其特征在于，包括以下步骤：
步骤一、系统通过所述图像采集模块和计算机网络无线传输技术获取人脸图像以及面部红外热像；
步骤二、所述图像处理分析模块对得到的人脸图像进行人脸检测与分割，对分割后得到的面部图像进行关键点定位，并结合先验知识，对面部图像进行子区域划分并获取面诊综合特征以及面部热态温度数据；
步骤三、所述检索匹配模块对面部整体区域和子区域的面诊综合特征和面部热态温度数据进行特征提取后与系统特征数据库中的标准化样本特征信息进行局部和全局的特征匹配以及相似度计算，并将具体的自动化诊断信息返回到所述面诊系统主界面上；
步骤四、医生根据所述面诊系统主界面上呈现的原始面诊图像、自动化诊断信息、具体情况，结合临床经验进行综合判断，得到最终的面部诊断报告。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710126296.5A CN106971147A (zh) | 2017-03-06 | 2017-03-06 | 一种基于人脸区域分割的中医面诊系统及面诊方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710126296.5A CN106971147A (zh) | 2017-03-06 | 2017-03-06 | 一种基于人脸区域分割的中医面诊系统及面诊方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106971147A true CN106971147A (zh) | 2017-07-21 |
Family
ID=59330142
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710126296.5A Pending CN106971147A (zh) | 2017-03-06 | 2017-03-06 | 一种基于人脸区域分割的中医面诊系统及面诊方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106971147A (zh) |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107655575A (zh) * | 2017-08-25 | 2018-02-02 | 李凤环 | 一种基于红外扫描成像的面部检测系统 |
| CN108420409A (zh) * | 2018-05-17 | 2018-08-21 | 安徽昱康智能科技有限公司 | 一种面部信息采集装置及其体检机 |
| CN108451500A (zh) * | 2017-12-27 | 2018-08-28 | 浙江大学台州研究院 | 一种用于中医望诊的面色检测和脸型识别设备 |
| CN109711306A (zh) * | 2018-12-19 | 2019-05-03 | 新绎健康科技有限公司 | 一种基于深度卷积神经网络获取面部特征的方法及设备 |
| CN110334649A (zh) * | 2019-07-04 | 2019-10-15 | 五邑大学 | 一种人工视觉智能中医面诊五脏状态诊测方法及装置 |
| CN110772235A (zh) * | 2019-08-22 | 2020-02-11 | 天津森宇科技股份有限公司 | 基于云计算和移动平台的中医智能健康分析系统 |
| CN111191571A (zh) * | 2019-12-26 | 2020-05-22 | 新绎健康科技有限公司 | 一种基于人脸特征点检测的中医面诊脸部分区方法和系统 |
| CN111191574A (zh) * | 2019-12-26 | 2020-05-22 | 新绎健康科技有限公司 | 一种面诊的脏腑分区温度的获取方法及装置 |
| CN111227795A (zh) * | 2020-01-13 | 2020-06-05 | 天津众阳科技有限公司 | 一种人脸反射区颜色变化信息的提取方法 |
| CN111419201A (zh) * | 2020-03-05 | 2020-07-17 | 季华实验室 | 一种多光谱面部生理信号采集系统及方法 |
| CN111486962A (zh) * | 2020-04-15 | 2020-08-04 | 易造机器人（深圳）有限公司 | 基于红外成像的远距离人体面部测温系统及实现方法 |
| WO2020236082A1 (en) * | 2019-05-22 | 2020-11-26 | Yongtai Zhang | An artificial intelligence pamper angel health system & method |
| CN112749609A (zh) * | 2020-07-23 | 2021-05-04 | 腾讯科技（深圳）有限公司 | 人体图像分割方法、装置、计算机设备及存储介质 |
| CN112819750A (zh) * | 2020-12-31 | 2021-05-18 | 北京鹰之眼智能健康科技有限公司 | 基于深度学习的肥胖症远红外图像证候分型方法和系统 |
| CN112907608A (zh) * | 2021-03-17 | 2021-06-04 | 北京智象云中医科技有限公司 | 一种基于深度学习的中医红外图像人体分割算法 |
| CN113065502A (zh) * | 2019-12-12 | 2021-07-02 | 天目爱视（北京）科技有限公司 | 一种基于标准化设置的3d信息采集系统 |
| CN113420702A (zh) * | 2021-07-03 | 2021-09-21 | 深圳市迈斯泰克电子有限公司 | 基于人脸进行温度检测的方法、装置、系统以及存储介质 |
| CN113781464A (zh) * | 2021-09-17 | 2021-12-10 | 平安科技（深圳）有限公司 | 嘴唇润燥检测方法、装置、计算机设备及存储介质 |
| CN114445895A (zh) * | 2022-01-28 | 2022-05-06 | 上海掌门科技有限公司 | 一种用于确定人脸颜色的方法、设备、介质及程序产品 |
| WO2022188547A1 (zh) * | 2021-03-09 | 2022-09-15 | 杭州朝厚信息科技有限公司 | X线头影图像的关键点检测方法 |
| CN115100723A (zh) * | 2022-07-13 | 2022-09-23 | 平安科技（深圳）有限公司 | 面色分类方法、装置、计算机可读程序介质及电子设备 |
| CN115690873A (zh) * | 2022-10-18 | 2023-02-03 | 中国人民解放军陆军军医大学 | 一种面部自动定位系统 |
| CN115830009A (zh) * | 2023-02-07 | 2023-03-21 | 智慧眼科技股份有限公司 | 基于专家知识图谱推理的面诊系统、方法、设备及介质 |
| US20230356394A1 (en) * | 2020-07-23 | 2023-11-09 | Chun Man Anthony LIN | Robot Arm Control Method and Skin Surface Treatment Apparatus |
| CN117392720A (zh) * | 2023-10-08 | 2024-01-12 | 北京雪扬科技有限公司 | 一种基于智能图像识别的健康检测及评价系统 |
| CN118430050A (zh) * | 2024-06-28 | 2024-08-02 | 山东锋士信息技术有限公司 | 一种基于融合面部多特征的中医面诊方法和系统 |
| CN118430050B (zh) * | 2024-06-28 | 2024-10-18 | 山东锋士信息技术有限公司 | 一种基于融合面部多特征的中医面诊方法和系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102426652A (zh) * | 2011-10-10 | 2012-04-25 | 北京工业大学 | 基于图像分析的中医面色识别和检索方法 |
| CN103034775A (zh) * | 2011-09-29 | 2013-04-10 | 上海中医药大学 | 中医面诊分析与诊断系统 |
| CN104825136A (zh) * | 2015-05-26 | 2015-08-12 | 高也陶 | 传统中医面区色部信息采集及分析系统和方法 |
| CN106384019A (zh) * | 2015-11-19 | 2017-02-08 | 小红象医疗科技有限公司 | 基于中医临床全息面诊的红外医学自动分析系统和方法 |
-
2017
- 2017-03-06 CN CN201710126296.5A patent/CN106971147A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103034775A (zh) * | 2011-09-29 | 2013-04-10 | 上海中医药大学 | 中医面诊分析与诊断系统 |
| CN102426652A (zh) * | 2011-10-10 | 2012-04-25 | 北京工业大学 | 基于图像分析的中医面色识别和检索方法 |
| CN104825136A (zh) * | 2015-05-26 | 2015-08-12 | 高也陶 | 传统中医面区色部信息采集及分析系统和方法 |
| CN106384019A (zh) * | 2015-11-19 | 2017-02-08 | 小红象医疗科技有限公司 | 基于中医临床全息面诊的红外医学自动分析系统和方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杨云聪;张菁;卓力;刁蒙蒙;: "应用于中医面诊的人脸区域分割方法" * |
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107655575A (zh) * | 2017-08-25 | 2018-02-02 | 李凤环 | 一种基于红外扫描成像的面部检测系统 |
| CN108451500A (zh) * | 2017-12-27 | 2018-08-28 | 浙江大学台州研究院 | 一种用于中医望诊的面色检测和脸型识别设备 |
| CN108420409A (zh) * | 2018-05-17 | 2018-08-21 | 安徽昱康智能科技有限公司 | 一种面部信息采集装置及其体检机 |
| CN109711306A (zh) * | 2018-12-19 | 2019-05-03 | 新绎健康科技有限公司 | 一种基于深度卷积神经网络获取面部特征的方法及设备 |
| WO2020236082A1 (en) * | 2019-05-22 | 2020-11-26 | Yongtai Zhang | An artificial intelligence pamper angel health system & method |
| CN110334649A (zh) * | 2019-07-04 | 2019-10-15 | 五邑大学 | 一种人工视觉智能中医面诊五脏状态诊测方法及装置 |
| CN110772235A (zh) * | 2019-08-22 | 2020-02-11 | 天津森宇科技股份有限公司 | 基于云计算和移动平台的中医智能健康分析系统 |
| CN113065502A (zh) * | 2019-12-12 | 2021-07-02 | 天目爱视（北京）科技有限公司 | 一种基于标准化设置的3d信息采集系统 |
| CN111191571A (zh) * | 2019-12-26 | 2020-05-22 | 新绎健康科技有限公司 | 一种基于人脸特征点检测的中医面诊脸部分区方法和系统 |
| CN111191574A (zh) * | 2019-12-26 | 2020-05-22 | 新绎健康科技有限公司 | 一种面诊的脏腑分区温度的获取方法及装置 |
| CN111227795A (zh) * | 2020-01-13 | 2020-06-05 | 天津众阳科技有限公司 | 一种人脸反射区颜色变化信息的提取方法 |
| CN111227795B (zh) * | 2020-01-13 | 2022-07-22 | 天津众阳科技有限公司 | 一种人脸反射区颜色变化信息的提取方法 |
| CN111419201B (zh) * | 2020-03-05 | 2023-03-31 | 季华实验室 | 一种多光谱面部生理信号采集系统及方法 |
| CN111419201A (zh) * | 2020-03-05 | 2020-07-17 | 季华实验室 | 一种多光谱面部生理信号采集系统及方法 |
| CN111486962A (zh) * | 2020-04-15 | 2020-08-04 | 易造机器人（深圳）有限公司 | 基于红外成像的远距离人体面部测温系统及实现方法 |
| US20230356394A1 (en) * | 2020-07-23 | 2023-11-09 | Chun Man Anthony LIN | Robot Arm Control Method and Skin Surface Treatment Apparatus |
| CN112749609A (zh) * | 2020-07-23 | 2021-05-04 | 腾讯科技（深圳）有限公司 | 人体图像分割方法、装置、计算机设备及存储介质 |
| CN112749609B (zh) * | 2020-07-23 | 2024-03-19 | 腾讯科技（深圳）有限公司 | 人体图像分割方法、装置、计算机设备及存储介质 |
| US12090663B2 (en) * | 2020-07-23 | 2024-09-17 | Lin Chun Man Anthony | Robot arm control method and skin surface treatment apparatus |
| CN112819750B (zh) * | 2020-12-31 | 2024-05-28 | 北京鹰之眼智能健康科技有限公司 | 基于深度学习的肥胖症远红外图像证候分型方法和系统 |
| CN112819750A (zh) * | 2020-12-31 | 2021-05-18 | 北京鹰之眼智能健康科技有限公司 | 基于深度学习的肥胖症远红外图像证候分型方法和系统 |
| WO2022188547A1 (zh) * | 2021-03-09 | 2022-09-15 | 杭州朝厚信息科技有限公司 | X线头影图像的关键点检测方法 |
| CN112907608A (zh) * | 2021-03-17 | 2021-06-04 | 北京智象云中医科技有限公司 | 一种基于深度学习的中医红外图像人体分割算法 |
| CN113420702A (zh) * | 2021-07-03 | 2021-09-21 | 深圳市迈斯泰克电子有限公司 | 基于人脸进行温度检测的方法、装置、系统以及存储介质 |
| CN113781464A (zh) * | 2021-09-17 | 2021-12-10 | 平安科技（深圳）有限公司 | 嘴唇润燥检测方法、装置、计算机设备及存储介质 |
| CN113781464B (zh) * | 2021-09-17 | 2024-05-07 | 平安科技（深圳）有限公司 | 嘴唇润燥检测方法、装置、计算机设备及存储介质 |
| CN114445895A (zh) * | 2022-01-28 | 2022-05-06 | 上海掌门科技有限公司 | 一种用于确定人脸颜色的方法、设备、介质及程序产品 |
| CN115100723A (zh) * | 2022-07-13 | 2022-09-23 | 平安科技（深圳）有限公司 | 面色分类方法、装置、计算机可读程序介质及电子设备 |
| CN115690873A (zh) * | 2022-10-18 | 2023-02-03 | 中国人民解放军陆军军医大学 | 一种面部自动定位系统 |
| CN115690873B (zh) * | 2022-10-18 | 2024-09-10 | 中国人民解放军陆军军医大学 | 一种面部自动定位系统 |
| CN115830009A (zh) * | 2023-02-07 | 2023-03-21 | 智慧眼科技股份有限公司 | 基于专家知识图谱推理的面诊系统、方法、设备及介质 |
| CN117392720A (zh) * | 2023-10-08 | 2024-01-12 | 北京雪扬科技有限公司 | 一种基于智能图像识别的健康检测及评价系统 |
| CN118430050A (zh) * | 2024-06-28 | 2024-08-02 | 山东锋士信息技术有限公司 | 一种基于融合面部多特征的中医面诊方法和系统 |
| CN118430050B (zh) * | 2024-06-28 | 2024-10-18 | 山东锋士信息技术有限公司 | 一种基于融合面部多特征的中医面诊方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106971147A (zh) | 一种基于人脸区域分割的中医面诊系统及面诊方法 | |
| Hameed et al. | A Computer-aided diagnosis system for classifying prominent skin lesions using machine learning | |
| Bevilacqua et al. | A novel approach to evaluate blood parameters using computer vision techniques | |
| Jiang et al. | Automatic facial paralysis assessment via computational image analysis | |
| CN106778047A (zh) | 一种基于多维度医学图像的中医面诊综合系统 | |
| CN102426652A (zh) | 基于图像分析的中医面色识别和检索方法 | |
| CN109300123A (zh) | 基于面部和舌部图像采集的体质分析方法 | |
| Li et al. | Automated analysis of diabetic retinopathy images: principles, recent developments, and emerging trends | |
| CN103400146A (zh) | 基于颜色建模的中医面色识别方法 | |
| CN101714153A (zh) | 基于视觉感知的交互式乳腺钼靶图像检索方法 | |
| KR20090101557A (ko) | 사상체질 자동진단기 | |
| Chen et al. | Hybrid facial image feature extraction and recognition for non-invasive chronic fatigue syndrome diagnosis | |
| Song et al. | Multiple facial image features-based recognition for the automatic diagnosis of turner syndrome | |
| Caroprese et al. | Features for melanoma lesions: Extraction and classification | |
| Jiao et al. | Tongue color clustering and visual application based on 2D information | |
| Nawn et al. | Multifractal alterations in oral sub-epithelial connective tissue during progression of pre-cancer and cancer | |
| Kim et al. | Chest X-ray outlier detection model using dimension reduction and edge detection | |
| Mohd et al. | A non-invasive facial visual-infrared stereo vision based measurement as an alternative for physiological measurement | |
| Wang et al. | Accurate disease detection quantification of iris based retinal images using random implication image classifier technique | |
| Chhatlani et al. | DermaGenics-Early Detection of Melanoma using YOLOv5 Deep Convolutional Neural Networks | |
| Jin et al. | Simulated multimodal deep facial diagnosis | |
| CN113539476A (zh) | 基于人工智能的胃内窥活检拉曼图像辅助诊断方法和系统 | |
| Noronha et al. | Deep Learning-based Dermatological Condition Detection: A Systematic Review with Recent Methods, Datasets, Challenges and Future Directions | |
| Liu et al. | Quantitative assessment of facial paralysis using infrared thermal imaging | |
| CN109711306B (zh) | 一种基于深度卷积神经网络获取面部特征的方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170721 |
|
| RJ01 | Rejection of invention patent application after publication |