CN110338763A - 一种智能中医诊测的图像处理方法及装置 - Google Patents

一种智能中医诊测的图像处理方法及装置 Download PDF

Info

Publication number
CN110338763A
CN110338763A CN201910618951.8A CN201910618951A CN110338763A CN 110338763 A CN110338763 A CN 110338763A CN 201910618951 A CN201910618951 A CN 201910618951A CN 110338763 A CN110338763 A CN 110338763A
Authority
CN
China
Prior art keywords
region
ear
internal organs
image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910618951.8A
Other languages
English (en)
Inventor
冯跃
徐红
林卓胜
梁淑芬
余义斌
岳洪伟
李澄非
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University
Original Assignee
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University filed Critical Wuyi University
Priority to CN201910618951.8A priority Critical patent/CN110338763A/zh
Publication of CN110338763A publication Critical patent/CN110338763A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4854—Diagnosis based on concepts of traditional oriental medicine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Alternative & Traditional Medicine (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种智能中医诊测的图像处理方法及装置，该方法包括：获取用户的面部视频图像、眼部视频图像、耳部视频图像、舌头视频图像和病史信息并进行面部五脏区域、眼部五脏区域、耳部五脏区域和舌头五脏区域的分割，以确定各个五脏区域的五色特征；将各个五脏区域的五色特征转换为五脏状态特征后，送入预设的SVM分类器进行分类识别，得到面诊五脏状态特征、目诊五脏状态特征、耳诊五脏状态特征、舌诊五脏状态特征；根据病史信息确定问诊五脏状态特征；将5种五脏状态特征中的至少两种送入预设的SVM多分类器进行分类，得到诊测结果。本发明的方法和装置能有效提高分析的准确性。

Description

一种智能中医诊测的图像处理方法及装置
技术领域
本发明涉及人工智能技术领域，尤其涉及一种智能中医诊测的图像处理方法及装置。
背景技术
中医学理论中将人体看作是一个有机整体，人体内脏和体表组织器官在结构和机能上有着密切的联系，并在病理上具有相互影响的作用。因而传统的中医通过“望、闻、问、切”四诊参合的方式来对患者进行检测和诊断。
然而，由于传统的四诊大多由医生对患者的观察和沟通来获取患者体表生物特征并进行记录和分析，其易受个人主观因素的影响，使得体表生物特征的获取和分析不准确。
发明内容
针对上述问题，本发明的一种智能中医诊测的图像处理方法及装置，能够有效提高体表生物特征获取和分析的准确性。
为解决上述技术问题，本发明的一种智能中医诊测的图像处理方法，包括：
获取用户的面部视频图像、眼部视频图像、耳部视频图像、舌头视频图像和病史信息；
对所述面部视频图像中的每帧面部图像、所述眼部视频图像中的每帧眼部图像、所述耳部视频图像中的每帧耳部图像、所述舌头视频图像中的每帧舌头图像分别进行面部五脏区域、眼部五脏区域、耳部五脏区域和舌头五脏区域的分割；
根据所述面部五脏区域、所述眼部五脏区域、所述耳部五脏区域和所述舌头五脏区域确定各个五脏区域的五色特征；所述五色特征用于指示青、红、黄、白、黑中的一种；
按照所述各个五脏区域预设的五色特征与其五脏状态特征之间的对应关系，将所述各个五脏区域的五色特征转换为五脏状态特征，并将转换后的五脏状态特征送入预设的SVM分类器进行分类识别，得到面诊五脏状态特征、目诊五脏状态特征、耳诊五脏状态特征、舌诊五脏状态特征；所述五脏状态特征用于指示五脏状态等级；
根据所述病史信息提取对应的五脏状态特征，得到问诊五脏状态特征；
将所述面诊五脏状态特征、所述目诊五脏状态特征、所述耳诊五脏状态特征、所述舌诊五脏状态特征和所述问诊五脏状态特征中的至少两种五脏状态特征送入预设的SVM多分类器，进行五脏病症状态分类，得到诊测结果。
作为上述方案的改进，所述面部五脏区域通过如下步骤得到：
利用DLIB库提取所述每帧面部图像的人脸关键点；
通过所述每帧面部图像的人脸关键点中的鼻柱关键点、鼻根关键点、鼻翼关键点、鼻尖关键点、眉尖关键点和下眼睑关键点定位鼻梁区域、鼻梁中段区域、鼻端部区域、眉心区域和颏部区域，并利用HOUGH变换分别进行分割，得到所述每帧面部图像的面部心脏区域、面部肝脏区域、面部脾脏区域、面部肺脏区域和面部肾脏区域。
作为上述方案的改进，所述眼部五脏区域通过如下步骤获得：
利用DLIB库提取所述每帧眼部图像的人脸关键点；
通过所述每帧面部图像的人脸关键点中眉毛关键点、上下眼睑关键点和内外眼角关键点定位所述眼部区域图像中的眼角区域、眼睑区域、眼仁区域、眼白区域和瞳孔区域，并利用HOUGH变换分别进行分割，得到所述每帧眼部图像的眼部心脏区域、眼部肝脏区域、眼部脾脏区域、眼部肺脏区域和眼部肾脏区域。
作为上述方案的改进，所述耳部五脏区域通过如下步骤得到：
以所述每帧耳部图像中耳中部作为中心进行扇形分割，使得所述耳部图像中轮1耳穴至轮6耳穴分别位于不同的扇形区域内；
利用HOUGH变换分别定位和分割出轮5耳穴区域图像中的耳甲区域、轮2耳穴区域图像中的耳甲区域、轮3耳穴区域图像中的耳甲区域、轮4耳穴区域图像中的耳甲区域、轮1耳穴区域图像中的耳甲区域，得到所述每帧耳部图像的耳部心脏区域、耳部肝脏区域、耳部脾脏区域、耳部肺脏区域和耳部肾脏区域。
作为上述方案的改进，所述舌头五脏区域通过如下步骤得到：
采用HOUGH变换分别定位和分割出所述每帧舌头图像中的舌尖区域、舌边区域、舌中区域、舌尖与舌中之间的区域、舌根区域，得到舌头心脏区域、舌头肝脏区域、舌头脾脏区域、舌头肺脏区域和舌头肾脏区域。
作为上述方案的改进，所述病史信息包括心脏疾病信息、肝脏疾病信息、脾脏疾病信息、肺脏疾病信息和肾脏疾病信息；
根据所述病史信息提取对应的五脏状态特征包括如下步骤：
根据预先建立的各种疾病信息与状态特征之间的对应关系，分别确定心脏状态特征、肝脏状态特征、脾脏状态特征、肺脏状态特征，、得到问诊五脏状态特征。
作为上述方案的改进，各个区域的五色特征通过如下步骤确定：
根据所述各个区域中各个像素的R分量、G分量、B分量计算各个像素的RGB平均值；
根据所述各个像素的RGB平均值计算所述各个区域中的红色比例、青色比例、黄色比例、白色比例和黑色比例，以确定比例最大的颜色为所述各个区域的五色特征。
本发明还提供一种智能中医诊测的图像处理装置，包括：
信息获取模块，用于获取用户的面部视频图像、眼部视频图像、耳部视频图像、舌头视频图像和病史信息；
图像分割模块，用于对所述面部视频图像中的每帧面部图像、所述眼部视频图像中的每帧眼部图像、所述耳部视频图像中的每帧耳部图像、所述舌头视频图像中的每帧舌头图像分别进行面部五脏区域、眼部五脏区域、耳部五脏区域和舌头五脏区域的分割
五色特征确定模块，用于根据预处理后的面部五脏区域、眼部五脏区域、耳部五脏区域和舌头五脏区域确定所述每帧图像中对应区域的五色特征；所述五色特征用于指示青、红、黄、白、黑中的一种；
望诊五脏状态特征识别模块，用于按照所述各个区域预设的五色特征与其五脏状态之间的对应关系，将所述各个区域的五色特征转换为五脏状态特征，并将转换后的五脏状态特征送入预设的SVM分类器进行分类识别，得到面诊五脏状态特征、目诊五脏状态特征、耳诊五脏状态特征、舌诊五脏状态特征；所述五脏状态特征用于指示五脏状态等级；
问诊五脏状态特征确定模块，用于根据所述病史信息提取对应的五脏状态特征，得到问诊五脏状态特征；
五脏病症状态分类模块，用于将所述面诊五脏状态特征、所述目诊五脏状态特征、所述耳诊五脏状态特征、所述舌诊五脏状态特征和所述问诊五脏状态特征中的至少两种五脏状态特征送入预设的SVM多分类器，进行五脏病症状态分类，得到诊测结果。
本发明还提供一种智能中医诊测的图像处理装置，所述装置存储有计算机程序，所述计算机程序适于被执行以实现上述任一种所述的图像处理方法。
本发明还提供一种中医目诊图像处理装置，包括处理器、与所述处理器连接的存储器，所述存储器存储有计算机程序，所述计算机程序适于被执行以实现上述任一种所述的图像处理方法。
与现有技术相比，实施本发明的智能中医诊测的图像处理方法及装置，具有如下有益效果：
通过获取用户的面部视频图像、眼部视频图像、耳部视频图像、舌头视频图像和病史信息来确定对应的面诊五脏状态特征、目诊五脏状态特征、耳诊五脏状态特征、舌诊五脏状态特征、问诊五脏状态特征5种五脏状态特征，能够有效提高用户体表生物特征获取的准确性；然后将5种五脏状态特征中的至少两种送入预设的SVM多分类器进行五脏病症状态分类，使得五脏病症状态的分析全面、准确，提高诊测的准确性，同时，能够为中医临床施治提供客观的量化数据，减小个人主观因素的影响。
附图说明
图1是本发明实施例提供的一种智能中医诊测的图像处理方法的流程示意图。
图2是本发明实施例提供的一种智能中医诊测的图像处理装置的结构示意图。
图3是本发明实施例提供的另一种智能中医诊测的图像处理装置的结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
下面结合具体实施例和附图对本发明的技术方案进行清楚、完整的描述。
请参见图1，是本发明实施例提供的一种智能中医诊测的图像处理方法的流程示意图。
如图1所示，该智能中医诊测的图像处理方法，包括如下步骤：
S1、获取用户的面部视频图像、眼部视频图像、耳部视频图像、舌头视频图像和病史信息；
在步骤S1中，用户的面部视频图像、眼部视频图像、耳部视频图像、舌头视频图像通过两台高分辨率摄像机组成的双目相机采集得到。
病史信息可以是用户通过输入设备进行输入操作而产生，其中该输入设备可以通过显示界面显示病史咨询信息来提高用户输入的准确性，例如可以通过显示界面显示主诉病症信息、相关病症信息、既往病史信息、西医检测项目结果信息、用户基本信息等咨询信息的选项来使用户准确选择其病史信息，其中，既往病史信息选项包括心脏疾病类型、肝脏疾病类型、脾脏疾病类型、肺脏疾病类型和肺脏疾病类型的选项，以及其他确诊疾病和手术病史的选项，西医检测项目结果信息包括B超检测电子报告、X光检测电子报告、CT检测电子报告、核磁共振检测电子报告、心电图检测电子报告、脑电图检测电子报告、血液化验检查电子报告、尿液化验检查电子报告和粪便化验检查电子报告。
S2、对所述面部视频图像中的每帧面部图像、所述眼部视频图像中的每帧眼部图像、所述耳部视频图像中的每帧耳部图像、所述舌头视频图像中的每帧舌头图像分别进行面部五脏区域、眼部五脏区域、耳部五脏区域和舌头五脏区域的分割；
在步骤S2中，面部五脏区域通过如下步骤得到：
S201、利用DLIB库提取所述每帧面部图像的人脸关键点；
S202、通过所述每帧面部图像的人脸关键点中的鼻柱关键点、鼻根关键点、鼻翼关键点、鼻尖关键点、眉尖关键点和下眼睑关键点定位鼻梁区域、鼻梁中段区域、鼻端部区域、眉心区域和颏部区域，并利用HOUGH变换分别进行分割，得到面部心脏区域、面部肝脏区域、面部脾脏区域、面部肺脏区域和面部肾脏区域。
在步骤S202中，根据中医理论《黄帝内经·灵枢·五色》中五脏体表生物特征呈现在面部的区域之间的对应关系(鼻根属心、鼻柱属肝、鼻端属脾、眉心属肺、颏部属肾)可知鼻梁区域与面部心脏区域具有对应关系、鼻梁中段区域与面部肝脏区域具有对应关系、鼻端部区域与面部脾脏区域具有对应关系、眉心区域与面部肺脏区域具有对应关系、颏部区域与面部肾脏区域具有对应关系，因而可采用人脸关键点进行上述脸部区域定位，再利用HOUGH变换进行分割，得到面部五脏区域，使得面部五脏区域的划分具有较高的准确性。
在步骤S2中，眼部五脏区域通过如下步骤得到：
S211、利用DLIB库提取所述每帧眼部图像的人脸关键点；
S212、通过所述每帧眼部图像的人脸关键点中眉毛关键点、上下眼睑关键点和内外眼角关键点定位所述眼部区域图像中的眼角区域、眼睑区域、眼仁区域、眼白区域和瞳孔区域，并利用HOUGH变换分别进行分割，得到眼部心脏区域、眼部肝脏区域、眼部脾脏区域、眼部肺脏区域和眼部肾脏区域。
在步骤S212中，根据中医的五轮学说中五脏体表生物特征呈现在眼部的区域之间的对应关系(眼睑属于脾、眼白属肺，大小眼角的血络属心，黑眼仁属于肝，瞳孔属肾)可知，眼角区域与眼部心脏区域具有对应关系、眼睑区域与眼部肝脏区域具有对应关系、眼仁区域与眼部脾脏区域具有对应关系、眼白区域与眼部肺脏区域具有对应关系、瞳孔区域与眼部肾脏区域具有对应关系，因而可采用人脸关键点进行上述眼部区域定位，再利用HOUGH变换进行分割，得到眼部五脏区域的准确分割。
在步骤S2中，耳部五脏区域通过如下步骤得到：
S221、以每帧耳部图像以耳中部作为中心进行扇形分割，使得所述耳部图像中轮1耳穴至轮6耳穴分别位于不同的扇形区域内，得到耳穴区域图像；
S222、利用HOUGH变换分别定位和分割出轮5耳穴区域图像中的耳甲区域、轮2耳穴区域图像中的耳甲区域、轮3耳穴区域图像中的耳甲区域、轮4耳穴区域图像中的耳甲区域、轮1耳穴区域图像中的耳甲区域，得到所述每帧耳部图像的耳部心脏区域、耳部肝脏区域、耳部脾脏区域、耳部肺脏区域和耳部肾脏区域。
在步骤S221～S222中，由于轮5耳穴区域图像中的耳甲区域、轮2耳穴区域图像中的耳甲区域、轮3耳穴区域图像中的耳甲区域、轮4耳穴区域图像中的耳甲区域、轮1耳穴区域图像中的耳甲区域与耳部心脏区域、耳部肝脏区域、耳部脾脏区域、耳部肺脏区域、耳部肾脏区域具有一一对应的关系，因而先对每帧图像中的耳部区域图像以耳中部作为中心进行扇形分割，再采用HOUGH变换分别定位和分割出耳部五脏区域，可实现耳部五脏区的准确分割。
在步骤S2中，所述舌头五脏区域通过如下步骤得到：
S231、针对所述每帧舌头图像中的舌部区域图像，采用HOUGH变换分别定位和分割出舌尖区域、舌边区域、舌中区域、舌尖与舌中之间的区域、舌根区域，得到每帧舌头图像的舌头心脏区域、舌头肝脏区域、舌头脾脏区域、舌头肺脏区域和舌头肾脏区域。
S3、根据所述面部五脏区域、所述眼部五脏区域、所述耳部五脏区域和所述舌头五脏区域确定各个五脏区域的五色特征；所述五色特征用于指示青、红、黄、白、黑中的一种；
由于图像在计算机内是通过像素来表达，每个像素的颜色是由红色分量(R)、绿色分量(G)、蓝色分量(B)三个值来表示，且每个颜色分量都有256(0～255)级灰度，因而在步骤S401中，通过计算各个像素的RGB平均至可以精确的描述各种颜色。
在步骤S3中，通过如下方式计算每个区域中红色比例、青色比例、黄色比例、白色比例和黑色比例：红色像素数量/像素总数、青色像素数量/像素总数、黄色像素数量/像素总数、白色像素数量/像素总数、黑色像素数量/像素总数，最后设定比例值最大的颜色为该区域的五色特征。例如，当确定一张耳部心脏区域中红色比例最大时，则红色为该耳部心脏区域的五色特征。
S4、按照各个五脏区域预设的五色特征与其五脏状态特征之间的对应关系，将所述各个五脏区域的五色特征转换为五脏状态特征，并将转换后的五脏状态特征送入预设的SVM分类器进行分类识别，得到面诊五脏状态特征、目诊五脏状态特征、耳诊五脏状态特征、舌诊五脏状态特征；所述五脏状态特征用于指示五脏状态等级；
具体地，在步骤S4中，各个五脏区域预设的五色特征与其五脏状态特征之间的对应关系通过下列表格来表示：
表1面部五脏区域的五色特征与其五脏状态特征之间的对应关系
表2眼部五脏区域的五色特征与其五脏状态特征之间的对应关系
表3耳部五脏区域的五色特征与其五脏状态特征之间的对应关系
表4舌部五脏区域的五色特征与其五脏状态特征之间的对应关系
S5、根据所述病史信息提取对应的五脏状态特征，得到问诊五脏状态特征；
在步骤S5中，所述病史信息包括心脏疾病信息、肝脏疾病信息、脾脏疾病信息、肺脏疾病信息和肾脏疾病信息；根据所述病史信息提取对应的五脏状态特征包括如下步骤：根据预先建立的各种疾病信息与状态特征之间的对应关系，分别确定所述心脏疾病信息、所述肝脏疾病信息、所述脾脏疾病信息、所述肺脏疾病信息和所述肾脏疾病信息的状态特征，得到问诊五脏状态特征。例如，可以预设心脏疾病类型与状态特征之间的关联表，当用户通过显示界面选择心脏疾病类型时，则可以根据从该关联表中查询到对应的状态特征，进而得到心脏疾病信息对应的状态特征。根据预先建立的各种疾病信息与状态特征之间的对应关系，分别确定所述脏疾病信息、所述肝脏疾病信息、所述脾脏疾病信息、所述肺脏疾病信息和所述肾脏疾病信息的状态特征，得到问诊五脏状态特征。
S6、将所述面诊五脏状态特征、所述目诊五脏状态特征、所述耳诊五脏状态特征、所述舌诊五脏状态特征和所述问诊五脏状态特征送入预设的SVM多分类器，进行五脏病症状态分类，得到诊测结果。
在步骤S6中，预设的SVM多分类器由多个SVM分类器组成，每个SVM分类器通过如下步骤构建：
S61、通过训练集和测试集构建SVM分类器；
具体地，SVM分类器的构建包括如下步骤：
在预定的获取次数内分别收集N个面诊五脏状态特征、N个目诊五脏状态特征、N个耳诊五脏状态特征、N个舌诊五脏状态特征、N个闻诊五脏状态特征、N个问诊五脏状态特征、N个切诊五脏状态特征作为样本数据，并对所述样本数据进行归一化得到样本集P；其中，N≥2，且N为整数。
当设定N＝60时，a1,n表示归一化后的N个面诊五脏状态特征，作为样本集P中的第一子样本；a2,n表示归一化后的N个目诊五脏状态特征，作为样本集P中的第二子样本；a3,n表示归一化后的N个耳诊五脏状态特征，作为样本集P中的第三子样本；a4,n表示归一化后的N个舌诊五脏状态特征，作为样本集P中的第四子样本；a5,n表示归一化后的N个问诊五脏状态特征，作为样本集P中的第五子样本。
S62、通过主成分分析对每个子样本进行降维，使得样本集P中的样本数据减少一半，得到样本集P1；
S63、从降维后的样本集P1中选取70％的样本数据作为SVM的训练集D，其余30％的样本数据作为测试集T；
S64、设定的训练集D＝{(x1,l1)，(x2,l2)，…，(xm,lm)}，其中，D∈P1li∈{-1,1}xi是样本数据，li是样本标记；
S65、假设该训练集可被一个超平面ωTx+b＝0线性划分，其中，ω是决定超平面的法向量，b是原点与超平面距离的位置，则问题转化为最优化超平面问题：
其中，ξi是0/1损失函数，c为惩罚参数；
S66、对于非线性可分情况，选用RBF径向基核函数则SVM分类器的优化问题最终转化为参数(C，δ)的选择问题；其中，δ≥0为径向基核函数的宽度参数，用于控制径向基核函数的径向作用范围。
具体地，在步骤S66中，通过如下步骤构建训练分类模型：
S661、以2-10≤c≤27和2-10≤δ≤23为范围、步距为0.1构建取值范围内的所有c和δ组成的参数对；
S662、依次取参数对(C，δ)作为基于RBF径向基核函数的SVM分类器参数的初始值，利用交叉验证K-CV方法得到每组参数对(C，δ)下训练集D验证分类准确率；
S663、选取最高分类准确率所对应的参数对(Co，δo)作为最佳参数，得到所求SVM分类模型的模型参数。
进一步地，在步骤S8中通过如下步骤进行模型预测：
采用上述步骤得到的模型参数(Co，δo)对测试集T进行SVM分类预测，得到用户的五脏病症状态。五脏病症状态包括正常、病症呈现、病症一般、病症加深、病症严重状态中的一种。
请参见图2，是本发明实施例提供的一种智能中医诊测的图像处理装置的结构示意图。
如图2所示，该图像处理装置包括：信息获取模块1，用于获取用户的面部视频图像、眼部视频图像、耳部视频图像、舌头视频图像和病史信息；图像分割模块2，用于针对所述头部视频图像中的每帧图像进行面部五脏区域、眼部五脏区域、耳部五脏区域和舌头五脏区域的分割和预处理；五色特征确定模块3，用于根据预处理后的面部五脏区域、眼部五脏区域、耳部五脏区域和舌头五脏区域确定所述每帧图像中对应区域的五色特征；所述五色特征用于指示青、红、黄、白、黑中的一种；望诊五脏状态特征识别模块4，用于按照针对各个区域预设的五色特征与其五脏状态之间的对应关系，将所述各个区域的五色特征转换为五脏状态特征，并将转换后的五脏状态特征送入预设的SVM分类器进行分类识别，得到面诊五脏状态特征、目诊五脏状态特征、耳诊五脏状态特征、舌诊五脏状态特征；所述五脏状态特征用于指示五脏状态信息；问诊五脏状态特征确定模块5，用于根据所述病史信息提取对应的五脏状态特征，得到问诊五脏状态特征；五脏病症状态分类模块6，用于将所述面诊五脏状态特征、所述目诊五脏状态特征、所述耳诊五脏状态特征、所述舌诊五脏状态特征和所述问诊五脏状态特征送入预设的SVM多分类器，进行五脏病症状态分类，得到诊测结果。
本发明还提供一种智能中医诊测的图像处理装置，所述装置存储有计算机程序，所述计算机程序适于被执行以实现上述任一种图像处理方法。
请参见图3，本发明实施例还提供另一种中医目诊图像处理装置，该装置包括处理器100、与所述处理器100连接的存储器200，所述存储器200存储有计算机程序，所述计算机程序适于被执行以实现上述任一种图像处理方法。
与现有技术相比，实施本发明的智能中医诊测的图像处理方法及装置，具有如下有益效果：
(1)通过获取用户的面部视频图像、眼部视频图像、耳部视频图像、舌头视频图像和病史信息来确定对应的面诊五脏状态特征、目诊五脏状态特征、耳诊五脏状态特征、舌诊五脏状态特征、问诊五脏状态特征5种五脏状态特征，能够有效提高用户体表生物特征获取的准确性；然后将5种五脏状态特征中的至少两种送入预设的SVM多分类器进行五脏病症状态分类，使得五脏病症状态的分析全面、准确，提高诊测的准确性，同时，能够为中医临床施治提供客观的量化数据，减小个人主观因素的影响。
(2)将中医理论中五脏与面部、眼部、耳部、舌头之间的病症呈现关系和图像分割技术相结合，先利用DLIB库提取每帧图像中的人脸关键点再通过HOUGH变换定位分割出面部五脏区域和眼部五脏区域，并且利用HOUGH变换定位和分割出耳部五脏区域和舌头五脏区域，能够有效提高面部五脏区域、眼部五脏区域、耳部五脏区域、舌头五脏区域分割的精度，为后续SVM分类提供准确的五脏状态特征，提高五脏状态病症分类识别的准确性。
以上所述，仅是本发明的较佳实施例而已，并非对本发明做任何形式上的限制，故凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种智能中医诊测的图像处理方法，其特征在于，包括：
获取用户的面部视频图像、眼部视频图像、耳部视频图像、舌头视频图像和病史信息；
对所述面部视频图像中的每帧面部图像、所述眼部视频图像中的每帧眼部图像、所述耳部视频图像中的每帧耳部图像、所述舌头视频图像中的每帧舌头图像分别进行面部五脏区域、眼部五脏区域、耳部五脏区域和舌头五脏区域的分割；
根据所述面部五脏区域、所述眼部五脏区域、所述耳部五脏区域和所述舌头五脏区域确定各个五脏区域的五色特征；所述五色特征用于指示青、红、黄、白、黑中的一种；
按照所述各个五脏区域预设的五色特征与其五脏状态特征之间的对应关系，将所述各个五脏区域的五色特征转换为五脏状态特征，并将转换后的五脏状态特征送入预设的SVM分类器进行分类识别，得到面诊五脏状态特征、目诊五脏状态特征、耳诊五脏状态特征、舌诊五脏状态特征；所述五脏状态特征用于指示五脏状态等级；
根据所述病史信息提取对应的五脏状态特征，得到问诊五脏状态特征；
将所述面诊五脏状态特征、所述目诊五脏状态特征、所述耳诊五脏状态特征、所述舌诊五脏状态特征和所述问诊五脏状态特征中的至少两种五脏状态特征送入预设的SVM多分类器，进行五脏病症状态分类，得到诊测结果。
2.如权利要求1所述的图像处理方法，其特征在于，所述面部五脏区域通过如下步骤得到：
利用DLIB库提取所述每帧面部图像的人脸关键点；
通过所述每帧面部图像的人脸关键点中的鼻柱关键点、鼻根关键点、鼻翼关键点、鼻尖关键点、眉尖关键点和下眼睑关键点定位鼻梁区域、鼻梁中段区域、鼻端部区域、眉心区域和颏部区域，并利用HOUGH变换分别进行分割，得到所述每帧面部图像的面部心脏区域、面部肝脏区域、面部脾脏区域、面部肺脏区域和面部肾脏区域。
3.如权利要求1所述的图像处理方法，其特征在于，所述眼部五脏区域通过如下步骤获得：
利用DLIB库提取所述每帧眼部图像的人脸关键点；
通过所述每帧面部图像的人脸关键点中眉毛关键点、上下眼睑关键点和内外眼角关键点定位所述眼部区域图像中的眼角区域、眼睑区域、眼仁区域、眼白区域和瞳孔区域，并利用HOUGH变换分别进行分割，得到所述每帧眼部图像的眼部心脏区域、眼部肝脏区域、眼部脾脏区域、眼部肺脏区域和眼部肾脏区域。
4.如权利要求1所述的图像处理方法，其特征在于，所述耳部五脏区域通过如下步骤得到：
以所述每帧耳部图像中耳中部作为中心进行扇形分割，使得所述耳部图像中轮1耳穴至轮6耳穴分别位于不同的扇形区域内；
利用HOUGH变换分别定位和分割出轮5耳穴区域图像中的耳甲区域、轮2耳穴区域图像中的耳甲区域、轮3耳穴区域图像中的耳甲区域、轮4耳穴区域图像中的耳甲区域、轮1耳穴区域图像中的耳甲区域，得到所述每帧耳部图像的耳部心脏区域、耳部肝脏区域、耳部脾脏区域、耳部肺脏区域和耳部肾脏区域。
5.如权利要求1所述的图像处理方法，其特征在于，所述舌头五脏区域通过如下步骤得到：
采用HOUGH变换分别定位和分割出所述每帧舌头图像中的舌尖区域、舌边区域、舌中区域、舌尖与舌中之间的区域、舌根区域，得到舌头心脏区域、舌头肝脏区域、舌头脾脏区域、舌头肺脏区域和舌头肾脏区域。
6.如权利要求1所述的图像处理方法，其特征在于，所述病史信息包括心脏疾病信息、肝脏疾病信息、脾脏疾病信息、肺脏疾病信息和肾脏疾病信息；
根据所述病史信息提取对应的五脏状态特征包括如下步骤：
根据预先建立的各种疾病信息与状态特征之间的对应关系，分别确定所述心脏疾病信息、所述肝脏疾病信息、所述脾脏疾病信息、所述肺脏疾病信息和所述肾脏疾病信息的状态特征，得到问诊五脏状态特征。
7.如权利要求1所述的图像处理方法，其特征在于，各个区域的五色特征通过如下步骤确定：
根据所述各个区域中各个像素的R分量、G分量、B分量计算各个像素的RGB平均值；
根据所述各个像素的RGB平均值计算所述各个区域中的红色比例、青色比例、黄色比例、白色比例和黑色比例，以确定比例最大的颜色为所述各个区域的五色特征。
8.一种智能中医诊测的图像处理装置，其特征在于，包括：
信息获取模块，用于获取用户的面部视频图像、眼部视频图像、耳部视频图像、舌头视频图像和病史信息；
图像分割模块，用于对所述面部视频图像中的每帧面部图像、所述眼部视频图像中的每帧眼部图像、所述耳部视频图像中的每帧耳部图像、所述舌头视频图像中的每帧舌头图像分别进行面部五脏区域、眼部五脏区域、耳部五脏区域和舌头五脏区域的分割
五色特征确定模块，用于根据预处理后的面部五脏区域、眼部五脏区域、耳部五脏区域和舌头五脏区域确定所述每帧图像中对应区域的五色特征；所述五色特征用于指示青、红、黄、白、黑中的一种；
望诊五脏状态特征识别模块，用于按照所述各个区域预设的五色特征与其五脏状态之间的对应关系，将所述各个区域的五色特征转换为五脏状态特征，并将转换后的五脏状态特征送入预设的SVM分类器进行分类识别，得到面诊五脏状态特征、目诊五脏状态特征、耳诊五脏状态特征、舌诊五脏状态特征；所述五脏状态特征用于指示五脏状态等级；
问诊五脏状态特征确定模块，用于根据所述病史信息提取对应的五脏状态特征，得到问诊五脏状态特征；
五脏病症状态分类模块，用于将所述面诊五脏状态特征、所述目诊五脏状态特征、所述耳诊五脏状态特征、所述舌诊五脏状态特征和所述问诊五脏状态特征中的至少两种五脏状态特征送入预设的SVM多分类器，进行五脏病症状态分类，得到诊测结果。
9.一种智能中医诊测的图像处理装置，其特征在于，所述装置存储有计算机程序，所述计算机程序适于被执行以实现如权利要求1～7中任一项所述的图像处理方法。
10.一种中医目诊图像处理装置，其特征在于，包括处理器、与所述处理器连接的存储器，所述存储器存储有计算机程序，所述计算机程序适于被执行以实现如权利要求1～7中任一项所述的图像处理方法。
CN201910618951.8A 2019-07-10 2019-07-10 一种智能中医诊测的图像处理方法及装置 Pending CN110338763A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910618951.8A CN110338763A (zh) 2019-07-10 2019-07-10 一种智能中医诊测的图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910618951.8A CN110338763A (zh) 2019-07-10 2019-07-10 一种智能中医诊测的图像处理方法及装置

Publications (1)

Publication Number Publication Date
CN110338763A true CN110338763A (zh) 2019-10-18

Family

ID=68176874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910618951.8A Pending CN110338763A (zh) 2019-07-10 2019-07-10 一种智能中医诊测的图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN110338763A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233795A (zh) * 2020-11-19 2021-01-15 吾征智能技术(北京)有限公司 一种基于耳朵纹理特征的疾病预测系统
CN115017331A (zh) * 2022-06-07 2022-09-06 深圳伯德睿捷健康科技有限公司 健康感知与认知方法及装置
CN115661142A (zh) * 2022-12-14 2023-01-31 广东工业大学 一种基于关键点检测的舌诊图像处理方法、设备及介质
CN116030042A (zh) * 2023-02-24 2023-04-28 智慧眼科技股份有限公司 一种针对医生目诊的诊断装置、方法、设备及存储介质
CN116784804A (zh) * 2023-07-19 2023-09-22 湖南云医链生物科技有限公司 一种未病分析评估系统
CN116913519A (zh) * 2023-07-24 2023-10-20 东莞莱姆森科技建材有限公司 基于智能镜的健康监护方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1931086A (zh) * 2006-10-11 2007-03-21 哈尔滨工业大学 一种基于舌象的健康指数计算机分析系统
CN102426652A (zh) * 2011-10-10 2012-04-25 北京工业大学 基于图像分析的中医面色识别和检索方法
CN109300123A (zh) * 2018-09-18 2019-02-01 天津大学 基于面部和舌部图像采集的体质分析方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1931086A (zh) * 2006-10-11 2007-03-21 哈尔滨工业大学 一种基于舌象的健康指数计算机分析系统
CN102426652A (zh) * 2011-10-10 2012-04-25 北京工业大学 基于图像分析的中医面色识别和检索方法
CN109300123A (zh) * 2018-09-18 2019-02-01 天津大学 基于面部和舌部图像采集的体质分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
邓铁涛: "《邓铁涛医学文集》", 30 November 2001 *
金宏斌，等: "《DSm理论及其在目标融合识别中的应用》", 28 February 2019, 国防工业出版社 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233795A (zh) * 2020-11-19 2021-01-15 吾征智能技术(北京)有限公司 一种基于耳朵纹理特征的疾病预测系统
CN115017331A (zh) * 2022-06-07 2022-09-06 深圳伯德睿捷健康科技有限公司 健康感知与认知方法及装置
CN115661142A (zh) * 2022-12-14 2023-01-31 广东工业大学 一种基于关键点检测的舌诊图像处理方法、设备及介质
CN116030042A (zh) * 2023-02-24 2023-04-28 智慧眼科技股份有限公司 一种针对医生目诊的诊断装置、方法、设备及存储介质
CN116784804A (zh) * 2023-07-19 2023-09-22 湖南云医链生物科技有限公司 一种未病分析评估系统
CN116913519A (zh) * 2023-07-24 2023-10-20 东莞莱姆森科技建材有限公司 基于智能镜的健康监护方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110338763A (zh) 一种智能中医诊测的图像处理方法及装置
US11645748B2 (en) Three-dimensional automatic location system for epileptogenic focus based on deep learning
US10722181B2 (en) Systems, methods, and computer-readable media for using descriptors to identify when a subject is likely to have a dysmorphic feature
CN111127441B (zh) 一种基于图节点嵌入的多模态脑影像抑郁识别方法和系统
CN108021916B (zh) 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN108230296A (zh) 图像特征的识别方法和装置、存储介质、电子装置
CN106530295A (zh) 一种视网膜病变的眼底图像分类方法和装置
CN109508755B (zh) 一种基于图像认知的心理测评方法
KR102162683B1 (ko) 비정형 피부질환 영상데이터를 활용한 판독보조장치
CN114694236B (zh) 一种基于循环残差卷积神经网络的眼球运动分割定位方法
CN110334649A (zh) 一种人工视觉智能中医面诊五脏状态诊测方法及装置
Chen et al. Hybrid facial image feature extraction and recognition for non-invasive chronic fatigue syndrome diagnosis
Panda et al. Glauconet: patch-based residual deep learning network for optic disc and cup segmentation towards glaucoma assessment
CN114420299A (zh) 基于眼动测试的认知功能筛查方法、系统、设备和介质
CN114469009A (zh) 一种面部疼痛表情分级评估方法
Li et al. Benchmarking domain generalization on EEG-based emotion recognition
CN112561935A (zh) 一种阿尔兹海默症的识别方法、装置和设备
CN115713800A (zh) 图像分类方法及装置
KR102165487B1 (ko) 비정형 피부질환 영상데이터를 활용한 피부 질환 판독 시스템
Kumari et al. Automated process for retinal image segmentation and classification via deep learning based cnn model
CN117747077B (zh) 基于智能化技术的眼科全流程医疗服务系统及方法
Gunasekara et al. A feasibility study for deep learning based automated brain tumor segmentation using magnetic resonance images
CN118351110B (zh) 基于多任务学习的黄褐斑严重程度客观化评估方法
Anandhand et al. IoT based automatic detection of glaucoma disease in OCT and fundus images using deep learning techniques
KR20240130002A (ko) 설명력 제공 인공지능 진단 보조 방법 및 그 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191018