CN110349140B - 一种中医耳诊图像处理方法及装置 - Google Patents
一种中医耳诊图像处理方法及装置 Download PDFInfo
- Publication number
- CN110349140B CN110349140B CN201910598839.2A CN201910598839A CN110349140B CN 110349140 B CN110349140 B CN 110349140B CN 201910598839 A CN201910598839 A CN 201910598839A CN 110349140 B CN110349140 B CN 110349140B
- Authority
- CN
- China
- Prior art keywords
- ear
- image
- region
- color
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 56
- 239000003814 drug Substances 0.000 title claims abstract description 24
- 238000003672 processing method Methods 0.000 title claims description 18
- 208000024891 symptom Diseases 0.000 claims abstract description 26
- 201000010099 disease Diseases 0.000 claims abstract description 23
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000000877 morphologic effect Effects 0.000 claims abstract description 14
- 210000000959 ear middle Anatomy 0.000 claims abstract description 8
- 230000011218 segmentation Effects 0.000 claims abstract description 7
- 210000000624 ear auricle Anatomy 0.000 claims description 25
- 210000004204 blood vessel Anatomy 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 9
- 210000003128 head Anatomy 0.000 claims description 9
- 230000037303 wrinkles Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 230000001575 pathological effect Effects 0.000 claims description 4
- 238000001467 acupuncture Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 206010060891 General symptom Diseases 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract description 5
- 238000012549 training Methods 0.000 description 12
- 239000013598 vector Substances 0.000 description 12
- 210000003734 kidney Anatomy 0.000 description 9
- 210000004185 liver Anatomy 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 210000004072 lung Anatomy 0.000 description 7
- 210000000952 spleen Anatomy 0.000 description 7
- 230000006872 improvement Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000003902 lesion Effects 0.000 description 5
- 230000002969 morbid Effects 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000002559 palpation Methods 0.000 description 3
- 210000001835 viscera Anatomy 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000003454 tympanic membrane Anatomy 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 208000004930 Fatty Liver Diseases 0.000 description 1
- 206010019708 Hepatic steatosis Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 208000010706 fatty liver disease Diseases 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 210000000232 gallbladder Anatomy 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000004217 heart function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004199 lung function Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 208000030159 metabolic disease Diseases 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 231100000240 steatosis hepatitis Toxicity 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4854—Diagnosis based on concepts of traditional oriental medicine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Computer Graphics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Alternative & Traditional Medicine (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种中医耳诊图像处理方法及装置。该方法包括：获取使用者的耳部图像；对耳部图像进行三维重建以形成耳部三维模型；以耳部三维模型的耳中部位作为中心对其进行扇形分割，得到耳甲区域图像；根据各个耳甲区域图像的像素信息确定其五色特征，以及提取各个耳甲区域图像中的五色特征并转换为耳色特征；提取三维表面特征并转换为耳廓形态特征；将预设获取次数内的耳色特征和耳廓形态特征送入预设的SVM分类器以进行耳诊病症状态分类并将分类后的数据输出至预设的耳诊数据库进行存储。本发明的方法及装置能为耳诊诊测提供定量参考数据，自动识别耳诊病症状态。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种中医耳诊图像处理方法及装置。
背景技术
中医学在诊断和防治疾病中的重要思想是将人体看作一个有机整体，强调内脏和体表组织器官在结构和机能上的协调性和完整性，以及生理上的密切联系和病理上的相互影响。其中，中医理论认为，耳为肾所主，肾开窍于耳，心气也通于耳，耳部为宗脉之所聚，胃、膀胱、三焦、胆经等经气皆上通于耳，其病候皆反映于耳。因而，通过中医中“望、闻、问、切”的耳廓望诊和耳部触诊对耳部的位、色、形、态进行观察，能够直接反应出脏腑的重要信息。
随着人工智能技术的不断发展，使得望诊中的舌诊图像处理已取得不少成果，但是，耳诊的客观化数字研发目前还是罕见。因此，为了更好的推广中医耳诊，利用人工智能技术处理并识别耳诊图像以及对耳诊图像进行分析为病情诊断提供定量的参考数据，以克服因经验不足或判断差异而产生的问题，具有广泛应用研究意义。
发明内容
针对上述问题，本发明的一种中医耳诊图像处理方法及装置能够为耳诊诊测提供定量的参考数据，自动识别出耳诊病症状态，克服因经验不足或判断差异而产生的判断不准确的问题。
为解决上述技术问题，本发明的一种中医耳诊图像处理方法，包括：
通过双目相机获取使用者的耳部图像；
采用空间点重建方法对所述耳部图像进行三维重建，以形成耳部三维模型；
以所述耳部三维模型的耳中部位并转换为中心对其进行扇形分割，使得所述耳部三维模型中轮1耳穴至轮6耳穴分别位于不同的扇形区域内，得到所述耳部三维模型的区域图像；
根据所述各个区域图像中耳轮区域的像素信息确定其五色特征，以及提取所述各个区域图像中耳甲区域的五色特征并转换为耳色特征；所述五色特征用于指示轮区域图像的体表病色，所述五色特征用于指示青、红、黄、白、黑中的一种，所述耳色特征用于指示各个区域图像中耳甲区域对应的五脏状态等级；
从所述耳部三维模型中提取三维表面特征并转换为耳廓形态特征；
将预设获取次数内的所述耳色特征和所述耳廓形态特征送入预设的SVM多分类器以进行耳诊病症状态分类并将分类后的数据输出至预设的耳诊数据库进行存储。
作为上述方案的改进，所述耳部图像通过如下步骤获得：
通过两台高分辨率摄像机组成的双目相机获取使用者的头部侧面视频图像；
对所述头部侧面视频图像进行预处理，所述预处理包括依次进行的图像增强处理和图像滤波处理；
采用HAAR特征及ADABOOST算法对所述头部侧面视频图像进行耳部区域检测，以获取耳部图像；
作为上述方案的改进，所述耳部三维模型通过如下步骤构建：
采用相机标定法计算所述双目相机的内参数和外参数；
根据所述内参数、所述外参数和世界坐标系中的定标点建立所述双目相机对应的双目模型相机之间的位置关系，得到所述双目模型相机的投影矩阵；
对所述耳部图像进行特征点提取并进行特征匹配，以建立耳部图像匹配点对集；
根据所述投影矩阵和所述耳部图像匹配点对集进行三维重建，得到耳部三维模型。
作为上述方案的改进，所述区域图像通过如下步骤进行分割：
根据所述耳部三维模型中耳中部位特征点、轮1耳穴特征点至轮6耳穴特征点定位轮区域；
采用Hough变换对定位出的轮区域进行扇形分割，得到各个区域图像。
作为上述方案的改进，所述各个区域图像中耳轮区域的五色特征通过如下步骤确定：
根据所述各个耳轮区域图像中各个像素的R分量、G分量、B分量计算各个像素的RGB平均值；
根据所述各个像素的RGB平均值计算所述各个耳轮区域图像中的红色比例、青色比例、黄色比例、白色比例和黑色比例，以确定比例最大的颜色为所述各个区域图像的五色特征。
作为上述方案的改进，所述耳色特征包括使用者正常、病症呈现、病症一般、病症加深、病症严重、病症非常严重。
作为上述方案的改进，所述三维表面特征通过如下步骤提取：
从所述耳部三维模型中获取点状或片状的隆起区域图像、局部血管图像、耳垂图像和耳垂皱褶图像；
根据所述局部血管图像的纹理特征确定其形状特征；
根据所述耳垂图像中耳垂的弯曲度确定耳垂厚度特征；
根据所述耳垂皱褶图像识别其皱褶的深浅度；
设定所述隆起区域图像的体表病色特征、所述局部血管图像的形状特征、所述耳垂厚度特征和所述皱褶的深浅度为所述三维表面特征。
本发明还提供一种中医耳诊图像处理装置，所述装置存储有计算机程序，所述计算机程序适于被执行以实现上述任一种图像处理方法。
本发明还提供另一种中医目诊图像处理装置，该装置包括处理器、与所述处理器连接的存储器，所述存储器存储有计算机程序，所述计算机程序适于被执行以上述任一种图像处理方法。
与现有技术相比，实施本发明的一种中医耳诊图像处理方法及装置具有如下有益效果：
(1)通过建立耳部三维模型来获取各个耳轮区域图像的五色特征及其耳甲区域的五色特征并转换为耳色特征、以及提取耳部三维模型的三维表面特征并转换为耳廓形态特征，再将获取的上述特征由SVM分类器进行耳诊病症状态分类并将分类后的数据输出至预设的耳诊数据库进行存储，能够为耳诊诊测提供定量的参考数据，克服因经验不足或判断差异而产生的判断不准确的问题。
(2)本发明的方法及装置通过图像处理的方法来获取使用者的耳部图像并对其进行耳诊症候的识别，能有效避免现有技术中电诊或触诊因接触性不足而导致诊测效果差的问题，并且因其能准确、便捷、无痛、无创的进行诊测，可有效改善使用者的使用体验。
附图说明
图1是本发明实施例提供的一种中医耳诊图像处理方法的流程示意图。
图2是中国标准耳穴挂图。
图3是本发明实施例提供的一种中医耳诊图像处理装置的结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
下面结合具体实施例和附图对本发明的技术方案进行清楚、完整的描述。
请参见图1，是本发明实施例提供的一种中医耳诊图像处理方法的流程示意图。
如图1和图2所示，该中医耳诊图像处理方法包括如下步骤：
S1、通过双目相机获取使用者的耳部图像；
在步骤S1中，所述耳部图像通过如下步骤获得：
S11、通过两台高分辨率摄像机组成的双目相机获取使用者的头部侧面视频图像；
其中，使用者在利用该双目相机进行拍摄时，需要暴露整个耳朵；并且本发明中的双目相机采用两台高分辨率摄像机组成，使得获取到的视频图像具有很高的分辨率，能够提高耳部图像定量分析的准确性。
S12、对所述头部侧面视频图像进行预处理，所述预处理包括依次进行的图像增强处理和图像滤波处理；
S13、采用HAAR特征及ADABOOST算法对所述头部侧面视频图像进行耳部区域检测，以获取耳部图像；
S2、采用空间点重建方法对所述耳部图像进行三维重建，以形成耳部三维模型；
在步骤S2中，所述耳部三维模型通过如下步骤构建：
S21、采用相机标定法计算所述双目相机的内参数和外参数；
S22、根据所述内参数、所述外参数和世界坐标系中的定标点建立所述双目相机对应的双目模型相机之间的位置关系，得到所述双目模型相机的投影矩阵；
S23、对所述耳部图像进行特征点提取并进行特征匹配，以建立耳部图像匹配点对集；
S24、根据所述投影矩阵和所述耳部图像匹配点对集进行三维重建，得到耳部三维模型。
S3、以所述耳部三维模型的耳中部位作为中心对其进行扇形分割，使得所述耳部三维模型中轮1耳穴至轮6耳穴分别位于不同的扇形区域内，得到所述耳部三维模型的区域图像；
在步骤S3中，所述区域图像通过如下步骤进行分割：
S31、根据所述耳部三维模型中耳中部位特征点、轮1耳穴特征点至轮6耳穴特征点定位轮区域；
S32、采用Hough变换对定位出的轮区域进行扇形分割，得到各个区域图像。
S4、根据所述各个区域图像中耳轮区域的像素信息确定其五色特征，以及提取所述各个区域图像中耳甲区域的五色特征并转换为耳色特征；所述五色特征用于指示轮区域图像的体表病色，所述五色特征用于指示青、红、黄、白、黑中的一种，所述耳色特征用于指示各个区域图像中耳甲区域对应的五脏状态等级；
在步骤S4中，所述各个区域图像的五色特征通过如下步骤确定：
S401、根据所述各个区域图像中各个像素的R分量、G分量、B分量计算各个像素的RGB平均值；
S402、根据所述各个像素的RGB平均值计算所述各个区域图像中的红色比例、青色比例、黄色比例、白色比例和黑色比例，以确定比例最大的颜色为所述各个区域图像的五色特征。
由于图像在计算机内是通过像素来表达，每个像素的颜色是由红色分量(R)、绿色分量(G)、蓝色分量(B)三个值来表示，且每个颜色分量都有256(0～255)级灰度，因而在步骤S401中，通过计算各个像素的RGB平均至可以精确的描述各种颜色。
在步骤402中，通过如下方式计算每个区域图像中红色比例、青色比例、黄色比例、白色比例和黑色比例：红色像素数量/像素总数、青色像素数量/像素总数、黄色像素数量/像素总数、白色像素数量/像素总数、黑色像素数量/像素总数，最后设定比例值最大的颜色为区域图像的五色特征。例如，当确定一张轮1耳穴区域图像中红色比例最大时，则红色为该轮1耳穴区域图像的五色特征。
在步骤S402中，由于位于轮1耳穴区域图像的耳甲区域的五色特征与人体肾脏部位体表病色对应、位于轮2耳穴区域图像的耳甲区域的五色特征与人体肝脏部位体表病色对应、位于轮3耳穴区域图像的耳甲区域的五色特征与人体脾脏部位体表病色对应、位于轮4耳穴区域图像的耳甲区域的五色特征与人体肺脏部位体表病色对应、位于轮5耳穴区域图像的耳甲区域的五色特征与人体心脏部位体表病色对应，则可依次设定轮1至轮6耳穴区域图像的耳甲区域为肾脏耳甲区域、肝脏耳甲区域、脾脏耳甲区域、肺脏耳甲区域和心脏耳甲区域。
为此，根据中医病色交错理论，通过依据如下表1所示的病色交错表转换五色特征为耳色特征：
表1病色交错表
也就是说，当肝脏耳甲区域呈现青色、心脏耳甲区域呈现红色、脾脏耳甲区域呈现黄色、肺脏耳甲区域呈现白色、肾脏耳甲区域呈现黑色，其五脏体表特征(即耳色特征)为病症呈现；
当肝脏耳甲区域呈现黑色、心脏耳甲区域呈现青色、脾脏耳甲区域呈现红色、肺脏耳甲区域呈现黄色、肾脏耳甲区域呈现白色，其五脏体表特征(即耳色特征)为病症一般；
当肝脏耳甲区域呈现红色、心脏耳甲区域呈现黄色、脾脏耳甲区域呈现白色、肺脏耳甲区域呈现黑色、肾脏耳甲区域呈现青色，其五脏体表特征(即耳色特征)为病症加深；
当肝脏耳甲区域呈现黄色、心脏耳甲区域呈现白色、脾脏耳甲区域呈现黑色、肺脏耳甲区域呈现青色、肾脏耳甲区域呈现红色，其五脏体表特征(即耳色特征)为病症严重；
当肝脏耳甲区域呈现白色、心脏耳甲区域呈现黑色、脾脏耳甲区域呈现青色、肺脏耳甲区域呈现红色、肾脏耳甲区域呈现黄色，其五脏体表特征(即耳色特征)为病症非常严重；
因而各个区域图像中耳甲区域的五色特征变化能够直接反应出人体五脏的健康状态。
S5、从所述耳部三维模型中提取三维表面特征并转换为耳廓形态特征；
在中医学中，耳廓形态诊断包括：当耳廓局部有结节状或条索状隆起、点状凹陷时，则表示有慢性器质性疾病；当耳廓局部见到点状或片状白色隆起，且隆起光泽发亮或边缘红晕，则多为慢性疾病在耳穴上的反应；当耳廓局部血管过于充盈、扩张，可见到圆圈状、条状等图形时，则常见于有心肺功能异常；当耳垂向后弯曲，而且较为肥厚时，则反应出多易患脂肪肝等代谢疾病。因而，在步骤S5中通过耳部三维模型中的三维表面特征及预训练的耳廓形态SVM多分类器提取耳廓形态特征可以直观反应人体脏腑的健康状态，提高后续分类识别的全面性和准确性。
所述耳廓形态SVM多分类器通过如下间接法步骤构造：
S501、依据病情的轻重标注望诊图像数据库中预设的耳部降起图像、局部血管图像、耳垂厚度图像、皱褶图像的三维表面特征，其轻重分为正常、病症呈现、病症一般、病症加深、病症严重、病症非常严重等六个类别，每个分别设定为A、B、C、D、E、F；
S502、训练时依次把相同类别的样本归为一类，其他剩余的样本归为另一类，这样六个类别的样本就构造出了六个SVM。分类时将未知样本分类为具有最大分类函数值的那类。于是在抽取训练集的时候，分别抽取：
(1)A所对应的向量作为正集，B、C、D、E、F所对应的向量作为负集；
(2)B所对应的向量作为正集，A，C、D、E、F所对应的向量作为负集；
(3)C所对应的向量作为正集，A、B、D、E、F所对应的向量作为负集；
(4)D所对应的向量作为正集，A、B、C、E、F所对应的向量作为负集；
(5)E所对应的向量作为正集，A、B、C、D、F所对应的向量作为负集；
(6)F所对应的向量作为正集，A、B、C、D、E所对应的向量作为负集；
使用这六个训练集分别进行训练，然后得到六个训练结果文件。利用这六个训练结果文件对对应的测试向量分别进行测试，最后每个测试得到一个结果值，而最终的测试结果便是由这六个结果值中最大的一个作为分类结果。
在步骤S5中，所述三维表面特征通过如下步骤提取：
S511、从所述耳部三维模型中获取点状或片状的隆起耳甲区域图像、局部血管图像、耳垂图像和耳垂皱褶图像；
S512、根据所述局部血管图像的病色特征确定其隆起病色特征；
S512、根据所述局部血管图像的纹理特征确定其形状特征；
S513、根据所述耳垂图像中耳垂的弯曲度确定耳垂厚度特征；
S514、根据所述耳垂皱褶图像识别其皱褶的深浅度特征；
S6、将预设获取次数内的所述耳色特征和所述耳廓形态特征送入预设的SVM分类器以进行耳诊病症状态分类并将分类后的数据输出至预设的耳诊数据库进行存储。所述耳诊病症状态是使用者正常、病症呈现、病症一般、病症加深、病症严重、病症非常严重状态中的一种。
在步骤S6中，预设的SVM分类器通过如下步骤构建：
S61、通过训练集和测试集构建SVM分类器；
具体地，SVM分类器的构建包括如下步骤：
在预定的获取次数内分别收集N个耳色特征、N个耳廓形态特征作为样本数据，并对所述样本数据进行归一化得到样本集P；其中，N≥2，且N为整数；其中，N＝60，
a1,n表示归一化后的N个耳色特征，作为样本集P中的第二子样本；
a2,n表示归一化后的N个耳廓形态特征，作为样本集P中的第三子样本；
其中，n＝1，2，3，…，N；
S62、通过主成分分析对每个子样本进行降维，使得样本集P中的样本数据减少一半，得到样本集P1；
S63、从降维后的样本集P1中选取70％的样本数据作为SVM的训练集D，其余30％的样本数据作为测试集T；
S64、设定的训练集D＝{(x1,l1)，(x2,l2)，…，(xm,lm)}，其中，D∈P1li∈{-1,1}xi是样本数据，li是样本标记；
S65、假设该训练集可被一个超平面ωTx+b＝0线性划分，其中，ω是决定超平面的法向量，b是原点与超平面距离的位置，则问题转化为最优化超平面问题：
其中，ξi是0/1损失函数，c为惩罚参数；
S66、对于非线性可分情况，选用RBF径向基核函数
则SVM分类器的优化问题最终转化为参数(C，δ)的选择问题；其中，δ≥0为径向基核函数的宽度参数，用于控制径向基核函数的径向作用范围。
具体地，在步骤S76中，通过如下步骤构建训练分类模型：
S661、以2-10≤c≤27和2-10≤δ≤23为范围、步距为0.1构建取值范围内的所有c和δ组成的参数对；
S662、依次取参数对(C，δ)作为基于RBF径向基核函数的SVM分类器参数的初始值，利用交叉验证K-CV方法得到每组参数对(C，δ)下训练集D验证分类准确率；
S663、选取最高分类准确率所对应的参数对(Co，δo)作为最佳参数，得到所求SVM分类模型的模型参数。
进一步地，在步骤S7中通过如下步骤进行模型预测：
采用上述步骤得到的模型参数(Co，δo)对测试集T进行SVM分类预测，得到使用者耳诊病症状态。所述耳诊病症状态是使用者正常、病症呈现、病症一般、病症加深、病症严重、病症非常严重状态中的一种。
本发明实施例还提供一种中医耳诊图像处理装置，所述装置存储有计算机程序，所述计算机程序适于被执行以实现上述任一种所述的图像处理方法。
如图3所示，本发明实施例还提供另一种中医耳诊图像处理装置，该装置包括处理器1、与所述处理器1连接的存储器2，所述存储器2存储有计算机程序，所述计算机程序适于被执行以实现上述任一种图像处理方法。
与现有技术相比，实施本发明的一种中医耳诊图像处理方法及装置具有如下有益效果：
(1)通过建立耳部三维模型来获取各个耳轮耳甲区域图像的五色特征及其耳甲耳甲区域的五色特征并转换为耳色特征、以及提取耳部三维模型的三维表面特征并转换为耳廓形态特征，再将获取的上述特征由SVM分类器进行耳诊病症状态分类并将分类后的数据输出至预设的耳诊数据库进行存储，能够为耳诊诊测提供定量的参考数据，克服因经验不足或判断差异而产生的判断不准确的问题。
(2)本发明的方法及装置通过图像处理的方法来获取使用者的耳部图像并对其进行耳诊症候的识别，能有效避免现有技术中电诊或触诊因接触性不足而导致诊测效果差的问题，并且因其能准确、便捷、无痛、无创的进行诊测，可有效改善使用者的使用体验。
以上所述，仅是本发明的较佳实施例而已，并非对本发明做任何形式上的限制，故凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (8)
1.一种中医耳诊图像处理方法，其特征在于，包括：
通过双目相机获取使用者的耳部图像；
采用空间点重建方法对所述耳部图像进行三维重建，以形成耳部三维模型；
以所述耳部三维模型的耳中部位作为中心对其进行扇形分割，使得所述耳部三维模型中轮1耳穴至轮6耳穴分别位于不同的扇形区域内，得到所述耳部三维模型的区域图像；
根据各个所述区域图像中耳轮区域的像素信息确定其五色特征，以及提取各个区域图像中耳甲区域的五色特征并转换为耳色特征；所述五色特征用于指示轮区域图像的体表病色，所述五色特征用于指示青、红、黄、白、黑中的一种，所述耳色特征用于指示各个区域图像中耳甲区域对应的五脏状态等级；
从所述耳部三维模型中提取三维表面特征并转换为耳廓形态特征；
将预设获取次数内的所述耳色特征和所述耳廓形态特征送入预设的SVM多分类器以进行耳诊病症状态分类并将分类后的数据输出至预设的耳诊数据库进行存储；
所述三维表面特征通过如下步骤提取：
从所述耳部三维模型中获取点状或片状的隆起区域图像、局部血管图像、耳垂图像和耳垂皱褶图像；
根据所述局部血管图像的纹理特征确定其形状特征；
根据所述耳垂图像中耳垂的弯曲度确定耳垂厚度特征；
根据所述耳垂皱褶图像识别其皱褶的深浅度；
设定所述隆起区域图像的体表病色特征、所述局部血管图像的形状特征、所述耳垂厚度特征和所述皱褶的深浅度为所述三维表面特征。
2.如权利要求1所述的图像处理方法，其特征在于，所述耳部图像通过如下步骤获得：
通过两台高分辨率摄像机组成的双目相机获取使用者的头部侧面视频图像；
对所述头部侧面视频图像进行预处理，所述预处理包括依次进行的图像增强处理和图像滤波处理；
采用HAAR特征及ADABOOST算法对所述头部侧面视频图像进行耳部区域检测，以获取耳部图像。
3.如权利要求1所述的图像处理方法，其特征在于，所述耳部三维模型通过如下步骤构建：
采用相机标定法计算所述双目相机的内参数和外参数；
根据所述内参数、所述外参数和世界坐标系中的定标点建立所述双目相机对应的双目模型相机之间的位置关系，得到所述双目模型相机的投影矩阵；
对所述耳部图像进行特征点提取并进行特征匹配，以建立耳部图像匹配点对集；
根据所述投影矩阵和所述耳部图像匹配点对集进行三维重建，得到耳部三维模型。
4.如权利要求1所述的图像处理方法，其特征在于，所述区域图像通过如下步骤进行分割：
根据所述耳部三维模型中耳中部位特征点、轮1耳穴特征点至轮6耳穴特征点定位轮区域；
采用Hough变换对定位出的轮区域进行扇形分割，得到各个区域图像。
5.如权利要求1所述的图像处理方法，其特征在于，所述各个区域图像的五色特征通过如下步骤确定：
根据所述各个区域图像中各个像素的R分量、G分量、B分量计算各个像素的RGB平均值；
根据所述各个像素的RGB平均值计算所述各个区域图像中的红色比例、青色比例、黄色比例、白色比例和黑色比例，以确定比例最大的颜色为所述各个区域图像的五色特征。
6.如权利要求1所述的图像处理方法，其特征在于所述耳色特征包括使用者正常、病症呈现、病症一般、病症加深、病症严重、病症非常严重。
7.一种中医耳诊图像处理装置，其特征在于，所述装置存储有计算机程序，所述计算机程序适于被执行以实现如权利要求1～6中任一项所述的图像处理方法。
8.一种中医耳诊图像处理装置，其特征在于，包括处理器、与所述处理器连接的存储器，所述存储器存储有计算机程序，所述计算机程序适于被执行以实现如权利要求1～6中任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910598839.2A CN110349140B (zh) | 2019-07-04 | 2019-07-04 | 一种中医耳诊图像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910598839.2A CN110349140B (zh) | 2019-07-04 | 2019-07-04 | 一种中医耳诊图像处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110349140A CN110349140A (zh) | 2019-10-18 |
| CN110349140B true CN110349140B (zh) | 2023-04-07 |
Family
ID=68178086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910598839.2A Expired - Fee Related CN110349140B (zh) | 2019-07-04 | 2019-07-04 | 一种中医耳诊图像处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110349140B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113099358B (zh) * | 2020-01-08 | 2023-08-22 | 北京小米移动软件有限公司 | 调整耳机音频参数的方法及装置、耳机、存储介质 |
| CN112330793A (zh) * | 2020-09-30 | 2021-02-05 | 安克创新科技股份有限公司 | 耳模三维模型的获取方法、耳机定制方法和计算设备 |
| CN113658702B (zh) * | 2021-08-26 | 2023-09-15 | 山西慧虎健康科技有限公司 | 基于中医望诊的脑卒中特征提取与智能风险预测方法及系统 |
| CN114099322B (zh) * | 2021-12-06 | 2023-05-26 | 贵州中医药大学第一附属医院 | 一种便于定位耳穴的方法 |
| CN114495171B (zh) * | 2022-01-28 | 2024-05-14 | 杭州师范大学 | 一种基于aam的耳像识别方法 |
| CN114240936B (zh) * | 2022-02-23 | 2022-06-14 | 季华实验室 | 耳朵分析检测装置及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104573723A (zh) * | 2015-01-08 | 2015-04-29 | 上海中医药大学 | 一种基于中医望诊的“神”的特征提取与分类方法及系统 |
| WO2018040099A1 (zh) * | 2016-08-31 | 2018-03-08 | 深圳市唯特视科技有限公司 | 一种基于灰度和深度信息的三维人脸重建方法 |
| CN109034114A (zh) * | 2018-08-22 | 2018-12-18 | 上海掌门科技有限公司 | 一种耳诊方法、设备、系统及计算机可读介质 |
-
2019
- 2019-07-04 CN CN201910598839.2A patent/CN110349140B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104573723A (zh) * | 2015-01-08 | 2015-04-29 | 上海中医药大学 | 一种基于中医望诊的“神”的特征提取与分类方法及系统 |
| WO2018040099A1 (zh) * | 2016-08-31 | 2018-03-08 | 深圳市唯特视科技有限公司 | 一种基于灰度和深度信息的三维人脸重建方法 |
| CN109034114A (zh) * | 2018-08-22 | 2018-12-18 | 上海掌门科技有限公司 | 一种耳诊方法、设备、系统及计算机可读介质 |
Non-Patent Citations (1)
| Title |
|---|
| 心血管病多元望诊体系的构建;孙京;《中医研究》;20140530;第27卷(第5期);第6-9页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110349140A (zh) | 2019-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110349140B (zh) | 一种中医耳诊图像处理方法及装置 | |
| CN110930416B (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
| CN110689025B (zh) | 图像识别方法、装置、系统及内窥镜图像识别方法、装置 | |
| WO2018120942A1 (zh) | 一种多模型融合自动检测医学图像中病变的系统及方法 | |
| Shrivastava et al. | Exploring the color feature power for psoriasis risk stratification and classification: A data mining paradigm | |
| CN107403142B (zh) | 一种微表情的检测方法 | |
| CN110335266B (zh) | 一种智能中医目诊图像处理方法及装置 | |
| CN102567734B (zh) | 基于比值的视网膜细小血管分割方法 | |
| CN105657580B (zh) | 一种胶囊内镜视频摘要生成方法 | |
| CN106023151A (zh) | 一种开放环境下中医舌象目标检测方法 | |
| CN110334649A (zh) | 一种人工视觉智能中医面诊五脏状态诊测方法及装置 | |
| CN110414607A (zh) | 胶囊内窥镜图像的分类方法、装置、设备及介质 | |
| CN112270667A (zh) | 一种基于ti-rads的集成深度学习多标签识别方法 | |
| CN112071418B (zh) | 基于增强ct影像组学的胃癌腹膜转移的预测系统及方法 | |
| CN112651400B (zh) | 一种立体内窥镜辅助检测方法、系统、装置及存储介质 | |
| Ning et al. | BESS: Balanced evolutionary semi-stacking for disease detection using partially labeled imbalanced data | |
| Zhang et al. | Computer identification and quantification of fissured tongue diagnosis | |
| Gu et al. | Automatic Tongue Image Segmentation Based on Thresholding and an Improved Level Set Model | |
| CN116402802A (zh) | 一种基于颜色空间多特征融合的水下图像质量评价方法 | |
| CN113255781B (zh) | Cp-ebus的代表性图片选取方法、装置以及诊断系统 | |
| Maghsoudi et al. | Detection of abnormalities in wireless capsule endoscopy frames using local fuzzy patterns | |
| CN112507877A (zh) | 一种在视频部分信息缺失情况下检测心率的系统与方法 | |
| Kanawong | Computer-aided tongue image diagnosis and analysis | |
| Zhao et al. | WCE video clips segmentation based on abnormality | |
| Lin et al. | Facial Complexion Recognition of Traditional Chinese Medicine Based on Computer Vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20230407 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |