CN110532907A - 基于面象和舌象双模态特征提取的中医人体体质分类方法 - Google Patents

基于面象和舌象双模态特征提取的中医人体体质分类方法 Download PDF

Info

Publication number
CN110532907A
CN110532907A CN201910748649.4A CN201910748649A CN110532907A CN 110532907 A CN110532907 A CN 110532907A CN 201910748649 A CN201910748649 A CN 201910748649A CN 110532907 A CN110532907 A CN 110532907A
Authority
CN
China
Prior art keywords
face
module
classification
tongue picture
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910748649.4A
Other languages
English (en)
Other versions
CN110532907B (zh
Inventor
商秀芹
包音
沈震
董西松
熊刚
刘胜
颜军
罗璨
王飞跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Cloud Computing Industry Technology Innovation and Incubation Center of CAS
Original Assignee
Institute of Automation of Chinese Academy of Science
Cloud Computing Industry Technology Innovation and Incubation Center of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science, Cloud Computing Industry Technology Innovation and Incubation Center of CAS filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201910748649.4A priority Critical patent/CN110532907B/zh
Publication of CN110532907A publication Critical patent/CN110532907A/zh
Application granted granted Critical
Publication of CN110532907B publication Critical patent/CN110532907B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2137—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像识别及中医体质分类领域，具体涉及了一种基于面象和舌象双模态特征提取的中医人体体质分类方法、系统、装置，旨在解决现有技术体质分类结果准确率不能达到预期的问题。本发明方法包括：对获取的二维人脸、舌象图像归一化，对获取的三维人脸图像进行3D人脸识别预处理、自组织映射、k‑最邻近操作；提取处理后的二维图像的颜色特征、纹理特征，三维数据的几何特征；将特征融合并降维；采用DAG‑SVM多类分类模型获得对应的体质类别。本发明结合二维和三维数据的特征，在一些疾病的诊断中能够收集到更多角度尺度信息，提高了体质分类的准确率，从而提高了疾病诊断的准确率。

Description

基于面象和舌象双模态特征提取的中医人体体质分类方法
技术领域
本发明属于图像处理及中医体质分类领域，具体涉及了一种基于面象和舌象双模态特征提取的中医人体体质分类方法。
背景技术
中医体质学是以中医理论为指导，研究人类体质特征、体质类型的生理、病理特点、分析疾病的反应状态、病变的性质及发展趋向，指导疾病预防、治疗以及养生康复的一门学科，是继承中医基础理论上的创新点，也是当前发展中医基础理论的突破口。其在经典医籍的传承、基础研究、临床研究方面都取得了长足的进步，在中医药发展领域中处于重要地位。
体质现象是人类生命活动中一种重要表现形式，体质类型和疾病有着密切的联系，因此体质分型在体质学说临床运用中有着重要作用。现代中医对体质的分型研究，一般是从临床角度根据疾病群体中的体质变化、表现特征及与疾病的关系等方面对体质做出分类。在中医领域，医生可以根据病人的面部特征来分辨来诊者的神、色、形、态变化以测知其外在精神状态、内在五脏气血荣枯。人体在常态下，气血旺盛，脏腑安和，面部外见五色修明。一旦气血失调，五脏失和，皆可通过面部予以反映。在中医体质辨识过程中，通过对面部颜色、油脂及面部斑疹等的观察与分析，来进行体质分类。
目前深度学习等图像识别技术已成为人工智能领域的重要研究方向，其研究成果已成功应用于部分医疗领域，在自动诊疗方面取得丰硕的成果。诸如Google AI医疗已经更够通过识别病理图像使转移性乳腺癌检测的准确率达到99％。然而，在一些疾病的诊断中，深度学习通过二维图像分析会因为信息的缺失从而使诊断的准确率降低，而三维数据可以提供更多角度尺度信息从而可以提高诊断的准确率。
发明内容
为了解决现有技术中的上述问题，即现有技术无法兼顾二维和三维数据的信息、导致人体体质分类结果准确率不能达到预期的问题，本发明提供了一种基于面象和舌象双模态特征提取的中医人体体质分类方法，该人体体质分类方法包括：
步骤S10，分别获取待体质分类对象的二维人脸图像、二维舌象图像、三维人脸数据；
步骤S20，分别对所述二维人脸图像、二维舌象图像进行预设大小的归一化操作，获得第一二维人脸图像、第一二维舌象图像；对所述三维人脸数据进行3D人脸识别预处理、自组织映射、k-最邻近操作，获得第一三维人脸数据；
步骤S30，采用特征提取网络分别提取所述第一二维人脸图像、第一二维舌象图像的颜色特征；采用LBP算子分别提取所述第一二维人脸图像、第一二维舌象图像的纹理特征；采用三维深度学习方法提取所述第一三维人脸数据的几何特征；
步骤S40，将所述颜色特征、纹理特征、几何特征融合，并采用主成分分析法进行降维，获得融合降维特征；
步骤S50，基于所述融合降维特征，通过DAG-SVM多类分类模型，获取待分类对象的体质类别。
在一些优选的实施例中，所述DAG-SVM多类分类模型为基于有向无环图的拓扑结构，其训练方法为：
步骤B10，获取设定数量的不同体质对象的二维人脸图像、二维舌象图像、三维人脸数据作为训练样本；其对应的真实体质类别作为训练样本标签；
步骤B20，随机选取一组训练样本，采用上述的基于面象和舌象双模态特征提取的中医人体体质分类方法的步骤S20-步骤S50对应的方法获取训练样本对应的体质类别；
步骤B30，计算所述体质类别与所述训练标签的训练误差值；
步骤B40，如果所述训练误差值不低于预设阈值，则更新所述DAG-SVM分类模型的参数，并重复步骤B20-步骤B30直至达到预设的训练结束条件。
在一些优选的实施例中，所述待体质分类对象的二维人脸图像、二维舌象图像通过二维拍照方式获取，所述三维人脸数据通过三维扫描方式获取。
在一些优选的实施例中，步骤S20中“对所述三维人脸数据进行3D人脸识别预处理、自组织映射、k-最邻近操作，获得第一三维人脸数据”，其方法为：
步骤S21，对所述三维人脸数据进行3D人脸识别预处理，获取预处理三维人脸数据；
步骤S22，对所述预处理三维人脸数据进行自组织映射的操作，获得表示人脸的121个特征点；
步骤S23，分别对所述121个特征点采用k-最近邻算法获取预设数量特征点，得到第一三维人脸数据。
在一些优选的实施例中，所述体质类别包括：
平和、阳虚、气虚、阴虚、痰湿、湿热、血瘀、气郁、特禀。
本发明的另一方面，提出了一种基于面象和舌象双模态特征提取的中医人体体质分类系统，该人体体质分类系统包括输入模块、归一化模块、三维数据处理模块、特征提取模块、特征融合模块、DAG-SVM多类分类模块、输出模块；
所述输入模块，配置为分别获取待体质分类对象的二维人脸图像、二维舌象图像、三维人脸数据并输入；
所述归一化模块，配置为分别对所述二维人脸图像、二维舌象图像进行预设大小的归一化操作，获得第一二维人脸图像、第一二维舌象图像；
所述三维数据处理模块，配置为对所述三维人脸数据进行3D人脸识别预处理、自组织映射、k-最邻近操作，获得第一三维人脸数据；
所述特征提取模块，配置为分别提取所述第一二维人脸图像、第一二维舌象图像的颜色特征、纹理特征，提取所述第一三维人脸数据的几何特征；
所述特征融合模块，配置为将所述颜色特征、纹理特征、几何特征融合，并采用主成分分析法进行降维，获得融合降维特征；
所述DAG-SVM多类分类模块，配置为基于所述融合降维特征，通过DAG-SVM多类分类模型，获取待分类对象的体质类别；
所述输出模块，配置为输出获取的待分类对象的体质类别。
在一些优选的实施例中，所述三维数据处理模块包括预处理模块、自组织映射模块、特征丰富模块；
所述预处理模块，配置为对所述三维人脸数据进行3D人脸识别预处理，获取预处理三维人脸数据；
所述自组织映射模块，配置为对所述预处理三维人脸数据进行自组织映射的操作，获得表示人脸的121个特征点；
所述特征丰富模块，配置为分别对所述121个特征点采用k-最近邻算法获取预设数量特征点，得到第一三维人脸数据。
在一些优选的实施例中，所述特征提取模块包括颜色特征提取模块、纹理特征提取模块、几何特征提取模块；
所述颜色特征提取模块，配置为采用特征提取网络分别提取所述第一二维人脸图像、第一二维舌象图像的颜色特征；
所述纹理特征提取模块，配置为采用LBP算子分别提取所述第一二维人脸图像、第一二维舌象图像的纹理特征；
所述几何特征提取模块，配置为采用三维深度学习方法提取所述第一三维人脸数据的几何特征。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于面象和舌象双模态特征提取的中医人体体质分类方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于面象和舌象双模态特征提取的中医人体体质分类方法。
本发明的有益效果：
(1)本发明基于面象和舌象双模态特征提取的中医人体体质分类方法，结合的二维数据的颜色纹理特征和三维数据的深度信息，在一些疾病的诊断中能够收集到更多角度尺度信息，提高了体质分类结果准确率，从而提高了疾病诊断的准确率。
(2)本发明基于面象和舌象双模态特征提取的中医人体体质分类方法，通过深度学习等方法，提取患者的与体质相关的面部舌部特征，搭建中医体质分类的辅助医疗平台，实现高效率、高准确率和低成本的辅助医疗工作，从而提高医师的工作效率并减轻医疗工作者的工作负担，使医生能将更多的精力投入到医学研究方面。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于面象和舌象双模态特征提取的中医人体体质分类方法的流程示意图；
图2是本发明基于面象和舌象双模态特征提取的中医人体体质分类方法一种实施例的人脸颜色特征提取区域示例图；
图3是本发明基于面象和舌象双模态特征提取的中医人体体质分类方法一种实施例的三维数据特征提取网络框架图；
图4是本发明基于面象和舌象双模态特征提取的中医人体体质分类方法一种实施例的DAG-SVM多类分类模型示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明的一种基于面象和舌象双模态特征提取的中医人体体质分类方法，包括：
步骤S10，分别获取待体质分类对象的二维人脸图像、二维舌象图像、三维人脸数据；
步骤S20，分别对所述二维人脸图像、二维舌象图像进行预设大小的归一化操作，获得第一二维人脸图像、第一二维舌象图像；对所述三维人脸数据进行3D人脸识别预处理、自组织映射、k-最邻近操作，获得第一三维人脸数据；
步骤S30，采用特征提取网络分别提取所述第一二维人脸图像、第一二维舌象图像的颜色特征；采用LBP算子分别提取所述第一二维人脸图像、第一二维舌象图像的纹理特征；采用三维深度学习方法提取所述第一三维人脸数据的几何特征；
步骤S40，将所述颜色特征、纹理特征、几何特征融合，并采用主成分分析法进行降维，获得融合降维特征；
步骤S50，基于所述融合降维特征，通过DAG-SVM多类分类模型，获取待分类对象的体质类别。
为了更清晰地对本发明基于面象和舌象双模态特征提取的中医人体体质分类方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。
本发明一种实施例的基于面象和舌象双模态特征提取的中医人体体质分类方法，包括步骤S10-步骤S50，各步骤详细描述如下：
步骤S10，分别获取待体质分类对象的二维人脸图像、二维舌象图像、三维人脸数据。
中医体质分类与脸部、舌象等特征相关，因此为了更好地实现中医体质分类，需要采集每个采样对象的二维人脸与舌象图像，三维人脸数据作为一例采样数据组。
待体质分类对象的二维人脸图像、二维舌象图像通过二维拍照方式获取，所述三维人脸数据通过三维扫描方式获取。
步骤S20，分别对所述二维人脸图像、二维舌象图像进行预设大小的归一化操作，获得第一二维人脸图像、第一二维舌象图像；对所述三维人脸数据进行3D人脸识别预处理、自组织映射、k-最邻近操作，获得第一三维人脸数据：
步骤S21，对所述三维人脸数据进行3D人脸识别预处理，获取预处理三维人脸数据。
扫描获取的三维人脸数据会存在一些洞，需要通过3D人脸识别预处理技术(3Dface recognition preprocess，三维人脸识别预处理)对获取的三维人脸数据进行填洞插值、图像插值重采样、鼻尖点检测、提取人脸部分、降噪、姿态矫正操作，获得与二维人脸图像数据对应的三维人脸数据。
本发明一个实施例中，通过牛顿插值法进行填洞插值；立方卷积法实现图像重采样插值；通过侧影线角点检测实现鼻尖点检测；以鼻为球心的圆球提取人脸部分；通过均值滤波器降噪；通过迭代最近点算法进行姿态矫正。
在一些实施例中，若采集的图像质量达到要求，可以不进行预处理，直接进行特征提取。
步骤S22，对所述预处理三维人脸数据进行自组织映射的操作，获得表示人脸的121个特征点。
自组织映射(SOM，Self-Organizing Map)是一种无指导的聚类方法，它模拟人脑中处于不同区域的神经细胞分工不同的特点，即不同区域具有不同的响应特征，而且这一过程是自动完成的。自组织映射网络通过寻找最优参考矢量集合来对输入模式集合进行分类，每个参考矢量为一输出单元对应的连接权向量。
步骤S23，分别对所述121个特征点采用k-最近邻算法获取预设数量特征点，得到第一三维人脸数据。
k-最近邻算法(kNN，k-NearestNeighbo)是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。通过k-最近邻算法获取的三维人脸数据相比于二维人脸数据，多了深度信息，数据更为丰富。
步骤S30，采用特征提取网络分别提取所述第一二维人脸图像、第一二维舌象图像的颜色特征；采用LBP算子分别提取所述第一二维人脸图像、第一二维舌象图像的纹理特征；采用三维深度学习方法提取所述第一三维人脸数据的几何特征。
如图2所示，为本发明基于面象和舌象双模态特征提取的中医人体体质分类方法一种实施例的人脸颜色特征提取区域示例图，包括11个区域，眉间区域1、眼间区域2、鼻中区域3、鼻头区域4、左颧骨区域5、右颧骨区域6、左脸颊区域7、右脸颊区域8、唇部区域9、额头区域10、发际线区域11，该分区依据是中医人体分类关键特征在人脸上的区域分布。
本发明一个实施例中，选取CNN模型ResNet、VGG、GoogLeNet中的一个提取所述第一三维人脸数据的几何特征。如图3所示，为本发明基于面象和舌象双模态特征提取的中医人体体质分类方法一种实施例的三维数据特征提取网络框架图，其由编码器以及分类器构成，每一层均包括卷积、池化、批标准化以及激活函数(ReLU)。最后采用反向传播算法和随机梯度下降方法，根据前向传播的loss值的大小，来进行反向传播迭代更新每一层的权重，直至收敛，完成模型的训练。其中，N×6代表输入点云数据为N行6列；Encoder代表深度学习模型框架中的编码器，包括pointNet-6、pointNet-64、pointNet-128、pointNet-256、pointNet-512+3、pointNet-768、pointNet-1024分别为构建PointNet网络的层，其结构由76个等变层构成，其输入分别为6、64、128、256、515、768、1024，KNNMODULE-384+3、KNNMODULE-768、KNNMODULE-1024分别为K近邻法模块的输入387、768、1024，倒三角代表“上述部分输出为：”，1×1024代表上述部分输出为1×1024的矩阵；Classifier代表深度学习模型框架中的分类器，包括FC-512、FC-256、FC-9分别代表分类器三层网络结构输入512、256、9；1×9代表分类器输出数据为1×9的矩阵。
步骤S40，将所述颜色特征、纹理特征、几何特征融合，并采用主成分分析法进行降维，获得融合降维特征。
PCA全称为principal component analysis，即主成成分分析，将多个变量通过线性变换以选出较少个数重要变量的一种多元统计分析方法，又称主分量分析，用于降维。
对数据进行降维使得数据更易显示，更易懂；降低很多算法的计算开销；去除噪声。
步骤S50，基于所述融合降维特征，通过DAG-SVM多类分类模型，获取待分类对象的体质类别。
中医体质类别包括：
平和、阳虚、气虚、阴虚、痰湿、湿热、血瘀、气郁、特禀九种，并采用1-9表示这9种体质，如表1所示：
表1
种类 1 2 3 4 5 6 7 8 9
体质 平和 阳虚 气虚 阴虚 痰湿 湿热 血淤 气郁 特禀
各类体质的面象与舌象特征如表2所示：
表2
如图4所示，为本发明基于面象和舌象双模态特征提取的中医人体体质分类方法一种实施例的DAG-SVM多类分类模型示意图，该模型为有向无环图的拓扑结构，把所有训练数据集通过两次SVM分类分别分离出1和9得到非1子集和非9子集，如此顺序，依次不断分离出9个类，实现多类分类。
DAG-SVM多类分类模型为基于有向无环图的拓扑结构，其训练方法为：
步骤B10，获取设定数量的不同体质对象的二维人脸图像、二维舌象图像、三维人脸数据作为训练样本；其对应的真实体质类别作为训练样本标签。
每个采样对象的二维人脸与舌象图像，三维人脸数据作为一例采样数据组，本发明一个实施例中，采样1200例，采用随机的方式按照7:3的比例将获取的1200例采样数据分为训练集和测试集，训练集840例，测试集360例。
对采样得到的训练集和测试集根据体质类别的类号进行人工标注，并对分好类的文件进行重命名和编号。
步骤B20，随机选取一组训练样本，采用上述的基于面象和舌象双模态特征提取的中医人体体质分类方法的步骤S20-步骤S50对应的方法获取训练样本对应的体质类别。
步骤B30，计算所述体质类别与所述训练标签的训练误差值。
步骤B40，如果所述训练误差值不低于预设阈值，则更新所述DAG-SVM分类模型的参数，并重复步骤B20-步骤B30直至达到预设的训练结束条件。
训练好的DAG-SVM多类分类模型采用上述的测试集进行测试，若出现过拟合等状态，则调整参数继续训练，直至模型达到预期的效果。
本发明第二实施例的基于面象和舌象双模态特征提取的中医人体体质分类系统，该人体体质分类系统包括输入模块、归一化模块、三维数据处理模块、特征提取模块、特征融合模块、DAG-SVM多类分类模块、输出模块；
所述输入模块，配置为分别获取待体质分类对象的二维人脸图像、二维舌象图像、三维人脸数据并输入；
所述归一化模块，配置为分别对所述二维人脸图像、二维舌象图像进行预设大小的归一化操作，获得第一二维人脸图像、第一二维舌象图像；
所述三维数据处理模块，配置为对所述三维人脸数据进行3D人脸识别预处理、自组织映射、k-最邻近操作，获得第一三维人脸数据；
所述特征提取模块，配置为分别提取所述第一二维人脸图像、第一二维舌象图像的颜色特征、纹理特征，提取所述第一三维人脸数据的几何特征；
所述特征融合模块，配置为将所述颜色特征、纹理特征、几何特征融合，并采用主成分分析法进行降维，获得融合降维特征；
所述DAG-SVM多类分类模块，配置为基于所述融合降维特征，通过DAG-SVM多类分类模型，获取待分类对象的体质类别；
所述输出模块，配置为输出获取的待分类对象的体质类别。
其中，三维数据处理模块包括预处理模块、自组织映射模块、特征丰富模块；
所述修正模块，配置为对所述三维人脸数据进行3D人脸识别预处理，获取预处理三维人脸数据；
所述自组织映射模块，配置为对所述预处理三维人脸数据进行自组织映射的操作，获得表示人脸的121个特征点；
所述特征丰富模块，配置为分别对所述121个特征点采用k-最近邻算法获取预设数量特征点，得到第一三维人脸数据。
其中，特征提取模块包括颜色特征提取模块、纹理特征提取模块、几何特征提取模块；
所述颜色特征提取模块，配置为采用特征提取网络分别提取所述第一二维人脸图像、第一二维舌象图像的颜色特征；
所述纹理特征提取模块，配置为采用LBP算子分别提取所述第一二维人脸图像、第一二维舌象图像的纹理特征；
所述几何特征提取模块，配置为采用三维深度学习方法提取所述第一三维人脸数据的几何特征。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于面象和舌象双模态特征提取的中医人体体质分类系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于面象和舌象双模态特征提取的中医人体体质分类方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于面象和舌象双模态特征提取的中医人体体质分类方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于面象和舌象双模态特征提取的中医人体体质分类方法，其特征在于，该人体体质分类方法包括：
步骤S10，分别获取待体质分类对象的二维人脸图像、二维舌象图像、三维人脸数据；
步骤S20，分别对所述二维人脸图像、二维舌象图像进行预设大小的归一化操作，获得第一二维人脸图像、第一二维舌象图像；对所述三维人脸数据进行3D人脸识别预处理、自组织映射、k-最邻近操作，获得第一三维人脸数据；
步骤S30，采用特征提取网络分别提取所述第一二维人脸图像、第一二维舌象图像的颜色特征；采用LBP算子分别提取所述第一二维人脸图像、第一二维舌象图像的纹理特征；采用三维深度学习方法提取所述第一三维人脸数据的几何特征；
步骤S40，将所述颜色特征、纹理特征、几何特征融合，并采用主成分分析法进行降维，获得融合降维特征；
步骤S50，基于所述融合降维特征，通过DAG-SVM多类分类模型，获取待分类对象的体质类别。
2.根据权利要求1所述的基于面象和舌象双模态特征提取的中医人体体质分类方法，其特征在于，所述DAG-SVM多类分类模型为基于有向无环图的拓扑结构，其训练方法为：
步骤B10，获取设定数量的不同体质对象的二维人脸图像、二维舌象图像、三维人脸数据作为训练样本；其对应的真实体质类别作为训练样本标签；
步骤B20，随机选取一组训练样本，采用权利要求1所述的基于面象和舌象双模态特征提取的中医人体体质分类方法的步骤S20-步骤S50对应的方法获取训练样本对应的体质类别；
步骤B30，计算所述体质类别与所述训练标签的训练误差值；
步骤B40，如果所述训练误差值不低于预设阈值，则更新所述DAG-SVM分类模型的参数，并重复步骤B20-步骤B30直至达到预设的训练结束条件。
3.根据权利要求1所述的基于面象和舌象双模态特征提取的中医人体体质分类方法，其特征在于，所述待体质分类对象的二维人脸图像、二维舌象图像通过二维拍照方式获取，所述三维人脸数据通过三维扫描方式获取。
4.根据权利要求1所述的基于面象和舌象双模态特征提取的中医人体体质分类方法，其特征在于，步骤S20中“对所述三维人脸数据进行3D人脸识别预处理、自组织映射、k-最邻近操作，获得第一三维人脸数据”，其方法为：
步骤S21，对所述三维人脸数据进行3D人脸识别预处理，获取预处理三维人脸数据；
步骤S22，对所述预处理三维人脸数据进行自组织映射的操作，获得表示人脸的121个特征点；
步骤S23，分别对所述121个特征点采用k-最近邻算法获取预设数量特征点，得到第一三维人脸数据。
5.根据权利要求1所述的基于面象和舌象双模态特征提取的中医人体体质分类方法，其特征在于，所述体质类别包括：
平和、阳虚、气虚、阴虚、痰湿、湿热、血瘀、气郁、特禀。
6.一种基于面象和舌象双模态特征提取的中医人体体质分类系统，其特征在于，该人体体质分类系统包括输入模块、归一化模块、三维数据处理模块、特征提取模块、特征融合模块、DAG-SVM多类分类模块、输出模块；
所述输入模块，配置为分别获取待体质分类对象的二维人脸图像、二维舌象图像、三维人脸数据并输入；
所述归一化模块，配置为分别对所述二维人脸图像、二维舌象图像进行预设大小的归一化操作，获得第一二维人脸图像、第一二维舌象图像；
所述三维数据处理模块，配置为对所述三维人脸数据进行3D人脸识别预处理、自组织映射、k-最邻近操作，获得第一三维人脸数据；
所述特征提取模块，配置为分别提取所述第一二维人脸图像、第一二维舌象图像的颜色特征、纹理特征，提取所述第一三维人脸数据的几何特征；
所述特征融合模块，配置为将所述颜色特征、纹理特征、几何特征融合，并采用主成分分析法进行降维，获得融合降维特征；
所述DAG-SVM多类分类模块，配置为基于所述融合降维特征，通过DAG-SVM多类分类模型，获取待分类对象的体质类别；
所述输出模块，配置为输出获取的待分类对象的体质类别。
7.根据权利要求6所述的基于面象和舌象双模态特征提取的中医人体体质分类方法，其特征在于，所述三维数据处理模块包括预处理模块、自组织映射模块、特征丰富模块；
所述修正模块，配置为对所述三维人脸数据进行3D人脸识别预处理，获取预处理三维人脸数据；
所述自组织映射模块，配置为对所述预处理三维人脸数据进行自组织映射的操作，获得表示人脸的121个特征点；
所述特征丰富模块，配置为分别对所述121个特征点采用k-最近邻算法获取预设数量特征点，得到第一三维人脸数据。
8.根据权利要求6所述的基于面象和舌象双模态特征提取的中医人体体质分类方法，其特征在于，所述特征提取模块包括颜色特征提取模块、纹理特征提取模块、几何特征提取模块；
所述颜色特征提取模块，配置为采用特征提取网络分别提取所述第一二维人脸图像、第一二维舌象图像的颜色特征；
所述纹理特征提取模块，配置为采用LBP算子分别提取所述第一二维人脸图像、第一二维舌象图像的纹理特征；
所述几何特征提取模块，配置为采用三维深度学习方法提取所述第一三维人脸数据的几何特征。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-5任一项所述的基于面象和舌象双模态特征提取的中医人体体质分类方法。
10.一种处理装置，包括
处理器，适于执行各条程序；以及
存储装置，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现：
权利要求1-5任一项所述的基于面象和舌象双模态特征提取的中医人体体质分类方法。
CN201910748649.4A 2019-08-14 2019-08-14 基于面象和舌象双模态特征提取的中医人体体质分类方法 Active CN110532907B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910748649.4A CN110532907B (zh) 2019-08-14 2019-08-14 基于面象和舌象双模态特征提取的中医人体体质分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910748649.4A CN110532907B (zh) 2019-08-14 2019-08-14 基于面象和舌象双模态特征提取的中医人体体质分类方法

Publications (2)

Publication Number Publication Date
CN110532907A true CN110532907A (zh) 2019-12-03
CN110532907B CN110532907B (zh) 2022-01-21

Family

ID=68663217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910748649.4A Active CN110532907B (zh) 2019-08-14 2019-08-14 基于面象和舌象双模态特征提取的中医人体体质分类方法

Country Status (1)

Country Link
CN (1) CN110532907B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111466882A (zh) * 2020-04-23 2020-07-31 上海祉云医疗科技有限公司 一种智能中医手诊分析系统及方法
CN111899876A (zh) * 2020-07-19 2020-11-06 武汉东湖大数据交易中心股份有限公司 一种基于网格技术的目标对象精确锁定与智能筛查的方法及装置
CN113449725A (zh) * 2021-06-30 2021-09-28 平安科技（深圳）有限公司 对象分类方法、装置、设备及存储介质
CN114463825A (zh) * 2022-04-08 2022-05-10 北京邮电大学 基于多模态融合的人脸预测方法及相关设备
CN114943735A (zh) * 2022-07-22 2022-08-26 浙江省肿瘤医院 基于舌象图像的肿瘤预测系统、方法及其应用
CN116071373A (zh) * 2023-03-01 2023-05-05 南通大学 一种基于融合PCA的U-net模型舌体自动分割方法
CN116189884A (zh) * 2023-04-24 2023-05-30 成都中医药大学 一种基于面部视觉的多模态融合中医体质判别方法及系统
CN116982933A (zh) * 2023-06-28 2023-11-03 北京中医药大学 一种基于图像识别技术的中医体质辨识系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101129261A (zh) * 2007-02-09 2008-02-27 北京中医药大学 一种获取识别脉动信息与舌诊信息的装置及其方法
CN102622588A (zh) * 2012-03-08 2012-08-01 无锡数字奥森科技有限公司 双验证人脸防伪方法及装置
CN104598878A (zh) * 2015-01-07 2015-05-06 深圳市唯特视科技有限公司 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
CN104751182A (zh) * 2015-04-02 2015-07-01 中国人民解放军空军工程大学 基于ddag的svm多类分类主动学习算法
CN105117688A (zh) * 2015-07-29 2015-12-02 重庆电子工程职业学院 基于纹理特征融合和svm的人脸识别方法
CN106709448A (zh) * 2016-12-21 2017-05-24 华南理工大学 一种基于人脸卷积神经网络的中医体质识别方法
CN107397530A (zh) * 2017-07-19 2017-11-28 广州华久信息科技有限公司 一种中医体质与情感辨别调理系统
CN109524110A (zh) * 2018-11-30 2019-03-26 广州华久信息科技有限公司 一种望诊和问诊合参的中医体质辨识方法及设备
CN109977830A (zh) * 2019-03-16 2019-07-05 四川大学 基于颜色纹理双通道卷积神经网络及循环神经网络的人脸融合检测方法
CN110020620A (zh) * 2019-03-29 2019-07-16 中国科学院深圳先进技术研究院 一种大姿态下的人脸识别方法、装置及设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101129261A (zh) * 2007-02-09 2008-02-27 北京中医药大学 一种获取识别脉动信息与舌诊信息的装置及其方法
CN102622588A (zh) * 2012-03-08 2012-08-01 无锡数字奥森科技有限公司 双验证人脸防伪方法及装置
CN104598878A (zh) * 2015-01-07 2015-05-06 深圳市唯特视科技有限公司 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
CN104751182A (zh) * 2015-04-02 2015-07-01 中国人民解放军空军工程大学 基于ddag的svm多类分类主动学习算法
CN105117688A (zh) * 2015-07-29 2015-12-02 重庆电子工程职业学院 基于纹理特征融合和svm的人脸识别方法
CN106709448A (zh) * 2016-12-21 2017-05-24 华南理工大学 一种基于人脸卷积神经网络的中医体质识别方法
CN107397530A (zh) * 2017-07-19 2017-11-28 广州华久信息科技有限公司 一种中医体质与情感辨别调理系统
CN109524110A (zh) * 2018-11-30 2019-03-26 广州华久信息科技有限公司 一种望诊和问诊合参的中医体质辨识方法及设备
CN109977830A (zh) * 2019-03-16 2019-07-05 四川大学 基于颜色纹理双通道卷积神经网络及循环神经网络的人脸融合检测方法
CN110020620A (zh) * 2019-03-29 2019-07-16 中国科学院深圳先进技术研究院 一种大姿态下的人脸识别方法、装置及设备

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
JIAN ZHANG等: "Classification of traditional Chinese medicine constitution based on facial features in color images", 《OURNAL OF TRADITIONAL CHINESE MEDICAL SCIENCES》 *
LIU, GP等: "Modelling of inquiry diagnosis for coronary heart disease in traditional Chinese medicine by using multi-label learning", 《BMC COMPLEMENTARY AND ALTERNATIVE MEDICINE》 *
孙晓琳: "中医舌象特征的提取与研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *
张红凯等: "基于舌、面、问诊数字信息的"云中医"移动健康管理平台的建立", 《中国中医药科技》 *
梁玉梅: "基于面象特征的中医体质自动辨识系统研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *
辛飞祥: "基于视觉感知融合的中医诊断分析模型研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *
陆冠龙等: "融合舌象和形体特征的辅助中医体质辨识模型研究", 《时珍国医国药》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111466882A (zh) * 2020-04-23 2020-07-31 上海祉云医疗科技有限公司 一种智能中医手诊分析系统及方法
CN111899876A (zh) * 2020-07-19 2020-11-06 武汉东湖大数据交易中心股份有限公司 一种基于网格技术的目标对象精确锁定与智能筛查的方法及装置
CN113449725A (zh) * 2021-06-30 2021-09-28 平安科技（深圳）有限公司 对象分类方法、装置、设备及存储介质
CN113449725B (zh) * 2021-06-30 2024-02-02 平安科技（深圳）有限公司 对象分类方法、装置、设备及存储介质
CN114463825A (zh) * 2022-04-08 2022-05-10 北京邮电大学 基于多模态融合的人脸预测方法及相关设备
CN114943735A (zh) * 2022-07-22 2022-08-26 浙江省肿瘤医院 基于舌象图像的肿瘤预测系统、方法及其应用
CN116071373A (zh) * 2023-03-01 2023-05-05 南通大学 一种基于融合PCA的U-net模型舌体自动分割方法
CN116189884A (zh) * 2023-04-24 2023-05-30 成都中医药大学 一种基于面部视觉的多模态融合中医体质判别方法及系统
CN116189884B (zh) * 2023-04-24 2023-07-25 成都中医药大学 一种基于面部视觉的多模态融合中医体质判别方法及系统
CN116982933A (zh) * 2023-06-28 2023-11-03 北京中医药大学 一种基于图像识别技术的中医体质辨识系统

Also Published As

Publication number Publication date
CN110532907B (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
CN110532907A (zh) 基于面象和舌象双模态特征提取的中医人体体质分类方法
Ari et al. Deep learning based brain tumor classification and detection system
Zuo et al. Multi-resolution CNN and knowledge transfer for candidate classification in lung nodule detection
Wang et al. Learning methods of convolutional neural network combined with image feature extraction in brain tumor detection
Tian et al. Multi-path convolutional neural network in fundus segmentation of blood vessels
CN107945173A (zh) 一种基于深度学习的皮肤疾病检测方法以及系统
CN109325942A (zh) 基于全卷积神经网络的眼底图像结构分割方法
CN107145727A (zh) 一种利用卷积神经网络的医学图像处理装置与方法
KR102458324B1 (ko) 학습 모델을 이용한 데이터 처리 방법
Jain et al. Lung nodule segmentation using salp shuffled shepherd optimization algorithm-based generative adversarial network
Taherdangkoo et al. Segmentation of MR brain images using FCM improved by artificial bee colony (ABC) algorithm
Chai et al. Deep learning through two-branch convolutional neuron network for glaucoma diagnosis
CN110232679A (zh) 一种阿尔茨海默症遗传生物标志物确定方法及系统
Ouchtati et al. Novel method for brain tumor classification based on use of image entropy and seven Hu’s invariant moments
CN114926477A (zh) 一种基于深度学习的脑肿瘤多模态mri影像分割方法
Montagne et al. 3D Local Binary Pattern for PET image classification by SVM, Application to early Alzheimer disease diagnosis
Hajimani et al. An intelligent support system for automatic detection of cerebral vascular accidents from brain CT images
Chuang et al. Efficient triple output network for vertebral segmentation and identification
CN113096137A (zh) 一种oct视网膜图像领域适应分割方法及系统
Tsai et al. Fiber tract clustering on manifolds with dual rooted-graphs
Kareem et al. Comparative evaluation for detection of brain tumor using machine learning algorithms
Losch Detection and segmentation of brain metastases with deep convolutional networks
Lakshminarayanan et al. Diagnosis of cancer using hybrid clustering and convolution neural network from breast thermal image
Saito et al. Heart diseases image classification based on convolutional neural network
Li et al. Alzheimer's level classification by 3D PMNet using PET/MRI multi-modal images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant