CN115601339A - 一种基于人工智能的舌象问诊艾灸方案生成系统及方法 - Google Patents

一种基于人工智能的舌象问诊艾灸方案生成系统及方法 Download PDF

Info

Publication number
CN115601339A
CN115601339A CN202211308317.2A CN202211308317A CN115601339A CN 115601339 A CN115601339 A CN 115601339A CN 202211308317 A CN202211308317 A CN 202211308317A CN 115601339 A CN115601339 A CN 115601339A
Authority
CN
China
Prior art keywords
tongue
moxibustion
disease
picture
inquiry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211308317.2A
Other languages
English (en)
Inventor
于清
韩秋实
李嘉洋
傅俊豪
金浩哲
秦罡培
齐宏烨
安相周
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinjiang University
Original Assignee
Xinjiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjiang University filed Critical Xinjiang University
Priority to CN202211308317.2A priority Critical patent/CN115601339A/zh
Publication of CN115601339A publication Critical patent/CN115601339A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A61B5/4552—Evaluating soft tissue within the mouth, e.g. gums or tongue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4854—Diagnosis based on concepts of traditional oriental medicine
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H39/00—Devices for locating or stimulating specific reflex points of the body for physical therapy, e.g. acupuncture
    • A61H39/06—Devices for heating or cooling such points within cell-life limits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20152—Watershed segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Veterinary Medicine (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Rehabilitation Therapy (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Fuzzy Systems (AREA)
  • Physiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Alternative & Traditional Medicine (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)

Abstract

本发明涉及一种基于人工智能的舌象问诊艾灸方案生成系统及方法，属于人工智能技术领域，首先获取舌象图片；利用分水岭算法对舌象图片进行图像分割，得到舌体图片；再利用VQA模型对所述舌体图片进行特征提取，得到特征数据；将特征数据与病症哈希表进行匹配对比，得到用户的匹配病症；然后获取用户填写的问诊表；利用问诊表中的病症对所述匹配病症进行补充，得到完整病症；最后将完整病症与“病症‑艾灸方案”哈希表进行匹配对比，得到艾灸方案。本发明利用人工智能技术获取到用户的匹配病症，而且获取的是用户在线上填写的问诊表，并根据二者得到艾灸方案，从而完成了线上问诊，并推荐艾灸方案。

Description

一种基于人工智能的舌象问诊艾灸方案生成系统及方法
技术领域
本发明涉及人工智能技术领域，特别是涉及一种基于人工智能的舌象问诊艾灸方案生成系统及方法。
背景技术
目前，全球患有代谢病患者的数量逐年增长。而中国代谢病患病人数已位居世界第一，是名副其实的代谢病第一大国。通常，代谢病患者具有气血亏虚的情况，而艾灸疗法可以帮助代谢病人有效吸收和利用营养，提高自身免疫功能和抗病防病能力等。同样，艾灸也可以调节脏腑阴阳平衡的功效，从中医角度调节身体元阳，促进阴阳平衡，帮助脾、肺、肾的功能正常恢复，从而使代谢病所致机体气血亏虚的情况得到改善。
现有的艾灸疗法需要到现场与医生进行面对面问诊，然而，线下问诊面临诸多不便。
因此，本领域亟需一种线上咨询并给出艾灸方案的技术方案。
发明内容
本发明的目的是提供一种基于人工智能的舌象问诊艾灸方案生成系统及方法，能够供用户直接进行线上咨询并给出艾灸方案，有效解决了现有的艾灸疗法必须要到现场与医生进行面对面问诊的问题。
为实现上述目的，本发明提供了如下方案：
一种基于人工智能的舌象问诊艾灸方案生成系统，所述系统包括：
图像获取单元，用于获取舌象图片；
图像分割单元，用于利用分水岭算法将所述舌象图片中的舌体分割出来，得到舌体图片；
特征提取单元，用于利用VQA模型对所述舌体图片进行特征提取，得到特征数据；所述特征数据包括：舌体大小、舌体颜色、舌体裂纹信息、舌苔厚度、舌苔面积和舌苔颜色；
病症匹配单元，用于将所述特征数据与病症哈希表进行匹配对比，得到用户的匹配病症；所述病症哈希表中保存有特征数据与匹配病症的对应关系；
问诊表获取单元，用于获取用户填写的问诊表；
病症补充单元，用于利用所述问诊表中的病症对所述匹配病症进行补充，得到完整病症；
艾灸方案匹配单元，用于将所述完整病症与“病症-艾灸方案”哈希表进行匹配对比，得到艾灸方案；所述“病症-艾灸方案”哈希表中保存有完整病症与艾灸方案的对应关系。
在一些实施例中，所述舌体大小包括：老、嫩、胖、瘦、点刺、裂纹、舌中裂纹、齿痕、痿软、歪斜和短缩；
所述舌体颜色包括：淡白、淡红、红、绛、青紫、瘀斑、瘀点、舌尖瘀斑瘀点、舌尖红和舌边红；
所述舌苔厚度和所述舌苔面积包括：薄、少、厚、润、燥、腐、腻和肝郁线；
所述舌苔颜色包括：白、黄、灰黑、剥苔、中剥苔、根剥苔和镜面舌。
在一些实施例中，所述图像分割单元，具体包括：
舌体轮廓获取单元，用于利用均值漂移算法得到所述舌象图片中舌体的轮廓；
舌体分割单元，用于利用分水岭算法结合所述舌体的轮廓将舌体分割出来，得到舌体图片。
在一些实施例中，所述图像分割单元，还包括：
二次分割单元，用于利用GAC模型对所述舌体图片中的舌体进行二次分割。
在一些实施例中，所述舌体轮廓获取单元，具体包括：
聚类单元，用于根据色彩特征对所述舌象图片中的像素点进行聚类，得到聚类结果；
轮廓获取单元，用于利用所述聚类结果得到舌体的轮廓。
在一些实施例中，还包括VQA模型训练单元，用于：
将训练图像进行特征信息标记；所述特征信息包括：舌体的大小、颜色、舌苔厚度、舌苔面积、裂纹信息；所述训练图像为利用分水岭算法进行图像分割后的图像；
以所述训练图像为输入，特征信息为输出，训练VQA网络，得到VQA模型。
在一些实施例中，还包括：
建档单元，用于为用户建立电子档案；所述电子档案包括：用户的所述特征数据、用户的匹配病症以及问诊时间。
在一些实施例中，还包括：
档案更新单元，用于在每次将所述特征数据与病症哈希表进行匹配对比，得到用户的匹配病症之后，更新所述电子档案。
在一些实施例中，所述艾灸方案包括：艾灸穴位、艾灸时长、理疗周期、艾灸手法指导和艾灸规格建议。
本发明还提供了一种基于人工智能的舌象问诊艾灸方案生成方法，所述方法包括：
获取舌象图片；
利用分水岭算法对所述舌象图片进行图像分割，得到舌体图片；
利用VQA模型对所述舌体图片进行特征提取，得到特征数据；所述特征数据包括：舌体大小、舌体颜色、舌体裂纹信息、舌苔厚度、舌苔面积和舌苔颜色；
将所述特征数据与病症哈希表进行匹配对比，得到用户的匹配病症；所述病症哈希表中保存有特征数据与匹配病症的对应关系；
获取用户填写的问诊表；
利用所述问诊表中的病症对所述匹配病症进行补充，得到完整病症；
将所述完整病症与“病症-艾灸方案”哈希表进行匹配对比，得到艾灸方案；所述“病症-艾灸方案”哈希表中保存有完整病症与艾灸方案的对应关系。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明一种基于人工智能的舌象问诊艾灸方案生成系统及方法，首先获取舌象图片；利用分水岭算法对所述舌象图片进行图像分割，得到舌体图片；再利用VQA模型对所述舌体图片进行特征提取，得到特征数据；所述特征数据包括：舌体大小、舌体颜色、舌体裂纹信息、舌苔厚度、舌苔面积和舌苔颜色；将所述特征数据与病症哈希表进行匹配对比，得到用户的匹配病症；所述病症哈希表中保存有特征数据与匹配病症的对应关系；然后获取用户填写的问诊表；利用所述问诊表中的病症对所述匹配病症进行补充，得到完整病症；最后将所述完整病症与“病症-艾灸方案”哈希表进行匹配对比，得到艾灸方案；所述“病症-艾灸方案”哈希表中保存有完整病症与艾灸方案的对应关系。由于本发明利用人工智能技术获取到用户的匹配病症，而且获取的是用户在线上填写的问诊表，并根据二者得到艾灸方案，从而完成了线上问诊，并推荐艾灸方案，有效解决了现有的艾灸疗法必须要到现场与医生进行面对面问诊的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的基于人工智能的舌象问诊艾灸方案生成系统的框图。
图2为本发明实施例一提供的图像分割方法的执行流程图。
图3为本发明实施例一提供的另一种提取特征的方法流程图。
图4为本发明实施例一提供的得到特征信息后进行方案推荐的执行流程图。
图5为本发明实施例一提供的基于人工智能的舌象问诊艾灸方案生成系统的整体执行流程图。
图6为本发明实施例二提供的基于人工智能的舌象问诊艾灸方案生成方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如今市面上已经出现了一些基于图像识别进行辅助诊疗的方法与系统，但这些技术大多是基于硬件设施对于病人体质信息进行一个大致的判断与采集。由于疾病的数量庞大，这些系统往往既不能很深入地去分析某一病症，也不能很广泛地分析大多病症，这就很难满足日常诊疗过程中的标准化与个性化需求，因此现有的图像辅助诊疗方案仍有局限性。
一般来讲，一个舌诊系统最核心的功能是识别舌象，其本质为图片的识别。图像识别一般包括图像预处理、图像特征提取、图像特征选择和图像分类4个步骤。
在本系统中，对舌体的分割即是对图像的预处理过程。目前针对舌体分割的算法十分多样化，应用最广泛且成熟的算法主要有阈值法、主动轮廓型、分水岭算法等。阈值分割法出现的时间是比较早的，其原理是利用舌体上覆盖的水膜能反射光线的特性来进行分割。但是此方法具有较大的局限，例如对光照要求高，并且分割效果差。Snake模型又叫做主动轮廓线模型，其参数曲线代表能量函数，通过控制能量目标控制参数曲线的变化，完成图像分割，由于具有较大的灵活性，所以应用较为广泛。分水岭算法是受地理形态启发的图像分割算法，通过模仿地理结构来实现对不同的物体的分类。在本发明中，为了提高舌体分割准确度提出了两种方法来处理舌象图片，一是重点改进了标记控制分水岭算法。这是因为，相较于其他的算法，使用分水岭算法对微弱边缘具有更加良好的响应。二是把人脸识别中证明有效的SDM特征点提取算法引入舌体分割领域。SDM是一种优化方法，一般在人脸特征点检测中用在目标函数的优化求解上，在这里用到它也可以对舌体分割的过程起到同样优秀的效果。
当前，获取图像特征的的方法主要有颜色或灰度的统计特征提取、纹理、边缘特征提取、图像代数特征提取以及图像变换系数特征提取。其中，颜色或灰度的统计特征提取在识别相似的物体时有更高的识别率；纹理、边缘特征提取虽然有良好的不变性、计算简单、表示直观等特点，但是特征维数高、计算量大；图像代数特征提取以及图像变换系数特征提取虽然效果较好，但是发展较晚、应用较少。然而，本发明期望可以通过特征提取得到以下36个舌象指标特征，包括：
舌质：
舌色：淡白、淡红、红、绛、青紫。
形：老、嫩、胖、瘦、点刺、裂纹、舌中裂纹、齿痕。
态：痿软、歪斜、短缩。
其中行和态可以称为舌体大小。
舌体色：瘀斑、瘀点、舌尖瘀斑瘀点、舌尖红、舌边红。
舌苔：
苔质(舌苔厚度、舌苔面积)：薄、少、厚、润、燥、腐、腻、肝郁线。
苔色：白、黄、灰黑、剥苔、中剥苔、根剥苔、镜面舌。
考虑到训练模型时，本发明是根据数位医生对舌体的标注进行调参，传统的图像特征方法并不能较好地满足期望。因此，本发明采用了通过VQA的方法来获取舌象特征。
目前，常用的VQA方法包括：Joint embedding approaches、Attentionmechanisms、Compositional Models和Models using external knowledge base。其中，舌象指标的提取可以简化为一个答案范围已知的分类问题，即计算机从已存储完整舌象指标的词汇表中选择答案。因此，本发明选用了Joint embedding approaches的方法来解决看图说话的问题。
在目前的舌象问诊现代化研究中，在舌象分类方面，常见的是根据舌色苔色来进行分类研究。而除了通过舌色苔色来进行外，舌象的其他特征研究也在逐步发展，比如对于的舌苔的厚薄腐腻程度以及整体的舌型研究等。在本发明中，主要根据舌苔与舌色来对舌象进行分类。
结果纠正算法目前更多的是使用在语言处理上，而对于方案推荐的纠正就需要在不同的系统上差异性地实现。本发明建立了规范化的中医问诊量表，通过用户输入的数据分析得来的结果与舌象处理结果进行修正与统一，使得最终输出的数据更加地准确。
而艾灸方案推荐系统，则是根据舌象问诊产生的数据、通过映射算法进行实现的，其实质是利用用户静态属性来解决问题的推荐算法。目前，市面上所通用的推荐算法多是利用用户的动态信息来进行内容的推荐，但由于在本发明中用户必须经过舌象问诊后才会推荐相应的艾灸方案，所以说系统基本上不存在冷启动问题，于是将舌象处理所得的数据作为静态属性标签来推荐相应的艾灸方案即可，只针对于用户当前的身体状况进行推荐。
本发明是一种基于舌象问诊与机器学习的、针对代谢病患者导出艾灸方案的系统。主要包括：在线舌象问诊；规范化中医问诊量表的建立；中医体质辨识的辨别；艾灸方案推荐。
本发明的目的是提供一种基于人工智能的舌象问诊艾灸方案生成系统及方法，能够供用户直接进行线上咨询并给出艾灸方案，有效解决了现有的艾灸疗法必须要到现场与医生进行面对面问诊的问题。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一：
如图1所示，本实施例提供了一种基于人工智能的舌象问诊艾灸方案生成系统，所述系统包括：图像获取单元M1、图像分割单元M2、特征提取单元M3、病症匹配单元M4、问诊表获取单元M5、病症补充单元M6和艾灸方案匹配单M7。
图像获取单元M1，用于获取舌象图片。
舌象图片的采集主要是用户通过拍照设备(手机、相机等)按照下述标准自行上传至系统：
在拍摄过程中尽量在白天自然光线照射、未饮食(避免由于过冷或者过热的饮食刺激导致舌苔厚度或者颜色产生变化)的情况下，由自己或他人手持相机在略高于舌头的地方对焦于舌面正中俯拍。同时被拍摄者伸舌要自然，舌体放松，舌尖向下，尽量使舌体充分暴露而不过分用力伸舌。
图像分割单元M2，用于利用分水岭算法将所述舌象图片中的舌体分割出来，得到舌体图片。
所述图像分割单元M2，具体包括：舌体轮廓获取单元、舌体分割单元和二次分割单元。
舌体轮廓获取单元，用于利用均值漂移算法得到所述舌象图片中舌体的轮廓。
舌体分割单元，用于利用分水岭算法结合所述舌体的轮廓将舌体分割出来，得到舌体图片。
二次分割单元，用于利用GAC模型对所述舌体图片中的舌体进行二次分割。
其中，舌体轮廓获取单元，具体包括：聚类单元和轮廓获取单元。
聚类单元，用于根据色彩特征对所述舌象图片中的像素点进行聚类，得到聚类结果；
轮廓获取单元，用于利用所述聚类结果得到舌体的轮廓。
如图2所示，作为一种可选的实施方式，本实施例中对所采集的舌像图片进行分割包括如下步骤：
步骤a：对用户拍摄到的舌体图片进行舌体粗定位。
步骤b：对经步骤a处理后的图像进行边缘滤波处理。
步骤c：对边缘滤波处理后的图像进行图像增强处理。
步骤d：对增强处理后的图像进行前景标记。
步骤e：对前景标记后的图像采用分水岭算法进行初分割。
步骤f：对舌象的初分割结果使用GAC模型进行精确分割。
其中，针对舌体分割，本实施例中使用了改进后的标记控制的分水岭算法，实现了从定位到分割，由粗到细的舌体自动分割过程。其步骤大致如下：首先通过肤色检测算法和均值漂移滤波算法对舌体完成初定位，再先后使用分水岭算法和GAC模型完成分割，得到较为精确的结果。
首先是确定舌体大致位置。在这个过程中，针对用户上传的舌象图片，系统会使用基于RGB颜色空间的简单阈值肤色检测算法，该算法可以将存储到计算机中的图像RGB信息转化为颜色直方图，结合均值漂移算法在非线性的色彩空间的特性，将颜色相近的区域归为一类，并将该区域的所有值置为平均值，以此来消除舌体尖锐噪声，实现舌体边缘平滑、图像模糊等效果。该算法可以通过根据舌体在不同色彩空间的特征差异去除背景，对舌体进行粗定位。
得到舌体的粗定位之后，系统会使用均值漂移算法得出舌体的初始轮廓。均值漂移算法的主要实现方式为在舌体图片中随机选取中心点P0，通过核密度估计计算以图像坐标(X,Y)和色彩空间坐标(R,G,B)为基准构建的五维空间中选取一个半径为5mm的球形区域，求取该球形区域内所有点相对于中心点的色彩向量之和，然后将迭代空间的中心点移动到该向量和的终点位置。接着重复选取该球形空间的中心点与空间中的每个像素进行上述中心点的移动，直至中心点逐渐逼近到最后一个空间球体中所求得的向量和的终点Pn。最终将P0的色彩值替换成Pn点的色彩值，即完成一个点的均值漂移。最后，对于输入图像的所有点重复上述操作即可对根据色彩特征对图片进行聚类和舌体的提取。该算法可以选取舌体边缘稍外部分使舌体图片覆盖最多特征点，从而定位出舌体内部的一个区域并将其作为精确定位舌体的初始轮廓。
接着在分割过程中，系统会对上个步骤得到的舌体初始轮廓进行进一步操作。系统会首先将传入的舌体图片利用灰度投影法进行处理，实现RGB空间到HIS空间的转换，得到原图像基于灰度的数字图像模型。然后从形态学技术上获得前景标记，将模型根据前景标记和前面得到的舌体定位结果(即上述舌体的初始轮廓)融合进行传统的分水岭算法分割，即把临近像素间的相似性作为重要的参考依据，以图像自适应阈值算法处理结果作为灰度阈值把在空间位置上相近并且灰度值相近的像素点互相连接起来构成一个封闭的轮廓，以图像平均灰度值作为灰度阈值，求得该数字图像模型的边缘线，实现舌象的初分割。
然后系统会将上个步骤得到的舌象的初分割结果作为GAC模型的初始轮廓，基于偏微分方程，将图像分割问题归结为极小化一个封闭曲线的能量泛函，并利用变分法将极小化能量泛函转化为关于封闭曲线的梯度下降流，然后利用PDE方法完成曲线演化，并使演化过程在对象边缘处停止，使得最终的轮廓曲线运动到边缘位置，使其能够灵活地处理曲线的拓扑变化，实现舌体的精确分割。
以上过程是基于舌象图片的颜色特征进行分割，通过肤色检测算法确定用户上传舌体图片中的舌体位置，之后通过均值漂移算法确定舌体轮廓，然后借助改进过的分水岭算法将舌象图片进行初步分割，最后将上一步的结果代入GAC模型实现舌体的精确分割。本实施例通过进行大量的实验，证明了使用这种方法能很精确地完成舌体分割。
特征提取单元M3，用于利用VQA模型对所述舌体图片进行特征提取，得到特征数据；所述特征数据包括：舌体大小、舌体颜色、舌体裂纹信息、舌苔厚度、舌苔面积和舌苔颜色。
本实施例中，所述舌体大小包括：老、嫩、胖、瘦、点刺、裂纹、舌中裂纹、齿痕、痿软、歪斜和短缩；所述舌体颜色包括：淡白、淡红、红、绛、青紫、瘀斑、瘀点、舌尖瘀斑瘀点、舌尖红和舌边红；所述舌苔厚度和所述舌苔面积包括：薄、少、厚、润、燥、腐、腻和肝郁线；所述舌苔颜色包括：白、黄、灰黑、剥苔、中剥苔、根剥苔和镜面舌。
本实施例提供的基于人工智能的舌象问诊艾灸方案生成系统，还包括VQA模型训练单元，用于VQA模型的训练，训练过程具体包括：
将训练图像进行特征信息标记；所述特征信息包括：舌体的大小、颜色、舌苔厚度、舌苔面积、裂纹信息；所述训练图像为利用分水岭算法进行图像分割后的图像；
以所述训练图像为输入，特征信息为输出，训练VQA网络，得到VQA模型。
作为一种具体的实施方式，本实施例中对已经分割好的舌体图片进行特征提取包括如下步骤：
使用样本数据进行VQA模型的训练与实现。
使用上述模型进行对舌象分割部分得到的舌体进行特征分析并输出相应特征，例如：舌体大小中等、舌质偏红，苔色薄白、舌苔面积小、裂纹细密。
其中，针对特征的提取，本实施例首先建立了带有完善标注的、准确的样本库，样本库中每张照片都具有对应的详细舌象特征信息。这些特征包括样本中舌体大小、舌体颜色、舌体裂纹信息、舌苔厚度、舌苔面积和舌苔颜色等。
其次，通过使用VQA任务中已经被广泛使用的联合嵌入方法，通过上述样本库进行大规模有监督的训练，从而得到一个训练良好的模型后。训练完成的模型可以通过输入分割完成的舌象，获取相应舌象特征的输出，这个输出包括舌体大小、舌体颜色、舌体裂纹信息、舌苔厚度、舌苔面积和舌苔颜色等舌象信息。
此外，还可以用图3所示的方法来进行特征提取。
病症匹配单元M4，用于将所述特征数据与病症哈希表进行匹配对比，得到用户的匹配病症；所述病症哈希表中保存有特征数据与匹配病症的对应关系。
如图4所示，将通过上述模型得到的特征数据与系统内置的病症哈希表对应得出初步判断的用户症状分析，即得到匹配病症。
问诊表获取单元M5，用于获取用户填写的问诊表。
本实施例中的问诊表是中医问诊量表，用户在线上自行填写中医问诊量表。
病症补充单元M6，用于利用所述问诊表中的病症对所述匹配病症进行补充，得到完整病症。
系统将上述匹配症状与经过用户自填的量表数据进行修正与统一，得到较为准确的用户体质病症判断。
艾灸方案匹配单元M7，用于将所述完整病症与“病症-艾灸方案”哈希表进行匹配对比，得到艾灸方案；所述“病症-艾灸方案”哈希表中保存有完整病症与艾灸方案的对应关系。
本实施例提供的基于人工智能的舌象问诊艾灸方案生成系统，还包括：建档单元和档案更新单元。
建档单元，用于为用户建立电子档案；所述电子档案包括：用户的所述特征数据、用户的匹配病症以及问诊时间。
档案更新单元，用于在每次将所述特征数据与病症哈希表进行匹配对比，得到用户的匹配病症之后，更新所述电子档案。
基于上述步骤得到的匹配病症与体质信息，系统会在存储有“病症-艾灸方案”的哈希表中进行搜索比对并输出最终艾灸方案。
其中，特征提取完成之后，系统会得到一个特征向量，通过事先明确的包含舌象特征与代谢病病症等级组合关系的病症哈希表来完成映射，获取当前病人的代谢病病例等级等相关信息。表格是跟据上一个VQA模型分析出的舌象特征进行分类，例如特征为舌质偏红，苔色薄白，系统基于该表可以初步判定用户症状为阴虚气滞证。
基于舌象问诊所得到的数据信息，系统会通过自然语言处理自动为用户进行信息分类并建立电子档案。电子档案会长久性地保存在系统中，并在每一次舌象处理后实时更新。在档案中，除了记载着用户的代谢病类型、舌象信息、体质信息与当前代谢病的状况外，还会记录舌象问诊次数与最新问诊时间，方便用户之后的调用与查看。
最后，本实施例将基于舌象问诊的结果与用户所输入的中医问诊量表进行结果的统一，此问诊量表是基于多位专业医师基于大量艾灸病例得出，需要用户自行填写上传系统。量表中包括各种身体状况的说明与对应身体体质结果。用户自行选择符合自己身体状况的描述后并上传后，系统可以通过描述，结合已存储在系统中的“病症-艾灸方案”哈希映射关系，得出用户身体体质与病症大致分析并查找得到相对应的病症与相应病症所对应的艾灸方案，最终导出最匹配的艾灸方案进行推荐。输出的方案包括：艾灸穴位、艾灸时长、理疗周期、艾灸手法指导、艾灸规格建议等信息。本系统整体的执行流程图如图5所示。
本实施例提供的基于人工智能的舌象问诊艾灸方案生成系统，借助舌象问诊，为用户识别代谢病病理等级、体质检测报告、对应病理的艾灸方案等，旨在为代谢病患者提供一种更为经济实惠的辅助疗养方案。系统主要涉及在线舌象问诊、规范化中医问诊量表的建立、中医体质辨识的辨别和艾灸方案推荐，它主要对用户上传的舌象进行精细的分析，运用多种方法对舌象进行精确地分割识别与特征点的提取；基于大量不同的代谢病类型的舌体照片对VQA模型进行训练，使最终输出值符合舌象的分级结果；针对分级结果，系统会通过用户输入的中医问诊量表对输出结果进行进一步的修正，使得结果更加准确可靠；最后，根据舌象问诊产生的数据、通过映射算法给用户推荐合适的艾灸方案。本发明基于大量有诊断标记的不同类型代谢病照片与大量艾灸辅助治疗代谢病真实病例，通过深度学习实现自动从训练范例库中学习提取所需特征并进行分级分类，且在训练过程中可以不断纠正用于判断的数据特征以及深度卷积神经网络参数，针对通过多次修正后的数据，系统会给予用户提供完整详细的方案推荐，包括艾灸手法、艾灸穴位、药膳食用等，从而能够在现实应用场景中极大地提高识别的准确性和可靠度。
实施例二：
如图6所示，本实施例提供了一种基于人工智能的舌象问诊艾灸方案生成方法，所述方法包括：
S1、获取舌象图片。
S2、利用分水岭算法对所述舌象图片进行图像分割，得到舌体图片。
S3、利用VQA模型对所述舌体图片进行特征提取，得到特征数据；所述特征数据包括：舌体大小、舌体颜色、舌体裂纹信息、舌苔厚度、舌苔面积和舌苔颜色。
S4、将所述特征数据与病症哈希表进行匹配对比，得到用户的匹配病症；所述病症哈希表中保存有特征数据与匹配病症的对应关系。
S5、获取用户填写的问诊表。
S6、利用所述问诊表中的病症对所述匹配病症进行补充，得到完整病症。
S7、将所述完整病症与“病症-艾灸方案”哈希表进行匹配对比，得到艾灸方案；所述“病症-艾灸方案”哈希表中保存有完整病症与艾灸方案的对应关系。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于人工智能的舌象问诊艾灸方案生成系统，其特征在于，所述系统包括：
图像获取单元，用于获取舌象图片；
图像分割单元，用于利用分水岭算法将所述舌象图片中的舌体分割出来，得到舌体图片；
特征提取单元，用于利用VQA模型对所述舌体图片进行特征提取，得到特征数据；所述特征数据包括：舌体大小、舌体颜色、舌体裂纹信息、舌苔厚度、舌苔面积和舌苔颜色；
病症匹配单元，用于将所述特征数据与病症哈希表进行匹配对比，得到用户的匹配病症；所述病症哈希表中保存有特征数据与匹配病症的对应关系；
问诊表获取单元，用于获取用户填写的问诊表；
病症补充单元，用于利用所述问诊表中的病症对所述匹配病症进行补充，得到完整病症；
艾灸方案匹配单元，用于将所述完整病症与“病症-艾灸方案”哈希表进行匹配对比，得到艾灸方案；所述“病症-艾灸方案”哈希表中保存有完整病症与艾灸方案的对应关系。
2.根据权利要求1所述的基于人工智能的舌象问诊艾灸方案生成系统，其特征在于，所述舌体大小包括：老、嫩、胖、瘦、点刺、裂纹、舌中裂纹、齿痕、痿软、歪斜和短缩；
所述舌体颜色包括：淡白、淡红、红、绛、青紫、瘀斑、瘀点、舌尖瘀斑瘀点、舌尖红和舌边红；
所述舌苔厚度和所述舌苔面积包括：薄、少、厚、润、燥、腐、腻和肝郁线；
所述舌苔颜色包括：白、黄、灰黑、剥苔、中剥苔、根剥苔和镜面舌。
3.根据权利要求1所述的基于人工智能的舌象问诊艾灸方案生成系统，其特征在于，所述图像分割单元，具体包括：
舌体轮廓获取单元，用于利用均值漂移算法得到所述舌象图片中舌体的轮廓；
舌体分割单元，用于利用分水岭算法结合所述舌体的轮廓将舌体分割出来，得到舌体图片。
4.根据权利要求3所述的基于人工智能的舌象问诊艾灸方案生成系统，其特征在于，所述图像分割单元，还包括：
二次分割单元，用于利用GAC模型对所述舌体图片中的舌体进行二次分割。
5.根据权利要求3所述的基于人工智能的舌象问诊艾灸方案生成系统，其特征在于，所述舌体轮廓获取单元，具体包括：
聚类单元，用于根据色彩特征对所述舌象图片中的像素点进行聚类，得到聚类结果；
轮廓获取单元，用于利用所述聚类结果得到舌体的轮廓。
6.根据权利要求1所述的基于人工智能的舌象问诊艾灸方案生成系统，其特征在于，还包括VQA模型训练单元，用于：
将训练图像进行特征信息标记；所述特征信息包括：舌体的大小、颜色、舌苔厚度、舌苔面积、裂纹信息；所述训练图像为利用分水岭算法进行图像分割后的图像；
以所述训练图像为输入，特征信息为输出，训练VQA网络，得到VQA模型。
7.根据权利要求1所述的基于人工智能的舌象问诊艾灸方案生成系统，其特征在于，还包括：
建档单元，用于为用户建立电子档案；所述电子档案包括：用户的所述特征数据、用户的匹配病症以及问诊时间。
8.根据权利要求7所述的基于人工智能的舌象问诊艾灸方案生成系统，其特征在于，还包括：
档案更新单元，用于在每次将所述特征数据与病症哈希表进行匹配对比，得到用户的匹配病症之后，更新所述电子档案。
9.根据权利要求1所述的基于人工智能的舌象问诊艾灸方案生成系统，其特征在于，所述艾灸方案包括：艾灸穴位、艾灸时长、理疗周期、艾灸手法指导和艾灸规格建议。
10.一种基于人工智能的舌象问诊艾灸方案生成方法，其特征在于，所述方法包括：
获取舌象图片；
利用分水岭算法将所述舌象图片中的舌体分割出来，得到舌体图片；
利用VQA模型对所述舌体图片进行特征提取，得到特征数据；所述特征数据包括：舌体大小、舌体颜色、舌体裂纹信息、舌苔厚度、舌苔面积和舌苔颜色；
将所述特征数据与病症哈希表进行匹配对比，得到用户的匹配病症；所述病症哈希表中保存有特征数据与匹配病症的对应关系；
获取用户填写的问诊表；
利用所述问诊表中的病症对所述匹配病症进行补充，得到完整病症；
将所述完整病症与“病症-艾灸方案”哈希表进行匹配对比，得到艾灸方案；所述“病症-艾灸方案”哈希表中保存有完整病症与艾灸方案的对应关系。
CN202211308317.2A 2022-10-25 2022-10-25 一种基于人工智能的舌象问诊艾灸方案生成系统及方法 Pending CN115601339A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211308317.2A CN115601339A (zh) 2022-10-25 2022-10-25 一种基于人工智能的舌象问诊艾灸方案生成系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211308317.2A CN115601339A (zh) 2022-10-25 2022-10-25 一种基于人工智能的舌象问诊艾灸方案生成系统及方法

Publications (1)

Publication Number Publication Date
CN115601339A true CN115601339A (zh) 2023-01-13

Family

ID=84849685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211308317.2A Pending CN115601339A (zh) 2022-10-25 2022-10-25 一种基于人工智能的舌象问诊艾灸方案生成系统及方法

Country Status (1)

Country Link
CN (1) CN115601339A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116564541A (zh) * 2023-07-11 2023-08-08 深圳市朴硕健康文化科技有限公司 基于大数据的施灸方案预测方法、装置、电子设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116564541A (zh) * 2023-07-11 2023-08-08 深圳市朴硕健康文化科技有限公司 基于大数据的施灸方案预测方法、装置、电子设备及介质
CN116564541B (zh) * 2023-07-11 2024-02-09 深圳市朴硕健康文化科技有限公司 基于大数据的施灸方案预测方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
AU2017292642B2 (en) System and method for automatic detection, localization, and semantic segmentation of anatomical objects
WO2019232960A1 (zh) 自动骨龄预测方法、系统、计算机设备和存储介质
CN105426695B (zh) 一种基于虹膜的健康状态检测系统
CN109190535B (zh) 一种基于深度学习的人脸面部肤色分析方法和系统
WO2021115084A1 (zh) 一种基于结构磁共振影像的大脑年龄深度学习预测系统
CN111881838B (zh) 具有隐私保护功能的运动障碍评估录像分析方法及设备
CN115082743B (zh) 考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法
CN113486758A (zh) 一种手部穴位自动定位方法
US11980491B2 (en) Automatic recognition method for measurement point in cephalo image
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
CN112101320A (zh) 模型训练方法、图像生成方法、装置、设备及存储介质
CN115601339A (zh) 一种基于人工智能的舌象问诊艾灸方案生成系统及方法
CN114897763A (zh) 一种人体背部穴位识别方法、系统、装置及存储介质
CN112287765A (zh) 人脸活体检测方法、装置、设备及可读存储介质
CN117237351A (zh) 一种超声图像分析方法以及相关装置
Ruan et al. An efficient tongue segmentation model based on u-net framework
CN109711306B (zh) 一种基于深度卷积神经网络获取面部特征的方法及设备
CN116386118B (zh) 一种基于人像识别的粤剧匹配化妆系统及其方法
CN117274497A (zh) 一种单目图像三维人脸重建方法
CN109886320B (zh) 一种人体股骨x光片智能识读方法及系统
CN113570579B (zh) 一种判断足踝异常旋转机制的图像检测识别方法
CN115634147A (zh) 一种基于轻量化深度学习网路的手部穴位识别方法
CN115713661A (zh) 一种脊柱侧弯Lenke分型系统
Li et al. Nasolabial Folds Extraction based on Neural Network for the Quantitative Analysis of Facial Paralysis
Chen et al. Facial Acupoints Location Using Transfer Learning on Deep Residual Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination