CN113077894A - 基于图卷积神经网络的皮肤诊断系统、方法、设备及介质 - Google Patents

基于图卷积神经网络的皮肤诊断系统、方法、设备及介质 Download PDF

Info

Publication number
CN113077894A
CN113077894A CN202110451677.7A CN202110451677A CN113077894A CN 113077894 A CN113077894 A CN 113077894A CN 202110451677 A CN202110451677 A CN 202110451677A CN 113077894 A CN113077894 A CN 113077894A
Authority
CN
China
Prior art keywords
skin
patient
skin disease
characteristic
medical record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110451677.7A
Other languages
English (en)
Inventor
康健
徐灿
管昊瑜
王智辉
董雪婷
喻浩威
陈筱
王蔚
郭子航
龙可欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Third Xiangya Hospital of Central South University
Original Assignee
Third Xiangya Hospital of Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Third Xiangya Hospital of Central South University filed Critical Third Xiangya Hospital of Central South University
Priority to CN202110451677.7A priority Critical patent/CN113077894A/zh
Publication of CN113077894A publication Critical patent/CN113077894A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/445—Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Dermatology (AREA)
  • Computational Linguistics (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Fuzzy Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种基于图卷积神经网络的皮肤诊断系统、方法、设备及介质，通过病历特征节点‑皮肤病特征节点交互图的构建将病历特征与皮肤病特征、病历特征与病历特征、皮肤病特征与皮肤病特征相结合，在进行皮肤病诊断时，除了考虑皮损特征信息，还考虑到其他病历特征在皮肤病诊断中的重要地位，能够得到更加可靠、准确的皮肤病诊断结果；利用异质卷积神经网络来处理和学习病历特征与皮肤病特征之间的非欧式数据关系，利用同质卷积神经网络来处理和学习病历特征与病历特征、皮肤病特征与皮肤病特征之间的非欧式数据关系，弥补了传统诊断系统只能用于图像分类的不足，进一步提高了皮肤病诊断的可靠性和准确性。

Description

基于图卷积神经网络的皮肤诊断系统、方法、设备及介质
技术领域
本发明属于人工智能技术领域，尤其涉及一种基于图卷积神经网络的皮肤诊断系统、方法、设备及介质。
背景技术
中国是皮肤病的高发地之一，截至2014年，全球约有4.2亿人患皮肤病，中国就有将近1.5亿人，约占35.7％。而目前我国的皮肤科医生供需严重失衡，截至2020年，平均60000人才有1名皮肤科医生。不仅如此，优质医疗资源分布严重失衡，高水平医疗人才持续向大城市集中，使基层医院皮肤科医生缺少的状况不断加剧。根据我国目前职业医师培养规划来说，培养一个高水平的皮肤科医师最少需要8年，如此漫长的培养周期使得医患比例失调这一问题在短时间内得不到解决。因此，如果皮肤病仅凭人工诊断，难以应对数量庞大的患者群体。
2006年深度学习这一概念被提出后，人工智能行业呈现出爆炸式地发展。在医学领域，IBM公司开发的Watson可以在17秒内阅读3469本医学专著、24.8万篇论文，学习69种治疗方案、61540次试验数据、10.6万份临床报告。通过高效地汲取医学知识，IBMWatson在不到1年的时间内就能与人类肿瘤专家相媲美，大大缩短了医生的培养周期。这表明“人工智能+医学诊断”将成为未来的发展趋势。
目前，已有的人工智能诊断系统多以能够进行医学影像识别分类任务为主，大多采用了较为成熟的卷积神经网络(ConvolutionalNeuralNetworks，CNN)作为框架。如现有技术1(申请号：201910334631.X，公开号：CN110895968A)公开了一种人工智能医学图像自动诊断系统和方法，通过最优AI分类模型和最优AI语义分割模型，实现了对医学显微镜图像特别是妇科微生态显微镜图像的分割及诊断，但其忽略了患者的主诉、病史、家族史等患者病历信息在医学诊断中的重要地位。再如现有技术2(申请号：202010211383.2，公开号：CN111466876A)公开了一种基于fNIRS和图神经网络的阿尔兹海默症辅助诊断系统，该系统虽考虑到将大脑处于活动状态时血红蛋白的理化性质作为诊断的依据，但未将医学图像和病历特征进行结合。
发明内容
本发明的目的在于提供一种基于图卷积神经网络的皮肤诊断系统、方法、设备及介质，以克服现有人工智能诊断系统未将病历信息作为诊断依据，以及未将医学图像与病历信息结合来进行病情诊断的问题。
第一方面，本发明提供一种基于图卷积神经网络的皮肤诊断系统，包括：
数据库构建单元，用于构建皮肤病病例数据库，所述皮肤病病例数据库包括病历子数据库和皮肤病子数据库；所述病历子数据库包括患者基本信息、患者主诉信息、患者病史信息、患者皮损特征信息以及患者皮肤病诊断结果；所述皮肤病子数据库包括不同的皮肤病、以及每种皮肤病所对应的特征；
特征节点提取单元，用于从所述病历子数据库中提取所有的病历特征，从所述皮肤病子数据库中提取所有的皮肤病特征；
交互图构建单元，用于构建病历特征节点-皮肤病特征节点交互图；
模型构建及训练单元，用于构建图卷积神经网络模型，所述图卷积神经网络模型包括异质卷积神经网络和同质卷积神经网络；
用于利用异质卷积神经网络，从所述病历特征节点-皮肤病特征节点交互图中获取病历特征节点与皮肤病特征节点之间的链接信息；
用于利用同质卷积神经网络，从所述病历特征节点-皮肤病特征节点交互图中获取病历特征节点与病历特征节点之间的链接信息，以及皮肤病特征节点与皮肤病特征节点之间的链接信息；
以及用于提取并整合所述病历特征节点与皮肤病特征节点之间的链接信息、病历特征节点与病历特征节点之间的链接信息、以及皮肤病特征节点与皮肤病特征节点之间的链接信息中的特征信息，建立所述特征信息与相应的患者皮肤病诊断结果之间的对应关系，得到训练好的图卷积神经网络模型。
进一步地，在所述皮肤病子数据库中，每种皮肤病所对应的特征包括皮损特征、主要症状、分布特征、影像学特征、发生进展时间和易感人群。
进一步地，所述数据库构建单元还包括图像预处理模块，所述图像预处理模块用于获取患者皮损图像，对所述患者皮损图像进行预处理来获取所述患者皮损特征信息。
进一步地，所述图像处理模块，具体用于：
对所述患者皮损图像进行归一化和去噪处理；
利用卷积神经网络对处理后的患者皮损图像进行分割处理，得到患者皮损特征图；
提取所述患者皮损特征图中的皮损特征信息。
第二方面，本发明提供一种基于图卷积神经网络的皮肤诊断方法，包括以下步骤：
构建皮肤病病例数据库，所述皮肤病病例数据库包括病历子数据库和皮肤病子数据库；所述病历子数据库包括患者基本信息、患者主诉信息、患者病史信息、患者皮损特征信息以及患者皮肤病诊断结果；所述皮肤病子数据库包括不同的皮肤病、以及每种皮肤病所对应的特征；
从所述病历子数据库中提取所有的病历特征，从所述皮肤病子数据库中提取所有的皮肤病特征；
构建病历特征节点-皮肤病特征节点交互图；
构建图卷积神经网络模型，所述图卷积神经网络模型包括异质卷积神经网络和同质卷积神经网络；
利用异质卷积神经网络，从所述病历特征节点-皮肤病特征节点交互图中获取病历特征节点与皮肤病特征节点之间的链接信息；
利用同质卷积神经网络，从所述病历特征节点-皮肤病特征节点交互图中获取病历特征节点与病历特征节点之间的链接信息，以及皮肤病特征节点与皮肤病特征节点之间的链接信息；
提取并整合所述病历特征节点与皮肤病特征节点之间的链接信息、病历特征节点与病历特征节点之间的链接信息、以及皮肤病特征节点与皮肤病特征节点之间的链接信息中的特征信息，建立所述特征信息与相应的患者皮肤病诊断结果之间的对应关系，得到训练好的图卷积神经网络模型。
进一步地，所述患者皮损特征信息的获取方式为：
获取患者皮损图像；
对所述患者皮损图像进行归一化和去噪处理；
利用卷积神经网络对处理后的患者皮损图像进行分割处理，得到患者皮损特征图；
提取所述患者皮损特征图中的皮损特征信息。
进一步地，采用色彩恒常校正法对所述患者皮损图像进行去噪处理，具体实现过程为：
根据所述患者皮损图像的RGB颜色空间估计出拍摄空间的光源颜色；
根据估计的光源颜色，将原始患者皮损图像的颜色转换为白色光源下的颜色，实现环境噪音去除。
进一步地，所述卷积神经网络对患者皮损图像进行分割处理的具体实现过程为：
对患者皮损图像进行多次卷积操作，输出多个较小尺寸的特征图；
对多个较小尺寸的特征图进行多次反卷积操作，将较小尺寸的特征图放大至原始患者皮损图像的尺寸，得到患者皮损特征图。
第三方面，本发明提供一种设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第二方面所述的基于图卷积神经网络的皮肤诊断方法。
第四方面，本发明提供一种介质，其上存储有计算机程序，该程序被处理器执行时实现如第二方面所述的基于图卷积神经网络的皮肤诊断方法。
有益效果
与现有技术相比，本发明的优点在于：
通过病历特征节点-皮肤病特征节点交互图的构建将病历特征与皮肤病特征、病历特征与病历特征、皮肤病特征与皮肤病特征相结合，在进行皮肤病诊断时，除了考虑皮损特征信息，还考虑到其他病历特征在皮肤病诊断中的重要地位，能够得到更加可靠、准确的皮肤病诊断结果；
利用异质卷积神经网络来处理和学习病历特征与皮肤病特征之间的非欧式数据关系，利用同质卷积神经网络来处理和学习病历特征与病历特征、皮肤病特征与皮肤病特征之间的非欧式数据关系，弥补了传统诊断系统只能用于图像分类的不足，进一步提高了皮肤病诊断的可靠性和准确性；
采用本发明所述基于图卷积神经网络的皮肤诊断系统来进行皮肤病诊断，大大提高了皮肤病的诊断效率，极大地方便皮肤病患者和医务人员；
基于图卷积神经网络的皮肤诊断系统在诊断过程中不断的进行样本学习，随着诊断和学习的增加，不断提高了系统的诊断准确性。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一个实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例1中一种基于图卷积神经网络的皮肤诊断系统/方法的框图；
图2是本发明实施例1中某个患者的病历特征节点图；
图3是本发明实施例1中病历特征节点-皮肤病特征节点交互图；
图4是本发明实施例1中示例性的病历特征节点-皮肤病特征节点交互图；
图5是本发明实施例1中病历特征节点与皮肤病特征节点之间的链接信息图；
图6是本发明实施例1中病历特征节点与病历特征节点之间的链接信息，以及皮肤病特征节点与皮肤病特征节点之间的链接信息图；
图7是本发明实施例2中正确率比较图；
图8是本发明实施例2中完成度比较图。
具体实施方式
下面结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有皮肤病患者数量庞大，而皮肤病医生缺少，导致医患比例失调，从而导致仅依靠人工诊断难以满足数量庞大的皮肤病患者的需求，皮肤病诊断系统应运而生。随着人工智能的快速发展，人工智能+皮肤病诊断成为未来发展趋势，虽然已有人工智能皮肤病诊断系统，但是这些诊断系统多数是以医学影像识别分类任务为主，这就导致忽略了患者主诉、病史、家族史等患者病历信息在医学诊断中的重要地位，也无法将医学图像与病历特征相结合来进行皮肤病的诊断，降低了皮肤病诊断的可靠性和准确性。
基于上述技术问题，本发明提供一种基于图卷积神经网络的皮肤诊断系统、方法、设备及介质，通过病历特征节点-皮肤病特征节点交互图的构建将病历特征与皮肤病特征、病历特征与病历特征、皮肤病特征与皮肤病特征相结合，在进行皮肤病诊断时，除了考虑皮损特征信息，还考虑到其他病历特征在皮肤病诊断中的重要地位，能够得到更加可靠、准确的皮肤病诊断结果；利用异质卷积神经网络来处理和学习病历特征与皮肤病特征之间的非欧式数据关系，利用同质卷积神经网络来处理和学习病历特征与病历特征、皮肤病特征与皮肤病特征之间的非欧式数据关系，弥补了传统诊断系统只能用于医学图像分类的不足，进一步提高了皮肤病诊断的可靠性和准确性。
下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
实施例1
第一方面，如图1所示，本实施例所提供的一种基于图卷积神经网络的皮肤诊断系统，包括数据库构建单元、特征节点提取单元、交互图构建单元、模型构建及训练单元。
数据库构建单元，用于构建皮肤病病例数据库，皮肤病病例数据库包括病历子数据库和皮肤病子数据库。
病历子数据库和皮肤病子数据库均采用基于数据表视图方式进行展示和存储。病历子数据库包括但不限于患者基本信息、患者主诉信息、患者病史信息、患者皮损特征信息以及患者皮肤病诊断结果。患者基本信息为患者的一般情况，其包括但不限于姓名、性别、年龄、职业、婚姻状况、住址；患者主诉信息为患者本次发病相关信息，其包括但不限于主要症状、体征、体表皮损特征、分布特征、皮损性质、自觉症状、疾病发生及进展时间；患者病史信息为患者的病史，其包括但不限于家族病史、个人病史、既往病史、现有病史；患者皮损特征信息是从患者的皮肤外部影像中提取出来的皮损特征，患者皮损特征信息包括但不限于检查方式、皮损大小、皮损颜色、皮损分布和皮损特征；患者皮肤病诊断结果为患者皮肤病，即患者所患的皮肤病。
病历子数据库来源于医院电子病例库，通过收集医院电子病例库中优质皮肤病病历来构建本实施例的病历子数据库。一般医院电子病例库中保存有患者皮损图像(即医学影像)，需要从患者皮损图像中提取患者皮损特征信息，具体通过数据库构建单元内置的图像预处理模块来提取或获取，具体获取过程为：
1、对患者皮损图像进行归一化和去噪处理。
将所有患者皮损图像归一化为7680*4320的高分辨率图片，保留更多的样本特征；再采用色彩恒常校正法对归一化处理后的图像进行去噪处理，具体操作为：根据图像的RGB颜色空间估计出拍摄空间的光源颜色；根据估计的光源颜色，将原始图像的颜色转换为白色光源下的颜色，实现环境噪音去除，减少了环境噪音对皮损图像的影响，提高了皮损特征信息获取的精确度。本实施例中，图像归一化处理可以采用图像预处理模块中的图像归一化子模块来实现，去噪处理可以采用图像预处理模块中的图像降噪子模块来实现。
2、利用卷积神经网络对处理后的患者皮损图像进行分割处理，得到患者皮损特征图。
利用图像预处理模块中的图像分割子模块来实现分割处理，图像分割子模块用于将图像中的皮损部位与其他部位(例如健康皮肤等)分割开。图像分割子模块分为下采样部分和上采样部分，下采样部分对输入的图像进行三次卷积操作，第一卷积层有64个7×7的卷积层和3×3的池化层，第二卷积层有256个1×1的卷积层和2×2的池化层，第三卷积层有512个1×1的卷积层和2×2的池化层，经过下采样部分的三次卷积操作后输出多个较小尺寸的特征图；再将多个较小尺寸的特征图输入至上采样部分，上采样部分对输入的特征图进行三次尺寸为2的反卷积操作，将较小尺寸的特征图放大至原始图像的尺寸，即得到皮损特征图。
3、提取患者皮损特征图中的皮损特征信息。
皮肤病子数据库包括但不限于不同的皮肤病、以及每种皮肤病所对应的特征。每种皮肤病所对应的特征包括皮损特征、主要症状、分布特征、影像学特征、发生进展时间和易感人群，这些特征由皮肤病专家或经验提供，如下表1所示。
表1不同皮肤病对应的特征
Figure BDA0003038947390000061
Figure BDA0003038947390000071
Figure BDA0003038947390000081
病历子数据库中的数据≥5000份，并按6:3:1的比例分为训练样本集、验证样本集、测试样本集。在进行图卷积神经网络模型的训练时，训练样本集包括病历子数据库中的病历特征和皮肤病子数据库中的皮肤病特征。病历特征即指患者基本信息、患者主诉信息、患者病史信息、患者皮损特征信息以及患者皮肤病诊断结果；皮肤病特征即指不同的皮肤病、以及每种皮肤病所对应的特征。
特征节点提取单元，用于从病历子数据库中提取所有的病历特征，从皮肤病子数据库中提取所有的皮肤病特征。
交互图构建单元，用于构建病历特征节点-皮肤病特征节点交互图。
根据每个患者的病历特征，分别以患者基本信息、患者主诉信息、患者病史信息、患者皮损特征信息为主节点，对于主节点所包含的具体内容为子节点构建病历特征节点图，如图2所示的某个患者的病历特征节点图。以皮肤病为主节点，以该皮肤病对应的特征为子节点构建皮肤病特征节点图。根据病历子数据库中患者皮肤病与皮肤病子数据库中皮肤病的对应关系、病历特征与病历特征之间的相似度以及皮肤病特征与皮肤病特征之间的相似度，构建病历特征节点-皮肤病特征节点交互图，如图3所示。
示例性的，病历子数据库中的数据有：
患者A，女，20岁，手部皮肤有红斑，丘疱疹融合成片，有水疱，急性湿疹；
患者B，女，14岁，小腿皮肤针尖样丘疹，散在分布，急性湿疹；
患者C，女，25岁，接触粉尘后，暴露部位皮肤红肿，有丘疱疹，急性接触性皮炎。
则，患者A的病历特征节点有：基本信息子节点为p1：A，p2：女，p3：青年；皮损特征子节点为p4：手部皮肤，p5：红斑，p6：成片丘疱疹，p7：有水疱；患者A的皮肤病特征节点为s1：急性湿疹。
患者B的病历特征节点有：基本信息子节点为p8：B，p2：女，p9：儿童；皮损特征子节点为p10：小腿皮肤，p6：针尖样丘疹，p11：散在分布；患者B的皮肤病特征节点为s1：急性湿疹。
患者C的病历特征节点有：基本信息子节点为p12：C，p2：女，p13：青年；皮损特征子节点为p13：接触粉尘，p14：暴露部位皮肤，p15：红肿，p6：成片丘疱疹；患者C的皮肤病特征节点为s2：急性接触性皮炎。
构建的病历特征节点-皮肤病特征节点交互图，如图4所示。
模型构建及训练单元，用于构建图卷积神经网络模型，图卷积神经网络模型包括异质卷积神经网络和同质卷积神经网络；利用异质卷积神经网络，从病历特征节点-皮肤病特征节点交互图中获取病历特征节点与皮肤病特征节点之间的链接信息；利用同质卷积神经网络，从病历特征节点-皮肤病特征节点交互图中获取病历特征节点与病历特征节点之间的链接信息，以及皮肤病特征节点与皮肤病特征节点之间的链接信息。
通过异质卷积神经网络获取病历特征节点与皮肤病特征节点之间的链接信息，如图5所示，左图为病历特征节点-皮肤病特征节点交互图，右图中的上图为病历特征p1与多个皮肤病特征s1/s2之间的链接关系，右图中的下图为皮肤病特征s1与多个病历特征p1/p2/p4之间的链接关系，右图即为hetero-GCN图。例如，p1为成片丘疱疹，p2为接触粉尘，p4为暴露部位皮肤，s1为急性接触性皮炎，s2为急性湿疹。
通过同质卷积神经网络获取病历特征节点与病历特征节点之间的链接信息，以及皮肤病特征节点与皮肤病特征节点之间的链接信息，如图6所示，左图为病历特征节点-皮肤病特征节点交互图，右图中的上图为病历特征p1与多个病历特征p2/p3之间的链接关系，右图中的下图为皮肤病特征s1与多个病历特征s2/s3之间的链接关系，右图即为homo-GCN图。
再利用编码器提取并整合病历特征节点与皮肤病特征节点之间的链接信息、病历特征节点与病历特征节点之间的链接信息、以及皮肤病特征节点与皮肤病特征节点之间的链接信息中的特征信息，建立这些特征信息与相应的患者皮肤病之间的对应关系，得到训练好的图卷积神经网络模型。
在诊断时，将患者病历特征和皮肤病特征输入至训练好的图卷积神经网络模型中，即可预测患者所患的皮肤病，实现皮肤病的诊断。
第二方面，如图1所示，本实施例提供一种基于图卷积神经网络的皮肤诊断方法，包括以下步骤：
1、构建皮肤病病例数据库。
皮肤病病例数据库包括病历子数据库和皮肤病子数据库；病历子数据库包括患者基本信息、患者主诉信息、患者病史信息、患者皮损特征信息以及患者皮肤病诊断结果；皮肤病子数据库包括不同的皮肤病、以及每种皮肤病所对应的特征。
病历子数据库和皮肤病子数据库均采用基于数据表视图方式进行展示和存储。病历子数据库包括但不限于患者基本信息、患者主诉信息、患者病史信息、患者皮损特征信息以及患者皮肤病诊断结果。患者基本信息为患者的一般情况，其包括但不限于姓名、性别、年龄、职业、婚姻状况、住址；患者主诉信息为患者本次发病相关信息，其包括但不限于主要症状、体征、体表皮损特征、分布特征、皮损性质、自觉症状、疾病发生及进展时间；患者病史信息为患者的病史，其包括但不限于家族病史、个人病史、既往病史、现有病史；患者皮损特征信息是从患者的皮肤外部影像中提取出来的皮损特征，患者皮损特征信息包括但不限于检查方式、皮损大小、皮损颜色、皮损分布和皮损特征；患者皮肤病诊断结果为患者皮肤病，即患者所患的皮肤病。
病历子数据库来源于医院电子病例库，通过收集医院电子病例库中优质皮肤病病历来构建本实施例的病历子数据库。一般医院电子病例库中保存有患者皮损图像(即医学影像)，需要从患者皮损图像中提取患者皮损特征信息，具体通过数据库构建单元内置的图像预处理模块来提取或获取，具体获取过程为：
1.1对患者皮损图像进行归一化和去噪处理。
将所有患者皮损图像归一化为7680*4320的高分辨率图片，保留更多的样本特征；再采用色彩恒常校正法对归一化处理后的图像进行去噪处理，具体操作为：根据图像的RGB颜色空间估计出拍摄空间的光源颜色；根据估计的光源颜色，将原始图像的颜色转换为白色光源下的颜色，实现环境噪音去除，减少了环境噪音对皮损图像的影响，提高了皮损特征信息获取的精确度。本实施例中，图像归一化处理可以采用图像预处理模块中的图像归一化子模块来实现，去噪处理可以采用图像预处理模块中的图像降噪子模块来实现。
1.2利用卷积神经网络对处理后的患者皮损图像进行分割处理，得到患者皮损特征图。
利用图像预处理模块中的图像分割子模块来实现分割处理，图像分割子模块用于将图像中的皮损部位与其他部位(例如健康皮肤等)分割开。图像分割子模块分为下采样部分和上采样部分，下采样部分对输入的图像进行三次卷积操作，第一卷积层有64个7×7的卷积层和3×3的池化层，第二卷积层有256个1×1的卷积层和2×2的池化层，第三卷积层有512个1×1的卷积层和2×2的池化层，经过下采样部分的三次卷积操作后输出多个较小尺寸的特征图；再将多个较小尺寸的特征图输入至上采样部分，上采样部分对输入的特征图进行三次尺寸为2的反卷积操作，将较小尺寸的特征图放大至原始图像的尺寸，即得到皮损特征图。
1.3提取患者皮损特征图中的皮损特征信息。
皮肤病子数据库包括但不限于不同的皮肤病、以及每种皮肤病所对应的特征。每种皮肤病所对应的特征包括皮损特征、主要症状、分布特征、影像学特征、发生进展时间和易感人群，这些特征由皮肤病专家或经验提供。
2、从病历子数据库中提取所有的病历特征，从皮肤病子数据库中提取所有的皮肤病特征。
3、构建病历特征节点-皮肤病特征节点交互图。
根据每个患者的病历特征，分别以患者基本信息、患者主诉信息、患者病史信息、患者皮损特征信息为主节点，对于主节点所包含的具体内容为子节点构建病历特征节点图，如图2所示的某个患者的病历特征节点图。以皮肤病为主节点，以该皮肤病对应的特征为子节点构建皮肤病特征节点图。根据病历子数据库中患者皮肤病与皮肤病子数据库中皮肤病的对应关系、病历特征与病历特征之间的相似度以及皮肤病特征与皮肤病特征之间的相似度，构建病历特征节点-皮肤病特征节点交互图，如图3所示。
4、构建图卷积神经网络模型，图卷积神经网络模型包括异质卷积神经网络和同质卷积神经网络。
利用异质卷积神经网络，从病历特征节点-皮肤病特征节点交互图中获取病历特征节点与皮肤病特征节点之间的链接信息；利用同质卷积神经网络，从病历特征节点-皮肤病特征节点交互图中获取病历特征节点与病历特征节点之间的链接信息，以及皮肤病特征节点与皮肤病特征节点之间的链接信息。
通过异质卷积神经网络获取病历特征节点与皮肤病特征节点之间的链接信息，如图5所示，左图为病历特征节点-皮肤病特征节点交互图，右图中的上图为病历特征p1与多个皮肤病特征s1/s2之间的链接关系，右图中的下图为皮肤病特征s1与多个病历特征p1/p2/p4之间的链接关系。例如，p1为成片丘疱疹，p2为接触粉尘，p4为暴露部位皮肤，s1为急性接触性皮炎，s2为急性湿疹。
通过同质卷积神经网络获取病历特征节点与病历特征节点之间的链接信息，以及皮肤病特征节点与皮肤病特征节点之间的链接信息，如图6所示，左图为病历特征节点-皮肤病特征节点交互图，右图中的上图为病历特征p1与多个病历特征p2/p3之间的链接关系，右图中的下图为皮肤病特征s1与多个病历特征s2/s3之间的链接关系。
再利用编码器提取并整合病历特征节点与皮肤病特征节点之间的链接信息、病历特征节点与病历特征节点之间的链接信息、以及皮肤病特征节点与皮肤病特征节点之间的链接信息中的特征信息，建立这些特征信息与相应的患者皮肤病之间的对应关系，得到训练好的图卷积神经网络模型。
在诊断时，将患者病历特征和皮肤病特征输入至训练好的图卷积神经网络模型中，即可预测患者所患的皮肤病，实现皮肤病的诊断。
将诊断后的病例存入皮肤病病例数据库，丰富病例，不断提高了系统的诊断准确性。
采用验证样本集对基于图卷积神经网络的皮肤诊断系统进行验证，采用测试样本集对基于图卷积神经网络的皮肤诊断系统进行测试，诊断准确率达到90％以上。
实施例2
对实施例1的基于图卷积神经网络的皮肤诊断系统进行评价，具体评价过程为：
从某市三甲医院随机抽取皮肤科专家、主治医师、住院医师各1名与实施例1的系统进行诊断准确率的对比，再另外抽取皮肤科专家10名组成专家组委会，由专家组委会负责制定本次对比实验的标准答案。
要求上述皮肤科专家、主治医师、住院医师在不依靠其他相关信息的前提下，在4小时内对500份的病例进行诊断。
每隔1h对皮肤科专家、主治医师、住院医师的以下数据进行统计：
正确率(Accuracy)：
Figure BDA0003038947390000121
其中，Nr表示诊断正确的样本数，Nc表示当前时刻已完成的样本数。
完成度(Completeness)：
Figure BDA0003038947390000122
其中，Nc表示已完成的样本数，Na表示总样本数。
得到皮肤科专家、主治医师、住院医师以及实施例1系统的正确率和完成度对比图，如图7和8所示。从图7可知，在1H内，皮肤科专家和实施例1系统均具有较高的正确率，正确率达到89％以上，随着时间的增加，皮肤科专家的正确率开始下降，而实施例1系统的正确率逐步上升，达到90％以上，因此，实施例1系统相比于皮肤科专家、主治医师、住院医师具有更高的正确率，且正确率随着时间的增加呈上升趋势。从图8可知，在1H内，实施例1系统完成的样本数占总样本数的24％，皮肤科专家、主治医师、住院医师中皮肤科专家完成的样本数最多，占总样本数的13％，但皮肤科专家的完成度仅为实施例1系统的一半；在4H内，实施例1系统可以完成96％的样本的诊断，而完成度最高的皮肤科专家仅可以完成47％的样本的诊断，因此，实施例1系统大大提高了诊断效率。
以上所揭露的仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或变型，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于图卷积神经网络的皮肤诊断系统，其特征在于，包括：
数据库构建单元，用于构建皮肤病病例数据库，所述皮肤病病例数据库包括病历子数据库和皮肤病子数据库；所述病历子数据库包括患者基本信息、患者主诉信息、患者病史信息、患者皮损特征信息以及患者皮肤病诊断结果；所述皮肤病子数据库包括不同的皮肤病、以及每种皮肤病所对应的特征；
特征节点提取单元，用于从所述病历子数据库中提取所有的病历特征，从所述皮肤病子数据库中提取所有的皮肤病特征；
交互图构建单元，用于构建病历特征节点-皮肤病特征节点交互图；
模型构建及训练单元，用于构建图卷积神经网络模型，所述图卷积神经网络模型包括异质卷积神经网络和同质卷积神经网络；
用于利用异质卷积神经网络，从所述病历特征节点-皮肤病特征节点交互图中获取病历特征节点与皮肤病特征节点之间的链接信息；
用于利用同质卷积神经网络，从所述病历特征节点-皮肤病特征节点交互图中获取病历特征节点与病历特征节点之间的链接信息，以及皮肤病特征节点与皮肤病特征节点之间的链接信息；
以及用于提取并整合所述病历特征节点与皮肤病特征节点之间的链接信息、病历特征节点与病历特征节点之间的链接信息、以及皮肤病特征节点与皮肤病特征节点之间的链接信息中的特征信息，建立所述特征信息与相应的患者皮肤病诊断结果之间的对应关系，得到训练好的图卷积神经网络模型。
2.如权利要求1所述的一种基于图卷积神经网络的皮肤诊断系统，其特征在于，在所述皮肤病子数据库中，每种皮肤病所对应的特征包括皮损特征、主要症状、分布特征、影像学特征、发生进展时间和易感人群。
3.如权利要求1或2所述的一种基于图卷积神经网络的皮肤诊断系统，其特征在于，所述数据库构建单元还包括图像预处理模块，所述图像预处理模块用于获取患者皮损图像，对所述患者皮损图像进行预处理来获取所述患者皮损特征信息。
4.如权利要求3所述的一种基于图卷积神经网络的皮肤诊断系统，其特征在于，所述图像处理模块，具体用于：
对所述患者皮损图像进行归一化和去噪处理；
利用卷积神经网络对处理后的患者皮损图像进行分割处理，得到患者皮损特征图；
提取所述患者皮损特征图中的皮损特征信息。
5.一种基于图卷积神经网络的皮肤诊断方法，其特征在于，包括以下步骤：
构建皮肤病病例数据库，所述皮肤病病例数据库包括病历子数据库和皮肤病子数据库；所述病历子数据库包括患者基本信息、患者主诉信息、患者病史信息、患者皮损特征信息以及患者皮肤病诊断结果；所述皮肤病子数据库包括不同的皮肤病、以及每种皮肤病所对应的特征；
从所述病历子数据库中提取所有的病历特征，从所述皮肤病子数据库中提取所有的皮肤病特征；
构建病历特征节点-皮肤病特征节点交互图；
构建图卷积神经网络模型，所述图卷积神经网络模型包括异质卷积神经网络和同质卷积神经网络；
利用异质卷积神经网络，从所述病历特征节点-皮肤病特征节点交互图中获取病历特征节点与皮肤病特征节点之间的链接信息；
利用同质卷积神经网络，从所述病历特征节点-皮肤病特征节点交互图中获取病历特征节点与病历特征节点之间的链接信息，以及皮肤病特征节点与皮肤病特征节点之间的链接信息；
提取并整合所述病历特征节点与皮肤病特征节点之间的链接信息、病历特征节点与病历特征节点之间的链接信息、以及皮肤病特征节点与皮肤病特征节点之间的链接信息中的特征信息，建立所述特征信息与相应的患者皮肤病诊断结果之间的对应关系，得到训练好的图卷积神经网络模型。
6.如权利要求5所述的一种基于图卷积神经网络的皮肤诊断方法，其特征在于，所述患者皮损特征信息的获取方式为：
获取患者皮损图像；
对所述患者皮损图像进行归一化和去噪处理；
利用卷积神经网络对处理后的患者皮损图像进行分割处理，得到患者皮损特征图；
提取所述患者皮损特征图中的皮损特征信息。
7.如权利要求6所述的一种基于图卷积神经网络的皮肤诊断方法，其特征在于，采用色彩恒常校正法对所述患者皮损图像进行去噪处理，具体实现过程为：
根据所述患者皮损图像的RGB颜色空间估计出拍摄空间的光源颜色；
根据估计的光源颜色，将原始患者皮损图像的颜色转换为白色光源下的颜色，实现环境噪音去除。
8.如权利要求6或7所述的一种基于图卷积神经网络的皮肤诊断方法，其特征在于，所述卷积神经网络对患者皮损图像进行分割处理的具体实现过程为：
对患者皮损图像进行多次卷积操作，输出多个较小尺寸的特征图；
对多个较小尺寸的特征图进行多次反卷积操作，将较小尺寸的特征图放大至原始患者皮损图像的尺寸，得到患者皮损特征图。
9.一种设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求5～8中任一项所述的基于图卷积神经网络的皮肤诊断方法。
10.一种介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求5～8中任一项所述的基于图卷积神经网络的皮肤诊断方法。
CN202110451677.7A 2021-04-26 2021-04-26 基于图卷积神经网络的皮肤诊断系统、方法、设备及介质 Pending CN113077894A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110451677.7A CN113077894A (zh) 2021-04-26 2021-04-26 基于图卷积神经网络的皮肤诊断系统、方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110451677.7A CN113077894A (zh) 2021-04-26 2021-04-26 基于图卷积神经网络的皮肤诊断系统、方法、设备及介质

Publications (1)

Publication Number Publication Date
CN113077894A true CN113077894A (zh) 2021-07-06

Family

ID=76618727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110451677.7A Pending CN113077894A (zh) 2021-04-26 2021-04-26 基于图卷积神经网络的皮肤诊断系统、方法、设备及介质

Country Status (1)

Country Link
CN (1) CN113077894A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114431836A (zh) * 2022-04-11 2022-05-06 中南大学湘雅医院 基于人工智能的甲黑线良恶性预测系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203999A (zh) * 2017-04-28 2017-09-26 北京航空航天大学 一种基于全卷积神经网络的皮肤镜图像自动分割方法
CN108198620A (zh) * 2018-01-12 2018-06-22 洛阳飞来石软件开发有限公司 一种基于深度学习的皮肤疾病智能辅助诊断系统
CN112037912A (zh) * 2020-09-09 2020-12-04 平安科技（深圳）有限公司 基于医疗知识图谱的分诊模型训练方法、装置及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203999A (zh) * 2017-04-28 2017-09-26 北京航空航天大学 一种基于全卷积神经网络的皮肤镜图像自动分割方法
CN108198620A (zh) * 2018-01-12 2018-06-22 洛阳飞来石软件开发有限公司 一种基于深度学习的皮肤疾病智能辅助诊断系统
CN112037912A (zh) * 2020-09-09 2020-12-04 平安科技（深圳）有限公司 基于医疗知识图谱的分诊模型训练方法、装置及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114431836A (zh) * 2022-04-11 2022-05-06 中南大学湘雅医院 基于人工智能的甲黑线良恶性预测系统

Similar Documents

Publication Publication Date Title
US10733727B2 (en) Application of deep learning for medical imaging evaluation
CN110689025B (zh) 图像识别方法、装置、系统及内窥镜图像识别方法、装置
WO2019223508A1 (zh) 阿尔兹海默病症分级评估模型创建方法及计算机装置
Pal et al. Deep learning techniques for prediction and diagnosis of diabetes mellitus
CN111915584A (zh) 一种基于ct影像的病灶随访评估方法及系统
CN114420279A (zh) 一种医疗资源推荐方法、装置、设备及存储介质
CN115760656A (zh) 一种医学影像处理方法及系统
CN117237351B (zh) 一种超声图像分析方法以及相关装置
CN116844687A (zh) 一种基于舌像和知识图谱的处方推荐方法及系统
CN117012380A (zh) 事件预估方法、装置、设备、存储介质及程序产品
Venkatesan et al. NFU-Net: an automated framework for the detection of neurotrophic foot ulcer using deep convolutional neural network
Soundrapandiyan et al. AI-based wavelet and stacked deep learning architecture for detecting coronavirus (COVID-19) from chest X-ray images
CN112990339B (zh) 胃病理切片图像分类方法、装置及存储介质
CN113077894A (zh) 基于图卷积神经网络的皮肤诊断系统、方法、设备及介质
CN113554641B (zh) 一种儿科咽部图像采集方法及装置
CN116664592A (zh) 基于图像的动静脉血管分离方法、装置、电子设备及介质
Sridhar et al. Artificial intelligence in medicine: diabetes as a model
Huang et al. Development of a deep learning-based tool to assist wound classification
CN114121213A (zh) 麻醉用药信息复核方法、装置、电子设备及存储介质
CN113796850A (zh) 甲状旁腺mibi图像分析系统、计算机设备及存储介质
Wijaya et al. The Design of Convolutional Neural Networks Model for Classification of Ear Diseases on Android Mobile Devices
Jishnu et al. Automatic foot ulcer segmentation using conditional generative adversarial network (AFSegGAN): A wound management system
TWI793391B (zh) 醫療影像辨識系統及醫療影像辨識方法
Lin et al. MCI Conversion Prediction Based on Transfer Learning
Zhou et al. Pre-trained Multimodal Large Language Model Enhances Dermatological Diagnosis using SkinGPT-4

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination