CN110310282A - 一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统 - Google Patents

一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统 Download PDF

Info

Publication number
CN110310282A
CN110310282A CN201910702417.5A CN201910702417A CN110310282A CN 110310282 A CN110310282 A CN 110310282A CN 201910702417 A CN201910702417 A CN 201910702417A CN 110310282 A CN110310282 A CN 110310282A
Authority
CN
China
Prior art keywords
cornea
network model
copolymerized
picture
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910702417.5A
Other languages
English (en)
Other versions
CN110310282B (zh
Inventor
徐帆
吕健
陈琦
崔凌
陈青
曾思明
李敏
何文静
唐芬
蒋莉
唐宁宁
陈丽妃
周舟
黄慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peoples Hospital of Guangxi Zhuang Autonomous Region
Original Assignee
Peoples Hospital of Guangxi Zhuang Autonomous Region
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peoples Hospital of Guangxi Zhuang Autonomous Region filed Critical Peoples Hospital of Guangxi Zhuang Autonomous Region
Priority to CN201910702417.5A priority Critical patent/CN110310282B/zh
Publication of CN110310282A publication Critical patent/CN110310282A/zh
Application granted granted Critical
Publication of CN110310282B publication Critical patent/CN110310282B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13—Ophthalmic microscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Neurosurgery (AREA)
  • Fuzzy Systems (AREA)
  • Quality & Reliability (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Neurology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统，包括：信息记录模块；角膜图像采集模块，用于采集角膜各层的若干张共焦显微镜图像；信息提取模块；图像初筛模块，通过第一神经网络模型从每一张角膜共聚焦图片定位出异常角膜组织共聚焦图片；特征分析模块；特征对比模块；病情分级模块，包括病程严重程度分级模块和病情转归分级模块；所述病程严重程度分级模块为全部角膜共聚焦图片通过第二神经网络模型后获得病程严重程度等级；所述病情转归分级模块为全部角膜共聚焦图片通过第三神经网络模型后获得病情转归等级；结果发送模块。本发明分析角膜神经纤维特征和损伤程度及其变化过程，并评估局部或全身神经病变情况。

Description

一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的 系统
技术领域
本发明涉及人工智能技术领域，更具体地，涉及一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统。
背景技术
周围神经病变，是指由感觉丧失，肌肉无力与萎缩，腱反射的减退以及血管运动症状，单独地或以任何组合方式形成的综合征。病变早期主要以感觉障碍为主，疾病早期准确判断神经损伤的范围和程度的辅助检查方法对于帮助临床医生采取正确治疗方法是很必要的。目前临床上用于评估周围神经损伤范围及程度的方法除临床病史、体征外，主要采用有创的神经电生理检查、肌肉活检以及昂贵的MRI检查。
角膜神经属于由三叉神经分支组成，是人体神经支配最密集的组织。活体共聚焦显微镜可以快速、无创的在活体状态下观察角膜神经纤维密度，分支密度和长度，并且与皮肤活组织检查相比具有相似的诊断和优异的识别神经再生的能力。活体共聚焦显微镜是唯一能在活体情况下快速观察人体神经纤维的仪器，通过共聚焦检查可以获得清晰的具有神经纤维的图像，医生能够通过共聚焦显微镜图像中角膜层间神经纤维形态、密度的改变实现为患者诊断局部或全身神经病变情况。而目前并没有利用角膜神经识别全身多系统神经病变的相关技术。因此，发明一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统势在必行。
神经卷积网络在图像处理中表现出优异的准确性。因此，本发明利用神经卷积网络分析共聚焦显微镜图像中角膜层间神经纤维形态、密度的改变实现辅助医生为患者诊断局部或全身神经病变情况，并达到对相关疾病的随访的观察的目的。
发明内容
本发明的目的在于利用现有的人工智能方法，根据活体共聚焦显微镜图像的角膜层间神经纤维的特征进行智能分析，从而实现通过眼病诊断全身病的目的。本发明提供了一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统，通过神经卷积网络深度学习和传统算法相结合，分析角膜神经纤维特征和损伤程度及其变化过程，并用以评估局部或全身神经病变情况。
为达到上述目的，提供了一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统，包括：
信息记录模块，用于记录或存储检测对象的个人基本信息、全身和局部神经系统患病信息、治疗情况及临床体征情况；
角膜图像采集模块，用于采集检测对象的指定部位的角膜各层的若干张共焦显微镜图像；
信息提取模块，用于提取每一张共焦显微镜图像的角膜共聚焦图片的基本信息；
图像初筛模块，通过第一神经网络模型从每一张角膜共聚焦图片定位出包括异常角膜组织结构的异常角膜组织共聚焦图片；
特征分析模块，用于利用图像识别算法对每一张异常角膜组织共聚焦图片的角膜神经纤维特征和其他组织进行特征分析；
特征对比模块，用于比对不同时间获取的每一张异常角膜组织共聚焦图片的同部位的角膜神经纤维和其他组织；
病情分级模块，包括病程严重程度分级模块和病情转归分级模块；所述病程严重程度分级模块为全部角膜共聚焦图片通过第二神经网络模型后获得病程严重程度等级；所述病情转归分级模块为全部角膜共聚焦图片通过第三神经网络模型后获得病情转归等级；
结果发送模块，用于将检测对象的病程严重程度等级和病情转归等级发送到医生端口；所述医生端口能够对信息记录模块进行记录或存储操作；
其中，所述第一神经网络模型将若干个正常的角膜组织结构和异常的角膜组织结构的共聚焦图片进行二分类构建分类作为训练样本集，并以角膜共聚焦图片作为输入，以定位出异常角膜组织共聚焦图片的角膜共聚焦图片作为输出；
所述第二神经神经网络模型的训练样本集为根据神经专科专家依据全身和局部神经系统患病信息及临床体征情况对病程严重程度进行病程严重程度等级判定后，采集若干个对应病程严重程度等级的角膜共聚焦图片；所述第二神经神经网络模型以角膜共聚焦图片作为输入，以病程严重程度等级为输出；
所述第三神经网络模型将若干个治疗前后的角膜共聚焦图片及其病程严重程度等级作为训练样本集，并以角膜共聚焦图片作为输入，根据病情变化情况输出病情转归等级。
特别的，所述图像采集模块的设备为活体共聚焦显微镜。
特别的，所述指定部位包括角膜中央、距离角膜中心的上下鼻颞、角膜缘上下鼻颞。
特别的，所述特征分析包括计算角膜神经纤维密度直径、密度、数量、神经纤维上球形或月形膨大的数量以及分析神经纤维周边细胞异常情况。
特别的，所述角膜共聚焦图片的基本信息包括角膜图像、角膜图像序号、日期、眼别和图像衸数。
特别的，所述特征对比模块利用对比度拉伸算法将所述异常角膜组织共聚焦图片进行处理，使异常角膜组织共聚焦图片的神经纤维和其他细胞的特征突出，再比对不同时间获取的异常角膜组织共聚焦图片的同部位的角膜神经纤维和其他组织；其具体过程如下：
将异常角膜组织共聚焦图片的灰度值拉伸到整个0-255的区间，增强图片对比度；最佳灰度值为：
其中，Imin，Imax是异常角膜组织共聚焦图片的最小灰度值和最大灰度值，MIN和MAX是要拉伸到的灰度空间的灰度最小值和最大值，I（x,y）为最佳灰度值。
特别的，所述病程严重程度等级包括轻度级别、中度级别和重度级别。
特别的，所述病情转归等级包括好级别和坏级别。
根据上述利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统的分析方法，包括训练神经网络模型阶段和智能分析阶段；所述训练神经网络模型阶段包括以下步骤：
A1.采集若干张正常角膜组织结构和异常的角膜组织结构的共聚焦图片进行二分类构建分类作为第一神经网络模型的训练样本集；
A2.将第一神经网络模型的训练样本集输入至第一神经网络模型进行训练，获得经过训练的第一神经网络模型；
A3.神经专科专家依据病史资料、角膜神经检测信息及临床体征情况对病程严重程度进行病程严重程度等级判定；
A4.采集若干个对应病程严重程度等级的角膜共聚焦图片作为并以当前的角膜共聚焦图片作为第二神经网络模型的训练样本集；
A5.将第二神经网络模型的训练样本集输入至第二神经网络模型进行训练，获得经过训练的第二神经网络模型；
A6.采集若干个治疗前后的角膜共聚焦图片及角膜共聚焦图片对应的病程严重程度等级作为第三神经网络模型的训练样本集；
A7.将第三神经网络模型的训练样本输入至第三神经网络模型进行训练，获得经过训练的第三网络模型；
所述智能分析阶段包括以下步骤：
B1.从信息记录模块获取检测对象的个人基本信息、全身和局部神经系统患病信息及临床体征情况；若获取失败，则记录检测对象的个人基本信息、全身和局部神经系统患病信息及临床体征情况；
B2.角膜图像采集模块采集检测对象的指定部位的若干张角膜各层的共焦显微镜图像；
B3.提取每一张提取共焦显微镜图像的角膜共聚焦图片的基本信息；
B4.将每一张共焦显微镜图像输入至图像初筛模块的第一神经网络模型，定位出包括异常角膜组织结构的异常角膜组织共聚焦图片；
B5.特征分析模块对每一张异常角膜组织共聚焦图片的角膜神经纤维特征和其他组织进行特征分析；
B6.特征对比模块比对不同时间获取的每一张异常角膜组织共聚焦图片的同部位的角膜神经纤维和其他组织；
B7.将全部角膜共聚焦图片输入至病程严重程度分级模块的第二神经网络模型后获得病程严重程度等级；
B8.将全部角膜共聚焦图片输入至病情转归分级模块的第三神经网络模型后获得病情转归等级；
B9.将检测对象的病程严重程度等级和病情转归等级发送到医生端口，辅助医生进行诊断、病情评估和指导治疗，并通过信息记录模块进行记录或存储操作。
本发明的有益效果：
1.本发明设立信息记录模块，能够记录或存储患者的个人基本信息、全身和局部神经系统患病信息、治疗情况及临床体征情况，便于医生查阅和记录每个患者的医疗信息，对患者进行初步诊断和治疗，为本发明的系统提供数据支撑，用以为评估全身和局部神经纤维相关疾病提供信息；并在本发明的方法的智能分析阶段后医生通过医生端口能够将结果记录到信息记录模块以便下次检查时医生对该患者的医疗信息进行查阅。
2.本发明设立角膜图像采集模块能够采集患者的角膜中央、距离角膜中心的上下鼻颞、角膜缘上下鼻颞等部位的角膜各层的若干张共焦显微镜图像，供后续本发明的系统的对比、分析和诊断；设立信息提取模块，提取共焦显微镜图像的基本信息，利于后续本发明的系统进行智能分析。
3.本发明设立图像初筛模块，通过第一神经网络模型从每一张角膜共聚焦图片定位出包括异常角膜组织结构的异常角膜组织共聚焦图片。利用深度训练过的第一神经网络模型，能够精准快速地从角膜共聚焦图片中找到异常角膜组织结构的异常角膜组织共聚焦图片。
4.本发明设立特征分析模块和特征对比模块，分别通过传统图像识别算法和传统图像对比算法，分别对角膜神经纤维特征和其他组织进行特征分析和分时对比。
5.本发明设立病情分级模块通过第二神经网络模型和第三神经模型，以全部角膜共聚焦图片为输入分别获得病程严重程度等级和病情转归等级。且第二神经网络模型的训练样本集为根据神经专科专家依据全身和局部神经系统患病信息及临床体征情况对病程严重程度进行病程严重程度等级判定后，采集若干个对应病程严重程度等级的角膜共聚焦图片；第三神经网络模型的训练样本集则为若干个治疗前后的角膜共聚焦图片及其病程严重程度等级。第二神经网络模型和第三神经模型都进行深度训练，能够科学、有效、快速地提高神经系统的诊断准确率。
6.利用神经卷积网络分析共聚焦显微镜图像中角膜层间神经纤维形态、密度的改变实现辅助医生为患者诊断局部或全身神经病变情况，并达到对相关疾病的随访的观察的目的。本发明从全新的角度去识别全身多系统神经病变，有效地提高神经系统的诊断准确率。本发明结合传统图像分析和对比算法，利用深度卷积网络对图像处理从而实现神经系统的智能诊断，有效地提高医疗服务质量与效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的系统进行智能分析的流程图；
图2为本发明实施例的分析方法中的训练神经网络模型阶段的流程图；
图3为本发明实施例的分析方法中的智能分析阶段的流程图；
图4为角膜结构、正常的角膜组织结构共聚焦图片和异常的角膜组织结构共聚焦图片；其中（a）为角膜结构图；（b）为角膜在眼部的示意图；（c）为正常的角膜组织结构共聚焦图片；（d）为异常的角膜组织结构的共聚焦图片；
图5为经过本发明实施例的系统获得的角膜组织结构共聚焦图片，其中（e）、（f）、（g）为经过本发明实施例的第二神经网络模型判断出病程严重程度等级分别为轻度级别、中度级别、重度级别的角膜组织结构共聚焦图片；（h）、（i）、（j）为（e）、（f）、（g）在之前经过特征分析模块的角膜组织结构共聚焦图片。
具体实施方式
下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
如图1所示，本发明实施例一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统，包括信息记录模块、角膜图像采集模块、信息提取模块、图像初筛模块、特征分析模块、特征对比模块、病情分级模块和结果发送模块。
信息记录模块：用于记录或存储检测对象的个人基本信息、全身和局部神经系统患病信息、治疗情况及临床体征情况。个人基本信息包括检测对象的姓名、年龄、性别、民族等。全身和局部神经系统患病信息包括全身和局部神经系统相关疾病的疾病病程、治疗周期、全身相关其他血液学检查结果、磁共振、肌电图等。用以为评估全身和局部神经纤维相关疾病提供信息。
角膜图像采集模块：图像采集模块的设备为活体共聚焦显微镜，用于采集检测对象的指定部位的角膜各层的若干张共焦显微镜图像。指定部位包括角膜中央、距离角膜中心的上下鼻颞（距离角膜中央5mm）、角膜缘上下鼻颞或者观察者重点想要观察的其他部分。每个部分可以采集不同深度的图像，并最终获得所需的共焦显微镜图像。
信息提取模块：用于提取每一张共焦显微镜图像的角膜共聚焦图片的基本信息。角膜共聚焦图片的基本信息包括角膜图像、角膜图像序号、日期、眼别和图像衸数。
图像初筛模块：通过第一神经网络模型从每一张角膜共聚焦图片定位出包括异常角膜组织结构的异常角膜组织共聚焦图片。异常角膜组织结构包括但不限于活化的树突细胞或炎症细胞、真菌菌丝。第一神经网络模型将若干个正常角膜组织结构（如：角膜上皮细胞、角膜内皮细胞、正常的神经纤维）和异常角膜组织结构（如：水肿的组织细胞，活化的朗格汉斯细胞、炎症细胞、异常神经纤维等）的共聚焦图片进行二分类构建分类作为训练样本集，并以角膜共聚焦图片作为输入，以定位出异常角膜组织共聚焦图片的角膜共聚焦图片作为输出。
特征分析模块：用于利用图像识别算法，本实施例采用BRJEF算法，对每一张异常角膜组织共聚焦图片的角膜神经纤维特征和其他组织进行特征分析：在角膜神经纤维特征点周围邻域内选取若干个像素点对，通过对这些点对的灰度值比较，将比较的结果组合成一个二进制串字符串用来描述角膜神经纤维特征点。最后，使用汉明距离来计算在特征描述子是否匹配。特征分析包括计算角膜神经纤维密度直径、密度、数量、神经纤维上球形或月形膨大的数量以及分析神经纤维周边细胞异常情况。
特征对比模块：用于比对不同时间获取的每一张异常角膜组织共聚焦图片的同部位的角膜神经纤维和其他组织。特征对比模块利用对比度拉伸算法将异常角膜组织共聚焦图片进行处理，使异常角膜组织共聚焦图片的神经纤维和其他细胞的特征突出，再比对不同时间获取的异常角膜组织共聚焦图片的同部位的角膜神经纤维和其他组织。其具体过程如下：
将异常角膜组织共聚焦图片的灰度值拉伸到整个0-255的区间，增强图片对比度；最佳灰度值为：
其中，Imin，Imax是异常角膜组织共聚焦图片的最小灰度值和最大灰度值，MIN和MAX是要拉伸到的灰度空间的灰度最小值和最大值，I（x,y）为最佳灰度值。
病情分级模块：包括病程严重程度分级模块和病情转归分级模块。
病程严重程度分级模块为全部角膜共聚焦图片通过第二神经网络模型后获得病程严重程度等级。病程严重程度等级包括轻度级别、中度级别和重度级别。第二神经神经网络模型的训练样本集为根据神经专科专家依据全身和局部神经系统患病信息及临床体征情况对病程严重程度进行病程严重程度等级判定后，采集若干个对应病程严重程度等级的角膜共聚焦图片；所述第二神经神经网络模型以角膜共聚焦图片作为输入，以病程严重程度等级为输出。
病情转归分级模块为全部角膜共聚焦图片通过第三神经网络模型后获得病情转归等级。病情转归等级包括好级别和坏级别。第三神经网络模型将若干个治疗前后的角膜共聚焦图片及其病程严重程度等级作为训练样本集，并以角膜共聚焦图片作为输入，根据病情变化情况输出病情转归等级。
结果发送模块，用于将检测对象的病程严重程度等级和病情转归等级发送到医生端口。医生端口能够对信息记录模块进行记录或存储操作。
根据上述实施例的分析方法，包括训练神经网络模型阶段和智能分析阶段。
如图2所示，训练神经网络模型阶段包括以下步骤：
A1.采集大量正常角膜组织结构和异常的角膜组织结构的共聚焦图片进行二分类构建分类作为第一神经网络模型的训练样本集。
A2.将第一神经网络模型的训练样本集输入至第一神经网络模型进行训练，获得经过训练的第一神经网络模型。
A3.神经专科专家依据病史资料、角膜神经检测信息及临床体征情况对病程严重程度进行病程严重程度等级判定。
A4.采集大量对应病程严重程度等级的角膜共聚焦图片作为并以当前的角膜共聚焦图片作为第二神经网络模型的训练样本集。
A5.将第二神经网络模型的训练样本集输入至第二神经网络模型进行训练，获得经过训练的第二神经网络模型。
A6.采集大量治疗前后的角膜共聚焦图片及角膜共聚焦图片对应的病程严重程度等级作为第三神经网络模型的训练样本集。
A7.将第三神经网络模型的训练样本输入至第三神经网络模型进行训练，获得经过训练的第三网络模型。
如图3所示，智能分析阶段包括以下步骤：
B1.从信息记录模块获取检测对象的个人基本信息、全身和局部神经系统患病信息及临床体征情况；若获取失败，则记录检测对象的个人基本信息、全身和局部神经系统患病信息及临床体征情况。
B2.角膜图像采集模块采集检测对象的指定部位的若干张角膜各层的共焦显微镜图像；
B3.提取每一张提取共焦显微镜图像的角膜共聚焦图片的基本信息。
B4.将每一张共焦显微镜图像输入至图像初筛模块的第一神经网络模型，定位出包括异常角膜组织结构的异常角膜组织共聚焦图片。
B5.特征分析模块对每一张异常角膜组织共聚焦图片的角膜神经纤维特征和其他组织进行特征分析。
B6.特征对比模块比对不同时间获取的每一张异常角膜组织共聚焦图片的同部位的角膜神经纤维和其他组织。
B7.将全部角膜共聚焦图片输入至病程严重程度分级模块的第二神经网络模型后获得病程严重程度等级。
B8.将全部角膜共聚焦图片输入至病情转归分级模块的第三神经网络模型后获得病情转归等级。
B9.将检测对象的病程严重程度等级和病情转归等级发送到医生端口，辅助医生进行诊断、病情评估和指导治疗，并对信息记录模块进行记录或存储操作。
如图4、图5所示，为角膜结构和本实施例的检测对象为糖尿病患者的角膜组织结构共聚焦图片。其中（a）为角膜结构图；（b）为角膜在眼部的示意图；（c）为正常的角膜组织结构共聚焦图片；（d）为异常的角膜组织结构的共聚焦图片；（e）、（f）、（g）为经过第二神经网络模型判断出病程严重程度等级分别为轻度级别、中度级别、重度级别的角膜组织结构共聚焦图片；（h）、（i）、（j）为（e）、（f）、（g）在之前经过特征分析模块的角膜组织结构共聚焦图片。
虽然结合附图描述了本发明的实施方式，但是专利所有者可以在所附权利要求的范围之内做出各种变形或修改，只要不超过本发明的权利要求所描述的保护范围，都应当在本发明的保护范围之内。

Claims (9)

1.一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统，其特征在于，包括：
信息记录模块，用于记录或存储检测对象的个人基本信息、全身和局部神经系统患病信息、治疗情况及临床体征情况；
角膜图像采集模块，用于采集检测对象的指定部位的角膜各层的若干张共焦显微镜图像；
信息提取模块，用于提取每一张共焦显微镜图像的角膜共聚焦图片的基本信息；
图像初筛模块，通过第一神经网络模型从每一张角膜共聚焦图片定位出包括异常角膜组织结构的异常角膜组织共聚焦图片；
特征分析模块，用于利用图像识别算法对每一张异常角膜组织共聚焦图片的角膜神经纤维特征和其他组织进行特征分析；
特征对比模块，用于比对不同时间获取的每一张异常角膜组织共聚焦图片的同部位的角膜神经纤维和其他组织；
病情分级模块，包括病程严重程度分级模块和病情转归分级模块；所述病程严重程度分级模块为全部角膜共聚焦图片通过第二神经网络模型后获得病程严重程度等级；所述病情转归分级模块为全部角膜共聚焦图片通过第三神经网络模型后获得病情转归等级；
结果发送模块，用于将检测对象的病程严重程度等级和病情转归等级发送到医生端口；所述医生端口能够对信息记录模块进行记录或存储操作；
其中，所述第一神经网络模型将若干个正常的角膜组织结构和异常的角膜组织结构的共聚焦图片进行二分类构建分类作为训练样本集，并以角膜共聚焦图片作为输入，以所有异常的角膜组织结构的共聚焦图片作为输出，定位出异常角膜组织共聚焦图片；
所述第二神经神经网络模型的训练样本集为根据神经专科专家依据全身和局部神经系统患病信息及临床体征情况对病程严重程度进行病程严重程度等级判定后，采集若干个对应病程严重程度等级的角膜共聚焦图片；所述第二神经神经网络模型以角膜共聚焦图片作为输入，以病程严重程度等级为输出；
所述第三神经网络模型将若干个治疗前后的角膜共聚焦图片及其病程严重程度等级作为训练样本集，并以角膜共聚焦图片作为输入，根据病情变化情况输出病情转归等级。
2.根据权利要求1所述的一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统，其特征在于：所述图像采集模块的设备为活体共聚焦显微镜。
3.根据权利要求1所述的一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统，其特征在于：所述指定部位包括角膜中央、距离角膜中心的上下鼻颞、角膜缘上下鼻颞。
4.根据权利要求1所述的一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统，其特征在于：所述特征分析包括计算角膜神经纤维密度直径、密度、数量、神经纤维上球形或月形膨大的数量以及分析神经纤维周边细胞异常情况。
5.根据权利要求1所述的一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统，其特征在于：所述角膜共聚焦图片的基本信息包括角膜图像、角膜图像序号、日期、眼别和图像衸数。
6.根据权利要求1所述的一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统，其特征在于：所述特征对比模块利用对比度拉伸算法将所述异常角膜组织共聚焦图片进行处理，使异常角膜组织共聚焦图片的神经纤维和其他细胞的特征突出，再比对不同时间获取的异常角膜组织共聚焦图片的同部位的角膜神经纤维和其他组织；其具体过程如下：
将异常角膜组织共聚焦图片的灰度值拉伸到整个0-255的区间，增强图片对比度；最佳灰度值为：
其中，Imin，Imax是异常角膜组织共聚焦图片的最小灰度值和最大灰度值，MIN和MAX是要拉伸到的灰度空间的灰度最小值和最大值，I（x,y）为最佳灰度值。
7.根据权利要求1所述的一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统，其特征在于：所述病程严重程度等级包括轻度级别、中度级别和重度级别。
8.根据权利要求1所述的一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统，其特征在于：所述病情转归等级包括好级别和坏级别。
9.根据权利要求1-8任意一个权利要求所述的一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统的分析方法，其特征在于：包括训练神经网络模型阶段和智能分析阶段；所述训练神经网络模型阶段包括以下步骤：
A1.采集若干张正常角膜组织结构和异常的角膜组织结构的共聚焦图片进行二分类构建分类作为第一神经网络模型的训练样本集；
A2.将第一神经网络模型的训练样本集输入至第一神经网络模型进行训练，获得经过训练的第一神经网络模型；
A3.神经专科专家依据病史资料、角膜神经检测信息及临床体征情况对病程严重程度进行病程严重程度等级判定；
A4.采集若干个对应病程严重程度等级的角膜共聚焦图片作为并以当前的角膜共聚焦图片作为第二神经网络模型的训练样本集；
A5.将第二神经网络模型的训练样本集输入至第二神经网络模型进行训练，获得经过训练的第二神经网络模型；
A6.采集若干个治疗前后的角膜共聚焦图片及角膜共聚焦图片对应的病程严重程度等级作为第三神经网络模型的训练样本集；
A7.将第三神经网络模型的训练样本输入至第三神经网络模型进行训练，获得经过训练的第三网络模型；
所述智能分析阶段包括以下步骤：
B1.从信息记录模块获取检测对象的个人基本信息、全身和局部神经系统患病信息及临床体征情况；若获取失败，则记录检测对象的个人基本信息、全身和局部神经系统患病信息及临床体征情况；
B2.角膜图像采集模块采集检测对象的指定部位的若干张角膜各层的共焦显微镜图像；
B3.提取每一张提取共焦显微镜图像的角膜共聚焦图片的基本信息；
B4.将每一张共焦显微镜图像输入至图像初筛模块的第一神经网络模型，定位出包括异常角膜组织结构的异常角膜组织共聚焦图片；
B5.特征分析模块对每一张异常角膜组织共聚焦图片的角膜神经纤维特征和其他组织进行特征分析；
B6.特征对比模块比对不同时间获取的每一张异常角膜组织共聚焦图片的同部位的角膜神经纤维和其他组织；
B7.将全部角膜共聚焦图片输入至病程严重程度分级模块的第二神经网络模型后获得病程严重程度等级；
B8.将全部角膜共聚焦图片输入至病情转归分级模块的第三神经网络模型后获得病情转归等级；
B9.将检测对象的病程严重程度等级和病情转归等级发送到医生端口，辅助医生进行诊断、病情评估和指导治疗，并通过信息记录模块进行记录或存储操作。
CN201910702417.5A 2019-07-31 2019-07-31 一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统 Active CN110310282B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910702417.5A CN110310282B (zh) 2019-07-31 2019-07-31 一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910702417.5A CN110310282B (zh) 2019-07-31 2019-07-31 一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统

Publications (2)

Publication Number Publication Date
CN110310282A true CN110310282A (zh) 2019-10-08
CN110310282B CN110310282B (zh) 2021-05-18

Family

ID=68082036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910702417.5A Active CN110310282B (zh) 2019-07-31 2019-07-31 一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统

Country Status (1)

Country Link
CN (1) CN110310282B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754457A (zh) * 2020-05-15 2020-10-09 中山大学 一种基于角膜共聚焦图像的菌丝筛查系统
CN112381768A (zh) * 2020-10-28 2021-02-19 中山大学中山眼科中心 一种基于角膜共聚焦图像的菌丝筛查系统以及菌丝筛查方法
CN113487582A (zh) * 2021-07-16 2021-10-08 依未科技(北京)有限公司 图像评估方法及装置、计算机可读存储介质及电子设备
CN113591601A (zh) * 2021-07-08 2021-11-02 北京大学第三医院（北京大学第三临床医学院） 角膜共聚焦图像中菌丝识别方法及装置
CN114581909A (zh) * 2022-02-28 2022-06-03 广西壮族自治区人民医院 联合深度学习和角膜活体共聚焦显微镜检查的感染性角膜病活体病原菌属检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390153A (zh) * 2012-08-10 2013-11-13 眼验有限责任公司 用于生物特征验证的纹理特征的方法和系统
CN109829901A (zh) * 2019-01-21 2019-05-31 武汉爱尔眼科汉口医院有限公司 一种基于卷积神经网络的真菌性角膜炎检测方法及系统
CN109998477A (zh) * 2019-04-12 2019-07-12 复旦大学附属眼耳鼻喉科医院 一种高度近视白内障手术预后智能预判系统
WO2019210079A1 (en) * 2018-04-26 2019-10-31 Voxeleron, LLC Method and system for disease analysis and interpretation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390153A (zh) * 2012-08-10 2013-11-13 眼验有限责任公司 用于生物特征验证的纹理特征的方法和系统
WO2019210079A1 (en) * 2018-04-26 2019-10-31 Voxeleron, LLC Method and system for disease analysis and interpretation
CN109829901A (zh) * 2019-01-21 2019-05-31 武汉爱尔眼科汉口医院有限公司 一种基于卷积神经网络的真菌性角膜炎检测方法及系统
CN109998477A (zh) * 2019-04-12 2019-07-12 复旦大学附属眼耳鼻喉科医院 一种高度近视白内障手术预后智能预判系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754457A (zh) * 2020-05-15 2020-10-09 中山大学 一种基于角膜共聚焦图像的菌丝筛查系统
CN111754457B (zh) * 2020-05-15 2023-08-18 中山大学 一种基于角膜共聚焦图像的菌丝筛查系统
CN112381768A (zh) * 2020-10-28 2021-02-19 中山大学中山眼科中心 一种基于角膜共聚焦图像的菌丝筛查系统以及菌丝筛查方法
CN113591601A (zh) * 2021-07-08 2021-11-02 北京大学第三医院（北京大学第三临床医学院） 角膜共聚焦图像中菌丝识别方法及装置
CN113591601B (zh) * 2021-07-08 2024-02-02 北京大学第三医院（北京大学第三临床医学院） 角膜共聚焦图像中菌丝识别方法及装置
CN113487582A (zh) * 2021-07-16 2021-10-08 依未科技(北京)有限公司 图像评估方法及装置、计算机可读存储介质及电子设备
CN114581909A (zh) * 2022-02-28 2022-06-03 广西壮族自治区人民医院 联合深度学习和角膜活体共聚焦显微镜检查的感染性角膜病活体病原菌属检测方法

Also Published As

Publication number Publication date
CN110310282B (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN110310282A (zh) 一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统
Kwasigroch et al. Deep CNN based decision support system for detection and assessing the stage of diabetic retinopathy
Chen et al. Glaucoma detection based on deep convolutional neural network
CN105559802A (zh) 一种基于注意和情感信息融合的抑郁症诊断系统及方法
Ma et al. Iris-based medical analysis by geometric deformation features
Song et al. Deep relation transformer for diagnosing glaucoma with optical coherence tomography and visual field function
Sertkaya et al. Diagnosis of eye retinal diseases based on convolutional neural networks using optical coherence images
Ardiyanto et al. Deep learning-based diabetic retinopathy assessment on embedded system
CN109359403B (zh) 一种基于面孔表情识别磁共振成像的精神分裂症早期诊断模型及其应用
WO2019015567A1 (zh) 一种检测大脑功能的系统及其装置
CN109691979A (zh) 一种基于深度学习的糖尿病视网膜图像病变分类方法
CN211862821U (zh) 一种基于深度学习的孤独症辅助评估系统
CN109199411A (zh) 基于模型融合的案件知情者识别方法
CN113974627B (zh) 一种基于脑机生成对抗的情绪识别方法
CN111046978A (zh) 一种基于StyleGANs和决策融合的皮肤镜图像识别方法
Asirvatham et al. Hybrid deep learning network to classify eye diseases
Xia et al. Dynamic viewing pattern analysis: towards large-scale screening of children with ASD in remote areas
Triyadi et al. Deep learning in image classification using vgg-19 and residual networks for cataract detection
Zaki et al. Towards automated keratoconus screening approach using lateral segment photographed images
Latha et al. Automated macular disease detection using retinal optical coherence tomography images by fusion of deep learning networks
CN110403631A (zh) 一种基于连续超声图像的无创颅内压测量方法
TWI734222B (zh) 結合腦波與人工智慧進行閱讀障礙診斷之系統
Reddy et al. Deep Belief Network based Diabetic Maculopathy Detection and Classification using Modified Chicken Swarm Algorithm
Wen et al. On the deep learning-based age prediction of color fundus images and correlation with ophthalmic diseases
CN114983434A (zh) 一种基于多模态脑功能信号识别的系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant