CN111369499A - 一种眼底图像的处理方法及装置 - Google Patents

一种眼底图像的处理方法及装置 Download PDF

Info

Publication number
CN111369499A
CN111369499A CN202010108678.7A CN202010108678A CN111369499A CN 111369499 A CN111369499 A CN 111369499A CN 202010108678 A CN202010108678 A CN 202010108678A CN 111369499 A CN111369499 A CN 111369499A
Authority
CN
China
Prior art keywords
score
neural network
branch
image
fundus image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010108678.7A
Other languages
English (en)
Inventor
何希僖
王晧
丁大勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Vistel Technology Co ltd
Original Assignee
Beijing Vistel Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Vistel Technology Co ltd filed Critical Beijing Vistel Technology Co ltd
Priority to CN202010108678.7A priority Critical patent/CN111369499A/zh
Publication of CN111369499A publication Critical patent/CN111369499A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本实施例公开了一种眼底图像的处理方法及装置，涉及深度学习算法领域。其中，该方法包括：对采集到的单张眼底图像进行预处理；将经过预处理后的单张眼底图像输入至预训练过的神经网络中；所述神经网络中的卷积层获取图像特征，将所述图像特征输入至改造后的所述神经网络的全连接层；所述全连接层包括第一分支和第二分支，分别输出第一分值和第二分值；根据所述第一分值和所述第二分值输出处理结果。采用此方法，实现使用一个神经网络对眼底图像进行处理，进而解决了患者是否患病和患了何种病两个问题，进一步地帮助基层医生诊断，准确率高，使得更多的患者得以受益，意义重大。

Description

一种眼底图像的处理方法及装置
技术领域
本公开涉及深度学习算法领域，具体涉及一种眼底图像的处理方法及装置。
背景技术
在我国，包括糖尿病视网膜病变(DR)、视网膜静脉阻塞(RVO)、年龄相关性黄斑变性(AMD)、青光眼、病理性近视等其他眼疾病在内的致盲性眼病高发，这些疾病一般发生在眼底视网膜或视神经，一旦形成视力损伤很难治愈，如果没有及时诊断并获得治疗，最终致盲会给患者形成严重的负担。
然而，和庞大的患者人群相比，我国眼底专科医生不超过3000人，且集中分布于大中型城市的高等级医院，基层医院眼科诊疗力量尤其薄弱，这使得大量潜在患者无法得到诊断和治疗。基层医院眼底专科医生匮乏，但却面对广大需要筛查和诊疗的病患。大多数患者在疾病初期仅出现轻微的眼部不适，基层医院没有能力给出明确诊断，而患者去更高级别医院检查也存在实际困难，这部分患者可能会等病情发展到晚期，视力损失较严重时才到大医院就医；一方面，因就诊不及时，已经造成的损伤可能无法恢复，另一方面，也给高等级医院带去更多的工作量。如果基层医院的医生对常见的几种眼病具有基本的诊断能力，患者在病程的初期就能及时就诊，根据其病情转诊到高等级医院，这样既能减少患者的负担，从卫生经济学角度，也能减少整个社会的负担。因此，迫切需要一种对眼底图像的处理方法，根据处理结果帮助基层医院的医生初步诊断多种常见的眼底和视神经疾病。
发明内容
针对现有技术中的上述技术问题，本公开实施例提出了一种眼底图像的处理方法及装置，能够解决现有技术中存在的基层医院眼底专科医生匮乏、基层医院医生对眼底疾病无法准确判断等问题。
本公开实施例的第一方面提供了一种眼底图像的处理方法，包括：
对采集到的单张眼底图像进行预处理；
将经过预处理后的单张眼底图像输入至预训练过的神经网络中；
所述神经网络中的卷积层获取图像特征，将所述图像特征输入至改造后的所述神经网络的全连接层；
所述全连接层包括第一分支和第二分支，分别输出第一分值和第二分值；
根据所述第一分值和所述第二分值输出处理结果。
在一些实施例中，所述方法还包括：所述第一分值为2×1的向量值；所述第二分值为N×1(N≥2)的向量值；所述向量值中的每一维均为预测分值；
所述根据所述第一分值和所述第二分值输出处理结果，具体包括：根据所述第一分值的向量值和所述第二分值的向量值中的预测分值输出处理结果。
在一些实施例中，所述方法还包括：当所述输出结果出现矛盾时，选择所述第一分值和所述第二分值的向量值中的最大预测分值，并根据所述最大预测分值输出处理结果。
在一些实施例中，所述方法还包括：将经过预处理后的单张眼底图像进行图像质量判断，当所述眼底图像质量符合预设条件时，输入至预训练过的神经网络中。
本公开实施例的第二方面提供了一种神经网络训练方法，包括：
将预处理后的单张眼底图像及对应的处理结果作为样本数据输入神经网络；
使所述神经网络中的卷积层使用所述样本数据进行训练，识别所述单张眼底图像中的图像特征；
使所述神经网络中的全连接层的第一分支和第二分支使用所述图像特征和所述样本数据进行训练，获得第一分值和第二分值；
根据所述图像特征、所述第一分值和第二分值建立所述单张眼底图像与所述对应的处理结果的关联模型，得到训练后所述神经网络。
在一些实施例中，所述方法还包括：使用第一损失函数对所述第一分支进行训练，使用第二损失函数对所述第二分支进行训练，并对所述第一损失函数和第二损失函数进行加权处理。
在一些实施例中，所述第一损失函数用于解决多分类问题的损失函数；所述第二损失函数用于解决多标签问题的损失函数。
在一些实施例中，所述第一损失函数为：
Figure BDA0002389222140000031
所述第二损失函数为：
Figure BDA0002389222140000032
通过加权函数Loss＝w1*Losscross-entropy+w2*LossBCE对所述第一损失函数和第二损失函数进行加权处理；其中，y是正确答案，
Figure BDA0002389222140000033
是所述神经网络训练得到的答案，
Figure BDA0002389222140000034
是sigmoid函数，w1和w2为权重。
本公开实施例的第三方面提供了一种眼底图像的处理装置，包括：
预处理模块，用于对采集到的单张眼底图像进行预处理；
输入模块，用于将经过预处理后的单张眼底图像输入至预训练过的神经网络中；
获取图像特征模块，用于所述神经网络中的卷积层获取图像特征，将所述图像特征输入至改造后的所述神经网络的全连接层；
第一输出模块，用于所述全连接层包括第一分支和第二分支，分别输出第一分值和第二分值；
第二输出模块，用于根据所述第一分值和所述第二分值输出处理结果。
本公开实施例的第四方面一种神经网络训练装置，包括：
样本输入模块，用于将预处理后的单张眼底图像及对应的处理结果作为样本数据输入神经网络；
第一训练模块，用于使所述神经网络中的卷积层使用所述样本数据进行训练，识别所述单张眼底图像中的图像特征；
第二训练模块，用于使所述神经网络中的全连接层的第一分支和第二分支使用所述图像特征和所述样本数据进行训练，获得第一分值和第二分值；
模型建立模块，用于根据所述图像特征、所述第一分值和第二分值建立所述单张眼底图像与所述对应的处理结果的关联模型，得到训练后所述神经网络。
本公开实施例的第五方面提供了一种电子设备，包括：
存储器以及一个或多个处理器；
其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如前述各实施例所述的方法。
本公开实施例的第六方面提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如前述各实施例所述的方法。
本公开实施例的第七方面提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，可用来实现如前述各实施例所述的方法。
本公开实施例的有益效果是：通过将经预处理后的单张眼底图像输入至预训练过的神经网络中，所述神经网络中的卷积层获取图像特征，并将图像特征输入至改造后的神经网络的全连接层，通过全连接层的第一分支和第二分支输出的第一分值和第二分值确定处理结果；通过对神经网络的改造设计，实现使用一个神经网络对眼底图像进行处理，进而解决了患者是否患病和患了何种病两个问题，进一步地帮助基层医生诊断，准确率高，使得更多的患者得以受益，意义重大。
附图说明
通过参考附图会更加清楚的理解本公开的特征和优点，附图是示意性的而不应理解为对本公开进行任何限制，在附图中：
图1是根据本公开的一些实施例所示的一种眼底图像的处理方法流程图；
图2是根据本公开的一些实施例所示的一种眼底图像预处理示意图；
图3是根据本公开的一些实施例所示的一种眼底图像预处理示意图；
图4是根据本公开的一些实施例所示的一种神经网络训练方法流程图；
图5是根据本公开的一些实施例所示的一种神经网络训练过程示意图；
图6是根据本公开的一些实施例所示的一种眼底图像的处理装置结构示意图；
图7是根据本公开的一些实施例所示的一种神经网络训练装置结构示意图；
图8是根据本公开的一些实施例所示的一种电子设备的结构示意图。
具体实施方式
在下面的详细描述中，通过示例阐述了本公开的许多具体细节，以便提供对相关披露的透彻理解。然而，对于本领域的普通技术人员来讲，本公开显而易见的可以在没有这些细节的情况下实施。应当理解的是，本公开中使用“系统”、“装置”、“单元”和/或“模块”术语，是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的一种方法。然而，如果其他表达式可以实现相同的目的，这些术语可以被其他表达式替换。
应当理解的是，当设备、单元或模块被称为“在……上”、“连接到”或“耦合到”另一设备、单元或模块时，其可以直接在另一设备、单元或模块上，连接或耦合到或与其他设备、单元或模块通信，或者可以存在中间设备、单元或模块，除非上下文明确提示例外情形。例如，本公开所使用的术语“和/或”包括一个或多个相关所列条目的任何一个和所有组合。
本公开所用术语仅为了描述特定实施例，而非限制本公开范围。如本公开说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的特征、整体、步骤、操作、元素和/或组件，而该类表述并不构成一个排它性的罗列，其他特征、整体、步骤、操作、元素和/或组件也可以包含在内。
参看下面的说明以及附图，本公开的这些或其他特征和特点、操作方法、结构的相关元素的功能、部分的结合以及制造的经济性可以被更好地理解，其中说明和附图形成了说明书的一部分。然而，可以清楚地理解，附图仅用作说明和描述的目的，并不意在限定本公开的保护范围。可以理解的是，附图并非按比例绘制。
本公开中使用了多种结构图用来说明根据本公开的实施例的各种变形。应当理解的是，前面或下面的结构并不是用来限定本公开。本公开的保护范围以权利要求为准。
在我国，包括糖尿病视网膜病变(DR)、视网膜静脉阻塞(RVO)、年龄相关性黄斑变性(AMD)、青光眼、病理性近视等其他眼疾病在内的致盲性眼病高发，这些疾病一般发生在眼底视网膜或视神经，一旦形成视力损伤很难治愈，如果没有及时诊断并获得治疗，最终致盲会给患者形成严重的负担。
然而，和庞大的患者人群相比，我国眼底专科医生不超过3000人，且集中分布于大中型城市的高等级医院，基层医院眼科诊疗力量尤其薄弱，这使得大量潜在患者无法得到诊断和治疗。基层医院眼底专科医生匮乏，但却面对广大需要筛查和诊疗的病患。大多数患者在疾病初期仅出现轻微的眼部不适，基层医院没有能力给出明确诊断，而患者去更高级别医院检查也存在实际困难，这部分患者可能会等病情发展到晚期，视力损失较严重时才到大医院就医；一方面，因就诊不及时，已经造成的损伤可能无法恢复，另一方面，也给高等级医院带去更多的工作量。如果基层医院的医生对常见的几种眼病具有基本的诊断能力，患者在病程的初期就能及时就诊，根据其病情转诊到高等级医院，这样既能减少患者的负担，从卫生经济学角度，也能减少整个社会的负担。
因此，迫切需要一种能自动识别多种眼底疾病和视神经疾病的方法作为基层医院的医生的助手，帮助基医生初步诊断多种常见的眼底和视神经疾病，可以覆盖更多的人群，意义重大；本公开实施例公开了一种基于深度学习的自动识别眼底疾病方法，如图1所示，具体包括：
S101、对采集到的单张眼底图像进行预处理；
S102、将经过预处理后的单张眼底图像输入至预训练过的神经网络中；
S103、所述神经网络中的卷积层获取图像特征，将所述图像特征输入至改造后的所述神经网络的全连接层；
S104、所述全连接层包括第一分支和第二分支，分别输出第一分值和第二分值；
S105、根据所述第一分值和所述第二分值输出处理结果。
在一些实施例中，卷积层可以有多种，可以使用现有成熟的神经网络的卷积层设计，比如resnet18、resnet32、resnet50、inception-v3、vgg16等，也可以根据自身任务的特定，重新设计卷积核的大小、数量以及各种激活函数和Drop out函数。
在一些实施例中，第一分支具体为二分类分支；例如，第一分支可以支持“是否存在病变”这个二分类问题；第二分支具体为多标签问题；例如，第二分支可以支持“存在哪些眼底疾病”这个多标签问题；
在一些实施例中，所述方法还包括：所述第一分值为2×1的向量值；所述第二分值为N×1(N≥2)的向量值；所述向量值中的每一维均为预测分值；
所述根据所述第一分值和所述第二分值输出处理结果，具体包括：根据所述第一分值的向量值和所述第二分值的向量值中的预测分值输出处理结果。
在一些实施例中，将两个分支的结果进行处理最终输出结果的过程不属于神经网络的一部分。
在一些实施例中，第一分支中的向量值代表“存在病变”或“不存在病变”。
在一些实施例中，N为病种标签的总数，每一维均为某种疾病的预测分值，可以选取分值大于各疾病类别阈值的标签作为最终的输出标签，也可以选取分值最大的K(K≥1)个标签作为最终输出标签，还可以选取分值大于预设值的1或多个标签作为最终输出标签，即输出结果可以同时包含1个或多个预测结果。
在一些实施例中，可以通过在验证集上分析获得各类别的阈值，可以选择使得验证集的数据的某项指标最大时各类的阈值作为最优阈值。具体地，可以选择使得特定类别的灵敏度(sensitivity,SE)和特异性(specificity,SP)的调和平均数(F-measure)最大时的阈值作为该类的最优阈值，如表1所示，灵敏度计算公式为SE＝a/(a+c)*100％，特异性的计算公式为SP＝d/(b+d)*100％，它们的调和平均数F-measure＝2*SE*SP/(SE+SP)。此外，选择阈值时的参考指标还可以为精确度(accuracy)、召回率(recall)和准确率(precision)的调和平均等。
表1：诊断试验四格表
Figure BDA0002389222140000081
在一些实施例中，当所述输出结果出现矛盾时，选择所述第一分值和所述第二分值的向量值中的最大预测分值，并根据所述最大预测分值输出处理结果。
在一些实施例中，当大于阈值的标签或分值最大的K个标签同时包含两个分支中的标签时，存在矛盾，即神经网络认为患者没有病，但又给出了具体的病种；这时需要解决矛盾，解决标签矛盾的方法有多种，比如，可以选择分值最大的作为最终结果，如果“未见异常”的分值最大，则把其它疾病的标签去掉，输出结果为：“未见异常”；如果某种疾病的分值最大，则把“未见异常”标签去掉，输出结果为：患有xx疾病；也可以直接选择分值最大的一个标签作为最终输出结果。
在一些实施例中，如图2所示，眼底图像首先经过预处理；具体地，根据眼底图像的视野区域，定位圆心和半径从而得到视野所在的圆；获取该圆的最小外接正方形作为最终的图像，并将圆形区域外的部分，即背景部分，置为黑色；
更具体地，如图3所示，首先在图像水平方向和垂直方向各找到一根弦，以两根弦的中垂线的交点作为圆心，再根据圆心位置推算出半径长度；为确保准确性，实际应用时可找出多组这样的弦，去掉离群点后，取定位的多个圆心点的均值作为最终的圆心位置，最终以圆的外接正方形作为预处理后的结果；通过对视野所在的圆形区域进行抠取，并对背景进行抹黑，可以有效去除背景噪声和图像形变对处理结果造成的影响。
在一些实施例中，所述方法还包括：将经过预处理后的单张眼底图像进行图像质量判断，当所述眼底图像质量符合预设条件时，输入至预训练过的神经网络中。
在一些实施例中，可以采用一个预训练过的深度神经网络，把输入的图像分为1-6级，分级数值越大，质量越差。1-4级的图像是符合系统的输入要求的，5、6两级的图像不符合要求，将不再进行病种识别。
在一些实施例中，所述方法还包括：获取单张眼底图像的关联信息，依据关联信息对所述处理结果进行校验；可选地，关联信息为单张眼底图像对应患者的基本信息，利用患者的基本信息对输出结果进行校验；例如，患者基本信息包括年龄(主要用于黄斑区病变的确认)、激光手术史(主要用于激光术后标签的确认)、糖尿病史(主要用于糖尿病视网膜病变的确认)、屈光度(主要用于病理性近视、豹纹状眼底标签的确认)等。
本公开实施例中还公开了一种神经网络训练方法，如图4所示，包括：
S201、将预处理后的单张眼底图像及对应的处理结果作为样本数据输入神经网络；
S202、使所述神经网络中的卷积层使用所述样本数据进行训练，识别所述单张眼底图像中的图像特征；
S203、使所述神经网络中的全连接层的第一分支和第二分支使用所述图像特征和所述样本数据进行训练，获得第一分值和第二分值；
S204、根据所述图像特征、所述第一分值和第二分值建立所述单张眼底图像与所述对应的处理结果的关联模型，得到训练后所述神经网络。
在一些实施例中，所述神经网络中的卷积层和全连接层可以同时进行训练，即：使所述神经网络中使用所述样本数据进行训练，识别所述单张眼底图像中的图像特征，获得第一分值和第二分值；
在一些实施例中，如图5所示，图像训练时，先经过神经网络的卷积层获取特征，获得图像特征后，重新设计神经网络全连接层，将原始的全连接层改为两个分支的结构，一个分支用于支持“是否存在病变”这个二分类问题，一个分支用于支持“存在哪些疾病”这个多标签问题。
在一些实施例中，使用第一损失函数对所述第一分支进行训练，使用第二损失函数对所述第二分支进行训练，并对所述第一损失函数和第二损失函数进行加权处理。
在一些实施例中，所述第一损失函数用于解决多分类问题的损失函数；所述第二损失函数用于解决多标签问题的损失函数。
在一些实施例中，所述第一损失函数为：
Figure BDA0002389222140000111
所述第二损失函数为：
Figure BDA0002389222140000112
通过加权函数Loss＝w1*Losscross-entropy+w2*LossBCE对所述第一损失函数和第二损失函数进行加权处理；其中，y是正确答案，
Figure BDA0002389222140000113
是所述神经网络训练得到的答案，
Figure BDA0002389222140000114
是sigmoid函数，w1和w2为权重。
在一些实施例中，权重w1和w2可以根据验证集上测试结果寻找最优值，也可以在训练过程中动态学习。
在一些实施例中，训练过程中还可以加入一些在线数据增强的方法，比如饱和度、对比度、亮度的随机变化、gamma变化、图像翻转、旋转等操作，增强神经网络的鲁棒性。
一般地，眼底是否存在疾病，是个二分类问题，而当存在疾病时，可能多种疾病并存，这是一个多标签问题。现有的多标签结构的网络设计和多分类接口的设计都无法直接解决这一临床实际问题。本公开实施例结合本问题的临床场景，将深度神经网络的输出层设计为两个分支结构，一个分支用于解决“是否存在疾病”这个二分类问题，并使用多分类问题对应的特定损失函数；另一个分支设计用于解决具体病种的识别，这是一个多标签问题，即多种疾病可共存，使用多标签问题对应的损失函数。两个分支的损失设定权重作为超参数，权重的设定可根据验证集的测试结果定。这样的设计可以在神经网络的训练时同时考虑二分类和多标签问题的影响，更符合临床应用场景。
本公开实施例还公开了一种眼底图像的处理装置300，如图6所示，包括：
预处理模块301，用于对采集到的单张眼底图像进行预处理；
输入模块302，用于将经过预处理后的单张眼底图像输入至预训练过的神经网络中；
获取图像特征模块303，用于所述神经网络中的卷积层获取图像特征，将所述图像特征输入至改造后的所述神经网络的全连接层；
第一输出模块304，用于所述全连接层包括第一分支和第二分支，分别输出第一分值和第二分值；
第二输出模块305，用于根据所述第一分值和所述第二分值输出处理结果。
本公开实施例还公开了一种神经网络训练装置400，如图7所示，包括：
样本输入模块401，用于将预处理后的单张眼底图像及对应的处理结果作为样本数据输入神经网络；
第一训练模块402，用于使所述神经网络中的卷积层使用所述样本数据进行训练，识别所述单张眼底图像中的图像特征；
第二训练模块403，用于使所述神经网络中的全连接层的第一分支和第二分支使用所述图像特征和所述样本数据进行训练，获得第一分值和第二分值；
模型建立模块404，用于根据所述图像特征、所述第一分值和第二分值建立所述单张眼底图像与所述对应的处理结果的关联模型，得到训练后所述神经网络。
参考图8，为本公开一个实施例提供的电子设备示意图，该电子设备500包括：
存储器530以及一个或多个处理器510；
其中，所述存储器530与所述一个或多个处理器510通信连接，所述存储器530中存储有可被所述一个或多个处理器执行的指令532，所述指令532被所述一个或多个处理器510执行，以使所述一个或多个处理器510执行本申请前述实施例中的方法。
具体地，处理器510和存储器530可以通过总线或者其他方式连接，图中以通过总线540连接为例。处理器510可以为中央处理器(CentralProcessing Unit，CPU)。处理器510还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器530作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的级联渐进网络等。处理器510通过运行存储在存储器530中的非暂态软件程序、指令以及模块532，从而执行处理器的各种功能应用以及数据处理。
存储器530可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器510所创建的数据等。此外，存储器530可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器530可选包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络(比如通过通信接口520)连接至处理器510。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请的一个实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被执行后执行本申请前述实施例中的方法。
前述的计算机可读取存储介质包括以存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方式或技术来实现的物理易失性和非易失性、可移动和不可移动介质。计算机可读取存储介质具体包括，但不限于，U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、可擦除可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存或其他固态存储器技术、CD-ROM、数字多功能盘(DVD)、HD-DVD、蓝光(Blue-Ray)或其他光存储设备、磁带、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其他介质。
尽管此处所述的主题是在结合操作系统和应用程序在计算机系统上的执行而执行的一般上下文中提供的，但本领域技术人员可以认识到，还可结合其他类型的程序模块来执行其他实现。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其他类型的结构。本领域技术人员可以理解，此处所述的本主题可以使用其他计算机系统配置来实践，包括手持式设备、多处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等，也可使用在其中任务由通过通信网络连接的远程处理设备执行的分布式计算环境中。在分布式计算环境中，程序模块可位于本地和远程存储器存储设备的两者中。
本领域普通技术人员可以意识到，结合本文中所本申请的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对原有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
综上所述，本公开提出了一种眼底图像的处理方法、装置、电子设备及其计算机可读存储介质。通过将经预处理后的单张眼底图像输入至预训练过的神经网络中，所述神经网络中的卷积层获取图像特征，并将图像特征输入至改造后的神经网络的全连接层，通过全连接层的第一分支和第二分支输出的第一分值和第二分值确定处理结果；通过对神经网络的改造设计，实现使用一个神经网络对眼底图像进行处理，进而解决了患者是否患病和患了何种病两个问题，进一步地帮助基层医生诊断，准确率高，使得更多的患者得以受益，意义重大。
应当理解的是，本公开的上述具体实施方式仅仅用于示例性说明或解释本公开的原理，而不构成对本公开的限制。因此，在不偏离本公开的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。此外，本公开所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种眼底图像的处理方法，其特征在于，包括：
对采集到的单张眼底图像进行预处理；
将经过预处理后的单张眼底图像输入至预训练过的神经网络中；
所述神经网络中的卷积层获取图像特征，将所述图像特征输入至改造后的所述神经网络的全连接层；
所述全连接层包括第一分支和第二分支，分别输出第一分值和第二分值；
根据所述第一分值和所述第二分值输出处理结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述第一分值为2×1的向量值；所述第二分值为N×1(N≥2)的向量值；所述向量值中的每一维均为预测分值；
所述根据所述第一分值和所述第二分值输出处理结果，具体包括：根据所述第一分值的向量值和所述第二分值的向量值中的预测分值输出处理结果。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：当所述输出结果出现矛盾时，选择所述第一分值和所述第二分值的向量值中的最大预测分值，并根据所述最大预测分值输出处理结果。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：将经过预处理后的单张眼底图像进行图像质量判断，当所述眼底图像质量符合预设条件时，输入至预训练过的神经网络中。
5.一种神经网络训练方法，其特征在于，包括：
将预处理后的单张眼底图像及对应的处理结果作为样本数据输入神经网络；
使所述神经网络中的卷积层使用所述样本数据进行训练，识别所述单张眼底图像中的图像特征；
使所述神经网络中的全连接层的第一分支和第二分支使用所述图像特征和所述样本数据进行训练，获得第一分值和第二分值；
根据所述图像特征、所述第一分值和第二分值建立所述单张眼底图像与所述对应的处理结果的关联模型，得到训练后所述神经网络。
6.根据权利了要求5所述的方法，其特征在于，所述方法还包括：使用第一损失函数对所述第一分支进行训练，使用第二损失函数对所述第二分支进行训练，并对所述第一损失函数和第二损失函数进行加权处理。
7.根据权利要求6所述的方法，其特征在于，所述第一损失函数用于解决多分类问题的损失函数；所述第二损失函数用于解决多标签问题的损失函数。
8.根据权利要求7所述的方法，其特征在于，
所述第一损失函数为：
Figure FDA0002389222130000021
所述第二损失函数为：
Figure FDA0002389222130000022
通过加权函数
Figure FDA0002389222130000025
对所述第一损失函数和第二损失函数进行加权处理；其中，y是正确答案，
Figure FDA0002389222130000023
是所述神经网络训练得到的答案，
Figure FDA0002389222130000024
是sigmoid函数，w1和w2为权重。
9.一种眼底图像的处理装置，其特征在于，包括：
预处理模块，用于对采集到的单张眼底图像进行预处理；
输入模块，用于将经过预处理后的单张眼底图像输入至预训练过的神经网络中；
获取图像特征模块，用于所述神经网络中的卷积层获取图像特征，将所述图像特征输入至改造后的所述神经网络的全连接层；
第一输出模块，用于所述全连接层包括第一分支和第二分支，分别输出第一分值和第二分值；
第二输出模块，用于根据所述第一分值和所述第二分值输出处理结果。
10.一种神经网络训练装置，其特征在于，包括：
样本输入模块，用于将预处理后的单张眼底图像及对应的处理结果作为样本数据输入神经网络；
第一训练模块，用于使所述神经网络中的卷积层使用所述样本数据进行训练，识别所述单张眼底图像中的图像特征；
第二训练模块，用于使所述神经网络中的全连接层的第一分支和第二分支使用所述图像特征和所述样本数据进行训练，获得第一分值和第二分值；
模型建立模块，用于根据所述图像特征、所述第一分值和第二分值建立所述单张眼底图像与所述对应的处理结果的关联模型，得到训练后所述神经网络。
CN202010108678.7A 2020-02-21 2020-02-21 一种眼底图像的处理方法及装置 Pending CN111369499A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010108678.7A CN111369499A (zh) 2020-02-21 2020-02-21 一种眼底图像的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010108678.7A CN111369499A (zh) 2020-02-21 2020-02-21 一种眼底图像的处理方法及装置

Publications (1)

Publication Number Publication Date
CN111369499A true CN111369499A (zh) 2020-07-03

Family

ID=71206227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010108678.7A Pending CN111369499A (zh) 2020-02-21 2020-02-21 一种眼底图像的处理方法及装置

Country Status (1)

Country Link
CN (1) CN111369499A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017168A (zh) * 2020-08-25 2020-12-01 北京致远慧图科技有限公司 一种检测视神经纤维层缺损的方法及装置
WO2023115063A1 (en) * 2021-12-17 2023-06-22 F. Hoffmann-La Roche Ag Detecting ocular comorbidities when screening for diabetic retinopathy (dr) using 7-field color fundus photos

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170032221A1 (en) * 2015-07-29 2017-02-02 Htc Corporation Method, electronic apparatus, and computer readable medium of constructing classifier for disease detection
CN106778472A (zh) * 2016-11-17 2017-05-31 成都通甲优博科技有限责任公司 基于深度学习的输电走廊常见侵入物目标检测与识别方法
CN107729929A (zh) * 2017-09-30 2018-02-23 百度在线网络技术（北京）有限公司 用于获取信息的方法及装置
CN109800789A (zh) * 2018-12-18 2019-05-24 中国科学院深圳先进技术研究院 基于图网络的糖尿病视网膜病变分类方法及装置
CN110348541A (zh) * 2019-05-10 2019-10-18 腾讯医疗健康(深圳)有限公司 眼底血管图像分类方法、装置、设备及存储介质
CN110349147A (zh) * 2019-07-11 2019-10-18 腾讯医疗健康(深圳)有限公司 模型的训练方法、眼底黄斑区病变识别方法、装置及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170032221A1 (en) * 2015-07-29 2017-02-02 Htc Corporation Method, electronic apparatus, and computer readable medium of constructing classifier for disease detection
CN106778472A (zh) * 2016-11-17 2017-05-31 成都通甲优博科技有限责任公司 基于深度学习的输电走廊常见侵入物目标检测与识别方法
CN107729929A (zh) * 2017-09-30 2018-02-23 百度在线网络技术（北京）有限公司 用于获取信息的方法及装置
CN109800789A (zh) * 2018-12-18 2019-05-24 中国科学院深圳先进技术研究院 基于图网络的糖尿病视网膜病变分类方法及装置
CN110348541A (zh) * 2019-05-10 2019-10-18 腾讯医疗健康(深圳)有限公司 眼底血管图像分类方法、装置、设备及存储介质
CN110349147A (zh) * 2019-07-11 2019-10-18 腾讯医疗健康(深圳)有限公司 模型的训练方法、眼底黄斑区病变识别方法、装置及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017168A (zh) * 2020-08-25 2020-12-01 北京致远慧图科技有限公司 一种检测视神经纤维层缺损的方法及装置
WO2023115063A1 (en) * 2021-12-17 2023-06-22 F. Hoffmann-La Roche Ag Detecting ocular comorbidities when screening for diabetic retinopathy (dr) using 7-field color fundus photos

Similar Documents

Publication Publication Date Title
Lavric et al. KeratoDetect: keratoconus detection algorithm using convolutional neural networks
Hogarty et al. Current state and future prospects of artificial intelligence in ophthalmology: a review
Hwang et al. Artificial intelligence-based decision-making for age-related macular degeneration
Zapata et al. Artificial intelligence to identify retinal fundus images, quality validation, laterality evaluation, macular degeneration, and suspected glaucoma
Tong et al. Automated identification of retinopathy of prematurity by image-based deep learning
Kovalyk et al. PAPILA: Dataset with fundus images and clinical data of both eyes of the same patient for glaucoma assessment
Agrawal et al. Assistive framework for automatic detection of all the zones in retinopathy of prematurity using deep learning
Bao et al. Current application of digital diagnosing systems for retinopathy of prematurity
CN111369499A (zh) 一种眼底图像的处理方法及装置
Khanna et al. Deep learning based computer-aided automatic prediction and grading system for diabetic retinopathy
CN113397475A (zh) 基于oct图像的阿尔茨海默症风险的预测方法、系统及介质
Ovreiu et al. An exploratory study for glaucoma detection using densely connected neural networks
Martins et al. Use of artificial intelligence in ophthalmology: a narrative review
CN117338234A (zh) 一种屈光度与视力联合检测方法
Oke et al. Machine learning applications in pediatric ophthalmology: AUTHORS
WO2021072084A1 (en) Systems and methods for cognitive diagnostics for neurological disorders: parkinson's disease and comorbid depression
Sridhar et al. Artificial intelligence in medicine: diabetes as a model
Saleh et al. Artificial intelligence in corneal topography
Cao et al. Stratification of keratoconus progression using unsupervised machine learning analysis of tomographical parameters
Shanthakumari et al. Glaucoma Detection using Fundus Images using Deep Learning
Khan et al. Research Article Deep Learning for Ocular Disease Recognition: An Inner-Class Balance
Nancy et al. DeepRetNet: retinal disease classification using attention UNet++ based segmentation and optimized deep learning technique
Balogun et al. Comparative analysis of deep learning models for the detection and classification of Diabetes Retinopathy
Gueddena et al. A new intelligent system based deep learning to detect DME and AMD in OCT images
Bandyopadhyay et al. Detection of Glucoma and Diabetes through Image Processing and Machine Learning Approaches

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination