CN113011450B - 青光眼识别的训练方法、训练装置、识别方法及识别系统 - Google Patents

青光眼识别的训练方法、训练装置、识别方法及识别系统 Download PDF

Info

Publication number
CN113011450B
CN113011450B CN202010701373.7A CN202010701373A CN113011450B CN 113011450 B CN113011450 B CN 113011450B CN 202010701373 A CN202010701373 A CN 202010701373A CN 113011450 B CN113011450 B CN 113011450B
Authority
CN
China
Prior art keywords
image
disc
glaucoma
cup
fundus image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010701373.7A
Other languages
English (en)
Other versions
CN113011450A (zh
Inventor
李叶平
张念军
王娟
向江怀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sibionics Intelligent Technology Co Ltd
Original Assignee
Shenzhen Sibionics Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sibionics Intelligent Technology Co Ltd filed Critical Shenzhen Sibionics Intelligent Technology Co Ltd
Priority to CN202310297714.2A priority Critical patent/CN116824203A/zh
Priority to CN202310321384.6A priority patent/CN116343008A/zh
Publication of CN113011450A publication Critical patent/CN113011450A/zh
Application granted granted Critical
Publication of CN113011450B publication Critical patent/CN113011450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本公开描述了一种青光眼识别的训练装置，其包括：获取模块；图像分割网络，其是基于深度学习的人工神经网络，并且通过预处理眼底图像、标注图像和空间加权图进行训练，以输出预处理眼底图像中各个像素点属于视盘的概率和属于视杯的概率，并基于预处理眼底图像中各个像素点属于视盘的概率和属于视杯的概率来生成视盘区域图像和视杯区域图像；特征提取模块，基于视盘区域图像和视杯区域图像获取青光眼特征；以及分类器，其基于机器学习通过包括青光眼特征的特征信息和青光眼分类标签进行训练，以输出属于青光眼的概率。根据本方案，能够提高对于青光眼识别的准确性。

Description

青光眼识别的训练方法、训练装置、识别方法及识别系统
技术领域
本公开大体涉及一种青光眼识别的训练方法、训练装置、识别方法及识别系统。
背景技术
目前，青光眼已经成为是全球第二致盲眼科疾病。全球原发性青光眼患者已超过千万人，其中超过一成的患者可能发展为双眼盲。青光眼如果不及早就诊，有可能发展成不可逆性的眼盲，因此早期的青光眼筛查具有重要的意义。
在青光眼筛查的技术中，眼底相机技术为早期青光眼筛查提供了一种经济且准确的方式。医学研究证实，通过对眼底成像测定视神经乳头的杯盘比值(视杯半径与视盘半径的比值，简称杯盘比)可以在早期发现青光眼。随着近年来人工智能技术的发展，可以利用人工智能技术计算杯盘比以实现青光眼自动识别，例如专利文献(CN109829877A)中所描述的青光眼自动识别的方法。在上述专利文献中，先使用图像处理算法对眼底图像中的视盘进行初步定位，并利用深度卷积神经网络从初步定位的区域中分割出视盘区域和视杯区域，然后计算杯盘比并判断眼底图像中是否存在青光眼。
然而，在上述青光眼识别方法中，需要复杂的图像处理算法来对视盘进行初步定位，且视盘定位的精度会影响后续视杯或视盘分割的准确性，进而影响杯盘比计算的准确性。另外，在其它现有的青光眼识别方法中是利用杯盘比识别青光眼，没有利用卷积神经网络提取出的视杯或视盘的其他特征以用于青光眼的识别，因此青光眼识别的准确性仍有待提升。
发明内容
本公开鉴于上述现有的状况，其目的在于提供一种能够准确识别青光眼的青光眼识别的训练方法、训练装置、识别方法及识别系统。
为此，本公开第一方面提供一种基于青光眼识别的训练装置，其包括：获取模块，其获取眼底图像及其青光眼分类标签、通过对所述眼底图像进行预处理而获得的预处理眼底图像和通过对所述眼底图像进行标注而获得的标注图像，所述标注图像包括标注出视盘区域的视盘标注图像和标注出视杯区域的视杯标注图像；图像分割网络，其是基于深度学习的人工神经网络，并且通过所述预处理眼底图像、所述标注图像和空间加权图进行训练，以输出所述预处理眼底图像中各个像素点属于视盘的概率和属于视杯的概率，并基于所述预处理眼底图像中各个像素点属于所述视盘的概率和属于所述视杯的概率来生成视盘区域图像和视杯区域图像，其中，所述空间加权图通过基于预设的距离阈值和视盘距离对所述预处理眼底图像中的各个像素点进行加权而生成，所述视盘距离为所述预处理眼底图像中的各个像素点到所述视盘标注图像中的所述视盘区域的最短距离，在所述人工神经网络的训练中，基于所述空间加权图对所述预处理眼底图像中的各个像素点的损失函数进行加权以获得第一损失函数，并基于所述第一损失函数优化所述人工神经网络；特征提取模块，其基于所述视盘区域图像和所述视杯区域图像获取青光眼特征；以及分类器，其基于机器学习通过包括所述青光眼特征的特征信息和所述青光眼分类标签进行训练，以输出属于青光眼的概率，在所述分类器的训练中，获得第二损失函数，并基于所述第二损失函数优化所述分类器。
在本公开中，基于预处理眼底图像、标注图像和空间加权图对图像分割网络进行训练，基于空间加权图对预处理眼底图像中的各个像素点的损失函数进行加权以获得第一损失函数，利用第一损失函数对图像分割网络进行训练优化，利用图像分割网络获得的视盘区域图像和视杯区域图像以获得青光眼特征，基于包括青光眼特征的特征信息和青光眼分类标签对分类器进行训练，并基于第二损失函数对分类器进行优化，以获得能够识别青光眼的分类器。在这种情况下，能够在不对视盘进行初步定位的情况下，对图像分割网络进行训练，改善因为视盘定位不准确而造成视杯、视盘分割不准确的问题，并且结合图像分割网络和分类器能够利用基于图像分割网络提取的特征以识别青光眼。由此，能够提高青光眼识别的准确性。
另外，在本公开第一方面所涉及的青光眼识别的训练装置中，可选地，所述青光眼特征包括所述视盘区域图像中的视盘的垂直直径和所述视杯区域图像中的视杯的垂直直径、所述视盘区域图像中视盘的水平直径和所述视杯区域图像中视杯的水平直径、所述视盘区域图像中视盘的面积和所述视杯区域图像中的视杯的面积中的至少一种。在这种情况下，能够基于视盘区域图像和视杯区域图像提取多个特征以用于青光眼的识别。由此，能够提高青光眼识别的准确性。
另外，在本公开第一方面所涉及的青光眼识别的训练装置中，可选地，通过将所述预处理眼底图像中的各个像素点的所述视盘距离与所述预设的距离阈值进行对比，令所述视盘距离小于所述预设的距离阈值的像素点的权重为第一预设值，令所述视盘距离大于或等于所述预设的距离阈值的像素点的权重为第二预设值，其中所述第一预设值大于所述第二预设值。在这种情况下，能够提高视盘区域的影响且能够在不对视盘进行初步定位的情况下，对图像分割网络进行训练。由此，能够改善因视盘定位不准确而造成视杯、视盘分割不准确的问题，进而提高青光眼识别的准确性。
另外，在本公开第一方面所涉及的青光眼识别的训练装置中，可选地，所述训练装置基于总损失函数进行优化，所述总损失函数根据所述第一损失函数和所述第二损失函数确定。在这种情况下，能够利用总损失函数对训练装置进行优化。由此，能够提高青光眼识别的准确性。
另外，在本公开第一方面所涉及的青光眼识别的训练装置中，可选地，所述特征信息还包括年龄、性别、病史中的至少一种。在这种情况下，可以基于特征信息的不同组合对分类器进行训练。由此，能够获得性能较好的分类器。
本公开第二方面提供了青光眼识别的训练方法，其包括：获取眼底图像及其青光眼分类标签、通过对所述眼底图像进行预处理而获得的预处理眼底图像和通过对所述眼底图像进行标注而获得的标注图像，所述标注图像包括标注出视盘区域的视盘标注图像和标注出视杯区域的视杯标注图像；基于所述预处理眼底图像、所述标注图像和空间加权图对基于深度学习的人工神经网络进行训练，以输出所述预处理眼底图像中各个像素点属于视盘的概率和属于视杯的概率，并基于所述预处理眼底图像中各个像素点属于所述视盘的概率和属于所述视杯的概率来生成视盘区域图像和视杯区域图像，其中，所述空间加权图通过基于预设的距离阈值和视盘距离对所述预处理眼底图像中的各个像素点进行加权而生成，所述视盘距离为所述预处理眼底图像中的各个像素点到所述视盘标注图像中的所述视盘区域的最短距离，在所述人工神经网络的训练中，基于所述空间加权图对所述预处理眼底图像中的各个像素点的损失函数进行加权以获得第一损失函数，并基于所述第一损失函数优化所述人工神经网络；基于所述视盘区域图像和所述视杯区域图像获取青光眼特征；并且基于包括所述青光眼特征的特征信息和所述青光眼分类标签对基于机器学习的分类器进行训练，以输出属于青光眼的概率，在所述分类器的训练中，获得第二损失函数，并基于所述第二损失函数优化所述分类器。
在本公开中，基于预处理眼底图像、标注图像和空间加权图对人工神经网络进行训练，基于空间加权图对预处理眼底图像中的各个像素点的损失函数进行加权以获得第一损失函数，利用第一损失函数对人工神经网络进行训练优化，利用人工神经网络获得的视盘区域图像和视杯区域图像以获得青光眼特征，基于包括青光眼特征的特征信息和青光眼分类标签对分类器进行训练，并基于第二损失函数对分类器进行优化，以获得能够识别青光眼的分类器。在这种情况下，能够在不对视盘进行初步定位的情况下，对人工神经网络进行训练，改善因为视盘定位不准确而造成视杯、视盘分割不准确的问题，并且结合人工神经网络和分类器能够利用基于人工神经网络提取的特征以识别青光眼。由此，能够提高青光眼识别的准确性。
另外，在本公开第二方面所涉及的青光眼识别的训练方法中，可选地，所述青光眼特征包括所述视盘区域图像中的视盘的垂直直径和所述视杯区域图像中的视杯的垂直直径、所述视盘区域图像中视盘的水平直径和所述视杯区域图像中视杯的水平直径、所述视盘区域图像中视盘的面积和所述视杯区域图像中的视杯的面积中的至少一种。在这种情况下，能够基于视盘区域图像和视杯区域图像提取多个特征以用于青光眼的识别。由此，能够提高青光眼识别的准确性。
另外，在本公开第二方面所涉及的青光眼识别的训练方法中，可选地，通过将所述预处理眼底图像中的各个像素点的所述视盘距离与所述预设的距离阈值进行对比，令所述视盘距离小于所述预设的距离阈值的像素点的权重为第一预设值，令所述视盘距离大于或等于所述预设的距离阈值的像素点的权重为第二预设值，其中所述第一预设值大于所述第二预设值。在这种情况下，能够提高视盘区域的影响且能够在不对视盘进行初步定位的情况下，对人工神经网络进行训练。由此，能够改善因视盘定位不准确而造成视杯、视盘分割不准确的问题，进而提高青光眼识别的准确性。
另外，在本公开第二方面所涉及的青光眼识别的训练方法中，可选地，所述训练方法基于总损失函数进行优化，所述总损失函数根据所述第一损失函数和所述第二损失函数确定。在这种情况下，在对人工神经网络和分类器训练过程中，能够利用总损失函数进行优化。由此，能够提高青光眼识别的准确性。
另外，在本公开第二方面所涉及的青光眼识别的训练方法中，可选地，所述特征信息还包括年龄、性别、病史中的至少一种。在这种情况下，可以基于特征信息的不同组合对分类器进行训练。由此，能够获得性能较好的分类器。
本公开第三方面提供了青光眼识别的识别方法，其包括：接收眼底图像；对所述眼底图像进行预处理得到预处理眼底图像；将所述预处理眼底图像输入利用上述训练方法获得的人工神经网络以获得所述预处理眼底图像中各个像素点属于视盘的概率和属于视杯的概率，并基于所述预处理眼底图像中各个像素点属于所述视盘的概率和属于所述视杯的概率来生成视盘区域图像和视杯区域图像；基于所述视盘区域图像和所述视杯区域图像获取青光眼特征；以及将包括所述青光眼特征的特征信息输入利用上述训练方法获得的分类器进行分类，以获得青光眼分类结果。在本公开中，对接收的眼底图像进行预处理以获得预处理眼底图像，利用上述训练方法获得的人工神经网络对预处理眼底图像进行分割以生成视盘区域图像和视杯区域图像，基于视盘区域图像和视杯区域图像获取青光眼特征，利用上述训练方法获得的分类器并基于包括青光眼特征的特征信息获得青光眼分类结果。在这种情况下，能够在不对视盘进行初步定位的情况下，对预处理眼底图像进行分割，能够改善因为视盘定位不准确而造成视杯、视盘分割不准确的问题，并且结合人工神经网络和分类器能够利用基于人工神经网络提取的特征以识别青光眼。由此，能够提高青光眼识别的准确性。
本公开第四方面提供了青光眼识别的识别系统，其包括：输入单元，其用于接收眼底图像；预处理单元，其用于对所述眼底图像进行预处理得到预处理眼底图像；分割单元，其用于将所述预处理眼底图像输入利用上述训练方法获得的人工神经网络以获得所述预处理眼底图像中各个像素点属于视盘的概率和属于视杯的概率，并基于所述预处理眼底图像中各个像素点属于所述视盘的概率和属于所述视杯的概率来生成视盘区域图像和视杯区域图像；特征提取单元，其基于所述视盘区域图像和所述视杯区域图像获取青光眼特征；以及分类单元，其用于将包括所述青光眼特征的特征信息输入利用上述训练方法获得的分类器进行分类，以获得青光眼分类结果。在本公开中，预处理单元对输入单元接收的眼底图像进行预处理得到预处理眼底图像，分割单元利用上述训练方法获得的人工神经网络对预处理眼底图像进行分割以生成视盘区域图像和视杯区域图像，特征提取单元基于视盘区域图像和视杯区域图像获取青光眼特征，分类单元利用上述训练方法获得的分类器并基于包括青光眼特征的特征信息获得青光眼分类结果。在这种情况下，能够在不对视盘进行初步定位的情况下，对预处理眼底图像进行分割，能够改善因为视盘定位不准确而造成视杯、视盘分割不准确的问题，并且结合人工神经网络和分类器能够利用基于人工神经网络提取的特征以识别青光眼。由此，能够提高青光眼识别的准确性。
根据本公开，提供一种能够准确识别青光眼的青光眼识别的训练方法、训练装置、识别方法及识别系统。
附图说明
现在将仅通过参考附图的例子进一步详细地解释本公开的实施例，其中：
图1是示出了本公开的示例所涉及的青光眼识别的识别系统的电子设备示意图。
图2是示出了本公开的示例所涉及的青光眼识别的训练方法的流程图。
图3是示出了本公开的示例所涉及的对眼底图像的进行标注形成标注图像的示意图。
图4是示出了本公开的示例所涉及的青光眼识别的训练方法的流程图。
图5是示出了本公开的示例所涉及的青光眼识别的训练装置的框图。
图6是示出了本公开的示例所涉及的青光眼识别的训练装置的框图。
图7是示出了本公开的示例所涉及的青光眼识别的识别方法的流程图。
图8是示出了本公开的示例所涉及的青光眼识别的识别系统的框图。
标号说明：
1…电子设备，110…输入设备，120…服务器，121…处理器，122…存储器，130…输出设备，P210…眼底图像，P220…视盘标注图像，P230…视杯标注图像，2…训练装置，210…获取模块，220…图像分割网络，230…特征提取模块，240…分类器，250…优化模块，3…识别系统，310…输入单元，320…预处理单元，330…分割单元，340…特征提取单元，350…分类单元。
具体实施方式
以下，参考附图，详细地说明本公开的优选实施方式。在下面的说明中，对于相同的部件赋予相同的符号，省略重复的说明。另外，附图只是示意性的图，部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。
图1是示出了本公开的示例所涉及的青光眼识别的识别系统的电子设备示意图。
在一些示例中，参照图1，本公开所涉及的青光眼识别的识别系统(也可以简称为“识别系统”)可以借助于电子设备1来实现。如图1所示，电子设备1可以包括输入设备110、服务器120和输出设备130。输入设备110用于接收数据。服务器120可以用于对输入设备110接收的数据进行处理以获得处理结果。输出设备130用于显示服务器120获得的处理结果。
其中，输入设备110可以包括但不限于是键盘、鼠标、触摸屏、扫描仪和摄像头等。服务器120可以包括一个或多个处理器121和一个或多个存储器122。其中，处理器121可以包括中央处理单元、图形处理单元以及能够处理数据的其它任何电子部件，能够执行计算机程序指令。存储器122可以用于存储计算机程序指令。输出设备130可以包括但不限于是显示器、打印机、投影仪和绘图仪等。
在一些示例中，识别系统可以以计算机程序指令的形式存储在存储器122中。处理器121通过执行存储在存储器122中的计算机程序指令，将输入设备110接收的眼底图像进行分类以获得青光眼分类结果，并通过输出设备130显示获得的青光眼分类结果。
以下，结合图2详细描述本公开的青光眼识别的训练方法(也可以简称为“训练方法”)。图2是示出了本公开的示例所涉及的青光眼识别的训练方法的流程图。
在本实施方式中，青光眼识别的训练方法可以包括获取眼底图像及其青光眼分类标签，对眼底图像进行预处理和标注(步骤S210)；对基于深度学习的人工神经网络进行训练(步骤S220)；基于视盘区域图像和视杯区域图像获取青光眼特征(步骤S230)和对基于机器学习的分类器进行训练(步骤S240)。在这种情况下，能够在不对视盘进行初步定位的情况下，对人工神经网络进行训练，改善因为视盘定位不准确而造成视杯、视盘分割不准确的问题，并且结合人工神经网络和分类器能够利用基于人工神经网络提取的特征以识别青光眼。由此，能够提高青光眼识别的准确性。
图3是示出了本公开的示例所涉及的对眼底图像的进行标注形成标注图像的示意图。其中，图3(a)示出了眼底图像P210，图3(b)示出了视盘标注图像P220，图3(c)示出了视杯标注图像P230。
在一些示例中，如上所述，在步骤S210中，可以获取眼底图像及其青光眼分类标签，且可以对眼底图像进行预处理和标注。
在一些示例中，在步骤S210中，可以获取眼底图像。眼底图像可以由眼底相机或其他眼底照相设备拍摄的关于眼底的图像。作为眼底图像的示例，例如图3(a)示出了由眼底相机拍摄的眼底图像P210。
在一些示例中，眼底图像可以为彩色的眼底图像。彩色的眼底图像能够清晰的呈现视盘、视杯、黄斑、血管等丰富的眼底信息。另外，眼底图像还可以为RGB模式、CMYK模式、Lab模式或灰度模式等模式中的一种图像。
在一些示例中，眼底图像可以包括视盘和视杯的区域。在医学上，视盘以及视杯具有明确的解剖学定义。即视盘定义为巩膜后孔的边缘，以巩膜环的内缘为界。视杯定义为自巩膜筛板至视网膜平面之间的范围。
在一些示例中，多张眼底图像可以组成训练数据集。训练数据集可以包括训练集和测试集。例如，可以选择来自合作医院且去除患者信息的例如5-20万幅眼底图像作为训练集(training set)，例如5000-20000幅眼底图像作为测试集(testing set)。
另外，在一些示例中，在步骤S210中，可以获取眼底图像的青光眼分类标签。在一些示例中，青光眼分类标签可以由多名临床专家对患者的眼底图像进行分类以形成青光眼分类标签。具体地，可以在收集来自合作医院且去除患者信息眼底图像后，根据3名以上临床专家的会诊结果对眼底图像进行分类以形成关于眼底图像的青光眼分类标签。
在一些示例中，青光眼分类标签可以包括青光眼和非青光眼两类标签。通过让本公开所涉及的训练方法学习青光眼和非青光眼两种青光眼分类，从而使训练方法具有判断患者的眼底图像中是否存在青光眼病变的能力。另外，在本实施方式中，也可以让训练方法进一步学习以判断患者的眼底图像是哪种青光眼病变并进行分级。
另外，在一些示例中，在步骤S210中，可以获取预处理眼底图像。预处理眼底图像可以通过对眼底图像进行预处理而获得的。在一些示例中，预处理可以包括对眼底图像进行裁切和归一化处理。
在一些示例中，可以对眼底图像进行裁切。一般而言，由于步骤S210中获取的眼底图像可能存在图像格式不同、尺寸不同等问题，因此可以使用人工处理方式或图像处理算法对眼底图像进行裁切，使眼底图像转换为固定标准形式的图像。固定标准形式是指图像包括感兴趣的眼底区域且眼底区域中视盘区域所占的比例一致，以及图像的格式统一、尺寸相同。
在一些示例中，眼底图像经过预处理后的尺寸可以统一为512×512或1024×1024像素的眼底图像。
在一些示例中，可以对眼底图像进行归一化操作。一般而言，由于步骤S210中获取的眼底图像可能存在亮度不均匀、对比度差异较大的问题，因此可以对眼底图像进行归一化处理，以克服不同眼底图像的差异性。在一些示例中，归一化可以为z-score(z分数)标准化，以使经过处理后的眼底图像均值为0，标准差为1。在一些示例中，归一化可以为最大最小值归一化，对眼底图像的原始像素值进行线性变换把像素值映射到0至1之间。
另外，在一些示例中，在步骤S210中，可以对眼底图像进行降噪、灰度化处理等。在一些示例中，可以对眼底图像进行缩放、翻转、平移等。在这种情况下，能够增加人工神经网络训练的数据量。由此，能够提高人工神经网络的泛化能力。另外，在一些示例中，在步骤S210中，可以获取标注图像。标注图像可以通过对眼底图像进行标注而获得的。在一些示例中，标注图像可以包括标注出视盘区域的视盘标注图像和标注出视杯区域的视杯标注图像(参见图3)。
在一些示例中，可以将标注图像中的视盘标注图像和视杯标注图像合并成一张标注图像作为人工神经网络的真实值，也可以分开成两张标注图像作为人工神经网络的真实值。
在一些示例中，如上所述，标注图像可以包括视盘标注图像和视杯标注图像。例如，如图3所示，在一些示例中，可以对眼底图像P210中的视盘区域进行标注，从而获得视盘标注图像P220。视盘标注图像P220可以包括视盘区域A1(参见图3(b))。在一些示例中，可以对眼底图像P210中的视杯区域进行标注，从而获得视杯标注图像P230。视杯标注图像P230可以包含视杯区域A2(参见图3(c))。
在一些示例中，可以由经验丰富的医师进行对眼底图像中的视盘区域和视杯区域进行人工标注。由此，能够提高视盘区域和视杯区域标注的准确性。在一些示例中，可以使用数据集标注工具对眼底图像进行标注，例如数据集标注工具可以为LabelImg工具(图像标注工具)。
在一些示例中，在对眼底图像进行预处理的同时，也可以包括对标注图像的进行预处理。由此，能够使标注图像的尺寸和预处理眼底图像尺寸始终保持一致，进而更有利于人工神经网络训练。
在步骤S220中，可以对基于深度学习的人工神经网络进行训练。在一些示例中，可以获取步骤S210获得的预处理眼底图像和标注图像并结合空间加权图对基于深度学习的人工神经网络进行训练。在另一些示例中，也可以用眼底图像直接对人工神经网络进行训练。
在一些示例中，可以基于预处理眼底图像、标注图像和空间加权图对基于深度学习的人工神经网络进行训练。在一些示例中，基于深度学习的人工神经网络可以是图像语义分割的人工神经网络。例如，可以是基于UNet网络或其改进类型的人工神经网络。Unet网络是一种图像语义分割的人工神经网络，可以包括特征提取和上采样部分。其中，特征提取部分可以包括多个编码层，例如，可以包括五个编码层(分别为第一编码层、第二编码层、第三编码层、第四编码层和第五编码层)，第一编码层将预处理眼底图像作为输入。在一些示例中，编码层可以包含一系列的卷积层、批归一化层、激活层和最大池化层。上采样部分可以包括多个解码层，例如，可以包括四个解码层(分别为倒数第一解码层、倒数第二解码层、倒数第三解码层、倒数第四解码层)，倒数第四解码层用于输出每个预处理眼底图像中各个像素点属于视盘的概率和属于视杯的概率。在这种情况下，基于人工神经网络能够获得预处理眼底图像中各个像素点属于视盘的概率和属于视杯的概率。
在一些示例中，空间加权图可以通过基于预设的距离阈值和视盘距离对预处理眼底图像中的各个像素点进行加权而生成。在一些示例中，空间加权图可以与预处理眼底图像的大小一致，其中，本公开中的空间加权图可以是图像或矩阵。若空间加权图为图像，则空间加权图可以与预处理眼底图像的尺寸一致，且与预处理眼底图像中各个像素点相对应位置的空间加权图中像素值为预处理眼底图像中各个像素点的权重。若空间加权图为矩阵，则矩阵的行列可以与预处理眼底图像的尺寸一致，例如若预处理眼底图像的尺寸为512×512，则空间加权图为512×512矩阵。与预处理眼底图像中各个像素点相对应位置的空间加权图中的元素值为预处理眼底图像中各个像素点的权重。
在一些示例中，预设的距离阈值可以根据视盘标注图像中视盘区域的大小进行设置。在一些示例中，预设的距离阈值可以为视盘标注图像中视盘区域的直径(垂直直径或水平直径)的0.1倍。在一些示例中，视盘距离可以为预处理眼底图像中的各个像素点到视盘标注图像中的视盘区域的最短距离。
如上所述，空间加权图可以通过基于预设的距离阈值和视盘距离对预处理眼底图像中的各个像素点进行加权而生成。具体地，在一些示例中，可以通过将预处理眼底图像中的各个像素点的视盘距离与预设的距离阈值进行对比。令视盘距离小于预设的距离阈值的像素点的权重为第一预设值。令视盘距离大于或等于预设的距离阈值的像素点的权重为第二预设值。其中，第一预设值大于第二预设值。在这种情况下，能够提高视盘区域的影响且能够在不对视盘进行初步定位的情况下，对人工神经网络进行训练。由此，能够改善因视盘定位不准确而造成视杯、视盘分割不准确的问题，进而提高青光眼识别的准确性。
在一些示例中，第一预设值可以为0.8至1。例如，第一预设值可以是0.82、0.85、0.9或0.95等。第二预设值可以为0至0.2。例如，第二预设值可以是0.02、0.05、0.1或0.15等。
在一些示例中，在人工神经网络的训练中，可以基于空间加权图对预处理眼底图像中的各个像素点的损失函数进行加权以获得第一损失函数，并基于第一损失函数优化人工神经网络。
一般而言，损失函数可以用于计算损失、度量模型预测的优劣。其中，基于人工神经网络的模型关于单个样本的预测值与真实值的差可以称为损失。损失越小，模型越好。本公开中的单个样本可以指预处理眼底图像中的各个像素点。
在一些示例中，可以采用Adam(adaptive moment estimation，适应性矩估计)优化算法对损失函数进行优化。例如，可以令初始学习率为0.001，当对人工神经网络进行连续多轮训练损失函数停止下降时，可以缩小学习率。由此，能够提高对人工神经网络训练的效率，并且可以节省内存。
在一些示例中，损失函数可以是预先定义好的损失函数。在一些示例中，损失函数可以为交叉熵损失函数、Dice损失函数等。其中，交叉熵损失函数是一种衡量真实分布和预测的分布的差异情况的函数，Dice损失函数是一种集合相似度度量函数。由此，能够根据需求选择合适的损失函数，能够提高对人工神经网络训练的效率。
具体地，以交叉熵损失函数为例，则各个像素点的损失函数lossi,j为：
Figure BDA0002593066160000131
其中，c表示对预处理眼底图像中各个像素点进行预测的类别，预测的类别包括视杯或视盘两种类别。(i,j)表示预处理眼底图像中像素点的坐标。
Figure BDA0002593066160000132
表示视杯标注图像或视盘标注图像中的坐标为(i,j)的像素点的值，作为预处理眼底图像中坐标为(i,j)的像素点的真实值。
Figure BDA0002593066160000133
表示预处理眼底图像中坐标为(i,j)的像素点的预测值。αc为各类别的权重。
在一些示例中，可以通过将预处理眼底图像中的各个像素点的视盘距离与预设的距离阈值进行对比。令视盘距离小于预设的距离阈值的像素点的权重为第一预设值。第一预设值例如可以为1。令视盘距离大于或等于预设的距离阈值的像素点的权重为第二预设值。第二预设值例如可以为0。则空间加权图中各个像素值或元素值wi,j(也即预处理眼底图像中各个像素点的损失函数的权重)为：
Figure BDA0002593066160000134
式中，di,j为像素点(i,j)到视盘区域图像中视盘区域的最短距离。D为预设的距离阈值。在一些示例中，可以将预设的距离阈值设置为视盘标注图像中视盘区域的直径(垂直直径或水平直径)的0.1倍。
在一些示例中，可以利用空间加权图对各个像素点的损失函数进行空间加权，进而获得人工神经网络的第一损失函数L1：
L1＝∑i,j(wi,j*lossi,j)……式(3)
其中，wi,j为预处理眼底图像中坐标为(i,j)像素点的权重，lossi,j为预处理眼底图像中坐标为(i,j)像素点的损失函数。由此，能够基于第一损失函数对人工神经网络进行训练，以优化人工神经网络的输出。
另外，在一些示例中，在步骤S220中，可以基于预处理眼底图像中各个像素点属于视盘的概率和属于视杯的概率来生成视盘区域图像和视杯区域图像。具体地，在一些示例中，可以在上述的Unet网络的倒数第四解码层中，基于预处理眼底图像中各个像素点属于视盘的概率和属于视杯的概率来生成视盘区域图像和视杯区域图像。例如，可以令视盘的概率为100％时为白色，视盘的概率为0％为黑色，视盘的概率为50％时为灰色。在一些示例中，视盘区域图像和视杯区域图像也可以是灰度图像。
在步骤S230中，可以获取步骤S220获得的视盘区域图像和视杯区域图像，并基于视盘区域图像和视杯区域图像获取青光眼特征。
在一些示例中，可以从视盘区域图像和视杯区域图像中获取青光眼特征。在一些示例中，青光眼特征可以包括视盘区域图像中的视盘的垂直直径和视杯区域中的视杯的垂直直径、视盘区域图像中视盘的水平直径和视杯区域中视杯的水平直径、视盘区域图像中视盘的面积和视杯区域中的视杯的面积中的至少一种。在这种情况下，能够基于视盘区域图像和视杯区域图像提取多个特征以用于青光眼的识别。由此，能够提高青光眼识别的准确性。
在步骤S240中，可以对基于机器学习的分类器进行训练。在一些示例中，可以基于特征信息和青光眼分类标签对基于机器学习的分类器进行训练，以输出属于青光眼的概率。特征信息可以包括青光眼特征。青光眼特征可以由步骤S230获得。青光眼分类标签可以由步骤S210获得。青光眼分类标签可以包括青光眼和非青光眼两类标签。
在一些示例中，特征信息还可以包括年龄、性别、病史中的至少一种。在一些示例中，可以将特征信息进行组合以形成多个特征组合，并基于多个特征组合对分类器进行训练以获得各个特征组合对应的分类器性能。例如，特征组合可以包括视盘区域图像中视盘的面积、视杯区域中的视杯的面积、年龄等。在这种情况下，可以基于特征信息的不同组合对分类器进行训练。由此，能够获得性能较好的分类器。
另外，在一些示例中，基于机器学习的分类器可以包括但不限于是基于随机森林算法、支持向量机算法和逻辑回归算法的分类器或基于深度学习的人工神经网络。
在一些示例中，在步骤S240中，可以输出属于青光眼的概率。在一些示例中，青光眼的概率可以为眼底图像是否存在青光眼病变的概率。在一些示例中，可以设置概率阈值。例如，可以令青光眼的概率大于概率阈值时，识别为青光眼。青光眼的概率小于或等于概率阈值时识别为非青光眼。
另外，在一些示例中，在步骤S240中，可以获得第二损失函数，并基于第二损失函数优化分类器。在一些示例中，第二损失函数可以为交叉熵损失函数。由此，能够利用第二损失函数对分类器进行优化。第二损失函数L2可以如公式(4)所示：
L2＝-Y*log(Ypred)–(1-Y)*log(1-Ypred)……式(4)
其中，Y表示眼底图像的真实值(也即青光眼分类标签)。Ypred表示分类器输出的眼底图像的青光眼的预测值。
图4是示出了本公开的示例所涉及的青光眼识别的训练方法的流程图。在一些示例中，如图4所示，训练方法还可以包括基于总损失函数优化训练后的人工神经网络和分类器(步骤S250)。在这种情况下，在对人工神经网络和分类器训练过程中，能够利用总损失函数进行优化。由此，能够提高青光眼识别的准确性。
在一些示例中，步骤S250中的总损失函数可以根据第一损失函数和第二损失函数确定。在一些示例中，可以对第一损失函数和第二损失函数分别分配权重，并将分配权重后的第一损失函数和第二损失函数之和作为总损失函数。
在一些示例中，通过执行步骤S210至步骤S240，可以获得训练后的人工神经网络和分类器。在这种情况下，可以基于总损失函数对训练后的人工神经网络和分类器进行进一步的优化。
例如，以上述的第一损失函数L1和第二损失函数L2为例，可以基于第一损失函数L1和第二损失函数L2得到总损失函数L，如下式(5)所示：
L＝βL1+γL2……式(5)
式中，β为第一损失函数的权重，γ为第二损失函数的权重。在这种情况下，能够利用总损失函数对训练后的人工神经网络和分类器进行优化。由此，能够提高青光眼识别的准确性。在一些示例中，也可以直接基于总损失函数对人工神经网络和分类器进行训练。
以下结合图5详细描述本公开的青光眼识别的训练装置(也可以简称为“训练装置”)。本公开涉及的训练装置用于实现上述的训练方法。图5是示出了本公开的示例所涉及的青光眼识别的训练装置的框图。
在一些示例中，训练装置2的各个组成部分与上述训练方法的各个步骤对应一致，可以为实现上述训练方法各步骤所需要建立的功能模块。如图5所示，训练装置2可以包括获取模块210、图像分割网络220、特征提取模块230和分类器240。
在一些示例中，获取模块210可以用于获取眼底图像及其青光眼分类标签，且可以用于对眼底图像进行预处理和标注。图像分割网络220可以是基于深度学习的人工神经网络。图像分割网络220可以获得视盘区域图像和视杯区域图像。特征提取模块230可以用于基于视盘区域图像和视杯区域图像获取青光眼特征。分类器240可以是基于机器学习的分类器。分类器240可以获得属于青光眼的概率。在这种情况下，能够在不对视盘进行初步定位的情况下，对图像分割网络进行训练，改善因为视盘定位不准确而造成视杯、视盘分割不准确的问题，并且结合图像分割网络和分类器能够利用基于图像分割网络提取的特征以识别青光眼。由此，能够提高青光眼识别的准确性。
在一些示例中，获取模块210可以获取眼底图像。眼底图像可以由眼底相机或其他眼底照相设备拍摄的关于眼底的图像。眼底图像可以为RGB模式、CMYK模式、Lab模式或灰度模式等模式中的一种图像。在一些示例中，获取模块210可以获取眼底图像的青光眼分类标签。青光眼分类标签可以为青光眼和非青光眼两类标签。在一些示例中，获取模块210可以通过对眼底图像进行预处理而获得预处理眼底图像。在一些示例中，获取模块210可以通过对眼底图像进行标注而获得的标注图像。标注图像可以包括标注出视盘区域的视盘标注图像和标注出视杯区域的视杯标注图像。具体描述可以参见步骤S210，此处不再赘述。
在一些示例中，图像分割网络220可以是基于深度学习的人工神经网络。在一些示例中，图像分割网络220可以通过预处理眼底图像、标注图像和空间加权图进行训练。在一些示例中，图像分割网络220可以输出预处理眼底图像中各个像素点属于视盘的概率和属于视杯的概率。在一些示例中，图像分割网络220可以基于预处理眼底图像中各个像素点属于视盘的概率和属于视杯的概率来生成视盘区域图像和视杯区域图像。具体描述可以参见步骤S220，此处不再赘述。
在一些示例中，在图像分割网络220的训练中，可以基于空间加权图对预处理眼底图像中的各个像素点的损失函数进行加权以获得第一损失函数。在一些示例中，可以基于第一损失函数优化人工神经网络。在一些示例中，空间加权图可以通过基于预设的距离阈值和视盘距离对预处理眼底图像中的各个像素点进行加权而生成。具体地，在一些示例中，可以通过将预处理眼底图像中的各个像素点的视盘距离与预设的距离阈值进行对比。令视盘距离小于预设的距离阈值的像素点的权重为第一预设值。令视盘距离大于或等于预设的距离阈值的像素点的权重为第二预设值。其中第一预设值大于第二预设值。在这种情况下，能够提高视盘区域的影响且能够在不对视盘进行初步定位的情况下，对图像分割网络进行训练。由此，能够改善因视盘定位不准确而造成视杯、视盘分割不准确的问题，进而提高青光眼识别的准确性。在一些示例中，视盘距离可以为预处理眼底图像中的各个像素点到视盘标注图像中的视盘区域的最短距离。具体描述可以参见步骤S220，此处不再赘述。
在一些示例中，特征提取模块230可以基于视盘区域图像和视杯区域图像获取青光眼特征。在一些示例中，青光眼特征可以包括视盘区域图像中的视盘的垂直直径和视杯区域中的视杯的垂直直径、视盘区域图像中视盘的水平直径和视杯区域中视杯的水平直径、视盘区域图像中视盘的面积和视杯区域中的视杯的面积中的至少一种。在这种情况下，能够基于视盘区域图像和视杯区域图像提取多个特征以用于青光眼的识别。由此，能够提高青光眼识别的准确性。具体描述可以参见步骤S230，此处不再赘述。
在一些示例中，分类器240可以是基于机器学习的分类器。在一些示例中，分类器240可以通过特征信息和青光眼分类标签进行训练，以输出属于青光眼的概率。特征信息可以包括青光眼特征。在一些示例中，在分类器的训练中，可以获得第二损失函数，并可以基于第二损失函数优化分类器。在一些示例中，特征信息还可以包括年龄、性别、病史中的至少一种。在这种情况下，可以基于特征信息的不同组合对分类器进行训练。由此，能够获得性能较好的分类器。具体描述可以参见步骤S240，此处不再赘述。
图6是示出了本公开的示例所涉及的青光眼识别的训练装置的框图。如图6所示，在一些示例中，训练装置2还包括优化模块250。
在一些示例中，优化模块250可以基于总损失函数优化训练装置2。在一些示例中，总损失函数可以根据第一损失函数和第二损失函数确定。在一些示例中，可以对第一损失函数和第二损失函数分别分配权重，并将分配权重后的第一损失函数和第二损失函数之和作为总损失函数。在这种情况下，能够利用总损失函数对训练装置进行优化。由此，能够提高青光眼识别的准确性。具体描述可以参见步骤S250，此处不再赘述。
以下结合图7详细描述本公开的青光眼识别的识别方法(也可以简称为“识别方法”)。图7是示出了本公开的示例所涉及的青光眼识别的识别方法的流程图。
在本实施方式中，如图7所示，识别方法可以包括接收眼底图像(步骤S310)，对眼底图像进行预处理(步骤S320)，利用人工神经网络将预处理眼底图像分割成视盘区域图像和视杯区域图像(步骤S330)，获取青光眼特征(步骤S340)和利用分类器获得青光眼分类结果(步骤S350)。在这种情况下，能够在不对视盘进行初步定位的情况下，对预处理眼底图像进行分割，能够改善因为视盘定位不准确而造成视杯、视盘分割不准确的问题，并且结合人工神经网络和分类器能够利用基于人工神经网络提取的特征以识别青光眼。由此，能够提高青光眼识别的准确性。
在步骤S310中，可以接收眼底图像。眼底图像可以由眼底相机或其他眼底照相设备拍摄的关于眼底的图像。在另一些示例中，眼底图像可以为预先存储在用户终端中的图片。用户终端可以包括但不限于是笔记本电脑、平板电脑、手机或台式机等。在一些示例中，眼底图像可以为彩色的眼底图像。眼底图像可以为RGB模式、CMYK模式、Lab模式或灰度模式等模式中的一种图像。
在一些示例中，识别方法可以以计算机程序的形式存储在服务器中，服务器可以通过执行存储在服务器中的计算机程序接收眼底图像。
在步骤S320中，可以获取步骤S310接收的眼底图像并对眼底图像进行预处理得到预处理眼底图像。在一些示例中，在预处理过程中，可以包括对眼底图像进行裁切、归一化等操作。由此，能够将眼底图像转换为固定标准形式的图像且能够克服不同眼底图像的差异性。固定标准形式是指图像包括感兴趣的眼底区域且眼底区域中视盘区域所占的比例一致，以及图像的格式统一、尺寸相同。在一些示例中，眼底图像经过预处理后的尺寸可以统一为512×512或1024×1024像素的眼底图像。在一些示例中，可以对眼底图像进行降噪、灰度化处理等。其中，识别方法中的裁切、归一化等操作可以类比上述训练方法中步骤S210的裁切、归一化等操作的相关描述。
在步骤S330中，可以将在步骤S320中生成预处理眼底图像输入利用上述训练方法获得的人工神经网络，以获得预处理眼底图像中各个像素点属于视盘的概率和属于视杯的概率。在一些示例中，可以基于预处理眼底图像中各个像素点属于视盘的概率和属于视杯的概率来生成视盘区域图像和视杯区域图像。由此，基于人工神经网络能够将预处理眼底图像分割成视盘区域图像和视杯区域图像。其中，识别方法中的视盘区域图像和视杯区域图像可以类比上述训练方法中步骤S220的视盘区域图像和视杯区域图像的相关描述。
在步骤S340中，可以基于在步骤S330获得的视盘区域图像和视杯区域图像获取青光眼特征。在一些示例中，青光眼特征可以包括视盘区域图像中的视盘的垂直直径和视杯区域中的视杯的垂直直径、视盘区域图像中视盘的水平直径和视杯区域中视杯的水平直径、视盘区域图像中视盘的面积和视杯区域中的视杯的面积中的至少一种。在这种情况下，能够基于视盘区域图像和视杯区域图像提取多个特征以用于青光眼的识别。由此，能够提高青光眼识别的准确性。
在步骤S350中，可以将特征信息输入利用的上述训练方法获得的分类器进行分类，以获得青光眼分类结果。在一些示例中，特征信息可以包括步骤S340获得的青光眼特征。在一些示例中，特征信息还可以包括年龄、性别、病史中的至少一种。在一些示例中，青光眼分类结果可以为青光眼和非青光眼两种分类。
以下结合图8详细描述本公开的青光眼识别的识别系统(也可以简称为“识别系统”)。本公开涉及的识别系统用于实现上述的识别方法。图8是示出了本公开的示例所涉及的青光眼识别的识别系统的框图。
在本实施方式中，如图8所示，青光眼识别的识别系统3可以包括输入单元310、预处理单元320、分割单元330、特征提取单元340和分类单元350。
在一些示例中，输入单元310可以用于接收眼底图像。预处理单元320可以用于对眼底图像进行预处理。分割单元330可以用于利用人工神经网络将预处理眼底图像分割成视盘区域图像和视杯区域图像。特征提取单元340可以获取青光眼特征。分类单元350可以用于利用分类器获得青光眼分类结果。在这种情况下，能够在不对视盘进行初步定位的情况下，对预处理眼底图像进行分割，能够改善因为视盘定位不准确而造成视杯、视盘分割不准确的问题，并且结合人工神经网络和分类器能够利用基于人工神经网络提取的特征以识别青光眼。由此，能够提高青光眼识别的准确性。
在一些示例中，输入单元310可以接收眼底图像。眼底图像可以由眼底相机或其他眼底照相设备拍摄的关于眼底的图像。在另一些示例中，眼底图像可以为预先存储在用户终端中的图片。用户终端可以包括但不限于是笔记本电脑、平板电脑、手机或台式机等。在一些示例中，眼底图像可以为彩色的眼底图像。眼底图像可以为RGB模式、CMYK模式、Lab模式或灰度模式等模式中的一种图像。具体描述可以参见步骤S310，此处不再赘述。
在一些示例中，预处理单元320可以获取输入单元310接收的眼底图像并对眼底图像进行预处理得到预处理眼底图像。在一些示例中，在预处理过程中，可以包括对眼底图像进行裁切、归一化等操作。由此，能够将眼底图像转换为固定标准形式的图像且能够克服不同眼底图像的差异性。在一些示例中，可以对眼底图像进行降噪、灰度化处理等。具体描述可以参见步骤S320，此处不再赘述。
在一些示例中，分割单元330可以将预处理单元320中生成的预处理眼底图像输入利用上述的训练方法获得的人工神经网络，可以获得预处理眼底图像中各个像素点属于视盘的概率和属于视杯的概率。在一些示例中，可以基于预处理眼底图像中各个像素点属于视盘的概率和属于视杯的概率来生成视盘区域图像和视杯区域图像。由此，基于人工神经网络能够将预处理眼底图像分割出视盘区域图像和视杯区域图像。具体描述可以参见步骤S330，此处不再赘述。
在一些示例中，特征提取单元340可以基于分割单元330获得的视盘区域图像和视杯区域图像获取青光眼特征。具体描述可以参见步骤S340，此处不再赘述。
在一些示例中，分类单元350可以将特征信息输入利用的上述训练方法获得的分类器进行分类，以获得青光眼分类结果。在一些示例中，特征信息可以包括特征提取单元340获得的青光眼特征。在一些示例中，特征信息还包括年龄、性别、病史中的至少一种。在一些示例中，青光眼分类结果可以为青光眼和非青光眼两种分类。
虽然以上结合附图和实施方式对本公开进行了具体说明，但是可以理解，上述说明不以任何形式限制本公开。本领域技术人员在不偏离本公开的实质精神和范围的情况下可以根据需要对本公开进行变形和变化，这些变形和变化均落入本公开的范围内。

Claims (10)

1.一种青光眼识别的训练装置，其特征在于，
包括：
获取模块，其获取眼底图像及其青光眼分类标签、通过对所述眼底图像进行预处理而获得的预处理眼底图像和通过对所述眼底图像进行标注而获得的标注图像，所述标注图像包括标注出视盘区域的视盘标注图像和标注出视杯区域的视杯标注图像；
图像分割网络，其是基于深度学习的人工神经网络，并且通过所述预处理眼底图像、所述标注图像和空间加权图进行训练，以输出所述预处理眼底图像中各个像素点属于视盘的概率和属于视杯的概率，并基于所述预处理眼底图像中各个像素点属于所述视盘的概率和属于所述视杯的概率来生成视盘区域图像和视杯区域图像，其中，所述空间加权图通过基于预设的距离阈值和视盘距离对所述预处理眼底图像中的各个像素点进行加权而生成，令所述视盘距离小于所述预设的距离阈值的像素点的权重为第一预设值，令所述视盘距离大于或等于所述预设的距离阈值的像素点的权重为第二预设值，所述第一预设值大于所述第二预设值，所述视盘距离为所述预处理眼底图像中的各个像素点到所述视盘标注图像中的所述视盘区域的最短距离，所述预设的距离阈值根据所述视盘标注图像中视盘区域的大小进行设置，在所述人工神经网络的训练中，基于所述空间加权图对所述预处理眼底图像中的各个像素点的损失函数进行加权以获得第一损失函数，并基于所述第一损失函数优化所述人工神经网络以在不对所述视盘进行初步定位的情况下训练所述人工神经网络，所述标注图像作为所述预处理眼底图像中的各个像素点的真实值，所述预处理眼底图像中的各个像素点的损失函数对应的损失为基于所述人工神经网络的预测值与所述真实值的差；
特征提取模块，其基于所述视盘区域图像和所述视杯区域图像提取多个青光眼特征；以及
分类器，其基于机器学习通过包括所述青光眼特征的特征信息和所述青光眼分类标签进行训练，以输出属于青光眼的概率，在所述分类器的训练中，获得第二损失函数，并基于所述第二损失函数优化所述分类器。
2.根据权利要求1所述的训练装置，其特征在于，
所述青光眼特征包括所述视盘区域图像中的视盘的垂直直径和所述视杯区域图像中的视杯的垂直直径、所述视盘区域图像中视盘的水平直径和所述视杯区域图像中视杯的水平直径、所述视盘区域图像中视盘的面积和所述视杯区域图像中的视杯的面积中的至少一种。
3.根据权利要求1所述的训练装置，其特征在于，
所述训练装置基于总损失函数进行优化，所述总损失函数根据所述第一损失函数和所述第二损失函数确定。
4.根据权利要求1或2所述的训练装置，其特征在于，
所述特征信息还包括年龄、性别、病史中的至少一种。
5.一种青光眼识别的训练方法，其特征在于，
包括：
获取眼底图像及其青光眼分类标签、通过对所述眼底图像进行预处理而获得的预处理眼底图像和通过对所述眼底图像进行标注而获得的标注图像，所述标注图像包括标注出视盘区域的视盘标注图像和标注出视杯区域的视杯标注图像；
基于所述预处理眼底图像、所述标注图像和空间加权图对基于深度学习的人工神经网络进行训练，以输出所述预处理眼底图像中各个像素点属于视盘的概率和属于视杯的概率，并基于所述预处理眼底图像中各个像素点属于所述视盘的概率和属于所述视杯的概率来生成视盘区域图像和视杯区域图像，其中，所述空间加权图通过基于预设的距离阈值和视盘距离对所述预处理眼底图像中的各个像素点进行加权而生成，令所述视盘距离小于所述预设的距离阈值的像素点的权重为第一预设值，令所述视盘距离大于或等于所述预设的距离阈值的像素点的权重为第二预设值，所述第一预设值大于所述第二预设值，所述视盘距离为所述预处理眼底图像中的各个像素点到所述视盘标注图像中的所述视盘区域的最短距离，所述预设的距离阈值根据所述视盘标注图像中视盘区域的大小进行设置，在所述人工神经网络的训练中，基于所述空间加权图对所述预处理眼底图像中的各个像素点的损失函数进行加权以获得第一损失函数，并基于所述第一损失函数优化所述人工神经网络以在不对所述视盘进行初步定位的情况下训练所述人工神经网络，所述标注图像作为所述预处理眼底图像中的各个像素点的真实值，所述预处理眼底图像中的各个像素点的损失函数对应的损失为基于所述人工神经网络的预测值与所述真实值的差；
基于所述视盘区域图像和所述视杯区域图像提取多个青光眼特征；并且
基于包括所述青光眼特征的特征信息和所述青光眼分类标签对基于机器学习的分类器进行训练，以输出属于青光眼的概率，在所述分类器的训练中，获得第二损失函数，并基于所述第二损失函数优化所述分类器。
6.根据权利要求5所述的训练方法，其特征在于，
所述青光眼特征包括所述视盘区域图像中的视盘的垂直直径和所述视杯区域图像中的视杯的垂直直径、所述视盘区域图像中视盘的水平直径和所述视杯区域图像中视杯的水平直径、所述视盘区域图像中视盘的面积和所述视杯区域图像中的视杯的面积中的至少一种。
7.根据权利要求5所述的训练方法，其特征在于，
所述训练方法基于总损失函数进行优化，所述总损失函数根据所述第一损失函数和所述第二损失函数确定。
8.根据权利要求5或6所述的训练方法，其特征在于，
所述特征信息还包括年龄、性别、病史中的至少一种。
9.一种青光眼识别的识别方法，其特征在于，
包括：
接收眼底图像；
对所述眼底图像进行预处理得到预处理眼底图像；
将所述预处理眼底图像输入利用上述权利要求5至8任一项所述的训练方法获得的人工神经网络以获得所述预处理眼底图像中各个像素点属于视盘的概率和属于视杯的概率，并基于所述预处理眼底图像中各个像素点属于所述视盘的概率和属于所述视杯的概率来生成视盘区域图像和视杯区域图像；
基于所述视盘区域图像和所述视杯区域图像获取青光眼特征；并且
将包括所述青光眼特征的特征信息输入利用上述权利要求5至8任一项所述的训练方法获得的分类器进行分类，以获得青光眼分类结果。
10.一种青光眼识别的识别系统，其特征在于，
包括：
输入单元，其用于接收眼底图像；
预处理单元，其用于对所述眼底图像进行预处理得到预处理眼底图像；
分割单元，其用于将所述预处理眼底图像输入利用上述权利要求5至8任一项所述的训练方法获得的人工神经网络以获得所述预处理眼底图像中各个像素点属于视盘的概率和属于视杯的概率，并基于所述预处理眼底图像中各个像素点属于所述视盘的概率和属于所述视杯的概率来生成视盘区域图像和视杯区域图像；
特征提取单元，其基于所述视盘区域图像和所述视杯区域图像获取青光眼特征；以及
分类单元，其用于将包括所述青光眼特征的特征信息输入利用上述权利要求5至8任一项所述的训练方法获得的分类器进行分类，以获得青光眼分类结果。
CN202010701373.7A 2019-12-04 2020-07-18 青光眼识别的训练方法、训练装置、识别方法及识别系统 Active CN113011450B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310297714.2A CN116824203A (zh) 2019-12-04 2020-07-18 基于神经网络的青光眼的识别装置和识别方法
CN202310321384.6A CN116343008A (zh) 2019-12-04 2020-07-18 基于多个特征的青光眼识别的训练方法及训练装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019112287255 2019-12-04
CN201911228725 2019-12-04

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202310297714.2A Division CN116824203A (zh) 2019-12-04 2020-07-18 基于神经网络的青光眼的识别装置和识别方法
CN202310321384.6A Division CN116343008A (zh) 2019-12-04 2020-07-18 基于多个特征的青光眼识别的训练方法及训练装置

Publications (2)

Publication Number Publication Date
CN113011450A CN113011450A (zh) 2021-06-22
CN113011450B true CN113011450B (zh) 2023-04-07

Family

ID=76383107

Family Applications (6)

Application Number Title Priority Date Filing Date
CN202311806582.8A Pending CN117788407A (zh) 2019-12-04 2020-07-18 基于人工神经网络的青光眼图像特征提取的训练方法
CN202010702643.6A Active CN113012093B (zh) 2019-12-04 2020-07-18 青光眼图像特征提取的训练方法及训练系统
CN202311798837.0A Pending CN117764957A (zh) 2019-12-04 2020-07-18 基于人工神经网络的青光眼图像特征提取的训练系统
CN202310321384.6A Pending CN116343008A (zh) 2019-12-04 2020-07-18 基于多个特征的青光眼识别的训练方法及训练装置
CN202310297714.2A Pending CN116824203A (zh) 2019-12-04 2020-07-18 基于神经网络的青光眼的识别装置和识别方法
CN202010701373.7A Active CN113011450B (zh) 2019-12-04 2020-07-18 青光眼识别的训练方法、训练装置、识别方法及识别系统

Family Applications Before (5)

Application Number Title Priority Date Filing Date
CN202311806582.8A Pending CN117788407A (zh) 2019-12-04 2020-07-18 基于人工神经网络的青光眼图像特征提取的训练方法
CN202010702643.6A Active CN113012093B (zh) 2019-12-04 2020-07-18 青光眼图像特征提取的训练方法及训练系统
CN202311798837.0A Pending CN117764957A (zh) 2019-12-04 2020-07-18 基于人工神经网络的青光眼图像特征提取的训练系统
CN202310321384.6A Pending CN116343008A (zh) 2019-12-04 2020-07-18 基于多个特征的青光眼识别的训练方法及训练装置
CN202310297714.2A Pending CN116824203A (zh) 2019-12-04 2020-07-18 基于神经网络的青光眼的识别装置和识别方法

Country Status (1)

Country Link
CN (6) CN117788407A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113768460B (zh) * 2021-09-10 2023-11-14 北京鹰瞳科技发展股份有限公司 一种眼底图像分析系统、方法以及电子设备
CN113780477B (zh) * 2021-10-11 2022-07-22 深圳硅基智能科技有限公司 基于紧框标的深度学习的眼底图像的测量方法及测量装置
US11941809B1 (en) * 2023-07-07 2024-03-26 Healthscreen Inc. Glaucoma detection and early diagnosis by combined machine learning based risk score generation and feature optimization

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658395A (zh) * 2018-12-06 2019-04-19 代黎明 视盘追踪方法及系统和眼底采集装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101909141B (zh) * 2009-06-03 2012-06-27 晨星软件研发(深圳)有限公司 电视影像调整方法与装置
US9107617B2 (en) * 2009-11-16 2015-08-18 Agency For Science, Technology And Research Obtaining data for automatic glaucoma screening, and screening and diagnostic techniques and systems using the data
WO2014031086A1 (en) * 2012-08-24 2014-02-27 Agency For Science, Technology And Research Methods and systems for automatic location of optic structures in an image of an eye, and for automatic retina cup-to-disc ratio computation
CN106651888B (zh) * 2016-09-28 2019-06-07 天津工业大学 基于多特征融合的彩色眼底图像视杯分割方法
CN106408564B (zh) * 2016-10-10 2019-04-02 北京新皓然软件技术有限责任公司 一种基于深度学习的眼底图像处理方法、装置及系统
CN106725295A (zh) * 2016-11-29 2017-05-31 瑞达昇科技(大连)有限公司 一种微型体检设备、装置及其使用方法
WO2018215855A1 (en) * 2017-05-23 2018-11-29 Indian Institute Of Science Automated fundus image processing techniques for glaucoma prescreening
CN108122236B (zh) * 2017-12-18 2020-07-31 上海交通大学 基于距离调制损失的迭代式眼底图像血管分割方法
CN108520522A (zh) * 2017-12-31 2018-09-11 南京航空航天大学 基于深度全卷积神经网络的视网膜眼底图像分割方法
CN108921227B (zh) * 2018-07-11 2022-04-08 广东技术师范学院 一种基于capsule理论的青光眼医学影像分类方法
CN109829877A (zh) * 2018-09-20 2019-05-31 中南大学 一种视网膜眼底图像杯盘比自动评估方法
CN109215039B (zh) * 2018-11-09 2022-02-01 浙江大学常州工业技术研究院 一种基于神经网络的眼底图片的处理方法
CN109658423B (zh) * 2018-12-07 2022-12-09 中南大学 一种彩色眼底图的视盘视杯自动分割方法
CN109919938B (zh) * 2019-03-25 2022-12-09 中南大学 青光眼的视盘分割图谱获取方法
CN110110782A (zh) * 2019-04-30 2019-08-09 南京星程智能科技有限公司 基于深度学习的视网膜眼底图像视盘定位方法
CN110473188B (zh) * 2019-08-08 2022-03-11 福州大学 一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658395A (zh) * 2018-12-06 2019-04-19 代黎明 视盘追踪方法及系统和眼底采集装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘振宇 ; 汪淼 ; .改进区域生长算法在视杯图像分割中的应用.辽宁大学学报(自然科学版).2017,(02),全文. *

Also Published As

Publication number Publication date
CN113012093A (zh) 2021-06-22
CN113012093B (zh) 2023-12-12
CN116343008A (zh) 2023-06-27
CN116824203A (zh) 2023-09-29
CN117788407A (zh) 2024-03-29
CN117764957A (zh) 2024-03-26
CN113011450A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
KR102339915B1 (ko) 셀피를 촬영하도록 사용자를 안내하기 위한 시스템 및 방법
US10482603B1 (en) Medical image segmentation using an integrated edge guidance module and object segmentation network
US11612311B2 (en) System and method of otoscopy image analysis to diagnose ear pathology
US20220198657A1 (en) Method and system for selecting embryos
US10991093B2 (en) Systems, methods and media for automatically generating a bone age assessment from a radiograph
CN113011450B (zh) 青光眼识别的训练方法、训练装置、识别方法及识别系统
US20190191988A1 (en) Screening method for automated detection of vision-degenerative diseases from color fundus images
Niemeijer et al. Image structure clustering for image quality verification of color retina images in diabetic retinopathy screening
CN110211087B (zh) 可分享的半自动糖尿病眼底病变标注方法
WO2020183230A1 (en) Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
CN114846507A (zh) 用于使用人工智能（ai）模型进行非侵入性基因检测的方法和系统
JP7294695B2 (ja) 学習済モデルによるプログラム、情報記録媒体、分類装置、ならびに、分類方法
CN113240655B (zh) 一种自动检测眼底图像类型的方法、存储介质及装置
CN114581709A (zh) 识别医学图像中的目标的模型训练、方法、设备及介质
US20220301153A1 (en) Diabetic retinopathy detection using machine learning
Parameshachari et al. U-Net based Segmentation and Transfer Learning Based-Classification for Diabetic-Retinopathy Diagnosis
CN114170224B (zh) 应用生成式染色归一化的细胞病理分类的系统及方法
JP2012234497A (ja) オブジェクト識別装置、オブジェクト識別方法、及びプログラム
CN114066850A (zh) 一种基于分类框架的图像二值化方法
CN114581708A (zh) 医学图像中的目标识别的模型训练装置及识别装置
CN117456576A (zh) 基于时空特征和注意力机制的微表情识别方法
Taha et al. Deep Learning for Malaria Diagnosis: Leveraging Convolutional Neural Networks for Accurate Parasite Detection
CN116704181A (zh) 基于活体ct数据的图像分割方法、重量预测方法和设备
KR20230095801A (ko) 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant