CN107516080A - 视网膜病变影像的眼球定位方法、装置及电子设备 - Google Patents

视网膜病变影像的眼球定位方法、装置及电子设备 Download PDF

Info

Publication number
CN107516080A
CN107516080A CN201710723062.9A CN201710723062A CN107516080A CN 107516080 A CN107516080 A CN 107516080A CN 201710723062 A CN201710723062 A CN 201710723062A CN 107516080 A CN107516080 A CN 107516080A
Authority
CN
China
Prior art keywords
data
image data
learning network
pvr
pvr image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710723062.9A
Other languages
English (en)
Inventor
王闾威
李正龙
李慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710723062.9A priority Critical patent/CN107516080A/zh
Publication of CN107516080A publication Critical patent/CN107516080A/zh
Priority to US16/013,898 priority patent/US10772501B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Quality & Reliability (AREA)
  • Public Health (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视网膜病变影像的眼球定位方法、装置及电子设备，包括：获取视网膜病变影像数据；对视网膜病变影像数据进行数据标注，得到标注数据；建立初始深度学习网络；将视网膜病变影像数据输入初始深度学习网络中，输出得到相应的预测数据；利用损失函数对视网膜病变影像数据相应的标注数据和预测数据进行比较，得到比较结果；根据比较结果，调节初始深度学习网络中的参数，直到比较结果达到预设阈值，得到最终的深度学习网络模型；利用深度学习网络模型对待测视网膜病变影像数据进行处理，得到相应的眼球中心坐标以及眼球直径。本发明提出的视网膜病变影像的眼球定位方法、装置及电子设备，能够较为精确地完成视网膜病变影像的眼球定位。

Description

视网膜病变影像的眼球定位方法、装置及电子设备
技术领域
本发明涉及图像处理技术领域，特别是指一种视网膜病变影像的眼球定位方法、装置及电子设备。
背景技术
视网膜病变，又称Rieger中心性视网膜炎、青年性出血性黄斑病变。该病为发生于黄斑部及其周围的弧立的渗出性脉络膜视网膜病灶，伴有视网膜下新生血管及出血。
为了对视网膜病变进行详细观察，通常需要采集视网膜病变影像以供分析。
但是，本发明的发明人在实现本发明的过程中发现，现有技术至少存在以下问题：
目前，视网膜病变影像的质量并不高，使用传统方法定位眼球位置、眼球区域时，常常会受到视网膜病变影像分辨率低、亮度过低、相机光斑干扰等因素影响，导致眼球定位不准。
发明内容
有鉴于此，本发明实施例的目的之一，在于提出一种视网膜病变影像的眼球定位方法、装置及电子设备，能够较为精确地完成视网膜病变影像的眼球定位。
基于上述目的，本发明实施例的第一个方面，提供了一种视网膜病变影像的眼球定位方法，包括：
获取视网膜病变影像数据；
对所述视网膜病变影像数据进行数据标注，得到标注数据；其中，所述标注数据包括标注的眼球中心坐标以及眼球直径；
建立初始深度学习网络；
将所述视网膜病变影像数据输入所述初始深度学习网络中，输出得到相应的预测数据；
利用损失函数对所述视网膜病变影像数据相应的标注数据和预测数据进行比较，得到比较结果；
根据所述比较结果，调节所述初始深度学习网络中的参数，直到所述比较结果达到预设阈值，得到最终的深度学习网络模型；
利用所述深度学习网络模型对待测视网膜病变影像数据进行处理，得到相应的眼球中心坐标以及眼球直径。
可选的，所述视网膜病变影像的眼球定位方法，还包括：
对所述视网膜病变影像数据进行数据预处理，得到预处理后的视网膜病变影像数据；
所述对所述视网膜病变影像数据进行数据标注，得到标注数据，具体包括：
对所述预处理后的视网膜病变影像数据进行数据标注，得到标注数据。
可选的，所述对所述视网膜病变影像数据进行数据预处理，包括：
对所述视网膜病变影像数据进行图像扩充，和/或，
对所述视网膜病变影像数据进行过采样处理。
可选的，所述对所述视网膜病变影像数据进行图像扩充，包括：
采用随机裁剪、旋转、翻转、缩放、调整亮度、调整对比度中的一种或者多种方式进行图像扩充。
可选的，所述对所述视网膜病变影像数据进行数据标注，包括：
采用人工标注的方式进行数据标注，或者采用图像处理与人工筛选相结合的方式进行数据标注。
可选的，所述初始神经网络模型选自Inception-ResNet模型或GoogLeNet v3模型。
可选的，所述损失函数为：
L(u,v)＝∑i＝{x,y,d}SmoothL1(ui，vi)；
其中，v＝(vx,vy,vd)为所述标注数据，u＝(ux,uy,ud)为所述初始深度学习网络输出所述标注数据相应的预测数据；vx,vy分别为标注的眼球中心坐标，vd为标注的眼球直径；ux,uy分别为所述初始深度学习网络输出的眼球中心坐标，ud为所述初始深度学习网络输出的眼球直径，z为所述预测数据和标注数据的差值。
可选的，所述调节初始深度学习网络中的参数，包括：
对所述初始深度学习网络的学习率和/或冲量进行调节。
本发明实施例的第二个方面，还提供了一种视网膜病变影像的眼球定位装置，包括：
获取模块，用于获取视网膜病变影像数据；
标注模块，用于对所述视网膜病变影像数据进行数据标注，得到标注数据；其中，所述标注数据包括标注的眼球中心坐标以及眼球直径；
模型建立模块，用于建立初始深度学习网络；将所述视网膜病变影像数据输入所述初始深度学习网络中，输出得到相应的预测数据；利用损失函数对所述视网膜病变影像数据相应的标注数据和预测数据进行比较，得到比较结果；根据所述比较结果，调节所述初始深度学习网络中的参数，直到所述比较结果达到预设阈值，得到最终的深度学习网络模型；
眼球定位模块，用于利用所述深度学习网络模型对待测视网膜病变影像数据进行处理，得到相应的眼球中心坐标以及眼球直径。
本发明实施例的第三个方面，还提供了一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上任意一项所述的方法。
从上面所述可以看出，本发明实施例提供的视网膜病变影像的眼球定位方法、装置及电子设备，利用深度学习的方法定位视网膜病变影像中的眼球中心坐标以及眼球直径，从而得知眼球位置与区域，相比传统方法抗干扰能力更强、精度更高，可用于进一步的计算机辅助诊断等任务的预处理工作。
附图说明
图1为本发明提供的视网膜病变影像的眼球定位方法的一个实施例的流程示意图；
图2为本发明提供的视网膜病变影像的眼球定位方法的另一个实施例的流程示意图；
图3为本发明提供的视网膜病变影像的眼球定位方法的实施例中标注后的眼球影像示意图；
图4为本发明提供的视网膜病变影像的眼球定位装置的一个实施例的结构示意图；
图5为本发明提供的电子设备的一个实施例的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
本发明实施例的第一个方面，提供了一种视网膜病变影像的眼球定位方法的一个实施例，能够较为精确地完成视网膜病变影像的眼球定位。如图1所示，为本发明提供的视网膜病变影像的眼球定位方法的一个实施例的流程示意图。
所述视网膜病变影像的眼球定位方法，包括：
步骤101：获取视网膜病变影像数据；可选的，为了使最终建立的深度学习网络模型足够精确，这里的视网膜病变影像数据的数量应当尽可能地多；
步骤102：对所述视网膜病变影像数据进行数据标注，得到标注数据；其中，所述标注数据包括标注的眼球中心坐标以及眼球直径；
步骤103：建立初始深度学习网络；可选的，所述初始神经网络模型选自Inception-ResNet模型或GoogLeNet v3模型等最新的CNN(卷积神经网络)模型，或者对这些模型进行适当修改；
步骤104：将所述视网膜病变影像数据输入所述初始深度学习网络中，输出得到相应的预测数据；
步骤105：利用损失函数对所述视网膜病变影像数据相应的标注数据和预测数据进行比较，得到比较结果；
步骤106：根据所述比较结果，调节所述初始深度学习网络中的参数，直到所述比较结果达到预设阈值，得到最终的深度学习网络模型；这里，所述预设阈值根据所述深度学习网络模型所需的准确度来设置，具体取值不限；
步骤107：利用所述深度学习网络模型对待测视网膜病变影像数据进行处理，得到相应的眼球中心坐标以及眼球直径。
从上述实施例可以看出，本发明实施例提供的视网膜病变影像的眼球定位方法，利用深度学习的方法定位视网膜病变影像中的眼球中心坐标以及眼球直径，从而得知眼球位置与区域，相比传统方法抗干扰能力更强、精度更高，可用于进一步的计算机辅助诊断等任务的预处理工作。
本发明实施例还提供了一种视网膜病变影像的眼球定位方法的另一个实施例，能够较为精确地完成视网膜病变影像的眼球定位。如图2所示，为本发明提供的视网膜病变影像的眼球定位方法的另一个实施例的流程示意图。
所述视网膜病变影像的眼球定位方法，包括：
步骤201：获取视网膜病变影像数据；可选的，为了使最终建立的深度学习网络模型足够精确，这里的视网膜病变影像数据的数量应当尽可能地多；
为了避免数据质量、数据不均衡对于训练精度的影响，首先进行数据预处理，因此，步骤202：对所述视网膜病变影像数据进行数据预处理，得到预处理后的视网膜病变影像数据；
可选的，所述数据预处理包括：
对所述视网膜病变影像数据进行图像扩充(Data Augmentation)；可选的，采用随机裁剪、旋转、翻转、缩放、调整亮度、调整对比度中的一种或者多种方式进行图像扩充；
和/或，对所述视网膜病变影像数据进行过采样(Over-Sampling)处理，这样，对于不均衡数据，通过过采样处理倍增少量样本。
步骤203：对所述预处理后的视网膜病变影像数据进行数据标注，得到标注数据；其中，所述标注数据包括标注的眼球中心坐标(vx，vy)以及眼球直径vd；可选的，采用人工标注的方式进行数据标注，或者采用图像处理与人工筛选相结合的方式进行数据标注，如图3所示。
步骤204：建立初始深度学习网络；可选的，可参考Inception-ResNet，GoogLeNetv3等最新的CNN模型进行修改，或自行搭建CNN网络进行训练与预测。
步骤205：将所述视网膜病变影像数据输入所述初始深度学习网络中，输出得到相应的预测数据；在所述初始深度学习网络中输入所述视网膜病变影像数据，所述初始深度学习网络的输出为所述视网膜病变影像数据的预测数据，所述预测数据包括预测的眼球中心坐标(ux，uy)及眼球直径ud。
步骤206：利用损失函数对所述视网膜病变影像数据相应的标注数据和预测数据进行比较，得到比较结果；这样，所述初始深度学习网络自动将预测数据与标注数据做比较，来训练初始深度学习网络的参数。其中，做比较的标准称为损失函数，可选的，眼球的圆形标注区域的所述损失函数为：
L(u,v)＝∑i＝{x,y,d}SmoothL1(ui，vi)；
其中，v＝(vx,vy,vd)为所述标注数据，u＝(ux,uy,ud)为所述初始深度学习网络输出所述标注数据相应的预测数据；vx,vy分别为标注的眼球中心坐标，vd为标注的眼球直径；ux,uy分别为所述初始深度学习网络输出的眼球中心坐标，ud为所述初始深度学习网络输出的眼球直径，z为所述预测数据和标注数据的差值。
步骤207：根据所述比较结果，调节所述初始深度学习网络中的参数，直到所述比较结果达到预设阈值，得到最终的深度学习网络模型；这里，所述预设阈值根据所述深度学习网络模型所需的准确度来设置，具体取值不限；可选的，所述调节初始深度学习网络中的参数，包括：对所述初始深度学习网络的学习率和/或冲量进行调节，这样，反复对学习率、冲量等参数调优，提高模型精度，优化预测准确度。
步骤208：利用所述深度学习网络模型对待测视网膜病变影像数据进行处理，得到相应的眼球中心坐标以及眼球直径。
从上述实施例可以看出，本发明实施例提供的视网膜病变影像的眼球定位方法，利用深度学习的方法定位视网膜病变影像中的眼球中心坐标以及眼球直径，从而得知眼球位置与区域，相比传统方法抗干扰能力更强、精度更高，可用于进一步的计算机辅助诊断等任务的预处理工作；将最终生成的模型用作眼底图像处理的预处理环节应用，可有效确定眼球的位置及大小。
本发明实施例的第二个方面，还提供了一种视网膜病变影像的眼球定位装置的一个实施例，能够较为精确地完成视网膜病变影像的眼球定位。如图4所示，为本发明提供的视网膜病变影像的眼球定位装置的一个实施例的结构示意图。
所述视网膜病变影像的眼球定位装置，包括：
获取模块301，用于获取视网膜病变影像数据；
标注模块302，用于对所述视网膜病变影像数据进行数据标注，得到标注数据；其中，所述标注数据包括标注的眼球中心坐标以及眼球直径；
模型建立模块303，用于建立初始深度学习网络；将所述标注数据输入所述初始深度学习网络中，输出得到相应的预测数据；利用损失函数对所述标注数据和所述相应的预测数据进行比较，得到比较结果；根据所述比较结果，调节所述初始深度学习网络中的参数，直到所述比较结果达到预设阈值，得到最终的深度学习网络模型；
眼球定位模块304，用于利用所述深度学习网络模型对待测视网膜病变影像数据进行处理，得到相应的眼球中心坐标以及眼球直径。
从上述实施例可以看出，本发明实施例提供的视网膜病变影像的眼球定位装置，利用深度学习的方法定位视网膜病变影像中的眼球中心坐标以及眼球直径，从而得知眼球位置与区域，相比传统方法抗干扰能力更强、精度更高，可用于进一步的计算机辅助诊断等任务的预处理工作。
为了避免数据质量、数据不均衡对于训练精度的影响，首先进行数据预处理，可选的，所述视网膜病变影像的眼球定位装置，还包括：
预处理模块305，用于对所述视网膜病变影像数据进行数据预处理，得到预处理后的视网膜病变影像数据；
所述标注模块302，具体用于对所述预处理后的视网膜病变影像数据进行数据标注，得到标注数据。
可选的，所述预处理模块305，具体用于：
对所述视网膜病变影像数据进行图像扩充，和/或，
对所述视网膜病变影像数据进行过采样处理，这样，对于不均衡数据，通过过采样处理倍增少量样本。
可选的，所述对所述视网膜病变影像数据进行图像扩充，包括：
采用随机裁剪、旋转、翻转、缩放、调整亮度、调整对比度中的一种或者多种方式进行图像扩充。
可选的，所述标注模块302，具体用于：
采用人工标注的方式进行数据标注，或者采用图像处理与人工筛选相结合的方式进行数据标注。
可选的，所述初始神经网络模型选自Inception-ResNet模型或GoogLeNet v3模型。
可选的，所述损失函数为：
L(u,v)＝∑i＝{x,y,d}SmoothL1(ui,vi)；
其中，v＝(vx,vy,vd)为所述标注数据，u＝(ux,uy,ud)为所述初始深度学习网络输出所述标注数据相应的预测数据；vx,vy分别为标注的眼球中心坐标，vd为标注的眼球直径；ux,uy分别为所述初始深度学习网络输出的眼球中心坐标，ud为所述初始深度学习网络输出的眼球直径，z为所述预测数据和标注数据的差值。
可选的，所述模型建立模块303，还用于：
对所述初始深度学习网络的学习率和/或冲量进行调节，这样，反复对学习率、冲量等参数调优，提高模型精度，优化预测准确度。
本发明实施例的第三个方面，提出了一种执行所述视网膜病变影像的眼球定位方法的电子设备的一个实施例。如图5所示，为本发明提供的执行所述视网膜病变影像的眼球定位方法的电子设备的一个实施例的硬件结构示意图。
如图4所示，所述电子设备，包括：
一个或多个处理器401以及存储器402，图5中以一个处理器401为例。
所述执行所述视网膜病变影像的眼球定位方法的电子设备还可以包括：输入装置403和输出装置404。
处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图4中以通过总线连接为例。
存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的所述视网膜病变影像的眼球定位方法对应的程序指令/模块(例如，附图4所示的获取模块301、预处理模块305、标注模块302、模型建立模块303和眼球定位模块304)。处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的视网膜病变影像的眼球定位方法。
存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据视网膜病变影像的眼球定位装置的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至会员用户行为监控装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置403可接收输入的数字或字符信息，以及产生与视网膜病变影像的眼球定位装置的用户设置以及功能控制有关的键信号输入。输出装置404可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器402中，当被所述一个或者多个处理器401执行时，执行上述任意方法实施例中的视网膜病变影像的眼球定位方法。所述执行所述视网膜病变影像的眼球定位方法的电子设备的实施例，其技术效果与前述任意方法实施例相同或者类似。
本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的列表项操作的处理方法。所述非暂态计算机存储介质的实施例，其技术效果与前述任意方法实施例相同或者类似。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。所述计算机程序的实施例，其技术效果与前述任意方法实施例相同或者类似。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视网膜病变影像的眼球定位方法，其特征在于，包括：
获取视网膜病变影像数据；
对所述视网膜病变影像数据进行数据标注，得到标注数据；
建立初始深度学习网络；
将所述视网膜病变影像数据输入所述初始深度学习网络中，输出得到相应的预测数据；
利用损失函数对所述视网膜病变影像数据相应的标注数据和预测数据进行比较，得到比较结果；
根据所述比较结果，调节所述初始深度学习网络中的参数，直到所述比较结果达到预设阈值，得到最终的深度学习网络模型；
利用所述深度学习网络模型对待测视网膜病变影像数据进行处理，得到相应的眼球中心坐标以及眼球直径。
2.根据权利要求1所述的方法，其特征在于，还包括：
对所述视网膜病变影像数据进行数据预处理，得到预处理后的视网膜病变影像数据；
所述对所述视网膜病变影像数据进行数据标注，得到标注数据，具体包括：
对所述预处理后的视网膜病变影像数据进行数据标注，得到标注数据。
3.根据权利要求2所述的方法，其特征在于，所述对所述视网膜病变影像数据进行数据预处理，包括：
对所述视网膜病变影像数据进行图像扩充，和/或，
对所述视网膜病变影像数据进行过采样处理。
4.根据权利要求3所述的方法，其特征在于，所述对所述视网膜病变影像数据进行图像扩充，包括：
采用随机裁剪、旋转、翻转、缩放、调整亮度、调整对比度中的一种或者多种方式进行图像扩充。
5.根据权利要求1所述的方法，其特征在于，所述对所述视网膜病变影像数据进行数据标注，包括：
采用人工标注的方式进行数据标注，或者采用图像处理与人工筛选相结合的方式进行数据标注。
6.根据权利要求1所述的方法，其特征在于，所述初始神经网络模型选自Inception-ResNet模型或GoogLeNet v3模型。
7.根据权利要求1所述的方法，其特征在于，所述损失函数为：
L(u,v)＝∑i＝{x,y,d}SmoothL1(ui,vi)；
<mrow> <msub> <mi>Smooth</mi> <mrow> <mi>L</mi> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>z</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>0.5</mn> <msup> <mi>z</mi> <mn>2</mn> </msup> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>z</mi> <mo>&lt;</mo> <mn>1</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>|</mo> <mi>z</mi> <mo>|</mo> <mo>-</mo> <mn>0.5</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>z</mi> <mo>&amp;GreaterEqual;</mo> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>;</mo> </mrow>
其中，v＝(vx,vy,vd)为所述标注数据，u＝(ux,uy,ud)为所述初始深度学习网络输出所述标注数据相应的预测数据；vx,vy分别为标注的眼球中心坐标，vd为标注的眼球直径；ux,uy分别为所述初始深度学习网络输出的眼球中心坐标，ud为所述初始深度学习网络输出的眼球直径，z为所述预测数据和标注数据的差值。
8.根据权利要求1所述的方法，其特征在于，所述调节初始深度学习网络中的参数，包括：
对所述初始深度学习网络的学习率和/或冲量进行调节。
9.一种视网膜病变影像的眼球定位装置，其特征在于，包括：
获取模块，用于获取视网膜病变影像数据；
标注模块，用于对所述视网膜病变影像数据进行数据标注，得到标注数据；其中，所述标注数据包括标注的眼球中心坐标以及眼球直径；
模型建立模块，用于建立初始深度学习网络；将所述视网膜病变影像数据输入所述初始深度学习网络中，输出得到相应的预测数据；利用损失函数对所述视网膜病变影像数据相应的标注数据和预测数据进行比较，得到比较结果；根据所述比较结果，调节所述初始深度学习网络中的参数，直到所述比较结果达到预设阈值，得到最终的深度学习网络模型；
眼球定位模块，用于利用所述深度学习网络模型对待测视网膜病变影像数据进行处理，得到相应的眼球中心坐标以及眼球直径。
10.一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-8任意一项所述的方法。
CN201710723062.9A 2017-08-22 2017-08-22 视网膜病变影像的眼球定位方法、装置及电子设备 Pending CN107516080A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710723062.9A CN107516080A (zh) 2017-08-22 2017-08-22 视网膜病变影像的眼球定位方法、装置及电子设备
US16/013,898 US10772501B2 (en) 2017-08-22 2018-06-20 Method and electronic device for positioning eyeball in retinopathy image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710723062.9A CN107516080A (zh) 2017-08-22 2017-08-22 视网膜病变影像的眼球定位方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN107516080A true CN107516080A (zh) 2017-12-26

Family

ID=60723522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710723062.9A Pending CN107516080A (zh) 2017-08-22 2017-08-22 视网膜病变影像的眼球定位方法、装置及电子设备

Country Status (2)

Country Link
US (1) US10772501B2 (zh)
CN (1) CN107516080A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527069A (zh) * 2017-08-22 2017-12-29 京东方科技集团股份有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN108734102A (zh) * 2018-04-18 2018-11-02 佛山市顺德区中山大学研究院 一种基于深度学习的左右眼识别算法
CN110472673A (zh) * 2019-07-26 2019-11-19 腾讯医疗健康(深圳)有限公司 参数调整方法、眼底图像处理方法、装置、介质及设备
CN113662659A (zh) * 2021-08-25 2021-11-19 中山大学中山眼科中心 一种基于3d-mri眼球模型的眼部参数获取系统
TWI768951B (zh) * 2021-06-03 2022-06-21 宏碁股份有限公司 訓練老年性黃斑部退化的分類模型的電子裝置和方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020092634A1 (en) * 2018-10-30 2020-05-07 The Regents Of The University Of California System for estimating primary open-angle glaucoma likelihood
CN109948613A (zh) * 2019-03-22 2019-06-28 国网重庆市电力公司电力科学研究院 一种避雷器的红外图像识别方法及装置
CN110211136B (zh) * 2019-06-05 2023-05-02 深圳大学 图像分割模型的构建方法、图像分割方法、装置及介质
TWI743837B (zh) * 2020-06-16 2021-10-21 緯創資通股份有限公司 訓練資料增量方法、電子裝置與電腦可讀取記錄媒體
CN111588345A (zh) * 2020-06-18 2020-08-28 歌尔科技有限公司 眼部疾病检测方法、ar眼镜及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766059A (zh) * 2015-04-01 2015-07-08 上海交通大学 快速精确的人眼定位方法及基于人眼定位的视线估计方法
CN106778567A (zh) * 2016-12-05 2017-05-31 望墨科技（武汉）有限公司 一种通过神经网络来进行虹膜识别的方法
US20170188823A1 (en) * 2015-09-04 2017-07-06 University Of Massachusetts Eye tracker system and methods for detecting eye parameters

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102648770B1 (ko) * 2016-07-14 2024-03-15 매직 립, 인코포레이티드 홍채 식별을 위한 딥 뉴럴 네트워크
SG11202003337VA (en) * 2017-10-13 2020-05-28 Ai Tech Inc Deep learning-based diagnosis and referral of ophthalmic diseases and disorders

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766059A (zh) * 2015-04-01 2015-07-08 上海交通大学 快速精确的人眼定位方法及基于人眼定位的视线估计方法
US20170188823A1 (en) * 2015-09-04 2017-07-06 University Of Massachusetts Eye tracker system and methods for detecting eye parameters
CN106778567A (zh) * 2016-12-05 2017-05-31 望墨科技（武汉）有限公司 一种通过神经网络来进行虹膜识别的方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527069A (zh) * 2017-08-22 2017-12-29 京东方科技集团股份有限公司 图像处理方法、装置、电子设备及计算机可读介质
US11636664B2 (en) 2017-08-22 2023-04-25 Boe Technology Group Co., Ltd. Training method and device of neural network for medical image processing, and medical image processing method and device
CN108734102A (zh) * 2018-04-18 2018-11-02 佛山市顺德区中山大学研究院 一种基于深度学习的左右眼识别算法
CN110472673A (zh) * 2019-07-26 2019-11-19 腾讯医疗健康(深圳)有限公司 参数调整方法、眼底图像处理方法、装置、介质及设备
CN110472673B (zh) * 2019-07-26 2024-04-12 腾讯医疗健康(深圳)有限公司 参数调整方法、眼底图像处理方法、装置、介质及设备
TWI768951B (zh) * 2021-06-03 2022-06-21 宏碁股份有限公司 訓練老年性黃斑部退化的分類模型的電子裝置和方法
CN113662659A (zh) * 2021-08-25 2021-11-19 中山大学中山眼科中心 一种基于3d-mri眼球模型的眼部参数获取系统

Also Published As

Publication number Publication date
US10772501B2 (en) 2020-09-15
US20190059719A1 (en) 2019-02-28

Similar Documents

Publication Publication Date Title
CN107516080A (zh) 视网膜病变影像的眼球定位方法、装置及电子设备
CN106873585B (zh) 一种导航寻路方法、机器人及系统
CN107103113B (zh) 面向神经网络处理器的自动化设计方法、装置及优化方法
CN107392125A (zh) 智能模型的训练方法/系统、计算机可读存储介质及终端
EP3583553A1 (en) Neural architecture search for convolutional neural networks
JP6720263B2 (ja) 回帰分析により２ｄバウンディングボックスからスード（ｐｓｅｕｄｏ）−３ｄボックスを獲得する方法及びこれを利用した学習装置及びテスト装置
CN104978764A (zh) 三维人脸网格模型处理方法和设备
CN110163640A (zh) 一种在视频中植入广告的方法及计算机设备
CN110211173A (zh) 一种基于深度学习的古生物化石定位和识别方法
CN109063584B (zh) 基于级联回归的面部特征点定位方法、装置、设备及介质
CN104463975A (zh) 设置方法以及信息处理装置
CN110493710A (zh) 轨迹重建方法、装置、计算机设备和存储介质
US11087170B2 (en) Deliberate conditional poison training for generative models
CN108332758A (zh) 一种移动机器人的走廊识别方法及装置
CN112895459B (zh) 一种基于设计组件信息的3d打印模型智能预处理方法及装置
JP2020071875A (ja) 画像認識に用いる深層学習モデル及び該モデルの訓練装置と方法
CN110413510A (zh) 一种数据处理方法、装置及设备
JP2023015165A (ja) ホログラフィー量子力学シミュレーション
CN110517558A (zh) 一种钢琴弹奏指法评判方法及系统、存储介质及终端
US8904247B2 (en) Test pattern generation apparatus, test program generation apparatus, generation method, program, and test apparatus
CN109934165A (zh) 一种关节点检测方法、装置、存储介质及电子设备
CN115616937A (zh) 自动驾驶仿真测试方法、装置、设备和计算机可读介质
CN106406693B (zh) 图像选中方法及装置
CN109269495B (zh) 动态星图生成方法和设备
AU2021204525B1 (en) Generating point cloud completion network and processing point cloud data

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination