CN116269198B - 基于卷积神经网络的眼球旋转角测量方法及装置 - Google Patents

基于卷积神经网络的眼球旋转角测量方法及装置 Download PDF

Info

Publication number
CN116269198B
CN116269198B CN202310525016.3A CN202310525016A CN116269198B CN 116269198 B CN116269198 B CN 116269198B CN 202310525016 A CN202310525016 A CN 202310525016A CN 116269198 B CN116269198 B CN 116269198B
Authority
CN
China
Prior art keywords
area
region
macular
image
optic disc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310525016.3A
Other languages
English (en)
Other versions
CN116269198A (zh
Inventor
杨卫华
邓宏伟
周薇薇
方纪义
万程
张少冲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Eye Hospital (shenzhen Institute Of Eye Disease Prevention And Control)
Original Assignee
Shenzhen Eye Hospital (shenzhen Institute Of Eye Disease Prevention And Control)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Eye Hospital (shenzhen Institute Of Eye Disease Prevention And Control) filed Critical Shenzhen Eye Hospital (shenzhen Institute Of Eye Disease Prevention And Control)
Priority to CN202310525016.3A priority Critical patent/CN116269198B/zh
Publication of CN116269198A publication Critical patent/CN116269198A/zh
Application granted granted Critical
Publication of CN116269198B publication Critical patent/CN116269198B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Abstract

本公开的实施例公开了一种基于卷积神经网络的眼球旋转角度测量方法及装置，方法包括：获取用于眼球旋转角度测量的实际眼底图像；将实际眼底图像输入预先训练的眼底图像黄斑区域和视盘区域的分割网络，预测得到黄斑区域和视盘区域的分割结果图；将预测得到的黄斑区域和所述视盘区域的分割结果图进行预设的图像处理，获得黄斑区域和视盘区域的平滑轮廓曲线；根据平滑轮廓曲线，分别确定所述黄斑区域和所述视盘区域的中心点；根据所述黄斑区域和所述视盘区域的中心点，计算得到眼球旋转角度。可以自动、准确地测量出眼球旋转角度，在测量过程中定位出眼底图像的黄斑区及中心和视盘区及中心，提升眼球旋转角度测量的精度，提高眼球旋转角测量的效率。

Description

基于卷积神经网络的眼球旋转角测量方法及装置
技术领域
本公开的实施例属于医学图像处理技术领域，具体涉及一种基于卷积神经网络的眼球旋转角测量方法及装置。
背景技术
在人类视觉系统中，眼球旋转是一个复杂的运动，包括眼球的水平旋转、垂直旋转和扭转等。了解眼球旋转角度的大小和变化规律可以帮助我们更好地理解视觉系统的机制，例如视觉注意、深度知觉、眼部追踪等，同时也有助于研究眼科疾病的发病机制和诊断治疗方法。例如，眼球旋转角度异常可能导致眼肌麻痹、斜视等疾病，通过对眼球旋转角度的测量可以更好地帮助医生诊断和治疗这些疾病。
眼球的水平旋转、垂直旋转通过眼位的改变可以精准的测量，以眼球前后轴中心轴的研究扭转的测量缺乏自动客观的方法。因为，眼球运动是多轴的，即眼球可以绕着不同的轴旋转，这使得眼球旋转角度测量变得复杂。测量眼球旋转角度，还需要同时考虑眼球的水平、垂直和旋转方向等多个因素。此外，不同的眼位（如原位、上视位、下视位、内斜位和外斜位等）会对眼球旋转角度的测量产生影响，而且眼球旋转角度测量是一项高精度的检查，任何小的测量误差都可能导致诊断错误或治疗效果不佳。因此，开发一种能精确测量眼球旋转角度的方法成为了近些年医学图像处理领域的研究热点。
目前医学界主要有两大类测量眼球旋转角度的传统方法。其一大类为双马氏杆法、同视机十字画片法为主的主观检测法，但它们都需要受试者配合，而在实际临床工作中由于患者年龄较大配合能力差或者年龄太小视觉发育并未成熟，导致可能无法检测出准确的眼球旋转角度。另一大类是基于解剖学的一种测量方法，包括有裂隙灯前置镜法和眼底照相法，其中裂隙灯前置镜检查只能简单地定性观察旋转性斜视状况，无法定量记录以及操作相对复杂的问题；基于眼底照相法的眼球旋转度测量也是通过测量软件手动测量，耗时且可重复性差。
发明内容
本公开的实施例旨在至少解决现有技术中存在的技术问题之一，公开了一种基于卷积神经网络的眼球旋转角测量方法及装置。
第一方面，本公开的实施例提供一种基于卷积神经网络的眼球旋转角度测量方法，所述方法包括：
获取用于眼球旋转角度测量的实际眼底图像；
将所述实际眼底图像输入预先训练的眼底图像黄斑区域和视盘区域的分割网络，分别预测得到黄斑区域和视盘区域的分割结果图；
将预测得到的所述黄斑区域和所述视盘区域的分割结果图进行预设的图像处理，分别获得所述黄斑区域和所述视盘区域的平滑轮廓曲线；
根据所述黄斑区域和所述视盘区域的平滑轮廓曲线，分别确定所述黄斑区域和所述视盘区域的中心点；
根据所述黄斑区域和所述视盘区域的中心点，计算得到眼球旋转角度。
在一些实施例中，所述分割网络采用以下步骤训练得到：
获取训练眼底图像，并在所述训练眼底图像上标注出黄斑区域及其中心点、视盘区域及其中心点；
将标注的所述训练眼底图像输入分割网络进行训练，通过计算所述分割网络的多任务损失函数，迭代更新参数，得到训练好的所述分割网络。
在一些实施例中，所述分割网络基于U型网络，包括：编码器、双通道特征融合模块、注意力模块、远跳连接模块和解码器；其中，
所述编码器包括5个阶段，其中每个阶段对输出特征图采用3×3的卷积，步长为2，保持与原图相同的填充，因此输出特征图的宽高均缩小一倍；第1、2、3、4、5个阶段中输出卷积层的卷积核数目分别为16、24、40、80、1280；
所述双通道特征融合模块包括空间注意力部分和通道注意力部分，所述空间注意力部分采用7×7的卷积，步长为1，使用Sigmoid作为激活函数；所述通道注意力部分包括全局平均池化、全局最大池化以及全连接层；
所述注意力模块采用1×1的卷积，步长为1，使用ELU作为激活函数；
所述解码器包括5个上采样层，其中每个所述上采样层由1个2×2的反卷积层和3个3×3的卷积层组成；上采样层中，每层反卷积层的卷积核数目分别为256，64，32，16, 8，步长为2；每层卷积层的卷积核数目分别为128，64，32，16，8，步长为1。
在一些实施例中，所述将预测得到的所述黄斑区域和所述视盘区域的分割结果图进行预设的图像处理，分别获得所述黄斑区域和所述视盘区域的平滑轮廓曲线，包括：
将所述黄斑区域和所述视盘区域的分割结果图缩放为对应的原图像的大小；
将缩放后的所述黄斑区域和所述视盘区域的分割结果图转换为灰度图后进行形态化处理；
将形态化处理后的灰度图，使用预设大小的高斯内核进行卷积实现高斯平滑处理；
将高斯平滑处理后的灰度图进行阈值化处理；
将阈值化处理后的二值图，通过轮廓检测找到平滑的区域边缘线，并将其从分割结果图映射到原图像上呈现出黄斑区轮廓和视盘区轮廓。
在一些实施例中，所述将放大后的所述黄斑区域和所述视盘区域的分割结果图转换为灰度图后进行形态化处理，包括：
将转换后的所述灰度图，通过与一个预设大小的椭圆内核进行腐蚀运算消除掉该灰度图中的高亮部分噪声；
将腐蚀运算后的灰度图，进行膨胀运算使所述灰度图中的白色前景高亮。
在一些实施例中，所述根据所述黄斑区域和所述视盘区域的平滑轮廓曲线，分别确定所述黄斑区域和所述视盘区域的中心点，包括：
对所述黄斑区域的平滑轮廓曲线进行椭圆拟合处理，根据所述椭圆拟合处理后的平滑轮廓曲线，计算出所述黄斑区域的图像矩；
根据所述黄斑区域的图像矩，计算得到所述黄斑区域的中心点；
根据所述视盘区域的平滑轮廓曲线，计算出所述视盘区域的
图像矩；
根据所述视盘区域的图像矩，计算得到所述视盘区域的中心点。
在一些实施例中，所述根据所述黄斑区域和所述视盘区域的中心点，计算得到眼球旋转角度，包括：
根据下述关系式得到所述眼球旋转角度：
其中，为黄斑区域的中心点和视盘区域的中心点两点之间的向量，/>为水平方向的向量，（x1,y1）表示向量/>的坐标表示，（x2,y2）表示向量/>的坐标表示，/>为反余弦函数，θ为弧度制下的夹角，α为角度制下的夹角。
第二方面，本公开的实施例提供一种基于卷积神经网络的眼球旋转角度测量装置，所述装置包括：
获取模块，用于获取用于眼球旋转角度测量的实际眼底图像；
预测模块，用于将所述实际眼底图像输入预先训练的眼底图像黄斑区域和视盘区域的分割网络，分别预测得到黄斑区域和视盘区域的分割结果图；
处理模块，用于将预测得到的所述黄斑区域和所述视盘区域的分割结果图进行预设的图像处理，分别获得所述黄斑区域和所述视盘区域的平滑轮廓曲线；
确定模块，用于根据所述黄斑区域和所述视盘区域的平滑轮廓曲线，分别确定所述黄斑区域和所述视盘区域的中心点；
计算模块，用于根据所述黄斑区域和所述视盘区域的中心点，计算得到眼球旋转角度。
第三方面，本公开的实施例提供一种电子设备，包括：
一个或多个处理器；
存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据前文记载的所述的方法。
第四方面，本公开的实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能实现根据前文记载的所述的方法。
本公开实施例的基于卷积神经网络的眼球旋转角度测量方法及装置，可以自动、准确地测量出眼球旋转角度，还可以在测量过程中定位出眼底图像的黄斑区及中心和视盘区及中心。本公开实施例基于深度学习方法，利用少量标记数据的情况下，实现精准的黄斑区和视盘区分割结果，获得准确的黄斑和视盘区域中心定位，进而提升眼球旋转角度测量的精度，提高眼球旋转角测量的效率。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
图1为根据本公开基于卷积神经网络的眼球旋转角测量方法的一些实施例的流程图；
图2为根据本公开基于卷积神经网络的眼球旋转角测量方法的框架示意图；
图3为本公开的眼底图像黄斑区和视盘区分割结果图；
图4为本公开的黄斑区、视盘区及中心定位图；
图5为本公开的眼球旋转角测量图；
图6为根据本公开基于卷积神经网络的眼球旋转角测量装置的一些实施例的结构示意图。
具体实施方式
为使本领域技术人员更好地理解本公开的技术方案，下面结合附图和具体实施方式对本公开作进一步详细描述。
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
另外还需要说明的是，为了便于描述，附图中仅示出了与有关本公开相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本公开。
图1示出了根据本公开的基于卷积神经网络的眼球旋转角测量方法的一些实施例的流程100，图2示出了根据本公开的基于卷积神经网络的眼球旋转角测量方法的一些实施例的流程框图。如图1和图2所示，该基于卷积神经网络的眼球旋转角度测量方法包括以下具体步骤：
步骤110、获取用于眼球旋转角度测量的实际眼底图像。
具体地，在本步骤中，用于眼球旋转角度测量的实际眼底图像可借助一些图像获取设备进行获取，如眼底相机等。在一些实施例中，该用于眼球旋转角度测量的实际眼底图像也可以为预先获取并存储在存储设备或数据库中，从而可以直接调用该些眼底图像。
为了便于准确预测得到下文提及的黄斑区域和视盘区域的分割结果图，在获取了用于眼球旋转角度测量的实际眼底图像后，需对眼底图像进行预处理，以突出眼底图像中的黄斑区域和视盘区域，如对眼底图像进行对比度受限的自适应直方图均衡化处理等。
步骤120、将所述实际眼底图像输入预先训练的眼底图像黄斑区域和视盘区域的分割网络，分别预测得到黄斑区域和视盘区域的分割结果图。
具体地，在本步骤中，如图2和图3所示，将获得的用于眼球旋转角度测量的实际眼底图像输入预先训练完成的眼底图像黄斑区域和视盘区域的分割网络，分别预测得到黄斑区域和视盘区域的分割结果图。
在一些实施例中，上述的分割网络可以采用以下步骤训练得到：
获取训练眼底图像，并在所述训练眼底图像上标注出黄斑区域及其中心点、视盘区域及其中心点。
具体地，以某眼科医院提供的500张2584×1985像素的正常眼底图像作为训练图像集。为了提高模型泛化性能，采用随机水平、随机缩放、垂直翻转、随机噪声以及模糊处理进行数据增强，防止训练的过拟合，提高模型的泛化性。为保证训练输入时图片尺寸一致便于训练，采用中心缩放的方式裁剪输入的图片和标签大小，最终使输入模型的图片大小为224×256尺寸。之后，在图像上标注出视盘区域、黄斑区域、视盘中心以及黄斑中心点。
将标注的所述训练眼底图像输入分割网络进行训练，通过计算所述分割网络的多任务损失函数，迭代更新参数，得到训练好的所述分割网络。
具体地，在本步骤中，将训练集中的标记数据送入分割网络，用于训练分割网络，通过计算分割网络的多任务损失函数，迭代更新参数，在训练一定轮次后，网络测试集准确率不再提升，停止训练。在本步骤中，多任务损失函数结合了BCELoss、DiceLoss和FocalLoss，分别给予三种损失函数0.7、0.2和0.1的权重。
在一些实施例中，所述分割网络基于U型网络，包括：编码器、双通道特征融合模块、注意力模块、远跳连接模块和解码器；其中，
所述编码器包括5个阶段，其中每个阶段对输出特征图采用3×3的卷积，步长为2，保持与原图相同的填充，因此输出特征图的宽高均缩小一倍；第1、2、3、4、5个阶段中输出卷积层的卷积核数目分别为16、24、40、80、1280。所述双通道特征融合模块包括空间注意力部分和通道注意力部分，所述空间注意力部分采用7×7的卷积，步长为1，使用Sigmoid作为激活函数；所述通道注意力部分包括全局平均池化、全局最大池化以及全连接层。所述注意力模块采用1×1的卷积，步长为1，使用ELU作为激活函数。所述解码器包括5个上采样层，其中每个所述上采样层由1个2×2的反卷积层和3个3×3的卷积层组成；上采样层中，每层反卷积层的卷积核数目分别为256，64，32，16, 8，步长为2；每层卷积层的卷积核数目分别为128，64，32，16，8，步长为1。
在一个具体示例中，本公开实施例在安装有NVIDIA-GTX1080 GPU的工作站上进行，编程语言为Python，采用PyTorch深度学习框架，采用AdamW优化器，学习率为0.0006，批次大小为4。将训练数据输入分割网络进行训练，训练到150轮次后，模型逐渐拟合，训练中每次迭代保存训练效果最好的模型参数。
步骤130、将预测得到的所述黄斑区域和所述视盘区域的分割结果图进行预设的图像处理，分别获得所述黄斑区域和所述视盘区域的平滑轮廓曲线。
具体地，在本步骤中，将预测得到的所述黄斑区域和所述视盘区域的分割结果图进行一系列图像处理，如图像缩放、图像映射、灰度化、图像腐蚀、图像膨胀、高斯平滑处理、阈值化处理，最后通过高斯滤波来平滑轮廓曲线，如图4所示。
在一些实施例中，本步骤中的图像处理操作具体为：
将所述黄斑区域和所述视盘区域的分割结果图放大为对应的原图像的大小。将缩放后的所述黄斑区域和所述视盘区域的分割结果图转换为灰度图后进行形态化处理。将形态化处理后的灰度图，使用预设大小的高斯内核进行卷积实现高斯平滑处理。将高斯平滑处理后的灰度图进行阈值化处理。将阈值化处理后的二值图，通过轮廓检测找到平滑的区域边缘线，并将其从分割结果图映射到原图像上呈现出黄斑区轮廓和视盘区轮廓。
作为一个具体示例，如图4所示，上述图像处理操作具体为：
将所述黄斑区域和所述视盘区域的分割结果图从224×256像素放大为对应的原图像的大小。接着转换为灰度图后进行形态化处理，即通过与一个100×100的椭圆内核先进行腐蚀运算消除掉图中高亮部分噪声，再进行膨胀运算使白色前景更加高亮。然后使用5×5的高斯内核进行卷积实现高斯平滑处理。下一步再进行阈值化处理将像素阈值设定为25，即当高斯滤波后的灰度值大于25就将视为灰度值255（白色），小于25将视为0（黑色），这样从灰度图像中消除噪声，即滤除价值很小的像素信息。最后，通过轮廓检测找到平滑的区域边缘线，并将其从分割结果图映射到原图像上呈现出黄斑区轮廓和视盘区轮廓。
步骤140、根据所述黄斑区域和所述视盘区域的平滑轮廓曲线，分别确定所述黄斑区域和所述视盘区域的中心点。
具体地，在本步骤中，如图4所示，在一些实施例中，对所述黄斑区域的平滑轮廓曲线进行椭圆拟合处理，根据所述椭圆拟合处理后的平滑轮廓曲线，计算出所述黄斑区域的图像矩，根据所述黄斑区域的图像矩，计算得到所述黄斑区域的中心点。根据所述视盘区域的平滑轮廓曲线，计算出所述视盘区域的图像矩，根据所述视盘区域的图像矩，计算得到所述视盘区域的中心点。
具体地，根据下述关系式得到所述黄斑区域和所述视盘区域的图像矩：
其中，表示（p+q）阶的图像几何矩，M×N表示图像的大小，/>表示图像中（i,j）处的像素值，ip表示图像中像素点横坐标的p次方，jq表示图像中像素点纵坐标的q次方。
根据下述关系式得到所述黄斑区域和所述视盘区域的中心点：
其中，表示图像中心点坐标，/>表示零阶几何矩，/>和 />表示一阶几何矩。
步骤150、根据所述黄斑区域和所述视盘区域的中心点，计算得到眼球旋转角度。
具体地，在本步骤中，如图5所示，在得到黄斑区域和视盘区域的中心点后，将其两点进行连线，计算与水平线之间的夹角，即可得到眼球旋转角。
在一些实施例中，根据下述关系式得到所述眼球旋转角度：
其中，为黄斑区域的中心点和视盘区域的中心点两点之间的向量，/>为水平方向的向量，（x1,y1）表示向量/>的坐标表示，（x2,y2）表示向量/>的坐标表示，/>为反余弦函数，θ为弧度制下的夹角，α为角度制下的夹角。
本公开实施例的基于卷积神经网络的眼球旋转角度测量方法，可以自动、准确地测量出眼球旋转角度，还可以在测量过程中定位出眼底图像的黄斑区及中心和视盘区及中心。本公开实施例基于深度学习方法，利用少量标记数据的情况下，实现精准的黄斑区和视盘区分割结果，获得准确的黄斑和视盘区域中心定位，进而提升眼球旋转角度测量的精度，提高眼球旋转角测量的效率。
第二方面，如图6所示，本公开的实施例提供一种基于卷积神经网络的眼球旋转角度测量装置600，该装置适用于前文记载的方法，具体可以参考前文相关记载，在此不作赘述。所述装置600包括：
获取模块610，用于获取用于眼球旋转角度测量的实际眼底图像；
预测模块620，用于将所述实际眼底图像输入预先训练的眼底图像黄斑区域和视盘区域的分割网络，分别预测得到黄斑区域和视盘区域的分割结果图；
处理模块630，用于将预测得到的所述黄斑区域和所述视盘区域的分割结果图进行预设的图像处理，分别获得所述黄斑区域和所述视盘区域的平滑轮廓曲线；
确定模块640，用于根据所述黄斑区域和所述视盘区域的平滑轮廓曲线，分别确定所述黄斑区域和所述视盘区域的中心点；
计算模块650，用于根据所述黄斑区域和所述视盘区域的中心点，计算得到眼球旋转角度。
本公开实施例的基于卷积神经网络的眼球旋转角度测量装置，可以自动、准确地测量出眼球旋转角度，还可以在测量过程中定位出眼底图像的黄斑区及中心和视盘区及中心。本公开实施例基于深度学习方法，利用少量标记数据的情况下，实现精准的黄斑区和视盘区分割结果，获得准确的黄斑和视盘区域中心定位，进而提升眼球旋转角度测量的精度，提高眼球旋转角测量的效率。
第三方面，本公开的实施例提供一种电子设备，包括：
一个或多个处理器；
存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据前文记载的所述的方法。
第四方面，本公开的实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能实现根据前文记载的所述的方法。
其中，计算机可读介质可以是本公开的装置、设备、系统中所包含的，也可以是单独存在。
其中，计算机可读存储介质可是任何包含或存储程序的有形介质，其可以是电、磁、光、电磁、红外线、半导体的系统、装置、设备，更具体的例子包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、光纤、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或它们任意合适的组合。
其中，计算机可读存储介质也可包括在基带中或作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码，其具体的例子包括但不限于电磁信号、光信号，或它们任意合适的组合。
可以理解的是，以上实施方式仅仅是为了说明本公开的原理而采用的示例性实施方式，然而本公开并不局限于此。对于本领域内的普通技术人员而言，在不脱离本公开的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本公开的保护范围。

Claims (6)

1.一种基于卷积神经网络的眼球旋转角度测量方法，其特征在于，所述方法包括：
获取用于眼球旋转角度测量的实际眼底图像；
将所述实际眼底图像输入预先训练的眼底图像黄斑区域和视盘区域的分割网络，分别预测得到黄斑区域和视盘区域的分割结果图；
将预测得到的所述黄斑区域和所述视盘区域的分割结果图进行预设的图像处理，分别获得所述黄斑区域和所述视盘区域的平滑轮廓曲线；
根据所述黄斑区域和所述视盘区域的平滑轮廓曲线，分别确定所述黄斑区域和所述视盘区域的中心点；
根据所述黄斑区域和所述视盘区域的中心点，计算得到眼球旋转角度；
所述分割网络采用以下步骤训练得到：获取训练眼底图像，并在所述训练眼底图像上标注出黄斑区域及其中心点、视盘区域及其中心点；将标注的所述训练眼底图像输入分割网络进行训练，通过计算所述分割网络的多任务损失函数，迭代更新参数，得到训练好的所述分割网络；
所述将预测得到的所述黄斑区域和所述视盘区域的分割结果图进行预设的图像处理，分别获得所述黄斑区域和所述视盘区域的平滑轮廓曲线，包括：将所述黄斑区域和所述视盘区域的分割结果图缩放为对应的原图像的大小；将缩放后的所述黄斑区域和所述视盘区域的分割结果图转换为灰度图后进行形态化处理；将形态化处理后的灰度图，使用5×5的高斯内核进行卷积实现高斯平滑处理；将高斯平滑处理后的灰度图进行阈值化处理；将阈值化处理后的二值图，通过轮廓检测找到平滑的区域边缘线，并将其从分割结果图映射到原图像上呈现出黄斑区轮廓和视盘区轮廓；
所述分割网络基于U型网络，包括：编码器、双通道特征融合模块、注意力模块、远跳连接模块和解码器；其中，
所述编码器包括5个阶段，其中每个阶段对输出特征图采用3×3的卷积，步长为2，保持与原图相同的填充，因此输出特征图的宽高均缩小一倍；第1、2、3、4、5个阶段中输出卷积层的卷积核数目分别为16、24、40、80、1280；
所述双通道特征融合模块包括空间注意力部分和通道注意力部分，所述空间注意力部分采用7×7的卷积，步长为1，使用Sigmoid作为激活函数；所述通道注意力部分包括全局平均池化、全局最大池化以及全连接层；
所述注意力模块采用1×1的卷积，步长为1，使用ELU作为激活函数；
所述解码器包括5个上采样层，其中每个所述上采样层由1个2×2的反卷积层和3个3×3的卷积层组成；上采样层中，每层反卷积层的卷积核数目分别为256，64，32，16,8，步长为2；每层卷积层的卷积核数目分别为128，64，32，16，8，步长为1；
所述将缩放后的所述黄斑区域和所述视盘区域的分割结果图转换为灰度图后进行形态化处理，包括：将转换后的所述灰度图，通过与一个100×100的椭圆内核进行腐蚀运算消除掉该灰度图中的高亮部分噪声；将腐蚀运算后的灰度图，进行膨胀运算使所述灰度图中的白色前景高亮。
2.根据权利要求1所述的方法，其特征在于，所述根据所述黄斑区域和所述视盘区域的平滑轮廓曲线，分别确定所述黄斑区域和所述视盘区域的中心点，包括：
对所述黄斑区域的平滑轮廓曲线进行椭圆拟合处理，根据所述椭圆拟合处理后的平滑轮廓曲线，计算出所述黄斑区域的图像矩；
根据所述黄斑区域的图像矩，计算得到所述黄斑区域的中心点；
根据所述视盘区域的平滑轮廓曲线，计算出所述视盘区域的图像矩；
根据所述视盘区域的图像矩，计算得到所述视盘区域的中心点。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述黄斑区域和所述视盘区域的中心点，计算得到眼球旋转角度，包括：
根据下述关系式得到所述眼球旋转角度：
其中，为黄斑区域的中心点和视盘区域的中心点两点之间的向量，/>为水平方向的向量，(x1,y1)表示向量/>的坐标表示，(x2,y2)表示向量/>的坐标表示，arccos为反余弦函数，θ为弧度制下的夹角，α为角度制下的夹角。
4.一种基于卷积神经网络的眼球旋转角度测量装置，其特征在于，所述装置包括：
获取模块，用于获取用于眼球旋转角度测量的实际眼底图像；
预测模块，用于将所述实际眼底图像输入预先训练的眼底图像黄斑区域和视盘区域的分割网络，分别预测得到黄斑区域和视盘区域的分割结果图；
处理模块，用于将预测得到的所述黄斑区域和所述视盘区域的分割结果图进行预设的图像处理，分别获得所述黄斑区域和所述视盘区域的平滑轮廓曲线；
确定模块，用于根据所述黄斑区域和所述视盘区域的平滑轮廓曲线，分别确定所述黄斑区域和所述视盘区域的中心点；
计算模块，用于根据所述黄斑区域和所述视盘区域的中心点，计算得到眼球旋转角度；
所述分割网络采用以下步骤训练得到：
获取训练眼底图像，并在所述训练眼底图像上标注出黄斑区域及其中心点、视盘区域及其中心点；
将标注的所述训练眼底图像输入分割网络进行训练，通过计算所述分割网络的多任务损失函数，迭代更新参数，得到训练好的所述分割网络；
所述处理模块，具体用于：将所述黄斑区域和所述视盘区域的分割结果图缩放为对应的原图像的大小；将缩放后的所述黄斑区域和所述视盘区域的分割结果图转换为灰度图后进行形态化处理；将形态化处理后的灰度图，使用5×5的高斯内核进行卷积实现高斯平滑处理；将高斯平滑处理后的灰度图进行阈值化处理；将阈值化处理后的二值图，通过轮廓检测找到平滑的区域边缘线，并将其从分割结果图映射到原图像上呈现出黄斑区轮廓和视盘区轮廓；
所述分割网络基于U型网络，包括：编码器、双通道特征融合模块、注意力模块、远跳连接模块和解码器；其中，
所述编码器包括5个阶段，其中每个阶段对输出特征图采用3×3的卷积，步长为2，保持与原图相同的填充，因此输出特征图的宽高均缩小一倍；第1、2、3、4、5个阶段中输出卷积层的卷积核数目分别为16、24、40、80、1280；
所述双通道特征融合模块包括空间注意力部分和通道注意力部分，所述空间注意力部分采用7×7的卷积，步长为1，使用Sigmoid作为激活函数；所述通道注意力部分包括全局平均池化、全局最大池化以及全连接层；
所述注意力模块采用1×1的卷积，步长为1，使用ELU作为激活函数；
所述解码器包括5个上采样层，其中每个所述上采样层由1个2×2的反卷积层和3个3×3的卷积层组成；上采样层中，每层反卷积层的卷积核数目分别为256，64，32，16,8，步长为2；每层卷积层的卷积核数目分别为128，64，32，16，8，步长为1；
所述处理模块，具体还用于：将转换后的所述灰度图，通过与一个100×100的椭圆内核进行腐蚀运算消除掉该灰度图中的高亮部分噪声；将腐蚀运算后的灰度图，进行膨胀运算使所述灰度图中的白色前景高亮。
5.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据权利要求1至3任一项所述的方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，
所述计算机程序被处理器执行时能实现根据权利要求1至3任一项所述的方法。
CN202310525016.3A 2023-05-11 2023-05-11 基于卷积神经网络的眼球旋转角测量方法及装置 Active CN116269198B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310525016.3A CN116269198B (zh) 2023-05-11 2023-05-11 基于卷积神经网络的眼球旋转角测量方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310525016.3A CN116269198B (zh) 2023-05-11 2023-05-11 基于卷积神经网络的眼球旋转角测量方法及装置

Publications (2)

Publication Number Publication Date
CN116269198A CN116269198A (zh) 2023-06-23
CN116269198B true CN116269198B (zh) 2023-11-14

Family

ID=86799828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310525016.3A Active CN116269198B (zh) 2023-05-11 2023-05-11 基于卷积神经网络的眼球旋转角测量方法及装置

Country Status (1)

Country Link
CN (1) CN116269198B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689893A (zh) * 2024-02-04 2024-03-12 智眸医疗(深圳)有限公司 激光扫描超广角眼底图像语义分割方法、系统及终端

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008237839A (ja) * 2007-03-29 2008-10-09 Gifu Univ 画像解析システム、及び画像解析プログラム
JP2018198968A (ja) * 2018-08-27 2018-12-20 株式会社トプコン 眼底解析装置
CN109325942A (zh) * 2018-09-07 2019-02-12 电子科技大学 基于全卷积神经网络的眼底图像结构分割方法
CN112545452A (zh) * 2020-12-07 2021-03-26 南京医科大学眼科医院 高度近视眼底病变风险预测方法
CN213046832U (zh) * 2020-06-28 2021-04-27 深圳市眼科医院 一种眼底旋转斜视追踪眼底照相装置
CN113362346A (zh) * 2021-07-08 2021-09-07 辽宁师范大学 基于机器学习双区域轮廓演化模型的视盘和视杯分割方法
CN113989271A (zh) * 2021-11-25 2022-01-28 江苏科技大学 基于双注意力机制和U-net网络的漆面图像分割系统及方法
CN114066884A (zh) * 2022-01-11 2022-02-18 南京医科大学眼科医院 视网膜血管分割方法及装置、电子设备和存储介质
CN114937024A (zh) * 2022-06-13 2022-08-23 依未科技(北京)有限公司 图像评估方法、装置和计算机设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2888718B1 (en) * 2012-08-24 2018-01-17 Agency For Science, Technology And Research Methods and systems for automatic location of optic structures in an image of an eye, and for automatic retina cup-to-disc ratio computation
US10441159B2 (en) * 2015-10-30 2019-10-15 The Charles Stark Draper Laboratory, Inc. System and method for classifying and quantifying age-related macular degeneration
JP7229881B2 (ja) * 2018-08-14 2023-02-28 キヤノン株式会社 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム
CN116563647B (zh) * 2023-07-05 2023-09-12 深圳市眼科医院(深圳市眼病防治研究所) 年龄相关性黄斑病变图像分类方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008237839A (ja) * 2007-03-29 2008-10-09 Gifu Univ 画像解析システム、及び画像解析プログラム
JP2018198968A (ja) * 2018-08-27 2018-12-20 株式会社トプコン 眼底解析装置
CN109325942A (zh) * 2018-09-07 2019-02-12 电子科技大学 基于全卷积神经网络的眼底图像结构分割方法
CN213046832U (zh) * 2020-06-28 2021-04-27 深圳市眼科医院 一种眼底旋转斜视追踪眼底照相装置
CN112545452A (zh) * 2020-12-07 2021-03-26 南京医科大学眼科医院 高度近视眼底病变风险预测方法
CN113362346A (zh) * 2021-07-08 2021-09-07 辽宁师范大学 基于机器学习双区域轮廓演化模型的视盘和视杯分割方法
CN113989271A (zh) * 2021-11-25 2022-01-28 江苏科技大学 基于双注意力机制和U-net网络的漆面图像分割系统及方法
CN114066884A (zh) * 2022-01-11 2022-02-18 南京医科大学眼科医院 视网膜血管分割方法及装置、电子设备和存储介质
CN114937024A (zh) * 2022-06-13 2022-08-23 依未科技(北京)有限公司 图像评估方法、装置和计算机设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于OpenCV的汽车插片保险丝定位算法研究;姚一鸣，陈龙;《软件导刊》;第17卷(第5期);53-55 *
基于多特征融合的眼底图像血管提取方法的研究;李鹏智;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》(第6期);第2-3章 *
张海峰.《高等数学（中册）》.上海交通大学出版社,2020,(第1版),16-18. *

Also Published As

Publication number Publication date
CN116269198A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN111008984B (zh) 医学影像中正常器官的轮廓线自动勾画方法
US5669382A (en) System for measuring myocardium in cardiac images
CN107644420B (zh) 基于中心线提取的血管图像分割方法、核磁共振成像系统
CN111986211A (zh) 一种基于深度学习的眼科超声自动筛查方法及系统
CN116269198B (zh) 基于卷积神经网络的眼球旋转角测量方法及装置
CN111612856B (zh) 用于彩色眼底图像的视网膜新生血管检测方法及成像方法
WO2021190656A1 (zh) 眼底图像黄斑中心定位方法及装置、服务器、存储介质
CN111402243B (zh) 黄斑中心凹识别方法及终端
US20220058796A1 (en) Methods and systems for ocular imaging, diagnosis and prognosis
CN111429451A (zh) 医学超声图像分割方法及装置
CN109087310B (zh) 睑板腺纹理区域的分割方法、系统、存储介质及智能终端
CN113643353B (zh) 眼底图像的血管管径的增强分辨率的测量方法
CN112837805A (zh) 基于深度学习的眼睑拓扑形态特征的提取方法
CN114048806A (zh) 一种基于细粒度深度学习的阿尔兹海默症辅助诊断模型分类方法
CN111507932A (zh) 高特异性的糖尿病性视网膜病变特征检测方法及存储设备
CN114022554A (zh) 一种基于yolo的按摩机器人穴位检测与定位方法
CN113724203B (zh) 应用于oct图像中目标特征分割的模型训练方法及装置
CN117058676B (zh) 一种基于眼底检查影像的血管分割方法、装置和系统
CN113012127A (zh) 基于胸部医学影像的心胸比测量方法
CN110613486B (zh) 一种乳腺超声图像的检测方法及装置
CN110598652B (zh) 眼底数据预测方法和设备
CN116309806A (zh) 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法
CN115482223A (zh) 图像处理方法、装置、存储介质及电子设备
CN115456974A (zh) 基于人脸关键点的斜视检测系统、方法、设备及介质
CN114693671A (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant