CN114694236B - 一种基于循环残差卷积神经网络的眼球运动分割定位方法 - Google Patents

一种基于循环残差卷积神经网络的眼球运动分割定位方法 Download PDF

Info

Publication number
CN114694236B
CN114694236B CN202210220173.9A CN202210220173A CN114694236B CN 114694236 B CN114694236 B CN 114694236B CN 202210220173 A CN202210220173 A CN 202210220173A CN 114694236 B CN114694236 B CN 114694236B
Authority
CN
China
Prior art keywords
cornea
eyelid
eye position
neural network
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210220173.9A
Other languages
English (en)
Other versions
CN114694236A (zh
Inventor
楼丽霞
叶娟
王亚奇
黄星儒
孙一鸣
杨泽华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202210220173.9A priority Critical patent/CN114694236B/zh
Publication of CN114694236A publication Critical patent/CN114694236A/zh
Application granted granted Critical
Publication of CN114694236B publication Critical patent/CN114694236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于循环残差卷积神经网络的眼球运动分割定位方法。采集获得被试者的眼位照输入第一阶段循环残差卷积神经网络模型处理得到旋转后眼位照；再次输入第一阶段循环残差卷积神经网络模型得二值掩膜，裁剪获得左右眼检测区域图片，输入第二阶段循环残差卷积神经网络模型检测获得双眼的眼睑和角膜掩膜；根据额头上圆形标记得到比例尺；再由眼睑角膜掩膜对眼位照图像处理测量眼球运动，获得六条眼外肌功能的像素距离，换算得到实际尺寸值。本发明技术性能稳定，分割准确率高，能快速自动检测眼球运动，以计算机辅助图像处理方式避免了人工测量的误差，从而提高眼肌疾病诊断的准确性和客观性。本发明为体检筛查、远程医疗等也提供了可能性。

Description

一种基于循环残差卷积神经网络的眼球运动分割定位方法
技术领域
本发明涉及了一种眼部图像处理方法，尤其是涉及了一种基于循环残差卷积神经网络的眼球运动分割定位方法。
背景技术
临床上，眼球运动的准确评估对于眼肌相关疾病的诊断非常重要，尤其是非共同性斜视。眼外肌的运动很复杂，各眼外肌之间起协同或对抗作用。为便于诊断，规定了能显示某一眼外肌的主要动作，而不合并其次要动作的眼位，称为诊断眼位。六个诊断眼位分别对应六条眼外肌(两条水平直肌+两条垂直直肌+两条斜肌)。临床实践中，医生通常使用定性的方法主观判断眼外肌功能的亢进或落后程度。这种方式虽然简便，但缺乏准确性和客观性，极大地依赖医生的主观经验。目前也有不少仪器用于定量评估眼球运动(如Hess屏和Lancaster屏)，但仪器测量费时费力，非专科医疗机构也通常不具备这些仪器。
眼球运动情况可通过图像形式进行采集记录。目前已有技术通过人为匹配两个眼位照来测量角膜缘移动的距离，以表示垂直直肌和斜肌功能。但该技术无法避免图像匹配误差，造成了临床应用的不便性。随着计算机技术的迅速发展，深度学习算法已被广泛应用于医疗领域，在疾病诊疗中发挥着重要的作用。深度学习技术为开发眼球运动测量方法提供了一个方向。
发明内容
为了解决背景技术中存在的问题，本发明的目的是提供一种基于半监督循环残差卷积神经网络的眼球运动分割定位方法。通过深度学习算法分割眼部结构特征，自动测量六条眼外肌的功能，用于辅助眼肌疾病的诊疗。
本发明所采用的技术方案是包括以下步骤：
步骤1：构建第一阶段循环残差卷积神经网络模型D1，将人脸属性数据集的人脸图像输入第一阶段循环残差卷积神经网络模型D1中，得到人脸图像中双眼的二值掩膜，通过二值掩膜能够得到双眼的位置坐标；
所述的第一阶段循环残差卷积神经网络模型D1是人脸属性数据集预先输入训练处理。
步骤2：构建用于检测眼睑轮廓和角膜轮廓的第二阶段循环残差卷积神经网络模型D2；
步骤3：采集获得众多被试者的眼位照I原图，输入第一阶段循环残差卷积神经网络模型D1检测获得二值掩膜，再由二值掩膜对眼位照I原图进行提取处理获得双眼的位置坐标，继而获得双眼的瞳孔中心坐标(X1,Y1)和(X2,Y2)，以双眼的瞳孔中心坐标之间的中点为中心旋转眼位照I原图，使得双眼处在同一水平面上，得到旋转后眼位照I旋转；
所述的眼位照I原图是由人眼球在九种不同方位状态下各自分别采集的正位图像构成。
步骤4：针对旋转后眼位照I旋转，再次输入第一阶段循环残差卷积神经网络模型D1检测，获得二值掩膜，再由二值掩膜对旋转后眼位照I旋转行提取裁剪获得左眼检测区域图片和右眼检测区域图片，将左、右眼检测区域图片缩放大小至固定像素大小，具体可以缩放至256×256像素，再分别输入第二阶段循环残差卷积神经网络模型D2检测获得双眼各自的眼睑掩膜和角膜掩膜，最后将眼睑掩膜和角膜掩膜恢复至原始裁剪前的尺寸；
步骤5：使用自适应阈值法，针对旋转后眼位照I旋转，根据中值色彩阈值采用自适应机制过滤掉额头标记之外的颜色，得到旋转后眼位照I旋转中额头上的圆形标记的二值掩码，测量二值掩码的横向宽度和纵向宽度；再结合圆形标记的实际横向宽度和实际纵向宽度以及二值掩码的横向宽度和纵向宽度，换算得到旋转后眼位照I旋转中的比例尺，即每一像素的实际宽度和实际长度；
步骤6：对所有被试者的眼位照重复步骤3至步骤5，采用小部分数据进行初训练，再循环半监督训练，得到所有眼位照各自的眼睑掩膜和角膜掩膜以及比例尺；
半监督训练是指在少量的标记数据上训练分类器，然后使用该分类器对未标记的数据进行预测。这些预测可能比随机猜测更好，未标记的数据预测可以作为“伪标签”在随后的分类器迭代中采用。
再由眼睑掩膜和角膜掩膜，对各自的眼位照进行图像处理测量眼球运动，获得六条眼外肌功能的像素距离，再根据比例尺对六条眼外肌功能的像素值进行换算得到六条眼外肌功能的实际尺寸值。
所述的眼位照中，在人脸额部上粘贴有圆形标记。
具体实施中，圆形标记实际直径为10mm，圆形标记是红色。
所述的正常人无斜视和眼睑疾病。
所述的第一阶段循环残差卷积神经网络模型D1和第二阶段循环残差卷积神经网络模型D2拓扑结构相同，均具体包括五个连续的循环卷积模块、四个注意力模块、三个交叉特征融合模块、一个结果输出模块；
输入图像经五个循环卷积模块和四个2*2最大池化操作处理，每相邻两个循环卷积模块之间均设置进行2*2最大池化操作，即上一个循环卷积模块的输出经2*2最大池化操作后输入到下一个循环卷积模块中；
将第五个循环卷积模块的输出经一个采样卷积操作后的结果和将第四个循环卷积模块的输出经跳过连接后的结果共同输入到第四个注意力模块中，将第五个循环卷积模块的输出经一个采样卷积操作后的结果和将第四个注意力模块的输出经跳过连接后的结果拼接获得第四组合特征图，将第五个循环卷积模块的输出经一个采样卷积操作后的结果作为第四解码器特征图，再将第四解码器特征图和第四组合特征图共同输入到第三个交叉特征融合模块中处；
第四组合特征图经一个采样卷积操作后的结果和第三个循环卷积模块的输出共同输入到第三个注意力模块中，将第三个交叉特征融合模块的输出经一个采样卷积操作后的结果和将第三个注意力模块的输出经跳过连接后的结果拼接获得第三组合特征图，将第三个交叉特征融合模块经跳过连接后的输出经一个采样卷积操作后的结果作为第三解码器特征图，再将第三解码器特征图和第三组合特征图共同输入到第二个交叉特征融合模块中处理；
第三组合特征图经一个采样卷积操作后的结果和第二个循环卷积模块的输出经跳过连接后的结果共同输入到第二个注意力模块中，将第二个交叉特征融合模块的输出经一个采样卷积操作后的结果和将第二个注意力模块的输出经跳过连接后的结果拼接获得第二组合特征图，将第二个交叉特征融合模块
的输出经一个采样卷积操作后的结果作为第二解码器特征图，再将第二解码器特征图和第二组合特征图共同输入到第一个交叉特征融合模块中处理；
第二组合特征图经一个采样卷积操作后的结果和第一个循环卷积模块的输出经跳过连接后的结果共同输入到第一个注意力模块中，将第一个交叉特征融合模块的输出经一个采样卷积操作后的结果和将第一个注意力模块的输出经跳过连接后的结果拼接获得第一组合特征图，将第一个交叉特征融合模块的输出经一个采样卷积操作后的结果作为第一解码器特征图，再将第一解码器特征图和第一组合特征图经拼接共同输入到结果输出模块中处理；
所述的结果输出模块采用1x1的卷积操作处理，最终由结果输出模块的输出作为循环残差卷积神经网络模型的输出。
第一阶段循环残差卷积神经网络模型D1的输出为双眼的二值掩膜，第二阶段循环残差卷积神经网络模型D2的输出为单眼的眼睑掩膜和角膜掩膜。
所述的采样卷积操作是指由依次进行的两倍上采样、3*3卷积处理构成。
所述的循环卷积模块是指由依次设置的卷积层、归一化层、激活函数组成，并循环多次处理，如图5所示。
所述的跳过连接实际上是指一个复制的操作。
所述的注意力模块的拓扑结构如图6所示，具体为：将解码器特征图和编码器特征图均分别依次经卷积、批量标准化处理后的结果进行相加处理获得融合特征，将融合特征依次经修正线性函数、卷积、批量标准化、生长函数后的结果再和编码器特征图进行相乘获得注意力模块的输出。
所述的交叉特征融合模块具体包括：输入的解码器特征图依次经卷积模块、全局平池化后的结果再与输入的组合特征图经全局平池化后的结果进行拼接获得中间拼接特征图，一方面中间拼接特征图再经一个全连接层后和输入的组合特征图进行矩阵相乘获得输出的组合特征图，另一方面中间拼接特征图再经一个全连接层后和输入的解码器特征图进行矩阵相乘获得输出的解码器特征图。
所述的卷积模块主要由1*1卷积、批量标准化、修正线性函数依次连接组成。
所述的第二阶段循环残差卷积神经网络模型D2预先采用以下方式进行训练：采集不同人的正位人脸图像，标注眼睑轮廓和角膜轮廓，裁剪正位人脸图像获得双眼图像区域，将双眼图像区域缩放大小至固定像素大小，具体可以缩放至256×256像素，将所有双眼图像区域及其对应的眼睑轮廓和角膜轮廓作为训练数据输入第二阶段循环残差卷积神经网络模型D2进行训练，眼睑轮廓和角膜轮廓作为标签。
所述的六条眼外肌功能的像素距离按照以下方式处理获得：
由眼睑掩膜和角膜掩膜分别对眼位照中的各张照片提取获得眼睑区域和角膜区域，眼睑区域包含了上、下眼睑区域；然后以角膜区域中最靠近颞侧的像素点作为角膜外缘，以角膜区域中最靠近鼻侧的像素点作为角膜内缘，以上、下眼睑区域之间在靠近鼻侧的交点作为内眦角；
将眼位照的眼球正位照片中角膜外缘至内眦角的距离减去眼位照的眼球内收位照片中角膜外缘至内眦角的距离，获得的差值作为内直肌功能用角膜外缘向内移动的距离L1；
将眼位照的眼球外展位照片中角膜内缘至内眦角的距离减去眼位照的眼球正位照片中角膜内缘至内眦角的距离，获得的差值作为外直肌功能用角膜内缘向外移动的距离L2；
在眼位照的颞上转眼位照片中，作颞上45°方向的各条直线，取各条直线分别和角膜区域、上眼睑区域的交点像素点分别作为角膜缘、上睑缘，其中取各条直线下的角膜缘和上睑缘之间的距离中的最大值作为上直肌功能用颞上转眼位的角膜缘-眼睑距离L3；
所述的颞上45°方向是朝向颞、且沿上方斜45°的方向。
在眼位照的鼻上转眼位照片中，作鼻上45°方向的各条直线，取各条直线分别和角膜区域、上眼睑区域的交点像素点分别作为角膜缘、上睑缘，其中取各条直线下的角膜缘和上睑缘之间的距离中的最大值作为下斜肌功能用鼻上转眼的角膜缘-眼睑距离L4；
在眼位照的颞下转眼位照片中，作颞上45°方向的各条直线，取各条直线分别和角膜区域、下眼睑区域的交点像素点分别作为角膜缘、下睑缘，其中取各条直线下的角膜缘和上睑缘之间的距离中的最大值作为下直肌功能用颞下转眼的角膜缘-眼睑距离L5；
在眼位照的鼻下转眼位照片中，作鼻下45°方向的各条直线，取各条直线分别和角膜区域、下眼睑区域的交点像素点分别作为角膜缘、下睑缘，其中取各条直线下的角膜缘和下睑缘之间的距离中的最大值作为上斜肌功能用鼻下转眼的角膜缘-眼睑距离L6。
从而通过两点间距离实现测量眼球运动，即六条眼外肌功能。
本发明以一种计算机图像处理的方式获得了眼球运动的检测结果，避免了现有人工测量方法的主观性和误差。
本发明通过单个眼位照上的角膜缘-眼睑距离评估垂直直肌和斜肌功能，不需要将两个眼位照进行匹配测量角膜缘移动的距离，避免了图像匹配的额外处理，直接通过角膜缘-眼睑距离的有效测量获得了垂直直肌和斜肌功能的检测结果。
运用上述技术方案，使得本发明与现有技术相比有以下优势：
本发明以简易的方式获取眼位照，可以仅通过照片测量六条眼外肌功能，识别准确性高。本发明采用循环残差卷积神经网络R2U-Net，在U-net基础上增加了循环与残差网络，加深网络结构并避免梯度消失；同时模型中增加了注意力机制，让模型知道图像中不同局部信息的重要性，学习更有用的信息。本发明技术性能稳定，不受年龄和肤色限制，可以对不同亮度、对比度和饱和度的人脸照片进行准确识别并检测。同时解决了以往面部图像不全则无法识别眼部的难点，无论拍摄远近和角度都能识别眼睛位置，并且整个识别过程可以在3-5秒内完成。本发明的计算机测量结果与临床实际测量结果具有高度一致性，可用于眼肌相关疾病的诊疗。通过自动化检测眼睑轮廓和角膜轮廓，可以进一步测量更多参数，有望应用于更多眼部疾病的诊疗。由于图像资料存储和传输的简易性，本发明可以用于体检筛查、远程医疗等领域，有利于节约及优化医疗资源。本发明技术设备需求低，整套算法可以在家用电脑及笔记本上运行。
附图说明
附图1为本发明方法中眼球运动测量的表达示意图。以右眼为例，内直肌功能用D1－D2表示；外直肌功能用D4－D3表示；上直肌功能用D5表示；下斜肌功能用D6表示；下直肌功能用D7表示；上斜肌功能用D8表示。
附图2为本发明方法实施例的示意图。
附图3为本发明采用的循环残差卷积神经网络结构。
附图4为本发明采用的循环残差卷积神经网络模型中交叉特征融合模块的示意图。
附图5为本方法采用的循环残差卷积神经网络结构中循环卷积模块的示意图。
附图6为本方法采用的循环残差卷积神经网络结构中注意力模块的示意图。
附图7为绘制414只眼的六条眼外肌功能的计算机测量值和人工测量值的散点图。
具体实施方式
下面结合实施例对本发明做进一步说明。
本发明实施例及其实施过程如下：
步骤1：收集2020年11月至2021年4月期间到访某医院眼科中心的207例正常人(414只眼)的眼位照。
被试包括88例男性和119例女性，年龄在5岁至60岁之间，平均年龄为23.2±12.9岁。被试额部粘贴一圆形标记物(红色，直径为10mm)。在相同照明条件下，采用佳能1500D相机拍摄正常人向九个眼位注视时的照片(分辨率为6000×4000像素)：包括第一眼位(正视前方)，第二眼位(水平向左或向右注视，垂直向上或向下注视)，以及第三眼位(右上、左上、右下、左下方向注视)。眼位照如附图1所示。
根据眼外肌功能亢进与不足程度的测量方法，被试双眼的眼球运动标准预先由使用标尺直接进行测量。如附图1所示，以右眼为例，内直肌功能用D1－D2表示；外直肌功能用D4－D3表示；上直肌功能用D5表示；下斜肌功能用D6表示；下直肌功能用D7表示；上斜肌功能用D8表示。
步骤2：基于人脸属性数据集(CelebFaces Attributes Dataset)中的30000张人脸图像，构建第一阶段循环残差卷积神经网络模型D1，用于得到眼位照中双眼的二值掩膜。通过掩膜可以得到眼睛的位置坐标。
循环残差卷积神经网络模型D1的网络参数：epoch＝200；batch size＝4；inputimage size＝512×512pixels；logistic loss function：BCE loss；optimizer：Adam[lr＝0.00001]。通过数据部分制作随机缩放过的图片，使眼睛区域在图片中的位置和大小随机。通过使用缩放、旋转、对称、增加图片噪音等方法进行数据增强，增加网络的稳定性和性能。
步骤3：针对该眼科中心数据库中1862例正常志愿者的正位人脸图像，医生手动标注眼睑轮廓和角膜轮廓。裁剪双眼区域的图像共3724张，并缩放图片大小至256×256像素，以此作为训练数据，构建第二阶段循环残差卷积神经网络模型D2，用于检测眼睑轮廓和角膜轮廓。
循环残差卷积神经网络模型D2的网络参数：epoch＝200；batch size＝4；inputimage size＝256×256pixels；logistic loss function：L1 loss；optimizer：Adam[lr＝0.00001]。通过使用缩放、旋转、对称、增加图片噪音等方法进行数据增强，增加网络的稳定性和性能。
步骤4：采集获得众多被试者的眼位照I原图，输入上述步骤2训练的第一阶段循环残差卷积神经网络模型D1检测获得二值掩膜，再由二值掩膜对眼位照I原图进行提取处理获得双眼的位置坐标，继而获得双眼的瞳孔中心坐标(X1,Y1)和(X2,Y2)，以双眼的瞳孔中心坐标之间的中点为中心旋转眼位照I原图，使得双眼处在同一水平面上，得到旋转后眼位照I旋转。
步骤5：针对旋转后眼位照I旋转，再次输入上述步骤2训练的第一阶段循环残差卷积神经网络模型D1检测，获得二值掩膜，再由二值掩膜对旋转后眼位照I旋转行提取裁剪获得左眼检测区域图片和右眼检测区域图片，将左、右眼检测区域图片缩放大小至固定像素大小，具体缩放至256×256像素，再分别输入第二阶段循环残差卷积神经网络模型D2检测获得双眼各自的眼睑掩膜和角膜掩膜，最后将眼睑掩膜和角膜掩膜恢复至原始裁剪前的尺寸。
步骤6：使用自适应阈值法，针对旋转后眼位照I旋转，根据中值色彩阈值采用自适应机制过滤掉额头标记之外的颜色，得到旋转后眼位照I旋转中额头上的圆形标记的二值掩码，测量二值掩码的横向宽度和纵向宽度；再结合圆形标记的实际横向宽度和实际纵向宽度以及二值掩码的横向宽度和纵向宽度，该标记实际直径为10mm，换算得到旋转后眼位照I旋转中的比例尺，即每一像素的实际宽度和实际长度。
步骤7：对每个被试的所有眼位照重复步骤4至步骤6，且采用小部分数据进行初训练，再循环半监督训练，得到所有眼位照的眼睑掩膜和角膜掩膜，从而测量眼球运动。
以右眼为例(附图1)，在识别眼睑轮廓和角膜轮廓的基础上，通过算法自动测量D1至D8八个指标的像素长度。内直肌功能用D1–D2表示；外直肌功能用D4–D3表示；上直肌功能用D5表示；下斜肌功能用D6表示；下直肌功能用D7表示；上斜肌功能用D8表示。
步骤8：通过步骤6得到的比例尺，对D1至D8八个指标的像素长度进行换算，得到它们的实际长度，继而得到六条眼外肌功能的实际值(mm)。
步骤9：使用Dice系数评估计算机自动分割眼睑轮廓和角膜轮廓的准确性，Dice眼睑＝0.947，Dice角膜＝0.952，提示分割准确性较高。绘制414只眼的六条眼外肌功能的计算机测量值和人工测量值的散点图，如图7所示，图中A：上直肌；B：下斜肌；C：外直肌；D：内直肌；E：下直肌；F：上斜肌。
根据414只眼的六条眼外肌功能的计算机测量值和人工测量值，计算两种测量方法的Pearson相关系数(r)以及组内相关系数(ICC)，同时采用Bland-Altman分析绘制六条眼外肌功能的计算机测量值和人工测量值的差值(Bias)对均值图，根据差值计算一致性界限(LoA)。统计结果见下表。
表 六条眼外肌功能的计算机测量值和人工测量值一致性分析
Figure GDA0003676874830000081
注：a，b平均值±标准差(mm)；***P<0.001
由上述实施对比数据可见，使用该技术方案测量眼球运动，与经验丰富的临床医生测量相比较，结果具有高度一致性。
由此实施可见，本发明采用循环残差卷积神经网络模型，在模型中增加了注意力机制，可以准确地对人脸照片进行识别并检测。本发明技术性能稳定，不受肤色和拍摄条件的限制，自动测量眼球运动的结果与人工实际测量结果具有高度一致性，以计算机辅助图像处理方式避免了人工测量的误差，可用于眼肌相关疾病的辅助诊疗。通过自动化检测眼睑轮廓和角膜轮廓，可以进一步测量更多参数，有望可以应用于更多眼部疾病的诊疗。由于图像资料存储和传输的简易性，本发明可以用于体检筛查、远程医疗等领域，有利于节约及优化医疗资源。

Claims (5)

1.一种基于循环残差卷积神经网络的眼球运动分割定位方法，其特征在于：
步骤1：构建第一阶段循环残差卷积神经网络模型D1，将人脸属性数据集的人脸图像输入第一阶段循环残差卷积神经网络模型D1中，得到人脸图像中双眼的二值掩膜；
步骤2：构建用于检测眼睑轮廓和角膜轮廓的第二阶段循环残差卷积神经网络模型D2；
步骤3：采集获得被试者的眼位照I原图，输入第一阶段循环残差卷积神经网络模型D1检测获得二值掩膜，再由二值掩膜对眼位照I原图进行提取处理获得双眼的位置坐标，继而获得双眼的瞳孔中心坐标(X1,Y1)和(X2,Y2)，以双眼的瞳孔中心坐标之间的中点为中心旋转眼位照I原图，使得双眼处在同一水平面上，得到旋转后眼位照I旋转；
步骤4：针对旋转后眼位照I旋转，再次输入第一阶段循环残差卷积神经网络模型D1检测，获得二值掩膜，再由二值掩膜对旋转后眼位照I旋转行提取裁剪获得左眼检测区域图片和右眼检测区域图片，将左、右眼检测区域图片缩放大小至固定像素大小，再分别输入第二阶段循环残差卷积神经网络模型D2检测获得双眼各自的眼睑掩膜和角膜掩膜，最后将眼睑掩膜和角膜掩膜恢复至原始裁剪前的尺寸；
步骤5：针对旋转后眼位照I旋转，根据中值色彩阈值采用自适应机制过滤掉额头标记之外的颜色，得到旋转后眼位照I旋转中额头上的圆形标记的二值掩码，测量二值掩码的横向宽度和纵向宽度；再结合圆形标记的实际横向宽度和实际纵向宽度以及二值掩码的横向宽度和纵向宽度，换算得到旋转后眼位照I旋转中的比例尺；
步骤6：对所有被试者的眼位照重复步骤3至步骤5，得到所有眼位照各自的眼睑掩膜和角膜掩膜以及比例尺；
再由眼睑掩膜和角膜掩膜，对眼位照进行图像处理测量眼球运动，获得六条眼外肌功能的像素距离，再根据比例尺对六条眼外肌功能的像素值进行换算得到六条眼外肌功能的实际尺寸值；
所述的六条眼外肌功能的像素距离按照以下方式处理获得：
由眼睑掩膜和角膜掩膜分别对眼位照中的各张照片提取获得眼睑区域和角膜区域，眼睑区域包含了上、下眼睑区域；然后以角膜区域中最靠近颞侧的像素点作为角膜外缘，以角膜区域中最靠近鼻侧的像素点作为角膜内缘，以上、下眼睑区域之间在靠近鼻侧的交点作为内眦角；
将眼位照的眼球正位照片中角膜外缘至内眦角的距离减去眼位照的眼球内收位照片中角膜外缘至内眦角的距离，获得的差值作为内直肌功能用角膜外缘向内移动的距离L1；
将眼位照的眼球外展位照片中角膜内缘至内眦角的距离减去眼位照的眼球正位照片中角膜内缘至内眦角的距离，获得的差值作为外直肌功能用角膜内缘向外移动的距离L2；
在眼位照的颞上转眼位照片中，作颞上45°方向的各条直线，取各条直线分别和角膜区域、上眼睑区域的交点像素点分别作为角膜缘、上睑缘，其中取各条直线下的角膜缘和上睑缘之间的距离中的最大值作为上直肌功能用颞上转眼位的角膜缘-眼睑距离L3；
在眼位照的鼻上转眼位照片中，作鼻上45°方向的各条直线，取各条直线分别和角膜区域、上眼睑区域的交点像素点分别作为角膜缘、上睑缘，其中取各条直线下的角膜缘和上睑缘之间的距离中的最大值作为下斜肌功能用鼻上转眼的角膜缘-眼睑距离L4；
在眼位照的颞下转眼位照片中，作颞上45°方向的各条直线，取各条直线分别和角膜区域、下眼睑区域的交点像素点分别作为角膜缘、下睑缘，其中取各条直线下的角膜缘和上睑缘之间的距离中的最大值作为下直肌功能用颞下转眼的角膜缘-眼睑距离L5；
在眼位照的鼻下转眼位照片中，作鼻下45°方向的各条直线，取各条直线分别和角膜区域、下眼睑区域的交点像素点分别作为角膜缘、下睑缘，其中取各条直线下的角膜缘和下睑缘之间的距离中的最大值作为上斜肌功能用鼻下转眼的角膜缘-眼睑距离L6。
2.根据权利要求1所述的一种基于循环残差卷积神经网络的眼球运动分割定位方法，其特征在于：所述的眼位照中，在人脸额部上粘贴有圆形标记。
3.根据权利要求1所述的一种基于循环残差卷积神经网络的眼球运动分割定位方法，其特征在于：所述的第一阶段循环残差卷积神经网络模型D1和第二阶段循环残差卷积神经网络模型D2拓扑结构相同，均具体包括五个连续的循环卷积模块、四个注意力模块、三个交叉特征融合模块、一个结果输出模块；
输入图像经五个循环卷积模块和四个最大池化操作处理，每相邻两个循环卷积模块之间均设置进行最大池化操作；
将第五个循环卷积模块的输出经一个采样卷积操作后的结果和将第四个循环卷积模块的输出结果共同输入到第四个注意力模块中，将第五个循环卷积模块的输出经一个采样卷积操作后的结果和将第四个注意力模块的输出结果拼接获得第四组合特征图，将第五个循环卷积模块的输出经一个采样卷积操作后的结果作为第四解码器特征图，再将第四解码器特征图和第四组合特征图共同输入到第三个交叉特征融合模块中处；
第四组合特征图经一个采样卷积操作后的结果和第三个循环卷积模块的输出共同输入到第三个注意力模块中，将第三个交叉特征融合模块的输出经一个采样卷积操作后的结果和将第三个注意力模块的输出结果拼接获得第三组合特征图，将第三个交叉特征融合模块的输出经一个采样卷积操作后的结果作为第三解码器特征图，再将第三解码器特征图和第三组合特征图共同输入到第二个交叉特征融合模块中处理；
第三组合特征图经一个采样卷积操作后的结果和第二个循环卷积模块的输出结果共同输入到第二个注意力模块中，将第二个交叉特征融合模块的输出经一个采样卷积操作后的结果和将第二个注意力模块的输出结果拼接获得第二组合特征图，将第二个交叉特征融合模块的输出经一个采样卷积操作后的结果作为第二解码器特征图，再将第二解码器特征图和第二组合特征图共同输入到第一个交叉特征融合模块中处理；
第二组合特征图经一个采样卷积操作后的结果和第一个循环卷积模块的输出经跳过连接后的结果共同输入到第一个注意力模块中，将第一个交叉特征融合模块的输出经一个采样卷积操作后的结果和将第一个注意力模块的输出结果拼接获得第一组合特征图，将第一个交叉特征融合模块的输出经一个采样卷积操作后的结果作为第一解码器特征图，再将第一解码器特征图和第一组合特征图经拼接共同输入到结果输出模块中处理；
所述的结果输出模块采用1x1的卷积操作处理，最终由结果输出模块的输出作为循环残差卷积神经网络模型的输出。
4.根据权利要求3所述的一种基于循环残差卷积神经网络的眼球运动分割定位方法，其特征在于：所述的交叉特征融合模块具体包括：输入的解码器特征图依次经卷积模块、全局平池化后的结果再与输入的组合特征图经全局平池化后的结果进行拼接获得中间拼接特征图，一方面中间拼接特征图再经一个全连接层后和输入的组合特征图进行相乘获得输出的组合特征图，另一方面中间拼接特征图再经一个全连接层后和输入的解码器特征图进行相乘获得输出的解码器特征图。
5.根据权利要求1所述的一种基于循环残差卷积神经网络的眼球运动分割定位方法，其特征在于：所述的第二阶段循环残差卷积神经网络模型D2预先采用以下方式进行训练：采集正位人脸图像，标注眼睑轮廓和角膜轮廓，裁剪正位人脸图像获得双眼图像区域，将双眼图像区域缩放大小至固定像素大小，将所有双眼图像区域及其对应的眼睑轮廓和角膜轮廓作为训练数据输入第二阶段循环残差卷积神经网络模型D2进行训练。
CN202210220173.9A 2022-03-08 2022-03-08 一种基于循环残差卷积神经网络的眼球运动分割定位方法 Active CN114694236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210220173.9A CN114694236B (zh) 2022-03-08 2022-03-08 一种基于循环残差卷积神经网络的眼球运动分割定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210220173.9A CN114694236B (zh) 2022-03-08 2022-03-08 一种基于循环残差卷积神经网络的眼球运动分割定位方法

Publications (2)

Publication Number Publication Date
CN114694236A CN114694236A (zh) 2022-07-01
CN114694236B true CN114694236B (zh) 2023-03-24

Family

ID=82137635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210220173.9A Active CN114694236B (zh) 2022-03-08 2022-03-08 一种基于循环残差卷积神经网络的眼球运动分割定位方法

Country Status (1)

Country Link
CN (1) CN114694236B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115886717B (zh) * 2022-08-18 2023-09-29 上海佰翊医疗科技有限公司 一种眼裂宽度的测量方法、装置和存储介质
CN115909470B (zh) * 2022-11-24 2023-07-07 浙江大学 基于深度学习的全自动眼睑疾病术后外观预测系统和方法
CN115762787B (zh) * 2022-11-24 2023-07-07 浙江大学 一种眼睑疾病手术疗效评估方法和系统
CN116725563B (zh) * 2023-01-13 2024-02-09 深圳市眼科医院(深圳市眼病防治研究所) 眼球突出度测量装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020042345A1 (zh) * 2018-08-28 2020-03-05 初速度（苏州）科技有限公司 一种单相机采集人眼视线方向的方法及系统
CN112686855A (zh) * 2020-12-28 2021-04-20 博奥生物集团有限公司 一种眼象与症状信息的信息关联方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665447B (zh) * 2018-04-20 2021-07-30 浙江大学 一种基于眼底照相深度学习的青光眼图像检测方法
CN111667490B (zh) * 2020-05-07 2023-06-30 清华大学深圳国际研究生院 一种眼底图片视杯视盘分割方法
CN112837805B (zh) * 2021-01-12 2024-03-29 浙江大学 基于深度学习的眼睑拓扑形态特征的提取方法
CN113486709B (zh) * 2021-05-26 2022-05-27 南京泛智信息技术有限公司 一种基于虚拟现实多源深度交互的智慧教育平台及方法
CN113378794A (zh) * 2021-07-09 2021-09-10 博奥生物集团有限公司 一种眼象与症状信息的信息关联方法
CN113706542A (zh) * 2021-07-14 2021-11-26 温州医科大学附属眼视光医院 基于卷积神经网络及混合损失函数的眼球分割方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020042345A1 (zh) * 2018-08-28 2020-03-05 初速度（苏州）科技有限公司 一种单相机采集人眼视线方向的方法及系统
CN112686855A (zh) * 2020-12-28 2021-04-20 博奥生物集团有限公司 一种眼象与症状信息的信息关联方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Deep learning-based image analysis for automated measurement of eyelid morphology before and after blepharoptosis surgery;Lixia Lou et al.;《Annals of Medicine 》;20211130;第53卷(第1期);2278-2285 *

Also Published As

Publication number Publication date
CN114694236A (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
CN114694236B (zh) 一种基于循环残差卷积神经网络的眼球运动分割定位方法
US11645748B2 (en) Three-dimensional automatic location system for epileptogenic focus based on deep learning
CN113768461B (zh) 一种眼底图像分析方法、系统和电子设备
WO2020211530A1 (zh) 用于检测眼底图片的模型训练方法和装置、眼底图片的检测方法和装置、计算机设备和介质
CN114612389B (zh) 基于多源多尺度特征融合的眼底图像质量评价方法和装置
CN112233087A (zh) 一种基于人工智能的眼科超声疾病诊断方法和系统
CN112837805A (zh) 基于深度学习的眼睑拓扑形态特征的提取方法
Ye et al. Medical image diagnosis of prostate tumor based on PSP-Net+ VGG16 deep learning network
CN112869697A (zh) 同时识别糖尿病视网膜病变的分期和病变特征的判断方法
CN115512110A (zh) 一种涉及跨模态注意力机制的医学图像肿瘤分割方法
Williams et al. Automatic extraction of hiatal dimensions in 3-D transperineal pelvic ultrasound recordings
CN113053517B (zh) 一种基于动态区域量化指标的面瘫级别评估方法
CN106446805A (zh) 一种眼底照中视杯的分割方法及系统
Miao et al. Classification of Diabetic Retinopathy Based on Multiscale Hybrid Attention Mechanism and Residual Algorithm
CN116543455A (zh) 建立帕金森症步态受损评估模型、使用方法、设备及介质
CN116258726A (zh) 基于深度学习的颞下颌关节mri图像重要结构分割方法
CN115762787A (zh) 基于眼睑拓扑形态分析的眼睑疾病手术疗效评估方法和系统
CN114400086A (zh) 一种基于深度学习的关节盘前移辅助诊断系统和方法
Kumari et al. Automated process for retinal image segmentation and classification via deep learning based cnn model
CN115909470B (zh) 基于深度学习的全自动眼睑疾病术后外观预测系统和方法
Shanthakumari et al. Glaucoma Detection using Fundus Images using Deep Learning
Doan et al. Implementation of complete glaucoma diagnostic system using machine learning and retinal fundus image processing
Zhong et al. CeCNN: Copula-enhanced convolutional neural networks in joint prediction of refraction error and axial length based on ultra-widefield fundus images
Girard et al. Statistical atlas-based descriptor for an early detection of optic disc abnormalities
Hussein et al. Convolutional Neural Network in Classifying Three Stages of Age-Related Macula Degeneration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant