CN115908237A - 一种眼裂宽度的测量方法、装置和存储介质 - Google Patents
一种眼裂宽度的测量方法、装置和存储介质 Download PDFInfo
- Publication number
- CN115908237A CN115908237A CN202210989506.4A CN202210989506A CN115908237A CN 115908237 A CN115908237 A CN 115908237A CN 202210989506 A CN202210989506 A CN 202210989506A CN 115908237 A CN115908237 A CN 115908237A
- Authority
- CN
- China
- Prior art keywords
- eye
- width
- pupil
- loss
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 210000001508 eye Anatomy 0.000 claims abstract description 98
- 210000001747 pupil Anatomy 0.000 claims abstract description 46
- 210000003786 sclera Anatomy 0.000 claims abstract description 30
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 24
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 13
- 210000003128 head Anatomy 0.000 claims abstract 3
- 238000003062 neural network model Methods 0.000 claims description 30
- 230000009467 reduction Effects 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 9
- 239000002131 composite material Substances 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000008447 perception Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 4
- 238000005215 recombination Methods 0.000 claims 1
- 230000006798 recombination Effects 0.000 claims 1
- 230000004913 activation Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 238000010606 normalization Methods 0.000 description 7
- 238000011176 pooling Methods 0.000 description 7
- 210000000744 eyelid Anatomy 0.000 description 6
- 206010015997 Eyelid retraction Diseases 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 208000003084 Graves Ophthalmopathy Diseases 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 2
- 241001504424 Zosteropidae Species 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010064996 Ulcerative keratitis Diseases 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000000554 iris Anatomy 0.000 description 1
- 206010023365 keratopathy Diseases 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 210000004279 orbit Anatomy 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 210000001685 thyroid gland Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本申请涉及一种眼裂宽度的测量方法、装置和存储介质，所述方法包括：在眼球前方位置拍摄获取在700‑1200nm的近红外光光场中用户平视前方的第一眼位图；采用神经网络的训练方式从所述第一眼位图中分割出背景、虹膜、巩膜、瞳孔；从分割出的瞳孔中提取瞳孔中心，并得到竖直方向的瞳孔中心线；求出所述瞳孔中心线上巩膜、虹膜或瞳孔与背景的交点之间的距离，利用所述距离计算眼裂宽度。
Description
技术领域
本发明涉及眼部检测技术领域，具体涉及一种眼裂宽度的测量方法、装置和存储介质。
背景技术
眼裂又称睑裂，眼裂宽度是指经过瞳孔的上下眼睑之间的距离。在临床上，眼睑退缩包括上眼睑和下眼睑的退缩，是甲状腺相关眼病(Thyroid-associatedophthalmopathy,TAO)常见的临床病症，也是临床诊断的重要指标。眼睑退缩不仅可能使患者造成难以接受的面容损毁，而且会导致视力威胁的暴露性角膜病变，如角膜溃疡。因此针对眼睑退缩的测量对于临床诊断是至关重要的，可以通过测量眼裂宽度反应眼睑退缩的程度。
目前，临床上通常采用毫米尺来检测眼裂宽度，但是，该方法在测量时，由于读数不精确且受操作者水平和习惯的影响，测量数据容易造成误差。而在TAO患者的诊断与评估上，2mm的浮动往往预示着患者病情的变化，因此在测量精度上往往要求较高，而上述测量方法会造成患者的漏诊、误诊，耽误患者的病情进程。
此外，现有技术中也有采用自动测量方式判断眼睑是否退缩的方案。如中国专利“甲状腺相关眼病的眼部体征识别方法及设备”(申请号：202010803761.6，公开日：2020年10月30日)所述，通过图像识别和神经网络训练识别出角膜和巩膜，再通过角膜和巩膜的图像判别上眼睑和角膜区域上缘是否暴露巩膜区域，从而确定是否存在眼睑退缩。但是，该方式对于三白眼的人或者因为近视导致眼球突出而露眼白的人会造成误判。如中国专利“基于图像处理的眨眼次数分析方法和系统”(申请号：201910939612.X，公开日：2020年02月04日)所述，通过拍摄的人眼图像确定虹膜轮廓和巩膜轮廓，通过虹膜轮廓和巩膜轮廓确定眼裂边界，通过人眼眼裂的上边界点的坐标和下边节点的坐标之差计算眼裂高度。但是，眼裂高度的定义为通过瞳孔中心线的上下眼睑之间的距离，上述方式确定出的眼裂高度可能为眼裂的斜向距离。
虽然也有现有技术采用神经网络模型训练方法分割眼部图像，但是其训练模型较为陈旧，训练过程费事长、占用内存空间大，因此，有必要对现有技术进行进一步的改进。
发明内容
为了克服现有技术中测量眼裂宽度精度的不足，本申请提出了一种眼裂宽度的测量方法。
为了实现上述目的，本申请采用以下技术方案：
一方面，提供了一种眼裂宽度的测量方法，所述方法包括：
在眼球前方位置拍摄获取在700-1200nm的近红外光光场中用户平视前方的第一眼位图；
采用神经网络的训练方式从所述第一眼位图中分割出背景、虹膜、巩膜、瞳孔；
从分割出的瞳孔中提取瞳孔中心，并得到竖直方向的瞳孔中心线；
求出所述瞳孔中心线上巩膜、虹膜或瞳孔与背景的交点之间的距离，利用所述距离计算眼裂宽度。
进一步地，所述瞳孔中心为从第一眼位图中分割出所有瞳孔像素的X、Y坐标的平均值，取X坐标的平均值划垂直线获取瞳孔中心线。
进一步地，所述采用神经网络的训练方式从所述第一眼位图中分割出背景、虹膜、巩膜、瞳孔，包括：神经网络模型采用UNet和DenseNet神经网络模型的组合，神经网络模型将所述第一眼位图作为输入，采用Unet神经网络模型对所述输入进行降维和升维，并将降维区块的输出通过跳过连接传输到对应的升维区块，每一个降维区块采用DenseNet神经网络模型进行特征提取，每一个升维模块采用DenseNet神经网络模型进行上采样。
进一步地，该眼裂宽度的测量方法还包括：采用损失函数验证神经网络的训练效果，所述损失函数为复合损失，由焦点损失、广义骰子损失、表面损失、边界感知损失组成。
所述损失函数为复合损失，计算方法为：
复合损失＝a_1×表面损失+a_2×焦点损失+a_3×广义骰子损失+a_4×边界感知损失×焦点损失
其中，所述a1、a2、a3、a4为超参数，所述a1与训练过程期间的历时数有关，所述a2＝1，所述a3＝1-a1，所述a4＝20。
进一步地，所述眼裂宽度为：眼裂宽度(B)＝眼裂宽度的像素距离(A)×单像素宽长×眼裂到相机镜头的距离(D)÷相机感光片到相机镜头的距离(C)
其中，眼裂宽度的像素距离(A)为所述瞳孔中心线上巩膜、虹膜或瞳孔与背景的交点之间的距离。
具体地，眼裂到相机镜头的距离为：眼裂到相机镜头的距离(D)＝眼角卡点到相机镜头的距离(1)-眼球突出度(2)。
进一步地，所述眼球突出度(2)取正常人眼球突出度的平均值。
一方面，本申请提供了一种眼裂宽度的测量装置，包括：
图像获取模块，用于在眼球前方位置拍摄获取在700-1200nm的近红外光光场中用户平视前方的第一眼位图；
图像分割模块，采用神经网络的训练方式从所述第一眼位图中分割出背景、虹膜、巩膜、瞳孔；
特征提取模块，用于从分割出的瞳孔中提取瞳孔中心，并得到竖直方向的瞳孔中心线；
计算模块，用于计算所述瞳孔中心线上的巩膜、虹膜或瞳孔与背景的交点之间的距离，并利用所述距离计算眼裂宽度。
一方面，本申请提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现该眼裂宽度的测量方法。
本申请的技术方案相较于现有技术，至少具有如下有益效果：
1.在近红外光光场中拍摄眼部图像，可以有效地区分虹膜、瞳孔、巩膜、背景、泪阜，从而为后续的神经网络训练提供更为直观和易于识别的图像。
2.本申请采用UNet和DenseNet神经网络模型的组合形式进行神经网络训练，既利用了UNet神经网络模型结构简单、稳定，被广泛应用于医学图像处理的优点，又在UNet神经网络模型的每一个降维区块和升维区块应用了DenseNet神经网络模型，在每一个降维区块和升维区块通过skip connection操作进行特征重用，从而提升特征提取效果；且本申请中所采用的DenseNet神经网络模型对现有的DenseNet神经网络模型进行了简化，避免了传统的DenseNet神经网络模型在每一层都需要与前面的所有层相关联，从而带来的计算过慢的问题。
3.通过神经网络模型准确识别出虹膜、瞳孔、巩膜、背景、泪阜，从而能够识别出瞳孔中心线上巩膜、虹膜或瞳孔与背景的交点，两个交点之间的距离即为眼裂宽度的像素距离，通过几何计算可以得到眼裂宽度的距离。
附图说明
图1为眼裂宽度的测量方法的流程图；
图2为采用的神经网络模型的结构图；
图3为降维区块的处理流程图；
图4为升维区块的处理流程图；
图5为眼裂宽度的计算原理图；
图6为眼裂宽度的测量装置的结构示意图。
具体实施方式
下面结合附图和实施例，对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
本申请基于神经网络模型训练的思想，对所拍摄的眼部图片进行特征提取，从而寻找出瞳孔中心，并进一步得到瞳孔中心线，根据瞳孔中心线与眼眶的交点定位出眼裂宽度的像素距离，并通过成像原理进一步计算出眼裂宽度。以下通过具体实施例进一步解释本申请的构思。
一方面，如图1所示眼裂宽度的测量方法包括如下步骤：
步骤S1：在眼球前方位置拍摄获取在700-1200nm的近红外光光场中用户平视前方的第一眼位图。
在上述步骤1中，由于在700-1200nm的近红外光光场中拍摄眼部图像，在正常可见光的波段400-700nm中，眼睛不同部分，即瞳孔、虹膜、巩膜的颜色对成像几乎不起作用，由于虹膜与巩膜接触部分的角膜缘的渐变式结构，导致无法准确地识别眼球的球心。人类黑色素色素的吸收峰值发生在335nm左右，而对于波长超过700nm的波段几乎完全不吸收，而虹膜的反射率在波长超过700nm的近红外线波段内是相当稳定的，因此，采用近红外光光场，可以很好地区分巩膜、虹膜、瞳孔边界，从而可以更好地提升算法的准确性与稳定性。
步骤S2：采用神经网络的训练方式从所述第一眼位图中分割出背景、虹膜、巩膜、瞳孔。
在上述步骤S2中，神经网络模型采用UNet和DenseNet神经网络模型的组合，神经网络模型将所述第一眼位图作为输入，采用Unet神经网络模型对所述输入进行降维和升维，并将降维区块的输出通过跳过连接传输到对应的升维区块，每一个降维区块采用DenseNet神经网络模型进行特征提取，每一个升维模块采用DenseNet神经网络模型进行上采样。
本申请中所采用的神经网络的架构是UNet和DenseNet的组合，基于Pytorch框架实现。神经网络的整体结构是一个U形，如图2所示，总共有5个降维区块，从降维区块1到降维区块5，以及4个升维区块，从升维区块1到升维区块4。
神经网络接收一个输入图像并将其传递给降维区块1到降维区块5。除降维区块1之外，每个降维区块都由一个最大池化层连接，该层将维度减少一半。然后，降维区块5将输出传递给升维区块1到升维区块4。从升维区块4开始，输出将被传递到最后的卷积。跳过连接被列举如下：降维区块1连接到升维区块4；降维区连接到升维区块3；降维区块3连接到升维区块2；降维区块4连接到升维区块1。
UNet提供了一个深度卷积结构，首先将输入维度降低到一定程度，然后再将输入撞回原始大小，同时，UNet通过跳过连接实现了降维区块向相应的升维区块的信息传递，早期层的输出应作为输入传递给后面的层，这可以防止深度神经网络内部的信息损失，并允许最大限度地学习。另一方面，DenseNet更像是一个概念，而不是一个固定的结构，本申请中对DenseNet的关注是具体的跳过连接skip connection技术，在本申请中提出了一个经过优化的缩小版本，每一个升维区块和降维区块在进行skip connection操作时无需像传统DenseNet网络模型的每一层那样将之前所有层的输出作为输入，而是进行1-2次跳过连接操作，这可以防止网络的速度过慢。
为了解释神经网络的训练过程，引入以下概念：
最大池化(Max Pooling)：最大池化是一种池化操作，计算每个特征图的每个补丁中的最大值。其结果是向下采样或汇集的特征图，突出了补丁中最多的特征，而不是平均汇集情况下的特征的平均存在。这个操作对应于torch.nn.MaxPool2d函数，核的大小定义为2×2，这个操作将把输入维度减半。
卷积(Convolution)：卷积是将一个滤波器(也叫内核)简单地应用到一个输入中，从而产生一个激活。对输入重复应用相同的滤波器会产生一个激活图，称为特征图，表明输入中检测到的特征的位置和强度。这个操作对应于torch.nn.Conv2d函数。
相同卷积(Same Convolution)：相同卷积是一种卷积类型，输出矩阵与输入矩阵的维度相同。这个操作对应于torch.nn.Conv2d函数，在本申请的例子中，填充为1×1，核大小为3×3。
有效卷积(Valid Convolution)：有效卷积是一种不在输入上使用任何填充的卷积操作。这种操作对应于torch.nn.Conv2d函数，在本申请的例子中没有填充，内核大小为1×1。
转置卷积(Transposed Convolution)：转置卷积层试图重建卷积层的空间维度，并颠倒应用于它的下采样和上采样技术。这个操作对应于torch.nn.ConvTranspose2d。
批量归一化：批量归一化(也被称为批量规范)是一种方法，通过对层的输入进行重新居中和重新缩放，使人工神经网络更快、更稳定。这个操作对应于BatchNorm2d，num_features为5，这是网络的标签数量。
泄漏RELU(Leaky RELU)：泄漏矫正线性激活函数或简称泄漏RELU是一个片状线性函数，如果输入是正的，它将直接输出，否则，它将输出一个小因子(在本申请的例子中是0.1)与输入的乘积。
具体的升维区块和降维区块的工作过程如下：
降维区块应用了几种卷积运算以及Leaky RELU和skip connection操作，本申请以原始图像的大小为n×n×1维为例进行描述，其中，1维指原始图像仅具有灰度值，具体结构描述如图3所示:
首先，降维区块的原始输入通过一个具有32个滤波器(通道)的相同卷积层(Layer-1)。然后对Layer-1的输出进行Leaky RELU激活(RELU-Layer-1)。其次，RELU-Layer-1与原始输入沿通道维度串联(Skip-Connection-Input-1)，这使得输出的维度为32加上原始输入的维度，这是第一次应用跳过连接操作的情况：原始输入被直接传递到后期卷积阶段。第三，Skip-Connection-Input-1被传递到具有32个滤波器的有效卷积层(Layer-2)，将维数缩减到32维，这通常被称为"瓶颈层"，它缩小了神经网络的通道维度，以确保网络不会变得太慢。第四，Layer-2的输出再次通过一个具有32个过滤器(通道)的相同卷积层(Layer-3)。然后对Layer-3的输出进行泄漏的RELU激活(RELU-Layer-3)。第五，RELU-Layer-3与RELU-Layer-1和原始输入(Skip-Connection-Input-2)相连接，这是第二次应用跳过连接操作的情况。第六，Skip-Connection-Input-2再次通过具有32个滤波器的有效卷积层(Layer-4)，该层再次将维度缩减到32维度。第七，Layer-4的输出再次通过具有32个滤波器(通道)的相同卷积层(Layer-5)。然后对Layer-5的输出施加一个泄漏的RELU激活(RELU-Layer-5)。最后，RELU-Layer-5的结果被传递到一个批量归一化层(batchnormalization)。
此外，在应用任何卷积之前，每个降维区块将对输入应用一个最大池化层，除了第一个区块，因为第一个降维区块的输入是原始图像本身；这就是"降维"实际发生的地方，因为该层将把输入的维度减少一半。升维区块将把维度恢复到原始维度。
升维区块与降维区块大致相同，只是它应用了转置卷积而不是最大池化，而且升维区块还接收来自降维区块的跳过连接。具体结构描述如下，也如图4所示：
首先，升维区块将对输入应用转置卷积(Layer-1)，使输入的维度增加一倍；这就是"升维"的发生。第二，Layer-1的输出将与来自降维区块的跳过连接沿通道维度连接起来(Skip-Connection-Input-1)；这是结构性跳过连接技术的一个实例。第三，Skip-Connection-Input-1通过具有32个滤波器的有效卷积层(Layer-2)，将维度缩减到32维。第四，Layer-2的输出再次通过具有32个滤波器(通道)的相同卷积层(Layer-3)。然后对Layer-3的输出施加一个泄漏的RELU激活(RELU-Layer-3)。第五，RELU-Layer-3与Skip-Connection-Input-1进行跳过连接操作，这使得输出的维度为96(Skip-Connection-Input-2)。第六，Skip-Connection-Input-2再次通过具有32个过滤器的有效卷积层(Layer-4)，再次将维度缩减到32维。第七，Layer-4的输出再次通过具有32个滤波器(通道)的相同卷积层(Layer-5)。然后对Layer-5的输出施加一个泄漏的RELU激活(RELU-Layer-5)。最后，RELU-Layer-5的结果被传递到一个批量归一化层(batch normalization)。
经过升维区块与降维区块，输出将是一个N×N×32维的矩阵，其中N和N是图像的维度。N×N×32维的矩阵将通过5个过滤器(通道)的最终有效卷积，最终的输出是一个N×N×5的矩阵。直观地说，这个矩阵给每个像素分配了5个值，这5个值代表了每个像素应该有的标签的概率。其中，0是背景的标签，1是巩膜的标签，2是虹膜的标签，3是瞳孔的标签，4是泪阜的标签。最终的输出是通过找到每个像素的5个值中的最大值来计算的，并将这些最大值的索引分配给一个N×N的矩阵，这就是最终的输出掩码。
步骤S3：从分割出的瞳孔中提取瞳孔中心，并得到竖直方向的瞳孔中心线。
上述步骤S3中，瞳孔中心为从第一眼位图中分割出所有瞳孔像素的X、Y坐标的平均值，取X坐标的平均值划垂直线可得瞳孔中心线。
步骤S4：求出所述瞳孔中心线上巩膜、虹膜或瞳孔与背景的交点之间的距离，利用所述距离计算眼裂宽度。
如图5所示，所述步骤S4中根据相似三角形原理计算眼裂宽度，计算公式如下：
眼裂宽度B＝眼裂宽度的像素距离A×单像素宽长×眼裂到相机镜头的距离D÷相机感光片到相机镜头的距离C，其中，眼裂宽度的像素距离(A)为所述瞳孔中心线上巩膜、虹膜或瞳孔与背景的交点之间的距离。
进一步地，所述步骤S4中，眼裂到相机镜头的距离D＝眼角卡点到相机镜头的距离1-眼球突出度2。
进一步地，所述眼球突出度2取正常人眼球突出度的平均值。从统计平均学的角度来看，正常人眼球突出度的平均值可以取12-14mm。由于在实际的操作中，眼角卡点到相机镜头的距离1是已知的，相机感光片到相机镜头的距离C也是已知的，眼裂宽度的像素距离A可以从所拍摄的第一眼位图中获取到，单像素宽长也是已知的定值，因此，可以计算出眼裂宽度的值。
在神经网络的训练过程中，为了验证经过神经网络训练最终输出的结果是否正确，还需引入损失函数的定义。损失函数是计算算法的当前输出和预期输出之间的距离的函数，它提供了一个关于模型表现的数字指标。损失函数是神经网络的一个重要组成部分。本申请中设计了一个复合损失函数，由焦点损失、广义骰子损失数、表面损失、边界感知损失组成。
首先需要介绍损失函数计算中参数TP、FP、TN、FN的含义：
TP:True Positive，表示预测结果为正例，实际结果也为正例，即预测正确的正例；
FP:False Positive，表示预测结果为正例，实际结果为负例，即预测错误的正例，没有预测到的负例；
TN:True Negative，表示预测结果为负例，实际结果也为负例，即预测正确的负例；
FN:False Negative，表示预测结果为负例，实际结果为正例，即预测错误的负例，没有预测到的正例。
广义骰子损失(Generalized Dice Loss,GDL)源于F1得分，具体见公式2，作为普通准确性的补充。虽然普通准确度可以作为模型性能的一个很好的指标，但当涉及到不平衡数据时，就不再满足需求。语义分割方案中常用的损失函数是IoU(Intersection overUnion)损失，即交并比，表示为“预测边框(bounding box)”和“真实边框(ground truth)”的交集和并集的比值，IoU由公式1规定。公式3中规定的骰子系数(Dice Factor)可以从公式1和2中得出，骰子损失(Dice Loss)可以从方程4中的骰子系数中得出。广义骰子损失只是骰子损失的一个延伸。由于简单的骰子损失只适用于两个分割类，广义的骰子损失用于处理多个分割类，在我们的情况下是标签部分提到的五个分割类。涉及公式如下：
Dice Loss＝1-Dice Factor (4)
其中，precision指分类模型指标中的精确率，Recall指召回率，Intersection指交集，Union指并集。
焦点损失(Focal Loss)是标准交叉熵损失的一个变种，因为焦点损失试图将重点放在硬的负样本上。焦点损失函数可以从以下方面推导出来：pT定义在公式5中，其中p代表地面真相。有了复合pT的定义，焦点损失可以用公式6描述，其中aT和γ是超参数。当γ为零时，焦点损失就会坍缩为交叉熵损失。γ在例子中是2，γ提供了一种调节效应，当地面真相很小的时候，该函数会从容易的例子中获取损失。当模型学会了简单的例子后，函数就会向更难的例子转移。涉及公式如下：
FL(TP)＝-aT(1-PT)γlog(PT) (6)
上述的y指定了训练集对监督学习技术的分类的准确性(ground truth)类标签，p是标签y＝1的估计概率。
边界感知损失(Boundary Aware Loss,BAL)中语义上的边界是基于类别标签的分离区域。根据每个像素与两个最近的片段的距离对其损失进行加权，引入了边缘意识。本申请中使用open cv里的Canny边缘检测器生成边界像素，并将其进一步放大两个像素以减少边界处的混淆。这些边界像素的数值在被放大一定倍数倍之后，增加到一个传统的标准交叉熵损失熵上去增加模型对于边界的注意。
表面损失(Surface Loss,SL)是基于图像轮廓空间的距离度量，它保留了高语义价值的小的、不经常出现的结构。BAL试图最大限度地提高边界附近的正确像素概率，而GDL为不平衡的条件提供稳定的梯度。与两者相反的是，SL根据每个像素与每个类别的地面真相边界的距离来衡量每个像素的损失，它能有效地恢复被基于区域的损失所忽略的小区域。表面损失会计算单个像素到每个标签组边界的距离，并将这个距离根据图片的大小标准化。这些计算出来的结果将于模型预测的结果结合，并求出均值。
最终的复合损失函数在公式7中给出，公式如下：
复合损失＝
a1×表面损失+a2×焦点损失+a3×广义骰子损失+a4×
边界感知损失×焦点损失(7)
其中，变量a1、a2、a3和a4是超参数。在本申请的具体情况下，a1与训练期间的历时数有关；a2取1；a3取1-a1；a4取20。
一方面，如图6所示，本申请提供了一种眼裂宽度的测量装置，包括图像获取模块601、图像分割模块602、特征提取模块603和计算模块604，其中：
图像获取模块601，用于在眼球前方位置拍摄获取在700-1200nm的近红外光光场中用户平视前方的第一眼位图；
图像分割模块602，采用神经网络的训练方式从所述第一眼位图中分割出背景、虹膜、巩膜、瞳孔；
特征提取模块603，用于从分割出的瞳孔中提取瞳孔中心，并得到竖直方向的瞳孔中心线；
计算模块604，用于计算所述瞳孔中心线上的巩膜、虹膜或瞳孔与背景的交点之间的距离，并利用所述距离计算眼裂宽度。
一方面，本申请提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现上述实施例的眼裂宽度的测量方法。
在示例性实施例中，还提供了一种计算机可读存储介质，包括存储有至少一条程序代码的存储器，所述至少一条程序代码由处理器加载并执行以完成上述实施例中的眼裂宽度的测量方法。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-OnlyMemory，CDROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来至少一条程序代码相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种眼裂宽度的测量方法，采用相机获取眼部图像，其特征在于，所述方法包括：
在眼球前方位置拍摄获取在700-1200nm的近红外光光场中用户平视前方的第一眼位图；
采用神经网络的训练方式从所述第一眼位图中分割出背景、虹膜、巩膜、瞳孔；
从所述分割出的瞳孔中提取瞳孔中心，并得到竖直方向的瞳孔中心线；
确定所述瞳孔中心线上巩膜、虹膜或瞳孔与背景的交点之间的距离，利用所述距离计算眼裂宽度。
2.根据权利要求1所述的眼裂宽度的测量方法，其特征在于，所述瞳孔中心为从第一眼位图中分割出所有瞳孔像素的X、Y坐标的平均值，取X坐标的平均值划垂直线获取瞳孔中心线。
3.根据权利要求1所述的眼裂宽度的测量方法，其特征在于，所述采用神经网络的训练方式从所述第一眼位图中分割出背景、虹膜、巩膜、瞳孔，包括：
神经网络模型采用UNet和DenseNet神经网络模型的组合，神经网络模型将所述第一眼位图作为输入，采用Unet神经网络模型对所述输入进行降维和升维，并将降维区块的输出通过跳过连接传输到对应的升维区块，每一个降维区块采用DenseNet神经网络模型进行特征提取，每一个升维模块采用DenseNet神经网络模型进行上采样。
4.根据权利要求3所述的眼裂宽度的测量方法，其特征在于，还包括：采用损失函数验证神经网络的训练效果，所述损失函数为复合损失，由焦点损失、广义骰子损失、表面损失、边界感知损失组成。
5.根据权利要求4所述的眼裂宽度的测量方法，其特征在于，所述损失函数为复合损失，计算方法为：
复合损失
＝a1×表面损失+a2×焦点损失+a3×广义骰子损失+a4×边界感知损失×焦点损失
其中，所述a1、a2、a3、a4为超参数，所述a1与训练过程期间的历时数有关，所述a2＝1，所述a3＝1-a1，所述a4＝20。
6.根据权利要求1-5任一项所述的眼裂宽度的测量方法，其特征在于，所述眼裂宽度为：
眼裂宽度(B)＝眼裂宽度的像素距离(A)×单像素宽长×眼裂到相机镜头的距离(D)÷相机感光片到相机镜头的距离(C)
其中，眼裂宽度的像素距离(A)为所述瞳孔中心线上巩膜、虹膜或瞳孔与背景的交点之间的距离。
7.根据权利要求6所述的眼裂宽度的测量方法，其特征在于，眼裂到相机镜头的距离为：眼裂到相机镜头的距离(D)＝眼角卡点到相机镜头的距离(1)-眼球突出度(2)。
8.根据权利要求7所述的眼裂宽度的测量方法，其特征在于，所述眼球突出度(2)取正常人眼球突出度的平均值。
9.一种眼裂宽度的测量装置，其特征在于，包括：
图像获取模块，用于在眼球前方位置拍摄获取在700-1200nm的近红外光光场中用户平视前方的第一眼位图；
图像分割模块，采用神经网络的训练方式从所述第一眼位图中分割出背景、虹膜、巩膜、瞳孔；
特征提取模块，用于从所述分割出的瞳孔中提取瞳孔中心，并得到竖直方向的瞳孔中心线；
计算模块，用于确定所述瞳孔中心线上的巩膜、虹膜或瞳孔与背景的交点之间的距离，利用所述距离计算眼裂宽度。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现如权利要求1至8任一项所述的眼裂宽度的测量方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210989506.4A CN115908237B (zh) | 2022-08-18 | 2022-08-18 | 一种眼裂宽度的测量方法、装置和存储介质 |
| PCT/CN2023/113527 WO2024037587A1 (zh) | 2022-08-18 | 2023-08-17 | 一种眼裂宽度的测量方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210989506.4A CN115908237B (zh) | 2022-08-18 | 2022-08-18 | 一种眼裂宽度的测量方法、装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115908237A true CN115908237A (zh) | 2023-04-04 |
| CN115908237B CN115908237B (zh) | 2023-09-08 |
Family
ID=86484629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210989506.4A Active CN115908237B (zh) | 2022-08-18 | 2022-08-18 | 一种眼裂宽度的测量方法、装置和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115908237B (zh) |
| WO (1) | WO2024037587A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024037587A1 (zh) * | 2022-08-18 | 2024-02-22 | 上海市内分泌代谢病研究所 | 一种眼裂宽度的测量方法、装置和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104657722A (zh) * | 2015-03-10 | 2015-05-27 | 无锡桑尼安科技有限公司 | 眼部参数检测设备 |
| WO2020019286A1 (zh) * | 2018-07-27 | 2020-01-30 | 高雄医学大学 | 眼睑下垂检测方法及系统 |
| CN111127484A (zh) * | 2019-12-25 | 2020-05-08 | 北京小白世纪网络科技有限公司 | 基于深度学习神经网络的肝脏ct图像分割方法及装置 |
| CN112651328A (zh) * | 2020-12-23 | 2021-04-13 | 浙江中正智能科技有限公司 | 一种基于几何位置关系损失函数的虹膜分割方法 |
| CN113343943A (zh) * | 2021-07-21 | 2021-09-03 | 西安电子科技大学 | 基于巩膜区域监督的眼部图像分割方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN210612103U (zh) * | 2019-06-18 | 2020-05-26 | 四川中科形美医院投资有限公司 | 眼睛数据测量记录装置 |
| CN110705468B (zh) * | 2019-09-30 | 2022-08-30 | 四川大学 | 基于图像分析的眼动范围识别方法和系统 |
| CN111938567B (zh) * | 2020-07-09 | 2021-10-22 | 上海交通大学 | 基于深度学习的眼科参数测量方法、系统及设备 |
| CN115908237B (zh) * | 2022-08-18 | 2023-09-08 | 上海佰翊医疗科技有限公司 | 一种眼裂宽度的测量方法、装置和存储介质 |
-
2022
- 2022-08-18 CN CN202210989506.4A patent/CN115908237B/zh active Active
-
2023
- 2023-08-17 WO PCT/CN2023/113527 patent/WO2024037587A1/zh unknown
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104657722A (zh) * | 2015-03-10 | 2015-05-27 | 无锡桑尼安科技有限公司 | 眼部参数检测设备 |
| WO2020019286A1 (zh) * | 2018-07-27 | 2020-01-30 | 高雄医学大学 | 眼睑下垂检测方法及系统 |
| US20210298595A1 (en) * | 2018-07-27 | 2021-09-30 | Kaohsiung Medical University | Method and system for detecting blepharoptosis |
| CN111127484A (zh) * | 2019-12-25 | 2020-05-08 | 北京小白世纪网络科技有限公司 | 基于深度学习神经网络的肝脏ct图像分割方法及装置 |
| CN112651328A (zh) * | 2020-12-23 | 2021-04-13 | 浙江中正智能科技有限公司 | 一种基于几何位置关系损失函数的虹膜分割方法 |
| CN113343943A (zh) * | 2021-07-21 | 2021-09-03 | 西安电子科技大学 | 基于巩膜区域监督的眼部图像分割方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024037587A1 (zh) * | 2022-08-18 | 2024-02-22 | 上海市内分泌代谢病研究所 | 一种眼裂宽度的测量方法、装置和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024037587A1 (zh) | 2024-02-22 |
| CN115908237B (zh) | 2023-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tabassum et al. | CDED-Net: Joint segmentation of optic disc and optic cup for glaucoma screening | |
| WO2020199593A1 (zh) | 图像分割模型训练方法、图像分割方法、装置、设备及介质 | |
| Murthi et al. | Enhancement of optic cup to disc ratio detection in glaucoma diagnosis | |
| Bian et al. | Optic disc and optic cup segmentation based on anatomy guided cascade network | |
| CN109919954B (zh) | 目标对象的识别方法和装置 | |
| CN112837805A (zh) | 基于深度学习的眼睑拓扑形态特征的提取方法 | |
| WO2024037587A1 (zh) | 一种眼裂宽度的测量方法、装置和存储介质 | |
| Nawaldgi | Review of automated glaucoma detection techniques | |
| CN112384127A (zh) | 眼睑下垂检测方法及系统 | |
| WO2016108755A1 (en) | Method and apparatus for aligning a two-dimensional image with a predefined axis | |
| Rajagopalan et al. | Diagnosis of retinal disorders from Optical Coherence Tomography images using CNN | |
| Kumar et al. | Detection of glaucoma using image processing techniques: A critique | |
| Yi et al. | C2FTFNet: Coarse-to-fine transformer network for joint optic disc and cup segmentation | |
| Hamid et al. | No-reference wavelet based retinal image quality assessment | |
| Liew et al. | Alpha mean trim texture descriptors for optical coherence tomography eye classification | |
| Shabbir et al. | A comparison and evaluation of computerized methods for blood vessel enhancement and segmentation in retinal images | |
| Wahid et al. | Classification of Diabetic Retinopathy from OCT Images using Deep Convolutional Neural Network with BiLSTM and SVM | |
| Kurup et al. | Automated malarial retinopathy detection using transfer learning and multi-camera retinal images | |
| Kumar et al. | Segmentation of retinal lesions in fundus images: a patch based approach using encoder-decoder neural network | |
| Ilham et al. | Experimenting with the Hyperparameter of Six Models for Glaucoma Classification | |
| Hussain | Optic nerve head segmentation using genetic active contours | |
| Su et al. | A Hierarchical Full-Resolution Fusion Network and Topology-aware Connectivity Booster for Retinal Vessel Segmentation | |
| Han et al. | An automated framework for screening of glaucoma using cup-to-disc ratio and ISNT rule with a support vector machine | |
| Hussein et al. | Convolutional Neural Network in Classifying Three Stages of Age-Related Macula Degeneration | |
| Arockia Aswini et al. | Modified capsule network for diabetic retinopathy detection and classification using fundus images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |