CN109948575B - 超声图像中眼球区域分割方法 - Google Patents

超声图像中眼球区域分割方法 Download PDF

Info

Publication number
CN109948575B
CN109948575B CN201910238410.2A CN201910238410A CN109948575B CN 109948575 B CN109948575 B CN 109948575B CN 201910238410 A CN201910238410 A CN 201910238410A CN 109948575 B CN109948575 B CN 109948575B
Authority
CN
China
Prior art keywords
training set
directed
distance field
eyeball
ophthalmic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910238410.2A
Other languages
English (en)
Other versions
CN109948575A (zh
Inventor
张勇东
林凡超
谢洪涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201910238410.2A priority Critical patent/CN109948575B/zh
Publication of CN109948575A publication Critical patent/CN109948575A/zh
Application granted granted Critical
Publication of CN109948575B publication Critical patent/CN109948575B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种超声图像中眼球区域分割方法，包括：利用一定数量的、且经专家进行眼球区域标注的眼科超声图像构建训练集；分别计算训练集中的每一眼科超声图像的有向符号距离场矩阵，由训练集中的所有图像构成训练集有向符号距离场矩阵；利用训练集以及有向符号距离场矩阵训练预先搭建的卷积神经网络SS‑Unet；将待分割的眼科超声图像输入至训练完毕的卷积神经网络SS‑Unet，从而完成眼球区域分割。该方法可以提高眼球区域分割效率，并确保分割准确度。

Description

超声图像中眼球区域分割方法
技术领域
本发明涉及人工智能领域，尤其涉及一种超声图像中眼球区域分割方法。
背景技术
眼科超声图像可以通过常规超声设备采集，为了在眼科超声图像中分割出眼球区域，需要重建眼球的三维结构，才能全面精确地反映后巩膜的具体形态以及与视神经的位置关系，同时，目前大多采用人工方式进行眼球区域的分割操作，不仅效率低，且分割准确度还取决于操作人员的作业水平。
鉴于此，有必要研发一种具有较高准确度的眼球区域自动分割的方案。
发明内容
本发明的目的是提供一种超声图像中眼球区域分割方法，可以提高眼球区域分割效率，并确保分割准确度。
本发明的目的是通过以下技术方案实现的：
一种超声图像中眼球区域分割方法，包括：
利用一定数量的、且经专家进行眼球区域标注的眼科超声图像构建训练集；
分别计算训练集中的每一眼科超声图像的有向符号距离场矩阵，由训练集中的所有图像构成训练集有向符号距离场矩阵；
利用训练集以及有向符号距离场矩阵训练预先搭建的卷积神经网络SS-Unet；
将待分割的眼科超声图像输入至训练完毕的卷积神经网络SS-Unet，从而完成眼球区域分割。
由上述本发明提供的技术方案可以看出，该方法完全基于2D卷积神经网络，极大的提高了眼球区域分割速度，同时，在数据集上测试结果显示其具有较高的分割准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种超声图像中眼球区域分割方法的示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种超声图像中眼球区域分割方法，其主要包括：
1、利用一定数量的、且经专家进行眼球区域标注的眼科超声图像构建训练集。
2、分别计算训练集中的每一眼科超声图像的有向符号距离场矩阵，由训练集中的所有图像构成训练集有向符号距离场矩阵。
3、利用训练集以及有向符号距离场矩阵训练预先搭建的卷积神经网络SS-Unet。
4、将待分割的眼科超声图像输入至训练完毕的卷积神经网络SS-Unet，从而完成眼球区域分割。
为了便于理解，下面针对上述方案做详细的介绍。
如图1所示，为超声图像中眼球区域分割方法的流程图。
一、构建数据集。
本发明实施例中，可以采集三维眼科超声影像，共多段(例如6段)三维(二维加上时间)影像，对每段三维影像逐帧抽取二维图像，得到多幅(例如，568幅)二维超声图像。
然后，由专家对眼科超声图像中眼球所在区域进行标注，眼球区域标注为黑色，背景区域标注为白色，以便机器学习如何自动进行区域分割。
之后，对于标注过的眼科超声图像进行数据扩充，从而构建数据集；所述数据扩充方式包括：缩放、旋转与平移。例如，对标注过的568幅图中的400幅图进行数据扩充，用缩放，旋转，平移的方法得到额外的数据，以便达到更好的训练效果。这400幅图像经过数据扩充得到4290幅图像作为训练集，而未进行数据扩充的168幅图像则用于测试。
同时，将每一眼科超声图像调整到m×n的大小；假设原始的眼科超声图像为480×470可以将它们统一调节到到96×96大小。
二、计算训练集有向符号距离场矩阵。
根据标注的眼球区域的轮廓曲线，计算每一眼科超声图像的有向符号距离场(SDF)矩阵
Figure BDA0002008920690000033
Figure BDA0002008920690000031
其中，Ωinside表示标注的眼球区域内部，Ωoutside表示标注的背景区域，pi,j表示眼科超声图像上坐标(i,j)处的点，C表示眼球区域的轮廓曲线，D(pi,j,C)表示计算眼科超声图像上的点Pi,j到轮廓曲线C的最短欧式距离：
Figure BDA0002008920690000032
其中，ck表示轮廓曲线C上的第k个点；
对每一眼科超声图像都计算出大小为m×n的有向符号距离场矩阵
Figure BDA0002008920690000034
并展开成m×n×1的有向符号距离场向量，将每一眼科超声图像对应的有向符号距离场向量横向堆叠，最终由训练集中的M张眼科超声图像得到m×n×M大小的训练集有向符号距离场矩阵。
三、搭建卷积神经网络SS-Unet
还参见图1，所述卷积神经网络SS-Unet包括：特征提取路径、语义嵌入路径和上采样路径。
1、特征提取路径。
特征提取路径包括五个网络阶段，记为downstage1～downstage5；每个网络阶段的输入数据先经过两个卷积模块，每个卷积模块包含1个卷积层，1个归一化层和1个使用ReLU函数的激活层，随后通过1个池化层后输出，并作为下一个网络阶段的输入；示例性的，downstage1～downstage5输出的特征图数量依次为：32，64，12，256，512。
2、语义嵌入路径。
语义嵌入路径包括两个语义嵌入模块；第一个语义嵌入模块将特征提取路径中网络阶段downstage3、downstage4以及downstage5的输出分别通过1个卷积层和1个采用双线性插值的上采样层后，与网络阶段downstage2的输出逐像素相乘作为网络阶段downstage2的新的输出；第二个语义嵌入模块将特征提取路径中网络阶段downstage4与downstage5的输出分别通过1个卷积层和1个采用双线性插值的上采样层后，与网络阶段downstage3的输出逐像素相乘作为网络阶段downstage3的新的输出。
3、上采样路径。
上采样路径包括五个阶段，记为upstage1～upstage5；上采样路径的阶段upstage5即特征提取路径的网络阶段downstage5；第i个阶段upstagei的输出经过上采样后与网络阶段downstage i-1的输出拼接，再通过2个卷积层作为upstage i-1的输出；示例性的，upstage1～upstage5输出的特征图数量依次为：512，256，128，64，32。
在阶段upstage1输出特征图后，再接一个卷积层将通道数降为1，得到m×n大小的预测输出。
示例性的，卷积神经网络SS-Unet中所用的所有卷积核大小都为3×3，卷积步长为1×1。
四、训练卷积神经网络SS-Unet。
训练时，将训练集有向符号距离场矩阵中对应于输入眼科超声图像的有向符号距离场向量变形为m×n大小的有向符号距离场矩阵
Figure BDA0002008920690000042
以卷积神经网络SS-Unet的预测输出与有向符号距离场矩阵/>
Figure BDA0002008920690000043
间的均方误差作为网络损失函数：
Figure BDA0002008920690000041
其中，m、n分别为眼科超声图像的长和宽，xij为卷积神经网络SS-Unet的预测输出中第i行第j列处的像素值，yij为有向符号距离场矩阵
Figure BDA0002008920690000044
中第i行第j列处的数值；
求出损失函数值(误差)后，依据链式法则求出其对应于每个神经元的梯度，通过误差反向传播更新参数，学习率由Adam算法自动调节；卷积神经网络SS-Unet的参数学习过程一直持续到损失函数值收敛为止。
五、测试阶段。
将待分割的眼科超声图像输入至训练完毕的卷积神经网络SS-Unet，训练完毕的卷积神经网络SS-Unet将输出相应的预测图；对预测图进行二值化，并二值图中所有值大于0的像素重新赋值为0，所有值小于0的像素重新赋值为255，得到对眼球区域的最终分割结果；其中，像素值为0表示属于眼球区域，像素值为255表示属于背景部分。
本发明实施例上述方案，可以应用于医院的影像科，对采集到的眼科超声图像自动进行眼球区域的分割检测，还可以应用于相关的科研机构；本发明实施例上述方案主要是针对眼球区域分割方案进行改进，以提高分割准确度与分割效率，其具体应用方向可以由用户自行选择。在实施上，可以以软件的方式安装于工作电脑，提供实时检测；也可以安装于后台服务器，提供大批量后台检测。
与现有方法相比，本发明实施例提供的上述方案完全基于2D卷积神经网络，在数据集上测试，眼球区域的分割准确度达到：平均像素准确率为98.81％，区域轮廓的平均误差为0.89个像素，匹配失败(区域轮廓误差大于2个像素)的概率为5.95％。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (4)

1.一种超声图像中眼球区域分割方法，其特征在于，包括：
利用一定数量的、且经专家进行眼球区域标注的眼科超声图像构建训练集；
分别计算训练集中的每一眼科超声图像的有向符号距离场矩阵，由训练集中的所有图像构成训练集有向符号距离场矩阵；
利用训练集以及有向符号距离场矩阵训练预先搭建的卷积神经网络SS-Unet；
将待分割的眼科超声图像输入至训练完毕的卷积神经网络SS-Unet，从而完成眼球区域分割；
其中，所述卷积神经网络SS-Unet包括：特征提取路径、语义嵌入路径和上采样路径；其中：
特征提取路径包括五个网络阶段，记为downstage1～downstage5；每个网络阶段的输入数据先经过两个卷积模块，每个卷积模块包含1个卷积层，1个归一化层和1个使用ReLU函数的激活层，随后通过1个池化层后输出，并作为下一个网络阶段的输入；
语义嵌入路径包括两个语义嵌入模块；第一个语义嵌入模块将特征提取路径中网络阶段downstage3、downstage4以及downstage5的输出分别通过1个卷积层和1个采用双线性插值的上采样层后，与网络阶段downstage2的输出逐像素相乘作为网络阶段downstage2的新的输出；第二个语义嵌入模块将特征提取路径中网络阶段downstage4与downstage5的输出分别通过1个卷积层和1个采用双线性插值的上采样层后，与网络阶段downstage3的输出逐像素相乘作为网络阶段downstage3的新的输出；
上采样路径包括五个阶段，记为upstage 1～upstage5；上采样路径的阶段upstage 5即特征提取路径的网络阶段downstage5；第i个阶段upstagei的输出经过上采样后与网络阶段downstage i-1的输出拼接，再通过2个卷积层作为upstage i-1的输出；
在upstage 1输出特征图后，再接一个卷积层将通道数降为1，得到m×n大小的预测输出；
所述利用训练集以及有向符号距离场矩阵训练预先搭建的卷积神经网络SS-Unet包括：
将训练集有向符号距离场矩阵中对应于输入眼科超声图像的有向符号距离场向量变形为m×n大小的有向符号距离场矩阵
Figure FDA0003642480330000011
以卷积神经网络SS-Unet的预测输出与有向符号距离场矩阵
Figure FDA0003642480330000012
间的均方误差作为网络损失函数：
Figure FDA0003642480330000021
其中，m、n分别为眼科超声图像的长和宽，xij为卷积神经网络SS-Unet的预测输出中第i行第j列处的像素值，yij为有向符号距离场矩阵
Figure FDA0003642480330000022
中第i行第j列处的数值；
求出损失函数值后，依据链式法则求出其对应于每个神经元的梯度，通过误差反向传播更新参数，学习率由Adam算法自动调节；卷积神经网络SS-Unet的参数学习过程一直持续到损失函数值收敛为止。
2.根据权利要求1所述的一种超声图像中眼球区域分割方法，其特征在于，所述经专家进行眼球区域标注的眼科超声图像是指，由专家对眼科超声图像中眼球所在区域进行标注，眼球区域标注为黑色，背景区域标注为白色；
对于标注过的眼科超声图像进行数据扩充，从而构建训练集；数据扩充方式包括：缩放、旋转与平移。
3.根据权利要求1所述的一种超声图像中眼球区域分割方法，其特征在于，所述分别计算训练集中的每一眼科超声图像的有向符号距离场矩阵，由训练集中的所有图像构成训练集有向符号距离场矩阵包括：
训练集中的每一眼科超声图像的尺寸为m×n；
根据标注的眼球区域的轮廓曲线，计算每一眼科超声图像的有向符号距离场矩阵
Figure FDA0003642480330000023
Figure FDA0003642480330000024
其中，Ωinside表示标注的眼球区域内部，Ωoutside表示标注的背景区域，pi,j表示眼科超声图像上坐标(i,j)处的点，C表示眼球区域的轮廓曲线，D(pi,j,C)表示计算眼科超声图像上的点Pi,j到轮廓曲线C的最短欧式距离：
Figure FDA0003642480330000025
其中，ck表示轮廓曲线C上的第k个点；
对每一眼科超声图像都计算出大小为m×n的有向符号距离场矩阵
Figure FDA0003642480330000026
并展开成m×n×1的有向符号距离场向量，将每一眼科超声图像对应的有向符号距离场向量横向堆叠，最终由训练集中的M张眼科超声图像得到m×n×M大小的训练集有向符号距离场矩阵。
4.根据权利要求1所述的一种超声图像中眼球区域分割方法，其特征在于，所述将待分割的眼科超声图像输入至训练完毕的卷积神经网络SS-Unet，从而完成眼球区域分割包括：
训练完毕的卷积神经网络SS-Unet将输出相应的预测图；
对预测图进行二值化，并将 二值图中所有值大于0的像素重新赋值为0，所有值小于0的像素重新赋值为255，得到对眼球区域的最终分割结果；其中，像素值为0表示属于眼球区域，像素值为255表示属于背景部分。
CN201910238410.2A 2019-03-27 2019-03-27 超声图像中眼球区域分割方法 Active CN109948575B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910238410.2A CN109948575B (zh) 2019-03-27 2019-03-27 超声图像中眼球区域分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910238410.2A CN109948575B (zh) 2019-03-27 2019-03-27 超声图像中眼球区域分割方法

Publications (2)

Publication Number Publication Date
CN109948575A CN109948575A (zh) 2019-06-28
CN109948575B true CN109948575B (zh) 2023-03-24

Family

ID=67012004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910238410.2A Active CN109948575B (zh) 2019-03-27 2019-03-27 超声图像中眼球区域分割方法

Country Status (1)

Country Link
CN (1) CN109948575B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047608A (zh) * 2019-12-26 2020-04-21 北京工业大学 一种基于Distance-AttU-Net的端到端的乳腺超声图像的分割方法
CN111047613B (zh) * 2019-12-30 2021-04-27 北京小白世纪网络科技有限公司 基于分支注意力及多模型融合的眼底血管分割方法
CN111523578B (zh) * 2020-04-13 2021-07-23 推想医疗科技股份有限公司 图像分类方法及装置、神经网络模型的训练方法及装置
CN111598866B (zh) * 2020-05-14 2023-04-11 四川大学 一种基于眼部b超图像的晶状体关键特征定位方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102027490A (zh) * 2008-05-14 2011-04-20 皇家飞利浦电子股份有限公司 基于图像分割的图像分类
CN108629770A (zh) * 2018-05-03 2018-10-09 河北省计量监督检测研究院廊坊分院 基于支持向量机的超声图像分割方法
CN109214388A (zh) * 2018-11-21 2019-01-15 济南浪潮高新科技投资发展有限公司 一种基于个性化融合网络的肿瘤分割方法及装置
CN109493343A (zh) * 2018-12-29 2019-03-19 上海鹰瞳医疗科技有限公司 医疗图像异常区域分割方法及设备
CN109509179A (zh) * 2018-10-24 2019-03-22 深圳市旭东数字医学影像技术有限公司 基于医学图像的眼球和晶状体的自动分割方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11357474B2 (en) * 2014-09-15 2022-06-14 Peter Fedor Method of quantitative analysis and imaging of the anterior segment of the eye

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102027490A (zh) * 2008-05-14 2011-04-20 皇家飞利浦电子股份有限公司 基于图像分割的图像分类
CN108629770A (zh) * 2018-05-03 2018-10-09 河北省计量监督检测研究院廊坊分院 基于支持向量机的超声图像分割方法
CN109509179A (zh) * 2018-10-24 2019-03-22 深圳市旭东数字医学影像技术有限公司 基于医学图像的眼球和晶状体的自动分割方法及系统
CN109214388A (zh) * 2018-11-21 2019-01-15 济南浪潮高新科技投资发展有限公司 一种基于个性化融合网络的肿瘤分割方法及装置
CN109493343A (zh) * 2018-12-29 2019-03-19 上海鹰瞳医疗科技有限公司 医疗图像异常区域分割方法及设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ExFuse: Enhancing Feature Fusion for Semantic Segmentation;Zhenli Zhang 等;《ECCV 2018》;20181231;第3.1节，图2，图4 *
SPNet: Shape Prediction using a Fully Convolutional Neural Network;S M Masudur Rahman Al Arif 等;《International Conference on Medical Image Computing and Computer-Assisted Intervention》;20181231;摘要，第2节，第3节，第5节 *
基于卷积神经网络的臂丛神经超声图像分割方法;龙法宁 等;《合肥工业大学学报（自然科学版）》;20180930;第41卷(第9期);1191-1195、1296 *
深度全卷积网络的 IVUS 图像内膜与中-外膜边界检测;袁绍锋 等;《中国图象图形学报》;20181231;第23卷(第9期);1335-1348 *

Also Published As

Publication number Publication date
CN109948575A (zh) 2019-06-28

Similar Documents

Publication Publication Date Title
CN109948575B (zh) 超声图像中眼球区域分割方法
Fakhry et al. Residual deconvolutional networks for brain electron microscopy image segmentation
CN108062756B (zh) 基于深度全卷积网络和条件随机场的图像语义分割方法
Xia et al. Liver semantic segmentation algorithm based on improved deep adversarial networks in combination of weighted loss function on abdominal CT images
US20170124433A1 (en) Unsupervised matching in fine-grained datasets for single-view object reconstruction
CN113728335A (zh) 用于3d图像的分类和可视化的方法和系统
CN112330719B (zh) 基于特征图分割和自适应融合的深度学习目标跟踪方法
US20230043026A1 (en) Learning-based active surface model for medical image segmentation
CN111476806B (zh) 图像处理方法、装置、计算机设备和存储介质
CN113554665A (zh) 一种血管分割方法及装置
CN112949707B (zh) 一种基于多尺度语义信息监督的跨模态人脸图像生成方法
CN115605878A (zh) 使用基于自注意力的神经网络处理图像
CN114565628B (zh) 一种基于边界感知注意的图像分割方法及系统
CN108496174B (zh) 用于面部识别的方法和系统
Wang et al. Msfnet: multistage fusion network for infrared and visible image fusion
Yue et al. Dual-constraint coarse-to-fine network for camouflaged object detection
CN113762265A (zh) 肺炎的分类分割方法及系统
CN115471718A (zh) 基于多尺度学习的轻量级显著性目标检测模型的构建和检测方法
CN113192076B (zh) 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法
Vo et al. Brain Tumor Segmentation in MRI Images Using A Modified U-Net Model
Cui et al. SCU-Net++: A Nested U-Net Based on Sharpening Filter and Channel Attention Mechanism
CN114022458A (zh) 骨架检测方法、装置、电子设备和计算机可读存储介质
Yao et al. Pointnu-net: Keypoint-assisted convolutional neural network for simultaneous multi-tissue histology nuclei segmentation and classification
CN111488888A (zh) 图像特征提取方法以及人脸特征生成设备
Niu et al. A Generalized Densely Connected Encoder-Decoder Network for epithelial and stromal regions segmentation in histopathological images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant