CN110176008A - 晶状体分割方法、装置及存储介质 - Google Patents
晶状体分割方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110176008A CN110176008A CN201910414608.1A CN201910414608A CN110176008A CN 110176008 A CN110176008 A CN 110176008A CN 201910414608 A CN201910414608 A CN 201910414608A CN 110176008 A CN110176008 A CN 110176008A
- Authority
- CN
- China
- Prior art keywords
- coordinate
- image
- lenticular
- interest
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000000695 crystalline len Anatomy 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013528 artificial neural network Methods 0.000 claims abstract description 27
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims description 25
- 238000001914 filtration Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 5
- 210000005036 nerve Anatomy 0.000 claims description 3
- 210000004218 nerve net Anatomy 0.000 claims 1
- 230000011218 segmentation Effects 0.000 abstract description 36
- 238000004364 calculation method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000012014 optical coherence tomography Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 230000035772 mutation Effects 0.000 description 6
- 239000000126 substance Substances 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 208000002177 Cataract Diseases 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010977 unit operation Methods 0.000 description 2
- 206010007772 Cataract conditions Diseases 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种晶状体分割方法、装置及存储介质，该方法包括：通过预处理算法提取待分割图像的感兴趣区域，该感兴趣区域包含有晶状体；根据感兴趣区域及预设神经网络，得到分割后的晶状体结构，其中，预设神经网络包含编码部分和解码部分，编码部分基于ShuffleNet，ShuffleNet用于提取感兴趣区域的图像特征，解码部分基于SkipNet，SkipNet用于进行上采样，计算类别概率图。本发明实施例通过自动分割晶状体结构，提高晶状体结构分割的准确度及分割效率。
Description
技术领域
本发明实施例涉及图像分析领域，尤其涉及一种晶状体分割方法、装置及存储介质。
背景技术
作为常见的致盲性眼病，白内障是由于某些原因导致晶状体混浊，从而影响视网膜成像，导致患者看不清东西。其中，前段光学相干断层扫描(Anterior Segment OpticalCoherence Tomography，简称：AS-OCT)可被用来辅助诊断包括白内障等多种眼科疾病。具体地，AS-OCT是一种非侵入式无伤害的诊断方式，利用晶状体不同结构的密度来衡量白内障等眼科疾病的严重程度。
目前，基于AS-OCT影像的晶状体结构分割大多都是手动进行。但手动分割晶状体结构具有准确度低的问题，且分割效率较低。
发明内容
本发明实施例提供一种晶状体分割方法、装置及存储介质，通过自动分割晶状体结构，提高晶状体结构分割的准确度及分割效率。
第一方面，本发明实施例提供一种晶状体分割方法，包括：
通过预处理算法提取待分割图像的感兴趣区域，所述感兴趣区域包含有晶状体；
根据所述感兴趣区域及预设神经网络，得到分割后的晶状体结构，其中，所述预设神经网络包含编码部分和解码部分，所述编码部分基于ShuffleNet，ShuffleNet用于提取所述感兴趣区域的图像特征，所述解码部分基于SkipNet，SkipNet用于进行上采样，计算类别概率图。
一种可能的实施方式中，所述通过预处理算法提取待分割图像的感兴趣区域，包括：
从所述待分割图像底部中心向上搜索，获得晶状体的上下边界的坐标；
根据所述晶状体的上下边界的坐标，计算晶状体的中心位置的坐标；
由所述晶状体的中心位置向两侧进行边界搜索，获得晶状体的左右边界的坐标；
根据所述上下边界的坐标、左右边界的坐标，从所述待分割图像中提取感兴趣区域。
一种可能的实施方式中，所述从所述待分割图像底部中心向上搜索，获得晶状体的上下边界的坐标，包括：采用中值滤波对所述待分割图像进行滤波处理；从滤波处理后的图像底部中心向上搜索，获得晶状体的上下边界的坐标。其中，采用中值滤波对待分割图像进行滤波处理，可以降低因待分割图像采集设备等原因带来的图像噪声。
一种可能的实施方式中，所述从所述待分割图像底部中心向上搜索，获得晶状体的上下边界的坐标，包括：从所述待分割图像底部中心位置开始，分别向左和向右确定第一预设宽度区域；计算所述第一预设宽度区域的每行像素均值，并向上搜索，获得所述晶状体的上下边界的坐标。通过计算第一预设宽度区域的每行像素均值，可以降低个别突变像素对搜索过程的干扰，从而提升所计算坐标的鲁棒性和精度。
一种可能的实施方式中，所述由所述晶状体的中心位置向两侧进行边界搜索，获得晶状体的左右边界的坐标，包括：由所述晶状体的中心位置开始，分别向上和向下确定第二预设宽度区域；计算所述第二预设宽度区域的每列像素均值，并向两侧搜索，获得所述晶状体的左右边界的坐标。通过计算第二预设宽度区域的每列像素均值，可以降低个别突变像素对搜索过程的干扰，从而提升所计算坐标的鲁棒性和精度。
一种可能的实施方式中，所述根据所述感兴趣区域及预设神经网络，得到分割后的晶状体结构，包括：通过ShuffleNet对所述感兴趣区域进行图像特征的提取，其中，ShuffleNet包含分组卷积部分和通道混淆部分；通过SkipNet对提取的图像特征进行上采样，计算类别概率图，SkipNet主要利用高分辨率特征图来提升分割精度；根据所述类别概率图，得到分割后的晶状体结构。具体地，分组卷积部分可降低计算量，通道混淆部分可保持准确度，提升网络性能。
第二方面，本发明实施例提供一种晶状体分割装置，包括：
提取模块，用于通过预处理算法提取待分割图像的感兴趣区域，所述感兴趣区域包含有晶状体；
处理模块，用于根据所述感兴趣区域及预设神经网络，得到分割后的晶状体结构，其中，所述预设神经网络包含编码部分和解码部分，所述编码部分基于ShuffleNet，ShuffleNet用于提取所述感兴趣区域的图像特征，所述解码部分基于SkipNet，SkipNet用于进行上采样，计算类别概率图。
一种可能的实施方式中，所述提取模块，具体用于：
从所述待分割图像底部中心向上搜索，获得晶状体的上下边界的坐标；
根据所述晶状体的上下边界的坐标，计算晶状体的中心位置的坐标；
由所述晶状体的中心位置向两侧进行边界搜索，获得晶状体的左右边界的坐标；
根据所述上下边界的坐标、左右边界的坐标，从所述待分割图像中提取感兴趣区域。
一种可能的实施方式中，所述提取模块在从所述待分割图像底部中心向上搜索，获得晶状体的上下边界的坐标时，具体为：采用中值滤波对所述待分割图像进行滤波处理；从滤波处理后的图像底部中心向上搜索，获得晶状体的上下边界的坐标。其中，采用中值滤波对待分割图像进行滤波处理，可以降低因待分割图像采集设备等原因带来的图像噪声。
一种可能的实施方式中，所述提取模块在从所述待分割图像底部中心向上搜索，获得晶状体的上下边界的坐标时，具体为：从所述待分割图像底部中心位置开始，分别向左和向右确定第一预设宽度区域；计算所述第一预设宽度区域的每行像素均值，并向上搜索，获得所述晶状体的上下边界的坐标。通过计算第一预设宽度区域的每行像素均值，可以降低个别突变像素对搜索过程的干扰，从而提升所计算坐标的鲁棒性和精度。
一种可能的实施方式中，所述提取模块在由所述晶状体的中心位置向两侧进行边界搜索，获得晶状体左右边界的坐标时，具体为：由所述晶状体的中心位置开始，分别向上和向下确定第二预设宽度区域；计算所述第二预设宽度区域的每列像素均值，并向两侧搜索，获得所述晶状体左右边界的坐标。通过计算第二预设宽度区域的每列像素均值，可以降低个别突变像素对搜索过程的干扰，从而提升所计算坐标的鲁棒性和精度。
一种可能的实施方式中，所述处理模块，具体用于：
通过ShuffleNet对所述感兴趣区域进行图像特征的提取，其中，ShuffleNet包含分组卷积部分和通道混淆部分；
通过SkipNet对提取的图像特征进行上采样，计算类别概率图；
根据所述类别概率图，得到分割后的晶状体结构。
具体地，分组卷积部分可降低计算量，通道混淆部分可保持准确度，提升网络性能。
第三方面，本发明实施例提供一种晶状体分割装置，包括存储器和处理器，以及存储在所述存储器上可供所述处理器执行的计算机程序；所述处理器执行所述计算机程序实现如第一方面中任一项所述的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，包括计算机可读指令，当处理器读取并执行所述计算机可读指令时，使得所述处理器执行如第一方面中任一项所述的方法。
本发明实施例提供的晶状体分割方法、装置及存储介质，通过预处理算法提取待分割图像的感兴趣区域，该感兴趣区域包含有晶状体；根据感兴趣区域及预设神经网络，得到分割后的晶状体结构，其中，预设神经网络包含编码部分和解码部分，编码部分基于ShuffleNet，ShuffleNet用于提取感兴趣区域的图像特征，解码部分基于SkipNet，SkipNet用于进行上采样，计算类别概率图。首先，通过预处理算法提取待分割图像的感兴趣区域，可以降低冗余信息的干扰，提升晶状体结构分割的准确度；另外，通过预设神经网络从感兴趣区域得到分割后的晶状体结构，不仅可以进一步提高晶状体结构分割的准确度，还可以降低计算量，提高分割效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的晶状体分割方法的流程图；
图2为本发明一实施例提供的晶状体分割方法的应用示例图；
图3A为本发明一实施例提供的晶状体边界搜索示意图；
图3B为本发明一实施例提供的感兴趣区域的示意图；
图4为本发明一实施例提供的ShuffleNet单元示意图；
图5为本发明一实施例提供的晶状体分割装置的结构示意图；
图6为本发明另一实施例提供的晶状体分割装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例的说明书、权利要求书及上述附图中的术语“第一”和“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
目前，对于白内障的级别分类，国际上采用的是LOCSIII晶状体混浊分类标准。该分类标准人为干预较大，并且经验不同的医生对不同结构的分级存在一定的差异，因此，准确分割出晶状体的结构并自动计算出混浊程度，显得极为重要。
由于手动标记大量医学图像是一项繁琐且容易出错的任务，因此，基于上述，本发明实施例提供一种晶状体分割方法、装置及存储介质，通过感兴趣区域的提取及预设神经网络的应用，实现对晶状体结构的自动分割，从而提高晶状体结构分割的准确度及分割效率。其中，预设神经网络包含编码部分和解码部分，编码部分基于ShuffleNet，ShuffleNet用于提取感兴趣区域的图像特征，解码部分基于SkipNet，SkipNet用于进行上采样，计算类别概率图。
图1为本发明一实施例提供的晶状体分割方法的流程图。该实施例提供一种晶状体分割方法，该晶状体分割方法可以由晶状体分割装置执行。该晶状体分割装置可以通过软件和/或硬件的方式实现。示例地，该晶状体分割装置可以包括但不限于计算机、服务器等电子设备。其中，服务器可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心。
如图1所示，该实施例提供的晶状体分割方法包括以下步骤：
S101、通过预处理算法提取待分割图像的感兴趣区域。
其中，该感兴趣区域包含有晶状体。具体地，待分割图像可以为实际采集到的目标图像，即AS-OCT图像，该目标图像不仅包括晶状体，还可以包括其他眼球区域，例如，角膜、玻璃体，等等。这里的“感兴趣区域”，为实际待分割的晶状体结构所在的区域。由于AS-OCT图像尺寸较大，例如，2130×1864，AS-OCT图像的左右两侧均为冗余信息，对晶状体结构分割无有效信息，因此本发明通过寻找图像边界的预处理算法，提取待分割图像关键区域，在不影响晶状体结构分割的前提下，大幅减小图像大小和范围，有利于后续的网络分割和减小计算量。
可选地，该步骤可以包括：采用canny边缘检测技术，从待分割图像中提取感兴趣区域。通过canny边缘检测技术提取感兴趣区域，可减少待分割图像中多余的干扰信息。
其中，canny边缘检测技术是一种多级边缘检测算法，其目标是找到一个最优边缘检测算法。
需说明的是，canny边缘检测技术仅为一种示例，以说明如何实现从原始图像中提取晶状体图像区域，但本发明实施例不以此为限制，还可以其他技术从原始图像中提取晶状体图像区域。
S102、根据感兴趣区域及预设神经网络，得到分割后的晶状体结构。
其中，预设神经网络为实时语义分割网络ShuffleSeg，包含编码和解码两个过程，网络结构如图2中的ShuffleSeg所示，包含了编码部分和解码部分，编码部分基于ShuffleNet，ShuffleNet用于提取感兴趣区域的图像特征，解码部分基于SkipNet，SkipNet用于进行上采样，计算类别概率图。
示例性地，该步骤可以具体为：将感兴趣区域输入预设神经网络，得到分割后的晶状体结构。
该实施例主要体现对预设神经网络的应用，即如何使用预设神经网络，其训练过程可参考相关说明，此处不再赘述。其中，对于ShuffleNet和SkipNet的相关说明，可参考相关技术或后续实施例。
参考图2，示出一待分割图像经上述S101至S102处理的分割流程。其中，1表示AS-OCT图像；2表示感兴趣区域(Region of Interest，简称：ROI)，即晶状体，该示例将晶状体分为三个区域：皮质(cortex)区域①、核(nucleus)区域②、晶状体囊区域③；3表示预设神经网络，用于预测分割区域；4表示分割后的晶状体结构。
本发明实施例，通过预处理算法提取待分割图像的感兴趣区域，该感兴趣区域包含有晶状体；根据感兴趣区域及预设神经网络，得到分割后的晶状体结构，其中，预设神经网络包含编码部分和解码部分，编码部分基于ShuffleNet，ShuffleNet用于提取感兴趣区域的图像特征，解码部分基于SkipNet，SkipNet用于进行上采样，计算类别概率图。首先，通过预处理算法提取待分割图像的感兴趣区域，可以降低冗余信息的干扰，提升晶状体结构分割的准确度；另外，通过预设神经网络从感兴趣区域得到分割后的晶状体结构，不仅可以进一步提高晶状体结构分割的准确度，还可以降低计算量，提高分割效率。
在上述基础上，一种实现方式中，S101、通过预处理算法提取待分割图像的感兴趣区域，可以包括：从待分割图像底部中心向上搜索，获得晶状体的上下边界的坐标；根据晶状体的上下边界的坐标，计算晶状体的中心位置的坐标；由晶状体的中心位置向两侧进行边界搜索，获得晶状体的左右边界的坐标；根据上下边界的坐标、左右边界的坐标，从待分割图像中提取感兴趣区域。
进一步地，从待分割图像底部中心向上搜索，获得晶状体的上下边界的坐标，可以包括：从待分割图像底部中心位置开始，分别向左和向右确定第一预设宽度区域，如图3A所示；计算第一预设宽度区域的每行像素均值，并向上搜索，获得晶状体的上下边界的坐标，分别记为ytop和ybottom，如图3A所示。
与上述处理类似，由晶状体的中心位置向两侧进行边界搜索，获得左右边界的坐标，可以包括：由晶状体的中心位置开始，分别向上和向下确定第二预设宽度区域；计算第二预设宽度区域的每列像素均值，并向两侧搜索，获得左右边界的坐标，记为xleft、xright，如图3A所示。
为避免在提取感兴趣区域时造成晶状体结构的缺失，需对获取的上下边界的坐标分别进行向上、向下延伸：即取ytop-h，ybottom+h作为最终的上下边界的坐标。其中，h为预设高度。该式子中，h是基于待分割图像的大小以及分割速度等因素确定的，示例性地，h取值为100.0，需明确的是，这里仅为示例说明，不构成对本发明实施例的限制。
在获得上述坐标后，可从待分割图像中提取感兴趣区域，如图3B所示。
另需说明的是，第一预设宽度区域、第二预设宽度区域的具体大小是根据实际需求进行设置的，本发明实施例不对其进行具体限制。
上述实施例，通过计算第一预设宽度区域的行像素均值和/或第二预设宽度区域的列像素均值，可以降低个别突变像素对搜索过程的干扰，从而提升所计算坐标的鲁棒性和精度。
可选地，从待分割图像底部中心向上搜索，获得晶状体的上下边界的坐标，可以包括：采用中值滤波对待分割图像进行滤波处理；从滤波处理后的图像底部中心向上搜索，获得晶状体的上下边界的坐标。该情况下，与上述对待分割图像的处理类似，从滤波处理后的图像底部中心向上搜索，获得晶状体上下边界的坐标，可以包括：从滤波处理后的图像底部中心位置开始，分别向左和向右确定第一预设宽度区域；计算第一预设宽度区域的每行像素均值，并向上搜索，获得晶状体的上下边界的坐标。
其中，采用中值滤波对待分割图像进行滤波处理，可以降低因待分割图像采集设备等原因带来的图像噪声。
一些实施例中，S102、根据感兴趣区域及预设神经网络，得到分割后的晶状体结构，可以包括：通过ShuffleNet对感兴趣区域进行图像特征的提取，其中，ShuffleNet包含分组卷积部分和通道混淆部分；通过SkipNet对提取的图像特征进行上采样，计算类别概率图，SkipNet主要利用高分辨率特征图来提升分割精度；根据类别概率图，得到分割后的晶状体结构。其中，分组卷积部分可降低计算量，通道混淆部分可保持准确度，提升网络性能。
具体地，ShuffleNet是一个轻量化的卷积神经网络，通过分组卷积(groupconvolution)和通道混淆(channel shuffle)操作来设计的卷积神经网络模型；SkipNet的主要思想是通过在传统的卷积神经网络(Convolutional Neural Network，CNN)中每个网络层设置门限函数，从而决定是否需要执行该网络层计算，若判断为否，则不执行该网络层计算，有效地降低了计算量，提升了分割速度。
仍参考图2，对于ShuffleNet，初始采用3×3卷积，步长为2进行下采样，即Conv1[2×2，#24]，输出通道数24，每一个卷积层使用一个激活函数(例如Relu)；然后进行2×2的最大池化，即Max Pooling[2×2]；继而，有3个阶段，分别标识为Stage 2、Stage 3和Stage 4，每个阶段包括至少两个ShuffleNet单元(ShuffleNet Unit，简称：SU)，其中，第2阶段和第4阶段包括3个ShuffleNet单元(SUs＝3)，第3阶段包括7个ShuffleNet单元(SUs＝7)，第2阶段输出通道数为240，第3阶段输出通道数为480，第4阶段输出通道数为960。
其中，ShuffleNet单元的设计参考了残差网络(ResNet)，包括两个单元操作，如图2中SU:ShuffleNet Unit和图4所示：
第一个单元操作，步长为2，卷积核为3×3的平均池化(Average Pool，简称：AVGPool)，即3×3AVG Pool(stride＝2)。
第二个单元操作，1×1逐点卷积分组化(Group Convolution，简称：GC)，即1×1GC，配合批归一化层(Batch Normalization，简称：BN)进行数据归一化，并使用ReLU激活函数，最后进行通道混淆(1×1GC+Channel Shuffle)；再以步长为2，卷积核大小为3×3，进行深度卷积(Depthwise Convolution，简称：DWC)，即3×3DWC(stride＝2)，卷积后进行数据归一化(BN层)；对深度卷积后的输出数据进行1×1逐点卷积分组化1×1GC，卷积分组化后进行数据归一化(BN层)。
最后，将两个单元的操作结果按通道进行合并(Concat)，并使用ReLU激活函数，获得处理结果。
对于SkipNet，如图2所示，第4阶段(Stage 4)的输出通过1×1卷积(1×1Conv)，表示为分数层(Score Layer)，即概率图，从而将通道转换为类别数。分数层的输出通过2倍上采样，即x2Upsampling，卷积核大小为4×4，获得上采样图像；第2阶段(Stage 2)和第3阶段(Stage 3)的输出分别用作输入中间层Feed1Layer和中间层Feed2Layer，再分别进行1×1卷积，即1×1Conv，以改善热图(heatmaps)解析度；将分数层的上采样图像输出结果，和第3阶段的热图进行元素叠加，获得使用中间层，记为Use Feed1，对Use Feed1进行2倍上采样，步长为2，卷积核大小为4×4，获得分数层，记为Score Layer2；将第2阶段的热图(heatmaps)和分数层Score Layer2进行元素叠加，获得使用中间层，记为Use Feed2；最后，由双线性上采样初始化的转置卷积，卷积核大小为16×16，通过8倍上采样(x8Upsampling)，能够获得与输入大小匹配的类别概率图。
补充说明的是，在上述实施例的基础上，还可以对分割结果进行后处理，例如曲线拟合等，从而进一步提升分割结果的质量。
跟当前的晶状体分割方法相比，本发明至少具有以下有益效果：
(1)设计基于深度学习的全自动实时晶状体结构分割方法，在保证分割精度的同时，能够降低人为因素的影响，实现分割的可重复性，极大提升分割效率，对白内障疾病的诊断具有重要意义。
(2)通过预处理提取感兴趣区域，从而大幅降低了待分割图像大小，减少了冗余信息的干扰，降低了分割网络算法的计算量。
(3)基于ShuffleNet和SkipNet的ShuffleSeg分割网络，能够在保证一定精度的同时，大幅降低计算量，实现实时分割。例如，单张图像的分割时间在0.3s左右，对实际应用具有重大意义。
(4)抗干扰能力强，具有良好的泛化能力。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
图5为本发明一实施例提供的晶状体分割装置的结构示意图。如图5所示，晶状体分割装置50包括：提取模块51和处理模块52。其中：
该提取模块51，用于通过预处理算法提取待分割图像的感兴趣区域，该感兴趣区域包含有晶状体。
该处理模块52，与提取模块51连接，用于根据感兴趣区域及预设神经网络，得到分割后的晶状体结构，其中，预设神经网络包含编码部分和解码部分，编码部分基于ShuffleNet，ShuffleNet用于提取感兴趣区域的图像特征，解码部分基于SkipNet，SkipNet用于进行上采样，计算类别概率图。
该实施例提供的晶状体分割装置，通过预处理算法提取待分割图像的感兴趣区域，该感兴趣区域包含有晶状体；根据感兴趣区域及预设神经网络，得到分割后的晶状体结构，其中，预设神经网络包含编码部分和解码部分，编码部分基于ShuffleNet，ShuffleNet用于提取感兴趣区域的图像特征，解码部分基于SkipNet，SkipNet用于进行上采样，计算类别概率图。首先，通过预处理算法提取待分割图像的感兴趣区域，可以降低冗余信息的干扰，提升晶状体结构分割的准确度；另外，通过预设神经网络从感兴趣区域得到分割后的晶状体结构，不仅可以进一步提高晶状体结构分割的准确度，还可以降低计算量，提高分割效率。
可选地，提取模块51可具体用于：从待分割图像底部中心向上搜索，获得晶状体的上下边界的坐标；根据晶状体的上下边界的坐标，计算晶状体中心位置的坐标；由晶状体的中心位置向两侧进行边界搜索，获得晶状体的左右边界的坐标；根据上下边界的坐标、左右边界的坐标，从待分割图像中提取感兴趣区域。
进一步地，提取模块51在从待分割图像底部中心向上搜索，获得晶状体的上下边界的坐标时，可以具体为：采用中值滤波对待分割图像进行滤波处理；从滤波处理后的图像底部中心向上搜索，获得晶状体的上下边界的坐标。其中，采用中值滤波对待分割图像进行滤波处理，可以降低因待分割图像采集设备等原因带来的图像噪声。
一种实现方式中，提取模块51在从待分割图像底部中心向上搜索，获得晶状体的上下边界的坐标时，可以具体为：从待分割图像底部中心位置开始，分别向左和向右确定第一预设宽度区域；计算第一预设宽度区域的每行像素均值，并向上搜索，获得晶状体的上下边界的坐标。该实现方式，通过计算第一预设宽度区域的每行像素均值，可以降低个别突变像素对搜索过程的干扰，从而提升所计算坐标的鲁棒性和精度。
同上述实现方式类似，提取模块51在由晶状体的中心位置向两侧进行边界搜索，获得晶状体的左右边界的坐标时，可以具体为：由晶状体的中心位置开始，分别向上和向下确定第二预设宽度区域；计算第二预设宽度区域的每列像素均值，并向两侧搜索，获得晶状体的左右边界的坐标。其中，通过计算第二预设宽度区域的每列像素均值，可以降低个别突变像素对搜索过程的干扰，从而提升所计算坐标的鲁棒性和精度。
进一步地，处理模块52可具体用于：通过ShuffleNet对感兴趣区域进行图像特征的提取，其中，ShuffleNet包含分组卷积部分和通道混淆部分；通过SkipNet对提取的图像特征进行上采样，计算类别概率图，SkipNet主要利用高分辨率特征图来提升分割精度；根据类别概率图，得到分割后的晶状体结构。具体地，分组卷积部分可降低计算量，通道混淆部分可保持准确度，提升网络性能。
图6为本发明另一实施例提供的晶状体分割装置的结构示意图。如图6所示，晶状体分割装置60包括存储器61和处理器62，以及存储在存储器61上可供处理器62执行的计算机程序。处理器62执行计算机程序使得晶状体分割装置60实现如上任一实施例中所述的方法。
需说明的是，对于存储器61及处理器62的个数，本发明实施例不对其进行限制，其均可以为一个或多个，图6以一个为例进行图示；存储器61以及处理器62之间，可以通过多种方式进行有线或者无线连接。
在上述基础上，进一步地，晶状体分割装置60还可以输出分割后的晶状体结构。因此，晶状体分割装置60还可以包括显示屏63。该显示屏63用于输出分割后的晶状体结构。
其中，显示屏63可以为电容屏、电磁屏或者红外屏。一般而言，显示屏63用于根据处理器62的指示显示数据，还用于接收作用于显示屏63的触摸操作，并将相应的信号发送给处理器62或晶状体分割装置60的其他部件。可选地，当显示屏63为红外屏时，其还包括红外触摸框，该红外触摸框设置在显示屏63的四周，其还可以用于接收红外信号，并将该红外信号发送至处理器62或晶状体分割装置60的其他部件。
本发明实施例还提供一种计算机可读存储介质，包括计算机可读指令，当处理器读取并执行所述计算机可读指令时，使得所述处理器执行如上述任一实施例中的步骤。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：只读内存(Read-OnlyMemory，简称：ROM)、随机存取存储器(Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种晶状体分割方法，其特征在于，包括：
通过预处理算法提取待分割图像的感兴趣区域，所述感兴趣区域包含有晶状体；
根据所述感兴趣区域及预设神经网络，得到分割后的晶状体结构，其中，所述预设神经网络包含编码部分和解码部分，所述编码部分基于ShuffleNet，ShuffleNet用于提取所述感兴趣区域的图像特征，所述解码部分基于SkipNet，SkipNet用于进行上采样，计算类别概率图。
2.根据权利要求1所述的方法，其特征在于，所述通过预处理算法提取待分割图像的感兴趣区域，包括：
从所述待分割图像底部中心向上搜索，获得晶状体的上下边界的坐标；
根据所述晶状体的上下边界的坐标，计算晶状体的中心位置的坐标；
由所述晶状体的中心位置向两侧进行边界搜索，获得晶状体的左右边界的坐标；
根据所述上下边界的坐标、左右边界的坐标，从所述待分割图像中提取感兴趣区域。
3.根据权利要求2所述的方法，其特征在于，所述从所述待分割图像底部中心向上搜索，获得晶状体的上下边界的坐标，包括：
采用中值滤波对所述待分割图像进行滤波处理；
从滤波处理后的图像底部中心向上搜索，获得晶状体的上下边界的坐标。
4.根据权利要求2所述的方法，其特征在于，所述从所述待分割图像底部中心向上搜索，获得晶状体的上下边界的坐标，包括：
从所述待分割图像底部中心位置开始，分别向左和向右确定第一预设宽度区域；
计算所述第一预设宽度区域的每行像素均值，并向上搜索，获得所述晶状体的上下边界的坐标。
5.根据权利要求2所述的方法，其特征在于，所述由所述晶状体的中心位置向两侧进行边界搜索，获得晶状体的左右边界的坐标，包括：
由所述晶状体的中心位置开始，分别向上和向下确定第二预设宽度区域；
计算所述第二预设宽度区域的每列像素均值，并向两侧搜索，获得所述晶状体的左右边界的坐标。
6.根据权利要求1所述的方法，其特征在于，所述根据所述感兴趣区域及预设神经网络，得到分割后的晶状体结构，包括：
通过ShuffleNet对所述感兴趣区域进行图像特征的提取，其中，ShuffleNet包含分组卷积部分和通道混淆部分；
通过SkipNet对提取的图像特征进行上采样，计算类别概率图；
根据所述类别概率图，得到分割后的晶状体结构。
7.一种晶状体分割装置，其特征在于，包括：
提取模块，用于通过预处理算法提取待分割图像的感兴趣区域，所述感兴趣区域包含有晶状体；
处理模块，用于根据所述感兴趣区域及预设神经网络，得到分割后的晶状体结构，其中，所述预设神经网络包含编码部分和解码部分，所述编码部分基于ShuffleNet，ShuffleNet用于提取所述感兴趣区域的图像特征，所述解码部分基于SkipNet，SkipNet用于进行上采样，计算类别概率图。
8.根据权利要求7所述的装置，其特征在于，所述提取模块，具体用于：
从所述待分割图像底部中心向上搜索，获得晶状体的上下边界的坐标；
根据所述晶状体的上下边界的坐标，计算晶状体的中心位置的坐标；
由所述晶状体的中心位置向两侧进行边界搜索，获得晶状体的左右边界的坐标；
根据所述上下边界的坐标、左右边界的坐标，从所述待分割图像中提取感兴趣区域。
9.一种晶状体分割装置，其特征在于，包括存储器和处理器，以及存储在所述存储器上可供所述处理器执行的计算机程序；
所述处理器执行所述计算机程序实现如如权利要求1至6中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，包括计算机可读指令，当处理器读取并执行所述计算机可读指令时，使得所述处理器执行如权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910414608.1A CN110176008A (zh) | 2019-05-17 | 2019-05-17 | 晶状体分割方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910414608.1A CN110176008A (zh) | 2019-05-17 | 2019-05-17 | 晶状体分割方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110176008A true CN110176008A (zh) | 2019-08-27 |
Family
ID=67691524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910414608.1A Pending CN110176008A (zh) | 2019-05-17 | 2019-05-17 | 晶状体分割方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110176008A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111210436A (zh) * | 2019-12-24 | 2020-05-29 | 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 | 晶状体分割方法、装置及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104091155A (zh) * | 2014-07-04 | 2014-10-08 | 武汉工程大学 | 光照鲁棒的虹膜快速定位方法 |
| CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
| CN109308462A (zh) * | 2018-09-10 | 2019-02-05 | 中国民航大学 | 一种指静脉和指节纹感兴趣区域定位方法 |
| CN109509179A (zh) * | 2018-10-24 | 2019-03-22 | 深圳市旭东数字医学影像技术有限公司 | 基于医学图像的眼球和晶状体的自动分割方法及系统 |
-
2019
- 2019-05-17 CN CN201910414608.1A patent/CN110176008A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104091155A (zh) * | 2014-07-04 | 2014-10-08 | 武汉工程大学 | 光照鲁棒的虹膜快速定位方法 |
| CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
| CN109308462A (zh) * | 2018-09-10 | 2019-02-05 | 中国民航大学 | 一种指静脉和指节纹感兴趣区域定位方法 |
| CN109509179A (zh) * | 2018-10-24 | 2019-03-22 | 深圳市旭东数字医学影像技术有限公司 | 基于医学图像的眼球和晶状体的自动分割方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| MOSTAFA GAMAL ETC.: ""SHUFFLESEG:REAL-TIME SEMANTIC SEGMENTATION NETWORK"", 《ARXIV:1803.03816V1[CS.CV]》 * |
| PENGSHUAI YIN ETC.: ""Automatic Segmentation o f Cortex and Nucleus in Anterior Segment OCT Images"", 《COMPUTATIONAL PATHOLOGY AND OPHTHALMIC MEDICAL IMAGE ANALYSIS》 * |
| 王延江等: "《数字图像处理》", 30 November 2016, 石油大学出版社 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111210436A (zh) * | 2019-12-24 | 2020-05-29 | 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 | 晶状体分割方法、装置及存储介质 |
| CN111210436B (zh) * | 2019-12-24 | 2022-11-11 | 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 | 晶状体分割方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110097559B (zh) | 基于深度学习的眼底图像病灶区域标注方法 | |
| TWI715117B (zh) | 醫療影像處理方法及裝置、電子設備及儲存介質 | |
| CN108596884B (zh) | 一种胸部ct图像中的食管癌分割方法 | |
| CN109754361A (zh) | 3d各向异性的混合网络：将来自2d图像的卷积特征传递到3d各向异性体积 | |
| CN109389584A (zh) | 基于cnn的多尺度鼻咽肿瘤分割方法 | |
| CN107274402A (zh) | 一种基于胸部ct影像的肺结节自动检测方法及系统 | |
| CN108615236A (zh) | 一种图像处理方法及电子设备 | |
| CN111951221A (zh) | 一种基于深度神经网络的肾小球细胞图像识别方法 | |
| CN110310289A (zh) | 基于深度学习的肺部组织图像分割方法 | |
| CN108765392B (zh) | 一种基于滑动窗口的消化道内镜病变检测和识别方法 | |
| CN113744183B (zh) | 肺结节检测方法及系统 | |
| CN107767362A (zh) | 一种基于深度学习的肺癌早筛装置 | |
| CN109635812B (zh) | 图像的实例分割方法及装置 | |
| CN110992376A (zh) | 基于ct图像的肋骨分割方法、装置、介质及电子设备 | |
| KR20190105180A (ko) | 합성곱 신경망 기반의 병변 진단 장치 및 방법 | |
| CN111768382A (zh) | 一种基于肺结节生长形态的交互式分割方法 | |
| CN110852330A (zh) | 一种基于单阶段的行为识别方法 | |
| CN110490843A (zh) | 一种眼底图像血管分割方法 | |
| CN113555087A (zh) | 一种基于卷积神经网络算法的人工智能阅片方法 | |
| CN114365190A (zh) | 基于vrds 4d医学影像的脾脏肿瘤识别方法及相关装置 | |
| CN113658165A (zh) | 杯盘比确定方法、装置、设备及存储介质 | |
| Abbasi-Sureshjani et al. | Boosted exudate segmentation in retinal images using residual nets | |
| CN113421240A (zh) | 一种基于超声自动乳腺全容积成像的乳腺分类方法及装置 | |
| CN116309615A (zh) | 一种多模态mri脑肿瘤图像分割方法 | |
| CN116883341A (zh) | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190827 |