CN110415252B - 一种基于cnn的眼周器官分割方法、设备和存储介质 - Google Patents

一种基于cnn的眼周器官分割方法、设备和存储介质 Download PDF

Info

Publication number
CN110415252B
CN110415252B CN201810384933.3A CN201810384933A CN110415252B CN 110415252 B CN110415252 B CN 110415252B CN 201810384933 A CN201810384933 A CN 201810384933A CN 110415252 B CN110415252 B CN 110415252B
Authority
CN
China
Prior art keywords
convolutional neural
periocular
neural network
eye
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810384933.3A
Other languages
English (en)
Other versions
CN110415252A (zh
Inventor
胡志强
孙窈
崔德琪
史华北
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Linking Medical Technology Co ltd
Original Assignee
Beijing Linking Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Linking Medical Technology Co ltd filed Critical Beijing Linking Medical Technology Co ltd
Priority to CN201810384933.3A priority Critical patent/CN110415252B/zh
Publication of CN110415252A publication Critical patent/CN110415252A/zh
Application granted granted Critical
Publication of CN110415252B publication Critical patent/CN110415252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于医学影像和计算机技术领域，涉及一种基于卷积神经网络的眼周器官的分割方法、设备和存储介质，该方法包括如下步骤：将待分割医学影像输入到训练好的卷积神经二分类网络中，获取医学影像中含有眼睛的横断面；在眼睛横断面中定位眼睛大致区域：分割出头颅后找到眼睛横断面中头颅的中心；根据人体解剖尺寸，通过头颅的中心定位眼睛大致区域；将训练好的用于勾画眼球的卷积神经网络在定位的眼睛大致位置处分割出眼睛勾画眼球；根据眼睛位置结合人体解剖结构，分别定位晶状体、视神经、脑垂体；再通过相应的卷积神经网络分别勾画出晶状体，视神经，脑垂体。

Description

一种基于CNN的眼周器官分割方法、设备和存储介质
技术领域
本发明属于医学影像和计算机技术领域，涉及一种基于卷积神经网络(CNN)的眼周器官(包括眼睛、晶状体、视神经、脑垂体)的分割方法、设备和存储介质。
背景技术
OARs(危及器官)勾画对放疗计划起到关键作用，而现在OARs勾画大多是医生手动勾画，使用配准进行辅助。例如，勾画每套CT大概需要花费3～4个小时，可能还需要修改，不仅耽误患者的治疗时间，而且医生的工作量也很大。
现在医生勾画OARs使用配准进行辅助，然而配准算法不但耗时较长，而且效果不稳定，还需要医生大量的修改。随着人工智能的发展，逐渐将深度学习应用到眼周器官的分割方法中。现有技术中，对头部定位的方法是首先对头部CT图像求梯度，然后通过梯度定位头颅中心坐标。因为每套CT中不止有脑部，可能还有颈部和胸腹部，使用这种头部定位方法还得先定位头部横断面，然后使用卷积神经网络进行眼周器官的分割。整个分割过程需要多个二分类网络，分割后效果不好，还需要通过条件随机场对眼周器官进行后处理，因此该方法不仅繁琐，鲁棒性还较差。
发明内容
本发明的目的在于为克服上述现有技术的缺陷而提供一种基于卷积神经网络(CNN)的眼周器官分割方法、设备和存储介质，其中眼周器官包括眼睛，晶状体，视神经，脑垂体。
为实现上述目的，本发明采用以下技术方案：
对于眼周器官(包括眼睛，晶状体，视神经，脑垂体)的快速精确分割首先需要定位眼睛横断面(眼睛所在的那些张CT图像)，然后通过简单的图像处理定位出眼睛的大概位置，然后使用卷积神经网络只在这个位置进行分割。由于晶状体、视神经、脑垂体都在眼睛后边，根据解剖学知识，可以通过眼睛的位置定位，然后只在这些定位的位置进行相应的勾画。
一种基于卷积神经网络的眼周器官的精确分割方法，其中眼周器官包括眼睛、晶状体、视神经、脑垂体，适于在计算设备中执行，包括如下步骤：
(1)对待分割的医学影像和用作训练数据的医学影像进行预处理；
(2)根据目标器官所在的图像位置，将训练数据的图像(images)与标签(labels)裁切成固定尺寸；
(3)对训练数据进行数据增强；
(4)训练用于从医学影像中识别含有眼睛横断面图像的卷积神经二分类网络；
(5)训练用于勾画眼球的卷积神经网络：
(6)将步骤(1)中预处理后的待分割医学影像输入到步骤(4)中训练好的卷积神经二分类网络中，获取医学影像中含有眼睛的横断面；
(7)在眼睛横断面中，定位眼睛大致区域：
(7a)将含有眼睛的横断面进行二值化处理，分割出头颅；
(7b)找到眼睛横断面中头颅的中心；
(7c)根据人体解剖尺寸，通过头颅的中心定位眼睛大致区域；
(8)使用步骤(5)训练好的用于勾画眼球卷积神经网络在步骤(7)中定位的眼睛大致位置处分割出眼睛，勾画眼球；
(9)根据(7c)定位出的眼睛位置结合人体解剖结构，分别定位晶状体、视神经、脑垂体；
(10)通过卷积神经网络分别勾画出晶状体，视神经，脑垂体的精确位置。
所述的医学影像为CT影像、核磁影像、PET影像或超声波影像。
步骤(1)中，所述的预处理为通过阈值处理以消除金属伪影的影响、和/或对医学影像的x，y平面进行插值以统一分辨率。
步骤(3)中，所述的数据增强是以训练数据的labels为中心进行随机抖动与随机旋转，同时labels对应的images也跟着作同样的处理。
步骤(4)中，卷积神经二分类网络的训练方法为：将数据增强后的训练数据的尺寸裁剪后输入到卷积神经二分类网络中进行分类训练，取部分训练数据作为验证集，当验证集的loss值小于事先设定的阈值时，停止训练，得到训练好的二分类卷积神经网络。
步骤(5)中，用于勾画眼球的卷积神经网络的训练方法为：将数据增强后的训练数据的尺寸裁剪后输入到卷积神经二分类网络中进行分类训练，取部分训练数据作为验证集，当验证集的loss值小于事先设定的阈值时，停止训练，得到训练好的二分类卷积神经网络。
步骤(5)中，用于勾画眼球的卷积神经网络为二维U型全卷积神经网络。
步骤(7a)中，所述的二值化处理是通过设置医学影像的灰度值或CT值，从而将背景与目标组织区分开。
步骤(7b)中，头颅的中心是通过先计算出头颅内所有连通区域的中心，然后将距离图像中心最近的连通区域中心设定为头颅中心。其中连通区域为平面上的一个区域G，如果在其中任做一条简单闭曲线，而闭曲线的内部总属于G，就称G为单连通区域。一个区域如果不是单连通区域，就称为多连通区域。
本发明还提供了一种计算设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由一个或多个处理器执行，所述的一个或多个程序包括用于上述基于卷积神经网络的眼周器官的精确分割方法的指令。
本发明还提供一种存储一个或多个程序的计算机可读存储介质，所述的一个或多个程序包括指令，所述指令适于由存储器加载并执行上述基于卷积神经网络的眼周器官的精确分割方法。
本发明具有以下有益效果：
本发明使用深度学习卷积神经网络可以实现对眼睛，晶状体，视神经，脑垂体的快速定位和精确分割，不但速度非常快，而且勾画精确。既不耽误患者的治疗时间，又大量减少了医生的工作量。不需要复杂的预处理和后处理即可达到了临床的标准，可以直接使用。
另外，由于已经定位到眼睛，所以晶状体，视神经，脑垂体的分割也可以依据解剖学知识直接通过这个位置直接定位，而不需要将眼睛分割完后通过眼睛的分割结果来定位。
附图说明
图1为本发明一个优选的实施例中含有头颅的CT图像。
图2为本发明一个优选的实施例中在长方框线内定位出的眼睛大致区域示意图。
图3为本发明一个优选的实施例中二分类网络结构示意图。
图4为本发明一个优选的实施例中二维U形全卷积分割神经网络结构示意图。
图5(1)为本发明一个优选的实施例中左右眼球、左右晶状体最终的分割效果图；
图5(2)为本发明一个优选的实施例中左右眼球、左右视神经最终的分割效果图；
图5(3)为本发明一个优选的实施例中脑垂体最终的分割效果图。
图6为本发明一个优选的实施例中基于卷积神经网络的眼周器官的精确分割方法的流程图。
具体实施方式
以下结合附图和实施例进一步说明本发明。
一种基于卷积神经网络的眼周器官的精确分割方法，其中眼周器官包括眼睛、晶状体、视神经、脑垂体，适于在计算设备中执行，包括如下步骤(如图6所示)：
(1)对待分割的医学影像和用作训练数据的医学影像进行预处理110；
本实施例中进一步优选地，医学影像可以选自CT影像、核磁影像、PET影像或超声波影像等。
其中，预处理为通过阈值处理以消除金属伪影的影响，例如装有金属假牙的病人拍摄的CT影像中会产生金属伪影，这是因为假牙的像素值远远高于人体组织，这就会带来很大的数据噪声；通过阈值处理可以消除金属伪影带来的影响。
在一个优选的实施例中，预处理还可以包括对医学影像的x，y平面进行插值以统一分辨率，例如可以将平面x，y方向进行插值以统一分辨率为(1.0,1.0)。
(2)根据目标器官所在的图像位置，将训练数据的图像(images)与标签(labels)裁切成固定尺寸120；
(3)对训练数据进行数据增强130；
数据增强是以训练数据的labels为中心进行随机抖动与随机旋转，同时labels对应的images也跟着作同样的处理，从而解决医疗数据不足的问题；
(4)训练用于从医学影像中识别含有眼睛横断面图像的卷积神经二分类网络140(其结构如图3所示)，该卷积神经二分类网络的训练方法为：
将数据增强后的训练数据进行尺寸裁剪；在一个示例性实施例中，考虑到感受野的问题将CT图片在原来512*512(单位mm*mm)(图1)的基础上剪切成含有目标器官(这里为眼睛)256*256(单位mm*mm)的大小图片(图1中正方形方框部分)；
然后输入到卷积神经二分类网络中进行分类训练，取部分训练数据(例如取训练集的五分之一)作为验证集，当验证集的loss值小于事先设定的阈值时停止训练，例如，loss值可以选择小于0.01或0.001等；
最后得到训练好的二分类卷积神经网络，这个网络可以从众多医学影像中找到含有目标器官的影像，例如从众多CT图像中找出含有目标器官(眼睛)的CT图像。
(5)训练用于勾画眼球的卷积神经网络150：
在本发明一个示例性实施中，用于勾画眼球的卷积神经网络为二维U型全卷积神经网络。该卷积神经网络的结构如图4所示，该网络左右两个路径是对称的，形成一个U形，是二维U型卷积神经网络。该网络的左边是一个收缩(下采样)路径，类似于传统的CNN识别；右边是一个扩张(上采样)路径，每一层卷积核的大小不一定相同，没有全连接层，只有卷积层和上、下采样层。其中左右两边较浅的高分辨率层用来解决像素定位的问题，较深的低分辨率层用来解决像素分类的问题。这是一个端到端的图像映射，即输入是一幅图像，输出也是一副图像。
采用该卷积神经网络具有诸多优点，例如：
1、使用的样本少，速度快，相比于传统的CNN避免了使用像素块而带来的重复存储和卷积计算问题；
2.把分类和定位这两个问题结合起来；
3.与经典的CNN在卷积层之后使用全连接层得到固定长度的特征向量进行分类(全连接层+softmax输出)不同，U-net的全卷积神经网络可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的特征图进行上采样,使它恢复到与输入图像相同的尺寸，同时保留了原始输入图像中的空间信息，从而可以对每个像素都产生一个预测，进行逐像素分类。
用于勾画眼球的卷积神经网络的训练方法为：
将数据增强后的训练数据进行尺寸裁剪；在一个示例性实施例中，考虑到感受野的问题可以将CT图片在原来512*512(单位mm*mm的基础上剪切成含有目标器官(这里为眼睛)64*128(单位mm*mm的大小图片(图2的长方形框部分)(注意，这里分割输入的图片大小与分类输入的图片大小不要求一致，因为分类与分割是两个独立的过程)
然后输入到卷积神经二分类网络中进行分类训练，取部分训练数据(例如取训练集的五分之一)作为验证集，当验证集的loss值小于事先设定的阈值时停止训练，例如，loss值可以选择小于0.01或0.001等；
训练的结果是得到一个分割网络，这个网络可以在含有目标器官(眼睛)的那些张CT图片上精确快速的勾画出眼球。
关于U型卷积神经网络的结构和训练方法可以进一步参考文献[1]和[2].
(6)将步骤(1)中预处理后的待分割医学影像输入到步骤(4)中训练好的卷积神经二分类网络中，获取医学影像中含有眼睛的横断面160；在本发明一个示例性实施例中，使用训练好的卷积神经二分类网络中可以在整套人体CT影像中找出含有眼睛的CT影像；
(7)在眼睛横断面中，定位眼睛大致区域170：
由于骨头的密度较高，CT影像中头骨的像素值明显异于周围组织，而眼睛离头颅中心是个定值，这样就利用这个中心定位出了眼睛的位置；
(7a)将含有眼睛的横断面进行二值化处理，分割出头颅171(如图1所示)；
其中二值化处理是通过设置医学影像的灰度值或CT值，从而将背景与目标组织区分开；在一个示例性实施例中，可以将CT图像中CT值于-400的区域设置为1，从而分割出CT影像的头颅；
(7b)找到眼睛横断面中头颅的中心172；
头颅的中心可以通过先计算出头颅内所有连通区域的中心，然后将距离图像中心最近的连通区域中心设定为头颅中心。其中连通区域为平面上的一个区域G，如果在其中任做一条简单闭曲线，而闭曲线的内部总属于G，就称G为单连通区域。一个区域如果不是单连通区域，就称为多连通区域。
(7c)根据人体解剖尺寸，通过头颅的中心定位眼睛大致区域173；
具体地，如图2所示，通过解剖学的方法，对应到CT图片上，以头颅为中心，向上90mm就到了两眼之间的中心点，然后以这个中心点为中心再切一个64mm*128mm的长方形框就可以覆盖住两眼了。
(8)使用步骤(5)训练好的用于勾画眼球的全卷积神经网络在步骤(7)中定位的眼睛大致位置处分割出眼睛，勾画眼球180；
(9)根据(7c)定位出的眼睛位置结合人体解剖结构，分别定位晶状体、视神经、脑垂体190；
(10)通过卷积神经网络分别勾画出晶状体，视神经，脑垂体的精确位置200。如图5(1)-(3)所示为通过卷积神经网络分别勾画的左右眼球与左右晶状体、左右眼球和左右视神经、脑垂体。其中用于勾画出晶状体，视神经，脑垂体的神经网络的结构与训练方法与步骤(5)中勾画眼球的网络相似，在此不再赘述。
本发明还提供一种计算设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由一个或多个处理器执行，上述一个或多个程序包括用于基于卷积神经网络的眼周器官的精确分割方法的指令，该方法包括如下步骤：
(1)待分割的医学影像和用作训练数据的医学影像进行预处理；
(2)根据目标器官所在的图像位置，将训练数据的图像与标签裁切成固定尺寸；
(3)对训练数据进行数据增强；
(4)训练用于从医学影像中识别含有眼睛横断面的卷积神经二分类网络；
(5)训练用于勾画眼球的卷积神经网络：
(6)将步骤(1)中预处理后的待分割医学影像输入到步骤(4)中训练好的卷积神经二分类网络中，获取医学影像中含有眼睛的横断面；
(7)在眼睛横断面中，定位眼睛大致区域：
(7a)将含有眼睛的横断面进行二值化处理，分割出头颅；
(7b)找到眼睛横断面中头颅的中心；
(7c)根据人体解剖尺寸，通过头颅的中心定位眼睛大致区域；
(8)使用步骤(5)训练好的用于勾画眼球的卷积神经网络在步骤(7)中定位的眼睛大致位置处分割出眼睛，勾画眼球；
(9)根据(7c)定位出的眼睛位置结合人体解剖结构，分别定位晶状体、视神经、脑垂体；
(10)通过相应的卷积神经网络分别勾画出晶状体，视神经，脑垂体的精确位置。
一种存储一个或多个程序的计算机可读存储介质，其中一个或多个程序包括指令，该指令适于由存储器加载并执行基于卷积神经网络的眼周器官的精确分割方法，该方法包括如下步骤：
(1)待分割的医学影像和用作训练数据的医学影像进行预处理；
(2)根据目标器官所在的图像位置，将训练数据的图像与标签裁切成固定尺寸；
(3)对训练数据进行数据增强；
(4)训练用于从医学影像中识别含有眼睛横断面的卷积神经二分类网络；
(5)训练用于勾画眼球的卷积神经网络：
(6)将步骤(1)中预处理后的待分割医学影像输入到步骤(4)中训练好的卷积神经二分类网络中，获取医学影像中含有眼睛的横断面；
(7)在眼睛横断面中，定位眼睛大致区域：
(7a)将含有眼睛的横断面进行二值化处理，分割出头颅；
(7b)找到眼睛横断面中头颅的中心；
(7c)根据人体解剖尺寸，通过头颅的中心定位眼睛大致区域；
(8)使用步骤(5)训练好的用于勾画眼球的卷积神经网络在步骤(7)中定位的眼睛大致位置处分割出眼睛，勾画眼球；
(9)根据(7c)定位出的眼睛位置结合人体解剖结构，分别定位晶状体、视神经、脑垂体；
(10)通过相应的卷积神经网络分别勾画出晶状体，视神经，脑垂体的精确位置。
本领域技术人员应当理解，以上计算机程序被处理器执行时实现的步骤可以参照上文对方法实施例的描述，并且在在不相冲突的前提下，上述装置实施例的内容和上述方法实施例的内容可以互为补充。
以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应当理解，这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被该机器执行时，该机器变成实践本发明的设备。
上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于这里的实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。
参考文献：
[1].Olaf Ronneberger,Philipp Fischer,Thomas Brox,”U-Net:ConvolutionalNetworks for Biomedical Image Segmentation,”International Conference onMedical Image Computing and Computer-Assisted Intervention,234-241(2015).
[2].Adnan Qayyum,Syed Muhammad Anwar,Muhammad Majid,Muhammad Awais,and Majdi Alnowami.Medical image analysis using convolutional neuralnetworks:A review.2017.

Claims (9)

1.一种基于卷积神经网络的眼周器官的精确分割方法，其中眼周器官包括眼睛、晶状体、视神经、脑垂体，适于在计算设备中执行，其特征在于：包括如下步骤：
(1)对待分割的医学影像和用作训练数据的医学影像进行预处理；
(2)根据目标器官所在的图像位置，将训练数据的图像与标签裁切成固定尺寸；
(3)对训练数据进行数据增强；
(4)训练用于从医学影像中识别含有眼睛横断面图像的卷积神经二分类网络；
(5)训练用于勾画眼球的卷积神经网络；
(6)将步骤(1)中预处理后的待分割医学影像输入到步骤(4)中训练好的卷积神经二分类网络中，获取医学影像中含有眼睛的横断面；
(7)在眼睛横断面中，定位眼睛大致区域：
(7a)将含有眼睛的横断面进行二值化处理，分割出头颅；
(7b)计算出头颅内所有连通区域的中心，然后将距离图像中心最近的连通区域中心设定为眼睛横断面中头颅的中心；
(7c)根据人体解剖尺寸，通过头颅的中心定位眼睛大致区域；
(8)使用步骤(5)训练好的用于勾画眼球的卷积神经网络在步骤(7)中定位的眼睛大致位置处分割出眼睛，勾画眼球；
(9)根据(7c)定位出的眼睛位置结合人体解剖结构，分别定位晶状体、视神经、脑垂体；
(10)通过相应的卷积神经网络分别勾画出晶状体，视神经，脑垂体的精确位置。
2.根据权利要求1所述的基于卷积神经网络的眼周器官的精确分割方法，其特征在于：所述的医学影像为CT影像、核磁影像、PET影像或超声波影像。
3.根据权利要求1所述的基于卷积神经网络的眼周器官的精确分割方法，其特征在于：步骤(1)中，所述的预处理为通过阈值处理以消除金属伪影的影响、和/或对医学影像的x，y平面进行插值以统一分辨率。
4.根据权利要求1所述的基于卷积神经网络的眼周器官的精确分割方法，其特征在于：步骤(3)中，所述的数据增强是以训练数据的标签为中心进行随机抖动与随机旋转，同时标签对应的图像也作同样的处理。
5.根据权利要求1所述的基于卷积神经网络的眼周器官的精确分割方法，其特征在于：步骤(4)中，卷积神经二分类网络的训练方法为：将数据增强后的训练数据的尺寸裁剪后输入到卷积神经二分类网络中进行分类训练，取部分训练数据作为验证集，当验证集的loss值小于事先设定的阈值时，停止训练，得到训练好的卷积神经二分类网络。
6.根据权利要求1所述的基于卷积神经网络的眼周器官的精确分割方法，其特征在于：步骤(5)中，用于勾画眼球的卷积神经网络的训练方法为：将数据增强后的训练数据的尺寸裁剪后输入到卷积神经二分类网络中进行分类训练，取部分训练数据作为验证集，当验证集的loss值小于事先设定的阈值时，停止训练，得到训练好的全卷积神经网络。
7.根据权利要求1或6所述的基于卷积神经网络的眼周器官的精确分割方法，其特征在于：步骤(5)中，用于勾画眼球的卷积神经网络为二维U型全卷积神经网络。
8.一种计算设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由一个或多个处理器执行，所述的一个或多个程序包括用于上述权利要求1-7中任一所述的基于卷积神经网络的眼周器官的精确分割方法的指令。
9.一种存储一个或多个程序的计算机可读存储介质，所述的一个或多个程序包括指令，所述指令适于由存储器加载并执行上述权利要求1-7中任一所述的基于卷积神经网络的眼周器官的精确分割方法。
CN201810384933.3A 2018-04-26 2018-04-26 一种基于cnn的眼周器官分割方法、设备和存储介质 Active CN110415252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810384933.3A CN110415252B (zh) 2018-04-26 2018-04-26 一种基于cnn的眼周器官分割方法、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810384933.3A CN110415252B (zh) 2018-04-26 2018-04-26 一种基于cnn的眼周器官分割方法、设备和存储介质

Publications (2)

Publication Number Publication Date
CN110415252A CN110415252A (zh) 2019-11-05
CN110415252B true CN110415252B (zh) 2022-08-05

Family

ID=68346029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810384933.3A Active CN110415252B (zh) 2018-04-26 2018-04-26 一种基于cnn的眼周器官分割方法、设备和存储介质

Country Status (1)

Country Link
CN (1) CN110415252B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127444B (zh) * 2019-12-26 2021-06-04 广州柏视医疗科技有限公司 基于深度语义网络的ct影像中自动识别放疗危及器官的方法
CN111369506B (zh) * 2020-02-26 2022-08-02 四川大学 一种基于眼部b超图像的晶状体浑浊度分级方法
CN112598634B (zh) * 2020-12-18 2022-11-25 燕山大学 基于3d cnn和迭代搜索的ct影像器官定位方法
EP4316350A1 (en) 2022-08-05 2024-02-07 Siemens Healthcare GmbH Image based detection of characteristic eye movements

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101238987A (zh) * 2007-09-06 2008-08-13 深圳先进技术研究院 一种关于ct脑出血图像的处理方法
CN101685533A (zh) * 2009-08-18 2010-03-31 清华大学深圳研究生院 眼底oct图像的视神经纤维层自动分割方法
CN104173071A (zh) * 2013-05-28 2014-12-03 Ge医疗系统环球技术有限公司 自动确定岩骨的扫描范围的方法和装置
CN104933729A (zh) * 2014-03-18 2015-09-23 上海联影医疗科技有限公司 一种颅内脑组织的提取方法和装置
CN105405119A (zh) * 2015-10-21 2016-03-16 复旦大学 基于深度置信网络和三维模型的胎儿正中矢状面自动检测方法
CN106203375A (zh) * 2016-07-20 2016-12-07 济南大学 一种基于人脸图像中人脸和人眼检测的瞳孔定位方法
CN106780518A (zh) * 2017-02-10 2017-05-31 苏州大学 一种基于随机游走和图割的活动轮廓模型的mr图像三维交互分割方法
CN107705305A (zh) * 2017-10-20 2018-02-16 上海联影医疗科技有限公司 一种医学图像处理的方法及装置
CN107704886A (zh) * 2017-10-20 2018-02-16 北京工业大学 一种基于深度卷积神经网络的医疗图像分级系统和方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10417788B2 (en) * 2016-09-21 2019-09-17 Realize, Inc. Anomaly detection in volumetric medical images using sequential convolutional and recurrent neural networks
CN107437092B (zh) * 2017-06-28 2019-11-15 苏州比格威医疗科技有限公司 基于三维卷积神经网络的视网膜oct图像的分类方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101238987A (zh) * 2007-09-06 2008-08-13 深圳先进技术研究院 一种关于ct脑出血图像的处理方法
CN101685533A (zh) * 2009-08-18 2010-03-31 清华大学深圳研究生院 眼底oct图像的视神经纤维层自动分割方法
CN104173071A (zh) * 2013-05-28 2014-12-03 Ge医疗系统环球技术有限公司 自动确定岩骨的扫描范围的方法和装置
CN104933729A (zh) * 2014-03-18 2015-09-23 上海联影医疗科技有限公司 一种颅内脑组织的提取方法和装置
CN105405119A (zh) * 2015-10-21 2016-03-16 复旦大学 基于深度置信网络和三维模型的胎儿正中矢状面自动检测方法
CN106203375A (zh) * 2016-07-20 2016-12-07 济南大学 一种基于人脸图像中人脸和人眼检测的瞳孔定位方法
CN106780518A (zh) * 2017-02-10 2017-05-31 苏州大学 一种基于随机游走和图割的活动轮廓模型的mr图像三维交互分割方法
CN107705305A (zh) * 2017-10-20 2018-02-16 上海联影医疗科技有限公司 一种医学图像处理的方法及装置
CN107704886A (zh) * 2017-10-20 2018-02-16 北京工业大学 一种基于深度卷积神经网络的医疗图像分级系统和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Joint Optic Disc and Cup Segmentation Based on Multi-Label Deep Network and Polar Transformation;Huazhu Fu 等;《IEEE Transactions on Medical Imaging》;20180109;第37卷(第7期);第1597-1605页 *
基于分频的CT金属伪影去除算法研究;陈娇;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140315;第2014年卷(第3期);I138-888 *
基于深度卷积神经网络的人脸识别技术综述;景晨凯 等;《计算机应用与软件》;20180131;第35卷(第1期);第223-231页 *

Also Published As

Publication number Publication date
CN110415252A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN110415252B (zh) 一种基于cnn的眼周器官分割方法、设备和存储介质
CN110310287B (zh) 基于神经网络的危及器官自动勾画方法、设备和存储介质
US11379975B2 (en) Classification and 3D modelling of 3D dento-maxillofacial structures using deep learning methods
US9659364B2 (en) Probabilistic refinement of model-based segmentation
CN106340021B (zh) 血管提取方法
US8385688B2 (en) System and method for automatic recognition and labeling of anatomical structures and vessels in medical imaging scans
WO2019135234A1 (en) Systems and methods for the segmentation of multi-modal image data
Fang et al. Reconstructing perceptive images from brain activity by shape-semantic gan
RU2654199C1 (ru) Сегментация тканей человека на компьютерном изображении
US11798161B2 (en) Method and apparatus for determining mid-sagittal plane in magnetic resonance images
Tao et al. Pseudo CT image synthesis and bone segmentation from MR images using adversarial networks with residual blocks for MR-based attenuation correction of brain PET data
CN110827961A (zh) 一种自适应放疗结构自动勾画方法、设备和存储介质
EP3716201A1 (en) Medical image enhancement
Song et al. An efficient deep learning based coarse-to-fine cephalometric landmark detection method
WO2023047118A1 (en) A computer-implemented method of enhancing object detection in a digital image of known underlying structure, and corresponding module, data processing apparatus and computer program
Mondal et al. Automatic craniofacial structure detection on cephalometric images
CN113538495A (zh) 一种基于多模态影像的颞叶勾画方法、勾画系统、计算设备和存储介质
CN112308764A (zh) 图像配准方法及装置
CN116258671B (zh) 一种基于mr图像智能勾画方法、系统、设备及存储介质
CN115359257B (zh) 基于深度学习的脊椎图像分割方法及手术导航定位系统
Al Abboodi et al. Supervised Transfer Learning for Multi Organs 3D Segmentation With Registration Tools for Metal Artifact Reduction in CT Images
CN113192099B (zh) 一种组织提取方法、装置、设备和介质
CN113689353A (zh) 三维图像的增强方法、图像增强模型的训练方法及装置
Yu et al. Multiple organ segmentation framework for brain metastasis radiotherapy
US20230154009A1 (en) Systems and methods for automatic segmentation of organs from head and neck tomographic images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant