CN112258486A - 基于进化神经架构搜索的眼底图像视网膜血管分割方法 - Google Patents

Abstract

本发明提供基于进化神经架构搜索的眼底图像视网膜血管分割方法，以U型解码‑编码结构为骨干网络对其中模块的内部结构进行搜索和优化，从而为这些模块寻找到比人工设计更好和具有更低计算复杂度的结构和操作；本发明的神经网络模型能更有效地处理眼底图像的复杂情况，对复杂的眼底图像病灶、血管中心反光现象的干扰和光照不均衡现象的干扰具有较强的鲁棒性，能更准确地提取视网膜血管的特征，从而提高整张图像的分割准确率。既保证了架构的灵活性也提高了架构搜索的效率，并且改进了遗传算法中的交叉操作，提高了遗传算法的在架构搜索过程中的搜索能力，更有潜力应用于临床上的疾病诊断。

Description

基于进化神经架构搜索的眼底图像视网膜血管分割方法

技术领域

本发明属于计算机技术和图像处理技术领域，具体涉及基于进化神经架构搜索的眼底图像视网膜血管分割方法。

背景技术

视网膜眼底图像分析被广泛用于如青光眼和白内障等眼科疾病、糖尿病、高血压和动脉硬化等心血管类疾病的诊断，筛查和临床研究。对视网膜血管的精确分割是视网膜眼底图像分析中最重要的一个步骤，视网膜血管不但能反映如糖尿病视网膜病变等疾病的病情，还能帮助如微动脉瘤和硬性渗出等视网膜眼底病灶的定位和诊断。但是在临床实践中，视网膜血管分割一般由眼科医师或专家标注完成，是一项需要熟练技巧，乏味而耗时的工作。再者，不同观察者的经验判断，主观感受都不一样，即便是对同一张视网膜眼底图像进行血管分割标注，不同观察者给出的血管分割结果也各不相同。因此传统的手工视网膜血管分割不仅耗费大量人力，而且没有办法保证血管分割的精度和效率由于视网膜病变、血管中心反光现象、血管背景对比度低、血管分支和拓扑结构复杂等影响，给视网膜血管分割带来了一定的难度。

据调研，现如今对眼底血管进行分割的方法大致可以分为三大类：传统数字图像处理方法、无监督方法和有监督方法。

因为视网膜眼底图像成像质量常会受如噪声、光照不均衡和血管和背景对比度低等因素影响，采用传统数字图像处理方法得到的血管分割效果并不理想，且处理过程十分耗时。

无监督方法可分为三个子类：匹配滤波、血管跟踪和形体学方法。匹配滤波利用分段线性逼近以及视网膜血管的类高斯分布来设计匹配的滤波器内核。血管跟踪使用局部信息来划分两点之间的血管，血管纵向横截面的中心由灰度值和血管弯曲度决定。形态学方法常用于提取复杂图像结构，构造有用的特征表达，描述如边界、骨架和凸包等图像区域形状。形态学操作具有速度快、抗噪声能力强的优点，但是在处理高弯曲度地血管时，效果较差。

有监督方法可以被看作是像素级别的二分类问题。即每个像素属于血管或非血管。常采用逐像素分类器来确定其属性，如采用深度卷积神经网络对血管像素和非血管像素进行分类。在处理大规模视网膜图像时，像素级方法耗时且难以满足临床要求。

总体而言，采用传统图像处理方法对视网膜血管进行分割，其对图像的要求较高，且操作复杂，耗时，得到的分割效果不太理想，精度不高；采用无监督方法，神经网络模型通常涉及较多需要满足的附加条件，对图像的质量要求较高，且分割出的血管精度较低；有监督方法中，神经网络模型需要逐层提取图像特征，丢失许多有用的信息，导致神经网络模型学得的参数不能完全刻画血管特征。近年来随着深度学习的发展，用深度学习进行图像特征提取有着很好的效果，也有人尝试用深度学习来进行视网膜血管分割。采用深度学习方法来对视网膜血管进行分割的方法比较多，均是通过神经网络来进行特征训练，以便于对视网膜血管进行分割。现有的基于U-Net的编码器解码器架构的深度神经网络已成为医学图像处理任务的常用技术手段和基准模型。《Recurrent Residual Convolutional NeuralNetwork based on U-Net(R2U-Net)for Medical Image Segmentation》提出了通过结合残差连接和循环卷积来改进U-Net的网络架构，改善了基于图像补丁中心点分类的视网膜血管分割效果。类似地，《Weighted Res-UNet for High-Quality Retina VesselSegmentation》提出了利用残差模块代替U-Net中的子模块，构建了Weighted Res-UNet用于视网膜血管分割。手工设计高性能神经网络模型往往需要大量重复的工作，并且对设计者的经验知识有着较高的要求。

近期，用于自动设计神经网络的神经架构搜索已经得到许多研究者的关注，根据搜索方法的不同可以将其分成三大类：基于强化学习的方法、基于演化算法的方法和基于梯度的方法。基于强化学习的方法把神经网络自动设计的过程建模为一个马可夫决策过程，通过不断的试错和采样优化生成神经网络的控制器，最终让改生成器具有生成性能优异神经架构的能力；基于演化算法的方法则是把神经架构搜索过程建模为一个优化问题，通过演化算法的迭代和优胜劣汰，逐步优化种群中的个体，以得到所优化的神经架构；基于梯度的方法则是对搜索空间中的每个元素都分配相应的权重，经过松弛处理后，通过梯度下降算法交替地对搜索空间的权重和模型权重参数进行更新，最后依据搜索空间相关权重的较大值得出所优化的模型。自从神经架构搜索在图像分类任务中去应用成功以后，已经被研究者扩展至图像分割和目标检测领域，也有部分的工作扩展到了医学图像分割领域，但目前没有工作把神经架构搜索应用于视网膜血管分割。

这些现有技术的缺点是：

传统的视网膜血管分割工作一般由眼科医师等具备相关专业知识和技能的观察者手工标注完成。这是一项需要熟练技巧，乏味而耗时的工作。再者，不同观察者的经验判断，主观感受都不一样，即便是对同一张视网膜眼底图像进行血管分割标注，不同观察者给出的血管分割结果也各不相同。因此传统的手工视网膜血管分割不仅耗费大量人力，而且没有办法保证血管分割的精度和效率。

采用传统图像处理方法对视网膜血管进行分割，其对图像的要求较高，且操作复杂，耗时，得到的分割效果不太理想，精度不高；采用无监督方法，神经网络模型通常涉及较多需要满足的附加条件，对图像的质量要求较高，且分割出的血管精度较低；有监督方法中，神经网络模型需要逐层提取图像特征，丢失许多有用的信息，导致神经网络模型学得的参数不能完全刻画血管特征。

这些人工设计的基于U-Net的模型还有一些局限性，在眼底图像的复杂情况下仍然难以比较准确地获取脉管树的结构，对错综交叉和细小的血管分割效果还不理想。此外，这些模型通常有着较高的内存需求和计算复杂度，意味着它们很难运行在没有足够计算力的设备上。

现有的用于自动化设计神经网络的神经架构搜索方法，特别是基于U-Net的方法中，更多地是对神经网络模型模块的超参数和操作进行搜索，而没有灵活地搜索每个模块内部的拓扑结构和操作，这样局限了神经架构的多样性，也局限了自动设计的神经架构性能。

导致现有技术缺点的原因如下：

1、视网膜眼底图像的复杂性:非血管组织结构和视网膜血管结构重叠成像，降低了视网膜血管结构的清晰度，特别是宽度较小的血管分支和眼底图像背景的对比度通常较低，使得精确分割细小的视网膜血管分支成为一个难度。此外，在每个人的眼球深度不一，不同眼底相机成像效果参差不齐等等因素的影响下，获取到的视网膜眼底图像可能会存在如模糊，光照不均等。

2、复杂的视网膜血管拓扑结构：血管中心反光区域的图像像素灰度值较亮，和普通血管像素灰度值的分布范围差异较大。血管中心反光使得带有中心反光的血管结构容易被误判为两条平行的血管，对这类血管的精确分割也是一种挑战。

3、图像背景的干扰：除了图像质量和复杂血管结构带来的干扰以外，正常的视网膜眼底图像中还包含着如视盘、黄斑等其他组织结构的背景图像。此外，异常的视网膜图像中，还可能存在如渗出、血管出血、棉絮状斑和微动脉瘤等病灶。眼底图像的复杂图像背景信息给视网膜血管分割带来了一定的难度。

4、经验知识的局限性：人工设计神经网络更多地是依靠人的经验知识，并没有太多坚实的理论支撑，往往都是先设想，后实验验证，若有效果再采用该方案。为了使神经网络的性能更出色，我们倾向于把神经网络设计的更大、更复杂，以至于模型往往有更高的计算复杂度。同时，由于人的精力和知识的局限，人工设计的神经网络架构并不是最优的架构。

5、搜索空间和搜索算法的不合理设计：搜索空间直接决定了自动化设计的神经网络模型性能的上限，不合理的搜索空间会直接影响自动设计的神经网络的架构灵活性，从而无法搜索到性能出色的架构，也会影响到架构搜索的效率。如果搜索空间局限了搜索的架构只能有着较高的计算复杂度，那么也无法得到轻型的架构。搜索算法则直接影响在搜索空间中搜到出色架构的效率，不好的搜索算法意味着较低的搜索效率，以至于浪费计算资源。

综上，由于视网膜病变、血管中心反光现象、血管背景对比度低、血管分支和拓扑结构复杂、人经验知识的局限性和搜索空间和搜索算法的设计等因素，自动设计用于视网膜血管分割的轻型神经网络模型是有挑战性和有必要性的。

发明内容

本发明的目的在于提出基于进化神经架构搜索的眼底图像视网膜血管分割方法，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。

本发明提出的基于进化神经架构搜索的眼底图像视网膜血管分割方法，用于解决人工设计视网膜血管分割神经网络模型工作繁琐、工作量大以及所设计的模型较复杂和在复杂的眼底图像中对视网膜血管分割不精确的问题。主要是提出了一种基于U型编码-解码结构的神经架构搜索方法，在特定的搜索空间中，使用遗传算法对U型编码-解码结构的不同模块的内部结构进行搜索以实现轻型U型卷积神经网络模型的自动化设计，所设计的轻型神经网络模型能自动且精确地对眼底图像视网膜血管进行分割。

由于视网膜血管分割任务中的血管结构形态学特征差异巨大，血管粗细变化动态范围大的任务难点，以及人工设计视网膜血管分割神经网络模型工作繁琐、工作量大以及所设计的模型较复杂和在复杂的眼底图像中对视网膜血管分割不精确的原因，提出了一种名为Genetic U-Net的基于U型编码-解码结构神经架构搜索方法，在特定和灵活的搜索空间中，使用遗传算法对U型编码-解码结构的不同模块的内部结构进行搜索以实现轻型U型卷积神经网络模型的自动化设计，所设计的轻型神经网络模型具有较低的计算复杂度并且能精确地对眼底图像视网膜血管进行分割。

为了实现上述目的，根据本发明的一方面，提供基于进化神经架构搜索的眼底图像视网膜血管分割方法，所述方法包括以下步骤：

将视网膜图像数据集划分为训练集、验证集和测试集；

构建神经网络模型；

对神经网络模型进行优化得到优化神经网络模型；

以训练集对优化神经网络模型训练得到视网膜图像分割模型；

通过视网膜图像分割模型对输入的视网膜图像进行视网膜图像分割。

进一步地，在S100中，视网膜图像数据集为公开的公共数据集如DRIVE、STARE和CHASE_DB1等视网膜血管分割的数据集。

进一步地，构建神经网络模型的方法为：所述神经网络模型以U-Net神经网络为基础，是一个对称的卷积神经网络架构，由一个编码器E和一个解码器D构成。编码器E和解码器D都分别包含编码模块ei(i＝0,1,2,3)和解码模块dj(j＝0,1,2)。从上到下，U-Net可以被分成不同的阶段Sk(k＝0,1,2,3)，相同阶段的特征图维度是不变的。除了最后一个阶段，其他所有阶段都使用跳连(Skip connection)将编码器E所提取的不同语义信息传递给解码器D，这样既可以加强解码器和编码器之间的联系，也可以减轻模型训练中的梯度消散问题。编码器D需要融合来自跳连和上采样的信息，常用的特征融合操作有两种：拼接和对位相加。原始U-Net所使用的特征融合方式是特征图拼接，但有一些U-Net变体使用了对位相加的特征融合方式也得到了很好的结果。相较于对位相加，拼接的特征融合方式会生成更大的特征图，以导致更高的计算复杂度。为了减轻模型的计算复杂度，选择对位相加(对应元素位置数据相加)的方式用以特征融合；另外，使用太大搜索空间会增加架构搜索的难度，需要长时间的搜索才能得到令人满意的架构，从而浪费计算资源；使用太小搜索空间则会限制架构的灵活性，搜索空间中很可能不包含理想的架构；如果我们能基于一些先验知识设置一个合理且紧凑的搜索空间，这样就可以在不丢失架构灵活性的前提下高效地搜索到最优的架构。

进一步地，将所述神经网络模型中,由于U-Net及其变体的在许多图像分割任务上的成功应用说明了U型编码-解码结构具有很强的应用性。基于这一个先验知识，我们使用包含7个模块和4个阶段的U型编码-解码结构作为我们方法搜索空间的骨干，这样，我们就可以通过调整模块的内部结构而寻找到令人满意的架构。通常来说，更少的阶段意味着更小的模型和更少的模块，针对一些任务很可能会因为模型深度的不足而使模型表现较差；更多阶段对应着更深的模型和更大的搜索空间，这样也可能会导致更低的搜索效率和更高的计算复杂度，即便在更大的搜索空间中可能存在更好的模型。所以，我们的方法使用了一种折中的方案，期待从合理的搜索空间中找到一个规模较小且性能足够好的架构；在原始的U-Net中，每个模块的内部结构都由两个基本的3*3卷积+ReLU层组成。U-Net的变体通常通过对U-Net模块的内部结构进行调整以获得更好的性能，这也说明U-Net模块内部结构的重要性。

进一步地，将所述神经网络模型中的编码模块和解码模块统称为模块，每个模块的内部结构都是由节点和连接各节点的边组成的，每个节点代表一个操作单元或者一个操作序列，每条边代表的是两个节点间具有连接关系。使用二值编码表示模块内部节点间的连接关系，先将模块中的节点分成两类，默认节点和中间节点。默认节点包括默认输入节点和默认输出节点，其作用是为了保证每位二值编码的有效性，默认输入节点会接收先前模块输出的数据，并将所输出的数据传送给每个没有前置的节点；默认输出节点则接收所有没有后置的节点的输出数据，并把这些数据加起来并处理，然后再把数据传向池化层(最大池化)。对于模块中另外的K个中间节点)v_k(k＝0,1,2,…,K-1)，使用

位比特编码这些节点间的连接关系，第一位比特表示的是(v₀,v₁)的连接关系，接下来的两位比特表示的是(v₀,v₂)和(v₁,v₂)的连接关系，以此类推，直到后K-1位比特用以表示v₁,v₂,…,v_K-2和v_K-1之间的连接关系。为保证模块不过于复杂，中间节点数需要限制在较小的范围内，本方法把K设置成5。其中，如果两个节点间对应的比特是1，则说明它们之间相连接，后面的节点会把前面节点的输出作为输入的一部分，如果比特是0，则说明对应的两个节点间不存在连接；节点都会把它们的所有输入先加起来再进行处理。

进一步地，在所述神经网络模型中构建16个操作序列作为模块中节点的操作选项，每个操作序列都是由一些基本的操作单元所组成的，包括3*3卷积(Conv)、5*5卷积、ReLU激活函数、Mish激活函数和实例归一化(Instance normalization)；为了搜索到轻型神经网络架构，每个操作序列中卷积操作的卷积核个数C需要限制在以较小的范围内，将C设置为20；这些操作序列主要的不同体现在卷积核的大小，激活函数，激活方式(前激活或者后激活)和归一化类型(是否使用实例归一化)，因此使用一段4比特的二值编码表示这些操作序列。假设模块中的节点都是相同的操作序列，通过多个模块基因对应U-Net网络中的4个编码模块和3个解码模块，所以每个模块基因由一个4比特的操作基因和一个10比特的连接基因组成，操作基因是为卷积操作(3*3或5*5)，激活函数(ReLu或Mish)，激活方式(前激活或者后激活)和归一化类型(是否使用实例归一化)等操作序列的编码；而连接基因是各个节点间的连接关系的编码；并且，7个模块基因一起构成了一个神经架构的基因型。

进一步地，对神经网络模型进行优化得到优化神经网络模型的方法包括以下步骤：

S101：所述神经网络模型是一个种群变的越来越好的迭代过程，通过迭代和竞争，种群中个体会被不断提升。每个个体代表一个神经架构，个体的适应度值取决于对应架构的性能。以每个个体代表一个神经架构，个体的适应度值取决于对应架构的性能；首先随机初始化种群(由N个个体组成)(取N为20)，N为种群规模；然后演化T代，T为最大进化代数，(T取50)，每一代都会包含着交叉、变异和选择操作，p_c为交叉概率，p_m为变异概率，p_b为每比特的变异概率；生成新的个体后，根据所提供的数据从零开始训练这些新生成个体所表示的神经架构，以获得其适应值；

S102：随机初始化规模为N个使用二值编码的个体作为初始化种群P₀；

S103：评估种群P₀中个体的适应度值；

S104：设置变量t的初始值为0，t为自然数取值为[0,T]，令Q_t为种群；

S105：设置Q_t为空集；

S106：从P_t中选择两个父代个体p₁和p₂；

S107：将父代个体p₁和p₂分别以概率p_c、p_m和p_b进行交叉和变异以生成两个子代个体q₁和q₂；

S108：当|Q_t|<N时将Q_t∪q₁∪q₂赋值到Q_t中并转到步骤S106，否则转到步骤S109；

S109：评估种群Q_t中个体的适应度值；

S110：使用相应的环境选择方法从P_t∪Q_t选出N个个体到种群P_t+1中；

S111：当t小于T时，将变量t增加1并且转到步骤S105，否则转到步骤S112；

S112：输出种群P_t中适应度值最大的个体。

其中，两个个体p1和p2在每次选择中均为不同的个体。

进一步地，在S106和S110中，S106中的从P_t中选择两个父代个体p₁和p₂的选择方法和S110中的环境选择方法为:从当前种群P_t和所生成的子代Q_t中选出S个最好的个体进入下一代种群P_t+1，S为5，此时，将被选出的个体也会从P_t∪Q_t中移除。然后，继续使用二元锦标赛选择法从P_t∪Q_t选择其他的个体进入下一代种群，直至下一代种群P_t+1和当前种群P_t的种群规模相同。

进一步地，在S106和S110中，S106中的从P_t中选择两个父代个体p₁和p₂的选择方法和S110中的环境选择方法为:遗传算法的交叉操作，为了保证种群个体间的信息交换，有效的信息交换可以保证算法的收敛性；传统遗传算法常选择单点交叉或者两点交叉生成子代，但这两种交叉操作搜索步长较小，在基因编码长度较长时，对算法性能的提高并不理想；多点交叉相较于单点交叉和两点间交叉有着更大的搜索步长，在基因编码长度较长时会使算法的表现更好，考虑到我们方法中个体有着较长的基因编码，我们选择了多点交叉操作用于生成子代。另外，考虑到两个相似的个体被选中进行交叉，这样生成的子代个体与父代个体如果比较相似很可能意味着这时的交叉操作很可能是没有意义的；为了保证算法的搜索能力，先通过二元锦标赛选择法选择两个个体p1和p2，并通过公式(1)计算两个个体的差异值diff，如果差异值diff大于我们所设定的阈值μ＝0.2，则将这两个个体设定为待交叉的父代个体，否则，p1和p2会被同样的方式重新选择，如果10次重新选择后，p1和p2仍然不满足要求，最后一次选择的个体将会被设定为待交叉的父代个体。之后，所选定的父代个体会以Pc＝0.9的概率进行差异引导的交叉操作。

其中，两个个体间差异值的计算公式如下：

p1和p2代表两个个体，L_gene是个体基因的长度，sum()为求和函数，XOR()为异或函数。

进一步地，差异引导的交叉操作的方法包括以下步骤：

S201：令P_t为当前种群，p_c为交叉概率，μ为差异阈值，

符号←表示为设置值或赋值，设置变量j的初始值为0；

S202：从种群P_t中随机选择两个不同个体，并从中选择出适应度值较大的个体作为p₁；

S203：再次从种群P_t中随机选择两个不同个体，并从中选择出适应度值较大的个体p₂；其中，p₁不等于p₂；

S204：计算个体p₁和p₂的差异度diff；

S205：如果diff>μ则转到步骤S206，否则令变量j增加1并判断是否j≥10，如果j≥10则转到步骤S206，若j<10则转到步骤S202；

S206：从(0,1)中随机生成一个数r；

S207，如果r<p_c则计算个体p₁和p₂的基因长度len，如果r>＝pc，则跳转到S212；

S208，从[0,len)中随机选择10个不同的整数并对这些整数进行从小到大排序得到数列ints；

S209，把ints按顺序分成5对(i₀,i₁),(i₂,i₃),(i₄,i₅),(i₆,i₇),(i₈,i₉)，设置变量k的初始值为0；

S210，将p₁[i_2k:i_2k+1]和p₂[i_2k:i_2k+1]进行交换；p₁[i_2k:i_2k+1]的意义为个体p₁中的第i_2k和i_2k+1个比特位；

S211：否则令变量k增加1并判断是否k≥5，如果k≥5则转到步骤S211，若k<5则转到步骤S209；

S212：将个体p₁和p₂输入给个体o₁,o₂；

S213：输出交换好的个体o₁,o₂。

进一步地，评估个体适应度值的方法包括以下步骤：

S301：令需要评估适应度值的种群为P_t,训练数据为D_train,验证数据为D_valid，individual为个体；

S302：把个体individual转换成其对应的神经网络架构arch；

S303：对架构arch的权重参数进行，并初始化代数epoch←0，最佳适应值F1-score_best←0，符号←表示为设置值或赋值；

S304：使用训练数据D_train通过梯度下降算法训练架构arch一轮，epoch←epoch+1；

S305：如果epoch>80则使用验证数据D_valid验证正在训练中的架构arch从而得到适应度值F1-score；

S306：如果F1-score>F1-score_best则F1-score_best←F1-score；

S307：如果epoch<130则转到步骤S304，否则把F1-score_best设置为个体individual的适应值并且

转到步骤S308；

S308：判断每个在P_t中的个体individual是否全部评估完了适应度值，如果是则转到步骤S309,如果不是则转到步骤S302开始评估没有评估完成的个体individual的适应度值；

S309：输出已评估适应度值的种群P_t。

进一步地，变异操作的方法为：在选择过程中，将性能好的个体和性能相对较差的个体都选择进入下一代种群。从当前种群P_t和所生成的子代Q_t中选出S个(本实施例中S取5)最好的个体进入下一代种群P_t+1，此时，这些被选出的个体也会从P_t∪Q_t中移除。然后继续使用二元锦标赛选择法从P_t∪Q_t选择其他的个体进入下一代种群，直至下一代种群P_t+1和当前种群P_t的种群规模相同。交叉操作产生的子代个体以pm＝0.7的概率变异，个体确定变异后，其基因的每一比特以pb＝0.05的概率翻转。

进一步地，适应度值评估个体的适应度值是其对应架构在所提供的数据上视网膜图像分割的F1-score，评估适应度值的方法总结了评估种群中个体的步骤，每一个体都使用这样方式进行评估。在评估的开始前，每个个体都需要将其解码为对应的神经架构。架构开始训练之前，使用He Initialization初始化架构的权重参数，然后，基于所提供的训练数据，使用以Adam作为基础优化器的Lookahead方法训练神经架构。从第80轮开始，在训练集上的训练的每一轮结束后都使用验证数据验证训练中架构的性能得到F1-score，直到第130轮结束。架构的训练停止后，把训练过程中在验证数据上得到的最好的F1-score设置为对应个体的适应度值。变异操作的方法并没有把架构训练至收敛，而是使用了早停的策略。

本发明的有益效果为：本发明提出一种为视网膜图像分割自动设计轻型神经网络模型的方法，以U型解码-编码结构为骨干网络对其中模块的内部结构进行搜索和优化，从而为这些模块寻找到比人工设计更好和具有更低计算复杂度的结构和操作。该方法所设计的神经网络模型能更有效地处理眼底图像的复杂情况，对复杂的眼底图像病灶、血管中心反光现象的干扰和光照不均衡现象的干扰具有较强的鲁棒性，能更准确地提取视网膜血管的特征，从而提高整张图像的分割准确率。本发明设计了更合理和紧凑的搜索空间，既保证了架构的灵活性也提高了架构搜索的效率，并且改进了遗传算法中的交叉操作，提高了遗传算法的在架构搜索过程中的搜索能力。本发明能够自动设计用于视网膜血管分割的轻型神经网络模型，可以有效减小人工设计的工作量，减轻对专业知识的依赖，所设计的模型相比其他模型有着更低的计算复杂度和更好的血管分割效果，更有潜力应用于临床上的疾病诊断。

附图说明

通过对结合附图所示出的实施方式进行详细说明，本发明的上述以及其他特征将更加明显，本发明附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：

图1所示为搜索空间的骨架图；

图2所示为两个编码节点连接关系的示意图；

图3所示为模块基因和架构的基因型图；

图4所示为Top one架构图；

图5所示为Top two架构图；

图6所示为本发明的优化神经网络模型与U-Net视网膜血管分割效果对比图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明提出基于进化神经架构搜索的眼底图像视网膜血管分割方法，具体包括以下步骤：

构建神经网络模型；

对神经网络模型进行优化得到优化神经网络模型；

以训练集对优化神经网络模型训练得到视网膜图像分割模型；

通过视网膜图像分割模型对输入的视网膜图像进行视网膜图像分割。

(1)设计搜索空间及对搜索空间进行编码

如图1所示，本发明以U-Net为基本的神经网络骨架进行搜索，其由一个编码器E和一个解码器D构成。其中编码器E和解码器D都分别包含编码模块ei(i＝0,1,2,3)和解码模块dj(j＝0,1,2)。从上到下，U-Net可以被分成不同的阶段Sk(k＝0,1,2,3)，保证相同阶段的特征图维度是不变的。在本实施例中，U型结构采用了4个阶段，包含4个编码模块和3个解码模块。可以理解的，在其实实施例中，U型结构可以包含除4之外的若干不同阶段。除最后一个阶段外，对应的编码器模块和解码器模块(i＝j)均通过跳连(Skip connection)方式将编码器E所提取的不同语义信息传递给解码器D，这样既可以加强解码器和编码器之间的联系，也可以减轻模型训练中的梯度消散问题。编码器D需要融合来自跳连和上采样的信息，其中可以采用拼接和对位相加的方式将解码过程中上采集的信息与来自跳连的信息进行融合。为了减轻模型的计算复杂度，在本实施例中，我们选择了对位相加(对应元素位置数据相加)的方式用以特征融合。

模块及其编码

在我们的方法中，每个模块的内部结构都是由节点和连接各节点的边组成的，每个节点代表一个操作单元或者一个操作序列，每条边代表的是两个节点间具有连接关系。如图2所示，图2为两个编码节点连接关系的例子(节点中的数字仅代表节点的顺序)，我们使用二值编码表示模块内部节点间的连接关系，先将模块中的节点分成两类，默认节点和中间节点。默认节点包括默认输入节点(图2中的Input)和默认输出节点(图2中的Output)，其作用是为了保证每位二值编码的有效性，默认输入节点会接收先前模块输出的数据，并将所输出的数据传送给每个没有前置的节点；默认输出节点则接收所有没有后置的节点的输出数据，并把这些数据加起来并处理，然后再把数据传向池化层(最大池化)。对于模块中另外的K个中间节点v_k(k＝0,1,2,…,K-1)，我们需要使用

位比特编码这些节点间的连接关系，第一位比特表示的是(v₀,v₁)的连接关系，接下来的两位比特表示的是(v₀,v₂)和(v₁,v₂)的连接关系，以此类推，直到后K-1位比特用以表示v₁,v₂,…,v_K-2和v_K-1之间的连接关系。在本实施例中为保证模块不过于复杂，我们将K设置成5。其中，如果两个节点间对应的比特是1，则说明它们之间相连接，后面的节点会把前面节点的输出作为输入的一部分，如果比特是0，则说明对应的两个节点间不存在连接。节点都会把它们的所有输入先加起来再进行处理。

如表1

表1节点可选的操作序列，IN表示实例归一化(Instance normalization)所示，我们提供了16个操作序列作为模块中节点的操作选项，每个操作序列都是由一些基本的操作单元所组成的，包括3*3卷积(Conv)、5*5卷积(Conv)、ReLU激活函数、Mish激活函数和实例归一化(Instance normalization)。为了搜索到轻型神经网络架构，每个操作序列中卷积操作的卷积核个数C需要限制在以较小的范围内，在本实施例中，C设置为20。这些操作序列主要的不同体现在卷积核的大小，激活函数，激活方式(前激活或者后激活)和归一化类型(是否使用实例归一化)，因此我们使用一段4比特的二值编码表示这些操作序列。我们假设模块中的节点都是相同的操作序列，所以每个模块基因由一个4比特的操作基因(操作基因为图3(a)中的Operation gene)和一个10比特的连接基因(连接基因为图3(a)中的Connection gene)组成(如图3(a)所示)。并且，7个模块基因一起构成了一个神经架构的基因型(如图3(b)所示)。

表1节点可选的操作序列，IN表示实例归一化(Instance normalization)

(2)优化算法

每个个体代表一个神经架构，个体的适应度值取决于对应架构的性能。如算法1:Genetic U-Net的流程框架所示，算法的流程如下：首先随机初始化种群(由N个个体组成)(本实施例中N为20)；然后演化T代(本实施例中T取50)，每一代都会包含着交叉、变异和选择操作。生成新的个体后，我们会根据所提供的数据从零开始训练这些新生成个体所表示的神经架构，以获得其适应值，注：算法1:Genetic U-Net的流程框架为伪代码。

其中，交叉操作由单点交叉或者两点交叉生成子代而本发明我们采用了一种差异引导的父代交叉个体选择方法，该方法先通过二元锦标赛选择法选择两个个体p1和p2，并通过公式(1)计算两个个体的差异值diff，如果差异值diff大于我们所设定的阈值μ＝0.2，则将这两个个体设定为待交叉的父代个体，否则，p1和p2会被同样的方式重新选择，如果10次重新选择后，p1和p2仍然不满足要求，则将最后一次选择的个体设定为待交叉的父代个体。之后，所选定的父代个体会以pc＝0.9的概率进行交叉。交叉的详细流程如算法2:差异引导的交叉操作所示，注：算法2:差异引导的交叉操作为伪代码：j←0<10意义为：令变量j的初值为0，且j<10。

其中，两个个体间差异值的计算公式如下：

p1和p2代表两个个体，L_gene是个体基因的长度。

优选地，变异操作为：在选择过程中，我们把性能好的个体和性能相对较差的个体都选择进入下一代种群。我们会从当前种群P_t和所生成的子代Q_t中选出S个(本实施例中S取5)最好的个体进入下一代种群P_t+1，此时，这些被选出的个体也会从P_t∪Q_t中移除。然后，我们会继续使用二元锦标赛选择法从P_t∪Q_t选择其他的个体进入下一代种群，直至下一代种群P_t+1和当前种群P_t的种群规模相同，交叉操作产生的子代个体会以pm＝0.7的概率变异，个体确定变异后，其基因的每一比特以pb＝0.05的概率翻转。

优选地，适应度值评估个体的适应度值是其对应架构在所提供的数据上视网膜图像分割的F1-score，算法3:评估适应度值总结了评估种群中个体的步骤，每一个体都使用这样方式进行评估。在评估的开始前，每个个体都需要将其解码为对应的神经架构。架构开始训练之前，我们使用He Initialization初始化架构的权重参数，然后，基于所提供的训练数据，使用以Adam作为基础优化器的Lookahead方法训练神经架构。从第80轮开始，在训练集上的训练的每一轮结束后都使用验证数据验证训练中架构的性能得到F1-score，直到第130轮结束。架构的训练停止后，我们会把训练过程中在验证数据上得到的最好的F1-score设置为对应个体的适应度值。我们的方法并没有把架构训练至收敛，而是使用了早停的策略。注：算法3:评估适应度值为伪代码：

适应度值评估过程中的训练数据和验证数据可以是任何视网膜血管分割的数据集，也就是用于架构搜索的数据集是可以很灵活的。而在我们的方法用于架构搜索的数据来自DRIVE数据集，DRIVE数据集一共有40张眼底图像照片及其对应的标注，官方已经对其进行了训练集-测试集划分，训练集和测试集各包含20张照片。我们的方法在架构搜索的过程中不会使用测试集的照片，而是从DRIVE官方划分的训练集中选出后5张照片作为验证数据，剩余的15张照片作为架构搜索过程中评估个体对应架构的训练数据。

(3)结果

架构搜索结束后，我们从最后一代的种群中选择了最好的2个个体，并将其解码成所对应的神经网络架构，其架构如图4和图5所示，图4所示为Top one架构图；图5所示为Toptwo架构图，图4和图5中第一个模块Input(默认输入节点)为3*3卷积和最后一个模块Output(默认输出节点)为1*1卷积。

我们在DRIVE、STARE和CHASE_DB1等视网膜血管分割的数据集上验证了搜到的最好的架构(如图4所示)的性能，也把该架构的计算复杂度和在视网膜血管分割任务上的表现与原始U-Net模型进行了对比，本算法(本算法为Genetic U-Net)与U-Net比较对比情况如图6和表2所示，表2为本专利(Genetic U-Net)与U-Net比较计算复杂度，图6所示为本发明的优化神经网络模型与U-Net视网膜血管分割效果对比图，在图6中，Images为原始的视网膜图像(眼底图像)，Label为图像标签，Genetic U-Net和U-Net分别为Genetic U-Net分割后的视网膜血管图像和U-Net分割后的视网膜血管图像。非常明显，我们搜的架构在视网膜血管分割任务上比原始U-Net表现的更出色，在眼底图像的复杂情况下仍能准确地分割出脉管树的结构，表现出了一定的鲁棒性，在计算复杂度方面，搜到的架构要远低于原始U-Net，参数量比U-Net要小100多倍，MACs也比原始U-Net大约要小3.2倍。

表2本专利(Genetic U-Net)与U-Net比较计算复杂度

现有的遗传算法会随机选择两个父代个体后直接将其交叉，并不会判断交叉个体间的相似性，导致交叉算子在进化过程所起的作用有限且低效。

尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。

Claims (9)

1.基于进化神经架构搜索的眼底图像视网膜血管分割方法，其特征在于，所述方法包括以下步骤：

将视网膜图像数据集划分为训练集、验证集和测试集；

构建神经网络模型；

对神经网络模型进行优化得到优化神经网络模型；

以训练集对优化神经网络模型训练得到视网膜图像分割模型；

通过视网膜图像分割模型对输入的视网膜图像进行视网膜图像分割。

2.根据权利要求1所述的基于进化神经架构搜索的眼底图像视网膜血管分割方法，其特征在于，视网膜图像数据集为公开的如DRIVE、STARE和CHASE_DB1视网膜血管分割的数据集。

3.根据权利要求1所述的基于进化神经架构搜索的眼底图像视网膜血管分割方法，其特征在于，构建神经网络模型的方法为：所述神经网络模型以U型神经网络为基本的神经网络骨架进行搜索，所述神经网络模型由一个编码器和一个解码器构成，其中编码器和解码器都分别包含编码模块和解码模块；从上到下，U型神经网络的U型解码编码结构可以被分成不同的阶段，相同阶段的特征图维度是不变的；除最后一个阶段外，对应的编码器模块和解码器模块均通过跳连方式将编码器E所提取的不同语义信息传递给解码器D，编码器D需要融合来自跳连和上采样的信息，其中采用拼接和对位相加的方式将解码过程中上采集的信息与来自跳连的信息进行融合。

4.根据权利要求1所述的基于进化神经架构搜索的眼底图像视网膜血管分割方法，其特征在于，将所述神经网络模型中的编码模块和解码模块统称为模块，每个模块的内部结构都是由节点和连接各节点的边组成的，每个节点代表一个操作单元或者一个操作序列，每条边代表的是两个节点间具有连接关系；使用二值编码表示模块内部节点间的连接关系，先将模块中的节点分成两类，默认节点和中间节点；默认节点包括默认输入节点和默认输出节点，默认输入节点接收先前模块输出的数据，并将所输出的数据传送给每个没有前置的节点；默认输出节点则接收所有没有后置的节点的输出数据，并把这些数据加起来并处理，然后再把数据传向池化层；对于模块中另外的K个中间节点v_k(k＝0，1，2，...，K-1)，使用

位比特编码这些节点间的连接关系，第一位比特表示的是(v₀，v₁)的连接关系，接下来的两位比特表示的是(v₀，v₂)和(v₁，v₂)的连接关系，以此类推，直到后K-1位比特用以表示v₁，v₂，...，v_K-2和v_K-1之间的连接关系，其中，如果两个节点间对应的比特是1，则说明它们之间相连接，后面的节点会把前面节点的输出作为输入的一部分，如果比特是0，则说明对应的两个节点间不存在连接；节点都会把它们的所有输入先加起来再进行处理。

5.根据权利要求1所述的基于进化神经架构搜索的眼底图像视网膜血管分割方法，其特征在于，对神经网络模型进行优化得到优化神经网络模型的方法包括以下步骤：

S101：首先随机初始化N个种群，N为种群规模；然后演化T代，T为最大进化代数，每一代都会包含着交叉、变异和选择操作，p_c为交叉概率，p_m为变异概率，p_b为每比特位的变异概率；

S102：随机初始化规模为N个使用二值编码的个体作为初始化种群P₀；

S103：评估种群P₀中个体的适应度值；

S104：设置变量t的初始值为0，t为自然数取值为[0，T]，令Q_t为种群；

S105：设置Q_t为空集；

S106：从P_t中选择两个父代个体p₁和p₂；

S107：将父代个体p₁和p₂分别以概率p_c、p_m和p_b进行交叉和变异以生成两个子代个体q₁和q₂；

S108：当|Q_t|＜N时将Q_t∪q₁∪q₂赋值到Q_t中并转到步骤S106，否则转到步骤S109；

S109：评估种群Q_t中个体的适应度值；

S110：使用相应的环境选择方法从P_t∪Q_t选出N个个体到种群P_t+1中；

S111：当t小于T时，将变量t增加1并且转到步骤S105，否则转到步骤S112；

S112：输出种群P_t中适应度值最大的个体。

6.根据权利要求5所述的基于进化神经架构搜索的眼底图像视网膜血管分割方法，其特征在于，在S106和S110中，S106中的从P_t中选择两个父代个体p₁和p₂的选择方法和S110中的环境选择方法为：从当前种群P_t和所生成的子代Q_t中选出S个最好的个体进入下一代种群P_t+1，S为5，此时，将被选出的个体也会从P_t∪Q_t中移除；然后，继续使用二元锦标赛选择法从P_t∪Q_t选择其他的个体进入下一代种群，直至下一代种群P_t+1和当前种群P_t的种群规模相同。

7.根据权利要求5所述的基于进化神经架构搜索的眼底图像视网膜血管分割方法，其特征在于，在S106和S110中，S106中的从P_t中选择两个父代个体p₁和p₂的选择方法和S110中的环境选择方法为：遗传算法的交叉操作，为了保证种群个体间的信息交换，有效的信息交换可以保证算法的收敛性；选择多点交叉操作用于生成子代；为了保证算法的搜索能力，先通过二元锦标赛选择法选择两个个体p1和p2，并通过公式(1)计算两个个体的差异值diff，如果差异值diff大于我们所设定的阈值μ＝0.2，则将这两个个体设定为待交叉的父代个体，否则，每次选择不同值的两个个体p1和p2会被同样的方式重新选择，如果多次重新选择后，p1和p2仍然不满足要求，最后一次选择的个体将会被设定为待交叉的父代个体；之后，所选定的父代个体会以Pc＝0.9的概率进行差异引导的交叉操作；

其中，两个个体间差异值的计算公式如下：

p1和p2代表两个个体，L_gene是个体基因的长度，sum()为求和函数，XOR()为异或函数。

8.根据权利要求7所述的基于进化神经架构搜索的眼底图像视网膜血管分割方法，其特征在于，差异引导的交叉操作的方法包括以下步骤：

S201：令P_t为当前种群，p_c为交叉概率，μ为差异阈值，o₁，

符号←表示为设置值或赋值，设置变量j的初始值为0；

S202：从种群P_t中随机选择两个不同个体，并从中选择出适应度值较大的个体作为p₁；

S203：再次从种群P_t中随机选择两个个体，并从中选择出适应度值较大的个体p₂；其中，p₁不等于p₂；

S204：计算个体p₁和p₂的差异度diff；

S205：如果diff＞μ则转到步骤S206，否则令变量j增加1并判断是否j≥10，如果j≥10则转到步骤S206，若j＜10则转到步骤S202；

S206：从(0，1)中随机生成一个数r；

S207，如果r＜p_c则计算个体p₁和p₂的基因长度len，如果r＞＝pc，则跳转到S212；

S208，从[0，len)中随机选择10个不同的整数并对这些整数进行从小到大排序得到数列ints；

S209，把ints按顺序分成5对(i₀，i₁)，(i₂，i₃)，(i₄，i₅)，(i₆，i₇)，(i₈，i₉)，设置变量k的初始值为0；

S210，将p₁[i_2k：i_2k+1]和p₂[i_2k：i_2k+1]进行交换；p₁[i_2k：i_2k+1]的意义为个体p₁中的第i_2k和i_2k+1个比特位；

S211：否则令变量k增加1并判断是否k≥5，如果k≥5则转到步骤S211，若k＜5则转到步骤S209；

S212：将个体p₁和p₂输入给个体o₁，o₂；

S213：输出交换好的个体o₁，o₂。

9.根据权利要求7所述的基于进化神经架构搜索的眼底图像视网膜血管分割方法，其特征在于，评估适应度值的方法包括以下步骤：

S301：令需要评估适应度值的种群为P_t,训练数据为D_train,验证数据为D_valid，individual为个体；

S302：把个体individual转换成其对应的神经网络架构arch；

S303：对架构arch的权重参数进行，并初始化代数epoch←0，最佳适应值F1-score_best←0，符号←表示为设置值或赋值；

S304：使用训练数据D_train通过梯度下降算法训练架构arch一轮，epoch←epoch+1；

S305：如果epoch>80则使用验证数据D_valid验证正在训练中的架构arch从而得到适应度值F1-score；

S306：如果F1-score>F1-score_best则F1-score_best←F1-score；

S307：如果epoch<130则转到步骤S304，否则把F1-score_best设置为个体individual的适应值并且转到步骤S308；

S308：判断每个在P_t中的个体individual是否全部评估完了适应度值，如果是则转到步骤S309,如果不是则转到步骤S302开始评估没有评估完成的个体individual的适应度值；

S309：输出已评估适应度值的种群P_t。

Images