CN114202669A - 一种用于医疗图像分割的神经网络搜索方法 - Google Patents

一种用于医疗图像分割的神经网络搜索方法 Download PDF

Info

Publication number
CN114202669A
CN114202669A CN202010973006.2A CN202010973006A CN114202669A CN 114202669 A CN114202669 A CN 114202669A CN 202010973006 A CN202010973006 A CN 202010973006A CN 114202669 A CN114202669 A CN 114202669A
Authority
CN
China
Prior art keywords
layer
neural network
searchable
candidate
layers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010973006.2A
Other languages
English (en)
Inventor
罗平
纪源丰
李镇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Research Institute of Big Data SRIBD
Shenzhen Institute of Research and Innovation HKU
Original Assignee
Shenzhen Research Institute of Big Data SRIBD
Shenzhen Institute of Research and Innovation HKU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Research Institute of Big Data SRIBD, Shenzhen Institute of Research and Innovation HKU filed Critical Shenzhen Research Institute of Big Data SRIBD
Priority to CN202010973006.2A priority Critical patent/CN114202669A/zh
Publication of CN114202669A publication Critical patent/CN114202669A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种用于医疗图像分给的神经网络搜索方法，包括：S1、构建初始神经网络并训练至收敛；S2、用医疗图像对应的训练集对经步骤S1训练后的初始神经网络进行多轮迭代采样训练以得到多个神经网络，并从多个神经网络中选出分割准确率最高的最佳神经网络；其中，每轮迭代训练是按照预设的采样方式，针对神经网络编码器和解码器中的每一层，分别独立地从各层对应的候选层中采样新的候选层替换当前层，并对采样后的编码器、解码器、可搜索多尺度特征聚合模块和分类器组成的新神经网络用训练集进行训练，同时搜索当前神经网络中可搜索多尺度特征聚合模块对应的最佳特征聚合策略；S3、对步骤S2选出的神经网络进行重训练至收敛。

Description

一种用于医疗图像分割的神经网络搜索方法
技术领域
本发明涉及医疗领域，具体来说涉及采用神经网络进行医疗图像数据处理的领域，更具体地说，涉及一种用于医疗图像分割的神经网络搜索方法。
背景技术
随着神经网络技术的发展，基于其突出的性能，在各个领域应用越来越广泛，比较典型的有计算机视觉领域。对神经网络结构搜索的研究起源于计算机视觉领域，搜索出的许多神经网络结构性能优异，但是在计算机视觉领域，神经网络的应用是基于单任务拥有大量标注的基础之上，所谓的“小任务，大数据”。而在3D/2D医疗场景中，数据常常是高维高密(比如CT，MRI，缺乏足够的标注，加上不同的医学影像分析任务之间差异性很大(例如，对脑肿瘤以及对肝肿瘤的分割流程就很不一样)，所以在3D医疗中，模型与模型之间个体化差异大，并且缺乏可扩展型。相比与计算机视觉的网络设计，3D医疗中的神经网络的主干网络常常比较简单，多尺度特征的聚合变得更加重要。目前，基于神经网络的图像分割已经是3D医疗分割中的主流，然而，为每一个特定的应用场景去人为地设计一个神经网络结构是非常昂贵且耗时的，这些巨大的损耗导致神经网络结构设计的更新迭代缓慢，极大的制约了产学研的发展。虽然目前主流的神经网络搜索算法可以用于医疗图像之中，但这些算法并没有针对医疗图像任务做出特定的优化或者设计，因而获得的性能有限。
众所周知，卷积神经网络通过模仿人脑机制的神经结构提取特征，在医疗影像处理领域中的分割，检测具有突出的性能，在医疗影像处理领域中，为了提高分割算法性能，研究者已经设计出来多种Unet，ResUnet,Hybird-Dense-Unet等神经网络架构，然而医疗领域中，不同的医疗影像分析任务之间的差异性很大，导致人工设计出来的神经网络架构个体化差异大，并且缺乏可扩展性。为了减少面对新任务时候重复的人工设计消耗，越来越多的研究人员对实现神经网络结构搜索进行了深入的研究，研究者发现，在原本领域中许多神经结构搜索算法性能优异，但应用到医疗影像处理领域时候却只能获得有限的性能提升，其主要原因是搜索空间中没有考虑神经网络应用在医疗影像处理领域的关键：多尺度特征的聚合，医疗图像中对于目标识别(肿瘤等等)依赖多个尺度去判断。因此，目前最新的搜索算法应用到医疗影像处理领域仅能获得有限提升。
发明内容
因此，本发明的目的在于克服上述现有技术的缺陷，提供一种新搜索方法来搜索用于医疗图像分割的神经网络。
根据本发明的第一方面，提供一种用于医疗图像分割的神经网络搜索方法，所述神经网络包括编码器、可搜索多尺度特征聚合模块、解码器、分类器，所述方法包括：S1、构建初始神经网络并训练至收敛，其中，所述初始神经网络的编码器包括一个或多个第一可搜索主干构成模块，所述每个第一可搜索主干构成模块包括普通层和压缩层，所述初始神经网络的解码器包括一个或多个第二可搜索主干构成模块，所述每个第二可搜索主干构成模块包括普通层和扩展层，其中，每一个普通层从其对应的普通层的候选集合中随机选择，每一个压缩层从其对应的压缩层的候选集合中随机选择，每一个扩展层从其对应的扩展层的候选集合中随机选择；S2、用医疗图像对应的训练集对经步骤S1训练后的初始神经网络进行多轮迭代采样训练以得到多个神经网络，并从多个神经网络中选出分割准确率最高的最佳神经网络；其中，每轮迭代训练是按照预设的采样方式，针对神经网络编码器和解码器中的每一层，分别独立地从各层对应的候选层中采样新的候选层替换当前层，并对采样后的编码器、解码器、可搜索多尺度特征聚合模块和分类器组成的新神经网络用训练集进行训练，同时搜索当前神经网络中可搜索多尺度特征聚合模块对应的最佳特征聚合策略；S3、对步骤S2选出的神经网络进行重训练至收敛。
优选的，所述普通层的候选集合包括如下候选层：3x3x3卷积层、3x3x1卷积层、5x5x5卷积层、伪3d卷积层、两层堆叠3x3x3卷积层、3x3x3且步长为2的扩张卷积、5x5x5步长为2的扩张卷积层；所述压缩层的候选集合包括如下候选层：最大池化层、平均池化层、3x3x3带步幅为2卷积层；所述扩展层的候选集合包括如下候选层：转置卷积层、三线插值层。
在本发明的一些实施例中，所述神经网络中的编码器或解码器中的每一层对应的候选集合中的候选层均具有独立的控制权重，编码器或解码器中同一层对应的所有候选层的控制权重之和为1；其中在迭代采样训练之前，同一层对应的所有候选层的初始化控制权重为相等数值。
在本发明的一些实施例中，在所述步骤S2中，每轮迭代训练中采用ProxylessNAS方式从每一层的候选集合中进行采样，将医疗图像对应的训练集输入所有采样得到的新候选层与可搜索多尺度特征聚合模块、分类器组成的新神经网络进行预测，将预测结果与训练集对应的人工标签进行对比以计算损失值，并基于损失值进行标准梯度回传，以更新神经网络参数以及编码器和解码器中的每一层对应候选集合中候选层的控制权重。
在本发明的一些实施例中，可搜索多尺度特征聚合模块中某个节点与输入特征之间可搜索连接上具有可学习权重；在神经网络每轮迭代训练过程中，采用门函数将可搜索多尺度特征聚合模块中某个节点与输入特征之间可搜索连接上的可学习权重映射到[0，1]来衡量连接传播特征的重要性，将重要性大于或等于预设阈值的特征连接保留，删除重要性小于预设阈值的特征连接，最后保留的特征连接形成特征聚合策略；其中，所述门函数为：
Figure BDA0002684784350000031
其中，σ代表门函数，β是可学习权重，e是自然对数函数的底数，初始化时，每一个可学习权重均设置为0，在每一次迭代训练中，基于损失值进行标准梯度回传，以更新特种聚合模块中的所有可搜索连接的可学习权重。
在本发明的一些实施例中，通过如下方式选择神经网络：将迭代采样训练完成后的神经网络的编码器和解码器中每一层对应候选集合中的候选层的权重进行降序排列，选出每一层中权重最大的候选层并与可搜索多尺度特征聚合模块、分类器组成最佳神经网络。优选的，所述步骤S2中，对初始神经网络进行60000次的迭代采样训练，并在每隔500次迭代训练在医疗图像对应的验证集上对神经网络进行验证，选出在验证集上分割准确率最高的神经网络。
根据本发明的第二方面，提供一种用于医疗图像分给的神经网络搜索方法，包括：
T1、构建初始神经网络集合并将每一个初始神经网络训练至收敛，其中，初始神经网络集合中的每一个初始神经网络包括编码器、可搜索多尺度特征聚合模块、解码器、分类器，编码器包括一个或多个第一可搜索主干构成模块，所述每个第一可搜索主干构成模块包括普通层和压缩层，所述初始神经网络的解码器包括一个或多个第二可搜索主干构成模块，所述每个第二可搜索主干构成模块包括普通层和扩展层，其中，每一个普通层从其对应的普通层的候选集合中选择，每一个压缩层从其对应的压缩层的候选集合中选择，每一个扩展层从其对应的扩展层的候选集合中选择；
T2、用医疗图像对应的训练集对经步骤T1训练后的所有初始神经网络进行多轮训练至收敛，确定每一个神经网络中可搜索多尺度特征聚合模块的最佳特征聚合策略；
T3、在医疗图像对应的验证集上对经步骤T2训练后的初始神经网络进行分割准确率验证，并从中选出分割准确率最高的神经网络作为搜索结果；
T4、对步骤T3选出的神经网络重训练至收敛。
优选的，所述普通层的候选集合包括如下候选层：3x3x3卷积层、3x3x1卷积层、5x5x5卷积层、伪3d卷积层、两层堆叠3x3x3卷积层、3x3x3且步长为2的扩张卷积、5x5x5步长为2的扩张卷积层；所述压缩层的候选集合包括如下候选层：最大池化层、平均池化层、3x3x3带步幅为2卷积层；所述扩展层的候选集合包括如下候选层：转置卷积层、三线插值层。
在本发明的一些实施例中，可搜索多尺度特征聚合模块中某个节点与输入特征之间可搜索连接上具有可学习权重，所述步骤T2中通过如下方式确定神经网络中可搜索多尺度特征聚合模块的最佳特征聚合策略：采用门函数将可搜索多尺度特征聚合模块中某个节点与输入特征之间可搜索连接上的可学习权重映射到[0，1]来衡量连接传播特征的重要性，将重要性大于或等于预设阈值的特征连接保留，删除重要性小于预设阈值的特征连接，最后保留的特征连接形成特征聚合策略，其中，所述门函数为：
Figure BDA0002684784350000041
其中，σ代表门函数，β是可学习权重，e是自然对数函数的底数，初始化时，每一个可学习权重均设置为0，在每一次训练中，基于损失值进行标准梯度回传，以更新特种聚合模块中的所有可搜索连接的可学习权重。
根据本发明的第三方面，提供一种采用本发明第一方面和第二方面所述方法搜索到的用于医疗图像分割的神经网络，所述神经网络包括：编码器，用于提取输入数据的特征，所述编码器中的每一层均为从该层对应的候选集合中选出的权重最高的候选层；可搜索多尺度特征聚合模块，用于对编码器提取的各种尺度的特征进行聚合，所述可搜索多尺度特征聚合模块中的特征连接均为重要性大于等于预设阈值的特征连接；解码器，用于根据特征聚合模块聚合后的特征进行分割目标确定，所述解码器中的每一层均为从该层对应的候选集合中选出的权重最高的候选层；分类器，用于根据解码器的目标确定结果输出输入数据的分类结果。
与现有技术相比，本发明的优点在于：
现有技术下的方法通常对主干模块进行搜索，即只搜索了编码器，解码器，这样的做法虽然也能够在各个尺度下进行特征有效的提取，但却忽略了如何将这些特征进一步融合来用于最后的预测，对于特征融合一直是3D医疗神经网络设计非常重要的一个环节，忽略此环节因而只能获得有限的性能提高。在本发明中，我们增加多了特征融合这一方面，从而增大了总体的搜索空间，并且我们也使用了有效的搜索策略来对搜索空间的两部分内容(主干构建模块，多尺度特征聚合)进行共同耦合的搜索，从而能够为不同数据来源，不同任务定义的分析任务搜出最佳结构。
附图说明
以下参照附图对本发明实施例作进一步说明，其中：
图1为根据本发明实施例的一种用于医疗图像分割的神经网络搜索方法中搜索的神经网络框架结构示意图；
图2为根据本发明实施例的编码器和解码器中可搜索主干构成模块框架示意图；
图3为根据本发明实施例的构建初始神经网络时随机初始化第一可搜索主干构成模块示例示意图；
图4为根据本发明实施例的第一可搜索主干构成模块训练示例示意图；
图5为根据本发明实施例的一种用于医疗图像分割的神经网络搜索方法的神经网络特征连接示意图；
图6为根据本发明实施例的特征聚合示例示意图；
图7为根据本发明实施例的门函数特征曲线示意图；
图8为根据本发明实施例的搜索特征连接示意图。
具体实施方式
为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如背景技术提到的，现有技术下，医疗图像分割领域的神经网络可扩展性差、对多尺度特征聚合要求高，因此，需要一种能够快速搜索到适合用于特定医疗图像分割的神经网络搜索方法，以加速开发处高性能的网络结构。为了解决这个问题，发明人对已有的医疗分割方法进行分析，将目前的神经网络结构抽象为两部分，一部分是主干网络的构成模块，负责多尺度特征的提取，一部分是多尺度特征聚合模块，负责进一步聚合不同尺度特征，理解不同尺度的特征，对多尺度特此进行选择性的聚合。发明人基于这两部分，提出一种从两部分出发进行神经网络搜索的方法，以快速自动化地搜索出特定医疗场合下的最佳网络结构。简单来说，本发明提出的神经网络搜索方法包括以下几个主要阶段：第一阶段，构建一个初始神经网络并训练至收敛；第二阶段，在训练完毕的初始神经网络基础上进行网络搜索，选出最佳的神经网络；第三阶段，对搜索出最佳神经网络进行重训练至收敛。其中，初始化神经网络包括编码器、解码器、可搜索多尺度特征聚合模块、解码器构成，编码器和解码器分别包括一个或多个可搜索主干构成模块，在搜索训练过程中，依据神经网络中的主干构成模块以及可搜索多尺度特征聚合模块在数据集上的表现，自动调整其网络结构，包括主干构成模块中功能层的类型、可搜索多尺度特征聚合模块中的特征连接的方式等，然后从中选出表现最佳的神经网络作为搜索结果。
根据本发明的一个实施例，本发明提供一种用于医疗图像分割的神经网络搜索方法，包括以下步骤：
步骤一、准备阶段：
获取搜索神经网络所需要的目标数据集，也就是神经网络要应用到的领域对应的数据集，例如，如果应用于脑肿瘤的图像分割，那么对应目标数据集则为脑肿瘤医疗图像数据集，如果应用于肝肿瘤的图像分割，那么对应目标数据集则为肝肿瘤医疗图像数据集。将目标数据集按4：1比例划分为训练集和验证集。
步骤二、构建初始神经网络阶段:
如图1所示，初始神经网络包括编码器、解码器、可搜索多尺度特征聚合模块、分类器，其中，编码器用于分析并提取输入数据的特征，可搜索多尺度特征聚合模块用于更好地对编码器获得的各种尺度特征进行聚合，聚合完的特征作为解码器的输入，然后用于分类器的预测。其中，如图1所示，所述编码器包括多个第一可搜索主干构成模块(例如可以为4个)，解码器包括多个第二可搜索主干构成模块(例如可以为4个)。根据本发明的一个实施例，如图2所述，每个第一可搜索主干构成模块包括普通层和压缩层两个功能层，第二可搜索主干构成模块包括普通层和扩展层两个功能层，每一个功能层具有多种候选层。如图1所示，可搜索多尺度特征聚合模块中的可搜索特征连接具有多种配置，使得第一可搜索主干构成模块、第二可搜索主干构成模块、可搜索多尺度特征聚合模块、分类器共同构成多种神经网络组合。在构建初始神经网络时，各个功能层从其对应的候选集合中随机选择候选层，可搜索多尺度特征聚合模块随机配置特征聚合策略，用训练集将构建的初始神经网络训练至收敛，其中，当某一次训练后与训练前相比，初始神经网络在验证集上的分类准确率变换不超过0.2％时判定训练收敛。
根据本发明的一个实施例，所述普通层的候选集合包括如下候选层：3x3x3卷积层、3x3x1卷积层、5x5x5卷积层、伪3d卷积层、两层堆叠3x3x3卷积层、3x3x3且步长为2的扩张卷积、5x5x5步长为2的扩张卷积层；所述压缩层的候选集合包括如下候选层：最大池化层、平均池化层、3x3x3带步幅为2卷积层；所述扩展层的候选集合包括如下候选层：转置卷积层、三线插值层。如图3所示，以第一个第一可搜索主干构成模块为例，在构建初始神经网络时，每个普通层随机从普通层的候选集合中随机选择候选层，每个压缩层也是从压缩层的候选集合中随机选择候选层；如图4所示，第一个第一可搜索主干构成模块普通层选择了3x3x3卷积层，压缩层选择了最大池化层。
步骤三、神经网络搜索阶段：
如图5所示，神经网络的编码器包括四个第一个可搜索主干构成模块，解码器包括四个第二可搜索主干构成模块，所有的第一可搜索主干构成模块与所有的第二可搜索主干构成模块之间拥有固定连接，每一个第一可搜索主干构成模块用于提取输入数据不同尺度的特征，如图5中所示的{N0,0、N0,1、N0,2、N0,3、N0,4}，可搜索多尺度特征聚合模块呈倒金字塔形状，分为多个聚合阶段，每个阶段包含多个聚合节点，聚合节点每一阶段减少一个，如图5中有四个阶段，分别为{N1,0,N1,1,N1,2,N1,3},{N2,0,N2,1,N2,2},{N3,0,N3,1},{N4,0}，最终的特征N4,0用于分类器的预测。通过搜索最佳的第一可搜索主干构成模块、第二主干构成模块，以及可搜索多尺度特征聚合模块的最优特征聚合策略，共同搜索得到最优神经网络结构。
对第一可搜索主干构成模块和第二可搜索主干构成模块中的任一可搜索主干构成模块来说，每一个可搜索主干构成模块的每一个功能层(即普通层、压缩层、扩展层)各自都有一套控制权重，也就是说每一个功能层的候选集合中的候选层都有一个可学习控制权重。以第一可搜索主干构成模块来举例说明，在第一可搜索主干构成模块中，初始设置普通层以及压缩层的时候，普通层和压缩层的每一个候选层都会额外地设置一个可学习控制权重，这个权重满足以下两个条件：一是数值范围在[0-1]，二是同一种类型的搜索层的可学习控制权重相加起来总和为一。因此，在初始化的时候，每个候选层会被分配一个相等数值的可学习权重，且同种类型的候选层的可学习控制权重相加起来总和为一，具体来说，由于在普通层的候选集合中总共有7个候选层，因而普通层的候选集合中的一个候选层可学习权重值被初始化为1/7＝0.14285，压缩层的候选集合每一个候选层则被初始化为1/3＝0.333。注意的是，每一个可搜索主干构成模块功能层都是独立地设置可学习控制权重，也就是说，每个功能层的候选集合都会有一套独立的带着控制权重的候选层。在本发明中，对每一个独立可搜索主干构成模块的功能层来说，控制权重代表了其候选层的重要性，神经网络初始阶段，各个候选层的控制权重数值相当，代表这些候选层一样重要，随着网络搜索训练进行，各个候选层的控制权重数值开始发生变化，相应候选层的重要性也发生变化。对可搜索主干构成模块进行最佳结构搜索时，针对每一个功能层，从其对应候选集合中采样新的候选层替换当前层，对采样后的新的神经网络结构进行训练，然后更新每个功能层对应候选集合中候选层的可学习控制权重，随着训练的不断迭代，每个功能层对应候选集合中候选层的可学习控制权重发生变化，彼此不一样，不同功能层同类型的候选层的可学习控制权重受神经网络在训练集上的分割准确率驱动会变得不一样。以神经网络第一次在训练集上面的迭代来进行说明，图4展示了编码器中第一个第一可搜索主干构成模块的训练过程，如之前所述，初始阶段，普通层的候选集合中所有候选层的控制权重相等，都为1/7，压缩层的候选集合中所有候选层控制权重同样相等，为1/3，在这里我们使用了ProxylessNas采样方法对给定的候选层来进行采样搜索，其中，控制权重高的，越有可能被选取，如图4所示，由于此时各功能层的候选层控制权重都一样，所以基于相等概率，第一个第一可搜索主干构成模块随机地在普通层的候选集合中选择了3x3x3卷积层，压缩层选择了最大池化层，下一步，该第一可搜索主干构成模块的输入，依次经过被选取的普通层(即3x3x3卷积层)与压缩层(最大池化层)，得到该模块的输出。需要说明的是，由于每一个可搜索主干构成模块独立设置其功能层的对应候选集合中候选层的控制权重，因为采样结果也不一致，即在另一个第一可搜索主干构成模块(例如第二个第一可搜索主干构成模块)中，普通层可能选择到了5x5x5卷积层，而压缩层选取到了平均池化层。最后，如图5所示的神经网络中的编码器(包括四个第一可搜索主干构成模块)，解码器(包括四个第二可搜索主干构成模块)各自采用得到的候选层与可搜索多尺度特征聚合模块共同一起构成的一个网络组合，输出预测，并与相应的人工标签进行比较，计算得到损失值来进行标准梯度回传更新，对网络参数以及各套独立控制权重进行更新，不同可搜索主干构成模块的功能层的独立控制权重为独立更新，例如在第一个第一可搜索主干构成模块中，3x3x3卷积层的控制权重从1/7变为了1/4，而在第二个第一可搜索主干构成模块中，3x3x3卷积层的控制权重从1/7变为了1/8，每一个功能层对应候选集合中候选层的权重反应了候选层的性能优异表现，性能越优秀的候选层，在训练更新过程中，其权重会更新的越来越高，相应的其被选中的概率也会越来越高。
此外，在可搜索主干构成模块进行搜索的时候，可搜索多尺度特征聚合模块同步地进行最优多尺度特征聚合策略的搜索，两者互相影响，由共同作用得到的网络输出在训练集上面的准确性共同驱动，同步地搜索得到整体最优网络结构。如前面所述，可搜索多尺度特征聚合模块用于更好地对编码器获得的各种尺度特征进行聚合，并将聚合完的特征逐步作为解码器的输入，用于分类器的预测，因此，可搜索多尺度特征聚合模块与可搜索主干构成模块共同作用于网络输出，也共同受到分割准确率的驱动而协同地进行结构的搜索。关于可搜索多尺度特征聚合模块，仍旧以图5为例，在第一聚合阶段中，聚合节点使用编码器中生成的多尺度特征作为输入，进行加权聚合，具体的以聚合节点N1,0为例，编码器输出的{N0,0、N0,1、N0,2、N0,3、N0,4}经可搜索连接进入聚合节点N1,0，每一个可搜索连接都会额外配备一个可学习权重以及门函数。如图6所示，图6展示了在图5中以{N2,0,N2,1,N2,2}到N3,0的可搜索连接的一个聚合过程，以N2,0到N3,0为例，N2,0首先通过一个函数F(一个常规卷积层)，将特征大小与N3,0特征对齐，然后与一个权重σ(β2,0→3,0)相乘，其中β2,0→3,0代表作为N2,0节点与特征N3,0之间可搜索连接上的可学习权重，σ代表sigmoid门函数：
Figure BDA0002684784350000101
如图7所示，门函数的输入都会被映射到[0,1]之间，在初始化时候，将每一个可学习权重β设置为0，σ(β)的值便为0.5。σ(β)的值代表了各自可搜索连接的重要性，当σ(β)值越高，代表相应的可搜索连接越重要，应该保留，反之亦然。当σ(β)值为1时候，对应可搜索路径完全打开，当σ(β)为0时候，可搜索路径完全关闭(输入乘0无作用)，如图8中a、b、c所示，通过σ(β)的数值变化，神经网络连接/断开相应尺度特征传播路径，每一聚合阶段得到的聚合特征，会用于下一聚合阶段的输入，迭代地，每一聚合阶段的最后一个聚合特征会用于解码器的输入，最后阶段的聚合特征{N4,0}用于分类器的预测，可以看到，用于神经网络预测的聚合特征N4,0共同受到可搜索主干构成模块和可搜索多尺度特征聚合模块的影响，因此这两种类型的模块共同受到分割准确率的驱动而协同地进行结构的搜索。
如上所述，可搜索多尺度特征聚合模块与可搜索构成主干模块一起协同搜索整体最优结构，如图5所示的可搜索多尺度特征聚合模块，该模块的特征聚合在四个阶段内完成，如上所述，编码器输出的多尺度特征作为第一聚合阶段特征聚合的输入，聚合得到的特征会用于下一聚合阶段的输入，并且迭代地，每一聚合阶段的最后一个聚合特征会用于解码器的输入。在此过程中新聚合的特征可以被表示为:
Figure BDA0002684784350000102
其中，Ni,j表示为可搜索多尺度特征聚合模块第i阶段，第j个聚合节点，β代表作为Ni,j节点与输入特征之间可搜索连接上的可学习权重，使用σ函数(即sigmoid门函数)将β映射到[0,1]，用来衡量其连接传播特征的重要性，分数越大表示对应的可搜索连接越重要，越有用,当分数为1时候，代表该连接非常重要，路径完全打开，当分数为0时候，代表该连接不重要，路径完全关闭，事实上，在训练阶段，所有的可搜索连接都会参与计算，在搜索过程中，直接使用一些规则比如门函数的数值来确定相应连接是否应该保留。L代表上一阶段输出特征数量，T表示通过一系列的变换来对齐这些不同尺度的特征图，如图6所示，我们使用加运算符以及经过σ门函数的权重，来加权经过T变换的所有输入特征进行聚合也就是求和计算。对于给定训练集上的一个输入数据，N4,0由可搜索多尺度特征聚合模块与可搜索构成主干模块一起作用得到，由分类器得到的预测结果与训练集对应的人工标签做对比，计算得到损失值来进行标准梯度回传，更新可搜索连接上的可学习权重。注意，与可搜索主干构成模块一样，可搜索多尺度特征聚合模块中的可搜索连接，共同决定搜索得到的网络结构，但独立地更新其可学习权重。当某一次迭代时候，预测结果准确率不高，某一条可搜索连接可学习权重降低，从0.5降为0.3，该连接影响下降，而另外一条可搜索连接的可学习权重升高，从0.5提高到0.7，该连接影响上升，经过不断的迭代训练，每一条特征连接路径的可学习权重不断更新变化，最终在选取最佳神经网络结构时，将权重满足预设阈值要求的特征路径保留打开，其中，预设阈值根据具体应用场合的分割准确率要求进行确定，例如可以确定为0.9，此时，所有可学习权重大于等于0.9的特征连接均保留打开，共同形成可搜索特征聚合模块的最优特征聚合策略。
根据本发明的一个实施例，对神经网络在训练集上进行总计60，000次的训练迭代，训练过程中每隔500次迭代在验证集上面进行验证，我们取在验证集上面表现最好的网络结构作为最优神经网络。其中，针对可搜索主干构成模块中的每个功能层选取最优候选层，对其每一个功能层所有候选层的控制权重进行降序排序，保留控制权重最大的候选层作为该功能层的最佳结构。其中，由于各个可搜索主干构成模块控制权重的独立性，不同的可搜索主干构成模块搜索得到的最优候选层不一定一致，例如第一个第一可搜索主干构成模块中的普通层选取3x3x3卷积层为最优候选层，而第二个第一可搜索主干构成模块中的普通层则选取5x5x5卷积层，各功能层的最优层虽不一定一致，但它们搜索结果与可搜索主干构成模块搜索结果得到整体网络结构，被视为在特定数据集上面最优网络结构。
步骤4、重训练阶段：
用训练集将经过迭代采样训练后选出的最优神经网络重训练至收敛，其中，当某一次训练后与训练前相比，初始神经网络在验证集上的分类准确率变换不超过0.2％时判定训练收敛。
为了更好地说明本发明的效果，将本发明搜索得到的神经网络与其他现有主流神经网络在大脑分割数据集上的分割准确率进行对比，对比结果如表1所示，表1展示了本发明与其他主流方法在大脑分割数据集上面的分割性能的比较，结果使用交并比指标用于衡量分割结果，其中，这一系列方法可以分为三组，一是人工设计网络，比如Unet，NNunet，Nunet++，Un-ResNet都是研究人员手工设计出来的网络结构，二是SCNAS以及RONASMIS，两个将神经网络搜索应用到医疗图像中的工作，然而它们的搜索空间过于小，也即可选的子网络集合太小，因为往往包括不了最优的网络结构，最后是本发明UXNet，考虑并设计了更多且更贴合医疗图像特点的搜索空间，能够搜索的到更好的网络结构并有着更好的性能表现。
表1
Figure BDA0002684784350000121
通过上述实施例可知，本发明的技术方案思想可概括为如下步骤：T1、构建初始神经网络集合并将每一个初始神经网络训练至收敛，其中，初始神经网络集合中的每一个初始神经网络包括编码器、可搜索多尺度特征聚合模块、解码器、分类器，编码器包括至少四个第一可搜索主干构成模块，所述每个第一可搜索主干构成模块包括普通层和压缩层，所述初始神经网络的解码器包括至少四个第二可搜索主干构成模块，所述每个第二可搜索主干构成模块包括普通层和扩展层，其中，每一个普通层从其对应的普通层的候选集合中选择，每一个压缩层从其对应的压缩层的候选集合中选择，每一个扩展层从其对应的扩展层的候选集合中选择；T2、用医疗图像对应的训练集对经步骤T1训练后的所有初始神经网络进行多轮训练至收敛，确定每一个神经网络中可搜索多尺度特征聚合模块的最佳特征聚合策略；T3、在医疗图像对应的验证集上对经步骤T2训练后的初始神经网络进行分割准确率验证，并从中选出分割准确率最高的神经网络作为搜索结果；T4、对步骤T3选出的神经网络重训练至收敛。
其中，所述普通层的候选集合包括如下候选层：3x3x3卷积层、3x3x1卷积层、5x5x5卷积层、伪3d卷积层、两层堆叠3x3x3卷积层、3x3x3且步长为2的扩张卷积、5x5x5步长为2的扩张卷积层；所述压缩层的候选集合包括如下候选层：最大池化层、平均池化层、3x3x3带步幅为2卷积层；所述扩展层的候选集合包括如下候选层：转置卷积层、三线插值层。
此外，可搜索多尺度特征聚合模块中每个节点与输入特征之间可搜索连接上具有可学习权重，所述步骤T2中通过如下方式确定神经网络中可搜索多尺度特征聚合模块的最佳特征聚合策略：采用门函数将可搜索多尺度特征聚合模块中某个节点与输入特征之间可搜索连接上的可学习权重映射到[0，1]来衡量连接传播特征的重要性，将重要性大于或等于预设阈值的特征连接保留，删除重要性小于预设阈值的特征连接，最后保留的特征连接形成特征聚合策略，其中，
所述门函数为：
Figure BDA0002684784350000131
其中，σ代表门函数，β是可学习权重，e是自然对数函数的底数，初始化时，每一个可学习权重均设置为0，在每一次训练中，基于损失值进行标准梯度回传，以更新特种聚合模块中的所有可搜索连接的可学习权重。
前述实施例基于该技术方案思想，通过迭代采样训练的方式可以更加快速的搜索到最优神经网络结构。
现有技术下的方法通常对主干模块进行搜索，即只搜索了编码器，解码器，这样的做法虽然也能够在各个尺度下进行特征有效的提取，但却忽略了如何将这些特征进一步融合来用于最后的预测，对于特征融合一直是3D医疗神经网络设计非常重要的一个环节，忽略此环节因而只能获得有限的性能提高。在本发明中，我们增加多了特征融合这一方面，从而增大了总体的搜索空间，并且我们也使用了有效的搜索策略来对搜索空间的两部分内容(主干构建模块，多尺度特征聚合)进行共同耦合的搜索，从而能够为不同数据来源，不同任务定义的分析任务搜出最佳结构。
需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (13)

1.一种用于医疗图像分割的神经网络搜索方法，所述神经网络包括编码器、可搜索多尺度特征聚合模块、解码器、分类器，其特征在于，所述方法包括：
S1、构建初始神经网络并训练至收敛，其中，所述初始神经网络的编码器包括一个或多个第一可搜索主干构成模块，所述每个第一可搜索主干构成模块包括普通层和压缩层，所述初始神经网络的解码器包括一个或多个第二可搜索主干构成模块，所述每个第二可搜索主干构成模块包括普通层和扩展层，其中，每一个普通层从其对应的普通层的候选集合中随机选择，每一个压缩层从其对应的压缩层的候选集合中随机选择，每一个扩展层从其对应的扩展层的候选集合中随机选择；
S2、用医疗图像对应的训练集对经步骤S1训练后的初始神经网络进行多轮迭代采样训练以得到多个神经网络，并从多个神经网络中选出分割准确率最高的最佳神经网络；其中，每轮迭代训练是按照预设的采样方式，针对神经网络编码器和解码器中的每一层，分别独立地从各层对应的候选层中采样新的候选层替换当前层，并对采样后的编码器、解码器、可搜索多尺度特征聚合模块和分类器组成的新神经网络用训练集进行训练，同时搜索当前神经网络中可搜索多尺度特征聚合模块对应的最佳特征聚合策略；
S3、对步骤S2选出的神经网络进行重训练至收敛。
2.根据权利要求1所述的一种用于医疗图像分割的神经网络搜索方法，其特征在于，
所述普通层的候选集合包括如下候选层：3x3x3卷积层、3x3x1卷积层、5x5x5卷积层、伪3d卷积层、两层堆叠3x3x3卷积层、3x3x3且步长为2的扩张卷积、5x5x5步长为2的扩张卷积层；
所述压缩层的候选集合包括如下候选层：最大池化层、平均池化层、3x3x3带步幅为2卷积层；
所述扩展层的候选集合包括如下候选层：转置卷积层、三线插值层。
3.根据权利要求2所述的一种用于医疗图像分割的神经网络搜索方法，其特征在于，所述神经网络中的编码器或解码器中的每一层对应的候选集合中的候选层均具有独立的控制权重，编码器或解码器中同一层对应的所有候选层的控制权重之和为1；其中在迭代采样训练之前，同一层对应的所有候选层的初始化控制权重为相等数值。
4.根据权利要求3所述的一种用于医疗图像分割的神经网络搜索方法，其特征在于，
在所述步骤S2中，每轮迭代训练中采用ProxylessNAS方式从每一层的候选集合中进行采样，将医疗图像对应的训练集输入所有采样得到的新候选层与可搜索多尺度特征聚合模块、分类器组成的新神经网络进行预测，将预测结果与训练集对应的人工标签进行对比以计算损失值，并基于损失值进行标准梯度回传，以更新神经网络参数以及编码器和解码器中的每一层对应候选集合中候选层的控制权重。
5.根据权利要求4所述的一种用于医疗图像分割的神经网络搜索方法，其特征在于，可搜索多尺度特征聚合模块中某个节点与输入特征之间可搜索连接上具有可学习权重；
在神经网络每轮迭代训练过程中，采用门函数将可搜索多尺度特征聚合模块中某个节点与输入特征之间可搜索连接上的可学习权重映射到[0，1]来衡量连接传播特征的重要性，将重要性大于或等于预设阈值的特征连接保留，删除重要性小于预设阈值的特征连接，最后保留的特征连接形成特征聚合策略；
其中，所述门函数为：
Figure FDA0002684784340000021
其中，σ代表门函数，β是可学习权重，e是自然对数函数的底数，初始化时，每一个可学习权重均设置为0，在每一次迭代训练中，基于损失值进行标准梯度回传，以更新特种聚合模块中的所有可搜索连接的可学习权重。
6.根据权利要求5所述的一种用于医疗图像分割的神经网络搜索方法，其特征在于，通过如下方式选择神经网络：
将迭代采样训练完成后的神经网络的编码器和解码器中每一层对应候选集合中的候选层的权重进行降序排列，选出每一层中权重最大的候选层并与可搜索多尺度特征聚合模块、分类器组成最佳神经网络。
7.根据权利要求6所述的一种用于医疗图像分割的神经网络搜索方法，其特征在于，所述步骤S2中，对初始神经网络进行60000次的迭代采样训练，并在每隔500次迭代训练在医疗图像对应的验证集上对神经网络进行验证，选出在验证集上分割准确率最高的神经网络。
8.一种用于医疗图像分给的神经网络搜索方法，其特征在于，包括：
T1、构建初始神经网络集合并将每一个初始神经网络训练至收敛，其中，初始神经网络集合中的每一个初始神经网络包括编码器、可搜索多尺度特征聚合模块、解码器、分类器，编码器包括一个或多个第一可搜索主干构成模块，所述每个第一可搜索主干构成模块包括普通层和压缩层，所述初始神经网络的解码器包括一个或多个第二可搜索主干构成模块，所述每个第二可搜索主干构成模块包括普通层和扩展层，其中，每一个普通层从其对应的普通层的候选集合中选择，每一个压缩层从其对应的压缩层的候选集合中选择，每一个扩展层从其对应的扩展层的候选集合中选择；
T2、用医疗图像对应的训练集对经步骤T1训练后的所有初始神经网络进行多轮训练至收敛，确定每一个神经网络中可搜索多尺度特征聚合模块的最佳特征聚合策略；
T3、在医疗图像对应的验证集上对经步骤T2训练后的初始神经网络进行分割准确率验证，并从中选出分割准确率最高的神经网络作为搜索结果；
T4、对步骤T3选出的神经网络重训练至收敛。
9.根据权利要求8所述的一种用于医疗图像分割的神经网络搜索方法，其特征在于，
所述普通层的候选集合包括如下候选层：3x3x3卷积层、3x3x1卷积层、5x5x5卷积层、伪3d卷积层、两层堆叠3x3x3卷积层、3x3x3且步长为2的扩张卷积、5x5x5步长为2的扩张卷积层；
所述压缩层的候选集合包括如下候选层：最大池化层、平均池化层、3x3x3带步幅为2卷积层；
所述扩展层的候选集合包括如下候选层：转置卷积层、三线插值层。
10.根据权利要求9所述的一种用于医疗图像分割的神经网络搜索方法，其特征在于，可搜索多尺度特征聚合模块中某个节点与输入特征之间可搜索连接上具有可学习权重，所述步骤T2中通过如下方式确定神经网络中可搜索多尺度特征聚合模块的最佳特征聚合策略：
采用门函数将可搜索多尺度特征聚合模块中某个节点与输入特征之间可搜索连接上的可学习权重映射到[0，1]来衡量连接传播特征的重要性，将重要性大于或等于预设阈值的特征连接保留，删除重要性小于预设阈值的特征连接，最后保留的特征连接形成特征聚合策略，其中，
所述门函数为：
Figure FDA0002684784340000041
其中，σ代表门函数，β是可学习权重，e是自然对数函数的底数，初始化时，每一个可学习权重均设置为0，在每一次训练中，基于损失值进行标准梯度回传，以更新特种聚合模块中的所有可搜索连接的可学习权重。
11.一种基于权利要求1-10任一所述方法搜索到的用于医疗图像分割的神经网络，其特征在于，所述神经网络包括：
编码器，用于提取输入数据的特征，所述编码器中的每一层均为从该层对应的候选集合中选出的权重最高的候选层；
可搜索多尺度特征聚合模块，用于对编码器提取的各种尺度的特征进行聚合，所述可搜索多尺度特征聚合模块中的特征连接均为重要性大于等于预设阈值的特征连接；
解码器，用于根据特征聚合模块聚合后的特征进行分割目标确定，所述解码器中的每一层均为从该层对应的候选集合中选出的权重最高的候选层；
分类器，用于根据解码器的目标确定结果输出输入数据的分类结果。
12.一种计算机可读存储介质，其特征在于，其上包含有计算机程序，所述计算机程序可被处理器执行以实现权利要求1至10任一所述方法的步骤。
13.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如权利要求1至10中任一项所述方法的步骤。
CN202010973006.2A 2020-09-16 2020-09-16 一种用于医疗图像分割的神经网络搜索方法 Pending CN114202669A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010973006.2A CN114202669A (zh) 2020-09-16 2020-09-16 一种用于医疗图像分割的神经网络搜索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010973006.2A CN114202669A (zh) 2020-09-16 2020-09-16 一种用于医疗图像分割的神经网络搜索方法

Publications (1)

Publication Number Publication Date
CN114202669A true CN114202669A (zh) 2022-03-18

Family

ID=80644512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010973006.2A Pending CN114202669A (zh) 2020-09-16 2020-09-16 一种用于医疗图像分割的神经网络搜索方法

Country Status (1)

Country Link
CN (1) CN114202669A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115760777A (zh) * 2022-11-21 2023-03-07 脉得智能科技(无锡)有限公司 基于神经网络结构搜索的桥本氏甲状腺炎诊断系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115760777A (zh) * 2022-11-21 2023-03-07 脉得智能科技(无锡)有限公司 基于神经网络结构搜索的桥本氏甲状腺炎诊断系统
CN115760777B (zh) * 2022-11-21 2024-04-30 脉得智能科技(无锡)有限公司 基于神经网络结构搜索的桥本氏甲状腺炎诊断系统

Similar Documents

Publication Publication Date Title
CN109948029B (zh) 基于神经网络自适应的深度哈希图像搜索方法
Xie et al. Point clouds learning with attention-based graph convolution networks
Lundberg et al. A unified approach to interpreting model predictions
CN112364880B (zh) 基于图神经网络的组学数据处理方法、装置、设备及介质
CN109120462B (zh) 机会网络链路的预测方法、装置及可读存储介质
CN105144203B (zh) 信号处理系统
CN110909926A (zh) 基于tcn-lstm的太阳能光伏发电预测方法
CN107562812A (zh) 一种基于特定模态语义空间建模的跨模态相似性学习方法
US20230196202A1 (en) System and method for automatic building of learning machines using learning machines
CN110348447B (zh) 一种具有丰富空间信息的多模型集成目标检测方法
CN106326346A (zh) 文本分类方法及终端设备
CN113570029A (zh) 获取神经网络模型的方法、图像处理方法及装置
CN114255361A (zh) 神经网络模型的训练方法、图像处理方法及装置
CN114861890B (zh) 构建神经网络的方法、装置、计算设备及存储介质
CN112905801A (zh) 基于事件图谱的行程预测方法、系统、设备及存储介质
CN111723914A (zh) 一种基于卷积核预测的神经网络架构搜索方法
CN112949647A (zh) 三维场景描述方法、装置、电子设备和存储介质
Chen et al. Binarized neural architecture search for efficient object recognition
CN113378938B (zh) 一种基于边Transformer图神经网络的小样本图像分类方法及系统
CN112308115A (zh) 一种多标签图像深度学习分类方法及设备
CN112529069A (zh) 一种半监督节点分类方法、系统、计算机设备和存储介质
CN107451617B (zh) 一种图转导半监督分类方法
CN115879508A (zh) 一种数据处理方法及相关装置
CN115311506A (zh) 基于阻变存储器的量化因子优化的图像分类方法及装置
Wan et al. E2SCNet: Efficient multiobjective evolutionary automatic search for remote sensing image scene classification network architecture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination