CN109493347A - 在图像中对稀疏分布的对象进行分割的方法和系统 - Google Patents

在图像中对稀疏分布的对象进行分割的方法和系统 Download PDF

Info

Publication number
CN109493347A
CN109493347A CN201710992115.7A CN201710992115A CN109493347A CN 109493347 A CN109493347 A CN 109493347A CN 201710992115 A CN201710992115 A CN 201710992115A CN 109493347 A CN109493347 A CN 109493347A
Authority
CN
China
Prior art keywords
image
full convolutional
layer
convolutional network
full
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710992115.7A
Other languages
English (en)
Other versions
CN109493347B (zh
Inventor
陈翰博
宋麒
尹游兵
李育威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ke Ya Medical Technology Co Ltd
Shenzhen Keya Medical Technology Corp
Original Assignee
Shenzhen Ke Ya Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ke Ya Medical Technology Co Ltd filed Critical Shenzhen Ke Ya Medical Technology Co Ltd
Priority to CN201911128044.1A priority Critical patent/CN110838124B/zh
Publication of CN109493347A publication Critical patent/CN109493347A/zh
Application granted granted Critical
Publication of CN109493347B publication Critical patent/CN109493347B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • G06F18/21345—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis enforcing sparsity or involving a domain transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明公开了一种在图像中对稀疏分布的对象进行分割的方法和系统。一种在图像中对稀疏分布的对象进行分割的方法，所述方法利用全卷积神经网络进行分割，以得到表征所述图像的每个像素点属于对象的概率值的概率图像，其特征在于，所述方法包括如下步骤：将所述图像输入到所述第一全卷积网络，以对所述图像内的对象可能区域进行预测；将所述图像中表征所述对象可能区域的子图像用作所述第二全卷积网络的前端输入，以计算子概率图像；以及将计算得到的子概率图像拼接起来以生成所述概率图像。其能够快速、高效且精准地完成图像分割任务。

Description

在图像中对稀疏分布的对象进行分割的方法和系统
技术领域
本发明涉及图像分割的方法和系统，更具体地，涉及利用神经网络在图像中进行对象分割的方法和系统。
背景技术
图像分割系统在众多影像分析处理系统中都是不可或缺的一部分。如果将一张图像描述成排列成矩阵的像素点，图像分割系统的作用则是对这些像素点进行分类。可以根据需要来设定类别的数量。例如，进行人脸识别的软件往往需要对人脸进行分割，先将人类区域所属的像素点(前景区域)与非人类区域的像素点(背景区域)区分开来。对自然风景照片进行识别的软件则往往需要将图像分割成天空、山川、河流、动物等不同的区域。
图像分割系统不只在日常生活中有着应用，在许多专业领域中，包括海事、军事、气象、航空航天和医学领域等，也有着重要的应用。以医学领域为例，心血管疾病的诊断系统需要先将血管组织分割出来；而肺病的诊断系统则需要先将肺气管、肺血管、以及潜在的肺结节分割出来。精确的分割有助于进行三维模型重建、可视化以协助医师进行判断，同时也是后续定量分析重要临床参数(如尺寸大小、形状、像素统计结果等)的精确度的根本保证。又例如在航空航天领域，星空影像的分析系统则需要先进行图像分割将恒星、行星、星系所在的区域与背景区域区分开来，而大气卫星遥感图像的分析系统则需要将图像中的云层、土地、水域等区域分割出来。尽管应用各不相同，但这些分割系统的设计过程中，精确度都是重要的指标，而另一个重要的指标则是速度。
为了获取更高的精度，新近开发的分割方法中引入了基于机器学习的数据驱动方法。在这类系统中，开发者会将事先标注好的分割图像与原始图像作为训练样本一同输入到系统之中，通过计算数据之间的统计模型以找寻规律，并基于这一学习得到的规律，完成对测试图像的分割。
在众多机器学习方法中，神经网络(即深度学习，deep learning)方法由于其优异的性能在近几年被应用于越来越多的图像处理算法中。其中，基于卷积的神经网络(简称为“卷积神经网络”)的方法表现尤为突出。神经网络是一种特殊的计算网络结构，其由多层计算单元组成，上一层计算单元的数值被加权叠加并经过一个非线性激活函数传递给下一层。图1(a)示出了拥有三层结构的全连接神经网络；图1(b)示出了卷积神经网络，不同于全连接神经网络，卷积神经网络中的连接相对稀疏，每个计算单元只与上一层中空间相邻的计算单元相连接，且连接的权重(a1、a2、a3、b1、b2、b3)会在不同的计算单元之间共享。卷积神经网络所需要训练的参数相比全连接神经网络明显减少，训练难度会明显降低。同时，这样的结构也符合图像处理的需要。在传统的图像处理方法中，卷积操作往往会被用来提取诸如边缘、平均亮度等特征，如图1(d)所示，采用了特定的卷积核来用于检测边缘。卷积神经网络也采用了类似的原理，如图1(c)所示；不同的是，卷积神经网络的卷积核是通过机器学习训练得到的，并且经过多层卷积操作的叠加，能够描述诸如圆形、多边形、乃至不规则形状等图像特征。
卷积神经网络被广泛应用于图像分类任务。如图1(e)所示，这样的网络大多由两部分构成：在第一部分中，图像经过多层卷积网络和最大值下采样操作以提取特征；在第二部分中，提取的特征则会经过全连接层生成最终的分类结果。落实到图像处理任务，一般的方法会以目标像素点为中心，在它周围区域提取出一张固定大小的图像，然后对该固定大小的图像进行分类。然而这种方法存在显著的缺陷：由于全连接层的存在，输入图像必须为特定大小；对所有的像素点进行单独运算所需要的运算量是极其庞大的，在相邻像素点的周围区域的图像彼此重叠的区域，同样的卷积运算会被重复进行；此外，因为是对固定大小的周围区域进行分类，通常卷积神经网络用于对区域(例如人脸区域)的识别，而不是像素级别的分割。
近来，全卷积神经网络也被应用于图像分割任务。如图1(f)所示，在用于分割系统的全卷积神经网络中，整幅原始图像被直接输入网络进行卷积与下采样运算以提取特征。为了保证最终输出的分割好的图像与输入图像的大小一致，在网络的下游加入反卷积操作和/或上采样操作。在生成最终输出的时候，大小为1的卷积核(卷积层4)被用来取代了全连接层。不同于传统的机器学习方法需要人工介入设计前期处理方法、特征提取方法、后期处理方法并手动选取包括阈值在内的各种分割参数，这类全卷积神经网络被称为端到端的解决方案，既输入为原始图像，输出为分割好的图像；一旦神经网络的结构确定，剩下的所有过程由计算机通过计算自动优化，不需要更多的人工介入。其相比普通的卷积神经网络至少具有以下优点：(1)通用性高，同一系统通过调整训练样本重新训练有可能用于不同的分割任务；(2)计算效率高：相比于惯用的卷积神经网络省去了重叠区域内冗余的计算操作；(3)图像尺寸灵活：不同于传统深度学习方法，全卷积网络中不需要全连接层，因而不需要输入图像为特定大小；(4)开发周期短。
发明内容
尽管全卷积神经网络有着以上诸多优点，却有个明显的缺陷妨碍了其广泛应用于图像分割：计算复杂度高。由于需要进行大量的卷积计算，整个计算过程中对内存的需求以及计算量随着图像尺寸的变大成几何倍数增长。例如，对于处理一张正常大小的3维薄层CT图像，即使使用顶级图形显卡加速器(GPU)，其运算时间往往仍长达数十分钟乃至数小时。这极大地限制了这类方法在包括医学图像(尤其是三维图像)等对运算时间要求严格和/或运算资源有限的各种领域中的实际应用。
发明人发现，很大比例的图像中，分割对象的分布往往相对稀疏，利用这一特征，发明人设计出了一种基于优化过的全卷积神经网络的方法和系统，其能够快速、高效且精准地完成图像分割任务。
本发明实施例的目的在于提供一种适用于待分割的对象分布稀疏的图像的图像分割方法和系统，该方法和系统无需固定输入图像的大小、运算效率高、通用性好、减少甚或最大可能消除了用户的介入且分割结果精准可靠。
为了解决上述技术问题，本发明实施例采用了如下技术方案。
根据本发明的第一方案，提供了一种在图像中对稀疏分布的对象进行分割的方法，所述方法利用全卷积神经网络进行分割，所述全卷积神经网络的输入为所述图像而输出为表征所述图像的每个像素点属于对象的概率值的最终概率图像，其特征在于，所述全卷积神经网络包括第一全卷积网络和第二全卷积网络，且所述方法包括如下步骤：
将所述图像输入到所述第一全卷积网络，以对所述图像内的对象可能区域进行预测；
将所述图像中表征所述对象可能区域的子图像用作所述第二全卷积网络的前端输入，以计算精确分割的子概率图像；以及
将计算得到的子概率图像拼接起来以生成所述最终概率图像。
优选地，所述第一全卷积网络由下采样层以及一次或多于一次交替连接的卷积层与下采样层依序连接构成。
优选地，所述第一全卷积网络构成为：用于预测相对应的像素为背景区域的概率值的单个卷积层；或者，所述用于预测相对应的像素为背景区域的概率值的单个卷积层及基于该卷积层的预测进行选择性卷积操作的稀疏卷积层的依序连接。
优选地，所述的在图像中对稀疏分布的对象进行分割的方法包括将所述第一全卷积网络的预测结果和/或整个所述全卷积神经网络中的卷积层所提取的图像特征作为中间输入接入到第二全卷积网络中的适当位置处的步骤，所述预测结果包括所述对象可能区域和预测概率图像。
更优选地，将所述第一全卷积网络的预测结果和/或所述卷积层所提取的图像特征作为中间输入接入到第二全卷积网络中的步骤包括：将所述卷积层所提取的图像特征和/或所得到的预测概率图像插入到第二全卷积网络内的位置处，以与该位置处现有的信息进行结合操作。
优选地，将所述第一全卷积网络的预测结果和/或所述卷积层所提取的图像特征作为中间输入接入到第二全卷积网络中的步骤包括：将所述第一全卷积网络和/或所述第二全卷积网络中一定位置处的信息跳过一个或多于一个计算层直接输送给后面的位置，以与所述后面的位置处现有的信息进行结合。
优选地，将所述第一全卷积网络的预测结果和/或所述卷积层所提取的图像特征作为中间输入接入到第二全卷积网络中的步骤包括：在所述第一全卷积网络和/或所述第二全卷积网络中，在两个位置之间加入并行的卷积操作，以将该并行的卷积操作所得信息与后面的位置处现有的信息进行结合操作。
更优选地，所述一定位置和所述后面的位置分别是所述第二全卷积网络中的相同类型层的输出处和输入处。
优选地，在整个所述全卷积神经网络中的至少一个卷积层与其前一节点之间引入用于蒙版计算的卷积层，使得该至少一个卷积层基于计算所得的蒙版执行稀疏卷积操作。
优选地，所述方法包括对所述全卷积神经网络进行训练，并且所述训练包括如下中的至少一种：对训练好的全卷积神经网络进行转移训练，以转用于维度相同且亮度分布接近的不同图像的分割；当所述第二全卷积网络没有中间输入或其中间输入不包含来自所述第一全卷积网络的卷积层所提取的图像特征时，对所述第一全卷积网络和所述第二全卷积网络分别进行训练。
根据本发明的第二方案，提供了一种在图像中对稀疏分布的对象进行分割的系统，所述系统利用全卷积神经网络进行分割，所述全卷积神经网络的输入为所述图像而输出为表征所述图像的每个像素点属于对象的概率值的最终概率图像，其特征在于，所述全卷积神经网络包括第一全卷积网络和第二全卷积网络，且所述系统包括：
存储器，存储有计算机可执行指令；以及
处理器，通信地联接到所述存储器并配置为执行所述存储器中存储的所述计算机可执行指令，当所述计算机可执行指令被所述处理器执行时，实现如下步骤：
将所述图像输入到所述第一全卷积网络，以对所述图像内的对象可能区域进行预测；
将所述图像中表征所述对象可能区域的子图像用作所述第二全卷积网络的前端输入，以计算精确分割的子概率图像；以及
将计算得到的子概率图像拼接起来以生成所述最终概率图像。
优选地，所述第一全卷积网络由下采样层以及一次或多于一次交替连接的卷积层与下采样层依序连接构成。
优选地，所述第一全卷积网络构成为：用于预测相对应的像素为背景区域的概率值的单个卷积层；或者，所述用于预测相对应的像素为背景区域的概率值的单个卷积层及基于该卷积层的预测进行选择性卷积操作的稀疏卷积层的依序连接。
优选地，当所述计算机可执行指令被所述处理器执行时，还实现如下步骤：将所述第一全卷积网络的预测结果和/或整个所述全卷积神经网络中的卷积层所提取的图像特征作为中间输入接入到第二全卷积网络中的适当位置处，所述预测结果包括所述对象可能区域和预测概率图像。
更优选地，将所述第一全卷积网络的预测结果和/或所述卷积层所提取的图像特征作为中间输入接入到第二全卷积网络中的步骤包括：将所述卷积层所提取的图像特征和/或所得到的预测概率图像插入到第二全卷积网络内的位置处，以与该位置处现有的信息进行结合操作。
优选地，将所述第一全卷积网络的预测结果和/或所述卷积层所提取的图像特征作为中间输入接入到第二全卷积网络中的步骤包括：将所述第一全卷积网络和/或所述第二全卷积网络中一定位置处的信息跳过一个或多于一个计算层直接输送给后面的位置，以与所述后面的位置处现有的信息进行结合。
优选地，将所述第一全卷积网络的预测结果和/或所述卷积层所提取的图像特征作为中间输入接入到第二全卷积网络中的步骤包括：在所述第一全卷积网络和/或所述第二全卷积网络中，在两个位置之间加入并行的卷积操作，以将该并行的卷积操作所得信息与后面的位置处现有的信息进行结合操作。
优选地，所述一定位置和所述后面的位置分别是所述第二全卷积网络中的相同类型层的输出处和输入处。
优选地，整个所述全卷积神经网络中的至少一个卷积层与其前一节点之间引入用于蒙版计算的卷积层，使得该至少一个卷积层基于所计算的蒙版执行稀疏卷积操作。
优选地，当所述计算机可执行指令被所述处理器执行时，还实现如下步骤：对所述全卷积神经网络进行训练，并且所述训练包括如下中的至少一种：对训练好的全卷积神经网络进行转移训练，以转用于维度相同且亮度分布接近的不同图像的分割；当所述第二全卷积网络没有中间输入或其中间输入不包含来自所述第一全卷积网络的卷积层所提取的图像特征时，对所述第一全卷积网络和所述第二全卷积网络分别进行训练。
本发明实施例的有益效果在于：
1.本发明可以处理多种图像分割问题。传统的分割方法往往是针对不同种数据和不同种组织专门设计出特定的分割方法。本方法采用了更为先进的深度学习方法。该方法通用性好，同一系统只需要修改训练数据集便可以应用于不同的问题场景。无需人为介入更改方法或者参数。
2.传统的基于深度学习的方法需要固定图像的大小。本发明中所采用的全卷积神经网络相对灵活，可应用于不同大小的图像。
3.本项发明利用图像中所需分割组织往往呈现稀疏分布这一特点，提出了一种有效的加速方法。先通过大尺度下的初步预测快速定位组织所在区域，再通过小尺度下的精细分割以准确分割。值得指出的是，初步预测与精细分割都是通过全卷积神经网络完成，故而准确性、灵活性、通用性等优点可以保证。
4.不同于传统方法，本项发明中的系统在使用过程中无需用户输入任何的参数，只需指定输入图像，便可自动完成所有的任务，生成最终分割结果。对于潜在的由图像特点变动所引起的准确度下降问题，只需用户提供少量训练样本，系统便可以自动调整以适应新的数据。
附图说明
为使本领域技术人员更好地理解本发明，下面参照附图对本发明的实施例进行详细说明，但不作为对本发明的限定。以下将参照附图来描述本发明的示例性实施例的特征、优点，以及技术和适用性，在附图中，相同的附图标记指代相同的元件，并且在附图中：
图1(a)示出现有技术的全连接神经网络的示例的示意图；
图1(b)示出现有技术的卷积神经网络的示例的示意图；
图1(c)示出现有技术的利用卷积神经网络进行2维卷积操作的示意图，其中，卷积核是通过机器学习训练得到的；
图1(d)示出在传统的图像处理方法中利用2维卷积操作来检测边缘的示意图，其中，卷积核是一种用于边缘检测的特定的卷积核；
图1(e)示出现有技术的用于图像分类和识别的卷积神经网络的示例；
图1(f)示出现有技术的用于图像分割的全卷积神经网络的示例；
图2示出根据本发明一个实施例的在图像中对稀疏分布的对象进行分割的方法的框图；
图3示出根据本发明另一实施例的用于在三维图像中对稀疏分布的对象进行初步预测的神经网络的示例；
图4示出根据本发明又一实施例的用于在三维图像中对稀疏分布的对象进行分割的神经网络的示例，其中，进行精确分割的神经网络的示例与初步全卷积神经网络连接，接收来自其的预测的区域作为前端输入，并接收来自其的卷积层的图像特征作为中间输入；
图5示出根据本发明再一实施例的用于在二维图像中对稀疏分布的对象进行分割的神经网络的另一示例，其中，进行精确分割的神经网络的示例与初步全卷积神经网络连接，接收来自其的预测的区域作为前端输入，并接收来自其的预测概率图像作为中间输入；
图6示出根据本发明又一个实施例在二维图像中对稀疏分布的对象进行初步预测的神经网络进行进一步加速的示例，其中，在各个卷积层与其前一节点之间引入用于蒙版计算的卷积层(下文中也称为“分步初步预测”)从而使得该各个卷积层基于蒙版执行稀疏卷积操作；
图7示出根据本发明另一实施例的用于在图像中对稀疏分布的对象进行分割的系统的框图。
具体实施方式
针对现有技术中全卷积神经网络应用于图像分割的各种缺陷，发明人针对图像中的分割对象的分布的特征，设计了优化过的全卷积神经网络、分割方法和分割系统，从而克服了这些缺陷。发明人发现，大量图像中的分割对象的分布往往相对稀疏，例如航天图像中作为分割对象的星系在背景图像区域中分布稀疏，医学图像中作为分割对象的靶向区域或器官在整张图像中分布稀疏，等等，针对分割对象的这一分布特征，发明人设计出了一种基于优化过的全卷积神经网络，其能够高效精准地完成图像分割任务。
本发明的主要原理是，用一种全卷积神经网络(文中称为“初步全卷积神经网络”或者“第一全卷积网络”)在低分辨率下初步预测对象的分布区域，以缩减搜索区域，再用另一种全卷积神经网络(文中称为“精细全卷积神经网络”或者“第二全卷积网络”)在高分辨率下对缩减后的搜索区域中的对象进行进一步的预测，以精确分割出对象，优选地，也可以将两种分辨率下的结果进行融合，从而能够兼具速度效率和精确度地完成图像中对象的分割任务。要注意，在这里，“初步”和“精细”只是为了对两个全卷积网络进行区分且与各个全卷积网络执行的初步预测和精确分割功能相对应，只是为了区分方便，并没有额外的限定意义。也可以将这两个全卷积网络称为“第一全卷积网络”和“第二全卷积网络”。优选地，上述初步预测和精确分割中的任何一个步骤不限于仅仅施行一次，而是可以各自执行若干次，也就是说，初步预测可以分步执行多次，精确分割也是如此。
下面以医学图像为例进行对本发明的说明，但应知道，该发明也可应用于其他具有稀疏分布的分割对象的图像上。注意，在本文中，术语“分割对象”是指在图像中待分割出的对象，在不同领域的图像中对象也视情况而不同，例如，在医学图像中，对象可以是医生诊断治疗的目标对象，例如心血管诊断中的冠状动脉，X射线成像诊断中的靶区，等等；在普通的数码照片中，对象可以是人脸等；在卫星遥感照片中，对象可以是农田、森林、工事、气象要素等；在安保领域的数字图像中，对象可以是与违禁品相关的敏感物体，等等。不管在什么领域，也不管该图像的维度(例如1维、2维、或者高维)，只要对象在图像中的分布是稀疏的，本发明即适用于在该图像中对于对象进行高效、迅速且精确的端到端的分割。稀疏分布在这里特指的是分割对象在图像中所占的区域小于一半，优选的，小于10％。
图2示出根据本发明一个实施例的在图像中对稀疏分布的对象进行分割的方法的大体框图，该方法中利用了在图像中对稀疏分布的对象进行分割的全卷积神经网络，该总体的全卷积神经网络主要由初步全卷积神经网络和精细全卷积神经网络两种子网络构成。注意，虽然图2中示出了一个初步全卷积神经网络和一个精细全卷积神经网络，但这仅仅作为示例，两者的数量并不限于各一个，实际上，用户根据需要可以分别采用多个子网络，并可以将初步预测和精确分割的任何一个步骤分别执行若干次。如图2所示，该方法先将原始图像输入到初步全卷积神经网络，其对原始图像内的对象可能所在的区域(也就是对象可能区域)进行预测。该初步全卷积神经网络的输入为原始图像，输出包括预测概率图像，预测概率图像中的每个像素点的值代表该像素对应的原始图像的区域中出现某个对象的概率；原始图像中可能有多个对象，每个对象具有相应的预测概率图像。输出的预测概率图像的空间分辨率可以小于原始图像，从而预测概率图像中的每个像素点可对应于原始图像中的一个区域。根据预测概率图像中的每个像素点的值，可以缩减后续的搜索区域。具体说来，可以通过各种手段从原始图像中滤除掉没有对象分布的区域，得到对象可能区域。例如，可以设置对象出现阈值，将预测概率图像中的每个像素点的值与该对象出现阈值进行比较，其值大于等于该对象出现阈值的像素点对应的原始图像中的区域被认为是对象可能区域，反之则不是对象可能区域。再例如，可以结合预测概率图像中的各个像素点的值与对象出现阈值的比较结果以及比较结果的局部分布特征，例如为正的比较结果(表征该像素对应的区域是对象可能区域)的紧邻周边至少分布着n个正的比较结果，n为大于等于1的预设整数等，来确定各个像素点对应的原始图像中的区域是否对象可能区域。优选地，在初步全卷积神经网络的上游或在其中设置下采样层，可以一方面增大预测结果的视野从而做到更为全局的判断，另一方面可以缩减图像尺寸从而起到加速效果，并且可选地适配图像处理器的处理要求。因为预测概率图像不需要恢复到与原始图像相同的尺寸，在该初步预测全卷积网络中不需要使用上采样层和反卷积层；在初步全卷积神经网络中，通过卷积层与下采样层的交替使用(如图1(f)和图3所例示的)以完成图像特征的提取以及对象可能区域的预测。
接着，基于初步全卷积神经网络得到的对象可能区域，原始图像会被分割成较小的子图像1-n(即表征对象可能区域的子图像)，作为精细全卷积神经网络的输入图像，以通过该网络计算出精确分割的子概率图像1-n。计算得到的子概率图像1-n将会被拼接起来以生成最终概率图像。该最终概率图像的大小以及分辨率与原始图像一致，每个像素点的值取值范围在0到1之间，为该像素点属于某个对象的概率值，由此得到原始图像中各个像素属于该对象的概率的量化显示；图像分割针对的对象可以是多个，针对每一个对象会得到一个最终概率图像，每个像素点的值为原始图像的该像素点属于该种对象的概率值；如果将图像中所有可能的对象涵盖在内，则单个像素点属于各种对象的概率值的总和为1。进一步地，也可以通过对最终概率图像中各个像素点的值进行阈值比较和/或结合比较结果的局部分布特征(细节参见初步预测的相应部分)，来获得原始图像中对象的分割结果。该精细全卷积神经网络是一个完整的全卷积分割网络，其由特征提取与分割预测两种部分组成：特征提取部分通常由卷积层、下采样层组成；分割预测部分在特征提取部分之后，其作用是完成分割预测并且还原图像空间分辨率，该部分通常由卷积层和反卷积层(和/或上采样层)组成。
下面分别对典型的全卷积神经网络的各个部分进行详细说明。卷积层
卷积层中完成的是卷积操作。卷积操作即是根据卷积核对输入进行加权叠加运算。卷积核中的权重数值则通过训练过程优化。卷积操作的其他参数需通过预先设定，设定可以是人为的，也可以由处理器根据预定规则来设置。这些参数包括：
卷积核大小——每次卷积运算的范围。
卷积核数量——所输出的特征的数量。数量越大则描述能力越强，计算量与存储需求量越大。
步长——相邻两个卷积核之间，从上一卷积核到下一卷积核所移动的像素数。如果卷积步长不为1，则输出图像的空间分辨率会小于输入图像，可以用来减小输出图像的空间分辨率，由此实现计算的加速和视野的扩大。作为示例并使得说明更加清晰易懂，优选示例中的卷积步长都为1，空间分辨率的降低则全部通过下采样操作完成，但卷积步长并不限于此。
填零——如图1(d)所示，卷积操作后输出图像相比于输入图像在边缘会有像素缺失。该问题可以通过在输出图像边缘填零来解决。
反卷积层
反卷积计算是一种特殊的卷积计算。不同于普通卷积运算的是，反卷积计算的输出图像大小会大于输入图像大小，从而设置在卷积层下游可以达到还原图像尺寸的目的。它有着所有卷积运算的属性，同时相比于卷积操作还多了一个需要设置的参数：
采样间隔——卷积前会在输入图像的像素之间加入间隔，间隔之中的像素将会被填零。加入间隔是为了达到让反卷积层的输出图像还原图像大小的目的。
激活函数
激活函数由一个固定的非线性函数构成。线性运算(如卷积)和非线性运算(如激活函数)的交替结合使用是神经网络的基本属性。有多种非线性函数可选，如sigmoid、ReLU等。多数情况下，卷积操作、反卷积操作、或者全连接层之后都会附加一个激活层。因此，为了让说明更加明晰简洁，我们在附图以及下文的描述中，略去对激活层的显示和说明，而仅仅示出卷积层、反卷积层等。请注意，我们默认卷积层和反卷积层的卷积和反卷积操作后包含了激活操作，这里的卷积层和反卷积层后实际上均设置有激活函数，也可以将所示出的卷积层和反卷积层分别理解为卷积-激活复合层和反卷积-激活复合层。在没有另行说明的情况下，图像特征则专指卷积-激活复合层的输出。下采样层
下采样层会对输入图像进行下采样操作。下采样操作的输入为多个空间上连续的像素，输出为一个像素。该输出像素可以为输入的最大值、平均值、中位数，或者其他运算结果。下采样的目的是为了减小空间冗余的特征并且增大后续卷积操作的视野。
上采样层
上采样层会对输入图像进行上采样操作。上采样操作的输入为一个或多个空间上连续的像素，输出为多个像素。上采样层的作用是还原图像分辨率。上采样算法可使用最近值采样、线性插值采样、b样条采样、或者其他运算结果。
图3示出根据本发明另一实施例的用于在三维图像中对稀疏分布的对象进行初步预测的神经网络的示例，该神经网络也就是上文所述的初步全卷积神经网络的示例。如图3所示，该神经网络先通过一个下采样层减小输入的原始图像的尺寸，以起到加速运算和扩大视野的效果。然后，通过一次或多于一次卷积层与下采样层的交替使用以完成图像特征的提取以及对象可能区域的预测。这里，相邻的两个层可以是卷积层和下采样层中不同类别的层，也可以是其中相同类别的层，卷积层可以具有与下采样层不同的数量，只要该神经网络中总体上实现了卷积层与下采样层的交替使用。如果该神经网络中每次下采样后输出图像为输入图像的一半大小，则如图3所示利用4个下采样层，输出的预测概率图像的尺寸在各个维度上就都为输入图像的1/16，以输入图像是3D图像为例，输出的预测概率图像中一个像素的值表征输入图像中16×16×16个像素构成的三维区域中包含对象的概率，也就是说，这一个像素可以用于预测输入图像中16×16×16个像素构成的区域中是否包含对象(该区域是否对象可能区域)。
作为示例，该初步全卷积神经网络可以预测3D计算机断层扫描血管造影(CTA)影像中冠状动脉的潜在区域。该神经网络的结构也适用于其他成像模式，包括计算机断层扫描(CT)、超声、核磁共振等各种模式等的3维影像中对象可能区域的初步预测，也适用各种成像模式的其他维度，例如1维、2维、或者高维等的影像中对象可能区域的初步预测。
该神经网络的结构并不局限于以上示例。例如，神经网络的深度可以加深或变浅，下采样层也可以被步长不为1的卷积操作取代。加深网络可以提升网络的表达能力和最终判定的视野大小以处理更复杂的情况从而提高精确度，然而网络的加深也会增加计算的复杂度从而增加运算所需要的时间。具体的网络深度范围则会根据分割对象的具体情况和所需要的视野大小来确定。例如，如果我们需要分割照片中的眼睛，由于眼睛往往在画面中仅占据非常小的空间且局部特征显著，分割网络只需要10层左右的深度就可以做出很好的判断。但如果我们需要分割并区分不同动物的眼睛，尽管分割对象的大小没变，但判断不能仅仅基于眼睛区域，还需要考虑脸部特征乃至动物的体型特征，最终预测所需要的视野大小且复杂程度要远高于前一个任务，因而网络深度则需要增加至50层乃至更多。根据发明人对各种类型的具有稀疏分布的对象的图像的实践结果，优选的，可先将网络的深度设定在10至20层之间(这个深度通常表现良好)，如果分割结果相对令人满意，会可以逐步缩减网络深度，反之则可加深网络深度乃至取得一个在精确度与速度之间相对平衡的结果。初步全卷积神经网络与精细全卷积神经网络配合，以获得原始图像的对象分割结果。优选地，除了图1(f)中所示例的那样一层连一层的串接操作，我们还在各个全卷积神经网络之中及之间接入了其他的支路(例如插入、短路、并联等各种连接方式的支路)，使得来自不同卷积层的不同类型的图像特征(如局部特征和全局特征)可以直接融合以提升网络整体性能。
例如，如图2所示，精细全卷积神经网络不仅从初步全卷积神经网络获取对象可能区域的子图像作为前端输入，还可以(但并非必须)获取初步全卷积神经网络各个层所提取的图像特征和/或预测结果(包括对象可能区域和预测概率图像等)并将其作为中间输入接入到精细全卷积神经网络中的适当位置处，以用于后续的计算。
精细全卷积神经网络的中间输入可以来自于初步全卷积神经网络，也可以来自自身。
例如，可以在精细全卷积神经网络的适当位置处以插入、短路、并联等各种连接方式接入支路，下面首先对各种连接方式分别进行详细说明。
插入
具体说来，通过初步全卷积神经网络所提取的图像特征和/或预测结果可以接入到精细全卷积神经网络的适当位置。如图4所示，例如，可将通过初步全卷积神经网络所提取的图像特征，插入到精细全卷积神经网络的各处：例如卷积层2所提取的图像特征可以插入到特征提取部分的输入处；例如卷积层4所提取的图像特征可以插入到各个单元(单元由若干卷积层和下采样层串联而成)之间；例如卷积层6所提取的图像特征可以插入到特征提取部分与分割预测部分之间的位置处。这种连接方式称为“插入”，所插入的信息可以与该位置处现有的信息进行结合操作(例如加和或者矩阵的拼接操作)作为下游的输入。如图5所示，例如，可将通过初步全卷积神经网络所得到的预测概率图像(例如经过上采样后)插入到精细全卷积神经网络的分割预测部分之中，例如插入到分割预测部分的卷积层与反卷积层之间的位置。由于作为精细全卷积神经网络输入图像的图像分辨率相对较高，卷积操作的视野有限，所获取的特征内容会相对局部并缺乏全局信息。而初步全卷积神经网络所处理的为经过下采样的图像，因而其计算过程中所获得的卷积特征(既每个卷积层经过激活函数后的输出)和最终的初步预测所得的预测概率图像都会相对地包含更多的全局信息。因而这里所引入的插入操作将可以补偿全局的空间特征信息。注意，以上的插入位置仅仅作为示例而非限制。
短路
又例如，我们可以将某个位置的信息(例如卷积所得的图像特征等)跳过一些(一个或多于一个)计算层直接输送给后面的位置(例如层处及层之间的位置处)，这种接入方式称为“短路”；所述某个位置和所述后面的位置分别是所述精细全卷积神经网络中的相同类型层的输出处和输入处，比如下采样层A的输出处到下采样B层的输入处之间的“短路”。如图5所示例的，这种短路可以为较短的连接存在于相距并不很远的层之间，也可以为存在于相距较远的层之间的较长的连接；短路所引出的信息与短路所接入的位置现有的信息可具有相同的属性，例如图像的分辨率，以便利信息的结合(例如拼合)；当然，短路所引出的信息与短路所接入的位置现有的信息例如图像的分辨率也可以不同，这种分辨率不同的情况多发生在较短的短路中，而优选地，较长的短路连接情况下分辨率相同。短路支路可以从卷积层处、采样层处、层之间的位置中的任何一种位置引出(图5中的三个短路支路分别示出其中一种)。其中，较短的短路可以促使被短路的卷积操作去学习更高层次的图像特征。较长的短路则在还原图像分辨率并进行分割预测的过程中提供了无损的局部特征信息以保证最终分割图像的锐度。
并联
更进一步的，如果在网络中的两个位置之间进一步加入并行的卷积操作，便形成了一个并联支路，如图5中所示，在卷积层d’的输入与卷积层e’的输出之间形成了包含两个卷积层的并联支路，该并联支路所得的信息(例如图像特征)与卷积层e’的输出处现有的信息(例如图像特征)进行结合操作(例如矩阵拼接操作)。在并联的支路中我们可以使用不同参数的卷积层(例如不同大小的卷积核)或者使用不同数量的卷积层。这样做的目的是为了能提取不同类型的图像特征，然后再将这些特征进行融合。
图4和图5分别显示了精细全卷积神经网络的两个示例。
图4示出了将初步全卷积神经网络交联到精细全卷积神经网络的一种示例。作为示例，这里的输入图像是3D图像，输出则为两个不同对象的3D概率图像。首先根据初步预测得到的对象可能区域，将原始图像裁剪成子图像，作为精细全卷积神经网络的输入。先通过卷积和下采样操作提取特征并作出初步判断，这一过程与初步预测的神经网络类似。优选地，为了能够更好的结合大尺度下的空间信息特征，融合不同分辨率下的图像特征，在特征提取部分(如上详释)中不同的位置接入了图3所示例的初步全卷积神经网络在低分辨率下通过各个卷积层所获取的图像特征，由此能够补充一些全局的空间特征信息。具体说来，将初步全卷积神经网络的卷积层2所提取的图像特征插入到精细全卷积神经网络的输入处；将初步全卷积神经网络的卷积层4所提取的图像特征插入到卷积层c与其上游相邻的下采样层之间的位置处；将初步全卷积神经网络的卷积层6所提取的图像特征插入到卷积层e与其上游相邻的下采样层之间的位置处。由于初步预测中所得的图像特征的空间分辨率较低，在融合之前会先进行上采样操作以还原空间分辨率。而融合的过程则可以通过简单加和或者矩阵拼接来完成。在特征提取完毕后，该精细全卷积神经网络通过上采样和卷积的交替操作进行图像尺寸还原并进行最终的分割计算。由于在特征提取部分中我们采用了下采样操作以获得更大的视野，最终提取的特征丢失了一定的空间细节特征。故而在还原的图像中会在一些边缘区域出现模糊的情况。为了解决这一问题，在精细全卷积神经网络的每次上采样操作之后我们会将所得矩阵与先前的特征提取部分中同一分辨率下的图像特征进行拼接，从而补充所丢失的空间细节特征，然后再通过后续的卷积操作进行融合以达到最优的分割效果。例如，如图4所示，为了还原图像大小，设置上采样层和下采样层分别对输入特征图像扩展和缩小相同的倍数，则卷积层所得的特征矩阵和与其间隔着成对的上采样层和下采样层的各个层所得的矩阵的分辨率是相同的。具体的，图4中所示的卷积层g的输入矩阵通过如下获得：对其上游紧前的上采样层输出的矩阵和与其间隔一对上采样层和下采样层的上游的卷积层d输出的图像特征进行拼合，这是通过将卷积层d的输出以短路方式连接到卷积层g的输入位置处来实现的；下游的另一卷积层i的输入矩阵通过如下获得：对其上游紧前的上采样层输出的矩阵和与其间隔两对上采样层和下采样层的上游的卷积层b输出的图像特征进行拼合，这是通过将卷积层b的输出以短路方式连接到卷积层i的输入位置处来实现的。采用同一分辨率的图像特征与所得矩阵进行拼合，相较不同分辨率矩阵的拼合省去了缩减配准的步骤，操作更容易，且能够更准确补充所丢失的空间细节特征，拼合所得的矩阵中体现了各种层次的空间细节，通过后续的卷积操作对各种层次的空间细节进行融合，能够得到最优的分割效果。
图5所显示的精细全卷积神经网络的总体结构与图4中的相类似。不同的是，在该神经网络中我们去除了对初步预测步骤中所得的特征的融合。取而代之的我们则将预测结果的预测概率图像作为输入插入到了精细全卷积神经网络中，作为示例，经由上采样后插入到卷积层c’与反卷积层C之间的位置，以与卷积层c’的输出信息进行结合，从而用作反卷积层C的输入信息。这样做既能保留融合全局的空间特征信息，又能将两个网络的训练过程很好的分离开来，从而便利通过各个网络的训练过程的并行实施来加速整个训练过程。此外，图5中采用了反卷积层代替上采样层用于图像尺寸还原。下游卷积层中，卷积层f’的输入通过对其上游紧前的反卷积层D输出的矩阵和与其间隔两对下采样层和反卷积层的卷积层a’输出的图像特征进行拼合得到(这与图4中的卷积层i的输入矩阵类似)。卷积层d’的输入与图4中所示的卷积层g的输入矩阵不同之处在于，对其上游紧前的反卷积层C输出的矩阵和与其间隔一对反卷积层和下采样层的上游的下采样层B的输入处的拼合的特征矩阵再进行拼合，具体说来，下采样层B的输入处的拼合的特征矩阵通过将卷积层b’所提取的图像特征与下采样层A的输出矩阵进行拼合得到。
优选地，在该神经网络中，我们在一些下采样或者反卷积操作前，会采用下采样层或者反卷积层的输入到上游前一个下采样层或反卷积层的输出的短路方式的连接，例如，将下采样层A输出的矩阵短路连接到下采样层B的输入，将下采样层B输出的矩阵短路连接到反卷积层C的输入。如此将同一分辨率下卷积前和卷积后的图像特征拼接作为该下采样层或反卷积层的输入，这一做法便于保证每次卷积的过程中并不是复制之前训练得到的低尺度特征，而是训练得到新的高尺度特征。
图4所显示的示例配合初步全卷积神经网络应用于3维CT影像中，分割出了肺区域像素点和肺结节区域的像素点；图5所显示的示例配合初步全卷积神经网络应用于2维数字减影血管造影(DSA)影像中分割出了血管区域的像素点。
此外，具体选用的全卷积神经网络的结构也并不局限于显示的示例。例如，图4和图5中的网络可以进行结合，网络的层数也可以增多或者减少。其中的特征提取部分既可以采用下采样，也可以采用步长不为1的卷积操作，来增大卷积视野。而还原图像大小的过程中既可以使用上采样操作也可以使用反卷积操作以达到目的。加深网络或者增加网络中的支路可以提升网络的表达能力以处理更复杂的情况从而提高精确度，然而网络的加深也会增加训练的复杂度以及预测计算的复杂度，从而增加训练所需要的样本数量以及运算所需要的时间。优选的，可先将网络的深度设定在10至20层之间，如果分割结果相对令人满意，则可以逐步缩减网络深度，反之则逐步加深网络深度乃至取得一个在精确度与速度之间相对平衡的结果。而支路的选择则需要根据不同的情况酌情选择。例如，如果分割对象的判断较为依赖全局特征，则建议加入插入操作以融合更多全局信息。如果分割对象不成某种特定的形状(如球形、方形、直线型)，则建议加入长距离短路连接以融合粗略全局特征和细节局部特征从而得到更加锐化的分割结果。
优选的，在神经网络运算的过程中，可以分步进行初步预测，通过将明显不属于分割对象的区域排除在每次卷积运算之外以大大提升运算速度(如图6所示例)。图6示出根据本发明一个实施例在二维图像中通过分步预测和稀疏卷积操作对分割稀疏分布对象的初步全卷积神经网络进行进一步加速的示例。优选的，在每次进行卷积运算之前，会先在卷积层与前一节点(例如层)的输出之间加入一个只包含1个卷积核的支路，以预测相对应的像素为背景区域的概率值。如果该像素和其周边的像素为背景的概率值都很高，则该区域的卷积操作将会被省略且对该区域的卷积操作的输出会被设置成0。经过二值化处理后的概率图像被称为蒙版。而这种可以有选择性进行卷积操作的卷积层我们称之为稀疏卷积层。稀疏卷积层的输入为被卷积的图像和蒙版，输出与卷积层一样为卷积和激活运算过后生成的图像特征。优选的，每一步预测的结果都可以被迭代进下一步预测中。这种迭代可以通过作为下一步预测的输入来实现，既将前一步所得的预测概率图像与图像特征进行矩阵拼接。也可以通过作为下一次预测的蒙版，既预测为背景的区域在下一次预测时会被直接默认成背景区域从而省去相对应区域中不必要的卷积预测计算。
图6中将初步全卷积神经网络中的各个卷积层实现为稀疏卷积层，这仅仅作为示例，实际上，在图像中对稀疏分布的对象进行分割的整个全卷积神经网络中的任何一个卷积层(数量可以是一个或者多于一个)都可以实现为基于被卷积的图像和蒙版的稀疏卷积层。另外，初步全卷积神经网络可以实现为用于预测相对应的像素为背景区域的概率值的单个卷积层，或者也可以实现为该卷积层及基于该卷积层的预测进行选择性卷积操作的稀疏卷积层的依序连接。
下面对用于在图像中稀疏分布的对象的分割的整个全卷积神经网络的训练进行说明。优选的，两个神经网络会先被分开单独训练。然后再会视情况(如网络结构是否满足条件、分割结果是否足够好)酌情联合在一起训练。注意，下面对训练过程可能涉及的各个步骤进行说明，对于某个全卷积神经网络来说，并非所有步骤都是必须的，而是视情况选择。
训练数据集构建
数据集中的每一个样本都必须包含输入和输出两部分。输入部分为即将被进行图像分割的原始图像或即将被进行图像分割的下采样后的原始图像。输出部分为分割之后生成的与输入图像尺寸相同的概率图像。输入图像中可以有多种对象，相应地，输出图像中的每个像素可以有多个数值，这些数值代表着该像素属于各个对象的概率，故而单个像素的所述多个数值的总和为1。一个像素可以属于一个或多个对象，当该像素不属于某一对象的时候，概率值为0，否则为大于0的值。
样本的输出部分可以通过全手动的方法由人工通过专业软件标注来获得。也可以先通过一些简单的传统算法获得，在这基础上再由人工进行检查修改。为了减小误差，同一图像最好由多人进行标注，然后对不同人的结果进行融合(如取平均值)。
手动标注所得的概率图像与原始图像的尺寸以及分辨率是一样的。在初步全卷积神经网络的训练过程中，需要根据具体网络结构对概率图像进行下采样，以获得相应样本的输出部分。例如，对于图3所示的系统需要下采样1/16。对于精细全卷积神经网络的训练，需要在原始图像中提取出包含不同对象的子图像作为相应样本的输入部分，以供其训练。
训练数据集增强
如果训练样本数量有限而对于实际情况覆盖不足。优选地，为了提高全卷积神经网络的通用性和鲁棒性，可以对训练数据集进行增强操作以扩充训练样本数量。这些操作包括(但并不局限于)以下操作：
图像翻转：对原始图像以及相应的概率图像进行旋转，可以训练全卷积神经网络识别不同角度拍摄出的同一对象；对原始图像以及相应的概率图像按不同的边或者面进行镜面对称，可以训练全卷积神经网络识别对称的对象。
对比度改变：增强或减弱原始图像中像素点的亮度，可以训练全卷积神经网络处理不同对比度、曝光度下拍摄出的同一对象。
随机扭曲：随机产生扭曲空间，对原始图像以及相应的概率图像进行相同的扭曲操作。
随机噪音：随机产生噪音并叠加在原始图像上。
初步训练
在初步训练中，全卷积神经网络中卷积核的数值会通过随机方式产生。之后通过梯度下降的方法根据训练样本对卷积核进行自动的训练调整。训练的目的是让全卷积神经网络经过运算，能够将输入图像转化成与训练样本中的概率图像尽量接近的输出图像。根据梯度下降方法，系统的输出会越来越接近目标值。当不能继续接近目标值，则停止训练。
由于训练的结果一定程度上会受到随机初始化的影响，在初步训练的时候可以多次尝试不同的随机初始化在较小的数据集上进行小规模的训练，然后选择收敛性最好的初始化结果在更大的数据集上进行进一步的训练。
为了防止过训练，训练样本会被分为训练数据集和验证数据集。训练数据集一般比验证数据集大，该训练数据集会被用来计算梯度下降以逼近最优解。验证数据集则只会被用来计算预测分割结果与真实目标值之间的距离以检查训练过程的收敛性。当训练数据集和验证数据集上预测分割结果与真实目标值的距离相似且不能再下降的时候，则认为训练已经收敛，可以停止训练。
加强训练
当训练数据集偏大时，为了加快收敛速度，在初步训练的时候可以选择较小的子数据集进行训练。由于子数据集并不能代表完整的数据分布，有些情况并没有得到充分的考虑。在初步训练结束后可以尝试在完整的数据集上进行预测分割，将预测分割错误较多的子图提取出来，作为新的训练数据加入进训练数据集中进行新的一轮加强训练。
在实际应用中，可以配备手动修改功能来允许用户手动修改一些并不理想的预测分割结果。加强训练则可以使用这些手动修改结果来重新加强训练网络以更好的适应不同数据集、不同用户的需求。在这些加强训练的过程中，为了加快训练的收敛速度，可以对用户手动修改的部分给予更大的权值以强制全卷积神经网络在这些区域提高性能。
转移训练
同一个全卷积神经网络经过训练可以适用于不同种类的图像以及不同种类的分割对象。所述不同种类的图像可以是不同成像模式获得的图像，包括但不限于X射线图像、CT图像、CBCT图像、螺旋CT图像、磁共振成像(MRI)图像、超声(US)图像、正电子发射断层扫描(PET)图像、单光子发射计算机断层扫描(SPECT)图像以及光学图像，等等。但是，针对不同种类的图像和分割对象分别对同个全卷积神经网络进行完整的训练是耗时的，发明人发现，在实际应用中，一个训练好的全卷积神经网络可以通过转移训练快速转用于种类和对象不同的图像的分割，前提是其原本适用的图像与转用的图像维度相同，图像亮度分布相接近。其中，维度可以通过上下采样来调整，亮度分布可以通过对输入图像的亮度进行线性调整来完成。例如，我们已经训练好了一个用于分割3D CT图像中肺结节的全卷积神经网络(如图4所示)，其可以直接通过转移训练来完成3D MRI图像中血管的分割。我们只需要将训练样本替换成新的分割任务的样本，并且使用之前分割任务所使用的卷积核进行初始化。之后的训练过程与初步训练一样。同时，我们也可以选择冻结一些卷积层。这样的一个过程所需要的训练时间远小于全新的训练过程，同时对训练数据集大小的要求也相对灵活。
分步预测训练
分步预测的训练方法与之前的方法类似，不同的是预测网络会有多个中间结果输出。另外需要注意的是，由于分割对象的分布相对稀疏，在预测结果中所占比例很低，因此在中间预测结果中由于信息不完整很容易会被误判成背景。为了防止这种情况发生，在训练的时候需要将不同的权值附加在不同的区域中，产生的错误——将预测对象错误地预测成背景所带来的惩罚值要远远大于将背景错误地预测成预测对象。
以上训练过程可以离线地执行，以避免占用医疗现场的资源。当完成训练过程后，全卷积神经网络可以被部署在相对应的图像处理系统之中，直接用来对新的图像完成分割任务，该分割任务可以在医疗现场在线地执行；且能够迅速高效且准确地完成分割任务，从而能够在临床得到广泛应用。在新的分割任务中只需要将原始图像输入到分割系统中，系统则会通过计算自动生成最终的分割结果，将对人为经验的依赖降低到较小限度，该系统具有较好的用户友好度，能够确保图像分割的准确度。
图7是根据本发明再一实施例的一种用于在图像中对稀疏分布的对象进行分割的系统的图示。如本领域技术人员将理解的，在一些实施例中，该系统700可以是专用智能设备或通用智能设备。例如，系统700可以是为医院定制的用于处理图像数据获取和图像数据处理任务的计算机，也可以是放置在云端的服务器。
系统700可以包括处理器721和存储器722。可选地，如图7所示，系统700还可以附加地包括医学数据库725、输入/输出727、网络接口726和图像显示器729。
处理器721可以是包括诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等一个或更多个通用处理设备的处理设备。更具体地，处理器721可以是复杂指令集运算(CISC)微处理器、精简指令集运算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。处理器721还可以是诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SoC)等一个或更多个专用处理设备。
处理器721可以通信地联接到存储器722并且被配置为执行存储在其中的计算机可执行指令。存储器722可以包括只读存储器(ROM)、闪存、随机存取存储器(RAM)、静态存储器等。在一些实施例中，存储器722可以存储诸如一个或更多个处理程序723的计算机可执行指令以及在执行计算机程序时生成的数据。处理器721可以执行处理程序723以实现上文中结合图2所述的在图像中对稀疏分布的对象进行分割的方法的各个步骤。可选地，处理器721执行处理程序723时可以实现结合图4-图6中任何一幅所述的在图像中对稀疏分布的对象进行分割的方法的另外示例的各个步骤。可选地，处理器721执行处理程序723时可以实现上文所述的对初步全卷积神经网络和精细全卷积神经网络的训练的各个步骤，包括初步训练和加强训练，优选地根据实际情况可以包括转移训练。
训练数据集可以存储在存储器722中，该训练数据集可以是构建所得到的，优选地，训练数据集经增强后的数据集也可以一起存储在存储器722中。
处理器721还可以向/从存储器722发送/接收医学数据724。例如，处理器721可以接收存储在存储器722中的训练数据集，或者将初步预测和精确分割所得的分割结果(例如概率图像)与各自的输入图像成对地传送到存储器722中作为历史数据集。可选地，存储器722能够与医学数据库725通信，以便从其获取训练数据集，或将历史数据集传输到医学数据库725中，以供授权访问医学数据库725的用户调取和使用，例如作为训练数据集来使用。
医学数据库725是可选的，可以包括以集中或分布的方式定位的多个设备。处理器721可以与医学数据库725进行通信，以将训练数据集读取到存储器722中或将来自存储器722的历史数据集存储到医学数据库725。可选地，医学数据库725也可以存储有待被进行自动分割的原始图像(下文中称为检测图像)、待被手动标注以便构建训练数据集的原始图像(下文中称为训练图像)等，处理器721可以与之通信，将训练图像传输并存储到存储器722，并显示在图像显示器729上，以供医生利用输入/输出727通过专业软件标注，并启用(一个或多个)处理程序来构建成训练数据集；和/或，将检测图像传输并存储到存储器722，可选地启用(一个或多个)处理程序来调整尺寸，以供处理器721执行处理程序723以实现上文所述的在(调整后的)检测图像中对稀疏分布的对象进行分割的方法的各个步骤。
输入/输出727可以被配置为允许由系统700接收和/或发送数据。输入/输出727可以包括允许系统700与用户或其他机器和设备进行通信的一个或更多个数字和/或模拟通信设备。例如，输入/输出727可以包括让用户提供输入的键盘和鼠标。
网络接口726可以包括网络适配器、电缆连接器、串行连接器，USB连接器、并行连接器，诸如光纤、USB3.0、雷电等高速数据传输适配器、诸如WiFi适配器的无线网络适配器、电信(3G、4G/LTE等)适配器等。系统700可以通过网络接口726连接到网络。图像显示器729可以是适用于显示医学图像及其分割结果的任何显示设备。例如，图像显示器729可以是LCD、CRT或LED显示器。优选地，可以以云图或灰度显示图像中各个像素为某个对象的概率的图示。优选地，可以对概率图像进行进一步处理，以得到分割出来的对应于各个对象的部分，并突出显示在医学图像上。优选地，也可以将分割结果所得的对象的轮廓配准显示在原始图像上，以便医生直接比对，更准确方便地进行诊断。
本文描述了各种操作或功能，其可以被作为软件代码或指令实现或定义为软件代码或指令。这样的内容可以是可直接执行的(“对象”或“可执行”形式)源代码或差分代码(“增量”或“补丁”代码)。本文所述的实施例的软件实现可以经由其中存储有代码或指令的制品或者经由操作通信接口以经由通信接口发送数据的方法来提供。机器或计算机可读存储介质可以使机器执行所描述的功能或操作，并且包括以可由机器(例如，计算设备、电子系统等等)访问的形式存储信息的任何机制，诸如可记录/不可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存设备、等等)。通信接口包括接合到硬连线、无线、光学等介质中的任何一个以与另一设备通信的任何机制，诸如存储器总线接口、处理器总线接口、互联网连接、磁盘控制器等。可以通过提供配置参数和/或发送信号来将通信接口配置成将该通信接口准备好以提供描述软件内容的数据信号。可以经由发送到通信接口的一个或更多个命令或信号来访问通信接口。
本发明还涉及一种用于执行本文的操作的系统。该系统可以是为了所需目的而特别构造的，或者该系统可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。这样的计算机程序可以存储在计算机可读存储介质中，所述计算机可读存储介质诸如但并不限于包括软盘、光盘、CDROM、磁光盘等任何类型的盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡、或适于存储电子指令的任何类型的介质，其中每个介质耦合到计算机系统总线。
以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (21)

1.一种在图像中对稀疏分布的对象进行分割的方法，所述方法利用全卷积神经网络进行分割，以得到表征所述图像的每个像素点属于对象的概率值的概率图像，其特征在于，所述方法包括如下步骤：
将所述图像输入到所述第一全卷积网络，以对所述图像内的对象可能区域进行预测；
将所述图像中表征所述对象可能区域的子图像用作所述第二全卷积网络的前端输入，以计算子概率图像；以及
将计算得到的子概率图像拼接起来以生成所述概率图像。
2.根据权利要求1所述的在图像中对稀疏分布的对象进行分割的方法，其特征在于，所述第一全卷积网络由下采样层以及一次或多于一次交替连接的卷积层与下采样层依序连接构成。
3.根据权利要求1所述的在图像中对稀疏分布的对象进行分割的方法，其特征在于，所述第一全卷积网络构成为：用于预测相对应的像素为背景区域的概率值的单个卷积层；或者，所述用于预测相对应的像素为背景区域的概率值的单个卷积层及基于该卷积层的预测进行选择性卷积操作的稀疏卷积层的依序连接。
4.根据权利要求1所述的在图像中对稀疏分布的对象进行分割的方法，其特征在于，包括将所述第一全卷积网络的预测结果和/或所述全卷积神经网络中的卷积层所提取的图像特征作为中间输入接入到第二全卷积网络中的适当位置处的步骤，所述预测结果包括所述对象可能区域和预测概率图像。
5.根据权利要求4所述的在图像中对稀疏分布的对象进行分割的方法，其特征在于，将所述第一全卷积网络的预测结果和/或所述卷积层所提取的图像特征作为中间输入接入到第二全卷积网络中的步骤包括：
将所述卷积层所提取的图像特征和/或所述预测概率图像插入到第二全卷积网络内的位置处，以与该位置处现有的信息进行结合操作。
6.根据权利要求4所述的在图像中对稀疏分布的对象进行分割的方法，其特征在于，将所述第一全卷积网络的预测结果和/或所述卷积层所提取的图像特征作为中间输入接入到第二全卷积网络中的步骤包括：
将所述第一全卷积网络和/或所述第二全卷积网络中一定位置处的信息跳过一个或多于一个计算层输送给后面的位置，以与所述后面的位置处现有的信息进行结合。
7.根据权利要求4所述的在图像中对稀疏分布的对象进行分割的方法，其特征在于，将所述第一全卷积网络的预测结果和/或所述卷积层所提取的图像特征作为中间输入接入到第二全卷积网络中的步骤包括：
在所述第一全卷积网络和/或所述第二全卷积网络中，在两个位置之间加入并行的卷积操作，以将该并行的卷积操作所得信息与两个位置中后面的位置处现有的信息进行结合操作。
8.根据权利要求6所述的在图像中对稀疏分布的对象进行分割的方法，其特征在于，所述一定位置和所述后面的位置分别是所述第二全卷积网络中的相同类型层的输出处和输入处。
9.根据权利要求1-8中任何一项所述的在图像中对稀疏分布的对象进行分割的方法，其特征在于，在所述全卷积神经网络中的至少一个卷积层与其前一节点之间引入用于蒙版计算的卷积层，使得该至少一个卷积层基于计算所得的蒙版执行卷积操作。
10.根据权利要求4-8中任何一项所述的在图像中对稀疏分布的对象进行分割的方法，其特征在于，所述方法包括对所述全卷积神经网络进行训练，并且所述训练包括如下中的至少一种：对训练好的全卷积神经网络进行转移训练，以转用于维度相同且亮度分布接近的不同图像的分割；当所述第二全卷积网络没有中间输入或其中间输入不包含来自所述第一全卷积网络的卷积层所提取的图像特征时，对所述第一全卷积网络和所述第二全卷积网络分别进行训练。
11.一种在图像中对稀疏分布的对象进行分割的系统，所述系统包括：
存储器，存储有计算机可执行指令；以及
处理器，通信地联接到所述存储器并配置为执行所述存储器中存储的所述计算机可执行指令，其特征在于，当所述计算机可执行指令被所述处理器执行时，实现如下步骤，以得到表征所述图像的每个像素点属于对象的概率值的概率图像：
将所述图像输入到所述第一全卷积网络，以对所述图像内的对象可能区域进行预测；
将所述图像中表征所述对象可能区域的子图像用作所述第二全卷积网络的前端输入，以计算子概率图像；以及
将计算得到的子概率图像拼接起来以生成所述概率图像。
12.根据权利要求11所述的在图像中对稀疏分布的对象进行分割的系统，其特征在于，所述第一全卷积网络由下采样层以及一次或多于一次交替连接的卷积层与下采样层依序连接构成。
13.根据权利要求11所述的在图像中对稀疏分布的对象进行分割的系统，其特征在于，所述第一全卷积网络构成为：用于预测相对应的像素为背景区域的概率值的单个卷积层；或者，所述用于预测相对应的像素为背景区域的概率值的单个卷积层及基于该卷积层的预测进行选择性卷积操作的稀疏卷积层的依序连接。
14.根据权利要求11所述的在图像中对稀疏分布的对象进行分割的系统，其特征在于，当所述计算机可执行指令被所述处理器执行时，还实现如下步骤：将所述第一全卷积网络的预测结果和/或各全卷积网络中的卷积层所提取的图像特征作为中间输入接入到第二全卷积网络中的适当位置处，所述预测结果包括所述对象可能区域和预测概率图像。
15.根据权利要求14所述的在图像中对稀疏分布的对象进行分割的系统，其特征在于，将所述第一全卷积网络的预测结果和/或所述卷积层所提取的图像特征作为中间输入接入到第二全卷积网络中的步骤包括：
将所述卷积层所提取的图像特征和/或所述预测概率图像插入到第二全卷积网络内的位置处，以与该位置处现有的信息进行结合操作。
16.根据权利要求14所述的在图像中对稀疏分布的对象进行分割的系统，其特征在于，将所述第一全卷积网络的预测结果和/或所述卷积层所提取的图像特征作为中间输入接入到第二全卷积网络中的步骤包括：
将所述第一全卷积网络和/或所述第二全卷积网络中一定位置处的信息跳过一个或多于一个计算层直接输送给后面的位置，以与所述后面的位置处现有的信息进行结合。
17.根据权利要求14所述的在图像中对稀疏分布的对象进行分割的系统，其特征在于，将所述第一全卷积网络的预测结果和/或所述卷积层所提取的图像特征作为中间输入接入到第二全卷积网络中的步骤包括：
在所述第一全卷积网络和/或所述第二全卷积网络中，在两个位置之间加入并行的卷积操作，以将该并行的卷积操作所得信息与后面的位置处现有的信息进行结合操作。
18.根据权利要求16中任何一项所述的在图像中对稀疏分布的对象进行分割的系统，其特征在于，所述一定位置和所述后面的位置分别是所述第二全卷积网络中的相同类型层的输出处和输入处。
19.根据权利要求11-18中任何一项所述的在图像中对稀疏分布的对象进行分割的系统，其特征在于，各全卷积网络中的至少一个卷积层与其前一节点之间引入用于蒙版计算的卷积层，使得该至少一个卷积层基于所计算的蒙版执行卷积操作。
20.根据权利要求14-18中任何一项所述的在图像中对稀疏分布的对象进行分割的系统，其特征在于，当所述计算机可执行指令被所述处理器执行时，还实现如下步骤：
对所述全卷积网络进行训练，并且所述训练包括如下中的至少一种：对训练好的全卷积神经网络进行转移训练，以转用于维度相同且亮度分布接近的不同图像的分割；当所述第二全卷积网络没有中间输入或其中间输入不包含来自所述第一全卷积网络的卷积层所提取的图像特征时，对所述第一全卷积网络和所述第二全卷积网络分别进行训练。
21.一种计算机可读存储介质，其上存储有用于在图像中利用全卷积神经网络对稀疏分布的对象进行分割的计算机指令，所述计算机指令被处理器执行时，实现权利要求1-10中任何一项所述的方法的步骤。
CN201710992115.7A 2017-09-12 2017-10-23 在图像中对稀疏分布的对象进行分割的方法和系统 Active CN109493347B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911128044.1A CN110838124B (zh) 2017-09-12 2017-10-23 用于分割具有稀疏分布的对象的图像的方法、系统和介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762557500P 2017-09-12 2017-09-12
US62/557,500 2017-09-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201911128044.1A Division CN110838124B (zh) 2017-09-12 2017-10-23 用于分割具有稀疏分布的对象的图像的方法、系统和介质

Publications (2)

Publication Number Publication Date
CN109493347A true CN109493347A (zh) 2019-03-19
CN109493347B CN109493347B (zh) 2021-03-23

Family

ID=65632265

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710992115.7A Active CN109493347B (zh) 2017-09-12 2017-10-23 在图像中对稀疏分布的对象进行分割的方法和系统
CN201911128044.1A Active CN110838124B (zh) 2017-09-12 2017-10-23 用于分割具有稀疏分布的对象的图像的方法、系统和介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201911128044.1A Active CN110838124B (zh) 2017-09-12 2017-10-23 用于分割具有稀疏分布的对象的图像的方法、系统和介质

Country Status (2)

Country Link
US (1) US10460447B2 (zh)
CN (2) CN109493347B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934816A (zh) * 2019-03-21 2019-06-25 数坤（北京）网络科技有限公司 一种互补模型的方法、设备及计算机可读存储介质
CN110084156A (zh) * 2019-04-12 2019-08-02 中南大学 一种步态特征提取方法及基于步态特征的行人身份识别方法
CN110378865A (zh) * 2019-04-28 2019-10-25 湖南师范大学 一种复杂背景下的雾天能见度智能分级识别方法及系统
CN110458833A (zh) * 2019-08-15 2019-11-15 腾讯科技（深圳）有限公司 基于人工智能的医学图像处理方法、医学设备和存储介质
CN111784700A (zh) * 2019-04-04 2020-10-16 阿里巴巴集团控股有限公司 肺叶分割、模型训练、模型构建与分割方法、系统及设备
CN113538425A (zh) * 2021-09-16 2021-10-22 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 可通行水域分割设备、图像分割模型训练和图像分割方法
CN113538378A (zh) * 2021-07-16 2021-10-22 哈尔滨理工大学 一种基于深度学习的轴承尺寸在线检测系统
CN114187252A (zh) * 2021-12-03 2022-03-15 推想医疗科技股份有限公司 图像处理方法及装置、调整检测框的方法及装置
CN114494661A (zh) * 2022-03-31 2022-05-13 清华大学 增量式稀疏三维卷积的三维点云数据处理方法及设备

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10339445B2 (en) * 2016-10-10 2019-07-02 Gyrfalcon Technology Inc. Implementation of ResNet in a CNN based digital integrated circuit
US10360470B2 (en) * 2016-10-10 2019-07-23 Gyrfalcon Technology Inc. Implementation of MobileNet in a CNN based digital integrated circuit
US10366328B2 (en) * 2017-09-19 2019-07-30 Gyrfalcon Technology Inc. Approximating fully-connected layers with multiple arrays of 3x3 convolutional filter kernels in a CNN based integrated circuit
US10489887B2 (en) * 2017-04-10 2019-11-26 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution
CN107679490B (zh) * 2017-09-29 2019-06-28 百度在线网络技术（北京）有限公司 用于检测图像质量的方法和装置
CN107609536A (zh) * 2017-09-29 2018-01-19 百度在线网络技术（北京）有限公司 信息生成方法和装置
US10607135B2 (en) * 2017-10-19 2020-03-31 General Electric Company Training an auto-encoder on a single class
US10460440B2 (en) * 2017-10-24 2019-10-29 General Electric Company Deep convolutional neural network with self-transfer learning
US11501522B2 (en) * 2017-12-06 2022-11-15 Nec Corporation Image recognition model generating device, image recognition model generating method, and image recognition model generating program storing medium
EP3499415A1 (en) * 2017-12-14 2019-06-19 Axis AB Method and image processing entity for applying a convolutional neural network to an image
US11580410B2 (en) * 2018-01-24 2023-02-14 Rensselaer Polytechnic Institute 3-D convolutional autoencoder for low-dose CT via transfer learning from a 2-D trained network
US10896508B2 (en) * 2018-02-07 2021-01-19 International Business Machines Corporation System for segmentation of anatomical structures in cardiac CTA using fully convolutional neural networks
US10885630B2 (en) 2018-03-01 2021-01-05 Intuitive Surgical Operations, Inc Systems and methods for segmentation of anatomical structures for image-guided surgery
CN108520247B (zh) * 2018-04-16 2020-04-28 腾讯科技（深圳）有限公司 对图像中的对象节点的识别方法、装置、终端及可读介质
CA3041140C (en) * 2018-04-26 2021-12-14 NeuralSeg Ltd. Systems and methods for segmenting an image
KR102468309B1 (ko) * 2018-04-26 2022-11-17 한국전자통신연구원 영상 기반 건물 검색 방법 및 장치
US10846593B2 (en) * 2018-04-27 2020-11-24 Qualcomm Technologies Inc. System and method for siamese instance search tracker with a recurrent neural network
CN110443266B (zh) * 2018-05-04 2022-06-24 上海商汤智能科技有限公司 对象预测方法及装置、电子设备和存储介质
US10719961B2 (en) * 2018-05-04 2020-07-21 General Electric Company Systems and methods for improved PET imaging
US10672174B2 (en) 2018-06-28 2020-06-02 Adobe Inc. Determining image handle locations
US10621764B2 (en) * 2018-07-05 2020-04-14 Adobe Inc. Colorizing vector graphic objects
SG10201906345RA (en) * 2018-07-09 2020-02-27 Tata Consultancy Services Ltd Method and system for generation of hybrid learning techniques
US20210019628A1 (en) * 2018-07-23 2021-01-21 Intel Corporation Methods, systems, articles of manufacture and apparatus to train a neural network
US11301748B2 (en) * 2018-11-13 2022-04-12 International Business Machines Corporation Automatic feature extraction from aerial images for test pattern sampling and pattern coverage inspection for lithography
US11715012B2 (en) * 2018-11-16 2023-08-01 Uatc, Llc Feature compression and localization for autonomous devices
US11120297B2 (en) * 2018-11-30 2021-09-14 International Business Machines Corporation Segmentation of target areas in images
WO2020121678A1 (ja) * 2018-12-14 2020-06-18 富士フイルム株式会社 ミニバッチ学習装置とその作動プログラム、作動方法、および画像処理装置
US11301718B2 (en) * 2018-12-28 2022-04-12 Vizit Labs, Inc. Systems, methods, and storage media for training a machine learning model
US10325371B1 (en) * 2019-01-22 2019-06-18 StradVision, Inc. Method and device for segmenting image to be used for surveillance using weighted convolution filters for respective grid cells by converting modes according to classes of areas to satisfy level 4 of autonomous vehicle, and testing method and testing device using the same
US10373317B1 (en) * 2019-01-22 2019-08-06 StradVision, Inc. Learning method and learning device for attention-driven image segmentation by using at least one adaptive loss weight map to be used for updating HD maps required to satisfy level 4 of autonomous vehicles and testing method and testing device using the same
US10339424B1 (en) * 2019-01-22 2019-07-02 StradVision, Inc. Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles
US10410352B1 (en) * 2019-01-25 2019-09-10 StradVision, Inc. Learning method and learning device for improving segmentation performance to be used for detecting events including pedestrian event, vehicle event, falling event and fallen event using edge loss and test method and test device using the same
US10402977B1 (en) * 2019-01-25 2019-09-03 StradVision, Inc. Learning method and learning device for improving segmentation performance in road obstacle detection required to satisfy level 4 and level 5 of autonomous vehicles using laplacian pyramid network and testing method and testing device using the same
US10922584B2 (en) * 2019-01-30 2021-02-16 Walmart Apollo, Llc Systems, methods, and techniques for training neural networks and utilizing the neural networks to detect non-compliant content
US11531840B2 (en) * 2019-02-08 2022-12-20 Vizit Labs, Inc. Systems, methods, and storage media for training a model for image evaluation
US10467504B1 (en) 2019-02-08 2019-11-05 Adhark, Inc. Systems, methods, and storage media for evaluating digital images
CN110211057B (zh) * 2019-05-15 2023-08-29 武汉Tcl集团工业研究院有限公司 一种基于全卷积网络的图像处理方法、装置和计算机设备
CN110288611A (zh) * 2019-06-12 2019-09-27 上海工程技术大学 基于注意力机制和全卷积神经网络的冠状血管分割方法
WO2020254857A1 (en) * 2019-06-18 2020-12-24 Uab Neurotechnology Fast and robust friction ridge impression minutiae extraction using feed-forward convolutional neural network
KR20210004702A (ko) * 2019-07-05 2021-01-13 삼성전자주식회사 Ai 프로세서 및 이의 신경망 연산 수행 방법
CN110349167A (zh) * 2019-07-10 2019-10-18 北京悉见科技有限公司 一种图像实例分割方法及装置
US11710261B2 (en) * 2019-07-29 2023-07-25 University Of Southern California Scan-specific recurrent neural network for image reconstruction
CN110570394B (zh) * 2019-08-01 2023-04-28 深圳先进技术研究院 医学图像分割方法、装置、设备及存储介质
CN110619283B (zh) * 2019-08-26 2023-01-10 海南撰云空间信息技术有限公司 一种无人机正射影像道路自动提取方法
CN110660066B (zh) * 2019-09-29 2023-08-04 Oppo广东移动通信有限公司 网络的训练方法、图像处理方法、网络、终端设备及介质
US11270434B2 (en) * 2019-10-07 2022-03-08 Siemens Medical Solutions Usa, Inc. Motion correction for medical image data
CN110738257B (zh) * 2019-10-15 2023-03-10 西安电子科技大学 基于特征提取的光学遥感图像水域分类方法
CN110991252B (zh) * 2019-11-07 2023-07-21 郑州大学 一种不均衡场景中人群分布与计数的检测方法
CN110991254B (zh) * 2019-11-08 2023-07-04 深圳大学 超声图像视频分类预测方法及系统
US10762629B1 (en) 2019-11-14 2020-09-01 SegAI LLC Segmenting medical images
US11423544B1 (en) 2019-11-14 2022-08-23 Seg AI LLC Segmenting medical images
KR20210061839A (ko) * 2019-11-20 2021-05-28 삼성전자주식회사 전자 장치 및 그 제어 방법
CN111091589B (zh) * 2019-11-25 2023-11-17 北京理工大学 基于多尺度监督学习的超声和核磁图像配准方法及装置
CN111210451B (zh) * 2019-11-29 2023-05-16 苏州优纳医疗器械有限公司 一种在全数字切片图像中提取幽门螺杆菌形态的方法
CN111047605B (zh) * 2019-12-05 2023-04-07 西北大学 一种脊椎ct分割网络模型的构建方法及分割方法
CN111145196A (zh) * 2019-12-11 2020-05-12 中国科学院深圳先进技术研究院 图像分割方法、装置及服务器
CN111079643B (zh) * 2019-12-13 2023-04-07 三一重工股份有限公司 基于神经网络的人脸检测方法、装置和电子设备
RU2734058C1 (ru) * 2019-12-17 2020-10-12 Акционерное общество "Российская корпорация ракетно-космического приборостроения и информационных систем" (АО "Российские космические системы") Система сегментации изображений зданий и сооружений
RU2733823C1 (ru) * 2019-12-17 2020-10-07 Акционерное общество "Российская корпорация ракетно-космического приборостроения и информационных систем" (АО "Российские космические системы") Система сегментации изображений участков недропользования открытого типа
CN111192320B (zh) * 2019-12-30 2023-07-25 上海联影医疗科技股份有限公司 一种位置信息确定方法、装置、设备和存储介质
CN111242125B (zh) * 2020-01-14 2023-05-02 深圳大学 一种自然场景图像文本检测方法、存储介质及终端设备
CN111242955B (zh) * 2020-01-21 2023-04-21 河海大学 基于全卷积神经网络的道路表面裂缝图像分割方法
US11758069B2 (en) 2020-01-27 2023-09-12 Walmart Apollo, Llc Systems and methods for identifying non-compliant images using neural network architectures
CN111340820B (zh) * 2020-02-10 2022-05-17 中国科学技术大学 图像分割方法、装置、电子设备及存储介质
CN111311611B (zh) * 2020-02-17 2023-04-18 清华大学深圳国际研究生院 一种实时三维大场景多对象实例分割的方法
CN111340812A (zh) * 2020-02-20 2020-06-26 中南大学 基于深度神经网络的交互式肝脏图像分割方法
CN111401247B (zh) * 2020-03-17 2023-07-28 杭州小影创新科技股份有限公司 一种基于级联卷积神经网络的人像分割方法
CN111415356B (zh) * 2020-03-17 2020-12-29 推想医疗科技股份有限公司 肺炎征象的分割方法、装置、介质及电子设备
CN111489364B (zh) * 2020-04-08 2022-05-03 重庆邮电大学 基于轻量级全卷积神经网络的医学图像分割方法
CN111582084B (zh) * 2020-04-24 2022-07-08 北京航空航天大学 基于弱监督学习的空基视角下的铁轨异物检测方法及系统
CN111739025B (zh) * 2020-05-08 2024-03-19 北京迈格威科技有限公司 一种图像处理方法、装置、终端及存储介质
CN111709908B (zh) * 2020-05-09 2024-03-26 上海健康医学院 一种基于深度学习的氦泡分割计数方法
CN111754439B (zh) * 2020-06-28 2024-01-12 北京百度网讯科技有限公司 图像处理的方法、装置、设备以及存储介质
CN112085743A (zh) * 2020-09-04 2020-12-15 厦门大学 一种肾肿瘤的图像分割方法
US20220084677A1 (en) * 2020-09-14 2022-03-17 Novocura Tech Health Services Private Limited System and method for generating differential diagnosis in a healthcare environment
CN111932437B (zh) * 2020-10-10 2021-03-05 深圳云天励飞技术股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN112233125B (zh) * 2020-10-15 2023-06-02 平安科技（深圳）有限公司 图像分割方法、装置、电子设备及计算机可读存储介质
CN112461360B (zh) * 2020-10-26 2021-10-12 北京理工大学 联合物理噪声模型的高分辨率单光子成像方法与系统
CN112037305B (zh) * 2020-11-09 2021-03-19 腾讯科技（深圳）有限公司 对图像中的树状组织进行重建的方法、设备及存储介质
CN112541876B (zh) * 2020-12-15 2023-08-04 北京百度网讯科技有限公司 卫星图像处理方法、网络训练方法、相关装置及电子设备
CN112581480A (zh) * 2020-12-22 2021-03-30 深圳市雄帝科技股份有限公司 自动抠图方法、系统及其可读存储介质
CN112633177A (zh) * 2020-12-24 2021-04-09 浙江大学 一种基于注意力空间卷积神经网络的车道线检测分割方法
CN113850818A (zh) * 2021-08-27 2021-12-28 北京工业大学 一种混合2d和3d卷积神经网络的耳部ct影像前庭分割方法
CN113743280B (zh) * 2021-08-30 2024-03-01 广西师范大学 一种脑神经元电子显微镜图像卷分割方法、装置以及存储介质
US20230111876A1 (en) * 2021-10-08 2023-04-13 Myaniml System and method for animal disease management
CN116188968B (zh) * 2022-12-05 2023-07-14 耕宇牧星(北京)空间科技有限公司 一种基于神经网络的遥感图像厚云区域检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097353A (zh) * 2016-06-15 2016-11-09 北京市商汤科技开发有限公司 基于多层次局部区域融合的物体分割方法及装置、计算设备
CN106326937A (zh) * 2016-08-31 2017-01-11 郑州金惠计算机系统工程有限公司 基于卷积神经网络的人群密度分布估计方法
WO2017101036A1 (en) * 2015-12-16 2017-06-22 Intel Corporation Fully convolutional pyramid networks for pedestrian detection
CN106897573A (zh) * 2016-08-01 2017-06-27 12西格玛控股有限公司 使用深度卷积神经网络的用于医学图像的计算机辅助诊断系统
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7480570B2 (en) * 2004-10-18 2009-01-20 Ford Global Technologies Llc Feature target selection for countermeasure performance within a vehicle
US9760807B2 (en) * 2016-01-08 2017-09-12 Siemens Healthcare Gmbh Deep image-to-image network learning for medical image analysis
US9972092B2 (en) * 2016-03-31 2018-05-15 Adobe Systems Incorporated Utilizing deep learning for boundary-aware image segmentation
KR20180053108A (ko) * 2016-11-11 2018-05-21 삼성전자주식회사 홍채 영역 추출 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017101036A1 (en) * 2015-12-16 2017-06-22 Intel Corporation Fully convolutional pyramid networks for pedestrian detection
CN106097353A (zh) * 2016-06-15 2016-11-09 北京市商汤科技开发有限公司 基于多层次局部区域融合的物体分割方法及装置、计算设备
CN106897573A (zh) * 2016-08-01 2017-06-27 12西格玛控股有限公司 使用深度卷积神经网络的用于医学图像的计算机辅助诊断系统
CN106326937A (zh) * 2016-08-31 2017-01-11 郑州金惠计算机系统工程有限公司 基于卷积神经网络的人群密度分布估计方法
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
EVAN SHELHAMER ET AL.: "Fully Convolutional Networks for Semantic Segmentation", 《IEEE》 *
OLAF RONNEBERGER ET AL.: "U-net: convolutional networks for biomedical image segmentation", 《AEXIV》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934816A (zh) * 2019-03-21 2019-06-25 数坤（北京）网络科技有限公司 一种互补模型的方法、设备及计算机可读存储介质
CN109934816B (zh) * 2019-03-21 2021-05-11 数坤（北京）网络科技有限公司 一种互补模型的方法、设备及计算机可读存储介质
CN111784700B (zh) * 2019-04-04 2022-07-22 阿里巴巴集团控股有限公司 肺叶分割、模型训练、模型构建与分割方法、系统及设备
CN111784700A (zh) * 2019-04-04 2020-10-16 阿里巴巴集团控股有限公司 肺叶分割、模型训练、模型构建与分割方法、系统及设备
CN110084156A (zh) * 2019-04-12 2019-08-02 中南大学 一种步态特征提取方法及基于步态特征的行人身份识别方法
CN110084156B (zh) * 2019-04-12 2021-01-29 中南大学 一种步态特征提取方法及基于步态特征的行人身份识别方法
CN110378865A (zh) * 2019-04-28 2019-10-25 湖南师范大学 一种复杂背景下的雾天能见度智能分级识别方法及系统
CN110458833A (zh) * 2019-08-15 2019-11-15 腾讯科技（深圳）有限公司 基于人工智能的医学图像处理方法、医学设备和存储介质
CN110458833B (zh) * 2019-08-15 2023-07-11 腾讯科技（深圳）有限公司 基于人工智能的医学图像处理方法、医学设备和存储介质
US11941807B2 (en) 2019-08-15 2024-03-26 Tencent Technology (Shenzhen) Company Limited Artificial intelligence-based medical image processing method and medical device, and storage medium
CN113538378A (zh) * 2021-07-16 2021-10-22 哈尔滨理工大学 一种基于深度学习的轴承尺寸在线检测系统
CN113538425A (zh) * 2021-09-16 2021-10-22 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 可通行水域分割设备、图像分割模型训练和图像分割方法
CN114187252A (zh) * 2021-12-03 2022-03-15 推想医疗科技股份有限公司 图像处理方法及装置、调整检测框的方法及装置
CN114494661A (zh) * 2022-03-31 2022-05-13 清华大学 增量式稀疏三维卷积的三维点云数据处理方法及设备

Also Published As

Publication number Publication date
CN109493347B (zh) 2021-03-23
CN110838124B (zh) 2021-06-18
CN110838124A (zh) 2020-02-25
US20190080456A1 (en) 2019-03-14
US10460447B2 (en) 2019-10-29

Similar Documents

Publication Publication Date Title
CN109493347A (zh) 在图像中对稀疏分布的对象进行分割的方法和系统
Zhang et al. ME‐Net: multi‐encoder net framework for brain tumor segmentation
EP3961484A1 (en) Medical image segmentation method and device, electronic device and storage medium
US10867384B2 (en) System and method for automatically detecting a target object from a 3D image
CN109615636B (zh) Ct影像的肺叶段分割中的血管树构造方法、装置
Ueda et al. Technical and clinical overview of deep learning in radiology
CN109003267B (zh) 从3d图像自动检测目标对象的计算机实现方法和系统
Cui et al. Pulmonary vessel segmentation based on orthogonal fused U-Net++ of chest CT images
Yang et al. A two-stage convolutional neural network for pulmonary embolism detection from CTPA images
CN107997778A (zh) 在计算机断层扫描血管造影术中基于深度学习的骨移除
CN109919961A (zh) 一种用于颅内cta图像中动脉瘤区域的处理方法及装置
CN105096310B (zh) 利用多通道特征在磁共振图像中分割肝脏的方法和系统
CN110310287A (zh) 基于神经网络的危及器官自动勾画方法、设备和存储介质
CN110458833A (zh) 基于人工智能的医学图像处理方法、医学设备和存储介质
CN111932529B (zh) 一种图像分类分割方法、装置及系统
CN114693933A (zh) 基于生成对抗网络和多尺度特征融合的医学影像分割装置
CN109635876A (zh) 为生理树结构生成解剖标签的计算机实现的方法、装置和介质
CN113424222A (zh) 用于使用条件生成对抗网络提供中风病灶分割的系统和方法
FR2942669A1 (fr) Methodes de segmentation d'images et de detection de structures particulieres.
CN110782427A (zh) 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法
CN111210444A (zh) 多模态磁共振影像的分割方法、装置及介质
CN113888555A (zh) 基于注意机制的多模态脑肿瘤图像分割系统
Shan et al. SCA-Net: A spatial and channel attention network for medical image segmentation
CN110853048A (zh) 基于粗、精训练的mri图像分割方法、装置和存储介质
Tang et al. MMMNA-net for overall survival time prediction of brain tumor patients

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant