CN113223011A - 基于引导网络和全连接条件随机场的小样本图像分割方法 - Google Patents

基于引导网络和全连接条件随机场的小样本图像分割方法 Download PDF

Info

Publication number
CN113223011A
CN113223011A CN202110449732.9A CN202110449732A CN113223011A CN 113223011 A CN113223011 A CN 113223011A CN 202110449732 A CN202110449732 A CN 202110449732A CN 113223011 A CN113223011 A CN 113223011A
Authority
CN
China
Prior art keywords
image
segmentation
task
network
random field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110449732.9A
Other languages
English (en)
Other versions
CN113223011B (zh
Inventor
郑元杰
张坤
吴婕
姜岩芸
陈鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202110449732.9A priority Critical patent/CN113223011B/zh
Publication of CN113223011A publication Critical patent/CN113223011A/zh
Application granted granted Critical
Publication of CN113223011B publication Critical patent/CN113223011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于引导网络和全连接条件随机场的小样本图像分割方法,包括:对获取的待分割图像进行组别划分,得到支撑图像和查询图像;对支撑图像中的正样本点和负样本点进行标注后,得到含有正负样本位置的前景信息特征图与背景信息特征图;基于支撑图像、前景信息特征图与背景信息特征图采用引导网络提取任务特征;根据任务特征和查询图像进行初步分割,得到初步分割结果;基于全连接条件随机场对初步分割结果进行边缘细化得到最终分割结果。通过优化引导网络推断支撑图像的潜在特征;根据潜在特征对没有像素标注的查询图像进行初步分割;根据初步分割结果通过全连接条件随机场进行更加精细的分割,从而获得比较高的分割结果。

Description

基于引导网络和全连接条件随机场的小样本图像分割方法
技术领域
本发明涉及图像处理技术领域,涉及一种小样本图像分割方法,特别是涉及一种基于引导网络和全连接条件随机场的小样本图像分割方法。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
图像分割技术是计算机视觉领域的核心任务和重要研究方向,是指将图像分成若干具有相似性质的区域的过程,从数学角度来看,是将图像划分为互不相交区域的过程。近年来,随着深度学习技术的深入发展,图像分割技术已经取得不错的效果,尤其是卷积神经网络的出现,涌现了众多基于深度学习的分割算法。但现有的深度学习的方法需要大规模的数据集供网络模型来训练,如果缺乏足够多的数据支撑就无法得到准确的分割结果,面对大量数据标记工作,耗费了大量的人力和时间,而且对模型训练之后,模型很难通过标记样本来学习识别未知类别的图像,并且深度卷积神经网络的最后一层的响应不足以精确定位目标边界,意味着网络模型捕捉细微边缘细节的能力很差。
为克服深度学习分割算法的缺点,产生小样本学习的方法,小样本学习的目的是在仅有少量标记图像的情况下完成对训练过程中未见过的新类别图像的分割,目前学习方式主要依靠元学习来适应新任务。在小样本学习方法中,训练集有多个类别,每个类别有多个样本,在训练阶段,从训练集中随机抽取N个类别的数据,每个类别中包含K个样本(总共N·K个数据)构造为一个元任务作为模型的支撑集输入,然后从这N个类的剩余数据中抽取一批样本作为模型的查询集。也就是说,模型需要从这N·K个数据当中学习如何区分这N个类别的数据,而在测试阶段,则从与训练集毫无交集的测试集中抽取数据进行测试,同时保证N和K的大小相同,对于这样的任务称为N-way,K-shot问题。
然而,目前大多数小样本学习方法侧重于分类,不能对图像进行像素级别的分割问题,进一步来说,只能分割一类对象,并且在进行像素分割时必须提供对应的真实标签,实际应用效果较差,而且分割时仅仅考虑了全局特征,而忽略了局部特征的影响,所以这些方法对图像分割的准确度不高。
发明内容
针对现有技术中存在的不足,解决现有技术中如何改进训练数据量大和分割准确率不高的问题,本发明提出了一种基于引导网络和全连接条件随机场的小样本图像分割方法,通过优化引导网络推断支撑图像的潜在特征;根据潜在特征对没有像素标注的查询图像进行初步分割;根据初步分割结果通过全连接条件随机场进行更加精细的分割,从而获得比较高的分割结果。
为了实现上述目的,本发明采用如下技术方案:
第一方面,本发明提供一种基于引导网络和全连接条件随机场的小样本图像分割方法,包括:
对获取的待分割图像进行组别划分,得到支撑图像和查询图像;
对支撑图像中的正样本点和负样本点进行标注后,得到含有正负样本位置的前景信息特征图与背景信息特征图;
基于支撑图像、前景信息特征图与背景信息特征图采用引导网络提取任务特征;
根据任务特征和查询图像进行初步分割,得到初步分割结果;
基于全连接条件随机场对初步分割结果进行边缘细化得到最终分割结果。
作为可选择的实施方式,前景信息特征图与背景信息特征图的提取过程包括:将正样本点的像素与负样本点的像素匹配到与支撑图像相同的坐标尺度上,将正样本点的位置设置为1,负样本点的位置设置为0,得到与支撑图像尺度一致的前景信息特征图与背景信息特征图。
作为可选择的实施方式,任务特征的提取过程包括:提取支撑图像特征;对前景信息特征图和背景信息特征图进行归一化;对支撑图像特征、归一化后的前景信息特征图和背景信息特征图进行融合后得到任务特征。
作为可选择的实施方式,所述归一化过程包括:将前景信息特征图和背景信息特征图的尺寸调节至与支撑图像特征图一致,采用双线性插值对前景信息特征图和背景信息特征图进行下采样,下采样的同时保留正、负样本点空间信息。
作为可选择的实施方式,通过融合后得到任务特征的过程包括:采用元素点乘方法对支撑图像特征与前景信息特征图、背景信息特征图进行融合,生成包含前景目标信息和背景信息的任务特征。
作为可选择的实施方式,所述初步分割的过程包括:提取查询图像特征;压缩任务特征;对查询图像特征与任务特征进行融合后对查询图像进行初步分割。
作为可选择的实施方式,所述压缩任务特征的过程包括:对任务特征采用全局平均池化进行压缩。
作为可选择的实施方式,所述对查询图像特征与任务特征进行融合的过程包括:对任务特征压缩后得到的特征向量和查询图像特征进行融合,复制特征向量,并与原向量拼接至与查询图像特征维度一致,利用通道维度拼接融合方法融合查询图像特征和维度归一化后的特征向量。
作为可选择的实施方式,所述对查询图像进行分割的过程包括:根据支撑图像与查询图像的像素距离,对查询图像进行前景目标或背景的类别预测,利用双线性插值将预测结果恢复至与查询图像一致的尺寸,根据损失函数反向传播学习后得到初步分割结果。
作为可选择的实施方式,提取图像特征的过程包括:采用多层卷积神经网络作为骨干网络,经过5个卷积层与池化层以及1个全连接层和一个SoftMax 层,提取图像特征。
第二方面,本发明提供一种基于引导网络和全连接条件随机场的小样本图像分割系统,包括:
图像划分模块,被配置为对获取的待分割图像进行组别划分,得到支撑图像和查询图像;
图像标注模块,被配置为对支撑图像中的正样本点和负样本点进行标注后,得到含有正负样本位置的前景信息特征图与背景信息特征图;
引导模块,被配置为基于支撑图像、前景信息特征图与背景信息特征图采用引导网络提取任务特征;
初步分割模块,被配置为根据任务特征和查询图像进行初步分割,得到初步分割结果;
细化分割模块,被配置为基于全连接条件随机场对初步分割结果进行边缘细化得到最终分割结果。
第三方面,本发明提供一种电子设备,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成第一方面所述的方法。
第四方面,本发明提供一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,完成第一方面所述的方法。
与现有技术相比,本发明的有益效果为:
为了克服深度学习分割算法和小样本学习的缺点,本发明提出基于引导网络和全连接条件随机场的小样本图像分割,对深度学习分割算法和小样本图像分割算法进行改进,输入同一类别下的支撑图像和查询图像,在相应的支撑图像下提取特征,再与前景、背景特征进行融合得到任务特征,通过任务特征与查询图像特征的融合,对查询图像进行初步分割,通过全连接条件随机场对初步分割结果细化,精细表示边界信息,实现通过少量样本提取不同类别的图像特征,并以更加精细的方式对图像进行分割。
本发明的分割模型框架是基于像素级别的,在输入支撑图像和查询图像后,通过优化引导网络来推断支撑图的潜在特征;根据潜在特征对没有像素标注的查询图像进行初步分割;最后根据初步分割结果通过全连接条件随机场进行更加精细的分割,从而获得比较高的分割结果。
本发明以每一类别的任务图像特征与查询图像特征作为分割依据,比传统图像分割方法使用的样本更少,考虑的信息更加全面,实践证明此方法保证算法的鲁棒性,并且提高分割精度。
本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1是本发明实施例1提供的基于引导网络和全连接条件随机场的小样本图像分割方法流程图;
图2是本发明实施例1提供的获取的部分图像示意图;
图3是本发明实施例1提供的任务特征提取示意图;
图4是本发明实施例1提供的分割过程意图;
图5是本发明实施例1提供的图3和图4中神经网络部分放大示意图;
图6是本发明实施例2提供的基于引导网络和全连接条件随机场的小样本图像分割系统示意图。
具体实施方式:
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本实施例使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要注意的是,附图中的流程图和框图示出了根据本发明的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意,在有些作为备选的实现中,方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,或者它们有时也可以按照相反的顺序执行,这取决于所涉及的功能。同样应当注意的是,流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合,可以使用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以使用专用硬件与计算机指令的组合来实现。
在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合下面结合附图与实施例对本发明作进一步说明。
实施例1
如图1所示,本实施例提供一种基于引导网络和全连接条件随机场的小样本图像分割方法,包括:
步骤(1):获取待分割图像数据,对待分割图像进行组别划分,得到支撑图像和查询图像;
步骤(2):对支撑图像中的正样本点和负样本点进行标注后,得到含有正负样本位置的前景信息特征图与背景信息特征图;
步骤(3):基于支撑图像、前景信息特征图与背景信息特征图采用引导网络提取任务特征;
步骤(4):根据任务特征和查询图像采用分割网络进行初步分割,得到初步分割结果;
步骤(5):基于全连接条件随机场对初步分割结果进行边缘细化得到最终分割结果。
在步骤(1)中,接收到的图像数据如图2所示,包含原始图像、标注信息和分割参考图像,图像已进行标签标注,根据标签对图像分类;具体为:20个类别的图像,背景为第21类,共11355张图像的注释标签,其中8498张图像用于训练,2857张图像用于测试,图像在Amazon Mechanical Turk上进行标签标注,手动解决分割之间的矛盾冲突,并且为每个图像提供类别级别的标签。
在步骤(1)中,对接收到的图像数据进行组别划分,将20个类别分为4 个子集,每个子集包含5个类别,由于只能对同一类别的图像进行训练测试,故从每个类别中选取少量图像作为查询图像,该类别中的其他图像作为支撑图像作为训练图像;例如,将飞机、自行车、鸟、船、瓶子作为子集1,将公共汽车、汽车、猫、椅子、牛作为子集2,将桌子、狗、马、摩托车、人作为子集3,将盆栽植物、羊、沙发、火车、显示屏幕作为子集4,并从每一类中选取少量图像作为查询图像,剩余图像作为支撑图像。
在步骤(2)中,对支撑图像而言,待分割的物体比如马、人等所在的区域为正样本点区域,此外的背景区域为负样本点区域,正、负样本点的像素由人工从支撑图像上截取,由于正、负样本点的像素标注信息与支撑图像的尺度不匹配,所以本实施例在预处理时将标注分析匹配到与支撑图像相同的坐标尺度下,即将正样本点的像素与负样本点的像素匹配到与支撑图像相同的坐标尺度上,记录正样本点和负样本点所处的位置,记正样本点所在位置记为1,负样本点所在位置记为0,得到两张与支撑图像尺度相同的正负样本标注图像,即前景信息特征图L+与背景信息特征图L_,其中,Lij∈{0,1}。
在步骤(3)中,基于支撑图像、前景信息特征图与背景信息特征图采用引导网络提取任务特征的过程如图3所示,具体包括:
提取支撑图像特征;
归一化前景信息特征图和背景信息特征图;
融合特征信息生成任务特征;
其中,所述提取支撑图像特征的过程包括:将支撑图像输入至引导网络,引导网络使用深度学习模型作为骨干网络,亦作为特征提取网络,经过5个卷积层与池化层以及1个全连接层和一个SoftMax层,从支撑图像中提取该类别的支撑图像特征λ(Is);若模型包括k次池化操作,则会导致最终提取到的支撑图像特征图相较于支撑图像而言缩小了2k倍。
所述归一化前景信息特征图和背景信息特征图的过程包括:由于引导网络模型提取的特征图需要与前景信息特征图、背景信息特征图进行融合,且前景信息特征图和背景信息特征图的尺寸与支撑图像的尺寸一致,故为确保支撑图像特征图与前景信息特征图和背景信息特征图尺寸一致,本实施例采用双线性插值方法对前景信息特征图和背景信息特征图进行下采样操作,下采样的同时保留正样本点和负样本点的空间信息。
所述融合特征信息生成任务特征的过程包括:采用元素点乘的方法融合支撑图像特征图、前景信息特征图和背景信息特征图,生成含有前景信息以及背景信息的任务特征R;此外,可随时提供新的正、负样本点像素来更新前景信息特征图和背景信息特征图以更新任务特征R。
在步骤(3)中,特征提取网络由多个卷积层组成,以VGG-16为例,使用前5个卷积块作为特征提取网络,则输入(w,h,3)的原始图像,经过5个卷积网络块会下采样32倍,即输出的特征图是
Figure BDA0003038198370000101
网络的前几层学习的是相对泛化的特征,比如边缘、颜色等,而靠后几层的网络学习到的特征更高层。
进一步地,所述特征提取网络由多层卷积神经网络为骨干网路,在多个不同尺度的中间层提取特征图,其骨干网可以采用多种架构,可以采用VGGNet, ResNet,SeResNet,ResNext,WideResNet,Res2Net等,在本申请的实施例中并不进行具体限定。
在步骤(4)中,如图4所示,初步分割的过程具体包括:
提取查询图像特征;
压缩任务特征;
融合查询图像特征与任务特征;
根据查询特征与任务特征对查询图像进行初步分割;
其中,所述提取查询图像特征的过程具体包括:采用多层卷积神经网络作为骨干网络,亦作为特征提取网络,如图5所示,经过5个卷积层与池化层以及1个全连接层和一个SoftMax层,输出从查询图像中提取的查询图像特征λ(Iq)。
所述压缩任务特征的过程具体包括:基于引导网络中提取到的任务特征R采用全局平均池化进行压缩,得到特征向量r。
所述融合查询图像特征与任务特征的过程具体包括:由于特征向量r的尺度与查询图像特征尺度不同,故本实施例使用tile方法,融合引导信息R压缩后的特征向量r和查询图像特征λ(Iq),其中包括复制特征向量r并与原向量拼接至与查询图像特征维度一致,利用通道维度拼接融合的方法融合查询图像特征图λ(Iq)和维度归一化后的特征向量r。
所述根据查询特征与任务特征对查询图像进行初步分割的过程具体包括:
首先,使用1*1大小卷积层、ReLU层与丢弃层计算支撑图像与查询图像之间的像素距离,距离的远近描述支撑图像属于前景或背景可能性的大小,故设定距离阈值,如果像素距离低于距离阈值,则认为该像素更有可能属于前景部分,如果高于距离阈值,则认为该像素更有可能属于背景部分;
其次,使用1*1卷积层降低维度,对查询图像的每一个像素做类别预测,预测该像素所属的类别,即属于前景目标或背景;
最终,使用双线性插值将预测结果图,即分割结果图恢复至与查询图像一致的尺寸大小,并根据损失函数反向学习,通过反向传播像素损失不断提高学习能力;损失函数表示如下:
Figure BDA0003038198370000111
其中,yi表示图像i的真实标签,pi表示对应的预测分割概率。
在步骤(5)中,基于全连接条件随机场对初步分割结果进行边缘细化得到最终分割结果的过程具体包括:在分割网络的最后一层集成全连接条件随机场,捕获图像边缘细节,优化分割网络的边缘精度,在详细层级上恢复物体边界,输出最终分割结果。
基本的条件随机场模型是由一阶势函数和相邻元素构成的势函数所组成的图模型,将图像中每两个像素点之间使用一条边连接起来,获得一个稠密的全连接模型,称为全连接条件随机场,全连接条件随机场模型中使用的能量函数为:
Figure BDA0003038198370000121
其中,θi(xi)表示一元势函数,θij(xij)表示二元势函数,x表示像素分配的标签;
一元势函数具体表示为:
θi(xi)=-logP(xi),
其中,P(xi)表示通过观察到的像素颜色值xj,判断其属于标签xi的概率值,
二元势函数具体表示:
Figure BDA0003038198370000122
其中,如果xi≠xj,那么ρ(xi,xj)=1,否则ρ(xi,xj)=0,kM(fi,fj)是高斯核,fi是像素i的特征向量,ωM表示权重系数;二元势函数描述图像中每一个像素与其他所有像素之间的关系,进一步捕捉图像边缘细节,将初步分割结果输入后,输出分割精度更大的分割结果。
为了解决现有技术中如何改进训练数据量大和分割准确率不高的问题,本实施例提出的一种基于引导网络和全连接条件随机场的小样本图像分割方法,提取有效的支撑图像特征并对查询图像进行初步分割,并能对结果进行更加精细的再分割,从而获得比较高的分割结果。
实施例2
如图6所示,本实施例提供一种基于引导网络和全连接条件随机场的小样本图像分割系统,包括:
图像划分模块,被配置为对获取的待分割图像进行组别划分,得到支撑图像和查询图像;
图像标注模块,被配置为对支撑图像中的正样本点和负样本点进行标注后,得到含有正负样本位置的前景信息特征图与背景信息特征图;
引导模块,被配置为基于支撑图像、前景信息特征图与背景信息特征图采用引导网络提取任务特征;
初步分割模块,被配置为根据任务特征和查询图像进行初步分割,得到初步分割结果;
细化分割模块,被配置为基于全连接条件随机场对初步分割结果进行边缘细化得到最终分割结果。
此处需要说明的是,上述模块对应于实施例1中所述的步骤,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
在更多实施例中,还提供:
一种电子设备,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成实施例1中所述的方法。为了简洁,在此不再赘述。
一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,完成实施例1中所述的方法。
在本实施例中,计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本发明的各个方面的计算机可读程序指令。计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是——但不限于——电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器 (RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
本文所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明内容操作的计算机程序指令可以是汇编指令、指令集架构 (ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN) 或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明内容的各个方面。
应当注意,尽管在上文的详细描述中提及了设备的若干模块或子模块,但是这种划分仅仅是示例性而非强制性的。实际上,根据本发明的实施例,上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之,上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
本领域普通技术人员可以意识到,结合本实施例描述的各示例的单元即算法步骤,能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于引导网络和全连接条件随机场的小样本图像分割方法,其特征在于,包括:
对获取的待分割图像进行组别划分,得到支撑图像和查询图像;
对支撑图像中的正样本点和负样本点进行标注后,得到含有正负样本位置的前景信息特征图与背景信息特征图;
基于支撑图像、前景信息特征图与背景信息特征图采用引导网络提取任务特征;
根据任务特征和查询图像进行初步分割,得到初步分割结果;
基于全连接条件随机场对初步分割结果进行边缘细化得到最终分割结果。
2.如权利要求1所述的基于引导网络和全连接条件随机场的小样本图像分割方法,其特征在于,前景信息特征图与背景信息特征图的提取过程包括:将正样本点的像素与负样本点的像素匹配到与支撑图像相同的坐标尺度上,将正样本点的位置设置为1,负样本点的位置设置为0,得到与支撑图像尺度一致的前景信息特征图与背景信息特征图。
3.如权利要求1所述的基于引导网络和全连接条件随机场的小样本图像分割方法,其特征在于,任务特征的提取过程包括:提取支撑图像特征;对前景信息特征图和背景信息特征图进行归一化;对支撑图像特征、归一化后的前景信息特征图和背景信息特征图进行融合后得到任务特征。
4.如权利要求3所述的基于引导网络和全连接条件随机场的小样本图像分割方法,其特征在于,所述归一化过程包括:将前景信息特征图和背景信息特征图的尺寸调节至与支撑图像特征图一致,采用双线性插值对前景信息特征图和背景信息特征图进行下采样,下采样的同时保留正、负样本点空间信息;
或,通过融合后得到任务特征的过程包括:采用元素点乘方法对支撑图像特征与前景信息特征图、背景信息特征图进行融合,生成包含前景目标信息和背景信息的任务特征。
5.如权利要求1所述的基于引导网络和全连接条件随机场的小样本图像分割方法,其特征在于,所述初步分割的过程包括:提取查询图像特征;压缩任务特征;对查询图像特征与任务特征进行融合后对查询图像进行初步分割。
6.如权利要求5所述的基于引导网络和全连接条件随机场的小样本图像分割方法,其特征在于,所述压缩任务特征的过程包括:对任务特征采用全局平均池化进行压缩;
或,所述对查询图像特征与任务特征进行融合的过程包括:对任务特征压缩后得到的特征向量和查询图像特征进行融合,复制特征向量,并与原向量拼接至与查询图像特征维度一致,利用通道维度拼接融合方法融合查询图像特征和维度归一化后的特征向量;
或,所述对查询图像进行分割的过程包括:根据支撑图像与查询图像的像素距离,对查询图像进行前景目标或背景的类别预测,利用双线性插值将预测结果恢复至与查询图像一致的尺寸,根据损失函数反向传播学习后得到初步分割结果。
7.如权利要求3或5所述的基于引导网络和全连接条件随机场的小样本图像分割方法,其特征在于,提取图像特征的过程包括:采用多层卷积神经网络作为骨干网络,经过5个卷积层与池化层以及1个全连接层和一个SoftMax层,提取图像特征。
8.一种基于引导网络和全连接条件随机场的小样本图像分割系统,其特征在于,包括:
图像划分模块,被配置为对获取的待分割图像进行组别划分,得到支撑图像和查询图像;
图像标注模块,被配置为对支撑图像中的正样本点和负样本点进行标注后,得到含有正负样本位置的前景信息特征图与背景信息特征图;
引导模块,被配置为基于支撑图像、前景信息特征图与背景信息特征图采用引导网络提取任务特征;
初步分割模块,被配置为根据任务特征和查询图像进行初步分割,得到初步分割结果;
细化分割模块,被配置为基于全连接条件随机场对初步分割结果进行边缘细化得到最终分割结果。
9.一种电子设备,其特征在于,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,用于存储计算机指令,所述计算机指令被处理器执行时,完成权利要求1-7任一项所述的方法。
CN202110449732.9A 2021-04-25 2021-04-25 基于引导网络和全连接条件随机场的小样本图像分割方法 Active CN113223011B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110449732.9A CN113223011B (zh) 2021-04-25 2021-04-25 基于引导网络和全连接条件随机场的小样本图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110449732.9A CN113223011B (zh) 2021-04-25 2021-04-25 基于引导网络和全连接条件随机场的小样本图像分割方法

Publications (2)

Publication Number Publication Date
CN113223011A true CN113223011A (zh) 2021-08-06
CN113223011B CN113223011B (zh) 2022-10-04

Family

ID=77088910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110449732.9A Active CN113223011B (zh) 2021-04-25 2021-04-25 基于引导网络和全连接条件随机场的小样本图像分割方法

Country Status (1)

Country Link
CN (1) CN113223011B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963337A (zh) * 2021-12-22 2022-01-21 中国科学院自动化研究所 物体图像轮廓基元提取方法和装置
CN115170934A (zh) * 2022-09-05 2022-10-11 粤港澳大湾区数字经济研究院(福田) 一种图像分割方法、系统、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062756A (zh) * 2018-01-29 2018-05-22 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法
CN108710863A (zh) * 2018-05-24 2018-10-26 东北大学 基于深度学习的无人机航拍场景语义分割方法及系统
CN108876796A (zh) * 2018-06-08 2018-11-23 长安大学 一种基于全卷积神经网络和条件随机场的道路分割系统及方法
CN109285162A (zh) * 2018-08-30 2019-01-29 杭州电子科技大学 一种基于局部区域条件随机场模型的图像语义分割方法
CN111583284A (zh) * 2020-04-22 2020-08-25 中国科学院大学 一种基于混合模型的小样本图像语义分割方法
CN112364870A (zh) * 2020-10-22 2021-02-12 中国科学院大学 一种基于特征和谐激活的小样本语义分割方法
CN112686850A (zh) * 2020-12-24 2021-04-20 上海体素信息科技有限公司 基于空间位置和原型网络的ct图像的少样本分割方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062756A (zh) * 2018-01-29 2018-05-22 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法
CN108710863A (zh) * 2018-05-24 2018-10-26 东北大学 基于深度学习的无人机航拍场景语义分割方法及系统
CN108876796A (zh) * 2018-06-08 2018-11-23 长安大学 一种基于全卷积神经网络和条件随机场的道路分割系统及方法
CN109285162A (zh) * 2018-08-30 2019-01-29 杭州电子科技大学 一种基于局部区域条件随机场模型的图像语义分割方法
CN111583284A (zh) * 2020-04-22 2020-08-25 中国科学院大学 一种基于混合模型的小样本图像语义分割方法
CN112364870A (zh) * 2020-10-22 2021-02-12 中国科学院大学 一种基于特征和谐激活的小样本语义分割方法
CN112686850A (zh) * 2020-12-24 2021-04-20 上海体素信息科技有限公司 基于空间位置和原型网络的ct图像的少样本分割方法和系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KAREN SIMONYAN等: "VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-S CALE IMAGE RECOGNITION", 《ARXIV:1409.1556V6 [CS.CV]》 *
KUN ZHANG等: "Guided Networks for Few-shot image Segmentation and fully connected CRFs", 《ELECTRONICS》 *
张真真: "基于卷积神经网络和条件随机场的眼底图像血管分割研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *
甘清海: "基于多级联卷积神经网络和条件随机场的脑肿瘤分割研究", 《中国优秀博硕士学位论文全文数据库(硕士) 医药卫生科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963337A (zh) * 2021-12-22 2022-01-21 中国科学院自动化研究所 物体图像轮廓基元提取方法和装置
CN113963337B (zh) * 2021-12-22 2022-04-08 中国科学院自动化研究所 物体图像轮廓基元提取方法和装置
CN115170934A (zh) * 2022-09-05 2022-10-11 粤港澳大湾区数字经济研究院(福田) 一种图像分割方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN113223011B (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN108304835B (zh) 文字检测方法和装置
CN111488826B (zh) 一种文本识别方法、装置、电子设备和存储介质
CN108229504B (zh) 图像解析方法及装置
CN109189767B (zh) 数据处理方法、装置、电子设备及存储介质
US11475681B2 (en) Image processing method, apparatus, electronic device and computer readable storage medium
CN110111334B (zh) 一种裂缝分割方法、装置、电子设备及存储介质
CN111476284A (zh) 图像识别模型训练及图像识别方法、装置、电子设备
CN110647829A (zh) 一种票据的文本识别方法及系统
CN112116599B (zh) 基于弱监督学习的痰涂片结核杆菌语义分割方法及系统
CN110288024B (zh) 一种基于原型网络少样本学习的图像分类器构建、图像识别方法及系统
US20220092407A1 (en) Transfer learning with machine learning systems
CN113223011B (zh) 基于引导网络和全连接条件随机场的小样本图像分割方法
CN114419570A (zh) 一种点云数据识别方法、装置、电子设备及存储介质
CN112990331A (zh) 图像处理方法、电子设备和存储介质
CN112906823A (zh) 目标对象识别模型训练方法、识别方法及识别装置
CN111932577A (zh) 文本检测方法、电子设备及计算机可读介质
CN114330588A (zh) 一种图片分类方法、图片分类模型训练方法及相关装置
CN112365513A (zh) 一种模型训练的方法及装置
CN115482436B (zh) 图像筛选模型的训练方法、装置以及图像筛选方法
CN113837255B (zh) 预测以细胞为基质的抗体核型类别的方法、设备和介质
US20220207866A1 (en) Method, device, and computer readable storage medium for image processing
CN114972910A (zh) 图文识别模型的训练方法、装置、电子设备及存储介质
KR20190093752A (ko) 딥 러닝을 이용한 씬 텍스트 검출 방법 및 시스템
CN110705695B (zh) 搜索模型结构的方法、装置、设备和存储介质
CN114663751A (zh) 一种基于增量学习技术的输电线路缺陷识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant