CN109685805A - 一种图像分割方法及装置 - Google Patents

一种图像分割方法及装置 Download PDF

Info

Publication number
CN109685805A
CN109685805A CN201910020730.0A CN201910020730A CN109685805A CN 109685805 A CN109685805 A CN 109685805A CN 201910020730 A CN201910020730 A CN 201910020730A CN 109685805 A CN109685805 A CN 109685805A
Authority
CN
China
Prior art keywords
image
sample
split
feature vector
eigenvector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910020730.0A
Other languages
English (en)
Other versions
CN109685805B (zh
Inventor
黄永祯
朱益灵
郭韦昱
覃道亮
曹春水
杨家辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Galaxy Water Drop Technology Jiangsu Co ltd
Original Assignee
Watrix Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Watrix Technology Beijing Co Ltd filed Critical Watrix Technology Beijing Co Ltd
Priority to CN201910020730.0A priority Critical patent/CN109685805B/zh
Publication of CN109685805A publication Critical patent/CN109685805A/zh
Application granted granted Critical
Publication of CN109685805B publication Critical patent/CN109685805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像分割方法及装置,涉及图像处理技术领域,包括:获取第一待分割图像和第二待分割图像;将所述第一待分割图像和所述第二待分割图像输入至预先训练好的图像分割模型中,执行以下第一处理过程:提取所述第一待分割图像的第一特征向量,以及,提取所述第二待分割图像的第二特征向量;计算所述第一特征向量和所述第二特征向量之间的相关性参数;基于所述相关性参数和所述第一特征向量,预测所述第一待分割图像的第一分割图像;以及,基于所述相关性参数和所述第二特征向量,预测所述第二待分割图像的第二分割图像。通过这种方法,可以提高图像分割的准确率和效率。

Description

一种图像分割方法及装置
技术领域
本申请涉及图像处理技术领域,尤其是涉及一种图像分割方法及装置。
背景技术
现有技术中,主要通过两种方式对图像进行分割,一种是通过神经网络对图像进行分割,然而,神经网络需要大量的数据样本进行训练,对于一些特定场景,例如轨道交通领域,所需要的包含有异常缺陷的样本数据较少,这种情况下训练出的神经网络对图像分割的准确率较低;一种是传统的图像分割方法,然而传统的图像分割方法需要人为提取图像的特征,然后基于人为提取的特征进行图像分割,这种方式效率较低。
发明内容
有鉴于此,本申请的目的在于提供一种图像分割方法及装置,以提高图像分割的准确率和效率。
第一方面,本申请实施例提供了一种图像分割方法,包括:
获取第一待分割图像和第二待分割图像;
将所述第一待分割图像和所述第二待分割图像输入至预先训练好的图像分割模型中,执行以下第一处理过程:
提取所述第一待分割图像的第一特征向量,以及,提取所述第二待分割图像的第二特征向量;
计算所述第一特征向量和所述第二特征向量之间的相关性参数;
基于所述相关性参数和所述第一特征向量,预测所述第一待分割图像的第一分割图像;以及,基于所述相关性参数和所述第二特征向量,预测所述第二待分割图像的第二分割图像。
结合第一方面,本申请实施例提供了第一方面的第一种可能的实施方式,其中,所述计算所述第一特征向量和所述第二特征向量之间的相关性参数,包括:
以所述第一特征向量为基准,计算所述第二特征向量与所述第一特征向量之间的第一相关性参数;以及,以所述第二特征向量为基准,确定所述第一特征向量与所述第二特征向量之间的第二相关性参数。
结合第一方面的第一种可能的实施方式,本申请实施例提供了第一方面的第二种可能的实施方式,其中,所述基于所述相关性参数和所述第一特征向量,预测所述第一待分割图像的第一分割图像,包括:
基于所述第一相关性参数和所述第一特征向量,预测所述第一待分割图像的第一分割图像;
所述基于所述相关性参数和所述第二特征向量,预测所述第二待分割图像的第二分割图像,包括:
基于所述第二相关性参数和所述第二特征向量,预测所述第二待分割图像的第二分割图像。
结合第一方面的第二种可能的实施方式,本申请实施例提供了第一方面的第三种可能的实施方式,其中,所述基于所述第一相关性参数和所述第一特征向量,预测所述第一待分割图像的第一分割图像,包括:
确定所述第一待分割图像中所述第一特征向量与所述第一相关性参数相匹配的第一类像素点、所述第一特征向量与所述第一相关性参数不匹配的第二类像素点;
将所述第一类像素点的像素值调整为第一数值,和/或,将所述第二类像素点的像素值调整为第二数值之后,得到所述第一分割图像;
所述基于所述第二相关性参数和所述第二特征向量,预测所述第二待分割图像的第二分割图像,包括:
确定所述第二待分割图像中所述第二特征向量与所述第二相关性参数相匹配的第三类像素点、以及所述第二特征向量与所述第二相关性参数不匹配的第四类像素点;
将所述第三类像素点的像素值调整为所述第一数值,和/或,将所述第四类像素点的像素值调整为所述第二数值之后,得到所述第二分割图像。
结合第一方面,本申请实施例提供了第一方面的第四种可能的实施方式,其中,根据以下方式训练得到图像分割模型:
获取样本图像集合,其中,所述样本图像集合中包括多个样本图像以及每个样本图像标注的参考分割图像;
从所述样本图像集合中选取第一样本图像和第二样本图像输入至待训练的图像分割模型中,执行以下第二处理过程,直至确定所述待训练的图像分割模型训练完成;其中,所述第二处理过程包括:
提取所述第一样本图像的第一样本特征向量,以及,提取所述第二样本图像的第二样本特征向量;
计算所述第一样本特征向量和所述第二样本特征向量之间的样本相关性参数;
基于所述样本相关性参数和所述第一样本特征向量,预测所述第一样本图像的第一样本分割图像;以及,基于所述样本相关性参数和所述第二样本特征向量,预测所述第二样本图像的第二样本分割图像;
基于所述第一样本分割图像和所述第一样本图像对应的参考分割图像、所述第二样本分割图像和所述第二样本图像对应的参考分割图像,确定本次训练过程的损失值;
当所述损失值大于预设损失值时,调整所述待训练的图像分割模型,并从所述样本图像集合中继续选取第一样本图像和第二样本图像输入至调整后的待训练的图像分割模型中,再次执行所述第二处理过程;
当所述损失值小于或等于所述预设损失值时,确定所述待训练的图像分割模型训练完成。
第二方面,本申请实施例还提供一种图像分割装置,包括:
获取模块,用于获取第一待分割图像和第二待分割图像;
分割模块,用于将所述第一待分割图像和所述第二待分割图像输入至预先训练好的图像分割模型中,执行第一处理过程,其中,所述分割模块包括:
提取单元,用于提取所述第一待分割图像的第一特征向量,以及,提取所述第二待分割图像的第二特征向量;
计算单元,用于计算所述第一特征向量和所述第二特征向量之间的相关性参数;
处理单元,用于基于所述相关性参数和所述第一特征向量,预测所述第一待分割图像的第一分割图像;以及,基于所述相关性参数和所述第二特征向量,预测所述第二待分割图像的第二分割图像。
结合第二方面,本申请实施例提供了第二方面的第一种可能的实施方式,其中,所述计算单元,在计算所述第一特征向量和所述第二特征向量之间的相关性参数时,具体用于:
以所述第一特征向量为基准,计算所述第二特征向量与所述第一特征向量之间的第一相关性参数;以及,以所述第二特征向量为基准,确定所述第一特征向量与所述第二特征向量之间的第二相关性参数。
结合第二方面的第一种可能的实施方式,本申请实施例提供了第二方面的第二种可能的实施方式,其中,所述处理单元,在基于所述相关性参数和所述第一特征向量,预测所述第一待分割图像的第一分割图像时,具体用于:
基于所述第一相关性参数和所述第一特征向量,预测所述第一待分割图像的第一分割图像;
所述处理单元,在基于所述相关性参数和所述第二特征向量,预测所述第二待分割图像的第二分割图像时,具体用于:
基于所述第二相关性参数和所述第二特征向量,预测所述第二待分割图像的第二分割图像。
结合第二方面的第二种可能的实施方式,本申请实施例提供了第二方面的第三种可能的实施方式,其中,所述处理单元,在基于所述第一相关性参数和所述第一特征向量,预测所述第一待分割图像的第一分割图像时,具体用于:
确定所述第一待分割图像中所述第一特征向量与所述第一相关性参数相匹配的第一类像素点、所述第一特征向量与所述第一相关性参数不匹配的第二类像素点;
将所述第一类像素点的像素值调整为第一数值,和/或,将所述第二类像素点的像素值调整为第二数值之后,得到所述第一分割图像;
所述处理单元,在基于所述第二相关性参数和所述第二特征向量,预测所述第二待分割图像的第二分割图像时,具体用于:
确定所述第二待分割图像中所述第二特征向量与所述第二相关性参数相匹配的第三类像素点、以及所述第二特征向量与所述第二相关性参数不匹配的第四类像素点;
将所述第三类像素点的像素值调整为所述第一数值,和/或,将所述第四类像素点的像素值调整为所述第二数值之后,得到所述第二分割图像。
结合第二方面,本申请实施例提供了第二方面的第四种可能的实施方式,其中,所述装置还包括:
训练模块,用于按照以下方式训练所述图像分割模型:
获取样本图像集合,其中,所述样本图像集合中包括多个样本图像以及每个样本图像标注的参考分割图像;
从所述样本图像集合中选取第一样本图像和第二样本图像输入至待训练的图像分割模型中,执行以下第二处理过程,直至确定所述待训练的图像分割模型训练完成;其中,所述第二处理过程包括:
提取所述第一样本图像的第一样本特征向量,以及,提取所述第二样本图像的第二样本特征向量;
计算所述第一样本特征向量和所述第二样本特征向量之间的样本相关性参数;
基于所述样本相关性参数和所述第一样本特征向量,预测所述第一样本图像的第一样本分割图像;以及,基于所述样本相关性参数和所述第二样本特征向量,预测所述第二样本图像的第二样本分割图像;
基于所述第一样本分割图像和所述第一样本图像对应的参考分割图像、所述第二样本分割图像和所述第二样本图像对应的参考分割图像,确定本次训练过程的损失值;
当所述损失值大于预设损失值时,调整所述待训练的图像分割模型,并从所述样本图像集合中继续选取第一样本图像和第二样本图像输入至调整后的待训练的图像分割模型中,再次执行所述第二处理过程;
当所述损失值小于或等于所述预设损失值时,确定所述待训练的图像分割模型训练完成。
第三方面,本申请实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面的任一种可能的实施方式中的步骤。
第四方面,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面的任一种可能的实施方式中的步骤。
本申请实施例提供的图像分割方法及装置,通过预先训练好的图像分割模型,提取第一待分割图像的第一特征向量以及提取第二待分割图像的第二特征向量,然后计算第一特征向量和第二特征向量之间的相关性参数,最后基于相关性参数、第一特征向量预测第一待分割模型的第一分割模型,以及,基于相关性参数、第二特征向量预测第二待分割模型的第二分割模型。通过这种方法,可以提取第一待分割图像和第二待分割图像的相关性参数,并利用相关性参数对第一待分割图像和第二待分割图像进行分割,在没有大量样本对图像分割模型进行训练的情况中,可以提高图像分割的准确率;相对于传统的图像分割方法,避免了人工提取图像特征的步骤,提高了图像分割的效率。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的图像分割方法的流程图;
图2示出了本申请实施例所提供的第一处理过程的执行方法的流程示意图;
图3示出了本申请实施例所提供的图像分割模型训练方法示意图;
图4示出了本申请实施例所提供的第二处理过程的执行方法的流程示意图;
图5示出了本申请实施例提供的图像分割装置500的架构示意图;
图6示出了本申请实施例提供的电子设备600的架构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
首先,对本申请可适用的应用场景进行介绍。本申请可以应用无法获取大量样本数据,而又需要对图像进行分割时。现有技术对图像分割的方法,主要包括两种,一种是通过神经网络对图像进行分割,然而在无法大量样本数据时,通过少量样本训练出来的神经网络,在应用于图像分割时准确率较低;一种是传统的图像分割方法,但是传统的图像分割方法需要人工提取图像特征,效率较低。
基于此,本申请提供了一种图像分割方法及装置,以提高图像分割的准确率和效率,为便于对本实施例进行理解,首先对本申请实施例所公开的一种图像分割方法进行详细介绍。
实施例一
本申请实施例提供了一种图像分割方法,如图1所示的图像分割方法的流程图,包括以下步骤:
步骤101、获取第一待分割图像和第二待分割图像。
步骤102、将第一待分割图像和第二待分割图像输入至预先训练好的图像分割模型中,执行第一处理过程,得到第一待分割图像对应的第一分割图像,以及,第二待分割图像对应的第二分割图像。
具体的,第一处理过程的执行方法可以为如图2所示的方法,包括以下步骤:
步骤201、提取第一待分割图像的第一特征向量,以及,提取第二待分割图像的第二特征向量。
在一种可能的实施方式中,可以将第一待分割图像和第二待分割模型经过多次卷积之后,分别得到第一待分割图像的第一特征向量以及第二待分割图像的第二特征向量。
步骤202、计算第一特征向量和第二特征向量之间的相关性参数。
在计算第一特征向量和第二特征向量之间的相关性参数时,包括:
以第一特征向量为基准,计算所述第二特征向量与第一特征向量之间的第一相关性参数;以及,以所述第二特征向量为基准,计算第一特征向量与第二特征向量之间的第二相关性参数。
在一种可能的实施方式中,以图像A为第一待分割图像,图像B为第二待分割图像为例,针对图像A的第i个像素点,可以以第i个像素点为中心,从图像A中选择N个与第i个像素点相邻的像素点作为一个像素组合,若图像A包含M个像素点,则可以确定M个像素集合,其中,i、N、M均为正整数。
同理,针对图像B的第j个像素点,可以以第j个像素点为中心,从图像B中选择N个与第i个像素点相邻的像素点作为一个像素组合,若图像B包含R个像素点,则可以确定R个像素集合,其中,j、R均为正整数。
其中,像素集合的特征向量可以为像素集合所包含的每个像素点的特征向量进行拼接后得到的特征向量,例如,若像素集合包含a,b,c,d四个像素点,像素点a的特征向量为a1,像素点c的特征向量为c1,像素点d的特征向量为d1,则包含像素点a,b,c,d的像素结合的特征向量为{a1,b1,c1,d1}。
具体实施中,在计算第一相关性参数时,以图像A的第K个像素集合为例,可以将第K个像素集合的特征向量与图像B的每个像素集合的特征向量做卷积,并将每个卷积之后的结果作为图像B的每个像素集合的中心像素点的特征向量。
将图像A的M个像素集合分别与图像B的所有像素集合进行卷积运算之后,得到M个卷积结果,然后将M个卷积结果进行相加,作为图像B的每个像素点的特征向量,然后,根据图像B的每个像素点的特征向量,确定调整后的图像B的特征向量,并将调整后的图像B的特征向量作为第一相关性参数。
同理,在计算第二相关性参数是,以图像B的第T个像素集合为例,可以将第T个像素集合的特征向量与图像A的每个像素集合的特征向量做卷积,并将卷积之后的结果作为图像A的每个像素集合的中心像素点的特征向量。
在将图像B的R个像素集合与图像A的所有像素集合进行卷积运算之后,得到T个卷积结果,将T个卷积结果进行相加,作为图像A的每个像素点的特征值,然后,分局图像A的每个像素点的特征向量,确定调整后的图像A的特征向量,并将调整的图像A的特征向量作为第二相关性参数。
在另外一种可能的实施方式中,还可以将图像B的第K个像素集合每个预设步长与图像A的像素集合进行卷积运算,具体执行步骤与上述步骤类似,在此将不再赘述。
步骤203、基于相关性参数和第一特征向量,预测第一待分割图像的第一分割图像;以及,基于相关性参数和第二特征向量,预测第二待分割图像的第二分割图像。
具体实施中,可以基于第一相关性参数和第一特征向量,预测第一待分割图像的第一分割图像,基于第二相关参数和第二特征向量,预测第二待分割图像的第二分割图像。
本申请一示例中,可以确定第一待分割图像对应的第一特征向量中与第一相关性参数相匹配的第一类像素点,以及第一特征向量中与第一相关参数不匹配的第二类像素点,在将第一类像素点的像素值调整为第一数值,和/或,将第二类像素点的像素值调整为第二数值之后,得到第一分割图像;。
同理,可以确定第二待分割图像对应的第二特征向量中与第二相关性参数相匹配的第三类像素点,以及第二特征向量中与第二相关参数不匹配的第四类像素点,在将第三类像素点的像素值调整为第一数值,和/或,将第四类像素点的像素值调整为第二数值之后,得到第二分割图像。
在一种可能的实施方式中,第一数值可以为1,第二数值可以为0,则在经过像素值调整之后得到的第一分割图像和第二分割图像为二值图像,具体实施中,也可以不转化为二值图像,即第一数值可以不为1,第二数值也可以不为0,对此本申请并不限定,但是,第一数值与第二数值并不相等。
本申请一示例中,可以按照如图3所示的方法训练图像分割模型,包括以下步骤:
步骤301、获取样本图像集合,其中,样本图像集合中包括多个样本图像以及每个样本图像标注的参考分割图像。
步骤302、从样本图像集合中选取第一样本图像和第二样本图像输入至待训练的图像分割模型中,执行第二处理过程,得到第一样本图像的第一样本分割图像和第二样本图像的第二样本分割图像。
步骤303、基于第一样本分割图像和第一样本图像对应的参考分割图像、第二样本分割图像和第二样本图像对应的参考分割图像,确定本次训练过程的损失值。
步骤304、判断损失值是否大于预设损失值。
若判断结果为否,则执行步骤305;
若判断结果为是,则执行步骤306。
步骤305、确定待训练的图像分割模型训练完成。
步骤306、调整待训练的图像分割模型的模型参数,并返回执行步骤302,直至计算出的损失值小于或等于预设损失值。
其中,第二处理过程如图4,包括以下步骤:
步骤3021、提取第一样本图像的第一样本特征向量,以及,提取第二样本图像的第二样本特征向量
步骤3022、计算第一样本特征向量和第二样本特征向量之间的样本相关性参数。
步骤3023、基于样本相关性参数和第一样本特征向量,预测第一样本图像的第一样本分割图像;以及,基于样本相关性参数和第二样本特征向量,预测第二样本图像的第二样本分割图像。
本申请实施例提供的图像分割方法,通过预先训练好的图像分割模型,提取第一待分割图像的第一特征向量以及提取第二待分割图像的第二特征向量,然后计算第一特征向量和第二特征向量之间的相关性参数,最后基于相关性参数、第一特征向量预测第一待分割模型的第一分割模型,以及,基于相关性参数、第二特征向量预测第二待分割模型的第二分割模型。通过这种方法,可以提取第一待分割图像和第二待分割图像的相关性参数,并利用相关性参数对第一待分割图像和第二待分割图像进行分割,在没有大量样本对图像分割模型进行训练的情况中,可以提高图像分割的准确率;相对于传统的图像分割方法,避免了人工提取图像特征的步骤,提高了图像分割的效率。
实施例二
本实施例提供了一种图像分割装置,如图5所示的图像分割装置500的架构示意图,包括获取模块501、分割模块502,其中分割模块502包括提取单元5021、计算单元5022、以及处理单元5023,具体的:
获取模块501,用于获取第一待分割图像和第二待分割图像;
分割模块502,用于将所述第一待分割图像和所述第二待分割图像输入至预先训练好的图像分割模型中,执行第一处理过程,其中,所述分割模块包括:
提取单元5021,用于提取所述第一待分割图像的第一特征向量,以及,提取所述第二待分割图像的第二特征向量;
计算单元5022,用于计算所述第一特征向量和所述第二特征向量之间的相关性参数;
处理单元5023,用于基于所述相关性参数和所述第一特征向量,预测所述第一待分割图像的第一分割图像;以及,基于所述相关性参数和所述第二特征向量,预测所述第二待分割图像的第二分割图像。
在一种可能的实施方式中,计算单元5022,在计算所述第一特征向量和所述第二特征向量之间的相关性参数时,具体用于:
以所述第一特征向量为基准,计算所述第二特征向量与所述第一特征向量之间的第一相关性参数;以及,以所述第二特征向量为基准,确定所述第一特征向量与所述第二特征向量之间的第二相关性参数。
在一种可能的实施方式中,处理单元5023,在基于所述相关性参数和所述第一特征向量,预测所述第一待分割图像的第一分割图像时,具体用于:
基于所述第一相关性参数和所述第一特征向量,预测所述第一待分割图像的第一分割图像;
所述处理单元5023,在基于所述相关性参数和所述第二特征向量,预测所述第二待分割图像的第二分割图像时,具体用于:
基于所述第二相关性参数和所述第二特征向量,预测所述第二待分割图像的第二分割图像。
在一种可能的实施方式中,处理单元5023,在基于所述第一相关性参数和所述第一特征向量,预测所述第一待分割图像的第一分割图像时,具体用于:
确定所述第一待分割图像中所述第一特征向量与所述第一相关性参数相匹配的第一类像素点、所述第一特征向量与所述第一相关性参数不匹配的第二类像素点;
将所述第一类像素点的像素值调整为第一数值,和/或,将所述第二类像素点的像素值调整为第二数值之后,得到所述第一分割图像;
所述处理单元5023,在基于所述第二相关性参数和所述第二特征向量,预测所述第二待分割图像的第二分割图像时,具体用于:
确定所述第二待分割图像中所述第二特征向量与所述第二相关性参数相匹配的第三类像素点、以及所述第二特征向量与所述第二相关性参数不匹配的第四类像素点;
将所述第三类像素点的像素值调整为所述第一数值,和/或,将所述第四类像素点的像素值调整为所述第二数值之后,得到所述第二分割图像。
在一种可能的实施方式中,所述装置还包括:
训练模块503,用于按照以下方式训练所述图像分割模型:
获取样本图像集合,其中,所述样本图像集合中包括多个样本图像以及每个样本图像标注的参考分割图像;
从所述样本图像集合中选取第一样本图像和第二样本图像输入至待训练的图像分割模型中,执行以下第二处理过程,直至确定所述待训练的图像分割模型训练完成;其中,所述第二处理过程包括:
提取所述第一样本图像的第一样本特征向量,以及,提取所述第二样本图像的第二样本特征向量;
计算所述第一样本特征向量和所述第二样本特征向量之间的样本相关性参数;
基于所述样本相关性参数和所述第一样本特征向量,预测所述第一样本图像的第一样本分割图像;以及,基于所述样本相关性参数和所述第二样本特征向量,预测所述第二样本图像的第二样本分割图像;
基于所述第一样本分割图像和所述第一样本图像对应的参考分割图像、所述第二样本分割图像和所述第二样本图像对应的参考分割图像,确定本次训练过程的损失值;
当所述损失值大于预设损失值时,调整所述待训练的图像分割模型,并从所述样本图像集合中继续选取第一样本图像和第二样本图像输入至调整后的待训练的图像分割模型中,再次执行所述第二处理过程;
当所述损失值小于或等于所述预设损失值时,确定所述待训练的图像分割模型训练完成。
本实施例提供的装置,可以提取第一待分割图像和第二待分割图像的相关性参数,并利用相关性参数对第一待分割图像和第二待分割图像进行分割,在没有大量样本对图像分割模型进行训练的情况中,可以提高图像分割的准确率;相对于传统的图像分割方法,避免了人工提取图像特征的步骤,提高了图像分割的效率。
实施例三
基于同一技术构思,本申请实施例还提供了一种电子设备。参照图6所示,为本申请实施例提供的电子设备600的结构示意图,包括处理器601、存储器602、和总线603。其中,存储器602用于存储执行指令,包括内存6021和外部存储器6022;这里的内存6021也称内存储器,用于暂时存放处理器601中的运算数据,以及与硬盘等外部存储器6022交换的数据,处理器601通过内存6021与外部存储器6022进行数据交换,当电子设备600运行时,处理器601与存储器602之间通过总线603通信,使得处理器601在执行以下指令:
获取第一待分割图像和第二待分割图像;
将所述第一待分割图像和所述第二待分割图像输入至预先训练好的图像分割模型中,执行以下第一处理过程:
提取所述第一待分割图像的第一特征向量,以及,提取所述第二待分割图像的第二特征向量;
计算所述第一特征向量和所述第二特征向量之间的相关性参数;
基于所述相关性参数和所述第一特征向量,预测所述第一待分割图像的第一分割图像;以及,基于所述相关性参数和所述第二特征向量,预测所述第二待分割图像的第二分割图像。
一种可能的设计中,所述计算所述第一特征向量和所述第二特征向量之间的相关性参数,包括:
以所述第一特征向量为基准,计算所述第二特征向量与所述第一特征向量之间的第一相关性参数;以及,以所述第二特征向量为基准,确定所述第一特征向量与所述第二特征向量之间的第二相关性参数。
一种可能的设计中,所述基于所述相关性参数和所述第一特征向量,预测所述第一待分割图像的第一分割图像,包括:
基于所述第一相关性参数和所述第一特征向量,预测所述第一待分割图像的第一分割图像;
所述基于所述相关性参数和所述第二特征向量,预测所述第二待分割图像的第二分割图像,包括:
基于所述第二相关性参数和所述第二特征向量,预测所述第二待分割图像的第二分割图像。
一种可能的设计中,所述基于所述第一相关性参数和所述第一特征向量,预测所述第一待分割图像的第一分割图像,包括:
确定所述第一待分割图像中所述第一特征向量与所述第一相关性参数相匹配的第一类像素点、所述第一特征向量与所述第一相关性参数不匹配的第二类像素点;
将所述第一类像素点的像素值调整为第一数值,和/或,将所述第二类像素点的像素值调整为第二数值之后,得到所述第一分割图像;
所述基于所述第二相关性参数和所述第二特征向量,预测所述第二待分割图像的第二分割图像,包括:
确定所述第二待分割图像中所述第二特征向量与所述第二相关性参数相匹配的第三类像素点、以及所述第二特征向量与所述第二相关性参数不匹配的第四类像素点;
将所述第三类像素点的像素值调整为所述第一数值,和/或,将所述第四类像素点的像素值调整为所述第二数值之后,得到所述第二分割图像。
一种可能的设计中,根据以下方式训练得到图像分割模型:
获取样本图像集合,其中,所述样本图像集合中包括多个样本图像以及每个样本图像标注的参考分割图像;
从所述样本图像集合中选取第一样本图像和第二样本图像输入至待训练的图像分割模型中,执行以下第二处理过程,直至确定所述待训练的图像分割模型训练完成;其中,所述第二处理过程包括:
提取所述第一样本图像的第一样本特征向量,以及,提取所述第二样本图像的第二样本特征向量;
计算所述第一样本特征向量和所述第二样本特征向量之间的样本相关性参数;
基于所述样本相关性参数和所述第一样本特征向量,预测所述第一样本图像的第一样本分割图像;以及,基于所述样本相关性参数和所述第二样本特征向量,预测所述第二样本图像的第二样本分割图像;
基于所述第一样本分割图像和所述第一样本图像对应的参考分割图像、所述第二样本分割图像和所述第二样本图像对应的参考分割图像,确定本次训练过程的损失值;
当所述损失值大于预设损失值时,调整所述待训练的图像分割模型,并从所述样本图像集合中继续选取第一样本图像和第二样本图像输入至调整后的待训练的图像分割模型中,再次执行所述第二处理过程;
当所述损失值小于或等于所述预设损失值时,确定所述待训练的图像分割模型训练完成。
实施例四
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述任一实施例中所述的图像分割方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述图像分割方法的步骤,从而提高图像分割的准确率和效率。
本申请实施例所提供的进行图像分割方法的计算机程序产品,包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种图像分割方法,其特征在于,包括:
获取第一待分割图像和第二待分割图像;
将所述第一待分割图像和所述第二待分割图像输入至预先训练好的图像分割模型中,执行以下第一处理过程:
提取所述第一待分割图像的第一特征向量,以及,提取所述第二待分割图像的第二特征向量;
计算所述第一特征向量和所述第二特征向量之间的相关性参数;
基于所述相关性参数和所述第一特征向量,预测所述第一待分割图像的第一分割图像;以及,基于所述相关性参数和所述第二特征向量,预测所述第二待分割图像的第二分割图像。
2.根据权利要求1所述的方法,其特征在于,所述计算所述第一特征向量和所述第二特征向量之间的相关性参数,包括:
以所述第一特征向量为基准,计算所述第二特征向量与所述第一特征向量之间的第一相关性参数;以及,以所述第二特征向量为基准,确定所述第一特征向量与所述第二特征向量之间的第二相关性参数。
3.根据权利要求2所述的方法,其特征在于,所述基于所述相关性参数和所述第一特征向量,预测所述第一待分割图像的第一分割图像,包括:
基于所述第一相关性参数和所述第一特征向量,预测所述第一待分割图像的第一分割图像;
所述基于所述相关性参数和所述第二特征向量,预测所述第二待分割图像的第二分割图像,包括:
基于所述第二相关性参数和所述第二特征向量,预测所述第二待分割图像的第二分割图像。
4.根据权利要求3所述的方法,其特征在于,所述基于所述第一相关性参数和所述第一特征向量,预测所述第一待分割图像的第一分割图像,包括:
确定所述第一待分割图像中所述第一特征向量与所述第一相关性参数相匹配的第一类像素点、所述第一特征向量与所述第一相关性参数不匹配的第二类像素点;
将所述第一类像素点的像素值调整为第一数值,和/或,将所述第二类像素点的像素值调整为第二数值之后,得到所述第一分割图像;
所述基于所述第二相关性参数和所述第二特征向量,预测所述第二待分割图像的第二分割图像,包括:
确定所述第二待分割图像中所述第二特征向量与所述第二相关性参数相匹配的第三类像素点、以及所述第二特征向量与所述第二相关性参数不匹配的第四类像素点;
将所述第三类像素点的像素值调整为所述第一数值,和/或,将所述第四类像素点的像素值调整为所述第二数值之后,得到所述第二分割图像。
5.根据权利要求1所述的方法,其特征在于,根据以下方式训练得到图像分割模型:
获取样本图像集合,其中,所述样本图像集合中包括多个样本图像以及每个样本图像标注的参考分割图像;
从所述样本图像集合中选取第一样本图像和第二样本图像输入至待训练的图像分割模型中,执行以下第二处理过程,直至确定所述待训练的图像分割模型训练完成;其中,所述第二处理过程包括:
提取所述第一样本图像的第一样本特征向量,以及,提取所述第二样本图像的第二样本特征向量;
计算所述第一样本特征向量和所述第二样本特征向量之间的样本相关性参数;
基于所述样本相关性参数和所述第一样本特征向量,预测所述第一样本图像的第一样本分割图像;以及,基于所述样本相关性参数和所述第二样本特征向量,预测所述第二样本图像的第二样本分割图像;
基于所述第一样本分割图像和所述第一样本图像对应的参考分割图像、所述第二样本分割图像和所述第二样本图像对应的参考分割图像,确定本次训练过程的损失值;
当所述损失值大于预设损失值时,调整所述待训练的图像分割模型,并从所述样本图像集合中继续选取第一样本图像和第二样本图像输入至调整后的待训练的图像分割模型中,再次执行所述第二处理过程;
当所述损失值小于或等于所述预设损失值时,确定所述待训练的图像分割模型训练完成。
6.一种图像分割装置,其特征在于,包括:
获取单元,用于获取第一待分割图像和第二待分割图像;
分割模块,用于将所述第一待分割图像和所述第二待分割图像输入至预先训练好的图像分割模型中,执行第一处理过程,其中,所述分割模块包括:
提取单元,用于提取所述第一待分割图像的第一特征向量,以及,提取所述第二待分割图像的第二特征向量;
计算单元,用于计算所述第一特征向量和所述第二特征向量之间的相关性参数;
处理单元,用于基于所述相关性参数和所述第一特征向量,预测所述第一待分割图像的第一分割图像;以及,基于所述相关性参数和所述第二特征向量,预测所述第二待分割图像的第二分割图像。
7.根据权利要求6所述的装置,其特征在于,所述计算单元,在计算所述第一特征向量和所述第二特征向量之间的相关性参数时,具体用于:
以所述第一特征向量为基准,计算所述第二特征向量与所述第一特征向量之间的第一相关性参数;以及,以所述第二特征向量为基准,确定所述第一特征向量与所述第二特征向量之间的第二相关性参数。
8.根据权利要求7所述的装置,其特征在于,所述处理单元,在基于所述相关性参数和所述第一特征向量,预测所述第一待分割图像的第一分割图像时,具体用于:
基于所述第一相关性参数和所述第一特征向量,预测所述第一待分割图像的第一分割图像;
所述处理单元,在基于所述相关性参数和所述第二特征向量,预测所述第二待分割图像的第二分割图像时,具体用于:
基于所述第二相关性参数和所述第二特征向量,预测所述第二待分割图像的第二分割图像。
9.根据权利要求8所述的装置,其特征在于,所述处理单元,在基于所述第一相关性参数和所述第一特征向量,预测所述第一待分割图像的第一分割图像时,具体用于:
确定所述第一待分割图像中所述第一特征向量与所述第一相关性参数相匹配的第一类像素点、所述第一特征向量与所述第一相关性参数不匹配的第二类像素点;
将所述第一类像素点的像素值调整为第一数值,和/或,将所述第二类像素点的像素值调整为第二数值之后,得到所述第一分割图像;
所述处理单元,在基于所述第二相关性参数和所述第二特征向量,预测所述第二待分割图像的第二分割图像时,具体用于:
确定所述第二待分割图像中所述第二特征向量与所述第二相关性参数相匹配的第三类像素点、以及所述第二特征向量与所述第二相关性参数不匹配的第四类像素点;
将所述第三类像素点的像素值调整为所述第一数值,和/或,将所述第四类像素点的像素值调整为所述第二数值之后,得到所述第二分割图像。
10.根据权利要求6所述的装置,其特征在于,所述装置还包括:
训练模块,用于按照以下方式训练所述图像分割模型:
获取样本图像集合,其中,所述样本图像集合中包括多个样本图像以及每个样本图像标注的参考分割图像;
从所述样本图像集合中选取第一样本图像和第二样本图像输入至待训练的图像分割模型中,执行以下第二处理过程,直至确定所述待训练的图像分割模型训练完成;其中,所述第二处理过程包括:
提取所述第一样本图像的第一样本特征向量,以及,提取所述第二样本图像的第二样本特征向量;
计算所述第一样本特征向量和所述第二样本特征向量之间的样本相关性参数;
基于所述样本相关性参数和所述第一样本特征向量,预测所述第一样本图像的第一样本分割图像;以及,基于所述样本相关性参数和所述第二样本特征向量,预测所述第二样本图像的第二样本分割图像;
基于所述第一样本分割图像和所述第一样本图像对应的参考分割图像、所述第二样本分割图像和所述第二样本图像对应的参考分割图像,确定本次训练过程的损失值;
当所述损失值大于预设损失值时,调整所述待训练的图像分割模型,并从所述样本图像集合中继续选取第一样本图像和第二样本图像输入至调整后的待训练的图像分割模型中,再次执行所述第二处理过程;
当所述损失值小于或等于所述预设损失值时,确定所述待训练的图像分割模型训练完成。
11.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至5任一所述的图像分割方法的步骤。
12.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至5任一所述的图像分割方法的步骤。
CN201910020730.0A 2019-01-09 2019-01-09 一种图像分割方法及装置 Active CN109685805B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910020730.0A CN109685805B (zh) 2019-01-09 2019-01-09 一种图像分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910020730.0A CN109685805B (zh) 2019-01-09 2019-01-09 一种图像分割方法及装置

Publications (2)

Publication Number Publication Date
CN109685805A true CN109685805A (zh) 2019-04-26
CN109685805B CN109685805B (zh) 2021-01-26

Family

ID=66192855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910020730.0A Active CN109685805B (zh) 2019-01-09 2019-01-09 一种图像分割方法及装置

Country Status (1)

Country Link
CN (1) CN109685805B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189341A (zh) * 2019-06-05 2019-08-30 北京青燕祥云科技有限公司 一种图像分割模型训练的方法、图像分割的方法及装置
CN112288748A (zh) * 2019-07-25 2021-01-29 银河水滴科技(北京)有限公司 一种语义分割网络训练、图像语义分割方法及装置
CN113570606A (zh) * 2021-06-30 2021-10-29 北京百度网讯科技有限公司 目标分割的方法、装置及电子设备
JP2023535672A (ja) * 2021-06-30 2023-08-21 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド オブジェクトセグメンテーション方法、オブジェクトセグメンテーション装置及び電子機器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650630A (zh) * 2016-11-11 2017-05-10 纳恩博(北京)科技有限公司 一种目标跟踪方法及电子设备
US20170161455A1 (en) * 2015-12-03 2017-06-08 Heartflow, Inc. Systems and methods for associating medical images with a patient
CN109035297A (zh) * 2018-07-19 2018-12-18 深圳市唯特视科技有限公司 一种基于双重暹罗网络的实时追踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170161455A1 (en) * 2015-12-03 2017-06-08 Heartflow, Inc. Systems and methods for associating medical images with a patient
CN106650630A (zh) * 2016-11-11 2017-05-10 纳恩博(北京)科技有限公司 一种目标跟踪方法及电子设备
CN109035297A (zh) * 2018-07-19 2018-12-18 深圳市唯特视科技有限公司 一种基于双重暹罗网络的实时追踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QIANG WANG ET AL.: "Fast Online Object Tracking and Segmentation: A Unifying Approach", 《ARXIV》 *
高梦瑶: "基于语义和脊波反卷积网络的SAR图像分割", 《中国优秀硕士学位论文全文数据库》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189341A (zh) * 2019-06-05 2019-08-30 北京青燕祥云科技有限公司 一种图像分割模型训练的方法、图像分割的方法及装置
CN110189341B (zh) * 2019-06-05 2021-08-10 北京青燕祥云科技有限公司 一种图像分割模型训练的方法、图像分割的方法及装置
CN112288748A (zh) * 2019-07-25 2021-01-29 银河水滴科技(北京)有限公司 一种语义分割网络训练、图像语义分割方法及装置
CN112288748B (zh) * 2019-07-25 2024-03-01 银河水滴科技(北京)有限公司 一种语义分割网络训练、图像语义分割方法及装置
CN113570606A (zh) * 2021-06-30 2021-10-29 北京百度网讯科技有限公司 目标分割的方法、装置及电子设备
WO2023273173A1 (zh) * 2021-06-30 2023-01-05 北京百度网讯科技有限公司 目标分割的方法、装置及电子设备
JP2023535672A (ja) * 2021-06-30 2023-08-21 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド オブジェクトセグメンテーション方法、オブジェクトセグメンテーション装置及び電子機器
CN113570606B (zh) * 2021-06-30 2023-09-05 北京百度网讯科技有限公司 目标分割的方法、装置及电子设备
JP7372487B2 (ja) 2021-06-30 2023-10-31 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド オブジェクトセグメンテーション方法、オブジェクトセグメンテーション装置及び電子機器

Also Published As

Publication number Publication date
CN109685805B (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
EP3779774B1 (en) Training method for image semantic segmentation model and server
CN109685805A (zh) 一种图像分割方法及装置
CN109241903A (zh) 样本数据清洗方法、装置、计算机设备及存储介质
CN111858869B (zh) 一种数据匹配方法、装置、电子设备和存储介质
CN112052787A (zh) 基于人工智能的目标检测方法、装置及电子设备
CN108171260A (zh) 一种图片识别方法及系统
DE112016004534T5 (de) Nicht überwachtes Abgleichen in feinkörnigen Datensätzen zur Einzelansicht-Objektrekonstruktion
CN109272509A (zh) 一种连续图像的目标检测方法、装置、设备及存储介质
CN109934196A (zh) 人脸姿态参数评估方法、装置、电子设备及可读存储介质
CN111008693A (zh) 一种基于数据压缩的网络模型构建方法、系统和介质
CN109766925A (zh) 特征融合方法、装置、电子设备及存储介质
WO2016095068A1 (en) Pedestrian detection apparatus and method
CN113689436A (zh) 图像语义分割方法、装置、设备及存储介质
CN109165654B (zh) 一种目标定位模型的训练方法和目标定位方法及装置
CN106204597A (zh) 一种基于自步式弱监督学习的视频物体分割方法
CN113569852A (zh) 语义分割模型的训练方法、装置、电子设备及存储介质
CN115082752A (zh) 基于弱监督的目标检测模型训练方法、装置、设备及介质
CN117319223A (zh) 一种基于数字孪生技术的领导驾驶舱可视化方法及系统
CN106169961A (zh) 基于人工智能的神经网络的网络参数处理方法及装置
CN115730947A (zh) 银行客户流失预测方法及装置
CN114170484A (zh) 图片属性预测方法、装置、电子设备和存储介质
CN112308149A (zh) 基于机器学习的图像信息识别的优化方法及装置
CN110781223A (zh) 数据处理方法及装置、处理器、电子设备及存储介质
CN114820755B (zh) 一种深度图估计方法及系统
CN109543557A (zh) 视频帧的处理方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Room 18F-1802 (01), Building 11, the Taihu Lake Photon Science Park, No. 198, Jialingjiang Road, High tech Zone, Suzhou City, Jiangsu Province, 215000

Patentee after: Galaxy Water Drop Technology (Jiangsu) Co.,Ltd.

Country or region after: China

Address before: 0701, 7 / F, 51 Xueyuan Road, Haidian District, Beijing

Patentee before: Watrix Technology (Beijing) Co.,Ltd.

Country or region before: China

CP03 Change of name, title or address