CN112950647B - 图像分割方法、装置、设备及存储介质 - Google Patents
图像分割方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112950647B CN112950647B CN201911261568.8A CN201911261568A CN112950647B CN 112950647 B CN112950647 B CN 112950647B CN 201911261568 A CN201911261568 A CN 201911261568A CN 112950647 B CN112950647 B CN 112950647B
- Authority
- CN
- China
- Prior art keywords
- image
- segmentation
- segmented
- target
- calibration data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 195
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000011218 segmentation Effects 0.000 claims abstract description 200
- 238000011088 calibration curve Methods 0.000 claims description 47
- 238000004891 communication Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 abstract description 13
- 230000008569 process Effects 0.000 description 13
- 238000003062 neural network model Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000003321 amplification Effects 0.000 description 7
- 238000003199 nucleic acid amplification method Methods 0.000 description 7
- 238000011176 pooling Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像分割方法、装置、设备及存储介质,属于图像处理技术领域。所述方法包括:对包括待分割目标的图像进行预分割,得到第一分割图像;展示第一分割图像;获取对第一分割图像执行标定操作后产生的第一标定数据,第一标定数据包括待分割目标所在区域的标定数据和/或待分割目标周围的非目标区域的标定数据;将第一标定数据和第一分割图像输入至第一图像分割模型中进行分割,输出第二分割图像;展示第二分割图像,当基于第二分割图像接收到分割结束指令时,将第二分割图像确定为待分割目标的目标分割图像。如此,基于用户的标定对图像进行更高精度的分割,从而得到高精度的目标分割图像,解决了现有技术图像分割不准确的问题。
Description
技术领域
本申请涉及图像处理技术领域,特别涉及一种图像分割方法、装置、设备及存储介质。
背景技术
图像分割是指根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域,使得这些特征在同一区域内表现出一致性或相似性,而在不同区域间表现出明显的不同。简单的说就是把图像中的待分割目标从背景中分离出来。
目前,进行图像分割时,通常先从图像中提取感兴趣区域,感兴趣区域为包含待分割目标的区域,然后提取感兴趣区域的一种或多种特征,并根据提取的特征对感兴趣区域进行分类,将感兴趣区域分为显性类或隐性类,当该感兴趣区域为显性类时,将该感兴趣区域中的像素分为属于前景的像素和属于背景的像素,从而确定感兴趣区域的前景和背景,产生初始前景分布;当该感兴趣区域为隐性类时,以感兴趣区域的重心为中心,确定固定矩形区域为前景,从而产生初始前景分布,然后基于产生的初始前景分布,使用Level Set分割方法对感兴趣区域进行分割,得到待分割目标的分割图像。
但上述图像分割方法是一成不变的,不能适应实际应用中各种类型的图像分割任务,可能出现图像分割不准确的问题。
发明内容
本申请提供了一种图像分割方法、装置、设备及存储介质,可以解决相关技术的图像分割不准确的问题。所述技术方案如下:
一方面,提供了一种图像分割方法,所述方法包括:
对包括待分割目标的图像进行预分割,得到第一分割图像;
展示所述第一分割图像;
获取对所述第一分割图像执行标定操作后产生的第一标定数据,所述第一标定数据包括待分割目标所在区域的标定数据和/或所述待分割目标周围的非目标区域的标定数据;
将所述第一标定数据和所述第一分割图像输入至第一图像分割模型中进行分割,输出第二分割图像;
展示第二分割图像,当基于所述第二分割图像接收到分割结束指令时,将所述第二分割图像确定为所述待分割目标的目标分割图像。
在本申请一种可能的实现方式中,所述对包括待分割目标的图像进行预分割,得到第一分割图像,包括:
获取对所述图像执行标定操作后产生的第二标定数据,所述第二标定数据包括所述待分割目标所在区域的标定数据和/或非目标区域的标定数据;
将所述图像和所述第二标定数据输入至第二图像分割模型中进行分割,输出所述第一分割图像,其中,所述第二图像分割模型的分割精度低于所述第一图像分割模型的分割精度。
在本申请一种可能的实现方式中,所述方法还包括:
当未接收到所述分割结束指令时,继续获取对所述第二分割图像执行标定操作后产生的标定数据,将所获取的标定数据和所述第二分割图像输入至所述第一图像分割模型中继续进行分割,并展示分割得到的图像;
直到基于展示的图像接收到所述分割结束指令时,将当前展示的图像确定为所述待分割目标的目标分割图像。
在本申请一种可能的实现方式中,所述第一标定数据包括多个像素点的坐标信息,所述获取对所述第一分割图像执行标定操作后产生的第一标定数据之后,还包括:
存储所述第一标定数据;
相应地,所述将所述第二分割图像确定为所述待分割目标的目标分割图像之后,还包括:
根据所述第一分割图像和所述目标分割图像,确定所述目标分割图像中的每个像素点的损失值,得到多个损失值;
基于所述第一标定数据包括的多个像素点的坐标信息,从所述目标分割图像中确定对应的像素点;
对所述多个损失值中所确定的像素点的损失值放大指定阈值倍;
基于放大处理后的损失值和未放大处理的损失值,对所述第二图像分割模型进行更新。
在本申请一种可能的实现方式中,所述基于放大处理后的损失值和未放大处理的损失值,对所述第二图像分割模型进行更新之后,还包括:
将所述图像和所述第二标定数据输入至更新后的第二图像分割模型中,输出第三分割图像;
基于所述第三分割图像和所述目标分割图像,确定差异分割图像;
获取所述差异分割图像中每个像素点对应的坐标信息,得到第三标定数据;
将所述图像、所述第二标定数据和所述第三标定数据输入至所述第一图像分割模型中,对所述第一图像分割模型进行更新。
在本申请一种可能的实现方式中,
所述第一标定数据包括待分割目标所在区域内标定点的标定数据和/或所述待分割目标周围的非目标区域内标定点的标定数据;或者,
所述第一标定数据包括待分割目标所在区域内标定曲线的标定数据和/或所述待分割目标周围的非目标区域内标定曲线的标定数据;或者,
所述第二标定数据包括待分割目标所在区域内标定点的标定数据和/或所述待分割目标周围的非目标区域内标定点的标定数据;或者,
所述第二标定数据包括待分割目标所在区域内标定曲线的标定数据和/或所述待分割目标周围的非目标区域内标定曲线的标定数据。
另一方面,提供了一种图像分割装置,所述装置包括:
预分割模块,用于对包括待分割目标的图像进行预分割,得到第一分割图像;
第一展示模块,用于展示所述第一分割图像;
获取模块,用于获取对所述第一分割图像执行标定操作后产生的第一标定数据,所述第一标定数据包括待分割目标所在区域的标定数据和/或所述待分割目标周围的非目标区域的标定数据;
分割模块,用于将所述第一标定数据和所述第一分割图像输入至第一图像分割模型中进行分割,输出第二分割图像;
第二展示模块,用于展示第二分割图像,当基于所述第二分割图像接收到分割结束指令时,将所述第二分割图像确定为所述待分割目标的目标分割图像。
在本申请一种可能的实现方式中,所述预分割模块用于:
获取对所述图像执行标定操作后产生的第二标定数据,所述第二标定数据包括所述待分割目标所在区域的标定数据和/或非目标区域的标定数据;
将所述图像和所述第二标定数据输入至第二图像分割模型中进行分割,输出所述第一分割图像,其中,所述第二图像分割模型的分割精度低于所述第一图像分割模型的分割精度。
在本申请一种可能的实现方式中,所述第二展示模块还用于:
当未接收到所述分割结束指令时,继续获取对所述第二分割图像执行标定操作后产生的标定数据,将所获取的标定数据和所述第二分割图像输入至所述第一图像分割模型中继续进行分割,并展示分割得到的图像;
直到基于展示的图像接收到所述分割结束指令时,将当前展示的图像确定为所述待分割目标的目标分割图像。
在本申请一种可能的实现方式中,所述第一标定数据包括多个像素点的坐标信息,所述第二展示模块还用于:
存储所述第一标定数据;
根据所述第一分割图像和所述目标分割图像,确定所述目标分割图像中的每个像素点的损失值,得到多个损失值;
基于所述第一标定数据包括的多个像素点的坐标信息,从所述目标分割图像中确定对应的像素点;
对所述多个损失值中所确定的像素点的损失值放大指定阈值倍;
基于放大处理后的损失值和未放大处理的损失值,对所述第二图像分割模型进行更新。
在本申请一种可能的实现方式中,所述第二展示模块还用于:
将所述图像和所述第二标定数据输入至更新后的第二图像分割模型中,输出第三分割图像;
基于所述第三分割图像和所述目标分割图像,确定差异分割图像;
获取所述差异分割图像中每个像素点对应的坐标信息,得到第三标定数据;
将所述图像、所述第二标定数据和所述第三标定数据输入至所述第一图像分割模型中,对所述第一图像分割模型进行更新。
在本申请一种可能的实现方式中,
所述第一标定数据包括待分割目标所在区域内标定点的标定数据和/或所述待分割目标周围的非目标区域内标定点的标定数据;或者,
所述第一标定数据包括待分割目标所在区域内标定曲线的标定数据和/或所述待分割目标周围的非目标区域内标定曲线的标定数据;或者,
所述第二标定数据包括待分割目标所在区域内标定点的标定数据和/或所述待分割目标周围的非目标区域内标定点的标定数据;或者,
所述第二标定数据包括待分割目标所在区域内标定曲线的标定数据和/或所述待分割目标周围的非目标区域内标定曲线的标定数据。
另一方面,提供了一种设备,所述设备包括处理器、通信接口、存储器和通信总线,所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信,所述存储器用于存放计算机程序,所述处理器用于执行所述存储器上所存放的程序,以实现上述所述图像分割方法的步骤。
另一方面,提供了一种计算机可读存储介质,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述所述图像分割方法的步骤。
另一方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述所述的图像分割方法的步骤。
本申请提供的技术方案至少可以带来以下有益效果:
对包括待分割目标的图像进行预分割,得到第一分割图像,并进行展示。由于第一分割图像只能大致描述待分割目标的轮廓,为了使得分割出来的目标分割图像更精确,可以获取对第一分割图像执行标定操作后产生的第一标定数据,该第一标定数据包括待分割目标所在区域的标定数据和/或待分割目标周围的非目标区域的标定数据,将第一标定数据和第一分割图像输入至第一图像分割模型中进行分割,输出第二分割图像。展示第二分割图像,当基于第二分割图像接收到分割结束指令时,说明得到的第二分割图像的精确度已经达到要求,可以将第二分割图像确定为待分割目标的目标分割图像。如此,在图像分割过程中,允许用户对分割后得到的图像中分割不准确的区域进行再次标定,并基于用户的标定进行更高精度的分割,从而得到高精度的目标分割图像,解决了现有技术图像分割不准确的问题,提高了图像分割的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种图像分割方法的流程图;
图2是根据一示例性实施例示出的一种绘制标定点的示意图;
图3是根据一示例性实施例示出的一种绘制标定曲线的示意图;
图4是根据一示例性实施例示出的一种进行迭代分割的示意图;
图5是根据一示例性实施例示出的一种更新第一图像分割模型的示意图;
图6是根据另一示例性实施例示出的一种图像分割方法的流程图;
图7是根据另一示例性实施例示出的一种图像分割方法的示意图;
图8是根据一示例性实施例示出的一种图像分割装置的结构示意图;
图9是根据一示例性实施例示出的一种设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例提供的图像分割方法进行详细的解释说明之前,先对本申请实施例提供的实施环境进行介绍。本申请实施例提供的图像分割方法可以由设备来执行,该设备可以具有交互功能,用户可以通过该设备进行图像标定,该设备还可以通过图像分割模型进行图像分割以及对图像分割模型进行更新。
作为一种示例,该设备可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品,例如PC(PersonalComputer,个人计算机)、手机、智能手机、PDA(PersonalDigital Assistant,个人数字助手)、可穿戴设备、掌上电脑PPC(Pocket PC)、平板电脑、智能车机、智能电视、智能音箱等,本申请对此不做限定。
作为另一种示例,该设备还可以为服务器,该服务器可以为一台服务器,也可以为多台服务器组成的服务器集群,或者是一个云计算服务中心,本申请对此不做限定。该服务器可以连接有显示屏,以便于用户可以通过该显示屏与该服务器进行人机交互,譬如,该服务器可以通过该显示屏显示图像,用户可以对所显示的图像进行标定,进一步地,服务器可以获取标定数据,并基于标定数据执行图像分割等操作。
示例性地,若该服务器为两台服务器,其中一台服务器可以用来通过图像分割模型进行图像分割;另一台服务器可以用来对图像分割模型进行更新。也就是说,通过图像分割模型进行图像分割和对图像分割模型进行更新可以在同一台服务器上执行,也可以在不同的服务器上执行,本申请对此不做限定。
本领域技术人员应能理解上述设备仅为举例,其他现有的或今后可能出现的设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
接下来对本申请实施例提供的图像分割方法进行详细的解释说明。
图1是根据一示例性实施例示出的一种图像分割方法的流程图,该方法应用于上述实施环境中。请参考图1,该方法可以包括如下步骤:
步骤101:对包括待分割目标的图像进行预分割,得到第一分割图像。
也就是说,可以先对包括待分割目标的图像进行预分割,得到可以大致描绘出待分割目标的轮廓的第一分割图像。
在一些实施例中,对包括待分割目标的图像进行预分割,得到第一分割图像的具体实现可以包括如下两个步骤:
(1)获取对图像执行标定操作后产生的第二标定数据,该第二标定数据包括待分割目标所在区域的标定数据和/或待分割目标周围的非目标区域的标定数据。
其中,待分割目标所在区域的标定数据用来大致描述待分割目标在图像中的区域,待分割目标在图像中的区域在图像分割时需要保留,非目标区域的标定数据用来大致描述图像中除了待分割目标所在区域以外的区域,除了待分割目标所在区域以外的区域在图像分割时不需要保留。
第二标定数据可以只包括待分割目标所在区域的标定数据;或者,第二标定数据可以只包括待分割目标周围的非目标区域的标定数据;或者,第二标定数据可以包括待分割目标所在区域的标定数据和待分割目标周围的非目标区域的标定数据。
也就是说,用户对图像执行标定操作时,可以包括如下三种实现方式:1、仅标定待分割目标所在区域;2、仅标定待分割目标周围的非目标区域;3、标定待分割目标所在区域和待分割目标周围的非目标区域。
作为一种示例,第二标定数据可以包括待分割目标所在区域内标定点的标定数据和/或待分割目标周围的非目标区域内标定点的标定数据;或者,第二标定数据可以包括待分割目标所在区域内标定曲线的标定数据和/或待分割目标周围的非目标区域内标定曲线的标定数据。
作为另一种示例,第二标定数据可以包括待分割目标所在区域内标定点的标定数据和/或待分割目标周围的非目标区域内标定曲线的标定数据;或者,第二标定数据可以包括待分割目标所在区域内标定曲线的标定数据和/或待分割目标周围的非目标区域内标定点的标定数据。
也就是说,第二标定数据可以只包括待分割目标所在区域内标定点或标定曲线的标定数据;或者,第二标定数据可以只包括待分割目标周围的非目标区域内标定点或标定曲线的标定数据;或者,第二标定数据可以包括待分割目标所在区域内标定点或标定曲线的标定数据,以及待分割目标周围的非目标区域内标定点或标定曲线的标定数据。
需要说明的是,可以通过不同的标识来区分待分割目标所在区域的标定点和待分割目标周围的非目标区域的标定点,以及区分待分割目标所在区域的标定曲线和待分割目标周围的非目标区域的标定曲线。
在一种可能的实现方式中,设备可以展示一个图像标定界面,该图像标定界面包括图像展示框和多个标定工具,图像展示框用来展示图像,多个标定工具用来对图像进行标定。用户可以根据待分割目标的实际轮廓对图像进行大致标定,比如包括对待分割目标所在区域和待分割目标周围的非目标区域进行大致标定。当检测到对任一标定工具的选中操作及对图像中任一区域的标定操作时,获取标定操作对应的标定数据,得到第二标定数据。进一步地,设备可以基于选中的标定工具,在该图像中该标定数据对应的位置处进行标定。
示例性地,参见图2,当检测到对小圆点的选中操作及对待分割目标所在区域内某区域的标定操作时,可以将小圆点标定在待分割目标所在区域内某区域处,将小圆点所在位置处的坐标信息作为待分割目标所在区域的标定点的标定数据;当检测到对大圆点的选中操作及对待分割目标周围的非目标区域内某区域的标定操作时,可以将大圆点标定在待分割目标周围的非目标区域内的某区域处,将大圆点所在位置处的坐标信息作为待分割目标周围的非目标区域的标定点的标定数据。
或者,参见图3,当检测到对细曲线的选中操作及对待分割目标所在区域内某区域的标定操作时,可以将细曲线标定在待分割目标所在区域内某区域处,将细曲线所在位置处的坐标信息作为待分割目标所在区域的标定曲线的标定数据;当检测到对粗曲线的选中操作及对待分割目标周围的非目标区域内某区域的标定操作时,可以将粗曲线标定在待分割目标周围的非目标区域内的某区域处,将粗曲线所在位置处的坐标信息作为待分割目标周围的非目标区域的标定曲线的标定数据。
上述区分方法只是一种示例,在实际实现中,还可以使用不同的颜色对待分割目标所在区域的标定点和待分割目标周围的非目标区域的标定点进行区分,以及对待分割目标所在区域的标定曲线和待分割目标周围的非目标区域的标定曲线进行区分,还可以使用实线和虚线对待分割目标所在区域的标定曲线和待分割目标周围的非目标区域的标定曲线进行区分等。也即是,可以通过任何不同的标识对待分割目标所在区域的标定数据和待分割目标周围的非目标区域的标定数据进行区分,本申请实施例对此不做限定。
需要说明的是,在实际实现中,待分割目标所在区域的标定点和待分割目标所在区域的标定曲线的数量不进行限制,但待分割目标所在区域的标定点需要大致覆盖整个待分割目标所在的区域,待分割目标所在区域的标定曲线也需要大致覆盖整个待分割目标所在的区域;同理,待分割目标周围的非目标区域的标定点和待分割目标周围的非目标区域的标定曲线的数量也不进行限制,但待分割目标周围的非目标区域的标定点需要大致覆盖整个待分割目标周围的非目标区域,待分割目标周围的非目标区域的标定曲线也需要大致覆盖整个待分割目标周围的非目标区域。
作为一种示例,标定点的标定数据可以为标定点在图像中的坐标信息,标定曲线的标定数据可以为标定曲线在图像中的坐标信息。
(2)将图像和第二标定数据输入至第二图像分割模型中进行分割,输出第一分割图像。
其中,第二图像分割模型用来基于任一图像和该任一图像的标定数据,确定对该任一图像进行图像分割后的图像。也就是说,将任一图像和对该任一图像的标定数据输入至第二图像分割模型中,该第二图像分割模型可以输出第一分割图像。
其中,该第二图像分割模型是通过深度学习训练得到的。也就是说,在将包括待分割目标的图像和第二标定数据输入至第二图像分割模型中,确定待分割目标的第一分割图像之前,需要对待训练的神经网络模型进行训练,得到第二图像分割模型。示例性地,该待训练的神经网络模型可以为卷积神经网络,进一步地,该待训练的神经网络模型可以为VGGNet(VGG神经网络)、ResNet(残差神经网络)等,本申请实施例对此不做限定。
在一些实施例中,对待训练的神经网络模型进行训练,可以获取多个样本图像、多个样本分割图像和多个样本标定数据,多个样本标定数据可以通过人工标定的方式得到,且多个样本标定数据可以包括待分割目标所在区域的样本标定数据和/或待分割目标周围的非目标区域的样本标定数据,可以通过不同的标识对待分割目标所在区域的样本标定数据和待分割目标周围的非目标所在区域的样本标定数据进行区分,将该多个样本图像、多个样本分割图像和多个样本标定数据输入至待训练的神经网络模型中进行训练,可以得到第二图像分割网络模型。
作为一种示例,获取多个样本图像、多个样本分割图像和多个样本标定数据后,可以将一个样本图像、一个与该样本图像对应的样本分割图像和一个与该样本图像对应的样本标定数据确定为一组训练数据,如此可以确定多组训练数据,将多组训练数据输入至待训练的神经网络模型中,该待训练的神经网络模型可以基于初始模型参数输出分割图像,将分割图像和对应的样本分割图像进行对比,当输出的分割图像与样本分割图像不同时,可以调整模型参数,继续进行训练,直到分割图像与样本分割图像的相似度大于相似度阈值,可以确定该待训练的神经网络模型已经训练结束,将此时的待训练的神经网络模型确定为第二图像分割模型,将此时的模型参数确定为第二图像分割模型的模型参数。
作为一种示例,该第二图像分割模型可以包括输入层、卷积层、池化层、全连接层和输出层,将包括待分割目标的图像和第二标定数据输入至该第二图像分割模型后,该第二图像分割模型依次通过该输入层、卷积层、池化层、全连接层和输出层对该包括待分割目标的图像进行处理,可以输出待分割目标的第一分割图像。
需要说明的是,上述仅是以该第二图像分割模型包括输入层、卷积层、池化层、全连接层和输出层为例进行说明,在另一些实施例中,该第二图像分割模型还可以包括其他网络层,例如,还可以包括循环神经网络隐含层等,本申请实施例对此不做限定。
步骤102:展示第一分割图像。
作为一种示例,得到第一分割图像后,可以对第一分割图像进行展示。示例性地,设备可以展示一个图像标定界面,该图像标定界面包括图像展示框和多个标定工具,图像展示框用来展示图像,多个标定工具用来对图像进行标定。用户可以根据待分割目标的实际轮廓对第一分割图像进行进一步标定,以便能够得到更精准的目标分割图像。
步骤103:获取对第一分割图像执行标定操作后产生的第一标定数据,该第一标定数据包括待分割目标所在区域的标定数据和/或待分割目标周围的非目标区域的标定数据。
第一标定数据可以只包括待分割目标所在区域的标定数据;或者,第二标定数据可以只包括待分割目标周围的非目标区域的标定数据;或者,第二标定数据可以包括待分割目标所在区域的标定数据和待分割目标周围的非目标区域的标定数据。
作为一种示例,第一标定数据包括待分割目标所在区域内标定点的标定数据和/或待分割目标周围的非目标区域内标定点的标定数据;或者,第二标定数据包括待分割目标所在区域内标定曲线的标定数据和/或待分割目标周围的非目标区域内标定曲线的标定数据。
作为另一种示例,第一标定数据可以包括待分割目标所在区域内标定点的标定数据和/或待分割目标周围的非目标区域内标定曲线的标定数据;或者,第一标定数据可以包括待分割目标所在区域内标定曲线的标定数据和/或待分割目标周围的非目标区域内标定点的标定数据。
也就是说,第一标定数据可以只包括待分割目标所在区域内标定点或标定曲线的标定数据;或者,第一标定数据可以只包括待分割目标周围的非目标区域内标定点或标定曲线的标定数据;或者,第一标定数据可以包括待分割目标所在区域内标定点或标定曲线的标定数据,以及待分割目标周围的非目标区域内标定点或标定曲线的标定数据。
由于第二标定数据只是确定待分割目标所在的区域和待分割目标周围的非目标区域的大体位置,没有对待分割目标的轮廓进行特别精细地标定,因此,得到的第一分割图像可能缺少待分割目标的某一部分,或者,第一分割图像可能包括待分割目标周围的非目标区域的某一部分。
作为一种示例,展示第一分割图像后,用户可以对该第一分割图像进行进一步标定。示例性地,设备可以展示一个图像标定界面,该图像标定界面包括图像展示框和多个标定工具,图像展示框用来展示第一分割图像,多个标定工具用来对第一分割图像进行标定。在图像标定界面展示第一分割图像后,用户可能发现该第一分割图像缺少了待分割目标的一部分,可以选择小圆点标定工具,同时设备检测到对小圆点标定工具的选中操作,用户在第一分割图像缺少的部分进行标定,设备检测到对待分割目标所在区域的一部分的标定操作,获取该部分的坐标信息,得到第一标定数据,进一步可以将小圆点标定在该坐标信息指示的区域处;或者,用户可能发现该待迭代图像包括非目标区域的一部分,可以选择粗曲线标定工具,同时设备检测到对粗曲线标定工具的选中操作,用户在第一分割图像多包括的一部分进行标定,设备检测到对非目标区域的一部分的标定操作,获取该部分的坐标信息,得到第一标定数据,进一步可以将粗曲线标定在该坐标信息指示的位置处。
步骤104:将第一标定数据和第一分割图像输入至第一图像分割模型中进行分割,输出第二分割图像。
其中,第一图像分割模型用来基于任一图像和该任一图像的标定数据,确定对该任一图像进行图像分割后的图像。也就是说,将任一图像和对该任一图像的标定数据输入至第一图像分割模型中,该第一图像分割模型可以输出第二分割图像。
在一些实施例中,该第一图像分割模型可以通过对第二图像分割模型进行模型训练得到,且第一图像分割模型的精度高于第二图像分割模型的精度。
作为一种示例,参见步骤201,可以将获取的多个样本图像和多个样本标定数据输入第二图像分割模型中,第二图像分割模型可以输出分割图像,将输出的分割图像与样本分割图像进行对比,可以确定输出的分割图像中还需要标定的位置,将需要标定的位置的坐标信息确定为中间标定数据,将中间标定数据添加至样本标定数据中,得到样本精标定数据,将多个样本图像、多个样本精标定数据和多个样本分割图像输入至第二图像分割模型中,对该第二图像分割模型进行训练,得到第一图像分割模型。
其中,通过多个样本图像、多个样本精标定数据和多个样本分割图像对第二图像分割模型进行训练的过程与步骤201中对待训练的神经网络模型进行训练的过程相同,具体可参见步骤201中相关描述。
进一步地,得到第一图像分割模型后,可以将第一标定数据和第一分割图像输入至第一图像分割模型中,第一图像分割模型可以包括输入层、卷积层、池化层、全连接层和输出层,将第一分割图像和第一标定数据输入至该第一图像分割模型后,该第一图像分割模型依次通过该输入层、卷积层、池化层、全连接层和输出层对该第一分割图像进行处理,可以输出第二分割图像。
需要说明的是,上述仅是以该第一图像分割模型包括输入层、卷积层、池化层、全连接层和输出层为例进行说明,在另一些实施例中,该第一图像分割模型还可以包括其他网络层,例如,还可以包括循环神经网络隐含层等,本申请实施例对此不做限定。
进一步地,还可以通过图模型或GrabCut算法等方法对第一分割图像进行精修,进而得到更高精度的待分割目标的目标分割图像。
步骤105:展示第二分割图像,当基于第二分割图像接收到分割结束指令时,将第二分割图像确定为待分割目标的目标分割图像。
作为一种示例,得到第二分割图像后,可以对第二分割图像进行展示,当基于第二分割图像接收到分割结束指令时,可以确定该第二分割图像已经满足要求,不需要对该第二分割图像再进行图像分割,且可以将第二分割图像确定为待分割目标的目标分割图像。
示例性地,设备可以展示一个图像标定界面,该图像标定界面包括图像展示框、多个标定工具和图像分割结束选项,图像展示框用来展示第二分割图像,多个标定工具用来对第二分割图像进行标定,图像分割结束选项用来结束分割。展示第二分割图像后,当用户确定该第二分割图像已经完全包括待分割目标所在的区域且没有包括待分割目标周围的非目标区域,可以认为该第二分割图像已经为高精度的分割图像,触发图像分割结束选项,相应地设备接收到分割结束指令,然后确定已完成对第二分割图像的分割,将当前展示的图像确定为待分割目标的分割图像。
进一步地,当未接收到分割结束指令时,继续获取对第二分割图像执行标定操作后产生的标定数据,将所获取的标定数据和第二分割图像输入至第一图像分割模型中继续进行分割,并展示分割得到的图像,直到基于展示的图像接收到分割结束指令时,将当前展示的图像确定为待分割目标的目标分割图像
也就是说,当用户确定该第二分割图像仍然包括非目标区域或未包括待分割目标所在区域时,需要继续对第二分割图像执行标定操作,获取产生的标定数据,将所获取的标定数据和第二分割图像输入至第一图像分割模型中进行分割,并返回展示第二分割图像的步骤,直到基于展示的图像接收到分割结束指令,确定该展示的图像已经满足要求,将当前展示的图像确定为待分割目标的目标分割图像。
如此,通过对第二分割图像进行不断的迭代分割,可以得到高精度的待分割目标的目标分割图像。
示例性地,参见图4,图4是对第二分割图像进行两次迭代分割后得到目标分割图像的过程。具体地,在得到第二分割图像后,展示第二分割图像,检测到在第二分割图像的非目标区域绘制标定点的操作,说明第二分割图像中包括非目标区域的部分,需要将该部分删除,获取该标定点的标定数据,将该标定点的标定数据和第二分割图像输入第一图像分割模型中,输出分割后的图像,展示分割后的图像后,检测到在分割后的图像的目标所在区域绘制标定点的操作,说明该分割后的图像中缺少目标所在区域的部分,需要将该部分添加在待迭代图像中,获取该标定点的标定数据,将该标定点的标定数据和分割后的图像输入第一图像分割模型中,输出分割后的图像,展示该分割后的图像,当基于该展示的图像接收到分割结束指令时,将当前展示的图像确定为待分割目标的目标分割图像。
进一步地,图4仅是以在展示的图像上标定一个标定点为例进行说明。在另一些实施例中,每次分割前可以在展示的图像多处需要修订的部分进行标定,即每次分割前在展示的图像中标定多个标定点或标定曲线,将标定后的图像输入第一图像分割模型中,以得到分割后的图像,再判断分割后的图像是否需要继续进行分割。
进一步地,在进行图像分割的时候,可能有多张包括待分割目标的图像,需要对多张图像进行标定和图像分割,可以在对图像进行标定操作和图像分割,得到待分割目标的分割图像后,存储分割图像,然后判断是否有其他图像需要标定,即标定是否结束,若否,继续对其他图像进行标定,并执行上述步骤,若是,结束图像分割。
需要说明的是,通过上述步骤已经可以实现本申请的图像分割方法。接下来,为了使第一图像分割模型和第二图像分割模型更加精确,可以对这两个模型进行更新。
步骤106:对第二图像分割模型进行更新。
由于对第二图像分割模型进行更新时需要使用到第一标定数据,用于引导第二图像分割模型对图像中难学习的区域进行深度学习。因此,可以存储获取的第一标定数据,该第一标定数据可以包括多个像素点的坐标信息。示例性地,一个图像可以对应存储一个文本,该文本可以用于存储该图像进行图像分割时获取的第一标定数据。
在一些实施例中,对第二图像分割模型进行更新时,可以包括:根据第一分割图像和目标分割图像,确定目标分割图像中的每个像素点的损失值,得到多个损失值。基于第一标定数据包括的多个像素点的坐标信息,从目标分割图像中确定对应的像素点。对多个损失值中所确定的像素点的损失值放大指定阈值倍,基于放大处理后的损失值和未放大处理的损失值,对第二图像分割模型进行更新。
其中,指定阈值可以由用户根据实际需要进行设置,也可以由设备默认设置,并且可以根据实际情况进行修改,本申请实施例对此不做限定。
作为一种示例,可以将包括待分割目标的图像和第二标定数据输入第二图像分割模型,输出第一分割图像,将第一分割图像和目标分割图像进行对比,可以确定目标分割图像中的每个像素点的损失值。
作为一种示例,确定目标分割图像中每个像素点的损失值后,可以根据第一标定数据包括的多个像素点的坐标信息,从目标分割图像中确定对应的多个像素点,进而将对应的多个像素点的损失值放大指定阈值倍,以便在模型训练中可以加强对这些像素点的训练。然后基于放大后的损失值和未放大处理的损失值,对第二图像分割模型进行更新。
如此,通过第一标定数据对第二图像分割模型进行更新,可以将强第二图像分割模型对难学习区域的训练,使得第二图像分割模型可以越来越健壮,能适应多种类型的图像分割任务。
需要说明的是,在对第二图像分割模型进行更新的过程中,可以使用Adam(Adaptive Moment Estimation,自适应矩估计),Adagrad(适应性梯度算法)等自适应优化算法对第二图像分割模型的学习率进行自适应调整,以使得第二图像分割模型在保证准确率的同时加快收敛速度。
步骤107:对第一图像分割模型进行更新。
在一些实施例中,对第一图像分割模型进行更新可以包括:将图像和第二标定数据输入至更新后的第二图像分割模型中,输出第三分割图像。基于第三分割图像和目标分割图像,确定差异分割图像,获取差异分割图像中每个像素点对应的坐标信息,得到第三标定数据。将图像、第二标定数据和第三标定数据输入至第一图像分割模型中,对第一图像分割模型进行更新。
也就是说,先将图像和第二标定数据输入至更新后的第二图像分割模型中,得到第三分割图像,根据第三分割图像和目标分割图像确定还需要分割的区域,将还需要分割的区域的像素点对应的坐标信息确定为第三标定数据,然后根据第二标定数据、第三标定数据和图像对第一分割图像模型进行更新。
作为一种示例,对第二图像分割模型进行更新后,可以将图像和第二标定数据输入,输出第三分割图像,该第三分割图像可能比第一分割图像精确,但仍然可能不满足要求。因此,需要确定该第三分割图像和目标分割图像的差距。
作为一种示例,可以将第三分割图像的每个像素点的信息与目标分割图像中对应的每个像素点的信息进行对比,确定像素点的信息不同的像素点,将确定的这些像素点组成的图像称为差异分割图像。然后可以获取差异分割图像中每个像素点对应的坐标信息,将多个像素点对应的坐标信息确定为第三标定数据。
作为一种示例,将图像、第二标定数据和第三标定数据输入第一图像分割模型中,第一图像分割模型输出模型分割图像,将该模型分割图像与目标分割图像进行对比,确定差异值,根据差异值对第一图像分割模型的模型参数进行调整,进而实现对第一图像分割模型的更新。
也就是说,参见图5,可以基于图像、第二标定数据和第三标定数据对第一图像分割模型进行更新,当第一分割模型输出的模型分割图像与目标分割图像的差异值小于差异阈值时,可以确定该第一图像分割模型的精度已经达到要求,进而可以确定更新结束,否则,继续对第一图像分割模型进行更新。
其中,差异阈值可以由用户根据实际需要进行设置,也可以由设备默认设置,并且可以根据实际情况进行修改,本申请实施例对此不做限定。
示例性地,可以获取多个图像,多个第二标定数据和多个第三标定数据,将一个图像、一个与该图像对应的第一标定数据和一个与该图像对应的第三标定数据确定为一组更新数据,进而确定多组更新数据,将该多组更新数据输入第一图像分割模型中,该第一图像分割模型可以根据模型参数输出模型分割图像,将模型分割图像和目标分割图像进行对比,当目标分割图像与模型分割图像不同时,可以对第一图像分割模型的模型参数进行调整,然后继续将更新数据输入至第一图像分割模型中,直到第一图像分割模型输出的模型分割图像与目标分割图像的相似度大于相似度阈值,可以确定该第一图像分割模型已经更新结束,将此时的模型参数确定为第一图像分割模型的更新模型参数,将此时的第一图像分割模型确定为更新的第一图像分割模型。
其中,相似度阈值可以由用户根据实际需要进行设置,也可以由设备默认设置,本申请实施例对此不做限定。
在另一种实现方式中,参见图6,若在不同的服务器上执行图像分割以及第一图像分割模型更新和第二图像分割模型更新的步骤,可以将更新的第一图像分割模型和第二图像分割模型发送至执行图像分割的服务器上。
在本申请实施例中,对包括待分割目标的图像进行预分割,得到第一分割图像,并进行展示。由于第一分割图像只能大致描述待分割目标的轮廓,为了使得分割出来的目标分割图像更精确,可以获取对第一分割图像执行标定操作后产生的第一标定数据,该第一标定数据包括待分割目标所在区域的标定数据和/或待分割目标周围的非目标区域的标定数据,将第一标定数据和第一分割图像输入至第一图像分割模型中进行分割,输出第二分割图像。展示第二分割图像,当基于第二分割图像接收到分割结束指令时,说明得到的第二分割图像的精确度已经达到要求,可以将第二分割图像确定为待分割目标的目标分割图像。如此,在图像分割过程中,允许用户对分割后得到的图像中分割不准确的区域进行再次标定,并基于用户的标定进行更高精度的分割,从而得到高精度的目标分割图像,解决了现有技术图像分割不准确的问题,提高了图像分割的准确性。
为了便于理解,下面结合图7来对本申请实施例提供的图像分割的方法进行举例说明,具体可以包括:
对图像进行标定操作,得到第二标定数据,将图像和第二标定数据输入第二图像分割模型中,输出第一分割图像,对第一分割图像进行标定操作,得到第一标定数据,将第一标定数据和第一分割图像输入第一图像分割模型中,得到第二分割图像,对第二分割图像进行展示,判断展示的图像是否满足要求,即是否要结束迭代分割。若否,继续进行迭代分割,若是,将当前展示的图像确定为待分割目标的目标分割图像。然后继续判断是否已经将所有的图像全部标定完成,若是,结束操作,若否,返回对图像进行标定的操作。
图8是根据一示例性实施例示出的一种图像分割装置的结构示意图,该图像分割装置可以由软件、硬件或者两者的结合实现成为设备的部分或者全部。请参考图8,该装置包括:预分割模块801、第一展示模块802、获取模块803、分割模块804和第二展示模块805。
预分割模块801,用于对包括待分割目标的图像进行预分割,得到第一分割图像;
第一展示模块802,用于展示第一分割图像;
获取模块803,用于获取对第一分割图像执行标定操作后产生的第一标定数据,第一标定数据包括待分割目标所在区域的标定数据和/或待分割目标周围的非目标区域的标定数据;
分割模块804,用于将第一标定数据和第一分割图像输入至第一图像分割模型中进行分割,输出第二分割图像;
第二展示模块805,用于展示第二分割图像,当基于第二分割图像接收到分割结束指令时,将第二分割图像确定为待分割目标的目标分割图像。
在本申请一种可能的实现方式中,预分割模块801用于:
获取对图像执行标定操作后产生的第二标定数据,第二标定数据包括待分割目标所在区域的标定数据和/或非目标区域的标定数据;
将图像和第二标定数据输入至第二图像分割模型中进行分割,输出第一分割图像,其中,第二图像分割模型的分割精度低于第一图像分割模型的分割精度。
在本申请一种可能的实现方式中,第二展示模块805还用于:
当未接收到分割结束指令时,继续获取对第二分割图像执行标定操作后产生的标定数据,将所获取的标定数据和第二分割图像输入至第一图像分割模型中继续进行分割,并展示分割得到的图像;
直到基于展示的图像接收到分割结束指令时,将当前展示的图像确定为待分割目标的目标分割图像。
在本申请一种可能的实现方式中,第一标定数据包括多个像素点的坐标信息,第二展示模块805还用于:
存储第一标定数据;
根据第一分割图像和目标分割图像,确定目标分割图像中的每个像素点的损失值,得到多个损失值;
基于第一标定数据包括的多个像素点的坐标信息,从目标分割图像中确定对应的像素点;
对多个损失值中所确定的像素点的损失值放大指定阈值倍;
基于放大处理后的损失值和未放大处理的损失值,对第二图像分割模型进行更新。
在本申请一种可能的实现方式中,第二展示模块805还用于:
将图像和第二标定数据输入至更新后的第二图像分割模型中,输出第三分割图像;
基于第三分割图像和目标分割图像,确定差异分割图像;
获取差异分割图像中每个像素点对应的坐标信息,得到第三标定数据;
将图像、第二标定数据和第三标定数据输入至第一图像分割模型中,对第一图像分割模型进行更新。
在本申请一种可能的实现方式中,
第一标定数据包括待分割目标所在区域内标定点的标定数据和/或待分割目标周围的非目标区域内标定点的标定数据;或者,
第一标定数据包括待分割目标所在区域内标定曲线的标定数据和/或待分割目标周围的非目标区域内标定曲线的标定数据;或者,
第二标定数据包括待分割目标所在区域内标定点的标定数据和/或待分割目标周围的非目标区域内标定点的标定数据;或者,
第二标定数据包括待分割目标所在区域内标定曲线的标定数据和/或非目标区域内标定曲线的标定数据。
在本申请实施例中,对包括待分割目标的图像进行预分割,得到第一分割图像,并进行展示。由于第一分割图像只能大致描述待分割目标的轮廓,为了使得分割出来的目标分割图像更精确,可以获取对第一分割图像执行标定操作后产生的第一标定数据,该第一标定数据包括待分割目标所在区域的标定数据和/或待分割目标周围的非目标区域的标定数据,将第一标定数据和第一分割图像输入至第一图像分割模型中进行分割,输出第二分割图像。展示第二分割图像,当基于第二分割图像接收到分割结束指令时,说明得到的第二分割图像的精确度已经达到要求,可以将第二分割图像确定为待分割目标的目标分割图像。如此,在图像分割过程中,允许用户对分割后得到的图像中分割不准确的区域进行再次标定,并基于用户的标定进行更高精度的分割,从而得到高精度的目标分割图像,解决了现有技术图像分割不准确的问题,提高了图像分割的准确性。
需要说明的是:上述实施例提供的图像分割装置在分割图像时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的图像分割装置与图像分割方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图9是根据一示例性实施例示出的一种设备的结构示意图。设备900包括中央处理单元(CPU)901、包括随机存取存储器(RAM)902和只读存储器(ROM)903的系统存储器904,以及连接系统存储器904和中央处理单元901的系统总线905。设备900还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)906,和用于存储操作系统913、应用程序914和其他程序模块915的大容量存储设备907。
基本输入/输出系统906包括有用于显示信息的显示器908和用于用户输入信息的诸如鼠标、键盘之类的输入设备909。其中显示器908和输入设备909都通过连接到系统总线905的输入输出控制器910连接到中央处理单元901。基本输入/输出系统906还可以包括输入输出控制器910以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器910还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备907通过连接到系统总线905的大容量存储控制器(未示出)连接到中央处理单元901。大容量存储设备907及其相关联的计算机可读介质为设备900提供非易失性存储。也就是说,大容量存储设备907可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术,CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器904和大容量存储设备907可以统称为存储器。
根据本申请的各种实施例,设备900还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即设备900可以通过连接在系统总线905上的网络接口单元911连接到网络912,或者说,也可以使用网络接口单元911来连接到其他类型的网络或远程计算机系统(未示出)。
上述存储器还包括一个或者一个以上的程序,一个或者一个以上程序存储于存储器中,被配置由CPU执行。
在一些实施例中,还提供了一种计算机可读存储介质,该存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述实施例中图像分割方法的步骤。例如,所述计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。
值得注意的是,本申请提到的计算机可读存储介质可以为非易失性存储介质,换句话说,可以是非瞬时性存储介质。
应当理解的是,实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。所述计算机指令可以存储在上述计算机可读存储介质中。
也即是,在一些实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述所述的图像分割方法的步骤。
以上所述为本申请提供的实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (7)
1.一种图像分割方法,其特征在于,所述方法包括:
获取对包括待分割目标的图像执行标定操作后产生的第二标定数据,所述第二标定数据包括所述待分割目标所在区域的标定数据和/或所述待分割目标周围的非目标区域的标定数据;
将所述图像和所述第二标定数据输入至第二图像分割模型中进行分割,输出第一分割图像;
展示所述第一分割图像;
获取对所述第一分割图像执行标定操作后产生的第一标定数据,所述第一标定数据包括所述待分割目标所在区域的标定数据和/或所述待分割目标周围的非目标区域的标定数据,所述第一标定数据包括多个像素点的坐标信息;
存储所述第一标定数据;
将所述第一标定数据和所述第一分割图像输入至第一图像分割模型中进行分割,输出第二分割图像,所述第二图像分割模型的分割精度低于所述第一图像分割模型的分割精度;
展示所述第二分割图像,当基于所述第二分割图像接收到分割结束指令时,将所述第二分割图像确定为所述待分割目标的目标分割图像;
根据所述第一分割图像和所述目标分割图像,确定所述目标分割图像中的每个像素点的损失值,得到多个损失值;
基于所述第一标定数据包括的多个像素点的坐标信息,从所述目标分割图像中确定对应的像素点;
对所述多个损失值中所确定的像素点的损失值放大指定阈值倍;
基于放大处理后的损失值和未放大处理的损失值,对所述第二图像分割模型进行更新;
将所述图像和所述第二标定数据输入至更新后的第二图像分割模型中,输出第三分割图像;
基于所述第三分割图像和所述目标分割图像,确定差异分割图像;
获取所述差异分割图像中每个像素点对应的坐标信息,得到第三标定数据;
将所述图像、所述第二标定数据和所述第三标定数据输入至所述第一图像分割模型中,对所述第一图像分割模型进行更新。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
当未接收到所述分割结束指令时,继续获取对所述第二分割图像执行标定操作后产生的标定数据,将所获取的标定数据和所述第二分割图像输入至所述第一图像分割模型中继续进行分割,并展示分割得到的图像;
直到基于展示的图像接收到所述分割结束指令时,将当前展示的图像确定为所述待分割目标的目标分割图像。
3.如权利要求1所述的方法,其特征在于,
所述第一标定数据包括所述待分割目标所在区域内标定点的标定数据和/或所述待分割目标周围的非目标区域内标定点的标定数据;或者,
所述第一标定数据包括所述待分割目标所在区域内标定曲线的标定数据和/或所述待分割目标周围的非目标区域内标定曲线的标定数据;或者,
所述第二标定数据包括所述待分割目标所在区域内标定点的标定数据和/或所述待分割目标周围的非目标区域内标定点的标定数据;或者,
所述第二标定数据包括所述待分割目标所在区域内标定曲线的标定数据和/或所述待分割目标周围的非目标区域内标定曲线的标定数据。
4.一种图像分割装置,其特征在于,所述装置包括:
预分割模块,用于获取对包括待分割目标的图像执行标定操作后产生的第二标定数据,所述第二标定数据包括所述待分割目标所在区域的标定数据和/或所述待分割目标周围的非目标区域的标定数据;将所述图像和所述第二标定数据输入至第二图像分割模型中进行分割,输出第一分割图像;
第一展示模块,用于展示所述第一分割图像;
获取模块,用于获取对所述第一分割图像执行标定操作后产生的第一标定数据,所述第一标定数据包括所述待分割目标所在区域的标定数据和/或所述待分割目标周围的非目标区域的标定数据,所述第一标定数据包括多个像素点的坐标信息;
第二展示模块,用于存储所述第一标定数据;
分割模块,用于将所述第一标定数据和所述第一分割图像输入至第一图像分割模型中进行分割,输出第二分割图像,所述第二图像分割模型的分割精度低于所述第一图像分割模型的分割精度;
所述第二展示模块,还用于展示所述第二分割图像,当基于所述第二分割图像接收到分割结束指令时,将所述第二分割图像确定为所述待分割目标的目标分割图像;
所述第二展示模块,还用于根据所述第一分割图像和所述目标分割图像,确定所述目标分割图像中的每个像素点的损失值,得到多个损失值;基于所述第一标定数据包括的多个像素点的坐标信息,从所述目标分割图像中确定对应的像素点;对所述多个损失值中所确定的像素点的损失值放大指定阈值倍;基于放大处理后的损失值和未放大处理的损失值,对所述第二图像分割模型进行更新;将所述图像和所述第二标定数据输入至更新后的第二图像分割模型中,输出第三分割图像;基于所述第三分割图像和所述目标分割图像,确定差异分割图像;获取所述差异分割图像中每个像素点对应的坐标信息,得到第三标定数据;将所述图像、所述第二标定数据和所述第三标定数据输入至所述第一图像分割模型中,对所述第一图像分割模型进行更新。
5.如权利要求4所述的装置,其特征在于,所述第二展示模块还用于:
当未接收到所述分割结束指令时,继续获取对所述第二分割图像执行标定操作后产生的标定数据,将所获取的标定数据和所述第二分割图像输入至所述第一图像分割模型中继续进行分割,并展示分割得到的图像;
直到基于展示的图像接收到所述分割结束指令时,将当前展示的图像确定为所述待分割目标的目标分割图像。
6.一种图像分割的设备,其特征在于,所述设备包括处理器、通信接口、存储器和通信总线,所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信,所述存储器用于存放计算机程序,所述处理器用于执行所述存储器上所存放的程序,以实现权利要求1-3任一所述方法的步骤。
7.一种计算机可读存储介质,其特征在于,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-3任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911261568.8A CN112950647B (zh) | 2019-12-10 | 2019-12-10 | 图像分割方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911261568.8A CN112950647B (zh) | 2019-12-10 | 2019-12-10 | 图像分割方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112950647A CN112950647A (zh) | 2021-06-11 |
CN112950647B true CN112950647B (zh) | 2023-08-18 |
Family
ID=76225886
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911261568.8A Active CN112950647B (zh) | 2019-12-10 | 2019-12-10 | 图像分割方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112950647B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116385459B (zh) * | 2023-03-08 | 2024-01-09 | 阿里巴巴(中国)有限公司 | 图像分割方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107784654A (zh) * | 2016-08-26 | 2018-03-09 | 杭州海康威视数字技术股份有限公司 | 图像分割方法、装置及全卷积网络系统 |
CN109785306A (zh) * | 2019-01-09 | 2019-05-21 | 上海联影医疗科技有限公司 | 器官勾画方法、装置、计算机设备和存储介质 |
CN109801272A (zh) * | 2019-01-07 | 2019-05-24 | 华南师范大学 | 肝脏肿瘤自动分割定位方法、系统及存储介质 |
CN109993726A (zh) * | 2019-02-21 | 2019-07-09 | 上海联影智能医疗科技有限公司 | 医学图像的检测方法、装置、设备和存储介质 |
CN110070546A (zh) * | 2019-04-18 | 2019-07-30 | 山东师范大学 | 一种基于深度学习的多目标危及器官的自动分割方法、装置及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6694046B2 (en) * | 2001-03-28 | 2004-02-17 | Arch Development Corporation | Automated computerized scheme for distinction between benign and malignant solitary pulmonary nodules on chest images |
US9547907B2 (en) * | 2014-12-15 | 2017-01-17 | Intel Corporation | Image segmentation using color and depth information |
-
2019
- 2019-12-10 CN CN201911261568.8A patent/CN112950647B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107784654A (zh) * | 2016-08-26 | 2018-03-09 | 杭州海康威视数字技术股份有限公司 | 图像分割方法、装置及全卷积网络系统 |
CN109801272A (zh) * | 2019-01-07 | 2019-05-24 | 华南师范大学 | 肝脏肿瘤自动分割定位方法、系统及存储介质 |
CN109785306A (zh) * | 2019-01-09 | 2019-05-21 | 上海联影医疗科技有限公司 | 器官勾画方法、装置、计算机设备和存储介质 |
CN109993726A (zh) * | 2019-02-21 | 2019-07-09 | 上海联影智能医疗科技有限公司 | 医学图像的检测方法、装置、设备和存储介质 |
CN110070546A (zh) * | 2019-04-18 | 2019-07-30 | 山东师范大学 | 一种基于深度学习的多目标危及器官的自动分割方法、装置及系统 |
Non-Patent Citations (1)
Title |
---|
基于卷积神经网络改进的图像自动分割方法;温佩芝等;《计算机应用研究,》;第35卷(第9期);第2848-2852页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112950647A (zh) | 2021-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9208547B2 (en) | Stereo correspondence smoothness tool | |
US20160307074A1 (en) | Object Detection Using Cascaded Convolutional Neural Networks | |
JP2020537204A (ja) | ディープニューラルネットワークの正規化方法および装置、機器、ならびに記憶媒体 | |
CN112308866B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN109977952B (zh) | 基于局部最大值的候选目标检测方法 | |
US9025889B2 (en) | Method, apparatus and computer program product for providing pattern detection with unknown noise levels | |
CN111311485B (zh) | 图像处理方法及相关装置 | |
CN116797590B (zh) | 一种基于机器视觉的Mura缺陷检测方法及系统 | |
CN110310305B (zh) | 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 | |
CN114511041B (zh) | 模型训练方法、图像处理方法、装置、设备和存储介质 | |
CN114063858B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN111932552B (zh) | 一种主动脉建模的方法及装置 | |
CN112328715A (zh) | 视觉定位方法及相关模型的训练方法及相关装置、设备 | |
US9959672B2 (en) | Color-based dynamic sub-division to generate 3D mesh | |
CN113780326A (zh) | 一种图像处理方法、装置、存储介质及电子设备 | |
CN114022614A (zh) | 一种三维重建目标位置置信度的估计方法及系统 | |
CN112950647B (zh) | 图像分割方法、装置、设备及存储介质 | |
CN115222845A (zh) | 样式字体图片生成方法、装置、电子设备和介质 | |
CN114255353A (zh) | 一种基于加权超图模型的页面显著性要素提取方法及系统 | |
CN113688737B (zh) | 人脸图像处理方法、装置、电子设备、存储介质及程序 | |
CN114548218A (zh) | 图像匹配方法、装置、存储介质和电子装置 | |
CN113766117B (zh) | 一种视频去抖动方法和装置 | |
CN113626903A (zh) | 一种道路曲线设置方法、装置、电子设备及存储介质 | |
CN109816726B (zh) | 一种基于深度滤波器的视觉里程计地图更新方法和系统 | |
CN103547982A (zh) | 利用空间和时间特征识别触摸传感器数据中的接触和接触属性 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |