CN110232696B - 一种图像区域分割的方法、模型训练的方法及装置 - Google Patents

一种图像区域分割的方法、模型训练的方法及装置 Download PDF

Info

Publication number
CN110232696B
CN110232696B CN201910537529.XA CN201910537529A CN110232696B CN 110232696 B CN110232696 B CN 110232696B CN 201910537529 A CN201910537529 A CN 201910537529A CN 110232696 B CN110232696 B CN 110232696B
Authority
CN
China
Prior art keywords
image
heat map
segmentation
generating
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910537529.XA
Other languages
English (en)
Other versions
CN110232696A (zh
Inventor
王瑞琛
王晓利
闫桂霞
陈楚城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910537529.XA priority Critical patent/CN110232696B/zh
Publication of CN110232696A publication Critical patent/CN110232696A/zh
Priority to EP20827039.7A priority patent/EP3989166A4/en
Priority to PCT/CN2020/096237 priority patent/WO2020253663A1/zh
Priority to JP2021537734A priority patent/JP7238139B2/ja
Priority to US17/395,329 priority patent/US11983881B2/en
Application granted granted Critical
Publication of CN110232696B publication Critical patent/CN110232696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed

Abstract

本申请公开了一种图像区域分割的方法，包括：获取待分割图像，其中，待分割图像包括多个极值点；根据待分割图像生成第一图像特征信息，其中，第一图像特征信息包括N个图像矩阵以及第一热图，第一热图为根据多个极值点生成的；通过第一图像分割模型获取第一图像特征信息所对应的第一图像分割区域；根据第一图像分割区域获取第二热图，其中，第二热图为根据标注点生成的；通过第二图像分割模型获取待分割图像所对应的第二图像分割区域。本申请还公开了一种模型训练的方法以及装置。本申请通过第二个阶段的辅助分割，对第一阶段图像分割中效果较差的区域进行进一步分割，从而得到更为准确的图像分割结果，由此提高图像分割的性能。

Description

一种图像区域分割的方法、模型训练的方法及装置
技术领域
本申请涉及人工智能领域，尤其涉及一种图像区域分割的方法、模型训练的方法及装置。
背景技术
随着计算机技术的发展，图像分割技术应用越来越广泛，例如，医学图像分割以及自然图像分割等。其中，图像分割技术是指把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术。例如，人体组织图像分割场景中，可以对医学图像进行分割，使得分割后的图像中能明显区分人体各个组织。
目前，提供了一种辅助分割的工具，首先用户在图像中勾画出一个边框(boundingbox，bbox)，该bbox需要将待标注的目标框选中，然后通过神经网络模型输出该待标注目标的多边形分割结果，如果分割结果不准确，用户可以再对这个结果进行修正。
然而，针对通用的物体(比如，随意拍摄的街景)，这类神经网络模型输出的分割曲线与真实的分割曲线差异较大，导致图像分割结果较差，而且需要消耗大量的时间来手动修正结果，进而导致图像区域分割的效率较低。
发明内容
本申请实施例提供了一种图像区域分割的方法、模型训练的方法及装置，通过第二个阶段的辅助分割，对第一阶段图像分割中效果较差的区域进行进一步分割，从而得到更为准确的图像分割结果，提高图像分割的性能。
有鉴于此，本申请第一方面提供一种图像区域分割的方法，包括：
获取待分割图像，其中，所述待分割图像包括多个极值点；
根据所述待分割图像生成第一图像特征信息，其中，所述第一图像特征信息包括N个图像矩阵以及第一热图，所述第一热图为根据所述多个极值点生成的，所述N为大于或等于1的整数；
通过第一图像分割模型获取所述第一图像特征信息所对应的第一图像分割区域，其中，所述第一图像分割模型包括包括N个第一矩阵通道以及第一热图通道，所述N个第一矩阵通道与所述N个图像矩阵具有一一对应的关系，所述第一热图通道与所述第一热图具有对应关系；
根据所述第一图像分割区域获取第二热图，其中，所述第二热图为根据标注点生成的；
通过第二图像分割模型获取所述待分割图像所对应的第二图像分割区域，其中，所述第二图像分割模型包括N个第二矩阵通道、分割区域通道以及第二热图通道，所述N个第二矩阵通道与所述N个图像矩阵具有一一对应的关系，所述分割区域通道与所述第一图像分割区域具有对应关系，所述第二热图通道与所述第二热图具有对应关系。
本申请第二方面提供一种模型训练的方法，包括：
获取待训练图像集合，其中，所述待训练图像集合包括至少一个待训练图像；
通过第一图像分割模型获取待训练图像的第一预测分割区域，其中，所述第一图像分割模型为预先训练得到的图像分割模型；
根据所述待训练图像的真实分割区域以及所述第一预测分割区域，生成待训练热图，其中，所述待训练热图是由至少一个差异点生成的；
根据所述待训练图像、所述第一预测分割区域、所述待训练热图以及所述真实分割区域，通过待训练图像分割模型获取第二预测分割区域；
根据所述第二预测分割区域以及所述真实分割区域，采用目标损失函数确定所述待训练图像分割模型所对应的模型参数；
采用所述模型参数对所述待训练图像分割模型进行训练，得到第二图像分割模型。
本申请第三方面提供一种图像区域分割装置，包括：
获取模块，用于获取待分割图像，其中，所述待分割图像包括多个极值点；
生成模块，用于根据所述获取模块获取的所述待分割图像生成第一图像特征信息，其中，所述第一图像特征信息包括N个图像矩阵以及第一热图，所述第一热图为根据所述多个极值点生成的，所述N为大于或等于1的整数；
所述获取模块，用于通过第一图像分割模型获取所述生成模块生成的所述第一图像特征信息所对应的第一图像分割区域，其中，所述第一图像分割模型包括包括N个第一矩阵通道以及第一热图通道，所述N个第一矩阵通道与所述N个图像矩阵具有一一对应的关系，所述第一热图通道与所述第一热图具有对应关系；
所述获取模块，还用于根据所述第一图像分割区域获取第二热图，其中，所述第二热图为根据标注点生成的；
所述获取模块，还用于通过第二图像分割模型获取所述待分割图像所对应的第二图像分割区域，其中，所述第二图像分割模型包括N个第二矩阵通道、分割区域通道以及第二热图通道，所述N个第二矩阵通道与所述N个图像矩阵具有一一对应的关系，所述分割区域通道与所述第一图像分割区域具有对应关系，所述第二热图通道与所述第二热图具有对应关系。
在一种可能的设计中，在本申请实施例的第三方面的第一种实现方式中，
所述获取模块，具体用于展示待处理图像，其中，所述待处理图像中包括目标对象；
接收物体标注指令，其中，所述物体标注指令携带所述目标对象所对应的第一极值点位置信息、第二极值点位置信息、第三极值点位置信息以及第四极值点位置信息；
响应于所述物体标注指令，根据所述待处理图像生成所述待分割图像。
在一种可能的设计中，在本申请实施例的第三方面的第二种实现方式中，
所述获取模块，具体用于接收第一标注指令，其中，所述第一标注指令携带M个标注点，所述标注点位于所述第一图像分割区域的区域内部，所述M为大于或等于1的整数；
响应于所述第一标注指令，根据所述第一标注指令中携带的所述M个标注点生成所述第二热图。
在一种可能的设计中，在本申请实施例的第三方面的第三种实现方式中，
所述获取模块，具体用于接收第二标注指令，其中，所述第二标注指令携带M个标注点，所述标注点位于所述第一图像分割区域的区域外部，所述M为大于或等于1的整数；
响应于所述第二标注指令，根据所述第二标注指令中携带的所述M个标注点生成所述第二热图。
在一种可能的设计中，在本申请实施例的第三方面的第四种实现方式中，
所述生成模块，具体用于根据所述待分割图像中的所述多个极值点生成所述第一热图；
根据所述待分割图像生成第一图像矩阵，其中，所述第一图像矩阵对应于所述N个矩阵通道中的红色通道；
根据所述待分割图像生成第二图像矩阵，其中，所述第二图像矩阵对应于所述N个矩阵通道中的绿色通道；
根据所述待分割图像生成第三图像矩阵，其中，所述第三图像矩阵对应于所述N个矩阵通道中的蓝色通道；
根据所述第一热图、所述第一图像矩阵、所述第二图像矩阵以及所述第三图像矩阵，生成所述第一图像特征信息。
在一种可能的设计中，在本申请实施例的第三方面的第五种实现方式中，
所述生成模块，还用于所述获取模块根据所述第一图像分割区域获取第二热图之后，根据所述待分割图像生成第一图像矩阵，其中，所述第一图像矩阵对应于所述N个矩阵通道中的红色通道；
根据所述待分割图像生成第二图像矩阵，其中，所述第二图像矩阵对应于所述N个矩阵通道中的绿色通道；
根据所述待分割图像生成第三图像矩阵，其中，所述第三图像矩阵对应于所述N个矩阵通道中的蓝色通道；
根据所述第一图像分割区域、所述第二热图、所述第一图像矩阵、所述第二图像矩阵以及所述第三图像矩阵，生成所述第二图像特征信息，其中，所述第二图像特征信息为所述第二图像分割模型的输入信息。
在一种可能的设计中，在本申请实施例的第三方面的第六种实现方式中，
所述获取模块，具体用于通过所述第二图像分割模型的编码器对所述第二图像特征信息进行编码，得到第一特征图以及第二特征图，其中，所述编码器包括中间流量middleflow模块以及空洞深度可分离卷积，所述空洞深度可分离卷积用于提取所述第二图像特征信息的特征图，所述middle flow模块用于重复执行T次，所述T为大于8的整数；
将所述第一特征图以及所述第二特征图进行拼接，得到目标特征图；
通过所述第二图像分割模型的解码器对所述目标特征图进行解码，得到所述第二图像分割区域。
在一种可能的设计中，在本申请实施例的第三方面的第七种实现方式中，
所述获取模块，具体用于通过所述第二图像分割模型的解码器对所述目标特征图进行解码，得到第一像素点集合以及第二像素点集合，其中，所述第一像素点集合包括多个第一像素点，所述第二像素点集合包括第二像素点；
根据所述第一像素点集合以及所述第二像素点集合，生成所述第二图像分割区域。
本申请第四方面提供一种模型训练装置，包括：
获取模块，用于获取待训练图像集合，其中，所述待训练图像集合包括至少一个待训练图像；
所述获取模块，还用于通过第一图像分割模型获取待训练图像的第一预测分割区域，其中，所述第一图像分割模型为预先训练得到的图像分割模型；
生成模块，用于根据所述待训练图像的真实分割区域以及所述获取模块获取的所述第一预测分割区域，生成待训练热图，其中，所述待训练热图是由至少一个差异点生成的；
所述获取模块，还用于根据所述待训练图像、所述第一预测分割区域、所述生成模块生成的所述待训练热图以及所述真实分割区域，通过待训练图像分割模型获取第二预测分割区域；
确定模块，用于根据所述获取模块获取的所述第二预测分割区域以及所述真实分割区域，采用目标损失函数确定所述待训练图像分割模型所对应的模型参数；
训练模块，用于采用所述确定模块确定的所述模型参数对所述待训练图像分割模型进行训练，得到第二图像分割模型。
在一种可能的设计中，在本申请实施例的第四方面的第一种实现方式中，所述目标损失函数表示为：
Loss＝Pos_loss*(Neg_num/Total_num)+Neg_loss*(Pos_num/Total_num)；
其中，所述Loss表示所述目标损失函数，所述Pos_loss表示所述第二预测分割区域的正样本损失之和，所述Neg_loss表示所述第二预测分割区域的负样本损失之和，所述Pos_num表示所述真实分割区域中的正样本数量，所述Neg_num表示所述真实分割区域中的负样本数量，所述Total_num表示所述正样本数量与所述负样本数量之和。
在一种可能的设计中，在本申请实施例的第四方面的第二种实现方式中，
所述生成模块，具体用于根据所述真实分割区域以及所述第一预测分割区域确定差异图，其中，所述差异图表示所述真实分割区域与所述第一预测分割区域不一致的区域；
根据所述差异图确定第一候选区域以及第二候选区域；
根据所述第一候选区域以及所述第二候选区域选择所述至少一个差异点；
根据所述至少一个差异点生成所述待训练热图。
本申请第五方面提供一种终端设备，包括：存储器、收发器、处理器以及总线系统；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，包括如下步骤：
获取待分割图像，其中，所述待分割图像包括多个极值点；
根据所述待分割图像生成第一图像特征信息，其中，所述第一图像特征信息包括N个图像矩阵以及第一热图，所述第一热图为根据所述多个极值点生成的，所述N为大于或等于1的整数；
通过第一图像分割模型获取所述第一图像特征信息所对应的第一图像分割区域，其中，所述第一图像分割模型包括包括N个第一矩阵通道以及第一热图通道，所述N个第一矩阵通道与所述N个图像矩阵具有一一对应的关系，所述第一热图通道与所述第一热图具有对应关系；
根据所述第一图像分割区域获取第二热图，其中，所述第二热图为根据标注点生成的；
通过第二图像分割模型获取所述待分割图像所对应的第二图像分割区域，其中，所述第二图像分割模型包括N个第二矩阵通道、分割区域通道以及第二热图通道，所述N个第二矩阵通道与所述N个图像矩阵具有一一对应的关系，所述分割区域通道与所述第一图像分割区域具有对应关系，所述第二热图通道与所述第二热图具有对应关系；
所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
本申请第六方面提供一种服务器，包括：存储器、收发器、处理器以及总线系统；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，包括如下步骤：
获取待训练图像集合，其中，所述待训练图像集合包括至少一个待训练图像；
通过第一图像分割模型获取待训练图像的第一预测分割区域，其中，所述第一图像分割模型为预先训练得到的图像分割模型；
根据所述待训练图像的真实分割区域以及所述第一预测分割区域，生成待训练热图，其中，所述待训练热图是由至少一个差异点生成的；
根据所述待训练图像、所述第一预测分割区域、所述待训练热图以及所述真实分割区域，通过待训练图像分割模型获取第二预测分割区域；
根据所述第二预测分割区域以及所述真实分割区域，采用目标损失函数确定所述待训练图像分割模型所对应的模型参数；
采用所述模型参数对所述待训练图像分割模型进行训练，得到第二图像分割模型；所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
本申请的第七方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例中，提供了一种图像区域分割的方法，首先获取待分割图像，其中，待分割图像包括多个极值点，然后根据待分割图像生成第一图像特征信息，再通过第一图像分割模型获取第一图像特征信息所对应的第一图像分割区域，基于第一图像分割区域获取第二热图，其中，第二热图为根据标注点生成的，最后通过第二图像分割模型获取待分割图像所对应的第二图像分割区域。通过上述方式，将图像分割的过程分为两个阶段，通过第二个阶段的辅助分割，可以对第一阶段图像分割中效果较差的区域进行进一步分割，从而得到更为准确的图像分割结果，无需消耗大量时间来修正图像分割结果，由此提高图像分割的性能。
附图说明
图1为本申请实施例中图像区域分割系统的一个架构示意图；
图2为本申请实施例中图像区域分割方法的一个流程示意图；
图3为本申请实施例中图像区域分割的方法一个实施例示意图；
图4为本申请实施例中选取四个极值点的一个实施例示意图；
图5为本申请实施例中第一图像分割模型返回第一图像分割区域一个实施例示意图；
图6为本发明实施例中基于第一图像分割区域的一个标注位置示意图；
图7为本发明实施例中基于第一图像分割区域的另一个标注位置示意图；
图8为本申请实施例中生成第一图像特征信息的一个实施例示意图；
图9为本申请实施例中生成第二图像特征信息的一个实施例示意图；
图10为本申请实施例中第二图像分割模型的一个结构示意图；
图11为本申请实施例中Xception模型的一个结构示意图；
图12为本申请实施例中空洞深度可分离卷积示意图的一个示意图；
图13为本申请实施例中模型训练的方法一个实施例示意图；
图14为本申请实施例中实例原图的一个示意图；
图15为本申请实施例中选择差异点的一个实施例示意图；
图16为本申请实施例中图像区域分割装置一个实施例示意图；
图17为本申请实施例中模型训练装置一个实施例示意图；
图18为本申请实施例中终端设备的一个结构示意图；
图19为本申请实施例中服务器的一个结构示意图。
具体实施方式
本申请实施例提供了一种图像区域分割的方法、模型训练的方法及装置，通过第二个阶段的辅助分割，对第一阶段图像分割中效果较差的区域进行进一步分割，从而得到更为准确的图像分割结果，提高图像分割的性能。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应理解，本申请所提供的图像区域分割的方法可以应用于人工智能(artificialintelligence，AI)领域，具体可以应用于计算机视觉领域。随着计算机科学技术的不断发展，图像处理和分析逐渐形成了一套科学体系，新的处理方法层出不穷，尽管其发展历史不长，但却引起各方面人士的广泛关注。首先，视觉是人类最重要的感知手段，图像又是视觉的基础，因此，数字图像成为心理学、生理学以及计算机科学等诸多领域内的学者们研究视觉感知的有效工具。其次，图像处理在遥感以及气象等大型应用中有不断增长的需求。图像分割技术一直是计算机视觉领域的基础技术和重要研究方向，具体来说，就是从一张图像上将感兴趣的区域(比如人、车以及建筑物等)按照真实轮廓分割出来。图像分割技术是图像语义理解的重要一环，近年来，随着神经网络的发展，图像处理能力显著提升，图像分割技术在医学影像分析(包括肿瘤和其他病理的定位，组织体积的测量，计算机引导的手术，治疗方案的定制，解剖学结构的研究)、人脸识别、指纹识别、无人驾驶以及机器视觉等领域中也发挥出了更加重要的作用。
为了便于理解，请参阅图1，图1为本申请实施例中图像区域分割系统的一个架构示意图，如图所示，本申请所提供的图像区域分割装置表现为客户端，该客户端具体可以是一款辅助分割工具，需要说明的是，本申请提供的客户端部署于终端设备上，其中，终端设备包含但不仅限于平板电脑、笔记本电脑、掌上电脑、手机、语音交互设备及个人电脑(personalcomputer，PC)，此处不做限定。
为了方便用户标注图像分割数据集，本申请提出了一种基于神经网络模型(即第一图像分割模型以及第二图像分割模型)的交互式图像辅助分割工具。在图像分割标注任务中，辅助分割工具只要获取少量的用户交互行为，就能够通过神经网络模型(即第一图像分割模型)反馈一个较为准确的预分割结果(即得到第一图像分割区域)，然后用户再基于预分割的结果(即第一图像分割区域)进行少量的二次标注，就能够通过神经网络模型(即第二图像分割模型)获得最终的分割结果(即得到第二图像分割区域)。本申请提出“少量标注点交互”式的分割方法，并改进了图像分割模型，从而获得了更好的分割结果与工具实时性表现。
需要说明的是，第一图像分割模型和第二图像分割模型可以部署在服务器中，通过第一图像分割模型和第二图像分割模型进行图像分割区域的预测，从而实现图像在线分割的目的，可选地，第一图像分割模型和第二图像分割模型也可以部署在终端设备上，在离线的状态下，通过图像分割区域的预测，从而实现图像离线分割的目的。
请参阅图2，图2为本申请实施例中图像区域分割方法的一个流程示意图，如图所示，用户通过辅助分割工具对待处理图像进行极值点的标注，比如，对图2中的树进行标注，辅助分割工具根据用户标注的结果生成第一热图，该第一热图与待处理图像的图像矩阵进行组合，得到第一图像特征信息。将第一图像特征信息输入至第一图像分割模型，通过该第一图像分割模型提取特征，从而输出第一图像分割区域，比如得到树的分割区域。第一图像分割模型可以是一种图像分割卷积神经网络(ConvolutionalNeuralNetworks，CNN)，其模型结构主要包括输入层、特征提取层以及输出层。生成的第一图像分割区域并非效果足够好，因此，用户还可以采用辅助分割工具输入标注点，根据用户输入的标注点生成第二热图，该第二热图与待处理图像的图像矩阵进行以及第一图像分割区域进行组合，得到第二图像特征信息。将第二图像特征信息输入至第二图像分割模型，通过该第二图像分割模型提取特征，从而输出第二图像分割区域，得到更为准确的树的分割区域。
结合上述介绍，下面将对本申请中图像区域分割的方法进行介绍，请参阅图3，本申请实施例中图像区域分割的方法一个实施例包括：
101、获取待分割图像，其中，待分割图像包括多个极值点；
本实施例中，图像区域分割装置获取待分割图像，其中，图像区域分割装置可以表现为辅助分割工具，待分割图像可以通过该辅助分割工具标注得到的，用户使用辅助分割工具标注多个极值点，根据这些极值点生成待分割图像。可以理解的是，本申请所提供的图像区域分割装置可部署于终端设备上。
具体地，多个极值点可以是最高点，最低点，最左点和最右点，还可以是其中的若干个极值点，此次不做限定。
102、根据待分割图像生成第一图像特征信息，其中，第一图像特征信息包括N个图像矩阵以及第一热图，第一热图为根据多个极值点生成的，N为大于或等于1的整数；
本实施例中，图像区域分割装置根据待分割图像生成N个图像矩阵，并且根据多个极值点生成第一热图，将第一热图与N个图像矩阵进行组合，得到待分割图像所对应的第一图像特征信息。
其中，数字图像数据可以用矩阵来表示，如果读取的待分割图像大小为128*128，则图像矩阵大小为128*128*N，其中，N为大于或等于1的整数。当N为1时，图像矩阵可以是灰度图像所对应的矩阵。当N为3时，图像矩阵可以是红绿蓝(red green blue，RGB)图像的矩阵，RGB图像是三维的，三个维度分别表示红、绿和蓝三个分量，大小是0到255，每个像素都是由这三个分量组合而成。每一个RGB通道都对应一个图像矩阵(即第一图像矩阵、第二图像矩阵以及第三图像矩阵)，因此，这三个RGB通道叠在一起形成了彩色图像，即得到待分割图像。当N为4时，图像矩阵可以是红绿蓝和Alpha(red green blue Alpha，RGBA)的色彩空间，对于便携式网络图形(Portable Network Graphics，PNG)而言，也具有四个图像矩阵，此处不对N的数量进行限定。
103、通过第一图像分割模型获取第一图像特征信息所对应的第一图像分割区域，其中，第一图像分割模型包括包括N个第一矩阵通道以及第一热图通道，N个第一矩阵通道与N个图像矩阵具有一一对应的关系，第一热图通道与第一热图具有对应关系；
本实施例中，图像区域分割装置将第一图像特征信息输入至第一图像分割模型，其中，第一图像分割模型可以采用深度实验(DeepLab)结构，包含但不仅限于DeepLabV1、DeepLabV2、DeepLabV3以及DeepLabV3+。其中，DeepLabV2结构是一种用于图像分割的CNN模型结构，输入一张图片，输出原图同大小的掩码图，图中每个像素点的值表示这个像素属于的类别标签值。DeepLabV3+结构是在DeeplabV2的基础上改进后的一种用于图像分割的CNN模型结构，它在图像分割比赛中通常能够取得更好的成绩。CNN是神经网络模型的一种发展，用卷积层替代了人工神经网络中的全连接层结构，在各种计算机视觉领域中取得了非常优异的表现。
本申请需要对第一图像分割模型的结构进行改进，对第一图像分割模型的第一层参数进行修改，使第一图像分割模型能够接收(N+1)个通道(channel)的图像数据，即第一图像分割模型包括N个第一矩阵通道以及一个第一热图通道。假设N为3，则表示有3个图像矩阵，此时对应3个第一矩阵通道，每个第一矩阵通道对应一个图像矩阵，且此时还具有一个第一热图通道，该第一热图通道对应于第一热图。
类似地，假设N为1，则表示有1个图像矩阵，此时对应1个第一矩阵通道，1个第一矩阵通道对应灰度图像的一个图像矩阵，且此时还具有一个第一热图通道，该第一热图通道对应于第一热图。
类似地，假设N为4，则表示有4个图像矩阵，此时对应4个第一矩阵通道，每个第一矩阵通道对应一个图像矩阵，且此时还具有一个第一热图通道，该第一热图通道对应于第一热图。
104、根据第一图像分割区域获取第二热图，其中，第二热图为根据标注点生成的；
本实施例中，图像区域分割装置接收标注点，该标注点可以是一个或多个，且该标注点是由用户根据第一图像分割区域标注得到的，图像区域分割装置根据标注点生成第二热图，第二热图的生成方式与第一热图的生成方式类似，此次不做赘述。
可以理解的是，对于少识别的区域标注点可以在边缘上，也可以在非边缘的位置，少识别出来的区域标记点为负点，可以表示为-1，若是负点，则在生成高斯分布(即第二热图)时乘以-1。对于多识别的区域标注点可以在边缘上，也可以在非边缘的位置，多识别出来的区域标记点为正点，可以表示为1，若是正点，则在生成高斯分布(即第二热图)时乘以1。
105、通过第二图像分割模型获取待分割图像所对应的第二图像分割区域，其中，第二图像分割模型包括N个第二矩阵通道、分割区域通道以及第二热图通道，N个第二矩阵通道与N个图像矩阵具有一一对应的关系，分割区域通道与第一图像分割区域具有对应关系，第二热图通道与第二热图具有对应关系。
本实施例中，图像区域分割装置将第二热图、第一图像分割区域与待分割图的N个图像矩阵进行组合，得到待分割图像所对应的第二图像特征信息，然后将第二图像特征信息输入至第二图像分割模型，第二图像分割模型包括N个第二矩阵通道、分割区域通道以及第二热图通道，N个第二矩阵通道与N个图像矩阵具有一一对应的关系，分割区域通道与第一图像分割区域具有对应关系，而第二热图通道与第二热图具有对应关系。
图像区域分割装置还可以根据第二图像分割区域生成待分割图像的图像识别结果，具体地，第二图像分割区域和第一图像分割区域均为掩膜(mask)图像，基于该mask图像可以得到待分割图像中目标对象的边缘，最后得到图像识别结果。该图像识别结果可以通过文本信息展示，比如，图像识别结果为“猴子”或者“汽车”等对象。图像识别结果还可以是在待分割图像中突出展示目标对象，目标对象可以是“汽车”或者“猴子”等对象。
本申请实施例中，提供了一种图像区域分割的方法，首先获取待分割图像，其中，待分割图像包括多个极值点，然后根据待分割图像生成第一图像特征信息，再通过第一图像分割模型获取第一图像特征信息所对应的第一图像分割区域，基于第一图像分割区域获取第二热图，其中，第二热图为根据标注点生成的，最后通过第二图像分割模型获取待分割图像所对应的第二图像分割区域。通过上述方式，将图像分割的过程分为两个阶段，通过第二个阶段的辅助分割，可以对第一阶段图像分割中效果较差的区域进行进一步分割，从而得到更为准确的图像分割结果，无需消耗大量时间来修正图像分割结果，由此提高图像分割的性能。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的图像区域分割的方法一个可选实施例中，获取待分割图像，包括：
展示待处理图像，其中，待处理图像中包括目标对象；
接收物体标注指令，其中，物体标注指令携带目标对象所对应的第一极值点位置信息、第二极值点位置信息、第三极值点位置信息以及第四极值点位置信息；
响应于物体标注指令，根据待处理图像生成待分割图像。
本实施例中，介绍了一种基于极值点标注的方式，用户可以使用辅助分割工具标注多个极值点。为了便于理解，请参阅图4，图4为本申请实施例中选取四个极值点的一个实施例示意图，如图所示，首先展示一个待处理图像，该待处理图像中包括目标对象，比如包括花朵、草堆以及树木，在实际应用中，目标对象包含但不仅限于人物、动物、车辆以及其他物体。在启动辅助分割工具之后用户即可触发物体标注指令，比如通过点选的方式从待处理图像中选择若干个极值点，以图4为例，假设目标对象为树木，用户通过辅助分割工具选择树木的四个极值点，即第一极值点A、第二极值点B、第三极值点C以及第四极值点D。在物体标注指令中具体携带了这四个极值点的坐标信息，从而根据物体标注指令生成待处理图像所对应的待分割图像，待分割图像如图4所示的树木所对应的图像，且待分割图像包括第一极值点A、第二极值点B、第三极值点C以及第四极值点D所构成的区域。
辅助分割工具根据待分割图像生成第一图像特征信息(包括第一热图以及N个图像矩阵)，然后通过第一图像分割模型获取第一图像特征信息所对应的第一图像分割区域，请参阅图5，图5为本申请实施例中第一图像分割模型返回第一图像分割区域一个实施例示意图，如图所示，辅助分割工具根据四个极值点计算得到第一图像分割区域，并返回该第一图像分割区域，比如图5中阴影部分所对应的图像即为图像分割区域。可以理解的是，图像分割区域可以为一个预分割的多边形结果，图5仅为一个示意，不应理解为对本申请的限定。
其次，本申请实施例中，提供了一种标注极值点的方法，首先展示待处理图像，然后接收物体标注指令，其中，物体标注指令携带目标对象所对应的第一极值点位置信息、第二极值点位置信息、第三极值点位置信息以及第四极值点位置信息，最后响应于物体标注指令，根据待处理图像生成待分割图像。通过上述方式，能够利用辅助分割工具对待处理图像进行标注，辅助分割工具的操作难度较低，使用的便利性较高，从而提升方案的可行性和可操作性。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的图像区域分割的方法一个可选实施例中，根据第一图像分割区域获取第二热图，可以包括：
接收第一标注指令，其中，第一标注指令携带M个标注点，标注点位于第一图像分割区域的区域内部，M为大于或等于1的整数；
响应于第一标注指令，根据第一标注指令中携带的M个标注点生成第二热图。
本实施例中，介绍了一种根据标注点生成第二热图的方法。为了便于说明，请参阅图6，图6为本发明实施例中基于第一图像分割区域的一个标注位置示意图，如图所示，假设第一图像分割区域多出一个区域，该区域不属于目标对象(比如树)，用户通过辅助分割工具在多出的区域上标记M个标注点，M为大于或等于1的整数，其中，M个标注点在第一图像分割区域的内部，也就是在第一图像分割区域中多出的这部分区域上进行标注，比如在图6中标记得到的标注点A。
可以理解的是，对于多识别的区域可以标记在边缘上，也可以在非边缘的位置，此处不做限定，且多识别出来的区域标记点为正点，可以表示为1。
其次，本申请实施例中，提供了一种根据标注点生成第二热图的方法，即接收第一标注指令，响应于第一标注指令，根据第一标注指令中携带的M个标注点生成第二热图。通过上述方式，能够利用辅助分割工具对初步预测得到的第一图像分割区域进行二次标注，一方面辅助分割工具的操作难度较低，使用的便利性较高，另一方面，经过二次标注能够生成更为准确的图像分割结果，从而提升方案的可操作性和可行性。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的图像区域分割的方法一个可选实施例中，根据第一图像分割区域获取第二热图，可以包括：
接收第二标注指令，其中，第二标注指令携带M个标注点，标注点位于第一图像分割区域的区域外部，M为大于或等于1的整数；
响应于第二标注指令，根据第二标注指令中携带的M个标注点生成第二热图。
本实施例中，介绍了另一种根据标注点生成第二热图的方法。为了便于说明，请参阅图7，图7为本发明实施例中基于第一图像分割区域的另一个标注位置示意图，如图所示，假设第一图像分割区域缺少一个区域，该区域本应该属于目标对象(比如树)，用户通过辅助分割工具在缺少的区域上标记M个标注点，M为大于或等于1的整数，其中，M个标注点在第一图像分割区域的内部，也就是在目标对象缺少的这部分区域上进行标注，比如在图7中标记得到的标注点B。
可以理解的是，对于少识别的区域可以标记在边缘上，也可以在非边缘的位置，此处不做限定，且少识别出来的区域标记点为负点，可以表示为-1，若是负点，则在生成高斯分布时乘以-1。
其次，本申请实施例中，提供了另一种根据标注点生成第二热图的方法，即接收第二标注指令，响应于第二标注指令，根据第二标注指令中携带的M个标注点生成第二热图。通过上述方式，能够利用辅助分割工具对初步预测得到的第一图像分割区域进行二次标注，一方面辅助分割工具的操作难度较低，使用的便利性较高，另一方面，经过二次标注能够生成更为准确的图像分割结果，从而提升方案的可操作性和可行性。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的图像区域分割的方法一个可选实施例中，根据待分割图像生成第一图像特征信息，可以包括：
根据待分割图像中的多个极值点生成第一热图；
根据待分割图像生成第一图像矩阵，其中，第一图像矩阵对应于N个矩阵通道中的红色通道；
根据待分割图像生成第二图像矩阵，其中，第二图像矩阵对应于N个矩阵通道中的绿色通道；
根据待分割图像生成第三图像矩阵，其中，第三图像矩阵对应于N个矩阵通道中的蓝色通道；
根据第一热图、第一图像矩阵、第二图像矩阵以及第三图像矩阵，生成第一图像特征信息。
本实施例中，将以3个矩阵通道以及1个第一热图通道为例，介绍了一种生成第一图像特征信息的方式，为了便于理解，请参阅图8，图8为本申请实施例中生成第一图像特征信息的一个实施例示意图，如图所示，本申请采用深度极值点分割(Deep Extreme Cut，DEXTR)的输入格式，输入一个四通道的图像矩阵，也就是说本申请采用的第一图像分割模型输入除了原始图像以外，还包括四个极值点的信息，为了充分利用四个极值点的信息，生成一个和待分割图像尺寸一样的热图(heatmap)，即第一热图，即如图8所示，分别以四个极值点坐标为中心，生成2D高斯分布，然后把这个第一热图作为第一热图通道(即第四个矩阵通道)的输入，再与另外三个图像矩阵进行合并，得到第一图像特征信息，最后将第一图像特征信息作为第一图像分割模型的输入。
其中，三个图像矩阵分别为第一图像矩阵、第二图像矩阵和第三图像矩阵，第一图像矩阵对应于红色(R)输入通道，第二图像矩阵对应于绿色(G)输入通道，第三图像矩阵对应于蓝色(B)输入通道。
通过第一热图可以简单地聚合大量数据，并使用一种渐进的色带来表现，最终效果一般优于离散点的直接显示，可以很直观地展现空间数据的疏密程度或频率高低。热图生成的原理主要分为四个步骤，具体为：
(1)为离散点设定一个半径，创建一个缓冲区；
(2)对每个离散点的缓冲区，使用渐进的灰度带从内而外，由浅至深地填充；
(3)由于灰度值可以叠加，从而对于有缓冲区交叉的区域，可以叠加灰度值，因而缓冲区交叉的越多，灰度值越大，这块区域也就越热；
(4)以叠加后的灰度值为索引，从一条有256种颜色的色带中映射颜色，并对图像重新着色，从而生成热图。
可以理解的是，在实际应用中，还存在其他生成热图生成方式，比如说，还可以直接以每个极值点为中心构建四个实心圆。2D高斯分布的特点是，越靠近中心点，值越大，并随着距离中心点边远迅速衰减。本申请在输入第一热图时，给予第一图像分割模型一些先验知识，让第一图像分割模型知道这四个点是用户选择的极值点，但是考虑到用户选择的不一定是真实的极值点，可能存在一定误差，所以以极值点为中心生成了一个第一热图的分布。
其次，本申请实施例中，提供了一种根据待分割图像生成第一图像特征信息的方法，根据待分割图像中的多个极值点生成第一热图，根据待分割图像生成第一图像矩阵，根据待分割图像生成第二图像矩阵，根据待分割图像生成第三图像矩阵。通过上述方式，充分考虑到用户选择的极值点，生成的热图可以更好提供有效信息，从而提升方案的可行性和可操作性。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的图像区域分割的方法一个可选实施例中，根据第一图像分割区域获取第二热图之后，还可以包括：
根据待分割图像生成第一图像矩阵，其中，第一图像矩阵对应于N个矩阵通道中的红色通道；
根据待分割图像生成第二图像矩阵，其中，第二图像矩阵对应于N个矩阵通道中的绿色通道；
根据待分割图像生成第三图像矩阵，其中，第三图像矩阵对应于N个矩阵通道中的蓝色通道；
根据第一图像分割区域、第二热图、第一图像矩阵、第二图像矩阵以及第三图像矩阵，生成第二图像特征信息，其中，第二图像特征信息为第二图像分割模型的输入信息。
本实施例中，将以3个矩阵通道、1个分割区域通道以及1个第二热图通道为例，介绍了一种生成第二图像特征信息的方式，为了便于理解，请参阅图9，图9为本申请实施例中生成第二图像特征信息的一个实施例示意图，如图所示，本申请采DEXTR的输入格式，输入一个五通道的图像矩阵，也就是说本申请采用的第二图像分割模型输入除了原始图像以外，还包括标注点的信息以及第一图像分割模型输出的第一图像分割区域，为了充分利用M个标注点的信息，生成一个和待分割图像尺寸一样的heatmap，即第二热图，即如图9所示，分别以M个标注点坐标为中心，生成2D高斯分布，然后将第二热图作为第二热图通道(即第四个矩阵通道)的输入，将第一图像分割区域作为分割区域通道(即第五个矩阵通道)的输入，再与另外三个图像矩阵进行合并，得到第二图像特征信息，最后将第二图像特征信息作为第二图像分割模型的输入。其中，三个图像矩阵分别为第一图像矩阵、第二图像矩阵和第三图像矩阵，第一图像矩阵对应于R输入通道，第二图像矩阵对应于G输入通道，第三图像矩阵对应于B输入通道。
本申请在输入第二热图时，给予第二图像分割模型一些先验知识，让第二图像分割模型知道标注点是用户选择的，但是考虑到用户选择的不一定是标注点最佳的点，所以以标注点为中心生成了一个第二热图的分布。
其次，本申请实施例中，提供了一种根据待分割图像生成第二图像特征信息的方法，在根据第一图像分割区域获取第二热图之后，还可以根据待分割图像生成第一图像矩阵，根据待分割图像生成第二图像矩阵，根据待分割图像生成第三图像矩阵，根据第一图像分割区域、第二热图、第一图像矩阵、第二图像矩阵以及第三图像矩阵，生成第二图像特征信息，其中，第二图像特征信息为第二图像分割模型的输入信息。通过上述方式，充分考虑到用户选择的标注点，生成的热图可以更好提供有效信息，从而提升方案的可行性和可操作性。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的图像区域分割的方法一个可选实施例中，通过第二图像分割模型获取待分割图像所对应的第二图像分割区域，可以包括：
通过第二图像分割模型的编码器对第二图像特征信息进行编码，得到第一特征图以及第二特征图，其中，编码器包括中间流量middle flow模块以及空洞深度可分离卷积，空洞深度可分离卷积用于提取第二图像特征信息的特征图，middle flow模块用于重复执行T次，T为大于8的整数；
将第一特征图以及第二特征图进行拼接，得到目标特征图；
通过第二图像分割模型的解码器对目标特征图进行解码，得到第二图像分割区域。
本实施例中，介绍一种第二图像分割模型的结构，本申请采用了两个模型，分别为第一图像分割模型以及第二图像分割模型，首先利用第一阶段的第一图像分割模型获取掩码，通过交互式的方式标记掩码对应修正区域的边界点，并在该边界点生成高斯中心，形成与实例大小对应的第一热图，最后将原图、第一图像分割模型生成的掩码(即第一图像分割区域)和第一热图形成一个5通道的输入矩阵，输入到第二阶段的第二图像分割区域中获得对应的分割结果。
本申请是以第二图像分割模型为基于深度实验V3+版本(DeeplabV3+)结构为例进行介绍的，可以理解的是，还可以采用DeeplabV2模型结构，U-Net、掩码区域卷积神经网络(Mask Region-CNN，Mask R-CNN)或者金字塔场景解析网络(Pyramid Scene ParsingNetwork，PSPNet)等，可以理解的是，第一图像分割模型也可以采用DeeplabV3+，DeeplabV3+是一种高效快速，且能够处理多尺度实例的语义分割算法。
为了便于理解，请参阅图10，图10为本申请实施例中第二图像分割模型的一个结构示意图，如图所示，得到第二图像特征信息之后，将第二图像特征信息输入至第二图像分割模型。其中，第二图像分割模型包括编码器(Encoder)以及解码器(Decoder)，编码器用于获取丰富的高层语义信息，解码器用于逐步恢复边界信息。
通过编码器中的深度卷积神经网络(Deep Convolutional Neural Network，DCNN)对图像特征信息进行编码，即通过双线性插值恢复4倍大小的分辨率，得到第一特征图。采用1*1的卷积处理降低通道数，从而提取到图像特征信息的低层次特征，即可得到第二特征图。通过图像分割模型的解码器中的拼接层(concat)对第一特征图和第二特征图进行拼接，得到目标特征图。接一个大小为3*3的卷积来增强目标特征图，再通过一个插值来进一步恢复4倍分辨率至待分割图像的大小。
可以理解的是，在编码器中主要是由改进后的Xception(Extreme Inception)和空洞空间金字塔组成。为了便于理解，请参阅图11，图11为本申请实施例中Xception模型的一个结构示意图，如图所示，改进后的Xception是用于对图像进行特征提取，具体的结构参数如图11所示，此次不做赘述。在原本的Xception的中间流量(middle flow)模块重复执行8次，改进后的middle flow模块至少重复9次，本申请以重复16次为例，然而这不应理解为对本申请的限定。
编码器还包括空洞深度可分离卷积，将编码器中所有的最大池化操作替代为带有步长的深度可分离卷积，这使本申请能够应用空洞可分离卷积以任意分辨率提取特征图，空洞可分离卷积模型示意图如图12所示，请参阅图12，图12为本申请实施例中空洞深度可分离卷积示意图的一个示意图，输入特征图(第一特征图和第二特征图)按照通道进行分离后，利用图12(a)中的深度卷积操作进行卷积，得到的结果按照通道进行连结后利用图12(b)的逐点卷积操作，得到深度可分离卷积后的结果。另外将图12(a)的深度卷积代替为图12(c)的空洞深度卷积，再进行图12(b)的逐点卷积即可实现空洞深度可分离卷积操作。
编码器中在每个3x3的深度可分离卷积后面加上批次归一化和线性整流函数(Rectified Linear Unit，ReLU))激活函数。改进的Xception模型具有很强的特征提取性能，通过深度可分离卷积在保证模型性能的同时，可以大幅度降低参数量和计算量。
编码器中使用了空洞空间金字塔，该空洞空间金字塔是用于捕获多尺度信息，从而实现处理不同尺度的实例。原图经过改进后的Xception处理，在特征图分辨率下降为原来1/16之后输入到空洞空间金字塔结构中。如图10中编码器部分所示，空洞空间金字塔是由一个1x1卷积、三个3x3的采样率rate＝{6,12,18}的空洞卷积和一个全局平局池化组成，它们是处于并行的位置。
空洞空间金字塔的五个并行操作后得到的结果按照通道进行连结，然后通过一个1x1的卷积操作得到编码器最后的输出结果，即得到第二图像分割区域。
其次，本申请实施例中，提供了一种通过第二图像分割模型获取第二图像分割区域的方法，即首先通过第二图像分割模型的编码器对第二图像特征信息进行编码，得到第一特征图以及第二特征图，然后将第一特征图以及第二特征图进行拼接，得到目标特征图，最后通过第二图像分割模型的解码器对目标特征图进行解码，得到第二图像分割区域。通过上述方式，采用一种基于DeeplabV3+的模型结构进行图像分割区域的预测，而DeeplabV3+模型结构总体参数量较少，因此，无论在训练还是实际预测都具有较快的运行速度，应用于辅助分割工具上能够更快地响应用户操作，提升使用效率，增强用户粘度。此外，利用了改进的Xception模型，在保证特征提取性能的同时利用深度可分离卷积减小模型大小，来提高分割速度。另外，利用了空洞空间金字塔，构造出多空洞率的卷积操作和池化操作，获取多尺度信息，可以帮助模型处理多尺度的实例。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的图像区域分割的方法一个可选实施例中，通过第二图像分割模型的解码器对目标特征图进行解码，得到第二图像分割区域，可以包括：
通过第二图像分割模型的解码器对目标特征图进行解码，得到第一像素点集合以及第二像素点集合，其中，第一像素点集合包括多个第一像素点，第二像素点集合包括第二像素点；
根据第一像素点集合以及第二像素点集合，生成第二图像分割区域。
本实施例中，介绍了一种基于第二图像分割模型生成第二图像分割区域的方法，在图像分割区域对目标特征图进行解码之后，得到第一像素点集合以及第二像素点集合，这里的第一像素点集合属于目标对象的像素点，比如可以表示为“1”第二像素点集合属于背景，比如可以表示为“0”，由第一像素点集合以及第二像素点集合共同构成第二图像分割区域，也就是在第二图像分割区域中可以看到目标对象的分割结果。
编码-解码结构可以通过逐渐恢复空间信息获得物体的边缘信息，DeeplabV3+模型结构在DeeplabV3模型结构的基础上增加了一个解码器来增强物体边缘的分割。
DeeplabV3+模型中的解码器利用了编码器输出的高层语义信息，以及编码器中特征图分辨率为原图分辨率1/4的特征图，进行解码操作。如图10所示，编码器输出的具有丰富细节信息的低层特征图经过一个1x 1的卷积操作(该操作主要是用于降低低层特征图的通道数，从而降低低层特征图的比重)，得到新的低层特征图。编码器输出的具有丰富语义信息的高层特征图经过4倍上采用后得到新的高层特征图。新的低层特征图和新的高层特征图按照通道进行拼接，得到的结果通过一个3x3卷积操作后进行4倍上采用，得到与原图大小一样的特征图，作为解码器的最终输出。在解码器中通过利用高层的语义信息和低层的细节信息从而提高了模型的性能。
进一步地，本申请实施例中，提供了一种利用第二图像分割模型解码得到第二图像分割区域的方法，首先通过第二图像分割模型的解码器对目标特征图进行解码，得到第一像素点集合以及第二像素点集合，根据第一像素点集合以及第二像素点集合，生成第二图像分割区域。通过上述方式，为方案的实现提供了具体的依据，并且基于第二图像分割模型的结构对特征进行解码，从而有利于提升第二图像分割模型应用的可靠性。
结合上述介绍，下面将对本申请中模型训练的方法进行介绍，请参阅图13，本申请实施例中模型训练的方法一个实施例包括：
201、获取待训练图像集合，其中，待训练图像集合包括至少一个待训练图像；
本实施例中，模型训练装置获取待训练图像集合，其中，待训练图像集合包括至少一个待训练图像，待训练图像中包括实例原图，比如“马”、“人”、“电视”或者“楼房”等。可以理解的是，模型训练过程中可以采用Pascal-VOC2012数据集中的train训练集作为待训练图像集合，此次不做限定。
202、通过第一图像分割模型获取待训练图像的第一预测分割区域，其中，第一图像分割模型为预先训练得到的图像分割模型；
本实施例中，模型训练装置将待训练图像输入至预先训练好的第一图像分割模型，由该第一图像分割模型输出待训练图像所对应的第一预测分割区域。第一预测分割区域包括前景和背景，其中，前景的像素点可以表示为“1”，背景的像素点可以表示为“0”。该第一预测分割区域为一个mask图像。
203、根据待训练图像的真实分割区域以及第一预测分割区域，生成待训练热图，其中，待训练热图是由至少一个差异点生成的；
本实施例中，模型训练装置根据待训练图像的第一预测分割区域和真实分割区域，自动生成至少一个差异点，然后通过至少一个差异点生成相应的待训练热图。其中，自动生成至少一个差异点的过程就是模拟用户标记标注点的过程。真实分割区域是基于待训练图像分割出来的实际分割区域。
204、根据待训练图像、第一预测分割区域、待训练热图以及真实分割区域，通过待训练图像分割模型获取第二预测分割区域；
本实施例中，模型训练装置获取到四个输入信息，分别为待训练图像(原图)、第一预测分割区域、待训练热图以及真实分割区域，然后利用这四个输入信息对待训练图像分割模型进行训练，即，将待训练图像、第一预测分割区域、待训练热图以及真实分割区域输入至待训练图像分割模型，通过该待训练图像分割模型输出一个对应的第二预测分割区域，该第二预测分割区域为一个mask图像。
205、根据第二预测分割区域以及真实分割区域，采用目标损失函数确定待训练图像分割模型所对应的模型参数；
本实施例中，模型训练装置基于第二预测分割区域和真实分割区域，采用目标损失函数来训练第二阶段所需要的待训练图像分割模型。训练阶段所采用的待训练图像集合中可以包括1464个待训练图像，且共包括3507个实例。首先选择第一阶段中靠前的迭代次数(epoch)的第一图像分割模型，即该第一图像分割模型在待训练图像集合上的分割结果并非很好，利用第一图像分割模型测试待训练图像集合，得到对应的第一预测分割区域(mask图像)，再获取每个实例原图的差异点，在差异点的位置生成一个高斯中心，形成待训练热图，最后将尺寸为a*b(比如512*512)的实例原图、第一预测分割区域、真实分割区域和待预测热图输入至待训练图像分割模型中进行训练。
训练过程中，我们设置动量为0.9，权重衰减为0.0005，学习速率为10-8，批尺寸(batchsize)为5，一共设置了100个epoch，同时每5个epoch，利用训练的定待训练图像分割模型更新待训练图像集合的生成mask图像。
206、采用模型参数对待训练图像分割模型进行训练，得到第二图像分割模型。
本实施例中，模型训练装置在目标损失函数收敛时，确定待训练图像分割模型的模型参数，该模型参数用于更新待训练图像分割模型，从而得到第二图像分割模型。
本申请实施例中，提供了一种模型训练的方法，即先获取待训练图像集合，然后通过第一图像分割模型获取待训练图像的第一预测分割区域，再根据待训练图像的真实分割区域以及第一预测分割区域，生成待训练热图，根据待训练图像、第一预测分割区域、待训练热图以及真实分割区域，通过待训练图像分割模型获取第二预测分割区域，最后根据第二预测分割区域以及真实分割区域，采用目标损失函数确定待训练图像分割模型所对应的模型参数，采用模型参数对待训练图像分割模型进行训练，得到第二图像分割模型。通过上述方式，在第一阶段分割算法的基础上可以获得更高的平均交互比(mean IntersectionOver Union，mIOU)值，从而训练得到第二图像分割模型，基于第一图像分割模型和第二图像分割模型，可以更准确地预测出图像的分割结果。
可选地，在上述图13对应的各个实施例的基础上，本申请实施例提供的模型训练的方法一个可选实施例中，目标损失函数可以表示为：
Loss＝Pos_loss*(Neg_num/Total_num)+Neg_loss*(Pos_num/Total_num)；
其中，Loss表示目标损失函数，Pos_loss表示第二预测分割区域的正样本损失之和，Neg_loss表示第二预测分割区域的负样本损失之和，Pos_num表示真实分割区域中的正样本数量，Neg_num表示真实分割区域中的负样本数量，Total_num表示正样本数量与负样本数量之和。
本实施例中，介绍了目标损失函数的具体实现，即目标损失函数为利用了正负平衡的交叉熵损失函数，具体地，根据第二图像分割模型的解码器输出的结果通过softmax函数得到概率图，并与真实分割区域进行对比，计算损失。本申请中的损失函数采用了正负平衡的交叉熵损失函数。正负平衡的交叉熵损失函数是在原来标准交叉熵损失函数的基础上考虑了正负样本数量的问题，通过计算真实分割区域中正样本的个数和负样本的个数，获得正负样本的比例。在计算完交叉熵损失之后，正样本的损失乘上负样本比例，负样本的损失乘上正样本比例，二者相加得到最后的损失，正负平衡的交叉熵损失函数(即目标损失函数可以表示为)如下：
Loss＝Pos_loss*(Neg_num/Total_num)+Neg_loss*(Pos_num/Total_num)；
其中，Loss表示目标损失函数，Pos_loss表示第二预测分割区域的正样本损失之和，Neg_loss表示第二预测分割区域的负样本损失之和，Pos_num表示真实分割区域中的正样本数量，Neg_num表示真实分割区域中的负样本数量，Total_num表示正样本数量与负样本数量之和。正样本为真实分割区域的正点(即前景的点)，负样本为真实分割区域的负点(即背景的点)。
其次，本申请实施例中，提供了一种利用了正负平衡的交叉熵损失函数，可以使得模型在训练时候能够更好处理正负损失，避免模型向数量较多的方向倾斜，导致训练失败，由此提升训练的可靠性。
可选地，在上述图13对应的各个实施例的基础上，本申请实施例提供的模型训练的方法一个可选实施例中，根据待训练图像的真实分割区域以及第一预测分割区域，生成待训练热图，可以包括：
根据真实分割区域以及第一预测分割区域确定差异图，其中，差异图表示真实分割区域与第一预测分割区域不一致的区域；
根据差异图确定第一候选区域以及第二候选区域；
根据第一候选区域以及第二候选区域选择至少一个差异点；
根据至少一个差异点生成待训练热图。
本实施例中，介绍了一种自动生成待训练热图的方法，在第二阶段辅助分割算法中，需要利用到第一阶段辅助分割算法得到的生成掩码与实例的真实掩码之间的最大差异点，而在训练过程中无需人工去描绘最大差异点，因此通过以下方法模拟生成差异点。
具体地，首先将原图、原图对应的真实分割区域和第一阶段辅助分割模型输出的第一预测分割区域进行“捆绑”，使得三者在读取的时候对应关系是一致的。为了便于理解，请参阅图14，图14为本申请实施例中实例原图的一个示意图，如图所示，读取一张原图后，由于“捆绑”关系，可以利用原图对应的真实分割区域上面的像素值，将实例从真实分割区域中提取出来，然后计算出该实例对应的上端点、下端点、左端点和右端点，共四个极端点。接着利用四个极端点对原图、真实掩码和生成掩码进行裁剪，获取对应的实例部分。其中，取样图通过边界框(Bounding Box，BBox)提取得到，为了考虑背景的因素，裁剪的时候是在取样图的边界框周围浮动50个像素点，从而得到实例原图。
而真实掩码(即真实分割区域)和生成掩码(即第一预测分割区域)则进行像素补0，然后将裁剪后的实例原图、实例真实掩码和实例生成掩码进行尺寸调整，使得它们的分辨率为512*512，可以理解的是，上述分辨率仅为一个示意，不并理解为对本申请的限定。
为了获取真实掩码(即真实分割区域)和生成掩码(即第一预测分割区域)之间差异点(可以是一个最大差异点)，首先需要计算出尺寸调整后的真实掩码(即真实分割区域)和生成掩码(即第一预测分割区域)之间所有的差异点。
为了便于理解，请参阅图15，图15为本申请实施例中选择差异点的一个实施例示意图，如图所示，具体地，首先判断真实掩码(即真实分割区域)和生成掩码(即第一预测分割区域)之间对应的位置像素是否一致，从而得到一个差异图，差异图可以表示为如图15所示的S1区域和S2区域。针对差异图计算连通域，获得连通域中最大的区域作为候选区域1，由于S2区域大于S1区域，因此，将S2区域作为候选区域1。同时，计算出实例的真实掩码(即真实分割区域)边界(或者中心位置)，将该边界(或者中心位置)作为候选区域2，最后，从候选区域1和候选区域2的交集中随机选择至少一个差异点，比如图15所示的D1点为随机选择的差异点。根据这至少一个差异点可以生产待训练热图。
其次，本申请实施例中，提供了一种自动生成待训练热图的方法，即根据真实分割区域以及第一预测分割区域确定差异图，然后根据差异图确定第一候选区域以及第二候选区域，再根据第一候选区域以及第二候选区域选择至少一个差异点，最后根据至少一个差异点生成待训练热图。通过上述方式，在训练的过程中无需人工参与差异点的标注，而是利用了注意力的机制，在生成预测掩码和真实掩码的差异点处生成高斯中心，形成热图，提高模型对该区域的关注。
下面对本申请中的图像区域分割装置进行详细描述，请参阅图16，图16为本申请实施例中图像区域分割装置一个实施例示意图，图像区域分割装置30包括：
获取模块301，用于获取待分割图像，其中，所述待分割图像包括多个极值点；
生成模块302，用于根据所述获取模块301获取的所述待分割图像生成第一图像特征信息，其中，所述第一图像特征信息包括N个图像矩阵以及第一热图，所述第一热图为根据所述多个极值点生成的，所述N为大于或等于1的整数；
所述获取模块301，用于通过第一图像分割模型获取所述生成模块302生成的所述第一图像特征信息所对应的第一图像分割区域，其中，所述第一图像分割模型包括包括N个第一矩阵通道以及第一热图通道，所述N个第一矩阵通道与所述N个图像矩阵具有一一对应的关系，所述第一热图通道与所述第一热图具有对应关系；
所述获取模块301，还用于根据所述第一图像分割区域获取第二热图，其中，所述第二热图为根据标注点生成的；
所述获取模块301，还用于通过第二图像分割模型获取所述待分割图像所对应的第二图像分割区域，其中，所述第二图像分割模型包括N个第二矩阵通道、分割区域通道以及第二热图通道，所述N个第二矩阵通道与所述N个图像矩阵具有一一对应的关系，所述分割区域通道与所述第一图像分割区域具有对应关系，所述第二热图通道与所述第二热图具有对应关系。
本实施例中，获取模块301获取待分割图像，其中，所述待分割图像包括多个极值点，生成模块302根据所述获取模块301获取的所述待分割图像生成第一图像特征信息，其中，所述第一图像特征信息包括N个图像矩阵以及第一热图，所述第一热图为根据所述多个极值点生成的，所述N为大于或等于1的整数，所述获取模块301通过第一图像分割模型获取所述生成模块302生成的所述第一图像特征信息所对应的第一图像分割区域，其中，所述第一图像分割模型包括包括N个第一矩阵通道以及第一热图通道，所述N个第一矩阵通道与所述N个图像矩阵具有一一对应的关系，所述第一热图通道与所述第一热图具有对应关系，所述获取模块301根据所述第一图像分割区域获取第二热图，其中，所述第二热图为根据标注点生成的，所述获取模块301通过第二图像分割模型获取所述待分割图像所对应的第二图像分割区域，其中，所述第二图像分割模型包括N个第二矩阵通道、分割区域通道以及第二热图通道，所述N个第二矩阵通道与所述N个图像矩阵具有一一对应的关系，所述分割区域通道与所述第一图像分割区域具有对应关系，所述第二热图通道与所述第二热图具有对应关系。
本申请实施例中，提供了一种图像区域分割装置，通过上述方式，将图像分割的过程分为两个阶段，通过第二个阶段的辅助分割，可以对第一阶段图像分割中效果较差的区域进行进一步分割，从而得到更为准确的图像分割结果，无需消耗大量时间来修正图像分割结果，由此提高图像分割的性能。
可选地，在上述图16所对应的实施例的基础上，本申请实施例提供的图像区域分割装置30的另一实施例中，
所述获取模块301，具体用于展示待处理图像，其中，所述待处理图像中包括目标对象；
接收物体标注指令，其中，所述物体标注指令携带所述目标对象所对应的第一极值点位置信息、第二极值点位置信息、第三极值点位置信息以及第四极值点位置信息；
响应于所述物体标注指令，根据所述待处理图像生成所述待分割图像。
其次，本申请实施例中，提供了一种标注极值点的方法，通过上述方式，能够利用辅助分割工具对待处理图像进行标注，辅助分割工具的操作难度较低，使用的便利性较高，从而提升方案的可行性和可操作性。
可选地，在上述图16所对应的实施例的基础上，本申请实施例提供的图像区域分割装置30的另一实施例中，
所述获取模块301，具体用于接收第一标注指令，其中，所述第一标注指令携带M个标注点，所述标注点位于所述第一图像分割区域的区域内部，所述M为大于或等于1的整数；
响应于所述第一标注指令，根据所述第一标注指令中携带的所述M个标注点生成所述第二热图。
其次，本申请实施例中，提供了一种根据标注点生成第二热图的方法，通过上述方式，能够利用辅助分割工具对初步预测得到的第一图像分割区域进行二次标注，一方面辅助分割工具的操作难度较低，使用的便利性较高，另一方面，经过二次标注能够生成更为准确的图像分割结果，从而提升方案的可操作性和可行性。
可选地，在上述图16所对应的实施例的基础上，本申请实施例提供的图像区域分割装置30的另一实施例中，
所述获取模块301，具体用于接收第二标注指令，其中，所述第二标注指令携带M个标注点，所述标注点位于所述第一图像分割区域的区域外部，所述M为大于或等于1的整数；
响应于所述第二标注指令，根据所述第二标注指令中携带的所述M个标注点生成所述第二热图。
其次，本申请实施例中，提供了另一种根据标注点生成第二热图的方法，通过上述方式，能够利用辅助分割工具对初步预测得到的第一图像分割区域进行二次标注，一方面辅助分割工具的操作难度较低，使用的便利性较高，另一方面，经过二次标注能够生成更为准确的图像分割结果，从而提升方案的可操作性和可行性。
可选地，在上述图16所对应的实施例的基础上，本申请实施例提供的图像区域分割装置30的另一实施例中，
所述生成模块302，具体用于根据所述待分割图像中的所述多个极值点生成所述第一热图；
根据所述待分割图像生成第一图像矩阵，其中，所述第一图像矩阵对应于所述N个矩阵通道中的红色通道；
根据所述待分割图像生成第二图像矩阵，其中，所述第二图像矩阵对应于所述N个矩阵通道中的绿色通道；
根据所述待分割图像生成第三图像矩阵，其中，所述第三图像矩阵对应于所述N个矩阵通道中的蓝色通道；
根据所述第一热图、所述第一图像矩阵、所述第二图像矩阵以及所述第三图像矩阵，生成所述第一图像特征信息。
其次，本申请实施例中，提供了一种根据待分割图像生成第一图像特征信息的方法，通过上述方式，充分考虑到用户选择的极值点，生成的热图可以更好提供有效信息，从而提升方案的可行性和可操作性。
可选地，在上述图16所对应的实施例的基础上，本申请实施例提供的图像区域分割装置30的另一实施例中，
所述生成模块302，还用于所述获取模块301根据所述第一图像分割区域获取第二热图之后，根据所述待分割图像生成第一图像矩阵，其中，所述第一图像矩阵对应于所述N个矩阵通道中的红色通道；
根据所述待分割图像生成第二图像矩阵，其中，所述第二图像矩阵对应于所述N个矩阵通道中的绿色通道；
根据所述待分割图像生成第三图像矩阵，其中，所述第三图像矩阵对应于所述N个矩阵通道中的蓝色通道；
根据所述第一图像分割区域、所述第二热图、所述第一图像矩阵、所述第二图像矩阵以及所述第三图像矩阵，生成所述第二图像特征信息，其中，所述第二图像特征信息为所述第二图像分割模型的输入信息。
其次，本申请实施例中，提供了一种根据待分割图像生成第二图像特征信息的方法，通过上述方式，充分考虑到用户选择的标注点，生成的热图可以更好提供有效信息，从而提升方案的可行性和可操作性。
可选地，在上述图16所对应的实施例的基础上，本申请实施例提供的图像区域分割装置30的另一实施例中，
所述获取模块301，具体用于通过所述第二图像分割模型的编码器对所述第二图像特征信息进行编码，得到第一特征图以及第二特征图，其中，所述编码器包括中间流量middle flow模块以及空洞深度可分离卷积，所述空洞深度可分离卷积用于提取所述第二图像特征信息的特征图，所述middle flow模块用于重复执行T次，所述T为大于8的整数；
将所述第一特征图以及所述第二特征图进行拼接，得到目标特征图；
通过所述第二图像分割模型的解码器对所述目标特征图进行解码，得到所述第二图像分割区域。
其次，本申请实施例中，提供了一种通过第二图像分割模型获取第二图像分割区域的方法，采用一种基于DeeplabV3+的模型结构进行图像分割区域的预测，而DeeplabV3+模型结构总体参数量较少，因此，无论在训练还是实际预测都具有较快的运行速度，应用于辅助分割工具上能够更快地响应用户操作，提升使用效率，增强用户粘度。此外，利用了改进的Xception模型，在保证特征提取性能的同时利用深度可分离卷积减小模型大小，来提高分割速度。另外，利用了空洞空间金字塔，构造出多空洞率的卷积操作和池化操作，获取多尺度信息，可以帮助模型处理多尺度的实例。
可选地，在上述图16所对应的实施例的基础上，本申请实施例提供的图像区域分割装置30的另一实施例中，
所述获取模块301，具体用于通过所述第二图像分割模型的解码器对所述目标特征图进行解码，得到第一像素点集合以及第二像素点集合，其中，所述第一像素点集合包括多个第一像素点，所述第二像素点集合包括第二像素点；
根据所述第一像素点集合以及所述第二像素点集合，生成所述第二图像分割区域。
进一步地，本申请实施例中，提供了一种利用第二图像分割模型解码得到第二图像分割区域的方法，首先通过第二图像分割模型的解码器对目标特征图进行解码，得到第一像素点集合以及第二像素点集合，根据第一像素点集合以及第二像素点集合，生成第二图像分割区域。通过上述方式，为方案的实现提供了具体的依据，并且基于第二图像分割模型的结构对特征进行解码，从而有利于提升第二图像分割模型应用的可靠性。
下面对本申请中的模型训练装置进行详细描述，请参阅图17，图17为本申请实施例中模型训练装置一个实施例示意图，模型训练装置40包括：
获取模块401，用于获取待训练图像集合，其中，所述待训练图像集合包括至少一个待训练图像；
所述获取模块401，还用于通过第一图像分割模型获取待训练图像的第一预测分割区域，其中，所述第一图像分割模型为预先训练得到的图像分割模型；
生成模块402，用于根据所述待训练图像的真实分割区域以及所述获取模块401获取的所述第一预测分割区域，生成待训练热图，其中，所述待训练热图是由至少一个差异点生成的；
所述获取模块401，还用于根据所述待训练图像、所述第一预测分割区域、所述生成模块402生成的所述待训练热图以及所述真实分割区域，通过待训练图像分割模型获取第二预测分割区域；
确定模块403，用于根据所述获取模块401获取的所述第二预测分割区域以及所述真实分割区域，采用目标损失函数确定所述待训练图像分割模型所对应的模型参数；
训练模块404，用于采用所述确定模块403确定的所述模型参数对所述待训练图像分割模型进行训练，得到第二图像分割模型。
本实施例中，获取模块401获取待训练图像集合，其中，所述待训练图像集合包括至少一个待训练图像，所述获取模块401通过第一图像分割模型获取待训练图像的第一预测分割区域，其中，所述第一图像分割模型为预先训练得到的图像分割模型，生成模块402根据所述待训练图像的真实分割区域以及所述获取模块401获取的所述第一预测分割区域，生成待训练热图，其中，所述待训练热图是由至少一个差异点生成的，所述获取模块401根据所述待训练图像、所述第一预测分割区域、所述生成模块402生成的所述待训练热图以及所述真实分割区域，通过待训练图像分割模型获取第二预测分割区域，确定模块403根据所述获取模块401获取的所述第二预测分割区域以及所述真实分割区域，采用目标损失函数确定所述待训练图像分割模型所对应的模型参数，训练模块404采用所述确定模块403确定的所述模型参数对所述待训练图像分割模型进行训练，得到第二图像分割模型。
本申请实施例中，提供了一种模型训练的方法，通过上述方式，在第一阶段分割算法的基础上可以获得更高的mIOU值，从而训练得到第二图像分割模型，基于第一图像分割模型和第二图像分割模型，可以更准确地预测出图像的分割结果。
可选地，在上述图17所对应的实施例的基础上，本申请实施例提供的模型训练装置40的另一实施例中，
所述目标损失函数表示为：
Loss＝Pos_loss*(Neg_num/Total_num)+Neg_loss*(Pos_num/Total_num)；
其中，所述Loss表示所述目标损失函数，所述Pos_loss表示所述第二预测分割区域的正样本损失之和，所述Neg_loss表示所述第二预测分割区域的负样本损失之和，所述Pos_num表示所述真实分割区域中的正样本数量，所述Neg_num表示所述真实分割区域中的负样本数量，所述Total_num表示所述正样本数量与所述负样本数量之和。
其次，本申请实施例中，提供了一种利用了正负平衡的交叉熵损失函数，可以使得模型在训练时候能够更好处理正负损失，避免模型向数量较多的方向倾斜，导致训练失败，由此提升训练的可靠性。
可选地，在上述图17所对应的实施例的基础上，本申请实施例提供的模型训练装置40的另一实施例中，
所述生成模块402，具体用于根据所述真实分割区域以及所述第一预测分割区域确定差异图，其中，所述差异图表示所述真实分割区域与所述第一预测分割区域不一致的区域；
根据所述差异图确定第一候选区域以及第二候选区域；
根据所述第一候选区域以及所述第二候选区域选择所述至少一个差异点；
根据所述至少一个差异点生成所述待训练热图。
其次，本申请实施例中，提供了一种自动生成待训练热图的方法，即根据真实分割区域以及第一预测分割区域确定差异图，然后根据差异图确定第一候选区域以及第二候选区域，再根据第一候选区域以及第二候选区域选择至少一个差异点，最后根据至少一个差异点生成待训练热图。通过上述方式，在训练的过程中无需人工参与差异点的标注，而是利用了注意力的机制，在生成预测掩码和真实掩码的差异点处生成高斯中心，形成热图，提高模型对该区域的关注。
本申请实施例还提供了另一种图像区域分割装置，如图18所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(PersonalDigitalAssistant，PDA)、销售终端设备(PointofSales，POS)、车载电脑等任意终端设备，以终端设备为手机为例：
图18示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图18，手机包括：射频(RadioFrequency，RF)电路510、存储器520、输入单元530、显示单元540、传感器550、音频电路560、无线保真(wirelessfidelity，WiFi)模块570、处理器580、以及电源590等部件。本领域技术人员可以理解，图18中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图18对手机的各个构成部件进行具体的介绍：
RF电路510可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器580处理；另外，将设计上行的数据发送给基站。通常，RF电路510包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(LowNoiseAmplifier，LNA)、双工器等。此外，RF电路510还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystemofMobilecommunication，GSM)、通用分组无线服务(GeneralPacketRadioService，GPRS)、码分多址(CodeDivisionMultipleAccess，CDMA)、宽带码分多址(WidebandCodeDivisionMultipleAccess,WCDMA)、长期演进(LongTermEvolution，LTE)、电子邮件、短消息服务(ShortMessagingService，SMS)等。
存储器520可用于存储软件程序以及模块，处理器580通过运行存储在存储器520的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器520可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元530可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元530可包括触控面板531以及其他输入设备532。触控面板531，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板531上或在触控面板531附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板531可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器580，并能接收处理器580发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板531。除了触控面板531，输入单元530还可以包括其他输入设备532。具体地，其他输入设备532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元540可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元540可包括显示面板541，可选的，可以采用液晶显示器(LiquidCrystalDisplay，LCD)、有机发光二极管(OrganicLight-EmittingDiode，OLED)等形式来配置显示面板541。进一步的，触控面板531可覆盖显示面板541，当触控面板531检测到在其上或附近的触摸操作后，传送给处理器580以确定触摸事件的类型，随后处理器580根据触摸事件的类型在显示面板541上提供相应的视觉输出。虽然在图18中，触控面板531与显示面板541是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板531与显示面板541集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器550，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板541的亮度，接近传感器可在手机移动到耳边时，关闭显示面板541和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路560、扬声器561，传声器562可提供用户与手机之间的音频接口。音频电路560可将接收到的音频数据转换后的电信号，传输到扬声器561，由扬声器561转换为声音信号输出；另一方面，传声器562将收集的声音信号转换为电信号，由音频电路560接收后转换为音频数据，再将音频数据输出处理器580处理后，经RF电路510以发送给比如另一手机，或者将音频数据输出至存储器520以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块570可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图18示出了WiFi模块570，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器580是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器520内的软件程序和/或模块，以及调用存储在存储器520内的数据，执行手机的各种功能和处理数据。可选的，处理器580可包括一个或多个处理单元；可选的，处理器580可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器580中。
手机还包括给各个部件供电的电源590(比如电池)，可选的，电源可以通过电源管理系统与处理器580逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本申请实施例中，该终端设备所包括的处理器580还具有以下功能：
获取待分割图像，其中，所述待分割图像包括多个极值点；
根据所述待分割图像生成第一图像特征信息，其中，所述第一图像特征信息包括N个图像矩阵以及第一热图，所述第一热图为根据所述多个极值点生成的，所述N为大于或等于1的整数；
通过第一图像分割模型获取所述第一图像特征信息所对应的第一图像分割区域，其中，所述第一图像分割模型包括包括N个第一矩阵通道以及第一热图通道，所述N个第一矩阵通道与所述N个图像矩阵具有一一对应的关系，所述第一热图通道与所述第一热图具有对应关系；
根据所述第一图像分割区域获取第二热图，其中，所述第二热图为根据标注点生成的；
通过第二图像分割模型获取所述待分割图像所对应的第二图像分割区域，其中，所述第二图像分割模型包括N个第二矩阵通道、分割区域通道以及第二热图通道，所述N个第二矩阵通道与所述N个图像矩阵具有一一对应的关系，所述分割区域通道与所述第一图像分割区域具有对应关系，所述第二热图通道与所述第二热图具有对应关系。
图19是本申请实施例提供的一种服务器结构示意图，该服务器600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessingunits，CPU)622(例如，一个或一个以上处理器)和存储器632，一个或一个以上存储应用程序642或数据644的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器632和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器622可以设置为与存储介质630通信，在服务器600上执行存储介质630中的一系列指令操作。
服务器600还可以包括一个或一个以上电源626，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口658，和/或，一个或一个以上操作系统641，例如WindowsServerTM，MacOSXTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图19所示的服务器结构。
在本申请实施例中，该服务器所包括的CPU622还具有以下功能：
获取待训练图像集合，其中，所述待训练图像集合包括至少一个待训练图像；
通过第一图像分割模型获取待训练图像的第一预测分割区域，其中，所述第一图像分割模型为预先训练得到的图像分割模型；
根据所述待训练图像的真实分割区域以及所述第一预测分割区域，生成待训练热图，其中，所述待训练热图是由至少一个差异点生成的；
根据所述待训练图像、所述第一预测分割区域、所述待训练热图以及所述真实分割区域，通过待训练图像分割模型获取第二预测分割区域；
根据所述第二预测分割区域以及所述真实分割区域，采用目标损失函数确定所述待训练图像分割模型所对应的模型参数；
采用所述模型参数对所述待训练图像分割模型进行训练，得到第二图像分割模型。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (21)

1.一种图像区域分割的方法，其特征在于，包括：
获取待分割图像，其中，所述待分割图像包括多个极值点；
根据所述待分割图像生成第一图像特征信息，其中，所述第一图像特征信息包括N个图像矩阵以及第一热图，所述第一热图与所述待分割图像尺寸相同，所述第一热图为根据所述多个极值点生成的，所述N为大于或等于1的整数；
通过第一图像分割模型获取所述第一图像特征信息所对应的第一图像分割区域，其中，所述第一图像分割模型包括N个第一矩阵通道以及第一热图通道，所述N个第一矩阵通道与所述N个图像矩阵具有一一对应的关系，所述第一热图通道与所述第一热图具有对应关系；
根据所述第一图像分割区域获取第二热图，其中，所述第二热图为根据标注点生成的，所述第二热图与所述待分割图像尺寸相同；
根据所述待分割图像生成第一图像矩阵，其中，所述第一图像矩阵对应于所述N个矩阵通道中的红色通道；
根据所述待分割图像生成第二图像矩阵，其中，所述第二图像矩阵对应于所述N个矩阵通道中的绿色通道；
根据所述待分割图像生成第三图像矩阵，其中，所述第三图像矩阵对应于所述N个矩阵通道中的蓝色通道；
根据所述第一图像分割区域、所述第二热图、所述第一图像矩阵、所述第二图像矩阵以及所述第三图像矩阵，生成第二图像特征信息，其中，所述第二图像特征信息为第二图像分割模型的输入信息；
通过第二图像分割模型获取所述待分割图像所对应的第二图像分割区域，其中，所述第二图像分割模型包括N个第二矩阵通道、分割区域通道以及第二热图通道，所述N个第二矩阵通道与所述N个图像矩阵具有一一对应的关系，所述分割区域通道与所述第一图像分割区域具有对应关系，所述第二热图通道与所述第二热图具有对应关系；
其中，在生成热图的过程中，若识别出来的区域标记为负点，则在生成热图时乘以-1，若是识别出来的区域标记点为正点，则在生成热图的过程中乘以1，所述热图的生成过程包括：
为离散点设定一个半径，创建一个缓冲区；
对每个离散点的缓冲区，使用渐进的灰度带从内而外，由浅至深地填充；
对于有缓冲区交叉的区域，叠加灰度值，其中，缓冲区交叉的越多，灰度值越大，这块区域也就越热；
以叠加后的灰度值为索引，从色带中映射颜色，并对图像重新着色，从而生成热图。
2.根据权利要求1所述的方法，其特征在于，所述获取待分割图像，包括：
展示待处理图像，其中，所述待处理图像中包括目标对象；
接收物体标注指令，其中，所述物体标注指令携带所述目标对象所对应的第一极值点位置信息、第二极值点位置信息、第三极值点位置信息以及第四极值点位置信息；
响应于所述物体标注指令，根据所述待处理图像生成所述待分割图像。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像分割区域获取第二热图，包括：
接收第一标注指令，其中，所述第一标注指令携带M个标注点，所述标注点位于所述第一图像分割区域的区域内部，所述M为大于或等于1的整数；
响应于所述第一标注指令，根据所述第一标注指令中携带的所述M个标注点生成所述第二热图；
或，所述根据所述第一图像分割区域获取第二热图，包括：
接收第二标注指令，其中，所述第二标注指令携带M个标注点，所述标注点位于所述第一图像分割区域的区域外部，所述M为大于或等于1的整数；
响应于所述第二标注指令，根据所述第二标注指令中携带的所述M个标注点生成所述第二热图。
4.根据权利要求1所述的方法，其特征在于，所述根据所述待分割图像生成第一图像特征信息，包括：
根据所述待分割图像中的所述多个极值点生成所述第一热图；
根据所述待分割图像生成第一图像矩阵，其中，所述第一图像矩阵对应于所述N个矩阵通道中的红色通道；
根据所述待分割图像生成第二图像矩阵，其中，所述第二图像矩阵对应于所述N个矩阵通道中的绿色通道；
根据所述待分割图像生成第三图像矩阵，其中，所述第三图像矩阵对应于所述N个矩阵通道中的蓝色通道；
根据所述第一热图、所述第一图像矩阵、所述第二图像矩阵以及所述第三图像矩阵，生成所述第一图像特征信息。
5.根据权利要求1所述的方法，其特征在于，所述通过第二图像分割模型获取所述待分割图像所对应的第二图像分割区域，包括：
通过所述第二图像分割模型的编码器对所述第二图像特征信息进行编码，得到第一特征图以及第二特征图，其中，所述编码器包括中间流量middle flow模块以及空洞深度可分离卷积，所述空洞深度可分离卷积用于提取所述第二图像特征信息的特征图，所述middleflow模块用于重复执行T次，所述T为大于8的整数；
将所述第一特征图以及所述第二特征图进行拼接，得到目标特征图；
通过所述第二图像分割模型的解码器对所述目标特征图进行解码，得到所述第二图像分割区域。
6.根据权利要求5所述的方法，其特征在于，所述通过所述第二图像分割模型的解码器对所述目标特征图进行解码，得到所述第二图像分割区域，包括：
通过所述第二图像分割模型的解码器对所述目标特征图进行解码，得到第一像素点集合以及第二像素点集合，其中，所述第一像素点集合包括多个第一像素点，所述第二像素点集合包括第二像素点；
根据所述第一像素点集合以及所述第二像素点集合，生成所述第二图像分割区域。
7.一种模型训练的方法，其特征在于，包括：
获取待训练图像集合，其中，所述待训练图像集合包括至少一个待训练图像；
通过第一图像分割模型获取待训练图像的第一预测分割区域，其中，所述第一图像分割模型为预先训练得到的图像分割模型；
根据所述待训练图像的真实分割区域以及所述第一预测分割区域，生成待训练热图，其中，所述待训练热图是由至少一个差异点生成的；
根据所述待训练图像、所述第一预测分割区域、所述待训练热图以及所述真实分割区域，通过待训练图像分割模型获取第二预测分割区域；
根据所述第二预测分割区域以及所述真实分割区域，采用目标损失函数确定所述待训练图像分割模型所对应的模型参数；
采用所述模型参数对所述待训练图像分割模型进行训练，得到第二图像分割模型；
其中，在生成热图的过程中，若识别出来的区域标记为负点，则在生成热图时乘以-1，若是识别出来的区域标记点为正点，则在生成热图的过程中乘以1，所述热图的生成过程包括：
为离散点设定一个半径，创建一个缓冲区；
对每个离散点的缓冲区，使用渐进的灰度带从内而外，由浅至深地填充；
对于有缓冲区交叉的区域，叠加灰度值，其中，缓冲区交叉的越多，灰度值越大，这块区域也就越热；
以叠加后的灰度值为索引，从色带中映射颜色，并对图像重新着色，从而生成热图。
8.根据权利要求7所述的方法，其特征在于，所述目标损失函数表示为：
Loss＝Pos_loss*(Neg_num/Total_num)+Neg_loss*(Pos_num/Total_num)；
其中，所述Loss表示所述目标损失函数，所述Pos_loss表示所述第二预测分割区域的正样本损失之和，所述Neg_loss表示所述第二预测分割区域的负样本损失之和，所述Pos_num表示所述真实分割区域中的正样本数量，所述Neg_num表示所述真实分割区域中的负样本数量，所述Total_num表示所述正样本数量与所述负样本数量之和。
9.根据权利要求7所述的方法，其特征在于，所述根据所述待训练图像的真实分割区域以及所述第一预测分割区域，生成待训练热图，包括：
根据所述真实分割区域以及所述第一预测分割区域确定差异图，其中，所述差异图表示所述真实分割区域与所述第一预测分割区域不一致的区域；
根据所述差异图确定第一候选区域以及第二候选区域；
根据所述第一候选区域以及所述第二候选区域选择所述至少一个差异点；
根据所述至少一个差异点生成所述待训练热图。
10.一种图像区域分割装置，其特征在于，包括：
获取模块，用于获取待分割图像，其中，所述待分割图像包括多个极值点；
生成模块，用于根据所述获取模块获取的所述待分割图像生成第一图像特征信息，其中，所述第一图像特征信息包括N个图像矩阵以及第一热图，所述第一热图与所述待分割图像尺寸相同，所述第一热图为根据所述多个极值点生成的，所述N为大于或等于1的整数；
所述获取模块，用于通过第一图像分割模型获取所述生成模块生成的所述第一图像特征信息所对应的第一图像分割区域，其中，所述第一图像分割模型包括N个第一矩阵通道以及第一热图通道，所述N个第一矩阵通道与所述N个图像矩阵具有一一对应的关系，所述第一热图通道与所述第一热图具有对应关系；
所述获取模块，还用于根据所述第一图像分割区域获取第二热图，其中，所述第二热图为根据标注点生成的，所述第二热图与所述待分割图像尺寸相同；
所述生成模块，还用于根据所述第一图像分割区域获取第二热图之后，根据所述待分割图像生成第一图像矩阵，其中，所述第一图像矩阵对应于所述N个矩阵通道中的红色通道；根据所述待分割图像生成第二图像矩阵，其中，所述第二图像矩阵对应于所述N个矩阵通道中的绿色通道；根据所述待分割图像生成第三图像矩阵，其中，所述第三图像矩阵对应于所述N个矩阵通道中的蓝色通道；根据所述第一图像分割区域、所述第二热图、所述第一图像矩阵、所述第二图像矩阵以及所述第三图像矩阵，生成第二图像特征信息，其中，所述第二图像特征信息为第二图像分割模型的输入信息；
所述获取模块，还用于通过第二图像分割模型获取所述待分割图像所对应的第二图像分割区域，其中，所述第二图像分割模型包括N个第二矩阵通道、分割区域通道以及第二热图通道，所述N个第二矩阵通道与所述N个图像矩阵具有一一对应的关系，所述分割区域通道与所述第一图像分割区域具有对应关系，所述第二热图通道与所述第二热图具有对应关系；
其中，在生成热图的过程中，若识别出来的区域标记为负点，则在生成热图时乘以-1，若是识别出来的区域标记点为正点，则在生成热图的过程中乘以1，所述热图的生成过程包括：
为离散点设定一个半径，创建一个缓冲区；
对每个离散点的缓冲区，使用渐进的灰度带从内而外，由浅至深地填充；
对于有缓冲区交叉的区域，叠加灰度值，其中，缓冲区交叉的越多，灰度值越大，这块区域也就越热；
以叠加后的灰度值为索引，从色带中映射颜色，并对图像重新着色，从而生成热图。
11.根据权利要求10所述的装置，其特征在于，所述获取模块具体用于：
展示待处理图像，其中，所述待处理图像中包括目标对象；
接收物体标注指令，其中，所述物体标注指令携带所述目标对象所对应的第一极值点位置信息、第二极值点位置信息、第三极值点位置信息以及第四极值点位置信息；
响应于所述物体标注指令，根据所述待处理图像生成所述待分割图像。
12.根据权利要求10所述的装置，其特征在于，所述获取模块具体用于：
接收第一标注指令，其中，所述第一标注指令携带M个标注点，所述标注点位于所述第一图像分割区域的区域内部，所述M为大于或等于1的整数；
响应于所述第一标注指令，根据所述第一标注指令中携带的所述M个标注点生成所述第二热图；
或，所述根据所述第一图像分割区域获取第二热图，包括：
接收第二标注指令，其中，所述第二标注指令携带M个标注点，所述标注点位于所述第一图像分割区域的区域外部，所述M为大于或等于1的整数；
响应于所述第二标注指令，根据所述第二标注指令中携带的所述M个标注点生成所述第二热图。
13.根据权利要求10所述的装置，其特征在于，所述生成模块具体用于：
根据所述待分割图像中的所述多个极值点生成所述第一热图；
根据所述待分割图像生成第一图像矩阵，其中，所述第一图像矩阵对应于所述N个矩阵通道中的红色通道；
根据所述待分割图像生成第二图像矩阵，其中，所述第二图像矩阵对应于所述N个矩阵通道中的绿色通道；
根据所述待分割图像生成第三图像矩阵，其中，所述第三图像矩阵对应于所述N个矩阵通道中的蓝色通道；
根据所述第一热图、所述第一图像矩阵、所述第二图像矩阵以及所述第三图像矩阵，生成所述第一图像特征信息。
14.根据权利要求10所述的装置，其特征在于，所述获取模块具体用于：
通过所述第二图像分割模型的编码器对所述第二图像特征信息进行编码，得到第一特征图以及第二特征图，其中，所述编码器包括中间流量middle flow模块以及空洞深度可分离卷积，所述空洞深度可分离卷积用于提取所述第二图像特征信息的特征图，所述middleflow模块用于重复执行T次，所述T为大于8的整数；
将所述第一特征图以及所述第二特征图进行拼接，得到目标特征图；
通过所述第二图像分割模型的解码器对所述目标特征图进行解码，得到所述第二图像分割区域。
15.根据权利要求14所述的装置，其特征在于，所述获取模块具体用于：
通过所述第二图像分割模型的解码器对所述目标特征图进行解码，得到第一像素点集合以及第二像素点集合，其中，所述第一像素点集合包括多个第一像素点，所述第二像素点集合包括第二像素点；
根据所述第一像素点集合以及所述第二像素点集合，生成所述第二图像分割区域。
16.一种模型训练装置，其特征在于，包括：
获取模块，用于获取待训练图像集合，其中，所述待训练图像集合包括至少一个待训练图像；
所述获取模块，还用于通过第一图像分割模型获取待训练图像的第一预测分割区域，其中，所述第一图像分割模型为预先训练得到的图像分割模型；
生成模块，用于根据所述待训练图像的真实分割区域以及所述获取模块获取的所述第一预测分割区域，生成待训练热图，其中，所述待训练热图是由至少一个差异点生成的；
所述获取模块，还用于根据所述待训练图像、所述第一预测分割区域、所述生成模块生成的所述待训练热图以及所述真实分割区域，通过待训练图像分割模型获取第二预测分割区域；
确定模块，用于根据所述获取模块获取的所述第二预测分割区域以及所述真实分割区域，采用目标损失函数确定所述待训练图像分割模型所对应的模型参数；
训练模块，用于采用所述确定模块确定的所述模型参数对所述待训练图像分割模型进行训练，得到第二图像分割模型；
其中，在生成热图的过程中，若识别出来的区域标记为负点，则在生成热图时乘以-1，若是识别出来的区域标记点为正点，则在生成热图的过程中乘以1，所述热图的生成过程包括：
为离散点设定一个半径，创建一个缓冲区；
对每个离散点的缓冲区，使用渐进的灰度带从内而外，由浅至深地填充；
对于有缓冲区交叉的区域，叠加灰度值，其中，缓冲区交叉的越多，灰度值越大，这块区域也就越热；
以叠加后的灰度值为索引，从色带中映射颜色，并对图像重新着色，从而生成热图。
17.根据权利要求16所述的装置，其特征在于，所述目标损失函数表示为：
Loss＝Pos_loss*(Neg_num/Total_num)+Neg_loss*(Pos_num/Total_num)；
其中，所述Loss表示所述目标损失函数，所述Pos_loss表示所述第二预测分割区域的正样本损失之和，所述Neg_loss表示所述第二预测分割区域的负样本损失之和，所述Pos_num表示所述真实分割区域中的正样本数量，所述Neg_num表示所述真实分割区域中的负样本数量，所述Total_num表示所述正样本数量与所述负样本数量之和。
18.根据权利要求16所述的装置，其特征在于，所述生成模块具体用于：
根据所述真实分割区域以及所述第一预测分割区域确定差异图，其中，所述差异图表示所述真实分割区域与所述第一预测分割区域不一致的区域；
根据所述差异图确定第一候选区域以及第二候选区域；
根据所述第一候选区域以及所述第二候选区域选择所述至少一个差异点；
根据所述至少一个差异点生成所述待训练热图。
19.一种终端设备，其特征在于，包括：存储器、收发器、处理器以及总线系统；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，包括如下步骤：
获取待分割图像，其中，所述待分割图像包括多个极值点；
根据所述待分割图像生成第一图像特征信息，其中，所述第一图像特征信息包括N个图像矩阵以及第一热图，所述第一热图与所述待分割图像尺寸相同，所述第一热图为根据所述多个极值点生成的，所述N为大于或等于1的整数；
通过第一图像分割模型获取所述第一图像特征信息所对应的第一图像分割区域，其中，所述第一图像分割模型包括N个第一矩阵通道以及第一热图通道，所述N个第一矩阵通道与所述N个图像矩阵具有一一对应的关系，所述第一热图通道与所述第一热图具有对应关系；
根据所述第一图像分割区域获取第二热图，其中，所述第二热图为根据标注点生成的，所述第二热图与所述待分割图像尺寸相同；
根据所述待分割图像生成第一图像矩阵，其中，所述第一图像矩阵对应于所述N个矩阵通道中的红色通道；
根据所述待分割图像生成第二图像矩阵，其中，所述第二图像矩阵对应于所述N个矩阵通道中的绿色通道；
根据所述待分割图像生成第三图像矩阵，其中，所述第三图像矩阵对应于所述N个矩阵通道中的蓝色通道；
根据所述第一图像分割区域、所述第二热图、所述第一图像矩阵、所述第二图像矩阵以及所述第三图像矩阵，生成第二图像特征信息，其中，所述第二图像特征信息为第二图像分割模型的输入信息；
通过第二图像分割模型获取所述待分割图像所对应的第二图像分割区域，其中，所述第二图像分割模型包括N个第二矩阵通道、分割区域通道以及第二热图通道，所述N个第二矩阵通道与所述N个图像矩阵具有一一对应的关系，所述分割区域通道与所述第一图像分割区域具有对应关系，所述第二热图通道与所述第二热图具有对应关系；
其中，在生成热图的过程中，若识别出来的区域标记为负点，则在生成热图时乘以-1，若是识别出来的区域标记点为正点，则在生成热图的过程中乘以1，所述热图的生成过程包括：
为离散点设定一个半径，创建一个缓冲区；
对每个离散点的缓冲区，使用渐进的灰度带从内而外，由浅至深地填充；
对于有缓冲区交叉的区域，叠加灰度值，其中，缓冲区交叉的越多，灰度值越大，这块区域也就越热；
以叠加后的灰度值为索引，从色带中映射颜色，并对图像重新着色，从而生成热图；
所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
20.一种服务器，其特征在于，包括：存储器、收发器、处理器以及总线系统；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，包括如下步骤：
获取待训练图像集合，其中，所述待训练图像集合包括至少一个待训练图像；
通过第一图像分割模型获取待训练图像的第一预测分割区域，其中，所述第一图像分割模型为预先训练得到的图像分割模型；
根据所述待训练图像的真实分割区域以及所述第一预测分割区域，生成待训练热图，其中，所述待训练热图是由至少一个差异点生成的；
根据所述待训练图像、所述第一预测分割区域、所述待训练热图以及所述真实分割区域，通过待训练图像分割模型获取第二预测分割区域；
根据所述第二预测分割区域以及所述真实分割区域，采用目标损失函数确定所述待训练图像分割模型所对应的模型参数；
采用所述模型参数对所述待训练图像分割模型进行训练，得到第二图像分割模型；
其中，在生成热图的过程中，若识别出来的区域标记为负点，则在生成热图时乘以-1，若是识别出来的区域标记点为正点，则在生成热图的过程中乘以1，所述热图的生成过程包括：
为离散点设定一个半径，创建一个缓冲区；
对每个离散点的缓冲区，使用渐进的灰度带从内而外，由浅至深地填充；
对于有缓冲区交叉的区域，叠加灰度值，其中，缓冲区交叉的越多，灰度值越大，这块区域也就越热；
以叠加后的灰度值为索引，从色带中映射颜色，并对图像重新着色，从而生成热图；
所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
21.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至6中任一项所述的方法，或，执行如权利要求7至9中任一项所述的方法。
CN201910537529.XA 2019-06-20 2019-06-20 一种图像区域分割的方法、模型训练的方法及装置 Active CN110232696B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910537529.XA CN110232696B (zh) 2019-06-20 2019-06-20 一种图像区域分割的方法、模型训练的方法及装置
EP20827039.7A EP3989166A4 (en) 2019-06-20 2020-06-16 METHOD AND DEVICE FOR IMAGE AREA RECOGNITION BASED ON ARTIFICIAL INTELLIGENCE AND MODEL TRAINING METHOD AND DEVICE
PCT/CN2020/096237 WO2020253663A1 (zh) 2019-06-20 2020-06-16 基于人工智能的图像区域识别方法、模型训练方法及装置
JP2021537734A JP7238139B2 (ja) 2019-06-20 2020-06-16 人工知能による画像領域の認識方法、モデルのトレーニング方法、画像処理機器、端末機器、サーバー、コンピュータ機器及びコンピュータプログラム
US17/395,329 US11983881B2 (en) 2019-06-20 2021-08-05 AI-based image region recognition method and apparatus and AI-based model training method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910537529.XA CN110232696B (zh) 2019-06-20 2019-06-20 一种图像区域分割的方法、模型训练的方法及装置

Publications (2)

Publication Number Publication Date
CN110232696A CN110232696A (zh) 2019-09-13
CN110232696B true CN110232696B (zh) 2024-03-08

Family

ID=67856917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910537529.XA Active CN110232696B (zh) 2019-06-20 2019-06-20 一种图像区域分割的方法、模型训练的方法及装置

Country Status (4)

Country Link
EP (1) EP3989166A4 (zh)
JP (1) JP7238139B2 (zh)
CN (1) CN110232696B (zh)
WO (1) WO2020253663A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232696B (zh) * 2019-06-20 2024-03-08 腾讯科技（深圳）有限公司 一种图像区域分割的方法、模型训练的方法及装置
CN110826449A (zh) * 2019-10-30 2020-02-21 杭州叙简科技股份有限公司 基于轻量型卷积神经网络的非机动车再识别目标检索方法
CN110910405B (zh) * 2019-11-20 2023-04-18 湖南师范大学 基于多尺度空洞卷积神经网络的脑肿瘤分割方法及系统
CN110889858A (zh) * 2019-12-03 2020-03-17 中国太平洋保险（集团）股份有限公司 一种基于点回归的汽车部件分割方法及装置
CN111210439B (zh) * 2019-12-26 2022-06-24 中国地质大学（武汉） 通过抑制非感兴趣信息的语义分割方法、设备及存储设备
CN111259900A (zh) * 2020-01-13 2020-06-09 河海大学 一种卫星遥感图像的语义分割方法
CN111325714B (zh) * 2020-01-21 2024-03-26 上海联影智能医疗科技有限公司 感兴趣区域的处理方法、计算机设备和可读存储介质
CN113221897B (zh) * 2020-02-06 2023-04-18 马上消费金融股份有限公司 图像矫正方法、图像文本识别方法、身份验证方法及装置
CN111445440B (zh) * 2020-02-20 2023-10-31 上海联影智能医疗科技有限公司 一种医学图像分析方法、设备和存储介质
CN111582104B (zh) * 2020-04-28 2021-08-06 中国科学院空天信息创新研究院 基于自注意特征聚合网络的遥感图像语义分割方法及装置
CN111598900B (zh) * 2020-05-18 2022-08-09 腾讯医疗健康(深圳)有限公司 一种图像区域分割模型训练方法、分割方法和装置
CN112116612A (zh) * 2020-09-15 2020-12-22 南京林业大学 基于Mask R-CNN的行道树图像实例分割方法
CN112258431B (zh) * 2020-09-27 2021-07-20 成都东方天呈智能科技有限公司 基于混合深度可分离膨胀卷积的图像分类模型及其分类方法
CN112529894B (zh) * 2020-12-22 2022-02-15 徐州医科大学 一种基于深度学习网络的甲状腺结节的诊断方法
CN112633148B (zh) * 2020-12-22 2022-08-09 杭州景联文科技有限公司 一种签名指印真假检测方法及系统
CN113538456B (zh) * 2021-06-22 2022-03-18 复旦大学 基于gan网络的图像软分割及背景替换系统
CN113608805B (zh) * 2021-07-08 2024-04-12 阿里巴巴创新公司 掩膜预测方法、图像处理方法、显示方法及设备
CN113989251B (zh) * 2021-11-02 2022-05-24 河南中平自动化股份有限公司 一种矿用煤矸分选智能控制系统及方法
CN113850249A (zh) * 2021-12-01 2021-12-28 深圳市迪博企业风险管理技术有限公司 一种图表信息格式化提取方法
CN114187318B (zh) * 2021-12-10 2023-05-05 北京百度网讯科技有限公司 图像分割的方法、装置、电子设备以及存储介质
CN114918944A (zh) * 2022-06-02 2022-08-19 哈尔滨理工大学 基于卷积神经网络融合的家庭服务机器人抓取检测方法
CN115272288B (zh) * 2022-08-22 2023-06-02 杭州微引科技有限公司 一种医学图像标记点自动识别方法、电子设备及存储介质
CN115861739B (zh) * 2023-02-08 2023-07-14 海纳云物联科技有限公司 图像分割模型的训练方法、装置、设备、存储介质及产品
CN116020122B (zh) * 2023-03-24 2023-06-09 深圳游禧科技有限公司 游戏攻略推荐方法、装置、设备及存储介质
CN116188995B (zh) * 2023-04-13 2023-08-15 国家基础地理信息中心 一种遥感图像特征提取模型训练方法、检索方法及装置
CN116563615B (zh) * 2023-04-21 2023-11-07 南京讯思雅信息科技有限公司 基于改进多尺度注意力机制的不良图片分类方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982529A (zh) * 2011-08-31 2013-03-20 奥林巴斯株式会社 图像处理装置及图像处理方法
CN107657619A (zh) * 2017-10-13 2018-02-02 西安科技大学 一种低照度林火图像分割方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8131075B2 (en) * 2007-03-29 2012-03-06 Siemens Aktiengesellschaft Fast 4D segmentation of large datasets using graph cuts
US9805248B2 (en) * 2014-08-29 2017-10-31 Definiens Ag Applying pixelwise descriptors to a target image that are generated by segmenting objects in other images
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
CN110210487A (zh) * 2019-05-30 2019-09-06 上海商汤智能科技有限公司 一种图像分割方法及装置、电子设备和存储介质
CN110276344B (zh) * 2019-06-04 2023-11-24 腾讯科技（深圳）有限公司 一种图像分割的方法、图像识别的方法以及相关装置
CN110232696B (zh) * 2019-06-20 2024-03-08 腾讯科技（深圳）有限公司 一种图像区域分割的方法、模型训练的方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982529A (zh) * 2011-08-31 2013-03-20 奥林巴斯株式会社 图像处理装置及图像处理方法
CN107657619A (zh) * 2017-10-13 2018-02-02 西安科技大学 一种低照度林火图像分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Deep Extreme Cut: From Extreme Points to Object Segmentation ";K.-K. Maninis 等;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;正文第616-625页 *
"Large-scale interactive object segmentation with human annotators";Rodrigo Benenson 等;《2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;正文第11692-11701页 *
Rodrigo Benenson 等."Large-scale interactive object segmentation with human annotators".《2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》.2019,正文第11692-11701页. *

Also Published As

Publication number Publication date
WO2020253663A1 (zh) 2020-12-24
JP7238139B2 (ja) 2023-03-13
JP2022515620A (ja) 2022-02-21
EP3989166A1 (en) 2022-04-27
EP3989166A4 (en) 2022-08-17
CN110232696A (zh) 2019-09-13
US20210366123A1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
CN110232696B (zh) 一种图像区域分割的方法、模型训练的方法及装置
CN110276344B (zh) 一种图像分割的方法、图像识别的方法以及相关装置
EP3944147A1 (en) Target detection method, model training method, device, apparatus and storage medium
TWI786313B (zh) 目標跟蹤方法、裝置、介質以及設備
KR101887558B1 (ko) 컨볼루션 신경망 모델의 트레이닝 방법 및 장치
CN109784424A (zh) 一种图像分类模型训练的方法、图像处理的方法及装置
JP2019071048A (ja) 一人称視点でのディープラーニングベースのハンドジェスチャー認識のためのシステムおよび方法
CN111582116B (zh) 一种视频抹除痕迹检测方法、装置、设备和存储介质
CN110555337B (zh) 一种指示对象的检测方法、装置以及相关设备
CN108491804B (zh) 一种棋局展示的方法、相关装置及系统
CN112990390B (zh) 一种图像识别模型的训练方法、图像识别的方法及装置
CN111209423B (zh) 一种基于电子相册的图像管理方法、装置以及存储介质
CN110704661A (zh) 一种图像分类方法和装置
CN112749609B (zh) 人体图像分割方法、装置、计算机设备及存储介质
CN115471662B (zh) 语义分割模型的训练方法、识别方法、装置和存储介质
CN111950570B (zh) 目标图像提取方法、神经网络训练方法及装置
CN112203115B (zh) 一种视频识别方法和相关装置
CN111860485A (zh) 图像识别模型的训练方法、图像的识别方法、装置、设备
CN113723159A (zh) 场景识别模型训练方法、场景识别方法及模型训练装置
CN114092920B (zh) 一种模型训练的方法、图像分类的方法、装置及存储介质
CN112435333B (zh) 一种道路场景的生成方法以及相关装置
CN116543076B (zh) 图像处理方法、装置、电子设备及存储介质
CN113762039A (zh) 一种交通标志牌的信息匹配方法及相关装置
US11983881B2 (en) AI-based image region recognition method and apparatus and AI-based model training method and apparatus
CN113723168A (zh) 一种基于人工智能的主体识别方法、相关装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant