CN108335305B - 图像分割方法和装置、电子设备、程序和介质 - Google Patents
图像分割方法和装置、电子设备、程序和介质 Download PDFInfo
- Publication number
- CN108335305B CN108335305B CN201810136371.0A CN201810136371A CN108335305B CN 108335305 B CN108335305 B CN 108335305B CN 201810136371 A CN201810136371 A CN 201810136371A CN 108335305 B CN108335305 B CN 108335305B
- Authority
- CN
- China
- Prior art keywords
- features
- level
- network
- fusion
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种图像分割方法和装置、电子设备、程序和介质，其中，方法包括：通过神经网络对图像进行特征提取，输出至少两个不同层级的特征；将所述至少两个不同层级的特征进行至少一次折回融合，得到第一融合特征；其中，一次所述折回融合包括：在所述神经网络的网络深度方向，对分别由不同网络深度的网络层输出的不同层级的特征，依次按照两个不同的层级方向进行融合；基于所述第一融合特征对所述图像的至少部分区域进行分割，获得分割结果。本发明实施例设计了基于深度学习的框架解决图像分割的问题，可以提高图像分割结果的准确性。
Description
技术领域
本发明涉及计算机视觉技术，尤其是一种图像分割方法和装置、电子设备、程序和介质。
背景技术
实例分割是计算机视觉领域非常重要的方向，此任务结合了语义分割和物体检测的特点，对于输入图像中的每一个物体，都会为他们生成一个独立的像素级别的掩膜(mask)，并且预测其对应的类别。实例分割在无人驾驶、家居机器人等领域有着非常广阔的应用。
发明内容
本发明实施例提供一种图像分割技术方案。
根据本发明实施例的一个方面，提供的一种图像分割方法，包括：
通过神经网络对图像进行特征提取，输出至少两个不同层级的特征；
将所述至少两个不同层级的特征进行至少一次折回融合，得到第一融合特征；其中，一次所述折回融合包括：在所述神经网络的网络深度方向，对分别由不同网络深度的网络层输出的不同层级的特征，依次按照两个不同的层级方向进行融合；
基于所述第一融合特征对所述图像的至少部分区域进行分割，获得分割结果。
在基于本发明上述各方法实施例的另一个实施例中，所述通过神经网络对图像进行特征提取，输出至少两个不同层级的特征，包括：
通过所述神经网络对所述图像进行特征提取，经所述神经网络中至少两个不同网络深度的网络层输出至少两个不同层级的特征。
在基于本发明上述各方法实施例的另一个实施例中，所述两个不同的层级方向，包括：从高层级特征到低层级特征的方向、和从低层级特征到高层级特征的方向。
在基于本发明上述各方法实施例的另一个实施例中，所述依次按照两个不同的层级方向，包括：
依次沿从高层级特征到低层级特征的方向和从低层级特征到高层级特征的方向；或者
依次沿从低层级特征到高层级特征的方向和从高层级特征到低层级特征的方向。
在基于本发明上述各方法实施例的另一个实施例中，对分别由不同网络深度的网络层输出的不同层级的特征，依次沿从高层级特征到低层级特征的方向和从低层级特征到高层级特征的方向进行融合，包括：
沿所述神经网络的网络深度从深到浅的方向，依次将所述神经网络中，经网络深度较深的网络层输出的较高层级的特征上采样后，与经网络深度较浅的网络层输出的较低层级的特征进行融合，获得第二融合特征；
沿从低层级特征到高层级特征的方向，依次将较低层级的融合特征降采样后，与所述第二融合特征中较高层级的融合特征进行融合。
在基于本发明上述各方法实施例的另一个实施例中，所述较高层级的特征，包括：
经所述神经网络中所述网络深度较深的网络层输出的特征、或者对所述网络深度较深的网络层输出的特征进行至少一次特征提取得到的特征。
在基于本发明上述各方法实施例的另一个实施例中，所述依次将所述神经网络中，经网络深度较深的网络层输出的较高层级的特征上采样后，与经网络深度较浅的网络层输出的较低层级的特征进行融合，包括：
依次将所述神经网络中，经网络深度较深的网络层输出的较高层级的特征上采样后，与相邻的、经网络深度较浅的网络层输出的较低层级的特征进行融合。
在基于本发明上述各方法实施例的另一个实施例中，所述依次将较低层级的融合特征降采样后，与所述第二融合特征中较高层级的融合特征进行融合，包括：
依次将较低层级的融合特征降采样后，与相邻的、所述第二融合特征中较高层级的融合特征进行融合。
在基于本发明上述各方法实施例的另一个实施例中，对分别由不同网络深度的网络层输出的不同层级的特征，依次沿从低层级特征到高层级特征的方向和从高层级特征到低层级特征的方向进行融合，包括：
沿所述神经网络的网络深度从浅到深的方向，依次将所述神经网络中，经网络深度较浅的网络层输出的较低层级的特征降采样后，与经网络深度较深的网络层输出的较高层级的特征进行融合，获得第三融合特征；
沿从高层级特征到低层级特征的方向，依次将较高层级的融合特征上采样后，与所述第三融合特征中较低层级的融合特征进行融合。
在基于本发明上述各方法实施例的另一个实施例中，所述较低层级的特征，包括：
经所述神经网络中所述网络深度较浅的网络层输出的特征、或者对所述网络深度较浅的网络层输出的特征进行至少一次特征提取得到的特征。
在基于本发明上述各方法实施例的另一个实施例中，所述依次将所述神经网络中，经网络深度较浅的网络层输出的较低层级的特征降采样后，与经网络深度较深的网络层输出的较高层级的特征进行融合，包括：
依次将所述神经网络中，经网络深度较浅的网络层输出的较低层级的特征降采样后，与相邻的、经网络深度较深的网络层输出的较高层级的特征进行融合。
在基于本发明上述各方法实施例的另一个实施例中，所述依次将较高层级的融合特征上采样后，与所述第三融合特征中较低层级的融合特征进行融合，包括：
依次将较高层级的融合特征上采样后，与相邻的、所述第三融合特征中较低层级的融合特征进行融合。
在基于本发明上述各方法实施例的另一个实施例中，基于所述第一融合特征对所述图像的至少部分区域进行分割，获得分割结果，包括：
基于所述第一融合特征对所述图像的至少部分区域进行语义分割，获得语义分割结果。
在基于本发明上述各方法实施例的另一个实施例中，基于所述第一融合特征对所述图像的至少部分区域进行分割，获得分割结果，包括：
基于所述第一融合特征对所述图像的至少部分区域进行实例分割，获得实例分割结果。
在基于本发明上述各方法实施例的另一个实施例中，基于所述第一融合特征对所述图像的至少部分区域进行实例分割，获得实例分割结果，包括：
基于所述第一融合特征中所述图像的至少部分区域对应的第一融合特征，进行像素级别的实例类别预测，获得所述图像的至少部分区域的实例类别预测结果；基于所述图像的至少部分区域对应的第一融合特征进行像素级别的前背景预测，获得所述图像的至少部分区域的前背景预测结果；
基于所述实例类别预测结果和所述前背景预测结果，获取所述图像的至少部分区域的实例分割结果。
在基于本发明上述各方法实施例的另一个实施例中，基于所述图像的至少部分区域对应的第一融合特征进行像素级别的前背景预测，包括：
基于所述图像的至少部分区域对应的第一融合特征，预测所述图像的至少部分区域中属于前景的像素和/或属于背景的像素。
在基于本发明上述各方法实施例的另一个实施例中，所述前景包括所有实例类别对应部分，所述背景包括：所述所有实例类别对应部分以外的部分；或者
所述背景包括所有实例类别对应部分，所述前景包括：所述所有实例类别对应部分以外的部分。
在基于本发明上述各方法实施例的另一个实施例中，基于所述第一融合特征中所述图像的至少部分区域对应的第一融合特征，进行像素级别的实例类别预测，包括：
通过第一卷积网络对所述图像的至少部分区域对应的第一融合特征进行特征提取；所述第一全卷积网络包括至少一个全卷积层；
通过第一全卷积层，基于所述第一卷积网络输出的特征进行像素级别的物体类别预测。
在基于本发明上述各方法实施例的另一个实施例中，基于所述图像的至少部分区域对应的第一融合特征进行像素级别的前背景预测，包括：
通过第二卷积网络对所述图像的至少部分区域对应的第一融合特征进行特征提取；所述第二全卷积网络包括至少一个全卷积层；
通过全连接层，基于所述第二卷积网络输出的特征进行像素级别的前背景预测。
在基于本发明上述各方法实施例的另一个实施例中，基于所述实例类别预测结果和所述前背景预测结果，获取所述图像的至少部分区域的实例分割结果，包括：
将所述图像的至少部分区域的物体类别预测结果与前背景预测结果进行像素级的相加处理，获得所述图像的至少部分区域的实例分割结果。
在基于本发明上述各方法实施例的另一个实施例中，获得所述图像的至少部分区域的前背景预测结果之后，还包括：
将所述前背景预测结果转换为与所述实例类别预测结果的维度一致的前背景预测结果；
将所述图像的至少部分区域的物体类别预测结果与前背景预测结果进行像素级的相加处理，包括：
将所述图像的至少部分区域的实例类别预测结果与转换得到的前背景预测结果进行像素级的相加处理。
在基于本发明上述各方法实施例的另一个实施例中，所述第一融合特征包括多个不同层级的融合特征；
所述得到第一融合特征之后，还包括：对所述多个不同层级的融合特征进行像素级别的融合，得到第四融合特征；
基于所述第一融合特征对所述图像的至少部分区域进行分割，包括：基于所述第四融合特征对所述图像的至少部分区域进行分割。
在基于本发明上述各方法实施例的另一个实施例中，对所述多个不同层级的融合特征进行像素级别的融合，包括：
对所述多个不同层级的融合特征基于各像素取最大值；或者
对所述多个不同层级的融合特征基于各像素取平均值；或者
对所述多个不同层级的融合特征基于各像素取求和。
根据本发明实施例的另一个方面，提供的一种图像分割装置，包括：
神经网络，用于对图像进行特征提取，输出至少两个不同层级的特征；
第一融合模块，用于将所述至少两个不同层级的特征进行至少一次折回融合，得到第一融合特征；其中，一次所述折回融合包括：在所述神经网络的网络深度方向，对分别由不同网络深度的网络层输出的不同层级的特征，依次按照两个不同的层级方向进行融合；
分割模块，用于基于所述第一融合特征对所述图像的至少部分区域进行分割，获得分割结果。
在基于本发明上述各装置实施例的另一个实施例中，所述神经网络包括至少两个不同网络深度的网络层，具体用于对所述图像进行特征提取，经所述至少两个不同网络深度的网络层输出至少两个不同层级的特征。
在基于本发明上述各装置实施例的另一个实施例中，所述两个不同的层级方向，包括：从高层级特征到低层级特征的方向、和从低层级特征到高层级特征的方向。
在基于本发明上述各装置实施例的另一个实施例中，所述依次按照两个不同的层级方向，包括：
依次沿从高层级特征到低层级特征的方向和从低层级特征到高层级特征的方向；或者
依次沿从低层级特征到高层级特征的方向和从高层级特征到低层级特征的方向。
在基于本发明上述各装置实施例的另一个实施例中，所述第一融合模块对分别由不同网络深度的网络层输出的不同层级的特征，依次沿从高层级特征到低层级特征的方向和从低层级特征到高层级特征的方向进行融合时，具体用于：
沿所述神经网络的网络深度从深到浅的方向，依次将所述神经网络中，经网络深度较深的网络层输出的较高层级的特征上采样后，与经网络深度较浅的网络层输出的较低层级的特征进行融合，获得第二融合特征；
沿从低层级特征到高层级特征的方向，依次将较低层级的融合特征降采样后，与所述第二融合特征中较高层级的融合特征进行融合。
在基于本发明上述各装置实施例的另一个实施例中，所述较高层级的特征，包括：经所述神经网络中所述网络深度较深的网络层输出的特征、或者对所述网络深度较深的网络层输出的特征进行至少一次特征提取得到的特征。
在基于本发明上述各装置实施例的另一个实施例中，所述第一融合模块依次将所述神经网络中，经网络深度较深的网络层输出的较高层级的特征上采样后，与经网络深度较浅的网络层输出的较低层级的特征进行融合时，具体用于依次将所述神经网络中，经网络深度较深的网络层输出的较高层级的特征上采样后，与相邻的、经网络深度较浅的网络层输出的较低层级的特征进行融合。
在基于本发明上述各装置实施例的另一个实施例中，所述第一融合模块依次将较低层级的融合特征降采样后，与所述第二融合特征中较高层级的融合特征进行融合时，具体用于依次将较低层级的融合特征降采样后，与相邻的、所述第二融合特征中较高层级的融合特征进行融合。
在基于本发明上述各装置实施例的另一个实施例中，所述第一融合模块对分别由不同网络深度的网络层输出的不同层级的特征，依次沿从低层级特征到高层级特征的方向和从高层级特征到低层级特征的方向进行融合时，具体用于：
沿所述神经网络的网络深度从浅到深的方向，依次将所述神经网络中，经网络深度较浅的网络层输出的较低层级的特征降采样后，与经网络深度较深的网络层输出的较高层级的特征进行融合，获得第三融合特征；
沿从高层级特征到低层级特征的方向，依次将较高层级的融合特征上采样后，与所述第三融合特征中较低层级的融合特征进行融合。
在基于本发明上述各装置实施例的另一个实施例中，所述较低层级的特征，包括：经所述神经网络中所述网络深度较浅的网络层输出的特征、或者对所述网络深度较浅的网络层输出的特征进行至少一次特征提取得到的特征。
在基于本发明上述各装置实施例的另一个实施例中，所述第一融合模块依次将所述神经网络中，经网络深度较浅的网络层输出的较低层级的特征降采样后，与经网络深度较深的网络层输出的较高层级的特征进行融合时，具体用于依次将所述神经网络中，经网络深度较浅的网络层输出的较低层级的特征降采样后，与相邻的、经网络深度较深的网络层输出的较高层级的特征进行融合。
在基于本发明上述各装置实施例的另一个实施例中，所述第一融合模块依次将较高层级的融合特征上采样后，与所述第三融合特征中较低层级的融合特征进行融合时，具体用于依次将较高层级的融合特征上采样后，与相邻的、所述第三融合特征中较低层级的融合特征进行融合。
在基于本发明上述各装置实施例的另一个实施例中，所述分割模块具体用于基于所述第一融合特征对所述图像的至少部分区域进行语义分割，获得语义分割结果。
在基于本发明上述各装置实施例的另一个实施例中，所述分割模块具体用于基于所述第一融合特征对所述图像的至少部分区域进行实例分割，获得实例分割结果。
在基于本发明上述各装置实施例的另一个实施例中，所述分割模块包括：
第一预测单元，用于基于所述第一融合特征中所述图像的至少部分区域对应的第一融合特征，进行像素级别的实例类别预测，获得所述图像的至少部分区域的实例类别预测结果；
第二预测单元，用于基于所述图像的至少部分区域对应的第一融合特征进行像素级别的前背景预测，获得所述图像的至少部分区域的前背景预测结果；
获取单元，用于基于所述实例类别预测结果和所述前背景预测结果，获取所述图像的至少部分区域的实例分割结果。
在基于本发明上述各装置实施例的另一个实施例中，所述第二预测单元具体用于基于所述图像的至少部分区域对应的第一融合特征，预测所述图像的至少部分区域中属于前景的像素和/或属于背景的像素。
在基于本发明上述各装置实施例的另一个实施例中，所述前景包括所有实例类别对应部分，所述背景包括：所述所有实例类别对应部分以外的部分；或者
所述背景包括所有实例类别对应部分，所述前景包括：所述所有实例类别对应部分以外的部分。
在基于本发明上述各装置实施例的另一个实施例中，第一预测单元具体用于：
通过第一卷积网络对所述图像的至少部分区域对应的第一融合特征进行特征提取；所述第一全卷积网络包括至少一个全卷积层；
通过第一全卷积层，基于所述第一卷积网络输出的特征进行像素级别的物体类别预测。
在基于本发明上述各装置实施例的另一个实施例中，所述第二预测单元具体用于：
通过第二卷积网络对所述图像的至少部分区域对应的第一融合特征进行特征提取；所述第二全卷积网络包括至少一个全卷积层；
通过全连接层，基于所述第二卷积网络输出的特征进行像素级别的前背景预测。
在基于本发明上述各装置实施例的另一个实施例中，所述获取单元具体用于将所述图像的至少部分区域的物体类别预测结果与前背景预测结果进行像素级的相加处理，获得所述图像的至少部分区域的实例分割结果。
在基于本发明上述各装置实施例的另一个实施例中，所述分割模块还包括：
转换单元，用于将所述前背景预测结果转换为与所述实例类别预测结果的维度一致的前背景预测结果；
所述获取单元具体用于将所述图像的至少部分区域的实例类别预测结果与转换得到的前背景预测结果进行像素级的相加处理。
在基于本发明上述各装置实施例的另一个实施例中，所述第一融合特征包括多个不同层级的融合特征；
所述装置还包括：
第二融合模块，用于对所述多个不同层级的融合特征进行像素级别的融合，得到第四融合特征；
所述分割模块具体用于基于所述第四融合特征对所述图像的至少部分区域进行分割。
在基于本发明上述各装置实施例的另一个实施例中，所述第二融合模块具体用于：
对所述多个不同层级的融合特征基于各像素取最大值；或者
对所述多个不同层级的融合特征基于各像素取平均值；或者
对所述多个不同层级的融合特征基于各像素取求和。
根据本发明实施例的再一个方面，提供的一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本发明上述任一实施例所述的方法。
根据本发明实施例的再一个方面，提供的一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本发明上述任一实施例所述的方法。
根据本发明实施例的再一个方面，提供的一种计算机程序，包括计算机指令，当所述计算机指令在设备的处理器中运行时，实现本发明上述任一实施例所述的方法。
基于本发明上述实施例提供的图像分割方法和装置、电子设备、程序和介质，通过神经网络对图像进行特征提取，输出至少两个不同层级的特征；将至少两个不同层级的特征进行至少一次折回融合，得到第一融合特征，其中，一次折回融合包括：在神经网络的网络深度方向，对分别由不同网络深度的网络层输出的不同层级的特征，依次按照两个不同的层级方向进行融合；基于第一融合特征对图像的至少部分区域进行分割，获得分割结果。本发明实施例设计了基于深度学习的框架解决图像分割的问题，由于深度学习具有强大的建模能力，可以帮助获得更好的图像分割结果；另外，将至少两个不同层级的特征进行至少一次折回融合，基于折回融合得到的第一融合特征对图像的至少部分区域进行分割，由于低层信息对于某些细节信息比较敏感，能够提供对定位和分割较为有益的信息，通过至少一次折回融合，可以让高层网络更容易、全面地获取低层信息，从而可以利用上下文信息提升图像分割结果的准确性。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：
图1为本发明图像分割方法一个实施例的流程图。
图2为本发明实施例中的一个特征融合示意图。
图3为本发明图像分割方法另一个实施例的流程图。
图4为本发明实施例中进行双路掩膜预测的一个网络结构示意图。
图5为本发明图像分割方法一个应用实施例的流程图。
图6为图5所示应用实施例的过程示意图。
图7为本发明图像分割装置一个实施例的结构示意图。
图8为本发明图像分割装置另一个实施例的结构示意图。
图9为本发明实施例中电子设备一个实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图1为本发明实例分割方法一个实施例的流程图。如图1所示，该实施例的实例分割方法包括：
102，通过神经网络对图像进行特征提取，输出至少两个不同层级的特征。
本发明各实施例中的特征的表现形式例如可以包括但不限于：特征图、特征向量或者特征矩阵，等等。所述不同层级是指位于神经网络不同深度的两个或两个以上的网络层。所述图像例如可以包括但不限于：静态图像，视频中的帧图像，等等。
104，将所述至少两个不同层级的特征进行至少一次折回融合，得到第一融合特征。
其中，一次折回融合包括：在神经网络的网络深度方向，对分别由不同网络深度的网络层输出的不同层级的特征，依次按照两个不同的层级方向进行融合。
在各实施例的一个实施方式中，上述两个不同的层级方向，可以包括：从高层级特征到低层级特征的方向、和从低层级特征到高层级特征的方向。
106，基于第一融合特征对图像的至少部分区域进行分割，获得分割结果。
本发明各实施例中，图像的至少部分区域可以是图像的全部区域或者局部区域(例如候选区域)，即：该操作106中，可以对整个图像进行分割，得到图像的分割结果；也可以对图像的局部(例如候选区域)进行分割，得到局部区域的分割结果。
另外，本发明各实施例中，该操作106中，可以是对图像的至少部分区域进行语义分割或者实例分割(Instance Segmentation)。例如，在本发明各实施例的一个实施方式中，该操作106包括：基于第一融合特征对图像的至少部分区域进行语义分割，获得语义分割结果。其中，该语义分割结果例如可以包括：该图像的至少部分区域中各像素所属的类别。
再如，在本发明各实施例的另一个实施方式中，该操作106包括：基于第一融合特征对图像的至少部分区域进行实例分割，获得实例分割结果。本发明各实施例中，实例分割结果可以包括：该图像的至少部分区域中属于某实例的像素以及该实例所属的类别，例如，该至少部分区域中属于某男孩的像素以及该男孩所属的类别为人。
实例例如可以包括但不限于某一个具体对象，如某一具体的人、某一具体的物，等等。通过神经网络对图像进行检测可获得一个或多个实例候选区域。实例候选区域表示图像中可能出现上述实例的区域。
基于本发明上述实施例提供的图像分割方法，通过神经网络对图像进行特征提取，输出至少两个不同层级的特征；将至少两个不同层级的特征进行至少一次折回融合，得到第一融合特征，其中，一次折回融合包括：在神经网络的网络深度方向，对分别由不同网络深度的网络层输出的不同层级的特征，依次按照两个不同的层级方向进行融合；基于第一融合特征对图像的至少部分区域进行分割，获得分割结果。本发明实施例设计了基于深度学习的框架解决图像分割的问题，由于深度学习具有强大的建模能力，可以帮助获得更好的图像分割结果；另外，将至少两个不同层级的特征进行至少一次折回融合，基于折回融合得到的第一融合特征对图像的至少部分区域进行分割，由于低层信息对于某些细节信息比较敏感，能够提供对定位和分割较为有益的信息，通过至少一次折回融合，可以让高层网络更容易、全面地获取低层信息，从而可以利用上下文信息提升图像分割结果的准确性。
本发明各图像分割方法实施例的一个实施方式中，操作102通过神经网络对图像进行特征提取，输出至少两个不同层级的特征，可以包括：
通过神经网络对图像进行特征提取，经该神经网络中至少两个不同网络深度的网络层输出上述至少两个不同层级的特征。
本发明各实施例中，神经网络包括两个以上网络深度不同的网络层，神经网络包括的网络层中，用于进行特征提取的网络层可以称为特征层，神经网络接收到一个图像后，通过第一个网络层对输入的图像进行特征提取，并将提取的特征输入至第二个网络层，从第二个网络层起，每个网络层依次对输入的特征进行特征提取，将提取到的特征输入至下一个网络层进行特征提取。神经网络中各网络层的网络深度依据输入输出的顺序或者特征提取的顺序由浅至深，各网络层依次进行特征提取输出的特征的层级由低到高，分辨率由高至低。相对于同一神经网络中网络深度较浅的网络层，网络深度较深的网络层视野域较大，较多的关注空间结构信息，提取到的特征用于实例分割时，可以使得分割结果更准确。在神经网络中，网络层通常可以包括：至少一个用于进行特征提取的卷积层，和对卷积层提取的特征(例如特征图)进行上采样的上采样层，通过对特征进行上采样，可以减小卷积层提取的特征(例如特征图)的大小。在本发明各实施例的一个实施方式中，依次按照两个不同的层级方向，可以包括：依次沿从高层级特征到低层级特征的方向和从低层级特征到高层级特征的方向；或者，依次沿从低层级特征到高层级特征的方向和从高层级特征到低层级特征的方向。
在本发明各实施例的一个实施方式中，对分别由不同网络深度的网络层输出的不同层级的特征，依次沿从高层级特征到低层级特征的方向和从低层级特征到高层级特征的方向进行融合，包括：
沿神经网络的网络深度从深到浅的方向，依次将神经网络中，经网络深度较深的网络层输出的较高层级的特征上采样后，与经网络深度较浅的网络层输出的较低层级的特征进行融合，例如：将较高层级的特征上采样后与较低层级的特征相加，获得第二融合特征。其中，较高层级的特征，可以包括：经神经网络中网络深度较深的网络层输出的特征、或者对该网络深度较深的网络层输出的特征进行至少一次特征提取得到的特征。例如，参与融合的特征中，最高层级的特征可以是上述至少两个不同层级的特征中最高层级的特征，或者也可以是对该最高层级的特征进行一次或多次特征提取得到的特征，第二融合特征可以包括上述最高层级的特征和每次融合得到的融合特征；
沿从低层级特征到高层级特征的方向，依次将较低层级的融合特征降采样后，与第二融合特征中较高层级的融合特征进行融合。其中，参与本次融合的融合特征中，最低层级的融合特征可以是第二融合特征中最低层级的融合特征，或者也可以是对该第二融合特征中最低层级的融合特征进行一次或多次特征提取得到的特征；本次沿从低层级特征到高层级特征的方向进行特征融合得到的一批融合特征中，包括第二融合特征中最低层级的融合特征和每次融合得到的融合特征。
其中，若是将上述至少两个不同层级的特征进行一次折回融合，则沿从低层级特征到高层级特征的方向进行特征融合得到的一批融合特征(即：包括第二融合特征中最低层级的融合特征和每次融合得到的融合特征)、或者最终输出的一个特征(即：一批融合特征中最后一次融合操作输出的融合特征)即为本发明各实施例中的第一融合特征；若是将上述至少两个不同层级的特征进行两次或以上折回融合，则可以执行多次沿从高层级特征到低层级特征的方向和从低层级特征到高层级特征的方向进行融合的操作，最终得到的一批融合特征或者最终输出的一个特征即为本发明各实施例中的第一融合特征。
其中，将经网络深度较深的网络层输出的较高层级的特征上采样后，与经网络深度较浅的网络层输出的较低层级的特征进行融合时，可以依次将神经网络中，经网络深度较深的网络层(例如沿神经网络的输入输出方向的第80个网络层)输出的较高层级的特征上采样后，与相邻的、经网络深度较浅的网络层(例如沿神经网络的输入输出方向的第79个网络层)输出的较低层级的特征进行融合。另外，也可以依次将神经网络中，经网络深度较深的网络层(例如沿神经网络的输入输出方向的第80个网络层)输出的较高层级的特征上采样后，与该网络深度较深的网络层不相邻的、网络深度较浅的网络层(例如沿神经网络的输入输出方向的第50个网络层)输出的较低层级的特征进行融合，即：进行跨层级特征的融合。
类似地，将较低层级的融合特征降采样后，与第二融合特征中较高层级的融合特征进行融合时，也可以将较低层级的融合特征(例如P2，其中“2”表示特征层级)降采样后，与相邻的、第二融合特征中较高层级的融合特征(例如P3，其中“3”表示特征层级)进行融合。或者，将较低层级的融合特征降采样后，与特征层级不相邻的、第二融合特征中较高层级的融合特征(例如P4，其中“4”表示特征层级)进行融合，即：进行跨层级融合特征的融合。
图2为本发明实施例中的一个特征融合示意图。如图2所示，示出了将一个较低层级的融合特征Ni降采样后与相邻的、较高层级的特征Pi+1融合，得到相应的融合特征Ni+1的一个示意图。其中，i为取值大于0的整数。
基于该实施例，按照自上而下的顺序(即：神经网络中网络深度从深至浅、从高层级特征到低层级特征的顺序)，逐渐将高层级低分辨率的特征和低层级高分辨率的特征融合，得到一批新的特征，然后再按照从自下而上的顺序(即：低层级特征到高层级特征的顺序)，依次将较低层级的融合特征降采样后与相邻的、较高层级的特征融合，逐渐将低层级高分辨率的特征和高层级低分辨率的特征融合，得到另一批新的特征以用于实例分割，本实施例通过一个自下而上的信息通路，能够帮助低层信息更容易地传播到高层网络(即：网络深度较深的网络层)，降低信息传播的损失，使得信息在神经网络内部能够更加顺畅的传递，由于低层信息对于某些细节信息比较敏感，能够提供对定位和分割非常有益的信息，从而提升实例分割结果；通过两遍特征融合，可以让高层网络(即：网络深度较深的网络层)更容易、全面地获取底层信息，从而进一步提升实例分割结果。
在本发明各实施例的另一个实施方式中，对分别由不同网络深度的网络层输出的不同层级的特征，依次沿从低层级特征到高层级特征的方向和从高层级特征到低层级特征的方向进行融合，包括：
沿神经网络的网络深度从浅到深的方向，依次将神经网络中，经网络深度较浅的网络层输出的较低层级的特征降采样后，与经网络深度较深的网络层输出的较高层级的特征进行融合，获得第三融合特征。其中，较低层级的特征，例如可以包括：经神经网络中网络深度较浅的网络层输出的特征、或者对网络深度较浅的网络层输出的特征进行至少一次特征提取得到的特征。例如，参与融合的特征中，最低层级的特征可以是上述至少两个不同层级的特征中最低层级的特征，或者也可以是对该最低层级的特征进行一次或多次特征提取得到的特征，第三融合特征可以包括上述最低层级的特征和每次融合得到的融合特征；
沿从高层级特征到低层级特征的方向，依次将较高层级的融合特征上采样后，与第三融合特征中较低层级的融合特征进行融合。其中，参与本次融合的融合特征中，最高层级的融合特征可以是第三融合特征中最高层级的融合特征，或者也可以是对该第三融合特征中最高层级的融合特征进行一次或多次特征提取得到的特征；本次沿从低层级特征到高层级特征的方向和从高层级特征到低层级特征的方向进行融合进行特征融合得到的一批融合特征中，包括第三融合特征中最高层级的融合特征和每次融合得到的融合特征。
其中，若是将上述至少两个不同层级的特征进行一次折回融合，则沿从低层级特征到高层级特征的方向和从高层级特征到低层级特征的方向进行融合进行特征融合得到的一批融合特征(即：第三融合特征中最高层级的融合特征和每次融合得到的融合特征)、或者最终输出的一个特征(即：一批融合特征中最后一次融合操作输出的融合特征)即为本发明各实施例中的第一融合特征；若是将上述至少两个不同层级的特征进行两次或以上折回融合，则可以执行多次沿从低层级特征到高层级特征的方向和从高层级特征到低层级特征的方向进行融合进行特征融合得到的一批融合特征的操作，最终得到的一批融合特征或者最终输出的一个特征即为本发明各实施例中的第一融合特征。
在其中一个可选示例中，将神经网络中，经网络深度较浅的网络层输出的较低层级的特征降采样后，与经网络深度较深的网络层输出的较高层级的特征进行融合时，可以将神经网络中，经网络深度较浅的网络层输出的较低层级的特征降采样后，与该网络深度较浅的网络层相邻的、网络深度较深的网络层输出的较高层级的特征进行融合。或者，也可以将神经网络中，经网络深度较浅的网络层输出的较低层级的特征降采样后，与该网络深度较浅的网络层不相邻的、网络深度较深的网络层输出的较高层级的特征进行融合，即：进行跨层级特征的融合。
类似地，将较高层级的融合特征上采样后，与第三融合特征中较低层级的融合特征进行融合时，可以将较高层级的融合特征上采样后，与相邻的、第三融合特征中较低层级的融合特征进行融合。或者，也可以将较高层级的融合特征上采样后，与不相邻的、第三融合特征中较低层级的融合特征进行融合，即：进行跨层级融合特征的融合。
在本发明各实施例中，上述第一融合特征可以是一个融合特征，也可以是多个不同层级的融合特征，即：进行折回融合时，最后一次沿一个层级方向进行特征融合得到的一批融合特征。
在其中一个实施方式中，上述第一融合特征包括多个不同层级的融合特征时，在得到第一融合特征之后，还可以包括：对该多个不同层级的融合特征进行像素级别的融合，得到第四融合特征。相应地，基于第一融合特征对图像的至少部分区域进行分割，可以包括：基于该第四融合特征对图像的至少部分区域进行分割。
在其中一个可选示例中，对多个不同层级的融合特征进行像素级别的融合，包括：
对多个不同层级的融合特征基于各像素取最大值(element-wise max)，即，将多个不同层级的融合特征中，各像素位置的特征取最大值；或者
对多个不同层级的融合特征基于各像素取平均值，即，将多个不同层级的融合特征中，各像素位置的特征求取平均值；或者
对多个不同层级的融合特征基于各像素取求和，即，将多个不同层级的融合特征中，各像素位置的特征求和。
其中，在上述实施方式中，对多个不同层级的融合特征基于各像素取最大值时，将多个不同层级的融合特征基于各像素取最大值的方式，相对于其他方式而言，使得获得的特征更明显，从而使得分割结果更准确，以提升分割结果的准确率。
图3为本发明图像分割方法另一个实施例的流程图。如图3所示，该实施例的图像分割方法包括：
302，通过神经网络对图像进行特征提取，经神经网络中至少两个不同网络深度的网络层输出至少两个不同层级的特征。
304，沿神经网络的网络深度从深到浅的方向，依次将神经网络中，经网络深度较深的网络层输出的较高层级的特征上采样后，与经网络深度较浅的网络层输出的较低层级的特征进行融合，获得第二融合特征。
其中，上述较高层级的特征可以包括：经神经网络中网络深度较深的网络层输出的特征、或者对该网络深度较深的网络层输出的特征进行至少一次特征提取得到的特征。例如，参与融合的特征中，最高层级的特征可以是上述至少两个不同层级的特征中最高层级的特征，或者也可以是对该最高层级的特征进行一次或多次特征提取得到的特征，第二融合特征可以包括上述至少两个不同层级的特征中最高层级的特征和通过该操作304中每次进行融合操作得到的融合特征。
306，沿从低层级特征到高层级特征的方向，依次将较低层级的融合特征降采样后，与第二融合特征中较高层级的融合特征进行融合，获得第一融合特征。
其中，参与本次融合的融合特征中，最低层级的融合特征可以是第二融合特征中最低层级的融合特征，或者也可以是对该第二融合特征中最低层级的融合特征进行一次或多次特征提取得到的特征；本次沿从低层级特征到高层级特征的方向进行特征融合得到的一批融合特征中，包括第二融合特征中最低层级的融合特征和通过该操作306中每次进行融合操作融合得到的融合特征，即：包括多个不同层级的融合特征。
该实施例以进行一次折回融合为例进行说明，若是将上述至少两个不同层级的特征进行两次或以上折回融合，则可以执行多次操作304-306，最终得到的一批融合特征即为本发明各实施例中的第一融合特征。
308，将第一融合特征中多个不同层级的融合特征进行像素级别的融合，得到第四融合特征。
310，基于上述第四融合特征对图像的至少部分区域进行分割，获得分割结果。
另外，在上述实施例中，若第一融合特征为操作306中租后一次进行融合操作融合得到的融合特征，则操作308-310相应替换为：基于上述第一融合特征对图像的至少部分区域进行分割，获得分割结果。本发明实施例用于实例分割时，基于第一融合特征对图像的至少部分区域进行分割，获得分割结果，包括：基于第一融合特征对图像的至少部分区域进行实例分割，获得实例分割结果。
本发明各图像分割方法实施例的一个实施方式中，基于第一融合特征对图像的至少部分区域进行实例分割，获得实例分割结果，可以包括：
基于第一融合特征中图像的至少部分区域对应的第一融合特征，进行像素级别的实例类别预测，获得图像的至少部分区域的实例类别预测结果；基于图像的至少部分区域对应的第一融合特征进行像素级别的前背景预测，获得图像的至少部分区域的前背景预测结果；
基于实例类别预测结果和前背景预测结果，获取图像的至少部分区域的实例分割结果，该实例分割结果包括：当前实例候选区域中属于某实例的像素以及该实例所属的类别信息。
基于本实施例，基于上述第一融合特征，同时进行像素级别的实例类别预测和前背景预测，通过像素级别的实例类别预测可以对该第一融合特征的精细分类和多分类，通过前背景预测可以获得较好的全局信息，并且由于无需关注多实例类别之间的细节信息，提高了预测速度，同时基于上述实例类别预测结果和前背景预测结果获取实例物体候选区域的实例分割结果，可以提高实例候选区域或者图像的实例分割结果。
在其中一个可选示例中，基于第一融合特征中图像的至少部分区域对应的第一融合特征，进行像素级别的实例类别预测，可以包括：
通过第一卷积网络对图像的至少部分区域对应的第一融合特征进行特征提取；该第一卷积网络包括至少一个全卷积层；
通过第一全卷积层，基于第一卷积网络输出的特征进行像素级别的物体类别预测。
在其中一个可选示例中，基于所述图像的至少部分区域对应的第一融合特征进行像素级别的前背景预测，包括：
基于图像的至少部分区域对应的第一融合特征，预测图像的至少部分区域中属于前景的像素和/或属于背景的像素。
其中，背景与前景可以根据需求设定。例如，前景可以包括所有实例类别对应部分，背景可以包括所有实例类别对应部分以外的部分；或者，背景可以包括所有实例类别对应部分，前景可以包括：所有实例类别对应部分以外的部分。
在另一个可选示例中，基于一第一融合特征进行像素级别的前背景预测，可以包括：
通过第二卷积网络对图像的至少部分区域对应的第一融合特征进行特征提取；第二全卷积网络包括至少一个全卷积层；
通过全连接层，基于第二卷积网络输出的特征进行像素级别的前背景预测。
本发明各图像分割方法实施例的一个实施方式中，基于实例类别预测结果和前背景预测结果，获取图像的至少部分区域的实例分割结果，可以包括：
将图像的至少部分区域的物体类别预测结果与前背景预测结果进行像素级的相加处理，获得图像的至少部分区域的实例分割结果。
在另一个实施例方式中，获得图像的至少部分区域的前背景预测结果之后，还可以包括：将上述前背景预测结果转换为与上述实例类别预测结果的维度一致的前背景预测结果。例如，将前背景预测结果由向量转换为与物体类别预测的维度一致的矩阵。相应地，将图像的至少部分区域的物体类别预测结果与前背景预测结果进行像素级的相加处理，可以包括：将图像的至少部分区域的实例类别预测结果与转换得到的前背景预测结果进行像素级的相加处理。
其中，本发明各实施例的上述实施方式中，分别基于第一融合特征进行实例分割，获得实例分割结果时，由于同时基于该第一融合特征进行像素级别的实例类别预测和前背景预测，该部分方案可以称为双路掩膜预测，如图4所示，为本发明实施例中进行双路掩膜预测的一个网络结构示意图。
如图4所示，局部区域(ROI)的第一融合特征，分别经过两个分支进行实例类别预测和前背景预测。其中，第一个分支包括：四个全卷积层(conv1-conv4)即上述第一卷积网络；和一个解卷积层(deconv)即上述第一全卷积层组成。另外一个分支包括：从第一个分支的第三个全卷积层和第四个全卷积层(conv3-conv4)、以及两个全卷积层(conv4-fc和conv5-fc)，即上述第二卷积网络；以及全连接层(fc)；以及转换(reshape)层，用于将前背景预测结果转换为与实例类别预测结果的维度一致的前背景预测结果。第一个分支对每个潜在的实例类别都会进行像素级别的掩膜预测，而全连接层则进行一个与实例类别无关的掩膜预测(即，进行像素级别的前背景预测)。最终这两个分支的掩膜预测相加得到最终的实例分割结果。
图5为本发明图像分割方法一个应用实施例的流程图。该实施例以对图像的局部区域进行实例分割为例进行说明，对整个图像进行实例分割或者语义时，直接以整个图像的第一融合特征进行相应的实例分割或语义，本领域技术人员基于本发明实施例的记载，可以知悉对整个图像进行分割的实现，此处不再赘述。图6为图5所示应用实施例的过程示意图。请同时参见图5和图6，该应用实施例的图像分割方法包括：
502，通过神经网络对图像进行特征提取，经神经网络中四个不同网络深度的网络层输出四个层级的特征M1-M4。
504，将上述四个层级的特征中，按照从高层级特征M4到低层级特征M1(即：自上而下)的顺序，依次将较高层级的特征Mi+1上采样后与较低层级的特征Mi进行融合，获得第一批融合特征P2-P5。
其中，i的取值依次为1-3中的整数。参与融合的特征和第一批融合特征中，最高层级的融合特征P5为上述四个不同层级的特征中最高层级的特征M4或者通过全卷积层对该特征M4进行特征提取得到的特征；第一融合特征包括上述四个不同层级的特征中最高层级的融合特征和每次融合得到的融合特征P2-P5。
506，将上述第一批融合特征中，按照从低层级特征P2到高层级特征P5(即：自下而上)的顺序，依次将较低层级的融合特征Pk降采样后与相邻的较高层级的特征Pk+1进行融合，获得第二批融合特征N2-N5。
其中，k的取值依次为2-4中的整数。参与本次融合的融合特征和第二批融合特征中，最低层级的融合特征N2为第一批融合特征中最低层级的融合特征P2或者通过全卷积层对该融合特征P2进行特征提取得到的特征，第二批融合特征包括第一融合特征中最低层级的特征P2对应的特征和每次融合得到的融合特征，其中，第一融合特征中最低层级的特征对应的特征，即第一融合特征中最低层级的融合特征P2或者通过卷积层对该融合特征P2进行特征提取得到的特征。
本应用实施例以对上述四个层级的特征M1-M4进行一次折回融合为例进行说明，因此，通过操作506获得的第二批融合特征即为本发明上述各实施例中的第一融合特征。
508，从第一融合特征N2-N5中抽取感兴趣的局部区域(ROI)对应的区域特征。
本发明各实施例中，例如，可以采用但不限于区域推荐网络(Region ProposalNetwork，RPN)生成图像感兴趣的局部区域，并将该局部映射到第一融合特征上，之后，例如，可以采用但不限于感兴趣区域(region of interest，ROI)对齐(ROIAlign)的方法，从第一融合特征中抽取该局部区域对应的区域特征。
510，对从第一融合特征N2-N5中抽取的该局部区域对应的四个区域特征进行像素级别的融合，得到第四融合特征。
之后，分别执行操作512和516。
512，基于该第四融合特征进行实例识别，获得实例识别结果。
该实例识别结果包括各实例的物体框(box)或者位置和该实例所属的实例类别(class)。
之后，不执行本应用实施例的后续流程。
514，基于第四融合特征进行像素级别的实例类别预测，获得实例类别预测结果；以及基于第四融合特征进行像素级别的前背景预测，获得前背景预测结果。
516，将物体类别预测结果与前背景预测结果进行像素级的相加处理，获得上述局部区域的实例分割结果。
其中，该实例分割结果包括：该局部区域中属于某一实例的像素以及该实例所属的实例类别，其中的实例类别可以：背景或者某一实例类别。
其中，该操作512与操作514-516之间在执行时间上不存在先后顺序，二者可以同时执行，也可以以任意时间顺序执行。
本发明实施例提供的任一种图像分割方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本发明实施例提供的任一种图像分割方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本发明实施例提及的任一种图像分割方法。下文不再赘述。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图7为本发明实例分割装置一个实施例的结构示意图。该实施例的实例分割装置可用于实现本发明上述各实例分割方法实施例。如图7所示，该实施例的装置包括：神经网络，第一融合模块和分割模块。其中：
神经网络，用于对图像进行特征提取，输出至少两个不同层级的特征。
其中，该神经网络可以包括至少两个不同网络深度的网络层，具体用于对图像进行特征提取，经至少两个不同网络深度的网络层输出至少两个不同层级的特征。
第一融合模块，用于将至少两个不同层级的特征进行至少一次折回融合，得到第一融合特征。
其中，一次折回融合包括：在神经网络的网络深度方向，对分别由不同网络深度的网络层输出的不同层级的特征，依次按照两个不同的层级方向进行融合。在其中一个实施例方式中，上述两个不同的层级方向，可以包括：从高层级特征到低层级特征的方向、和从低层级特征到高层级特征的方向。则上述依次按照两个不同的层级方向，可以包括：依次沿从高层级特征到低层级特征的方向和从低层级特征到高层级特征的方向；或者，依次沿从低层级特征到高层级特征的方向和从高层级特征到低层级特征的方向。
分割模块，用于基于第一融合特征对图像的至少部分区域进行分割，获得分割结果。
基于本发明上述实施例提供的图像分割装置，通过神经网络对图像进行特征提取，输出至少两个不同层级的特征；将至少两个不同层级的特征进行至少一次折回融合，得到第一融合特征，其中，一次折回融合包括：在神经网络的网络深度方向，对分别由不同网络深度的网络层输出的不同层级的特征，依次按照两个不同的层级方向进行融合；基于第一融合特征对图像的至少部分区域进行分割，获得分割结果。本发明实施例设计了基于深度学习的框架解决图像分割的问题，由于深度学习具有强大的建模能力，可以帮助获得更好的图像分割结果；另外，将至少两个不同层级的特征进行至少一次折回融合，基于折回融合得到的第一融合特征对图像的至少部分区域进行分割，由于低层信息对于某些细节信息比较敏感，能够提供对定位和分割较为有益的信息，通过至少一次折回融合，可以让高层网络更容易、全面地获取低层信息，从而可以利用上下文信息提升图像分割结果的准确性。
在本发明各实施例的一个实施方式中，第一融合模块对分别由不同网络深度的网络层输出的不同层级的特征，依次沿从高层级特征到低层级特征的方向和从低层级特征到高层级特征的方向进行融合时，具体用于：
沿神经网络的网络深度从深到浅的方向，依次将神经网络中，经网络深度较深的网络层输出的较高层级的特征上采样后，与经网络深度较浅的网络层输出的较低层级的特征进行融合，获得第二融合特征；
沿从低层级特征到高层级特征的方向，依次将较低层级的融合特征降采样后，与第二融合特征中较高层级的融合特征进行融合。
其中，较高层级的特征，例如可以包括：经神经网络中网络深度较深的网络层输出的特征、或者对网络深度较深的网络层输出的特征进行至少一次特征提取得到的特征。
在其中一个可选示例中，第一融合模块依次将神经网络中，经网络深度较深的网络层输出的较高层级的特征上采样后，与经网络深度较浅的网络层输出的较低层级的特征进行融合时，具体用于依次将神经网络中，经网络深度较深的网络层输出的较高层级的特征上采样后，与相邻的、经网络深度较浅的网络层输出的较低层级的特征进行融合。
在其中一个可选示例中，第一融合模块依次将较低层级的融合特征降采样后，与第二融合特征中较高层级的融合特征进行融合时，具体用于依次将较低层级的融合特征降采样后，与相邻的、第二融合特征中较高层级的融合特征进行融合。
在本发明各实施例的一个实施方式中，第一融合模块对分别由不同网络深度的网络层输出的不同层级的特征，依次沿从低层级特征到高层级特征的方向和从高层级特征到低层级特征的方向进行融合时，具体用于：
沿神经网络的网络深度从浅到深的方向，依次将神经网络中，经网络深度较浅的网络层输出的较低层级的特征降采样后，与经网络深度较深的网络层输出的较高层级的特征进行融合，获得第三融合特征；
沿从高层级特征到低层级特征的方向，依次将较高层级的融合特征上采样后，与第三融合特征中较低层级的融合特征进行融合。
其中，较低层级的特征例如可以包括：经神经网络中网络深度较浅的网络层输出的特征、或者对网络深度较浅的网络层输出的特征进行至少一次特征提取得到的特征。
在其中一个可选示例中，第一融合模块依次将神经网络中，经网络深度较浅的网络层输出的较低层级的特征降采样后，与经网络深度较深的网络层输出的较高层级的特征进行融合时，具体用于依次将神经网络中，经网络深度较浅的网络层输出的较低层级的特征降采样后，与相邻的、经网络深度较深的网络层输出的较高层级的特征进行融合。
在其中一个可选示例中，第一融合模块依次将较高层级的融合特征上采样后，与第三融合特征中较低层级的融合特征进行融合时，具体用于依次将较高层级的融合特征上采样后，与相邻的、第三融合特征中较低层级的融合特征进行融合。
在本发明各实施例的一个实施方式中，分割模块具体用于基于第一融合特征对图像的至少部分区域进行语义分割，获得语义分割结果。
在本发明各实施例的另一个实施方式中，分割模块具体用于基于第一融合特征对图像的至少部分区域进行实例分割，获得实例分割结果。
图8为本发明实例分割装置另一个实施例的结构示意图。如图8所示，与图7所示的实施例相比，该实施例的实例分割装置中，分割模块包括：第一预测单元，第二预测单元和获取单元。其中：
第一预测单元，用于基于第一融合特征中图像的至少部分区域对应的第一融合特征，进行像素级别的实例类别预测，获得图像的至少部分区域的实例类别预测结果。
第二预测单元，用于基于图像的至少部分区域对应的第一融合特征进行像素级别的前背景预测，获得图像的至少部分区域的前背景预测结果。
获取单元，用于基于实例类别预测结果和前背景预测结果，获取图像的至少部分区域的实例分割结果。
在其中一个实施方式中，第二预测单元具体用于基于图像的至少部分区域对应的第一融合特征，预测图像的至少部分区域中属于前景的像素和/或属于背景的像素。
其中，前景包括所有实例类别对应部分，背景包括：所有实例类别对应部分以外的部分；或者，背景包括所有实例类别对应部分，前景包括：所有实例类别对应部分以外的部分。
在其中一个实施方式中，第一预测单元具体用于：通过第一卷积网络对图像的至少部分区域对应的第一融合特征进行特征提取，该第一全卷积网络包括至少一个全卷积层；以及通过第一全卷积层，基于第一卷积网络输出的特征进行像素级别的物体类别预测。
在其中一个实施方式中，第二预测单元具体用于：通过第二卷积网络对图像的至少部分区域对应的第一融合特征进行特征提取，该第二全卷积网络包括至少一个全卷积层；以及通过全连接层，基于第二卷积网络输出的特征进行像素级别的前背景预测。
在其中一个实施方式中，获取单元具体用于将图像的至少部分区域的物体类别预测结果与前背景预测结果进行像素级的相加处理，获得图像的至少部分区域的实例分割结果。
另外，再参见图8，在本发明图像分割装置的又一实施例中，分割模块还包括：转换单元，用于将前背景预测结果转换为与实例类别预测结果的维度一致的前背景预测结果。相应地，该实施例中，获取单元具体用于将图像的至少部分区域的实例类别预测结果与转换得到的前背景预测结果进行像素级的相加处理。
在本发明各实施例中，上述第一融合特征可以是一个融合特征，也可以是多个不同层级的融合特征，即：进行折回融合时，最后一次沿一个层级方向进行特征融合得到的一批融合特征。
在其中一个实施方式中，上述第一融合特征包括多个不同层级的融合特征时，如图8所示，该实施例的图像分割装置还可以包括：第二融合模块，用于对多个不同层级的融合特征进行像素级别的融合，得到第四融合特征。相应地，该实施例中，分割模块具体用于基于第四融合特征对图像的至少部分区域进行分割。
在其中一个可选示例中，第二融合模块具体用于：对多个不同层级的融合特征基于各像素取最大值；或者，对多个不同层级的融合特征基于各像素取平均值；或者，对多个不同层级的融合特征基于各像素取求和。
另外，本发明实施例提供的另一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行存储器中存储的计算机程序，且计算机程序被执行时，实现本发明上述任一实施例的实例分割方法。
图9为本发明电子设备一个应用实施例的结构示意图。下面参考图9，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。如图9所示，该电子设备包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)，和/或一个或多个图像处理器(GPU)等，处理器可以根据存储在只读存储器(ROM)中的可执行指令或者从存储部分加载到随机访问存储器(RAM)中的可执行指令而执行各种适当的动作和处理。通信部可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，处理器可与只读存储器和/或随机访问存储器中通信以执行可执行指令，通过总线与通信部相连、并经通信部与其他目标设备通信，从而完成本申请实施例提供的任一方法对应的操作，例如，通过神经网络对图像进行特征提取，输出至少两个不同层级的特征；将所述至少两个不同层级的特征进行至少一次折回融合，得到第一融合特征；其中，一次所述折回融合包括：在所述神经网络的网络深度方向，对分别由不同网络深度的网络层输出的不同层级的特征，依次按照两个不同的层级方向进行融合；基于所述第一融合特征对所述图像的至少部分区域进行分割，获得分割结果
此外，在RAM中，还可存储有装置操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。在有RAM的情况下，ROM为可选模块。RAM存储可执行指令，或在运行时向ROM中写入可执行指令，可执行指令使处理器执行本发明上述任一方法对应的操作。输入/输出(I/O)接口也连接至总线。通信部可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口：包括键盘、鼠标等的输入部分；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。
需要说明的，如图9所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图9的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明公开的保护范围。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的人脸防伪检测方法步骤对应的指令。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被CPU执行时，执行本申请的方法中限定的上述功能。
另外，本发明实施例还提供了一种计算机程序，包括计算机指令，当计算机指令在设备的处理器中运行时，实现本发明上述任一实施例的实例分割方法。
另外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本发明上述任一实施例的实例分割方法。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本发明的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
Claims (44)
1.一种图像分割方法，其特征在于，包括：
通过神经网络对图像进行特征提取，输出至少两个不同层级的特征；
将所述至少两个不同层级的特征进行至少一次折回融合，得到第一融合特征；其中，一次所述折回融合包括：在所述神经网络的网络深度方向，对分别由不同网络深度的网络层输出的不同层级的特征，依次按照两个不同的层级方向进行融合；
基于所述第一融合特征中所述图像的至少部分区域对应的第一融合特征，进行像素级别的实例类别预测，获得所述图像的至少部分区域的实例类别预测结果；基于所述图像的至少部分区域对应的第一融合特征进行像素级别的前背景预测，获得所述图像的至少部分区域的前背景预测结果；
基于所述实例类别预测结果和所述前背景预测结果，获取所述图像的至少部分区域的实例分割结果。
2.根据权利要求1所述的方法，其特征在于，所述通过神经网络对图像进行特征提取，输出至少两个不同层级的特征，包括：
通过所述神经网络对所述图像进行特征提取，经所述神经网络中至少两个不同网络深度的网络层输出至少两个不同层级的特征。
3.根据权利要求1所述的方法，其特征在于，所述两个不同的层级方向，包括：从高层级特征到低层级特征的方向、和从低层级特征到高层级特征的方向。
4.根据权利要求3所述的方法，其特征在于，所述依次按照两个不同的层级方向，包括：
依次沿从高层级特征到低层级特征的方向和从低层级特征到高层级特征的方向；或者
依次沿从低层级特征到高层级特征的方向和从高层级特征到低层级特征的方向。
5.根据权利要求4所述的方法，其特征在于，对分别由不同网络深度的网络层输出的不同层级的特征，依次沿从高层级特征到低层级特征的方向和从低层级特征到高层级特征的方向进行融合，包括：
沿所述神经网络的网络深度从深到浅的方向，依次将所述神经网络中，经网络深度较深的网络层输出的较高层级的特征上采样后，与经网络深度较浅的网络层输出的较低层级的特征进行融合，获得第二融合特征；
沿从低层级特征到高层级特征的方向，依次将较低层级的融合特征降采样后，与所述第二融合特征中较高层级的融合特征进行融合。
6.根据权利要求5所述的方法，其特征在于，所述较高层级的特征，包括：
经所述神经网络中所述网络深度较深的网络层输出的特征、或者对所述网络深度较深的网络层输出的特征进行至少一次特征提取得到的特征。
7.根据权利要求5所述的方法，其特征在于，所述依次将所述神经网络中，经网络深度较深的网络层输出的较高层级的特征上采样后，与经网络深度较浅的网络层输出的较低层级的特征进行融合，包括：
依次将所述神经网络中，经网络深度较深的网络层输出的较高层级的特征上采样后，与相邻的、经网络深度较浅的网络层输出的较低层级的特征进行融合。
8.根据权利要求5所述的方法，其特征在于，所述依次将较低层级的融合特征降采样后，与所述第二融合特征中较高层级的融合特征进行融合，包括：
依次将较低层级的融合特征降采样后，与相邻的、所述第二融合特征中较高层级的融合特征进行融合。
9.根据权利要求4所述的方法，其特征在于，对分别由不同网络深度的网络层输出的不同层级的特征，依次沿从低层级特征到高层级特征的方向和从高层级特征到低层级特征的方向进行融合，包括：
沿所述神经网络的网络深度从浅到深的方向，依次将所述神经网络中，经网络深度较浅的网络层输出的较低层级的特征降采样后，与经网络深度较深的网络层输出的较高层级的特征进行融合，获得第三融合特征；
沿从高层级特征到低层级特征的方向，依次将较高层级的融合特征上采样后，与所述第三融合特征中较低层级的融合特征进行融合。
10.根据权利要求9所述的方法，其特征在于，所述较低层级的特征，包括：
经所述神经网络中所述网络深度较浅的网络层输出的特征、或者对所述网络深度较浅的网络层输出的特征进行至少一次特征提取得到的特征。
11.根据权利要求9所述的方法，其特征在于，所述依次将所述神经网络中，经网络深度较浅的网络层输出的较低层级的特征降采样后，与经网络深度较深的网络层输出的较高层级的特征进行融合，包括：
依次将所述神经网络中，经网络深度较浅的网络层输出的较低层级的特征降采样后，与相邻的、经网络深度较深的网络层输出的较高层级的特征进行融合。
12.根据权利要求9所述的方法，其特征在于，所述依次将较高层级的融合特征上采样后，与所述第三融合特征中较低层级的融合特征进行融合，包括：
依次将较高层级的融合特征上采样后，与相邻的、所述第三融合特征中较低层级的融合特征进行融合。
13.根据权利要求1所述的方法，其特征在于，还包括：
基于所述第一融合特征对所述图像的至少部分区域进行语义分割，获得语义分割结果。
14.根据权利要求1-13任一所述的方法，其特征在于，基于所述图像的至少部分区域对应的第一融合特征进行像素级别的前背景预测，包括：
基于所述图像的至少部分区域对应的第一融合特征，预测所述图像的至少部分区域中属于前景的像素和/或属于背景的像素。
15.根据权利要求14所述的方法，其特征在于，所述前景包括所有实例类别对应部分，所述背景包括：所述所有实例类别对应部分以外的部分；或者
所述背景包括所有实例类别对应部分，所述前景包括：所述所有实例类别对应部分以外的部分。
16.根据权利要求1-13任一所述的方法，其特征在于，基于所述第一融合特征中所述图像的至少部分区域对应的第一融合特征，进行像素级别的实例类别预测，包括：
通过第一卷积网络对所述图像的至少部分区域对应的第一融合特征进行特征提取；所述第一卷积网络包括至少一个全卷积层；
通过第一全卷积层，基于所述第一卷积网络输出的特征进行像素级别的物体类别预测。
17.根据权利要求1-13任一所述的方法，其特征在于，基于所述图像的至少部分区域对应的第一融合特征进行像素级别的前背景预测，包括：
通过第二卷积网络对所述图像的至少部分区域对应的第一融合特征进行特征提取；所述第二卷积网络包括至少一个全卷积层；
通过全连接层，基于所述第二卷积网络输出的特征进行像素级别的前背景预测。
18.根据权利要求1-13任一所述的方法，其特征在于，基于所述实例类别预测结果和所述前背景预测结果，获取所述图像的至少部分区域的实例分割结果，包括：
将所述图像的至少部分区域的物体类别预测结果与前背景预测结果进行像素级的相加处理，获得所述图像的至少部分区域的实例分割结果。
19.根据权利要求18所述的方法，其特征在于，获得所述图像的至少部分区域的前背景预测结果之后，还包括：
将所述前背景预测结果转换为与所述实例类别预测结果的维度一致的前背景预测结果；
将所述图像的至少部分区域的物体类别预测结果与前背景预测结果进行像素级的相加处理，包括：
将所述图像的至少部分区域的实例类别预测结果与转换得到的前背景预测结果进行像素级的相加处理。
20.根据权利要求1-13任一所述的方法，其特征在于，所述第一融合特征包括多个不同层级的融合特征；
所述得到第一融合特征之后，还包括：对所述多个不同层级的融合特征进行像素级别的融合，得到第四融合特征；
所述基于所述第一融合特征中所述图像的至少部分区域对应的第一融合特征，进行像素级别的实例类别预测，包括：基于所述第四融合特征中所述图像的至少部分区域对应的第四融合特征，进行像素级别的实例类别预测；
所述基于所述图像的至少部分区域对应的第一融合特征进行像素级别的前背景预测，包括：基于所述第四融合特征中所述图像的至少部分区域对应的第四融合特征，进行像素级别的前背景预测。
21.根据权利要求20所述的方法，其特征在于，对所述多个不同层级的融合特征进行像素级别的融合，包括：
对所述多个不同层级的融合特征基于各像素取最大值；或者
对所述多个不同层级的融合特征基于各像素取平均值；或者
对所述多个不同层级的融合特征基于各像素取求和。
22.一种图像分割装置，其特征在于，包括：
神经网络，用于对图像进行特征提取，输出至少两个不同层级的特征；
第一融合模块，用于将所述至少两个不同层级的特征进行至少一次折回融合，得到第一融合特征；其中，一次所述折回融合包括：在所述神经网络的网络深度方向，对分别由不同网络深度的网络层输出的不同层级的特征，依次按照两个不同的层级方向进行融合；
分割模块，包括：
第一预测单元，用于基于所述第一融合特征中所述图像的至少部分区域对应的第一融合特征，进行像素级别的实例类别预测，获得所述图像的至少部分区域的实例类别预测结果；
第二预测单元，用于基于所述图像的至少部分区域对应的第一融合特征进行像素级别的前背景预测，获得所述图像的至少部分区域的前背景预测结果；
获取单元，用于基于所述实例类别预测结果和所述前背景预测结果，获取所述图像的至少部分区域的实例分割结果。
23.根据权利要求22所述的装置，其特征在于，所述神经网络包括至少两个不同网络深度的网络层，具体用于对所述图像进行特征提取，经所述至少两个不同网络深度的网络层输出至少两个不同层级的特征。
24.根据权利要求22所述的装置，其特征在于，所述两个不同的层级方向，包括：从高层级特征到低层级特征的方向、和从低层级特征到高层级特征的方向。
25.根据权利要求24所述的装置，其特征在于，所述依次按照两个不同的层级方向，包括：
依次沿从高层级特征到低层级特征的方向和从低层级特征到高层级特征的方向；或者
依次沿从低层级特征到高层级特征的方向和从高层级特征到低层级特征的方向。
26.根据权利要求25所述的装置，其特征在于，所述第一融合模块对分别由不同网络深度的网络层输出的不同层级的特征，依次沿从高层级特征到低层级特征的方向和从低层级特征到高层级特征的方向进行融合时，具体用于：
沿所述神经网络的网络深度从深到浅的方向，依次将所述神经网络中，经网络深度较深的网络层输出的较高层级的特征上采样后，与经网络深度较浅的网络层输出的较低层级的特征进行融合，获得第二融合特征；
沿从低层级特征到高层级特征的方向，依次将较低层级的融合特征降采样后，与所述第二融合特征中较高层级的融合特征进行融合。
27.根据权利要求26所述的装置，其特征在于，所述较高层级的特征，包括：经所述神经网络中所述网络深度较深的网络层输出的特征、或者对所述网络深度较深的网络层输出的特征进行至少一次特征提取得到的特征。
28.根据权利要求26所述的装置，其特征在于，所述第一融合模块依次将所述神经网络中，经网络深度较深的网络层输出的较高层级的特征上采样后，与经网络深度较浅的网络层输出的较低层级的特征进行融合时，具体用于依次将所述神经网络中，经网络深度较深的网络层输出的较高层级的特征上采样后，与相邻的、经网络深度较浅的网络层输出的较低层级的特征进行融合。
29.根据权利要求26所述的装置，其特征在于，所述第一融合模块依次将较低层级的融合特征降采样后，与所述第二融合特征中较高层级的融合特征进行融合时，具体用于依次将较低层级的融合特征降采样后，与相邻的、所述第二融合特征中较高层级的融合特征进行融合。
30.根据权利要求25所述的装置，其特征在于，所述第一融合模块对分别由不同网络深度的网络层输出的不同层级的特征，依次沿从低层级特征到高层级特征的方向和从高层级特征到低层级特征的方向进行融合时，具体用于：
沿所述神经网络的网络深度从浅到深的方向，依次将所述神经网络中，经网络深度较浅的网络层输出的较低层级的特征降采样后，与经网络深度较深的网络层输出的较高层级的特征进行融合，获得第三融合特征；
沿从高层级特征到低层级特征的方向，依次将较高层级的融合特征上采样后，与所述第三融合特征中较低层级的融合特征进行融合。
31.根据权利要求30所述的装置，其特征在于，所述较低层级的特征，包括：经所述神经网络中所述网络深度较浅的网络层输出的特征、或者对所述网络深度较浅的网络层输出的特征进行至少一次特征提取得到的特征。
32.根据权利要求30所述的装置，其特征在于，所述第一融合模块依次将所述神经网络中，经网络深度较浅的网络层输出的较低层级的特征降采样后，与经网络深度较深的网络层输出的较高层级的特征进行融合时，具体用于依次将所述神经网络中，经网络深度较浅的网络层输出的较低层级的特征降采样后，与相邻的、经网络深度较深的网络层输出的较高层级的特征进行融合。
33.根据权利要求30所述的装置，其特征在于，所述第一融合模块依次将较高层级的融合特征上采样后，与所述第三融合特征中较低层级的融合特征进行融合时，具体用于依次将较高层级的融合特征上采样后，与相邻的、所述第三融合特征中较低层级的融合特征进行融合。
34.根据权利要求22所述的装置，其特征在于，所述分割模块还用于基于所述第一融合特征对所述图像的至少部分区域进行语义分割，获得语义分割结果。
35.根据权利要求22-34任一所述的装置，其特征在于，所述第二预测单元具体用于基于所述图像的至少部分区域对应的第一融合特征，预测所述图像的至少部分区域中属于前景的像素和/或属于背景的像素。
36.根据权利要求35所述的装置，其特征在于，所述前景包括所有实例类别对应部分，所述背景包括：所述所有实例类别对应部分以外的部分；或者
所述背景包括所有实例类别对应部分，所述前景包括：所述所有实例类别对应部分以外的部分。
37.根据权利要求22-34任一所述的装置，其特征在于，第一预测单元具体用于：
通过第一卷积网络对所述图像的至少部分区域对应的第一融合特征进行特征提取；所述第一卷积网络包括至少一个全卷积层；
通过第一全卷积层，基于所述第一卷积网络输出的特征进行像素级别的物体类别预测。
38.根据权利要求22-34任一所述的装置，其特征在于，所述第二预测单元具体用于：
通过第二卷积网络对所述图像的至少部分区域对应的第一融合特征进行特征提取；所述第二卷积网络包括至少一个全卷积层；
通过全连接层，基于所述第二卷积网络输出的特征进行像素级别的前背景预测。
39.根据权利要求22-34任一所述的装置，其特征在于，所述获取单元具体用于将所述图像的至少部分区域的物体类别预测结果与前背景预测结果进行像素级的相加处理，获得所述图像的至少部分区域的实例分割结果。
40.根据权利要求39所述的装置，其特征在于，所述分割模块还包括：
转换单元，用于将所述前背景预测结果转换为与所述实例类别预测结果的维度一致的前背景预测结果；
所述获取单元具体用于将所述图像的至少部分区域的实例类别预测结果与转换得到的前背景预测结果进行像素级的相加处理。
41.根据权利要求22-34任一所述的装置，其特征在于，所述第一融合特征包括多个不同层级的融合特征；
所述装置还包括：
第二融合模块，用于对所述多个不同层级的融合特征进行像素级别的融合，得到第四融合特征；
所述第一预测单元，具体用于基于所述第四融合特征中所述图像的至少部分区域对应的第四融合特征，进行像素级别的实例类别预测，获得所述图像的至少部分区域的实例类别预测结果；
所述第二预测单元，具体用于基于所述第四融合特征中所述图像的至少部分区域对应的第四融合特征，进行像素级别的前背景预测，获得所述图像的至少部分区域的前背景预测结果；
所述获取单元，具体用于基于所述实例类别预测结果和所述前背景预测结果，获取所述图像的至少部分区域的实例分割结果。
42.根据权利要求41所述的装置，其特征在于，所述第二融合模块具体用于：
对所述多个不同层级的融合特征基于各像素取最大值；或者
对所述多个不同层级的融合特征基于各像素取平均值；或者
对所述多个不同层级的融合特征基于各像素取求和。
43.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-21任一项所述的方法。
44.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现上述权利要求1-21任一项所述的方法。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810136371.0A CN108335305B (zh) | 2018-02-09 | 2018-02-09 | 图像分割方法和装置、电子设备、程序和介质 |
| SG11201913332WA SG11201913332WA (en) | 2018-02-09 | 2019-01-30 | Instance segmentation methods and apparatuses, electronic devices, programs, and media |
| KR1020207016941A KR102438095B1 (ko) | 2018-02-09 | 2019-01-30 | 인스턴스 분할 방법 및 장치, 전자 기기, 프로그램 및 매체 |
| JP2020533099A JP7032536B2 (ja) | 2018-02-09 | 2019-01-30 | インスタンスセグメンテーション方法および装置、電子機器、プログラムならびに媒体 |
| PCT/CN2019/073819 WO2019154201A1 (zh) | 2018-02-09 | 2019-01-30 | 实例分割方法和装置、电子设备、程序和介质 |
| US16/729,423 US11270158B2 (en) | 2018-02-09 | 2019-12-29 | Instance segmentation methods and apparatuses, electronic devices, programs, and media |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810136371.0A CN108335305B (zh) | 2018-02-09 | 2018-02-09 | 图像分割方法和装置、电子设备、程序和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108335305A CN108335305A (zh) | 2018-07-27 |
| CN108335305B true CN108335305B (zh) | 2020-10-30 |
Family
ID=62928751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810136371.0A Active CN108335305B (zh) | 2018-02-09 | 2018-02-09 | 图像分割方法和装置、电子设备、程序和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108335305B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7032536B2 (ja) | 2018-02-09 | 2022-03-08 | ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド | インスタンスセグメンテーション方法および装置、電子機器、プログラムならびに媒体 |
| CN109215036A (zh) * | 2018-08-01 | 2019-01-15 | 浙江深眸科技有限公司 | 基于卷积神经网络的人体分割方法 |
| CN111340059A (zh) * | 2018-12-19 | 2020-06-26 | 北京嘀嘀无限科技发展有限公司 | 图像特征提取方法、装置、电子设备及存储介质 |
| CN111340044A (zh) * | 2018-12-19 | 2020-06-26 | 北京嘀嘀无限科技发展有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN111339808B (zh) * | 2018-12-19 | 2024-04-23 | 北京嘀嘀无限科技发展有限公司 | 车辆碰撞概率预测方法、装置、电子设备及存储介质 |
| CN109767446B (zh) * | 2018-12-28 | 2021-04-30 | 北京市商汤科技开发有限公司 | 一种实例分割方法及装置、电子设备、存储介质 |
| CN109816036B (zh) * | 2019-01-31 | 2021-08-27 | 北京字节跳动网络技术有限公司 | 图像处理方法和装置 |
| CN109886272B (zh) * | 2019-02-25 | 2020-10-30 | 腾讯科技（深圳）有限公司 | 点云分割方法、装置、计算机可读存储介质和计算机设备 |
| CN109948510B (zh) * | 2019-03-14 | 2021-06-11 | 北京易道博识科技有限公司 | 一种文档图像实例分割方法及装置 |
| CN111898622B (zh) * | 2019-05-05 | 2022-07-15 | 阿里巴巴集团控股有限公司 | 信息处理、信息显示与模型训练方法、系统及设备 |
| CN110276765B (zh) * | 2019-06-21 | 2021-04-23 | 北京交通大学 | 基于多任务学习深度神经网络的图像全景分割方法 |
| CN110349167A (zh) * | 2019-07-10 | 2019-10-18 | 北京悉见科技有限公司 | 一种图像实例分割方法及装置 |
| CN110517272B (zh) * | 2019-08-29 | 2022-03-25 | 电子科技大学 | 基于深度学习的血细胞分割方法 |
| CN110992642B (zh) * | 2019-12-25 | 2021-11-05 | 辽宁石油化工大学 | 一种基于深度学习的火灾检测方法 |
| CN111667476B (zh) * | 2020-06-09 | 2022-12-06 | 创新奇智(广州)科技有限公司 | 布料瑕疵检测方法、装置、电子设备及可读存储介质 |
| CN112102830B (zh) * | 2020-09-14 | 2023-07-25 | 广东工业大学 | 一种粗颗粒度指令识别方法和装置 |
| CN112102302B (zh) * | 2020-09-18 | 2022-04-22 | 深圳市商汤科技有限公司 | 图像识别方法及装置、电子设备和存储介质 |
| CN113034506B (zh) * | 2021-05-24 | 2021-08-06 | 湖南大学 | 遥感图像语义分割方法、装置、计算机设备和存储介质 |
| CN113344901B (zh) * | 2021-06-25 | 2023-08-01 | 北京市商汤科技开发有限公司 | 涂胶缺陷检测方法、装置、存储介质及电子设备 |
| CN113576452A (zh) * | 2021-07-30 | 2021-11-02 | 深圳市商汤科技有限公司 | 基于热成像的呼吸率检测方法、装置及电子设备 |
| CN114358198A (zh) * | 2022-01-10 | 2022-04-15 | 北京百度网讯科技有限公司 | 实例分割方法、装置及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106250812A (zh) * | 2016-07-15 | 2016-12-21 | 汤平 | 一种基于快速r‑cnn深度神经网络的车型识别方法 |
| EP3156942A1 (en) * | 2015-10-16 | 2017-04-19 | Thomson Licensing | Scene labeling of rgb-d data with interactive option |
| CN106709924A (zh) * | 2016-11-18 | 2017-05-24 | 中国人民解放军信息工程大学 | 基于深度卷积神经网络和超像素的图像语义分割方法 |
| CN107169974A (zh) * | 2017-05-26 | 2017-09-15 | 中国科学技术大学 | 一种基于多监督全卷积神经网络的图像分割方法 |
| US9881234B2 (en) * | 2015-11-25 | 2018-01-30 | Baidu Usa Llc. | Systems and methods for end-to-end object detection |
-
2018
- 2018-02-09 CN CN201810136371.0A patent/CN108335305B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3156942A1 (en) * | 2015-10-16 | 2017-04-19 | Thomson Licensing | Scene labeling of rgb-d data with interactive option |
| US9881234B2 (en) * | 2015-11-25 | 2018-01-30 | Baidu Usa Llc. | Systems and methods for end-to-end object detection |
| CN106250812A (zh) * | 2016-07-15 | 2016-12-21 | 汤平 | 一种基于快速r‑cnn深度神经网络的车型识别方法 |
| CN106709924A (zh) * | 2016-11-18 | 2017-05-24 | 中国人民解放军信息工程大学 | 基于深度卷积神经网络和超像素的图像语义分割方法 |
| CN107169974A (zh) * | 2017-05-26 | 2017-09-15 | 中国科学技术大学 | 一种基于多监督全卷积神经网络的图像分割方法 |
Non-Patent Citations (4)
| Title |
|---|
| "Feature Pyramid Networks for Object Detection";Tsung-Yi Lin等;《2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20171109;全文 * |
| "Mask R-CNN";Kaiming He等;《2017 IEEE International Conference on Computer Vision (ICCV)》;20171225;第2980-2983页 * |
| "基于内容的图像分割方法综述";姜枫等;《软件学报》;20161104;第28卷(第1期);全文 * |
| "贾佳亚港中文团队冠军技术分享：最有效的COCO物体分割算法";新智元微信公众号;《新智元-微信公众号》;20171102;第3-4页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108335305A (zh) | 2018-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108335305B (zh) | 图像分割方法和装置、电子设备、程序和介质 | |
| CN108460411B (zh) | 实例分割方法和装置、电子设备、程序和介质 | |
| KR102438095B1 (ko) | 인스턴스 분할 방법 및 장치, 전자 기기, 프로그램 및 매체 | |
| Zhao et al. | Simultaneous color-depth super-resolution with conditional generative adversarial networks | |
| WO2018166438A1 (zh) | 图像处理方法、装置及电子设备 | |
| CN109035319B (zh) | 单目图像深度估计方法及装置、设备、程序及存储介质 | |
| CN110909642A (zh) | 一种基于多尺度语义特征融合的遥感图像目标检测方法 | |
| CN108154222B (zh) | 深度神经网络训练方法和系统、电子设备 | |
| Pickup et al. | Bayesian methods for image super-resolution | |
| CN108231190B (zh) | 处理图像的方法和神经网络系统、设备、介质 | |
| Xie et al. | Sparse‐sensing and superpixel‐based segmentation model for concrete cracks | |
| CN108154153B (zh) | 场景分析方法和系统、电子设备 | |
| Chen et al. | Continuous cross-resolution remote sensing image change detection | |
| CN111340059A (zh) | 图像特征提取方法、装置、电子设备及存储介质 | |
| Feng et al. | Guided filter‐based multi‐scale super‐resolution reconstruction | |
| CN111340044A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| Tomar et al. | Noise robust face super-resolution via learning of spatial attentive features | |
| CN113409188A (zh) | 一种图像背景替换方法、系统、电子设备及存储介质 | |
| CN117671254A (zh) | 一种图像分割方法及装置 | |
| CN112884702A (zh) | 一种基于内窥镜图像的息肉识别系统和方法 | |
| Schirrmacher et al. | SR 2: Super-resolution with structure-aware reconstruction | |
| CN115272906A (zh) | 一种基于点渲染的视频背景人像分割模型及算法 | |
| CN116883770A (zh) | 深度估计模型的训练方法、装置、电子设备及存储介质 | |
| Eichhardt et al. | Novel methods for image-guided ToF depth upsampling | |
| Fritzsche et al. | Inpainting Applied to Facade Images: A Comparison of Algorithms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |