CN111340044A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111340044A
CN111340044A CN201811577668.7A CN201811577668A CN111340044A CN 111340044 A CN111340044 A CN 111340044A CN 201811577668 A CN201811577668 A CN 201811577668A CN 111340044 A CN111340044 A CN 111340044A
Authority
CN
China
Prior art keywords
features
feature
level
layer
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811577668.7A
Other languages
English (en)
Inventor
赵元
尹程翔
伍林
唐剑
沈海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Priority to CN201811577668.7A priority Critical patent/CN111340044A/zh
Publication of CN111340044A publication Critical patent/CN111340044A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种图像处理方法、装置、电子设备及存储介质，属于图像技术领域。该方法通过对待处理图像提取的M个不同层级特征进行两次处理后，获得M层第一中间特征和M层第二中间特征，然后分别对M层第一中间特征进行处理获得M层第一图像特征，对M层第二中间特征进行处理获得M层第二图像特征，通过该方式最后获得的图像特征中包含的高层特征和低层特征所占的权重比较均衡，从而可以让高层网络更容易、更全面地获取低层信息，对大小物体均有较好的分割效果。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本申请涉及图像技术领域，具体而言，涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
在无人驾驶、家居机器人等领域中通常会涉及到图像识别，而对识别图像中的各个物体用到的方法一般是通过实例分割的方式对物体进行识别，实例分割结合了语义分割和物体检测的特点，其可以对图像中的每一个物体，均会生成一个独立的像素级别的掩膜，并且预测该物体对应的类别。所以，为了对图像中的每个物体进行更好的识别，现有技术中一般是通过对输入的图像进行特征提取，然后利用现有的掩膜区域卷积神经网络(MaskRegion-Convolutional Neural Network，Mask R-CNN)对提取的特征进行融合，最后获得的融合特征中包含的高层信息较多，而由于高层信息对大物体的识别效果较好，低层信息对微小物体的识别效果较好，这导致在后续利用该最后获得的融合特征进行实例分割时对大小物体的识别效果相差较大。
发明内容
本申请实施例的目的在于提供一种图像处理方法、装置、电子设备及存储介质，以使获得的最后用于实例分割的特征中包含的高层信息与低层信息更为均衡，对大小物体均有较好的分割效果。
第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：获取待处理图像，对所述待处理图像进行特征提取，获得M个不同层级特征，M为大于等于2的整数；将所述M个不同层级特征按照第一层级方向进行处理，获得M层第一中间特征，以及将所述M个不同层级特征按照与所述第一层级方向相反的第二层级方向进行处理，获得M层第二中间特征；将所述M层第一中间特征按照所述第二层级方向进行处理，获得M层第一图像特征，以及将所述M层第二中间特征按照所述第一层级方向进行处理，获得M层第二图像特征。
在上述实现过程中，通过对待处理图像提取的M个不同层级特征进行两次处理后，获得M层第一中间特征和M层第二中间特征，然后分别对M层第一中间特征进行处理获得M层第一图像特征，对M层第二中间特征进行处理获得M层第二图像特征，通过该方式最后获得的图像特征中包含的高层特征和低层特征所占的权重比较均衡，从而可以让高层网络更容易、更全面地获取低层信息，对大小物体均有较好的分割效果。
可选地，所述M个不同层级特征中第i个层级特征的级别小于第i+1层级特征的级别，将所述M层第一中间特征按照所述第二层级方向进行处理，获得M层第一图像特征，包括：将第1层第一中间特征确定为所述M层第一图像特征中的第1层第一图像特征；依次取i为2至M，将所述第1层第一中间特征与第i层第一中间特征之间的i层第一中间特征进行融合，获得第i层第一图像特征，在i为M时，共获得M-1层第一图像特征；
将所述M层第二中间特征按照所述第一层级方向进行处理，获得M层第二图像特征，包括：将第M层第二中间特征确定为所述M层第二图像特征中的第M层第二图像特征；依次取i为M-1至1，将所述第M层第二中间特征到第i层第二中间特征之间的M-i+1层第二中间特征进行融合，获得第i层第二图像特征，在i为1时，共获得M-1层第二图像特征。
在上述实现过程中，通过对M层第一中间特征进行处理获得M层第一图像特征，对M层第二中间特征进行处理获得M层第二图像特征，通过上述对特征的多次处理，可以让高层网络更容易、更全面地获取低层信息，从而最后获得的图像特征中包含的高层特征和低层特征所占的权重比较均衡，对大小物体均有较好的分割效果。
可选地，对所述待处理图像进行特征提取，获得M个不同层级特征，包括：通过神经网络对所述待处理图像进行特征提取，经所述神经网络中M个不同网络深度的网络层输出M个不同层级特征。
在上述实现过程中，通过神经网络是不同深度的网络层对待处理图像进行特征提取，可以获得对应的网络层输出的M个不同层级特征，使得最后获得的图像特征中可以包含待处理图像中的高层信息和低层信息的特征，进而将获得的图像特征用于实例分割时，可以使得分割结果更为准确。
可选地，将所述M个不同层级特征按照第一层级方向进行处理，获得M层第一中间特征，包括：将所述M个不同层级特征按照从高层级特征到低层级特征的方向进行处理，获得M层第一中间特征；将所述M个不同层级特征按照与所述第一层级方向相反的第二层级方向进行处理，获得M层第二中间特征，包括：将所述M个不同层级特征按照从低层级特征到高层级特征的方向进行处理，获得M层第二中间特征。
在上述实现过程中，获得的M层中间第一中间特征和M层第二中间特征中均包括了M层级特征，所以，使得获得的中间特征中包含更全面的信息，如均包含高层信息和低层信息。
可选地，所述M个不同层级特征中第i个层级特征的级别高于第i-1层级特征的级别，i为小于等于M且大于等于2的整数，所述将所述M个不同层级特征按照从高层级特征到低层级特征的方向进行处理，获得M层第一中间特征，包括：将第M层级特征确定为所述M层第一中间特征中的第M层第一中间特征；依次取i为M-1至1，将所述第M层级特征到第i层级特征之间的M-i+1个层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1层第一中间特征。
在上述实现过程中，对M层级特征进行上述处理后获得的M层第一中间特征中包括第M层级特征以及每次对M层级特征进行融合后的融合特征，从而使得高层网络更容易、更全面地获取低层信息。
可选地，依次取i为M-1至1，将所述第M层级特征到第i层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1个第一中间特征，包括：依次取i为M-1至1，沿神经网络中网络深度从深到浅的方向，依次将所述神经网络中，经第M层网络层输出的第M层级特征上采样后，与到经第i层网络层输出的第i层级特征之间的M-i+1个层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1层第一中间特征。
在上述实现过程中，通过神经网络对第M层级特征进行上采样后再与第i层级特征进行融合，使得第M层级特征可以转换为与第i层级特征大小相同后再进行融合，进而便于特征的融合。
可选地，所述M个不同层级特征中第i个层级特征的级别小于第i+1层级特征的级别，i为小于等于M且大于等于1的整数，将所述M个不同层级特征按照从低层级特征到高层级特征的方向进行处理，获得M层第二中间特征，包括：将第1层级特征确定为所述M层第二中间特征中的第1层第二中间特征；依次取i为2至M，将所述第1层级特征到第i层级特征之间的i个层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1层第二中间特征。
在上述实现过程中，对M层级特征进行上述处理后获得的M层第二中间特征中包括第1层级特征以及每次对M层级特征进行融合后的融合特征，从而使得高层网络更容易、更全面地获取低层信息。
可选地，依次取i为2至M，将所述第1层级特征到第i层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1个第二中间特征，包括：依次取i为2至M，沿神经网络中网络深度从浅到深的方向，依次将所述神经网络中，经第1层网络层输出的第1层级特征下采样后，与到经第i层网络层输出的第i层级特征之间的i个层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1层第二中间特征。
在上述实现过程中，通过神经网络对第1层级特征进行下采样后再与第i层级特征进行融合，使得第1层级特征可以转换为与第i层级特征大小相同后再进行融合，从而便于特征的融合。
可选地，将所述M层第一中间特征按照所述第二层级方向进行处理，获得M层第一图像特征，以及将所述M层第二中间特征按照所述第一层级方向进行处理，获得M层第二图像特征之后，还包括：基于所述M层第一图像特征和所述M层第二图像特征对所述待处理图像的至少部分区域进行分割，获得分割结果。
可选地，基于所述M层第一图像特征和所述M层第二图像特征对所述待处理图像的至少部分区域进行分割，获得分割结果，包括：基于所述M层第一图像特征和所述M层第二图像特征对所述待处理图像的至少部分区域进行语义分割，获得语义分割结果。
可选地，基于所述M层第一图像特征和所述M层第二图像特征对所述待处理图像的至少部分区域进行分割，获得分割结果，包括：基于所述M层第一图像特征和所述M层第二图像特征对所述待处理图像的至少部分区域进行实例分割，获得实例分割结果。
上述实现过程中，基于最后获得的所述M层第一图像特征和所述M层第二图像特征对待处理图像进行实例分割或语义分割，由于每层图像特征中包含均衡的高层信息和低层信息，所以可以实现对大小物体达到较好的分割效果。
第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：
图像获取模块，用于获取待处理图像，对所述待处理图像进行特征提取，获得M个不同层级特征，M为大于等于2的整数；
第一处理模块，用于将所述M个不同层级特征按照第一层级方向进行处理，获得M层第一中间特征，以及将所述M个不同层级特征按照与所述第一层级方向相反的第二层级方向进行处理，获得M层第二中间特征；
第二处理模块，用于将所述M层第一中间特征按照所述第二层级方向进行处理，获得M层第一图像特征，以及将所述M层第二中间特征按照所述第一层级方向进行处理，获得M层第二图像特征。
可选地，所述M个不同层级特征中第i个层级特征的级别小于第i+1层级特征的级别，所述第二处理模块，用于将第1层第一中间特征确定为所述M层第一图像特征中的第1层第一图像特征；依次取i为2至M，将所述第1层第一中间特征与第i层第一中间特征之间的i层第一中间特征进行融合，获得第i层第一图像特征，在i为M时，共获得M-1层第一图像特征；
所述第二处理模块，还用于将第M层第二中间特征确定为所述M层第二图像特征中的第M层第二图像特征；依次取i为M-1至1，将所述第M层第二中间特征到第i层第二中间特征之间的M-i+1层第二中间特征进行融合，获得第i层第二图像特征，在i为1时，共获得M-1层第二图像特征。
可选地，所述图像获取模块，具体用于通过神经网络对所述待处理图像进行特征提取，经所述神经网络中M个不同网络深度的网络层输出M个不同层级特征。
可选地，所述第一处理模块，用于将所述M个不同层级特征按照从高层级特征到低层级特征的方向进行处理，获得M层第一中间特征；
所述第一处理模块，还用于将所述M个不同层级特征按照从低层级特征到高层级特征的方向进行处理，获得M层第二中间特征。
可选地，所述M个不同层级特征中第i个层级特征的级别高于第i-1层级特征的级别，i为小于等于M且大于等于2的整数，所述第一处理模块，还用于将第M层级特征确定为所述M层第一中间特征中的第M层第一中间特征；依次取i为M-1至1，将所述第M层级特征到第i层级特征之间的M-i+1个层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1层第一中间特征。
可选地，所述第一处理模块，还用于依次取i为M-1至1，沿神经网络中网络深度从深到浅的方向，依次将所述神经网络中，经第M层网络层输出的第M层级特征上采样后，与到经第i层网络层输出的第i层级特征之间的M-i+1个层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1层第一中间特征。
可选地，所述M个不同层级特征中第i个层级特征的级别小于第i+1层级特征的级别，i为小于等于M且大于等于1的整数，所述第一处理模块，还用于将第1层级特征确定为所述M层第二中间特征中的第1层第二中间特征；依次取i为2至M，将所述第1层级特征到第i层级特征之间的i个层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1层第二中间特征。
可选地，所述第一处理模块，还用于依次取i为2至M，沿神经网络中网络深度从浅到深的方向，依次将所述神经网络中，经第1层网络层输出的第1层级特征下采样后，与到经第i层网络层输出的第i层级特征之间的i个层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1层第二中间特征。
可选地，所述装置还包括：
图像分割模块，用于基于所述M层第一图像特征和所述M层第二图像特征对所述待处理图像的至少部分区域进行分割，获得分割结果。
可选地，所述图像分割模块，具体用于基于所述M层第一图像特征和所述M层第二图像特征对所述待处理图像的至少部分区域进行语义分割，获得语义分割结果。
可选地，所述图像分割模块，具体用于基于所述M层第一图像特征和所述M层第二图像特征对所述待处理图像的至少部分区域进行实例分割，获得实例分割结果。
第三方面，本申请实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
第四方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种电子设备的示例性硬件和软件组件的示意图；
图2为本申请实施例提供的一种图像处理方法的流程图；
图3为本申请实施例中示出的一个特征融合示意图；
图4为本申请实施例中对特征处理的应用示意图；
图5为本申请实施例中进行双路掩膜预测的一个网络结果示意图；
图6为本申请图像处理方法的一个应用实施例的流程；
图7为本申请实施例提供的一种图像处理装置的结构框图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
图1为本申请实施例提供的一种电子设备100的示例性硬件和软件组件的示意图。例如，处理器可以用于电子设备100上，并且用于执行本申请中的功能。
电子设备100可以是通用计算机或特殊用途的计算机，两者都可以用于实现本申请的图像处理方法。本申请尽管仅示出了一个计算机，但是为了方便起见，可以在多个类似平台上以分布式方式实现本申请描述的功能，以均衡处理负载。
例如，电子设备100可以包括连接到网络的网络端口110、用于执行程序指令的一个或多个处理器120、通信总线130、和不同形式的存储介质140，例如，磁盘、ROM、或RAM，或其任意组合。示例性地，计算机平台还可以包括存储在ROM、RAM、或其他类型的非暂时性存储介质、或其任意组合中的程序指令。根据这些程序指令可以实现本申请的方法。电子设备100还包括计算机与其他输入输出设备(例如键盘、显示屏)之间的输入/输出(Input/Output，I/O)接口150。
为了便于说明，在电子设备100中仅描述了一个处理器。然而，应当注意，本申请中的电子设备100还可以包括多个处理器，因此本申请中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如，若电子设备100的处理器执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一处理器和第二处理器共同执行步骤A和B。
请参照图2，图2为本申请实施例提供的一种图像处理方法的流程图，所述方法包括如下步骤：
步骤S110：获取待处理图像，对所述待处理图像进行特征提取，获得M个不同层级特征。
其中，特征可以包括但不限于：特征图、特征向量或者特征矩阵等等。
在具体实现过程中，待处理图像可以是静态图像或视频中的帧图像等，其可以通过神经网络对待处理图像进行特征提取，由于神经网络包括不同深度的多个网络层，所以通过神经网络对待处理图像进行特征提取，每一个网络层输出一个层级特征，从而可以获得多个不同层级特征，也就是说，通过神经网络对所述待处理图像进行特征提取，经所述神经网络中M个不同网络深度的网络层输出M个不同层级特征，M为大于等于2的整数。
可以理解地，神经网络可以包括两个以上网络深度不同的网络层，神经网络包括的网络层中，用于进行特征提取的网络层可以称为特征层，神经网络接收到一个待处理图像后，通过第一个网络层对输入的待处理图像进行特征提取，并将提取的特征输入至第二个网络层，从第二个网络层起，每个网络层依次对输入的特征进行特征提取，将提取到的特征输入至下一个网络层进行特权提取。神经网络中各网络层的网络深度依据输入输出的顺序或者特征提取的顺序由浅至深，各网络层依次进行特征提取输出的特征的层级由低到高，分辨率由高至低。相对于同一神经网络中网络深度较浅的网络层，网络深度较深的网络层视野域较大，较多的关注空间结构信息，提取到的特征用于实例分割时，可以使得分割结果更准确。在神经网络中，网络层通常可以包括：至少一个用于进行特征提取的卷积层，和对卷积层提取的特征(例如特征图)进行上采样的上采样层，通过对特征进行上采样，可以减小卷积层提取的特征(例如特征图)的大小。
步骤S120：将所述M个不同层级特征按照第一层级方向进行处理，获得M层第一中间特征，以及将所述M个不同层级特征按照与所述第一层级方向相反的第二层级方向进行处理，获得M层第二中间特征。
其中，层级方向是指沿神经网络的网络深度方向，如神经网络的较深网络层输出的是较高层级特征，神经网络的较浅网络层输出的是较低层级特征，层级方向可以是指：从高层级特征到低层级特征的方向和从低层级特征到高层级特征的方向，也就是说，从神经网络的网络深度较深到网络深度较浅的方向和从神经网络的网络深度较浅到网络深度较深的方向。
上述的第一层级方向可以为从高层级特征到低层级特征的方向，第二层级方向为从低层级特征到高层级特征的方向，或者相反地，第一层级方向为从低层级到高层级的方向，第二层级方向为从高层级到低层级的方向。
所以，可以将M个不同层级特征按照从高层级特征到低层级特征的方向进行处理，获得M层第一中间特征，将M个不同层级特征按照从低层级特征到高层级特征的方向进行处理，获得M层第二中间特征；或者相反地，将M个不同层级特征按照从低层级特征到高层级特征的方向进行处理，获得M层第一中间特征，将M个不同层级特征按照从高层级特征到低层级特征的方向进行处理，获得M层第二中间特征。
步骤S130：将所述M层第一中间特征按照所述第二层级方向进行处理，获得M层第一图像特征，以及将所述M层第二中间特征按照所述第一层级方向进行处理，获得M层第二图像特征。
本实施例中，为了描述的方便，均以第一层级方向为从高层级特征到低层级特征的方向，第二层级方向为从低层级特征到高层级特征的方向为例进行说明，所以，在将M层第一中间特征按照第二层级方向进行处理，即可将M层第一中间特征按照从低层级特征到高层级特征的方向进行处理，获得M层第一图像特征，将M层第二中间特征按照第一层级方向进行处理，即可将M层第二图像特征从高层级方向到低层级方向进行处理，获得M层第二图像特征。
所以，本实施例中经过多次特征处理，获得的M层第一图像特征中包含的M个不同层级特征中高层级特征较多，M层第二图像特征中包含的M个不同层级特征中低层级特征较多，从而最后获得的图像特征中包含的高层特征和低层特征所占的权重比较均衡，即图像特征包含信息相对均衡的高层信息和低层信息，且由于低层信息对于某些细节信息比较敏感，能够提供对定位和分割较为有益的信息，通过上述对特征的多次处理，可以让高层网络更容易、更全面地获取低层信息，从而可以利用上下文信息提升待处理图像分割结果的准确性，且可以使得高层信息与低层信息更为均衡，可以实现对大小物体较好的分割效果。
在上述实施例中将M个不同层级特征按照第一层级方向进行处理，获得M层第一中间特征，包括：将所述M个不同层级特征按照从高层级特征到低层级特征的方向进行处理，获得M层第一中间特征；将所述M个不同层级特征按照与所述第一层级方向相反的第二层级方向进行处理，获得M层第二中间特征，包括：将所述M个不同层级特征按照从低层级特征到高层级特征的方向进行处理，获得M层第二中间特征。
或者，将M个不同层级特征按照第一层级方向进行处理，获得M层第一中间特征，包括：将所述M个不同层级特征按照从低层级特征到高层级特征的方向进行处理，获得M层第一中间特征；将所述M个不同层级特征按照与所述第一层级方向相反的第二层级方向进行处理，获得M层第二中间特征，包括：将所述M个不同层级特征按照从高层级特征到低层级特征的方向进行处理，获得M层第二中间特征。
为了描述的方便，下面的描述均以第一层级方向为从高层级特征到低层级特征的方向，第二层级方向为从低层级特征到高层级特征的方向为例进行说明。
其中，所述M个不同层级特征中第i个层级特征的级别高于第i-1层级特征的级别，i为小于等于M且大于等于2的整数，将所述M个不同层级特征按照从高层级特征到低层级特征的方向进行处理，获得M层第一中间特征，包括：将第M层级特征确定为所述M层第一中间特征中的第M层第一中间特征；依次取i为M-1至1，将所述第M层级特征到第i层级特征之间的M-i+1个层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1层第一中间特征。
例如，若M为3时，将第3层级特征确定为3层第一中间特征中的第3层第一中间特征，然后依次取i为2到1，将第3层级特征到第i层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得2层第一中间特征，如i为2时，将第3层级特征到第2层级特征进行融合，获得第2层第一中间特征，如i为1时，将第3层级特征到第1层级特征进行融合，获得第1层第一中间特征，所以按此方式，共可获得3层第一中间特征。
而在神经网络中，依次取i为M-1至1，沿神经网络中网络深度从深到浅的方向，依次将所述神经网络中，经第M层网络层输出的第M层级特征上采样后，与到经第i层网络层输出的第i层级特征之间的M-i+1个层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1层第一中间特征。例如，将第M层级特征上采样后与第M-1层级特征相加，获得第M-1层第一中间特征，然后可将该第M-1层第一中间特征与下一经网络深第M-2层网络层输出的第M-2层级特征进行融合，获得第M-2层第一中间特征，再将第M-2层第一中间特征继续与下一经第M-3层网络层输出的第M-3层级特征进行融合，获得第M-3层第一中间特征，依此方式，可获得第1层第一中间特征，共获得M-1层第一中间特征。
例如，将第3层级特征上采样后与第2层级特征进行融合，获得第二层第一中间特征，然后可将该第二层第一中间特征与下一经第1层网络层输出的第1层级特征进行融合，获得第一层第一中间特征，以此方式，可获得3层第二中间特征。
其中，第M层级特征，可以包括：经神经网络中第M层网络层输出的特征、或者对该第M层网络层输出的特征进行至少一次特征提取得到的特征。例如，参与融合的特征中，最高层级的特征可以是上述M个不同层级特征中最高层级的特征，即第M层级特征，或者也可以是对该最高层级的特征进行一次或多次特征提取得到的特征，M层第一中间特征中可以包括上述最高层级的特征和每次融合得到的融合特征。
类似地，所述M个不同层级特征中第i个层级特征的级别小于第i+1层级特征的级别，i为小于等于M且大于等于1的整数，将所述M个不同层级特征按照从低层级特征到高层级特征的方向进行处理，获得M层第二中间特征，包括：将第1层级特征确定为所述M层第二中间特征中的第1层第二中间特征；依次取i为2至M，将所述第1层级特征到第i层级特征之间的i个层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1层第二中间特征。
例如，若M为3时，将第1层级特征确定为3层第二中间特征中的第1层第二中间特征，然后依次取i为2到3，将第1层级特征到第i层级特征进行融合，获得第i层第二中间特征，在i为3时，共获得2层第二中间特征，如i为2时，将第1层级特征到第2层级特征进行融合，获得第2层第二中间特征，如i为2时，将第1层级特征到第3层级特征进行融合，获得第3层第二中间特征，所以按此方式，共可获得3层第二中间特征。
而在神经网络中，依次取i为2至M，沿神经网络中网络深度从浅到深的方向，依次将所述神经网络中，经第1层网络层输出的第1层级特征下采样后，与到经第i层网络层输出的第i层级特征之间的i个层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1层第二中间特征。
例如，将第1层级特征下采样后与第2层级特征进行融合，获得第二层第二中间特征，然后可将该第二层第二中间特征与下一经第3层网络层输出的第3层级特征进行融合，获得第三层第二中间特征，以此方式，可获得3层第二中间特征。
其中，第1层级特征可以包括：经神经网络中第1层网络层输出的特征、或者对该第1层网络层输出的特征进行至少一次特征提取得到的特征。例如，参与融合的特征中，最低层级的特征可以是上述M个不同层级特征中最低层级的特征，或者也可以是对该最低层级的特征进行一次或多次特征提取得到的特征，M层第二中间特征中可以包括上述最低层级的特征和每次融合得到的融合特征。
另外，作为一种实施方式，所述M个不同层级特征中第i个层级特征的级别小于第i+1层级特征的级别，将所述M层第一中间特征按照第二层级方向进行处理，获得M层第一图像特征，包括：将第1层第一中间特征确定为所述M层第一图像特征中的第1层第一图像特征；依次取i为2至M，将所述第1层第一中间特征与第i层第一中间特征之间的i层第一中间特征进行融合，获得第i层第一图像特征，在i为M时，共获得M-1层第一图像特征。
例如，在M＝3时，将第1层第一中间特征确定为第1层第一图像特征，依次取i为2到3，将第1层第一中间特征与第i层第一中间特征之间的i层第一中间特征进行融合，获得第i层第一图像特征，如i为2时，将第1层第一中间特征与第2层第一中间特征之间的2层第一中间特征进行融合，获得第2层第一图像特征，在i为3时，将第1层第一中间特征与第3层第一中间特征之间的3层第一中间特征进行融合，获得第3层第一图像特征，所以，按照此方式，可获得3层第一图像特征。
将所述M层第二中间特征按照第一层级方向进行处理，获得M层第二图像特征，包括：将第M层第二中间特征确定为所述M层第二图像特征中的第M层第二图像特征；依次取i为M-1至1，将所述第M层第二中间特征到第i层第二中间特征之间的M-i+1层第二中间特征进行融合，获得第i层第二图像特征，在i为1时，共获得M-1层第二图像特征。
例如，在M＝3时，将第3层第二中间特征确定为第3层第二图像特征，依次取i为2到1，第M层第二中间特征到第i层第二中间特征之间的M-i+1层第二中间特征进行融合，获得第i层第二图像特征，如i为2时，将第3层第二中间特征与第2层第二中间特征之间的2层第二中间特征进行融合，获得第2层第二图像特征，在i为1时，将第3层第二中间特征与第1层第二中间特征之间的3层第二中间特征进行融合，获得第3层第二图像特征，所以，按照此方式，可获得3层第二图像特征。
而在神经网络中，将M层第一中间特征沿神经网络中网络深度从浅到深的方向进行融合，例如，将第一中间特征从低层级特征到高层级特征进行特征融合，获得第一图像特征，每层第一图像特征包括最低层级的第一中间特征以及每次第一中间特征融合后的特征，也就是说，最后获得的每层第一图像特征包括M个不同层级特征，且该M个不同层级特征中高层级特征所占比重较大。
将M层第二中间特征沿神经网络中网络深度从深到浅的方向进行融合，例如，将第二中间特征从高层级特征到低层级特征进行特征融合，获得第二图像特征，每层第二图像特征包括最高层级的第二中间特征以及每次第二中间特征融合后的特征，也就是说，最后获得的每层第二图像特征包括M个不同层级特征，且该M个不同层级特征中低层级特征所占比重较大。
为了便于对上述特征融合的理解，上述对特征进行融合的方式可参照图3所示的特征融合示意图，如图3所示，示出了将一个较低层级特征Ni下采样后与相邻的、较高层级特征Pi+1融合，得到相应的融合特征Ni+1的一个示意图，其中，i为取值大于0的整数。
基于该实施例，对M个不同层级特征按照自上而下的顺序(即神经网络中网络深度从深至浅、从高层级特征到低层级特征的顺序)，逐渐将高层级低分辨率的特征和低层级高分辨率的特征融合，得到一批新的特征，即M层第一中间特征，且对M个不同层级特征按照从下而上的顺序(即低层级特征到高层级特征的顺序)，依次将较低层级特征下采样后与相邻的、较高层级特征进行处理，逐渐将低层级高分辨率的特征和高层级低分辨率的特征融合，得到另一批新的特征，即M层第二中间特征。
所以，本实施例中经过多次特征处理，能够帮助低层信息更容易地传播到高层网络(即网络深度较深的网络层)，使得最后获得的图像特征中包含的各个层级特征的权重不同，即高层级特征与低层级特征的权重均较大，降低信息传播的损失，使得信息在神经网络内部能够更加顺畅的传递，可以让高层网络更容易、全面地获取低层信息，由于低层信息对某些细节比较敏感，能够提供对定位和分割非常有益的信息，而高层信息对大物体的信息比较敏感，本方案中获得的低层信息与高层信息的比重均较大，使得对大小物体的实例分割效果较为均衡。
下面以一个具体的例子对上述实施例的具体过程进行说明，请参照图4，图4为本申请实施例提供的一种对特征处理的应用示意图。具体地，(C1,C2,C3,C4)特征为通过神经网络对待处理图像进行特征提取获得的M个不同层级特征，该实施例中，M为4，即获得4个不同层级特征，将该(C1,C2,C3,C4)特征按照从高层级特征从低层级特征的方向进行处理，获得4层第一中间特征，即第一中间特征为特征(P1,P2,P3,P4)，其融合的方式可以简单表示如下：P4＝C4，P3＝C3+C4，P2＝C2+C3+C4，P1＝C1+C2+C3+C4。
将该(C1,C2,C3,C4)特征按照从低层级特征从高层级特征的方向进行进行，获得4层第二中间特征，即第二中间特征为特征(N1,N2，N3，N4)，其融合的方式可以简单表示如下：N1＝C1，N2＝N1+C2＝C1+C2，N3＝N2+C3＝C1+C2+C3，N4＝N3+C4＝C1+C2+C3+C4。
然后再将第一特征(P1,P2,P3,P4)按照从低层级特征到高层级特征的方向进行处理，获得4层第一图像特征，即特征(O1,O2,O3,O4)，其融合的方式可以简单表示如下：O1＝P1＝C1+C2+C3+C4，O2＝P1+P2＝C1+2(C2+C3+C4)，O3＝P1+P2+P3＝C1+2C2+3(C3+C4)，O4＝P1+P2+P3+P4＝C1+2C2+3C3+4C4。
将第二中间特征(N1,N2，N3，N4)按照从低层级特征到高层级特征的方向进行处理，获得4层第二图像特征，即特征(Q1,Q2,Q3,Q4)，其融合的方式可以简单表示如下：Q4＝N4＝C1+C2+C3+C4，Q3＝N4+N3＝2(C1+C2+C3)+C4，Q2＝N4+N3+N2＝3(C1+C2)+2C3+C4，Q1＝N4+N3+N2+N1＝4C1+3C2+2C3+C4。
可见获得的O层第一图像特征中每层第一图像特征包括的高层级特征信息较多，低层级特征信息较少，获得的Q层第二图像特征中每层第二图像特征包括的低层级特征信息较多，高层级特征信息较少，所以，最后获得的图像特征中包含的高层级特征信息和低层级特征信息占据的权重均较大，且较为均衡，所以在后续对物体进行实例分割时，由于高层级特征信息对大物体比较敏感，低层级特征信息对小物体比较敏感，所以利用获得的图像特征对大小物体都具有较好的实例分割效果。
另外，在获得上述的M层第一图像特征和M层第二图像特征后，还可以基于所述M层第一图像特征和所述M层第二图像特征对所述待处理图像的至少部分区域进行分割，获得分割结果。
例如，本申请各实施例中，待处理图像的至少部分区域可以是图像的全部区域或者局部区域(例如候选区域)，即可以对整个待处理图像进行分割，得到图像的分割结果，也可以对待处理图像的局部区域(例如候选区域)进行分割，得到局部区域的分割结果。
例如，待处理图像的至少部分区域可以是图像的全部区域或者局部区域(例如候选区域)，即可以对整个待处理图像进行分割，得到图像的分割结果，也可以对待处理图像的局部区域(例如候选区域)进行分割，得到局部区域的分割结果。
另外，上述对待处理图像进行分割可以是对待处理图像进行语义分割或者实例分割，例如，在对待处理图像进行分割时，可以基于M层第一图像特征和M层第二图像特征对待处理图像的至少部分区域进行语义分割，获得语义分割结果，其中，该语义分割结果例如可以包括：该待处理图像的至少部分区域中各像素所属的类别。
再如，还可以基于M层第一图像特征和M层第二图像特征对待处理图像的至少部分区域进行实例分割，获得实例分割结果。实例分割结果可以包括：该待处理图像中的至少部分区域中属于某实例的像素以及该实例所属的类别，例如，该至少部分区域中属于某男孩的像素以及该男孩所属的类别为人。实例分割可采用上述的Mask R-CNN算法。
实例，例如可以包括但不限于某一个具体对象，如某一具体的人、某一具体的物等等。通过神经网络对待处理图像进行检测可获得一个或多个实例候选区域，实例候选区域表示图像中可能出现上述实例的区域。
另外，为了更好地对待处理图像进行实例分割，还可以对M层第一图像特征和M层第二图像特征中不同层级的图像特征进行像素级别的融合，得到最终融合特征，进而还可以基于最终融合特征对待处理图像的至少部分区域进行分割。
在其中一个可选示例中，对M层第一图像特征和M层第二图像特征进行像素级别的融合，包括：M层第一图像特征和M层第二图像特征基于各像素取最大值，即将M层第一图像特征和M层第二图像特征中，各像素位置的特征取最大值；或者对M层第一图像特征和M层第二图像特征基于各像素取平均值，即将M层第一图像特征和M层第二图像特征中各像素位置的特征求取平均值；或者对M层第一图像特征和M层第二图像特征基于各像素求和，即将M层第一图像特征和M层第二图像特征中，各像素位置的特征求和。
其中，在上述实施例中，对M层第一图像特征和M层第二图像特征基于各像素取最大值时，将M层第一图像特征和M层第二图像特征基于各像素取最大值的方式，相对于其他方式而言，使得获得的特征更明显，从而使得分割结果更准确，以提升分割结果的准确性。
在上述实施例中，还可以基于M层第一图像特征和M层第二图像特征中待处理图像的至少部分区域对应的融合特征，进行像素级别的实例预测，获得待处理图像的至少部分区域的实例类别预测结果；基于待处理图像的至少部分区域对应的融合特征进行像素级别的前背景预测，获得待处理图像的至少部分区域的前背景预测结果。
基于实例类别预测结果和前背景预测结果，获取待处理图像的至少部分区域的实例分割结果，该实例分割结果包括：当前实例候选区域中属于某实例的像素以及该实例所属的类别信息。
本实施例中，基于上述的M层第一图像特征和M层第二图像特征，同时进行像素级别的实例类别预测和前背景预测，通过像素级别的实例类别预测可以对该M层第一图像特征和M层第二图像特征的精细分类和多分类，通过前背景预测可以获得较好的全局信息，并且由于无需关注多实例类别之间的细节信息，提高了预测速度，同时基于上述实例类别预测结果和前背景预测结果获取实例物体候选区域的实例分割结果，可以提高实例候选区域或者待处理图像的实例分割结果。
其中，上述分别基于M层第一图像特征和M层第二图像特征进行实例分割时，获得实例分割结果时，由于同时基于该M层第一图像特征和M层第二图像特征进行像素级别的实例类别预测和前背景预测，该部分方案可以称为双路掩膜预测，如图5所示，图5为本申请实施例中进行双路掩膜预测的一个网络结果示意图。
图5中，局部区域(ROI)的融合特征，分别经过两个分支进行实例类别预测和前背景预测。其中，第一个分支包括：四个全卷积层(conv1-conv4)，即上述第一卷积网络；和一个解卷积层(deconv)即上述第一全卷积层组成。另一个分支包：从第一个分支的全卷积层(conv1-conv3)、以及两个全卷积层(conv4-fc和conv5-fc)，即上述第二卷积网络、以及全连接层(fc)、以及转换层(reshape)，用于将前背景预测结果转换为与实例类别预测结果的维度一致的前背景预测结果。第一个分支对每个潜在的实例类别都会进行像素级别的掩膜预测，而全连接层则进行一个与实例类别无关的掩膜预测(即进行像素级别的前背景预测)，最终这两个分支的掩膜预测相加得到最终的实例分割结果。
图6为本申请图像处理方法的一个应用实施例的流程图，该实施例以对待处理图像的局部区域进行实例分割为例进行说明，对整个待处理图像进行实例分割或者语义分割时，直接以整个待处理图像的M层第一图像特征和M层第二图像特征进行相应的实例分割或语义分割，本领域技术人员基于本申请实施例的记载，可以知悉对整个待处理图像进行分割的实现，此外不再赘述。该应用实施例的图像处理方法具体包括如下过程：
首先，通过神经网络对待处理图像进行特征提取，经神经网络中4个不同网络深度的网络层输出M个层级特征C1-C4。
然后将上述4个层级特征中，按照从高层级特征C4到低层级特征C1的顺序，依次将较高层级的特征Ci上采样后与较低层级的特征Ci-1进行处理，获得4层第一中间特征P1-P4。
其中，i的取值依次为4-1中的整数。参与融合的特征和第一中间特征中，最高层级的第一中间特征P4为上述四个不同层级特征中最高层级的特征C4或者通过全卷积层对该特征C4进行特征提取得到的特征，即P4＝C4，第一中间特征P3为特征P4和特征C3之和或者通过卷积层对特征P4和特征C3进行卷积得到的特征，即第一中间特征P3＝P4+C3＝C4+C3，按照此方式，第一中间特征P2＝P3+C2＝C4+C3+C2，第一中间特征P1＝P2+C1＝C4+C3+C2+C1。
再将上述四个层级特征中，按照从低层级特征C1到高层级特征C4的顺序，依次将较低层级的特征Ci上采样后与较高层级的特征Ci+1进行处理，获得4层第二中间特征N1-N4。
其中，i的取值依次为1-4中的整数。参与融合的特征和第二中间特征中，最低层级的第二中间特征N1为上述四个不同层级特征中最低层级的特征C1或者通过全卷积层对该特征C1进行特征提取得到的特征，即N1＝C1，第二中间特征N2为特征N1和特征C2之和或者通过卷积层对特征N1和特征C2进行卷积得到的特征，即N2＝N1+C2＝C1+C2，按照此方式，第二中间特征N3＝N2+C3＝C1+C2+C3，第二中间特征N4＝N3+C4＝C1+C2+C3+C4。
继续对第一中间特征P1-P4按照从低层级特征P1到高层级特征P4的顺序，依次将较低层级的特征Pi上采样后与较高层级的特征Pi+1进行处理，获得4层第一图像特征O1-O4。
其中，i的取值依次为1-4中的整数。参与融合的特征和第一图像特征中，最低层级的第一图像特征O1为上述第一中间特征中最低层级的特征P1或者通过全卷积层对该特征P1进行特征提取得到的特征，即O1＝P1，第一图像特征O2为特征O1和特征P2之和或者通过卷积层对特征O1和特征P2进行卷积得到的特征，即O2＝O1+P2＝C1+2(C2+C3+C4)，按照此方式，第一图像特征O3＝O2+P3＝C1+2C2+3(C3+C4)，第一图像特征O4＝O3+P4＝C1+2C2+3C3+4C4。
还需对第二中间特征N1-N4按照从高层级特征N4到低层级特征N1的顺序，依次将较高层级的特征Ni上采样后与较低层级的特征Ni-1进行处理，获得4层第二图像特征Q1-Q4。
其中，i的取值依次为4-1中的整数。参与融合的特征和第二中间特征中，最高层级的第二中间特征N4为上述第二中间特征中最高层级的特征N4或者通过全卷积层对该特征N4进行特征提取得到的特征，即Q4＝N4，第二图像特征Q3为特征Q4和特征N3之和或者通过卷积层对特征Q4和特征N3进行卷积得到的特征，即第二图像特征Q3＝Q4+N3＝2(C1+C2+C3)+C4，按照此方式，第二图像特征Q2＝Q3+N2＝3(C1+C2)+2C3+C4，第二图像特征Q1＝Q2+N1＝4C1+3C2+2C3+C4。
需要说明的是，上述获得第一中间特征和第二中间特征，以及获得第一图像特征和第二特征特征在执行时间上不存在先后顺序，二者可以同时执行，也可以以任意时间顺序执行，本实施例中所列举的实现步骤并不构成对本申请的限制。
本申请各实施例中，例如，可以采用但不限于区域推荐网络(Region ProposalNetwork，RPN)生成图像感兴趣区域(region of interest，ROI)对齐(ROIAlign)的方法，从M层第一图像特征和M层第二图像特征中对抽取该局部区域对应的区域特征。
再对从M层第一图像特征和M层第二图像特征中抽取的该局部区域对应的四个区域特征进行像素级别的融合，得到最终融合特征。然后基于该最终融合特征进行实例识别，获得实例识别结果。
该实例识别结果包括各实例的物体框(box)或者位置和该实例所属的实例类别(class)。该步骤之后，可不执行本应用实施例的后续流程。
当然，还可以基于最终融合特征进行像素级别的实例类别预测，获得实例类别预测结果，以及基于最终融合特征进行像素级别的前背景预测，获得前背景预测结果。
然后将物体类别预测结果与前背景预测结果进行像素级的相加处理，获得上述局部区域的实例分割结果。
其中，该实例分割结果包括：该局部区域中属于某一实例的像素以及该实例所属的实例类别，其中，实例类别可以为背景或某一实例类别。
需要说明的是，上述基于M层第一图像特征和M层第二图像特征对所述待处理图像的至少部分区域进行分割，获得分割结果，由于对于每个实例，其分别提取M层第一图像特征和M层第二图像特征中的对应特征进行融合，所以最后获得的融合特征中包含比较均衡的高层级信息和低层级信息，且高层级信息和低层级信息均较多，所以后续进行分割时，对大小物体的分割效果较好。
但是，还可只基于M层第一图像特征对所述待处理图像的至少部分区域进行分割，获得分割结果，即对于每个实例，提取M层第一图像特征中的对应特征进行融合，所以，最后获得的融合特征中包含的高层级信息较多，低层级信息较少，所以后续进行分割时，对大物体的识别效果较好。或者还可以只基于M层第二图像特征对所述待处理图像的至少部分区域进行分割，获得分割结果，即对于每个实例，提取M层第二图像特征中的对应特征进行融合，所以，最后获得的融合特征中包含的低层级信息较多，高层级信息较少，所以后续进行分割时，对小物体的识别效果较好。所以，可以根据实际应用需求，可以灵活选择相应的M层第一图像特征和/或M层第二图像特征对待处理图像的至少部分区域进行分割，获得对应的分割结果。
请参照图7，图7为本申请实施例提供的一种图像处理装置200的结构框图，所述装置包括：
图像获取模块210，用于获取待处理图像，对所述待处理图像进行特征提取，获得M个不同层级特征，M为大于等于2的整数；
第一处理模块220，用于将所述M个不同层级特征按照第一层级方向进行处理，获得M层第一中间特征，以及将所述M个不同层级特征按照与所述第一层级方向相反的第二层级方向进行处理，获得M层第二中间特征；
第二处理模块230，用于将所述M层第一中间特征按照所述第二层级方向进行处理，获得M层第一图像特征，以及将所述M层第二中间特征按照所述第一层级方向进行处理，获得M层第二图像特征。
可选地，所述图像获取模块210，具体用于通过神经网络对所述待处理图像进行特征提取，经所述神经网络中M个不同网络深度的网络层输出M个不同层级特征。
可选地，所述第一处理模块220，用于将所述M个不同层级特征按照从高层级特征到低层级特征的方向进行处理，获得M层第一中间特征；
所述第一处理模块220，还用于将所述M个不同层级特征按照从低层级特征到高层级特征的方向进行处理，获得M层第二中间特征。
可选地，所述M个不同层级特征中第i个层级特征的级别高于第i-1层级特征的级别，i为小于等于M且大于等于2的整数，所述第一处理模块220，还用于将第M层级特征确定为所述M层第一中间特征中的第M层第一中间特征；依次取i为M-1至1，将所述第M层级特征到第i层级特征之间的M-i+1个层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1层第一中间特征。
可选地，所述第一处理模块220，还用于依次取i为M-1至1，沿神经网络中网络深度从深到浅的方向，依次将所述神经网络中，经第M层网络层输出的第M层级特征上采样后，与到经第i层网络层输出的第i层级特征之间的M-i+1个层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1层第一中间特征。
可选地，所述M个不同层级特征中第i个层级特征的级别小于第i+1层级特征的级别，i为小于等于M且大于等于1的整数，所述第一处理模块220，还用于将第1层级特征确定为所述M层第二中间特征中的第1层第二中间特征；依次取i为2至M，将所述第1层级特征到第i层级特征之间的i个层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1层第二中间特征。
可选地，所述第一处理模块220，还用于依次取i为2至M，沿神经网络中网络深度从浅到深的方向，依次将所述神经网络中，经第1层网络层输出的第1层级特征下采样后，与到经第i层网络层输出的第i层级特征之间的i个层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1层第二中间特征。
可选地，所述M个不同层级特征中第i个层级特征的级别小于第i+1层级特征的级别，所述第二处理模块230，用于将第1层第一中间特征确定为所述M层第一图像特征中的第1层第一图像特征；依次取i为2至M，将所述第1层第一中间特征与第i层第一中间特征之间的i层第一中间特征进行融合，获得第i层第一图像特征，在i为M时，共获得M-1层第一图像特征；
所述第二处理模块230，还用于将第M层第二中间特征确定为所述M层第二图像特征中的第M层第二图像特征；依次取i为M-1至1，将所述第M层第二中间特征到第i层第二中间特征之间的M-i+1层第二中间特征进行融合，获得第i层第二图像特征，在i为1时，共获得M-1层第二图像特征。
可选地，所述装置还包括：
图像分割模块，用于基于所述M层第一图像特征和所述M层第二图像特征对所述待处理图像的至少部分区域进行分割，获得分割结果。
可选地，所述图像分割模块，具体用于基于所述M层第一图像特征和所述M层第二图像特征对所述待处理图像的至少部分区域进行语义分割，获得语义分割结果。
可选地，所述图像分割模块，具体用于基于所述M层第一图像特征和所述M层第二图像特征对所述待处理图像的至少部分区域进行实例分割，获得实例分割结果。
本申请实施例提供一种可读存储介质，所述计算机程序被处理器执行时，执行如图2所示方法实施例中电子设备所执行的方法过程。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
综上所述，本申请实施例提供一种图像处理方法、装置、电子设备及存储介质，该方法通过对待处理图像提取的M个不同层级特征进行两次处理后，获得M层第一中间特征和M层第二中间特征，然后分别对M层第一中间特征进行处理获得M层第一图像特征，对M层第二中间特征进行处理获得M层第二图像特征，通过该方式最后获得的图像特征中包含的高层特征和低层特征所占的权重比较均衡，从而可以让高层网络更容易、更全面地获取低层信息，对大小物体均有较好的分割效果。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (24)

1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理图像，对所述待处理图像进行特征提取，获得M个不同层级特征，M为大于等于2的整数；
将所述M个不同层级特征按照第一层级方向进行处理，获得M层第一中间特征，以及将所述M个不同层级特征按照与所述第一层级方向相反的第二层级方向进行处理，获得M层第二中间特征；
将所述M层第一中间特征按照所述第二层级方向进行处理，获得M层第一图像特征，以及将所述M层第二中间特征按照所述第一层级方向进行处理，获得M层第二图像特征。
2.根据权利要求1所述的方法，其特征在于，所述M个不同层级特征中第i个层级特征的级别小于第i+1层级特征的级别，将所述M层第一中间特征按照所述第二层级方向进行处理，获得M层第一图像特征，包括：将第1层第一中间特征确定为所述M层第一图像特征中的第1层第一图像特征；依次取i为2至M，将所述第1层第一中间特征与第i层第一中间特征之间的i层第一中间特征进行融合，获得第i层第一图像特征，在i为M时，共获得M-1层第一图像特征；
将所述M层第二中间特征按照所述第一层级方向进行处理，获得M层第二图像特征，包括：将第M层第二中间特征确定为所述M层第二图像特征中的第M层第二图像特征；依次取i为M-1至1，将所述第M层第二中间特征到第i层第二中间特征之间的M-i+1层第二中间特征进行融合，获得第i层第二图像特征，在i为1时，共获得M-1层第二图像特征。
3.根据权利要求1所述的方法，其特征在于，对所述待处理图像进行特征提取，获得M个不同层级特征，包括：
通过神经网络对所述待处理图像进行特征提取，经所述神经网络中M个不同网络深度的网络层输出M个不同层级特征。
4.根据权利要求1所述的方法，其特征在于，将所述M个不同层级特征按照第一层级方向进行处理，获得M层第一中间特征，包括：将所述M个不同层级特征按照从高层级特征到低层级特征的方向进行处理，获得M层第一中间特征；
将所述M个不同层级特征按照与所述第一层级方向相反的第二层级方向进行处理，获得M层第二中间特征，包括：将所述M个不同层级特征按照从低层级特征到高层级特征的方向进行处理，获得M层第二中间特征。
5.根据权利要求4所述的方法，其特征在于，所述M个不同层级特征中第i个层级特征的级别高于第i-1层级特征的级别，i为小于等于M且大于等于2的整数，所述将所述M个不同层级特征按照从高层级特征到低层级特征的方向进行处理，获得M层第一中间特征，包括：
将第M层级特征确定为所述M层第一中间特征中的第M层第一中间特征；
依次取i为M-1至1，将所述第M层级特征到第i层级特征之间的M-i+1个层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1层第一中间特征。
6.根据权利要求5所述的方法，其特征在于，依次取i为M-1至1，将所述第M层级特征到第i层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1个第一中间特征，包括：
依次取i为M-1至1，沿神经网络中网络深度从深到浅的方向，依次将所述神经网络中，经第M层网络层输出的第M层级特征上采样后，与到经第i层网络层输出的第i层级特征之间的M-i+1个层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1层第一中间特征。
7.根据权利要求4所述的方法，其特征在于，所述M个不同层级特征中第i个层级特征的级别小于第i+1层级特征的级别，i为小于等于M且大于等于1的整数，将所述M个不同层级特征按照从低层级特征到高层级特征的方向进行处理，获得M层第二中间特征，包括：
将第1层级特征确定为所述M层第二中间特征中的第1层第二中间特征；
依次取i为2至M，将所述第1层级特征到第i层级特征之间的i个层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1层第二中间特征。
8.根据权利要求7所述的方法，其特征在于，依次取i为2至M，将所述第1层级特征到第i层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1个第二中间特征，包括：
依次取i为2至M，沿神经网络中网络深度从浅到深的方向，依次将所述神经网络中，经第1层网络层输出的第1层级特征下采样后，与到经第i层网络层输出的第i层级特征之间的i个层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1层第二中间特征。
9.根据权利要求1-8任一所述的方法，其特征在于，将所述M层第一中间特征按照所述第二层级方向进行处理，获得M层第一图像特征，以及将所述M层第二中间特征按照所述第一层级方向进行处理，获得M层第二图像特征之后，还包括：
基于所述M层第一图像特征和所述M层第二图像特征对所述待处理图像的至少部分区域进行分割，获得分割结果。
10.根据权利要求9所述的方法，其特征在于，基于所述M层第一图像特征和所述M层第二图像特征对所述待处理图像的至少部分区域进行分割，获得分割结果，包括：
基于所述M层第一图像特征和所述M层第二图像特征对所述待处理图像的至少部分区域进行语义分割，获得语义分割结果。
11.根据权利要求9所述的方法，其特征在于，基于所述M层第一图像特征和所述M层第二图像特征对所述待处理图像的至少部分区域进行分割，获得分割结果，包括：
基于所述M层第一图像特征和所述M层第二图像特征对所述待处理图像的至少部分区域进行实例分割，获得实例分割结果。
12.一种图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取待处理图像，对所述待处理图像进行特征提取，获得M个不同层级特征，M为大于等于2的整数；
第一处理模块，用于将所述M个不同层级特征按照第一层级方向进行处理，获得M层第一中间特征，以及将所述M个不同层级特征按照与所述第一层级方向相反的第二层级方向进行处理，获得M层第二中间特征；
第二处理模块，用于将所述M层第一中间特征按照所述第二层级方向进行处理，获得M层第一图像特征，以及将所述M层第二中间特征按照所述第一层级方向进行处理，获得M层第二图像特征。
13.根据权利要求12所述的装置，其特征在于，所述M个不同层级特征中第i个层级特征的级别小于第i+1层级特征的级别，所述第二处理模块，用于将第1层第一中间特征确定为所述M层第一图像特征中的第1层第一图像特征；依次取i为2至M，将所述第1层第一中间特征与第i层第一中间特征之间的i层第一中间特征进行融合，获得第i层第一图像特征，在i为M时，共获得M-1层第一图像特征；
所述第二处理模块，还用于将第M层第二中间特征确定为所述M层第二图像特征中的第M层第二图像特征；依次取i为M-1至1，将所述第M层第二中间特征到第i层第二中间特征之间的M-i+1层第二中间特征进行融合，获得第i层第二图像特征，在i为1时，共获得M-1层第二图像特征。
14.根据权利要求12所述的装置，其特征在于，所述图像获取模块，具体用于通过神经网络对所述待处理图像进行特征提取，经所述神经网络中M个不同网络深度的网络层输出M个不同层级特征。
15.根据权利要求12所述的装置，其特征在于，所述第一处理模块，用于将所述M个不同层级特征按照从高层级特征到低层级特征的方向进行处理，获得M层第一中间特征；
所述第一处理模块，还用于将所述M个不同层级特征按照从低层级特征到高层级特征的方向进行处理，获得M层第二中间特征。
16.根据权利要求15所述的装置，其特征在于，所述M个不同层级特征中第i个层级特征的级别高于第i-1层级特征的级别，i为小于等于M且大于等于2的整数，所述第一处理模块，还用于将第M层级特征确定为所述M层第一中间特征中的第M层第一中间特征；依次取i为M-1至1，将所述第M层级特征到第i层级特征之间的M-i+1个层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1层第一中间特征。
17.根据权利要求16所述的装置，其特征在于，所述第一处理模块，还用于依次取i为M-1至1，沿神经网络中网络深度从深到浅的方向，依次将所述神经网络中，经第M层网络层输出的第M层级特征上采样后，与到经第i层网络层输出的第i层级特征之间的M-i+1个层级特征进行融合，获得第i层第一中间特征，在i为1时，共获得M-1层第一中间特征。
18.根据权利要求15所述的装置，其特征在于，所述M个不同层级特征中第i个层级特征的级别小于第i+1层级特征的级别，i为小于等于M且大于等于1的整数，所述第一处理模块，还用于将第1层级特征确定为所述M层第二中间特征中的第1层第二中间特征；依次取i为2至M，将所述第1层级特征到第i层级特征之间的i个层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1层第二中间特征。
19.根据权利要求18所述的装置，其特征在于，所述第一处理模块，还用于依次取i为2至M，沿神经网络中网络深度从浅到深的方向，依次将所述神经网络中，经第1层网络层输出的第1层级特征下采样后，与到经第i层网络层输出的第i层级特征之间的i个层级特征进行融合，获得第i层第二中间特征，在i为M时，共获得M-1层第二中间特征。
20.根据权利要求12-19任一所述的装置，其特征在于，所述装置还包括：
图像分割模块，用于基于所述M层第一图像特征和所述M层第二图像特征对所述待处理图像的至少部分区域进行分割，获得分割结果。
21.根据权利要求20所述的装置，其特征在于，所述图像分割模块，具体用于基于所述M层第一图像特征和所述M层第二图像特征对所述待处理图像的至少部分区域进行语义分割，获得语义分割结果。
22.根据权利要求20所述的装置，其特征在于，所述图像分割模块，具体用于基于所述M层第一图像特征和所述M层第二图像特征对所述待处理图像的至少部分区域进行实例分割，获得实例分割结果。
23.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-11任一所述方法中的步骤。
24.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-11任一所述方法中的步骤。
CN201811577668.7A 2018-12-19 2018-12-19 图像处理方法、装置、电子设备及存储介质 Pending CN111340044A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811577668.7A CN111340044A (zh) 2018-12-19 2018-12-19 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811577668.7A CN111340044A (zh) 2018-12-19 2018-12-19 图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111340044A true CN111340044A (zh) 2020-06-26

Family

ID=71181919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811577668.7A Pending CN111340044A (zh) 2018-12-19 2018-12-19 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111340044A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021139447A1 (zh) * 2020-09-30 2021-07-15 平安科技（深圳）有限公司 一种宫颈异常细胞检测装置及方法
CN114092364A (zh) * 2021-08-12 2022-02-25 荣耀终端有限公司 图像处理方法及其相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012060611A (ja) * 2010-09-13 2012-03-22 Sony Computer Entertainment Inc 画像処理装置、画像処理方法、および動画像ファイルのデータ構造
CN108335305A (zh) * 2018-02-09 2018-07-27 北京市商汤科技开发有限公司 图像分割方法和装置、电子设备、程序和介质
CN108460411A (zh) * 2018-02-09 2018-08-28 北京市商汤科技开发有限公司 实例分割方法和装置、电子设备、程序和介质
CN108830322A (zh) * 2018-06-15 2018-11-16 联想(北京)有限公司 一种图像处理方法及装置、设备、存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012060611A (ja) * 2010-09-13 2012-03-22 Sony Computer Entertainment Inc 画像処理装置、画像処理方法、および動画像ファイルのデータ構造
CN108335305A (zh) * 2018-02-09 2018-07-27 北京市商汤科技开发有限公司 图像分割方法和装置、电子设备、程序和介质
CN108460411A (zh) * 2018-02-09 2018-08-28 北京市商汤科技开发有限公司 实例分割方法和装置、电子设备、程序和介质
CN108830322A (zh) * 2018-06-15 2018-11-16 联想(北京)有限公司 一种图像处理方法及装置、设备、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李钦等: "图像深度层次特征提取算法", 《模式识别与人工智能》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021139447A1 (zh) * 2020-09-30 2021-07-15 平安科技（深圳）有限公司 一种宫颈异常细胞检测装置及方法
CN114092364A (zh) * 2021-08-12 2022-02-25 荣耀终端有限公司 图像处理方法及其相关设备
CN114092364B (zh) * 2021-08-12 2023-10-03 荣耀终端有限公司 图像处理方法及其相关设备

Similar Documents

Publication Publication Date Title
CN108335305B (zh) 图像分割方法和装置、电子设备、程序和介质
CN108460411B (zh) 实例分割方法和装置、电子设备、程序和介质
US10943145B2 (en) Image processing methods and apparatus, and electronic devices
Santra et al. Learning a patch quality comparator for single image dehazing
Deng et al. Attention-gate-based encoder–decoder network for automatical building extraction
KR102438095B1 (ko) 인스턴스 분할 방법 및 장치, 전자 기기, 프로그램 및 매체
CN111583097A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
Chen et al. Haze removal using radial basis function networks for visibility restoration applications
CN111340059A (zh) 图像特征提取方法、装置、电子设备及存储介质
CN111709420A (zh) 文本检测方法、电子设备及计算机可读介质
CN113096140B (zh) 实例分割方法及装置、电子设备及存储介质
JP6100300B2 (ja) 階層グラフに基づく画像マッティングおよび前景推定の方法およびシステム
CN109948533B (zh) 一种文本检测方法、装置、设备及可读存储介质
CN111079739A (zh) 一种多尺度注意力特征检测方法
JP2017033197A (ja) 変化領域検出装置、方法、及びプログラム
CN114742799B (zh) 基于自监督异构网络的工业场景未知类型缺陷分割方法
Ali et al. Crack segmentation network using additive attention gate—CSN-II
CN116645592A (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN111340044A (zh) 图像处理方法、装置、电子设备及存储介质
CN112926667B (zh) 深度融合边缘与高层特征的显著性目标检测方法及装置
Zhang et al. Single image dehazing based on bright channel prior model and saliency analysis strategy
US20210319541A1 (en) Model-free physics-based reconstruction of images acquired in scattering media
CN111339808A (zh) 车辆碰撞概率预测方法、装置、电子设备及存储介质
Chen et al. A video processing algorithm using temporal intuitionistic fuzzy sets
CN112800932B (zh) 海上背景下显著船舶目标的检测方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200626