CN108805889B - 边缘引导的精细化显著性物体分割方法与系统、设备 - Google Patents

边缘引导的精细化显著性物体分割方法与系统、设备 Download PDF

Info

Publication number
CN108805889B
CN108805889B CN201810425630.1A CN201810425630A CN108805889B CN 108805889 B CN108805889 B CN 108805889B CN 201810425630 A CN201810425630 A CN 201810425630A CN 108805889 B CN108805889 B CN 108805889B
Authority
CN
China
Prior art keywords
features
edge detection
segmentation
edge
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810425630.1A
Other languages
English (en)
Other versions
CN108805889A (zh
Inventor
赵鑫
黄凯奇
王裕沛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201810425630.1A priority Critical patent/CN108805889B/zh
Publication of CN108805889A publication Critical patent/CN108805889A/zh
Application granted granted Critical
Publication of CN108805889B publication Critical patent/CN108805889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理领域，具体涉及一种边缘引导的精细化显著性物体分割方法与系统、设备，旨在解决现有技术中分割结果比较粗糙的问题。本发明的显著性物体分割方法包括：通过分割掩码子网络前向传播获得输入图像不同尺度的分割掩码特征；通过边缘检测子网络前向传播获得输入图像不同尺度的边缘检测特征；通过反向融合分支网络融合分割掩码特征和边缘检测特征，得到显著性物体分割结果和边缘检测结果。此外，训练分割掩码子网络时利用焦点交叉熵损失函数监督训练过程，使得该子网络关注物体边缘区域等易错分类的样本。本发明的显著性物体分割结果更加精细化，保留了更精确的边缘区域细节信息。

Description

边缘引导的精细化显著性物体分割方法与系统、设备
技术领域
本发明涉及图像处理领域，具体涉及一种边缘引导的精细化显著性物体分割方法与系统、设备。
背景技术
传统的显著性物体分割方法依赖于手工设计特征，但手工设计特征难以表征复杂的图像变化：如变形、遮挡、光照条件变换、复杂背景影响等。得益于深度卷积神经网络的快速发展，基于全卷积神经网络的图像显著性物体分割方法性能也取得显著提升。但由于基于全卷积神经网络的内在限制，图像显著性物体分割结果往往比较粗糙，尤其是物体边缘区域，分割结果难以在物体边缘区域保存很好的细节信息。
全卷积神经网络由一系列的全卷积层和下采样层相互堆叠组成，而这些下采样层在聚合语义信息的同时，也很大程度上降低了原始分辨率，丢失大部分的空间定位信息，尽管最后的上采样层或者反卷积层，也难以准确恢复丢失的空间细节信息，这对于显著性物体分割这类需要准确空间位置信息的图像像素级分类任务是极为不利的，分割结果比较粗糙，难以保留空间细节，尤其是物体边缘区域。
发明内容
为了解决现有技术中的上述问题，本发明提出了一种边缘引导的精细化显著性物体分割方法与系统、设备，获得了边缘区域更精确的显著性物体分割结果。
本发明的一方面，提出一种边缘引导的精细化显著性物体分割方法，包括以下步骤：
通过分割掩码子网络前向传播获得输入图像不同尺度的分割掩码特征；
通过边缘检测子网络前向传播获得所述输入图像不同尺度的边缘检测特征；
通过反向融合分支网络融合所述分割掩码特征和所述边缘检测特征，得到显著性物体分割结果和边缘检测结果；具体包括：
通过反向融合分支网络分别对每一个尺度下的所述分割掩码特征和所述边缘检测特征采用特征拼接的方式进行初步融合，得到该尺度下的初步融合特征；
对不同尺度下的所述初步融合特征，按照由深至浅反向融合的方式逐步融合，得到显著性物体分割结果和边缘检测结果；
其中，按照下式进行初步融合：
Figure GDA0002690195060000021
Figure GDA0002690195060000022
其中，
Figure GDA0002690195060000023
Figure GDA0002690195060000024
Figure GDA0002690195060000025
表示融合后的不同尺度下的所述初步融合特征；M表示多尺度层级总数；Merge()表示对所述分割掩码特征和所述边缘检测特征进行融合；
Figure GDA0002690195060000026
表示不同尺度下的所述分割掩码特征；X表示输入图像；Wmask表示所述分割掩码子网络的权重；
Figure GDA0002690195060000027
表示不同尺度下的所述边缘检测特征；Wedge表示所述边缘检测子网络的权重；
其中，所述显著性物体分割结果和边缘检测结果为：
Figure GDA0002690195060000028
Figure GDA0002690195060000029
其中，Omask表示显著性物体分割结果，fmask表示所述分割掩码子网络，Oedge表示显著性物体边缘检测结果，fedge表示所述边缘检测子网络。
优选地，所述分割掩码子网络包含多个连续的卷积层和下采样层；相应地，所述前向传播获得输入图像不同尺度的分割掩码特征，具体为：
通过对输入图像进行不同深度的卷积和下采样操作，得到不同尺度下的所述分割掩码特征。
优选地，所述边缘检测子网络包含多个连续的卷积层和下采样层；相应地，所述前向传播获得所述输入图像不同尺度的边缘检测特征，具体为：
通过对输入图像进行不同深度的卷积和下采样操作，得到不同尺度下的所述边缘检测特征。
优选地，“对不同尺度下的所述初步融合特征，按照由深至浅反向融合的方式逐步融合”具体为：
上采样第M层的所述初步融合特征，以使上采样后得到的第M层特征与第M-1层的所述初步融合特征具有相同的分辨率；
通过特征拼接的方式，对上采样后得到的第M层特征与第M-1层的所述初步融合特征进行拼接，通过附加的卷积层进行反向融合，得到第M-1层的最终融合特征；
上采样第M-1层的最终融合特征，以使上采样后得到的第M-1层特征与第M-2层的所述初步融合特征具有相同的分辨率；
通过特征拼接的方式，对上采样后得到的第M-1层特征与第M-2层的所述初步融合特征进行拼接，通过附加的卷积层进行反向融合，得到第M-2层的最终融合特征；
依此类推，直到生成第1层的最终融合特征；
其中，M表示多尺度层级总数。
优选地，对所述分割掩码子网络进行训练时采用下式所示的焦点交叉熵损失函数：
CE(pt)＝-(1-pt)γlog(pt)
其中，
Figure GDA0002690195060000031
y＝1表示对应像素点为显著性物体区域，否则为非显著性物体区域，p为对应像素点网络预测响应值。
本发明的另一方面，提出一种边缘引导的精细化显著性物体分割系统，所述系统由显著性物体分割网络构成；
所述显著性物体分割网络包括：分割掩码子网络、边缘检测子网络，以及反向融合分支网络；
所述分割掩码子网络配置为：前向传播获得输入图像不同尺度的分割掩码特征；
所述边缘检测子网络配置为：前向传播获得所述输入图像不同尺度的边缘检测特征；
所述反向融合分支网络配置为：融合所述分割掩码特征和所述边缘检测特征，得到显著性物体分割结果和边缘检测结果；具体包括：
通过反向融合分支网络分别对每一个尺度下的所述分割掩码特征和所述边缘检测特征采用特征拼接的方式进行初步融合，得到该尺度下的初步融合特征；
对不同尺度下的所述初步融合特征，按照由深至浅反向融合的方式逐步融合，得到显著性物体分割结果和边缘检测结果；
其中，按照下式进行初步融合：
Figure GDA0002690195060000041
Figure GDA0002690195060000042
其中，
Figure GDA0002690195060000043
Figure GDA0002690195060000044
Figure GDA0002690195060000045
表示融合后的不同尺度下的所述初步融合特征；M表示多尺度层级总数；Merge()表示对所述分割掩码特征和所述边缘检测特征进行融合；
Figure GDA0002690195060000046
表示不同尺度下的所述分割掩码特征；X表示输入图像；Wmask表示所述分割掩码子网络的权重；
Figure GDA0002690195060000047
表示不同尺度下的所述边缘检测特征；Wedge表示所述边缘检测子网络的权重；
其中，所述显著性物体分割结果和边缘检测结果为：
Figure GDA0002690195060000048
Figure GDA0002690195060000051
其中，Omask表示显著性物体分割结果，fmask表示所述分割掩码子网络，Oedge表示显著性物体边缘检测结果，fedge表示所述边缘检测子网络。
优选地，所述分割掩码子网络包含多个连续的卷积层和下采样层；相应地，所述分割掩码子网络具体配置为：通过对输入图像进行不同深度的卷积和下采样操作，得到不同尺度下的分割掩码特征。
优选地，所述边缘检测子网络包含多个连续的卷积层和下采样层；相应地，所述边缘检测子网络具体配置为：通过对输入图像进行不同深度的卷积和下采样操作，得到不同尺度下的所述边缘检测特征。
本发明的第三方面，提出一种存储设备，其中存储有程序，所述程序适于由处理器加载并执行，以实现上面所述的边缘引导的精细化显著性物体分割方法。
本发明的第四方面，提出一种控制设备，包括：处理器与存储器；其中，所述处理器适于执行程序；所述存储器适于存储该程序；所述程序适于由所述处理器加载并执行，以实现上面所述的边缘引导的精细化显著性物体分割方法。
与最接近的现有技术相比，本发明具有如下有益效果：
(1)在显著性物体分割中显式地引入边缘信息，通过共享融合后的多尺度的分割掩码特征和边缘检测特征，从而利用显著性物体边缘引导精细化显著性物体分割，使得显著性物体分割结果具有更精细的边缘轮廓信息；
(2)反向修正融合分支网络首先以特征拼接的方式初步融合多尺度的分割掩码特征和边缘检测特征，再将较深层的初步融合特征进行上采样以增大特征分辨率，并和较浅层的初步融合特征通过特征拼接的方式再次融合，从而使得不同尺度的初步融合特征按照这种由深至浅的方式进行反向融合。通过这种方法，最终结果有效地融合了分割掩码子网络、边缘检测子网络的多尺度特征；
(3)利用焦点交叉熵损失函数监督显著性物体分割掩码子网络的学习，使得网络更加关注显著性物体边缘区域等容易错分类的像素点，从而获得边缘区域更精确的显著性物体分割结果。
本发明的显著性物体分割结果更加精细化，保留了更精确的边缘区域细节信息。本发明的分割方法能应用于众多领域，包括图像语义分割、视频编辑、视频压缩等。
附图说明
图1是本发明实施例的一种边缘引导的精细化显著性物体分割方法的主要步骤示意图；
图2是本发明实施例的显著性物体分割方法的数据流向图；
图3是本发明实施例的显著性物体分割方法效果图；
图4是本发明实施例的一种边缘引导的精细化显著性物体分割系统主要构成示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
考虑到现有技术中基于全卷积神经网络的显著性物体分割方法的不足，本发明提出利用边缘信息引导精细化的显著性物体分割，使分割结果能较好保留边缘区域信息。同时，本发明也提出利用焦点交叉熵损失函数使网络学习时关注物体边缘区域等容易错误分类的像素点，从而进一步精细化显著性物体分割结果。整体网络结构包括显著性物体分割掩码子网络、边缘检测子网络和反向融合分支网络，分割掩码子网络和边缘检测子网络共享融合后的多尺度特征，通过端到端训练，多尺度分割掩码特征和多尺度边缘检测特征相互影响。此外，分割掩码子网络利用焦点损失函数使网络训练时更关注物体边缘区域。这样，网络利用边缘特征引导显著性物体的精细化分割。
参阅图1，图1示例性示出了本实施例的一种边缘引导的精细化显著性物体分割方法的主要步骤。如图1所示，本实施例的分割方法包括以下步骤：
在步骤S1中，通过分割掩码子网络前向传播获得输入图像不同尺度的分割掩码特征。
分割掩码子网络包含多个连续的卷积层和下采样层，通过对输入图像进行不同深度的卷积和下采样操作，得到不同尺度下的分割掩码特征，如公式(1)所示：
Figure GDA0002690195060000071
其中，
Figure GDA0002690195060000072
表示不同尺度下的分割掩码特征；M表示多尺度层级总数；X表示输入图像；Wmask表示分割掩码子网络的权重。
在步骤S2中，通过边缘检测子网络前向传播获得输入图像不同尺度的边缘检测特征。
边缘检测子网络包含多个连续的卷积层和下采样层，通过对输入图像进行不同深度的卷积和下采样操作，得到不同尺度下的边缘检测特征，如公式(2)所示：
Figure GDA0002690195060000073
其中，
Figure GDA0002690195060000074
表示不同尺度下的边缘检测特征；Wedge表示边缘检测子网络的权重。
在步骤S3中，通过反向融合分支网络融合分割掩码特征和边缘检测特征，得到显著性物体分割结果和边缘检测结果。具体包括步骤S31-S32：
在步骤S31中，通过反向融合分支网络分别对每一个尺度下的所述分割掩码特征和所述边缘检测特征采用特征拼接的方式进行初步融合，得到该尺度下的初步融合特征，如公式(3)所示：
Figure GDA0002690195060000075
Figure GDA0002690195060000081
其中，
Figure GDA0002690195060000082
表示融合后的不同尺度下的初步融合特征；Merge()表示对分割掩码特征和边缘检测特征进行融合。
在步骤S32中，对不同尺度下的初步融合特征，按照由深至浅反向融合的方式逐步融合，得到显著性物体分割结果和边缘检测结果，分别如公式(4)、(5)所示：
Figure GDA0002690195060000083
Figure GDA0002690195060000084
其中，Omask表示显著性物体分割结果，fmask表示分割掩码子网络，Oedge表示显著性物体边缘检测结果，fedge表示边缘检测子网络。
显著性物体分割网络中，容易分类像素数目显著地高于困难像素数目，这种不平衡的类别分布对于有效地训练显著性物体分割网络是不利的。数目过多的容易分类像素会主导网络的训练过程，从而使网络难以通过有效的训练方式关注容易错误分类的困难像素。为此，本发明提出采用焦点损失函数来监督分割掩码子网络的训练过程，使得网络更加关注物体边缘区域为代表的易错分类样本。本实施例中对分割掩码子网络进行训练时采用焦点交叉熵损失函数，如公式(6)所示：
CE(pt)＝-(1-pt)γlog(pt) (6)
其中，
Figure GDA0002690195060000085
y＝1表示对应像素点为显著性物体区域，否则为非显著性物体区域，p为对应像素点网络预测响应值。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，例如步骤S1和S2。这些简单的变化都在本发明的保护范围之内。
为了更清楚地说明本发明的思路，请继续参阅图2。图2是本实施例的显著性物体分割方法的数据流向图。如图2所示，最上面用虚线框围起来的部分表示分割掩码子网络前向传播获得输入图像不同尺度的分割掩码特征；最下面用虚线框围起来的部分表示边缘检测子网络前向传播获得输入图像不同尺度的分割掩码特征；中间用虚线框围起来的部分表示反向融合分支网络融合分割掩码特征和边缘检测特征，得到显著性物体分割结果和边缘检测结果。
本实施例中，多尺度层级总数为M＝5；分割掩码子网络和边缘检测子网络分别包含多个连续的卷积层和下采样层，通过对输入图像进行一系列的卷积和下采样操作，可以得到不同抽象层级的多尺度(分别是原始图像分辨率的1/2、1/4、1/8、1/16)的分割掩码特征和边缘检测特征。较深层的特征抽象程度较高，语义信息更强，但空间定位信息缺失；较浅层的特征抽象程度较低，但空间定位信息更加丰富。
为了利用边缘特征辅助精细化显著性物体分割，本发明采用反向融合分支网络对多尺度的分割掩码特征、边缘检测特征进行融合。如图2所示，反向融合分支网络首先采用特征拼接的方式对分割掩码特征、边缘检测特征进行初步融合，得到每种尺度下的初步融合特征。为了进一步有效融合这些多尺度特征，再采用由深至浅的方式逐步进行反向融合：
(1)上采样第5层的初步融合特征，以使上采样后得到的第5层特征与第4层的初步融合特征具有相同的分辨率；
(2)通过特征拼接的方式，对上采样后得到的第5层特征与第4层的初步融合特征进行拼接，通过附加的卷积层进行反向融合，得到第4层的最终融合特征；
(3)上采样第4层的最终融合特征，以使上采样后得到的第4层特征与第3层的初步融合特征具有相同的分辨率；
(4)通过特征拼接的方式，对上采样后得到的第4层特征与第3层的初步融合特征进行拼接，通过附加的卷积层进行反向融合，得到第3层的最终融合特征；
(5)依此类推，生成第2层、第1层的最终融合特征。
按照这种由深至浅的反向融合方式，该反向融合分支网络在网络最浅层(即第1层)输出了与输入图像具有相同分辨率的最终融合特征。该融合特征有效融合了分割掩码子网络、边缘检测子网络的多尺度特征，并在此过程中不断增大特征分辨率，有助于获得更精细的显著性物体分割结果。
为了说明本发明的实际效果，继续参阅图3，图3是本发明设计的显著性物体分割方法效果图。如图3所示，第一行为待分割的输入图像，第二行为人工标注的标准显著性物体分割结果，第三行为本发明设计的显著性物体分割结果。从中可以看出，本发明得到的分割结果中对物体的边缘区域分割更为精确，例如图中花豹的腿部和手机的挂绳。
基于上面所述的边缘引导的精细化显著性物体分割方法相同的技术构思，本发明还提出一种边缘引导的精细化显著性物体分割系统。参阅图4，图4是本实施例的一种边缘引导的精细化显著性物体分割系统主要构成。如图4所示，本实施例的显著性物体分割系统10由显著性物体分割网络构成，包括：分割掩码子网络11、边缘检测子网络12，以及反向融合分支网络13。
其中，分割掩码子网络11配置为：前向传播获得输入图像不同尺度的分割掩码特征；边缘检测子网络12配置为：前向传播获得输入图像不同尺度的边缘检测特征；反向融合分支网络13配置为：融合分割掩码特征和边缘检测特征，得到显著性物体分割结果和边缘检测结果。
分割掩码子网络11包含多个连续的卷积层和下采样层，通过对输入图像进行不同深度的卷积和下采样操作，得到不同尺度下的分割掩码特征。
边缘检测子网络12包含多个连续的卷积层和下采样层，通过对输入图像进行不同深度的卷积和下采样操作，得到不同尺度下的所述边缘检测特征。
反向融合分支网络13具体配置为：通过反向融合分支网络分别对每一个尺度下的分割掩码特征和边缘检测特征采用特征拼接的方式进行初步融合，得到该尺度下的初步融合特征；对不同尺度下的初步融合特征，按照由深至浅反向融合的方式逐步融合，得到显著性物体分割结果和边缘检测结果。
关于分割掩码子网络11、边缘检测子网络12，以及反向融合分支网络13的进一步描述请参看上面关于边缘引导的精细化显著性物体分割方法实施例中的相关内容，此处不再赘述。
基于上面所述的边缘引导的精细化显著性物体分割方法，本发明还提出一种存储设备的实施例，其中存储有程序，所述程序适于由处理器加载并执行，以实现上面所述的边缘引导的精细化显著性物体分割方法。
进一步地，基于上面所述的边缘引导的精细化显著性物体分割方法，本发明还提出一种控制设备，包括：处理器与存储器。
其中，处理器适于执行程序；存储器适于存储该程序；所述程序适于由所述处理器加载并执行，以实现上面所述的边缘引导的精细化显著性物体分割方法。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种边缘引导的精细化显著性物体分割方法，其特征在于，包括以下步骤：
通过分割掩码子网络前向传播获得输入图像不同尺度的分割掩码特征；
通过边缘检测子网络前向传播获得所述输入图像不同尺度的边缘检测特征；
通过反向融合分支网络融合所述分割掩码特征和所述边缘检测特征，得到显著性物体分割结果和边缘检测结果，具体包括：
通过反向融合分支网络分别对每一个尺度下的所述分割掩码特征和所述边缘检测特征采用特征拼接的方式进行初步融合，得到该尺度下的初步融合特征；
对不同尺度下的所述初步融合特征，按照由深至浅反向融合的方式逐步融合，得到显著性物体分割结果和边缘检测结果；
其中，按照下式进行初步融合：
Figure FDA0002735904610000011
其中，
Figure FDA0002735904610000012
Figure FDA0002735904610000013
Figure FDA0002735904610000014
表示融合后的不同尺度下的所述初步融合特征；M表示多尺度层级总数；Merge()表示对所述分割掩码特征和所述边缘检测特征进行融合；
Figure FDA0002735904610000015
表示不同尺度下的所述分割掩码特征；X表示输入图像；Wmask表示所述分割掩码子网络的权重；
Figure FDA0002735904610000016
表示不同尺度下的所述边缘检测特征；Wedge表示所述边缘检测子网络的权重；
其中，所述显著性物体分割结果和边缘检测结果为：
Figure FDA0002735904610000021
Figure FDA0002735904610000022
其中，Omask表示显著性物体分割结果，fmask表示所述分割掩码子网络，Oedge表示显著性物体边缘检测结果，fedge表示所述边缘检测子网络。
2.根据权利要求1所述的边缘引导的精细化显著性物体分割方法，其特征在于，所述分割掩码子网络包含多个连续的卷积层和下采样层；
相应地，所述前向传播获得输入图像不同尺度的分割掩码特征，具体为：
通过对输入图像进行不同深度的卷积和下采样操作，得到不同尺度下的所述分割掩码特征。
3.根据权利要求1所述的边缘引导的精细化显著性物体分割方法，其特征在于，所述边缘检测子网络包含多个连续的卷积层和下采样层；
相应地，所述前向传播获得所述输入图像不同尺度的边缘检测特征，具体为：
通过对输入图像进行不同深度的卷积和下采样操作，得到不同尺度下的所述边缘检测特征。
4.根据权利要求1所述的边缘引导的精细化显著性物体分割方法，其特征在于，对不同尺度下的所述初步融合特征，按照由深至浅反向融合的方式逐步融合，具体为：
上采样第M层的所述初步融合特征，以使上采样后得到的第M层特征与第M-1层的所述初步融合特征具有相同的分辨率；
通过特征拼接的方式，对上采样后得到的第M层特征与第M-1层的所述初步融合特征进行拼接，通过附加的卷积层进行反向融合，得到第M-1层的最终融合特征；
上采样第M-1层的最终融合特征，以使上采样后得到的第M-1层特征与第M-2层的所述初步融合特征具有相同的分辨率；
通过特征拼接的方式，对上采样后得到的第M-1层特征与第M-2层的所述初步融合特征进行拼接，通过附加的卷积层进行反向融合，得到第M-2层的最终融合特征；
依此类推，直到生成第1层的最终融合特征；
其中，M表示多尺度层级总数。
5.根据权利要求1-4中任一项所述的边缘引导的精细化显著性物体分割方法，其特征在于，对所述分割掩码子网络进行训练时采用下式所示的焦点交叉熵损失函数：
CE(pt)＝-(1-pt)γlog(pt)
其中，
Figure FDA0002735904610000031
y＝1表示对应像素点为显著性物体区域，否则为非显著性物体区域，p为对应像素点网络预测响应值。
6.一种边缘引导的精细化显著性物体分割系统，其特征在于，所述系统由显著性物体分割网络构成；
所述显著性物体分割网络包括：分割掩码子网络、边缘检测子网络，以及反向融合分支网络；
所述分割掩码子网络配置为：前向传播获得输入图像不同尺度的分割掩码特征；
所述边缘检测子网络配置为：前向传播获得所述输入图像不同尺度的边缘检测特征；
所述反向融合分支网络配置为：融合所述分割掩码特征和所述边缘检测特征，得到显著性物体分割结果和边缘检测结果，具体包括：
通过反向融合分支网络分别对每一个尺度下的所述分割掩码特征和所述边缘检测特征采用特征拼接的方式进行初步融合，得到该尺度下的初步融合特征；
对不同尺度下的所述初步融合特征，按照由深至浅反向融合的方式逐步融合，得到显著性物体分割结果和边缘检测结果；
其中，按照下式进行初步融合：
Figure FDA0002735904610000041
其中，
Figure FDA0002735904610000042
Figure FDA0002735904610000043
Figure FDA0002735904610000046
表示融合后的不同尺度下的所述初步融合特征；M表示多尺度层级总数；Merge()表示对所述分割掩码特征和所述边缘检测特征进行融合；
Figure FDA0002735904610000047
表示不同尺度下的所述分割掩码特征；X表示输入图像；Wmask表示所述分割掩码子网络的权重；
Figure FDA0002735904610000048
表示不同尺度下的所述边缘检测特征；Wedge表示所述边缘检测子网络的权重；
其中，所述显著性物体分割结果和边缘检测结果为：
Figure FDA0002735904610000044
Figure FDA0002735904610000045
其中，Omask表示显著性物体分割结果，fmask表示所述分割掩码子网络，Oedge表示显著性物体边缘检测结果，fedge表示所述边缘检测子网络。
7.根据权利要求6所述的边缘引导的精细化显著性物体分割系统，其特征在于，所述分割掩码子网络包含多个连续的卷积层和下采样层；
相应地，所述分割掩码子网络具体配置为：通过对输入图像进行不同深度的卷积和下采样操作，得到不同尺度下的分割掩码特征。
8.根据权利要求6所述的边缘引导的精细化显著性物体分割系统，其特征在于，所述边缘检测子网络包含多个连续的卷积层和下采样层；
相应地，所述边缘检测子网络具体配置为：通过对输入图像进行不同深度的卷积和下采样操作，得到不同尺度下的所述边缘检测特征。
9.一种存储设备，其中存储有程序，其特征在于，所述程序适于由处理器加载并执行，以实现权利要求1-5中任一项所述的边缘引导的精细化显著性物体分割方法。
10.一种控制设备，包括：处理器与存储器；
所述处理器适于执行程序；
所述存储器适于存储该程序；
其特征在于，所述程序适于由所述处理器加载并执行，以实现权利要求1-5中任一项所述的边缘引导的精细化显著性物体分割方法。
CN201810425630.1A 2018-05-07 2018-05-07 边缘引导的精细化显著性物体分割方法与系统、设备 Active CN108805889B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810425630.1A CN108805889B (zh) 2018-05-07 2018-05-07 边缘引导的精细化显著性物体分割方法与系统、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810425630.1A CN108805889B (zh) 2018-05-07 2018-05-07 边缘引导的精细化显著性物体分割方法与系统、设备

Publications (2)

Publication Number Publication Date
CN108805889A CN108805889A (zh) 2018-11-13
CN108805889B true CN108805889B (zh) 2021-01-08

Family

ID=64091045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810425630.1A Active CN108805889B (zh) 2018-05-07 2018-05-07 边缘引导的精细化显著性物体分割方法与系统、设备

Country Status (1)

Country Link
CN (1) CN108805889B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544564A (zh) * 2018-11-23 2019-03-29 清华大学深圳研究生院 一种医疗图像分割方法
CN109697459A (zh) * 2018-12-04 2019-04-30 云南大学 一种面向光学相干断层图像斑块形态检测方法
CN109816100B (zh) * 2019-01-30 2020-09-01 中科人工智能创新技术研究院(青岛)有限公司 一种基于双向融合网络的显著性物体检测方法及装置
CN109919949B (zh) * 2019-03-06 2020-04-28 中国科学院自动化研究所 图像精细化阴影区域分割系统、方法、装置
CN110070056B (zh) * 2019-04-25 2023-01-10 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及设备
CN110399972B (zh) * 2019-07-22 2021-05-25 上海商汤智能科技有限公司 数据处理方法、装置及电子设备
CN110648316B (zh) * 2019-09-07 2021-02-26 创新奇智(成都)科技有限公司 一种基于深度学习的钢卷端面边缘检测方法
CN110751157B (zh) * 2019-10-18 2022-06-24 厦门美图之家科技有限公司 图像显著性分割、图像显著性模型训练方法及装置
CN113362351A (zh) * 2020-03-05 2021-09-07 阿里巴巴集团控股有限公司 一种图像处理方法、装置、电子设备以及存储介质
CN111914948B (zh) * 2020-08-20 2024-07-26 上海海事大学 一种基于粗精语义分割网络的海流机叶片附着物自适应识别方法
CN112634296B (zh) * 2020-10-12 2023-12-22 深圳大学 门机制引导边缘信息蒸馏的rgb-d图像语义分割方法及终端
CN112651980B (zh) * 2020-12-01 2024-07-12 北京工业大学 一种基于显著性检测的图像三元图生成方法
CN113128386B (zh) * 2021-04-13 2024-02-09 深圳市锐明技术股份有限公司 一种障碍物识别方法、障碍物识别装置及电子设备
CN113486899B (zh) * 2021-05-26 2023-01-24 南开大学 一种基于互补分支网络的显著性目标检测方法
CN113870286B (zh) * 2021-09-30 2024-09-13 重庆理工大学 一种基于多级特征和掩码融合的前景分割方法
CN117291930B (zh) * 2023-08-25 2024-09-06 中建三局第三建设工程有限责任公司 一种基于图片序列中目标物体分割的三维重建方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880866A (zh) * 2012-09-29 2013-01-16 宁波大学 一种人脸特征提取方法
CN105913025A (zh) * 2016-04-12 2016-08-31 湖北工业大学 一种基于多特征融合的深度学习人脸识别方法
CN107610140A (zh) * 2017-08-07 2018-01-19 中国科学院自动化研究所 基于深度融合修正网络的精细边缘检测方法、装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9972092B2 (en) * 2016-03-31 2018-05-15 Adobe Systems Incorporated Utilizing deep learning for boundary-aware image segmentation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880866A (zh) * 2012-09-29 2013-01-16 宁波大学 一种人脸特征提取方法
CN105913025A (zh) * 2016-04-12 2016-08-31 湖北工业大学 一种基于多特征融合的深度学习人脸识别方法
CN107610140A (zh) * 2017-08-07 2018-01-19 中国科学院自动化研究所 基于深度融合修正网络的精细边缘检测方法、装置

Also Published As

Publication number Publication date
CN108805889A (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
CN108805889B (zh) 边缘引导的精细化显著性物体分割方法与系统、设备
CN108229504B (zh) 图像解析方法及装置
CN111583097A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
KR20190126366A (ko) 비디오 인식 및 훈련 방법과 장치, 전자 기기와 매체
CN109003297B (zh) 一种单目深度估计方法、装置、终端和存储介质
CN111178211A (zh) 图像分割方法、装置、电子设备及可读存储介质
CN112990203B (zh) 目标检测方法、装置、电子设备及存储介质
CN111275034B (zh) 从图像中提取文本区域的方法、装置、设备和存储介质
CN111914654B (zh) 一种文本版面分析方法、装置、设备和介质
CN113313083B (zh) 文本检测方法及装置
CN110991560A (zh) 一种结合上下文信息的目标检测方法及系统
KR20200027887A (ko) 복수의 비디오 프레임을 이용하여 cnn의 파라미터를 최적화하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN109816100A (zh) 一种基于双向融合网络的显著性物体检测方法及装置
CN114004858B (zh) 基于机器视觉识别航空线缆表面编码的方法及装置
CN111340059A (zh) 图像特征提取方法、装置、电子设备及存储介质
CN113971732A (zh) 小目标检测方法、装置、可读存储介质及电子设备
CN115375986A (zh) 一种模型蒸馏方法及装置
CN113688832A (zh) 一种模型训练及图像处理方法、装置
CN116701697A (zh) 题目搜索方法、装置、设备及存储介质
CN111444834A (zh) 图像文本行检测方法、装置、设备及存储介质
CN116721091A (zh) 一种布匹瑕疵检测方法、装置及可读介质
CN111292345A (zh) 紫边检测方法及装置、电子设备和存储介质
CN117612231B (zh) 人脸检测方法、装置、电子设备和存储介质
CN115080051B (zh) 一种基于计算机视觉的gui代码自动生成方法
CN113158733B (zh) 图像过滤方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant