CN109919949B - 图像精细化阴影区域分割系统、方法、装置 - Google Patents

图像精细化阴影区域分割系统、方法、装置 Download PDF

Info

Publication number
CN109919949B
CN109919949B CN201910168656.7A CN201910168656A CN109919949B CN 109919949 B CN109919949 B CN 109919949B CN 201910168656 A CN201910168656 A CN 201910168656A CN 109919949 B CN109919949 B CN 109919949B
Authority
CN
China
Prior art keywords
fusion
layer
shadow region
feature
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910168656.7A
Other languages
English (en)
Other versions
CN109919949A (zh
Inventor
赵鑫
黄凯奇
王裕沛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201910168656.7A priority Critical patent/CN109919949B/zh
Priority to US16/968,575 priority patent/US10964026B2/en
Priority to PCT/CN2019/083371 priority patent/WO2020177189A1/zh
Publication of CN109919949A publication Critical patent/CN109919949A/zh
Application granted granted Critical
Publication of CN109919949B publication Critical patent/CN109919949B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明属于图像处理领域，具体涉及一种图像精细化阴影区域分割系统、方法、装置，旨在为了解决解决图像中阴影区域分割精细化程度不高的问题，本发明系统包括特征提取网络、反向融合网络、加权融合网络；特征提取网络包括顺次设置的多个采样层，通过各采样层依次获取多个输入图像阴影区域分割特征；反向融合网络包括分层设置的多个反向融合分支，所述反向融合分支包括顺次设置的多个特征融合层，通过各特征融合层依次对输入的两个特征进行融合；加权融合网络，配置为对多个反向融合分支的输出进行加权融合，获得最终的输入图像的阴影区域分割结果。本发明可以获得精细化程度较高的阴影区域分割结果。

Description

图像精细化阴影区域分割系统、方法、装置
技术领域
本发明属于图像处理领域，具体涉及一种图像精细化阴影区域分割系统、方法、装置。
背景技术
自然场景下的阴影经常发生，图像阴影区域的信息对于估计场景中光源、照明情况、场景几何等物理特性提供重要的信息。理解图像中的阴影区域也可以帮助一些其他的计算机视觉任务，比如图像分割。此外，图像阴影去除在计算成像领域有很多应用。在这些任务中，阴影区域分割，是核心的步骤。本发明聚焦于图像阴影区域的精细化分割。
给定单一输入图像，分割阴影区域是非常具有挑战性的。由于缺乏场景几何、表面特性、光源条件等信息，从二维图像中准确分割阴影区域这一问题本身也属于“病态”问题。早期的方法主要是利用基于照明、颜色等信息的图像先验和物理模型。然而如果假设条件难以满足，这些基于模型的方法就很难准确定位图像中的阴影区域。为了应对这一挑战，基于学习和手工设计特征的方法被提出。然而，受限于手工设计特征的表达能力，之前的基于学习的方法也难于应对自然条件下的困难情况。
之后，由于基于深度神经网络的方法可以根据大量采集的有标注样本进行端到端学习，从而学习到鲁棒的特征表达，基于深度神经网络的阴影区域分割方法也取得了快速的进展。然而之前的阴影区域分割方法仍然难以获得精细化的阴影区域分割结果。
由于精细化地分割阴影区域需要同时具有较强的判别分类能力和较强的空间定位能力，获得较强的判别分类能力和空间定位能力的有效融合是精细化阴影区域分割的关键。较强的判别分类特征一般编码在深度神经网络的较深层，较深层次的特征具有丰富的分类判别信息，然而这些较深层特征尺度较小，空间细节信息不足。与之不同，较强的空间定位特征一般编码在深度神经网络的较浅层，较浅层次的特征具有丰富的空间细节信息，然而这些较深层特征判别分类能力较弱。
发明内容
为了解决现有技术中的上述问题，即为了解决图像中阴影区域分割精细化程度不高的问题，本发明的第一方面，提出了一种图像精细化阴影区域分割系统，所述系统包括特征提取网络、反向融合网络、加权融合网络；
所述特征提取网络包括顺次设置的多个采样层，通过各采样层依次获取多个输入图像阴影区域分割特征；
所述反向融合网络包括分层设置的多个反向融合分支，所述反向融合分支包括顺次设置的多个特征融合层，通过各特征融合层依次对输入的两个特征进行融合；
所述反向融合分支中的特征融合层与所述特征提取网络中采样层对应设置，特征融合层的上采样倍率与采样层的下采样倍率对应且等值设置；
所述反向融合网络中，第一层反向融合分支中特征融合层的输入为前一特征融合层的输出和对应采样层的输出；其余各层的反向融合分支中特征融合层的输入为前一特征融合层的输出和上一层反向融合分支中对应特征融合层的输出；
所述加权融合网络，配置为对多个反向融合分支的输出进行加权融合，获得最终的输入图像的阴影区域分割结果。
在一些优选的实施方式中，所述反向融合分支中的特征融合层在融合两个层次的特征时，先将较深层特征按照设定倍率进行上采样，再通过特征拼接的方式融合这两个含有不同信息的特征，最后通过卷积层获得最终的融合后特征。
在一些优选的实施方式中，所述反向融合分支为三个。
在一些优选的实施方式中，特征融合层的上采样倍率与采样层的下采样倍率均为2。
在一些优选的实施方式中，获得最终的融合后特征所用卷积层的卷积核为3*3。
在一些优选的实施方式中，所述特征提取网络和所述反向融合分支，利用二分类交叉熵损失函数作为损失函数，基于具有人工标注阴影区域的训练样本进行阴影区域预测的训练。
在一些优选的实施方式中，所述加权融合网络，利用二分类交叉熵损失函数作为损失函数，基于具有人工标注阴影区域的训练样本对加权融合的权重参数进行优化。
本发明的第二方面，提出了一种图像精细化阴影区域分割方法，基于上述的图像精细化阴影区域分割系统，包括以下步骤：
步骤S10，将输入图像经所述特征提取网络进行逐层下采样，获取多个输入图像阴影区域分割特征；
步骤S20，基于步骤S10得到的多个输入图像阴影区域分割特征，分别获取各所述反向融合分支输出的阴影区域预测结果；
步骤S30，通过所述加权融合网络对各所述反向融合分支输出的阴影区域预测结果进行加权融合，获得最终的输入图像的阴影区域分割结果。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的图像精细化阴影区域分割方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的图像精细化阴影区域分割方法。
本发明的有益效果：
本发明提出阴影区域分割系统、方法、装置，可以有效地融合编码输入图像的判别分类信息和空间细节信息的多尺度特征，从而获得精细化程度较高的阴影区域分割结果。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明一种实施例的图像精细化阴影区域分割系统框架示意图；
图2是本发明另一种实施例的图像精细化阴影区域分割系统框架示意图；
图3是本发明图像精细化阴影区域分割结果示例图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
该方法的核心思想是通过多个并行的反向融合分支逐级依次堆栈，通过融合特征提取网络或上一级融合分支的多尺度特征，编码判别分类信息、空间细节信息的多尺度特征的有效融合，最终利用多个反向融合分支预测结果的加权融合作为最终的精细化阴影区域分割结果。思想要点主要为以下三点是：1)图像阴影区域的精细化分割需要有效地融合较强的判别分类能力和空间细节信息，给定输入图像后，本发明提出的图像精细化阴影区域分割系统的特征提取网络前向传播获得多尺度、不同类型的特征表达，深层次特征编码更强的判别分类信息，浅层次特征编码更丰富的空间细节信息；2)本发明提出的图像精细化阴影区域分割系统通过多个堆栈的、并行的反向融合分支，以由深至浅的反向融合方式逐渐融合特征提取网络和上一层级反向融合分支的多尺度特征，从而依次逐渐获得输入图像多尺度、多类型特征的有效融合；3)本发明提出的深度监督加权融合方式通过对图像精细化阴影区域分割系统的多个反向融合分支都进行阴影区域分割的预测，再利用多个分支预测结果的加权融合作为最终的阴影区域精细化分割结果。
本发明的一种图像精细化阴影区域分割系统，如图1所示，该图像精细化阴影区域分割系统100包括特征提取网络101、反向融合网络102、加权融合网络103；
特征提取网络101包括顺次设置的多个采样层，通过各采样层依次获取多个输入图像阴影区域分割特征；
反向融合网络102包括分层设置的多个反向融合分支，反向融合分支包括顺次设置的多个特征融合层，通过各特征融合层依次对输入的两个特征进行融合；
反向融合分支102中的特征融合层与特征提取网络101中采样层对应设置，特征融合层的上采样倍率与采样层的下采样倍率对应且等值设置；
反向融合网络102中，第一层反向融合分支中特征融合层的输入为前一特征融合层的输出和对应采样层的输出；其余各层的反向融合分支中特征融合层的输入为前一特征融合层的输出和上一层反向融合分支中对应特征融合层的输出；
加权融合网络103，配置为对多个反向融合分支的输出进行加权融合，获得最终的输入图像的阴影区域分割结果。
为了更清晰地对本发明系统进行说明，下面结合附图对本方发明系统一种实施例中各部分进行展开详述。
本发明一种实施例的图像精细化阴影区域分割系统，如图2所示，包括特征提取网络201、反向融合网络202、加权融合网络203。
1、特征提取网络
特征提取网络201包括顺次设置的多个采样层，通过各采样层依次获取多个输入图像阴影区域分割特征。
特征提取网络201堆叠连续的卷积层和下采样层，获得输入图像更深层次的特征表达，判别分类能力更强，然而多个下采样层的存在使得空间细节信息不断丢失，特征尺度不断减小。具体地，特征提取网络前向传播，通过连续的卷积层和下采样层，获得多尺度的特征，可表示为：
Figure BDA0001987195320000061
其中，X表示输入图像，Wmain为特征提取网络的权重，N为下采样层的个数，
Figure BDA0001987195320000071
表示基于权重Wmain对输入图像X的特征提取，
Figure BDA0001987195320000072
表示输入图像前向传播后不同下采样层后特征提取网络多尺度、多类型的特征，其中浅层特征尺度较大，具有丰富的细节信息，深层特征由于连续的下采样层，分辨率较低，丢失了大部分的空间细节信息，然而由于其更深的网络层次，学习到更鲁棒的特征表达，分类能力更强。图2中，W、H分别为输入图像的宽、高，不同层下采样(或融合)得到的特征图像的大小在图中进行相应的标注。
2、反向融合网络
反向融合网络202包括分层设置的多个反向融合分支，所述反向融合分支包括顺次设置的多个特征融合层，通过各特征融合层依次对输入的两个特征进行融合。反向融合分支中的特征融合层与所述特征提取网络中采样层对应设置，特征融合层的上采样倍率与采样层的下采样倍率对应且等值设置；反向融合网络中，第一层反向融合分支中特征融合层的输入为前一特征融合层的输出和对应采样层的输出；其余各层的反向融合分支中特征融合层的输入为前一特征融合层的输出和上一层反向融合分支中对应特征融合层的输出。
特征提取网络201前线传播获得用于阴影区域分割的所输入图像的多尺度特征：编码丰富判别分类信息的深层次特征、以及编码丰富空间细节信息的浅层次特征，然而精细化的阴影区域分割需要判别分类信息和空间细节信息的有效融合。为此，本发明实施例采用包含依次堆栈的、并行的、多层级的反向融合分支逐渐获得上述多尺度特征的有效融合。可表示为：
Figure BDA0001987195320000073
Figure BDA0001987195320000074
Figure BDA0001987195320000081
Figure BDA0001987195320000082
…
Figure BDA0001987195320000083
Figure BDA0001987195320000084
其中M表示所采用的并行的反向融合分支的个数，本发明实施例中M＝3。
Figure BDA0001987195320000085
表示各反向融合分支中多尺度特征进行由深至浅的反向融合，
Figure BDA0001987195320000086
Figure BDA0001987195320000087
表示融合后的多尺度特征。
具体地，在特征提取网络201产生的多尺度特征
Figure BDA0001987195320000088
基础上，本发明首先采用第一个反向融合分支
Figure BDA0001987195320000089
以“由深至浅”的方式每次融合相邻两个尺度的特征，从而逐渐融合特征提取网络201的多尺度特征，同时逐渐生成多尺度的融合后特征。具体而言，该反向融合分支由最深层
Figure BDA00019871953200000810
开始多尺度特征的融合操作，逐渐融合相邻两个尺度的特征，生成的融合后特征作为新的较浅层特征，直至到尺度为原始图像尺度的最浅层特征
Figure BDA00019871953200000811
其中，每次在融合两个层次的特征时，先将较深层特征上采样2倍，再通过特征拼接的方式融合这两个含有不同信息的特征，最后通过一个卷积核为3*3的卷积层获得最终的融合后特征。所生成的融合后特征作为新的较浅层特征进行下一步融合。可表示为：
Figure BDA00019871953200000812
其中
Figure BDA00019871953200000813
表示第n层尺度较小的较深层特征，up()表示上采样操作，fconcat表示特征拼接操作，fconv表示生成融合后特征的3*3的卷积层，
Figure BDA0001987195320000091
表示新的第n-1层尺度较大较深层特征。该反向融合分支由最底层开始，逐渐融合特征提取网络201多尺度特征，特征尺度逐渐增大，并在与最浅层特征融合后获得和输入图像相同尺度的融合特征。
上述第一个反向融合分支融合是一个尺度逐渐增大的渐进过程，在这个过程中，逐渐产生了多个中间层特征
Figure BDA0001987195320000092
然而这些中间层特征也是不同尺度的，同样编码了不同类型、不同层次的特征表达，这些不同类型的特征同样编码了有利于精细化阴影区域分割的判别分类信息和空间细节信息。类似特征提取网络201的多尺度待融合特征，第一个反向融合分支产生的多尺度、多类型的融合后特征表达同样可以看作待融合特征，得到进一步的融合。因此，本发明利用第二个反向融合分支
Figure BDA0001987195320000093
对第一个反向融合分支产生的多尺度融合后特征进行进一步的融合。同样地，第二个反向融合分支采用“由深至浅”的方式，从第一个反向融合分支的多尺度特征中尺度最小的、最深层次特征开始，逐渐融合相邻两个尺度特征，直至具有和输入图像具有相同尺度的最浅层次特征。同样地，第二个反向融合分支融合过程中，逐渐产生多尺度、多类型的融合后特征
Figure BDA0001987195320000094
为此，本发明在第二个反向融合分支基础上，叠加第三个反向融合分支
Figure BDA0001987195320000095
对第二个反向融合分支产生的多尺度特征进行再次“由深至浅”的融合。
这样，上述三个并行的反向融合分支依次堆叠，编码判别分类信息和空间细节信息的输入图像的多尺度特征得到有效的融合，从而精细化地分割图像阴影区域。
3、加权融合网络
加权融合网络203，配置为对多个反向融合分支的输出进行加权融合，获得最终的输入图像的阴影区域分割结果。
多个并行的反向融合分支逐渐获得输入图像多尺度特征的更有效的融合，这些多个并行的反向融合分支同样是不同层级的，包含了不同层次的图像特征，也编码了判别分类信息和空间细节信息这些不同类型的特征。为了准确分割图像阴影区域，多尺度、多类型特征的有效融合是至关重要的。因此，本实施例采用深度加权融合的方式融合这些并行的反向融合分支的输出结果，获得多层级特征的进一步融合。可表示为：
Figure BDA0001987195320000101
其中Lossdeep_fuse表示对M个反向融合分支都利用人工标注信息进行监督学习，(Y1,Y2,…,YM)表示M个反向融合分支的输出结果(如图2中的初始结果1、初始结果2、初始结果3)。最终利用多个反向融合分支的预测结果的加权融合作为最终输出结果。可表示为：
Figure BDA0001987195320000102
其中Wm为第m个反向融合分支加权求和的权重，Y为最终输出的结果。
4、网络训练
由于多个并行的反向融合分支的最浅层融合后特征
Figure BDA0001987195320000103
均和输入图像具有相同尺度，也是不同层级下多尺度特征的初步有效融合，因此，本发明利用二分类交叉熵损失函数作为损失函数，在人工标注阴影区域的训练样本作为监督信息下，对多个并行的反向融合分支均利用相应的最浅层特征进行阴影区域预测的学习。这些初始阴影区域预测结果(Y1,Y2,…,YM)分别编码了不同层级的融合分支的多尺度特征。接着，将这些并行的反向融合分支的初始预测结果进行加权求和
Figure BDA0001987195320000104
得到最终的阴影区域分割结果作为输出结果，并同样利用人工标注阴影区域的训练样本和二分类交叉熵损失函数，通过端到端学习，调节加权融合的权重参数。这样，多个并行的反向融合分支的加权融合结果便编码了多个层级的融合分支的信息，阴影区域分割结果也会更加精细化。
本发明一种实施例的图像精细化阴影区域分割方法，基于上述的图像精细化阴影区域分割系统，包括以下步骤：
步骤S10，将输入图像经所述特征提取网络进行逐层下采样，获取多个输入图像阴影区域分割特征；
步骤S20，基于步骤S10得到的多个输入图像阴影区域分割特征，分别获取各所述反向融合分支输出的阴影区域预测结果；
步骤S30，通过所述加权融合网络对各所述反向融合分支输出的阴影区域预测结果进行加权融合，获得最终的输入图像的阴影区域分割结果。
如图3所示为本发明图像精细化阴影区域分割示例图，第一行为输入图像，第二行为利用本发明得到的图像阴影区域分割结果。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的方法中部分工作过程及有关说明，可以参考前述系统实施例中的对应过程，在此不再赘述。
本发明一种实施例的存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的图像精细化阴影区域分割方法。
本发明一种实施例的处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的图像精细化阴影区域分割方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种图像精细化阴影区域分割系统，其特征在于，所述系统包括特征提取网络、反向 融合网络、加权融合网络；所述特征提取网络包括顺次设置的多个采样层，通过各采样层依 次获取多个输入图像阴影区域分割特征；顺次设置的多个采样层具体为堆叠设置的卷积层 和下采样层，通过连续的卷积层和下采样层，获得多尺度的特征，可表示为：
Figure 29792DEST_PATH_IMAGE001
；其中，X表示输入图像，
Figure 852255DEST_PATH_IMAGE002
为特征提 取网络的权重，N为下采样层的个数，
Figure 181605DEST_PATH_IMAGE003
表示基于权重
Figure 380505DEST_PATH_IMAGE002
对输入图像X 的特征提取，
Figure 49384DEST_PATH_IMAGE004
表示输入图像前向传播后不同下采样层后特征提 取网络多尺度、多类型的特征；所述反向融合网络包括分层设置的多个反向融合分支，所述 反向融合分支包括顺次设置的多个特征融合层，通过各特征融合层依次对输入的两个特征 进行融合；所述反向融合分支中的特征融合层与所述特征提取网络中采样层对应设置，特 征融合层的上采样倍率与采样层的下采样倍率对应且等值设置；所述反向融合网络中，第 一层反向融合分支中特征融合层的输入为前一特征融合层的输出和对应采样层的输出；其 余各层的反向融合分支中特征融合层的输入为前一特征融合层的输出和上一层反向融合 分支中对应特征融合层的输出；所述加权融合网络，配置为对多个反向融合分支的输出进 行加权融合，获得最终的输入图像的阴影区域分割结果。
2.根据权利要求1所述的图像精细化阴影区域分割系统，其特征在于，所述反向融合分支中的特征融合层在融合两个层次的特征时，先将较深层特征按照设定倍率进行上采样，再通过特征拼接的方式融合这两个含有不同信息的特征，最后通过卷积层获得最终的融合后特征。
3.根据权利要求1所述的图像精细化阴影区域分割系统，其特征在于，所述反向融合分支为三个。
4.根据权利要求1所述的图像精细化阴影区域分割系统，其特征在于，特征融合层的上采样倍率与采样层的下采样倍率均为2。
5.根据权利要求2所述的图像精细化阴影区域分割系统，其特征在于，获得最终的融合后特征所用卷积层的卷积核为3*3。
6.据权利要求1-5任一项所述的图像精细化阴影区域分割系统，其特征在于，所述特征提取网络和所述反向融合分支，利用二分类交叉熵损失函数作为损失函数，基于具有人工标注阴影区域的训练样本进行阴影区域预测的训练。
7.据权利要求6所述的图像精细化阴影区域分割系统，其特征在于，所述加权融合网络，利用二分类交叉熵损失函数作为损失函数，基于具有人工标注阴影区域的训练样本对加权融合的权重参数进行优化。
8.一种图像精细化阴影区域分割方法，其特征在于，基于权利要求1-7任一项所述的图像精细化阴影区域分割系统，包括以下步骤：步骤S10，将输入图像经所述特征提取网络进行逐层下采样，获取多个输入图像阴影区域分割特征；步骤S20，基于步骤S10得到的多个输入图像阴影区域分割特征，分别获取各所述反向融合分支输出的阴影区域预测结果；步骤S30，通过所述加权融合网络对各所述反向融合分支输出的阴影区域预测结果进行加权融合，获得最终的输入图像的阴影区域分割结果。
9.一种计算机存储介质，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求8所述的图像精细化阴影区域分割方法。
10.一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行以实现权利要求8所述的图像精细化阴影区域分割方法。
CN201910168656.7A 2019-03-06 2019-03-06 图像精细化阴影区域分割系统、方法、装置 Active CN109919949B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910168656.7A CN109919949B (zh) 2019-03-06 2019-03-06 图像精细化阴影区域分割系统、方法、装置
US16/968,575 US10964026B2 (en) 2019-03-06 2019-04-19 Refined segmentation system, method and device of image shadow area
PCT/CN2019/083371 WO2020177189A1 (zh) 2019-03-06 2019-04-19 图像精细化阴影区域分割系统、方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910168656.7A CN109919949B (zh) 2019-03-06 2019-03-06 图像精细化阴影区域分割系统、方法、装置

Publications (2)

Publication Number Publication Date
CN109919949A CN109919949A (zh) 2019-06-21
CN109919949B true CN109919949B (zh) 2020-04-28

Family

ID=66963614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910168656.7A Active CN109919949B (zh) 2019-03-06 2019-03-06 图像精细化阴影区域分割系统、方法、装置

Country Status (3)

Country Link
US (1) US10964026B2 (zh)
CN (1) CN109919949B (zh)
WO (1) WO2020177189A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992642B (zh) * 2019-12-25 2021-11-05 辽宁石油化工大学 一种基于深度学习的火灾检测方法
CN112329603B (zh) * 2020-11-03 2022-09-13 西南科技大学 一种基于图像级联的坝面裂纹缺陷定位方法
CN112329863B (zh) * 2020-11-09 2022-04-22 西南交通大学 一种牵引变电所内隔离开关状态识别方法
CN112990270B (zh) * 2021-02-10 2023-04-07 华东师范大学 一种传统特征与深度特征的自动融合方法
CN113139917A (zh) * 2021-04-23 2021-07-20 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN113378984B (zh) * 2021-07-05 2023-05-02 国药(武汉)医学实验室有限公司 一种医学图像分类方法、系统、终端以及存储介质
CN115035210B (zh) * 2022-08-10 2022-11-11 天津恒宇医疗科技有限公司 基于偏振多参量融合的ps-oct可视度提升方法及系统
CN117173690B (zh) * 2023-10-24 2024-01-26 四川泓宝润业工程技术有限公司 自动定位和读取天然气仪表读数的方法、装置及电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650830A (zh) * 2017-01-06 2017-05-10 西北工业大学 基于深层模型和浅层模型决策融合的肺结节ct图像自动分类方法
US10733876B2 (en) * 2017-04-05 2020-08-04 Carnegie Mellon University Deep learning methods for estimating density and/or flow of objects, and related methods and software
JP7023613B2 (ja) * 2017-05-11 2022-02-22 キヤノン株式会社 画像認識装置および学習装置
US10679075B2 (en) * 2017-08-31 2020-06-09 Nec Corporation Dense correspondence estimation with multi-level metric learning and hierarchical matching
CN108764247B (zh) * 2018-04-13 2020-11-10 中国科学院自动化研究所 基于稠密连接的深度学习物体检测方法及装置
CN108805889B (zh) * 2018-05-07 2021-01-08 中国科学院自动化研究所 边缘引导的精细化显著性物体分割方法与系统、设备

Also Published As

Publication number Publication date
US10964026B2 (en) 2021-03-30
WO2020177189A1 (zh) 2020-09-10
US20210065371A1 (en) 2021-03-04
CN109919949A (zh) 2019-06-21

Similar Documents

Publication Publication Date Title
CN109919949B (zh) 图像精细化阴影区域分割系统、方法、装置
CN108062754B (zh) 基于密集网络图像的分割、识别方法和装置
CN111950453B (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN114529825B (zh) 用于消防通道占用目标检测的目标检测模型、方法及应用
Rasti et al. Misicnet: Minimum simplex convolutional network for deep hyperspectral unmixing
CN111915613A (zh) 一种图像实例分割方法、装置、设备及存储介质
Zuo et al. HF-FCN: Hierarchically fused fully convolutional network for robust building extraction
CN111723841A (zh) 文本检测方法、装置、电子设备及存储介质
Wang et al. Semantic segmentation of remote sensing ship image via a convolutional neural networks model
CN112419174B (zh) 基于门循环单元的图像文字去除方法、系统及装置
CN110826609A (zh) 一种基于强化学习的双流特征融合图像识别方法
CN113781510A (zh) 边缘检测方法、装置及电子设备
CN113012177A (zh) 基于几何特征提取和边缘感知编码的三维点云分割方法
CN113903022A (zh) 基于特征金字塔与注意力融合的文本检测方法及系统
CN112149526A (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN116343287A (zh) 面部表情识别、模型训练方法、装置、设备及存储介质
CN114930409A (zh) 多任务人脸检测器和特征点检测器
CN115115863A (zh) 水面多尺度目标检测方法、装置及系统和存储介质
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
CN112365451A (zh) 图像质量等级的确定方法、装置、设备及计算机可读介质
CN113516084A (zh) 高分辨率遥感影像半监督分类方法、装置、设备及介质
CN113744280A (zh) 图像处理方法、装置、设备及介质
CN112818818A (zh) 一种基于affpn的新型超高清遥感图像变化检测方法
KR20190048597A (ko) 딥 러닝을 이용한 이종 센서 정보 융합 장치 및 방법
CN114926826A (zh) 场景文本检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant