CN112396069B - 基于联合学习的语义边缘检测方法、装置、系统及介质 - Google Patents

基于联合学习的语义边缘检测方法、装置、系统及介质 Download PDF

Info

Publication number
CN112396069B
CN112396069B CN202110072475.1A CN202110072475A CN112396069B CN 112396069 B CN112396069 B CN 112396069B CN 202110072475 A CN202110072475 A CN 202110072475A CN 112396069 B CN112396069 B CN 112396069B
Authority
CN
China
Prior art keywords
edge detection
network
edge
joint learning
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110072475.1A
Other languages
English (en)
Other versions
CN112396069A (zh
Inventor
李天驰
孙悦
王帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dianmao Technology Co Ltd
Original Assignee
Shenzhen Dianmao Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dianmao Technology Co Ltd filed Critical Shenzhen Dianmao Technology Co Ltd
Priority to CN202110072475.1A priority Critical patent/CN112396069B/zh
Publication of CN112396069A publication Critical patent/CN112396069A/zh
Application granted granted Critical
Publication of CN112396069B publication Critical patent/CN112396069B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于联合学习的语义边缘检测方法、装置、系统及存储介质，方法包括：预先构建生成对抗网络和边缘检测网络；获取边缘噪声样本，根据所述边缘噪声样本对所述生成对抗网络和边缘检测网络进行噪声学习和边缘检测的联合学习训练，当边缘检测结果达到期望值时得到完成联合学习训练的生成对抗网络和边缘检测网络；将待检测图像输入至所述完成联合学习训练的边缘检测网络后输出语义边缘检测结果。本发明实施例通过在统一的框架内构建生成对抗网络和边缘检测网络进行联合学习，同时执行噪声学习任务和边缘检测任务，形成闭环训练结构，能有效提高各任务的性能，使得联合学习后得到的边缘检测网络具有更加精确和清晰的语义边缘检测效果。

Description

基于联合学习的语义边缘检测方法、装置、系统及介质
技术领域
本发明涉及图像处理技术领域，尤其涉及基于联合学习的语义边缘检测方法、装置、系统及存储介质。
背景技术
图像边缘是识别一个物体的重要线索，例如在缺少很大一部分边界的情况下，也还是可以仅从草图中识别物体，而边缘也被证明对三维重建、定位和图像生成很有用。
然而，目前对图像边界进行精确标注速度非常慢，否则达不到精度的要求，因此，大多数现有数据集包含显著的标注噪声，这可能是大多数的检测器输出厚边界预测的根本原因，而厚边界预测对下游任务来说是不可取的。
因此，现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足，本发明的目的在于提供基于联合学习的语义边缘检测方法、装置、系统及存储介质，旨在解决现有技术中的语义边缘预测过厚的问题。
本发明的技术方案如下：
一种基于联合学习的语义边缘检测方法，其包括如下步骤：
预先构建生成对抗网络和边缘检测网络；
获取边缘噪声样本，根据所述边缘噪声样本对所述生成对抗网络和边缘检测网络进行噪声学习和边缘检测的联合学习训练，当边缘检测结果达到期望值时得到完成联合学习训练的生成对抗网络和边缘检测网络；
将待检测图像输入至所述完成联合学习训练的边缘检测网络后输出语义边缘检测结果。
所述的基于联合学习的语义边缘检测方法中，所述生成对抗网络包括用于生成模拟真实噪声样本的生成器网络，以及用于对所述模拟真实噪声样本进行真伪识别以及分类的判别器网络。
所述的基于联合学习的语义边缘检测方法中，所述构建边缘检测网络，具体包括：
构建用于边缘检测的卷积神经网络，以及用于训练所述卷积神经网络的损失函数，其中所述卷积神经网络包括用于对语义边缘进行分类预测的边缘细化层。
所述的基于联合学习的语义边缘检测方法中，所述损失函数包括交叉熵损失、NMS损失以及方向损失。
所述的基于联合学习的语义边缘检测方法中，所述边缘细化层具体通过计算边缘法线方向进行边缘分类预测。
所述的基于联合学习的语义边缘检测方法中，所述获取边缘噪声样本，根据所述边缘噪声样本对所述生成对抗网络和边缘检测网络进行噪声学习和边缘检测的联合学习训练，当边缘检测结果达到期望值时得到完成联合学习训练的生成对抗网络和边缘检测网络，包括：
获取边缘噪声样本并将其输入至所述生成器网络，通过所述生成器网络生成模拟真实噪声样本；
将所述模拟真实噪声样本经所述判别器网络识别真伪后输入至所述边缘检测网络；
根据当前输入的模拟真实噪声样本以及损失函数对所述边缘检测网络进行边缘检测训练，反馈边缘检测结果至所述生成对抗网络；
根据所述边缘检测结果调节所述生成对抗网络的参数直到边缘检测结果达到期望值，得到完成联合学习训练的生成对抗网络和边缘检测网络。
所述的基于联合学习的语义边缘检测方法中，所述根据当前输入的模拟真实噪声样本以及损失函数对所述边缘检测网络进行边缘检测训练，反馈边缘检测结果至所述生成对抗网络，包括：
获取判别器网络识别为真的模拟真实边缘噪声样本并将其输入至所述卷积神经网络；
通过所述损失函数对所述卷积神经网络输出的边缘检测结果进行误差评价；
根据误差评价结果调节所述卷积神经网络的权重参数，并将所述边缘检测结果反馈至所述生成对抗网络。
本发明又一实施例还提供了一种基于联合学习的语义边缘检测系统，所述系统包括至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述基于联合学习的语义边缘检测方法。
本发明的另一实施例还提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的基于联合学习的语义边缘检测方法。
本发明的另一实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被处理器执行时，使所述处理器执行上述的基于联合学习的语义边缘检测方法。
有益效果：本发明公开了基于联合学习的语义边缘检测方法、装置、系统及存储介质，相比于现有技术，本发明实施例通过在统一的框架内构建生成对抗网络和边缘检测网络进行联合学习，同时执行噪声学习任务和边缘检测任务，形成闭环训练结构，能有效提高各任务的性能，使得联合学习后得到的边缘检测网络具有更加精确和清晰的语义边缘检测效果。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本发明提供的基于联合学习的语义边缘检测方法较佳实施例的流程图；
图2为本发明提供的基于联合学习的语义边缘检测方法较佳实施例中步骤S200的流程图；
图3为本发明提供的基于联合学习的语义边缘检测方法较佳实施例中步骤S203的流程图；
图4为本发明提供的基于联合学习的语义边缘检测装置较佳实施例的功能模块示意图；
图5为本发明提供的基于联合学习的语义边缘检测系统较佳实施例的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。以下结合附图对本发明实施例进行介绍。
请参阅图1，图1为本发明提供的基于联合学习的语义边缘检测方法较佳实施例的流程图。如图1所示，其包括如下步骤：
S100、预先构建生成对抗网络和边缘检测网络；
S200、获取边缘噪声样本，根据所述边缘噪声样本对所述生成对抗网络和边缘检测网络进行噪声学习和边缘检测的联合学习训练，当边缘检测结果达到期望值时得到完成联合学习训练的生成对抗网络和边缘检测网络；
S300、将待检测图像输入至所述完成联合学习训练的边缘检测网络后输出语义边缘检测结果。
本实施例中，先构建相应的生成对抗网络和边缘检测网络，生成对抗网络(GAN)在生成高质量数据方面具有良好表现，通常由一个生成器网络和一个判别器网络组成，即本实施例中所述生成对抗网络包括用于生成模拟真实噪声样本的生成器网络，以及用于对所述模拟真实噪声样本进行真伪识别以及分类的判别器网络，通过这两个网络之间的对抗性优化，能够从训练的边缘噪声样本数据中生成模拟真实边缘噪声分布的合成样本，因此本实施例获取边缘噪声样本后根据所述边缘噪声样本对所述生成对抗网络和边缘检测网络进行噪声学习和边缘检测的联合学习任务，同时执行噪声学习任务和边缘检测任务以形成闭环训练结构，最终当边缘检测结果达到期望值时得到完成联合学习训练的生成对抗网络和边缘检测网络，该边缘检测网络由于在训练过程中加入了生成对抗网络的噪声学习，完成联合学习的生成对抗网络可生成无限接近真实边界信号的模拟真实噪声样本，在边缘检测时通过该模拟真实噪声样本进行边缘检测训练，可实现标注噪声的显式推理来学习清晰、精确的语义边界，产生更加准确的语义边缘预测。
具体实施时，所述构建边缘检测网络的步骤具体包括：
构建用于边缘检测的卷积神经网络，以及用于训练所述卷积神经网络的损失函数，其中所述卷积神经网络包括用于对语义边缘进行分类预测的边缘细化层。
本实施例中，所述边缘检测网络采用卷积神经网络，并且在所述卷积神经网络中加入了用于对语义边缘进行分类预测的边缘细化层，同时针对加入的边缘细化层，用于训练所述卷积神经网络的损失函数也相应的增加了损失项，具体所述损失函数包括交叉熵损失、NMS损失以及方向损失。
具体来说，语义边缘检测可以定义为在给定输入图像x的情况下，预测k个对象类 的边界映射的任务；令
Figure DEST_PATH_IMAGE001
∈{0,1}，表示像素m是否属于k类，边缘检测的目标是计算概率 图
Figure 476971DEST_PATH_IMAGE002
，通常假设其分解为一组按Bernoulli分布建模的像素概率，它是用卷积神 经网络f计算的，具有k个sigmoid函数输出以及参数θ，因此，允许每个像素属于多个类，以 处理多类遮挡边界的情况。
具体的，语义边界学习通常采用的标准二进制交叉熵损失进行训练，为了处理边 缘和非边缘像素之间的高度不平衡，使用一个加权术项
Figure DEST_PATH_IMAGE003
来处理，其中
Figure 862953DEST_PATH_IMAGE004
为所有类中的非边缘像素数，
Figure DEST_PATH_IMAGE005
为像素的总数。在多类场景中，假设类是独立的， 因此，在学习中交叉熵损失可表示为：
Figure 111532DEST_PATH_IMAGE006
进一步地，针对边缘细化层的训练通过NMS损失进行，其中所述边缘细化层具体通 过计算边缘法线方向进行边缘分类预测，并在每个边界像素上沿法线采样5个位置，在这些 位置执行softmax（一种逻辑回归模型），帮助增强边界像素，提高边缘预测的精确性，具体 实施时，对于类k的每个真实值边界像素p，将其沿法向方向的响应归一化为
Figure DEST_PATH_IMAGE007
，其中
Figure 224850DEST_PATH_IMAGE008
，其中，t∈{−L，−L + 1，…， L}， L表示像素pt与p沿法线的最大距离，使用基本三角学和估计二阶导数的固定卷 积层从真值边界图计算法向
Figure DEST_PATH_IMAGE009
，参数τ表示softmax的温度，优选的所述L = 2，τ =0.1，当 然也可根据需要设置为其它数值。
直观地说，所述边缘细化层希望得到的是真实边界像素p沿其法线方向实现最高响应，因此通过一个额外的损失(即NMS损失)来做到这一点，所述NMS损失用h计算的预测分类分布推向狄拉克函数目标分布:
Figure 304801DEST_PATH_IMAGE010
进一步地，针对方向损失，由于理想情况下，预测边界的法线方向应该与真实边界 计算的法线方向相似，因此将误差定义为角域中的平均平方损失函数:
Figure DEST_PATH_IMAGE011
，其中
Figure 596105DEST_PATH_IMAGE012
是边界像素p中的真实法线方向，
Figure DEST_PATH_IMAGE013
是预 测边界计算的法线方向。
基于上述的具有新的边缘细化层以及相应损失函数的卷积神经网络训练得到最终的边缘检测网络，由于采用了卷积神经网络，因此可插入到任何端到端边缘检测器的顶部，强制边缘检测器预测沿边缘法向的最大响应，同时也使其方向规则化。通过这样做，可以缓解预测过厚边界的问题，并直接优化非最大抑制边，实现更加薄且精准的边缘预测。
进一步地，请参阅图2，所述步骤S200包括如下步骤：
S201、获取边缘噪声样本并将其输入至所述生成器网络，通过所述生成器网络生成模拟真实噪声样本；
S202、将所述模拟真实噪声样本经所述判别器网络识别真伪后输入至所述边缘检测网络；
S203、根据当前输入的模拟真实噪声样本以及损失函数对所述边缘检测网络进行边缘检测训练，反馈边缘检测结果至所述生成对抗网络；
S204、根据所述边缘检测结果调节所述生成对抗网络的参数直到边缘检测结果达到期望值，得到完成联合学习训练的生成对抗网络和边缘检测网络。
本实施例中，具体的联合学习包括两个阶段，第一阶段中先将现有少数的边缘噪声样本输入至生成器网络中，生成新的模拟真实噪声样本，之后将所述模拟真实噪声样本输入至所述判别器网络进行真伪判别。具体来说，所述生成器网络具有编码模块和译码模块，更具体地，生成器网络通过自定义图形卷积层分离图像的风格和内容，再经过编码与译码生成新的图像，其中编码模块是一个残差网络，由卷积层、残差块组成，通过残差网络来提取图像特征，将图像压缩成一定数量的特征向量；译码模块也是由卷积层和残差块组成，利用反卷积层，从特征向量中还原出低级特征，最后生成图像。所述判别器网络则可通过对抗性学习来判断此时生成器网络生成的图像是“真”还是“假”并输出相应的标签，即通过生成器网络和判别器网络之间的生成对抗性优化，可输出与真实边界噪声接近的模拟真实噪声样本。
第二阶段中，将经过判别器网络识别后的模拟真实噪声样本输入至所述边缘检测网络中，通过损失函数进行边缘检测训练，反馈边缘检测结果至所述生成对抗网络，根据所述边缘检测结果调节所述生成对抗网络的参数以加强生成对抗网络生成的质量，使得生成器网络输出的模拟真实噪声样本尽量接近真实的边界噪声，形成训练闭环结构，直到边缘检测结果达到期望值，以实现联合训练学习的目的，大大提高了边缘检测的效果。
进一步地，请参阅图3，所述步骤S203包括如下步骤：
S2031、获取判别器网络识别为真的模拟真实噪声样本并将其输入至所述卷积神经网络；
S2032、通过所述损失函数对所述卷积神经网络输出的边缘检测结果进行误差评价；
S2033、根据误差评价结果调节所述卷积神经网络的权重参数，并将所述边缘检测结果反馈至所述生成对抗网络。
本实施例中，首先通过生成对抗网络对边缘噪声样本进行学习，以产生与真实边界接近的模拟真实噪声样本，实现精准的标注噪声，此时判别器网络对生成器网络生成的边缘噪声样本的识别结果为真，之后通过生成对抗网络产生的模拟真实噪声样本来对边缘检测网络进行训练，具体将具有精准标注噪声的模拟真实噪声样本输入至卷积神经网络，通过所述损失函数对所述卷积神经网络输出的边缘检测结果进行误差评价，根据误差评价结果反向传播调节所述卷积神经网络的权重参数，并反馈边缘检测结果至生成对抗网络，通过使用真实的边界信号训练边界网络，能够学习并产生更准确的预测，同时联合学习训练调整参数的方案也有助于得到性能更好的边缘检测网络。
由以上方法实施例可知，本发明提供的基于联合学习的语义边缘检测方法通过在统一的框架内构建生成对抗网络和边缘检测网络进行联合学习，同时执行噪声学习任务和边缘检测任务，形成闭环训练结构，能有效提高各任务的性能，使得联合学习后得到的边缘检测网络具有更加精确和清晰的语义边缘检测效果。
需要说明的是，上述各步骤之间并不必然存在一定的先后顺序，本领域普通技术人员，根据本发明实施例的描述可以理解，不同实施例中，上述各步骤可以有不同的执行顺序，亦即，可以并行执行，亦可以交换执行等等。
本发明另一实施例提供一种基于联合学习的语义边缘检测装置，如图4所示，装置1包括：
构建模块11，用于预先构建生成对抗网络和边缘检测网络；
联合学习模块12，用于获取边缘噪声样本，根据所述边缘噪声样本对所述生成对抗网络和边缘检测网络进行噪声学习和边缘检测的联合学习训练，当边缘检测结果达到期望值时得到完成联合学习训练的生成对抗网络和边缘检测网络；
检测模块13，用于将待检测图像输入至所述完成联合学习训练的边缘检测网络后输出语义边缘检测结果。
所述构建模块11、联合学习模块12和检测模块13依次连接，具体实施方式请参考上述对应的方法实施例，此处不再赘述。
本发明另一实施例提供一种基于联合学习的语义边缘检测系统，如图5所示，系统10包括：
一个或多个处理器110以及存储器120，图5中以一个处理器110为例进行介绍，处理器110和存储器120可以通过总线或者其他方式连接，图5中以通过总线连接为例。
处理器110用于完成系统10的各种控制逻辑，其可以为通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、单片机、ARM（Acorn RISCMachine）或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。还有，处理器110还可以是任何传统处理器、微处理器或状态机。处理器110也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。
存储器120作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的基于联合学习的语义边缘检测方法对应的程序指令。处理器110通过运行存储在存储器120中的非易失性软件程序、指令以及单元，从而执行系统10的各种功能应用以及数据处理，即实现上述方法实施例中的基于联合学习的语义边缘检测方法。
存储器120可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据系统10使用所创建的数据等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器120可选包括相对于处理器110远程设置的存储器，这些远程存储器可以通过网络连接至系统10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个单元存储在存储器120中，当被一个或者多个处理器110执行时，执行上述任意方法实施例中的基于联合学习的语义边缘检测方法，例如，执行以上描述的图1中的方法步骤S100至步骤S300。
本发明实施例提供了一种非易失性计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图1中的方法步骤S100至步骤S300。
作为示例，非易失性存储介质能够包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦ROM(EEPROM)或闪速存储器。易失性存储器能够包括作为外部高速缓存存储器的随机存取存储器(RAM)。通过说明丽非限制，RAM可以以诸如同步RAM(SRAM)、动态RAM、(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、Synchlink DRAM(SLDRAM)以及直接Rambus(兰巴斯)RAM(DRRAM)之类的许多形式得到。本文中所描述的操作环境的所公开的存储器组件或存储器旨在包括这些和/或任何其他适合类型的存储器中的一个或多个。
本发明的另一种实施例提供了一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被处理器执行时，使所述处理器执行上述方法实施例的基于联合学习的语义边缘检测方法。例如，执行以上描述的图1中的方法步骤S100至步骤S300。
综上所述，本发明公开的基于联合学习的语义边缘检测方法、装置、系统及存储介质中，所述方法包括：预先构建生成对抗网络和边缘检测网络；获取边缘噪声样本，根据所述边缘噪声样本对所述生成对抗网络和边缘检测网络进行噪声学习和边缘检测的联合学习训练，当边缘检测结果达到期望值时得到完成联合学习训练的生成对抗网络和边缘检测网络；将待检测图像输入至所述完成联合学习训练的边缘检测网络后输出语义边缘检测结果。本发明实施例通过在统一的框架内构建生成对抗网络和边缘检测网络进行联合学习，同时执行噪声学习任务和边缘检测任务，形成闭环训练结构，能有效提高各任务的性能，使得联合学习后得到的边缘检测网络具有更加精确和清晰的语义边缘检测效果。
以上所描述的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施例的描述，本领域的技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存在于计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机电子设备（可以是个人计算机，服务器，或者网络电子设备等）执行各个实施例或者实施例的某些部分的方法。
除了其他之外，诸如"能够'、"能"、"可能"或"可以"之类的条件语言除非另外具体地陈述或者在如所使用的上下文内以其他方式理解，否则一般地旨在传达特定实施方式能包括(然而其他实施方式不包括)特定特征、元件和/或操作。因此，这样的条件语言一般地还旨在暗示特征、元件和/或操作对于一个或多个实施方式无论如何都是需要的或者一个或多个实施方式必须包括用于在有或没有输入或提示的情况下判定这些特征、元件和/或操作是否被包括或者将在任何特定实施方式中被执行的逻辑。
已经在本文中在本说明书和附图中描述的内容包括能够提供基于联合学习的语义边缘检测方法、装置、系统及存储介质的示例。当然，不能够出于描述本公开的各种特征的目的来描述元件和/或方法的每个可以想象的组合，但是可以认识到，所公开的特征的许多另外的组合和置换是可能的。因此，显而易见的是，在不脱离本公开的范围或精神的情况下能够对本公开做出各种修改。此外，或在替代方案中，本公开的其他实施例从对本说明书和附图的考虑以及如本文中所呈现的本公开的实践中可能是显而易见的。意图是，本说明书和附图中所提出的示例在所有方面被认为是说明性的而非限制性的。尽管在本文中采用了特定术语，但是它们在通用和描述性意义上被使用并且不用于限制的目的。

Claims (8)

1.一种基于联合学习的语义边缘检测方法，其特征在于，包括如下步骤：
预先构建生成对抗网络和边缘检测网络；
获取边缘噪声样本，根据所述边缘噪声样本对所述生成对抗网络和边缘检测网络进行噪声学习和边缘检测的联合学习训练，当边缘检测结果达到期望值时得到完成联合学习训练的生成对抗网络和边缘检测网络；
将待检测图像输入至所述完成联合学习训练的边缘检测网络后输出语义边缘检测结果；
所述生成对抗网络包括用于生成模拟真实噪声样本的生成器网络，以及用于对所述模拟真实噪声样本进行真伪识别以及分类的判别器网络，通过生成器网络和判别器网络之间的对抗性优化，从训练的边缘噪声样本数据中生成模拟真实边缘噪声分布的合成样本；
所述获取边缘噪声样本，根据所述边缘噪声样本对所述生成对抗网络和边缘检测网络进行噪声学习和边缘检测的联合学习训练，当边缘检测结果达到期望值时得到完成联合学习训练的生成对抗网络和边缘检测网络，包括：
获取边缘噪声样本并将其输入至所述生成器网络，通过所述生成器网络生成模拟真实噪声样本；
将所述模拟真实噪声样本经所述判别器网络识别真伪后输入至所述边缘检测网络；
根据当前输入的模拟真实噪声样本以及边缘检测网络的损失函数对所述边缘检测网络进行边缘检测训练，反馈边缘检测结果至所述生成对抗网络；
根据所述边缘检测结果调节所述生成对抗网络的参数直到边缘检测结果达到期望值，得到完成联合学习训练的生成对抗网络和边缘检测网络。
2.根据权利要求1所述的基于联合学习的语义边缘检测方法，其特征在于，所述构建边缘检测网络，具体包括：
构建用于边缘检测的卷积神经网络，以及用于训练所述卷积神经网络的损失函数，其中所述卷积神经网络包括用于对语义边缘进行分类预测的边缘细化层。
3.根据权利要求2所述的基于联合学习的语义边缘检测方法，其特征在于，所述损失函数包括交叉熵损失、NMS损失以及方向损失。
4.根据权利要求2所述的基于联合学习的语义边缘检测方法，其特征在于，所述边缘细化层具体通过计算边缘法线方向进行边缘分类预测。
5.根据权利要求4所述的基于联合学习的语义边缘检测方法，其特征在于，所述根据当前输入的模拟真实噪声样本以及损失函数对所述边缘检测网络进行边缘检测训练，反馈边缘检测结果至所述生成对抗网络，包括：
获取判别器网络识别为真的模拟真实噪声样本并将其输入至所述卷积神经网络；
通过所述损失函数对所述卷积神经网络输出的边缘检测结果进行误差评价；
根据误差评价结果调节所述卷积神经网络的权重参数，并将所述边缘检测结果反馈至所述生成对抗网络。
6.一种基于联合学习的语义边缘检测装置，其特征在于，所述装置包括：
构建模块，用于预先构建生成对抗网络和边缘检测网络；
联合学习模块，用于获取边缘噪声样本，根据所述边缘噪声样本对所述生成对抗网络和边缘检测网络进行噪声学习和边缘检测的联合学习训练，当边缘检测结果达到期望值时得到完成联合学习训练的生成对抗网络和边缘检测网络；
检测模块，用于将待检测图像输入至所述完成联合学习训练的边缘检测网络后输出语义边缘检测结果；
其中所述生成对抗网络包括用于生成模拟真实噪声样本的生成器网络，以及用于对所述模拟真实噪声样本进行真伪识别以及分类的判别器网络，通过生成器网络和判别器网络之间的对抗性优化，从训练的边缘噪声样本数据中生成模拟真实边缘噪声分布的合成样本；
所述联合学习模块具体用于获取边缘噪声样本并将其输入至所述生成器网络，通过所述生成器网络生成模拟真实噪声样本；将所述模拟真实噪声样本经所述判别器网络识别真伪后输入至所述边缘检测网络；根据当前输入的模拟真实噪声样本以及边缘检测网络的损失函数对所述边缘检测网络进行边缘检测训练，反馈边缘检测结果至所述生成对抗网络；根据所述边缘检测结果调节所述生成对抗网络的参数直到边缘检测结果达到期望值，得到完成联合学习训练的生成对抗网络和边缘检测网络。
7.一种基于联合学习的语义边缘检测系统，其特征在于，所述系统包括至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5任一项所述的基于联合学习的语义边缘检测方法。
8.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行权利要求1-5任一项所述的基于联合学习的语义边缘检测方法。
CN202110072475.1A 2021-01-20 2021-01-20 基于联合学习的语义边缘检测方法、装置、系统及介质 Active CN112396069B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110072475.1A CN112396069B (zh) 2021-01-20 2021-01-20 基于联合学习的语义边缘检测方法、装置、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110072475.1A CN112396069B (zh) 2021-01-20 2021-01-20 基于联合学习的语义边缘检测方法、装置、系统及介质

Publications (2)

Publication Number Publication Date
CN112396069A CN112396069A (zh) 2021-02-23
CN112396069B true CN112396069B (zh) 2021-04-13

Family

ID=74625153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110072475.1A Active CN112396069B (zh) 2021-01-20 2021-01-20 基于联合学习的语义边缘检测方法、装置、系统及介质

Country Status (1)

Country Link
CN (1) CN112396069B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310582A (zh) * 2020-01-19 2020-06-19 北京航空航天大学 基于边界感知和对抗学习的湍流退化图像语义分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340831A (zh) * 2018-12-18 2020-06-26 北京京东尚科信息技术有限公司 点云边缘检测方法和装置
CN112184585B (zh) * 2020-09-29 2024-03-29 中科方寸知微(南京)科技有限公司 一种基于语义边缘融合的图像补全方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310582A (zh) * 2020-01-19 2020-06-19 北京航空航天大学 基于边界感知和对抗学习的湍流退化图像语义分割方法

Also Published As

Publication number Publication date
CN112396069A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
US9990558B2 (en) Generating image features based on robust feature-learning
US11468262B2 (en) Deep network embedding with adversarial regularization
CN109891897B (zh) 用于分析媒体内容的方法
US11593586B2 (en) Object recognition with reduced neural network weight precision
US11328180B2 (en) Method for updating neural network and electronic device
CN110889325B (zh) 多任务面部动作识别模型训练和多任务面部动作识别方法
KR102318772B1 (ko) 도메인 분리 뉴럴 네트워크들
CN111279362B (zh) 胶囊神经网络
US20200265301A1 (en) Incremental training of machine learning tools
KR102219346B1 (ko) 베이지안 최적화를 수행하기 위한 시스템 및 방법
US20230095606A1 (en) Method for training classifier, and data processing method, system, and device
CN109840531A (zh) 训练多标签分类模型的方法和装置
CN116635866A (zh) 用于挖掘少数类数据样本以训练神经网络的方法和系统
US11585918B2 (en) Generative adversarial network-based target identification
US11776269B2 (en) Action classification in video clips using attention-based neural networks
CN113011568B (zh) 一种模型的训练方法、数据处理方法及设备
US20210089867A1 (en) Dual recurrent neural network architecture for modeling long-term dependencies in sequential data
WO2019018533A1 (en) NEURO-BAYESIAN ARCHITECTURE FOR THE IMPLEMENTATION OF GENERAL ARTIFICIAL INTELLIGENCE
Cao et al. A survey of mix-based data augmentation: Taxonomy, methods, applications, and explainability
CN116308754A (zh) 一种银行信贷风险预警系统及其方法
Wang et al. Meta-learning with less forgetting on large-scale non-stationary task distributions
CN112132269B (zh) 模型处理方法、装置、设备及存储介质
US11003909B2 (en) Neural network trained by homographic augmentation
CN112396069B (zh) 基于联合学习的语义边缘检测方法、装置、系统及介质
CN112861601A (zh) 生成对抗样本的方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant