CN112884730B - 一种协同显著性物体检测方法及系统 - Google Patents

一种协同显著性物体检测方法及系统 Download PDF

Info

Publication number
CN112884730B
CN112884730B CN202110160367.XA CN202110160367A CN112884730B CN 112884730 B CN112884730 B CN 112884730B CN 202110160367 A CN202110160367 A CN 202110160367A CN 112884730 B CN112884730 B CN 112884730B
Authority
CN
China
Prior art keywords
picture
global
commonality
learning
picture group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110160367.XA
Other languages
English (en)
Other versions
CN112884730A (zh
Inventor
程明明
范登平
范琦
邓智强
戴宇荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nankai University
Original Assignee
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nankai University filed Critical Nankai University
Priority to CN202110160367.XA priority Critical patent/CN112884730B/zh
Publication of CN112884730A publication Critical patent/CN112884730A/zh
Application granted granted Critical
Publication of CN112884730B publication Critical patent/CN112884730B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种协同显著性物体检测方法及系统，获取不同的图片组，对图片组进行编码，以提取特征图；对提取的特征图进行全局关系学习，得到图片组共性，并将其与特征图进行深度分离滤波，进行解码生成检测结果。对检测结果进行测试，如果不满足要求，则对提取的特征图和图片组共性进行全局协同学习，对特征图进行分类，以得到更好的图片特征，直到测试结果满足要求。本发明大大提升了模型的辨别能力，进而提升了协同显著性物体检测的性能。

Description

一种协同显著性物体检测方法及系统
技术领域
本发明属于图像检测技术领域，具体涉及一种协同显著性物体检测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
随着用户对图片处理要求的不断提升，协同显著性物体检测的应用也愈加广泛。与传统的显著性检测不同，协同显著性检测需要检测多个图像中同时出现的显著物体。因此这一任务要求模型不仅能从每张图片中检测出最吸引人的物体，还要求这些检测出的物体具有相同的语义属性。这就要求模型能够分辨不同类别的物体，并找出图像中共有的显著性物体。但是据发明人了解，现有算法的辨别能力不足，往往将不同类别的物体也检测出来。
发明内容
本发明为了解决上述问题，提出了一种协同显著性物体检测方法及系统，本发明在检测网络模型的训练过程中加入了不同类别的条件信息，使得检测网络模型根据给定的类别条件对图片进行分割，大大提升了模型的辨别能力，进而提升了协同显著性物体检测的性能和准确度。
根据一些实施例，本发明采用如下技术方案：
一种协同显著性物体检测方法，包括以下步骤：
获取不同的图片组，对图片组进行编码，以提取特征图；
对提取的特征图进行全局关系学习，得到图片组共性，并将其与特征图进行深度分离滤波，进行解码生成检测结果。
作为可选择的实施方式，对图片组进行编码的具体过程包括：对图片组的图片进行多层卷积处理。
作为可选择的实施方式，对提取的特征图进行全局关系学习的具体过程包括：使用一个卷积层对输入特征图进行处理，将生成的两个特征图进行相乘得到特征图上每个点之间的关系矩阵，通过重组，确定全局关系图，并将其与原始的特征图相乘，在组合空间上取均值得到图片组共性。
作为可选择的实施方式，对检测结果进行测试，如果不满足要求，则对提取的特征图和图片组共性进行全局协同学习，对特征图进行分类，以得到更好的图片特征，直到测试结果满足要求。
作为可选择的实施方式，进行全局协同学习的具体过程包括：对于输入的两组图片的特征图和图片组共性，将来自同一个图片组的特征图和图片共性进行相乘，并使用卷积网络进行处理得到输出结果，使用真实标签进行监督，然后将来自不同图片组的特征图和图片共性进行相乘，并使用卷积网络进行处理得到输出结果，使用全0图进行监督。
一种协同显著性物体检测系统，包括：
编码器，接收输入图片组，对图片组进行编码，以提取特征图；
全局关系学习模块，对图片组提取的特征图进行全局关系学习，得到图片组共性，并将其与特征图进行深度分离滤波；
解码器，接收全局关系学习模块的结果，对其进行解码，生成检测结果。
作为可选择的实施方式，还包括全局协同学习模块，与全局关系学习模块连接，被配置为对提取的特征图和图片组共性进行全局协同学习；
语义分类学习模块，与全局协同学习模块连接，被配置为对特征图进行分类，以得到更好的图片特征。
作为可选择的实施方式，所述编码器包括多层卷积层，每个卷积层之后都接有ReLU层和Batch Normalization层。
作为可选择的实施方式，所述解码器使用具有侧向连接的卷积网络。
作为可选择的实施方式，基于SGD的梯度下降法求解检测系统的卷积模板参数和偏置参数，在每次迭代过程中，计算预测结果误差并反向传播到检测系统，计算梯度并更新参数。
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的协同显著性物体检测方法的步骤。
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的协同显著性物体检测方法的步骤。
与现有技术相比，本发明的有益效果为：
本发明提出了一种协同显著性物体检测方法，这种方法在训练过程中加入了不同类别的条件信息，使得网络根据给定的类别条件对图片进行分割，大大提升了模型的辨别能力，进而提升了协同显著性物体检测的性能。
本发明可以用于挖掘图片集中的共有物体，使用者提供一组包含共有物体的一组图片，本发明会检测出所有图片中含有的相同类别的物体，能够取得和真值结果更接近的组显著性检测结果。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明的检测系统网络结构图；
图2为全局关系学习模块示意图；
图3为全局协同学习模块示意图；
图4为本发明和其他方法的检测效果示意图。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
一种协同显著性物体检测方法，在训练过程中加入了不同类别的条件信息，使得网络根据给定的类别条件对图片进行分割，大大提升了模型的辨别能力，进而提升了协同显著性物体检测的性能。
具体的，如图1所示，本技术方案的训练网络结构是基于两个不同图片组进行训练的。对于每个图片组，编码器首先提取特征图，然后使用全局关系模块学习得到图片组共性，并将其与特征图进行深度分离滤波，之后通过解码器生成检测结果。与此同时，特征图和图片组共性还将通过全局协同学习模块进行训练以提高模型的辨别能力。语义分类学习模块还会对特征图进行分类，以得到更好的图片特征。
在本实施例中，全局协同学习和语义分类学习都只在训练中进行，在测试时会去除这两个模块，只保留主干网络(编码器和解码器及深度分离滤波)和全局关系学习模块。
主干网络：
本技术方案使用ResNet50作为编码器，模型结构如表1所示。其中，Conv3_x和Conv4_x的第一层的步长stride都为2。每个卷积层之后都接有ReLU层和BatchNormalization层。每个模块(block)的结构如表1所示。解码器使用具有侧向连接的卷积网络(FPN)。
表1 ResNet-50结构表(假设输入图片的大小为224x224)
Figure GDA0003595534400000061
Figure GDA0003595534400000071
全局关系学习模块
如图2所示，全局关系学习模块先分别使用一个卷积层对输入特征图进行处理，然后将生成的两个特征图进行相乘得到特征图上每个点之间的关系矩阵，然后通过一系列重组，取最大值，取均值等操作得到全局关系图，并将其与原始的特征图相乘，然后在组合空间上取均值得到图片组共性。
全局协同学习模块
如图3所示，对于输入的两组图片的特征图和图片组共性，首先将来自同一个图片组的特征图和图片共性进行相乘，并使用卷积网络进行处理得到输出结果，然后使用真实标签进行监督。然后将来自不同图片组的特征图和图片共性进行相乘，并使用卷积网络进行处理得到输出结果，然后使用全0图进行监督。
语义分类学习模块
对于每组图片的特征图，使用一个卷积网络和全连接层进行处理，并使用图片组的真实分类标签对此模块的输出进行监督训练。
深度神经网络训练
参数初始化
Conv1-Conv5采用在ImageNet数据集上预训练的ResNet50的参数，新添加的层采用方差为0.01，均值为0的高斯分布进行初始化。
训练
本实施例中采用基于SGD(Stochastic Gradient Descent)的梯度下降法求解神经网络模型的卷积模板参数w和偏置参数b，在每次迭代过程中，计算预测结果误差并反向传播到卷积神经网络模型，计算梯度并更新卷积神经网络模型的参数。
作为一种具体的实施例，可以利用前端A接受到数据(用户输入的图片组)，然后上传给后台，后台使用本技术方案将图片组中共有的所有显著性物体检测出来，然后将检测输出到前台B。
如图4所示，结果对比.Input表示输入的组图像，GT表示真值结果，Ours为本实施例结果，CoEG、GICD、BASNet、CSMG、CBCD是目前国际上较为先进的解决方案。从图4的定性结果可以看到，本发明的方案优于当前国际先进方案，取得和真值结果更接近的组显著性检测结果。
当然，在其他实施例中，可以使用不同的网络模型作为编码器。也可以使用不同的网络结构作为各个学习模块中的卷积层，这些均属于简单替换，理应属于本发明的保护范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种协同显著性物体检测方法，其特征是：包括以下步骤：
获取不同的图片组，对图片组进行编码，以提取特征图；
对提取的特征图进行全局关系学习，得到图片组共性，并将其与特征图进行深度分离滤波，进行解码生成检测结果；
对检测结果进行测试，如果不满足要求，则对提取的特征图和图片组共性进行全局协同学习，通过语义分类学习对特征图进行分类，以得到更好的图片特征，直到测试结果满足要求；
其中，对图片组进行编码的具体过程包括：对图片组的图片进行多层卷积处理；
对提取的特征图进行全局关系学习的具体过程包括：使用一个卷积层对输入特征图进行处理，将生成的两个特征图进行相乘得到特征图上每个点之间的关系矩阵，通过重组，确定全局关系图，并将其与原始的特征图相乘，在组合空间上取均值得到图片组共性；
进行全局协同学习的具体过程包括：对于输入的两组图片的特征图和图片组共性，将来自同一个图片组的特征图和图片共性进行相乘，并使用卷积网络进行处理得到输出结果，使用真实标签进行监督，然后将来自不同图片组的特征图和图片共性进行相乘，并使用卷积网络进行处理得到输出结果，使用全0图进行监督。
2.一种协同显著性物体检测系统，其特征是：包括：
编码器，接收输入的不同的图片组，对图片组进行编码，以提取特征图；对图片组进行编码的具体过程包括：对图片组的图片进行多层卷积处理；
全局关系学习模块，对图片组提取的特征图进行全局关系学习，得到图片组共性，并将其与特征图进行深度分离滤波；对提取的特征图进行全局关系学习的具体过程包括：使用一个卷积层对输入特征图进行处理，将生成的两个特征图进行相乘得到特征图上每个点之间的关系矩阵，通过重组，确定全局关系图，并将其与原始的特征图相乘，在组合空间上取均值得到图片组共性；
解码器，接收全局关系学习模块的结果，对其进行解码，生成检测结果；
全局协同学习模块，与全局关系学习模块连接，被配置为对提取的特征图和图片组共性进行全局协同学习；
进行全局协同学习的具体过程包括：对于输入的两组图片的特征图和图片组共性，将来自同一个图片组的特征图和图片共性进行相乘，并使用卷积网络进行处理得到输出结果，使用真实标签进行监督，然后将来自不同图片组的特征图和图片共性进行相乘，并使用卷积网络进行处理得到输出结果，使用全0图进行监督；
还包括语义分类学习模块，与全局协同学习模块连接，被配置为对特征图进行分类，以得到更好的图片特征；
具体的，对检测结果进行测试，如果不满足要求，则通过全局协同学习模块对提取的特征图和图片组共性进行全局协同学习，通过语义分类学习模块对特征图进行分类，以得到更好的图片特征，直到测试结果满足要求。
3.如权利要求2所述的一种协同显著性物体检测系统，其特征是：所述编码器包括多层卷积层，每个卷积层之后都接有ReLU层和Batch Normalization层。
4.如权利要求2所述的一种协同显著性物体检测系统，其特征是：所述解码器使用具有侧向连接的卷积网络。
5.如权利要求2所述的一种协同显著性物体检测系统，其特征是：基于SGD的梯度下降法求解检测系统的卷积模板参数和偏置参数，在每次迭代过程中，计算预测结果误差并反向传播到检测系统，计算梯度并更新参数。
6.一种计算机可读存储介质，其特征是：其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行如权利要求1所述的协同显著性物体检测方法的步骤。
7.一种终端设备，其特征是：包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行权利要求1所述的协同显著性物体检测方法的步骤。
CN202110160367.XA 2021-02-05 2021-02-05 一种协同显著性物体检测方法及系统 Active CN112884730B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110160367.XA CN112884730B (zh) 2021-02-05 2021-02-05 一种协同显著性物体检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110160367.XA CN112884730B (zh) 2021-02-05 2021-02-05 一种协同显著性物体检测方法及系统

Publications (2)

Publication Number Publication Date
CN112884730A CN112884730A (zh) 2021-06-01
CN112884730B true CN112884730B (zh) 2022-06-07

Family

ID=76057442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110160367.XA Active CN112884730B (zh) 2021-02-05 2021-02-05 一种协同显著性物体检测方法及系统

Country Status (1)

Country Link
CN (1) CN112884730B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030077B (zh) * 2023-03-28 2023-06-06 石家庄铁道大学 基于多数据集协作学习的视频显著性区域检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961220A (zh) * 2018-06-14 2018-12-07 上海大学 一种基于多层卷积特征融合的图像协同显著性检测方法
CN109165660A (zh) * 2018-06-20 2019-01-08 扬州大学 一种基于卷积神经网络的显著物体检测方法
CN110363201A (zh) * 2019-07-10 2019-10-22 上海交通大学 基于协同学习的弱监督语义分割方法及系统
CN111639544A (zh) * 2020-05-07 2020-09-08 齐齐哈尔大学 基于多分支跨连接卷积神经网络的表情识别方法
CN111833363A (zh) * 2019-04-17 2020-10-27 南开大学 检测方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190095764A1 (en) * 2017-09-26 2019-03-28 Panton, Inc. Method and system for determining objects depicted in images
CN111598107B (zh) * 2020-04-17 2022-06-14 南开大学 一种基于特征动态选择的多任务联合检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961220A (zh) * 2018-06-14 2018-12-07 上海大学 一种基于多层卷积特征融合的图像协同显著性检测方法
CN109165660A (zh) * 2018-06-20 2019-01-08 扬州大学 一种基于卷积神经网络的显著物体检测方法
CN111833363A (zh) * 2019-04-17 2020-10-27 南开大学 检测方法及装置
CN110363201A (zh) * 2019-07-10 2019-10-22 上海交通大学 基于协同学习的弱监督语义分割方法及系统
CN111639544A (zh) * 2020-05-07 2020-09-08 齐齐哈尔大学 基于多分支跨连接卷积神经网络的表情识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络和语义相关的协同显著性检测;张华迪;《计算机应用研究》;20201231;全文 *
基于深度学习的协同显著性检测方法研究;王冲;《中国博士学位论文全文数据库 (信息科技辑)》;20190815;第4章 *

Also Published As

Publication number Publication date
CN112884730A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN109697451B (zh) 相似图像聚类方法及装置、存储介质、电子设备
CN109145937A (zh) 一种模型训练的方法及装置
CN110929848B (zh) 基于多挑战感知学习模型的训练、跟踪方法
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN113870254B (zh) 目标对象的检测方法、装置、电子设备及存储介质
CN111639653A (zh) 一种误检图像确定方法、装置、设备和介质
CN114463603B (zh) 图像检测模型的训练方法、装置、电子设备及存储介质
CN112884730B (zh) 一种协同显著性物体检测方法及系统
CN113205138A (zh) 人脸人体匹配方法、设备和存储介质
CN113746780A (zh) 基于主机画像的异常主机检测方法、装置、介质和设备
CN114758199A (zh) 检测模型的训练方法、装置、设备和存储介质
CN117235559B (zh) 一种基于边缘计算的物联网数据采集方法及系统
CN114169398A (zh) 基于随机森林算法的光伏直流电弧故障识别方法及装置
CN117557872A (zh) 一种优化存储模式的无监督异常检测方法及装置
CN109522196A (zh) 一种故障日志处理的方法及装置
CN115240163A (zh) 一种基于一阶段检测网络的交通标志检测方法及系统
CN115620083A (zh) 模型训练方法、人脸图像质量评价方法、设备及介质
CN112905832B (zh) 复杂背景细粒度图像检索系统及方法
CN115457385A (zh) 一种基于轻量级网络的建筑物变化检测方法
CN115292303A (zh) 数据处理方法及装置
CN111931767B (zh) 一种基于图片信息度的多模型目标检测方法、装置、系统及存储介质
CN111291602A (zh) 视频检测方法、装置、电子设备及计算机可读存储介质
CN114821206B (zh) 基于对抗互补特征的多模态图像融合分类方法与系统
CN113095342B (zh) 基于误判样本图片的审核模型优化方法、装置及服务器
CN112883890B (zh) 基于ACBlock的深度卷积神经网络信息取证方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant