CN108664981A - 显著图像提取方法及装置 - Google Patents

显著图像提取方法及装置 Download PDF

Info

Publication number
CN108664981A
CN108664981A CN201710204188.5A CN201710204188A CN108664981A CN 108664981 A CN108664981 A CN 108664981A CN 201710204188 A CN201710204188 A CN 201710204188A CN 108664981 A CN108664981 A CN 108664981A
Authority
CN
China
Prior art keywords
image
processing
function
specific image
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710204188.5A
Other languages
English (en)
Other versions
CN108664981B (zh
Inventor
陈小武
郑安林
李甲
赵沁平
陆峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201710204188.5A priority Critical patent/CN108664981B/zh
Priority to US15/683,715 priority patent/US10402680B2/en
Publication of CN108664981A publication Critical patent/CN108664981A/zh
Application granted granted Critical
Publication of CN108664981B publication Critical patent/CN108664981B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种显著图像提取方法及装置，该方法包括：通过预测模型对原始图像进行第一卷积处理、第一池化处理和归一化处理，得到原始图像的视点信息，视点信息用于指示显著对象在原始图像中的区域；通过预测模型对原始图像进行第二卷积处理和第二池化处理，得到原始图像的语义描述信息，语义描述信息用于描述原始图像中的内容；通过预测模型对视点信息和语义描述信息进行检测处理，得到原始图像的显著图像。用于提高提取显著图像的效率。

Description

显著图像提取方法及装置
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种显著图像提取方法及装置。
背景技术
原始图像中通常包括前景图像和背景图像，前景图像通常为原始图像中的显著图像，在实际应用过程中，很多应用场景中需要在原始图像中提取显著图像。
目前，当需要在原始图像中提取显著图像时，先根据原始图像中各个像素的RGB值和各个像素的位置，对原始图像进行分割，得到多个超像素块或图像块，然后采用预设的网络模型对每一个超像素块或者图像块进行特征提取，得到超像素块或图像块的卷积神经网络特征，并根据提取到的卷积神经网络特征获取显著图。在上述过程中，对原始图像进行分割需要消耗较多时间，且对每一个超像素块或每一个图像块进行处理，也需要消耗较多的时间，使得在原始图像中提取显著图像的过程较慢，导致提取显著图像的效率过低。
发明内容
本发明实施例提供一种显著图像提取方法及装置，提高了提取显著图像的效率。
第一方面，本发明实施例提供一种显著图像提取方法，包括：
通过预测模型对所述原始图像进行第一卷积处理、第一池化处理和归一化处理，得到所述原始图像的视点信息，所述视点信息用于指示显著对象在所述原始图像中的区域；
通过所述预测模型对所述原始图像进行第二卷积处理和第二池化处理，得到所述原始图像的语义描述信息，所述语义描述信息用于描述所述原始图像中的内容；
通过所述预测模型对所述视点信息和所述语义描述信息进行检测处理，得到所述原始图像的显著图像。
在一种可能的实施方式中，通过所述预测模型对所述视点信息和所述语义描述信息进行检测处理，得到所述原始图像的显著图像，包括：
在所述语义信息中确定所述视点信息对应的目标语义信息；
根据所述目标语义信息，确定所述显著图像。
在另一种可能的实施方式中，通过所述预测模型对所述视点信息和所述语义描述信息进行检测处理，得到所述原始图像的显著图像之后，还包括：
通过双边线性差值法，对所述显著图像进行缩放处理，以使所述显著图像的尺寸与所述原始图像的尺寸相同；
通过所述巴特沃斯滤波器对所述显著图像进行滤波处理。
在另一种可能的实施方式中，通过预测模型对所述原始图像进行第一卷积处理、第一池化处理和归一化处理，得到原始图像的视点信息之前，还包括：
获取多个样本RGB图像和各所述样本RGB图像对应的人工标注显著图像；
确定多个按照预设顺序执行的处理函数，所述处理函数包括卷积函数、池化函数、归一化函数和激活函数；
根据预设初始参数，对各所述处理函数进行初始化；
通过所述样本RGB图像和各所述人工标注显著图像，修正各所述处理函数的预设初始参数，得到各所述处理函数的处理参数；
根据各所述处理函数、及各所述处理函数的处理参数，确定所述预测模型。
在另一种可能的实施方式中，通过所述样本RGB图像和各所述人工标注显著图像，修正各所述处理函数的预设初始参数，得到各所述处理函数的处理参数，包括：
按照所述预设顺序，依次通过所述多个处理函数处理各所述样本RGB图像，得到各所述样本RGB图像对应的预测显著图像；
通过损失函数，计算所述样本RGB对象对应的预测显著图像与所述样本RGB图像对应的人工标注显著图像之间的差异值；
根据所述差异值，对所述损失函数求偏导数，得到所述损失函数的梯度值；
按照所述预设顺序的逆向顺序，依次通过所述多个处理函数处理各所述梯度值，得到各所述处理函数的处理参数。
第二方面，本发明实施例提供一种显著图像提取装置，包括第一提取模块、第二提取模块和检测模块，其中，
所述第一提取模块用于，通过预测模型对所述原始图像进行第一卷积处理、第一池化处理和归一化处理，得到所述原始图像的视点信息，所述视点信息用于指示显著对象在所述原始图像中的区域；
所述第二提取模块用于，通过所述预测模型对所述原始图像进行第二卷积处理和第二池化处理，得到所述原始图像的语义描述信息，所述语义描述信息用于描述所述原始图像中的内容；
所述检测模块用于，通过所述预测模型对所述视点信息和所述语义描述信息进行检测处理，得到所述原始图像的显著图像。
在一种可能的实施方式中，所述检测模块具体用于：
在所述语义信息中确定所述视点信息对应的目标语义信息；
根据所述目标语义信息，确定所述显著图像。
在另一种可能的实施方式中，所述装置还包括缩放处理模块和滤波模块，其中，
所述缩放处理模块用于，在所述检测模块通过所述预测模型对所述视点信息和所述语义描述信息进行检测处理，得到所述原始图像的显著图像之后，通过双边线性差值法，对所述显著图像进行缩放处理，以使所述显著图像的尺寸与所述原始图像的尺寸相同；
所述滤波模块用于，通过所述巴特沃斯滤波器对所述显著图像进行滤波处理。
在另一种可能的实施方式中，所述装置还包括获取模块、第一确定模块、初始化模块、修正模块和第二确定模块，其中，
所述获取模块用于，在所述第一提取模块通过预测模型对所述原始图像进行第一卷积处理、第一池化处理和归一化处理，得到原始图像的视点信息之前，获取多个样本RGB图像和各所述样本RGB图像对应的人工标注显著图像；
所述第一确定模块用于，确定多个按照预设顺序执行的处理函数，所述处理函数包括卷积函数、池化函数、归一化函数和激活函数；
所述初始化模块用于，根据预设初始参数，对各所述处理函数进行初始化；
所述修正模块用于，通过所述样本RGB图像和各所述人工标注显著图像，修正各所述处理函数的预设初始参数，得到各所述处理函数的处理参数；
所述第二确定模块用于，根据各所述处理函数、及各所述处理函数的处理参数，确定所述预测模型。
在另一种可能的实施方式中，所述修正模块具体用于：
按照所述预设顺序，依次通过所述多个处理函数处理各所述样本RGB图像，得到各所述样本RGB图像对应的预测显著图像；
通过损失函数，计算所述样本RGB对象对应的预测显著图像与所述样本RGB图像对应的人工标注显著图像之间的差异值；
根据所述差异值，对所述损失函数求偏导数，得到所述损失函数的梯度值；
按照所述预设顺序的逆向顺序，依次通过所述多个处理函数处理各所述梯度值，得到各所述处理函数的处理参数。
本发明实施例提供的显著图像提取方法及装置，当需要提取原始图像的显著图像时，通过预测模型获取原始图像的视点信息和语义描述信息，视点信息用于指示显著对象在原始图像中所占的区域，语义描述信息用于对原始图像中的突出内容进行描述，显著图像提取装置根据获取得到视点信息和语义描述信息，即可确定原始图像的显著图像。无需对原始图像进行分割处理，更无须对分割后的各个图像块进行处理，进而提高了显著图像的提取效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的显著图像提取方法的应用场景示意图；
图2为本发明实施例提供的显著图像提取方法的流程示意图；
图3为本发明实施例提供的确定预测模型方法的流程示意图；
图4为本发明实施例提供的预测模型的框架示意图；
图5为本发明实施例提供的原始图像和显著图像示意图；
图6为本发明实施例提供的显著图像提取装置的结构示意图一；
图7为本发明实施例提供的显著图像提取装置的结构示意图二。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的显著图像提取方法的应用场景示意图。请参见图1，预测模型中包括视点信息提取模块、语义信息提取模块和检测模块。当需要在原始图像中提取显著图像时，将原始图像输入至预测模型，视点信息提取模块对原始图像进行处理，提取得到原始图像的视点信息，并将视点信息传输给检测模块；语义信息提取模块对原始图像进行处理，提取得到原始图像的语义信息，并将语义信息传输给检测模块；在检测模块接收到视点信息和语义信息之后，对视点信息和语义信息进行处理，得到原始图像的显著图像，并输出显著图像。
在本申请中，在原始图像中提取显著图像的过程中，直接在原始图像中提取视点信息和语义信息，并对视点信息和语义信息进行处理，即可得到原始图像的显著图像，无需对原始图像进行分割处理，更无须对分割后的各个图像块进行处理，进而提高了显著图像的提取效率。
下面，通过具体实施例，对本申请所示的技术方案进行详细说明。需要说明的是，下面几个具体实施例可以相互结合，对于相同或相似的内容，在不同的实施例中不再进行赘述。
图2为本发明实施例提供的显著图像提取方法的流程示意图。请参见图2，该方法可以包括：
S201、通过预测模型对原始图像进行第一卷积处理、第一池化处理和归一化处理，得到原始图像的视点信息。
本发明实施例的执行主体为显著图像提取装置，可选的，显著图像提取装置可以通过软件和/或硬件实现。
本发明实施例所示的预测模型为通过样本数据训练得到的，在图4所示的实施例中对预测模型的训练过程及预测模型的结构进行详细说明，此处不进行详细说明。
可选的，原始图像的视点信息是指显著图像在原始图像中的所占的区域。
可选的，本发明实施例所示的第一卷积处理是指通过多个相同或不同的卷积函数对原始图像进行的一系列卷积操作，可选的，在对原始图像进行过每一次卷积操作之后，均可以通过激活函数再原始图像进行激活处理。第一池化处理是指对原始图像进行的至少一次池化处理。
例如，可以依次通过如下多个函数对原始图像进行处理，以得到原始图像的视点信息：卷积函数1、激活函数、标准化函数、池化函数1、卷积函数2、激活函数、池化函数2、卷积函数3、激活函数、卷积函数4、激活函数、卷积函数5、激活函数、卷积函数6、激活函数、卷积函数7、激活函数、卷积函数8、激活函数、卷积函数9、激活函数。其中，卷积函数1-卷积函数9可以相同，也可以不同；池化函数1和池化函数2可以相同，也可以不同。
S202、通过预测模型对原始图像进行第二卷积处理和第二池化处理，得到原始图像的语义描述信息，语义描述信息用于描述原始图像中的内容。
可选的，语义描述信息中包括原始图像中突出内容的描述信息、及各部分描述信息在原始图像中的位置。
可选的，本发明实施例所示的第二卷积处理是指通过多个相同或不同的卷积函数对原始图像进行的一系列卷积操作，可选的，在对原始图像进行过每一次卷积操作之后，均可以通过激活函数再原始图像进行激活处理。第二池化处理是指对原始图像进行的至少一次池化处理。
例如，可以依次通过如下多个函数对原始图像进行处理，以得到原始图像的语义描述信息：卷积函数1-1、激活函数、卷积函数1-2、激活函数、池化函数1、卷积函数2-1、激活函数、卷积函数2-2、激活函数、池化函数2、卷积函数3-1、激活函数、卷积函数3-2、激活函数、卷积函数3-3、激活函数、池化函数3、卷积函数4-1、激活函数、卷积函数4-2、激活函数、卷积函数4-3、激活函数、卷积函数5-1、激活函数、卷积函数5-2、激活函数、卷积函数5-3、激活函数、卷积函数6、激活函数、卷积函数7、激活函数、卷积函数8。其中，卷积函数1-卷积函数8可以相同，也可以不同；池化函数1-池化函数3可以相同，也可以不同。
S203、通过预测模型对视点信息和语义描述信息进行检测处理，得到原始图像的显著图像。
可选的，可以在语义信息中确定视点信息对应的目标语义信息，并根据目标语义信息，确定显著图像。可选的，可以对目标语义信息进行还原，以得到原始图像的显著图像。
为了加快在原始图像中提取显著图像的速度，可选的，在对原始图像进行处理之前，可以先对原始图像进行缩放处理，以将原始图像的尺寸缩放至预设尺寸，例如，该预设尺寸可以为280*280，还可以将原始图像中各个像素点的值减去预设图像均值，该预设图像均值为预先统计得到的。
在实际应用过程中，可选的，在确定得到原始图像的显著图像之后，还可以通过双边线性差值法，对显著图像进行缩放处理，以使显著图像的尺寸与原始图像的尺寸相同，并通过巴特沃斯滤波器对显著图像进行滤波处理。例如，巴特沃斯滤波器可以如公式一所示：
其中x0表示截断频率，M表示滤波器的阶数。巴特沃斯滤波器可以使得通频带内的频率响应曲线最大限度平坦，没有起伏，并使得阻频带则逐渐下降为零。例如，x0可以为0.4，M可以为3。
本发明实施例提供的显著图像提取方法，当需要提取原始图像的显著图像时，通过预测模型获取原始图像的视点信息和语义描述信息，视点信息用于指示显著对象在原始图像中所占的区域，语义描述信息用于对原始图像中的突出内容进行描述，显著图像提取装置根据获取得到视点信息和语义描述信息，即可确定原始图像的显著图像。无需对原始图像进行分割处理，更无须对分割后的各个图像块进行处理，进而提高了显著图像的提取效率。
在图2所示实施例的基础上，下面，通过图3所示的实施例，对确定预测模型的过程进行详细说明。
图3为本发明实施例提供的确定预测模型方法的流程示意图。请参见图3，该方法可以包括：
S301、获取多个样本RGB图像和各样本RGB图像对应的人工标注显著图像。
在实际应用过程中，可选的，可以先选择一万张RGB图像，并人工获取每一张RGB图像的人工标注显著图像。为了增加样本图像，还可以分别对该一万张RGB图像、及各RGB图像对应的人工标注显著图像进行水平翻转，以获取更多的GRB图像和更多的人工标注显著图像。
S302、确定多个按照预设顺序执行的处理函数，处理函数包括卷积函数、池化函数、归一化函数和激活函数。
在确定多个处理函数、及各处理函数执行的预设顺序之后，可以确定预测模型的框架，例如，预测模型框架可以如图4所示：
图4为本发明实施例提供的预测模型的框架示意图。请参见图4，包括模块401、模块402、模块403，在各个模块中分别包括多个处理函数。其中，模块401中的多个函数用于提取原始图像的视点信息，模块402中的多个函数用于提取原始图像的语义描述信息，模块403中多个函数用于对视点信息和语义描述信息进行处理，以得到显著图像。
在图4所示的预测模型中，CONV为卷积函数，CONV后边的编号(例如，1、1-1、2-1、A、B、C等)用于对卷积函数进行区分，+R是指在对图像进行卷积处理之后，通过激活函数对图像进行激活处理，NORM为归一化函数、POOL/2为池化函数，DECONV为去卷积函数，CONCAT为相关函数。
在图4所示的预测模型中，离散卷积运算的定义如公式二所示：
(F*K)(p)＝∑s+t＝pF(s)k(t) 公式二；
其中，F:Z2→R是离散函数，对于定义域Ωr:[-r,r]2∩Z2，k是定义在Ωr→R上的尺寸大小为(2r+1)2离散滤波函数，公式中*定义为离散卷积运算符。
可选的，预测模型的模块402中的CONV3-1至CONV8-1可以为扩张离散卷积运算，扩张离散卷积运算可以如公式三所示，
(F*l K)(p)＝∑s+lt＝pF(s)k(t) 公式三；
其中，*l为离散扩张卷积运算符号。
可选的，预测模型的模块401中的CONV9可以为512个卷积核大小为3x3的卷积层。
需要说明的是，图4只是以示例的形式示意预测模型中包括的函数，并非对预测模型中包括的函数的限定，本发明实施例中对预测模型中的函数不作具体限定。
S303、根据预设初始参数，对各处理函数进行初始化。
例如，针对图4所示的预测模型，可以通过VGGNet-16模型中各函数的值，对模块402中的各函数进行初始化。可以通过xavier方法对模块401中各函数进行初始化。
S304、按照预设顺序，依次通过多个处理函数处理各样本RGB图像，得到各样本RGB图像对应的预测显著图像。
在对各个函数进行初始化之后，得到初始预测模型。然后，将各个样本RGB图像输入到初始预测模型中，以使初始预测模型对样本RGB图像进行正向处理，具体的，可以按照预设顺序，依次通过多个处理函数处理各样本RGB图像，进而得到每一个样本RGB图像对应的预测显著图像。
S305、通过损失函数，计算样本RGB对象对应的预测显著图像与样本RGB图像对应的人工标注显著图像之间的差异值。
在确定得到样本RGB图像对应的预测显著图像之后，通过损失函数分别计算每一个预测显著图像与其对应的人工标注图像之间的差异值。
可选的，损失函数可以为交叉熵损失函数，该交叉损失函数可以如公式四所示：
其中，G是人工标注显著图；I和i分别表示显著图和显著图中每个像素点的位置索引；|I|表示显著图中像素点的数量。Gi用于指示人工标注显著图索引i处的像素点是否显著，Gi＝1表示人工标注显著图中索引i处的像素点是显著的，Gi＝0则表示不显著。W表示预测模型中所有处理函数的当前处理参数；P(Si|I,W)表示预测显著图中索引位置i处的像素点是否显著的概率，Si＝1表示预测显著图中索引位置i处的像素点是显著的，Si＝0则表示不显著。
S306、根据差异值，对损失函数求偏导数，得到损失函数的梯度值。
S307、按照预设顺序的逆向顺序，依次通过多个处理函数处理各梯度值，得到各处理函数的处理参数。
在S307中，将各个梯度值输入到初始预测模型中，以使初始预测模型对样本梯度值进行反向处理，在初始预测模型对梯度值进行反向处理的过程中，可以实现对各个处理函数的参数进行优化。
S308、根据各处理函数、及各处理函数的处理参数，确定预测模型。
在确定得到各个函数的处理参数之后，分别将各个函数的参数设置为确定得到的处理参数，进而得到预测模型。
下面，结合图5，通过具体示例，对上述方式实施例所示的技术方案进行详细说明。
图5为本发明实施例提供的原始图像和显著图像示意图。请参见图3，包括原始图像501和显著图像502。
假设预测模型如图4所示，当需要提取原始图像301的显著图像时，先通过预测模型提取原始图像301的特征显示区域，具体的，依次通过卷积函数CONV1、激活函数、标准化函数NORM、池化函数POOL/2、卷积函数CONV2、激活函数、池化函数POOL/2、卷积函数CONV3、激活函数、卷积函数CONV4、激活函数、卷积函数CONV5、激活函数、卷积函数CONV6、激活函数、卷积函数CONV7、激活函数、卷积函数CONV8、激活函数、卷积函数CONV9、激活函数对原始图像301进行处理，得到原始图像301的视点信息。
通过预测模型提取原始图像301的语义信息，具体的，依次通过卷积函数CONV1-1、激活函数、卷积函数CONV1-2、激活函数、池化函数POOL/2、卷积函数CONV2-1、激活函数、卷积函数CONV2-2、激活函数、池化函数POOL/2、卷积函数CONV3-1、激活函数、卷积函数CONV3-2、激活函数、卷积函数CONV3-3、激活函数、池化函数POOL/2、卷积函数CONV4-1、激活函数、卷积函数CONV4-2、激活函数、卷积函数CONV4-3、激活函数、卷积函数CONV5-1、激活函数、卷积函数CONV5-2、激活函数、卷积函数CONV5-3、激活函数、卷积函数CONV6、激活函数、卷积函数CONV7、激活函数、卷积函数CONV8-1对原始图像301进行处理，得到原始图像301的语义信息。
依次通过要素提取函数、检测模块1-1中的函数、检测模块1-2中的函数、要素提取函数、检测模块2中的函数、要素提取函数、卷积函数CONV10、激活函数、去卷积函数DEONV1函数对视点信息和语义信息进行处理，得到显著图像502。
在实际应用过程中，可以通过和MAE两个指标对显著图像进行评测，其中，Fβ可以如公式五所示：
其中，可以将本申请确定得到显著图和人工标注显著图的灰度值分别归一化到区间[0,255]之间，对于[0,255]区间内的任意一个灰度值，计算其对应的精确度(Precision)和召回率(Recall)，Recall和Precision分别表示在每一个可能的灰度值的精确度和召回率，将Fβ的最大值确定为其中，β2可以为0.3，该指标越高，说明通过本申请获取得到的显著图像确精确。
MEA可以如公式六所示：
具体的，可以将本申请确定得到的显著图和人工标注显著图的灰度值分别归一化到[0,1]之间，之后计算待评估的显著图和人工标注的显著图之间的绝对值，得到一张图像MAEim，之后计算一个数据集中所有图像的MAEim，得到最终之于显著性对象检测数据集的MAE。该算法评价指标的值越小则说明通过本申请获取得到的显著图像确精确。
图6为本发明实施例提供的显著图像提取装置的结构示意图一。请参见图1，该装置可以包括第一提取模块11、第二提取模块12和检测模块13，其中，
所述第一提取模块11用于，通过预测模型对所述原始图像进行第一卷积处理、第一池化处理和归一化处理，得到所述原始图像的视点信息，所述视点信息用于指示显著对象在所述原始图像中的区域；
所述第二提取模块12用于，通过所述预测模型对所述原始图像进行第二卷积处理和第二池化处理，得到所述原始图像的语义描述信息，所述语义描述信息用于描述所述原始图像中的内容；
所述检测模块13用于，通过所述预测模型对所述视点信息和所述语义描述信息进行检测处理，得到所述原始图像的显著图像。
本发明实施例提供的显著图像提取装置可以执行上述方法实施例所示的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。
在一种可能的实施方式中，所述检测模块13具体用于：
在所述语义信息中确定所述视点信息对应的目标语义信息；
根据所述目标语义信息，确定所述显著图像。
图7为本发明实施例提供的显著图像提取装置的结构示意图二。在图6所示实施例的基础上，请参见图7，所述装置还包括缩放处理模块14和滤波模块15，其中，
所述缩放处理模块14用于，在所述检测模块13通过所述预测模型对所述视点信息和所述语义描述信息进行检测处理，得到所述原始图像的显著图像之后，通过双边线性差值法，对所述显著图像进行缩放处理，以使所述显著图像的尺寸与所述原始图像的尺寸相同；
所述滤波模块15用于，通过所述巴特沃斯滤波器对所述显著图像进行滤波处理。
在另一种可能的实施方式中，所述装置还包括获取模块16、第一确定模块17、初始化模块18、修正模块19和第二确定模块110，其中，
所述获取模块16用于，在所述第一提取模块11通过预测模型对所述原始图像进行第一卷积处理、第一池化处理和归一化处理，得到原始图像的视点信息之前，获取多个样本RGB图像和各所述样本RGB图像对应的人工标注显著图像；
所述第一确定模块17用于，确定多个按照预设顺序执行的处理函数，所述处理函数包括卷积函数、池化函数、归一化函数和激活函数；
所述初始化模块18用于，根据预设初始参数，对各所述处理函数进行初始化；
所述修正模块19用于，通过所述样本RGB图像和各所述人工标注显著图像，修正各所述处理函数的预设初始参数，得到各所述处理函数的处理参数；
所述第二确定模块110用于，根据各所述处理函数、及各所述处理函数的处理参数，确定所述预测模型。
在另一种可能的实施方式中，所述修正模块19具体用于：
按照所述预设顺序，依次通过所述多个处理函数处理各所述样本RGB图像，得到各所述样本RGB图像对应的预测显著图像；
通过损失函数，计算所述样本RGB对象对应的预测显著图像与所述样本RGB图像对应的人工标注显著图像之间的差异值；
根据所述差异值，对所述损失函数求偏导数，得到所述损失函数的梯度值；
按照所述预设顺序的逆向顺序，依次通过所述多个处理函数处理各所述梯度值，得到各所述处理函数的处理参数。
本发明实施例提供的显著图像提取装置可以执行上述方法实施例所示的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例方案的范围。

Claims (10)

1.一种显著图像提取方法，其特征在于，包括：
通过预测模型对所述原始图像进行第一卷积处理、第一池化处理和归一化处理，得到所述原始图像的视点信息，所述视点信息用于指示显著对象在所述原始图像中的区域；
通过所述预测模型对所述原始图像进行第二卷积处理和第二池化处理，得到所述原始图像的语义描述信息，所述语义描述信息用于描述所述原始图像中的内容；
通过所述预测模型对所述视点信息和所述语义描述信息进行检测处理，得到所述原始图像的显著图像。
2.根据权利要求1所述的方法，其特征在于，通过所述预测模型对所述视点信息和所述语义描述信息进行检测处理，得到所述原始图像的显著图像，包括：
在所述语义信息中确定所述视点信息对应的目标语义信息；
根据所述目标语义信息，确定所述显著图像。
3.根据权利要求1所述的方法，其特征在于，通过所述预测模型对所述视点信息和所述语义描述信息进行检测处理，得到所述原始图像的显著图像之后，还包括：
通过双边线性差值法，对所述显著图像进行缩放处理，以使所述显著图像的尺寸与所述原始图像的尺寸相同；
通过所述巴特沃斯滤波器对所述显著图像进行滤波处理。
4.根据权利要求1-3任一项所述的方法，其特征在于，通过预测模型对所述原始图像进行第一卷积处理、第一池化处理和归一化处理，得到原始图像的视点信息之前，还包括：
获取多个样本RGB图像和各所述样本RGB图像对应的人工标注显著图像；
确定多个按照预设顺序执行的处理函数，所述处理函数包括卷积函数、池化函数、归一化函数和激活函数；
根据预设初始参数，对各所述处理函数进行初始化；
通过所述样本RGB图像和各所述人工标注显著图像，修正各所述处理函数的预设初始参数，得到各所述处理函数的处理参数；
根据各所述处理函数、及各所述处理函数的处理参数，确定所述预测模型。
5.根据权利要求4所述的方法，其特征在于，通过所述样本RGB图像和各所述人工标注显著图像，修正各所述处理函数的预设初始参数，得到各所述处理函数的处理参数，包括：
按照所述预设顺序，依次通过所述多个处理函数处理各所述样本RGB图像，得到各所述样本RGB图像对应的预测显著图像；
通过损失函数，计算所述样本RGB对象对应的预测显著图像与所述样本RGB图像对应的人工标注显著图像之间的差异值；
根据所述差异值，对所述损失函数求偏导数，得到所述损失函数的梯度值；
按照所述预设顺序的逆向顺序，依次通过所述多个处理函数处理各所述梯度值，得到各所述处理函数的处理参数。
6.一种显著图像提取装置，其特征在于，包括第一提取模块、第二提取模块和检测模块，其中，
所述第一提取模块用于，通过预测模型对所述原始图像进行第一卷积处理、第一池化处理和归一化处理，得到所述原始图像的视点信息，所述视点信息用于指示显著对象在所述原始图像中的区域；
所述第二提取模块用于，通过所述预测模型对所述原始图像进行第二卷积处理和第二池化处理，得到所述原始图像的语义描述信息，所述语义描述信息用于描述所述原始图像中的内容；
所述检测模块用于，通过所述预测模型对所述视点信息和所述语义描述信息进行检测处理，得到所述原始图像的显著图像。
7.根据权利要求6所述的装置，其特征在于，所述检测模块具体用于：
在所述语义信息中确定所述视点信息对应的目标语义信息；
根据所述目标语义信息，确定所述显著图像。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括缩放处理模块和滤波模块，其中，
所述缩放处理模块用于，在所述检测模块通过所述预测模型对所述视点信息和所述语义描述信息进行检测处理，得到所述原始图像的显著图像之后，通过双边线性差值法，对所述显著图像进行缩放处理，以使所述显著图像的尺寸与所述原始图像的尺寸相同；
所述滤波模块用于，通过所述巴特沃斯滤波器对所述显著图像进行滤波处理。
9.根据权利要求6-8任一项所述的装置，其特征在于，所述装置还包括获取模块、第一确定模块、初始化模块、修正模块和第二确定模块，其中，
所述获取模块用于，在所述第一提取模块通过预测模型对所述原始图像进行第一卷积处理、第一池化处理和归一化处理，得到原始图像的视点信息之前，获取多个样本RGB图像和各所述样本RGB图像对应的人工标注显著图像；
所述第一确定模块用于，确定多个按照预设顺序执行的处理函数，所述处理函数包括卷积函数、池化函数、归一化函数和激活函数；
所述初始化模块用于，根据预设初始参数，对各所述处理函数进行初始化；
所述修正模块用于，通过所述样本RGB图像和各所述人工标注显著图像，修正各所述处理函数的预设初始参数，得到各所述处理函数的处理参数；
所述第二确定模块用于，根据各所述处理函数、及各所述处理函数的处理参数，确定所述预测模型。
10.根据权利要求9所述的装置，其特征在于，所述修正模块具体用于：
按照所述预设顺序，依次通过所述多个处理函数处理各所述样本RGB图像，得到各所述样本RGB图像对应的预测显著图像；
通过损失函数，计算所述样本RGB对象对应的预测显著图像与所述样本RGB图像对应的人工标注显著图像之间的差异值；
根据所述差异值，对所述损失函数求偏导数，得到所述损失函数的梯度值；
按照所述预设顺序的逆向顺序，依次通过所述多个处理函数处理各所述梯度值，得到各所述处理函数的处理参数。
CN201710204188.5A 2017-03-30 2017-03-30 显著图像提取方法及装置 Active CN108664981B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710204188.5A CN108664981B (zh) 2017-03-30 2017-03-30 显著图像提取方法及装置
US15/683,715 US10402680B2 (en) 2017-03-30 2017-08-22 Methods and apparatus for image salient object detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710204188.5A CN108664981B (zh) 2017-03-30 2017-03-30 显著图像提取方法及装置

Publications (2)

Publication Number Publication Date
CN108664981A true CN108664981A (zh) 2018-10-16
CN108664981B CN108664981B (zh) 2021-10-26

Family

ID=63669639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710204188.5A Active CN108664981B (zh) 2017-03-30 2017-03-30 显著图像提取方法及装置

Country Status (2)

Country Link
US (1) US10402680B2 (zh)
CN (1) CN108664981B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614876A (zh) * 2018-11-16 2019-04-12 北京市商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
CN110751135A (zh) * 2019-12-24 2020-02-04 广东博智林机器人有限公司 图纸的校对方法、装置、电子设备及存储介质
CN113111889A (zh) * 2021-03-10 2021-07-13 国网浙江省电力有限公司宁波供电公司 用于边缘计算端的目标检测网络处理方法
CN116668702A (zh) * 2023-07-31 2023-08-29 国网浙江省电力有限公司 一种视频编码方法、装置、终端设备及存储介质

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10706348B2 (en) * 2016-07-13 2020-07-07 Google Llc Superpixel methods for convolutional neural networks
US10740446B2 (en) * 2017-08-24 2020-08-11 International Business Machines Corporation Methods and systems for remote sensing device control based on facial information
CN109740553B (zh) * 2019-01-09 2023-05-05 贵州宽凳智云科技有限公司 一种基于识别的图像语义分割数据筛选方法及系统
CN111435448B (zh) * 2019-01-11 2024-03-05 中国科学院半导体研究所 图像显著性物体检测方法、装置、设备及介质
CN109961444B (zh) * 2019-03-01 2022-12-20 腾讯科技（深圳）有限公司 图像处理方法、装置及电子设备
CN110084165B (zh) * 2019-04-19 2020-02-07 山东大学 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN111046734B (zh) * 2019-11-12 2022-10-18 重庆邮电大学 基于膨胀卷积的多模态融合视线估计方法
CN111191650B (zh) * 2019-12-30 2023-07-21 北京市新技术应用研究所 基于rgb-d图像视觉显著性的物品定位方法与系统
CN111369624B (zh) * 2020-02-28 2023-07-25 北京百度网讯科技有限公司 定位方法和装置
CN111723670B (zh) * 2020-05-21 2022-08-05 河海大学 一种基于改进FastMBD的遥感目标检测算法
CN111967476B (zh) * 2020-07-02 2024-04-26 北京大学深圳研究生院 光场图像显著性特征提取、信息融合及预测损失评估方法
CN112861733B (zh) * 2021-02-08 2022-09-02 电子科技大学 一种基于时空双编码的夜间交通视频显著性检测方法
CN112926667B (zh) * 2021-03-05 2022-08-30 中南民族大学 深度融合边缘与高层特征的显著性目标检测方法及装置
CN113192093B (zh) * 2021-05-10 2023-04-18 新疆大学 基于双流网络结构的快速显著性目标检测方法
CN113269253B (zh) * 2021-05-26 2023-08-22 大连民族大学 视频描述中视觉特征融合语义检测方法及系统
CN116912808B (zh) * 2023-09-14 2023-12-01 四川公路桥梁建设集团有限公司 架桥机控制方法、电子设备和计算机可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110158510A1 (en) * 2009-12-28 2011-06-30 Mario Aguilar Biologically-inspired metadata extraction (bime) of visual data using a multi-level universal scene descriptor (usd)
CN102521592A (zh) * 2011-11-30 2012-06-27 苏州大学 基于非清晰区域抑制的多特征融合显著区域提取方法
CN105046681A (zh) * 2015-05-14 2015-11-11 江南大学 一种基于SoC的图像显著性区域检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090175535A1 (en) * 2008-01-09 2009-07-09 Lockheed Martin Corporation Improved processing of multi-color images for detection and classification
US9147221B2 (en) * 2012-05-23 2015-09-29 Qualcomm Incorporated Image-driven view management for annotations
US9202258B2 (en) * 2012-06-20 2015-12-01 Disney Enterprises, Inc. Video retargeting using content-dependent scaling vectors
WO2016132145A1 (en) * 2015-02-19 2016-08-25 Magic Pony Technology Limited Online training of hierarchical algorithms
US9779492B1 (en) * 2016-03-15 2017-10-03 International Business Machines Corporation Retinal image quality assessment, error identification and automatic quality correction
US9830529B2 (en) * 2016-04-26 2017-11-28 Xerox Corporation End-to-end saliency mapping via probability distribution prediction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110158510A1 (en) * 2009-12-28 2011-06-30 Mario Aguilar Biologically-inspired metadata extraction (bime) of visual data using a multi-level universal scene descriptor (usd)
CN102521592A (zh) * 2011-11-30 2012-06-27 苏州大学 基于非清晰区域抑制的多特征融合显著区域提取方法
CN105046681A (zh) * 2015-05-14 2015-11-11 江南大学 一种基于SoC的图像显著性区域检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SRINIVAS S.S.KRUTHVENTI ET AL.: "Saliency unified：A deep architecture for simultaneous eye fixation prediction and salient object segmentation", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION（CVPR）》 *
董军: "《"心迹"的计算：隐性知识的人工智能途径》", 31 December 2016 *
龚元: "基于认知视觉主义模型的行人检测", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614876A (zh) * 2018-11-16 2019-04-12 北京市商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
CN110751135A (zh) * 2019-12-24 2020-02-04 广东博智林机器人有限公司 图纸的校对方法、装置、电子设备及存储介质
CN113111889A (zh) * 2021-03-10 2021-07-13 国网浙江省电力有限公司宁波供电公司 用于边缘计算端的目标检测网络处理方法
CN116668702A (zh) * 2023-07-31 2023-08-29 国网浙江省电力有限公司 一种视频编码方法、装置、终端设备及存储介质
CN116668702B (zh) * 2023-07-31 2023-10-24 国网浙江省电力有限公司 一种视频编码方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
US20180285683A1 (en) 2018-10-04
CN108664981B (zh) 2021-10-26
US10402680B2 (en) 2019-09-03

Similar Documents

Publication Publication Date Title
CN108664981A (zh) 显著图像提取方法及装置
EP3467721B1 (en) Method and device for generating feature maps by using feature upsampling networks
EP3333768A1 (en) Method and apparatus for detecting target
CN106845406A (zh) 基于多任务级联卷积神经网络的头肩检测方法及装置
WO2016054778A1 (en) Generic object detection in images
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
US20210081695A1 (en) Image processing method, apparatus, electronic device and computer readable storage medium
CN108734052A (zh) 文字检测方法、装置和系统
CN110009622B (zh) 一种显示面板外观缺陷检测网络及其缺陷检测方法
CN110879982A (zh) 一种人群计数系统及方法
CN112580458A (zh) 人脸表情识别方法、装置、设备及存储介质
CN110705566B (zh) 一种基于空间金字塔池的多模态融合显著性检测方法
CN110751232A (zh) 一种中文复杂场景文本检测与识别方法
CN114926747A (zh) 一种基于多特征聚合与交互的遥感图像定向目标检测方法
CN108363962B (zh) 一种基于多层次特征深度学习的人脸检测方法及系统
EP3588441A1 (en) Imagification of multivariate data sequences
CN115546076A (zh) 一种基于卷积网络的遥感图像薄云去除方法
CN114998756A (zh) 一种基于yolov5的遥感图像检测方法、装置及存储介质
CN111368602A (zh) 人脸图像模糊程度评价方法、装置、可读存储介质及设备
CN116843971A (zh) 一种基于自注意力机制的萱草病害目标检测方法及系统
CN111179212A (zh) 集成蒸馏策略和反卷积的微小目标检测片上实现方法
CN112487911A (zh) 智能监控环境下基于改进yolov3的实时行人检测方法及装置
CN116721288A (zh) 一种基于YOLOv5的安全帽检测方法及系统
CN113902903B (zh) 一种基于下采样的双注意力多尺度融合方法
CN114998172A (zh) 图像处理方法及相关系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant