CN112541507B - 多尺度卷积神经网络特征提取方法、系统、介质及应用 - Google Patents

多尺度卷积神经网络特征提取方法、系统、介质及应用 Download PDF

Info

Publication number
CN112541507B
CN112541507B CN202011495327.2A CN202011495327A CN112541507B CN 112541507 B CN112541507 B CN 112541507B CN 202011495327 A CN202011495327 A CN 202011495327A CN 112541507 B CN112541507 B CN 112541507B
Authority
CN
China
Prior art keywords
feature
pyramid
scale
gaussian
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011495327.2A
Other languages
English (en)
Other versions
CN112541507A (zh
Inventor
黄磊
于男男
魏志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202011495327.2A priority Critical patent/CN112541507B/zh
Publication of CN112541507A publication Critical patent/CN112541507A/zh
Application granted granted Critical
Publication of CN112541507B publication Critical patent/CN112541507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/34Smoothing or thinning of the pattern; Morphological operations; Skeletonisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理、计算机视觉和机器学习技术领域,公开了一种多尺度卷积神经网络特征提取方法、系统、介质及应用,改变高斯平滑因子构建多层的高斯特征金字塔(每层特征从一组特征图中获取,其中,每组内的首层特征由卷积操作获得),高斯特征金字塔的层组数对应设计的网络中的尺度个数;在高斯特征金字塔的基础上,将每组组内相邻两层的特征图相减,构建特征差分金字塔;通过特征差分金字塔,获取三组尺度的差分特征图,每组差分特征图可构建一个尺度特征图,可构建多尺度特征差分金字塔。与现有技术相比,本发明的方法受尺度不变特征方法启发,在特征差分金字塔上构建多尺度特征金字塔,提高卷积神经网络特征的鲁棒性和有效性。

Description

多尺度卷积神经网络特征提取方法、系统、介质及应用
技术领域
本发明属于图像处理、计算机视觉和机器学习技术领域,尤其涉及一种多尺度卷积神经网络特征提取方法、系统、介质及应用。
背景技术
目前:随着多媒体和网络技术的迅猛发展,海量的图像、视频等多媒体数据快速涌现。近年来,深度学习的兴起和发展为多媒体内容理解提供了新的方法和模型。其中,基于深度学习的卷积神经网络提取特征被广泛应用于图像细粒度分类与检索、视频分类与目标检测、跨媒体检索等多媒体内容理解的研究方向。现有的基于卷积神经网络提取的特征的加工方式主要包括三种:一是直接使用卷积后的特征图作为卷积神经网络特征;二是对卷积后的特征图进行拼接操作作为新的特征;三是对卷积后的特征图进行对应位置相加操作作为卷积神经网络新的特征。
在上述提到的分类或检索任务中,其最重要的判断依据就是提取到的图像特征,这是完成分类或检索等任务的基础。然而不同的提取特征的操作方式,不仅影响特征提取时的计算量,也影响所提取到的特征的质量,即我们常说的特征是否有效。针对传统的图像特征提取的三种加工方式,当输入图像的尺度发生改变时,影响提取有效的特征。与通过大量卷积操作构建的多尺度特征金字塔方法相比,本文提出的发明方法在不增加额外计算量的情况下,拟提出一种新型的多尺度卷积神经网络特征提取方法,本发明的方法受尺度不变特征方法的启发,在特征差分金字塔上构建多尺度特征金字塔,提高卷积神经网络特征的鲁棒性和有效性。
发明内容
针对现有技术存在的问题,本发明提供了一种多尺度卷积神经网络特征提取方法、系统、介质及应用。
本发明是这样实现的,一种多尺度卷积神经网络特征提取方法,所述多尺度卷积神经网络特征提取方法包括:
要构建的高斯特征金字塔层组数对应设计的网络中的尺度个数(这由具体的项目/任务而定,通常情况下为三个尺度,本发明专利以三个尺度为例),多尺度的高斯金字塔(3层)每层是来源于一组特征图,通过改变高斯平滑因子构建组内多层的特征图。在这组特征图中,第一层的特征是通过对图像进行卷积操作获得的;
在高斯特征金字塔的基础上,将每组组内相邻两层的特征图相减,构建差分特征金字塔;
通过特征差分金字塔,获取三组尺度的差分特征图,每组差分特征图可构建一个尺度的特征图,构建多尺度特征差分金字塔。
进一步,所述高斯特征金字塔的构建包括:每个尺度下对应一组高斯模糊图像,通过对该尺度下的特征图进行一系列高斯平滑操作得到的;输入一张图片,对图像进行一次卷积操作,得到一张特征图conv1_1,对卷积后的特征图conv1_1进行一系列高斯平滑获得一组特征图,尺度下该组有五层特征图;
高斯平滑的公式如下:
Figure BDA0002841983860000031
其中,σ为平滑因子,由启发式算法取固定值为1.6,组内第二层特征图需要一个新的平滑因子,新平滑因子σ=k*σ,其中k为比例系数;随着组内层数的增加,平滑因子依次变为σ,kσ,k2σ,k3σ,k4σ;第一层特征图conv1_1经过卷积和下采样操作获得第二张卷积特征图conv2_1,并将特征图conv2_1作为高斯特征金字塔第二个尺度下的第一层,构建第二组的高斯特征图,在构建第三组的高斯特征图,共构建三组尺度不同的高斯特征金字塔。
进一步,所述特征差分金字塔的构建;第一层构建方式:由获得了多尺度的高斯特征金字塔,每个尺度下对应一组特征图,每组下含有5层特征图。多尺度特征差分金字塔是在高斯特征金字塔的基础上构建的;
针对三个不同尺度下的三组特征图,每个尺度下对应一组,共三组,将每组内相邻层特征图相减,构成一组含有4层的差分特征图。
进一步,所述多尺度特征差分金字塔的构建包括:在每组差分特征图中,设置一个大小为3*3的滤波器在每层特征图上自左向右、自上向下的滑动,滤波器的中心像素点与周围八个特征点进行大小比较,保留极大值;再与相邻上下层内的特征点比较,保留组内最大特征点,所得特征点即为该尺寸特征图下该位置的特征值,从三组差分特征图中获得三张尺寸不同的特征图,构成差分特征图下的多尺度特征金字塔。
进一步,所述多尺度卷积神经网络特征提取包括:
(1)通过三次卷积操作获取三张不同尺寸的特征图,在每张尺寸的特征图上利用一系列高斯平滑操作得到一组特征图,共构建特征高斯金字塔(含三组特征);
(2)利用图像特征高斯金字塔构建差分高斯特征金字塔;
(3)在高斯特征金字塔中,每组内相邻两层特征图相减获得该组的差分特征图;
(4)利用差分高斯特征金字塔的不同尺度下的特征图构建多尺度差分特征金字塔,在每组每层特征图像素点与3×3邻域的像素点进行大小比较,再与相邻上下层进行像素值的比较,最终选择极大值作为该特征图的该位置上的特征值;
(5)在每个尺度下,从特征差分金字塔的特征图上选出极大值构成该尺度下的特征图,从而构建多尺度卷积神经网络特征金字塔。
本发明的另一目的在于提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
改变高斯平滑因子构建多层的高斯特征金字塔,高斯特征金字塔的层数对应设计的网络中的尺度个数;最终得到的高斯金字塔每层是来源于一组特征图;在这组特征图中,第一层的特征通过对图像进行卷积操作获得,组内其他层特征通过改变高斯平滑因子来构建;
在高斯特征金字塔的基础上,将每组组内相邻两层的特征图相减,构建差分特征金字塔;
通过特征差分金字塔,获取三组尺度的差分特征图,每组差分特征图可构建一个尺度的特征图,构建多尺度特征差分金字塔。
本发明的另一目的在于提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:
改变高斯平滑因子构建多层的高斯特征金字塔,高斯特征金字塔的层数对应设计的网络中的尺度个数;最终得到的高斯金字塔每层是来源于一组特征图;在这组特征图中,第一层的特征通过对图像进行卷积操作获得,组内其他层特征通过改变高斯平滑因子来构建;
在高斯特征金字塔的基础上,将每组组内相邻两层的特征图相减,构建差分特征金字塔;
通过特征差分金字塔,获取三组尺度的差分特征图,每组差分特征图可构建一个尺度的特征图,构建多尺度特征差分金字塔。
本发明的另一目的在于提供一种图像处理信息数据处理终端,所述图像处理信息数据处理终端信息数据处理终端用于实现所述的多尺度卷积神经网络特征提取方法。
本发明的另一目的在于提供一种计算机视觉信息数据处理终端,所述信息数据处理终端用于实现所述的多尺度卷积神经网络特征提取方法。
本发明的另一目的在于提供一种实施项所述多尺度卷积神经网络特征提取方法的多尺度卷积神经网络特征提取系统,所述多尺度卷积神经网络特征提取系统包括:
高斯特征金字塔构建模块,用于改变高斯平滑因子来构建多层的高斯特征金字塔,高斯特征金字塔的层数对应设计的网络中的尺度个数;
特征差分金字塔构建模块,用于在高斯特征金字塔的基础上,将每组组内相邻两层的特征图相减,构建差分特征金字塔;
多尺度特征差分金字塔构建模块,用于通过特征差分金字塔,获取三组尺度的差分特征图,每组差分特征图可构建一个尺度的特征图,构建多尺度特征差分金字塔。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:本发明的方法受尺度不变特征方法的启发,在特征差分金字塔上构建多尺度特征金字塔,提高卷积神经网络特征的鲁棒性和有效性。本发明融合了原图经过不同次卷积操作得到的特征图,在多尺度特征图的基础上,通过一系列高斯平滑操作获取组内其他层的特征图。高斯平滑操作是为了去除噪声;通过改变高斯平滑因子构建多层的高斯特征金字塔,高斯特征金字塔的层数对应着本发明设计的网络中的尺度个数,保证了尺度连续性,也使得最终得到的多尺度特征图更具鲁棒性。
本发明可应用于多媒体内容理解的多个研究方向,例如图像细粒度分类与检索等任务中的特征提取;还可以在视频分类与目标检索、跨媒体检索等研究方向上,实现有效的特征提取。本发明的方法受尺度不变特征方法(SIFT)启发,为多媒体内容理解的研究方向提供一种新的有效特征。与现有技术相比,本发明的方法在特征差分金字塔上构建多尺度特征金字塔,可提高卷积神经网络特征的鲁棒性和有效性。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的多尺度卷积神经网络特征提取方法流程图。
图2是本发明实施例提供的多尺度卷积神经网络特征提取系统的结构示意图;
图2中:1、高斯特征金字塔构建模块;2、特征差分金字塔构建模块;3、多尺度特征差分金字塔构建模块。
图3是本发明实施例提供的原始输入图片及高斯特征金字塔示意图。
图4是本发明实施例提供的特征差分金字塔(第一层)示意图。
图5是本发明实施例提供的多尺度差特征金字塔示意图。
图6是本发明实施例提供的多尺度卷积神经网络特征金字塔示意图。
图7是本发明实施例提供的多尺度差分特征金字塔的构建示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种多尺度卷积神经网络特征提取方法、系统、介质及应用,下面结合附图对本发明作详细的描述。
如图1所示,本发明提供的多尺度卷积神经网络特征提取方法包括以下步骤:
S101:改变高斯平滑因子构建多层的高斯特征金字塔,高斯特征金字塔的层数对应设计的网络中的尺度个数;最终得到的高斯金字塔每层是来源于一组特征图;在这组特征图中,第一层的特征通过对图像进行卷积操作获得,组内其他层特征通过改变高斯平滑因子来构建;
S102:在高斯特征金字塔的基础上,将每组组内相邻两层的特征图相减,构建差分特征金字塔;
S103:通过特征差分金字塔,获取三组尺度的差分特征图,每组差分特征图可构建一个尺度的特征图,构建多尺度特征差分金字塔。
本发明提供的多尺度卷积神经网络特征提取方法业内的普通技术人员还可以采用其他的步骤实施,图1的本发明提供的多尺度卷积神经网络特征提取方法仅仅是一个具体实施例而已。
如图2所示,本发明提供的多尺度卷积神经网络特征提取系统包括:
本发明提供的多尺度卷积神经网络特征提取方法包括以下步骤:
高斯特征金字塔构建模块1,用于改变高斯平滑因子构建多层的高斯特征金字塔;
特征差分金字塔构建模块2,用于在高斯特征金字塔的基础上,将每组组内相邻两层的特征图相减,构建差分特征金字塔;
多尺度特征差分金字塔构建模块3,用于通过特征差分金字塔,获取三组尺度的差分特征图,每组差分特征图可构建一个尺度的特征图,构建多尺度特征差分金字塔。
下面结合附图对本发明的技术方案作详细的描述。
本发明提供的多尺度卷积神经网络特征提取方法包括以下步骤:
步骤一:高斯特征金字塔的构建:
在视频分类与目标检测、跨媒体检索等研究方向上,为了得到更加鲁棒性的特征,本发明要构建一个多尺度特征金字塔,如图7所示,它是由一种新型的多尺度卷积神经网络特征提取方法得到。首先,本发明要构建一个高斯特征金字塔。该阶段构建的高斯特征金字塔由三组特征图组成,每组含有五层特征图。输入一张原始图像,大小为256×256,通过卷积操作获得高斯特征金字塔的第一组第一层特征图。然后通过一系列高斯平滑操作获取第一组的其他层特征图。高斯平滑操作是为了去除噪声。为了保证尺度连续性,本发明通过改变高斯平滑因子来构建多层的高斯特征金字塔,高斯特征金字塔的层数对应着本发明设计的网络中的尺度个数。例如,本发明构建三层高斯特征金字塔,它则包含了三个不同的尺度,其中每个尺度下对应着一组特征图。每一组的特征图像大小一样,唯一不同的是作用在层与层之间的高斯平滑因子。而相邻组的特征图像大小不同,例如第一组和第二组,这是由于第二组的特征是在第一组第一层特征的基础上,使用卷积和下采样操作获得高斯特征金字塔的第二组第一层的特征图。按照高斯特征金字塔第一组的方式,通过一系列的高斯平滑操作构建高斯特征金字塔的第二组特征。本发明构建N层高斯特征金字塔,则对应N个尺度(N组特征图)。在真实情况中,本发明根据图像尺寸变换情况决定获取N组特征图,从而确定N个尺度,最终决定构建N层高斯金字塔。根据启发式算法,本发明构建了三层高斯特征金字塔,输入图片大小为256×256。而一个尺度下的每组特征图中包含多少层特征图由高斯平滑因子决定。本发明设置了5种平滑因子,依次为σ,kσ,k2σ,k3σ,k4σ。
步骤二:特征差分金字塔的构建:
如图4所示,以第一组特征为例,在高斯特征金字塔的基础上,将每组组内相邻两层的特征图相减,构建差分特征金字塔。三组尺度的高斯特征金字塔获得三组尺度差分特征金字塔,每组含有四层特征图,每组特征图的大小与高斯特征金字塔相同。
步骤三:多尺度特征差分金字塔的构建:
通过特征差分金字塔,本发明获取三组尺度的差分特征图。每组差分特征图可构建一个尺度的特征图。不同尺度的特征图获取过程如下:三组组内每层特征图每个像素点与周围邻域3×3像素点、和组内相邻上下层的3×3×2个像素点,共26个像素点比较值大小,选择最大值作为该尺度下特征图相应位置的特征值,按照此方式获得该尺度下整张特征图。如图5所示,高斯特征金字塔的三组特征图最终得到了三个不同尺度的特征图,构建成一个多尺度差分特征金字塔。
多尺度特征差分金字塔在构建的过程中通过高斯平滑操作去除来自每个阶段的噪声,仍能获取特征图中的关键特征。除此之外,本发明融合了原图经过不同次卷积操作得到的特征图,这使得最终得到的多尺度特征图更具鲁棒性。
下面结合附图对本发明的技术方案作进一步的描述。
总体如图6所示:本发明的多尺度特征金字塔由三层不同尺度的特征图构成,每层特征图来自特征差分金字塔的一组特征图。其中,特征差分金字塔由高斯特征金字塔获得。高斯特征金字塔在原始输入图片的基础上,经过卷积操作和高斯平滑操作计算而来。所以,新型多尺度卷积神经网络特征提取方法可以分为四个阶段。
步骤一:高斯特征金字塔的构建,过程如图3所示:
金字塔是图像多尺度的表示形式,本发明拟构建一个多尺度(含有三个不同尺度)的高斯特征金字塔。每个尺度下对应一组高斯模糊图像,是通过对该尺度下的特征图进行一系列高斯平滑操作得到的。输入一张图片,对图像进行一次卷积操作,得到一张特征图conv1_1,对卷积后的特征图conv1_1进行一系列高斯平滑获得一组特征图,该尺度下该组有五层特征图。
高斯平滑的公式如下:
Figure BDA0002841983860000101
其中,σ为平滑因子,由启发式算法可取其固定值为1.6。为了使每组每层的特征保持差异,组内第二层特征图需要一个新的平滑因子,新平滑因子σ=k*σ,其中k为比例系数。随着组内层数的增加,平滑因子依次变为σ,kσ,k2σ,k3σ,k4σ。这是因为在保持图像原始分辨率不变的情况下,提取粗尺度特征需要高斯函数的方差较大。组内每层特征图之间尺寸相同,只是参与的高斯平滑因子呈倍数递增。该组第一层特征图conv1_1(图3中第一组第一层特征图)经过卷积和下采样操作获得第二张卷积特征图conv2_1(图3中第二组第一层特征图),并将特征图conv2_1作为高斯特征金字塔第二个尺度下(即第二组)的第一层,然后根据上述步骤1中的方法构建第二组的高斯特征图。依此类推,共构建三组尺度不同的高斯特征金字塔,如图1所示。
步骤二:特征差分金字塔的构建,第一层构建方式如图4所示:
由步骤一获得了多尺度(包含三个不同尺度)的高斯特征金字塔,每个尺度下对应一组特征图,每组下含有5层特征图。多尺度特征差分金字塔是在步骤一的高斯特征金字塔的基础上构建的。
高斯特征金字塔包含三个不同尺度,所以在高斯特征金字塔基础上得到的特征差分金字塔也包含三个不同的尺度。具体的,针对三个不同尺度下的三组特征图(每个尺度下对应一组,共三组),将每组内相邻层特征图相减,构成一组含有4层的差分特征图,如图4所示。
步骤三:多尺度特征差分金字塔的构建,如图5所示:
在每组差分特征图中,设置一个大小为3*3的滤波器在每层特征图上自左向右、自上向下的滑动,该滤波器的中心像素点与周围八个特征点进行大小比较,保留极大值,然后再与相邻上下层内的特征点比较,保留组内最大特征点,所得特征点即为该尺寸特征图下该位置的特征值。最终从三组差分特征图中获得三张尺寸不同的特征图,构成了差分特征图下的多尺度特征金字塔,如图5所示。
步骤四:多尺度卷积神经网络特征提取,如图6所示:
由多尺度特征差分金字塔得到的多尺度特征金字塔所查找得到的特征都是一些十分突出且稳定的特征。除此之外,本发明融合了原图经过不同次卷积操作得到的特征图conv1_1,conv2_1,conv3_1,这使得最终得到的多尺度卷积神经网络特征更有效、具有更好的鲁棒性。
实施上,首先,通过三次卷积操作获取三张不同尺寸的特征图,每张尺寸的特征图上利用一系列高斯平滑操作构建特征高斯金字塔;其次,利用图像特征高斯金字塔构建差分高斯特征金字塔;第三步,在差分特征金字塔中,每组每层特征图像素点与3×3邻域像素点进行大小比较,然后再与相邻上下层进行像素值的比较,最终极大值作为该特征图的该位置上的特征值;随后,利用差分高斯特征金字塔的不同尺度下的特征图构建多尺度差分特征金字塔,如图7所示;最后,在多尺度差分特征金字塔的特征图上分别融合三次卷积操作后的不同尺度的特征图,构成多尺度卷积神经网络特征金字塔。
应当注意,本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现;软件部分可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用由各种类型的处理器执行的软件实现,也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种多尺度卷积神经网络特征提取方法,其特征在于,所述多尺度卷积神经网络特征提取方法包括:
改变高斯平滑因子构建多层的高斯特征金字塔,高斯特征金字塔的层数对应设计的网络中的尺度个数;最终得到的高斯金字塔每层是来源于一组特征图;在这组特征图中,第一层的特征通过对图像进行卷积操作获得,组内其他层特征通过改变高斯平滑因子来构建;
在高斯特征金字塔的基础上,将每组组内相邻两层的特征图相减,构建差分特征金字塔;
通过特征差分金字塔,获取三组尺度的差分特征图,每组差分特征图可构建一个尺度的特征图,构建多尺度特征差分金字塔;
所述高斯特征金字塔的构建包括:每个尺度下对应一组高斯模糊图像,通过对该尺度下的特征图进行一系列高斯平滑操作得到的;输入一张图片,对图像进行一次卷积操作,得到一张特征图conv1_1,对卷积后的特征图conv1_1进行一系列高斯平滑获得一组特征图,尺度下该组有五层特征图;
高斯平滑的公式如下:
其中,σ为平滑因子,由启发式算法取固定值为1.6,组内第二层特征图需要一个新的平滑因子,新平滑因子σ=k*σ,其中k为比例系数;随着组内层数的增加,平滑因子依次变为σ,kσ,k2σ,k3σ,k4σ;第一层特征图conv1_1经过卷积和下采样操作获得第二张卷积特征图conv2_1,并将特征图conv2_1作为高斯特征金字塔第二个尺度下的第一层,构建第二组的高斯特征图,在构建第三组的高斯特征图,共构建三组尺度不同的高斯特征金字塔。
2.如权利要求1所述的多尺度卷积神经网络特征提取方法,其特征在于,所述特征差分金字塔的构建;第一层构建方式:由获得了多尺度的高斯特征金字塔,每个尺度下对应一组特征图,每组下含有5层特征图,多尺度特征差分金字塔是在高斯特征金字塔的基础上构建的;
针对三个不同尺度下的三组特征图,每个尺度下对应一组,共三组,将每组内相邻层特征图相减,构成一组含有4层的差分特征图。
3.如权利要求1所述的多尺度卷积神经网络特征提取方法,其特征在于,所述多尺度特征差分金字塔的构建包括:在每组差分特征图中,设置一个大小为3*3的滤波器在每层特征图上自左向右、自上向下的滑动,滤波器的中心像素点与周围八个特征点进行大小比较,保留极大值;再与相邻上下层内的特征点比较,保留组内最大特征点,所得特征点即为该尺寸特征图下该位置的特征值,从三组差分特征图中获得三张尺寸不同的特征图,构成差分特征图下的多尺度特征金字塔。
4.如权利要求1所述的多尺度卷积神经网络特征提取方法,其特征在于,所述多尺度卷积神经网络特征提取包括:
(1)通过三次卷积操作获取三张不同尺寸的特征图,在每张尺寸的特征图上利用一系列高斯平滑操作得到一组特征图,共构建特征高斯金字塔(含三组特征);
(2)利用图像特征高斯金字塔构建差分高斯特征金字塔;
(3)在高斯特征金字塔中,每组内相邻两层特征图相减获得该组的差分特征图;
(4)利用差分高斯特征金字塔的不同尺度下的特征图构建多尺度差分特征金字塔,在每组每层特征图像素点与3×3邻域的像素点进行大小比较,再与相邻上下层进行像素值的比较,最终选择极大值作为该特征图的该位置上的特征值;
(5)在每个尺度下,从特征差分金字塔的特征图上选出极大值构成该尺度下的特征图,从而构建多尺度卷积神经网络特征金字塔。
5.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1~4任意一项所述的多尺度卷积神经网络特征提取方法。
6.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行权利要求1~4任意一项所述的多尺度卷积神经网络特征提取方法。
7.一种图像处理信息数据处理终端,其特征在于,所述图像处理信息数据处理终端信息数据处理终端用于实现权利要求1~4任意一项所述的多尺度卷积神经网络特征提取方法。
8.一种实施权利要求1~4任意一项所述多尺度卷积神经网络特征提取方法的多尺度卷积神经网络特征提取系统,其特征在于,所述多尺度卷积神经网络特征提取系统包括:
高斯特征金字塔构建模块,用于改变高斯平滑因子来构建多层的高斯特征金字塔,高斯特征金字塔的层数对应设计的网络中的尺度个数;
特征差分金字塔构建模块,用于在高斯特征金字塔的基础上,将每组组内相邻两层的特征图相减,构建差分特征金字塔;
多尺度特征差分金字塔构建模块,用于通过特征差分金字塔,获取三组尺度的差分特征图,每组差分特征图可构建一个尺度的特征图,构建多尺度特征差分金字塔。
CN202011495327.2A 2020-12-17 2020-12-17 多尺度卷积神经网络特征提取方法、系统、介质及应用 Active CN112541507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011495327.2A CN112541507B (zh) 2020-12-17 2020-12-17 多尺度卷积神经网络特征提取方法、系统、介质及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011495327.2A CN112541507B (zh) 2020-12-17 2020-12-17 多尺度卷积神经网络特征提取方法、系统、介质及应用

Publications (2)

Publication Number Publication Date
CN112541507A CN112541507A (zh) 2021-03-23
CN112541507B true CN112541507B (zh) 2023-04-18

Family

ID=75018659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011495327.2A Active CN112541507B (zh) 2020-12-17 2020-12-17 多尺度卷积神经网络特征提取方法、系统、介质及应用

Country Status (1)

Country Link
CN (1) CN112541507B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537070B (zh) * 2021-07-19 2022-11-22 中国第一汽车股份有限公司 一种检测方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709499A (zh) * 2017-03-02 2017-05-24 西北工业大学 基于Canny算子和Hillbert‑Huang变换的SIFT图像特征点提取方法
CN107301620A (zh) * 2017-06-02 2017-10-27 西安电子科技大学 基于相机阵列的全景成像方法
CN108764133A (zh) * 2018-05-25 2018-11-06 北京旷视科技有限公司 图像识别方法、装置及系统
CN108960251A (zh) * 2018-05-22 2018-12-07 东南大学 一种图像匹配描述子生成尺度空间的硬件电路实现方法
CN110298817A (zh) * 2019-05-20 2019-10-01 平安科技(深圳)有限公司 基于图像处理的目标物统计方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709499A (zh) * 2017-03-02 2017-05-24 西北工业大学 基于Canny算子和Hillbert‑Huang变换的SIFT图像特征点提取方法
CN107301620A (zh) * 2017-06-02 2017-10-27 西安电子科技大学 基于相机阵列的全景成像方法
CN108960251A (zh) * 2018-05-22 2018-12-07 东南大学 一种图像匹配描述子生成尺度空间的硬件电路实现方法
CN108764133A (zh) * 2018-05-25 2018-11-06 北京旷视科技有限公司 图像识别方法、装置及系统
CN110298817A (zh) * 2019-05-20 2019-10-01 平安科技(深圳)有限公司 基于图像处理的目标物统计方法、装置、设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Image Feature Point Matching Based on Improved SIFT Algorithm;Bing Zhong 等;《IEEE》;20200206;第489-493页 *
Variational method for super-resolution optical flow;Yoshihiko Mochizuki 等;《ELSEVIER》;20101229;全文 *
基于偏振信息的立体视觉非接触式测量技术研究;宋瑞超;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20190115(第12期);第39-52页 *
宋瑞超.基于偏振信息的立体视觉非接触式测量技术研究.《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》.2019,(第12期), *

Also Published As

Publication number Publication date
CN112541507A (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
JP6902611B2 (ja) 物体検出方法、ニューラルネットワークの訓練方法、装置および電子機器
CN110852349A (zh) 一种图像处理方法、检测方法、相关设备及存储介质
CN110348383B (zh) 一种基于卷积神经网络回归的道路中心线和双线提取方法
CN111444807B (zh) 目标检测方法、装置、电子设备和计算机可读介质
CN111754531A (zh) 图像实例分割方法和装置
CN114266894A (zh) 一种图像分割方法、装置、电子设备及存储介质
CN112541507B (zh) 多尺度卷积神经网络特征提取方法、系统、介质及应用
CN111476750A (zh) 对成像模组进行污点检测的方法、装置、系统及存储介质
CN111192279B (zh) 基于边缘检测的物体分割方法、电子终端及存储介质
CN111104941B (zh) 图像方向纠正方法、装置及电子设备
CN112419372A (zh) 图像处理方法、装置、电子设备及存储介质
CN113744142B (zh) 图像修复方法、电子设备及存储介质
CN115457017A (zh) 一种导线缺陷检测方法、装置、计算机设备及存储介质
GB2545649B (en) Artefact detection
CN113378847B (zh) 字符分割方法、系统、计算机设备和存储介质
CN114332890A (zh) 表格结构提取方法、装置、电子设备及存储介质
CN116206229A (zh) 目标检测方法和装置
CN114596210A (zh) 噪声估计方法、装置、终端设备及计算机可读存储介质
CN113011441B (zh) 一种目标检测方法、系统、装置及存储介质
CN110660011B (zh) 图像处理方法和装置、电子设备及存储介质
CN112528900B (zh) 基于极致下采样的图像显著性物体检测方法及系统
CN116681625B (zh) 基于多尺度对比学习的无监督图像去雨方法、装置及终端
CN112435185B (zh) 模糊花粉图片处理方法、装置及电子设备
CN117237666A (zh) 多尺度边缘检测方法、装置、设备和可读存储介质
CN118229625A (zh) 基于对图输入的pcb裸板缺陷检测方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant