CN112651351B - 一种数据处理的方法和装置 - Google Patents

一种数据处理的方法和装置 Download PDF

Info

Publication number
CN112651351B
CN112651351B CN202011603084.XA CN202011603084A CN112651351B CN 112651351 B CN112651351 B CN 112651351B CN 202011603084 A CN202011603084 A CN 202011603084A CN 112651351 B CN112651351 B CN 112651351B
Authority
CN
China
Prior art keywords
feature map
map data
data
feature
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011603084.XA
Other languages
English (en)
Other versions
CN112651351A (zh
Inventor
李大铭
邓练兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Dahengqin Technology Development Co Ltd
Original Assignee
Zhuhai Dahengqin Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Dahengqin Technology Development Co Ltd filed Critical Zhuhai Dahengqin Technology Development Co Ltd
Priority to CN202011603084.XA priority Critical patent/CN112651351B/zh
Publication of CN112651351A publication Critical patent/CN112651351A/zh
Application granted granted Critical
Publication of CN112651351B publication Critical patent/CN112651351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种数据处理的方法和装置,所述方法包括:获取遥感影像数据,并确定针对遥感影像数据的第一特征图数据;根据第一特征图数据,生成特征金字塔网络;其中,特征金字塔网络基于针对第一特征图数据的第二特征图数据进行构建;根据第一特征图数据,确定第三特征图数据;其中,第三特征图数据包括针对遥感影像数据的尺度关系信息;根据尺度关系信息,对第二特征图数据进行卷积处理,得到第四特征图数据;从第四特征图数据中,确定针对遥感影像数据的目标检测对象。通过本发明实施例,实现了基于多尺度特征融合的遥感影像目标检测,达到了速度快、召回率高的效果,且能够有效降低特征图拼接后的混叠效应,提高了检测精度。

Description

一种数据处理的方法和装置
技术领域
本发明涉及数据处理领域,特别是涉及一种数据处理的方法和装置。
背景技术
目前,遥感影像目标检测是遥感影像处理的基本任务之一,也是计算机视觉中具有挑战的热点任务之一,由于遥感影像具有不同于自然图像的特点:(1)采用俯视或斜视视角进行拍摄,影像上目标具有任意朝向;(2)图幅巨大,因此检测速度通常较慢;(3)背景复杂;(4)同一影像中不同目标之间具有一定的尺度关系,比如大车与小车、汽车与火车、飞机与汽车等,两个目标之间具有在一定范围内的尺度比例关系,基于此,遥感影像目标检测不同于自然图像中目标检测,其目标检测任务对算法提出了更高的要求。
遥感影像目标检测可以被广泛应用于无人机跟踪、卫星数据压缩传输、区域监控、军事侦察等领域,针对现有技术中遥感影像目标检测速度慢、精度低,且存在混叠效用的情况,如何处理遥感影像目标检测中上述影响因素,是目前急需解决的问题。
发明内容
鉴于上述问题,提出了以便提供克服上述问题或者至少部分地解决上述问题的一种数据处理的方法和装置,包括:
一种数据处理的方法,所述方法包括:
获取遥感影像数据,并确定针对所述遥感影像数据的第一特征图数据;
根据所述第一特征图数据,生成特征金字塔网络;其中,所述特征金字塔网络基于针对所述第一特征图数据的第二特征图数据进行构建;
根据所述第一特征图数据,确定第三特征图数据;其中,所述第三特征图数据包括针对所述遥感影像数据的尺度关系信息;
根据所述尺度关系信息,对所述第二特征图数据进行卷积处理,得到第四特征图数据;
从所述第四特征图数据中,确定针对所述遥感影像数据的目标检测对象。
可选地,所述第一特征图数据包括多个第一子特征图数据,所述根据所述第一特征图数据,确定第三特征图数据,包括:
对所述多个第一子特征图数据进行统一采样处理,得到拼接特征图数据;
根据所述拼接特征图数据和预设的卷积模型,确定第三特征图数据。
可选地,所述根据所述拼接特征图数据和预设的卷积模型,确定第三特征图数据,包括:
根据所述拼接特征图数据,生成多个池化特征图数据;
采用预设的卷积模型,对所述多个池化特征图数据进行模型处理,得到所述第三特征图数据。
可选地,所述第二特征图数据包括多个第二子特征图数据,所述根据所述第一特征图数据,生成特征金字塔网络,包括:
根据所述多个第一子特征图数据,确定所述第二特征图数据中多个第二子特征图数据;
采用所述多个第二子特征图数据,构建所述特征金字塔网络。
可选地,所述根据所述尺度关系信息,对所述第二特征图数据进行卷积处理,得到第四特征图数据,包括:
按照所述尺度关系信息,对预设的卷积层集合进行参数赋值处理;
将所述第二特征图数据输入参数赋值后的卷积层集合;
接收所述卷积层集合输出的融合特征图数据,以作为第四特征图数据。
可选地,所述从所述第四特征图数据中,确定针对所述遥感影像数据的目标检测对象,包括:
获取预设的坐标定义信息;其中,所述坐标定义信息为针对旋转矩形包围框的坐标定义信息;
根据所述坐标定义信息,从所述第四特征图数据中,确定针对所述遥感影像数据的目标检测对象。
可选地,所述方法应用于基于遥感影像目标检测的一阶段网络。
一种数据处理的装置,所述装置包括:
第一特征图数据确定模块,用于获取遥感影像数据,并确定针对所述遥感影像数据的第一特征图数据;
特征金字塔网络生成模块,用于根据所述第一特征图数据,生成特征金字塔网络;其中,所述特征金字塔网络为基于针对所述第一特征图数据的第二特征图数据构建的;
第三特征图数据确定模块,用于根据所述第一特征图数据,确定第三特征图数据;其中,所述第三特征图数据包括针对所述遥感影像数据的尺度关系信息;
第四特征图数据得到模块,用于根据所述尺度关系信息,对所述第二特征图数据进行卷积处理,得到第四特征图数据;
目标检测对象确定模块,用于从所述第四特征图数据中,确定针对所述遥感影像数据的目标检测对象。
一种电子设备,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的数据处理的方法。
一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的数据处理的方法。
本发明实施例具有以下优点:
在本发明实施例中,通过获取遥感影像数据,并确定针对遥感影像数据的第一特征图数据,根据第一特征图数据,生成特征金字塔网络,特征金字塔网络基于针对第一特征图数据的第二特征图数据进行构建,然后根据第一特征图数据,确定第三特征图数据,第三特征图数据包括针对遥感影像数据的尺度关系信息,根据尺度关系信息,对第二特征图数据进行卷积处理,得到第四特征图数据,进而从第四特征图数据中,确定针对遥感影像数据的目标检测对象,实现了基于多尺度特征融合的遥感影像目标检测,通过将不同尺度特征图数据进行数据融合处理,并可以根据具有尺度关系信息的特征图数据,确定针对遥感影像数据的目标检测对象,达到了速度快、召回率高的效果,且能够有效降低特征图拼接后的混叠效应,提高了检测精度。
附图说明
为了更清楚地说明本发明的技术方案,下面将对本发明的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种数据处理的方法的步骤流程图;
图2是本发明一实施例提供的另一种数据处理的方法的步骤流程图;
图3a是本发明一实施例提供的一种基于遥感影像目标检测网络示例的示意图;
图3b是本发明一实施例提供的一种数据处理示例的示意图;
图4是本发明一实施例提供的一种数据处理的装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1,示出了本发明一实施例提供的一种数据处理的方法的步骤流程图,具体可以包括如下步骤:
步骤101,获取遥感影像数据,并确定针对所述遥感影像数据的第一特征图数据;
其中,该方法可以应用于基于遥感影像目标检测的一阶段网络,通过采用一阶段遥感影像目标检测网络,达到了速度快,召回率高的效果。
作为一示例,第一特征图数据可以为根据遥感影像数据获取的多个特征图。
在遥感影像目标检测的过程中,可以通过获取遥感影像数据,然后可以将该遥感影像数据输入主干网络进行特征提取,进而可以得到针对遥感影像数据的多个特征图,以作为针对遥感影像数据的第一特征图数据。
在一示例中,可以将遥感影像数据输入主干网络,如神经网络模型(Backbone),也可以采用ResNet-50网络,以获取针对遥感影像数据的多个特征图。
由于传统的遥感影像目标检测算法,是采用2阶段网络,即其通过提取有大量超参约束下的候选区域图像块,进而通过RoI Pooling或RoIAlign方式,获得尺寸一致的特征图,以进行类别判断和包围框坐标的计算,但采用2阶段网络,其运算速度较慢。
针对上述问题,本发明通过采用1阶段遥感影像目标检测网络,由于其可以不通过RoI Pooling或RoIAlign的操作,且候选区域的生成可以基于融合后的特征图进行计算,进而无需超参,也并不是在原始遥感影像上逐像素进行候选区域的计算,达到了速度快,召回率高的效果。
步骤102,根据所述第一特征图数据,生成特征金字塔网络;其中,所述特征金字塔网络基于针对所述第一特征图数据的第二特征图数据进行构建;
在确定第一特征图数据后,可以根据第一特征图数据,得到第二特征图数据,如可以针对第一特征图数据中多个特征图,确定第二特征图数据中不同层的多个特征图,进而可以基于第二特征图数据构建特征金字塔网络。
步骤103,根据所述第一特征图数据,确定第三特征图数据;其中,所述第三特征图数据包括针对所述遥感影像数据的尺度关系信息;
在生成特征金字塔网络后,可以根据第一特征图数据,确定第三特征图数据,该第三特征图数据可以包括针对遥感影像数据的尺度关系信息。
在一示例中,可以通过基于条件卷积的尺度关系参数提取模块,生成具有尺度信息(即尺度关系信息)的特征图(即第三特征图数据),进而可以根据该特征图计算旋转包围框信息,相比于传统FPN在多层特征图上计算,总体计算资源消耗少,速度快。
步骤104,根据所述尺度关系信息,对所述第二特征图数据进行卷积处理,得到第四特征图数据;
在得到尺度关系信息后,可以根据该尺度关系信息,对第二特征图数据进行卷积处理,进而可以得到第四特征图数据。
例如,可以通过基于条件卷积的尺度关系参数提取模块,获得不同尺度目标之间的潜在关系,并可以针对构建的特征金字塔网络,使用提取的尺度关系参数(即尺度关系信息),对特征金字塔网络中不同层拼接后的特征图进行卷积。
步骤105,从所述第四特征图数据中,确定针对所述遥感影像数据的目标检测对象。
在得到第四特征图数据后,可以从该第四特征图数据中,确定针对遥感影像数据的目标检测对象。
例如,可以通过使用与FOCS算法相同的候选区域提取算法计算候选区域,进而可以根据第四特征图数据,确定针对遥感影像数据的目标检测对象,并可以获取目标检测对象的旋转包围框结果。
针对从主干网络(backbone)中提取的不同深度特征图之间存在的语义鸿沟情况,本发明通过采用基于条件卷积的尺度关系参数提取模块,提取不同深度特征图之间的尺度依赖关系,并可以使用提取到的参数对特征金字塔中不同层拼接后的特征进行卷积,进而可以获得具有尺度依赖关系的特征图,以用于针对遥感影像数据的目标检测对象进行类别判定和坐标预测,从而能够快速进行遥感影像目标检测任务,获得目标(即目标检测对象)的旋转包围框结果。
在本发明一实施例中,步骤105可以包括如下子步骤:
获取预设的坐标定义信息;其中,所述坐标定义信息为针对旋转矩形包围框的坐标定义信息;根据所述坐标定义信息,从所述第四特征图数据中,确定针对所述遥感影像数据的目标检测对象。
在具体实现中,可以获取预设的坐标定义信息,该标定义信息可以为针对旋转矩形包围框的坐标定义信息,进而可以根据坐标定义信息,从第四特征图数据中,确定针对遥感影像数据的目标检测对象。
在一示例中,由于遥感影像背景复杂,正矩形包围框中包含大量的背景信息,进而可以采用5参数旋转坐标预测分支,该坐标形式可以与opencv中旋转矩形的定义方式一致,提高了检测精度。
例如,可以基于第四特征图数据进行FCOS方法相同的类别判定、中心点损失计算,但与FCOS不同的是,本发明并没有使用四点坐标的正矩形框预测分支,而是采用了可以输出5参数(其是与OpenCV相同的旋转坐标定义方式)表示的旋转矩形包围框坐标。
传统针对遥感影像目标检测的方法,主要可以分为非深度学习方法和基于深度学习的方法。
针对非深度学习的遥感影像目标检测,可以通过滑窗或类似于selectivesearch算法的候选区域提取算法,然后可以将整景遥感影像进行划分,得到多个小图像区域,再对小图像区域进行点、线、尺度等特征的提取,进而可以通过SVM等机器学习算法,进行分类与目标包围框坐标的计算。由于采用的算法无法使用GPU加速,且候选区域的计算量大,存在速度慢、精度较低的问题,其仅针对特殊场景或特殊图像使用,适用范围窄。
针对基于深度学习的遥感影像目标检测,根据包围框的形式,基于深度学习的遥感影像目标检测算法可以分为基于正矩形框的遥感影像目标检测算法(如faster-rcnn、YOLT等)和基于旋转矩形框的遥感影像目标检测算法(CAD-Net、R3Det、RoITransformer等)。其中,若采用基于正矩形框的遥感影像目标检测算法,当目标密集排列时,相邻两个目标的检测框有可能存在较大的IoU值,将会导致一个目标的检测框被剔除掉,从而造成了漏检情况的出现;且遥感影像背景复杂,正矩形框中包含较多的背景特征,也会导致其检测精度不如基于旋转矩形框的遥感影像目标检测算法。
在本发明实施例中,通过获取遥感影像数据,并确定针对遥感影像数据的第一特征图数据,根据第一特征图数据,生成特征金字塔网络,特征金字塔网络基于针对第一特征图数据的第二特征图数据进行构建,然后根据第一特征图数据,确定第三特征图数据,第三特征图数据包括针对遥感影像数据的尺度关系信息,根据尺度关系信息,对第二特征图数据进行卷积处理,得到第四特征图数据,进而从第四特征图数据中,确定针对遥感影像数据的目标检测对象,实现了基于多尺度特征融合的遥感影像目标检测,通过将不同尺度特征图数据进行数据融合处理,并可以根据具有尺度关系信息的特征图数据,确定针对遥感影像数据的目标检测对象,达到了速度快、召回率高的效果,且能够有效降低特征图拼接后的混叠效应,提高了检测精度。
参照图2,示出了本发明一实施例提供的另一种数据处理的方法的步骤流程图,具体可以包括如下步骤:
步骤201,获取遥感影像数据,并确定针对所述遥感影像数据的第一特征图数据;所述第一特征图数据包括多个第一子特征图数据;
在遥感影像目标检测的过程中,可以通过获取遥感影像数据,然后可以将该遥感影像数据输入主干网络进行特征提取,进而可以得到针对遥感影像数据的第一特征图数据,该第一特征图数据可以包括多个第一子特征图数据,如多个特征图。
步骤202,第二特征图数据包括多个第二子特征图数据,根据所述多个第一子特征图数据,确定所述第二特征图数据中多个第二子特征图数据;
由于第一特征图数据可以包括多个第一子特征图数据,进而可以根据该多个第一子特征图数据,确定第二特征图数据中多个第二子特征图数据。
步骤203,采用所述多个第二子特征图数据,构建所述特征金字塔网络;
在得到多个第二子特征图数据后,可以基于该多个第二子特征图数据,构建特征金字塔网络。
具体的,如图3a所示,通过将遥感影像(即遥感影像数据)输入主干网络,可以获取图3a中{C3,C4,C5}特征图(即第一特征图数据),然后可以将C5特征图(即第一子特征图数据)经过一层卷积核为(1,1)的卷积层(其可以包括ReLu和BN层)后生成P5层,P5层可以经过空洞卷积后生成P6层,进而P6层可以在经过空洞卷积后,生成P7层特征图(即第二子特征图数据)。
对于P3和P4层特征图,可以采用如下公式得到:
Figure BDA0002869404960000091
其中,
Figure BDA0002869404960000092
可以表示矩阵的加法,Conv可以表示卷积,Upsample可以表示上采样操作。
基于以上步骤,可以生成图3a中特征金字塔{P3,P4,P5,P6,P7}(即特征金字塔网络)。
步骤204,对所述多个第一子特征图数据进行统一采样处理,得到拼接特征图数据;
在实际应用中,可以对多个第一子特征图数据进行统一采样处理,进而可以得到拼接特征图数据。
步骤205,根据所述拼接特征图数据和预设的卷积模型,确定第三特征图数据;其中,所述第三特征图数据包括针对所述遥感影像数据的尺度关系信息;
在得到拼接特征图数据后,可以根据拼接特征图数据和预设的卷积模型,确定第三特征图数据,该第三特征图数据可以包括针对遥感影像数据的尺度关系信息。
针对构建的特征金字塔网络,由于其每层的特征图之间仍存在混叠效应,且层与层之间存在巨大的尺度变化,即使采样为同一尺度,也存在同一目标在不同特征图上像素值偏差的问题。
为了解决上述问题,本发明可以采用基于条件卷积的尺度关系参数提取模块,提取不同深度特征图之间潜在的尺度关系信息(图3a中最左侧分支的步骤),可以将C3、C4、C5特征图统一采样为C3的尺寸,并可以在通道维度进行拼接,然后可以将特征图(即拼接特征图数据)输入Fusion Module中,进而可以生成维度为N×1×1的特征图(即第三特征图数据),可以将该特征图作为1×N的向量。
在本发明一实施例中,步骤205可以包括如下子步骤:
根据所述拼接特征图数据,生成多个池化特征图数据;采用预设的卷积模型,对所述多个池化特征图数据进行模型处理,得到所述第三特征图数据。
在实际应用中,可以根据拼接特征图数据,生成多个池化特征图数据,进而可以采用预设的卷积模型,对多个池化特征图数据进行模型处理,得到第三特征图数据。
在一示例中,可以获取输入的特征图{C3,C4,C5}尺寸,其尺寸格式可以为[通道数,宽,高],三个特征图的尺寸可以分别为[256,256,256],[512,128,128]和[1024,64,64],然后可以对C4进行2倍的上采样,并可以对C5进行4倍的上采样,进而可以得到尺度为[1792,256,256]的特征图(即拼接特征图数据)。
通过将该特征图输入Fusion Module中,如图3b所示,Fusion Module的步骤可以为对特征图进行1倍、2倍、4倍、8倍的最大化池化,然后可以得到图3b中四个不同尺度的特征图,可以将该四个特征图分别输入四个卷积模型(即预设的卷积模型),这四个卷积模型可以由1层卷积核为(1,1)的卷积层、BN层以及激活层构成,在分别经过四个卷积模型后,可以生成四个新的特征图(即多个池化特征图数据),进而可以使用最大化池化,将四个特征图都池化为空间维度为1×1的特征图,并可以在通道维度对该四个特征图进行拼接,可以再经过一个由1层卷积核为[N,1,1]的卷积层、BN层,以及激活层构成的卷积模型,进而可以得到维度为N×1×1的特征图(即第三特征图数据),如图3b中被记为θ。
步骤206,按照所述尺度关系信息,对预设的卷积层集合进行参数赋值处理;
在得到尺度关系信息后,可以按照该尺度关系信息,对预设的卷积层集合进行参数赋值处理。
具体的,可以将获取的向量(即第三特征图数据),作为图3a中三个卷积层的权重和偏置参数,进而通过该方式赋值的卷积层{Conv1,Conv2,Conv3}(即卷积层集合)潜在包含了目标尺度的关系,如同一景遥感影像中,飞机与机场之间尺度存在的对比关系,车辆与车辆之间不同型号存在的尺寸比例关系等。
例如,针对得到的特征图θ(即第三特征图数据),由于其大小N×1×1可以等价于1×N,则可以将θ看作为形状为1×N的向量,通过图3a中三个卷积层,即由Conv1、Conv2、Conv3所组成的一个三层卷积单元构成的模块,其可以为卷积层+BN层+ReLu激活函数所组成的卷积单元,其中,该卷积模块中三个卷积核的形状可以表示为[channel1,1,1]、[channel2,3,3]、[channel3,1,1],通过使用条件卷积的方法,即Conv1、Conv2、Conv3的参数不是普通形式的神经网络卷积学习得到,而是由向量赋值得到的,如Conv1、Conv2、Conv3参数的参数量可以等于向量的长度N(其可以通过将所有卷积层的偏置值设置为0,不参与训练学习),可以采用如下方式表示:
channel1×1×1+channel2×3×3+channel3×1×1=N
通过按照顺序,可以将向量依次赋值给Conv1、Conv2、Conv3的参数。
步骤207,将所述第二特征图数据输入参数赋值后的卷积层集合;
在具体实现中,可以将第二特征图数据输入参数赋值后的卷积层集合,以采用卷积层集合对第二特征图数据进行数据处理。
步骤208,接收所述卷积层集合输出的融合特征图数据,以作为第四特征图数据;
在将第二特征图数据输入参数赋值后的卷积层集合后,可以接收该卷积层集合输出的融合特征图数据,以作为第四特征图数据。
在一示例中,可以将特征图{P3,P4,P5,P6,P7}(即第二特征图数据)采样为同一尺度,进而可以输入卷积层{Conv1,Conv2,Conv3}组成的模块(即卷积层集合)中,生成融合后的特征图(即融合特征图数据),如图3a中F。
步骤209,从所述第四特征图数据中,确定针对所述遥感影像数据的目标检测对象。
在得到第四特征图数据后,可以从该第四特征图数据中,确定针对遥感影像数据的目标检测对象。
通过基于条件卷积的尺度关系参数提取模块,提取不同深度特征图之间的尺度依赖关系,并可以使用提取到的参数对特征金字塔中的不同层拼接后的特征进行卷积,进而可以得到具有尺度依赖关系的特征图,并可以用于最终的类别判定和坐标预测,从而解决了传统特征金字塔不同层特征图间语义鸿沟导致的精度下降问题,也消除了混叠效用的影响。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图4,示出了本发明一实施例提供的一种数据处理的装置的结构示意图,具体可以包括如下模块:
第一特征图数据确定模块401,用于获取遥感影像数据,并确定针对所述遥感影像数据的第一特征图数据;
特征金字塔网络生成模块402,用于根据所述第一特征图数据,生成特征金字塔网络;其中,所述特征金字塔网络为基于针对所述第一特征图数据的第二特征图数据构建的;
第三特征图数据确定模块403,用于根据所述第一特征图数据,确定第三特征图数据;其中,所述第三特征图数据包括针对所述遥感影像数据的尺度关系信息;
第四特征图数据得到模块404,用于根据所述尺度关系信息,对所述第二特征图数据进行卷积处理,得到第四特征图数据;
目标检测对象确定模块405,用于从所述第四特征图数据中,确定针对所述遥感影像数据的目标检测对象。
在本发明一实施例中,所述第一特征图数据包括多个第一子特征图数据,所述第三特征图数据确定模块403包括:
拼接特征图数据得到子模块,用于对所述多个第一子特征图数据进行统一采样处理,得到拼接特征图数据;
第三特征图数据确定子模块,用于根据所述拼接特征图数据和预设的卷积模型,确定第三特征图数据。
在本发明一实施例中,所述第三特征图数据确定子模块包括:
多个池化特征图数据生成单元,用于根据所述拼接特征图数据,生成多个池化特征图数据;
模型处理单元,用于采用预设的卷积模型,对所述多个池化特征图数据进行模型处理,得到所述第三特征图数据。
在本发明一实施例中,所述第二特征图数据包括多个第二子特征图数据,所述特征金字塔网络生成模块402包括:
多个第二子特征图数据确定子模块,用于根据所述多个第一子特征图数据,确定所述第二特征图数据中多个第二子特征图数据;
特征金字塔网络构建子模块,用于采用所述多个第二子特征图数据,构建所述特征金字塔网络。
在本发明一实施例中,所述第四特征图数据得到模块404包括:
参数赋值处理子模块,用于按照所述尺度关系信息,对预设的卷积层集合进行参数赋值处理;
第二特征图数据输入子模块,用于将所述第二特征图数据输入参数赋值后的卷积层集合;
融合特征图数据接收子模块,用于所述卷积层集合输出的融合特征图数据,以作为第四特征图数据。
在本发明一实施例中,所述目标检测对象确定模块405包括:
坐标定义信息获取子模块,用于获取预设的坐标定义信息;其中,所述坐标定义信息为针对旋转矩形包围框的坐标定义信息;
目标检测对象确定子模块,用于根据所述坐标定义信息,从所述第四特征图数据中,确定针对所述遥感影像数据的目标检测对象。
在本发明一实施例中,所述方法应用于基于遥感影像目标检测的一阶段网络。
在本发明实施例中,通过获取遥感影像数据,并确定针对遥感影像数据的第一特征图数据,根据第一特征图数据,生成特征金字塔网络,特征金字塔网络基于针对第一特征图数据的第二特征图数据进行构建,然后根据第一特征图数据,确定第三特征图数据,第三特征图数据包括针对遥感影像数据的尺度关系信息,根据尺度关系信息,对第二特征图数据进行卷积处理,得到第四特征图数据,进而从第四特征图数据中,确定针对遥感影像数据的目标检测对象,实现了基于多尺度特征融合的遥感影像目标检测,通过将不同尺度特征图数据进行数据融合处理,并可以根据具有尺度关系信息的特征图数据,确定针对遥感影像数据的目标检测对象,达到了速度快、召回率高的效果,且能够有效降低特征图拼接后的混叠效应,提高了检测精度。
本发明一实施例还提供了一种电子设备,可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序,计算机程序被处理器执行时实现如上数据处理的方法。
本发明一实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储计算机程序,计算机程序被处理器执行时实现如上数据处理的方法。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对所提供的一种数据处理的方法和装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种数据处理的方法,其特征在于,所述方法包括:
获取遥感影像数据,并确定针对所述遥感影像数据的第一特征图数据;
根据所述第一特征图数据,生成特征金字塔网络;其中,所述特征金字塔网络基于针对所述第一特征图数据的第二特征图数据进行构建;
根据所述第一特征图数据,确定第三特征图数据;其中,所述第三特征图数据包括针对所述遥感影像数据的尺度关系信息;其中,所述尺度关系信息是基于条件卷积的尺度关系参数提取模块,提取的不同深度特征图之间的尺度关系信息;
根据所述尺度关系信息,对所述第二特征图数据进行卷积处理,得到第四特征图数据;
从所述第四特征图数据中,确定针对所述遥感影像数据的目标检测对象;
其中,所述第一特征图数据包括多个第一子特征图数据,所述根据所述第一特征图数据,确定第三特征图数据,包括:
对所述多个第一子特征图数据进行统一采样处理,得到拼接特征图数据;
根据所述拼接特征图数据和预设的卷积模型,确定第三特征图数据;
其中,所述根据所述尺度关系信息,对所述第二特征图数据进行卷积处理,得到第四特征图数据,包括:
按照所述尺度关系信息,对预设的卷积层集合进行参数赋值处理;
将所述第二特征图数据输入参数赋值后的卷积层集合;
接收所述卷积层集合输出的融合特征图数据,以作为第四特征图数据。
2.根据权利要求1所述的方法,其特征在于,所述根据所述拼接特征图数据和预设的卷积模型,确定第三特征图数据,包括:
根据所述拼接特征图数据,生成多个池化特征图数据;
采用预设的卷积模型,对所述多个池化特征图数据进行模型处理,得到所述第三特征图数据。
3.根据权利要求1所述的方法,其特征在于,所述第二特征图数据包括多个第二子特征图数据,所述根据所述第一特征图数据,生成特征金字塔网络,包括:
根据所述多个第一子特征图数据,确定所述第二特征图数据中多个第二子特征图数据;
采用所述多个第二子特征图数据,构建所述特征金字塔网络。
4.根据权利要求1所述的方法,其特征在于,所述从所述第四特征图数据中,确定针对所述遥感影像数据的目标检测对象,包括:
获取预设的坐标定义信息;其中,所述坐标定义信息为针对旋转矩形包围框的坐标定义信息;
根据所述坐标定义信息,从所述第四特征图数据中,确定针对所述遥感影像数据的目标检测对象。
5.根据权利要求1所述的方法,其特征在于,所述方法应用于基于遥感影像目标检测的一阶段网络。
6.一种数据处理的装置,其特征在于,所述装置包括:
第一特征图数据确定模块,用于获取遥感影像数据,并确定针对所述遥感影像数据的第一特征图数据;
特征金字塔网络生成模块,用于根据所述第一特征图数据,生成特征金字塔网络;其中,所述特征金字塔网络为基于针对所述第一特征图数据的第二特征图数据构建的;
第三特征图数据确定模块,用于根据所述第一特征图数据,确定第三特征图数据;其中,所述第三特征图数据包括针对所述遥感影像数据的尺度关系信息;其中,所述尺度关系信息是基于条件卷积的尺度关系参数提取模块,提取的不同深度特征图之间的尺度关系信息;
第四特征图数据得到模块,用于根据所述尺度关系信息,对所述第二特征图数据进行卷积处理,得到第四特征图数据;
目标检测对象确定模块,用于从所述第四特征图数据中,确定针对所述遥感影像数据的目标检测对象;
其中,所述第一特征图数据包括多个第一子特征图数据,所述第三特征图数据确定模块包括:
拼接特征图数据得到子模块,用于对所述多个第一子特征图数据进行统一采样处理,得到拼接特征图数据;
第三特征图数据确定子模块,用于根据所述拼接特征图数据和预设的卷积模型,确定第三特征图数据;
其中,所述第四特征图数据得到模块包括:
参数赋值处理子模块,用于按照所述尺度关系信息,对预设的卷积层集合进行参数赋值处理;
第二特征图数据输入子模块,用于将所述第二特征图数据输入参数赋值后的卷积层集合;
融合特征图数据接收子模块,用于所述卷积层集合输出的融合特征图数据,以作为第四特征图数据。
7.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的数据处理的方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的数据处理的方法。
CN202011603084.XA 2020-12-29 2020-12-29 一种数据处理的方法和装置 Active CN112651351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011603084.XA CN112651351B (zh) 2020-12-29 2020-12-29 一种数据处理的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011603084.XA CN112651351B (zh) 2020-12-29 2020-12-29 一种数据处理的方法和装置

Publications (2)

Publication Number Publication Date
CN112651351A CN112651351A (zh) 2021-04-13
CN112651351B true CN112651351B (zh) 2022-01-04

Family

ID=75364109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011603084.XA Active CN112651351B (zh) 2020-12-29 2020-12-29 一种数据处理的方法和装置

Country Status (1)

Country Link
CN (1) CN112651351B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392960B (zh) * 2021-06-10 2022-08-30 电子科技大学 一种基于混合空洞卷积金字塔的目标检测网络及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160293A (zh) * 2019-12-31 2020-05-15 珠海大横琴科技发展有限公司 基于特征金字塔网络的小目标船只检测方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220129740A1 (en) * 2019-01-23 2022-04-28 Google Llc Convolutional neural networks with soft kernel selection
CN110796037B (zh) * 2019-10-15 2022-03-15 武汉大学 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法
CN110956213A (zh) * 2019-11-29 2020-04-03 珠海大横琴科技发展有限公司 遥感影像特征库生成、遥感影像检索方法及装置
WO2021127916A1 (zh) * 2019-12-23 2021-07-01 深圳市优必选科技股份有限公司 脸部情感识别方法、智能装置和计算机可读存储介质
CN111931779B (zh) * 2020-08-10 2024-06-04 韶鼎人工智能科技有限公司 一种基于条件可预测参数的图像信息提取与生成方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160293A (zh) * 2019-12-31 2020-05-15 珠海大横琴科技发展有限公司 基于特征金字塔网络的小目标船只检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Zhi Tian等.Conditional Convolutions for Instance Segmentation.《https://arxiv.org/abs/2003.05664v3》.2020,第1-18页. *

Also Published As

Publication number Publication date
CN112651351A (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
CN106934397B (zh) 图像处理方法、装置及电子设备
US10019652B2 (en) Generating a virtual world to assess real-world video analysis performance
Marcu et al. SafeUAV: Learning to estimate depth and safe landing areas for UAVs from synthetic data
Workman et al. A unified model for near and remote sensing
JP2019514123A (ja) 地理的領域におけるコンテナ内に格納された量の遠隔決定
CN111369581A (zh) 图像处理方法、装置、设备及存储介质
CN110163188B (zh) 视频处理以及在视频中嵌入目标对象的方法、装置和设备
WO2021238548A1 (zh) 区域识别方法、装置、设备及可读存储介质
CN113591968A (zh) 一种基于非对称注意力特征融合的红外弱小目标检测方法
KR102140805B1 (ko) 위성 영상의 물체 식별을 위한 뉴럴 네트워크 학습 방법 및 장치
CN110222641B (zh) 用于识别图像的方法和装置
CN113822314A (zh) 图像数据处理方法、装置、设备以及介质
Porzi et al. Learning contours for automatic annotations of mountains pictures on a smartphone
CN114926747A (zh) 一种基于多特征聚合与交互的遥感图像定向目标检测方法
CN112364843A (zh) 插拔式航拍图像目标定位检测方法、系统、设备
EP3543910A1 (en) Cloud detection in aerial imagery
CN108010065A (zh) 低空目标快速检测方法及装置、存储介质及电子终端
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
CN114556425A (zh) 定位的方法、设备、无人机和存储介质
CN111881984A (zh) 一种基于深度学习的目标检测方法和装置
CN112651351B (zh) 一种数据处理的方法和装置
CN109523570B (zh) 运动参数计算方法及装置
CN110309790B (zh) 一种用于道路目标检测的场景建模方法和装置
CN114550016B (zh) 一种基于上下文信息感知的无人机定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant