CN111639623B - 结合空间距离约束的多尺度船企场景识别与提取方法 - Google Patents

结合空间距离约束的多尺度船企场景识别与提取方法 Download PDF

Info

Publication number
CN111639623B
CN111639623B CN202010517131.2A CN202010517131A CN111639623B CN 111639623 B CN111639623 B CN 111639623B CN 202010517131 A CN202010517131 A CN 202010517131A CN 111639623 B CN111639623 B CN 111639623B
Authority
CN
China
Prior art keywords
ship
enterprise
scene
remote sensing
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010517131.2A
Other languages
English (en)
Other versions
CN111639623A (zh
Inventor
宋妍
杨淼
于新莉
马珍妮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202010517131.2A priority Critical patent/CN111639623B/zh
Publication of CN111639623A publication Critical patent/CN111639623A/zh
Application granted granted Critical
Publication of CN111639623B publication Critical patent/CN111639623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供结合空间距离约束的多尺度船企场景识别与提取方法,包括以下:获取全国船企分布情况和结构特征,制作高分辨率船企遥感数据集;利用遥感数据集,基于全局和局部两种尺度进行船企遥感图像识别模型训练;采用船企遥感图像识别模型对待预测遥感图像进行多模型多尺度检测;基于多尺度检测结果,提取待预测遥感图像船企对象之间的空间距离;结合全局和局部多尺度检测结果、局部对象标签组合方式和对象空间距离约束条件对待预测遥感图像进行场景类别综合评判。本发明提供的有益效果是:有效进行船企复杂场景提取,能够为我国船舶产业发展、沿岸环境监测提供理论支撑,对境外船企的提取可以进一步为政府产能调控、产业布局提供宏观决策依据。

Description

结合空间距离约束的多尺度船企场景识别与提取方法
技术领域
本发明涉及遥感技术领域,尤其涉及结合空间距离约束的多尺度船企场景识别与提取方法。
背景技术
在国民经济发展中,船舶修造业为海洋资源开发、航运运输以及海洋领域国防建设等提供装备支持,在多个领域都发挥着重要作用,得到了世界各国尤其是沿海地区和国家的重视。在享受船舶产业飞速发展带来的经济红利的同时,随之而来的水域生态环境污染问题也日益严峻。因此,明确造船企业的分布情况,可以为政府部门产能调控、生态环境监测提供帮助,辅助政府查证非法用地建设船企,及时发现是否存在“僵尸”船企重新开工、船企违规扩大生产规模以及“黑名单”船企产能过剩、改造停滞不前等现象,对修复沿岸生态环境、保护水域环境以及促进修船企的协调发展都具有巨大的现实意义。
近年来,随着遥感影像空间分辨率的提高,影像中所包含的信息越来越丰富,利用人工判读的方式来实现地物识别早已无法满足涌现的应用需求,且船企作为复杂场景,内部格局多样,与沿海其他地物类型存在一定的混淆性,难以采用常规方法进行识别。相比于传统方法,卷积神经网络能学习到更丰富的语义信息和高层次的图像特征表征,能更好地描述不同目标之间的差异。且卷积神经网络是一种端到端的模型结构,将原始图像作为整个网络的输入,经过逐层计算直接将最后的结果输出,减少了以往复杂的数据预处理、特征提取、特征表征等人工操作。
但船企场景具有语义信息丰富、内部结构复杂、尺度表现多样的特性,船企内部分为造船区、舾装区、涂装区、码头区、动力设施区等多个模块,有些模块在遥感影像上的区分度并不高。且船企内部格局和尺度存在多样性,一些小型船企的内部格局更是随机,这些因素导致船企在遥感影像上表现各异。
同时船企场景是由船只、船坞、厂房等地物构成,这些地物并不是只单独存在于船企中,如厂房作为一种常见的建筑,也普遍存在于沿海工厂中;在建船只能够代表船企的造船能力,属于船企的独特性地物,但由于影像分辨率等问题,在建船只在影像上的特征与常规船只差异不大,因此在场景判别时,港口中停泊船只和航行船舶也会被检测出。而船坞是船企最重要的船舶修造区域,也船企场景具有唯一性的判别依据,但船坞在造船前后会表现出不一样的特征,某些时期的特征可能会和背景地物之间存在一定的混淆性,这些不同场景之间的相似性会导致船企的判别度下降,为检测增加难度。
船企内部地物在不同的条件下也会表现出不同的影像特征。以船坞为例,船坞是指修造船用的坞式建筑物,灌水后可容船舶进出,排水后能在干底上修造船舶,船舶主体在船坞内修造完成后就从造船平台下水。因此不同时期、不同区域的船坞在遥感影像上的差异较大;
另外,遥感影像图幅大,背景复杂。与自然影像不同,遥感影像是由距离陆地几百公里外的卫星传感器拍摄,影像的幅面较大,检测时对计算机配置和性能的要求较高,且地物目标在影像上可能只占非常小的比例;且目前,船企相关研究资料较少。目前尚未有学者将遥感技术应用于船企场景提取上,特别是深度学习领域。目前深度学习应用的主要方向仍为提升模型精度,因此该方向可供参考的研究资料较少。虽然遥感技术和计算机技术发展推动了深度学习在遥感领域应用愈加广泛,遥感训练样本集的种类和数量也随之增多,但目前的数据集多为学校、建筑、河流等常见土地覆盖类型,没有船企类复杂人工岸线的相关样本集。
综上所述,利用遥感图像自动分析船企场景,存在以下问题:(1)船企场景复杂;(2)遥感图像大,船企比例小;(3)缺乏船企人工岸线分布数据集。以上问题导致利用遥感图像自动分析船企场景的识别效果低、精度差。
发明内容
有鉴于此,本发明对船企布局状况、内部构造、光谱、纹理和空间特征等方面进行分析,制作了船企分布样本集,同时对样本集进行了多模型多尺度的船企场景提取,依据多尺度检测结果,采用多个约束条件进行船企场景综合评判,最终提出一种结合空间距离约束的多尺度船企场景识别与提取方法。
本发明提供了结合空间距离约束的多尺度船企场景识别与提取方法,包括以下:
S101:基于船企背景资料,对全国船企矢量提取,获取船企分布情况,并依据船企分布情况设计船企遥感样本集;
S102:建立卷积神经网络模型,利用所述船企遥感样本集对所述卷积神经网络模型进行训练,得到多个船企遥感图像识别模型;所述多个船企遥感图像识别模型,包括船企场景识别模型和船企场景对象的识别模型;
S103:采用船企场景识别模型对待处理的遥感影像进行场景全局尺度初检测,得到遥感影像的疑似船企区域及船企场景语义标签;
将所述疑似船企区域进行拆解,得到多个图像块;
对每个图像块分别采用船企场景对象的识别模型进行局部尺度检测,得到每个图像块中存在的船企场景对象及其对应的语义标签得分;
S104:对所述每个图像块中存在的船船企场景对象,采用弱监督学习方法提取船企场景对象的像素级位置信息,计算船企场景对象之间的空间距离;
S105:根据船企场景语义标签得分、每个图像块中存在船企场景对象及其对应的语义标签得分、船企场景对象标签组合、船企场景对象之间的空间距离约束,进行场景类别的综合判定,得到船企提取最终结果。
进一步地,所述船企遥感样本集包括:船企场景样本集、船企场景内船坞对象样本集、厂房对象样本集和船只对象样本集。
进一步地,步骤S102中所述的船企场景对象的识别模型,具体包括:船坞识别模型、厂房识别模型和船只识别模型;所述船企场景识别模型,利用所述船企场景样本集训练所述卷积神经网络模型得到;所述船坞识别模型,利用所述船坞对象样本集训练所述卷积神经网络模型得到;所述厂房识别模型,利用所述厂房对象样本集训练所述卷积神经网络模型得到;所述船只识别模型,利用所述船只对象样本集训练所述卷积神经网络模型得到。
进一步地,步骤S101具体为:
S201:对研究区域的检测影像水边线缓冲区进行裁剪,得到待检测水陆交接影像,缩小船企检测范围;
S202:对船企场景进行解译,得到船企解译标志;所述解译标志包括船坞、厂房和船只;
S203:根据船企解译标志,提取船企的分布情况;
S204:根据船企解译标志和船企分布情况,基于遥感影像对全国船企进行矢量化,获得船企内部地物轮廓以及面积等信息;
S205:基于船企矢量提取结果,对船企空间布局信息进行统计与分析,得到船企场景对象之间的空间约束范围;所述船企空间布局信息,包括:船企占地面积、船企内船坞、厂房和船只的占地面积和空间距离;
S206:基于船企矢量提取结果、资源三号影像和谷歌地球影像数据,制作船企遥感样本集。
进一步地,步骤S102中所述的卷积神经网络模型,采用ResNet作为基准网络。
进一步地,步骤S104中所述的弱监督学习法为不精确监督法,采用 Grad-CAM算法,提取每个图像块中存在的船坞、厂房和船只对象的像素级位置信息,此时获取三类对象的像素点位置,进而计算船坞、厂房和船只像素点连线的长度,即为对象之间的空间距离。
进一步地,步骤S105中,所述船企场景对象标签组合,具体为:当检测场景内存在厂房、船只和船坞时,场景判断为船企。
进一步地,步骤S105中,所述船企场景对象之间的空间距离约束,具体为:
所述船企场景对象之间的空间距离,包括:船坞-船只和船坞-厂房的空间距离,其约束条件为,步骤S205中统计得到的船企内船坞、厂房和船只的空间距离。
一种存储设备,所述存储设备存储指令及数据用于实现一种结合空间距离约束的多尺度船企场景识别与提取方法。
一种结合空间距离约束的多尺度船企场景识别与提取设备,包括:处理器及存储设备;所述处理器加载并执行存储设备中的指令及数据用于实现一种结合空间距离约束的多尺度船企场景识别与提取方法。
本发明提供的有益效果是:有效进行船企复杂场景提取,能够为我国船舶产业发展、沿岸环境监测提供理论支撑,对境外船企的提取可以进一步为政府产能调控、产业布局提供宏观决策依据。
附图说明
图1是本发明结合空间距离约束的多尺度船企场景识别与提取方法的流程图;
图2是本发明船企遥感样本集制作流程图;
图3是本发明研究区域范围示意图;
图4是本发明检测框热力图可视化细节展示效果图;
图5是本发明研究区域全局检测结果细节图;
图6是本发明研究区域局部对象检测细节图;
图7为为研究区域最终场景判别结果示意图;
图8是本发明实施例的硬件设备工作示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地描述。
请参考图1,本发明的实施例提供了结合空间距离约束的多尺度船企场景识别与提取方法,系统包括以下:
S101:基于船企背景资料,对全国船企矢量提取,获取船企分布情况,并依据船企分布情况设计船企遥感样本集;
S102:建立卷积神经网络模型,利用所述船企遥感样本集对所述卷积神经网络模型进行训练,得到多个船企遥感图像识别模型;所述多个船企遥感图像识别模型,包括船企场景识别模型和船企场景对象的识别模型;
S103:采用船企场景识别模型对待处理的遥感影像进行场景全局尺度初检测,得到遥感影像的疑似船企区域及船企场景语义标签;
将所述疑似船企区域进行拆解,得到多个图像块;
对每个图像块分别采用船企场景对象的识别模型进行局部尺度检测,得到每个图像块中存在的船企场景对象及其对应的语义标签得分;
S104:对所述每个图像块中存在的船船企场景对象,采用弱监督学习方法提取船企场景对象的像素级位置信息,计算船企场景对象之间的空间距离;
S105:根据船企场景语义标签得分、每个图像块中存在船企场景对象及其对应的语义标签得分、船企场景对象标签组合、船企场景对象之间的空间距离约束,进行场景类别的综合判定,得到船企提取最终结果。
步骤S101中,所述船企遥感样本集包括:船企场景样本集、船企场景内船坞对象样本集、厂房对象样本集和船只对象样本集。
步骤S101具体为:
S201:对研究区域的检测影像缓冲区进行裁剪,得到研究区域船企场景;
S202:对船企场景进行解译,得到船企解译标志;所述解译标志包括船坞、厂房和船只;
S203:根据船企解译标志,提取船企的分布情况;船企主要分布于长三角、珠三角和渤海湾附近,主要为辽宁、山东、江苏、浙江、广东,以及长江经济带黄金水道沿线的重庆、湖北和安微等省市的港口城市。
S204:根据船企解译标志和船企分布情况,对全国船企进行矢量化;
S205:基于船企矢量提取结果,对船企空间布局信息进行统计与分析,得到船企场景对象之间的空间约束范围;所述船企空间布局信息,包括:船企占地面积、船企内船坞、厂房和船只的占地面积和空间距离;
船企的面积分布差异较大,最大的船企面积达680万平方米,而最小的船企面积小于1万平方米,虽然船企面积差异较大,但总体而言呈现出一定的统计规律。统计得出,船企占地面积在70万平方米以下的船企占比高达85%,其中,占地面积小于35万平方米的船企占比高达72%,而面积在35-70万平方米以内的船企占比为13%。可以得知,我国大部分船企的占地面积在70万平方米以下。
船坞占地面积分布统计中,面积在5万平方米以内的船坞数量最多,占比达到97%。而5万-10万平方米以内为3%,在船坞长度统计中,长度在400米以内的占比为89%。面积在5万平方米以内的厂房占比达到97%。而5万-10万平方米以内为3%,在厂房长度统计中,长度在200米以内的占比为86%,200-400 米占比为12%。
船坞与厂房的距离主要分布在100~200米以内,占比为44%,距离在100 米以内占比也较大,为19%。其次,距离在200~300米以内的占比为21%,300~400 米以内占比为9%,距离大于400米的占比较少。
船坞往往靠近码头和水边线,因此船坞与船只之间的距离相对较小,根据饼状图可知,船坞和船只距离主要分布在100米以内,占比为56%,其次为100~200 米,占比为22%,距离在200~300米以内的占比为10%,300~400米以内占比为4%,距离大于400米的占比较少。
S206:基于船企矢量提取结果、资源三号影像和谷歌地球影像数据,制作船企遥感样本集。
本发明实施例中,步骤S206在样本集制作时,分别制作了场景全局和局部两种尺度的样本集,样本类别分别为船企场景、船坞对象、厂房对象和船只对象。样本集制作的底图为融合后的2m分辨率的资源三号影像和谷歌地球卫星影像,影像覆盖范围为全国沿海、沿江区域。样本集制作流程,请参考图2。
在船企场景样本集制作时,样本裁剪框的面积不应超过70万平方米,最好在35~70万平方米以内,针对本发明所采用资源三号影像分辨率,因此,船企场景的裁剪框直径最好在400~600像素之间,局部对象裁剪框直径设置在 100~200像素内,同时采用相交分析的方法剔除大面积重叠检测框,效果请参考图3,图3中从左至右依次为,船坞中心点标注示意图、初始裁剪框示意图、剔除重复裁剪框示意图。完成上述裁剪框设计与处理后,基于资源三号影像进行样本批量制作。
本次实施例中,实验采用的数据为资源三号融合后影像,选取的研究区域如图3中划框所示,研究区域范围介于东经118°27′~121°57′,北纬31° 38′~32°22′之间,面积为36307平方千米。
本实施例将获取进行实验的船企样本按照8:2的比例随机分为训练样本和测试样本。在训练前需要进行训练样本数据增强操作,对样本进行了随机翻转和随机旋转操作,并进行了色度、亮度、饱和度、对比度的变化调整,从而增加样本的多样性。
步骤S102中,所述的卷积神经网络模型,采用ResNet作为基准网络,ResNet 网络基本结构如表1所示.。
表1 ResNet网络基本结构
Figure BDA0002530556560000091
Figure BDA0002530556560000101
为了保证网络模型的可靠性,在进行网络训练时,需要保证数据集数量足够大,且数据集中用于训练的部分和测试部分的样本应该服从同样的分布。本发明对在ImageNet大型数据集上训练好的ResNet50模型进行Finetune,将原始网络的全连接层输出更改为和样本类别数量一致,然后使用本次任务的样本集继续训练网络,更新网络参数,直至网络在本次目标任务上取得较好的效果。
训练时网络隐藏层参数基本与原始ResNet50保持一致,并针对实际情况进行了部分调整,训练过程中的相关参数设置如下:训练过程中采用了基于动量的随机梯度下降方法,动量因子设置为0.9,批处理大小为64,网络共迭代200 次,采用交叉熵损失函数。且由于本次训练是在已经在大型数据集上收敛的网络上进行微调训练,因此学习率的设置应该适当减小,本次训练采用的初始学习率为0.0001,并根据迭代次数和接近收敛程度调整学习率,每次调整将学习率减小10倍。如表2为网络训练收敛后,船企场景、船坞、厂房、船只四类地物的分类精确度、召回率、漏警率和虚警率结果。
表2网络训练结果
Figure BDA0002530556560000102
上述网络训练完成后将得到四个模型,分别为:船企场景识别模型、船坞识别模型、厂房识别模型、船只识别模型,将集成四个模型预测结果进行船企场景识别。
首先采用船企大尺度场景分类模型在研究区域预处理后的遥感影像上进行滑窗初步检测,检测时仅以区域内是否存在船企场景为判别条件。经过初步检测能够找出可能存在船企场景的区域,然后在初检疑似区域内进行小尺度局部对象检测,此时能够获取局部对象标签得分和对象图像块位置。采用Grad-CAM 方法获取对象更精确位置,即可计算对象空间距离。
在2m分辨率遥感影像下,可将船企场景全局检测框直径设置在400~600 像素之间。设置好检测框的大小,采用的船企场景样本集训练出的网络模型在区域遥感影像上进行滑动窗口搜索。在滑窗检测时,为了避免图像块切割导致场景特征被破坏,将滑窗移动步长设置的较小,最后采用非极大值抑制的方法将大面积重复的检测框删除。根据梯度加权类激活可视化结果可以辅助判断网络模型的检测能力,如图4所示。
请参考图5,图5为研究区域全局检测结果细节图;图5中从左至右从上至下分别为研究区域的4个不同子区域的检测结果细节图;
根据前文对船企内部地物占地面积和长度的统计分析,可知船企局部对象检测框直径应设置在100~200像素之间。
在获取局部对象检测框和相应标签后,进而基于弱监督学习提取对象像素级空间位置来计算对象空间距离。本研究采用梯度加权类激活可视化的方式获得局部对象图像块内类别可解释区域,即类别更准确的定位位置。以船坞对象为例,其中暖色调为船坞对应的像素位置,冷色调为背景像素,其中热力图中最接近红色的像素区域为船坞标签得分值最高值所在区域,将该区域中心像素进行提取,即可获得船坞大致位置。基于该方法将局部对象检测结果中船坞、船只和厂房的位置像素提取出,计算其距离,即可根据船企场景内部地物空间关系统计规律进行空间距离约束,请参考图6,图6为研究区域局部对象检测细节图;图6中从左至右,依次为船坞一遥感影像、船坞一可视化叠加、船坞二遥感影像、船坞二可视化叠加效果图;
采用结合场景大尺度全局初检测标签得分、小尺度局部对象检测标签得分、对象多标签组合方式和对象空间距离约束进行船企场景综合判别,只有同时满足全部判别条件时场景才能被判别为船企。接下来分别对四类判别条件进行分析。
(1)场景多尺度检测标签得分
多尺度标签得分约束主要体现在检测时置信度阈值的设置上。其中,大尺度全局初步检测的置信度阈值应调低,获取所以可能存在船企区域,而小尺度局部对象检测置信度阈值应设置的高一些,从而尽可能减少对象错检。
(2)局部对象标签组合方式
在获得局部对象检测结果后,进行场景语义组合方式约束,不同标签的对象组合能够为场景赋予不同的类别,只有当场景内同时存在船坞、厂房和船只标签时,该场景才能被判别为船企。
(3)对象空间距离约束
根据局部图像块中对象的像素位置,结合船企内部地物之间的空间统计规律,即可进行空间距离约束。当对象之间的空间关系满足统计规律时,保留对象所在检测框,反之,将检测框剔除。空间距离约束条件由对第四章船企内部空间统计图表分析来制定。基于统计图表规律,结合空间关系约束条件设计的原则,因此在2m分辨率影像上,船坞与厂房、船坞和船只之间的空间距离约束最好分别设置在100~200、50~150个像素之内,基于该区间范围进行局部对象之间的空间约束。
当场景同时满足以下条件时,才能被判别为船企:场景语义标签得分大于 0.8;场景内同时存在船坞、厂房和船只三类对象,且对象语义标签得分大于0.95;船坞对象与厂房对象之间的空间距离小于400米,且船坞对象与船只对象之间的空间距离小于300米。
基于上述约束条件进行船企场景综合判别,研究区域最终场景判别结果如图7所示;
对船企的提取结果进行分析与统计。研究区域内共检测出121个检测框,其中正检105个,错检16个,除此之外,还存在18个船企漏检,图中红色点为正确检测的船企场景分布,黄色点和蓝色点分别为错检和漏检的检测框分布。根据公式可以计算出本次实验船企检测的精确度为87%,召回率为85%,虚警率为13%,漏警率为15%,与初步检测结果相比,精确度提升了53%,证明本文方法具有较好的错检剔除效果。但经过对象检测和综合判别,漏警率却从10%升至15%,主要原因在于滩涂船厂的特殊性,部分滩涂船厂内不存在厂房或船只,因此在进行对象检测和空间约束时,会将部分滩涂船厂剔除,导致少量的漏检增加。总体而言,综合全局、局部特征和对象空间距离约束的方法对于大中型船企场景检测具有较高精度。
请参见图8,图8是本发明实施例的硬件设备工作示意图,所述硬件设备具体包括:一种结合空间距离约束的多尺度船企场景识别与提取设备401、处理器 402及存储设备403。
一种结合空间距离约束的多尺度船企场景识别与提取设备401:所述一种结合空间距离约束的多尺度船企场景识别与提取设备401实现所述一种结合空间距离约束的多尺度船企场景识别与提取方法。
处理器402:所述处理器402加载并执行所述存储设备403中的指令及数据用于实现所述一种结合空间距离约束的多尺度船企场景识别与提取方法。
存储设备403:所述存储设备403存储指令及数据;所述存储设备403用于实现所述一种结合空间距离约束的多尺度船企场景识别与提取方法。
本发明实施的有益效果是:有效进行船企复杂场景提取,能够为我国船舶产业发展、沿岸环境监测提供理论支撑,对境外船企的提取可以进一步为政府产能调控、产业布局提供宏观决策依据。
在不冲突的情况下,本文中上述实施例及实施例中的特征可以相互结合。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种结合空间距离约束的多尺度船企场景识别与提取方法,其特征在于:具体包括:
S101:基于船企背景资料,对全国船企矢量提取,获取船企分布情况,并依据船企分布情况设计船企遥感样本集;
S102:建立卷积神经网络模型,利用所述船企遥感样本集对所述卷积神经网络模型进行训练,得到多个船企遥感图像识别模型;所述多个船企遥感图像识别模型,包括船企场景识别模型和船企场景对象的识别模型;
S103:采用船企场景识别模型对待处理的遥感影像进行场景全局尺度初检测,得到遥感影像的疑似船企区域及船企场景语义标签得分;
将所述疑似船企区域进行拆解,得到多个图像块;
对每个图像块分别采用船企场景对象的识别模型进行局部尺度检测,得到每个图像块中存在的船企场景对象及其对应的语义标签得分;
S104:对所述每个图像块中存在的船企场景对象,采用弱监督学习方法提取船企场景对象的像素级位置信息,计算船企场景对象之间的空间距离;
S105:根据船企场景语义标签得分、每个图像块中存在船企场景对象及其对应的语义标签得分、船企场景对象标签组合、船企场景对象之间的空间距离约束,进行场景类别的综合判定,得到船企提取最终结果。
2.如权利要求1所述的一种结合空间距离约束的多尺度船企场景识别与提取方法,其特征在于:所述船企遥感样本集包括:船企场景样本集、船企场景内船坞对象样本集、厂房对象样本集和船只对象样本集。
3.如权利要求2所述的一种结合空间距离约束的多尺度船企场景识别与提取方法,其特征在于:步骤S102中所述的船企场景对象的识别模型,具体包括:船坞识别模型、厂房识别模型和船只识别模型;所述船企场景识别模型,利用所述船企场景样本集训练所述卷积神经网络模型得到;所述船坞识别模型,利用所述船坞对象样本集训练所述卷积神经网络模型得到;所述厂房识别模型,利用所述厂房对象样本集训练所述卷积神经网络模型得到;所述船只识别模型,利用所述船只对象样本集训练所述卷积神经网络模型得到。
4.如权利要求1所述的一种结合空间距离约束的多尺度船企场景识别与提取方法,其特征在于:步骤S101具体为:
S201:对研究区域的检测影像水边线缓冲区进行裁剪,得到待检测水陆交接影像,缩小船企检测范围;
S202:对船企场景进行解译,得到船企解译标志;所述解译标志包括船坞、厂房和船只;
S203:根据船企解译标志,提取船企的分布情况;
S204:根据船企解译标志和船企分布情况,基于遥感影像对全国船企进行矢量化,获得船企内部地物轮廓以及面积等信息;
S205:基于船企矢量提取结果,对船企空间布局信息进行统计与分析,得到船企场景对象之间的空间约束范围;所述船企空间布局信息,包括:船企占地面积、船企内船坞、厂房和船只的占地面积和空间距离;
S206:基于船企矢量提取结果、资源三号影像和谷歌地球影像数据,制作船企遥感样本集。
5.如权利要求1所述的一种结合空间距离约束的多尺度船企场景识别与提取方法,其特征在于:步骤S102中所述的卷积神经网络模型,采用ResNet作为基准网络。
6.如权利要求1所述的一种结合空间距离约束的多尺度船企场景识别与提取方法,其特征在于:步骤S104中所述的弱监督学习法为不精确监督法,采用Grad-CAM算法,提取每个图像块中存在的船坞、厂房和船只对象的像素级位置信息,此时获取三类对象的像素点位置,进而计算船坞、厂房和船只像素点连线的长度,即为对象之间的空间距离。
7.如权利要求2所述的一种结合空间距离约束的多尺度船企场景识别与提取方法,其特征在于:步骤S105中,所述船企场景对象标签组合,具体为:当检测场景内存在厂房、船只和船坞时,场景判断为船企。
8.如权利要求4所述的一种结合空间距离约束的多尺度船企场景识别与提取方法,其特征在于:步骤S105中,所述船企场景对象之间的空间距离约束,具体为:
所述船企场景对象之间的空间距离,包括:船坞-船只和船坞-厂房局的空间距离,其约束条件为,步骤S205中统计得到的船企内船坞、厂房和船只的空间距离。
9.一种存储设备,其特征在于:所述存储设备存储指令及数据用于实现权利要求1~8所述的任意一种结合空间距离约束的多尺度船企场景识别与提取方法。
10.一种结合空间距离约束的多尺度船企场景识别与提取设备,其特征在于:包括:处理器及存储设备;所述处理器加载并执行存储设备中的指令及数据用于实现权利要求1~8所述的任意一种结合空间距离约束的多尺度船企场景识别与提取方法。
CN202010517131.2A 2020-06-09 2020-06-09 结合空间距离约束的多尺度船企场景识别与提取方法 Active CN111639623B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010517131.2A CN111639623B (zh) 2020-06-09 2020-06-09 结合空间距离约束的多尺度船企场景识别与提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010517131.2A CN111639623B (zh) 2020-06-09 2020-06-09 结合空间距离约束的多尺度船企场景识别与提取方法

Publications (2)

Publication Number Publication Date
CN111639623A CN111639623A (zh) 2020-09-08
CN111639623B true CN111639623B (zh) 2022-04-26

Family

ID=72328654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010517131.2A Active CN111639623B (zh) 2020-06-09 2020-06-09 结合空间距离约束的多尺度船企场景识别与提取方法

Country Status (1)

Country Link
CN (1) CN111639623B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926468B (zh) * 2021-03-03 2023-06-02 河海大学 一种潮滩高程自动提取方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893957A (zh) * 2016-03-30 2016-08-24 上海交通大学 基于视觉湖面船只检测识别与跟踪方法
CN106384344A (zh) * 2016-08-30 2017-02-08 中国科学院长春光学精密机械与物理研究所 一种光学遥感图像海面舰船目标检测与提取方法
CN108596151A (zh) * 2018-05-10 2018-09-28 北京航空航天大学 一种大场景sar图像中舰船目标切片快速提取方法
CN108985247A (zh) * 2018-07-26 2018-12-11 北方工业大学 多光谱图像城市道路识别方法
CN109902629A (zh) * 2019-03-01 2019-06-18 成都康乔电子有限责任公司 一种复杂交通场景下的实时车辆目标检测模型
CN111126335A (zh) * 2019-12-31 2020-05-08 珠海大横琴科技发展有限公司 一种结合显著性和神经网络的sar船只识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2523776B (en) * 2014-03-04 2018-08-01 Toshiba Res Europe Limited Methods for 3D object recognition and pose determination

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893957A (zh) * 2016-03-30 2016-08-24 上海交通大学 基于视觉湖面船只检测识别与跟踪方法
CN106384344A (zh) * 2016-08-30 2017-02-08 中国科学院长春光学精密机械与物理研究所 一种光学遥感图像海面舰船目标检测与提取方法
CN108596151A (zh) * 2018-05-10 2018-09-28 北京航空航天大学 一种大场景sar图像中舰船目标切片快速提取方法
CN108985247A (zh) * 2018-07-26 2018-12-11 北方工业大学 多光谱图像城市道路识别方法
CN109902629A (zh) * 2019-03-01 2019-06-18 成都康乔电子有限责任公司 一种复杂交通场景下的实时车辆目标检测模型
CN111126335A (zh) * 2019-12-31 2020-05-08 珠海大横琴科技发展有限公司 一种结合显著性和神经网络的sar船只识别方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"A brief introduction to weakly supervised learning";Zhi-Hua Zhou;《National Science Review》;20170825;全文 *
"AID: A Benchmark Data Set for Performance Evaluation of Aerial Scene Classification";Gui-Song Xia.et al;《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》;20170731;第55卷(第7期);全文 *
"Multi-scale Graph-matching Based Kernel for Character Recognition from Natural Scenes";SHT Cun-Zhao.et al;《acta automatica sinica》;20140430;第40卷(第4期);全文 *

Also Published As

Publication number Publication date
CN111639623A (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
CN107871119A (zh) 一种基于目标空间知识和两阶段预测学习的目标检测方法
CN109871823B (zh) 一种结合旋转框和上下文信息的卫星图像舰船检测方法
CN103514448A (zh) 船形识别方法和系统
CN110009010A (zh) 基于兴趣区域重检测的宽幅光学遥感目标检测方法
CN110189304A (zh) 基于人工智能的光学遥感图像目标在线快速检测方法
CN111339827A (zh) 基于多区域卷积神经网络的sar图像变化检测方法
CN108021890B (zh) 一种基于plsa和bow的高分遥感影像港口检测方法
CN114612769B (zh) 一种融入局部结构信息的集成感知红外成像舰船检测方法
CN113469097B (zh) 一种基于ssd网络的水面漂浮物多相机实时检测方法
Ding et al. Building detection in remote sensing image based on improved YOLOv5
CN116563726A (zh) 一种基于卷积神经网络的遥感图像舰船目标检测方法
Zheng et al. Building recognition of UAV remote sensing images by deep learning
Wang et al. Insulator defect recognition based on faster R-CNN
Hu et al. A study of automatic recognition and localization of pipeline for ground penetrating radar based on deep learning
Cai et al. Broken ice circumferential crack estimation via image techniques
Hang et al. CNN based detection of building roofs from high resolution satellite images
CN113487600A (zh) 一种特征增强尺度自适应感知船舶检测方法
CN109472790A (zh) 一种机械零件缺陷检测方法及系统
CN111639623B (zh) 结合空间距离约束的多尺度船企场景识别与提取方法
Zhang et al. Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image
CN116246096A (zh) 一种基于前景强化知识蒸馏的点云3d目标检测方法
Liu et al. Pavement distress detection using street view images captured via action camera
CN113344148A (zh) 一种基于深度学习的海上舰船目标识别方法
Zou et al. Maritime target detection of intelligent ship based on faster R-CNN
CN116503750A (zh) 融合目标检测和视觉注意机制的大范围遥感影像农村街区式居民地提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant