CN111832504A - 一种面向卫星在轨应用的空间信息智能一体化生成方法 - Google Patents
一种面向卫星在轨应用的空间信息智能一体化生成方法 Download PDFInfo
- Publication number
- CN111832504A CN111832504A CN202010699241.5A CN202010699241A CN111832504A CN 111832504 A CN111832504 A CN 111832504A CN 202010699241 A CN202010699241 A CN 202010699241A CN 111832504 A CN111832504 A CN 111832504A
- Authority
- CN
- China
- Prior art keywords
- information
- satellite
- model
- target
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000000007 visual effect Effects 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 33
- 238000003708 edge detection Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000000306 recurrent effect Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 10
- 230000006872 improvement Effects 0.000 description 9
- 230000011218 segmentation Effects 0.000 description 9
- 239000003086 colorant Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种面向卫星在轨应用的空间信息智能一体化生成方法,包括如下步骤:S0、通过地面天线向卫星发送任务指令;S1、卫星采集地面目标的遥感影像;S2、基于视觉显著性模型提取遥感影像的目标区域;S3、根据上下文信息采用编码解码模型自动生成语义文本信息;S4、发送给地面用户关注的遥感影像中目标区域对应的语义文本信息。通过上述过程,本发明为卫星信息地面应用提供技术支持,在轨实现遥感影像转化为语义文本信息传送回地面,完成空间信息智能一体化生成,为当前卫星获取数据量大产生的传输难题提供新的解决方案,具有信息在轨生成、应用需求大、星地传输便捷、信息利用效率高的优点。
Description
技术领域
本发明属于航天遥感技术领域,具体涉及一种面向卫星在轨应用的空间信息智能一体化生成方法。
背景技术
随着航天遥感技术的快速进步,高分辨率影像质量不断提高、影像幅宽也稳步提升,致使遥感影像数据在轨获取量成倍增长,卫星地面系统获取的遥感影像数据量已达PB级。面对如此大规模的遥感影像数据,需要具备与遥感数据量相适应的解译能力,然而目前针对遥感影像解译领域的处理方法只能达到地物类别层,没有对影像场景进行推理和理解,无法解决分类结果与高层场景语义信息之间的“语义鸿沟”。如何充分利用影像包含的信息、提取影像特征和语义上下文关系并生成文本信息,对空间信息支持地面应用有重要意义。
发明内容
本发明的目的在于避免现有技术中的不足而提供一种面向卫星在轨应用的空间信息智能一体化生成方法,其为当前卫星获取影像数据量大产生的传输难题提出一条新的解决方案,而且卫星仅下传高价值的文本信息,能够为地面人员提供更快速的信息支持。
本发明的目的通过以下技术方案实现:提供一种面向卫星在轨应用的空间信息智能一体化生成方法,包括如下步骤:
S0、通过地面天线向卫星发送任务指令;
S1、卫星采集地面目标的遥感影像;
S2、基于视觉显著性模型提取遥感影像的目标区域;
S3、根据上下文信息采用编码解码模型自动生成语义文本信息;
S4、发送给地面用户关注的遥感影像中目标区域对应的语义文本信息。
作为进一步的改进,所述步骤S2具体表现为:
S21、通过视觉显著性模型生成显著图;
S22、对显著图做二值化处理并进行标记;
S23、计算疑似目标区域位置;
S24、根据计算结果提取目标切片,选出相关度最高的区域作为目标区域。
作为进一步的改进,所述步骤S21中视觉显著性模型融合频域变换显著性模型和边缘梯度特征显著性模型,所述频域变换显著性模型从频域出发,利用高斯低通滤波,计算Lab颜色空间中单个像素点和输入影像所有像素点平均值的欧氏距离,并将所述欧氏距离作为该像素点的显著值;所述边缘梯度特征显著性模型基于Sobel边缘检测算子对输入影像进行边缘检测,进而得到边缘信息影像。
作为进一步的改进,所述频域变换显著性模型的计算过程为:
①求取输入影像在Lab空间中的特征分量的均值;
②计算输入影像高斯滤波后的影像:
fG=f*G (3)
式中,f为输入影像,G为高斯滤波器,fG为输入影像高斯滤波后的影像;
③计算显著图,定义输入影像在像素点(x,y)处的显著值为S(x,y):
作为进一步的改进,所述边缘梯度特征显著性模型的计算过程为:
(1)设定Sobel边缘检测算子包含两组矩阵,分别为横向模板及纵向模板;
(2)检测水平边沿横向模板Gx;
(3)检测垂直边沿纵向模板Gy;
(4)输入影像每一个像素点的横向模板及纵向梯度近似值均通过以下公式来计算梯度的大小:
式中,G表示每个像素点的梯度大小;
(5)输入影像中像素点参照式(7)产生对应的梯度矢量或其法矢量;
(6)边缘信息影像中每一个像素点的亮度值代表了其边缘强度值。
作为进一步的改进,所述频域变换显著性模型和边缘梯度特征显著性模型通过二维高斯型混合函数进行融合,所述二维高斯型混合函数定义为:
式中,Sedge表示边缘梯度特征图,SGBVS表示计算得到的显著图,σ表示方差,exp表示以e为底的指数函数。
作为进一步的改进,所述步骤S22与步骤S23之间还包括以下过程:
进行形态学腐蚀运算,消除目标区域附近的细小突出,去除点状噪声;
利用膨胀运算将目标区域内部的狭缝去掉,使目标区域更完整;
利用形态学重构填充目标区域内部的孔洞,得到精确的目标区域检测结果。
作为进一步的改进,所述步骤S3中上下文信息用于获取目标区域与周边场景的关系,其基于Faster-RCNN通过特征提取网络、区域建议网络和目标检测网络,在提升输出特征图分辨率和增加上下文信息完善目标区域特征信息的同时,提取目标候选区域的特征和目标周围的背景特征,利用两者融合后的特征进行目标类别判别和边界框回归。
作为进一步的改进,所述编码解码模型为基于循环神经网络的LSTM模型,包括编码器模型和解码器模型,其中,编码器模型结合先验信息,将提取出的候选区域转换为特征向量,解码器模型将特征向量还原为对应的文本特征供语义情报生成。
作为进一步的改进,所述步骤S3中语义文本信息生成具体分为如下步骤:
S31、使用卷积神经网络构建生成网络,根据已检测出的各区域目标以及相关位置信息,得到目标和场景之间的位置关系。
S32、构建判别网络,用来对生成网络生成的文本向量的真伪进行评判,当判别网络无法区分真实特征与生成特征的时候,即表明生成的向量非常接近真实向量,向外输出。
本发明面向卫星获取影像在轨转化生成高价值文本信息直接支持地面应用的需求,卫星根据指令通过视觉显著性模型自主完成影像目标区域提取,根据上下文信息采用编码解码模型自动实时处理影像并生成丰富准确的语义文本信息,最终发送给用户的产品是影像对应的语义文本信息,为地面信息应用提供便捷支持,真正实现空间信息智能一体化生成,为当前卫星获取数据量大产生的传输难题提供新的解决方案,具有信息在轨生成、应用需求大、星地传输便捷、信息利用效率高的优点。
附图说明
利用附图对本发明作进一步说明,但附图中的实施例不构成对本发明的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
图1是一种面向卫星在轨应用的空间信息智能一体化生成方法的流程图。
图2是图1中步骤S2的步骤分解流程图。
图3是特征检测提取算法框架。
图4是基于LSTM的文本表示的原理图。
图5是遥感信息中文分词匹配识别模型。
图6是图1中步骤S3的步骤分解流程图。
图7是生成网络的框架图。
图8是判别网络的框架图。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案,下面结合附图和具体实施例对本发明作进一步详细的描述,需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
需要说明的是,为更好地理解本发明,特对如下名称做出解释:
Lab(颜色模型),由三个要素组成,一个要素是亮度(L),a和b是两个颜色通道,a包括的颜色是从深绿色(低亮度值)到灰色(中亮度值)再到亮粉红色(高亮度值),b是从亮蓝色(低亮度值)到灰色(中亮度值)再到黄色(高亮度值);
Otsu阈值分割方法(最大类间方差法),是一种自适应的阈值确定的方法,是最小二乘法意义下的最优分割;
Faster-RCNN(Faster-Region CNN,更快速的区域卷积神经网络),其采用兴趣区域池化(Region of Interest Pooling,RoI Pooling)来共享计算量较大的部分,提高模型的效率;
Sobel边缘检测算子(索贝尔边缘检测算子),由两个卷积核对原图像进行卷积运算而得到;
长短时记忆网络(Long Short Term Memory Network,LSTM),是一种特殊的RNN模型,为了解决RNN(递归神经网络)模型梯度弥散的问题而提出。
空间信息智能一体化生成方法是瞄准卫星遥感影像主要依赖地面人工判读、难以在轨生成信息并发送给地面人员这一现状,借鉴自然语言处理和影像处理技术,提出的一种基于影像智能解析在轨生成一体化空间信息支持地面应用的实现方案,据此构建一套对遥感影像重要目标区域自动提取和处理并即时生成语义文本信息推送给地面用户的卫星在轨处理系统,以极大提高卫星信息支持地面应用的时效性。
参见图1和图2,本发明实施例提供了一种面向卫星在轨应用的空间信息智能一体化生成方法,其总体技术路线如下所示:
S0、通过地面天线向卫星发送任务指令;
S1、卫星采集地面目标的遥感影像,需要说明的是,遥感影像中包含房屋、道路、桥梁、船舶等人造目标的区域是人视觉注意停留最多的区域,也是显著性较强的区域;
S2、基于视觉显著性模型提取遥感影像的目标区域,优选地,该步骤具体分解为以下内容:
S21、通过视觉显著性模型生成显著图;
S22、对显著图做二值化处理并进行标记,需要说明的是,步骤S22中采用Otsu阈值分割方法对计算的显著图进行自适应二值分割,得到对应的二值图,即假设影像由前景色和背景色构成,通过统计学方法选取一个合适的阈值,满足在最大类间方差判据下最优,将前景色和背景色尽可能分开,显著图中像素值高于分割阈值的为前景,像素值为1,否则为背景,像素值为0;
S23、计算疑似目标区域位置;
S24、根据计算结果提取目标切片,选出相关度最高的区域作为目标区域,需要说明的是,鉴于目标切片中包含大量虚警因素,因此还需要对目标切片进行虚警鉴别,剔除无效目标;
优选地,为更精确地刻画目标,鉴于经阈值处理后的影像,会存在一些孔洞,本发明在步骤S22与步骤S23之间增设对检测结果进行形态学处理的过程,具体为:首先进行形态学腐蚀运算,消除目标区域附近的细小突出,去除点状噪声;然后利用膨胀运算将目标区域内部的狭缝去掉,使目标区域更完整;最后用形态学重构填充目标区域内部的孔洞,得到精确的目标区域检测结果;
S3、根据上下文信息采用编码解码模型自动生成语义文本信息,需要说明的是,语义文本信息是文字报告,主要内容是利用规范化文本描述的形式将遥感影像信息表现出来,例如通过文字报告记录、存储和传输遥感影像中目标的实体状态、空间事件等信息,能够以极小的文本数据量对遥感影像进行描述,展示影像中大量的信息;
S4、发送给地面用户关注的遥感影像中目标区域对应的语义文本信息。
作为进一步优选的实施方式,为了有效利用感兴趣区域的特征提取显著目标,步骤S21中视觉显著性模型融合频域变换显著性模型和边缘梯度特征显著性模型,综合利用遥感影像中各种特征以及目标具有丰富的边缘这一先验知识,可以有效地提取高分辨率遥感影像中的显著性目标,频域变换显著性模型能有效抑制杂波的干扰,显著区域更贴近实际目标,边缘梯度特征显著性模型,对噪声具有平滑作用,有效地保留了影像的真实边缘。
具体地,频域变换显著性模型从频域出发,利用高斯低通滤波,计算Lab颜色空间中单个像素点和输入影像所有像素点平均值的欧氏距离,并将所述欧氏距离作为该像素点的显著值,该模型在强调显著对象的同时,能够建立较为清晰的边界,对纹理和噪声产生的高频信息具有较强的抗干扰能力,并能有效输出全分辨率图即与原图同样大小的显著性图,所述频域变换显著性模型的计算过程为:
①求取输入影像在Lab空间中的特征分量的均值:
假设输入影像f大小为m×n,计算影像f在Lab颜色空间模型中3个特征分量的平均值:
Iμ=[Lμ,aμ,bμ]T (1)
式(1)和(2)中,Iμ表示特征分量平均值,Lμ表示Lab颜色空间中照明度特征分量,aμ表示Lab颜色空间中的a轴(从红色至绿色的范围),bμ表示Lab颜色空间中的b轴(从黄色至蓝色的范围),m×n表示输入图像大小,i和j分别表示图像矩阵的第i行和第j列,L(i,j)、a(i,j)和b(i,j)分别表示对应像素点的照明度值、a轴值和b轴值。
②计算输入影像高斯滤波后的影像:表示
fG=f*G (3)
式中,f为输入影像,G为高斯滤波器,其尺寸一般选取为2×2或5×5,fG为输入影像高斯滤波后的影像,其在Lab颜色空间模型中3个特征值为Iμ=[Lμ,aμ,bμ]T;
③计算显著图,定义输入影像在像素点(x,y)处的显著值为S(x,y):
同时,边缘梯度特征显著性模型基于Sobel边缘检测算子对输入影像进行边缘检测,进而得到边缘信息影像,该边缘梯度特征显著性模型的计算过程为:
(1)设定Sobel边缘检测算子包含两组矩阵,分别为横向模板及纵向模板,两组矩阵的大小一般取值为2×2;
(2)检测水平边沿横向模板Gx,Gx的表达式如下:
(3)检测垂直边沿纵向模板Gy,Gy的表达式如下:
(4)输入影像每一个像素点的横向模板及纵向梯度近似值均通过以下公式来计算梯度的大小:
式中,G表示每个像素点的梯度大小;
(5)输入影像中像素点参照式(7)产生对应的梯度矢量或其法矢量;
(6)边缘信息影像中每一个像素点的亮度值代表了其边缘强度值。
作为进一步优选的实施方式,频域变换显著性模型和边缘梯度特征显著性模型通过二维高斯型混合函数进行融合,所述二维高斯型混合函数定义为:
式中,Sedge表示边缘梯度特征图,SGBVS表示计算得到的显著图,σ表示方差,exp表示以e为底的指数函数。
在进一步地优选实施方式中,步骤S3中上下文信息用于获取目标区域与周边场景的关系,其基于Faster-RCNN通过特征提取网络(FEN)、区域建议网络(RPN)和目标检测网络(ODN),在提升输出特征图分辨率和增加上下文信息完善目标区域特征信息的同时,提取目标候选区域的特征和目标周围的背景特征,利用两者融合后的特征进行目标类别判别和边界框回归,具体参见图3。
此外,值得提及的是,由于汉语语言的特殊性,在汉语语言编码的过程中,要完成遥感影像语义文本信息生成,中文标注分词是需要解决的第一个问题。LSTM模型是传统循环神经网络模型的一种优化结构,能有效解决循环神经网络中由于句子太长所引起的梯度弥散问题。故此,本发明采用的编码解码模型为基于循环神经网络的LSTM模型,包括编码器模型和解码器模型,其中,编码器模型结合先验信息,将提取出的目标候选区域转换为特征向量,解码器模型将特征向量还原为对应的文本特征供语义情报生成。但是其与传统LSTM模型处理文本生成任务通常使用最后一个隐含单元的输出作为整个句子的特征表示向量不同,本发明以所有隐含单元的输出信息作为整个句子的特征表示向量,其具体流程图参见图4。对于要参与训练的语料文本,首先需要对文本进行编码,本发明采用自然语言处理中的Word2vec编码模型,模型的目的是将每一个单词用一个固定的长度远小于词汇表长度的词向量来表示,而所有的这些词向量共同构成一个词向量空间,这样就可以将每一个词向量看作是词向量空间中的一个点。图5为本发明的遥感信息中文分词匹配模型,该模型由词嵌入模型、LSTM模型和CRF层构成,其中,词嵌入模型包括输入层、嵌入层和输出层,以圆形代表观测变量,其作用是以长度远小于词汇本身的词向量对其进行编码表示;LSTM模型以菱形代表长短时记忆网络编码单元,作用是结合单词上下文信息进行特征表达;CRF层以圆形代表随机数量,以单词的特征表达为基础,从整体上对中文分词进行匹配。因此,该模型的参数是二元组兼得分矩阵A和可以生成矩阵P的参数。这些特征表示被级联并线性映射到一个尺寸等于不同标签数量的层上。模型使用条件随机场作为输出层以捕捉相邻词之间的关系,以最终得到每个单字输出。对于词汇表的生成,首先将训练数据的所有中文标注语料进行分词,然后将分词后的词汇进行数据清洗,包括词汇的去重、标点符号的去除以及大小写的归一化,然后将剩余所有词汇编码成为训练所需的词汇表。
同时,如图6所示,步骤S3中语义文本信息生成具体分为如下步骤:
S31、使用卷积神经网络构建生成网络,根据已检测出的各区域目标以及相关位置信息,生成该遥感影像场景的语义描述:
设定生成网络可表示为:RD→RT,T表示文本特征向量的维度,D表示遥感场景的维度,通过生成器的前向传播生成相关的句子 表示生成器生成的文本特征,k为生成器输入的影像,b表示各区域间的位置关系,作为偏移项输入生成网络,生成网络的框架如图7所示。
S32、构建判别网络,用来对生成网络生成的文本向量的真伪进行评判,当判别网络无法区分真实特征与生成特征的时候,即表明生成的向量非常接近真实向量,向外输出,可用该网络对遥感场景进行比较准确的预测:
设定判别网络可表示为RD×RT→{0,1},T表示文本特征向量的维度,D表示遥感场景的维度,sr←D(x,k)表示真实影像特征与真实文本特征的串联,表示错误影像特征与真实文本特征的串联,表示生成影像特征与真实文本特征的串联,因此,损失函数可定义如下:
LD←log(sr)+(log(1-sw)+log(1-sf))/2 (9)
LG←log(sf) (10)
式(9)和(10)中,LD表示判别器的损失函数,LG表示生成器的损失函数,log(sr)表示表示真实影像特征和真实文本特征的关系,log(1-sw)表示表示错误影像特征和真实文本特征的关系,log(1-sf)和log(sf)均表示生成影像特征和真实文本特征的关系,因为生成器和判别器的期望值不同,所以采用不同形式来表示。需要说明的是,使用log函数是为了将连乘转换为运算更为便捷的求和,又因为log为单调递增函数,不会影响优化结果。
通过对生成文本特征真伪的判断,当网络训练完成后,通过对输出文本特征的解码,即可得到该幅遥感场景的描述,判别器的构建如图8所示。
本发明面向卫星获取影像在轨转化生成高价值文本信息直接支持地面应用的需求,提出一种空间信息智能一体化生成方法,卫星根据指令通过视觉显著性模型自主完成影像目标区域提取,根据上下文信息采用编码解码模型自动实时处理并生成语义文本信息,最终发送给用户关注影像区对应的语义文本信息,通过这种方式构建一种扁平化的信息支持地面应用模式,为当前卫星获取影像数据量大产生的传输难题提出一条可行的解决方案,而且卫星仅下传高价值的文本,也能够为地面人员提供更便捷的信息支持;另一方面,为地面机动管控站建设提供一条技术思路,无论是上行的任务指令还是下行的文本信息都可以兆字节完成,这样有望通过机动、便携式天线实现测运控信息处理应用一体化。
上面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,不能理解为对本发明保护范围的限制。
总之,本发明虽然列举了上述优选实施方式,但是应该说明,虽然本领域的技术人员可以进行各种变化和改型,除非这样的变化和改型偏离了本发明的范围,否则都应该包括在本发明的保护范围内。
Claims (10)
1.一种面向卫星在轨应用的空间信息智能一体化生成方法,其特征在于,包括如下步骤:
S0、通过地面天线向卫星发送任务指令;
S1、卫星采集地面目标的遥感影像;
S2、基于视觉显著性模型提取遥感影像的目标区域;
S3、根据上下文信息采用编码解码模型自动生成语义文本信息;
S4、发送给地面用户关注的遥感影像中目标区域对应的语义文本信息。
2.根据权利要求1所述的面向卫星在轨应用的空间信息智能一体化生成方法,其特征在于,所述步骤S2具体表现为:
S21、通过视觉显著性模型生成显著图;
S22、对显著图做二值化处理并进行标记;
S23、计算疑似目标区域位置;
S24、根据计算结果提取目标切片,选出相关度最高的区域作为目标区域。
3.根据权利要求2所述的面向卫星在轨应用的空间信息智能一体化生成方法,其特征在于,所述步骤S21中视觉显著性模型融合频域变换显著性模型和边缘梯度特征显著性模型,所述频域变换显著性模型从频域出发,利用高斯低通滤波,计算Lab颜色空间中单个像素点和输入影像所有像素点平均值的欧氏距离,并将所述欧氏距离作为该像素点的显著值;所述边缘梯度特征显著性模型基于Sobel边缘检测算子对输入影像进行边缘检测,进而得到边缘信息影像。
7.根据权利要求2至6中任一项所述的面向卫星在轨应用的空间信息智能一体化生成方法,其特征在于,所述步骤S22与步骤S23之间还包括以下过程:
进行形态学腐蚀运算,消除目标区域附近的细小突出,去除点状噪声;
利用膨胀运算将目标区域内部的狭缝去掉,使目标区域更完整;
利用形态学重构填充目标区域内部的孔洞,得到精确的目标区域检测结果。
8.根据权利要求1所述的面向卫星在轨应用的空间信息智能一体化生成方法,其特征在于,所述步骤S3中上下文信息用于获取目标区域与周边场景的关系,其基于Faster-RCNN通过特征提取网络、区域建议网络和目标检测网络,在提升输出特征图分辨率和增加上下文信息完善目标区域特征信息的同时,提取目标候选区域的特征和目标周围的背景特征,利用两者融合后的特征进行目标类别判别和边界框回归。
9.根据权利要求8所述的面向卫星在轨应用的空间信息智能一体化生成方法,其特征在于,所述编码解码模型为基于循环神经网络的LSTM模型,包括编码器模型和解码器模型,其中,编码器模型结合先验信息,将提取出的目标候选区域转换为特征向量,解码器模型将特征向量还原为对应的文本特征供语义情报生成。
10.根据权利要求9所述的面向卫星在轨应用的空间信息智能一体化生成方法,其特征在于,所述步骤S3中语义文本信息生成具体分为如下步骤:
S31、使用卷积神经网络构建生成网络,根据已检测出的各区域目标以及相关位置信息,得到目标和场景之间的位置关系;
S32、构建判别网络,用来对生成网络生成的文本向量的真伪进行评判,当判别网络无法区分真实特征与生成特征的时候,即表明生成的向量非常接近真实向量,向外输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010699241.5A CN111832504A (zh) | 2020-07-20 | 2020-07-20 | 一种面向卫星在轨应用的空间信息智能一体化生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010699241.5A CN111832504A (zh) | 2020-07-20 | 2020-07-20 | 一种面向卫星在轨应用的空间信息智能一体化生成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111832504A true CN111832504A (zh) | 2020-10-27 |
Family
ID=72924518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010699241.5A Pending CN111832504A (zh) | 2020-07-20 | 2020-07-20 | 一种面向卫星在轨应用的空间信息智能一体化生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111832504A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113241139A (zh) * | 2021-04-21 | 2021-08-10 | 辽宁万象联合医疗科技有限公司 | 一种基于儿童放射影像质量控制的人工智能系统及方法 |
CN113297855A (zh) * | 2021-06-25 | 2021-08-24 | 中国人民解放军战略支援部队航天工程大学 | 一种面向卫星在轨应用的嵌入式遥感影像文本生成方法 |
CN113379785A (zh) * | 2021-06-22 | 2021-09-10 | 辽宁工程技术大学 | 一种融合边界先验与频域信息的显著性目标检测方法 |
CN113691305A (zh) * | 2021-10-26 | 2021-11-23 | 武汉兴图新科电子股份有限公司 | 基于云-边-端的北斗三号短报文信道的图片传输方法 |
CN114676907A (zh) * | 2022-01-17 | 2022-06-28 | 中国地质大学(北京) | 一种区域地质灾害预警方法、装置、存储介质及设备 |
CN114694034A (zh) * | 2020-12-28 | 2022-07-01 | 株式会社协同创新技术 | 利用基于人工智能的卫星影像的教育服务提供方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110414411A (zh) * | 2019-07-24 | 2019-11-05 | 中国人民解放军战略支援部队航天工程大学 | 基于视觉显著性的海面船只候选区域检测方法 |
CN110516530A (zh) * | 2019-07-09 | 2019-11-29 | 杭州电子科技大学 | 一种基于非对齐多视图特征增强的图像描述方法 |
CN111024043A (zh) * | 2019-12-24 | 2020-04-17 | 智时空科技(深圳)有限公司 | 基于传感器触发的卫星遥感方法 |
CN111159454A (zh) * | 2019-12-30 | 2020-05-15 | 浙江大学 | 基于Actor-Critic生成式对抗网络的图片描述生成方法及系统 |
-
2020
- 2020-07-20 CN CN202010699241.5A patent/CN111832504A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110516530A (zh) * | 2019-07-09 | 2019-11-29 | 杭州电子科技大学 | 一种基于非对齐多视图特征增强的图像描述方法 |
CN110414411A (zh) * | 2019-07-24 | 2019-11-05 | 中国人民解放军战略支援部队航天工程大学 | 基于视觉显著性的海面船只候选区域检测方法 |
CN111024043A (zh) * | 2019-12-24 | 2020-04-17 | 智时空科技(深圳)有限公司 | 基于传感器触发的卫星遥感方法 |
CN111159454A (zh) * | 2019-12-30 | 2020-05-15 | 浙江大学 | 基于Actor-Critic生成式对抗网络的图片描述生成方法及系统 |
Non-Patent Citations (2)
Title |
---|
PETER ANDERSON ET AL.: "Bottom-up and top-down attention for image captioning and visual question answering", 《ARXIV.ORG》, pages 1 - 15 * |
ZIYU XUE ET AL.: "Slot based Image Captioning with WGAN", 《2019 IEEE/ACIS 18TH INTERNATIONAL CONFERENCE ON COMPUTER AND INFORMATION SCIENCE (ICIS)》, pages 241 - 246 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114694034A (zh) * | 2020-12-28 | 2022-07-01 | 株式会社协同创新技术 | 利用基于人工智能的卫星影像的教育服务提供方法及装置 |
CN113241139A (zh) * | 2021-04-21 | 2021-08-10 | 辽宁万象联合医疗科技有限公司 | 一种基于儿童放射影像质量控制的人工智能系统及方法 |
CN113379785A (zh) * | 2021-06-22 | 2021-09-10 | 辽宁工程技术大学 | 一种融合边界先验与频域信息的显著性目标检测方法 |
CN113379785B (zh) * | 2021-06-22 | 2024-03-15 | 辽宁工程技术大学 | 一种融合边界先验与频域信息的显著性目标检测方法 |
CN113297855A (zh) * | 2021-06-25 | 2021-08-24 | 中国人民解放军战略支援部队航天工程大学 | 一种面向卫星在轨应用的嵌入式遥感影像文本生成方法 |
CN113297855B (zh) * | 2021-06-25 | 2023-08-18 | 中国人民解放军战略支援部队航天工程大学 | 一种面向卫星在轨应用的嵌入式遥感影像文本生成方法 |
CN113691305A (zh) * | 2021-10-26 | 2021-11-23 | 武汉兴图新科电子股份有限公司 | 基于云-边-端的北斗三号短报文信道的图片传输方法 |
CN114676907A (zh) * | 2022-01-17 | 2022-06-28 | 中国地质大学(北京) | 一种区域地质灾害预警方法、装置、存储介质及设备 |
CN114676907B (zh) * | 2022-01-17 | 2022-09-20 | 中国地质大学(北京) | 一种区域地质灾害预警方法、装置、存储介质及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111832504A (zh) | 一种面向卫星在轨应用的空间信息智能一体化生成方法 | |
CN108921799B (zh) | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 | |
CN108573276B (zh) | 一种基于高分辨率遥感影像的变化检测方法 | |
CN110598610B (zh) | 一种基于神经选择注意的目标显著性检测方法 | |
Zhou et al. | Multiscale water body extraction in urban environments from satellite images | |
Chen et al. | Vehicle detection in high-resolution aerial images based on fast sparse representation classification and multiorder feature | |
CN103049763B (zh) | 一种基于上下文约束的目标识别方法 | |
CN111104943B (zh) | 基于决策级融合的彩色图像感兴趣区域提取方法 | |
CN109934224B (zh) | 基于马尔科夫随机场和视觉对比机制的小目标检测方法 | |
Sun et al. | Global Mask R-CNN for marine ship instance segmentation | |
CN112561876A (zh) | 基于图像的池塘和水库的水质检测方法及系统 | |
CN111027511A (zh) | 基于感兴趣区块提取的遥感图像舰船检测方法 | |
CN107705313A (zh) | 一种遥感图像舰船目标分割方法 | |
CN115424017B (zh) | 一种建筑物内外轮廓分割方法、装置及存储介质 | |
CN114549567A (zh) | 基于全方位感知的伪装目标图像分割方法 | |
Liu et al. | Haze removal for a single inland waterway image using sky segmentation and dark channel prior | |
Zhang et al. | Single image dehazing based on bright channel prior model and saliency analysis strategy | |
CN114926826A (zh) | 场景文本检测系统 | |
Huang et al. | A correlation context-driven method for sea fog detection in meteorological satellite imagery | |
Dong et al. | A cloud detection method for GaoFen-6 wide field of view imagery based on the spectrum and variance of superpixels | |
Chen et al. | Attentive generative adversarial network for removing thin cloud from a single remote sensing image | |
CN112330562A (zh) | 一种异构遥感图像变换方法及系统 | |
Shibata et al. | Restoration of sea surface temperature satellite images using a partially occluded training set | |
Gao et al. | Maritime infrared image super-resolution using cascaded residual network and novel evaluation metric | |
CN114943869B (zh) | 风格迁移增强的机场目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |