CN113840127B - 一种卫星视频影像获取水域自动掩膜处理dsm的方法 - Google Patents

一种卫星视频影像获取水域自动掩膜处理dsm的方法 Download PDF

Info

Publication number
CN113840127B
CN113840127B CN202110927702.4A CN202110927702A CN113840127B CN 113840127 B CN113840127 B CN 113840127B CN 202110927702 A CN202110927702 A CN 202110927702A CN 113840127 B CN113840127 B CN 113840127B
Authority
CN
China
Prior art keywords
image
points
point
dsm
water area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110927702.4A
Other languages
English (en)
Other versions
CN113840127A (zh
Inventor
高放
李文涛
陆晴
姜振平
张鹏
翟雨薇
范泽琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chang Guang Satellite Technology Co Ltd
Original Assignee
Chang Guang Satellite Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chang Guang Satellite Technology Co Ltd filed Critical Chang Guang Satellite Technology Co Ltd
Priority to CN202110927702.4A priority Critical patent/CN113840127B/zh
Publication of CN113840127A publication Critical patent/CN113840127A/zh
Application granted granted Critical
Publication of CN113840127B publication Critical patent/CN113840127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种卫星视频影像获取水域自动掩膜处理DSM的方法。步骤1:输入卫星视频凝视影像;步骤2:利用卫星视频凝视影像的立体像对水域进行提取;步骤3:利用卫星视频凝视影像的立体像对区域网进行平差;步骤4:利用卫星视频凝视影像的立体像生成核线影像;步骤5:利用生成的核线影像的进行密集匹配;步骤6:利用的密集匹配对水域区域的密集匹配点进行剔除;步骤7:对水域区域剔除密集匹配点的区域进行高程解算;步骤8:基于解算出的DSM点云,在其内插入规则格网进而生成DSM影像。本发明用以解决传统立体像对进行立体测图无法对水域覆盖区域进行处理,生成DSM成果后,需要花费时间和精力进行水域掩膜的问题。

Description

一种卫星视频影像获取水域自动掩膜处理DSM的方法
技术领域
本发明属于图像处理技术领域;具体涉及一种卫星视频影像获取水域自动掩膜处理DSM的方法。
背景技术
由长光卫星技术有限公司自主研制的“吉林一号”系列视频卫星分辨率达到了米级,影像尺寸达到了12k×5k,其成像模式为凝视成像,可以长时间以不同角度对地面同一区域进行拍摄成像,获取卫星视频,该视频是由不同角度的视频单帧影像组成,挑选视角差较大的影像对可以构成基高比满足要求的立体像对,进行立体测图生产DSM成果;在拍摄的视频影像中经常会有水域地貌特征出现,由于水域纹理单一,在进行立体测图生产时,对匹配有很大影响,会出现匹配精度低、匹配错误等现象,导致获取的DSM成果在水域对应区域的高程值异常,需要后续人工掩膜,消耗较大的时间和精力。
传统立体像对进行立体测图无法对水域覆盖区域进行处理,生成DSM成果后,需要花费时间和精力进行水域掩膜。
发明内容
本发明提供一种卫星视频影像获取水域自动掩膜处理DSM的方法,用以解决传统立体像对进行立体测图无法对水域覆盖区域进行处理,生成DSM成果后,需要花费时间和精力进行水域掩膜的问题。
本发明通过以下技术方案实现:
一种卫星视频影像获取水域自动掩膜处理DSM的方法,所述处理DSM的方法包括以下步骤:
步骤1:输入卫星视频凝视影像;
步骤2:利用步骤1卫星视频凝视影像的立体像对水域进行提取;
步骤3:利用步骤1卫星视频凝视影像的立体像对区域网进行平差;
步骤4:利用步骤1卫星视频凝视影像的立体像生成核线影像;
步骤5:利用步骤4生成的核线影像的进行密集匹配;
步骤6:利用步骤5的密集匹配对水域区域的密集匹配点进行剔除;
步骤7:对步骤6水域区域剔除密集匹配点的区域进行高程解算;
步骤8:基于步骤7解算出的DSM点云,在其内插入规则格网进而生成DSM影像。
进一步的,所述步骤2具体包括以下步骤:
步骤2.1:分别读取主影像Image_m和搜索影像Image_fz,输入至语义特征提取网络CoarseNet中,通过步长为2的卷积层和多个改进的综合卷积神经网络模块后,点卷积计算得主影像和搜索影像对应的到包含语义信息的特征图Feature_map_one_m和Feature_map_one_fz。
步骤2.2:分别读取主影像Image_m和搜索影像Image_fz输入至位置特征提取网络FineNet中,通过下采样操作压缩图像尺寸为原影像尺寸的1/2,通过改进的综合卷积神经网络模块提取空间细节信息,生成主影像和搜索影像对应的精细的水域分割边界特征Feature_map_two_m和Feature_map_two_fz。
步骤2.3:上述步骤2.1与步骤2.2为并行计算过程,将步骤2.1计算得到的特征图Feature_map_one_m和Feature_map_one_fz分别与步骤2.2计算得到的特征图Feature_map_two_m和Feature_map_two_fz进行双线性插值上采样操作,通过逐像素线性计算,得到与视频影像影像同等大小的水域二值图影像Real_Feature_m和Real_Feature_fz,两幅二值图中水域区域点灰度值为255,非水域区域点灰度值为0。
进一步的,所述步骤3具体包括以下步骤:
步骤3.1:在主影像Image_m上均匀选取N个像素点作为影像参考点(ri,ci);
步骤3.2:采用主影像的RPC参数和辅助DEM,解算主影像中的参考点(ri,ci)对应的物方坐标,记为参考物方点(Xi,Yi);
步骤3.3:采用搜索影像的RPC参数和辅助DEM,解算参考物点在搜索影像上对应的像点坐标,记为参考对应点(r′i,c′i);
步骤3.4:以每一个参考对应点和参考点为中心,在搜索影像和主影像上分别取像素个数为m0×n0的图像子块,将搜索影像的每个图像子块与主影像对应的图像子块进行SURF特征匹配,获取匹配点,使用RANSAC方法进行误匹配剔除,保存剩余的高精度匹配点位置坐标;
步骤3.5:为主影像Image_m和搜索影像Image_fz各设置一组像方补偿参数用来消除影像的系统误差;
步骤3.6:将提取的匹配点结合控制点与像方补偿参数构建平差模型;
步骤3.7:解算平差模型方程,分别保存主影像Image_m和搜索影像Image_fz的像方补偿参数。
进一步的,所述步骤3.2中参考物方点(Xi,Yi)的投影表达式为:
式中,p′i表示RPC多项式的反解形式;Z为辅助DEM提供的物方坐标迭代高程值;
所述步骤3.3参考对应点(r′i,c′i)的投影表达式为:
式中,Xi,Yi,Zi为匹配点对应的地面坐标,pi表示RPC多项式的正解形式具体形式为:
pi(X,Y,Z)=a1+a2X+a3Y+a4Z+a5XY+a6XZ+a7YZ+a8X2+a9Y2+a10Z2+a11YXZ+a12X3+a13XY2+a14XZ2+a15X2Y+a16Y3+a17YZ2+a18X2Z+a19Y2Z+a2023
其中,X、Y、Z为地面点坐标,a1-a20为RPC参数文件给出的参数值;
所述步骤3.5像方补偿参数的具体应用形式为:
其中,a0、al、as、b0、bl、bs为像方补偿参数,(l,s)为某地面点T(X,Y,Z)根据原始立体像对的RPC参数通过RPC模型解算得到的在立体像对上的影像坐标,(l′,s′)为地面点T在立体像对上对应的真实影像坐标;
所述步骤3.6平差模型如下:
其中Xi,Yi,Zi为匹配点对应的地面点坐标,RS,R0,CS,C0为立体像对RPC参数文件中的归一化参数,pi表示RPC多项式的正解形式。
进一步的,所述步骤4具体包括以下步骤:
步骤4.1:选取主影像Image_m的RPC参数中的高程标准化平移尺度参数H为投影高程面;
步骤4.2:确定核线在步骤4.1中投影高程面上的近似核线方向;
步骤4.3:根据4.2中解算得到的立体像对近似核线排列方向,进行核线影像重采样;
对主影像Image_m进行重采样,生成主影像对应的核线影像Image_epi_m并保存其映射关系Image_epi_tab_m,对搜索影像Image_fz进行重采样生成搜索影像对应的核线影像Image_epi_fz,并保存其映射关系Image_epi_tab_fz。
进一步的,所述步骤4.2具体为,首先,在主影像Image_m的中心位置取一个像点A,令D1和D2为其摄影光线上位于投影高程面H附近的两点,其高程分别为H+Hs、H-Hs,根据RPC模型反解方程得到D1和D2的经纬度坐标;
然后,根据RPC模型正解方程解算得到D1和D2在搜索影像Image_fz上的像点D3、D4的像素坐标;
最后,根据搜索影像Image_fz的RPC参数和RPC反解模型解算D3、D4在投影高程面H上的经纬度坐标D5、D6,此时,D5和D6的经纬度坐标连线方向为立体像对的近似核线方向,即立体像对近似核线在投影高程面上的排列方向。
进一步的,所述步骤5具体包括以下步骤:
步骤5.1:主影像的核线影像Image_epi_m和搜索影像的核线影像Image_epi_fz具有行对应关系,即主影像某地物点所在的行数与对应的匹配点所在的行数必然相同,采用SGM算法获取主影像核线影像上所有点对应的匹配点并保存为视差图Image_disparity';
步骤5.2:根据步骤4中核线影像生成过程中保存的核线影像与原始立体像对的映射关系Image_epi_tab_m和Image_epi_tab_fz,将密集匹配点对的核线影像坐标转换为原始立体像对上的影像坐标,保存为密集匹配连接点集SM_Points。
进一步的,所述步骤6具体包括以下步骤:
步骤6.1:对密集匹配连接点集SM_Points中的每个连接点对建立水域属性参数Wot,以1和0来分别标记该连接点在水域中与不在水域中;
步骤6.2:根据主影像水域分布二值图Real_Feature_m,对连接点集SM_Points中的每个连接点对进行标记,连接点对中主影像点坐标在主影像水域分布二值图中对应点的灰度值为255时,该连接点对的Wot参数值标记为1,否则Wot参数值标记为0;
步骤6.3:根据搜索影像水域分布二值图Real_Feature_fz,对连接点集SM_Points中的每个连接点对进行标记,连接点对中搜索影像坐标在搜索影像水域分布二值图中对应点的灰度值为255时,该连接点对的Wot参数值标记为1,否则Wot参数值标记为0;
步骤6.4:将密集匹配连接点集SM_Points中所有水域属性参数Wot值为1的连接点对进行剔除,保留水域属性参数Wot值为0的连接点对,生成有效密集匹配连接点集SM_Points_Real。
进一步的,所述步骤7具体包括以下步骤:
步骤7.1:使用6.4获取的有效密集匹配连接点集SM_Points_Real中的所有连接点坐标、像方补偿参数和RPC参数构建方程,方程具体形式为:
式中,lori,sori为有效密集匹配连接点坐标,a0、al、as、b0、bl、bs为立体像对所对应的像方补偿参数;Xi,Yi,Zi为连接点对应的地面坐标,RS,R0,CS,C0为立体像对RPC参数文件中的归一化参数,pi,i=1,2,3,4为RPC多项式的正解形式;
步骤7.2:以(Xi,Yi,Zi)为未知参数,连接点坐标、像方补偿参数、RPC参数为已知量,对所有连接点构建方程,以连接点像方坐标误差最小为平差方向,对构建的方程组进行最小二乘解算,得到所有连接点对应的地面点三维坐标,构建DSM点云Cloud_Dsm。
进一步的,所述步骤8具体包括以下步骤:
步骤8.1:统计DSM点云Cloud_Dsm中所有点覆盖的经纬度范围,确定经纬度的最大值和最小值,以经纬度的最大值、最小值作为DSM影像的覆盖范围,并根据设定的DSM影像分辨率建立DSM影像格网空间结构,并确定所有格网点的经纬度坐标;
步骤8.2:利用KD-Tree算法对点云Cloud_Dsm中的每个三维点按平面坐标生成索引,建立KD-Tree,使用基于KD-Tree的近邻搜索算法,搜索每个格网点平面距离最近的Num个备用点,计算每个搜索到的备用点与格网点的平面距离,剔除平面距离值大于3倍分辨率的备用点,根据剩余备用点的三维坐标,内插出对应格网点的高程值;
步骤8.3:根据内插后获取的每个格网点的三维坐标生成DSM影像并以GeoTIFF格式输出,完成DSM产品的生成。
本发明的有益效果是:
立体测图使用的数据为卫星视频影像,并非传统的推扫影像,同时,本技术方案创新性的将深度学习应用到立体测图中来,能够自动化的实现水域区域提取,并且根据提取的水域分布二值图,对立体测图结果进行筛选优化,从而保证生成的DSM成果中的水域区域完成自动掩膜,无需后续的人工编辑,实现高效、高精度水域自动掩膜DSM成果的生成。
附图说明
附图1是本发明的方法流程图。
附图2是本发明的立体像对图,其中,(a)立体像对主影像图,(b)立体像对搜索影像图。
附图3是本发明的水域二值图图,其中,(a)主影像水域二值图,(b)搜索影像水域二值图。
附图4是本发明的无水域掩膜DSM成果图,其中,(a)无水域掩膜DSM成果黑白图,(b)无水域掩膜DSM成果渲染图。
附图5是本发明的自动水域掩膜DSM成果图,其中,(a)自动水域掩膜DSM成果黑白图,(b)自动水域掩膜DSM成果渲染图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
一种卫星视频影像获取水域自动掩膜处理DSM的方法,所述处理DSM的方法包括以下步骤:
步骤1:输入卫星视频凝视影像;
步骤2:利用步骤1卫星视频凝视影像的立体像对水域进行提取;
步骤3:利用步骤1卫星视频凝视影像的立体像对区域网进行平差;
步骤4:利用步骤1卫星视频凝视影像的立体像生成核线影像;
步骤5:利用步骤4生成的核线影像的进行密集匹配;
步骤6:利用步骤5的密集匹配对水域区域的密集匹配点进行剔除;
步骤7:对步骤6水域区域剔除密集匹配点的区域进行高程解算;
步骤8:基于步骤7解算出的DSM点云,在其内插入规则格网进而生成DSM影像。
进一步的,卫星在凝视拍摄模式下获取一组不同拍摄角度的视频影像,选取基高比大于0.5的一对影像作为输入影像,选择其中一幅影像作为主影像Image_m,另一幅影像作为搜索影像Image_fz,如图2中影像所示。
进一步的,所述步骤2具体包括以下步骤:
步骤2.1:分别读取主影像Image_m和搜索影像Image_fz,输入至语义特征提取网络CoarseNet中,通过步长为2的卷积层和多个改进的综合卷积神经网络模块后,点卷积计算得主影像和搜索影像对应的到包含语义信息的特征图Feature_map_one_m和Feature_map_one_fz。
步骤2.2:分别读取主影像Image_m和搜索影像Image_fz输入至位置特征提取网络FineNet中,通过下采样操作压缩图像尺寸为原影像尺寸的1/2,通过改进的综合卷积神经网络模块提取空间细节信息,生成主影像和搜索影像对应的精细的水域分割边界特征Feature_map_two_m和Feature_map_two_fz。
步骤2.3:上述步骤2.1与步骤2.2为并行计算过程,将步骤2.1计算得到的特征图Feature_map_one_m和Feature_map_one_fz分别与步骤2.2计算得到的特征图Feature_map_two_m和Feature_map_two_fz进行双线性插值上采样操作,通过逐像素线性计算,得到与视频影像影像同等大小的水域二值图影像Real_Feature_m和Real_Feature_fz,两幅二值图中水域区域点灰度值为255,非水域区域点灰度值为0,如图3中所示。
进一步的,所述步骤3具体包括以下步骤:
步骤3.1:在主影像Image_m上均匀选取N个像素点作为影像参考点(ri,ci);
步骤3.2:采用主影像的RPC(Rational Polynomial Coefficients,有理函数模型)参数和辅助DEM(Digital Elevation Model,数字高程模型),解算主影像中的参考点(ri,ci)对应的物方坐标,记为参考物方点(Xi,Yi);
步骤3.3:采用搜索影像的RPC参数和辅助DEM,解算参考物点在搜索影像上对应的像点坐标,记为参考对应点(r′i,c′i);
步骤3.4:以每一个参考对应点和参考点为中心,在搜索影像和主影像上分别取像素个数为m0×n0的图像子块,将搜索影像的每个图像子块与主影像对应的图像子块进行SURF特征匹配,获取匹配点,使用RANSAC方法进行误匹配剔除,保存剩余的高精度匹配点位置坐标;
步骤3.5:为主影像Image_m和搜索影像Image_fz各设置一组像方补偿参数用来消除影像的系统误差;
步骤3.6:将提取的匹配点结合控制点与像方补偿参数构建平差模型;
步骤3.7:解算平差模型方程,分别保存主影像Image_m和搜索影像Image_fz的像方补偿参数。
进一步的,所述步骤3.2中参考物方点(Xi,Yi)的投影表达式为:
式中,p′i表示RPC多项式的反解形式;Z为辅助DEM提供的物方坐标迭代高程值;
所述步骤3.3参考对应点(r′i,c′i)的投影表达式为:
式中,Xi,Yi,Zi为匹配点对应的地面坐标,pi表示RPC多项式的正解形式具体形式为:
pi(X,Y,Z)=a1+a2X+a3Y+a4Z+a5XY+a6XZ+a7YZ+a8X2+a9Y2+a10Z2+a11YXZ+a12X3+a13XY2+a14XZ2+a15X2Y+a16Y3+a17YZ2+a18X2Z+a19Y2Z+a20Z3
其中,X、Y、Z为地面点坐标,a1-a20为RPC参数文件给出的参数值;
所述步骤3.5像方补偿参数的具体应用形式为:
其中,a0、al、as、b0、bl、bs为像方补偿参数,(l,s)为某地面点T(X,Y,Z)根据原始立体像对的RPC参数通过RPC模型解算得到的在立体像对上的影像坐标,(l′,s′)为地面点T在立体像对上对应的真实影像坐标;
所述步骤3.6平差模型如下:
其中Xi,Yi,Zi为匹配点对应的地面点坐标,RS,R0,CS,C0为立体像对RPC参数文件中的归一化参数,pi表示RPC多项式的正解形式。
进一步的,所述步骤4具体包括以下步骤:
步骤4.1:选取主影像Image_m的RPC参数中的高程标准化平移尺度参数H为投影高程面;
步骤4.2:确定核线在步骤4.1中投影高程面上的近似核线方向;
步骤4.3:根据4.2中解算得到的立体像对近似核线排列方向,进行核线影像重采样;
对主影像Image_m进行重采样,生成主影像对应的核线影像Image_epi_m并保存其映射关系Image_epi_tab_m,对搜索影像Image_fz进行重采样生成搜索影像对应的核线影像Image_epi_fz,并保存其映射关系Image_epi_tab_fz。
进一步的,所述步骤4.2具体为,首先,在主影像Image_m的中心位置取一个像点A,令D1和D2为其摄影光线上位于投影高程面H附近的两点,其高程分别为H+Hs、H-Hs(Hs为RPC参数中的高程标准化缩放尺度参数),根据RPC模型反解方程得到D1和D2的经纬度坐标;
然后,根据RPC模型正解方程解算得到D1和D2在搜索影像Image_fz上的像点D3、D4的像素坐标;
最后,根据搜索影像Image_fz的RPC参数和RPC反解模型解算D3、D4在投影高程面H上的经纬度坐标D5、D6,此时,D5和D6的经纬度坐标连线方向为立体像对的近似核线方向,即立体像对近似核线在投影高程面上的排列方向。
进一步的,所述步骤5具体包括以下步骤:
步骤5.1:主影像的核线影像Image_epi_m和搜索影像的核线影像Image_epi_fz具有行对应关系,即主影像某地物点所在的行数与对应的匹配点所在的行数必然相同,采用SGM(半全局匹配)算法获取主影像核线影像上所有点对应的匹配点并保存为视差图Image_disparity';
步骤5.2:根据步骤4中核线影像生成过程中保存的核线影像与原始立体像对的映射关系Image_epi_tab_m和Image_epi_tab_fz,将密集匹配点对的核线影像坐标转换为原始立体像对上的影像坐标,保存为密集匹配连接点集SM_Points。
进一步的,所述步骤6具体包括以下步骤:
步骤6.1:对密集匹配连接点集SM_Points中的每个连接点对建立水域属性参数Wot,以1和0来分别标记该连接点在水域中与不在水域中;
步骤6.2:根据主影像水域分布二值图Real_Feature_m,对连接点集SM_Points中的每个连接点对进行标记,连接点对中主影像点坐标在主影像水域分布二值图中对应点的灰度值为255时,该连接点对的Wot参数值标记为1,否则Wot参数值标记为0;
步骤6.3:根据搜索影像水域分布二值图Real_Feature_fz,对连接点集SM_Points中的每个连接点对进行标记,连接点对中搜索影像坐标在搜索影像水域分布二值图中对应点的灰度值为255时,该连接点对的Wot参数值标记为1,否则Wot参数值标记为0;
步骤6.4:将密集匹配连接点集SM_Points中所有水域属性参数Wot值为1的连接点对进行剔除,保留水域属性参数Wot值为0的连接点对,生成有效密集匹配连接点集SM_Points_Real。
进一步的,所述步骤7具体包括以下步骤:
步骤7.1:使用6.4获取的有效密集匹配连接点集SM_Points_Real中的所有连接点坐标、像方补偿参数和RPC参数构建方程,方程具体形式为:
式中,lori,sori为有效密集匹配连接点坐标,a0、al、as、b0、bl、bs为立体像对所对应的像方补偿参数;Xi,Yi,Zi为连接点对应的地面坐标,RS,R0,CS,C0为立体像对RPC参数文件中的归一化参数,pi,i=1,2,3,4为RPC多项式的正解形式;
步骤7.2:以(Xi,Yi,Zi)为未知参数,连接点坐标、像方补偿参数、RPC参数为已知量,对所有连接点构建方程,以连接点像方坐标误差最小为平差方向,对构建的方程组进行最小二乘解算,得到所有连接点对应的地面点三维坐标,构建DSM点云Cloud_Dsm。
进一步的,所述步骤8具体包括以下步骤:
步骤8.1:统计DSM点云Cloud_Dsm中所有点覆盖的经纬度范围,确定经纬度的最大值和最小值,以经纬度的最大值、最小值作为DSM影像的覆盖范围,并根据设定的DSM影像分辨率建立DSM影像格网空间结构,并确定所有格网点的经纬度坐标;
步骤8.2:利用KD-Tree算法对点云Cloud_Dsm中的每个三维点按平面坐标生成索引,建立KD-Tree,使用基于KD-Tree的近邻搜索算法,搜索每个格网点平面距离最近的Num个备用点,计算每个搜索到的备用点与格网点的平面距离,剔除平面距离值大于3倍分辨率的备用点,根据剩余备用点的三维坐标,内插出对应格网点的高程值;
步骤8.3:根据内插后获取的每个格网点的三维坐标生成DSM影像并以GeoTIFF格式输出,完成DSM产品的生成,如图5中所示。
使用卫星视频影像进行立体测图生产。
使用深度学习进行立体影像水域提取,将深度学习应用于卫星视频影像立体测图生产中。
使用深度学习提取的水域范围对立体匹配连接点进行筛选,删除水域区域的连接点。
生成水域自动掩膜的DSM成果,无需后续人工处理。
实施例2
结合图1至图5说明本实施例,本实施例具体实施例1所述的卫星视频影像获取水域自动掩膜处理DSM成果的方法的验证实例:依次给出技术方法流程图、卫星视频立体像对、立体像对对应的水域二值图,并在最后展示生成的水域自动掩膜处理前后的DSM成果。
如图1所示为卫星视频影像获取水域自动掩膜处理DSM成果的方法的技术流程图;
图2所示为吉林一号视频03星拍摄的两景视频卫星影像,具有较高的重叠度基高比超过0.5,可满足立体测图要求,该图中局部区域为水域;图3中图3a和图3b分别为使用深度学习提取的立体像对的主影像和搜索影像对应的水域二值图;图4中图4a为没有经过水域连接点剔除处理生成的DSM成果,其中非水域区域具有较高精度,并且纹理丰富清晰,能够真实反映地形地貌,水域对应区域高程值异常且无规律,无法反映水域地貌,图4b为该DSM成果对应的彩色渲染图;图5中图5a为经过水域连接点自动剔除处理生成的DSM成果,其中非水域区域具有较高精度,并且纹理丰富清晰,能够真实反映地形地貌,水域区域高程统一被掩膜为地区平均高程值,整体效果较好,能够反映水域区域地貌特征,无需后续人工处理,图5b为该DSM成果对应的彩色渲染图。

Claims (8)

1.一种卫星视频影像获取水域自动掩膜处理DSM的方法,其特征在于,所述处理DSM的方法包括以下步骤:
步骤1:输入卫星视频凝视影像;
步骤2:利用步骤1卫星视频凝视影像的立体像对水域进行提取;
步骤3:利用步骤1卫星视频凝视影像的立体像对区域网进行平差;
步骤4:利用步骤1卫星视频凝视影像的立体像生成核线影像;
步骤5:利用步骤4生成的核线影像的进行密集匹配;
步骤6:利用步骤5的密集匹配对水域区域的密集匹配点进行剔除;
步骤7:对步骤6水域区域剔除密集匹配点的区域进行高程解算;
步骤8:基于步骤7解算出的DSM点云,在其内插入规则格网进而生成DSM影像;
所述步骤2具体包括以下步骤:
步骤2.1:分别读取主影像Image_m和搜索影像Image_fz,输入至语义特征提取网络CoarseNet中,通过步长为2的卷积层和多个改进的综合卷积神经网络模块后,点卷积计算得主影像和搜索影像对应的到包含语义信息的特征图Feature_map_one_m和Feature_map_one_fz;
步骤2.2:分别读取主影像Image_m和搜索影像Image_fz输入至位置特征提取网络FineNet中,通过下采样操作压缩图像尺寸为原影像尺寸的1/2,通过改进的综合卷积神经网络模块提取空间细节信息,生成主影像和搜索影像对应的精细的水域分割边界特征Feature_map_two_m和Feature_map_two_fz;
步骤2.3:上述步骤2.1与步骤2.2为并行计算过程,将步骤2.1计算得到的特征图Feature_map_one_m和Feature_map_one_fz分别与步骤2.2计算得到的特征图Feature_map_two_m和Feature_map_two_fz进行双线性插值上采样操作,通过逐像素线性计算,得到与视频影像影像同等大小的水域二值图影像Real_Feature_m和Real_Feature_fz,两幅二值图中水域区域点灰度值为255,非水域区域点灰度值为0;
所述步骤6具体包括以下步骤:
步骤6.1:对密集匹配连接点集SM_Points中的每个连接点对建立水域属性参数Wot,以1和0来分别标记该连接点在水域中与不在水域中;
步骤6.2:根据主影像水域分布二值图Real_Feature_m,对连接点集SM_Points中的每个连接点对进行标记,连接点对中主影像点坐标在主影像水域分布二值图中对应点的灰度值为255时,该连接点对的Wot参数值标记为1,否则Wot参数值标记为0;
步骤6.3:根据搜索影像水域分布二值图Real_Feature_fz,对连接点集SM_Points中的每个连接点对进行标记,连接点对中搜索影像坐标在搜索影像水域分布二值图中对应点的灰度值为255时,该连接点对的Wot参数值标记为1,否则Wot参数值标记为0;
步骤6.4:将密集匹配连接点集SM_Points中所有水域属性参数Wot值为1的连接点对进行剔除,保留水域属性参数Wot值为0的连接点对,生成有效密集匹配连接点集SM_Points_Real。
2.根据权利要求1所述一种卫星视频影像获取水域自动掩膜处理DSM的方法,其特征在于,所述步骤3具体包括以下步骤:
步骤3.1:在主影像Image_m上均匀选取N个像素点作为影像参考点(ri,ci);
步骤3.2:采用主影像的RPC参数和辅助DEM,解算主影像中的参考点(ri,ci)对应的物方坐标,记为参考物方点(Xi,Yi);
步骤3.3:采用搜索影像的RPC参数和辅助DEM,解算参考物点在搜索影像上对应的像点坐标,记为参考对应点(ri′,ci′);
步骤3.4:以每一个参考对应点和参考点为中心,在搜索影像和主影像上分别取像素个数为m0×n0的图像子块,将搜索影像的每个图像子块与主影像对应的图像子块进行SURF特征匹配,获取匹配点,使用RANSAC方法进行误匹配剔除,保存剩余的高精度匹配点位置坐标;
步骤3.5:为主影像Image_m和搜索影像Image_fz各设置一组像方补偿参数用来消除影像的系统误差;
步骤3.6:将提取的匹配点结合控制点与像方补偿参数构建平差模型;
步骤3.7:解算平差模型方程,分别保存主影像Image_m和搜索影像Image_fz的像方补偿参数。
3.根据权利要求2所述一种卫星视频影像获取水域自动掩膜处理DSM的方法,其特征在于,所述步骤3.2中参考物方点(Xi,Yi)的投影表达式为:
式中,pi′表示RPC多项式的反解形式;Z为辅助DEM提供的物方坐标迭代高程值;
所述步骤3.3参考对应点(ri′,ci′)的投影表达式为:
式中,Xi,Yi,Zi为匹配点对应的地面坐标,pi表示RPC多项式的正解形式具体形式为:
pi(X,Y,Z)=a1+a2X+a3Y+a4Z+a5XY+a6XZ+a7YZ+a8X2+a9Y2+a10Z2+a11YXZ+a12X3+a13XY2+a14XZ2+a15X2Y+a16Y3+a17YZ2+a18X2Z+a19Y2Z+a20Z3
其中,X、Y、Z为地面点坐标,a1-a20为RPC参数文件给出的参数值;
所述步骤3.5像方补偿参数的具体应用形式为:
其中,a0、al、as、b0、bl、bs为像方补偿参数,(l,s)为某地面点T(X,Y,Z)根据原始立体像对的RPC参数通过RPC模型解算得到的在立体像对上的影像坐标,(l′,s′)为地面点T在立体像对上对应的真实影像坐标;
所述步骤3.6平差模型如下:
其中Xi,Yi,Zi为匹配点对应的地面点坐标,RS,R0,CS,C0为立体像对RPC参数文件中的归一化参数,pi表示RPC多项式的正解形式。
4.根据权利要求1所述一种卫星视频影像获取水域自动掩膜处理DSM的方法,其特征在于,所述步骤4具体包括以下步骤:
步骤4.1:选取主影像Image_m的RPC参数中的高程标准化平移尺度参数H为投影高程面;
步骤4.2:确定核线在步骤4.1中投影高程面上的近似核线方向;
步骤4.3:根据4.2中解算得到的立体像对近似核线排列方向,进行核线影像重采样;
对主影像Image_m进行重采样,生成主影像对应的核线影像Image_epi_m并保存其映射关系Image_epi_tab_m,对搜索影像Image_fz进行重采样生成搜索影像对应的核线影像Image_epi_fz,并保存其映射关系Image_epi_tab_fz。
5.根据权利要求4所述一种卫星视频影像获取水域自动掩膜处理DSM的方法,其特征在于,所述步骤4.2具体为,首先,在主影像Image_m的中心位置取一个像点A,令D1和D2为其摄影光线上位于投影高程面H附近的两点,其高程分别为H+Hs、H-Hs,其中Hs为RPC参数中的高程标准化缩放尺度参数,根据RPC模型反解方程得到D1和D2的经纬度坐标;
然后,根据RPC模型正解方程解算得到D1和D2在搜索影像Image_fz上的像点D3、D4的像素坐标;
最后,根据搜索影像Image_fz的RPC参数和RPC反解模型解算D3、D4在投影高程面H上的经纬度坐标D5、D6,此时,D5和D6的经纬度坐标连线方向为立体像对的近似核线方向,即立体像对近似核线在投影高程面上的排列方向。
6.根据权利要求1所述一种卫星视频影像获取水域自动掩膜处理DSM的方法,其特征在于,所述步骤5具体包括以下步骤:
步骤5.1:主影像的核线影像Image_epi_m和搜索影像的核线影像Image_epi_fz具有行对应关系,即主影像某地物点所在的行数与对应的匹配点所在的行数必然相同,采用SGM算法获取主影像核线影像上所有点对应的匹配点并保存为视差图Image_disparity;
步骤5.2:根据步骤4中核线影像生成过程中保存的核线影像与原始立体像对的映射关系Image_epi_tab_m和Image_epi_tab_fz,将密集匹配点对的核线影像坐标转换为原始立体像对上的影像坐标,保存为密集匹配连接点集SM_Points。
7.根据权利要求1所述一种卫星视频影像获取水域自动掩膜处理DSM的方法,其特征在于,所述步骤7具体包括以下步骤:
步骤7.1:使用6.4获取的有效密集匹配连接点集SM_Points_Real中的所有连接点坐标、像方补偿参数和RPC参数构建方程,方程具体形式为:
式中,lori,sori为有效密集匹配连接点坐标,a0、al、as、b0、bl、bs为立体像对所对应的像方补偿参数;Xi,Yi,Zi为连接点对应的地面坐标,RS,R0,CS,C0为立体像对RPC参数文件中的归一化参数,pi,i=1,2,3,4为RPC多项式的正解形式;
步骤7.2:以(Xi,Yi,Zi)为未知参数,连接点坐标、像方补偿参数、RPC参数为已知量,对所有连接点构建方程,以连接点像方坐标误差最小为平差方向,对构建的方程组进行最小二乘解算,得到所有连接点对应的地面点三维坐标,构建DSM点云Cloud_Dsm。
8.根据权利要求1所述一种卫星视频影像获取水域自动掩膜处理DSM的方法,其特征在于,所述步骤8具体包括以下步骤:
步骤8.1:统计DSM点云Cloud_Dsm中所有点覆盖的经纬度范围,确定经纬度的最大值和最小值,以经纬度的最大值、最小值作为DSM影像的覆盖范围,并根据设定的DSM影像分辨率建立DSM影像格网空间结构,并确定所有格网点的经纬度坐标;
步骤8.2:利用KD-Tree算法对点云Cloud_Dsm中的每个三维点按平面坐标生成索引,建立KD-Tree,使用基于KD-Tree的近邻搜索算法,搜索每个格网点平面距离最近的Num个备用点,计算每个搜索到的备用点与格网点的平面距离,剔除平面距离值大于3倍分辨率的备用点,根据剩余备用点的三维坐标,内插出对应格网点的高程值;
步骤8.3:根据内插后获取的每个格网点的三维坐标生成DSM影像并以GeoTIFF格式输出,完成DSM产品的生成。
CN202110927702.4A 2021-08-12 2021-08-12 一种卫星视频影像获取水域自动掩膜处理dsm的方法 Active CN113840127B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110927702.4A CN113840127B (zh) 2021-08-12 2021-08-12 一种卫星视频影像获取水域自动掩膜处理dsm的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110927702.4A CN113840127B (zh) 2021-08-12 2021-08-12 一种卫星视频影像获取水域自动掩膜处理dsm的方法

Publications (2)

Publication Number Publication Date
CN113840127A CN113840127A (zh) 2021-12-24
CN113840127B true CN113840127B (zh) 2024-02-27

Family

ID=78960404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110927702.4A Active CN113840127B (zh) 2021-08-12 2021-08-12 一种卫星视频影像获取水域自动掩膜处理dsm的方法

Country Status (1)

Country Link
CN (1) CN113840127B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958265A (zh) * 2023-09-19 2023-10-27 交通运输部天津水运工程科学研究所 一种基于双目视觉的船舶位姿测量方法及系统
CN117237565B (zh) * 2023-09-27 2024-02-13 自然资源部国土卫星遥感应用中心 基于高分辨率卫星立体影像的建筑物白模制作方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR980004134A (ko) * 1997-12-05 1998-03-30 양승택 위성영상사진의 지명과 지상물 관리 및 검색 방법
CN107784666A (zh) * 2017-10-12 2018-03-09 武汉市工程科学技术研究院 基于立体影像的地形地物三维变化检测和更新方法
CN108592884A (zh) * 2018-04-24 2018-09-28 武汉大学 一种通用线阵卫星核线影像生成方法
CN111126148A (zh) * 2019-11-25 2020-05-08 长光卫星技术有限公司 一种基于视频卫星影像的dsm生成方法
CN111414968A (zh) * 2020-03-26 2020-07-14 西南交通大学 一种基于卷积神经网络特征图的多模态遥感影像匹配方法
CN111767801A (zh) * 2020-06-03 2020-10-13 中国地质大学(武汉) 一种基于深度学习的遥感影像水域自动提取方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107167786B (zh) * 2017-06-05 2021-01-01 中国测绘科学研究院 卫星激光测高数据辅助提取高程控制点方法
KR102610989B1 (ko) * 2019-12-26 2023-12-08 한국전자통신연구원 위성영상을 이용한 수치표면모델 생성 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR980004134A (ko) * 1997-12-05 1998-03-30 양승택 위성영상사진의 지명과 지상물 관리 및 검색 방법
CN107784666A (zh) * 2017-10-12 2018-03-09 武汉市工程科学技术研究院 基于立体影像的地形地物三维变化检测和更新方法
CN108592884A (zh) * 2018-04-24 2018-09-28 武汉大学 一种通用线阵卫星核线影像生成方法
CN111126148A (zh) * 2019-11-25 2020-05-08 长光卫星技术有限公司 一种基于视频卫星影像的dsm生成方法
CN111414968A (zh) * 2020-03-26 2020-07-14 西南交通大学 一种基于卷积神经网络特征图的多模态遥感影像匹配方法
CN111767801A (zh) * 2020-06-03 2020-10-13 中国地质大学(武汉) 一种基于深度学习的遥感影像水域自动提取方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Dense DSM and DTM Point Cloud Generation Using CARTOSAT-2E Satellite Images for High-Resolution Applications;V. S. S. N. Gopala Krishna Pendyala;Journal of the Indian Society of Remote Sensing;全文 *
基于资源三号的DSM自动生成方法与质量控制;张云翔;测绘地理信息;全文 *
基于金字塔影像分割的水域提取在海岛礁空中三角测量中的应用;张彦峰;艾海滨;杜全叶;张力;;测绘通报(12);全文 *

Also Published As

Publication number Publication date
CN113840127A (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
CN110443842B (zh) 基于视角融合的深度图预测方法
CN111462329B (zh) 一种基于深度学习的无人机航拍影像的三维重建方法
CN111063021B (zh) 一种空间运动目标的三维重建模型建立方法及装置
CN111126148B (zh) 一种基于视频卫星影像的dsm生成方法
CN110443892B (zh) 一种基于单张图像的三维网格模型生成方法及装置
CN113840127B (zh) 一种卫星视频影像获取水域自动掩膜处理dsm的方法
CN107369204B (zh) 一种从单幅照片恢复出场景基本三维结构的方法
CN114666564B (zh) 一种基于隐式神经场景表示进行虚拟视点图像合成的方法
CN106023230B (zh) 一种适合变形图像的稠密匹配方法
CN108648264B (zh) 基于运动恢复的水下场景重建方法及存储介质
CN114049420B (zh) 一种模型训练方法、图像渲染方法、装置和电子设备
CN112509021B (zh) 一种基于注意力机制的视差优化方法
Condorelli et al. A comparison between 3D reconstruction using nerf neural networks and mvs algorithms on cultural heritage images
Xu et al. Three dimentional reconstruction of large cultural heritage objects based on uav video and tls data
CN116912405A (zh) 一种基于改进MVSNet的三维重建方法及系统
CN115239870A (zh) 基于注意力代价体金字塔的多视图立体网络三维重建方法
CN117115359B (zh) 一种基于深度图融合的多视图电网三维空间数据重建方法
CN117132737B (zh) 一种三维建筑模型构建方法、系统及设备
CN116681844A (zh) 一种基于亚米级立体像对卫星影像的建筑物白膜构建方法
CN113284249B (zh) 一种基于图神经网络的多视角三维人体重建方法及系统
CN115330935A (zh) 一种基于深度学习的三维重建方法及系统
CN114359389A (zh) 一种基于像面核线对的大影像分块核线制作方法
CN113096174A (zh) 一种基于多平面扫描的端到端网络的多视点场景重建方法
CN111985535A (zh) 一种通过神经网络优化人体深度图的方法及其装置
Mahphood et al. Dense multi-view image matching for dsm generation from satellite images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: No. 1299, Mingxi Road, Beihu science and Technology Development Zone, Changchun City, Jilin Province

Applicant after: Changguang Satellite Technology Co.,Ltd.

Address before: No. 1299, Mingxi Road, Beihu science and Technology Development Zone, Changchun City, Jilin Province

Applicant before: CHANG GUANG SATELLITE TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A DSM method for automatic mask processing of water bodies obtained from satellite video images

Granted publication date: 20240227

Pledgee: Changchun Rural Commercial Bank Co.,Ltd. Exhibition Center sub branch

Pledgor: Changguang Satellite Technology Co.,Ltd.

Registration number: Y2024220000024