CN114792327A - 图像处理方法及系统 - Google Patents
图像处理方法及系统 Download PDFInfo
- Publication number
- CN114792327A CN114792327A CN202210715145.4A CN202210715145A CN114792327A CN 114792327 A CN114792327 A CN 114792327A CN 202210715145 A CN202210715145 A CN 202210715145A CN 114792327 A CN114792327 A CN 114792327A
- Authority
- CN
- China
- Prior art keywords
- image
- point
- correction
- images
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 34
- 238000012937 correction Methods 0.000 claims abstract description 201
- 230000005855 radiation Effects 0.000 claims abstract description 77
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000000605 extraction Methods 0.000 claims abstract description 26
- 230000011218 segmentation Effects 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 17
- 238000003384 imaging method Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 7
- 238000003702 image correction Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 8
- 238000001514 detection method Methods 0.000 description 22
- 239000000523 sample Substances 0.000 description 15
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种图像处理方法及系统,方法包括:提取目标行星的站点图像中各个立体像对的天际线,并根据天际线对各立体像对进行区域分割;确定与站点图像中任一立体像对中的任一图像的目标点匹配的同名点;根据同名点在组成立体像对的图像中的像点位置所属区域以及预设校正模型,构建校正方程;确定预设校正模型的系数,并根据系数以及预设校正模型,确定目标校正模型;将待校正站点图像输入至目标校正模型,对待校正站点图像进行校正。本发明通过图像中天际线的自动提取,自动对图像进行区域分割,有效满足了目标行星站点图像不同区域校正的需求,相比不分区域的整体校正,自适应针对图像中不同区域进行相对辐射校正,获得更为精准的校正效果。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像处理方法及系统。
背景技术
在行星表面探测任务中,利用探测车对行星表面进行近距离表面探测是实现高效探测的重要手段。探测车行驶过程中,探测车自身的精确定位导航与环境地形感知是探测任务顺利实施的关键。在已有实施的任务中,探测车自身导航定位主要依靠惯导与里程计集成的航迹推算方法。该方法是探测车巡视探测中的常规定位方法,但在松软土壤和崎岖地面区域行驶时,探测车车轮打滑严重,使用航迹推算方法定位误差显著增大。因此,为修正航迹推算误差,利用探测车上搭载立体相机获取的视觉图像修正定位误差,实现高精度定位。定位过程中,基于前后站点的立体影像,通过寻找站点图像间的同名点作为连接点,应用视觉定位方法解算当前站点影像相对上一站点影像的相对位置姿态参数,结合前一站点的位置信息即可计算输出当前站点的定位结果。该方法的定位结果不随时间而发生漂移,也不受地形条件影响,具有较好的自主性和较高的精度,对探测任务安全实施发挥关键作用。另一方面,探测车的行驶需要精确感知周围环境,需利用搭载双目立体相机通过密集匹配得到探测站点周围三维信息,以避开周围可能存在的石块、深坑等障碍物。综上,探测车上搭载立体相机获取的立体视觉图像是探测任务安全、顺利实施的关键数据源。
探测车立体视觉图像的质量直接关系到探测任务中站点定位与环境感知效果。由于相机镜头及幅面CCD等部件影响,获取的影像可能出现不同程度、不同种类的辐射不均匀问题,导致获取的图像自身灰度不一致,给后续的图像匹配及可视化等处理带来了困难。需要引入相对辐射校正方法对探测车影像的不一致进行校正。传统相机的辐射校正可分为绝对辐射校正和相对辐射校正,前者是将图中的量测值校正到与地物反射或辐射相同的值,确定太阳入射角和传感器视角,并且加入对地形起伏等成分的考虑,这类方法的实施一般都比较繁琐、难以实现。相对辐射校正主要目的是使经过相对辐射校正的影像整体灰度达到一致,消除中间亮周围暗的情况,得到高质量的影像,用于后续处理应用。
对于深空探测车影像来说,通常在发射升空之前,工程人员会利用地面实验室积分球等设备提供均匀辐射源对相机实施相对辐射校正。然而,探测车发射至行星表面的飞行过程中受仪器震动及空间环境变化影响较大,相机辐射特性容易发生改变,需要对相机的相对辐射特性进行在线校正,通过校正使得图像内部灰度分布均匀,利用后续环境感知处理与应用。
传统的相对辐射校正选择方案可分为两类:定标法和统计法。定标法包括基于实验室定标的相对辐射校正、基于内定标的相对辐射校正;统计法包括均匀景统计、直方图均衡、直方图匹配。探测车影像相对辐射在线校正处理中,由于缺乏实验室积分球等外部标准参考设备,难以适用定标法进行相对辐射校正。部分深空探测车上搭载了用于光谱仪或物质成分分析仪标定的标准色卡用作光谱仪标校的外部标准参考,仅能用于局部谱段标校,无法适用行星探测车影像的全局辐射校正。因此,在探测任务中,外部决定参考条件的缺失使得定标法较难用于火星车影像的相对辐射在线校正。统计法是通常利用长时间对同一区域的多次成像数据,求解辐射的相对畸变量,达到对图像相对辐射校正处理。在火星探测任务中,行星探测车以移动行驶方式对不同区域进行探测,没有如卫星等平台对同一区域进行重复观测的作业模式,难以采用现有的相对辐射标定方法对图像进行相对辐射校正。总的来说,行星探测车由于自身探测模式的特点,现有相对辐射标定方法不适用于行星探测车的相对辐射在线校正。
发明内容
本发明提供的图像处理方法及系统,用于解决现有技术中存在的上述问题,通过图像中天际线的自动提取,自动对图像进行区域分割,有效满足了目标行星站点图像不同区域校正的需求,相比不分区域的整体校正,自适应针对图像中不同区域进行相对辐射校正,获得更为精准的校正效果。
本发明提供的一种图像处理方法,包括:
提取组成目标行星的站点图像中各个立体像对中的各个图像的天际线,并根据所述天际线对各所述图像进行区域分割;
确定与所述站点图像中任一立体像对中的任一图像的目标点匹配的同名点;
根据所述同名点在组成所述立体像对的图像中的像点位置所属区域以及预设校正模型,构建校正方程;
根据所述校正方程,确定所述预设校正模型的系数,并根据所述系数以及预设校正模型,确定目标校正模型;
将所述目标行星的待校正站点图像输入至所述目标校正模型,以对所述待校正站点图像进行校正。
根据本发明提供的一种图像处理方法,所述提取组成目标行星的站点图像中各个立体像对中的各个图像的天际线,并根据所述天际线对各所述图像进行区域分割,包括:
根据提取到的各所述立体像对的边缘信息,确定组成各所述立体像对的各个图像中潜在的天际线段;
根据所述天际线段中各个像素点的灰度分布,对所述天际线段进行判别,确定所述天际线;
根据所述天际线,将组成各所述立体像对的图像分割为天空区域以及地面区域。
根据本发明提供的一种图像处理方法,所述确定与所述站点图像中任一立体像对中的任一图像的目标点匹配的同名点,包括:
基于SIFT特征提取算法,提取各个立体像对中第一图像和第二图像的特征点;
确定各个立体像对中的所述第一图像的特征点与所述第二图像的特征点相匹配的同名特征点集;
以任一立体像对的所述第一图像上的特征点或所述第二图像上的特征点的匹配点为所述目标点,确定所述站点图像中其余立体像对的第一图像和第二图像与所述目标点匹配的同名物方点;
对所述同名物方点进行剔除,确定所述同名点;
其中,所述第一图像和所述第二图像是根据不同拍摄角度对站点拍摄后获取的。
根据本发明提供的一种图像处理方法,所述对所述同名物方点进行剔除,确定所述同名点,包括:
根据所述同名物方点在任意两个其余立体像对中的第一图像与第二图像中的坐标,确定所述同名物方点在任意两个其余立体像对的三维坐标;
根据所述同名物方点在任意两个其他立体像对的三维坐标之间的距离差系数,对满足预设阈值条件的所述距离差系数对应的同名物方点进行剔除,确定所述同名点。
根据本发明提供的一种图像处理方法,所述根据所述同名点在组成所述立体像对的图像中的像点位置所属区域以及预设校正模型,构建校正方程,包括:
若所述同名点的所述像点位置处于所述地面区域,则根据所述预设校正模型、所述同名点在所述图像上的通道值之差以及光学系统成像时的辐射值,构建地面区域校正方程;
若所述同名点的所述像点位置处于所述天空区域,则根据所述预设校正模型、所述图像上任意两个校正点坐标、所述图像上校正点通道值之差、辐射输入值以及预设系数,构建天空区域校正方程;
其中,所述校正点是根据组成所述天空区域的每个网格的中心点确定的;
所述网格是通过对所述天空区域进行均匀网格划分后确定的。
根据本发明提供的一种图像处理方法,所述预设校正模型是通过如下方式确定的:
根据图像中的任一位置处的成像像素辐射畸变为关于所述像点位置以及输入辐射响应值的函数,确定所述预设校正模型;
其中,所述函数是根据多项式建立的畸变量同输入响应值的关系确定的;
所述畸变量是根据所述像点位置以及所述预设校正模型的系数确定的;
所述输入响应值是根据所述输入辐射响应值确定的。
根据本发明提供的一种图像处理方法,在所述根据所述同名点在组成所述立体像对的图像中的像点位置所属区域以及预设校正模型,构建校正方程之前,还包括:
对组成所述立体像对的图像进行图像变换,以将所述图像从RGB模式转换为HLS模式。
本发明还提供一种图像处理系统,包括:第一提取模块、第二提取模块、方程构建模块、模型确定模块以及图像校正模块;
所述第一提取模块,用于提取组成目标行星的站点图像中各个立体像对中的各个图像的天际线,并根据所述天际线对各所述图像进行区域分割;
所述第二提取模块,用于确定与所述站点图像中任一立体像对中的任一图像的目标点匹配的同名点;
所述方程构建模块,用于根据所述同名点在组成所述立体像对的图像中的像点位置所属区域以及预设校正模型,构建校正方程;
所述模型确定模块,用于根据所述校正方程,确定所述预设校正模型的系数,并根据所述系数以及预设校正模型,确定目标校正模型;
所述图像校正模块,用于将所述目标行星的待校正站点图像输入至所述目标校正模型,以对所述待校正站点图像进行校正。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述图像处理方法的步骤。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述图像处理方法的步骤。
本发明提供的图像处理方法及系统,通过图像中天际线的自动提取,自动对图像进行区域分割,有效满足了目标行星站点图像不同区域校正的需求,相比不分区域的整体校正,自适应针对图像中不同区域进行相对辐射校正,获得更为精准的校正效果。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的图像处理方法的流程示意图;
图2是本发明提供的图像处理系统的结构示意图;
图3是本发明提供的电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明提供的图像处理方法的流程示意图,如图1所示,方法包括:
步骤100、提取组成目标行星的站点图像中各个立体像对中的各个图像的天际线,并根据天际线对各图像进行区域分割;
步骤200、确定与站点图像中任一立体像对中的任一图像的目标点匹配的同名点;
步骤300、根据同名点在组成立体像对的图像中的像点位置所属区域以及预设校正模型,构建校正方程;
步骤400、根据校正方程,确定预设校正模型的系数,并根据系数以及预设校正模型,确定目标校正模型;
步骤500、将目标行星的待校正站点图像输入至目标校正模型,以对待校正站点图像进行校正。
需要说明的是,上述方法的执行主体可以是计算机设备。
可选地,本发明提供的图像处理方法的目的在于解决行星(如或火星)探测车相机图像相对辐射在线校正的技术问题,通过对站点图像重叠区同名点的提取,引入同名点辐射亮度一致约束,提出一种顾及序列图像连接点辐射一致性约束的行星探测车视觉图像相对辐射在线校正方法。针对行星探测车在构建校正模型的基础上,利用同一站点图像的提取的连接点辐射值一致性约束,同时利用场景中天空区域的散射一致性特点,通过多辐射约束条件进行校正模型的参数求解,实现对当前站点图像的相对辐射校正。利用本发明,可以不依赖外部辐射参数物,对在每个站点获取的图像进行相对辐射校正,提升行星探测车拍摄的站点图像质量。
为实现上述目的,本发明采取以下技术方案:基于行星场景特点,首先考虑天空及行星表面辐射特征的不同,在自动进行天际线提取的基础上,对行星场景中的天空及行星表面区域(即地面区域)进行区别、分割;然后针对地面区域建立地面区域的地面区域校正方程;随后,利用SIFT(Scale-invariant feature transform)特征提取方法提取站点图像中立体像对间的特征点,进而通过特征点匹配获取不同立体像对间的匹配点作为同名点,建立地面区域误差方程;随后,考虑天空等区域较难进行特征点的提取与匹配,考虑行星大气散射特点,引入天空辐射一致性约束,同时在图像的天空区域选择均匀分布的校正点,建立天空区域校正方程;最后,针对站点内各个立体像对校正点得到的地面与天空校正方程进行统一校正参数解算,根据校正参数对站点中的所有图像进行相对辐射校正处理,得到相对辐射一致性的行星站点图像数据,具体实现如下:
通过对组成目标行星(如火星)的站点图像中的各个立体像对的各个图像的天际线进行提取,得到各个图像的天际线,并按照天际线将组成各个立体像对的图像进行区域分割。
找到站点图像中任一立体像对中的任一图像的目标点,并对该目标点进行匹配,找到组成目标行星的站点图像的其余立体像对中与该目标点匹配的同名点。其中,同名点为物方任意一点分别在不同影像/图像上的构像点。
根据同名点在构成目标行星的站点图像的立体像对的图像中的像点位置以及区域分割结果,确定同名点所属的区域,并根据同名点所属区域以及预先构建的校正模型(即预设校正模型),构建不同区域的校正方程。
通过求解校正方程,可以得到预设校正模型的各个系数,并根据求得的预设校正模型的系数以及预设校正模型,构建目标校正模型。
将目标行星的待校正站点图像输入至上述得到的目标校正模型,对待校正站点图像进行相对辐射校正。
本发明提供的图像处理方法,通过图像中天际线的自动提取,自动对图像进行区域分割,有效满足了目标行星站点图像不同区域校正的需求,相比不分区域的整体校正,自适应针对图像中不同区域进行相对辐射校正,获得更为精准的校正效果。
进一步地,在一个实施例中,步骤100可以具体包括:
步骤1001、根据提取到的各立体像对的边缘信息,确定组成各立体像对的各个图像中潜在的天际线段;
步骤1002、根据天际线段中各个像素点的灰度分布,对天际线段进行判别,确定天际线;
步骤1003、根据天际线,将组成各立体像对的图像分割为天空区域以及地面区域。
可选地,在步骤1001中,输入目标行星的站点图像,对站点图像中组成各个立体像
对的图像进行高斯滤波,去除各个立体像对的各图像中明显的噪声信息。然后,利用Canny
算子对各个立体像对的图像进行边缘提取,得到各个立体像对的图像中的边缘信息。统计
提取各边缘线在各个立体像对各图像上的外界矩形,计算的面积,长宽比以及
长轴同立体像对各图像水平轴的夹角,根据面积阈值、长宽比阈值以及夹角阈值,若满足以下条件,则认为该边缘为潜在的天际线段:
在步骤1002中,对于每段潜在的天际线段,其由个像素点
组成,根据其所处周边区域的灰度分布进行天际线判别。判别时,构建天际线段的上方邻域中进行天际线段的权重判定。邻域的区域由四条边构成,其中区域底边是天际线段,区域左边是由天际线中横坐标最小值形成的竖直线,区域右边是由天际线中
横坐标最大值形成的竖直线,区域顶边为立体像对中各图像的顶边构成。
则认为该潜在的天际线段上方是色调一致的天空区域,为天际线的一部分。进一步地,对每条潜在天际线段进行上述处理,得到立体像对中各图像中所有的天际线段。
则认为该两条天际线段属于同一组。对其他天际线段进行类似编组的判断,形成
得到个编组。统计各个编组中线段的总长度,确认总长度最长的编组为最
终的天际线。进一步地,针对编组中多个天际线段可能的不连续,利用直线对该编组中的天
际线段进行连接,得到完整的天际线。
本发明提供的图像处理方法,通过图像中天际线的自动提取,自动对图像进行天空与地面区域的分割,有效满足了图像不同区域辐射校正的各自需要,相比不分区域的整体相对辐射校正,自适应针对图像中不同区域进行校正,获得了更为精准的校正效果。
进一步地,在一个实施例中,步骤200可以具体包括:
步骤2001、基于SIFT特征提取算法,提取各个立体像对中第一图像和第二图像的特征点;
步骤2002、确定各个立体像对中的第一图像的特征点与第二图像的特征点相匹配的同名特征点集;
步骤2003、以任一立体像对的第一图像上的特征点或第二图像上的特征点的匹配点为目标点,确定站点图像中其余立体像对的第一图像和第二图像与目标点匹配的同名物方点;
对同名物方点进行剔除,确定同名点;
其中,第一图像和第二图像是根据不同拍摄角度对站点拍摄后获取的。
进一步地,在一个实施例中,步骤2003可以具体包括:
步骤20031、根据同名物方点在任意两个其余立体像对中的第一图像与第二图像中的坐标,确定同名物方点在任意两个其余立体像对的三维坐标;
步骤20032、根据同名物方点在任意两个其他立体像对的三维坐标之间的距离差系数,对满足预设阈值条件的距离差系数对应的同名物方点进行剔除,确定同名点。
可选地,输入包含若干个立体相对的站点图像集合,利用SIFT特征提取算法得到
各自立体像对的图像上的特征点,立体像对由从不同拍摄角度对站点拍摄后获取的左影像
(即第一图像)以及右影像(即第二图像)组成,根据得到的第一图像和第二图像的特征点,
首先在立体像对的第一图像以及第二图像上进行匹配,确定同一立体像对中的第一图像的
特征点与第二图像的特征点相匹配的特征匹配点,假设第立体像对上的特征匹配点。
在步骤2003中,假设以第立体像对中第一图像上的匹配点为目标点,搜索
组成站点图像的其余立体像对的特征匹配点,得到其余立体像对上的特征点匹配结果,根
据特征点匹配结果得到同名物方点。利用空间几何一致性约束对立体像对间的特征点匹配
结果(即同名物方点)进行粗差剔除,得到与目标点匹配的同名点,具体地:
对于在其余任意两个立体像对和上匹配得到的同名物方点,其在立体像对上的左右影像(第一图像以及第二图像)上的坐标分别为,计算同名物方点
的三维坐标。相应地,同名物方点在立体像对上的左右影像(第一图像以及第二图
像)上坐标分别为和。根据以及立体像对的内外方位元素,计算同名物方
点的三维坐标。
本发明提供的图像处理方法,能够提升目标行星站点图像的质量,为后续行星探测任务执行提供了高质量的基础数据源。
进一步地,在一个实施例中,步骤300可以具体包括:
步骤3001、若同名点的像点位置处于地面区域,则根据预设校正模型、同名点在图像上的通道值之差以及光学系统成像时的辐射值,构建地面区域校正方程;
步骤3002、若同名点的像点位置处于天空区域,则根据预设校正模型、图像上任意两个校正点坐标、图像上校正点通道值之差、辐射输入值以及预设系数,构建天空区域校正方程;
其中,校正点是根据组成天空区域的每个网格的中心点确定的;
网格是通过对天空区域进行均匀网格划分后确定的。
进一步地,在一个实施例中,在步骤300之前还可以具体包括:
对组成立体像对的图像进行图像变换,以将图像从RGB模式转换为HLS模式。
可选地,站点图像中立体像对中的第一图像和第二图像的辐射畸变较多影响了图像亮度,导致图像明暗灰度分布不均匀。且第一图像与第二图像为RGB谱段图像,因此将第一图像以及第二图像由RGB模式转换为HLS模式,有利于通过对亮度L通道的校正实现更好的辐射畸变校正。转换前,将RGB图像中的R、G、B颜色分量值都归一化至[0,1]范围。经过RGB->HLS的图像变换,得到了H、L、S三个通道的图像数据。
对于得到的同名点,假设其在站点图像的立体像对任意两个图像,中的像
点位置分别为及,根据区域分割结果判断其是否位于地面区域,若为地
面区域则按照预设校正模型建立地面区域校正方程。取两个像点针对HLS中每个通道构建
地面区域校正方程如下:
其中,为同名点在图像,上的通道值之差;与分别为相机成
像时的辐射值;与分别为同名点在图像,中的像点位置。考虑站点成像时,相邻
立体像对成像时摄影中心位置改动较小,且成像时间非常接近,当地太阳方位角与高度角
基本不变,不同影像上同名点的成像入射光是一致的,可认为;为地面区域标校
残差。故,针对图像上地面区域任意两个同名点建立上述地面区域校正方程。
针对天空区域,以均匀网格划分图像中的天空区域,取每个网格区域中心点为作为校正点。天空受大气影响散射,同一幅图像中的天空区域辐射值接近,故依据预设校正模型建立天空区域校正方程,如下:
通过对站点图像天空区域与地面区域的校正方程建立,迭代求解预设校正模型的系数,进而利用求得的预设校正模型的系数以及预设校正模型确定目标校正模型,并利用目标校正模型对站点图像进行相对辐射校正。
本发明提供的图像处理方法,通过对目标行星站点图像的充分分析,针对天空与地面区域各自建立校正方程,通过两类方程的统一解算,得到整体上最优的相对辐射校正系数,实现了站点图像整体一致地相对辐射校正,确保站点图像不同区域校正效果一致。
进一步地,在一个实施例中,预设校正模型是通过如下方式确定的:
根据图像中的任一位置处的成像像素辐射畸变为关于所述像点位置以及输入辐射响应值的函数,确定预设校正模型;
其中,函数是根据多项式建立的畸变量同输入响应值的关系确定的;
所述畸变量是根据像点位置以及预设校正模型的系数确定的;
输入响应值是根据输入辐射响应值确定的。
可选地,根据相机成像特性,建立相对辐射校正模型(即预设校正模型)。考虑到光
学镜头原因,认为图像的相对辐射畸变程度随离镜头中心的距离变大而变大。因此,可认为
影像中位于处的成像像素辐射畸变为关于像点位置及输入辐射响应值的
函数,基于此,构建预设校正模型如下式:
为经过相机标定后得到的像主点位置坐标;,为待处理像点距
离像主点的距离平方和;为预设校正模型的系数;相应地,为输入
响应值,即在光学成像系统中得到数字量化值DN(digital number)值的响应模型:
本发明提供的图像处理方法,通过建立校正模型,充分分析场景特点,实现了无外部参考源条件下的站点图像相对辐射的在线校正,可根据行星探测车真实工况自适应提升了站点图像的质量,为后续探测任务执行提供了高质量的基础数据源。
下面对本发明提供的图像处理系统进行描述,下文描述的图像处理系统与上文描述的图像处理方法可相互对应参照。
图2是本发明提供的图像处理系统的结构示意图,如图2所示,包括:
第一提取模块210、第二提取模块211、方程构建模块212、模型确定模块213以及图像校正模块214;
第一提取模块210,用于提取组成目标行星的站点图像中各个立体像对中的各个图像的天际线,并根据天际线对各图像进行区域分割;
第二提取模块211,用于确定与站点图像中任一立体像对中的任一图像的目标点匹配的同名点;
方程构建模块212,用于根据同名点在组成立体像对的图像中的像点位置所属区域以及预设校正模型,构建校正方程;
模型确定模块213,用于根据校正方程,确定预设校正模型的系数,并根据系数以及预设校正模型,确定目标校正模型;
图像校正模块214,用于将目标行星的待校正站点图像输入至目标校正模型,以对待校正站点图像进行校正。
本发明提供的图像处理系统,通过图像中天际线的自动提取,自动对图像进行区域分割,有效满足了目标行星站点图像不同区域校正的需求,相比不分区域的整体校正,自适应针对图像中不同区域进行相对辐射校正,获得更为精准的校正效果。
图3是本发明提供的一种电子设备的实体结构示意图,如图3所示,该电子设备可以包括:处理器(processor)310、通信接口(communication interface)311、存储器(memory)312和总线(bus)313,其中,处理器310,通信接口311,存储器312通过总线313完成相互间的通信。处理器310可以调用存储器312中的逻辑指令,以执行如下方法:
提取组成目标行星的站点图像中各个立体像对中的各个图像的天际线,并根据天际线对各所述图像进行区域分割;
确定与站点图像中任一立体像对中的任一图像的目标点匹配的同名点;
根据同名点在组成立体像对的图像中的像点位置所属区域以及预设校正模型,构建校正方程;
根据校正方程,确定预设校正模型的系数,并根据系数以及预设校正模型,确定目标校正模型;
将目标行星的待校正站点图像输入至所述目标校正模型,以对待校正站点图像进行校正。
此外,上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机电源屏(可以是个人计算机,服务器,或者网络电源屏等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地,本发明公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的图像处理方法,例如包括:
提取组成目标行星的站点图像中各个立体像对中的各个图像的天际线,并根据天际线对各所述图像进行区域分割;
确定与站点图像中任一立体像对中的任一图像的目标点匹配的同名点;
根据同名点在组成立体像对的图像中的像点位置所属区域以及预设校正模型,构建校正方程;
根据校正方程,确定预设校正模型的系数,并根据系数以及预设校正模型,确定目标校正模型;
将目标行星的待校正站点图像输入至所述目标校正模型,以对待校正站点图像进行校正。
另一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的图像处理方法,例如包括:
提取组成目标行星的站点图像中各个立体像对中的各个图像的天际线,并根据天际线对各所述图像进行区域分割;
确定与站点图像中任一立体像对中的任一图像的目标点匹配的同名点;
根据同名点在组成立体像对的图像中的像点位置所属区域以及预设校正模型,构建校正方程;
根据校正方程,确定预设校正模型的系数,并根据系数以及预设校正模型,确定目标校正模型;
将目标行星的待校正站点图像输入至所述目标校正模型,以对待校正站点图像进行校正。
以上所描述的系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机电源屏(可以是个人计算机,服务器,或者网络电源屏等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种图像处理方法,其特征在于,包括:
提取组成目标行星的站点图像中各个立体像对中的各个图像的天际线,并根据所述天际线对各所述图像进行区域分割;
确定与所述站点图像中任一立体像对中的任一图像的目标点匹配的同名点;
根据所述同名点在组成所述立体像对的图像中的像点位置所属区域以及预设校正模型,构建校正方程;
根据所述校正方程,确定所述预设校正模型的系数,并根据所述系数以及预设校正模型,确定目标校正模型;
将所述目标行星的待校正站点图像输入至所述目标校正模型,以对所述待校正站点图像进行校正。
2.根据权利要求1所述的图像处理方法,其特征在于,所述提取组成目标行星的站点图像中各个立体像对中的各个图像的天际线,并根据所述天际线对各所述图像进行区域分割,包括:
根据提取到的各所述立体像对的边缘信息,确定组成各所述立体像对的各个图像中潜在的天际线段;
根据所述天际线段中各个像素点的灰度分布,对所述天际线段进行判别,确定所述天际线;
根据所述天际线,将组成各所述立体像对的图像分割为天空区域以及地面区域。
3.根据权利要求1所述的图像处理方法,其特征在于,所述确定与所述站点图像中任一立体像对中的任一图像的目标点匹配的同名点,包括:
基于SIFT特征提取算法,提取各个立体像对中第一图像和第二图像的特征点;
确定各个立体像对中的所述第一图像的特征点与所述第二图像的特征点相匹配的同名特征点集;
以任一立体像对的所述第一图像上的特征点或所述第二图像上的特征点的匹配点为所述目标点,确定所述站点图像中其余立体像对的第一图像和第二图像与所述目标点匹配的同名物方点;
对所述同名物方点进行剔除,确定所述同名点;
其中,所述第一图像和所述第二图像是根据不同拍摄角度对站点拍摄后获取的。
4.根据权利要求3所述的图像处理方法,其特征在于,所述对所述同名物方点进行剔除,确定所述同名点,包括:
根据所述同名物方点在任意两个其余立体像对中的第一图像与第二图像中的坐标,确定所述同名物方点在任意两个其余立体像对的三维坐标;
根据所述同名物方点在任意两个其他立体像对的三维坐标之间的距离差系数,对满足预设阈值条件的所述距离差系数对应的同名物方点进行剔除,确定所述同名点。
5.根据权利要求2所述的图像处理方法,其特征在于,所述根据所述同名点在组成所述立体像对的图像中的像点位置所属区域以及预设校正模型,构建校正方程,包括:
若所述同名点的所述像点位置处于所述地面区域,则根据所述预设校正模型、所述同名点在所述图像上的通道值之差以及光学系统成像时的辐射值,构建地面区域校正方程;
若所述同名点的所述像点位置处于所述天空区域,则根据所述预设校正模型、所述图像上任意两个校正点坐标、所述图像上校正点通道值之差、辐射输入值以及预设系数,构建天空区域校正方程;
其中,所述校正点是根据组成所述天空区域的每个网格的中心点确定的;
所述网格是通过对所述天空区域进行均匀网格划分后确定的。
6.根据权利要求1所述的图像处理方法,其特征在于,所述预设校正模型是通过如下方式确定的:
根据图像中的任一位置处的成像像素辐射畸变为关于所述像点位置以及输入辐射响应值的函数,确定所述预设校正模型;
其中,所述函数是根据多项式建立的畸变量同输入响应值的关系确定的;
所述畸变量是根据所述像点位置以及所述预设校正模型的系数确定的;
所述输入响应值是根据所述输入辐射响应值确定的。
7.根据权利要求5所述的图像处理方法,其特征在于,在所述根据所述同名点在组成所述立体像对的图像中的像点位置所属区域以及预设校正模型,构建校正方程之前,还包括:
对组成所述立体像对的图像进行图像变换,以将所述图像从RGB模式转换为HLS模式。
8.一种图像处理系统,其特征在于,包括:第一提取模块、第二提取模块、方程构建模块、模型确定模块以及图像校正模块;
所述第一提取模块,用于提取组成目标行星的站点图像中各个立体像对中的各个图像的天际线,并根据所述天际线对各所述图像进行区域分割;
所述第二提取模块,用于确定与所述站点图像中任一立体像对中的任一图像的目标点匹配的同名点;
所述方程构建模块,用于根据所述同名点在组成所述立体像对的图像中的像点位置所属区域以及预设校正模型,构建校正方程;
所述模型确定模块,用于根据所述校正方程,确定所述预设校正模型的系数,并根据所述系数以及预设校正模型,确定目标校正模型;
所述图像校正模块,用于将所述目标行星的待校正站点图像输入至所述目标校正模型,以对所述待校正站点图像进行校正。
9.一种电子设备,包括处理器和存储有计算机程序的存储器,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7任一项所述图像处理方法。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至7任一项所述图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210715145.4A CN114792327B (zh) | 2022-06-23 | 2022-06-23 | 图像处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210715145.4A CN114792327B (zh) | 2022-06-23 | 2022-06-23 | 图像处理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114792327A true CN114792327A (zh) | 2022-07-26 |
CN114792327B CN114792327B (zh) | 2022-11-04 |
Family
ID=82463048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210715145.4A Active CN114792327B (zh) | 2022-06-23 | 2022-06-23 | 图像处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114792327B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116342417A (zh) * | 2023-03-22 | 2023-06-27 | 广州市城市规划勘测设计研究院 | 一种航空遥感影像的辐射校正方法及系统 |
CN117392363A (zh) * | 2023-12-12 | 2024-01-12 | 广东省海洋发展规划研究中心 | 一种陆海遥感图像分区校正方法、系统、设备及介质 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020034330A1 (en) * | 1997-10-29 | 2002-03-21 | Alison Joan Lennon | Image interpretation method and apparatus |
CN101246590A (zh) * | 2008-03-03 | 2008-08-20 | 北京航空航天大学 | 星载相机空间畸变图像几何校正方法 |
CN108444451A (zh) * | 2018-03-19 | 2018-08-24 | 中国人民解放军战略支援部队信息工程大学 | 一种行星表面影像匹配方法与装置 |
CN108447024A (zh) * | 2018-01-30 | 2018-08-24 | 中国科学院上海技术物理研究所 | 基于在轨恒星数据的人工智能畸变自校正方法 |
CN110702228A (zh) * | 2019-09-25 | 2020-01-17 | 华东师范大学 | 一种航空高光谱影像的边缘辐射校正方法 |
US20210004964A1 (en) * | 2018-04-05 | 2021-01-07 | Nec Corporation | Image processing device, image processing method, and recording medium having image processing program stored thereon |
CN112287904A (zh) * | 2020-12-15 | 2021-01-29 | 北京道达天际科技有限公司 | 基于卫星影像的机场目标识别方法和装置 |
CN112465732A (zh) * | 2020-11-27 | 2021-03-09 | 武汉大学 | 一种车载激光点云与序列全景影像的配准方法 |
WO2021196548A1 (zh) * | 2020-04-01 | 2021-10-07 | 北京迈格威科技有限公司 | 距离确定方法、装置及系统 |
CN113744249A (zh) * | 2021-09-07 | 2021-12-03 | 中国科学院大学 | 一种海洋生态环境损害调查方法 |
CN114078165A (zh) * | 2020-08-13 | 2022-02-22 | 华为技术有限公司 | 光学成像模组的标定方法、畸变校正的方法及相关设备 |
CN114187415A (zh) * | 2021-11-26 | 2022-03-15 | 北京航天飞行控制中心 | 地形图生成方法及装置 |
CN114359066A (zh) * | 2021-12-06 | 2022-04-15 | 武汉大学 | 一种高分遥感影像辐射基准建立与辐射校正方法 |
WO2022100242A1 (zh) * | 2020-11-12 | 2022-05-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
-
2022
- 2022-06-23 CN CN202210715145.4A patent/CN114792327B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020034330A1 (en) * | 1997-10-29 | 2002-03-21 | Alison Joan Lennon | Image interpretation method and apparatus |
CN101246590A (zh) * | 2008-03-03 | 2008-08-20 | 北京航空航天大学 | 星载相机空间畸变图像几何校正方法 |
CN108447024A (zh) * | 2018-01-30 | 2018-08-24 | 中国科学院上海技术物理研究所 | 基于在轨恒星数据的人工智能畸变自校正方法 |
CN108444451A (zh) * | 2018-03-19 | 2018-08-24 | 中国人民解放军战略支援部队信息工程大学 | 一种行星表面影像匹配方法与装置 |
US20210004964A1 (en) * | 2018-04-05 | 2021-01-07 | Nec Corporation | Image processing device, image processing method, and recording medium having image processing program stored thereon |
CN110702228A (zh) * | 2019-09-25 | 2020-01-17 | 华东师范大学 | 一种航空高光谱影像的边缘辐射校正方法 |
WO2021196548A1 (zh) * | 2020-04-01 | 2021-10-07 | 北京迈格威科技有限公司 | 距离确定方法、装置及系统 |
CN114078165A (zh) * | 2020-08-13 | 2022-02-22 | 华为技术有限公司 | 光学成像模组的标定方法、畸变校正的方法及相关设备 |
WO2022100242A1 (zh) * | 2020-11-12 | 2022-05-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN112465732A (zh) * | 2020-11-27 | 2021-03-09 | 武汉大学 | 一种车载激光点云与序列全景影像的配准方法 |
CN112287904A (zh) * | 2020-12-15 | 2021-01-29 | 北京道达天际科技有限公司 | 基于卫星影像的机场目标识别方法和装置 |
CN113744249A (zh) * | 2021-09-07 | 2021-12-03 | 中国科学院大学 | 一种海洋生态环境损害调查方法 |
CN114187415A (zh) * | 2021-11-26 | 2022-03-15 | 北京航天飞行控制中心 | 地形图生成方法及装置 |
CN114359066A (zh) * | 2021-12-06 | 2022-04-15 | 武汉大学 | 一种高分遥感影像辐射基准建立与辐射校正方法 |
Non-Patent Citations (1)
Title |
---|
马友青 等: "基于嫦娥四号月球车图像的地形遮挡高精度预报试验研究", 《中国科学:技术科学》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116342417A (zh) * | 2023-03-22 | 2023-06-27 | 广州市城市规划勘测设计研究院 | 一种航空遥感影像的辐射校正方法及系统 |
CN116342417B (zh) * | 2023-03-22 | 2023-10-03 | 广州市城市规划勘测设计研究院 | 一种航空遥感影像的辐射校正方法及系统 |
CN117392363A (zh) * | 2023-12-12 | 2024-01-12 | 广东省海洋发展规划研究中心 | 一种陆海遥感图像分区校正方法、系统、设备及介质 |
CN117392363B (zh) * | 2023-12-12 | 2024-03-29 | 广东省海洋发展规划研究中心 | 一种陆海遥感图像分区校正方法、系统、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114792327B (zh) | 2022-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114792327B (zh) | 图像处理方法及系统 | |
CN106780590B (zh) | 一种深度图的获取方法及系统 | |
Niederheiser et al. | Deriving 3D point clouds from terrestrial photographs comparison of different sensors and software | |
CN104156536B (zh) | 一种盾构机刀具磨损的可视化定量标定及分析方法 | |
CN113192179B (zh) | 一种基于双目立体视觉的三维重建方法 | |
CN107607053B (zh) | 一种基于机器视觉和三维重建技术的立木胸径测量方法 | |
CN113971768A (zh) | 一种基于无人机的输电线路违章建筑三维动态检测方法 | |
CN112486207A (zh) | 一种基于视觉识别的无人机自主降落方法 | |
CN111371986A (zh) | 用于焦距调节和深度图确定的装置和方法 | |
CN113589263B (zh) | 一种多个同源传感器联合标定方法及系统 | |
CN109671109B (zh) | 密集点云生成方法及系统 | |
CN116170569A (zh) | 一种高光谱影像正摄校正方法及装置、存储介质 | |
WO2021067252A1 (en) | Image targeting via targetable 3d data | |
CN114494582B (zh) | 一种基于视觉感知的三维模型动态更新方法 | |
CN108917722B (zh) | 植被覆盖度计算方法及装置 | |
CN112017259B (zh) | 一种基于深度相机与热像仪的室内定位与建图方法 | |
CN117409149A (zh) | 基于立体约束的光束法平差方程的三维建模方法及系统 | |
CN116973946A (zh) | 一种深度学习与鱼眼相机图像分割的导航卫星定位方法 | |
CN117092647A (zh) | 一种制作区域星载光学和sar影像dom的方法和系统 | |
CN113469899B (zh) | 一种基于辐射能量重构的光学遥感卫星相对辐射校正方法 | |
CN116468621A (zh) | 一种一键式数字化航空影像数据处理方法 | |
CN115908731A (zh) | 一种基于云边协同的双无人机三维重建方法 | |
CN115082812A (zh) | 一种农业景观非农生境绿地斑块提取方法及其相关设备 | |
CN110188756B (zh) | 产品定位方法 | |
CN115035175A (zh) | 一种三维模型构建数据处理方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |