CN114792327B - 图像处理方法及系统 - Google Patents
图像处理方法及系统 Download PDFInfo
- Publication number
- CN114792327B CN114792327B CN202210715145.4A CN202210715145A CN114792327B CN 114792327 B CN114792327 B CN 114792327B CN 202210715145 A CN202210715145 A CN 202210715145A CN 114792327 B CN114792327 B CN 114792327B
- Authority
- CN
- China
- Prior art keywords
- image
- point
- correction
- target
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 34
- 238000012937 correction Methods 0.000 claims abstract description 202
- 230000005855 radiation Effects 0.000 claims abstract description 76
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 230000011218 segmentation Effects 0.000 claims abstract description 22
- 230000004044 response Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000003702 image correction Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 30
- 230000000694 effects Effects 0.000 abstract description 8
- 238000001514 detection method Methods 0.000 description 22
- 239000000523 sample Substances 0.000 description 15
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种图像处理方法及系统，方法包括：提取目标行星的站点图像中各个立体像对的天际线，并根据天际线对各立体像对进行区域分割；确定与站点图像中任一立体像对中的任一图像的目标点匹配的同名点；根据同名点在组成立体像对的图像中的像点位置所属区域以及预设校正模型，构建校正方程；确定预设校正模型的系数，并根据系数以及预设校正模型，确定目标校正模型；将待校正站点图像输入至目标校正模型，对待校正站点图像进行校正。本发明通过图像中天际线的自动提取，自动对图像进行区域分割，有效满足了目标行星站点图像不同区域校正的需求，相比不分区域的整体校正，自适应针对图像中不同区域进行相对辐射校正，获得更为精准的校正效果。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像处理方法及系统。
背景技术
在行星表面探测任务中，利用探测车对行星表面进行近距离表面探测是实现高效探测的重要手段。探测车行驶过程中，探测车自身的精确定位导航与环境地形感知是探测任务顺利实施的关键。在已有实施的任务中，探测车自身导航定位主要依靠惯导与里程计集成的航迹推算方法。该方法是探测车巡视探测中的常规定位方法，但在松软土壤和崎岖地面区域行驶时，探测车车轮打滑严重，使用航迹推算方法定位误差显著增大。因此，为修正航迹推算误差，利用探测车上搭载立体相机获取的视觉图像修正定位误差，实现高精度定位。定位过程中，基于前后站点的立体影像，通过寻找站点图像间的同名点作为连接点，应用视觉定位方法解算当前站点影像相对上一站点影像的相对位置姿态参数，结合前一站点的位置信息即可计算输出当前站点的定位结果。该方法的定位结果不随时间而发生漂移，也不受地形条件影响，具有较好的自主性和较高的精度，对探测任务安全实施发挥关键作用。另一方面，探测车的行驶需要精确感知周围环境，需利用搭载双目立体相机通过密集匹配得到探测站点周围三维信息，以避开周围可能存在的石块、深坑等障碍物。综上，探测车上搭载立体相机获取的立体视觉图像是探测任务安全、顺利实施的关键数据源。
探测车立体视觉图像的质量直接关系到探测任务中站点定位与环境感知效果。由于相机镜头及幅面CCD等部件影响，获取的影像可能出现不同程度、不同种类的辐射不均匀问题，导致获取的图像自身灰度不一致，给后续的图像匹配及可视化等处理带来了困难。需要引入相对辐射校正方法对探测车影像的不一致进行校正。传统相机的辐射校正可分为绝对辐射校正和相对辐射校正，前者是将图中的量测值校正到与地物反射或辐射相同的值，确定太阳入射角和传感器视角，并且加入对地形起伏等成分的考虑，这类方法的实施一般都比较繁琐、难以实现。相对辐射校正主要目的是使经过相对辐射校正的影像整体灰度达到一致，消除中间亮周围暗的情况，得到高质量的影像，用于后续处理应用。
对于深空探测车影像来说，通常在发射升空之前，工程人员会利用地面实验室积分球等设备提供均匀辐射源对相机实施相对辐射校正。然而，探测车发射至行星表面的飞行过程中受仪器震动及空间环境变化影响较大，相机辐射特性容易发生改变，需要对相机的相对辐射特性进行在线校正，通过校正使得图像内部灰度分布均匀，利用后续环境感知处理与应用。
传统的相对辐射校正选择方案可分为两类：定标法和统计法。定标法包括基于实验室定标的相对辐射校正、基于内定标的相对辐射校正；统计法包括均匀景统计、直方图均衡、直方图匹配。探测车影像相对辐射在线校正处理中，由于缺乏实验室积分球等外部标准参考设备，难以适用定标法进行相对辐射校正。部分深空探测车上搭载了用于光谱仪或物质成分分析仪标定的标准色卡用作光谱仪标校的外部标准参考，仅能用于局部谱段标校，无法适用行星探测车影像的全局辐射校正。因此，在探测任务中，外部决定参考条件的缺失使得定标法较难用于火星车影像的相对辐射在线校正。统计法是通常利用长时间对同一区域的多次成像数据，求解辐射的相对畸变量，达到对图像相对辐射校正处理。在火星探测任务中，行星探测车以移动行驶方式对不同区域进行探测，没有如卫星等平台对同一区域进行重复观测的作业模式，难以采用现有的相对辐射标定方法对图像进行相对辐射校正。总的来说，行星探测车由于自身探测模式的特点，现有相对辐射标定方法不适用于行星探测车的相对辐射在线校正。
发明内容
本发明提供的图像处理方法及系统，用于解决现有技术中存在的上述问题，通过图像中天际线的自动提取，自动对图像进行区域分割，有效满足了目标行星站点图像不同区域校正的需求，相比不分区域的整体校正，自适应针对图像中不同区域进行相对辐射校正，获得更为精准的校正效果。
本发明提供的一种图像处理方法，包括：
提取组成目标行星的站点图像中各个立体像对中的各个图像的天际线，并根据所述天际线对各所述图像进行区域分割；
确定与所述站点图像中任一立体像对中的任一图像的目标点匹配的同名点；
根据所述同名点在组成所述立体像对的图像中的像点位置所属区域以及预设校正模型，构建校正方程；
根据所述校正方程，确定所述预设校正模型的系数，并根据所述系数以及预设校正模型，确定目标校正模型；
将所述目标行星的待校正站点图像输入至所述目标校正模型，以对所述待校正站点图像进行校正。
根据本发明提供的一种图像处理方法，所述提取组成目标行星的站点图像中各个立体像对中的各个图像的天际线，并根据所述天际线对各所述图像进行区域分割，包括：
根据提取到的各所述立体像对的边缘信息，确定组成各所述立体像对的各个图像中潜在的天际线段；
根据所述天际线段中各个像素点的灰度分布，对所述天际线段进行判别，确定所述天际线；
根据所述天际线，将组成各所述立体像对的图像分割为天空区域以及地面区域。
根据本发明提供的一种图像处理方法，所述确定与所述站点图像中任一立体像对中的任一图像的目标点匹配的同名点，包括：
基于SIFT特征提取算法，提取各个立体像对中第一图像和第二图像的特征点；
确定各个立体像对中的所述第一图像的特征点与所述第二图像的特征点相匹配的同名特征点集；
以任一立体像对的所述第一图像上的特征点或所述第二图像上的特征点的匹配点为所述目标点，确定所述站点图像中其余立体像对的第一图像和第二图像与所述目标点匹配的同名物方点；
对所述同名物方点进行剔除，确定所述同名点；
其中，所述第一图像和所述第二图像是根据不同拍摄角度对站点拍摄后获取的。
根据本发明提供的一种图像处理方法，所述对所述同名物方点进行剔除，确定所述同名点，包括：
根据所述同名物方点在任意两个其余立体像对中的第一图像与第二图像中的坐标，确定所述同名物方点在任意两个其余立体像对的三维坐标；
根据所述同名物方点在任意两个其他立体像对的三维坐标之间的距离差系数，对满足预设阈值条件的所述距离差系数对应的同名物方点进行剔除，确定所述同名点。
根据本发明提供的一种图像处理方法，所述根据所述同名点在组成所述立体像对的图像中的像点位置所属区域以及预设校正模型，构建校正方程，包括：
若所述同名点的所述像点位置处于所述地面区域，则根据所述预设校正模型、所述同名点在所述图像上的通道值之差以及光学系统成像时的辐射值，构建地面区域校正方程；
若所述同名点的所述像点位置处于所述天空区域，则根据所述预设校正模型、所述图像上任意两个校正点坐标、所述图像上校正点通道值之差、辐射输入值以及预设系数，构建天空区域校正方程；
其中，所述校正点是根据组成所述天空区域的每个网格的中心点确定的；
所述网格是通过对所述天空区域进行均匀网格划分后确定的。
根据本发明提供的一种图像处理方法，所述预设校正模型是通过如下方式确定的：
根据图像中的任一位置处的成像像素辐射畸变为关于所述像点位置以及输入辐射响应值的函数，确定所述预设校正模型；
其中，所述函数是根据多项式建立的畸变量同输入响应值的关系确定的；
所述畸变量是根据所述像点位置以及所述预设校正模型的系数确定的；
所述输入响应值是根据所述输入辐射响应值确定的。
根据本发明提供的一种图像处理方法，在所述根据所述同名点在组成所述立体像对的图像中的像点位置所属区域以及预设校正模型，构建校正方程之前，还包括：
对组成所述立体像对的图像进行图像变换，以将所述图像从RGB模式转换为HLS模式。
本发明还提供一种图像处理系统，包括：第一提取模块、第二提取模块、方程构建模块、模型确定模块以及图像校正模块；
所述第一提取模块，用于提取组成目标行星的站点图像中各个立体像对中的各个图像的天际线，并根据所述天际线对各所述图像进行区域分割；
所述第二提取模块，用于确定与所述站点图像中任一立体像对中的任一图像的目标点匹配的同名点；
所述方程构建模块，用于根据所述同名点在组成所述立体像对的图像中的像点位置所属区域以及预设校正模型，构建校正方程；
所述模型确定模块，用于根据所述校正方程，确定所述预设校正模型的系数，并根据所述系数以及预设校正模型，确定目标校正模型；
所述图像校正模块，用于将所述目标行星的待校正站点图像输入至所述目标校正模型，以对所述待校正站点图像进行校正。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图像处理方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像处理方法的步骤。
本发明提供的图像处理方法及系统，通过图像中天际线的自动提取，自动对图像进行区域分割，有效满足了目标行星站点图像不同区域校正的需求，相比不分区域的整体校正，自适应针对图像中不同区域进行相对辐射校正，获得更为精准的校正效果。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的图像处理方法的流程示意图；
图2是本发明提供的图像处理系统的结构示意图；
图3是本发明提供的电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明提供的图像处理方法的流程示意图，如图1所示，方法包括：
步骤100、提取组成目标行星的站点图像中各个立体像对中的各个图像的天际线，并根据天际线对各图像进行区域分割；
步骤200、确定与站点图像中任一立体像对中的任一图像的目标点匹配的同名点；
步骤300、根据同名点在组成立体像对的图像中的像点位置所属区域以及预设校正模型，构建校正方程；
步骤400、根据校正方程，确定预设校正模型的系数，并根据系数以及预设校正模型，确定目标校正模型；
步骤500、将目标行星的待校正站点图像输入至目标校正模型，以对待校正站点图像进行校正。
需要说明的是，上述方法的执行主体可以是计算机设备。
可选地，本发明提供的图像处理方法的目的在于解决行星（如或火星）探测车相机图像相对辐射在线校正的技术问题，通过对站点图像重叠区同名点的提取，引入同名点辐射亮度一致约束，提出一种顾及序列图像连接点辐射一致性约束的行星探测车视觉图像相对辐射在线校正方法。针对行星探测车在构建校正模型的基础上，利用同一站点图像的提取的连接点辐射值一致性约束，同时利用场景中天空区域的散射一致性特点，通过多辐射约束条件进行校正模型的参数求解，实现对当前站点图像的相对辐射校正。利用本发明，可以不依赖外部辐射参数物，对在每个站点获取的图像进行相对辐射校正，提升行星探测车拍摄的站点图像质量。
为实现上述目的，本发明采取以下技术方案：基于行星场景特点，首先考虑天空及行星表面辐射特征的不同，在自动进行天际线提取的基础上，对行星场景中的天空及行星表面区域（即地面区域）进行区别、分割；然后针对地面区域建立地面区域的地面区域校正方程；随后，利用SIFT（Scale-invariant feature transform）特征提取方法提取站点图像中立体像对间的特征点，进而通过特征点匹配获取不同立体像对间的匹配点作为同名点，建立地面区域误差方程；随后，考虑天空等区域较难进行特征点的提取与匹配，考虑行星大气散射特点，引入天空辐射一致性约束，同时在图像的天空区域选择均匀分布的校正点，建立天空区域校正方程；最后，针对站点内各个立体像对校正点得到的地面与天空校正方程进行统一校正参数解算，根据校正参数对站点中的所有图像进行相对辐射校正处理，得到相对辐射一致性的行星站点图像数据，具体实现如下：
通过对组成目标行星（如火星）的站点图像中的各个立体像对的各个图像的天际线进行提取，得到各个图像的天际线，并按照天际线将组成各个立体像对的图像进行区域分割。
找到站点图像中任一立体像对中的任一图像的目标点，并对该目标点进行匹配，找到组成目标行星的站点图像的其余立体像对中与该目标点匹配的同名点。其中，同名点为物方任意一点分别在不同影像/图像上的构像点。
根据同名点在构成目标行星的站点图像的立体像对的图像中的像点位置以及区域分割结果，确定同名点所属的区域，并根据同名点所属区域以及预先构建的校正模型（即预设校正模型），构建不同区域的校正方程。
通过求解校正方程，可以得到预设校正模型的各个系数，并根据求得的预设校正模型的系数以及预设校正模型，构建目标校正模型。
将目标行星的待校正站点图像输入至上述得到的目标校正模型，对待校正站点图像进行相对辐射校正。
本发明提供的图像处理方法，通过图像中天际线的自动提取，自动对图像进行区域分割，有效满足了目标行星站点图像不同区域校正的需求，相比不分区域的整体校正，自适应针对图像中不同区域进行相对辐射校正，获得更为精准的校正效果。
进一步地，在一个实施例中，步骤100可以具体包括：
步骤1001、根据提取到的各立体像对的边缘信息，确定组成各立体像对的各个图像中潜在的天际线段；
步骤1002、根据天际线段中各个像素点的灰度分布，对天际线段进行判别，确定天际线；
步骤1003、根据天际线，将组成各立体像对的图像分割为天空区域以及地面区域。
可选地，在步骤1001中，输入目标行星的站点图像，对站点图像中组成各个立体像
对的图像进行高斯滤波，去除各个立体像对的各图像中明显的噪声信息。然后，利用Canny
算子对各个立体像对的图像进行边缘提取，得到各个立体像对的图像中的边缘信息。统计
提取各边缘线在各个立体像对各图像上的外界矩形
，计算
的面积
，长宽比
以
及长轴同立体像对各图像水平轴的夹角
，根据面积阈值
、长宽比阈值
以及夹角
阈值
，若满足以下条件，则认为该边缘为潜在的天际线段
：
在步骤1002中，对于每段潜在的天际线段
，其由
个像素点
组成，根据其所处周边区域的灰度分布进行天际线判别。判别时，构
建天际线段的上方邻域
中进行天际线段的权重判定。邻域
的区域由四条边构成，
其中区域底边是天际线段
，区域左边是由天际线
中横坐标最小值
形成的竖直
线，区域右边是由天际线
中横坐标最大值
形成的竖直线，区域顶边为立体像对中
各图像的顶边构成。
在邻域
中查找是否包含其他潜在天际线端，统计
中包含潜在天际线的总
长度
。对于给定阈值
，若
则认为该潜在的天际线段上方是色调一致的天空区域，为天际线的一部分。进一步地，对每条潜在天际线段进行上述处理，得到立体像对中各图像中所有的天际线段。
对得到的每一段天际线段进行编组，编组方法是以当前天际线段外接矩形长轴为
基础，计算另一天际线段上的所有点同长轴线（沿矩形中心点平行于矩形长轴的线）的距离
并求平均，若求得得到平均距离
小于距离阈值
：
则认为该两条天际线段属于同一组。对其他天际线段进行类似编组的判断，形成
得到
个编组
。统计各个编组中线段的总长度，确认总长度最长的编组
为最终的天际线。进一步地，针对编组中多个天际线段可能的不连续，利用直线对该编组中
的天际线段进行连接，得到完整的天际线
。
在步骤1003中，将天际线
上方区域划分为天空区域，将天际线
下方区域划
分为地面区域。
本发明提供的图像处理方法，通过图像中天际线的自动提取，自动对图像进行天空与地面区域的分割，有效满足了图像不同区域辐射校正的各自需要，相比不分区域的整体相对辐射校正，自适应针对图像中不同区域进行校正，获得了更为精准的校正效果。
进一步地，在一个实施例中，步骤200可以具体包括：
步骤2001、基于SIFT特征提取算法，提取各个立体像对中第一图像和第二图像的特征点；
步骤2002、确定各个立体像对中的第一图像的特征点与第二图像的特征点相匹配的同名特征点集；
步骤2003、以任一立体像对的第一图像上的特征点或第二图像上的特征点的匹配点为目标点，确定站点图像中其余立体像对的第一图像和第二图像与目标点匹配的同名物方点；
对同名物方点进行剔除，确定同名点；
其中，第一图像和第二图像是根据不同拍摄角度对站点拍摄后获取的。
进一步地，在一个实施例中，步骤2003可以具体包括：
步骤20031、根据同名物方点在任意两个其余立体像对中的第一图像与第二图像中的坐标，确定同名物方点在任意两个其余立体像对的三维坐标；
步骤20032、根据同名物方点在任意两个其他立体像对的三维坐标之间的距离差系数，对满足预设阈值条件的距离差系数对应的同名物方点进行剔除，确定同名点。
可选地，输入包含若干个立体相对的站点图像集合，利用SIFT特征提取算法得到
各自立体像对的图像上的特征点，立体像对由从不同拍摄角度对站点拍摄后获取的左影像
（即第一图像）以及右影像（即第二图像）组成，根据得到的第一图像和第二图像的特征点，
首先在立体像对的第一图像以及第二图像上进行匹配，确定同一立体像对中的第一图像的
特征点与第二图像的特征点相匹配的特征匹配点，假设第
立体像对上的特征匹配点
。
利用随机采样一致性算法（Random Sample Consensus，RANSAC）对特征匹配点对
进行筛选，剔除误匹配点，由此可以得到正确的同名特征点集
。
在步骤2003中，假设以第
立体像对
中第一图像上的匹配点为目标点，搜索
组成站点图像的其余立体像对的特征匹配点，得到其余立体像对上的特征点匹配结果，根
据特征点匹配结果得到同名物方点。利用空间几何一致性约束对立体像对间的特征点匹配
结果（即同名物方点）进行粗差剔除，得到与目标点匹配的同名点，具体地：
对于在其余任意两个立体像对
和
上匹配得到的同名物方点
，其在立体像
对
上的左右影像（第一图像以及第二图像）上的坐标分别为
，计算同名物方
点
的三维坐标
。相应地，同名物方点
在立体像对
上的左右影像（第一图像以
及第二图像）上坐标分别为
和
。根据
以及立体像对
的内外方位元素，
计算同名物方点
的三维坐标
。
根据不同立体像对的左右影像得到同名物方点的三维坐标应当是一致的约束。因
此，计算同名物方点
在立体像对
和
下的坐标距离差系数
：
其中，
与
分别为
与
同立体像对
和
的成像距离。
若
满足阈值条件（该阈值条件一般设置为大于0.0015），则认为该同名物方点
提取结果不满足空间几何一致性约束，并对该同名物方点进行剔除，对于
小于等于
0.0015的同名物方点进行保留以得到同名点。
本发明提供的图像处理方法，能够提升目标行星站点图像的质量，为后续行星探测任务执行提供了高质量的基础数据源。
进一步地，在一个实施例中，步骤300可以具体包括：
步骤3001、若同名点的像点位置处于地面区域，则根据预设校正模型、同名点在图像上的通道值之差以及光学系统成像时的辐射值，构建地面区域校正方程；
步骤3002、若同名点的像点位置处于天空区域，则根据预设校正模型、图像上任意两个校正点坐标、图像上校正点通道值之差、辐射输入值以及预设系数，构建天空区域校正方程；
其中，校正点是根据组成天空区域的每个网格的中心点确定的；
网格是通过对天空区域进行均匀网格划分后确定的。
进一步地，在一个实施例中，在步骤300之前还可以具体包括：
对组成立体像对的图像进行图像变换，以将图像从RGB模式转换为HLS模式。
可选地，站点图像中立体像对中的第一图像和第二图像的辐射畸变较多影响了图像亮度，导致图像明暗灰度分布不均匀。且第一图像与第二图像为RGB谱段图像，因此将第一图像以及第二图像由RGB模式转换为HLS模式，有利于通过对亮度L通道的校正实现更好的辐射畸变校正。转换前，将RGB图像中的R、G、B颜色分量值都归一化至[0，1]范围。经过RGB->HLS的图像变换，得到了H、L、S三个通道的图像数据。
对于得到的同名点
，假设其在站点图像的立体像对任意两个图像
，
中的
像点位置分别为
及
，根据区域分割结果判断其是否位于地面区域，
若为地面区域则按照预设校正模型建立地面区域校正方程。取两个像点针对HLS中每个通
道构建地面区域校正方程如下：
其中，
为同名点在图像
，
上的通道值之差；
与
分别为
相机成像时的辐射值；
与
分别为同名点在图像
，
中的像点位置。考虑站点成
像时，相邻立体像对成像时摄影中心位置改动较小，且成像时间非常接近，当地太阳方位角
与高度角基本不变，不同影像上同名点的成像入射光是一致的，可认为
；
为地
面区域标校残差。故，针对图像上地面区域任意两个同名点建立上述地面区域校正方程。
针对天空区域，以均匀网格划分图像中的天空区域，取每个网格区域中心点为作为校正点。天空受大气影响散射，同一幅图像中的天空区域辐射值接近，故依据预设校正模型建立天空区域校正方程，如下：
其中，
与
为图像
上天空区域的两个校正点坐标，
为
图像
，
上校正点通道值之差；
为辐射输入值，可认为同一幅图像上辐射摄
入值是接近的，顾及此差异，引入校正系数
用于辐射值的优化校正。
通过对站点图像天空区域与地面区域的校正方程建立，迭代求解预设校正模型的系数，进而利用求得的预设校正模型的系数以及预设校正模型确定目标校正模型，并利用目标校正模型对站点图像进行相对辐射校正。
本发明提供的图像处理方法，通过对目标行星站点图像的充分分析，针对天空与地面区域各自建立校正方程，通过两类方程的统一解算，得到整体上最优的相对辐射校正系数，实现了站点图像整体一致地相对辐射校正，确保站点图像不同区域校正效果一致。
进一步地，在一个实施例中，预设校正模型是通过如下方式确定的：
根据图像中的任一位置处的成像像素辐射畸变为关于所述像点位置以及输入辐射响应值的函数，确定预设校正模型；
其中，函数是根据多项式建立的畸变量同输入响应值的关系确定的；
所述畸变量是根据像点位置以及预设校正模型的系数确定的；
输入响应值是根据输入辐射响应值确定的。
可选地，根据相机成像特性，建立相对辐射校正模型（即预设校正模型）。考虑到光
学镜头原因，认为图像的相对辐射畸变程度随离镜头中心的距离变大而变大。因此，可认为
影像中位于
处的成像像素辐射畸变为关于像点位置
及输入辐射响应值
的函数，基于此，构建预设校正模型如下式：
相应地，该函数中利用多项式建立畸变量
同输入响应值
的关
系，如下：
该畸变量
是以像点位置为自变量的多项式畸变响应系数模型，可用下
式表示:
其中，
为像点的像平面坐标，通过下式计算得到：
其中，
为摄入相机的输入辐射响应值，
为光电转换系数，
为成像增益。
本发明提供的图像处理方法，通过建立校正模型，充分分析场景特点，实现了无外部参考源条件下的站点图像相对辐射的在线校正，可根据行星探测车真实工况自适应提升了站点图像的质量，为后续探测任务执行提供了高质量的基础数据源。
下面对本发明提供的图像处理系统进行描述，下文描述的图像处理系统与上文描述的图像处理方法可相互对应参照。
图2是本发明提供的图像处理系统的结构示意图，如图2所示，包括：
第一提取模块210、第二提取模块211、方程构建模块212、模型确定模块213以及图像校正模块214；
第一提取模块210，用于提取组成目标行星的站点图像中各个立体像对中的各个图像的天际线，并根据天际线对各图像进行区域分割；
第二提取模块211，用于确定与站点图像中任一立体像对中的任一图像的目标点匹配的同名点；
方程构建模块212，用于根据同名点在组成立体像对的图像中的像点位置所属区域以及预设校正模型，构建校正方程；
模型确定模块213，用于根据校正方程，确定预设校正模型的系数，并根据系数以及预设校正模型，确定目标校正模型；
图像校正模块214，用于将目标行星的待校正站点图像输入至目标校正模型，以对待校正站点图像进行校正。
本发明提供的图像处理系统，通过图像中天际线的自动提取，自动对图像进行区域分割，有效满足了目标行星站点图像不同区域校正的需求，相比不分区域的整体校正，自适应针对图像中不同区域进行相对辐射校正，获得更为精准的校正效果。
图3是本发明提供的一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器（processor）310、通信接口（communication interface）311、存储器（memory）312和总线（bus）313，其中，处理器310，通信接口311，存储器312通过总线313完成相互间的通信。处理器310可以调用存储器312中的逻辑指令，以执行如下方法：
提取组成目标行星的站点图像中各个立体像对中的各个图像的天际线，并根据天际线对各所述图像进行区域分割；
确定与站点图像中任一立体像对中的任一图像的目标点匹配的同名点；
根据同名点在组成立体像对的图像中的像点位置所属区域以及预设校正模型，构建校正方程；
根据校正方程，确定预设校正模型的系数，并根据系数以及预设校正模型，确定目标校正模型；
将目标行星的待校正站点图像输入至所述目标校正模型，以对待校正站点图像进行校正。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机电源屏（可以是个人计算机，服务器，或者网络电源屏等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地，本发明公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的图像处理方法，例如包括：
提取组成目标行星的站点图像中各个立体像对中的各个图像的天际线，并根据天际线对各所述图像进行区域分割；
确定与站点图像中任一立体像对中的任一图像的目标点匹配的同名点；
根据同名点在组成立体像对的图像中的像点位置所属区域以及预设校正模型，构建校正方程；
根据校正方程，确定预设校正模型的系数，并根据系数以及预设校正模型，确定目标校正模型；
将目标行星的待校正站点图像输入至所述目标校正模型，以对待校正站点图像进行校正。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的图像处理方法，例如包括：
提取组成目标行星的站点图像中各个立体像对中的各个图像的天际线，并根据天际线对各所述图像进行区域分割；
确定与站点图像中任一立体像对中的任一图像的目标点匹配的同名点；
根据同名点在组成立体像对的图像中的像点位置所属区域以及预设校正模型，构建校正方程；
根据校正方程，确定预设校正模型的系数，并根据系数以及预设校正模型，确定目标校正模型；
将目标行星的待校正站点图像输入至所述目标校正模型，以对待校正站点图像进行校正。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机电源屏（可以是个人计算机，服务器，或者网络电源屏等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种图像处理方法，其特征在于，包括：
提取组成目标行星的站点图像中各个立体像对中的各个图像的天际线，并根据所述天际线对各所述图像进行区域分割；
确定与所述站点图像中任一立体像对中的任一图像的目标点匹配的同名点；
根据所述同名点在组成所述立体像对的图像中的像点位置所属区域以及预设校正模型，构建校正方程；
根据所述校正方程，确定所述校正方程的系数，并根据所述校正方程的系数以及预设校正模型，确定目标校正模型；
将所述目标行星的待校正站点图像输入至所述目标校正模型，以对所述待校正站点图像进行校正；
所述确定与所述站点图像中任一立体像对中的任一图像的目标点匹配的同名点，包括：
基于SIFT特征提取算法，提取各个立体像对中第一图像和第二图像的特征点；
确定各个立体像对中的所述第一图像的特征点与所述第二图像的特征点相匹配的同名特征点集；
以任一立体像对的所述第一图像上的特征点或所述第二图像上的特征点的匹配点为所述目标点，确定所述站点图像中其余立体像对的第一图像和第二图像与所述目标点匹配的同名物方点；
对所述同名物方点进行剔除，确定所述同名点；
其中，所述第一图像和所述第二图像是根据不同拍摄角度对站点拍摄后获取的。
2.根据权利要求1所述的图像处理方法，其特征在于，所述提取组成目标行星的站点图像中各个立体像对中的各个图像的天际线，并根据所述天际线对各所述图像进行区域分割，包括：
根据提取到的各所述立体像对的边缘信息，确定组成各所述立体像对的各个图像中潜在的天际线段；
根据所述天际线段中各个像素点的灰度分布，对所述天际线段进行判别，确定所述天际线；
根据所述天际线，将组成各所述立体像对的图像分割为天空区域以及地面区域。
3.根据权利要求1所述的图像处理方法，其特征在于，所述对所述同名物方点进行剔除，确定所述同名点，包括：
根据所述同名物方点在任意两个其余立体像对中的第一图像与第二图像中的坐标，确定所述同名物方点在任意两个其余立体像对的三维坐标；
根据所述同名物方点在任意两个其他立体像对的三维坐标之间的距离差系数，对满足预设阈值条件的所述距离差系数对应的同名物方点进行剔除，确定所述同名点。
4.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述同名点在组成所述立体像对的图像中的像点位置所属区域以及预设校正模型，构建校正方程，包括：
若所述同名点的所述像点位置处于所述地面区域，则根据所述预设校正模型、所述同名点在所述图像上的通道值之差以及光学系统成像时的辐射值，构建地面区域校正方程；
若所述同名点的所述像点位置处于所述天空区域，则根据所述预设校正模型、所述图像上任意两个校正点坐标、所述图像上校正点通道值之差、辐射输入值以及预设系数，构建天空区域校正方程；
其中，所述校正点是根据组成所述天空区域的每个网格的中心点确定的；
所述网格是通过对所述天空区域进行均匀网格划分后确定的。
5.根据权利要求1所述的图像处理方法，其特征在于，所述预设校正模型是通过如下方式确定的：
根据图像中的任一位置处的成像像素辐射畸变为关于所述像点位置以及输入辐射响应值的函数，确定所述预设校正模型；
其中，所述函数是根据多项式建立的畸变量同输入响应值的关系确定的；
所述畸变量是根据所述像点位置以及所述预设校正模型的系数确定的；
所述输入响应值是根据所述输入辐射响应值确定的。
6.根据权利要求4所述的图像处理方法，其特征在于，在所述根据所述同名点在组成所述立体像对的图像中的像点位置所属区域以及预设校正模型，构建校正方程之前，还包括：
对组成所述立体像对的图像进行图像变换，以将所述图像从RGB模式转换为HLS模式。
7.一种图像处理系统，其特征在于，包括：第一提取模块、第二提取模块、方程构建模块、模型确定模块以及图像校正模块；
所述第一提取模块，用于提取组成目标行星的站点图像中各个立体像对中的各个图像的天际线，并根据所述天际线对各所述图像进行区域分割；
所述第二提取模块，用于确定与所述站点图像中任一立体像对中的任一图像的目标点匹配的同名点；
所述方程构建模块，用于根据所述同名点在组成所述立体像对的图像中的像点位置所属区域以及预设校正模型，构建校正方程；
所述模型确定模块，用于根据所述校正方程，确定所述校正方程的系数，并根据所述校正方程的系数以及预设校正模型，确定目标校正模型；
所述图像校正模块，用于将所述目标行星的待校正站点图像输入至所述目标校正模型，以对所述待校正站点图像进行校正；
所述确定与所述站点图像中任一立体像对中的任一图像的目标点匹配的同名点，包括：
基于SIFT特征提取算法，提取各个立体像对中第一图像和第二图像的特征点；
确定各个立体像对中的所述第一图像的特征点与所述第二图像的特征点相匹配的同名特征点集；
以任一立体像对的所述第一图像上的特征点或所述第二图像上的特征点的匹配点为所述目标点，确定所述站点图像中其余立体像对的第一图像和第二图像与所述目标点匹配的同名物方点；
对所述同名物方点进行剔除，确定所述同名点；
其中，所述第一图像和所述第二图像是根据不同拍摄角度对站点拍摄后获取的。
8.一种电子设备，包括处理器和存储有计算机程序的存储器，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述图像处理方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210715145.4A CN114792327B (zh) | 2022-06-23 | 2022-06-23 | 图像处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210715145.4A CN114792327B (zh) | 2022-06-23 | 2022-06-23 | 图像处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114792327A CN114792327A (zh) | 2022-07-26 |
| CN114792327B true CN114792327B (zh) | 2022-11-04 |
Family
ID=82463048
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210715145.4A Active CN114792327B (zh) | 2022-06-23 | 2022-06-23 | 图像处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114792327B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116342417B (zh) * | 2023-03-22 | 2023-10-03 | 广州市城市规划勘测设计研究院 | 一种航空遥感影像的辐射校正方法及系统 |
| CN117392363B (zh) * | 2023-12-12 | 2024-03-29 | 广东省海洋发展规划研究中心 | 一种陆海遥感图像分区校正方法、系统、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112287904A (zh) * | 2020-12-15 | 2021-01-29 | 北京道达天际科技有限公司 | 基于卫星影像的机场目标识别方法和装置 |
| WO2021196548A1 (zh) * | 2020-04-01 | 2021-10-07 | 北京迈格威科技有限公司 | 距离确定方法、装置及系统 |
| CN114078165A (zh) * | 2020-08-13 | 2022-02-22 | 华为技术有限公司 | 光学成像模组的标定方法、畸变校正的方法及相关设备 |
| CN114187415A (zh) * | 2021-11-26 | 2022-03-15 | 北京航天飞行控制中心 | 地形图生成方法及装置 |
| WO2022100242A1 (zh) * | 2020-11-12 | 2022-05-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AUPP009697A0 (en) * | 1997-10-29 | 1997-11-20 | Canon Information Systems Research Australia Pty Ltd | Image interpretation method and apparatas |
| CN101246590B (zh) * | 2008-03-03 | 2011-05-11 | 北京航空航天大学 | 星载相机空间畸变图像几何校正方法 |
| CN108447024B (zh) * | 2018-01-30 | 2021-10-01 | 中国科学院上海技术物理研究所 | 基于在轨恒星数据的人工智能畸变自校正方法 |
| CN108444451B (zh) * | 2018-03-19 | 2020-10-20 | 中国人民解放军战略支援部队信息工程大学 | 一种行星表面影像匹配方法与装置 |
| US11373314B2 (en) * | 2018-04-05 | 2022-06-28 | Nec Corporation | Land mask image generation for ocean surface and land surface |
| CN110702228B (zh) * | 2019-09-25 | 2021-06-25 | 华东师范大学 | 一种航空高光谱影像的边缘辐射校正方法 |
| CN112465732A (zh) * | 2020-11-27 | 2021-03-09 | 武汉大学 | 一种车载激光点云与序列全景影像的配准方法 |
| CN113744249B (zh) * | 2021-09-07 | 2023-07-18 | 中国科学院大学 | 一种海洋生态环境损害调查方法 |
| CN114359066A (zh) * | 2021-12-06 | 2022-04-15 | 武汉大学 | 一种高分遥感影像辐射基准建立与辐射校正方法 |
-
2022
- 2022-06-23 CN CN202210715145.4A patent/CN114792327B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021196548A1 (zh) * | 2020-04-01 | 2021-10-07 | 北京迈格威科技有限公司 | 距离确定方法、装置及系统 |
| CN114078165A (zh) * | 2020-08-13 | 2022-02-22 | 华为技术有限公司 | 光学成像模组的标定方法、畸变校正的方法及相关设备 |
| WO2022100242A1 (zh) * | 2020-11-12 | 2022-05-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN112287904A (zh) * | 2020-12-15 | 2021-01-29 | 北京道达天际科技有限公司 | 基于卫星影像的机场目标识别方法和装置 |
| CN114187415A (zh) * | 2021-11-26 | 2022-03-15 | 北京航天飞行控制中心 | 地形图生成方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114792327A (zh) | 2022-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114792327B (zh) | 图像处理方法及系统 | |
| CN106780590B (zh) | 一种深度图的获取方法及系统 | |
| CN109785379B (zh) | 一种对称物体尺寸及重量的测量方法及测量系统 | |
| CN109285145B (zh) | 基于智能手机的多株立木高度测量方法 | |
| CN110443836A (zh) | 一种基于平面特征的点云数据自动配准方法及装置 | |
| CN104156536B (zh) | 一种盾构机刀具磨损的可视化定量标定及分析方法 | |
| Wu et al. | Passive measurement method of tree diameter at breast height using a smartphone | |
| CN113344956B (zh) | 基于无人机航摄三维建模的地物轮廓提取分类方法 | |
| CN113971768A (zh) | 一种基于无人机的输电线路违章建筑三维动态检测方法 | |
| CN104318583B (zh) | 一种可见光宽带光谱图像配准方法 | |
| CN109671109B (zh) | 密集点云生成方法及系统 | |
| CN112200848A (zh) | 低光照弱对比复杂环境下的深度相机视觉增强方法及系统 | |
| CN108629742A (zh) | 真正射影像阴影检测与补偿方法、装置及存储介质 | |
| CN111739071A (zh) | 基于初始值的快速迭代配准方法、介质、终端和装置 | |
| CN110738693A (zh) | 一种地基成像雷达多角度图像配准方法 | |
| CN113393413B (zh) | 基于单目与双目视觉协同的水域面积测量方法和系统 | |
| CN116823895A (zh) | 基于可变模板的rgb-d相机多视角匹配的数字图像计算方法及系统 | |
| CN116778322A (zh) | 基于高分辨率影像剔除水面桥梁连续水面构造的方法 | |
| CN114565653B (zh) | 一种存在旋转变化和尺度差异的异源遥感图像匹配方法 | |
| CN115082812A (zh) | 一种农业景观非农生境绿地斑块提取方法及其相关设备 | |
| CN112815911B (zh) | 基于三目视觉的输电线路交跨距离测量方法 | |
| CN116170569A (zh) | 一种高光谱影像正摄校正方法及装置、存储介质 | |
| CN110188756B (zh) | 产品定位方法 | |
| CN113592953A (zh) | 一种基于特征点集的双目非合作目标位姿测量方法 | |
| CN113469899B (zh) | 一种基于辐射能量重构的光学遥感卫星相对辐射校正方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |