CN110599424B - 影像自动匀色处理方法及装置、电子设备、存储介质 - Google Patents

影像自动匀色处理方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN110599424B
CN110599424B CN201910874904.XA CN201910874904A CN110599424B CN 110599424 B CN110599424 B CN 110599424B CN 201910874904 A CN201910874904 A CN 201910874904A CN 110599424 B CN110599424 B CN 110599424B
Authority
CN
China
Prior art keywords
image
color
points
scene
same
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910874904.XA
Other languages
English (en)
Other versions
CN110599424A (zh
Inventor
葛慧斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Hongtu Information Technology Co Ltd
Original Assignee
Beijing Piesat Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Piesat Information Technology Co ltd filed Critical Beijing Piesat Information Technology Co ltd
Priority to CN201910874904.XA priority Critical patent/CN110599424B/zh
Publication of CN110599424A publication Critical patent/CN110599424A/zh
Application granted granted Critical
Publication of CN110599424B publication Critical patent/CN110599424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Abstract

本申请提供了一种影像自动匀色处理方法及装置、电子设备、存储介质，属于图像处理技术领域，该方案包括：获取同一场景内采集的多景影像数据；根据每景影像数据的采集范围，确定不同景影像之间的重叠区域；针对每一重叠区域，在重叠区域内进行不同景影像之间的同名像点匹配；根据同名像点在不同景影像的色彩值，构建色彩区域网平差方程，以同名像点的色彩值差值最小为迭代条件求解所述色彩区域网平差方程，得到每景影像每个波段的色彩增益值；在多景影像数据上叠加对应影像每个波段的色彩增益值，对多景影像数据进行匀色输出。无需任何色彩模板的情况下最大限度降低了影像与影像间的色彩差异，减少了前期准备色彩模板的时间和人力成本。

Description

影像自动匀色处理方法及装置、电子设备、存储介质
技术领域
本申请涉及图像处理技术领域，特别涉及一种影像自动匀色处理方法及装置、电子设备、存储介质。
背景技术
不同遥感影像由于成像时间，季节，天气，环境等因素不同，造成影像色彩差异较大，为了保证影像整体色彩一致性，需要对遥感影像进行色彩调整。
现有的影像自动匀色处理算法都是基于模板影像或者标准色彩库进行的，通过统计模板影像和待匀色影像的均值、方差、直方图等信息并进行数学模型的同化处理，以达到待匀色影像的色彩在处理后能够更加贴近模板影像的色彩。
然而，模板影像只能解决单景影像的色彩绝对精度问题，不同时相的影像通常需要提前制作不同时相的模板影像才能达到较好的效果，前期准备模板影像费时费力。
发明内容
本申请实施例提供了一种影像匀色方法，解决现有基于模板影像进行匀色，费时费力的问题。
在一实施例中，上述一种影像自动匀色处理方法，包括：
获取同一场景内采集的多景影像数据；
根据每景影像数据的采集范围，确定不同景影像之间的重叠区域；
针对每一重叠区域，在所述重叠区域内进行不同景影像之间的同名像点匹配；
根据所述同名像点在不同景影像的色彩值，构建色彩区域网平差方程，以所述同名像点的色彩值的差值最小为迭代条件求解所述色彩区域网平差方程，得到每景影像每个波段的色彩增益值；
在所述多景影像数据上叠加对应影像每个波段的色彩增益值，对所述多景影像数据进行匀色输出。
在一实施例中，包含所述重叠区域的多个影像分为第一影像和第二影像；所述针对每一重叠区域，在所述重叠区域内进行不同景影像之间的同名像点匹配，包括：
针对每一重叠区域，提取所述重叠区域在不同景影像中的特征点；
对包含所述重叠区域的影像进行多尺度变换，形成第一影像对应的第一金字塔影像以及第二影像对应的第二金字塔影像；
逐层匹配所述第一金字塔影像中所述特征点在所述第二金字塔影像中对应的同名像点。
在一实施例中，所述逐层匹配所述第一金字塔影像中所述特征点在所述第二金字塔影像中对应的同名像点，包括：
将所述第一金字塔影像的顶层图像与所述第二金字塔影像的顶层图像进行所述特征点的匹配，得到所述顶层图像的同名像点；
利用所述顶层图像的同名像点构建所述第一影像和第二影像之间的仿射变换公式；
通过所述仿射变换公式，计算所述第一金字塔影像下层图像中特征点在所述第二金字塔影像下层图像中的特征位置；
将所述第一金字塔影像下层图像中特征点与所述特征位置邻域范围内的所有特征点进行匹配，得到所述下层图像的同名像点。
在一实施例中，所述将所述第一金字塔影像的顶层图像与所述第二金字塔影像的顶层图像进行所述特征点的匹配，得到所述顶层图像的同名像点，包括：
针对所述第一金字塔影像顶层图像的每个特征点，计算与所述第二金字塔影像顶层图像中所有特征点之间的欧式距离，查找最邻近欧式距离与次邻近欧式距离；
筛选出所述最邻近欧式距离与所述次邻近欧式距离之比小于预设值的特征点对，构成特征点对集合；
针对所述特征点对集合中的每个特征点对，通过局部几何约束进行匹配点对的筛选，得到所述顶层图像的同名像点。
在一实施例中，所述针对所述特征点对集合中的每个特征点对，通过局部几何约束进行匹配点对的筛选，得到所述顶层图像的同名像点，包括：
针对所述特征点对集合中的每个特征点对，根据所述特征点对与局部邻域内所有特征点对的矢量长度和矢量夹角，筛选出匹配点对，得到所述顶层图像的同名像点。
在一实施例中，所述根据所述同名像点在不同景影像的色彩值，构建色彩区域网平差方程，以所述同名像点的色彩值的差值最小为迭代条件求解所述色彩区域网平差方程，得到每景影像每个波段的色彩增益值之前，所述方法还包括：
对所述重叠区域中的同名像点进行直线拟合，去除与所拟合直线距离大于阈值的同名像点。
在一实施例中，所述根据所述同名像点在不同景影像的色彩值，构建色彩区域网平差方程，以所述同名像点的色彩值的差值最小为迭代条件求解所述色彩区域网平差方程，得到每景影像每个波段的色彩增益值，包括：
针对每一颜色波段，根据所述同名像点在不同景影像中所述颜色波段的灰度值，构建所述颜色波段的色彩区域网平差方程；
针对所述颜色波段，以所述同名像点的灰度值的差值最小为迭代条件求解所述颜色波段的色彩区域网平差方程，得到所述颜色波段对应的每景影像的色彩增益值。
另一方面，本申请还提供了一种影像自动匀色处理装置，包括：
数据获取模块，用于获取同一场景内采集的多景影像数据；
重叠确定模块，用于根据每景影像数据的采集范围，确定不同景影像之间的重叠区域；
同名点匹配模块，用于针对每一重叠区域，在所述重叠区域内进行不同景影像之间的同名像点匹配；
色彩增益计算模块，用于根据所述同名像点在不同景影像的色彩值，构建色彩区域网平差方程，以所述同名像点的色彩值的差值最小为迭代条件求解所述色彩区域网平差方程，得到每景影像每个波段的色彩增益值；
影像间匀色模块，用于在所述多景影像数据上叠加对应影像每个波段的色彩增益值，对所述多景影像数据进行匀色输出。
此外，本申请还提供了一种电子设备，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述影像自动匀色处理方法。
进一步的，本申请还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述影像自动匀色处理方法。
本申请上述实施例提供的技术方案，通过确定影像间的重叠区域，查找重叠区域的同名像点，进而根据同名像点在不同影像中的色彩值，构建色彩区域网平差方程，以同名像点的色彩值差值最小为迭代条件求解方程，得到不同影像每个波段的色彩增益值，在原始的多景影像上叠加相应影像的色彩增益值，从而实现影像间的匀色，无需任何色彩模板的情况下最大限度降低了影像与影像间的色彩差异，减少了前期准备色彩模板的时间和人力成本。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。
图1是本申请提供的一种影像自动匀色处理方法的应用场景示意图；
图2是本申请提供的一种影像自动匀色处理方法的流程示意图；
图3是图2对应实施例中步骤230的细节流程图；
图4是从影像中提取特征点的效果图；
图5是图3对应实施例中步骤233的细节流程图；
图6是图5对应实施例中步骤2331的细节流程图；
图7是特征点匹配的效果示意图；
图8是基于SURF算法错误配对的示意图；
图9是RANSAC算法的原理示意图；
图10是147景高分一号卫星影像未匀色拼接图；
图11是147景高分一号卫星影像匀色拼接图；
图12是本申请一实施例示出的影像自动匀色处理装置的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
图1是本申请提供的一种影像自动匀色处理方法的应用场景示意图。如图1所示，该应用场景包括影像采集设备110。影像采集设备110可以卫星遥感设备或无人机遥感设备。影像采集设备110可以采用本申请提供的方法对采集到的影像进行匀色处理，使同一测区在不同景影像中的色彩一致，达到影像间色彩的自然过渡。
在一实施例中，上述应用场景还可以包括服务端120，服务端120与影像采集设备110无线通信，服务端120可以是服务器、服务器集群或者云计算中心。影像采集设备110采集的遥感影像可以发送到服务端120，由服务端120采用本申请提供方法，对接收的影像进行匀色处理。
本申请还提供了一种电子设备，该电子设备可以是影像采集设备110或服务端120。如图1所示，电子设备可以包括处理器111；用于存储处理器111可执行指令的存储器112；其中，处理器111被配置为执行本申请提供的影像自动匀色处理方法。
存储器112可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
本申请还提供的一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序可由处理器111执行以完成本申请提供的影像自动匀色处理方法。
图2是本申请提供的一种影像自动匀色处理方法的流程示意图，该方法可以由上述影像采集设备110或服务端120执行，如图2所示，该方法可以包括以下步骤210-250。
在步骤210中，获取同一场景内采集的多景影像数据。
其中，一景是指卫星或无人机拍摄一次所拍摄到的画面，相当于一帧。一景卫星遥感图像所包含的面积少则几千平方公里,多则上万平方公里。由于每次拍摄覆盖范围较广，故前后几次拍摄的画面存在部分重叠区域，因此可以采用本申请提供的方法进行匀色处理，减小重叠区域在不同画面中的差异。同一场景内采集的多景影像数据是指拍摄的存在重叠区域的多张图像。
在步骤220中，根据每景影像数据的采集范围，确定不同景影像之间的重叠区域。
每景影像数据包括采集范围，采集范围是指所拍摄画面的地理范围，可以用经纬度表示每景影像数据的采集范围。假设场景S中存在m景影像数据，可以根据每景影像数据的采集范围，计算影像间的所有重叠区域。例如可以存在以下重叠区域P12...(m),P23...(m)…Pm(m-1)...1，分别表示m景影像数据的重叠区域，m-1景影像数据的重叠区域……两景影像数据的重叠区域。每个重叠区域最少为两景影像数据的重叠区域，最多为m景影像数据的重叠区域。
在步骤230中，针对每一重叠区域，在所述重叠区域内进行不同景影像之间的同名像点匹配。
同名像点是指地面上同一个点在不同影像上成的像点。同名像点匹配是指在不同景影像的重叠区域中找出属于地面上同一个点的像点。例如，第一影像和第二影像存在重叠区域A，也就是第一影像存在重叠区域A，第二影像存在重叠区域A，同名像点匹配可以认为是从第一影像的重叠区域A中找出像点x，从第二影像的重叠区域A中找出像点y，其中，像点x与像点y在地面属于同一点。此时像点x和像点y可以认为是匹配的同名像点。对于三景影像数据的重叠区域，也可以分别从三景影像数据中找出属于地面上同一点的像点，得到匹配的同名像点，以此针对每个重叠区域，均可以找出匹配的同名像点。
在步骤240中，根据所述同名像点在不同景影像的色彩值，构建色彩区域网平差方程，以所述同名像点的色彩值的差值最小为迭代条件求解所述色彩区域网平差方程，得到每景影像每个波段的色彩增益值。
色彩值是指同名像点的灰度值。对于彩色影像而言，色彩值可以是红、绿、蓝三个颜色波段对应的灰度值。色彩增益值是指在原始影像基础上需叠加的灰度值，从而可以使叠加处理后的不同影像之间色彩自然过渡，使同一物点在不同景影像中的色彩差异较小。
区域网平差方程写成矩阵的形式为：
Figure GDA0002519819840000091
该区域网平差方程代入的是色彩灰度值，故称为色彩区域网平差方程。在该区域网平差方程式中含有两类未知数：每景影像的某个颜色波段的增益值t和同名连接点的最终色彩值X。L为上一次迭代计算的影像灰度值，相应的法方程式为：
Figure GDA0002519819840000092
其中，A为改化法方程系数矩阵，B为每个同名连接点的灰度值差矩阵；V为误差矩阵，代表每个同名连接点的灰度值差，目标是使得V最小，通常作为方程组解算的迭代终止条件。
为清楚的说明本申请的方案，假设存在两景影像数据(第一影像和第二影像)，第一影像和第二影像之间存在重叠区域A，同名像点位于第一影像的重叠区域A和第二影像的重叠区域A中。根据同名像点在第一影像中的色彩值以及同名像点在第二影像中的色彩值，可以计算出第一影像的色彩增益值以及第二影像的色彩增益值，使同名像点在两幅影像中的色彩差异最小。
在步骤250中，在所述多景影像数据上叠加对应影像每个波段的色彩增益值，对所述多景影像数据进行匀色输出。
假设每个影像每个颜色波段的色彩增益值是t1、t2......tn，叠加对应影像的色彩增益值可以是在原始影像的色彩值上加上色彩增益值。之后，可以做相应数据类型的异常越界检查，例如8BIT存储的影像数据，判断匀色后的数据是否在0到255数值区间，如果越界则需要控制在该数值区间内，进而输出匀色后的影像数据。
本申请上述实施例提供的技术方案，通过确定影像间的重叠区域，查找重叠区域的同名像点，进而根据同名像点在不同影像中的色彩值，构建色彩区域网平差方程，以同名像点的色彩值差值最小为迭代条件求解方程，得到不同影像每个波段的色彩增益值，在原始的多景影像上叠加相应影像每个波段的色彩增益值，从而实现影像间的匀色，无需任何色彩模板的情况下最大限度降低了影像与影像间的色彩差异，减少了前期准备色彩模板的时间和人力成本，为下一步的无缝拼接处理做好了充分的准备，大大减轻了数据处理人员人工匀色的工作量。
在一实施例中，针对每个重叠区域，包含该重叠区域的多个影像可以分为第一影像和第二影像。第一影像可以是从包含重叠区域的多个影像中选择的其中一个影像，第一影像可以认为是匹配影像。第二影像是指包含重叠区域的多个影像中除第一影像外的其他影像，第二影像可以认为是待匹配影像，第二影像可以是一景或多景影像。为清楚地说明本申请方案，假设共存在两景影像数据，称为第一影像和第二影像，第一影像和第二影像存在一个重叠区域，故可以对第一影像和第二影像进行匀色处理。如图3所示，上述步骤230同名像点匹配可以包括以下步骤231-233。
在步骤231中，针对每一重叠区域，提取所述重叠区域在不同景影像中的特征点。
为了提高匹配的准确度和成功率，针对该重叠区域，首先可以从第一影像的重叠区域中提取特征点，从第二影像的重叠区域中提取特征点。特征点即最具有特征的点，例如角点。下文特征点均指重叠区域提取的特征点。特征点的提取方式可以使用一个固定窗口在影像的重叠区域区内进行任意方向上的滑动，比较滑动前与滑动后两种情况，窗口中的像素灰度变化程度，如果存在任意方向上的滑动，都有着较大灰度变化，那么可以认为该窗口中存在角点，提取出梯度值最大的点位即为角点。其中，将图像窗口平移[u,v]产生灰度梯度变化值E(u,v)数学表达式为：
Figure GDA0002519819840000111
其中，E(u,v)是特征点的梯度值；W(x,y)是移动的窗口函数；I(x+u,y+v)是窗口平移后的影像灰度；I(x,y)是影像灰度值。其中，影像中提取特征点的效果图可以如图4所示。
在步骤232中，对包含所述重叠区域的影像进行多尺度变换，形成第一影像对应的第一金字塔影像以及第二影像对应的第二金字塔影像。
第一金字塔影像是指对第一影像进行多尺度变换构建的金字塔影像，第二金字塔影像是指对第二影像进行多尺度变换构建的金字塔影像。为进行区分，分别称为第一金字塔影像和第二金字塔影像。多尺度变换是指对影像进行多次降采样。
由于遥感影像通常都很大，SURF(Speeded Up Robust Features，加速稳健特征)算法具有多量性，即使很小的影像或少数几个物体也能产生大量的特征点，如一副纹理丰富的300*300像素的影像能产生1000多个特征点，因此直接利用SURF算法提取的特征点进行匹配计算时间将会很长，并且由于特征点数量的增加，导致误匹配的几率也提高了。故本申请将第一影像和第二影像分别建立金字塔影像来进行匹配。为了保证金字塔顶层能够匹配到足够的特征点，并且又尽量减少计算量，金字塔影像顶层图像的像元数应保持500*500像素～1000*1000像素。金字塔影像的层数过多会导致计算量以指数级别增长，而层数过低又会导致匹配效果不理想，通过实验发现，层数为3时，既能保证匹配的精度，又能减少计算量。其中，采样间隔L的计算方法为：S0为影像的原始尺寸，Smax为金字塔顶层影像的最大尺寸，尺寸为影像宽和高中的最大值。
Figure GDA0002519819840000121
在步骤233中，逐层匹配所述第一金字塔影像中所述特征点在所述第二金字塔影像中对应的同名像点。
逐层匹配是指从金字塔影像的顶层开始，逐层向下找出每层的同名像点。首先，从第一金字塔影像的顶层与第二金字塔影像的顶层找出同名像点。再从第一金字塔影像的下层与第二金字塔影像的下层找出同名像点。
在一实施例中，如图5所示，上述步骤233具体包括以下步骤2331-2334。
在步骤2331中，将所述第一金字塔影像的顶层图像与所述第二金字塔影像的顶层图像进行所述特征点的匹配，得到所述顶层图像的同名像点。
其中，特征点的匹配是指从第一金字塔影像的顶层图像中找出特征点x，在第二金字塔影像的顶层图像中找出特征点y，满足特征点x和特征点y属于地面的同一点。特征点x和特征点y可以认为是顶层图像的同名像点。在顶层图像可以找到多组同名像点。
在一实施例中，如图6所示，上述步骤2331具体可以包括以下步骤601-603。
在步骤601中，针对所述第一金字塔影像顶层图像的每个特征点，计算与所述第二金字塔影像顶层图像中所有特征点之间的欧式距离，查找最邻近欧式距离与次邻近欧式距离。
由于金字塔顶层图像的匹配直接影响下一层图像的匹配，因此顶层图像的匹配尤为重要。本申请通过计算不同特征点SURF特征向量之间的欧氏距离，将欧式距离作为全色影像或多光谱影像的相似性测度，进行特征匹配。在一实施例中，针对第一金字塔影像顶层图像的每个特征点的特征向量，计算与第二金字塔顶层图像中所有特征点的特征向量之间的欧式距离，找到其中的最邻近欧式距离(NN)与次邻近欧式距离(SCN)。
举例来说，针对第一金字塔影像顶层图像中特征点A，该特征点A与第二金字塔影像顶层图像中与特征点A最邻近的特征点B之间的欧式距离，就是最邻近欧式距离。该特征点A与第二金字塔影像顶层图像中与特征点A次邻近的特征点C之间的欧式距离，就是次邻近欧式距离。
在步骤602中，筛选出所述最邻近欧式距离与所述次邻近欧式距离之比小于预设值的特征点对，构成特征点对集合。
最邻近欧式距离NN与次邻近欧式距离SCN的距离之比(NN/SCN)作为第一影像和第二影像中特征点的相似性判断度量。为了筛选出可靠性较高的特征点对，预设值可以较小，预设值可以取0.6～0.7。
举例来说，假设上述特征点A与特征点B之间是最邻近欧式距离NN，特征点A与特征点C之间是次邻近欧式距离SCN，如果NN/SCN小于预设值，可以认为特征点A与特征点B构成特征点对。同理，第一金字塔影像的顶层图像与第二金字塔影像的顶层图像之间，可以找个多个特征点对，多个特征点对可以构成上述特征点对集合。
在步骤603中，针对所述特征点对集合中的每个特征点对，通过局部几何约束进行匹配点对的筛选，得到所述顶层图像的同名像点。
在上述特征点对集合中，可能存在错误的特征点对，需要进行剔除。如果某特征点对是正确的，那么其周围邻近的特征点对中必然有正确的特征点对。局部几何约束是指利用待确认特征点对周边的特征点对，预测该待确认的特征点对的正确性。其中，匹配点对是指从特征点对集合中初步筛选出的正确的特征点对，这些特征点对可以认为是顶层图像的同名像点。
在一实施例中，上述步骤603可以包括以下步骤：针对所述特征点对集合中的每个特征点对，根据所述特征点对与局部邻域内所有特征点对的矢量长度和矢量夹角，筛选出匹配点对，得到所述顶层图像的同名像点。
局部邻域是指特征点对的周围区域，邻域大小可以根据经验设定。针对特征点对集合中的每个特征点(可以认为是待确认的特征点对)，如果该特征点对正确，那么该特征点对周围临近区域的特征点对，应该与待确认的特征点对之间形成的对应矢量长度比基本一致且相应矢量夹角基本相等。通过搜索局部邻域内矢量长度和矢量夹角基本相等的特征点对的数目，可以判断该待确认的匹配点对是否正确，从而筛选出匹配点对。
在一实施例中，上述根据矢量长度和矢量角度筛选匹配点对，可以包含以下步骤。
第一步：计算特征点对集合中每个特征点对的矢量长度。
第二步：针对特征点对集合中的每个特征点对，计算该特征点对的矢量长度与局部邻域内其他特征点对的矢量长度的差值。
第三步：针对该特征点对，计算该特征点对局部邻域内所述差值在阈值范围内的其他特征点对的第一数量。
第四步：从所述特征点对集合中筛选出所述第一数量大于第一预设值的匹配点对。
举例来说，对于某特征点对A，如果该特征点对A周围邻域内m(如m取20)对特征点对中，有n对(如n取1)特征点对的矢量长度与特征点对A的矢量长度之间差值在阈值范围内，则初步认为该特征点对A是正确的匹配点对。
进一步的，可以基于矢量夹角从上述初步选定的匹配点对中做进一步筛选。
第五步：针对每个所述匹配点对，计算该匹配点对与所述匹配点对局部邻域内其他匹配点对的矢量夹角。
第六步：针对该匹配点对，计算该匹配点对局部邻域内所述矢量夹角在限值范围内的其他匹配点对的第二数量。
第七步：从上述匹配点对中筛选出所述第二数量大于第二预设值的匹配点对，作为所述顶层图像的同名像点。
举例来说，对于初步筛选的匹配点对A，如果其局部邻域内存在n对(如n取10)匹配点对，在组成的n×(n-1)对夹角中，如果有2对、6对或12对……(分别对应有2对、3对和4对正确匹配点对)对应矢量夹角的角度误差在限差范围内(如±3度)，则认为该匹配点对A是正确的，属于顶层图像的同名像点。
在步骤2332中，利用所述顶层图像的同名像点构建所述第一影像和第二影像之间的仿射变换公式。
经过上述渐进的局部几何约束方法，可以筛选出顶层图像的同名像点。这时通过最小二乘法拟合两幅影像之间的仿射变换公式，从而可以算出两幅影像大致的重叠位置。在下层金字塔影像匹配中，只提取两幅影像重叠位置的SURF特征，从而减少计算量。
在步骤2333中，通过所述仿射变换公式，计算所述第一金字塔影像下层图像中特征点在所述第二金字塔影像下层图像中的特征位置。
其中，下层图像是相对顶层图像而言的，下层图像是指金字塔影像中除顶层图像外的其他层级的图像。对于第一金字塔影像下层图像中的特征点，可以将该特征点的坐标代入所述仿射变换公式，从而计算出该特征点在第二金字塔影像中下层图像中的大致位置。特征位置是指第一金字塔影像中特征点在第二金字塔影像中的位置。
在步骤2334中，将所述第一金字塔影像下层图像中特征点与所述特征位置邻域范围内的所有特征点进行匹配，得到所述下层图像的同名像点。
其中，邻域范围的大小可以根据需要设定。对于第一金字塔影像下层图像中特征点与第二金字塔影像中特征位置邻域范围内所有特征点的匹配方式可以参照上述步骤601和602。计算第一金字塔影像下层图像中特征点与第二金字塔影像中特征位置邻域范围内所有特征点的欧式距离，进而筛选出最邻近欧式距离与次邻近欧式距离之比小于预设值的特征点对，该特征点对可以认为是下层图像中的同名像点。图7是特征点匹配的效果示意图。如图7所示，每条线的两端表示两个同名像点。
求解高精度的色彩增益值必须具备的一个重要前提是：没有误配。图8是基于SURF算法错误配对的示意图。从图8中可以看出有两组匹配点对之间的连线与其余的连线方向严重偏离，这是明显的误匹配点对。其余的匹配点对中，也可能存在误配，但是很难直接观察。图8可以说明两个问题：第一，用SURF算法的描述子向量进行特征点匹配是有效的，大多数的匹配是可靠的；第二，误配是客观存在，必须采取措施予以剔除。因为如果让误配点对参与色彩增益值的求解会严重的影响参数精度，即使只有一个错误匹配点对。
故在一实施例中，在计算色彩增益值之前，本申请提供的方法还包括：对所述重叠区域中的同名像点进行直线拟合，去除与所拟合直线距离大于阈值的同名像点。
其中，可以采用RANSAC(Random Sample Consensus)即随机采样一致算法，剔除误配对的同名像点。图9是RANSAC算法的原理示意图。如图9所示，假设某景影像重叠区域中存在8个同名像点，利用8个点来拟合一条直线。A是我们所拥有的点的集合，B表示我们剔除了一个错误数据，我们把它叫做外点(outlier)，然后用7个正确的点数据，也就是内点(inliers)，来拟合最后的结果。该过程可分为3步。
(l)随机选取若干组最小点集估计参数，这里是选取两个。
(2)用每次估计得到的参数，根据某个闭值，判断哪些点是内点，哪些点是外点，把每次得到的内点数量记录下来。在这里，判断内外点的依据就是点到直线的距离。在C中内点数量为7，在D中内点数量为3。
(3)找出内点数量最多的估计，即C中所示的估计结果。然后把该估计所判断出的外点剔除。然后用所有内点来做色彩增益值估计。
在一实施例中，上述步骤240计算色彩增益值可以采用以下步骤241-242。
在步骤241中，针对每一颜色波段，根据所述同名像点在不同景影像中所述颜色波段的灰度值，构建所述颜色波段的色彩区域网平差方程。
颜色波段是指红色波段、绿色波段和蓝色波段。色彩区域网平差方程中所代入的是同名像点的红色波段灰度值、绿色波段灰度值或蓝色波段灰度值。针对红色波段，根据同名像点在不同景影像中的灰度值，可以构建对应红色波段的区域网平差方程。同理，对于绿色、蓝色波段均可构建相应的色彩区域网平差方程。
在步骤242中，针对所述颜色波段，以所述同名像点的灰度值的差值最小为迭代条件求解所述颜色波段的色彩区域网平差方程，得到所述颜色波段对应的每景影像的色彩增益值。
由此对应红、绿、蓝三个颜色波段，求解三个色彩区域网平差方程，可以得到每景影像每个颜色波段的色彩增益值。
针对大规模区域网平差方程的解算问题，可以基于稀疏矩阵的数据存储结构，不论区域网是否具有规则结构，影像均可自由编号，可以仅对矩阵中的非零元素进行存储与计算，完全避免对零元素的操作；基于共轭梯度法进行迭代求解，即把共轭性与最速下降方法相结合，利用已知点处的梯度构造一组共轭方向，并沿这组方向进行搜索，从而快速、稳定地得到方程组的解。之后，根据区域网平差方程所计算的每个影像每个颜色波段的色彩增益值t1、t2......tn对所有待匀色影像进行匀色输出。
本申请针对现有的自动匀色算法(尤其是基于模板影像和标准色彩库的匀色方法)，引入了影像自动匹配算法和区域网平差算法，通过提取大量的同名像点，并根据同名像点的灰度值信息建立区域网平差方程，求解每景影像每个波段的色彩增益值，以提高影像间的色彩相对精度，减少色彩误差，达到影像间色彩自然过渡的效果。
此外，该发明可在多景影像中选取一景或均匀选取多景作为色彩控制影像(也就是匹配影像)，不需要根据影像的时相提前准备不同时相的模板影像，占据大量的存储空间。该方法首次将区域网平差理论应用到自动匀色中，不需要任何色彩模板影像的情况下最大限度地降低了影像与影像间的色彩差异，为下一步的无缝拼接处理做好了充分的准备，大大减轻了数据处理人员的人工匀色的工作量，具有较大的社会价值和经济价值。
以147景影像匀色拼接为例，图10是147景高分一号卫星影像未匀色拼接图，从图10可以看到影像间的色差比较明显，严重影像了最终的拼接效果，图11是147景高分一号卫星影像匀色拼接图，从图11可以看出，影像间色彩差异已经大大减小，色彩均匀平滑过渡，减少了大量的人工成本，得到了较为满意的效果。
下述为本申请装置实施例，可以用于执行本申请上述影像采集设备或服务端执行的影像自动匀色处理方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请影像自动匀色处理方法实施例。
图12是本申请一实施例示出的影像自动匀色处理装置的框图。如图12所示，该影像自动匀色处理装置可以包括：数据获取模块1210、重叠确定模块1220、同名点匹配模块1230、色彩增益计算模块1240以及影像间匀色模块1250。
数据获取模块1210，用于获取同一场景内采集的多景影像数据。
重叠确定模块1220，用于根据每景影像数据的采集范围，确定不同景影像之间的重叠区域。
同名点匹配模块1230，用于针对每一重叠区域，在所述重叠区域内进行不同景影像之间的同名像点匹配。
色彩增益计算模块1240，用于根据所述同名像点在不同景影像的色彩值，构建色彩区域网平差方程，以所述同名像点的色彩值的差值最小为迭代条件求解所述色彩区域网平差方程，得到每景影像每个波段的色彩增益值。
影像间匀色模块1250，用于在所述多景影像数据上叠加对应影像每个波段的色彩增益值，对所述多景影像数据进行匀色输出。
上述装置中各个模块的功能和作用的实现过程具体详见上述影像自动匀色处理方法中对应步骤的实现过程，在此不再赘述。
在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种影像自动匀色处理方法，其特征在于，包括：
获取同一场景内采集的多景影像数据；
根据每景影像数据的采集范围，确定不同景影像之间的重叠区域；
针对每一重叠区域，在所述重叠区域内进行不同景影像之间的同名像点匹配；
根据所述同名像点在不同景影像的色彩值，构建色彩区域网平差方程，以所述同名像点的色彩值的差值最小为迭代条件求解所述色彩区域网平差方程，得到每景影像每个波段的色彩增益值；
在所述多景影像数据上叠加对应影像每个波段的色彩增益值，对所述多景影像数据进行匀色输出。
2.根据权利要求1所述的方法，其特征在于，包含所述重叠区域的多个影像分为第一影像和第二影像；所述针对每一重叠区域，在所述重叠区域内进行不同景影像之间的同名像点匹配，包括：
针对每一重叠区域，提取所述重叠区域在不同景影像中的特征点；
对包含所述重叠区域的影像进行多尺度变换，形成第一影像对应的第一金字塔影像以及第二影像对应的第二金字塔影像；
逐层匹配所述第一金字塔影像中所述特征点在所述第二金字塔影像中对应的同名像点。
3.根据权利要求2所述的方法，其特征在于，所述逐层匹配所述第一金字塔影像中所述特征点在所述第二金字塔影像中对应的同名像点，包括：
将所述第一金字塔影像的顶层图像与所述第二金字塔影像的顶层图像进行所述特征点的匹配，得到所述顶层图像的同名像点；
利用所述顶层图像的同名像点构建所述第一影像和第二影像之间的仿射变换公式；
通过所述仿射变换公式，计算所述第一金字塔影像下层图像中特征点在所述第二金字塔影像下层图像中的特征位置；
将所述第一金字塔影像下层图像中特征点与所述特征位置邻域范围内的所有特征点进行匹配，得到所述下层图像的同名像点。
4.根据权利要求3所述的方法，其特征在于，所述将所述第一金字塔影像的顶层图像与所述第二金字塔影像的顶层图像进行所述特征点的匹配，得到所述顶层图像的同名像点，包括：
针对所述第一金字塔影像顶层图像的每个特征点，计算与所述第二金字塔影像顶层图像中所有特征点之间的欧式距离，查找最邻近欧式距离与次邻近欧式距离；
筛选出所述最邻近欧式距离与所述次邻近欧式距离之比小于预设值的特征点对，构成特征点对集合；
针对所述特征点对集合中的每个特征点对，通过局部几何约束进行匹配点对的筛选，得到所述顶层图像的同名像点。
5.根据权利要求4所述的方法，其特征在于，所述针对所述特征点对集合中的每个特征点对，通过局部几何约束进行匹配点对的筛选，得到所述顶层图像的同名像点，包括：
针对所述特征点对集合中的每个特征点对，根据所述特征点对与局部邻域内所有特征点对的矢量长度和矢量夹角，筛选出匹配点对，得到所述顶层图像的同名像点。
6.根据权利要求1所述的方法，其特征在于，所述根据所述同名像点在不同景影像的色彩值，构建色彩区域网平差方程，以所述同名像点的色彩值的差值最小为迭代条件求解所述色彩区域网平差方程，得到每景影像每个波段的色彩增益值之前，所述方法还包括：
对所述重叠区域中的同名像点进行直线拟合，去除与所拟合直线距离大于阈值的同名像点。
7.根据权利要求1所述的方法，其特征在于，所述根据所述同名像点在不同景影像的色彩值，构建色彩区域网平差方程，以所述同名像点的色彩值的差值最小为迭代条件求解所述色彩区域网平差方程，得到每景影像每个波段的色彩增益值，包括：
针对每一颜色波段，根据所述同名像点在不同景影像中所述颜色波段的灰度值，构建所述颜色波段的色彩区域网平差方程；
针对所述颜色波段，以所述同名像点的灰度值的差值最小为迭代条件求解所述颜色波段的色彩区域网平差方程，得到所述颜色波段对应的每景影像的色彩增益值。
8.一种影像自动匀色处理装置，其特征在于，包括：
数据获取模块，用于获取同一场景内采集的多景影像数据；
重叠确定模块，用于根据每景影像数据的采集范围，确定不同景影像之间的重叠区域；
同名点匹配模块，用于针对每一重叠区域，在所述重叠区域内进行不同景影像之间的同名像点匹配；
色彩增益计算模块，用于根据所述同名像点在不同景影像的色彩值，构建色彩区域网平差方程，以所述同名像点的色彩值的差值最小为迭代条件求解所述色彩区域网平差方程，得到每景影像每个波段的色彩增益值；
影像间匀色模块，用于在所述多景影像数据上叠加对应影像每个波段的色彩增益值，对所述多景影像数据进行匀色输出。
9.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-7任意一项所述的影像自动匀色处理方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成权利要求1-7任意一项所述的影像自动匀色处理方法。
CN201910874904.XA 2019-09-16 2019-09-16 影像自动匀色处理方法及装置、电子设备、存储介质 Active CN110599424B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910874904.XA CN110599424B (zh) 2019-09-16 2019-09-16 影像自动匀色处理方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910874904.XA CN110599424B (zh) 2019-09-16 2019-09-16 影像自动匀色处理方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN110599424A CN110599424A (zh) 2019-12-20
CN110599424B true CN110599424B (zh) 2020-07-14

Family

ID=68859939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910874904.XA Active CN110599424B (zh) 2019-09-16 2019-09-16 影像自动匀色处理方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN110599424B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233190B (zh) * 2020-05-19 2023-04-07 同济大学 一种基于区域网平差的卫星遥感影像色彩均衡方法
CN113724165B (zh) * 2021-09-02 2022-05-24 中国科学院空天信息创新研究院 合成孔径雷达镶嵌影像匀色处理方法
CN116129278B (zh) * 2023-04-10 2023-06-30 牧马人(山东)勘察测绘集团有限公司 一种基于遥感影像的土地利用分类识别系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101873504B (zh) * 2009-04-27 2012-06-27 倚强科技股份有限公司 自动白平衡校正方法
JP5517769B2 (ja) * 2010-06-17 2014-06-11 三菱電機株式会社 画像読取装置の画像処理方法および画像読取装置
CN104182949B (zh) * 2014-08-18 2017-02-15 武汉大学 基于直方图特征点配准的影像匀色与融合方法及系统
CN105957111B (zh) * 2016-04-27 2018-09-18 深圳积木易搭科技技术有限公司 序列遥感影像的色调一致性校正方法及系统
CN105915757B (zh) * 2016-06-06 2018-06-01 北京时代拓灵科技有限公司 一种基于rgb彩色通道误差函数的颜色校正方法
CN108550129B (zh) * 2018-04-20 2019-04-09 北京航天宏图信息技术股份有限公司 基于地理模板的匀色方法及装置

Also Published As

Publication number Publication date
CN110599424A (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
CN110660023B (zh) 一种基于图像语义分割的视频拼接方法
CN110599424B (zh) 影像自动匀色处理方法及装置、电子设备、存储介质
CN112017135B (zh) 一种遥感影像数据时空融合的方法、系统及设备
CN111080526B (zh) 航拍图像的农田面积的测算方法、装置、设备及介质
CN110136083B (zh) 一种结合交互式的底图更新方法及装置
CN109376641B (zh) 一种基于无人机航拍视频的运动车辆检测方法
CN106023230B (zh) 一种适合变形图像的稠密匹配方法
Ghosh et al. Quantitative evaluation of image mosaicing in multiple scene categories
CN110992366B (zh) 一种图像语义分割方法、装置及存储介质
CN108759788B (zh) 无人机影像定位定姿方法及无人机
Xie et al. Guided color consistency optimization for image mosaicking
CN112801870B (zh) 一种基于网格优化的图像拼接方法，拼接系统及可读存储介质
CN111091567A (zh) 医学图像配准方法、医疗设备及存储介质
Wu et al. Remote sensing image super-resolution via saliency-guided feedback GANs
Misra et al. Feature based remote sensing image registration techniques: A comprehensive and comparative review
CN114332183A (zh) 图像配准方法、装置、计算机设备和存储介质
CN106846250B (zh) 一种基于多尺度滤波的超分辨率重建方法
CN111444923A (zh) 自然场景下图像语义分割方法和装置
CN112734630B (zh) 正射影像处理方法、装置、设备及存储介质
Jiang et al. Context-patch based face hallucination via thresholding locality-constrained representation and reproducing learning
CN112508832A (zh) 一种面向对象的遥感影像数据时空融合方法、系统及设备
CN113272855A (zh) 用于重叠多图像应用的响应归一化
CN107945218B (zh) 边缘大畸变影像匹配方法
Huang et al. SAR and optical image registration method based on improved CycleGAN
CN108269278B (zh) 一种场景建模的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 301, floor 3, building 5, zone 4, Xishan Creative Park, Haidian District, Beijing 100195

Patentee after: Aerospace Hongtu Information Technology Co.,Ltd.

Address before: Room 301, Room 3, Building 5, District 4, Xishan Creative Park, Haidian District, Beijing

Patentee before: BEIJING PIESAT INFORMATION TECHNOLOGY Co.,Ltd.