CN113989131A - 图像色散校正方法、装置、电子设备和存储介质 - Google Patents

图像色散校正方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113989131A
CN113989131A CN202111092532.9A CN202111092532A CN113989131A CN 113989131 A CN113989131 A CN 113989131A CN 202111092532 A CN202111092532 A CN 202111092532A CN 113989131 A CN113989131 A CN 113989131A
Authority
CN
China
Prior art keywords
image
corrected
offset
channel
aberration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111092532.9A
Other languages
English (en)
Inventor
杜延磊
杨晓峰
马一平
于暘
马文韬
刘桂红
李紫薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202111092532.9A priority Critical patent/CN113989131A/zh
Publication of CN113989131A publication Critical patent/CN113989131A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像色散校正方法、装置、电子设备和存储介质，其中方法包括：获取待校正子图像；其中，所述待校正子图像为对待校正图像进行切片得到的图像；确定每个所述待校正子图像在通道间的像差偏移量；根据每个所述待校正子图像在通道间的像差偏移量对所述待校正图像进行色散校正。本发明提供的图像色散校正方法、装置、电子设备和存储介质，能够实现图像色散的自动校正。

Description

图像色散校正方法、装置、电子设备和存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像色散校正方法、装置、电子设备和存储介质。
背景技术
薄膜相机是一种薄膜衍射光学成像系统，其主镜由高分子聚合物薄膜材料制成，并采用衍射成像方式进行成像，与传统反射式光学成像系统相比，具有结构轻、易复制、可折叠展开以及对系统公差要求宽松等优点，也因为这些特点使得其口径可以做的很大，为未来实现空间高轨道高空间分辨率的对地观测提供了新思路。
现有技术中，薄膜相机的衍射主镜具有强烈的色散特性，在一定的光照条件下所成影像容易产生色散的现象，造成影像清晰度下降的问题。所谓影像的色散效应指的是影像中目标物体的边缘处出现红边或蓝边的现象，这一现象在光照较强且光照入射角度较大时尤为显著，产生这一现象的原因是由于不同波长的光具有不同的折射率，从而在成像过程中分散开，进而在成像系统中表现出波段间空间位差而产生红边或蓝边，在影像中则表现为波段间的像差。因此，为了改善薄膜相机衍射图像质量，使得薄膜相机更好地在遥感等领域中得到应用，需要针对薄膜相机成像特性对其所成图像的色散效应问题进行校正是目前业界亟待解决的重要课题。
发明内容
针对现有技术存在的问题，本发明实施例提供一种图像色散校正方法、装置、电子设备和存储介质。
本发明提供一种图像色散校正方法，包括：
获取待校正子图像；其中，所述待校正子图像为对待校正图像进行切片得到的图像；
确定每个所述待校正子图像在通道间的像差偏移量；
根据每个所述待校正子图像在通道间的像差偏移量对所述待校正图像进行色散校正。
根据本发明提供的一种图像色散校正方法，所述确定每个所述待校正子图像在通道间的像差偏移量包括：
检测每个所述待校正子图像的各目标通道的直线边缘；所述目标通道包括参考通道和校正通道，所述校正通道包括除所述参考通道之外的其他两个通道；
将所述参考通道的直线边缘与所述校正通道的直线边缘进行匹配，得到与所述参考通道的直线边缘匹配的目标直线边缘；
确定所述参考通道的直线边缘与匹配的所述目标直线边缘在所述参考通道与所述校正通道间的像差偏移量；
将所述像差偏移量确定为所述待校正子图像的中心像素的像差偏移量。
根据本发明提供的一种图像色散校正方法，所述将所述像差偏移量确定为所述待校正子图像的中心像素的像差偏移量包括：
根据所述参考通道与所述校正通道间所有的所述像差偏移量确定对应的像差水平偏移量均值和像差垂直偏移量均值；
将所述像差水平偏移量均值和所述像差垂直偏移量均值确定为所述待校正子图像的中心像素的像差偏移量。
根据本发明提供的一种图像色散校正方法，所述根据每个所述待校正子图像在通道间的像差偏移量对所述待校正图像进行色散校正包括：
针对所述待校正图像的每个像素，确定所述校正通道中所述像素相对于所述参考通道的目标水平偏移量和目标垂直偏移量；
根据所述像素的所述目标水平偏移量和所述目标垂直偏移量确定所述校正通道中所述像素的新坐标，并将所述新坐标对应的原坐标的数字量化值确定为所述新坐标的数字量化值，得到所述校正通道的原始坐标格网；
根据所述原始坐标格网、每个所述像素的目标水平偏移量和所述目标垂直偏移量对所述待校正图像进行色散校正。
根据本发明提供的一种图像色散校正方法，所述确定所述校正通道中所述像素相对于所述参考通道的目标水平偏移量和目标垂直偏移量包括：
确定与所述像素邻近的预设数量个待校正子图像的中心像素的位置信息；
根据所述预设数量个待校正子图像的中心像素的位置信息和每个所述位置信息对应的所述像差水平偏移量均值确定所述目标水平偏移量；
根据所述预设数量个待校正子图像的中心像素的位置信息和每个所述位置信息对应的所述像差垂直偏移量均值确定所述目标垂直偏移量。
根据本发明提供的一种图像色散校正方法，所述根据所述原始坐标格网、每个所述像素的目标水平偏移量和所述目标垂直偏移量对所述待校正图像进行色散校正，包括：
根据所述目标水平偏移量确定对应的目标水平偏移量均值，并根据所述目标垂直偏移量确定对应的目标垂直偏移量均值；
根据所述待校正图像参考通道中所有像素的位置信息、所述校正通道中所有像素的所述目标水平偏移量均值和对应的所述目标垂直偏移量均值构建所述校正通道的新坐标格网；
基于所述新坐标格网对所述校正通道的原始坐标格网进行重采样。
本发明还提供一种图像色散校正装置，包括：
获取单元，用于获取待校正子图像；其中，所述待校正子图像为对待校正图像进行切片得到的图像；
确定单元，用于确定每个所述待校正子图像在通道间的像差偏移量；
校正单元，用于根据每个所述待校正子图像在通道间的像差偏移量对所述待校正图像进行色散校正。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图像色散校正方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像色散校正方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述图像色散校正方法的步骤。
本发明提供的图像色散校正方法、装置、电子设备和存储介质，在获取到待校正图像的每个待校正子图像时，计算每个待校正子图像通道间的像差偏移量，根据每个待校正子图像通道间的像差偏移量对待校正图像进行色散校正，实现了图像色散的自动校正。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的图像色散校正方法的流程示意图之一；
图2是本发明提供的薄膜相机图像表现色散的局部放大示意图；
图3是本发明提供的图像色散校正方法的流程示意图之二；
图4是本发明提供的图像色散校正方法的流程示意图之三；
图5是本发明提供的图像色散校正方法的流程示意图之四；
图6是本发明提供的色散校正后的薄膜相机图像的局部放大示意图；
图7是本发明提供的图像色散校正装置的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图6描述本发明的图像色散校正方法。
图1是本发明提供的图像色散校正方法的流程示意图之一，如图1所示，该方法包括：
步骤110、获取待校正子图像。
其中，所述待校正子图像为对待校正图像进行切片得到的图像，优选的，待校正图像为薄膜相机图像。
具体地，获取待校正图像的方式可以包括：通过薄膜相机实时获取薄膜相机图像，或者从存储设备中获取薄膜相机图像，或者接收其他设备发送的薄膜相机图像。在获取到待校正图像时，获取待校正图像三个通道的数字量化值，其中，三个通道分别为红色(R)通道、绿色(G)通道和蓝色(B)通道，并对待校正图像进行切片处理，将待校正图像均匀可重叠地切分为N×N个待校正子图像，每个待校正子图像的大小需大于等于预设尺寸(例如，预设尺寸为127×127)，待校正子图像间的重叠比例需大于预设比例(例如，预设比例为30％)，N的大小由输入的薄膜相机图像大小和待校正子图像大小共同决定。图2是本发明提供的薄膜相机图像表现色散的局部放大示意图，如图2所示，点状部分和斜线部分即为发生色散效应的部分，具体在图像中点状部分可以表现为蓝色，斜线部分可以表现为红色，本发明主要对图像的红色或者蓝色部分进行色散校正。
步骤120、确定每个所述待校正子图像在通道间的像差偏移量。
具体地，利用边缘检测算法和直线检测算法计算每个待校正子图像通道间的像差偏移量。
步骤130、根据每个所述待校正子图像在通道间的像差偏移量对所述待校正图像进行色散校正。
具体地，在获取到每个待校正子图像通道间的像差偏移量时，利用空间插值和重采样的方法实现对待校正图像的色散校正。
本发明提供的图像色散校正方法，在获取到待校正图像的每个待校正子图像时，计算每个待校正子图像通道间的像差偏移量，根据每个待校正子图像通道间的像差偏移量对待校正图像进行色散校正，实现了图像色散的自动校正。
基于上述实施例，图3是本发明提供的图像色散校正方法的流程示意图之二，如图3所示，步骤120具体包括以下步骤121至步骤124：
步骤121、检测每个所述待校正子图像的各目标通道的直线边缘。
其中，所述目标通道包括参考通道和校正通道，所述校正通道包括除所述参考通道之外的其他两个通道。由于薄膜相机的跟波长相关的成像物理特性，色散一般出现红边和蓝边，这就表明红色通道和蓝色通道之间的偏移量最大，因此，本发明的参考通道包括绿色通道，校正通道包括红色通道和蓝色通道。
具体地，利用边缘检测算法对待校正子图像的各个目标通道进行边缘检测，并利用霍夫(Hough)变换检测每个待校正子图像各目标通道的直线边缘。其中，边缘检测算法可以为Canny算子，Canny算子是一种多步骤的图像边缘检测算法，分别包括滤波去噪、图像梯度计算、非极大值抑制、双阈值处理和滞后边缘追踪等步骤。
关于滤波去噪部分，可以采用高斯滤波器进行滤波去噪，高斯滤波器的滤波核大小通常采用5×5或者7×7，对于大小为(2k+1)×(2k+1)的滤波核，高斯滤波器的模板中的各个元素值可采用公式(1)计算：
Figure BDA0003268076110000071
其中，
Figure BDA0003268076110000072
表示高斯滤波器的各个元素值，q表示滤波核矩阵的横坐标位置，j表示滤波核矩阵的纵坐标位置，σ为标准差，可选择为0.8，k的取值为正整数。
关于图像梯度计算部分，可以采用Sobel算子，Sobel算子包含两组3×3的卷积算子，一组为水平卷积算子，一组为垂直卷积算子，分别与待校正子图像作平面卷积获得待校正子图像水平梯度和垂直的梯度。具体水平卷积算子Sobelx可以采用公式(2)来表示，垂直卷积算子Sobely可以采用公式(3)来表示：
Figure BDA0003268076110000073
Figure BDA0003268076110000081
将水平卷积算子与待校正子图像进行卷积计算，得到待校正子图像水平方向的梯度分量dx，dx可以采用公式(4)计算；将垂直卷积算子与待校正子图像进行卷积计算，得到待校正子图像垂直方向的梯度分量dy，dy可以采用公式(5)计算。
dx＝Sobelx*f(x，y) (4)
dy＝Sobely*f(x,y) (5)
其中，f(x，y)表示单通道图像(x，y)处的像素灰度值。
待校正子图像中每个像素的梯度大小G可采用公式(6)计算，每个像素的梯度方向
Figure BDA0003268076110000082
可采用公式(7)计算：
Figure BDA0003268076110000083
Figure BDA0003268076110000084
关于非极大值抑制部分，非极大值抑制是一种边缘细化的方法，由于Sobel算子得到的梯度边缘通常不止一个像素宽度，而是多个像素宽度，因此利用非极大值抑制保留局部最大梯度，而抑制所有除最大梯度之外的其他梯度值，即只保留了梯度变化中最锐利的位置。具体方法是将当前像素的边缘强度分别与正梯度方向和负梯度方向上的像素的边缘强度进行比较，如果当前像素的边缘强度与具有相同方向的掩膜中的其他像素的边缘强度相比是最大的，则保留当前像素的边缘强度；否则，将被抑制。非极大值抑制方法的具体步骤可参考相关技术中的非极大值抑制步骤，在此不再赘述。
关于双阈值处理部分，双阈值处理通过设定的高阈值和低阈值这两个阈值来区分非极大值抑制最终得到的边缘像素，对于梯度强度大于高阈值的像素被认为是强边缘点，而梯度强度位于高阈值和低阈值之间的像素被认为是弱边缘点，梯度强度小于低阈值的像素被进一步抑制掉。
关于滞后边缘追踪部分，主要是为了判定弱边缘点是否为真实的边缘点，一般认为真实的边缘点引起的弱边缘点和强边缘点是连通的，而由噪声引起的弱边缘点和强边缘点不连通。因此对每个弱边缘点，从该弱边缘点的预设数量邻域(例如8邻域)的寻找像素梯度强度，如果存在像素梯度强度大于高阈值，则确定该弱边缘点为真实的边缘点，保留；反之舍弃。
进一步的，在对每个待校正子图像的各个目标通道进行边缘检测后，还需要利用霍夫变换将Canny算子检测到的图像边缘从直角坐标系空间变换到极坐标系，具体空间变换可采用公式(8)计算：
ρ＝x·cos(θ)+y·sin(θ) (8)
其中，x表示直角坐标系下的横坐标，y表示直角坐标系下的纵坐标，ρ表示直角坐标系下直线到原点O的距离，θ表示直角坐标系下直线和原点O间的垂线与X轴正向的夹角。
对落入极坐标系空间相同位置的像素点个数进行记录，并通过特定的阈值进行筛选，得到一定长度的直线边缘，最终分别得到待校正子图像的蓝色通道的直线边缘、绿色通道的直线边缘和红色通道的直线边缘。
步骤122、将所述参考通道的直线边缘与所述校正通道的直线边缘进行匹配，得到与所述参考通道的直线边缘匹配的目标直线边缘。
具体地，以绿色通道检测获取的直线边缘为参照，对绿色通道的每一条直线边缘分别寻找红色通道和蓝色通道中的匹配直线边缘，即寻找匹配的目标直线边缘。具体方法为：首先将绿色通道检测到的所有直线边缘按照直线边缘中像素点的数量从高到低进行排序，即将直线边缘按照长度进行了排序，然后对绿色通道排序后的直线边缘，通过遍历红色通道检测到的所有直线边缘和蓝色通道检测到的所有直线边缘，寻找在红色通道匹配的目标直线边缘和在蓝色通道匹配的目标直线边缘，当红色通道的直线边缘和绿色通道的直线边缘的关系满足公式(9)时，认为绿色通道中的该直线边缘与红色通道的目标直线边缘相匹配；当蓝色通道的直线边缘和绿色通道的直线边缘的关系满足公式(9)时，认为绿色通道中的该直线边缘与蓝色通道的目标直线边缘相匹配。
|ρR，B-ρG|≤5&|θR，B-θG|≤1(9)
其中，ρR,B表示直角坐标系下红色通道和蓝色通道的直线边缘到原点O的距离，ρG表示直角坐标系下绿色通道的直线边缘到原点O的距离，θR,B表示直角坐标系下原点O到红色通道和蓝色通道的直线边缘的垂线与X轴正向的夹角，θG表示直角坐标系下原点O到绿色通道的直线边缘的垂线与X轴正向的夹角。
步骤123、确定所述参考通道的直线边缘与匹配的所述目标直线边缘在所述参考通道与所述校正通道间的像差偏移量。
具体地，采用公式(10)计算参考通道的直线边缘与匹配的目标直线边缘在红色通道和绿色通道间的像差偏移量，采用公式(11)计算参考通道的直线边缘与匹配的目标直线边缘在蓝色通道和绿色通道间的像差偏移量。
DR-G,i＝ρR,i-ρG,i (10)
DG-B,i＝ρG,i-ρB,i (11)
其中，i表示第i对匹配直线边缘，DR-G,i表示第i对匹配直线边缘在红色通道和绿色通道间的像差偏移量，ρR,i表示第i对匹配直线边缘中红色通道的目标直线边缘到原点O的距离，ρG,i表示第i对匹配直线边缘中绿色通道的直线边缘到原点O的距离，DG-B,i表示第i对匹配直线边缘在蓝色通道和绿色通道间的像差偏移量，ρB,i表示第i对匹配直线边缘中蓝色通道的目标直线边缘到原点O的距离。
步骤124、将所述像差偏移量确定为所述待校正子图像的中心像素的像差偏移量。
具体地，根据所述参考通道与所述校正通道间所有的所述像差偏移量确定对应的像差水平偏移量均值和像差垂直偏移量均值；将所述像差水平偏移量均值和所述像差垂直偏移量均值确定为所述待校正子图像的中心像素的像差偏移量。
示例的，采用公式(12)计算参考通道的直线边缘与匹配的目标直线边缘在红色通道和绿色通道间的水平像差偏移量，采用公式(13)计算参考通道的直线边缘与匹配的目标直线边缘在红色通道和绿色通道间的垂直像差偏移量：
v1h，i＝DR-G,i/sinθ1i (12)
v1v,i＝DR-G,i/cosθ1i (13)
其中，v1h,i表示第i对匹配直线边缘在红色通道和绿色通道间的水平像差偏移量，v1v,i表示第i对匹配直线边缘在红色通道和绿色通道间的垂直像差偏移量，θ1i表示直角坐标系下原点O到第i对匹配直线边缘中对应的红色通道的直线边缘的垂线与X轴正向的夹角。
采用公式(14)计算参考通道的直线边缘与匹配的目标直线边缘在蓝色通道和绿色通道间的水平像差偏移量，采用公式(15)计算参考通道的直线边缘与匹配的目标直线边缘在蓝色通道和绿色通道间的垂直像差偏移量：
v2h,i＝DG-B,i/sinθ2i (14)
v2v,i＝DG-B,i/cosθ2i (15)
其中，v2h，i表示第i对匹配直线边缘在蓝色通道和绿色通道间的水平像差偏移量，v2v，i表示第i对匹配直线边缘在蓝色通道和绿色通道间的垂直像差偏移量，θ2i表示直角坐标系下原点O到第i对匹配直线边缘中对应的蓝色通道的直线边缘的垂线与X轴正向的夹角。
进一步的，再采用公式(16)计算参考通道的直线边缘与匹配的目标直线边缘在红色通道和绿色通道间的水平像差偏移量均值，采用公式(17)计算参考通道的直线边缘与匹配的目标直线边缘在红色通道和绿色通道间的垂直像差偏移量均值。
Figure BDA0003268076110000121
Figure BDA0003268076110000122
其中，Np表示匹配直线边缘的总数，v1h表示第i对匹配直线边缘在红色通道和绿色通道间的水平像差偏移量均值，v1v表示第i对匹配直线边缘在红色通道和绿色通道间的垂直像差偏移量均值。
进一步的，再采用公式(18)计算参考通道的直线边缘与匹配的目标直线边缘在蓝色通道和绿色通道间的水平像差偏移量均值，采用公式(19)计算参考通道的直线边缘与匹配的目标直线边缘在蓝色通道和绿色通道间的垂直像差偏移量均值。
Figure BDA0003268076110000123
Figure BDA0003268076110000124
其中，v2h表示第i对匹配直线边缘在蓝色通道和绿色通道间的水平像差偏移量均值，v2v表示第i对匹配直线边缘在蓝色通道和绿色通道间的垂直像差偏移量均值。
在计算出红色通道和绿色通道间的水平像差偏移量均值、垂直像差偏移量均值，蓝色通道和绿色通道间的水平像差偏移量均值、垂直像差偏移量均值后，认为待校正子图像通道间的像差偏移量具有空间一致性，因此，将计算得到的红色通道和绿色通道间的水平像差偏移量均值、垂直像差偏移量均值赋值给待校正子图像的中心像素，得到待校正子图像的中心像素在红色通道和绿色通道间的水平像差偏移量和垂直像差偏移量；将计算得到的蓝色通道和绿色通道间的水平像差偏移量均值、垂直像差偏移量均值赋值给待校正子图像的中心像素，得到待校正子图像的中心像素在蓝色通道和绿色通道间的水平像差偏移量和垂直像差偏移量。
重复上述关于计算待校正子图像的中心像素在红色通道和绿色通道间、和蓝色通道和绿色通道间的水平像差偏移量和垂直像差偏移量的方法，计算待校正图像中的每个待校正子图像相应通道间的水平像差偏移量和垂直像差偏移量，并赋值给对应的待校正子图像的中心像素，最终获取到待校正图像中每个待校正子图像的中心像素在相应通道间的水平像差偏移量和垂直像差偏移量。
基于上述实施例，图4是本发明提供的图像色散校正方法的流程示意图之三，如图4所示，步骤130具体包括以下步骤131至步骤133：
步骤131、针对所述待校正图像的每个像素，确定所述校正通道中所述像素相对于所述参考通道的目标水平偏移量和目标垂直偏移量。
具体地，确定与所述像素邻近的预设数量个待校正子图像的中心像素的位置信息；根据所述预设数量个待校正子图像的中心像素的位置信息和每个所述位置信息对应的所述像差水平偏移量均值确定所述目标水平偏移量；根据所述预设数量个待校正子图像的中心像素的位置信息和每个所述位置信息对应的所述像差垂直偏移量均值确定所述目标垂直偏移量。
示例的，基于上述计算得到的每个待校正子图像的中心像素在相应通道间的水平像差偏移量和垂直像差偏移量，利用双线性插值计算整个待校正图像在红色通道和蓝色通道中的各像素相对于绿色通道的目标水平偏移量和目标垂直偏移量，具体计算过程为：对于像素(x，y)，根据像素(y，y)所在的待校正子图像的中心像素，确定该像素周围邻近的四个待校正子图像的中心像素的位置，定义为(x1,y1)，(x1，y2)，(x2，y1)和(x2，y2)，然后利用双线性插值计算该像素(x，y)的红色通道和绿色通道的像差水平偏移量和像差垂直偏移量，具体可以采用公式(20)计算该像素(x，y)的红色通道的像差水平偏移量，采用公式(21)计算该像素(x，y)的红色通道的像差垂直偏移量，采用公式(22)计算该像素(x，y)的蓝色通道的像差水平偏移量，采用公式(23)计算该像素(x，y)的蓝色通道的像差垂直偏移量：
Figure BDA0003268076110000141
其中，
Figure BDA0003268076110000142
表示红色通道图像像素(x，y)的像差水平偏移量，
Figure BDA0003268076110000143
表示红色通道像素(x，y)的邻近中心像素(x1，y1)的像差水平偏移量，
Figure BDA0003268076110000144
表示红色通道像素(x，y)的邻近中心像素(x2，y1)的像差水平偏移量，
Figure BDA0003268076110000145
表示红色通道像素(x,y)的邻近中心像素(x1,y2)的像差水平偏移量，
Figure BDA0003268076110000146
表示红色通道像素(x,y)的邻近中心像素(x2,y2)的像差水平偏移量。
Figure BDA0003268076110000147
其中，
Figure BDA0003268076110000148
表示红色通道图像像素(x,y)的像差垂直偏移量，
Figure BDA0003268076110000149
表示红色通道像素(x,y)的邻近中心像素(x1,y1)的像差垂直偏移量，
Figure BDA00032680761100001410
表示红色通道像素(x,y)的邻近中心像素(x2,y1)的像差垂直偏移量，
Figure BDA00032680761100001411
表示红色通道像素(x,y)的邻近中心像素(x1,y2)的像差垂直偏移量，
Figure BDA00032680761100001412
表示红色通道像素(x,y)的邻近中心像素(x2,y2)的像差垂直偏移量。
Figure BDA0003268076110000151
其中，
Figure BDA0003268076110000152
表示蓝色通道图像像素(x,y)的像差水平偏移量，
Figure BDA0003268076110000153
表示蓝色通道像素(x,y)的邻近中心像素(x1,y1)的像差水平偏移量，
Figure BDA0003268076110000154
表示蓝色通道像素(x,y)的邻近中心像素(x2,y1)的像差水平偏移量，
Figure BDA0003268076110000155
表示蓝色通道像素(x,y)的邻近中心像素(x1,y2)的像差水平偏移量，
Figure BDA0003268076110000156
表示蓝色通道像素(x,y)的邻近中心像素(x2,y2)的像差水平偏移量。
Figure BDA0003268076110000157
其中，
Figure BDA0003268076110000158
表示蓝色通道图像像素(x,y)的像差垂直偏移量，
Figure BDA0003268076110000159
表示蓝色通道像素(x,y)的邻近中心像素(x1,y1)的像差垂直偏移量，
Figure BDA00032680761100001510
表示蓝色通道像素(x,y)的邻近中心像素(x2,y1)的像差垂直偏移量，
Figure BDA00032680761100001511
表示蓝色通道像素(x,y)的邻近中心像素(x1,y2)的像差垂直偏移量，
Figure BDA00032680761100001512
表示蓝色通道像素(x,y)的邻近中心像素(x2,y2)的像差垂直偏移量。
需要说明的是，对于待校正图像边缘的像素，也可以采用边缘像素最邻近的待校正子图像的中心像素的像差偏移量赋值。
步骤132、根据所述像素的所述目标水平偏移量和所述目标垂直偏移量确定所述校正通道中所述像素的新坐标，并将所述新坐标对应的原坐标的数字量化值确定为所述新坐标的数字量化值，得到所述校正通道的原始坐标格网。
具体地，在得到整个待校正图像每个像素在红色通道和蓝色通道的目标水平偏移量和目标垂直偏移量后，针对每个像素，将像素的原水平坐标位置和像素在红色通道的目标水平偏移量相加，将像素的原垂直坐标位置和像素在红色通道的目标垂直偏移量相加，得到该像素在红色通道的新坐标；将像素的原水平坐标位置和像素在蓝色通道的目标水平偏移量相加，将像素的原垂直坐标位置和像素在蓝色通道的目标垂直偏移量相加，得到该像素在蓝色通道的新坐标；并将之前获取的该像素的数字量化值赋值给新坐标，最终得到红色通道的原始坐标格网和蓝色通道的原始坐标格网，此时的原始坐标格网为不规则格网。
步骤133、根据所述原始坐标格网、每个所述像素的目标水平偏移量和所述目标垂直偏移量对所述待校正图像进行色散校正。
具体地，图5是本发明提供的图像色散校正方法的流程示意图之四，如图5所示，步骤133具体包括以下步骤1331至步骤1333：
步骤1331、根据所述目标水平偏移量确定对应的目标水平偏移量均值，并根据所述目标垂直偏移量确定对应的目标垂直偏移量均值。
具体地，采用公式(24)计算该像素(x,y)的红色通道相对于绿色通道的目标水平偏移量均值，采用公式(25)计算该像素(x,y)的红色通道相对于绿色通道的目标垂直偏移量均值，采用公式(26)计算该像素(x,y)的蓝色通道相对于绿色通道的目标水平偏移量均值，采用公式(27)计算该像素(x,y)的蓝色通道相对于绿色通道的目标垂直偏移量均值：
Figure BDA0003268076110000161
其中，
Figure BDA0003268076110000162
表示像素(x,y)的红色通道相对于绿色通道的目标水平偏移量均值。
Figure BDA0003268076110000163
其中，
Figure BDA0003268076110000171
表示像素(x,y)的红色通道相对于绿色通道的目标垂直偏移量均值。
Figure BDA0003268076110000172
其中，
Figure BDA0003268076110000173
表示像素(x,y)的蓝色通道相对于绿色通道的目标垂直偏移量均值。
Figure BDA0003268076110000174
其中，
Figure BDA0003268076110000175
表示像素(x,y)的蓝色通道相对于绿色通道的目标垂直偏移量均值。
步骤1332、根据所述待校正图像参考通道中所有像素的位置信息、所述校正通道中所有像素的所述目标水平偏移量均值和对应的所述目标垂直偏移量均值构建所述校正通道的新坐标格网。
具体地，在计算得到待校正图像在红色通道中所有像素的目标水平偏移量均值和对应的目标垂直偏移量均值时，针对每个像素，将待校正图像绿色通道中该像素的水平坐标加上该像素的目标水平偏移量均值，得到该像素在新坐标格网的水平位置；将待校正图像绿色通道中该像素的垂直坐标加上该像素的目标垂直偏移量均值，得到该像素在新坐标格网的垂直位置，最终得到每个像素在红色通道的新坐标格网。
在计算得到待校正图像在蓝色通道中所有像素的目标水平偏移量均值和对应的目标垂直偏移量均值时，针对每个像素，将待校正图像绿色通道中该像素的水平坐标加上该像素蓝色通道的目标水平偏移量均值，得到蓝色通道该像素在新坐标格网的水平位置；将待校正图像绿色通道中该像素的垂直坐标加上该像素蓝色通道的目标垂直偏移量均值，得到蓝色通道该像素在新坐标格网的垂直位置，最终得到每个像素在蓝色通道的新坐标格网。
步骤1333、基于所述新坐标格网对所述校正通道的原始坐标格网进行重采样。
具体地，在得到待校正图像红色通道的新坐标格网和蓝色通道的新坐标格网时，基于红色通道的新坐标格网对红色通道的原始坐标格网进行重采样，得到红色通道色散校正后的图像；并基于蓝色通道的新坐标格网对蓝色通道的原始坐标格网进行重采样，得到蓝色通道色散校正后的图像，最终输出色散校正后的薄膜相机图像，图6是本发明提供的色散校正后的薄膜相机图像的局部放大示意图。
需要说明的是，在得到每个待校正子图像的中心像素的水平像差偏移量和垂直像差偏移量时，将每个水平像差偏移量以及每个垂直像差偏移量进行比较，若所有水平像差偏移量相等，所有垂直像差偏移量也相等，则说明薄膜主镜装配平整，不需要执行步骤1331至步骤1333，直接对原始坐标格网进行重采样即可；若所有水平像差偏移量或者所有垂直像差偏移量不相等，则说明薄膜主镜装配不平整，此时需要执行步骤1331至步骤1333进行色散校正。
本发明能够实现薄膜相机图像的自动色散校正，在预先设定好设备相关参数后，不需要其他的人工干预和帮助；同时考虑了由于薄膜主镜装配不平整导致的色散空间不均匀，可以自适应地计算各通道在整个待校正图像的像差偏移量。
下面对本发明提供的图像色散校正装置进行描述，下文描述的图像色散校正装置与上文描述的图像色散校正方法可相互对应参照。
图7是本发明提供的图像色散校正装置的结构示意图，如图7所示，图像色散校正装置包括获取单元710、确定单元720和校正单元730；其中：
获取单元710，用于获取待校正子图像；其中，所述待校正子图像为对待校正图像进行切片得到的图像；
确定单元720，用于确定每个所述待校正子图像在通道间的像差偏移量；
校正单元730，用于根据每个所述待校正子图像在通道间的像差偏移量对所述待校正图像进行色散校正。
本发明提供的图像色散校正装置，在获取到待校正图像的每个待校正子图像时，计算每个待校正子图像通道间的像差偏移量，根据每个待校正子图像通道间的像差偏移量对待校正图像进行色散校正，实现了图像色散的自动校正。
基于上述任一实施例，确定单元720具体用于：
检测每个所述待校正子图像的各目标通道的直线边缘；所述目标通道包括参考通道和校正通道，所述校正通道包括除所述参考通道之外的其他两个通道；
将所述参考通道的直线边缘与所述校正通道的直线边缘进行匹配，得到与所述参考通道的直线边缘匹配的目标直线边缘；
确定所述参考通道的直线边缘与匹配的所述目标直线边缘在所述参考通道与所述校正通道间的像差偏移量；
将所述像差偏移量确定为所述待校正子图像的中心像素的像差偏移量。
基于上述任一实施例，确定单元720还具体用于：
根据所述参考通道与所述校正通道间所有的所述像差偏移量确定对应的像差水平偏移量均值和像差垂直偏移量均值；
将所述像差水平偏移量均值和所述像差垂直偏移量均值确定为所述待校正子图像的中心像素的像差偏移量。
基于上述任一实施例，校正单元730具体用于：
针对所述待校正图像的每个像素，确定所述校正通道中所述像素相对于所述参考通道的目标水平偏移量和目标垂直偏移量；
根据所述像素的所述目标水平偏移量和所述目标垂直偏移量确定所述校正通道中所述像素的新坐标，并将所述新坐标对应的原坐标的数字量化值确定为所述新坐标的数字量化值，得到所述校正通道的原始坐标格网；
根据所述原始坐标格网、每个所述像素的目标水平偏移量和所述目标垂直偏移量对所述待校正图像进行色散校正。
基于上述任一实施例，校正单元730还具体用于：
确定与所述像素邻近的预设数量个待校正子图像的中心像素的位置信息；
根据所述预设数量个待校正子图像的中心像素的位置信息和每个所述位置信息对应的所述像差水平偏移量均值确定所述目标水平偏移量；
根据所述预设数量个待校正子图像的中心像素的位置信息和每个所述位置信息对应的所述像差垂直偏移量均值确定所述目标垂直偏移量。
基于上述任一实施例，校正单元730还具体用于：
根据所述目标水平偏移量确定对应的目标水平偏移量均值，并根据所述目标垂直偏移量确定对应的目标垂直偏移量均值；
根据所述待校正图像参考通道中所有像素的位置信息、所述校正通道中所有像素的所述目标水平偏移量均值和对应的所述目标垂直偏移量均值构建所述校正通道的新坐标格网；
基于所述新坐标格网对所述校正通道的原始坐标格网进行重采样。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行图像色散校正方法，该方法包括：获取待校正子图像；其中，所述待校正子图像为对待校正图像进行切片得到的图像；
确定每个所述待校正子图像在通道间的像差偏移量；
根据每个所述待校正子图像在通道间的像差偏移量对所述待校正图像进行色散校正。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的图像色散校正方法，该方法包括：获取待校正子图像；其中，所述待校正子图像为对待校正图像进行切片得到的图像；
确定每个所述待校正子图像在通道间的像差偏移量；
根据每个所述待校正子图像在通道间的像差偏移量对所述待校正图像进行色散校正。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的图像色散校正方法，该方法包括：获取待校正子图像；其中，所述待校正子图像为对待校正图像进行切片得到的图像；
确定每个所述待校正子图像在通道间的像差偏移量；
根据每个所述待校正子图像在通道间的像差偏移量对所述待校正图像进行色散校正。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像色散校正方法，其特征在于，包括：
获取待校正子图像；其中，所述待校正子图像为对待校正图像进行切片得到的图像；
确定每个所述待校正子图像在通道间的像差偏移量；
根据每个所述待校正子图像在通道间的像差偏移量对所述待校正图像进行色散校正。
2.根据权利要求1所述的图像色散校正方法，其特征在于，所述确定每个所述待校正子图像在通道间的像差偏移量包括：
检测每个所述待校正子图像的各目标通道的直线边缘；所述目标通道包括参考通道和校正通道，所述校正通道包括除所述参考通道之外的其他两个通道；
将所述参考通道的直线边缘与所述校正通道的直线边缘进行匹配，得到与所述参考通道的直线边缘匹配的目标直线边缘；
确定所述参考通道的直线边缘与匹配的所述目标直线边缘在所述参考通道与所述校正通道间的像差偏移量；
将所述像差偏移量确定为所述待校正子图像的中心像素的像差偏移量。
3.根据权利要求2所述的图像色散校正方法，其特征在于，所述将所述像差偏移量确定为所述待校正子图像的中心像素的像差偏移量包括：
根据所述参考通道与所述校正通道间所有的所述像差偏移量确定对应的像差水平偏移量均值和像差垂直偏移量均值；
将所述像差水平偏移量均值和所述像差垂直偏移量均值确定为所述待校正子图像的中心像素的像差偏移量。
4.根据权利要求3所述的图像色散校正方法，其特征在于，所述根据每个所述待校正子图像在通道间的像差偏移量对所述待校正图像进行色散校正包括：
针对所述待校正图像的每个像素，确定所述校正通道中所述像素相对于所述参考通道的目标水平偏移量和目标垂直偏移量；
根据所述像素的所述目标水平偏移量和所述目标垂直偏移量确定所述校正通道中所述像素的新坐标，并将所述新坐标对应的原坐标的数字量化值确定为所述新坐标的数字量化值，得到所述校正通道的原始坐标格网；
根据所述原始坐标格网、每个所述像素的目标水平偏移量和所述目标垂直偏移量对所述待校正图像进行色散校正。
5.根据权利要求4所述的图像色散校正方法，其特征在于，所述确定所述校正通道中所述像素相对于所述参考通道的目标水平偏移量和目标垂直偏移量包括：
确定与所述像素邻近的预设数量个待校正子图像的中心像素的位置信息；
根据所述预设数量个待校正子图像的中心像素的位置信息和每个所述位置信息对应的所述像差水平偏移量均值确定所述目标水平偏移量；
根据所述预设数量个待校正子图像的中心像素的位置信息和每个所述位置信息对应的所述像差垂直偏移量均值确定所述目标垂直偏移量。
6.根据权利要求5所述的图像色散校正方法，其特征在于，所述根据所述原始坐标格网、每个所述像素的目标水平偏移量和所述目标垂直偏移量对所述待校正图像进行色散校正包括：
根据所述目标水平偏移量确定对应的目标水平偏移量均值，并根据所述目标垂直偏移量确定对应的目标垂直偏移量均值；
根据所述待校正图像参考通道中所有像素的位置信息、所述校正通道中所有像素的所述目标水平偏移量均值和对应的所述目标垂直偏移量均值构建所述校正通道的新坐标格网；
基于所述新坐标格网对所述校正通道的原始坐标格网进行重采样。
7.一种图像色散校正装置，其特征在于，包括：
获取单元，用于获取待校正子图像；其中，所述待校正子图像为对待校正图像进行切片得到的图像；
确定单元，用于确定每个所述待校正子图像在通道间的像差偏移量；
校正单元，用于根据每个所述待校正子图像在通道间的像差偏移量对所述待校正图像进行色散校正。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述图像色散校正方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述图像色散校正方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述图像色散校正方法的步骤。
CN202111092532.9A 2021-09-17 2021-09-17 图像色散校正方法、装置、电子设备和存储介质 Pending CN113989131A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111092532.9A CN113989131A (zh) 2021-09-17 2021-09-17 图像色散校正方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111092532.9A CN113989131A (zh) 2021-09-17 2021-09-17 图像色散校正方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN113989131A true CN113989131A (zh) 2022-01-28

Family

ID=79736037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111092532.9A Pending CN113989131A (zh) 2021-09-17 2021-09-17 图像色散校正方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113989131A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115802173A (zh) * 2023-02-06 2023-03-14 北京小米移动软件有限公司 一种图像处理方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115802173A (zh) * 2023-02-06 2023-03-14 北京小米移动软件有限公司 一种图像处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
JP4571670B2 (ja) 画像モデルにおける色成分の修復のための方法、システム、プログラムモジュールおよびコンピュータプログラム製品
US8941762B2 (en) Image processing apparatus and image pickup apparatus using the same
JP5188651B2 (ja) 画像処理装置、およびそれを用いた撮像装置
TWI621099B (zh) 具有基於特徵的重影去除的陣列照相機影像組合
CN111353948B (zh) 一种图像降噪方法、装置及设备
US8565524B2 (en) Image processing apparatus, and image pickup apparatus using same
CN102625043A (zh) 图像处理设备、成像设备和图像处理方法
CN105339951A (zh) 用于检测文档边界的方法
CN103873740A (zh) 图像处理装置及信息处理方法
CN114697623B (zh) 投影面选取和投影图像校正方法、装置、投影仪及介质
CN114820417A (zh) 图像异常检测方法、装置、终端设备和可读存储介质
JP2013055623A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
CN111383181A (zh) 图像增强方法及装置、存储介质、终端
TWI544785B (zh) 影像縮減取樣裝置與方法
CN113989131A (zh) 图像色散校正方法、装置、电子设备和存储介质
US11830173B2 (en) Manufacturing method of learning data, learning method, learning data manufacturing apparatus, learning apparatus, and memory medium
JP5367053B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法及び撮像装置
JP2015115733A (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP2012156715A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム。
DE112010005744T5 (de) Verfahren für die Detektion und Korrektur einer lateralen chromatischen Aberration
US20150187054A1 (en) Image Processing Apparatus, Image Processing Method, and Image Processing Program
CN110728647A (zh) 水下图像的增强方法及装置、存储介质、终端
KR101205833B1 (ko) 디지털 줌 시스템을 위한 영상 처리 장치 및 방법
CN112150355B (zh) 一种图像处理方法及相关设备
CN101364303B (zh) 边缘像素提取及处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination