CN113724141A - 一种图像校正方法、装置及电子设备 - Google Patents

一种图像校正方法、装置及电子设备 Download PDF

Info

Publication number
CN113724141A
CN113724141A CN202010457374.1A CN202010457374A CN113724141A CN 113724141 A CN113724141 A CN 113724141A CN 202010457374 A CN202010457374 A CN 202010457374A CN 113724141 A CN113724141 A CN 113724141A
Authority
CN
China
Prior art keywords
image
pixel point
corrected
point
analyzed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010457374.1A
Other languages
English (en)
Other versions
CN113724141B (zh
Inventor
张昱升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010457374.1A priority Critical patent/CN113724141B/zh
Publication of CN113724141A publication Critical patent/CN113724141A/zh
Application granted granted Critical
Publication of CN113724141B publication Critical patent/CN113724141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种图像校正方法、装置及电子设备。该方法包括：获取待校正拼接图像；确定待校正拼接图像所属的图像畸变类型；确定用于校正属于图像畸变类型的任一拼接图像的像素点映射关系；其中，目标像素点映射关系用于表征校正后和校正前的该拼接图像中，各个像素点的对应关系；基于像素点映射关系，对待校正拼接图像进行校正，得到校正后的图像。与现有技术相比，应用本发明实施例提供的方案，可以实现在对待校正拼接图像的图像畸变问题进行校正时，不受该待校正拼接图像中用户关注区域大小的限制。

Description

一种图像校正方法、装置及电子设备
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像校正方法、装置及电子设备。
背景技术
图像拼接技术起源于人类的摄影技术，其目的是为了解决图像采集设备镜头的拍摄角度的局限性。随着计算机技术及数字图像处理技术的发展，图像拼接技术逐渐成为摄影测量学、计算机视觉、图像处理和计算机图形学的研究热点，并被广泛应用于深空探测、遥感图像处理、计算机视觉等领域。
其中，多路图像拼接是将所采集到的多张图像拼接成一张视场角更大的图像进行展示，即将多张图像经过某种特殊的变换或者映射方式，投影到一个虚拟平面或者曲面上进行拼接。
针对环形拼接摄像机而言，所得到的拼接图像是由该环形拼接摄像机的多个镜头采集到的子图像拼接得到的，并且，该拼接图像会存在让用户有不符合真实场景感受的图像畸变问题。例如，如图1(a)中所示的货车车厢和如图1(b)中所示的道路。基于此，可以将由该环形拼接摄像机的多个镜头采集到的子图像拼接得到的拼接图像称为待校正拼接图像。
其中，环形拼接摄像机的结构满足：多个镜头的光心汇聚于一点，且各镜头位于以光心为球心的球面上。通常，环形拼接摄像机的结构可以为：水平多路结构、带有俯角的鹰眼结构等。
在相关技术中，为了对上述待校正拼接图像的图像畸变问题进行校正，通常所采用的校正方法为调整待校正拼接图像对应的姿态角，将用户的关注区域移向视野中央。其中，所谓姿态角是指：在投影模型中心观察待校正拼接图像时的姿态描述，包括水平摇摆(yaw)、垂直位置(pitch)和旋转(roll)三个维度。
然而，由于在调整姿态角的过程中，畸变缓解效果较差，因此，上述相关技术中的校正方法仅适用于用户关注区域较小的情况，而对于用户关注区域占据图像较大面积的情况，则完全不适用。例如，图1(c)为通过对调整姿态角对图1(a)进行校正得到的效果图，显然，由于图1(a)中的火车车厢占据了待校正拼接图像中的较大面积，图1(c)所得到的效果图的畸变校正结果并不理想。
发明内容
本发明实施例的目的在于提供一种图像校正方法、装置、电子设备及计算机可读存储介质，以实现在对待校正拼接图像的图像畸变问题进行校正时，不受该待校正拼接图像中用户关注区域大小的限制。具体技术方案如下：
第一方面，本发明实施例提供了一种图像校正方法，所述方法包括：
获取待校正拼接图像；
确定所述待校正拼接图像所属的图像畸变类型；
确定用于校正属于所述图像畸变类型的任一拼接图像的像素点映射关系；其中，所述目标像素点映射关系用于表征校正后和校正前的该拼接图像中，各个像素点的对应关系；
基于所述像素点映射关系，对所述待校正拼接图像进行校正，得到校正后的图像。
可选的，一种具体实现方式中，所述获取待校正拼接图像的步骤，包括：
获取由环形拼接摄像机的多个镜头采集到的子图像拼接形成的初始图像；
按照预设的与所述图像畸变类型对应的扩展宽度，对所述初始图像进行边界扩展，得到待校正拼接图像。
可选的，一种具体实现方式中，所述像素点映射关系的生成方式，包括：
在待分析图像中确定多个基准点；其中，所述待分析图像为：属于所述图像畸变类型的一拼接图像；
利用预设的第一坐标映射关系，以及每个基准点在所述待分析图像的图像坐标系中的初始图像坐标，计算每个基准点在预先构建的形变曲面的曲面坐标系中的曲面坐标；其中，所述第一坐标映射关系用于将所述曲面坐标系中的点映射到所述待分析图像中的像素点；
根据所述图像畸变类型，移动各个基准点，并确定移动后的各个基准点在所述图像坐标系中的目标图像坐标；
基于每个基准点的曲面坐标与目标图像坐标之间的对应关系，建立第二坐标映射关系；其中，所述第二坐标映射关系用于将所述曲面坐标系中的点映射到校正后的待分析图像中的点；
基于所述第一坐标映射关系和所述第二坐标映射关系，生成所述像素点映射关系。
可选的，一种具体实现方式中，所述基于所述第一坐标映射关系和所述第二坐标映射关系，生成所述像素点映射关系的步骤，包括：
基于所述第一坐标映射关系和所述第二坐标映射关系，确定校正后的待分析图像中，与所述待分析图像的各个像素点对应的校正点；
针对校正后的待分析图像的每个像素点，在所确定的各个校正点中，确定与该像素点最接近的点，作为该像素点的第一参考点；
针对校正后的待分析图像的每个像素点，在所述待分析图像的各个像素点中，确定该像素点的第一参考点对应的像素点，作为该像素点的第一像素点，并将所确定的第一像素点周围的像素点，作为该像素点的第二像素点；
针对校正后的待分析图像的每个像素点，在所确定的各个校正点中，确定与该像素点的第二像素点对应的点，作为该像素点的第二参考点；
针对校正后的待分析图像的每个像素点，基于该像素点的第一参考点、第二参考点、第一像素点和第二像素点分别在所述图像坐标系中的图像坐标，求解用于将该像素点映射到所述待分析图像中的点的坐标变换矩阵，作为该像素点的映射关系；
在求解得到校正后的待分析图像的每个像素点的映射关系后，得到所述像素点映射关系。
可选的，一种具体实现方式中，所确定的第二像素点为三个；
所述针对校正后的待分析图像的每个像素点，基于该像素点的第一参考点、第二参考点、第一像素点和第二像素点分别在所述图像坐标系中的图像坐标，求解用于将该像素点映射到所述待分析图像中的点的坐标变换矩阵，作为该像素点的映射关系的步骤，包括：
针对校正后的待分析图像的每个像素点，利用第一公式和第二公式，求解用于将该像素点映射到所述待分析图像中的点的坐标变换矩阵；
其中，所述第一公式为：
Figure BDA0002509762480000041
所述第二公式为：
[i j 1]M-1＝[x,y,1]
其中，M-1为用于将校正后的待分析图像中的像素点(i,j)映射到所述待分析图像中的点(x,y)的坐标变换矩阵；M为3×3阶，且具有伪逆解的坐标变换矩阵，且M-1与M互为逆矩阵；
X′(x′1,y′1)为所述像素点(i,j)的第一参考点在所述图像坐标系中的图像坐标；X(x1,y1)为所述像素点(i,j)的第一像素点在所述图像坐标系中的图像坐标；
X′(x′2,y′2)为所述像素点(i,j)的第一个第二像素点对应的第二参考点在所述图像坐标系中的图像坐标，X(x2,y2)为所述第一个第二像素点在所述图像坐标系中的图像坐标；
X′(x′3,y′3)为所述像素点(i,j)的第二个第二像素点对应的第二参考点在所述图像坐标系中的图像坐标，X(x3,y3)为所述第二个第二像素点在所述图像坐标系中的图像坐标；
X′(x′4,y′4)为所述像素点(i,j)的第三个第二像素点对应的第二参考点在所述图像坐标系中的图像坐标，X(x4,y4)为所述第三个第三像素点在所述图像坐标系中的图像坐标。
可选的，一种具体实现方式中，所述基于所述像素点映射关系，对所述待校正拼接图像进行校正，得到校正后的图像的步骤，包括：
基于所述像素点映射关系，确定校正后的所述待校正拼接图像中各个像素点在所述待校正拼接图像中对应的原始像素点；
将校正后的所述待校正拼接图像中各个像素点的像素值，调整为所对应的原始像素点的像素值，得到校正后的图像。
第二方面，本发明实施例提供了一种图像校正装置，所述装置包括：
图像获取模块，用于获取待校正拼接图像；
类型确定模块，用于确定所述待校正拼接图像所属的图像畸变类型；
关系确定模块，用于确定用于校正属于所述图像畸变类型的任一拼接图像的像素点映射关系；其中，所述目标像素点映射关系用于表征校正后和校正前的该拼接图像中，各个像素点的对应关系；
图像校正模块，用于基于所述像素点映射关系，对所述待校正拼接图像进行校正，得到校正后的图像。
可选的，一种具体实现方式中，所述图像获取模块具体用于：
获取由环形拼接摄像机的多个镜头采集到的子图像拼接形成的初始图像；
按照预设的与所述图像畸变类型对应的扩展宽度，对所述初始图像进行边界扩展，得到待校正拼接图像。
可选的，一种具体实现方式中，所述装置还包括：生成模块，所述生成模块用于生成所述像素点映射关系，所述生成模块包括：
基准点确定子模块，用于在待分析图像中确定多个基准点；其中，所述待分析图像为：属于所述图像畸变类型的一拼接图像；
曲面坐标计算子模块，用于利用预设的第一坐标映射关系，以及每个基准点在所述待分析图像的图像坐标系中的初始图像坐标，计算每个基准点在预先构建的形变曲面的曲面坐标系中的曲面坐标；其中，所述第一坐标映射关系用于将所述曲面坐标系中的点映射到所述待分析图像中的像素点；
图像坐标确定子模块，用于根据所述图像畸变类型，移动各个基准点，并确定移动后的各个基准点在所述图像坐标系中的目标图像坐标；
关系建立子模块，用于基于每个基准点的曲面坐标与目标图像坐标之间的对应关系，建立第二坐标映射关系；其中，所述第二坐标映射关系用于将所述曲面坐标系中的点映射到校正后的待分析图像中的点；
关系生成子模块，用于基于所述第一坐标映射关系和所述第二坐标映射关系，生成所述像素点映射关系。
可选的，一种具体实现方式中，所述关系生成子模块包括：
校正点确定单元，用于基于所述第一坐标映射关系和所述第二坐标映射关系，确定校正后的待分析图像中，与所述待分析图像的各个像素点对应的校正点；
第一参考点确定单元，用于针对校正后的待分析图像的每个像素点，在所确定的各个校正点中，确定与该像素点最接近的点，作为该像素点的第一参考点；
像素点确定单元，用于针对校正后的待分析图像的每个像素点，在所述待分析图像的各个像素点中，确定该像素点的第一参考点对应的像素点，作为该像素点的第一像素点，并将所确定的第一像素点周围的像素点，作为该像素点的第二像素点；
第二参考点确定单元，用于针对校正后的待分析图像的每个像素点，在所确定的各个校正点中，确定与该像素点的第二像素点对应的点，作为该像素点的第二参考点；
矩阵求解单元，用于针对校正后的待分析图像的每个像素点，基于该像素点的第一参考点、第二参考点、第一像素点和第二像素点分别在所述图像坐标系中的图像坐标，求解用于将该像素点映射到所述待分析图像中的点的坐标变换矩阵，作为该像素点的映射关系；
关系确定单元，用于在求解得到校正后的待分析图像的每个像素点的映射关系后，得到所述像素点映射关系。
可选的，一种具体实现方式中，所确定的第二像素点为三个；所述矩阵求解单元具体用于：
针对校正后的待分析图像的每个像素点，利用第一公式和第二公式，求解用于将该像素点映射到所述待分析图像中的点的坐标变换矩阵；
其中，所述第一公式为：
Figure BDA0002509762480000071
所述第二公式为：
[ij1]M-1＝[x,y,1]
其中，M-1为用于将校正后的待分析图像中的像素点(i,j)映射到所述待分析图像中的点(x,y)的坐标变换矩阵；M为3×3阶，且具有伪逆解的坐标变换矩阵，且M-1与M互为逆矩阵；
X′(x′1,y′1)为所述像素点(i,j)的第一参考点在所述图像坐标系中的图像坐标；X(x1,y1)为所述像素点(i,j)的第一像素点在所述图像坐标系中的图像坐标；
X′(x′2,y′2)为所述像素点(i,j)的第一个第二像素点对应的第二参考点在所述图像坐标系中的图像坐标，X(x2,y2)为所述第一个第二像素点在所述图像坐标系中的图像坐标；
X′(x′3,y′3)为所述像素点(i,j)的第二个第二像素点对应的第二参考点在所述图像坐标系中的图像坐标，X(x3,y3)为所述第二个第二像素点在所述图像坐标系中的图像坐标；
X′(x′4,y′4)为所述像素点(i,j)的第三个第二像素点对应的第二参考点在所述图像坐标系中的图像坐标，X(x4,y4)为所述第三个第三像素点在所述图像坐标系中的图像坐标。
可选的，一种具体实现方式中，所述图像校正模块具体用于：
基于所述像素点映射关系，确定校正后的所述待校正拼接图像中各个像素点在所述待校正拼接图像中对应的原始像素点；
将校正后的所述待校正拼接图像中各个像素点的像素值，调整为所对应的原始像素点的像素值，得到校正后的图像。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面提供的任一种图像校正方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面提供的任一种图像校正方法的步骤。
本发明实施例有益效果：
应用本发明实施例提供的方案，在对待校正拼接图像进行校正时，可以首先确定该待校正拼接图像所属的图像畸变类型，从而，确定用于校正属于该图像畸变校正类型的任一拼接图像的像素点映射关系，从而，根据该像素点映射关系，对该待校正拼接图像进行校正，得到校正后的图像。
其中，由于上述像素点映射关系用于表征校正后的上述属于该图像畸变校正类型的任一拼接图像，和校正前的该拼接图像中，各个像素点的对应关系，因此，在对上述待校正拼接图像进行校正时，便可以直接确定校正后的该待校正拼接图像中的各个像素点在校正前的该待校正拼接图像中对应的像素点，从而，便可以直接按照上述所确定的校正前的该待校正拼接图像中的像素点的像素值，填充校正后的该待校正拼接图像中的各个像素点，进而，在填充完成后，便可以的对该待校正拼接图像进行校正后的图像。
可见，应用本发明实施例提供的方案，在对待校正拼接图像进行校正时，可以不需要调整该待校正拼接图像对应的姿态角，而直接根据确定的像素点映射关系，填充校正后的待校正拼接图像中的各个像素点。这样，该校正过程可以不受该待校正拼接图像中用户关注区域大小的限制。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1(a)和图1(b)分别为一待校正拼接图像；
图1(c)为利用调整拼接全景图像对应的姿态角的校正方法，对图1(a)进行图像校正所得到的校正后的效果图；
图1(d)为在图1(a)为初始图像时，对图1(a)进行边界扩展所得到的待校正拼接图像；
图2为本发明实施例提供的一种图像校正方法的流程示意图；
图3为图2中S204的一种具体实现方式的流程示意图；
图4为图2中S201的一种具体实现方式的流程示意图；
图5为本发明实施例提供的一种像素点映射关系的生成方式的流程示意图；
图6(a)为一种在待分析图像中确定多个基准点的示意图；
图6(b)为在图6(a)所示示意图的基础上，对各个基准点进行移动的示意图；
图7为图5中S505的一种具体实现方式的流程示意图；
图8为本发明实施例提供的一种图像校正装置的结构示意图；
图9为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在相关技术中，为了对由环形拼接摄像机的多个镜头采集到的子图像拼接得到的待校正拼接图像的畸变问题进行校正，通常所采用的校正方法为调整拼接待校正拼接图像对应的姿态角，将关注区域移向视野中央。然而，由于在调整姿态角的过程中，畸变缓解效果较差，因此，上述相关技术中的校正方法仅适用于用户关注区域较小的情况，而对于用户关注区域占据图像较大面积的情况，则完全不适用。
为了解决上述技术问题，本发明实施例提供了一种图像校正方法。该方法适用于任一需要对由环形拼接摄像机的多个镜头采集到的子图像拼接得到的待校正拼接图像的畸变问题进行图像校正的应用场景，例如，道路监控、厂区监控等；并且，该方法可以应用于任一类型的电子设备，例如，手机、笔记本电脑、台式电脑等，对此，本发明实施例不做具体限定，以下简称电子设备。
其中，可选的，在视频监控系统中，该电子设备可以为该视频监控系统中的管理设备，该视频监控系统中的环形拼接摄像机的多个镜头在采集到所监控区域的子图像后，便可以将该子图像发送给上述管理设备。这样，该管理设备便可以在接收该多个子图像后，对该多个图像进行拼接，以得到待校正拼接图像，进而，该管理设备便可以采用本发明实施例提供的图像校正方法对所得到的待校正拼接图像进行校正，以得到并输出校正后的图像。
此外，可选的，在视频监控系统中，该电子设备可以为该视频监控系统中的管理设备，该视频监控系统中的环形拼接摄像机首先可以将多个镜头所采集到的所监控区域的子图像进行拼接，得到待校正拼接图像，然后将该待校正拼接图像发送给上述管理设备。这样，该管理设备便可以在接收该待校正拼接图像后，采用本发明实施例提供的图像校正方法对所得到的待校正拼接图像进行校正，以得到并输出校正后的图像。
其中，本发明实施例提供的一种图像校正方法，可以包括如下步骤：
获取待校正拼接图像；
确定所述待校正拼接图像所属的图像畸变类型；
确定用于校正属于所述图像畸变类型的任一拼接图像的像素点映射关系；其中，所述目标像素点映射关系用于表征校正后和校正前的该拼接图像中，各个像素点的对应关系；
基于所述像素点映射关系，对所述待校正拼接图像进行校正，得到校正后的图像。
以上可见，应用本发明实施例提供的方案，在对待校正拼接图像进行校正时，可以首先确定该待校正拼接图像所属的图像畸变类型，从而，确定用于校正属于该图像畸变校正类型的任一拼接图像的像素点映射关系，从而，根据该像素点映射关系，对该待校正拼接图像进行校正，得到校正后的图像。
其中，由于上述像素点映射关系用于表征校正后的上述属于该图像畸变校正类型的任一拼接图像，和校正前的该拼接图像中，各个像素点的对应关系，因此，在对上述待校正拼接图像进行校正时，便可以直接确定校正后的该待校正拼接图像中的各个像素点在校正前的该待校正拼接图像中对应的像素点，从而，便可以直接按照上述所确定的校正前的该待校正拼接图像中的像素点的像素值，填充校正后的该待校正拼接图像中的各个像素点，进而，在填充完成后，便可以的对该待校正拼接图像进行校正后的图像。
可见，应用本发明实施例提供的方案，在对待校正拼接图像进行校正时，可以不需要调整该待校正拼接图像对应的姿态角，而直接根据确定的像素点映射关系，填充校正后的待校正拼接图像中的各个像素点。这样，该校正过程可以不受该待校正拼接图像中用户关注区域大小的限制。
下面，对本发明实施例提供的一种图像校正方法进行具体说明。
图2为本发明实施例提供的一种图像校正方法的流程示意图，如图2所示，该图像校正方法可以包括如下步骤：
S201：获取待校正拼接图像；
电子设备可以通过多种方式执行上述步骤S201，对此，本发明实施例不做具体限定。
可选的，电子设备可以直接获取环形拼接摄像机的多个镜头采集到的各个子图像，从而，在对该各个子图像进行拼接后，得到待校正拼接图像。显然，电子设备可以实时获取到待校正拼接图像。
可选的，环形拼接摄像机的多个镜头采集到的各个子图像后，该环形拼接摄像机可以直接对该各个子图像进行拼接，得到待校正拼接图像，并将该待校正拼接图像发送给电子设备。这样，电子设备便可以直接从环形拼接摄像机处获取到待校正拼接图像。显然，电子设备可以实时获取到待校正拼接图像。
可选的，电子设备还可以接收其他电子设备发送的事先存储在该其他电子设备处的待校正拼接图像。其中，该其他电子设备可以环形拼接摄像机，而该电子设备可以非实时获取到待校正拼接图像，该其他电子设备也可以是除环形拼接摄像机外的其他类型的电子设备，例如，手机、台式电脑等。
S202：确定待校正拼接图像所属的图像畸变类型。
环形拼接摄像机具有多种结构，例如，水平多路结构、带有俯角的鹰眼结构等，而利用不同结构的环形拼接摄像机，得到的待校正拼接图像的图像畸变类型可以不同。
例如，当环形拼接摄像机的结构为水平多路结构时，如图1(a)所示，则利用该环形拼接摄像机，得到的待校正拼接图像的图像畸变类型为：待校正拼接图像的中心点无畸变，并且，向四角畸变程度越来越大。
又例如，当环形拼接摄像机的结构为带有俯角的鹰眼结构时，如图1(b)所示，利用该环形拼接摄像机，得到的待校正拼接图像的图像畸变类型为：下部图像拉伸，且上部图像压缩。
基于此，为了能够实现对所获取到的待校正拼接图像的图像校正，在获取到待校正拼接图像后，需要进一步确定该待校正拼接图像所属的图像畸变类型。
其中，可选的，可以利用该待校正拼接图像对应的环形拼接摄像机的结构的类型来表征该待校正拼接图像所属的图像畸变类型。其中，该待校正拼接图像对应的环形拼接摄像机为：获取该待校正拼接图像所利用的环形拼接摄像机。
S203：确定用于校正属于图像畸变类型的任一拼接图像的像素点映射关系；
其中，目标像素点映射关系用于表征校正后和校正前的该拼接图像中，各个像素点的对应关系。
在确定出待校正拼接图像所属的图像畸变类型后，电子设备可以确定用于校正属于该图像畸变类型的任一拼接图像的像素点映射关系。其中，可以将该用于校正属于该图像畸变类型的任一拼接图像的像素点映射关系简称为所需利用的像素点映射关系。
可选的，电子设备中可以预先设置有各个图像畸变类型与像素点映射关系的对应关系，其中，每个图像畸变类型对应的像素点映射关系用于校正属于该图像畸变类型的任一拼接图像。从而，在获知待校正拼接图像所属的图像畸变类型后，便可以在上述预先设置的对应关系中，确定用于校正属于待校正拼接图像所属的图像畸变类型的任一拼接图像的像素点映射关系，即确定所需利用的像素点映射关系。
其中，电子设备可以通过多种方式生成上述像素点映射关系，对此，本发明实施例不做具体限定。为了行文清晰，后续将会对上述像素点映射关系的生成方式进行具体说明。
需要说明的是，当电子设备中未预置有上述所需利用的像素点映射关系时，电子设备可以根据该待校正拼接图像，利用后续提供的像素点映射关系的生成方式生成上述所需利用的像素点映射关系。
S204：基于像素点映射关系，对待校正拼接图像进行校正，得到校正后的图像。
在确定出上述所需利用的像素点映射关系后，电子设备便可以基于所确定的像素点映射关系，对待校正图像进行校正，得到校正后的图像。
其中，可选的，一种具体实现方式中，如图3所示，上述步骤S204可以包括如下步骤：
S301：基于像素点映射关系，确定校正后的待校正拼接图像中各个像素点在待校正拼接图像中对应的原始像素点；
S302：将校正后的待校正拼接图像中各个像素点的像素值，调整为所对应的原始像素点的像素值，得到校正后的图像。
由于所确定的像素点映射关系用于表征校正后和校正前的该拼接图像中，各个像素点的对应关系，因此，利用上述像素点映射关系，电子设备便可以确定校正后的待校正拼接图像中各个像素点在校正前的待校正拼接图像中对应的原始像素点，从而，电子设备便可以从校正前的待校正拼接图像中，读取到所确定的各个原始像素点的像素值。
这样，电子设备便可以将校正后的待校正拼接图像中各个像素点的像素值，调整为所读取到的该像素点对应的原始像素点的像素值，从而，在待校正拼接图像中全部的像素点的像素值调整完成后，便可以得到校正后的图像。
其中，上述像素值可以为像素点的灰度值，也可以为像素点的颜色值；例如，当待校正拼接图像为单通道灰度图像时，上述像素值即为灰度值，当待校正拼接图像为RGB图像时，上述像素点即为颜色值，其中，该像素值可以为各个颜色通道的色度值。
以上可见，应用本发明实施例提供的方案，在对待校正拼接图像进行校正时，可以不需要调整该待校正拼接图像对应的姿态角，而直接根据确定的像素点映射关系，填充校正后的待校正拼接图像中的各个像素点。这样，该校正过程可以不受该待校正拼接图像中用户关注区域大小的限制
可选的，一种具体实现方式中，如图4所示，上述步骤S201，获取待校正拼接图像，可以包括如下步骤：
S401：获取由环形拼接摄像机的多个镜头采集到的子图像拼接形成的初始图像；
S402：按照预设的与上述图像畸变类型对应的扩展宽度，对初始图像进行边界扩展，得到待校正拼接图像。
当待校正拼接图像所属的图像畸变类型不同时，对该拼接图像进行校正时，该拼接图像所发生的变化可以是不同的。
例如，如图1(a)所示，待校正拼接图像所属的图像畸变类型为：图像中心点无畸变，并且，向四角畸变程度越来越大。则进行校正时，图像所发生的变化为：图像四角向外拉伸。
又例如，如图1(b)所示，待校正拼接图像所属的图像畸变类型为：下部图像拉伸，且上部图像压缩。则进行校正时，图像所发生的变化为：图像下部向内压缩，且图像上部适度向外拉伸。
其中，当对待校正拼接图像进行校正，该拼接图像所发生的变化中包括将图像向外拉伸时，该拼接图像中可能存在需要拉伸到该拼接图像外部的像素点。
这样，为了保证在对待校正拼接图像中的像素点进行拉伸后，该像素点仍然位于图像中，可以对由环形拼接摄像机的多个镜头采集到的子图像拼接形成的初始图像进行边界扩展。
基于此，在本具体实现方式中，在获取待校正拼接图像时，电子设备可以首先获取到由环形拼接摄像机的多个镜头采集到的子图像拼接形成的初始图像，进而，电子设备便可以按照预设的与上述图像畸变类型对应的扩展宽度，对该初始图像进行边界扩展，从而，得到待校正拼接图像。
其中，该图像畸变类型为：上述所得到的初始图像所属的图像畸变类型，并且，该初始图像和对该初始图像进行边界扩展所得到的待校正拼接图像属于同一图像畸变程度。
其中，由于当上述步骤S301中所采用的环形拼接摄像机的结构不同时，所得到的上述初始图像所属的图像畸变类型可以不同，进而，在对利用该环形拼接摄像机所得到的待校正拼接图像中的像素点进行拉伸时，该像素点的拉伸程度也可以不同，因此，在对上述初始图像进行边界扩展时，所采用的扩展宽度可以是与该拉伸程度相对应的，即所采用的扩展程度可以是与上述图像畸变类型相对应的。
可选的，该扩展宽度可以为一固定的数值，也可以与上述初始图像的宽或高满足相应的数值比例。
例如，当初始图像如图1(a)所示时，对初始全景图像进行边界扩展所得到的待校正拼接图像可以如图1(d)所示，其中，边界扩展部分以黑边填充。
其中，假设图1(a)中各个像素点的坐标为I(x,y)，图1(a)的宽和高分别为W和H，扩展宽度为B，则边界扩展后所得到的图1(d)中的各个像素点的坐标为I′(x′,y′)，并且，
Figure BDA0002509762480000151
下面，对上述步骤S203中确定的像素点映射关系的生成方式进行具体说明。
其中，该像素点映射关系可以是执行本发明实施例提供的一种图像校正方法的电子设备在本地生成的，也可以是其他电子设备生成并发送至执行本发明实施例提供的一种图像校正方法的电子设备的；这都是合理的。
为了行文清晰，将生成该像素点映射关系的电子设备简称为关系生成设备。
图5为本发明实施例提供的一种像素点映射关系的生成方式的流程示意图，如图5所示，该生成方式可以包括如下步骤：
S501：在待分析图像中确定多个基准点；
其中，待分析图像为：属于上述图像畸变类型的一拼接图像，而上述图像畸变类型为待校正拼接图像所属的图像畸变类型，则待分析图像为：属于待校正拼接图像所属的图像畸变类型的一拼接图像。
可选的，该待分析图像可以为上述所获取到的待校正拼接图像，也可以为除该待校正拼接图像外，其他的与该校正拼接图像属于同一图像畸变类型的拼接图像。其中，当电子设备中未设置有用于校正属于待校正拼接图像所属的图像畸变类型的任一拼接图像的像素点映射关系时，电子设备便可以作为关系生成设备，将该待校正拼接图像作为待分析图像，利用本发明实施例提供的生成方式，生成该像素点映射关系。
关系生成设备可以首先获取一待分析图像，进而，便可以在该待分析图像中确定多个基准点。其中，该基准点为该待分析图像中的像素点，即该基准点在该待分析图像的图像坐标系中的初始图像坐标为整数坐标。
例如，假设图1(d)为待分析图像，其中，图1(d)是对图1(a)进行边界扩展得到的。其中，图1(a)的宽和高分别为W和H，以及图1(d)所进行的边界扩展的扩展宽度为B。
则如图6(a)所示，在待分析图像中确定多个基准点时，可以分别在宽和高两个方向上进行均匀剖分，并设定剖分所得到的网格点数为(m+1)×(n+1)。进而，便可以将待分析图像的宽和高等间距划分为m×n块，并按照分别宽和高两个方向的剖分份数均匀生成各个基准点Pi,j，且每个基准点在待分析图像的图像坐标系中的初始图像坐标为：
Pij＝(i×H/m+B,j×W/n+B)，其中，0≤i≤n,0≤j≤m。
其中，图6(a)中的点1-点25即为所确定的各个基准点。可选的，点1为P0,0，点2为P0,1，点6为P1,0。
需要说明的是，在设定上述网格点数时，m和n可以根据实际应用中，对拼接图像的校正效果的精细度高低的要求进行限定。例如，当对拼接图像的校正效果的精细度要求较高时，可以设定较大的m和n，当对拼接图像的校正效果的精细度要求较低时，可以设定较小的m和n。
此外，m和n还可以根据待分析图像所属的图像畸变类型进行设定。当然，还可以根据其他因素，设定m和n的具体数值。基于此，本发明实施例不对m和n的具体数值进行限定。
S502：利用预设的第一坐标映射关系，以及每个基准点在待分析图像的图像坐标系中的初始图像坐标，计算每个基准点在预先构建的形变曲面的曲面坐标系中的曲面坐标；
其中，第一坐标映射关系用于将曲面坐标系中的点映射到待分析图像中的像素点；
在待分析图像中确定出多个基准点后，关系生成设备便可以得到每个基准点在待分析图像的图像坐标系中的初始图像坐标。
这样，关系生成设备便可以确定预先构建的形变曲面，从而，关系生成设备便可以获取到预设的用于将该形变曲面的曲面坐标系中的点映射到待分析图像中的像素点的第一坐标映射关系。
进而，关系生成设备便可以利用该第一坐标映射关系和所得到的各个基准点的初始图像坐标，计算每个基准点在该形变曲面的曲面坐标系中的曲面坐标。
显然，针对每个基准点，在上述形变曲面的曲面坐标系中，所计算得到的该基准点的曲面坐标所指示的点，即为该曲面坐标系中，与该基准点对应的点。
也就是说，关系生成设备可以得到形变曲面的曲面坐标系中的点与校正前的待分析图像中的各个基准点的对应关系，即关系生成设备可以得到校正前的待分析图像中，每个基准点对应于形变曲面的曲面坐标系中的哪个点，相应的，关系生成设备也就可以得到形变曲面的曲面坐标系中，存在哪些点与校正前的待分析图像中的基准点相对应，且曲面坐标系中的这些点中的每个点与校正前的待分析图像中的哪个基准点相对应。
其中，可选的，上述预先构建的形变曲面可以为Bezier曲面，也可以为B样条曲面，当然，该形变曲面也可以为其他曲面，这都是合理的。
进一步的，上述预设的第一坐标映射关系如下所示，从而，可以利用该第一坐标映射关系计算出每个基准点在预先构建的形变曲面的曲面坐标系中的曲面坐标，即计算出上述预先构建的形变曲面的曲面坐标系中，与待分析图像中的每个基准点对应的点。
Figure BDA0002509762480000181
其中，X(ui,vj)为待分析图像中的基准点Pi,j在预先构建的形变曲面的曲面坐标系中的曲面坐标；
0≤ui,vj≤1，也就是，在利用上述第一坐标映射关系计算每个基准点在预先构建的形变曲面的曲面坐标系中的曲面坐标时，对形变曲面中的曲面坐标系中各个点的曲面坐标进行了归一化，从而，可以简化上述第一坐标映射关系；
Bi,n(ui),Bj,m(vj)为n，m次的Bernstein多项式，并且，
Figure BDA0002509762480000182
Figure BDA0002509762480000183
此外，可选的，上述第一坐标映射关系
Figure BDA0002509762480000184
也可以表示为：
X(ui,vj)＝P0,0+uiU+vjV
其中，P0,0为待分析图像的图像坐标系中的坐标原点在预先构建的形变曲面的曲面坐标系中的曲面坐标；U和V为固定值，可以表征在上述预先构建的形变曲面中，各个点相对于P0,0所指示的点在u和v方向上的变化比例，并且，U和V可以利用上述第一坐标映射关系
Figure BDA0002509762480000185
计算得到。
S503：根据图像畸变类型，移动各个基准点，并确定移动后的各个基准点在图像坐标系中的目标图像坐标；
当拼接图像所属的图像畸变类型不同时，则对该拼接图像进行校正时，该拼接图像所发生的变化可以是不同的，即对该拼接图像进行校正时，该拼接图像中的各个像素点的移动方向和距离是不同的。
这样，关系生成设备便可以根据图像畸变类型，将各个基准点移动至能够消除该基准点的图像畸变的位置。
例如，如图6(b)所示，将图6(a)中的各个基准点移动至新的位置以，消除该基准点的图像畸变，进而，消除图6(a)所存在的图像畸变。
基于此，关系生成设备便可以根据待分析图形所属的图像畸变类型，移动所确定的各个基准点，并确定移动后的各个基准点在待分析图像的图像坐标系中的目标图像坐标。
需要说明的是，针对属于不同图像畸变类型的待分析图像，该待分析图像中的各个基准点的移动方向和距离可以是不同的，其中，上述各个基准点的移动方向和距离，可以是通过多次实验调整后确定的。
S504：基于每个基准点的曲面坐标与目标图像坐标之间的对应关系，建立第二坐标映射关系；
其中，第二坐标映射关系用于将曲面坐标系中的点映射到校正后的待分析图像中的点。
需要说明的是，由于关系生成设备可以将根据图像畸变类型，将各个基准点移动至能够消除该基准点的图像畸变的位置，因此，移动后的各个基准点可以作为校正后的待分析图像中的点。因此，每个基准点的目标图像坐标便可以作为该基准点在校正后的待分析图像的图像坐标系中的图像坐标。
并且，每个基准点的曲面坐标为该基准点在预先构建的形变曲面的曲面坐标系中的曲面坐标。
基于此，针对每个基准点，可以得到该基准点在校正后的待分析图像的图像坐标系中的图像坐标，以及该基准点在预先构建的形变曲面的曲面坐标系中的曲面坐标，并且上述图像坐标和曲面坐标具有对应关系。
这样，关系生成设备便可以基于每个基准点的曲面坐标与目标图像坐标之间的对应关系，建立用于将曲面坐标系中的点映射到校正后的待分析图像中的点的第二坐标映射关系。
其中，针对每个基准点，在上述形变曲面的曲面坐标系中，所计算得到的该基准点的曲面坐标所指示的点，即为该曲面坐标系中，与该基准点对应的点。
而相应的，针对每个基准点，在校正后的待分析图像的图像坐标系中，该基准点的目标图像坐标所指示的点，即为校正后的待分析图像中，与该基准点对应的点。
从而，针对每个基准点，在确定上述形变曲面的曲面坐标系中，与该基准点对应的点，以及校正后的待分析图像中，与该基准点对应的点，便可以建立该曲面坐标系中与该基准点对应的点，和校正后的待分析图像中与该基准点对应的点之间的对应关系，从而，建立上述第二坐标映射关系。
也就是说，利用上述第一预设关系，可以在形变曲面的曲面坐标系中，确定与校正前的待分析图像中的基准点对应的点；而在移动各个基准点后，可以在校正后的待分析图像中，确定与校正前的待分析图像中的基准点对应的点。这样，便可以确定形变曲面的曲面坐标系中，与校正前的待分析图像中的基准点对应的点，在校正后的待分析图像中对应的点。
显然，关系生成设备可以确定出形变曲面的曲面坐标系中，存在哪些点与校正前的待分析图像中的基准点相对应，并且，这些点与校正后的待分析图像中的哪些点相对应的。
可选的，当上述预设的第一坐标映射关系为
Figure BDA0002509762480000201
时，上述所建立的第二坐标映射关系可以如下所示：
Figure BDA0002509762480000202
其中，X′(ui,vj)为校正前的待分析图像中的基准点Pi,j的目标图像坐标在预先构建的形变曲面的曲面坐标系中的曲面坐标，P′i,j为校正前的待分析图像中的基准点Pi,j的目标图像坐标。
S505：基于第一坐标映射关系和第二坐标映射关系，生成像素点映射关系。
由于第一坐标映射关系用于将曲面坐标系中的点映射到待分析图像中的像素点，第二坐标映射关系用于将曲面坐标系中的点映射到校正后的待分析图像中的点，因此，关系生成设备可以确定预先构建的形变曲面的曲面坐标系中的某个点，在校正前的待分析图像中对应的基准点，和在校正后的待分析图像中对应的点。进而，关系生成设备便可以确定校正前的待分析图像中的基准点，在校正后的待分析图像中对应的点。
其中，校正前的待分析图像中的基准点为校正前的待分析图像中的像素点，即校正前的待分析图像中的基准点为该待分析图像的图像坐标系中的整数坐标所指示的点，而经过本具体实现方式的多次坐标计算后，所得到的该基准点在校正后的待分析图像中对应的点可以是校正后的待分析图像的图像坐标系中的非整数坐标所指示的点，则该点可以不是校正后的待分析图像中的像素点。
基于此，也就是说，关系生成设备可以确定校正前的待分析图像中的像素点与校正后的待分析图像中的点的对应关系。
进而，由于上述所需确定的像素点映射关系用于表征校正后和校正前的该拼接图像中，各个像素点的对应关系，即关系生成设备需要确定校正后的待分析图像中的像素点与校正前的待分析图像中的像素点的对应关系，因此，在建立了上述第二坐标映射关系后，关系生成设备便可以基于第一坐标映射关系和第二坐标映射关系，生成该像素点映射关系。
也就是说，关系生成设备可以根据校正前的待分析图像的图像坐标系中的整数坐标所指示的点，与校正后的待分析图像的图像坐标系中的点的对应关系，建立校正后的待分析图像的图像坐标系中的整数坐标所指示的点，与校正前的待分析图像的图像坐标系中的点的对应关系。
可选的，一种具体实现方式中，如图7所示，上述步骤S505，基于第一坐标映射关系和第二坐标映射关系，生成像素点映射关系，可以包括如下步骤：
S701：基于第一坐标映射关系和第二坐标映射关系，确定校正后的待分析图像中，与待分析图像的各个像素点对应的校正点；
由于第一坐标映射关系用于将曲面坐标系中的点映射到待分析图像中的像素点，第二坐标映射关系用于将曲面坐标系中的点映射到校正后的待分析图像中的点，因此，关系生成设备可以确定预先构建的形变曲面的曲面坐标系中的某个点，在校正前的待分析图像中对应的基准点，和在校正后的待分析图像中对应的点。进而，关系生成设备便可以确定校正前的待分析图像中的基准点，在校正后的待分析图像中对应的点。
并且，由于校正前的待分析图像中的基准点为校正前的待分析图像中的像素点，因此，关系生成设备便可以基于第一坐标映射关系和第二坐标映射关系，确定待分析图像中的各个像素点，在校正后的待分析图像中对应的校正点。
即在校正后的待分析图像中，确定与校正前的待分析图像的各个像素点对应的校正点。
S702：针对校正后的待分析图像的每个像素点，在所确定的各个校正点中，确定与该像素点最接近的点，作为该像素点的第一参考点；
在校正后的待分析图像中，确定了各个校正点，且每个校正点对应校正前的待分析图像中的一像素点。
进而，针对校正后的待分析图像的每个像素点，可以在所确定的各个校正点中，确定与该像素点最接近的校正点，作为该像素点的第一参考点。
S703：针对校正后的待分析图像的每个像素点，在待分析图像的各个像素点中，确定该像素点的第一参考点对应的像素点，作为该像素点的第一像素点，并将所确定的第一像素点周围的像素点，作为该像素点的第二像素点；
由于校正后的待分析图像中的每个校正点对应校正前的待分析图像中的一像素点，因此，针对校正后的待分析图像的每个像素点，所确定的该像素点的第一参考点在校正前的待分析图像中对应一像素点。
这样，针对校正后的待分析图像的每个像素点，关系生成设备便可以在校正前的待分析图像的各个像素点中，确定该像素点的第一参考点对应的像素点，作为该像素点的第一像素点；进而，在校正前的待分析图像的各个像素点中，确定该第一像素点周围的像素点，作为校正后的待分析图像的该像素点的第二像素点。
其中，该像素点的第二像素点的数量为多个，例如，三个、四个或者五个等，这都是合理的。
S704：针对校正后的待分析图像的每个像素点，在所确定的各个校正点中，确定与该像素点的第二像素点对应的点，作为该像素点的第二参考点；
由于校正后的待分析图像中的每个校正点对应校正前的待分析图像中的一像素点，因此，针对校正前的待分析图像的每个像素点，可以在校正后的待分析图像中，确定该像素点对应的校正点。
这样，针对校正后的待分析图像的每个像素点，当在校正前的待分析图像的各个像素点中，确定出该像素点的第二像素点后，便可以在校正后的待分析图像中的各个校正点中，确定校正后的待分析图像的该像素点的第二像素点对应的校正点，作为校正后的待分析图像的该像素点的第二参考点。
S705：针对校正后的待分析图像的每个像素点，基于该像素点的第一参考点、第二参考点、第一像素点和第二像素点分别在图像坐标系中的图像坐标，求解用于将该像素点映射到待分析图像中的点的坐标变换矩阵，作为该像素点的映射关系；
进而，针对校正后的待分析图像的每个像素点，在得到该像素点的第一参考点、第二参考点、第一像素点和第二像素点后，便可以基于该像素点的第一参考点、第二参考点、第一像素点和第二像素点分别在各自所在图像的图像坐标系中的图像坐标，求解用于将该像素点映射到待分析图像中的点的坐标变换矩阵，作为校正后的待分析图像的该像素点的映射关系。
其中，可选的，一种具体实现方式中，针对校正后的待分析图像的每个像素点，所确定的该像素点的第二像素点为三个，则上述步骤S705可以包括如下步骤：
针对校正后的待分析图像的每个像素点，利用第一公式和第二公式，求解用于将该像素点映射到待分析图像中的点的坐标变换矩阵；
其中，第一公式为：
Figure BDA0002509762480000231
第二公式为：
[i j 1]M-1＝[x,y,1]
其中，M-1为用于将校正后的待分析图像中的像素点(i,j)映射到待分析图像中的点(x,y)的坐标变换矩阵；M为3×3阶，且具有伪逆解的坐标变换矩阵，且M-1与M互为逆矩阵；
X′(x′1,y′1)为像素点(i,j)的第一参考点在图像坐标系中的图像坐标；X(x1,y1)为像素点(i,j)的第一像素点在图像坐标系中的图像坐标；
X′(x′2,y′2)为像素点(i,j)的第一个第二像素点对应的第二参考点在图像坐标系中的图像坐标，X(x2,y2)为第一个第二像素点在图像坐标系中的图像坐标；
X′(x′3,y′3)为像素点(i,j)的第二个第二像素点对应的第二参考点在图像坐标系中的图像坐标，X(x3,y3)为第二个第二像素点在图像坐标系中的图像坐标；
X′(x′4,y′4)为像素点(i,j)的第三个第二像素点对应的第二参考点在图像坐标系中的图像坐标，X(x4,y4)为第三个第三像素点在图像坐标系中的图像坐标。
S706：在求解得到校正后的待分析图像的每个像素点的映射关系后，得到像素点映射关系。
这样，在遍历校正后的待分析图像中的每个像素点，求解得到校正后的待分析图像的每个像素点的映射关系后，便可以得到上述像素点映射关系。
相应于上述本发明实施例提供的一种图像校正方法，本发明实施例提供了一种图像校正装置。
图8为本发明实施例提供的一种图像校正装置的结构示意图，如图8所示，所述装置包括：
图像获取模块810，用于获取待校正拼接图像；
类型确定模块820，用于确定所述待校正拼接图像所属的图像畸变类型；
关系确定模块830，用于确定用于校正属于所述图像畸变类型的任一拼接图像的像素点映射关系；其中，所述目标像素点映射关系用于表征校正后和校正前的该拼接图像中，各个像素点的对应关系；
图像校正模块840，用于基于所述像素点映射关系，对所述待校正拼接图像进行校正，得到校正后的图像。
以上可见，应用本发明实施例提供的方案，在对待校正拼接图像进行校正时，可以首先确定该待校正拼接图像所属的图像畸变类型，从而，确定用于校正属于该图像畸变校正类型的任一拼接图像的像素点映射关系，从而，根据该像素点映射关系，对该待校正拼接图像进行校正，得到校正后的图像。
其中，由于上述像素点映射关系用于表征校正后的上述属于该图像畸变校正类型的任一拼接图像，和校正前的该拼接图像中，各个像素点的对应关系，因此，在对上述待校正拼接图像进行校正时，便可以直接确定校正后的该待校正拼接图像中的各个像素点在校正前的该待校正拼接图像中对应的像素点，从而，便可以直接按照上述所确定的校正前的该待校正拼接图像中的像素点的像素值，填充校正后的该待校正拼接图像中的各个像素点，进而，在填充完成后，便可以的对该待校正拼接图像进行校正后的图像。
可见，应用本发明实施例提供的方案，在对待校正拼接图像进行校正时，可以不需要调整该待校正拼接图像对应的姿态角，而直接根据确定的像素点映射关系，填充校正后的待校正拼接图像中的各个像素点。这样，该校正过程可以不受该待校正拼接图像中用户关注区域大小的限制。
可选的，一种具体实现方式中，所述图像获取模块810具体用于：
获取由环形拼接摄像机的多个镜头采集到的子图像拼接形成的初始图像；
按照预设的与所述图像畸变类型对应的扩展宽度，对所述初始图像进行边界扩展，得到待校正拼接图像。
可选的，一种具体实现方式中，所述装置还包括：生成模块，所述生成模块用于生成所述像素点映射关系，所述生成模块包括：
基准点确定子模块，用于在待分析图像中确定多个基准点；其中，所述待分析图像为：属于所述图像畸变类型的一拼接图像；
曲面坐标计算子模块，用于利用预设的第一坐标映射关系，以及每个基准点在所述待分析图像的图像坐标系中的初始图像坐标，计算每个基准点在预先构建的形变曲面的曲面坐标系中的曲面坐标；其中，所述第一坐标映射关系用于将所述曲面坐标系中的点映射到所述待分析图像中的像素点；
图像坐标确定子模块，用于根据所述图像畸变类型，移动各个基准点，并确定移动后的各个基准点在所述图像坐标系中的目标图像坐标；
关系建立子模块，用于基于每个基准点的曲面坐标与目标图像坐标之间的对应关系，建立第二坐标映射关系；其中，所述第二坐标映射关系用于将所述曲面坐标系中的点映射到校正后的待分析图像中的点；
关系生成子模块，用于基于所述第一坐标映射关系和所述第二坐标映射关系，生成所述像素点映射关系。
可选的，一种具体实现方式中，所述关系生成子模块包括：
校正点确定单元，用于基于所述第一坐标映射关系和所述第二坐标映射关系，确定校正后的待分析图像中，与所述待分析图像的各个像素点对应的校正点；
第一参考点确定单元，用于针对校正后的待分析图像的每个像素点，在所确定的各个校正点中，确定与该像素点最接近的点，作为该像素点的第一参考点；
像素点确定单元，用于针对校正后的待分析图像的每个像素点，在所述待分析图像的各个像素点中，确定该像素点的第一参考点对应的像素点，作为该像素点的第一像素点，并将所确定的第一像素点周围的像素点，作为该像素点的第二像素点；
第二参考点确定单元，用于针对校正后的待分析图像的每个像素点，在所确定的各个校正点中，确定与该像素点的第二像素点对应的点，作为该像素点的第二参考点；
矩阵求解单元，用于针对校正后的待分析图像的每个像素点，基于该像素点的第一参考点、第二参考点、第一像素点和第二像素点分别在所述图像坐标系中的图像坐标，求解用于将该像素点映射到所述待分析图像中的点的坐标变换矩阵，作为该像素点的映射关系；
关系确定单元，用于在求解得到校正后的待分析图像的每个像素点的映射关系后，得到所述像素点映射关系。
可选的，一种具体实现方式中，所确定的第二像素点为三个；所述矩阵求解单元具体用于：
针对校正后的待分析图像的每个像素点，利用第一公式和第二公式，求解用于将该像素点映射到所述待分析图像中的点的坐标变换矩阵；
其中，所述第一公式为：
Figure BDA0002509762480000271
所述第二公式为：
[i j 1]M-1＝[x,y,1]
其中，M-1为用于将校正后的待分析图像中的像素点(i,j)映射到所述待分析图像中的点(x,y)的坐标变换矩阵；M为3×3阶，且具有伪逆解的坐标变换矩阵，且M-1与M互为逆矩阵；
X′(x′1,y′1)为所述像素点(i,j)的第一参考点在所述图像坐标系中的图像坐标；X(x1,y1)为所述像素点(i,j)的第一像素点在所述图像坐标系中的图像坐标；
X′(x′2,y′2)为所述像素点(i,j)的第一个第二像素点对应的第二参考点在所述图像坐标系中的图像坐标，X(x2,y2)为所述第一个第二像素点在所述图像坐标系中的图像坐标；
X′(x′3,y′3)为所述像素点(i,j)的第二个第二像素点对应的第二参考点在所述图像坐标系中的图像坐标，X(x3,y3)为所述第二个第二像素点在所述图像坐标系中的图像坐标；
X′(x′4,y′4)为所述像素点(i,j)的第三个第二像素点对应的第二参考点在所述图像坐标系中的图像坐标，X(x4,y4)为所述第三个第三像素点在所述图像坐标系中的图像坐标。
可选的，一种具体实现方式中，所述图像校正模块840具体用于：
基于所述像素点映射关系，确定校正后的所述待校正拼接图像中各个像素点在所述待校正拼接图像中对应的原始像素点；
将校正后的所述待校正拼接图像中各个像素点的像素值，调整为所对应的原始像素点的像素值，得到校正后的图像。
相应于上述本发明实施例提供的一种图像校正方法，本发明实施例还提供了一种电子设备，如图9所示，包括处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信，
存储器903，用于存放计算机程序；
处理器901，用于执行存储器903上所存放的程序时，实现上述本发明实施例提供的任一图像校正方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像校正方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像校正方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、电子设备实施例、计算机可读存储介质实施例、计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种图像校正方法，其特征在于，所述方法包括：
获取待校正拼接图像；
确定所述待校正拼接图像所属的图像畸变类型；
确定用于校正属于所述图像畸变类型的任一拼接图像的像素点映射关系；其中，所述目标像素点映射关系用于表征校正后和校正前的该拼接图像中，各个像素点的对应关系；
基于所述像素点映射关系，对所述待校正拼接图像进行校正，得到校正后的图像。
2.根据权利要求1所述的方法，其特征在于，所述获取待校正拼接图像的步骤，包括：
获取由环形拼接摄像机的多个镜头采集到的子图像拼接形成的初始图像；
按照预设的与所述图像畸变类型对应的扩展宽度，对所述初始图像进行边界扩展，得到待校正拼接图像。
3.根据权利要求1或2所述的方法，其特征在于，所述像素点映射关系的生成方式，包括：
在待分析图像中确定多个基准点；其中，所述待分析图像为：属于所述图像畸变类型的一拼接图像；
利用预设的第一坐标映射关系，以及每个基准点在所述待分析图像的图像坐标系中的初始图像坐标，计算每个基准点在预先构建的形变曲面的曲面坐标系中的曲面坐标；其中，所述第一坐标映射关系用于将所述曲面坐标系中的点映射到所述待分析图像中的像素点；
根据所述图像畸变类型，移动各个基准点，并确定移动后的各个基准点在所述图像坐标系中的目标图像坐标；
基于每个基准点的曲面坐标与目标图像坐标之间的对应关系，建立第二坐标映射关系；其中，所述第二坐标映射关系用于将所述曲面坐标系中的点映射到校正后的待分析图像中的点；
基于所述第一坐标映射关系和所述第二坐标映射关系，生成所述像素点映射关系。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一坐标映射关系和所述第二坐标映射关系，生成所述像素点映射关系的步骤，包括：
基于所述第一坐标映射关系和所述第二坐标映射关系，确定校正后的待分析图像中，与所述待分析图像的各个像素点对应的校正点；
针对校正后的待分析图像的每个像素点，在所确定的各个校正点中，确定与该像素点最接近的点，作为该像素点的第一参考点；
针对校正后的待分析图像的每个像素点，在所述待分析图像的各个像素点中，确定该像素点的第一参考点对应的像素点，作为该像素点的第一像素点，并将所确定的第一像素点周围的像素点，作为该像素点的第二像素点；
针对校正后的待分析图像的每个像素点，在所确定的各个校正点中，确定与该像素点的第二像素点对应的点，作为该像素点的第二参考点；
针对校正后的待分析图像的每个像素点，基于该像素点的第一参考点、第二参考点、第一像素点和第二像素点分别在所述图像坐标系中的图像坐标，求解用于将该像素点映射到所述待分析图像中的点的坐标变换矩阵，作为该像素点的映射关系；
在求解得到校正后的待分析图像的每个像素点的映射关系后，得到所述像素点映射关系。
5.根据权利要求4所述的方法，其特征在于，所确定的第二像素点为三个；
所述针对校正后的待分析图像的每个像素点，基于该像素点的第一参考点、第二参考点、第一像素点和第二像素点分别在所述图像坐标系中的图像坐标，求解用于将该像素点映射到所述待分析图像中的点的坐标变换矩阵，作为该像素点的映射关系的步骤，包括：
针对校正后的待分析图像的每个像素点，利用第一公式和第二公式，求解用于将该像素点映射到所述待分析图像中的点的坐标变换矩阵；
其中，所述第一公式为：
Figure FDA0002509762470000031
所述第二公式为：
[i j 1]M-1＝[x,y,1]
其中，M-1为用于将校正后的待分析图像中的像素点(i,j)映射到所述待分析图像中的点(x,y)的坐标变换矩阵；M为3×3阶，且具有伪逆解的坐标变换矩阵，且M-1与M互为逆矩阵；
X′(x′1,y′1)为所述像素点(i,j)的第一参考点在所述图像坐标系中的图像坐标；X(x1,y1)为所述像素点(i,j)的第一像素点在所述图像坐标系中的图像坐标；
X′(x′2,y′2)为所述像素点(i,j)的第一个第二像素点对应的第二参考点在所述图像坐标系中的图像坐标，X(x2,y2)为所述第一个第二像素点在所述图像坐标系中的图像坐标；
X′(x′3,y′3)为所述像素点(i,j)的第二个第二像素点对应的第二参考点在所述图像坐标系中的图像坐标，X(x3,y3)为所述第二个第二像素点在所述图像坐标系中的图像坐标；
X′(x′4,y′4)为所述像素点(i,j)的第三个第二像素点对应的第二参考点在所述图像坐标系中的图像坐标，X(x4,y4)为所述第三个第三像素点在所述图像坐标系中的图像坐标。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述基于所述像素点映射关系，对所述待校正拼接图像进行校正，得到校正后的图像的步骤，包括：
基于所述像素点映射关系，确定校正后的所述待校正拼接图像中各个像素点在所述待校正拼接图像中对应的原始像素点；
将校正后的所述待校正拼接图像中各个像素点的像素值，调整为所对应的原始像素点的像素值，得到校正后的图像。
7.一种图像校正装置，其特征在于，所述装置包括：
图像获取模块，用于获取待校正拼接图像；
类型确定模块，用于确定所述待校正拼接图像所属的图像畸变类型；
关系确定模块，用于确定用于校正属于所述图像畸变类型的任一拼接图像的像素点映射关系；其中，所述目标像素点映射关系用于表征校正后和校正前的该拼接图像中，各个像素点的对应关系；
图像校正模块，用于基于所述像素点映射关系，对所述待校正拼接图像进行校正，得到校正后的图像。
8.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。
CN202010457374.1A 2020-05-26 2020-05-26 一种图像校正方法、装置及电子设备 Active CN113724141B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010457374.1A CN113724141B (zh) 2020-05-26 2020-05-26 一种图像校正方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010457374.1A CN113724141B (zh) 2020-05-26 2020-05-26 一种图像校正方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN113724141A true CN113724141A (zh) 2021-11-30
CN113724141B CN113724141B (zh) 2023-09-05

Family

ID=78672116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010457374.1A Active CN113724141B (zh) 2020-05-26 2020-05-26 一种图像校正方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113724141B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742737A (zh) * 2022-06-14 2022-07-12 广东源兴诡谷子光学智能科技有限公司 一种用于拼接图像畸变校正的图像校正方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070229665A1 (en) * 2006-03-31 2007-10-04 Tobiason Joseph D Robust field of view distortion calibration
CN106709868A (zh) * 2016-12-14 2017-05-24 云南电网有限责任公司电力科学研究院 一种图像拼接方法及装置
CN107249096A (zh) * 2016-06-14 2017-10-13 杭州海康威视数字技术股份有限公司 全景摄像机及其拍摄方法
US20170330308A1 (en) * 2014-10-31 2017-11-16 Huawei Technologies Co., Ltd. Image Processing Method and Device
CN107424118A (zh) * 2017-03-28 2017-12-01 天津大学 基于改进径向畸变校正的球状全景拼接方法
CN107424126A (zh) * 2017-05-26 2017-12-01 广州视源电子科技股份有限公司 图像校正方法、装置、设备、系统及摄像设备和显示设备
CN110097516A (zh) * 2019-04-25 2019-08-06 上海交通大学 内孔壁面图像畸变纠正方法、系统及介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070229665A1 (en) * 2006-03-31 2007-10-04 Tobiason Joseph D Robust field of view distortion calibration
US20170330308A1 (en) * 2014-10-31 2017-11-16 Huawei Technologies Co., Ltd. Image Processing Method and Device
CN107249096A (zh) * 2016-06-14 2017-10-13 杭州海康威视数字技术股份有限公司 全景摄像机及其拍摄方法
CN106709868A (zh) * 2016-12-14 2017-05-24 云南电网有限责任公司电力科学研究院 一种图像拼接方法及装置
CN107424118A (zh) * 2017-03-28 2017-12-01 天津大学 基于改进径向畸变校正的球状全景拼接方法
CN107424126A (zh) * 2017-05-26 2017-12-01 广州视源电子科技股份有限公司 图像校正方法、装置、设备、系统及摄像设备和显示设备
CN110097516A (zh) * 2019-04-25 2019-08-06 上海交通大学 内孔壁面图像畸变纠正方法、系统及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WANG HONGZHI 等: "The Distortion Correction of Large View Wide-angle Lens for Image Mosaic Based on OpenCV", 2011 INTERNATIONAL CONFERENCE ON MECHATRONIC SCIENCE, ELECTRIC ENGINEERING AND COMPUTER *
孙慧贤 等: "内窥镜图像非线性畸变数字校正方法", 无损检测, no. 02 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742737A (zh) * 2022-06-14 2022-07-12 广东源兴诡谷子光学智能科技有限公司 一种用于拼接图像畸变校正的图像校正方法和装置
CN114742737B (zh) * 2022-06-14 2023-03-14 广东源兴诡谷子光学智能科技有限公司 一种用于拼接图像畸变校正的图像校正方法和装置

Also Published As

Publication number Publication date
CN113724141B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN110300292B (zh) 投影畸变校正方法、装置、系统及存储介质
CN107665483B (zh) 免定标便捷的单目镜头鱼眼图像畸变矫正方法
US11282232B2 (en) Camera calibration using depth data
CN110717942A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN112686824A (zh) 图像校正方法、装置、电子设备和计算机可读介质
JP2009230537A (ja) 画像処理装置、画像処理プログラム、画像処理方法、および、電子機器
CN112470192A (zh) 双摄像头标定方法、电子设备、计算机可读存储介质
CN114125411B (zh) 投影设备校正方法、装置、存储介质以及投影设备
CN113643414A (zh) 一种三维图像生成方法、装置、电子设备及存储介质
CN114022662B (zh) 图像识别方法、装置、设备及介质
CN111598777A (zh) 天空云图的处理方法、计算机设备和可读存储介质
CN102236790B (zh) 一种图像处理方法和设备
CN111507894B (zh) 一种图像拼接处理方法及装置
CN113222862B (zh) 图像畸变校正方法、装置、电子设备和存储介质
CN113724141B (zh) 一种图像校正方法、装置及电子设备
CN111882588B (zh) 图像块配准方法及相关产品
CN117522963A (zh) 棋盘格的角点定位方法、装置、存储介质及电子设备
CN111353945B (zh) 鱼眼图像校正方法、装置及存储介质
CN115174878B (zh) 投影画面校正方法、装置和存储介质
JP6317611B2 (ja) ディスプレイ表示パターン生成装置及びそのプログラム
CN116109681A (zh) 图像融合方法、装置、电子设备及可读存储介质
CN117252914A (zh) 深度估计网络的训练方法、装置、电子设备及存储介质
CN111028290B (zh) 一种用于绘本阅读机器人的图形处理方法及装置
CN113920525A (zh) 文本矫正方法、装置、设备及存储介质
KR20230002630A (ko) 교정 방법, 교정 장치 및 이를 이용한 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant