CN107507248A - 图像校正方法及装置 - Google Patents
图像校正方法及装置 Download PDFInfo
- Publication number
- CN107507248A CN107507248A CN201710789055.9A CN201710789055A CN107507248A CN 107507248 A CN107507248 A CN 107507248A CN 201710789055 A CN201710789055 A CN 201710789055A CN 107507248 A CN107507248 A CN 107507248A
- Authority
- CN
- China
- Prior art keywords
- msub
- msubsup
- point
- characteristic point
- mrow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供图像校正方法及装置，在一个实施例中，所述图像校正方法包括：从多幅待校正图像中获取多个特征点对，所述特征点对为任意两幅待校正图像中的同一物体对应的点形成的点对；对所述特征点对中的特征点进行校正得到校正特征点；获取每个鱼眼相机在指定坐标系中的偏转角；根据投影模型及特征点对应的鱼眼相机的偏转角将所述校正特征点投射至所述指定坐标系中的一球面上得到投射点；获取包含有未知校正参数的所述特征点对对应的投射点的误差平方和表达式；计算所述误差平方和表达式为最小值时所述未知校正参数的取值；以及根据所述未知校正参数的取值调整每幅所述待校正图像的特征点在所述球面的位置。
Description
技术领域
本发明涉及图像处理领域，具体而言，涉及一种图像校正方法及装置。
背景技术
由于普通摄像机等设备拍摄的图像的视角有限，因此，可以通过鱼眼相机拍摄图像以拍摄更广的视角。但是鱼眼相机拍照的图像会引起畸变，因此需要对鱼眼相机拍摄的图像进行校正。一般是通过人工重复测量标定每个鱼眼相机的畸变校正参数以对每个鱼眼相机拍摄的图像进行校正，但是对于多个鱼眼相机图像拼接全景的系统，每个相机的鱼眼畸变校正参数的标定结果都会引入误差，多次标定会使得误差累加。因此，一种更有效地对鱼眼相机拍摄的图像进行校正的方式是迫切需求的。
发明内容
有鉴于此，本发明实施例的目的在于提供一种图像校正方法及装置。
本发明实施例提供的一种图像校正方法，所述图像校正方法包括：
从多幅待校正图像中获取多个特征点对，每个特征点对为任意两幅待校正图像中的同一物体对应的特征点形成，所述多幅待校正图像由多个鱼眼相机分别拍摄得到；
对所述特征点对中的特征点进行校正得到校正特征点；
获取每个鱼眼相机在指定坐标系中的偏转角；
根据投影模型及特征点对应的鱼眼相机的偏转角将所述校正特征点投射至所述指定坐标系中的一球面上得到投射点；
获取包含有未知校正参数的所述特征点对对应的投射点的误差平方和表达式；
计算所述误差平方和表达式为最小值时所述未知校正参数的取值；以及
根据所述未知校正参数的取值调整每幅所述待校正图像的特征点在所述球面的位置。
本发明实施例还提供一种图像校正装置，所述图像校正装置包括：
第一获取模块，用于从多幅待校正图像中获取多个特征点对，所述特征点对为任意两幅待校正图像中的同一物体对应的点形成的点对，所述多幅待校正图像由多个鱼眼相机分别拍摄得到；
校正模块，用于对所述特征点对中的特征点进行校正得到校正特征点；
第二获取模块，用于获取每个鱼眼相机在指定坐标系中的偏转角；
投射模块，用于根据投影模型及特征点对应的鱼眼相机的偏转角将所述校正特征点投射至所述指定坐标系中的一球面上得到投射点；
第三获取模块，用于获取包含有未知校正参数的所述特征点对对应的投射点的误差平方和表达式；
计算模块，用于计算所述误差平方和表达式为最小值时所述未知校正参数的取值；以及
调整模块，用于根据所述未知校正参数的取值调整每幅所述待校正图像的特征点在所述球面的位置。
与现有技术相比，本发明实施例提供的图像校正方法及装置，通过根据鱼眼相机获取的图像计算得到校正参数，再根据计算得到的校正参数对鱼眼相机获取的图像进行校正，一方面可以提高图像校正的效率，另一方面比通过人工测量校正参数进行图像校正的精度更高。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明较佳实施例提供的图像处理设备的方框示意图。
图2为本发明较佳实施例提供的图像校正方法的流程图。
图3为本发明较佳实施例提供的图像校正方法中图像在指定坐标系中的投射示意图。
图4为本发明较佳实施例提供的图像校正方法的步骤S103的详细流程图。
图5为本发明较佳实施例提供的图像校正方法的步骤S104的详细流程图。
图6为本发明较佳实施例提供的图像校正装置的功能模块示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
如图1所示，是一图像处理设备100的方框示意图。所述图像处理设备100包括图像校正装置110、存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115、显示单元116。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对图像处理设备100的结构造成限定。例如，图像处理设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。本实施例所述的图像处理设备100可以是个人计算机、图像处理服务器、或者移动电子设备等具有图像处理能力的计算设备。
所述存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115及显示单元116各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述图像校正装置110包括至少一个可以软件或固件(Firmware)的形式存储于所述存储器111中或固化在所述图像处理设备100的操作系统(Operating System，OS)中的软件功能模块。所述处理器113用于执行存储器中存储的可执行模块，例如所述图像校正装置110包括的软件功能模块或计算机程序。
其中，所述存储器111可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器111用于存储程序，所述处理器113在接收到执行指令后，执行所述程序，本发明实施例任一实施例揭示的过程定义的图像处理设备100所执行的方法可以应用于处理器113中，或者由处理器113实现。
所述处理器113可能是一种集成电路芯片，具有信号的处理能力。上述的处理器113可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述外设接口114将各种输入/输入装置耦合至处理器113以及存储器111。在一些实施例中，外设接口114，处理器113以及存储控制器112可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。
所述输入输出单元115用于提供给用户输入数据。所述输入输出单元115可以是，但不限于，鼠标和键盘等。
所述显示单元116在所述图像处理设备100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示单元可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器进行计算和处理。
请参阅图2，是本发明较佳实施例提供的应用于图1所示的图像处理设备100的图像校正方法的流程图。下面将对图2所示的具体流程进行详细阐述。
步骤S101，从多幅待校正图像中获取多个特征点对。
本实施例中，每个所述特征点对为任意两幅待校正图像中的同一物体对应的特征点形成。
本实施例中，所述多幅待校正图像由多个鱼眼相机分别拍摄得到。
在一个实例中，所述多幅待校正图像可以是四个鱼眼相机拍摄的四个角度的图像。由于鱼眼相机的拍摄角度大于九十度，甚至可以达到一百八十度，因此相邻两个鱼眼相机拍摄的待校正图像可能有相同区域的画面。所述特征点对为相邻的鱼眼相机拍摄的待校正图像中对同一事物的点对。例如，待校正图像A和待校正图像B拍摄的画面中均有椅子C，其中椅子C的椅背中一点在待校正图像A中为点P1与在待校正图像B中为点P2，则所述点P1与点P2形成一对特征点对。
本实施例中，任意相邻两个鱼眼相机拍摄的待校正图像可以包括多个特征点对。所述特征点对的数量可以由任意相邻两个鱼眼相机拍摄的待校正图像的相同区域的画面的确定。例如，任意相邻两个鱼眼相机拍摄的待校正图像的相同区域的画面面积越大所述特征点对的数量越多。
在一种实施方式中，所述图像处理设备接收用户对所述多幅待校正图像进行标记，获取相邻两个鱼眼相机拍摄的待校正图像中用户标记的点中表示同一物体的点对以得到所述特征点对。在另一种实施方式中，所述图像处理设备对相邻两个鱼眼相机拍摄的待校正图像进行识别查找出待校正图像中同一物体对应的特征点以标记为特征点对。
步骤S102，对所述特征点对中的特征点进行校正得到校正特征点。
本实施例中，所述对所述特征点对中的特征点进行校正得到校正特征点通过以下公式实现：
公式一：
公式二：
其中，Pd表示所述特征点对中的特征点；Pu表示经过所述未知校正参数校正得到的校正特征点；k1、k2表示所述未知校正参数；rd表示所述Pd到原点的距离；ru表示所述Pu到原点的距离。
如图3所示，图中所示坐标系包括平面坐标系xoy及三维坐标系xoyz。假设特征点Pd在未知校正参数的校正作用下得到校正特征点Pu。
在一个实例中，所述多幅待校正图像包括四个方向的鱼眼相机拍摄的四幅待校正图像，每幅待校正图像对应一组未知校正参数。例如，四个方向的鱼眼相机分别是鱼眼相机A、鱼眼相机B、鱼眼相机C及鱼眼相机D，每个鱼眼相机拍摄的待校正图像对应一组未知校正参数，如分别为(kA1、kA2)、(kB1、kB2)、(kC1、kC2)及(kD1、kD2)。例如，鱼眼相机A拍摄的待校正图像则可以使用上述公式一和公式二及参数组(kA1、kA2)进行校正。
步骤S103，获取每个鱼眼相机在指定坐标系中的偏转角。
在一种实施方式中，所述图像处理设备接收用户输入的每个鱼眼相机的偏转角。
在另一种实施方式中，如图4所示，步骤S103可包括步骤S1031至步骤S1033。
步骤S1031，将所述特征点对中的特征点根据投影模型投射至指定坐标系中的一球面上以得到预估投射点。
本实施例中，可先将所述特征点对中的特征点根据投影模型投射至指定坐标系中的一球面上；然后根据每个鱼眼相机的未知偏转角使用旋转定理将投射在所述球面上的点进行旋转以得到所述预估投射点。本实施例中，每个特征点对应的所述预估投射点包含有所述未知偏转角。
步骤S1032，获取包含有未知偏转角的所述特征点对对应的预估投射点的误差平方和表达式。
本实施例中，先计算每对特征点对对应的预估投射点对之间的距离。在一个实例中，所有的所述预估投射点对之间的距离的平方的和可以为所述误差平方和表达式。本实施例中，由于每个特征点对应的所述预估投射点包含有所述未知偏转角，因此所述误差平方和表达式包含有每个鱼眼相机的未知偏转角。
步骤S1033，计算所述误差平方和表达式为最小值时所述未知偏转角的取值以得到所述鱼眼相机的偏转角。
在一个实例中，可以使用最优化算法计算得到所述误差平方和表达式为最小值。
在另一种实施方式中，所述鱼眼相机的偏转角可以由于人工测试得到，所述图像处理设备接收用户输入的偏转角。所述图像处理设备也可以预存有每个鱼眼相机的偏转角。
步骤S104，根据投影模型及特征点对应的鱼眼相机的偏转角将所述校正特征点投射至所述指定坐标系中的一球面上得到投射点。
本实施例中，如图5所示，步骤S104可包括步骤S1041至步骤S1042。
步骤S1041，将所述校正特征点根据投影模型投射至所述指定坐标系中的一球面上得到初步投射点。
本实施例中，所述投影模型可以是等距投影模型、等立体角投影模型、正交投影模型、体视投影模型等。本实施例中可以以等距投影模型进行描述。
在一个实例中，所述等距投影模型可以为：ru＝fθ。
其中，ru表示所述Pu(xu,yu)到原点的距离，也就是f表示对应的鱼眼相机的焦距；θ表示入射光线与鱼眼相机光轴之间的夹角，即入射角。
在一个实例中，请再次参阅图3，校正特征点Pu(xu,yu)投影到所述指定坐标系中的一球面上对应的初步投射点P'的坐标为：
步骤S1042，将所述初步投射点根据对应的鱼眼相机的偏转角进行旋转变换得到所述校正特征点对应的所述投射点。
本实施例中，当一鱼眼相机的位置为在所述指定坐标系中沿着x轴y轴z轴的偏转角均是0度时，步骤S1042则可以省略，此时所述初步投射点P'为所述校正特征点对应的投射点。
在一个实例中，可以假设一鱼眼相机在x轴y轴z轴三个方向的偏转角分别是φ及γ。
在一个实例中，所述初步投射点可以通过欧拉旋转公式进行旋转以得到所述投射点。
在一个实例中，所述初步投射点P'经过欧拉旋转变换得到投射点P”。
其中：
综上所述，可以得到通过已知参数入射光线与鱼眼相机光轴之间的夹角θ、鱼眼相机的焦距f及特征点Pd和未知参数k1及k2表示的投射点。
步骤S105，获取包含有未知校正参数的所述特征点对对应的投射点的误差平方和表达式。
在一个实例中，其中一对所述特征点对对应的投射点对为点Pi1[xi1 yi1 zi1]T和Pi2[xi2 yi2 zi2]T。这对特征点对应的投射点对对应的误差的表达式为：
进一步地，所述特征点对对应的投射点的误差平方和表达式为：其中，N表示本实施例中多幅待校正图像中包括的特征点对的数量。
在一个实例中，所述多幅待校正图像包括四个方向的鱼眼相机拍摄的四幅待校正图像，四个方向的鱼眼相机分别是鱼眼相机A、鱼眼相机B、鱼眼相机C及鱼眼相机D，每个鱼眼相机拍摄的待校正图像对应一组未知校正参数(kA1、kA2)、(kB1、kB2)、(kC1、kC2)及(kD1、kD2)。本实例中，所述e为包括八个未知数的函数，也就是e＝g(kA1,kA2,kB1,kB2,kC1,kC2,kD1,kD2)。
步骤S106，计算所述误差平方和表达式为最小值时所述未知校正参数的取值。
在一种实施方式中，利用最优化算法计算所述误差平方和表达式为最小值时所述未知校正参数的取值。
所述最优化算法可以包括梯度下降法、共轭梯度法、Gauss-Newton算法、Levenberg-Marquardt算法等。本发明实施例并不以计算所述误差平方和表达式为最小值所使用的最优化算法为限，本领域的技术人员可以根据需求选择合适的最优化算法。
本实施例中，利用最优化算法计算所述误差平方和表达式为最小值时所述未知校正参数的取值的迭代初始值可以设定为零；也可以由用户输入的预测值；还可以是预测在所述图像处理设备的一组数值。
步骤S107，根据所述未知校正参数的取值调整每幅所述待校正图像的特征点在所述球面的位置。
在一种实施方式中，每幅待校正图像上的点通过计算得到的校正参数通过上述公式二计算得到校正点，再将所述校正点投射至所述指定坐标系中的球面上以得到投射图像。
根据本发明实施例提供的图像校正方法，通过根据鱼眼相机获取的图像计算得到校正参数，再根据计算得到的校正参数对鱼眼相机获取的图像进行校正，一方面可以提高图像校正的效率，另一方面比通过人工测量校正参数进行图像校正的精度更高。
请参阅图6，是本发明较佳实施例提供的图1所示的图像校正装置110的功能模块示意图。本实施例中的所述图像校正装置110中的各个模块或单元用于执行上述方法实施例中的各个步骤。所述图像校正装置110包括第一获取模块1101、校正模块1102、第二获取模块1103、投射模块1104、第三获取模块1105、计算模块1106及调整模块1107。
所述第一获取模块1101，用于从多幅待校正图像中获取多个特征点对。
本实施中，所述特征点对为任意两幅待校正图像中的同一物体对应的特征点形成，所述多幅待校正图像由多个鱼眼相机分别拍摄得到。
所述校正模块1102，用于对所述特征点对中的特征点进行校正得到校正特征点。
所述第二获取模块1103，用于获取每个鱼眼相机在指定坐标系中的偏转角。
所述投射模块1104，用于根据投影模型及特征点对应的鱼眼相机的偏转角将所述校正特征点投射至所述指定坐标系中的一球面上得到投射点。
所述第三获取模块1105，用于获取包含有未知校正参数的所述特征点对对应的投射点的误差平方和表达式。
所述计算模块1106，用于计算所述误差平方和表达式为最小值时所述未知校正参数的取值。
所述调整模块1107，用于根据所述未知校正参数的取值调整每幅所述待校正图像的特征点在所述球面的位置。
本实施例中，所述计算模块1106还用于利用最优化算法计算所述误差平方和表达式为最小值时所述未知校正参数的取值。
本实施例中，所述变形模块1102通过以下公式实现：
其中，Pd表示所述特征点对中的特征点；Pu表示经过所述未知校正参数校正得到的校正特征点；k1、k2表示所述未知校正参数；rd表示所述Pd到原点的距离；ru表示所述Pu到原点的距离。
本实施例中，所述投射模块1104可以包括：第一投射单元及选择单元。
所述第一投射单元，用于将所述校正特征点根据投影模型投射至所述指定坐标系中的一球面上得到初步投射点。
所述选择单元，用于将所述初步投射点根据对应的鱼眼相机的偏转角进行旋转变换得到所述校正特征点对应的所述投射点。
本实施例中，所述第二获取模块1103可以包括：第二投射单元、获取单元及计算单元。
所述第二投射单元，用于将所述特征点对中的特征点根据投影模型投射至指定坐标系中的一球面上以得到预估投射点。
所述获取单元，用于获取包含有未知偏转角的所述特征点对对应的预估投射点的误差平方和表达式。
所述计算单元，用于计算所述误差平方和表达式为最小值时所述未知偏转角的取值以得到所述鱼眼相机的偏转角。
关于本实施例的其它细节可以进一步地参考上述方法实施例中的描述，在此不再赘述。
根据本发明实施例提供的图像校正装置，通过根据鱼眼相机获取的图像计算得到校正参数，再根据计算得到的校正参数对鱼眼相机获取的图像进行校正，一方面可以提高图像校正的效率，另一方面比通过人工测量校正参数进行图像校正的精度更高。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种图像校正方法，其特征在于，所述图像校正方法包括：
从多幅待校正图像中获取多个特征点对，每个特征点对为任意两幅待校正图像中的同一物体对应的特征点形成，所述多幅待校正图像由多个鱼眼相机分别拍摄得到；
对所述特征点对中的特征点进行校正得到校正特征点；
获取每个鱼眼相机在指定坐标系中的偏转角；
根据投影模型及特征点对应的鱼眼相机的偏转角将所述校正特征点投射至所述指定坐标系中的一球面上得到投射点；
获取包含有未知校正参数的所述特征点对对应的投射点的误差平方和表达式；
计算所述误差平方和表达式为最小值时所述未知校正参数的取值；以及
根据所述未知校正参数的取值调整每幅所述待校正图像的特征点在所述球面的位置。
2.如权利要求1所述的图像校正方法，其特征在于，所述计算所述误差平方和表达式为最小值时所述未知校正参数的取值的步骤包括：
利用最优化算法计算所述误差平方和表达式为最小值时所述未知校正参数的取值。
3.如权利要求1所述的图像校正方法，其特征在于，所述对所述特征点对中的特征点进行校正得到校正特征点通过以下公式实现：
<mrow>
<msub>
<mi>P</mi>
<mi>d</mi>
</msub>
<mo>=</mo>
<msub>
<mi>P</mi>
<mi>u</mi>
</msub>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>+</mo>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<msubsup>
<mi>r</mi>
<mi>u</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
<msubsup>
<mi>r</mi>
<mi>u</mi>
<mn>4</mn>
</msubsup>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
<mrow>
<msub>
<mi>P</mi>
<mi>u</mi>
</msub>
<mo>=</mo>
<msub>
<mi>P</mi>
<mi>d</mi>
</msub>
<mo>-</mo>
<msub>
<mi>P</mi>
<mi>d</mi>
</msub>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<msubsup>
<mi>r</mi>
<mi>d</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
<msubsup>
<mi>r</mi>
<mi>d</mi>
<mn>4</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>k</mi>
<mn>1</mn>
<mn>2</mn>
</msubsup>
<msubsup>
<mi>r</mi>
<mi>d</mi>
<mn>4</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>k</mi>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<msubsup>
<mi>r</mi>
<mi>d</mi>
<mn>8</mn>
</msubsup>
<mo>+</mo>
<mn>2</mn>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
<msubsup>
<mi>r</mi>
<mi>d</mi>
<mn>6</mn>
</msubsup>
</mrow>
<mrow>
<mn>1</mn>
<mo>+</mo>
<mn>4</mn>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<msubsup>
<mi>r</mi>
<mi>d</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mn>6</mn>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
<msubsup>
<mi>r</mi>
<mi>d</mi>
<mn>4</mn>
</msubsup>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
其中，Pd表示所述特征点对中的特征点；Pu表示经过校正得到的校正特征点；k1、k2表示所述未知校正参数；rd表示所述Pd到原点的距离；ru表示所述Pu到原点的距离。
4.如权利要求1所述的图像校正方法，其特征在于，所述根据投影模型及特征点对应的鱼眼相机的偏转角将所述校正特征点投射至所述指定坐标系中的一球面上得到投射点的步骤包括：
将所述校正特征点根据投影模型投射至所述指定坐标系中的一球面上得到初步投射点；
将所述初步投射点根据对应的鱼眼相机的偏转角进行旋转变换得到所述校正特征点对应的所述投射点。
5.如权利要求1所述的图像校正方法，其特征在于，所述获取每个鱼眼相机在指定坐标系中的偏转角的步骤包括：
将所述特征点对中的特征点根据投影模型投射至指定坐标系中的一球面上以得到预估投射点；
获取包含有未知偏转角的所述特征点对对应的预估投射点的误差平方和表达式；
计算所述误差平方和表达式为最小值时所述未知偏转角的取值以得到所述鱼眼相机的偏转角。
6.一种图像校正装置，其特征在于，所述图像校正装置包括：
第一获取模块，用于从多幅待校正图像中获取多个特征点对，每个特征点对为任意两幅待校正图像中的同一物体对应的特征点形成，所述多幅待校正图像由多个鱼眼相机分别拍摄得到；
校正模块，用于对所述特征点对中的特征点进行校正得到校正特征点；
第二获取模块，用于获取每个鱼眼相机在指定坐标系中的偏转角；
投射模块，用于根据投影模型及特征点对应的鱼眼相机的偏转角将所述校正特征点投射至所述指定坐标系中的一球面上得到投射点；
第三获取模块，用于获取包含有未知校正参数的所述特征点对对应的投射点的误差平方和表达式；
计算模块，用于计算所述误差平方和表达式为最小值时所述未知校正参数的取值；以及
调整模块，用于根据所述未知校正参数的取值调整每幅所述待校正图像的特征点在所述球面的位置。
7.如权利要求6所述的图像校正装置，其特征在于，所述计算模块还用于利用最优化算法计算所述误差平方和表达式为最小值时所述未知校正参数的取值。
8.如权利要求6所述的图像校正装置，其特征在于，所述变形模块通过以下公式实现：
<mrow>
<msub>
<mi>P</mi>
<mi>d</mi>
</msub>
<mo>=</mo>
<msub>
<mi>P</mi>
<mi>u</mi>
</msub>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>+</mo>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<msubsup>
<mi>r</mi>
<mi>u</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
<msubsup>
<mi>r</mi>
<mi>u</mi>
<mn>4</mn>
</msubsup>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
<mrow>
<msub>
<mi>P</mi>
<mi>u</mi>
</msub>
<mo>=</mo>
<msub>
<mi>P</mi>
<mi>d</mi>
</msub>
<mo>-</mo>
<msub>
<mi>P</mi>
<mi>d</mi>
</msub>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<msubsup>
<mi>r</mi>
<mi>d</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
<msubsup>
<mi>r</mi>
<mi>d</mi>
<mn>4</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>k</mi>
<mn>1</mn>
<mn>2</mn>
</msubsup>
<msubsup>
<mi>r</mi>
<mi>d</mi>
<mn>4</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>k</mi>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<msubsup>
<mi>r</mi>
<mi>d</mi>
<mn>8</mn>
</msubsup>
<mo>+</mo>
<mn>2</mn>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
<msubsup>
<mi>r</mi>
<mi>d</mi>
<mn>6</mn>
</msubsup>
</mrow>
<mrow>
<mn>1</mn>
<mo>+</mo>
<mn>4</mn>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<msubsup>
<mi>r</mi>
<mi>d</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mn>6</mn>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
<msubsup>
<mi>r</mi>
<mi>d</mi>
<mn>4</mn>
</msubsup>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
其中，Pd表示所述特征点对中的特征点；Pu表示经过校正得到的校正特征点；k1、k2表示所述未知校正参数；rd表示所述Pd到原点的距离；ru表示所述Pu到原点的距离。
9.如权利要求6所述的图像校正装置，其特征在于，所述投射模块包括：
第一投射单元，用于将所述校正特征点根据投影模型投射至所述指定坐标系中的一球面上得到初步投射点；
选择单元，用于将所述初步投射点根据对应的鱼眼相机的偏转角进行旋转变换得到所述校正特征点对应的所述投射点。
10.如权利要求6所述的图像校正装置，其特征在于，所述第二获取模块包括：
第二投射单元，用于将所述特征点对中的特征点根据投影模型投射至指定坐标系中的一球面上以得到预估投射点；
获取单元，用于获取包含有未知偏转角的所述特征点对对应的预估投射点的误差平方和表达式；
计算单元，用于计算所述误差平方和表达式为最小值时所述未知偏转角的取值以得到所述鱼眼相机的偏转角。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710789055.9A CN107507248A (zh) | 2017-09-05 | 2017-09-05 | 图像校正方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710789055.9A CN107507248A (zh) | 2017-09-05 | 2017-09-05 | 图像校正方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107507248A true CN107507248A (zh) | 2017-12-22 |
Family
ID=60694687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710789055.9A Pending CN107507248A (zh) | 2017-09-05 | 2017-09-05 | 图像校正方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107507248A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109215087A (zh) * | 2018-08-28 | 2019-01-15 | 维沃移动通信有限公司 | 一种双摄像头模组的标定方法、装置及终端 |
| CN110415196A (zh) * | 2019-08-07 | 2019-11-05 | 上海千杉网络技术发展有限公司 | 图像校正方法、装置、电子设备及可读存储介质 |
| CN112468737A (zh) * | 2020-11-25 | 2021-03-09 | 上海摩象网络科技有限公司 | 自动曝光区域曝光量权重矩阵处理方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6677982B1 (en) * | 2000-10-11 | 2004-01-13 | Eastman Kodak Company | Method for three dimensional spatial panorama formation |
| CN104392435A (zh) * | 2014-11-10 | 2015-03-04 | 中科院微电子研究所昆山分所 | 鱼眼相机标定方法及标定装置 |
| CN106651767A (zh) * | 2016-12-30 | 2017-05-10 | 北京星辰美豆文化传播有限公司 | 一种获取全景图像的方法及装置 |
-
2017
- 2017-09-05 CN CN201710789055.9A patent/CN107507248A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6677982B1 (en) * | 2000-10-11 | 2004-01-13 | Eastman Kodak Company | Method for three dimensional spatial panorama formation |
| CN104392435A (zh) * | 2014-11-10 | 2015-03-04 | 中科院微电子研究所昆山分所 | 鱼眼相机标定方法及标定装置 |
| CN106651767A (zh) * | 2016-12-30 | 2017-05-10 | 北京星辰美豆文化传播有限公司 | 一种获取全景图像的方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 刘祥峰: "《基于鱼眼相机的全景环视系统关键技术研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109215087A (zh) * | 2018-08-28 | 2019-01-15 | 维沃移动通信有限公司 | 一种双摄像头模组的标定方法、装置及终端 |
| CN109215087B (zh) * | 2018-08-28 | 2021-04-27 | 维沃移动通信有限公司 | 一种双摄像头模组的标定方法、装置及终端 |
| CN110415196A (zh) * | 2019-08-07 | 2019-11-05 | 上海千杉网络技术发展有限公司 | 图像校正方法、装置、电子设备及可读存储介质 |
| CN110415196B (zh) * | 2019-08-07 | 2023-12-29 | 上海视云网络科技有限公司 | 图像校正方法、装置、电子设备及可读存储介质 |
| CN112468737A (zh) * | 2020-11-25 | 2021-03-09 | 上海摩象网络科技有限公司 | 自动曝光区域曝光量权重矩阵处理方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108921806B (zh) | 一种图像处理方法、图像处理装置及终端设备 | |
| Agapito et al. | Self-calibration of rotating and zooming cameras | |
| CN105453131B (zh) | 图像的自动调整 | |
| CN107665479A (zh) | 一种特征提取方法、全景拼接方法及其装置、设备及计算机可读存储介质 | |
| CN107316020A (zh) | 人脸替换方法、装置及电子设备 | |
| JP2019079553A (ja) | ビジョンシステムでラインを検出するためのシステム及び方法 | |
| CN109313814A (zh) | 照相机校准系统 | |
| CN107507248A (zh) | 图像校正方法及装置 | |
| CN107911680A (zh) | 投影设备校正方法、装置及投影设备 | |
| CN109211264A (zh) | 测量系统的标定方法、装置、电子设备及可读存储介质 | |
| CN106570907B (zh) | 一种相机标定方法及装置 | |
| CN110675456B (zh) | 多深度摄像机外部参数标定方法、装置及存储介质 | |
| CN106131408A (zh) | 一种图像处理方法及终端 | |
| CN107871329A (zh) | 一种相机光学中心的快速标定方法及装置 | |
| CN109165657A (zh) | 一种基于改进sift的图像特征检测方法及装置 | |
| CN110310272A (zh) | 图像配准方法及终端设备 | |
| CN110348936A (zh) | 一种眼镜推荐方法、装置、系统及存储介质 | |
| CN106954054A (zh) | 一种图像矫正方法、装置及投影仪 | |
| CN105933593B (zh) | 聚焦位置检测装置和聚焦位置检测方法 | |
| Yang et al. | Eccentricity error compensation for geometric camera calibration based on circular features | |
| CN104458505A (zh) | 一种液滴静态接触角的测定方法 | |
| CN110415196A (zh) | 图像校正方法、装置、电子设备及可读存储介质 | |
| CN105427282A (zh) | 一种3d定位精度的测试方法和装置 | |
| CN102339169A (zh) | 一种大尺寸多点触摸系统的标定方法 | |
| CN105078404B (zh) | 基于激光算法的全自动眼动追踪测距定标仪及其使用方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171222 |
|
| RJ01 | Rejection of invention patent application after publication |