CN113329164B - 一种镜头校正方法、装置、拍摄终端及存储介质 - Google Patents
一种镜头校正方法、装置、拍摄终端及存储介质 Download PDFInfo
- Publication number
- CN113329164B CN113329164B CN202010127181.XA CN202010127181A CN113329164B CN 113329164 B CN113329164 B CN 113329164B CN 202010127181 A CN202010127181 A CN 202010127181A CN 113329164 B CN113329164 B CN 113329164B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- lens
- mapping
- distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种镜头校正方法，包括：结合运动传感器信息计算图像帧各行对应的单应矩阵以建立防抖校正处理后的目标图与输入原图的第一转换关系；通过第一转换关系建立目标图像素与第一图像素之间的映射变换；目标图为防抖校正处理后的图像；第一图包含抖动和畸变；根据预设的镜头畸变校正模型，建立畸变校正处理后的目标图与输入原图的第二转换关系；通过第二转换关系建立所述第一图像素与第二图像素之间的映射变换，第二图仅包含抖动；利用第一转换关系和第二转换关系，建立目标图像素与第二图像素的映射变换，基于目标图像素与第二图像素的映射变换，完成图像扭曲变形处理以实现镜头校正。该方法用于解决现有镜头视频拍摄效果不佳的问题。
Description
技术领域
本发明涉及视频图像处理技术领域，尤其涉及一种镜头校正方法、装置、拍摄终端及存储介质。
背景技术
在视频应用中，广角镜头能给用户带来更好的体验，因此在用户使用场景中占据重要地位；广角镜头的畸变较为明显，同时面临边缘畸变和中心畸变问题，因此广角镜头的畸变是否得到校正，是影响用户体验的重要因素。
发明内容
有鉴于此，本发明提供一种镜头校正方法、装置、拍摄终端及存储介质用于解决的现有广角镜头视频拍摄效果不佳的问题。
为达到上述目的，本发明采用如下技术方案：
本发明实施例提供了一种镜头校正方法，包括：
结合运动传感器信息计算图像帧各行对应的单应矩阵以建立防抖校正处理后的目标图与输入原图的第一转换关系；
通过所述第一转换关系建立目标图像素与第一图像素之间的映射变换；所述目标图为防抖校正处理后的图像；所述第一图包含抖动和畸变；
根据预设的镜头畸变校正模型，建立畸变校正处理后的目标图与输入原图的第二转换关系；
通过所述第二转换关系建立所述第一图像素与第二图像素之间的映射变换，所述第二图仅包含抖动；
利用所述第一转换关系和所述第二转换关系，建立所述目标图像素与所述第二图像素的映射变换，基于所述目标图像素与所述第二图像素的映射变换，完成图像扭曲变形处理以实现镜头校正。
本发明实施例提供了一种镜头校正方法，包括：
根据预设的镜头畸变校正模型，建立输入原图与畸变校正处理后的目标图像素的第二转换关系；
通过所述第二转换关系建立目标图像素与第一图像素之间的映射变换；所述目标图为畸变处理后的图像；所述第一图包含抖动和畸变；
结合运动传感器信息计算图像帧各行对应的单应矩阵以建立防抖校正处理后的目标图与输入原图的第一转换关系；
通过所述第一转换关系建立所述第一图像素与第二图像素之间的映射变换；所述第二图仅包含畸变；
利用所述第一转换关系和所述第二转换关系，建立所述目标图像素与所述第二图像素的映射变换，基于所述目标图像素与所述第二图像素的映射变换，完成图像扭曲变形处理以实现镜头校正。
进一步地，所述结合运动传感器信息计算图像帧各行对应的单应矩阵以建立防抖校正处理后的目标图与输入原图的第一转换关系，包括：
缓存多组图像帧数据及对应时间段内的运动传感器数据；
通过补偿图像帧数据与运动传感器数据的时钟差，将运动传感器数据与图像帧数据时间戳对齐；
通过插值计算图像中心对应的旋转矢量；
将旋转矢量序列进行运动轨迹平滑处理，得到平滑的旋转矢量序列，运动轨迹平滑模块包括但不限于神经网络模型、比例积分微分调节器、高斯滤波器；
计算旋转矩阵并结合相机内参矩阵得到单应矩阵；
将输出图坐标依次乘以单应矩阵得到输入图对应坐标点建立第一转换关系。
进一步地，所述根据预设的镜头畸变校正模型，建立输入原图与畸变校正处理后的目标图像素的第二转换关系，包括：
获取当前镜头编号和存放畸变校正参数的寄存器地址；
从寄存器地址中读取预先存放的畸变校正模型参数；
根据所述畸变校正模型参数计算出第二转换关系。
进一步地，所述镜头校正方法还包括：
将目标图划分成多个网格点；其中每个网格点之间的像素点由网格点坐标计算得到。
进一步地，所述映射变换包括：点与点的坐标位置映射；
像素值与像素值的变换关系。
本发明实施例提供了一种镜头校正装置，包括：
第一转换确定模块，用于结合运动传感器信息计算图像帧各行对应的单应矩阵以建立防抖校正处理后的目标图与输入原图的第一转换关系；
第一映射变换模块，用于通过所述第一转换关系建立目标图像素与第一图像素之间的映射变换；所述目标图为防抖处理后的图像；所述第一图包含抖动和畸变；
第二转换确定模块，用于根据预设的镜头畸变校正模型，建立输入原图与畸变校正处理后的目标图像素的第二转换关系；
第二映射变换模块，用于通过所述第二转换关系建立所述第一图像素与第二图像素之间的映射变换，所述第二图仅包含抖动；及
镜头校正模块，用于利用所述第一转换关系和所述第二转换关系，建立所述目标图像素与所述第二图像素的映射变换，基于所述目标图像素与所述第二图像素的映射变换，完成图像扭曲变形处理以实现镜头校正。
本发明实施例提供了一种镜头校正装置，包括：
第二转换确定模块，用于根据预设的镜头畸变校正模型，建立输入原图与畸变校正处理后的目标图像素的第二转换关系；
第一映射变换模块，用于通过所述第二转换关系建立目标图像素与第一图像素之间的映射变换；所述目标图为畸变处理后的图像；所述第一图包含抖动和畸变；
第一转换确定模块，用于结合运动传感器信息计算图像帧各行对应的单应矩阵以建立防抖校正处理后的目标图与输入原图的第一转换关系；
第二映射变换模块，用于通过所述第一转换关系建立所述第一图像素与第二图像素之间的映射变换；所述第二图仅包含畸变；
镜头校正模块，用于利用所述第一转换关系和所述第二转换关系，建立所述目标图像素与所述第二图像素的映射变换，基于所述目标图像素与所述第二图像素的映射变换，完成图像扭曲变形处理以实现镜头校正。
进一步地，所述第一转换确定模块具体用于：
缓存多组图像帧数据及对应时间段内的运动传感器数据；
通过补偿图像帧数据与运动传感器数据的时钟差，将运动传感器数据与图像帧数据时间戳对齐；
通过插值计算图像中心对应的旋转矢量；
将旋转矢量序列进行运动轨迹平滑处理，得到平滑的旋转矢量序列，运动轨迹平滑模块包括但不限于神经网络模型、比例积分微分调节器、高斯滤波器；
计算旋转矩阵并结合相机内参矩阵得到单应矩阵；
将输出图坐标依次乘以单应矩阵得到输入图对应坐标点建立第一转换关系。
进一步地，所述第二转换确定模块具体用于：
获取当前镜头编号和存放畸变校正参数的寄存器地址；
从寄存器地址中读取预先存放的畸变校正模型参数；
根据所述畸变校正模型参数计算出第二转换关系。
进一步地，还包括：网格点划分模块，用于将目标图划分成多个网格点；其中每个网格点之间的像素点由网格点坐标计算得到。
进一步地，所述第一映射变换模块和所述第二映射变换模块的映射变换包括：
点与点的坐标位置映射；
像素值与像素值的变换关系。
本发明实施例提供了一种拍摄终端，包括：处理器、存储器、总线以及输入输出接口；所述存储器中存储有程序代码；所述处理器调用所述存储器中的程序代码时执行如以上所述的方法。
本发明实施例提供了一种存储介质，包括指令，当所述指令在计算机上运行时，使得所述计算机执行如以上所述的方法。
与现有技术相比，本发明具有如下有益效果：本专利在视频防抖中完成广镜头的畸变校正，减少因镜头畸变造成的视频图像扭曲，与分别进行畸变校正、EIS算法rollingshutter校正相比，只使用一次warp和crop操作，降低运算量，同时广角镜头可以获取高质量的视频拍摄效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种镜头校正方法的流程图；
图2为本发明实施例提供的转化映射的示意图；
图3为本发明实施例提供的建立第一转换关系的流程图；
图4为本发明实施例提供的建立第二转换关系的流程图；
图5为本发明实施例提供的镜头校正方法的效果示意图；
图6为本发明另一实施例提供的镜头校正方法的流程图；
图7为本发明另一实施例提供的转化映射的示意图；
图8为本发明实施例提供的一种镜头校正装置的模块示意图；
图9为本发明实施例提供的镜头校正装置的结构示意图；
图10为本发明实施例提供的拍摄终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种镜头校正方法，包括：
S101、结合运动传感器信息计算图像帧各行对应的单应矩阵以建立防抖校正处理后的目标图与输入原图的第一转换关系。
输入原图包含抖动和畸变。
结合陀螺仪或加速度等运动传感器信息计算图像帧各行对应的单应矩阵H以建立输出图与输入图像素坐标的第一转换关系T1。确定第一转换关系T1用于完成防抖校正。防抖校正包括卷帘门效应(Rolling Shutter)校正。
卷帘门效应(Rolling Shutter)又称果冻效应。这种效应的形成是CMOS传感器特性决定的，由于CMOS传感器的相机多数使用卷帘快门，它是通过逐行曝光的方式实现成像的，图像传感器逐行扫描逐行进行曝光，直至所有像素点都被曝光。
如图3所示,结合运动传感器信息计算图像帧各行对应的单应矩阵以建立防抖校正处理后的目标图与输入原图的第一转换关系具体包括：
S1011、缓存多组图像帧数据及对应时间段内的运动传感器数据。
运动传感器包括陀螺仪和加速度传感器等。运动传感器优选陀螺仪。目前的大多数终端设备都配置有陀螺仪传感器。通过陀螺仪获取陀螺仪数据(gyro data)。获取缓存数据时需要进行一定的延时处理。将N组图像帧frame数据和陀螺仪gyro数据进行缓存时，延时帧delay的帧数可以设置为(N-1)/2。
S1012、通过补偿图像帧数据与运动传感器数据的时钟差，将运动传感器数据与图像帧数据时间戳对齐。
补偿不同源时钟差异，使运动传感器数据例如gyro数据与图像帧frame数据对齐。
S1013、通过插值计算图像中心对应的旋转矢量。
将每个图像帧frame分成多个均匀块，并通过插值计算每个块中心的旋转矢量完成gyro data积分并插值。
S1014、将旋转矢量序列进行运动轨迹平滑处理，得到平滑的旋转矢量序列，运动轨迹平滑模块包括但不限于神经网络模型、比例积分微分调节器、高斯滤波器。
将旋转矢量序列依次送入预设神经网络模型、递归滤波器(IIR)进行比例积分微分(PID)调节得到各像素对应的光滑的旋转矢量Rot。
S1015、计算旋转矩阵并结合相机内参矩阵得到单应矩阵。
计算旋转矩R并结合相机内参矩阵K得到单应矩阵H。相机内参是：1/dx、1/dy、r、u0、v0、f。opencv中的内参是4个，分别为fx、fy、u0、v0。其实opencv中的fx也就是F*Sx，其中F是焦距上面的f，Sx是像素/每毫米也就是上面的1/dx。dx和dy表示x方向和y方向的一个像素分别占多少个单位，是反映现实中的图像物理坐标关系与像素坐标系转换的关键，反映像元密度。u0，v0代表图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数。
S1016、将输出图坐标依次乘以单应矩阵得到输入图对应坐标点建立第一转换关系。
将输出图坐标依次乘以单应矩阵H得到输入图对应坐标点建立建立第一转换关系T1。
S102、通过所述第一转换关系建立目标图像素与第一图像素之间的映射变换；所述目标图为防抖处理后的图像；所述第一图包含抖动和畸变。
映射变换包括：点与点的坐标位置映射；像素值与像素值的变换关系。
通过第一转换关系T1将输入的目标图网格点坐标P索引至第一图像素坐标P’以完成卷帘门防抖校正。
根据运动传感器例如陀螺仪求出图像各部分的旋转矩阵R，再结合相机内参K，算出对应的单应矩阵H，找到卷帘门防抖校正后的图与输入原图(含抖动畸变)之间的坐标转换关系T1，如图2所示，P可以通过第一转换关系T1索引到P’；完成Rolling Shutter校正。
S103、根据预设的镜头畸变校正模型，建立输入原图与畸变校正处理后的目标图像素的第二转换关系。
点P’含有镜头畸变，需要通过预先校准的畸变校正模型，生成原图与目标图之间的第二转换关系T2。
如图4所示,根据预设的镜头畸变校正模型，建立输入原图与畸变校正处理后的目标图像素的第二转换关系具体包括：
S1031、获取当前镜头编号和存放畸变校正参数的寄存器地址。
获取当前镜头编号Camera ID和畸变校正参数otp(one time programming)地址。
sensor OTP是用来保证每sensor一致性的一些校准数据。一批sensor模组在生产时由于外部因素的影响，每个sensor的性能都是有差别的。OTP就是用来校准这些差异的。OTP一般存在两个地方：在sensor本身的芯片中或者外挂的EEPROM中。OTP数据内容一般包括：sensor info(传感器信息),AWB(Automatic white balance，自动白平衡),AF(Automatic focus,自动对焦),PDAF(Phase Detection Auto Focus，相位检测自动对焦)。
S1032、从寄存器地址中读取预先存放的畸变校正模型参数。
畸变校正模型采用相机畸变改正Brown模型，畸变校正模型参数包括三个径向畸变系数k1、k2、k3以及两个切向畸变系数p1、p2。
S1033、根据所述畸变校正模型参数计算出第二转换关系。
S104、通过所述第二转换关系建立所述第一图像素与第二图像素之间的映射变换，所述第二图仅包含抖动。
映射变换包括：点与点的坐标位置映射；像素值与像素值的变换关系。
如图2所示，通过第二转换关系T2将所述第二图像素坐标索P’引至第二图像素坐标P”。
S105、利用所述第一转换关系和所述第二转换关系，建立所述目标图网格点与所述第二图像素的映射变换，基于所述目标图像素与所述第二图像素的映射变换，完成图像扭曲变形处理以实现镜头校正。
对于第一图像素坐标P’点来说，需去除镜头带来的畸变，根据畸变校正表即第二转换关系T2进行索引，索引到第二图像素坐标P”，即为目标图像素P对应的坐标；将坐标偏移量(Px-Px”，Py-Py”)送入warp模块，网格点之间的像素进行插值运算。插值运算选用双线性插值算法。
点P’含有镜头畸变，通过预先校准的畸变模型，生成原图与目标图之间的第二转换关系T2，通过T2，将点P’映射至点P”通过插值运算以便完成镜头畸变校正。
在建立所述第一转换关系之前还包括：
S100、将目标图划分成多个网格点；其中每个网格点之间的像素点由网格点坐标计算得到。
将目标图划分成n×m网格点，网格点为关键点，每个网格点之间的像素点由网格点坐标计算得到；对于任一网格点P，通过rolling shutter校正得到P’，即网格点P经过EIS的rs校正，索引到点P’；对于P’点来说，需去除镜头带来的畸变，根据畸变校正表T2进行索引，索引到P”坐标，即为目标图网格点P对应的坐标；将坐标偏移量(Px-Px”，Py-Py”)送入图像信号处理ISP单元的warp(扭曲变形)模块，网格点之间的像素进行双线性插值。
如图5所示，输入原始图像a经过rolling shutter补偿后得到图像b，图像b经过畸变补偿后得到图像c。图像c满足抖动和畸变满足用户的需求。
由于视频防抖算法对原图也进行warp操作和裁切，考虑到尺寸裁切、像素错位、计算量等因素，同时使能镜头畸变校正和视频防抖，如果将视频防抖算法和镜头畸变校正算法进行串行处理，无论何种前后顺序，都会由于前序算法对尺寸进行裁切而影响后序算法，本发明实现了在视频防抖算法中同时完成镜头的畸变校正。对于视频防抖算法的输入图，其图像相当于原物体成像后，经过镜头畸变、运动扭曲(rolling shutter导致)两次形变得到的。本发明技术方案将畸变校正的像素变化关系融入EIS视频防抖算法，同时对输入图进行rolling shutter补偿、畸变补偿，做一次warp和crop操作，降低运算量，获得没有畸变的图像。
本发明提供的方法还可以交换防抖和畸变校正的顺序进行调整。如图6所示，本发明实施例还提供了一种镜头校正方法，包括：
S201、根据预设的镜头畸变校正模型，建立输入原图与畸变校正处理后的目标图像素的第二转换关系。
S202、通过所述第二转换关系建立目标图像素与第一图像素之间的映射变换；所述目标图为畸变处理后的图像；所述第一图包含抖动和畸变。
如图7所示，通过第二转换关系T2将输入的目标图网格点坐标P索引至第一图像素坐标P’以完成镜头畸变校正。
S203、结合运动传感器信息计算图像帧各行对应的单应矩阵以建立防抖校正处理后的目标图与输入原图的第一转换关系。
S204、通过所述第一转换关系建立所述第一图像素与第二图像素之间的映射变换；所述第二图仅包含畸变。
如图7所示，通过第一转换关系T1将所述第二图像素坐标索P’引至第二图像素坐标P”。
S205、利用所述第一转换关系和所述第二转换关系，建立所述目标图像素与所述第二图像素的映射变换，基于所述目标图像素与所述第二图像素的映射变换，完成图像扭曲变形处理以实现镜头校正。
在建立所述第二转换关系之前还包括：
S200、将目标图划分成多个网格点；其中每个网格点之间的像素点由网格点坐标计算得到。
如图8所示，本发明实施例还提供了一种镜头校正装置，包括：
第一转换确定模块，用于结合运动传感器信息计算图像帧各行对应的单应矩阵以建立防抖校正处理后的目标图与输入原图的第一转换关系。
结合陀螺仪或加速度等运动传感器信息计算图像帧各行对应的单应矩阵H以建立输出图与输入图像素坐标的第一转换关系T1。确定第一转换关系T1用于完成防抖校正。防抖校正包括卷帘门效应(Rolling Shutter)校正。
第一转换确定模块具体包用于：
(a)缓存多组图像帧数据及对应时间段内的运动传感器数据。
运动传感器包括陀螺仪和加速度传感器等。运动传感器优选陀螺仪。目前的大多数终端设备都配置有陀螺仪传感器。通过陀螺仪获取陀螺仪数据(gyro data)。获取缓存数据时需要进行一定的延时处理。将N组图像帧frame数据和陀螺仪gyro数据进行缓存时，延时帧delay的帧数可以设置为(N-1)/2。
(b)通过补偿图像帧数据与运动传感器数据的时钟差，将运动传感器数据与图像帧数据时间戳对齐。
补偿不同源时钟差异，使运动传感器数据例如gyro数据与图像帧frame数据对齐。
(c)通过插值计算图像中心对应的旋转矢量。
将每个图像帧frame分成多个均匀块，并通过插值计算每个块中心的旋转矢量完成gyro data积分并插值。
(d)将旋转矢量序列依次送入预设神经网络模型、递归滤波器进行比例积分微分调节得到光滑的旋转矢量。
将旋转矢量序列依次送入预设神经网络模型、递归滤波器(IIR)进行比例积分微分(PID)调节得到各像素对应的光滑的旋转矢量Rot。
(e)计算旋转矩阵并结合相机内参矩阵得到单应矩阵。
计算旋转矩R并结合相机内参矩阵K得到单应矩阵H。相机内参是：1/dx、1/dy、r、u0、v0、f。opencv中的内参是4个，分别为fx、fy、u0、v0。其实opencv中的fx也就是F*Sx，其中F是焦距上面的f，Sx是像素/每毫米也就是上面的1/dx。dx和dy表示x方向和y方向的一个像素分别占多少个单位，是反映现实中的图像物理坐标关系与像素坐标系转换的关键，反映像元密度。u0，v0代表图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数。
(f)将输出图坐标依次乘以单应矩阵得到输入图对应坐标点建立第一转换关系。
将输出图坐标依次乘以单应矩阵H得到输入图对应坐标点建立建立第一转换关系T1。
第一映射变换模块，用于通过所述第一转换关系建立目标图像素与第一图像素之间的映射变换；所述目标图为防抖处理后的图像；所述第一图包含抖动和畸变。
通过第一转换关系T1将输入的目标图网格点坐标P索引至第一图像素坐标P’以完成卷帘门防抖校正。
根据运动传感器例如陀螺仪求出图像各部分的旋转矩阵R，再结合相机内参K，算出对应的单应矩阵H，找到卷帘门防抖校正后的图与输入原图(含抖动畸变)之间的坐标转换关系T1，如图2所示，P可以通过第一转换关系T1索引到P’；完成Rolling Shutter校正。
第二转换确定模块，用于根据预设的镜头畸变校正模型，建立输入原图与畸变校正处理后的目标图像素的第二转换关系。
第二转换确定模块，具体用于：
(a)获取当前镜头编号和存放畸变校正参数的寄存器地址。
获取当前镜头编号Camera ID和畸变校正参数otp(one time programming)地址。
sensor OTP是用来保证每sensor一致性的一些校准数据。一批sensor模组在生产时由于外部因素的影响，每个sensor的性能都是有差别的。OTP就是用来校准这些差异的。OTP一般存在两个地方：在sensor本身的芯片中或者外挂的EEPROM中。OTP数据内容一般包括：sensor info(传感器信息),AWB(Automatic white balance，自动白平衡),AF(Automatic focus,自动对焦),PDAF(Phase Detection Auto Focus，相位检测自动对焦)。
(b)从寄存器地址中读取预先存放的畸变校正模型参数。
畸变校正模型采用相机畸变改正Brown模型，畸变校正模型参数包括三个径向畸变系数k1、k2、k3以及两个切向畸变系数p1、p2。
(c)根据所述畸变校正模型参数计算出第二转换关系。
第二映射变换模块，用于通过所述第二转换关系建立所述第一图像素与第二图像素之间的映射变换，所述第二图仅包含抖动。
镜头校正模块，用于利用所述第一转换关系和所述第二转换关系，建立所述目标图像素与所述第二图像素的映射变换，基于所述目标图像素与所述第二图像素的映射变换，完成图像扭曲变形处理以实现镜头校正。
对于第一图像素坐标P’点来说，需去除镜头带来的畸变，根据畸变校正表即第二转换关系T2进行索引，索引到第二图像素坐标P”，即为目标图网格点P对应的坐标；将坐标偏移量(Px-Px”，Py-Py”)送入warp模块，网格点之间的像素进行插值运算。插值运算选用双线性插值算法。
点P’含有镜头畸变，通过预先校准的畸变模型，生成原图与目标图之间的第二转换关系T2，通过T2，将点P’映射至点P”通过插值运算以便完成镜头畸变校正。
如图9所示，本发明镜头校正装置的结构示意图，包括存储器21和与存储器21连接的处理器22，其中，存储器21中存储一组程序代码，存储器21可以包括非易失性存储器(Non-volatile Memory)。处理器22可以是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路ASIC(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。处理器22用于调用存储器21中存储的程序代码，用于执行如下操作：
结合运动传感器信息计算图像帧各行对应的单应矩阵以建立防抖校正处理后的目标图与输入原图的第一转换关系；
通过所述第一转换关系建立目标图像素与第一图像素之间的映射变换；所述目标图为防抖处理后的图像；所述第一图包含抖动和畸变；
根据预设的镜头畸变校正模型，建立输入原图与畸变校正处理后的目标图像素的第二转换关系；
通过所述第二转换关系建立所述第一图像素与第二图像素之间的映射变换，所述第二图仅包含抖动；
利用所述第一转换关系和所述第二转换关系，建立所述目标图像素与所述第二图像素的映射变换，基于所述目标图像素与所述第二图像素的映射变换，完成图像扭曲变形处理以实现镜头校正。
或者根据预设的镜头畸变校正模型，建立输入原图与畸变校正处理后的目标图像素的第二转换关系；
通过所述第二转换关系建立目标图像素与第一图像素之间的映射变换；所述目标图为畸变处理后的图像；所述第一图包含抖动和畸变；
结合运动传感器信息计算图像帧各行对应的单应矩阵以建立防抖校正处理后的目标图与输入原图的第一转换关系；
通过所述第一转换关系建立所述第一图像素与第二图像素之间的映射变换；所述第二图仅包含畸变；
利用所述第一转换关系和所述第二转换关系，建立所述目标图像素与所述第二图像素的映射变换，基于所述目标图像素与所述第二图像素的映射变换，完成图像扭曲变形处理以实现镜头校正。
进一步地，所述“结合运动传感器信息计算图像帧各行对应的单应矩阵以建立防抖校正处理后的目标图与输入原图的第一转换关系”具体包括：
缓存多组图像帧数据及对应时间段内的运动传感器数据；
将运动传感器与图像帧数据时间戳对齐；
将每个图像帧分成多个均匀块，并通过插值计算每个块中心的旋转矢量；
将旋转矢量序列依次送入预设神经网络模型、递归滤波器进行比例积分微分调节得到光滑的旋转矢量；
计算旋转矩阵并结合相机内参矩阵得到单应矩阵；
将输出图坐标依次乘以单应矩阵得到输入图对应坐标点建立第一转换关系。
进一步地，所述“根据预设的镜头畸变校正模型，建立输入原图与畸变校正处理后的目标图像素的第二转换关系”具体包括：
获取当前镜头编号和存放畸变校正参数的寄存器地址；
从寄存器地址中读取预先存放的畸变校正模型参数；
根据所述畸变校正模型参数计算出第二转换关系。
进一步地，还包括：
将目标图划分成多个网格点；其中每个网格点之间的像素点由网格点坐标计算得到。
进一步地，所述映射变换包括：
点与点的坐标位置映射；
像素值与像素值的变换关系。
需要说明的是，处理器22通过调用存储器21中存储的程序代码具体实现的技术方案可以参见本发明图1、图2、图3以及图4所示的镜头校正方法实施例，其实现原理和技术效果类似，详细可以参见上述实施例中的相关记载，在此不再赘述。
图10为本发明拍摄终端实施例一的结构示意图，如图10所示，本实施例的拍摄终端30可以包括镜头校正装置31，其中，镜头校正装置31可以采用图8中实施例的结构，其对应地，可以执行图1～图4所示的任一实施例的技术方案，其实现原理和技术效果类似，详细可以参见上述实施例中的相关记载，此处不再赘述，
其中，拍摄终端30可以为手机或者平板电脑，也可以为笔记本电脑或者多功能播放器等具有拍摄镜头的设备。
本发明实施例提供了一种存储介质，包括指令，当所述指令在计算机上运行时，使得所述计算机执行如以上所述的镜头校正方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (14)
1.一种镜头校正方法，其特征在于，包括：
结合运动传感器信息计算图像帧各行对应的单应矩阵以建立防抖校正处理后的目标图与输入原图的第一转换关系；
通过所述第一转换关系建立目标图像素与第一图像素之间的映射变换；所述目标图为防抖校正处理后的图像；所述第一图包含抖动和畸变；
根据预设的镜头畸变校正模型，建立输入原图与畸变校正处理后的目标图像素的第二转换关系；
通过所述第二转换关系建立所述第一图像素与第二图像素之间的映射变换，所述第二图仅包含抖动；
利用所述第一转换关系和所述第二转换关系，建立所述目标图像素与所述第二图像素的映射变换，基于所述目标图像素与所述第二图像素的映射变换，完成图像扭曲变形处理以实现镜头校正；
所述结合运动传感器信息计算图像帧各行对应的单应矩阵以建立防抖校正处理后的目标图与输入原图的第一转换关系，包括：
缓存多组图像帧数据及对应时间段内的运动传感器数据；
通过补偿图像帧数据与运动传感器数据的时钟差，将运动传感器数据与图像帧数据时间戳对齐；
通过插值计算图像中心对应的旋转矢量；
将旋转矢量序列进行运动轨迹平滑处理，得到平滑的旋转矢量序列；
计算旋转矩阵并结合相机内参矩阵得到单应矩阵；
将输出图坐标依次乘以单应矩阵得到输入图对应坐标点建立第一转换关系；
所述根据预设的镜头畸变校正模型，建立输入原图与畸变校正处理后的目标图像素的第二转换关系，包括：
获取当前镜头编号和存放畸变校正参数的寄存器地址；
从寄存器地址中读取预先存放的畸变校正模型参数；及
根据所述畸变校正模型参数计算出第二转换关系。
2.根据权利要求1所述的镜头校正方法，其特征在于，还包括：
将目标图划分成多个网格点，其中每个网格点之间的像素点由网格点坐标计算得到。
3.根据权利要求1所述的镜头校正方法，其特征在于，所述映射变换包括：
点与点的坐标位置映射；
像素值与像素值的变换关系。
4.一种镜头校正方法，其特征在于，包括：
根据预设的镜头畸变校正模型，建立输入原图与畸变校正处理后的目标图像素的第二转换关系；
通过所述第二转换关系建立目标图像素与第一图像素之间的映射变换；所述目标图为畸变处理后的图像；所述第一图包含抖动和畸变；
结合运动传感器信息计算图像帧各行对应的单应矩阵以建立防抖校正处理后的目标图与输入原图的第一转换关系；
通过所述第一转换关系建立所述第一图像素与第二图像素之间的映射变换；所述第二图仅包含畸变；
利用所述第一转换关系和所述第二转换关系，建立所述目标图像素与所述第二图像素的映射变换，基于所述目标图像素与所述第二图像素的映射变换，完成图像扭曲变形处理以实现镜头校正；
所述结合运动传感器信息计算图像帧各行对应的单应矩阵以建立防抖校正处理后的目标图与输入原图的第一转换关系，包括：
缓存多组图像帧数据及对应时间段内的运动传感器数据；
通过补偿图像帧数据与运动传感器数据的时钟差，将运动传感器数据与图像帧数据时间戳对齐；
通过插值计算图像中心对应的旋转矢量；
将旋转矢量序列进行运动轨迹平滑处理，得到平滑的旋转矢量序列；
计算旋转矩阵并结合相机内参矩阵得到单应矩阵；
将输出图坐标依次乘以单应矩阵得到输入图对应坐标点建立第一转换关系；
所述根据预设的镜头畸变校正模型，建立输入原图与畸变校正处理后的目标图像素的第二转换关系，包括：
获取当前镜头编号和存放畸变校正参数的寄存器地址；
从寄存器地址中读取预先存放的畸变校正模型参数；及
根据所述畸变校正模型参数计算出第二转换关系。
5.根据权利要求4所述的镜头校正方法，其特征在于，还包括：
将目标图划分成多个网格点，其中每个网格点之间的像素点由网格点坐标计算得到。
6.根据权利要求4所述的镜头校正方法，其特征在于，所述映射变换包括：
点与点的坐标位置映射；
像素值与像素值的变换关系。
7.一种镜头校正装置，其特征在于，包括：
第一转换确定模块，用于结合运动传感器信息计算图像帧各行对应的单应矩阵以建立防抖校正处理后的目标图与输入原图的第一转换关系；
第一映射变换模块，用于通过所述第一转换关系建立目标图像素与第一图像素之间的映射变换；所述目标图为防抖校正处理后的图像；所述第一图包含抖动和畸变；
第二转换确定模块，用于根据预设的镜头畸变校正模型，建立输入原图与畸变校正处理后的目标图像素的第二转换关系；
第二映射变换模块，用于通过所述第二转换关系建立所述第一图像素与第二图像素之间的映射变换，所述第二图仅包含抖动；
镜头校正模块，用于利用所述第一转换关系和所述第二转换关系，建立所述目标图像素与所述第二图像素的映射变换，基于目标图像素与所述第二图像素的映射变换，完成图像扭曲变形处理以实现镜头校正；
所述第一转换确定模块具体用于：
缓存多组图像帧数据及对应时间段内的运动传感器数据；
通过补偿图像帧数据与运动传感器数据的时钟差，将运动传感器数据与图像帧数据时间戳对齐；
通过插值计算图像中心对应的旋转矢量；
将旋转矢量序列进行运动轨迹平滑处理，得到平滑的旋转矢量序列；
计算旋转矩阵并结合相机内参矩阵得到单应矩阵；
将输出图坐标依次乘以单应矩阵得到输入图对应坐标点建立第一转换关系；
所述第二转换确定模块具体用于：
获取当前镜头编号和存放畸变校正参数的寄存器地址；
从寄存器地址中读取预先存放的畸变校正模型参数；
根据所述畸变校正模型参数计算出第二转换关系。
8.根据权利要求7所述的镜头校正装置，其特征在于，还包括：网格点划分模块，用于将目标图划分成多个网格点；其中每个网格点之间的像素点由网格点坐标计算得到。
9.根据权利要求7所述的镜头校正装置，其特征在于，所述第一映射变换模块和所述第二映射变换模块的映射变换包括：
点与点的坐标位置映射；
像素值与像素值的变换关系。
10.一种镜头校正装置，其特征在于，包括：
第二转换确定模块，用于根据预设的镜头畸变校正模型，建立输入原图与畸变校正处理后的目标图像素的第二转换关系；
第一映射变换模块，用于通过所述第二转换关系建立目标图像素与第一图像素之间的映射变换；所述目标图为畸变处理后的图像；所述第一图包含抖动和畸变；
第一转换确定模块，用于结合运动传感器信息计算图像帧各行对应的单应矩阵以建立防抖校正处理后的目标图与输入原图的第一转换关系；
第二映射变换模块，用于通过所述第一转换关系建立所述第一图像素与第二图像素之间的映射变换；所述第二图仅包含畸变；
镜头校正模块，用于利用所述第一转换关系和所述第二转换关系，建立所述目标图像素与所述第二图像素的映射变换，基于所述目标图像素与所述第二图像素的映射变换，完成图像扭曲变形处理以实现镜头校正；
所述第一转换确定模块具体用于：
缓存多组图像帧数据及对应时间段内的运动传感器数据；
通过补偿图像帧数据与运动传感器数据的时钟差，将运动传感器数据与图像帧数据时间戳对齐；
通过插值计算图像中心对应的旋转矢量；
将旋转矢量序列进行运动轨迹平滑处理，得到平滑的旋转矢量序列；
计算旋转矩阵并结合相机内参矩阵得到单应矩阵；
将输出图坐标依次乘以单应矩阵得到输入图对应坐标点建立第一转换关系；
所述第二转换确定模块具体用于：
获取当前镜头编号和存放畸变校正参数的寄存器地址；
从寄存器地址中读取预先存放的畸变校正模型参数；
根据所述畸变校正模型参数计算出第二转换关系。
11.根据权利要求10所述的镜头校正装置，其特征在于，还包括：网格点划分模块，用于将目标图划分成多个网格点；其中每个网格点之间的像素点由网格点坐标计算得到。
12.根据权利要求10所述的镜头校正装置，其特征在于，所述第一映射变换模块和所述第二映射变换模块的映射变换包括：
点与点的坐标位置映射；
像素值与像素值的变换关系。
13.一种拍摄终端，包括：处理器、存储器、总线以及输入输出接口； 所述存储器中存储有程序；其特征在于，所述处理器调用所述存储器中的程序时执行如权利要求1至6中任意一项所述的方法。
14.一种存储介质，包括程序，其特征在于，当所述程序在计算机上运行时，使得所述计算机执行如权利要求1至6中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010127181.XA CN113329164B (zh) | 2020-02-28 | 2020-02-28 | 一种镜头校正方法、装置、拍摄终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010127181.XA CN113329164B (zh) | 2020-02-28 | 2020-02-28 | 一种镜头校正方法、装置、拍摄终端及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113329164A CN113329164A (zh) | 2021-08-31 |
| CN113329164B true CN113329164B (zh) | 2023-01-20 |
Family
ID=77412541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010127181.XA Active CN113329164B (zh) | 2020-02-28 | 2020-02-28 | 一种镜头校正方法、装置、拍摄终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113329164B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101902573A (zh) * | 2009-05-25 | 2010-12-01 | 索尼公司 | 成像设备以及抖动校正方法 |
| CN102158684A (zh) * | 2010-02-12 | 2011-08-17 | 王炳立 | 具有图像增强功能的自适应场景图像辅助系统 |
| JP2015201714A (ja) * | 2014-04-07 | 2015-11-12 | オリンパス株式会社 | 撮像装置、画像処理方法及び制御プログラム |
| CN109615663A (zh) * | 2018-12-12 | 2019-04-12 | 深圳市至高通信技术发展有限公司 | 全景视频校正方法及终端 |
-
2020
- 2020-02-28 CN CN202010127181.XA patent/CN113329164B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101902573A (zh) * | 2009-05-25 | 2010-12-01 | 索尼公司 | 成像设备以及抖动校正方法 |
| CN102158684A (zh) * | 2010-02-12 | 2011-08-17 | 王炳立 | 具有图像增强功能的自适应场景图像辅助系统 |
| JP2015201714A (ja) * | 2014-04-07 | 2015-11-12 | オリンパス株式会社 | 撮像装置、画像処理方法及び制御プログラム |
| CN109615663A (zh) * | 2018-12-12 | 2019-04-12 | 深圳市至高通信技术发展有限公司 | 全景视频校正方法及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113329164A (zh) | 2021-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3609177B1 (en) | Control method, control apparatus, imaging device, and electronic device | |
| CN110473159B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN113436113B (zh) | 防抖动的图像处理方法、装置、电子设备和存储介质 | |
| CN108322669A (zh) | 图像的获取方法及装置、成像装置、计算机可读存储介质和计算机设备 | |
| CN110012224A (zh) | 摄像头防抖系统、方法、电子设备和计算机可读存储介质 | |
| CN111028190A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN107509044B (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
| CN109413334B (zh) | 拍摄方法和拍摄装置 | |
| EP2081375A2 (en) | Image processing system and camera including the same | |
| CN109559352B (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 | |
| CN110866486B (zh) | 主体检测方法和装置、电子设备、计算机可读存储介质 | |
| CN110475067A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| JP2015088833A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| CN113313661A (zh) | 图像融合方法、装置、电子设备及计算机可读存储介质 | |
| CN109598764A (zh) | 摄像头标定方法和装置、电子设备、计算机可读存储介质 | |
| CN110266966A (zh) | 图像生成方法和装置、电子设备、计算机可读存储介质 | |
| WO2020029679A1 (zh) | 控制方法、装置、成像设备、电子设备及可读存储介质 | |
| CN112087571A (zh) | 图像采集方法和装置、电子设备、计算机可读存储介质 | |
| CN109584311B (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 | |
| JP2012033007A (ja) | 画像処理装置および画像処理方法 | |
| CN109697737B (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 | |
| CN115701125B (zh) | 图像防抖方法与电子设备 | |
| CN113329164B (zh) | 一种镜头校正方法、装置、拍摄终端及存储介质 | |
| CN110233969B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN108881731B (zh) | 全景拍摄方法、装置和成像设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |