CN112907462A - 超广角摄像器件畸变校正方法、系统及包括其的拍摄装置 - Google Patents
超广角摄像器件畸变校正方法、系统及包括其的拍摄装置 Download PDFInfo
- Publication number
- CN112907462A CN112907462A CN202110117411.9A CN202110117411A CN112907462A CN 112907462 A CN112907462 A CN 112907462A CN 202110117411 A CN202110117411 A CN 202110117411A CN 112907462 A CN112907462 A CN 112907462A
- Authority
- CN
- China
- Prior art keywords
- coordinates
- corner
- distortion
- parameters
- distortion correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012937 correction Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000003384 imaging method Methods 0.000 claims abstract description 39
- 230000000694 effects Effects 0.000 claims abstract description 38
- 238000005457 optimization Methods 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 230000001131 transforming effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- RNLHGQLZWXBQNY-UHFFFAOYSA-N 3-(aminomethyl)-3,5,5-trimethylcyclohexan-1-amine Chemical compound CC1(C)CC(N)CC(C)(CN)C1 RNLHGQLZWXBQNY-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Geometry (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
提供超广角摄像器件畸变校正方法,包括:分别获取各样本摄像器件中的标定图像,其中,所述样本摄像器件有预定数量个;对每个标定图像,使用角点检测算法测得角点坐标,从而获得所述预定数量组角点坐标;将所获得的预定数量组角点坐标输入到选定的标定算法模型中,从而得到一组内参和畸变参数;以及以所获得的预定数量组角点坐标作为输入,以得到的所述一组内参和畸变参数为优化变量初始值、以评价畸变校正效果优劣的指标为最小来通过所选定的标定算法做迭代优化,获得期望的内参和畸变参数,以便待校正的超广角摄像器件用来校正图像。还提供超广角摄像器件畸变校正系统。
Description
技术领域
本发明涉及影像获取技术,更为具体地,涉及超广角摄像器件畸变校正技术。
背景技术
目前越来越多的手机中集成了超广角相机模组,该模组的视场角(Field ofView,FOV)一般大于100°,有助于获取更宽广的拍照视野,但超广角相机模组同时引入了图像畸变。为消除图像中的这类畸变,通常会对相机模组做标定,以得到内参和畸变参数,之后再对输入图像做畸变校正以消除原图像中的畸变现象。
常规的畸变校正方法是针对每部手机的模组进行。由于每个模组的自身差异,其内参和畸变参数并不相同,需要给每个模组单独做标定获取上述信息,以获得较好的畸变校正效果,这使得操作复杂,效率低下。
发明内容
有鉴于此,本申请提供对现有内参和畸变参数获得过程进行改进的超广角摄像器件畸变校正方法。所根据本申请的方法包括:分别获取各样本摄像器件中的标定图像,其中,所述样本摄像器件有预定数量个;对每个标定图像,使用角点检测算法测得角点坐标,从而获得所述预定数量组角点坐标;将所获得的预定数量组角点坐标输入到选定的标定算法模型中,从而得到一组内参和畸变参数;以及以所获得的预定数量组角点坐标作为输入,以得到的所述一组内参和畸变参数为优化变量初始值、以评价畸变校正效果优劣的指标为最小来通过所选定的标定算法做迭代优化,获得期望的内参和畸变参数,以便待校正的超广角摄像器件用来校正图像。
作为示例,所述的超广角摄像器件畸变校正方法中,所选定的标定算法模型为张正友标定算法模型。
作为示例,所述的超广角摄像器件畸变校正方法中,所述评价畸变校正效果优劣的指标通过如下步骤获得:以得到的所述一组内参和畸变参数对所述预定数量组角点坐标中的每一组做变换,以获得预定数量组经畸变校正的角点坐标;分别对预定数量组经畸变校正的角点坐标中的每一组的角点使用直线拟合算法,以得预定数量个行和列都直线排列的图像;对于所述预定数量个行和列都直线排列的图像中的每一个,将行和列的交点坐标作为更新的预定数量组的角点坐标;计算预定数量组角点坐标和更新的预定数量组的角点坐标之间的像素欧氏距离平均值,并将其作为评价畸变校正效果优劣的指标。
根据本申请的另一方面,还提供包括超广角摄像器件的拍摄装置,其中,该超广角摄像器件被配置为以期望的内参和畸变参数来校正其所拍摄的图像,其中,所述期望的内参和畸变参数按照如下过程获得:分别获取各样本摄像器件中的标定图像,其中,所述样本摄像器件与所述超广角摄像器件为同批次产品并且所述样本摄像器件有预定数量个;对每个标定图像,使用角点检测算法测得角点坐标,从而获得所述预定数量组角点坐标;将所获得的预定数量组角点坐标输入到选定的标定算法模型中,从而得到一组内参和畸变参数;以及以所获得的预定数量组角点坐标作为输入,以得到的所述一组内参和畸变参数为优化变量初始值、以评价畸变校正效果优劣的指标为最小来通过所选定的标定算法做迭代优化,从而获得期望的内参和畸变参数。
作为示例,所述的超广角摄像器件的拍摄装置中,所选定的标定算法模型为张正友标定算法模型。此外,示例地,所述评价畸变校正效果优劣的指标通过如下过程获得:以得到的所述一组内参和畸变参数对所述预定数量组角点坐标中的每一组做变换,以获得预定数量组经畸变校正的角点坐标;分别对预定数量组经畸变校正的角点坐标中的每一组的角点使用直线拟合算法,以得预定数量个行和列都直线排列的图像;对于所述预定数量个行和列都直线排列的图像中的每一个,将该行和列的交点的坐标作为更新的预定数量组的角点坐标;计算预定数量组角点坐标和更新的预定数量组的角点坐标之间的像素欧氏距离平均值,并将其作为评价畸变校正效果优劣的指标。
本申请还提供一种超广角摄像器件畸变校正装置,包括处理器和存储器,其特征在于,所述存储器中存储指令,在所述指令被所述处理器执行时实现如本申请所描述的超广角摄像器件畸变校正方法。
本申请还提供一种超广角摄像器件畸变校正系统,其包括获取单元、检测单元、选定的模型。获取单元用于分别获取各样本摄像器件中的标定图像,其中,所述样本摄像器件有预定数量个。检测单元用于对每个标定图像,使用角点检测算法测得角点坐标,从而获得所述预定数量组角点坐标。选定的模型被配置为接收来自所述检测单元的所述预定数量组角点坐标,并输出一组内参和畸变参数;以所获得的预定数量组角点坐标作为输入,以得到的所述一组内参和畸变参数为优化变量初始值、以评价畸变校正效果优劣的指标为最小来通过所选定的标定算法做迭代优化,从而获得期望的内参和畸变参数。
示例地,所述的超广角摄像器件畸变校正系统中,所述选定的模型为张正友标定算法模型。
示例地,所述的超广角摄像器件畸变校正系统中,所述选定的模型被配置为:以得到的所述一组内参和畸变参数对所述预定数量组角点坐标中的每一组做变换,以获得预定数量组经畸变校正的角点坐标;分别对预定数量组经畸变校正的角点坐标中的每一组的角点使用直线拟合算法,以得预定数量个行和列都直线排列的图像;对于所述预定数量个行和列都直线排列的图像中的每一个,将行和列的交点的坐标作为更新的预定数量组的角点坐标;计算预定数量组角点坐标和更新的预定数量组的角点坐标之间的像素欧氏距离平均值,并将其作为评价畸变校正效果优劣的指标。
附图说明
图1是根据本申请一种示例的超广角摄像器件畸变校正方法的流程图。
图2示意了一副示例性的超广角摄像器件的标定图像。
图3是包括了图2所示标定图像中角点的图像。
图4示意了已经畸变校正后的图像。
图5是根据本申请示例的评价畸变校正效果优劣的指标获得的流程图。
图6是图5执行过程中的一个具体示例,其中M=2,N=3。
图7是根据本申请一个实施例的拍摄装置的结构示意图。
图8是根据本申请一个实施例的超广角摄像器件校正装置的结构示意图。
图9是根据本申请一个实施例的超广角摄像器件畸变矫正系统的结构示意图。
具体实施方式
下文将结合附图对本发明的具体实施方式做详细描述。应理解,本发明能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似改进,因此本发明不受下面公开的具体实施的限制。
图1是根据本申请一种示例的超广角摄像器件畸变校正方法的流程图。根据该方法,在步骤S100,分别获取各样本摄像器件中的标定图像,其中,有预定数量个样本摄像器件。预定数量,例如为15个、20个等等。本申请不对要采用的样本摄像器件的数量进行限制。各样本摄像器件指的是作为样本的超广角摄像器件,这些超广角摄像器件可以是设置在手机、相机、诸如IPAD等的平板电脑、车载摄像头等可摄像或摄像装置中的器件,但是本申请也不排除被实现为独立装置的超广角摄像器件。本步骤中,例如选取了20个手机,分别获取这20个手机各自的超广角摄像器件的标定图像,从而获得了20个与手机一一对应的标定图像。该步骤可例如由独立于这批样本摄像器件的数据处理设备来处理。该数据处理设备分别从多个样本摄像器件中获取标定图像。
在步骤S102,对于在步骤S100中所获得的每个标定图像,使用角点检测算法测得角点坐标,从而获得所述预定数量组角点坐标。例如,所述的数据处理设备在获取了标定图像之后,使用角点检测算法来测量20个标定图像中每一个图像的角点坐标,从而获得20组数据,也就是20组角点坐标。
在步骤S104,将所获得的预定数量组角点坐标输入到选定的标定算法模型中,从而得到一组内参和畸变参数。作为示例,选定的标定算法模型为张正友标定算法模型。在选定的标定算法模型为张正友标定算法模型的情况下,继续参照上面提到的示例,该数据处理设备将20组角点坐标作为输入输入到已设置在该数据处理设备的张正友标定算法模型中,从而产生一组内参和畸变参数。
在步骤S106,以在步骤S102所获得的预定数量组角点坐标作为输入、以在步骤S104所得到的一组内参和畸变参数作为优化变量初始值、以评价畸变校正效果优劣的指标为最小,通过所选定的标定算法模型做迭代优化,从而获得期望的内参和畸变参数。继续参照上面提到的示例,该数据处理设备将20组角点坐标作为输入输入到张正友标定算法模型中,得到如在步骤S104中所提到的那组内参和畸变参数,并将所得到的该组内参和畸变参数作为优化变量的初始值、以评价畸变校正效果优劣的指标为最小、再通过张正友标定算法模型做迭代优化,最终由张正友标定算法模型输出所期望的一组内参和畸变参数。其中,评价畸变校正效果优劣的指标针对每一个标定图像都有一组,因此本例中,共有20组评价畸变校正效果优劣的指标。在步骤S106所获得的所期望的一组内参和畸变参数被提供给待校正的超广角摄像器件来校正所述超广角摄像器件拍摄的图像。例如,由该数据处理设备将获得的所期望的一组内参和畸变参数传输给待校正的超广角摄像器件。需要说明的是,预定数量的样本摄像器件只是该待校正的超广角摄像器件中的一部分。
上面提到的数据处理设备可以是笔记本电脑、平板电脑、手机、台式电脑、以及云端服务器等可以与超广角摄像器件通信的数据处理设备。这类数据处理设备通常具有存储器和处理器。标定算法模型例如存储在存储器中,由处理器在执行图1所示的方法过程中调用。在一些示例中,该数据处理设备可能不包括存储器,而是使用外置存储器件,例如云端存储或移动存储设备等。
图2示意了一副示例性的超广角摄像器件的标定图像,即,原始棋盘图像。如所示的,在图像的四周边缘存在畸变,例如左上角的畸变10、右上角的畸变12、左下角的畸变11以及右下角的畸变13。
超广角摄像器件或者说超广角相机模组中的畸变一般是由透镜形状引起的径向畸变和相机组装偏差引起的切向畸变。假设相机坐标系中某点坐标为(X,Y,Z),其投影到像素坐标系中成为点(u,v),则这两个相应点满足如下计算公式(1):
其中,作为未知量的相机的内参和畸变参数,即,[fx,fy,cx,cy]和[k1,k2,k3,k4,k5,k6,p1,p2],可通过标定获取。以张正友相机标定法为例,标定过程中,首先采集超广角相机模组的标定图像,也就是图2所示的图像。然后使用角点检测算法检测得到多个角点坐标,例如图3中以加粗的点标识出的多个角点。利用这些角点坐标,对单个模组采用张正友法标定算法,即可获得该模组的内参与畸变参数,然后利用内参和畸变参数对标定采集图像做畸变校正,得到校正后的结果,如图4所示。从图4可以看出,校正后的图像恢复了原始图像中物体的“平直”特征,消除了图像畸变。
在此结合图2到图3简单描述了常规的对标定图像的畸变校正的过程。该过程为已知的校正过程,为每一个超广角相机模组生成内参与畸变参数,并采用其对图像进行校正。
回到本申请,且继续参照图1阐述,其中,以手机作为采用超广角摄像器件的装置。举例来说,从同批生产的手机中选取了20个作为样机,这20个手机中的各手机中的超广角摄像器件,即超广角摄像模组变为本申请示例的样本摄像器件。从此20个样本摄像器件中分别获取(步骤S100)它们的标定图像,由此,将获得20个如图1所示的标定图像。对于每一个标定图像,采用(步骤S102)角点检测算法测得角点坐标,从而获得20组角点坐标。对于每个图像而言,所测得的角点即为图2中以圆圈示意的点,可能各图像的角点数量和/或位置不完全相同。将获得的20组角点坐标作为张正友标定算法模型的输入,从而获得一组内参和畸变参数(步骤S104)。将所获得的20组角点坐标作为输入,以在步骤S104所得到的一组内参和畸变参数作为优化变量初始值、以评价畸变校正效果优劣的指标为最小,通过所选定的标定算法模型做迭代优化,从而获得期望的内参和畸变参数。
在此结合图5示例性地说明评价畸变校正效果优劣的指标获得过程。如图5所示,在步骤500,以在步骤S104(见图1)获得该组内参和畸变参数对所述预定数量组角点坐标中的每一组做变换,以获得预定数量组经畸变校正的角点坐标。在步骤S502,分别对预定数量组经畸变校正的角点坐标中的每一组的角点使用直线拟合算法,以得预定数量个行和列都直线排列的图像。在步骤S504,对于预定数量个行和列都直线排列的图像中的每一个,将所得到的行和列的交点的坐标作为更新的预定数量组的角点坐标。在步骤S506,计算预定数量组角点坐标和更新的预定数量组的角点坐标之间的像素欧氏距离平均值,并将其作为评价畸变校正效果优劣的指标。
依然以手机作为采用超广角摄像器件的装置,以张正友标定算法模型作为选定的标点算法模型。此外,同样地,从同批生产的手机中选取了20个作为样机,这20个手机中的各手机中的超广角摄像器件,即超广角摄像模组变为本申请示例的样本摄像器件。更进一步,以其中一个样本摄像器件的标定图像被检测的角点坐标排列为M行N列(图1的步骤S102)。利用在图1的步骤S104中获得那组内参和畸变参数对这个M行N列的角点坐标排列做变换,得到(步骤S500)畸变校正后的角点坐标,也就是经畸变校正的角点坐标排列。对在步骤S500得到的经校正的M行N列的角点坐标排列,以直线拟合算法进行拟合(步骤S502),从而得到彼此相交的M行直线和N列直接。再次利用使用角点检测算法,得到新的M行N列的角点坐标(步骤S504),即更新的角点坐标。对于在图1的步骤S102获得M行N列的角点坐标以及在步骤S504获得的更新的角点坐标,计算(步骤S506)对应角点的像素欧氏距离平均值,并将该值作为畸变校正优劣的评价指标。通常,该像素欧氏距离平均值越小,畸变校正效果越好。
以M=2,N=3作为示例,取用图2中的6个点A、B、C、D、E、F作为角点的示例,图6给出该例子的示意性图示,该示例中角点以行2列3分布,即2*3的分布。在经过如图5所示的步骤S500到步骤S504处理过程后,得到新的角点坐标,即更新2*3的角点排列,更新后的6个角点为a、b、c、d、e、f,分别对应于6个点A、B、C、D、E、F。分别计算a和A、b和B、c和C、d和D、e和E、f和F的欧氏距离,再计算其平均值得到评估畸变校正效果的指标。需要说明的是,结合单文提到的M行N列的例子得到的评估畸变校正效果的指标是针对一个样本摄像器件的评估畸变校正效果的指标。对于20个手机或者说20个标定图像,则相应有20个评估畸变校正效果的指标。
如本申请所描述的各示例,是将例如20个样本摄像器件的标定图像作为基本,对其中每一个进行检测,获得20组预定数量组角点坐标,然后将20预定数量组角点坐标输入到例如张正友标定算法模型中,得到一组内参和畸变参数。这与现有技术只输入基于一个标定图像的角点坐标相比,考虑到了20个样本的整体畸变效果,而不是只考虑单个样本的畸变效果。
进一步,与常规的标定算法相比,将基于20个标定图像的角点坐标所得到一组内参和畸变参数作为优化变量初始值,以评价畸变校正效果优劣的指标作为最小,并将前述检测到的20组焦点坐标作为输入,以张正友标定算法模型来做迭代优化,从而获得期望的内参和畸变参数。这一步骤的设置则是对在先计算的那组内参和畸变参数进行了优化,从而使得畸变校正的效果更好。需要说明的是,考虑到相机畸变校正过程中不会使用外参,与张正友标定算法在优化过程中会考虑相机外参相比,本申请中该优化步骤并不会引入外参,而只把内参与畸变参数作为待优化变量。
进一步,通过本申请示例所得到的内参和畸变参数,因为考虑了预定数量(例如20个)的样本,也就是对待校正产品做了较为整体的考虑,这使得最终所得到的内参和畸变参数可适用于该样本摄像器件所在的整批产品,大大提高校正效率。
根据本申请的示例,还提供包括超广角摄像器件的拍摄装置。图7是示例的拍摄装置的结构示意图。该拍摄装置包括输入输出接口70、超广角摄像器件72。需要说明的是,拍摄装置还可包括更多器件,在此只是示出了与本申请有关的部件。如图所示,超广角摄像器件72可通过输入输出接口70接收期望的内参和畸变参数。在此,期望的内参和畸变参数是通过如上结合图1和/或图5所描述的方法所获得的。超广角摄像器件72基于所收到的期望的内参和畸变参数校正畸变参数。该拍摄装置可以为手机、诸如IPDA等平板电脑、相机、车载影像拍摄装置中的一个或其结合。车载影像拍摄装置例如为车载摄像头等。
根据本申请的示例,还提供超广角摄像器件校正装置,如图8所示。该校正装置包括处理器80和存储器82。存储器82中存储指令。处理器80可执行存储器82中的指令,且在执行这些指令时,可实现上文结合各示例描述的超广角摄像器件畸变校正方法。该超广角摄像器件校正装置可被实现为单独的部件。该部件可以与待校正的器件通信,以通过指令实现的方法获得最终的内参和畸变参数,并将其传送给该待校正的器件。该超广角摄像器件校正装置也可被实现在已有的计算机设备中,这里的计算机设备应做广义理解,可以是诸如电脑、手机、平板等具有数据处理能力的设备。
根据本申请的示例,还提供超广角摄像器件畸变矫正系统。图9是该超广角摄像器件畸变矫正系统的结构示意图。如图所示,该超广角摄像器件畸变矫正系统包括获取单元90、检测单元92以及选定的模型94。获取单元90被配置为用于分别获取各样本摄像器件中的标定图像,其中,所述样本摄像器件有预定数量个。检测单元92被配置为对每个标定图像,使用角点检测算法测得角点坐标,从而获得所述预定数量组角点坐标。选定的模型94被配置为接收来自所述检测单元的所述预定数量组角点坐标,并输出一组内参和畸变参数。选定的模型94被配置为还以所获得的预定数量组角点坐标作为输入,以得到的所述一组内参和畸变参数为优化变量初始值、以评价畸变校正效果优劣的指标为最小来通过所选定的标定算法做迭代优化,从而获得期望的内参和畸变参数。
根据本申请的一些示例,选定的模型94为张正友标定算法模型。
根据本申请的一些示例,所选定的模型还被配置为执行如图5所示的方法来获得评价畸变校正效果优劣的指标。
图9所示的超广角摄像器件畸变矫正系统可执行例如上文结合图1所示的方法。在又一些示例中,可执行结合图1和图5所示的方法。
在一些情况下,也有可能不采用例如图5所示的方法来获得评价畸变校正效果优劣的指标,而是采用预先设置的值。
综上,本申请的各示例,是基于多个样本的角点坐标排列作为标定算法模型的输入项,从而得到一组能适用于样本所在的整批产品的内参和畸变参数,提高了校正参数获得的效率。且,根据本申请的示例,对初步一组内参和畸变参数再次进行了优化,从而得到提供校正效果更优的内参和畸变参数,进而改善待校正拍摄装置的校正效果。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种超广角摄像器件畸变校正方法,其特征在于,所述方法包括:
分别获取各样本摄像器件中的标定图像,其中,所述样本摄像器件有预定数量个;
对每个标定图像,使用角点检测算法测得角点坐标,从而获得所述预定数量组角点坐标;
将所获得的预定数量组角点坐标输入到选定的标定算法模型中,从而得到一组内参和畸变参数;以及
以所获得的预定数量组角点坐标作为输入,以得到的所述一组内参和畸变参数为优化变量初始值、以评价畸变校正效果优劣的指标为最小来通过所选定的标定算法做迭代优化,获得期望的内参和畸变参数,以便待校正的超广角摄像器件用来校正图像。
2.根据权利要求1所述的超广角摄像器件畸变校正方法,其中,所选定的标定算法模型为张正友标定算法模型。
3.根据权利要求1或2所述的超广角摄像器件畸变校正方法,其中,所述评价畸变校正效果优劣的指标通过如下步骤获得:
以得到的所述一组内参和畸变参数对所述预定数量组角点坐标中的每一组做变换,以获得预定数量组经畸变校正的角点坐标;
分别对预定数量组经畸变校正的角点坐标中的每一组的角点使用直线拟合算法,以得预定数量个行和列都直线排列的图像;
对于所述预定数量个行和列都直线排列的图像中的每一个,将所述行和列的交点坐标作为更新的预定数量组的角点坐标;
计算预定数量组角点坐标和更新的预定数量组的角点坐标之间的像素欧氏距离平均值,并将其作为评价畸变校正效果优劣的指标。
4.一种包括超广角摄像器件的拍摄装置,其特征在于,所述超广角摄像器件被配置为以期望的内参和畸变参数来校正其所拍摄的图像,其中,所述期望的内参和畸变参数按照如下步骤获得:
分别获取各样本摄像器件中的标定图像,其中,所述样本摄像器件与所述超广角摄像器件为同批次产品并且所述样本摄像器件有预定数量个;
对每个标定图像,使用角点检测算法测得角点坐标,从而获得所述预定数量组角点坐标;
将所获得的预定数量组角点坐标输入到选定的标定算法模型中,从而得到一组内参和畸变参数;以及
以所获得的预定数量组角点坐标作为输入,以得到的所述一组内参和畸变参数为优化变量初始值、以评价畸变校正效果优劣的指标为最小来通过所选定的标定算法做迭代优化,从而获得期望的内参和畸变参数。
5.根据权利要求4所述的超广角摄像器件的拍摄装置,其特征在于,所选定的标定算法模型为张正友标定算法模型,并且所述评价畸变校正效果优劣的指标通过如下步骤获得:
以得到的所述一组内参和畸变参数对所述预定数量组角点坐标中的每一组做变换,以获得预定数量组经畸变校正的角点坐标;
分别对预定数量组经畸变校正的角点坐标中的每一组的角点使用直线拟合算法,以得预定数量个行和列都直线排列的图像;
对于所述预定数量个行和列都直线排列的图像中的每一个,将所述行和列的交点坐标作为更新的预定数量组的角点坐标;
计算预定数量组角点坐标和更新的预定数量组的角点坐标之间的像素欧氏距离平均值,并将其作为评价畸变校正效果优劣的指标。
6.一种超广角摄像器件畸变校正装置,包括处理器和存储器,其特征在于,所述存储器中存储指令,在所述指令被所述处理器执行时实现如权利要求1到3中任意一项所描述的方法。
7.一种超广角摄像器件畸变校正系统,其特征在于,所述系统包括:
获取单元,其用于分别获取各样本摄像器件中的标定图像,其中,所述样本摄像器件有预定数量个;
检测单元,其用于对每个标定图像,使用角点检测算法测得角点坐标,从而获得所述预定数量组角点坐标;
选定的模型,其被配置为:
接收来自所述检测单元的所述预定数量组角点坐标,并输出一组内参和畸变参数;
以所获得的预定数量组角点坐标作为输入,以得到的所述一组内参和畸变参数为优化变量初始值、以评价畸变校正效果优劣的指标为最小来通过所选定的标定算法做迭代优化,从而获得期望的内参和畸变参数。
8.根据权利要求7所述的超广角摄像器件畸变校正系统,其特征在于,所述选定的模型为基于张正友标定算法模型。
9.根据权利要求7或8所述的超广角摄像器件畸变校正系统,其特征在于,所述选定的模型被配置为:
以得到的所述一组内参和畸变参数对所述预定数量组角点坐标中的每一组做变换,以获得预定数量组经畸变校正的角点坐标;
分别对预定数量组经畸变校正的角点坐标中的每一组的角点使用直线拟合算法,以得预定数量个行和列都直线排列的图像;
对于所述预定数量个行和列都直线排列的图像中的每一个,将所述行和列的交点作为更新的预定数量组的角点坐标;
计算预定数量组角点坐标和更新的预定数量组的角点坐标之间的像素欧氏距离平均值,并将其作为评价畸变校正效果优劣的指标。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110117411.9A CN112907462A (zh) | 2021-01-28 | 2021-01-28 | 超广角摄像器件畸变校正方法、系统及包括其的拍摄装置 |
US17/582,833 US20220237824A1 (en) | 2021-01-28 | 2022-01-24 | Distortion calibration method for ultra-wide angle imaging apparatus, system and photographing device including same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110117411.9A CN112907462A (zh) | 2021-01-28 | 2021-01-28 | 超广角摄像器件畸变校正方法、系统及包括其的拍摄装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112907462A true CN112907462A (zh) | 2021-06-04 |
Family
ID=76119451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110117411.9A Pending CN112907462A (zh) | 2021-01-28 | 2021-01-28 | 超广角摄像器件畸变校正方法、系统及包括其的拍摄装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220237824A1 (zh) |
CN (1) | CN112907462A (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20240048843A1 (en) * | 2022-08-04 | 2024-02-08 | Ford Global Technologies, Llc | Local compute camera calibration |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102750697A (zh) * | 2012-06-08 | 2012-10-24 | 华为技术有限公司 | 一种参数标定方法及装置 |
CN103942796A (zh) * | 2014-04-23 | 2014-07-23 | 清华大学 | 一种高精度的投影仪-摄像机标定系统及标定方法 |
CN105096329A (zh) * | 2015-08-20 | 2015-11-25 | 厦门雅迅网络股份有限公司 | 一种精确校正超广角摄像头图像畸变的方法 |
CN106960456A (zh) * | 2017-03-28 | 2017-07-18 | 长沙全度影像科技有限公司 | 一种鱼眼相机标定算法评价的方法 |
WO2018050223A1 (en) * | 2016-09-14 | 2018-03-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Pattern detection |
CN108269289A (zh) * | 2018-01-16 | 2018-07-10 | 上海汇像信息技术有限公司 | 一种相机参数标定的两步优化方法 |
CN108876749A (zh) * | 2018-07-02 | 2018-11-23 | 南京汇川工业视觉技术开发有限公司 | 一种鲁棒的镜头畸变校正方法 |
CN109242908A (zh) * | 2018-07-12 | 2019-01-18 | 中国科学院自动化研究所 | 用于水下双目视觉测量系统的标定方法 |
CN110189382A (zh) * | 2019-05-31 | 2019-08-30 | 东北大学 | 一种基于无共视区域的多双目相机运动标定方法 |
CN110458898A (zh) * | 2019-08-15 | 2019-11-15 | 北京迈格威科技有限公司 | 相机标定板、标定数据采集方法、畸变校正方法及装置 |
CN111243033A (zh) * | 2020-01-10 | 2020-06-05 | 大连理工大学 | 一种优化双目相机外参数的方法 |
CN111429533A (zh) * | 2020-06-15 | 2020-07-17 | 上海海栎创微电子有限公司 | 一种相机镜头畸变参数估计装置及方法 |
CN111815710A (zh) * | 2020-05-28 | 2020-10-23 | 北京易航远智科技有限公司 | 鱼眼相机自动标定方法 |
-
2021
- 2021-01-28 CN CN202110117411.9A patent/CN112907462A/zh active Pending
-
2022
- 2022-01-24 US US17/582,833 patent/US20220237824A1/en active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102750697A (zh) * | 2012-06-08 | 2012-10-24 | 华为技术有限公司 | 一种参数标定方法及装置 |
CN103942796A (zh) * | 2014-04-23 | 2014-07-23 | 清华大学 | 一种高精度的投影仪-摄像机标定系统及标定方法 |
CN105096329A (zh) * | 2015-08-20 | 2015-11-25 | 厦门雅迅网络股份有限公司 | 一种精确校正超广角摄像头图像畸变的方法 |
WO2018050223A1 (en) * | 2016-09-14 | 2018-03-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Pattern detection |
CN106960456A (zh) * | 2017-03-28 | 2017-07-18 | 长沙全度影像科技有限公司 | 一种鱼眼相机标定算法评价的方法 |
CN108269289A (zh) * | 2018-01-16 | 2018-07-10 | 上海汇像信息技术有限公司 | 一种相机参数标定的两步优化方法 |
CN108876749A (zh) * | 2018-07-02 | 2018-11-23 | 南京汇川工业视觉技术开发有限公司 | 一种鲁棒的镜头畸变校正方法 |
CN109242908A (zh) * | 2018-07-12 | 2019-01-18 | 中国科学院自动化研究所 | 用于水下双目视觉测量系统的标定方法 |
CN110189382A (zh) * | 2019-05-31 | 2019-08-30 | 东北大学 | 一种基于无共视区域的多双目相机运动标定方法 |
CN110458898A (zh) * | 2019-08-15 | 2019-11-15 | 北京迈格威科技有限公司 | 相机标定板、标定数据采集方法、畸变校正方法及装置 |
CN111243033A (zh) * | 2020-01-10 | 2020-06-05 | 大连理工大学 | 一种优化双目相机外参数的方法 |
CN111815710A (zh) * | 2020-05-28 | 2020-10-23 | 北京易航远智科技有限公司 | 鱼眼相机自动标定方法 |
CN111429533A (zh) * | 2020-06-15 | 2020-07-17 | 上海海栎创微电子有限公司 | 一种相机镜头畸变参数估计装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
US20220237824A1 (en) | 2022-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6330987B2 (ja) | 画像処理装置、画像処理方法、及び記憶媒体 | |
US8000559B2 (en) | Method of correcting image distortion and apparatus for processing image using the method | |
JP2018179981A (ja) | カメラ校正方法、カメラ校正プログラム及びカメラ校正装置 | |
US8797387B2 (en) | Self calibrating stereo camera | |
CN110858872B (zh) | 光轴偏移补偿方法及装置 | |
EP2339292A1 (en) | Three-dimensional measurement apparatus and method thereof | |
JP2018179980A (ja) | カメラ校正方法、カメラ校正プログラム及びカメラ校正装置 | |
KR102268878B1 (ko) | 카메라 교정 | |
CN112348863B (zh) | 图像对齐方法、图像对齐装置及终端设备 | |
JPWO2011010438A1 (ja) | 視差検出装置、測距装置及び視差検出方法 | |
JP6594170B2 (ja) | 画像処理装置、画像処理方法、画像投影システムおよびプログラム | |
US11037327B2 (en) | Camera control method, camera control device, and non-transitory computer-readable storage medium | |
CN111383264A (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
CN107067441B (zh) | 摄像机标定方法及装置 | |
CN109313811B (zh) | 基于视觉系统振动移位的自动校正方法、装置及系统 | |
CN112907462A (zh) | 超广角摄像器件畸变校正方法、系统及包括其的拍摄装置 | |
CN113034565B (zh) | 一种单目结构光的深度计算方法及系统 | |
KR20160001868A (ko) | 카메라에서 촬영된 영상의 왜곡을 보정하기 위한 영상 왜곡 보정 방법 | |
CN112733773A (zh) | 一种对象检测方法、装置、计算机设备和存储介质 | |
CN108629219B (zh) | 一种识别一维码的方法及装置 | |
CN116012242A (zh) | 一种相机畸变矫正效果评价方法、装置、介质及设备 | |
CN112927276B (zh) | 图像配准方法、装置、电子设备及存储介质 | |
JP2012198076A (ja) | カメラシミュレーション装置、カメラシミュレーション方法、及びカメラシミュレーションプログラム | |
CN112991411A (zh) | 图像配准方法和设备、存储介质 | |
CN107741220B (zh) | 影像处理方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |