CN106846409B - 鱼眼相机的标定方法及装置 - Google Patents

鱼眼相机的标定方法及装置 Download PDF

Info

Publication number
CN106846409B
CN106846409B CN201611078045.6A CN201611078045A CN106846409B CN 106846409 B CN106846409 B CN 106846409B CN 201611078045 A CN201611078045 A CN 201611078045A CN 106846409 B CN106846409 B CN 106846409B
Authority
CN
China
Prior art keywords
group
feature points
projection
distortion
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611078045.6A
Other languages
English (en)
Other versions
CN106846409A (zh
Inventor
林春雨
韦世奎
马珂
高奕
林鸿运
王欣
黄奇
钟洪波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xinyangquan Electronic Technology Co ltd
Beijing Jiaotong University
Original Assignee
Beijing Xinyangquan Electronic Technology Co ltd
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xinyangquan Electronic Technology Co ltd, Beijing Jiaotong University filed Critical Beijing Xinyangquan Electronic Technology Co ltd
Publication of CN106846409A publication Critical patent/CN106846409A/zh
Application granted granted Critical
Publication of CN106846409B publication Critical patent/CN106846409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20068Projection on vertical or horizontal image axis

Abstract

本发明涉及鱼眼相机的标定方法及装置。该方法包括:检测畸变图中的第一组特征点;对畸变图进行投影处理,得到投影图;检测投影图中的第二组特征点;确定第一组特征点和第二组特征点在畸变图的图像坐标系中的坐标;确定第一组特征点和第二组特征点与预先设置的目标点的对应关系;根据对应关系以及目标点在世界坐标系中的坐标,确定第一组特征点和第二组特征点在世界坐标系中对应的坐标;对鱼眼相机进行标定,并得到畸变图对应的校正图。根据本发明的鱼眼相机的标定方法及装置能够利用单幅图像完成相机内外参数的标定,能够提高标定的精确度,简化标定过程,并能够提高标定的实时性。

Description

鱼眼相机的标定方法及装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种鱼眼相机的标定方法及装置。
背景技术
随着计算机视觉技术的不断发展,复杂场景的实时绘制已经成为可能,其生成的全景图像被应用于医学成像、军事遥感、虚拟现实世界和车载安全等众多领域。全景图像拼接技术首先采集各个方向的图像,然后利用相邻两个方向图像重叠部分的像素相似性,将多幅图像拼接成一幅大的图像。为了使其最大程度地接近现实场景,通常采用特殊的鱼眼镜头采集图像。
鱼眼镜头是一种超广角镜头,因其前镜片呈抛物状向镜头前部凸出,与鱼眼睛颇为相似而得名。鱼眼镜头的视角可接近或等于180°(部分特殊鱼眼镜头的视野宽度甚至可达220°至230°),并且其价格经济实惠,已在诸多领域得到了广泛的应用,例如:计算机视觉、虚拟现实、行车安全以及视觉监控等。
虽然鱼眼镜头可以获得很大的视角,但是根据物理成像的规律,焦距越短,视角越大,为了获得较广的视野,鱼眼镜头的焦距为16mm或者更短。因此,鱼眼相机采集的图像通常都引入了桶形畸变,所成图像除了画面中心点的景物保持不变外,其他本应该水平或者竖直的景物都发生了相应的变化。图1示出鱼眼相机所采集的图像发生桶形畸变的示意图。如图1所示,由于鱼眼相机所采集的图像发生桶形畸变,因此图像的内容不能很好地被使用者所理解。为了符合人眼的观察习惯,在进行图像拼接之前,需要对鱼眼镜头的相关参数进行精确地校正,这个校正的过程在计算机视觉中称为标定。
与常规的小孔成像原理不同,鱼眼镜头的成像基于非相似原理。图2示出鱼眼相机投影模型的示意图。如图2所示,将鱼眼镜头近似看成是一个半球模型,世界坐标系中的点M=(XW,YW,ZW)发出的光线首先通过鱼眼相机光心O,映射到相机坐标系上的点P=(XC,YC,ZC),投影关系如式1所示:
Figure BDA0001166426610000021
其中,R是世界坐标系和相机坐标系之间的旋转矩阵,t是一个三维的平移向量。从M出发的光线投影到成像平面,由于光路弯曲,因此投影成点m,而一般透视投影的投影点为m′。该投影关系如式2所示:
Figure BDA0001166426610000022
其中,
Figure BDA0001166426610000023
λ为非零度因子,K为内参数矩阵,fx和fy分别是图像水平轴和垂直轴的尺度因子,cx和cy是图像坐标系原点在像素坐标系中的坐标。
该投影过程是非线性的,根据投影函数g的不同,可以提出不同的鱼眼相机模型。
随着鱼眼相机在车载360全景、视频监控和机器人视觉等方面的广泛应用,鱼眼相机的标定成为一个重要的课题。近年来,相关技术中提出了多种鱼眼相机标定的方法。例如,一种较普遍的方法为基于球面模型的鱼眼图像校正法,在这种方法中,只要球面模型被确定,就决定了其畸变校正的效果,这就可能存在校正强度不够或者过校正的问题,且不具有效果的调节能力。在另一种方法中,需要从不同视角采集多幅标定的图像,这种方法的实时性不高,不能很好地应用于行车安全和视觉监控等方面。
发明内容
技术问题
有鉴于此,本发明要解决的技术问题是,鱼眼相机的标定的精确度较低。
解决方案
为了解决上述技术问题,根据本发明的一实施例,提供了一种鱼眼相机的标定方法,包括:
检测畸变图中的第一组特征点;
对所述畸变图进行投影处理,得到所述畸变图对应的投影图;
检测所述投影图中的第二组特征点;
对所述投影图进行反投影处理,得到所述畸变图,并确定所述第一组特征点和所述第二组特征点在所述畸变图的图像坐标系中的坐标;
根据所述第一组特征点和所述第二组特征点的位置确定所述第一组特征点和所述第二组特征点与预先设置的目标点的对应关系;
根据所述对应关系以及所述目标点在世界坐标系中的坐标,确定所述第一组特征点和所述第二组特征点在世界坐标系中对应的坐标;
根据所述第一组特征点和所述第二组特征点在所述图像坐标系中的坐标以及在所述世界坐标系中对应的坐标,对所述鱼眼相机进行标定,并得到所述畸变图对应的校正图。
对于上述方法,在一种可能的实现方式中,所述第一组特征点为预先放置于所述鱼眼相机的采集范围中央的棋盘格标定布对应的特征点;
所述第二组特征点为预先放置于所述鱼眼相机的采集范围内、所述棋盘格标定布两侧的多边形标定布对应的特征点。
对于上述方法,在一种可能的实现方式中,所述多边形标定布为矩形标定布。
对于上述方法,在一种可能的实现方式中,对所述畸变图进行投影处理,得到所述畸变图对应的投影图,包括:
将水平面作为投影面,并将所述畸变图投影在水平面上,得到所述畸变图对应的投影图。
对于上述方法,在一种可能的实现方式中,检测畸变图中的第一组特征点,包括:采用角点检测算法检测所述畸变图中的第一组特征点;
检测所述投影图中的第二组特征点,包括:采用所述角点检测算法检测所述投影图中的第二组特征点。
为了解决上述技术问题,根据本发明的另一实施例,提供了一种鱼眼相机的标定装置,包括:
第一组特征点检测模块,用于检测畸变图中的第一组特征点;
投影模块,用于对所述畸变图进行投影处理,得到所述畸变图对应的投影图;
第二组特征点检测模块,用于检测所述投影图中的第二组特征点;
反投影模块,用于对所述投影图进行反投影处理,得到所述畸变图,并确定所述第一组特征点和所述第二组特征点在所述畸变图的图像坐标系中的坐标;
对应关系确定模块,用于根据所述第一组特征点和所述第二组特征点的位置确定所述第一组特征点和所述第二组特征点与预先设置的目标点的对应关系;
坐标确定模块,用于根据所述对应关系以及所述目标点在世界坐标系中的坐标,确定所述第一组特征点和所述第二组特征点在世界坐标系中对应的坐标;
标定与校正模块,用于根据所述第一组特征点和所述第二组特征点在所述图像坐标系中的坐标以及在所述世界坐标系中对应的坐标,对所述鱼眼相机进行标定,并得到所述畸变图对应的校正图。
对于上述装置,在一种可能的实现方式中,所述第一组特征点为预先放置于所述鱼眼相机的采集范围中央的棋盘格标定布对应的特征点;
所述第二组特征点为预先放置于所述鱼眼相机的采集范围内、所述棋盘格标定布两侧的多边形标定布对应的特征点。
对于上述装置,在一种可能的实现方式中,所述多边形标定布为矩形标定布。
对于上述装置,在一种可能的实现方式中,所述投影模块用于:
将水平面作为投影面,并将所述畸变图投影在水平面上,得到所述畸变图对应的投影图。
对于上述装置,在一种可能的实现方式中,所述第一组特征点检测模块用于:采用角点检测算法检测所述畸变图中的第一组特征点;
所述第二组特征点检测模块用于:采用所述角点检测算法检测所述投影图中的第二组特征点。
有益效果
通过检测畸变图中的第一组特征点,对畸变图进行投影处理得到畸变图对应的投影图,检测投影图中的第二组特征点,对投影图进行反投影处理,得到畸变图,并确定第一组特征点和第二组特征点在畸变图的图像坐标系中的坐标,根据第一组特征点和第二组特征点的位置确定第一组特征点和第二组特征点与预先设置的目标点的对应关系,根据对应关系以及目标点在世界坐标系中的坐标,确定第一组特征点和第二组特征点在世界坐标系中对应的坐标,根据第一组特征点和第二组特征点在图像坐标系中的坐标以及在世界坐标系中对应的坐标,对鱼眼相机进行标定,并得到畸变图对应的校正图,根据本发明实施例的鱼眼相机的标定方法及装置能够利用单幅图像完成相机内外参数的标定,能够提高标定的精确度,简化标定过程,并能够提高标定的实时性。
根据下面参考附图对示例性实施例的详细说明,本发明的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面,并且用于解释本发明的原理。
图1示出鱼眼相机所采集的图像发生桶形畸变的示意图;
图2示出鱼眼相机投影模型的示意图;
图3示出根据本发明一实施例的鱼眼相机的标定方法的实现流程图;
图4示出根据本发明一实施例的鱼眼相机的标定方法中的畸变图的示意图;
图5示出根据本发明一实施例的鱼眼相机的标定方法中第一组特征点51的示意图;
图6示出根据本发明一实施例的鱼眼相机的标定方法中投影图的示意图;
图7示出根据本发明一实施例的鱼眼相机的标定方法中反投影得到的畸变图以及第二组特征点71的示意图;
图8示出相关技术中对单幅鱼眼图像进行标定的结果的示意图;
图9示出根据本发明一实施例的鱼眼相机的标定方法中对单幅鱼眼图像进行标定的结果的示意图;
图10示出根据本发明另一实施例的鱼眼相机的标定装置的结构框图;
图11示出了本发明的另一个实施例的一种鱼眼相机的标定设备的结构框图。
具体实施方式
以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外,为了更好的说明本发明,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本发明同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本发明的主旨。
实施例1
图3示出根据本发明一实施例的鱼眼相机的标定方法的实现流程图。如图3所示,该方法包括:
在步骤S301中,检测畸变图中的第一组特征点。
其中,畸变图为鱼眼相机采集的图像。
在一种可能的实现方式中,第一组特征点为预先放置于鱼眼相机的采集范围中央的棋盘格标定布对应的特征点;第二组特征点为预先放置于鱼眼相机的采集范围内、棋盘格标定布两侧的多边形标定布对应的特征点。其中,多边形标定布可以预先放置于棋盘格标定布左右两侧等距处。
在一种可能的实现方式中,多边形标定布为矩形标定布。
在其他实现方式中,多边形标定布还可以为菱形标定布、三角形标定布或者梯形标定布等,在此不作限定。
图4示出根据本发明一实施例的鱼眼相机的标定方法中的畸变图的示意图。如图4所示,鱼眼相机的图像发生了畸变。
图5示出根据本发明一实施例的鱼眼相机的标定方法中第一组特征点51的示意图。其中,第一组特征点51可以为棋盘格格点,例如,可以为棋盘格的内角点。为了便于说明,在图5中未对所有棋盘格格点进行标注。
在一种可能的实现方式中,检测畸变图中的第一组特征点,包括:采用角点检测算法检测畸变图中的第一组特征点。
在步骤S302中,对畸变图进行投影处理,得到畸变图对应的投影图。
由于鱼眼相机一般安装在车身四周,与水平地面之间存在一个倾斜角,导致鱼眼相机采集的图像中会产生较大的畸变。由图4所示的畸变图可知,棋盘格两侧的矩形图像比棋盘格图像的畸变程度更大,矩形变成了上窄下宽的梯形或者其他不规则的形状,而不是标准的平行四边形。畸变图中标定布的跨度较大,畸变图中部棋盘格上的特征点较容易被检测到,但两侧矩形边缘的特征点可能无法被检测到,这会影响后续的标定,导致标定结果的准确度较低,从而对后续的车载图像拼接、图像处理带来累积误差,影响实用效果。为了修正这些不足,在本实施例中,在检测畸变图中的第一组特征点后,可以对畸变图进行投影处理,例如,以水平地面作为投影面,得到俯视投影图,从而让三维空间中的二维形状的原像表现出三维的视觉效果,也就是说,将前视图(畸变图)中不规则的图像进行投影得到俯视图(投影图)中规则的矩形,这样,原图像中的形状可以被很好地保留,且标定后的图像也不会失真,也可以使投影变换后的图像上的特征点更容易被检测到。
在一种可能的实现方式中,对畸变图进行投影处理,得到畸变图对应的投影图,包括:将水平面作为投影面,并将畸变图投影在水平面上,得到畸变图对应的投影图。
投影的公式如式4所示:
Figure BDA0001166426610000081
其中,u,v为畸变图中的坐标,
Figure BDA0001166426610000091
为变换矩阵,投影图中的坐标为x,y;其中,
Figure BDA0001166426610000092
Figure BDA0001166426610000093
已知投影变换对应的几个点,就可以求取变换矩阵,根据变换矩阵可以得到投影图。
为了推及至一般的情况,即从任意的四边形投影到另外一个四边形,可以选择一种规则的图像作为中间图形,例如:矩形、正方形或者菱形等。在一种可能的实现方式中,可以取一个正方形,并利用该正方形来模拟求解变换矩阵的参数的过程。设正方形的四个特征点分别为(0,0)、(1,0)、(0,1)、(1,1),变换后的四个特征点对应的坐标分别为(x0,y0)、(x1,y1)、(x2,y2)、(x3,y3),根据变换公式得到:
a31=x0
a11+a31-a13x1=x1
a21+a31-a23x2=x2
a11+a21+a31-a13x3-a23x3=x3
a32=y0
a12+a32-a23y1=y1
a22+a32-a23y2=y2
a12+a22+a32-a23y3-a23y3=y3
定义几个辅助变量:
Δx1=x1-x2
Δx2=x3-x2
Δx3=x0-x1+x2-x3
Δy1=y1-y2
Δy2=y3-y2
Δy3=y0-y1+y2-y3
当Δx3和Δy3都为0时,变换后的平面与原来的平面是平行的,可以得到:
a11=x1-x0
a21=x2-x1
a31=x0
a12=y1-y0
a22=y2-y1
a32=y0
a13=0;
a12=0。
当Δx3和/或Δy3不为0时,可以得到:
a11=x1-x0+a12x1
a21=x3-x0+a12x2
a31=x0
a12=y1-y0+a13y1
a22=y3-y0+a23y3
a32=0;
Figure BDA0001166426610000111
Figure BDA0001166426610000112
上述过程求解出的变换矩阵可以将一个正方形变换成一个凸四边形。同理,也可以将一个任意凸四边形变换成一个正方形。
对图4所示的畸变图进行如上述过程所示的变换,可以将畸变图中的非标准的四边形投影到水平地面上,得到标准的矩形,如图6所示。图6示出根据本发明一实施例的鱼眼相机的标定方法中投影图的示意图。
在步骤S303中,检测投影图中的第二组特征点。
进行投影处理得到投影图中,图像中的边缘区域(例如图6中的矩形区域)的特征点更容易被检测。
在一种可能的实现方式中,检测投影图中的第二组特征点,包括:采用角点检测算法检测投影图中的第二组特征点。
在步骤S304中,对投影图进行反投影处理,得到畸变图,并确定第一组特征点和第二组特征点在畸变图的图像坐标系中的坐标。
图7示出根据本发明一实施例的鱼眼相机的标定方法中反投影得到的畸变图以及第二组特征点71的示意图。其中,第二组特征点71可以为多边形的顶点。
在步骤S305中,根据第一组特征点和第二组特征点的位置确定第一组特征点和第二组特征点与预先设置的目标点的对应关系。
其中,预先设置的目标点在世界坐标系中的坐标已知。
在步骤S306中,根据对应关系以及目标点在世界坐标系中的坐标,确定第一组特征点和第二组特征点在世界坐标系中对应的坐标。
用(XW,YW,ZW)表示世界坐标系中的坐标,用(XC,YC,ZC)表示相机坐标系中的坐标,用(x,y)表示图像坐标系中的坐标,用(u,v)表示像素坐标系中的坐标,四个坐标系之间的转换关系如下:
Figure BDA0001166426610000121
Figure BDA0001166426610000122
Figure BDA0001166426610000123
Figure BDA0001166426610000124
Figure BDA0001166426610000125
其中,f表示鱼眼相机的焦距,dx表示第一参数表中的每个像素在图像平面的水平轴方向上的物理尺寸,dy表示第一参数表中的每个像素在图像平面的垂直轴方向上的物理尺寸。
Figure BDA0001166426610000126
为鱼眼相机的外部参数矩阵,R为3×3的正交旋转矩阵,t为三维平移向量,R和t为外部参数。
Figure BDA0001166426610000127
为内部参数矩阵,ax、ay、u0和v0为内部参数。
在步骤S307中,根据第一组特征点和第二组特征点在图像坐标系中的坐标以及在世界坐标系中对应的坐标,对鱼眼相机进行标定,并得到畸变图对应的校正图。
在本实施例中,第一组特征点和第二组特征点在很大程度上已经布满了整个图像。设(X,Y,Z)为空间中的一个三维点,它在成像平面对应的像素坐标系中的坐标为(u,v),在考虑畸变的情况下,列出方程组:
Figure BDA0001166426610000131
Figure BDA0001166426610000132
Figure BDA0001166426610000133
r2=a2+b2
θ=a tan(r);
θ′=θ(1+k1θ2+k2θ4+k3θ6+k4θ8);
Figure BDA0001166426610000134
Figure BDA0001166426610000135
u=fxx′+cx
v=fyy′+cy
其中,r表示投影点到图像中心点的距离,k1~k4表示鱼眼相机的畸变参数,fx表示内部参数矩阵的水平轴的尺度因子,fy表示内部参数矩阵的垂直轴的尺度因子。利用矩阵的L-U分解求解方程组,可得到鱼眼相机的内外参数,从而完成鱼眼相机的标定。
图8示出相关技术中对单幅鱼眼图像进行标定的结果的示意图。如图8所示,在相关技术中,若使用单幅鱼眼图像,则图像中部的棋盘格部分能够得到较好的校正,但其他部分的校正效果较差。
图9示出根据本发明一实施例的鱼眼相机的标定方法中对单幅鱼眼图像进行标定的结果的示意图。
下面给出根据本实施例进行实验得到的示例性的部分标定结果:
图9所示的图像的平均误差为:0.0975531像素;
总体平均误差为:0.0975531像素;
相机的内部参数矩阵为:
Figure BDA0001166426610000141
畸变系数(包括两个径向畸变系数和两个切向畸变系数)为:
[0.045846,0.605714,-0.657144,-0.0388607]。
通过实验得到的数据以及图9所示的校正图,可以看出,根据本实施例提供的鱼眼相机的标定方法进行相机标定的平均误差很小,且内部参数矩阵中得到的中心点值与中心点的理论值相差很小,且标定后的图像畸变得到了很大的改善,标定结果更为精确。
根据本发明实施例的鱼眼相机的标定方法能够利用单幅图像完成相机内外参数的标定,能够提高标定的精确度,简化标定过程,并能够提高标定的实时性。此外,根据本发明实施例的鱼眼相机的标定方法具有普遍性,能够应用于多领域。
实施例2
图10示出根据本发明另一实施例的鱼眼相机的标定装置的结构框图。如图10所示,该装置包括:第一组特征点检测模块181,用于检测畸变图中的第一组特征点;投影模块182,用于对所述畸变图进行投影处理,得到所述畸变图对应的投影图;第二组特征点检测模块183,用于检测所述投影图中的第二组特征点;反投影模块184,用于对所述投影图进行反投影处理,得到所述畸变图,并确定所述第一组特征点和所述第二组特征点在所述畸变图的图像坐标系中的坐标;对应关系确定模块185,用于根据所述第一组特征点和所述第二组特征点的位置确定所述第一组特征点和所述第二组特征点与预先设置的目标点的对应关系;坐标确定模块186,用于根据所述对应关系以及所述目标点在世界坐标系中的坐标,确定所述第一组特征点和所述第二组特征点在世界坐标系中对应的坐标;标定与校正模块187,用于根据所述第一组特征点和所述第二组特征点在所述图像坐标系中的坐标以及在所述世界坐标系中对应的坐标,对所述鱼眼相机进行标定,并得到所述畸变图对应的校正图。
在一种可能的实现方式中,所述第一组特征点为预先放置于所述鱼眼相机的采集范围中央的棋盘格标定布对应的特征点;所述第二组特征点为预先放置于所述鱼眼相机的采集范围内、所述棋盘格标定布两侧的多边形标定布对应的特征点。
在一种可能的实现方式中,所述多边形标定布为矩形标定布。
在一种可能的实现方式中,所述投影模块182用于:将水平面作为投影面,并将所述畸变图投影在水平面上,得到所述畸变图对应的投影图。
在一种可能的实现方式中,所述第一组特征点检测模块用于:采用角点检测算法检测所述畸变图中的第一组特征点;所述第二组特征点检测模块用于:采用所述角点检测算法检测所述投影图中的第二组特征点。
根据本发明实施例的鱼眼相机的标定装置能够利用单幅图像完成相机内外参数的标定,能够提高标定的精确度,简化标定过程,并能够提高标定的实时性。
实施例3
图11示出了本发明的另一个实施例的一种鱼眼相机的标定设备的结构框图。所述鱼眼相机的标定设备1100可以是鱼眼相机或者与鱼眼相机相连的个人计算机PC等,在此不作限定。本发明具体实施例并不对计算节点的具体实现做限定。
所述鱼眼相机的标定设备1100包括处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)1130和总线1140。其中,处理器1110、通信接口1120、以及存储器1130通过总线1140完成相互间的通信。
通信接口1120用于与网络设备通信,其中网络设备包括例如虚拟机管理中心、共享存储等。
处理器1110用于执行程序。处理器1110可能是一个中央处理器CPU,或者是专用集成电路ASIC(Application Specific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器1130用于存放文件。存储器1130可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1130也可以是存储器阵列。存储器1130还可能被分块,并且所述块可按一定的规则组合成虚拟卷。
在一种可能的实施方式中,上述程序可为包括计算机操作指令的程序代码。该程序具体可用于:实现实施例1或者实施例2中各步骤的操作。
本领域普通技术人员可以意识到,本文所描述的实施例中的各示例性单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件形式来实现,取决于技术方案的特定应用和设计约束条件。专业技术人员可以针对特定的应用选择不同的方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
如果以计算机软件的形式来实现所述功能并作为独立的产品销售或使用时,则在一定程度上可认为本发明的技术方案的全部或部分(例如对现有技术做出贡献的部分)是以计算机软件产品的形式体现的。该计算机软件产品通常存储在计算机可读取的非易失性存储介质中,包括若干指令用以使得计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各实施例方法的全部或部分步骤。而前述的存储介质包括U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种鱼眼相机的标定方法,其特征在于,包括:
检测畸变图中的第一组特征点;
对所述畸变图进行投影处理,得到所述畸变图对应的投影图;
检测所述投影图中的第二组特征点;
对所述投影图进行反投影处理,得到所述畸变图,并确定所述第一组特征点和所述第二组特征点在所述畸变图的图像坐标系中的坐标;
根据所述第一组特征点和所述第二组特征点的位置确定所述第一组特征点和所述第二组特征点与预先设置的目标点的对应关系;
根据所述对应关系以及所述目标点在世界坐标系中的坐标,确定所述第一组特征点和所述第二组特征点在世界坐标系中对应的坐标;
根据所述第一组特征点和所述第二组特征点在所述图像坐标系中的坐标以及在所述世界坐标系中对应的坐标,对所述鱼眼相机进行标定,并得到所述畸变图对应的校正图,
其中,所述第一组特征点包括预先放置于所述鱼眼相机的采集范围中央的棋盘格标定布对应的特征点;
所述第二组特征点包括预先放置于所述鱼眼相机的采集范围内、所述棋盘格标定布两侧的多边形标定布对应的特征点。
2.根据权利要求1所述的方法,其特征在于,所述多边形标定布为矩形标定布。
3.根据权利要求1所述的方法,其特征在于,对所述畸变图进行投影处理,得到所述畸变图对应的投影图,包括:
将水平面作为投影面,并将所述畸变图投影在水平面上,得到所述畸变图对应的投影图。
4.根据权利要求1所述的方法,其特征在于,检测畸变图中的第一组特征点,包括:采用角点检测算法检测所述畸变图中的第一组特征点;
检测所述投影图中的第二组特征点,包括:采用所述角点检测算法检测所述投影图中的第二组特征点。
5.一种鱼眼相机的标定装置,其特征在于,包括:
第一组特征点检测模块,用于检测畸变图中的第一组特征点;
投影模块,用于对所述畸变图进行投影处理,得到所述畸变图对应的投影图;
第二组特征点检测模块,用于检测所述投影图中的第二组特征点;
反投影模块,用于对所述投影图进行反投影处理,得到所述畸变图,并确定所述第一组特征点和所述第二组特征点在所述畸变图的图像坐标系中的坐标;
对应关系确定模块,用于根据所述第一组特征点和所述第二组特征点的位置确定所述第一组特征点和所述第二组特征点与预先设置的目标点的对应关系;
坐标确定模块,用于根据所述对应关系以及所述目标点在世界坐标系中的坐标,确定所述第一组特征点和所述第二组特征点在世界坐标系中对应的坐标;
标定与校正模块,用于根据所述第一组特征点和所述第二组特征点在所述图像坐标系中的坐标以及在所述世界坐标系中对应的坐标,对所述鱼眼相机进行标定,并得到所述畸变图对应的校正图,
其中,所述第一组特征点包括预先放置于所述鱼眼相机的采集范围中央的棋盘格标定布对应的特征点;
所述第二组特征点包括预先放置于所述鱼眼相机的采集范围内、所述棋盘格标定布两侧的多边形标定布对应的特征点。
6.根据权利要求5所述的装置,其特征在于,所述多边形标定布为矩形标定布。
7.根据权利要求5所述的装置,其特征在于,所述投影模块用于:
将水平面作为投影面,并将所述畸变图投影在水平面上,得到所述畸变图对应的投影图。
8.根据权利要求5所述的装置,其特征在于,所述第一组特征点检测模块用于:采用角点检测算法检测所述畸变图中的第一组特征点;
所述第二组特征点检测模块用于:采用所述角点检测算法检测所述投影图中的第二组特征点。
CN201611078045.6A 2016-10-28 2016-11-30 鱼眼相机的标定方法及装置 Active CN106846409B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610963891 2016-10-28
CN201610963891X 2016-10-28

Publications (2)

Publication Number Publication Date
CN106846409A CN106846409A (zh) 2017-06-13
CN106846409B true CN106846409B (zh) 2020-05-01

Family

ID=59146345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611078045.6A Active CN106846409B (zh) 2016-10-28 2016-11-30 鱼眼相机的标定方法及装置

Country Status (1)

Country Link
CN (1) CN106846409B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107749071B (zh) * 2017-09-12 2020-04-10 深圳市易成自动驾驶技术有限公司 大畸变棋盘格图像角点检测方法及装置
CN107833255A (zh) * 2017-11-17 2018-03-23 广州市安晓科技有限责任公司 一种鱼眼镜头的快速标定方法
CN108171673B (zh) * 2018-01-12 2024-01-23 京东方科技集团股份有限公司 图像处理方法、装置、车载抬头显示系统及车辆
CN108447095A (zh) * 2018-01-31 2018-08-24 潍坊歌尔电子有限公司 一种鱼眼相机标定方法和装置
CN110351494B (zh) * 2018-04-02 2020-06-26 杭州海康威视数字技术股份有限公司 一种全景视频合成方法、装置及电子设备
CN108805936B (zh) * 2018-05-24 2021-03-26 北京地平线机器人技术研发有限公司 摄像机外参标定方法、装置和电子设备
CN109615659B (zh) * 2018-11-05 2023-05-05 成都西纬科技有限公司 一种车载多摄像机环视系统的摄像机参数获得方法及装置
CN109816732B (zh) * 2018-12-29 2020-12-11 百度在线网络技术(北京)有限公司 标定方法、标定系统、矫正方法、矫正系统及车辆
CN109978956B (zh) * 2019-03-22 2021-07-06 新华三技术有限公司 采集设备的标定方法、装置及标定系统
CN110378966B (zh) * 2019-06-11 2023-01-06 北京百度网讯科技有限公司 车路协同相机外参标定方法、装置、设备及存储介质
CN111731187A (zh) * 2020-06-19 2020-10-02 杭州视为科技有限公司 一种汽车a柱盲区图像显示系统及方法
CN112967344B (zh) * 2021-03-09 2023-12-08 阿波罗智联(北京)科技有限公司 相机外参标定的方法、设备、存储介质及程序产品
CN113676618A (zh) * 2021-08-20 2021-11-19 东北大学 一种透明a柱的智能显示系统及方法
CN113822941B (zh) * 2021-09-03 2023-12-19 大连中科创达软件有限公司 相机倾斜校准方法、装置、设备及存储介质
CN113947638B (zh) * 2021-10-04 2023-05-05 桂林理工大学 鱼眼相机影像正射纠正方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101726855A (zh) * 2009-11-13 2010-06-09 河北工业大学 基于立方体投影对鱼眼图像畸变校正方法
CN102298771A (zh) * 2011-08-16 2011-12-28 淮安盈科伟力科技有限公司 全景泊车辅助系统的鱼眼图像快速校正方法
CN102663734A (zh) * 2012-03-15 2012-09-12 天津理工大学 鱼眼镜头的标定及鱼眼图像的畸变矫正方法
CN103247030A (zh) * 2013-04-15 2013-08-14 丹阳科美汽车部件有限公司 基于球面投影模型和逆变换模型的车辆全景显示系统鱼眼图像校正方法
CN104240236A (zh) * 2014-08-26 2014-12-24 中山大学 一种鱼眼镜头标定后鱼眼图像校正的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101726855A (zh) * 2009-11-13 2010-06-09 河北工业大学 基于立方体投影对鱼眼图像畸变校正方法
CN102298771A (zh) * 2011-08-16 2011-12-28 淮安盈科伟力科技有限公司 全景泊车辅助系统的鱼眼图像快速校正方法
CN102663734A (zh) * 2012-03-15 2012-09-12 天津理工大学 鱼眼镜头的标定及鱼眼图像的畸变矫正方法
CN103247030A (zh) * 2013-04-15 2013-08-14 丹阳科美汽车部件有限公司 基于球面投影模型和逆变换模型的车辆全景显示系统鱼眼图像校正方法
CN104240236A (zh) * 2014-08-26 2014-12-24 中山大学 一种鱼眼镜头标定后鱼眼图像校正的方法

Also Published As

Publication number Publication date
CN106846409A (zh) 2017-06-13

Similar Documents

Publication Publication Date Title
CN106846409B (zh) 鱼眼相机的标定方法及装置
US11039121B2 (en) Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
CN106815869B (zh) 鱼眼相机的光心确定方法及装置
CN110717942B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
JP5739584B2 (ja) 車両周辺視角化のための3次元映像合成装置およびその方法
CN104778656B (zh) 基于球面透视投影的鱼眼图像校正方法
US11195252B2 (en) System and method for rectifying a wide-angle image
JP2017208619A (ja) 画像処理装置、画像処理方法、プログラム及び撮像システム
JP6683307B2 (ja) 多数のカメラを用いた最適の球形映像獲得方法
WO2017205102A1 (en) Imaging system comprising real-time image registration
CN108734738B (zh) 相机标定方法及装置
US20170339400A1 (en) Registering cameras in a multi-camera imager
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
Hata et al. Cs231a course notes 1: Camera models
KR20190130407A (ko) 전방위 카메라의 캘리브레이션을 위한 장치 및 방법
US10812691B2 (en) Image capturing apparatus and image capturing method
JP2005275789A (ja) 三次元構造抽出方法
JP2017021430A (ja) パノラマビデオデータの処理装置、処理方法及びプログラム
CN111353945A (zh) 鱼眼图像校正方法、装置及存储介质
KR102192347B1 (ko) 실시간 폴리곤 기반 360 영상 복원 방법 및 그 장치
TWI731430B (zh) 資訊顯示方法與資訊顯示系統
CN113674356A (zh) 相机筛选方法及相关装置
CN111131689B (zh) 全景图像修复方法和系统
CN110268439B (zh) 运动图像角点排序器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant