CN109242779B - 一种相机成像模型的构建方法、装置及汽车自动驾驶系统 - Google Patents
一种相机成像模型的构建方法、装置及汽车自动驾驶系统 Download PDFInfo
- Publication number
- CN109242779B CN109242779B CN201810823524.9A CN201810823524A CN109242779B CN 109242779 B CN109242779 B CN 109242779B CN 201810823524 A CN201810823524 A CN 201810823524A CN 109242779 B CN109242779 B CN 109242779B
- Authority
- CN
- China
- Prior art keywords
- coordinates
- camera
- image
- image coordinates
- arbitrary point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000010276 construction Methods 0.000 claims abstract description 13
- 238000005070 sampling Methods 0.000 claims abstract description 12
- 230000009466 transformation Effects 0.000 claims description 25
- 230000001131 transforming effect Effects 0.000 claims description 24
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000013519 translation Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 230000014616 translation Effects 0.000 claims 4
- 230000003287 optical effect Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 241000764238 Isis Species 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
- G06T3/604—Rotation of whole images or parts thereof using coordinate rotation digital computer [CORDIC] devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Remote Sensing (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Computer Graphics (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种相机成像模型的构建方法、装置与汽车自动驾驶系统,用于,标定计算后准确得到的内、外参数对相机成像系统的描述。该构建方法包括:对任意点P的世界坐标按照预设方式转换为目标相机的相机坐标;将所述相机坐标转换为所述目标相机的图像坐标;将所述图像坐标转换为数字图像坐标,并构建出所述相机成像模型;其中所述将所述图像坐标转换为数字图像坐标的方法为:对所述任意点P进行空间采样,并根据计算将原点坐标调整到图像坐标上。在本发明的技术方案中,靠旋转坐标系建立切变模型,使得相机成像模型迅速精准构建。
Description
技术领域
本发明涉及图像处理领域,特别涉及一种相机成像模型的构建方法、装置及汽车自动驾驶系统。
背景技术
通常来讲,相机的成像系统由镜头、图像传感器组成。由于成像过程是非常复杂的,真实的物理空间与数字图像空间之间,存在很多畸变。例如:横纵比畸变(由图像传感器采样间隔不一致导致)、平面透视投影畸变(由成像角度导致)、光学畸变(由镜头畸变导致)等。对于一般的相机成像系统,其畸变都是由线性畸变与非线性畸变叠加而成,而这些畸变构成了相机的成像模型。相机的标定过程就是要根据相机的成像模型,计算其中的未知参数。只有相机的成像模型才能准确描述数字图像空间(即:数字图像坐标系)到真实物理空间(即:世界坐标系)的转换关系。
Image(x,y)<<P(a,b,c....)<<World(X,Y,Z)
上式中,World(X,Y,Z)代表世界坐标系某空间点的三维坐标(X,Y,Z);Image(x,y)代表数字图像坐标系某像素的二维坐标(x,y);P(a,b,c....)中的P代表相机的成像模型,a、b、c...等代表成像模型中的若干参数,相机的标定就是在确定相机成像模型P后,求解a、b、c...等参数的过程。世界坐标系中某空间点的三维坐标通过与相机成像模型进行计算,可以得到该点对应的数字图像坐标。
不同的成像系统(如:鱼眼相机、水下相机、宽视角相机、窄视角相机)可以使用不同的模型进行更准确的描述,模型建立后,再通过标定过程计算出这些模型中的参数(被称作相机内参与相机外参),最终可以得到对成像系统进行描述的相机内参与相机外参。模型建立的好坏,直接关系到标定计算后得到的内、外参数对相机成像系统描述的准确性。
因此,在现有技术中则存在因成像模型构建的不够科学导致的标定计算速度缓慢,且标定计算后得到的内、外参数对相机成像系统描述不够准确的问题。
发明内容
本发明提供一种相机成像模型的构建方法、装置及汽车自动驾驶系统,以解决现有技术中存在的因成像模型构建的不够科学导致标定计算后得到的内、外参数对相机成像系统描述不够准确的问题。
为了达到上述目的,根据本发明的第一个方面,提供一种相机成像模型的构建方法,并采用如下具体方案:
一种相机成像模型的构建方法包括:对任意点P的世界坐标按照预设方式转换为目标相机的相机坐标;将所述相机坐标转换为所述目标相机的图像坐标;将所述图像坐标转换为数字图像坐标,并构建出所述相机成像模型;;其中所述将所述图像坐标转换为数字图像坐标的方法为:对所述任意点P进行空间采样,并根据公式(1)将原点坐标调整到图像坐标上,所述公式(1)为:
其中,ku=1/dx,kv=1/dy,dx和dy分别为所述目标相机的图像传感器横向和纵向的采样间隔,(u0,v0)为图像坐标系与数字图像坐标系两个原点间的平移量,(x,y)为所述任意点P的图像坐标,(u,v)为所述任意点P的数字图像坐标。
进一步地,所述对任意点P的世界坐标按照预设方式转换为目标相机的相机坐标包括:将所述任意点P的世界坐标系OwXwYwZw分别绕其X轴、Y轴和Z轴旋转,然后将其坐标原点平移到Oc,即可得到相机坐标系OcXcYcZc;其中,(Xw,Yw,Zw)为所述任意点P的世界坐标,(Xc,Yc,Zc)为所述任意点P对应的相机坐标,Ow为所述任意点P的世界坐标系中的原点坐标,Oc为相机坐标系的原点坐标。
进一步地,所述将所述相机坐标转换为所述目标相机的图像坐标包括:将所述相机坐标变换为归一化图像坐标;再将所述归一化图像坐标变换到畸变归一化图像坐标;然后将所述畸变归一化图像坐标变换到所述图像坐标。
进一步地,所述将所述相机坐标变换为归一化图像坐标包括:通过公式(2)将所述相机坐标变换为所述归一化图像坐标:
其中,(xu,yu)为所述任意点P理想的归一化图像坐标,(Xc,Yc,Zc)为所述任意点P对应的相机坐标。
进一步地,所述将所述归一化图像坐标变换到畸变归一化图像坐标包括:通过公式(3)将所述归一化图像坐标变换到所述畸变归一化图像坐标:
其中,(xd,yd)为所述任意点P的畸变归一化图像坐标,(xu,yu)为该点理想归一化图像坐标,k1、k2、k3为镜头径向畸变系数。
进一步地,所述将所述畸变归一化图像坐标变换到所述图像坐标包括:通过公式(4)将所述畸变归一化图像坐标变换到所述图像坐标:
其中,(x,y)为所述任意点P的图像坐标,(xd,yd)为所述任意点P的畸变归一化图像坐标,f为透镜焦距。
进一步地,所述构建出所述相机成像模型包括:根据所述公式(1)、所述公式(2)、所述公式(3)及所述公式(4)获取所述成像模型为:
其中,s为比例因子,其取值为1/Zc,a描述从世界坐标到归一化图像坐标的转换;b描述从归一化图像坐标到畸变归一化图像坐标的非线性转换,k1、k2、k3为镜头径向畸变系数;c则描述了从畸变归一化图像坐标到数字图像坐标的转换,矩阵A被称为相机的内部参数,包括2个缩放、1个旋转和2个平移总共5个自由度。
根据本发明的第二个方面,提供一种相机成像模型的构建装置,并采用如下技术方案:
该相机成像模型的构建装置,包括:第一转换模块,用于对任意点P的世界坐标按照预设方式转换为目标相机的相机坐标;第二转换模块,用于将所述相机坐标转换为所述目标相机的图像坐标;构建模块,用于将所述图像坐标转换为数字图像坐标,并构建出所述相机成像模型;其中所述构建模块还用于:对所述任意点P进行空间采样,并根据公式(1)将原点坐标调整到图像坐标上,所述公式(1)为:
其中,ku=1/dx,kv=1/dy,dx和dy分别为所述目标相机的图像传感器横向和纵向的采样间隔,(u0,v0)为图像坐标系与数字图像坐标系两个原点间的平移量,(x,y)为所述任意点P的图像坐标,(u,v)为所述任意点P的数字图像坐标。
进一步地,所述第一转换模块包括:旋转模块,用于将所述任意点P的世界坐标系OwXwYwZw分别绕其X轴、Y轴和Z轴旋转,然后将其坐标原点平移到Oc,即可得到相机坐标系OcXcYcZc;其中,(Xw,Yw,Zw)为所述任意点P的世界坐标,(Xc,Yc,Zc)为所述任意点P对应的相机坐标,Ow为所述任意点P的世界坐标系中的原点坐标,Oc为相机坐标系的原点坐标。
进一步地,所述第二转换模块包括:第一转换子模块,用于将所述相机坐标变换为归一化图像坐标;第二转换子模块,用于再将所述归一化图像坐标变换到畸变归一化图像坐标;第三转换子模块,用于然后将所述畸变归一化图像坐标变换到所述图像坐标。
根据本发明的第三个方面,提供一种汽车自动驾驶系统,并采用如下技术方案:
该汽车自动驾驶系统包括上述的构建装置。
通常,在不考虑镜头光学畸变的情况下,从物体上一个空间点的世界坐标变换为该点的数字图像坐标,包含四个变换过程:世界坐标(Xw,Yw,Zw)到相机坐标(Xc,Yc,Zc)、相机坐标到归一化图像坐标(xu,yu)、归一化图像坐标到图像坐标(x,y)、图像坐标到数字图像坐标(u,v)。实际情况中,还要考虑镜头的光学畸变、图像传感器的切向畸变对成像造成的影响,所以,从物体上一个空间点的世界坐标变换为该点的数字图像坐标,具体为:世界坐标-相机坐标-归一化图像坐标-畸形归一化图像坐标-图像坐标-数字图像坐标,这五个过程通过五个变换来实现,因此,相机成像模型的构建过程复杂,且会产生畸变对成像造成的影响,因此,本发明通过对上述五个变换步骤在计算上进行优化处理,并在图像坐标转换为数字图像坐标时,靠旋转坐标系建立切变模型,使得相机成像模型迅速精准构建。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的一种相机成像模型的构建方法的简要流程图;
图2为本发明实施例所述的相机几何模型图(包含透射投影和镜头径向畸变);
图3为本发明实施例提供的世界坐标到数字图像坐标的变换过程图;
图4为本发明实施例提供的世界坐标系与相机坐标系之间的几何关系示意图;
图5为本发明实施例所述的镜头光学畸变的示意图;
图6为本发明实施例所述的光学畸变示意图;
图7为本发明实施例所述的图像数字化切变关系示意图;
图8为本发明实施例提供的相机成像模型的构建装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
首先,了解一下相机的成像工作过程如下:从物体所发出的光线,经过镜头成像在像平面上,图像传感器(比如CCD传感器)将光强信号转化为电信号,再经过信号放大和调理,最后进行采样、量化转换成数字图像,并通过数据输出单元进行数据输出。
图2为相机模型基本几何描述,其中(Xw,Yw,Zw)为物体上任意点P在世界坐标系中的三维坐标Pw。(Xc,Yc,Zc)为点P在相机坐标系中的三维坐标Pc,该坐标系的原点在光学中心点Oc,Zc轴和光轴重合。(xu,yu)为(Xc,Yc,Zc)的理想透射投影像点在归一化图像平面坐标系上的二维坐标Pu,(xd,yd)为实际透射投影像点在归一化图像平面坐标系上的二维坐标Pd,相对于(xu,yu)它考虑了镜头光学畸变的影响。
在不考虑镜头光学畸变情况下,从物体上一个空间点的世界坐标变换为该点的数字图像坐标,包含四个变换过程:世界坐标(Xw,Yw,Zw)到相机坐标(Xc,Yc,Zc)、相机坐标到归一化图像坐标(xu,yu)、归一化图像坐标到图像坐标(x,y)、图像坐标到数字图像坐标(u,v)。
在实际情况中,还要考虑镜头的光学畸变、图像传感器的切向畸变对成像造成的影响,所以,从物体上一个空间点的世界坐标变换为该点的数字图像坐标,这个过程可以通过图3中变换来实现。
具体的,参见图1,一种相机成像模型的构建方法包括:
S101:对任意点P的世界坐标按照预设方式转换为目标相机的相机坐标;
S103:将所述相机坐标转换为所述目标相机的图像坐标;
S105:将所述图像坐标转换为数字图像坐标,并构建出所述相机成像模型。
其中,所述将所述图像坐标转换为数字图像坐标的方法为:对所述任意点P进行空间采样,并根据公式(1)将原点坐标调整到图像坐标上,所述公式(1)为:
其中,ku=1/dx,kv=1/dy,dx和dy分别为所述目标相机的图像传感器横向和纵向的采样间隔,(u0,v0)为图像坐标系与数字图像坐标系两个原点间的平移量,(x,y)为所述任意点P的图像坐标,(u,v)为所述任意点P的数字图像坐标。
在本实施例的上述技术方案中,步骤S101,对任意点P的世界坐标按照预设方式转换为目标相机的相机坐标,具体如下:
其中,变换数学描述为:
其中(Xw,Yw,Zw)为空间任意点P的世界坐标;(Xc,Yc,Zc)为该点对应的相机坐标;为旋转矩阵;/>为平移向量。该变换描述了相机在世界坐标系中的位置和方向,旋转矩阵R和平移向量t被统称为相机的外参。
如图4所示,旋转矩阵R表征从世界坐标系OwXwYwZw到相机坐标系OcXcYcZc之间的旋转关系,t表征两个坐标系原点之间的平移量。将坐标系OwXwYwZw分别绕其X轴、Y轴和Z轴旋转,然后将其坐标原点平移到Oc,即可得到相机坐标系OcXcYcZc。假定坐标系OwXwYwZw绕X轴、Y轴和Z轴的旋转角分别为φx、φy和φz,则这三个旋转过程的数学表示为:
其中sφ表示φ的正弦值,cφ表示φ的余弦值。旋转矩阵R可以表示如下:
步骤S103中,将所述相机坐标转换为所述目标相机的图像坐标;在该步骤中,包括了图3中的从相机坐标到图像坐标的过程,在该步骤中,具体有包括:
1.相机坐标到归一化图像坐标的变换;
相机坐标到归一化图像坐标的变换数学描述为:
其中(xu,yu)为某空间任意点P理想的归一化图像坐标,(Xc,Yc,Zc)为该点对应的相机坐标。归一化图像平面实际上是垂直于光轴、距离透镜中心单位距离的像平面,归一化图像平面上的点坐标实际上是点P在三维相机坐标系下的齐次坐标。归一化图像坐标系的原点为光轴与归一化图像平面的交点。
2.归一化图像坐标到畸变归一化图像坐标的变换;
如图5所示为镜头光学畸变的示意图,图中黑色网格交点为理想的图像坐标点,黑色点为相对应的畸变后的图像坐标点。
光学畸变主要表现在透视投影变换的过程中,是一个非线性的变换过程,其数学描述为:
其中(xd,yd)为某空间任意点P的畸变归一化图像坐标,(xu,yu)为该点理想归一化图像坐标,k1、k2、k3为镜头径向畸变系数。
如图6所示,当k1、k2、k3=0时,表征无非线性光学畸变;当k1、k2、k3>0时,也称作枕形畸变;当k1、k2、k3<0时,也称作桶形畸变。
3.畸变归一化图像坐标到图像坐标的变换
变换数学描述为:
其中(x,y)为某空间点P的图像坐标,(xd,yd)为该点的畸变归一化图像坐标。图像平面实际上是垂直于光轴、距离透镜中心为像距v(v≈f,f为透镜焦距)的像平面,图像平面坐标系的原点为光轴与图像平面的交点。用相机焦距f来近似成像点的像距v,是因为在实际成像系统中工作距离(物距)远大于相机焦距f,所以能够用焦距f来近似成像点的像距。
在步骤S105中,将所述图像坐标转换为数字图像坐标,并构建出所述相机成像模型。
所述将所述图像坐标转换为数字图像坐标的方法为:对所述任意点P进行空间采样,并根据公式(1)将原点坐标调整到图像坐标上,所述公式(1)为:
其中,ku=1/dx,kv=1/dy,dx和dy分别为所述目标相机的图像传感器横向和纵向的采样间隔,(u0,v0)为图像坐标系与数字图像坐标系两个原点间的平移量,(x,y)为所述任意点P的图像坐标,(u,v)为所述任意点P的数字图像坐标。
实际上,由于相机制造工艺的原因,图像传感器所在的平面无法与理想图像平面完全重合,这会导致两个坐标系之间存在切变,如图7所示。假设横纵轴的采样间隔分别为dx和dy,考虑切变影响的图像数字化的过程可以表示为:
还可以写为矩阵形式:
其中为图像坐标系到数字图像坐标系之间的切变角度,取逆时针为正。
综上,本发明的上述技术方案,完整阐述了图3中的5个变换过程,通过对上述五个变换步骤在计算上进行优化处理,尤其是在步骤S105中,在图像坐标转换为数字图像坐标时,靠旋转坐标系建立切变模型,使得相机成像模型迅速精准构建。
综合考虑上述成像步骤,相机的成像模型可以表示为:
其中,s为比例因子,其取值为1/Zc,公式a描述了从世界坐标到归一化图像坐标的转换;公式b则描述了从归一化图像坐标到畸变归一化图像坐标的非线性转换,k1、k2、k3为镜头径向畸变系数;公式c则描述了从畸变归一化图像坐标到数字图像坐标的转换,矩阵A被称为相机的内部参数,包括2个缩放、1个旋转和2个平移总共5个自由度。
参见图8所示,一种相机成像模型的构建装置,包括:第一转换模块80,用于对任意点P的世界坐标按照预设方式转换为目标相机的相机坐标;第二转换模块82,用于将所述相机坐标转换为所述目标相机的图像坐标;构建模块84,用于将所述图像坐标转换为数字图像坐标,根据所述数字图像坐标构建所述目标相机的相机成像模型;其中所述构建模块还用于:对所述任意点P进行空间采样,并根据公式(1)将原点坐标调整到图像坐标上,所述公式(1)为:
其中,ku=1/dx,kv=1/dy,dx和dy分别为所述目标相机的图像传感器横向和纵向的采样间隔,(u0,v0)为图像坐标系与数字图像坐标系两个原点间的平移量,(x,y)为所述任意点P的图像坐标,(u,v)为所述任意点P的数字图像坐标。
可选地,所述第一转换模块80包括:旋转模块(图中未示),用于将所述任意点P的世界坐标系OwXwYwZw分别绕其X轴、Y轴和Z轴旋转,然后将其坐标原点平移到Oc,即可得到相机坐标系OcXcYcZc;其中,(Xw,Yw,Zw)为所述任意点P的世界坐标,(Xc,Yc,Zc)为所述任意点P对应的相机坐标,Ow为所述任意点P的世界坐标系中的原点坐标,Oc为相机坐标系的原点坐标。
可选地,所述第二转换模块82包括:第一转换子模块(图中未示),用于将所述相机坐标变换为归一化图像坐标;第二转换子模块(图中未示),用于再将所述归一化图像坐标变换到畸变归一化图像坐标;第三转换子模块(图中未示),用于然后将所述畸变归一化图像坐标变换到所述图像坐标。
本发明提供的一种汽车自动驾驶系统包括上述的构建装置。
本发明在考虑通常四个变换过程:世界坐标(Xw,Yw,Zw)到相机坐标(Xc,Yc,Zc)、相机坐标到归一化图像坐标(xu,yu)、归一化图像坐标到图像坐标(x,y)、图像坐标到数字图像坐标(u,v)之外,还考虑了镜头的光学畸变、图像传感器的切向畸变对成像造成的影响,所以,通过五个变换过程来实现相机成像模型的构建,通过对上述五个变换步骤在计算上进行优化处理,并在图像坐标转换为数字图像坐标时,靠旋转坐标系建立切变模型,使得相机成像模型迅速精准构建。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种相机成像模型的构建方法,其特征在于,包括:
对任意点P的世界坐标按照预设方式转换为目标相机的相机坐标;
将所述相机坐标转换为所述目标相机的图像坐标;
将所述图像坐标转换为数字图像坐标,并构建出所述相机成像模型,其中,所述将所述图像坐标转换为数字图像坐标的方法为:
对所述任意点P进行空间采样,并根据公式(1)将原点坐标调整到图像坐标上,所述公式(1)为:
其中,ku=1/dx,kv=1/dy,dx和dy分别为所述目标相机的图像传感器横向和纵向的采样间隔,(u0,v0)为图像坐标系与数字图像坐标系两个原点间的平移量,(x,y)为所述任意点P的图像坐标,(u,v)为所述任意点P的数字图像坐标;
由于相机制造工艺的原因,图像传感器所在的平面无法与理想图像平面完全重合,这会导致两个坐标系之间存在切变,假设横纵轴的采样间隔分别为dx和dy,考虑切变影响的图像数字化的过程表示为:
其中为图像坐标系到数字图像坐标系之间的切变角度,取逆时针为正。
2.根据权利要求1所述的构建方法,其特征在于,所述对任意点P的世界坐标按照预设方式转换为目标相机的相机坐标包括:
将所述任意点P的世界坐标系OwXwYwZw分别绕其X轴、Y轴和Z轴旋转,然后将其坐标原点平移到Oc,即可得到相机坐标系OcXcYcZc;
其中,(Xw,Yw,Zw)为所述任意点P的世界坐标,(Xc,Yc,Zc)为所述任意点P对应的相机坐标,Ow为所述任意点P的世界坐标系中的原点坐标,Oc为相机坐标系的原点坐标。
3.根据权利要求1所述的构建方法,其特征在于,所述将所述相机坐标转换为所述目标相机的图像坐标包括:
将所述相机坐标变换为归一化图像坐标;
再将所述归一化图像坐标变换到畸变归一化图像坐标;
然后将所述畸变归一化图像坐标变换到所述图像坐标。
4.根据权利要求3所述的构建方法,其特征在于,所述将所述相机坐标变换为归一化图像坐标包括:
通过公式(2)将所述相机坐标变换为所述归一化图像坐标:
其中,(xu,yu)为所述任意点P理想的归一化图像坐标,(Xc,Yc,Zc)为所述任意点P对应的相机坐标。
5.根据权利要求3所述的构建方法,其特征在于,所述将所述归一化图像坐标变换到畸变归一化图像坐标包括:
通过公式(3)将所述归一化图像坐标变换到所述畸变归一化图像坐标:
其中,(xd,yd)为所述任意点P的畸变归一化图像坐标,(xu,yu)为该点理想归一化图像坐标,k1、k2、k3为镜头径向畸变系数。
6.根据权利要求3所述的构建方法,其特征在于,所述将所述畸变归一化图像坐标变换到所述图像坐标包括:
通过公式(4)将所述畸变归一化图像坐标变换到所述图像坐标:
其中,(x,y)为所述任意点P的图像坐标,(xd,yd)为所述任意点P的畸变归一化图像坐标,f为透镜焦距。
7.如权利要求6所述的构建方法,其特征在于,所述构建出所述相机成像模型包括:
根据所述公式(1)、所述公式(2)、所述公式(3)及所述公式(4)获取所述成像模型为:
其中,s为比例因子,其取值为1/Zc,a描述从世界坐标到归一化图像坐标的转换;b描述从归一化图像坐标到畸变归一化图像坐标的非线性转换,k1、k2、k3为镜头径向畸变系数;c则描述了从畸变归一化图像坐标到数字图像坐标的转换,矩阵A被称为相机的内部参数,包括2个缩放、1个旋转和2个平移5个自由度,为旋转矩阵;/>为平移向量。
8.一种相机成像模型的构建装置,其特征在于,包括:
第一转换模块,用于对任意点P的世界坐标按照预设方式转换为目标相机的相机坐标;
第二转换模块,用于将所述相机坐标转换为所述目标相机的图像坐标;
构建模块,用于将所述图像坐标转换为数字图像坐标,并构建出所述相机成像模型;其中所述构建模块还用于:
对所述任意点P进行空间采样,并根据公式(1)将原点坐标调整到图像坐标上,所述公式(1)为:
其中,ku=1/dx,kv=1/dy,dx和dy分别为所述目标相机的图像传感器横向和纵向的采样间隔,(u0,v0)为图像坐标系与数字图像坐标系两个原点间的平移量,(x,y)为所述任意点P的图像坐标,(u,v)为所述任意点P的数字图像坐标;
由于相机制造工艺的原因,图像传感器所在的平面无法与理想图像平面完全重合,这会导致两个坐标系之间存在切变,假设横纵轴的采样间隔分别为dx和dy,考虑切变影响的图像数字化的过程表示为:
其中为图像坐标系到数字图像坐标系之间的切变角度,取逆时针为正。
9.根据权利要求8所述的构建装置,其特征在于,所述第一转换模块包括:
旋转模块,用于将所述任意点P的世界坐标系OwXwYwZw分别绕其X轴、Y轴和Z轴旋转,然后将其坐标原点平移到Oc,即可得到相机坐标系OcXcYcZc;
其中,(Xw,Yw,Zw)为所述任意点P的世界坐标,(Xc,Yc,Zc)为所述任意点P对应的相机坐标,Ow为所述任意点P的世界坐标系中的原点坐标,Oc为相机坐标系的原点坐标。
10.一种汽车自动驾驶系统,其特征在于,包括权利要去8-9任一项所述的构建装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810823524.9A CN109242779B (zh) | 2018-07-25 | 2018-07-25 | 一种相机成像模型的构建方法、装置及汽车自动驾驶系统 |
US16/254,321 US10803621B2 (en) | 2018-07-25 | 2019-01-22 | Method and device for building camera imaging model, and automated driving system for vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810823524.9A CN109242779B (zh) | 2018-07-25 | 2018-07-25 | 一种相机成像模型的构建方法、装置及汽车自动驾驶系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109242779A CN109242779A (zh) | 2019-01-18 |
CN109242779B true CN109242779B (zh) | 2023-07-18 |
Family
ID=65072365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810823524.9A Active CN109242779B (zh) | 2018-07-25 | 2018-07-25 | 一种相机成像模型的构建方法、装置及汽车自动驾驶系统 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10803621B2 (zh) |
CN (1) | CN109242779B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3644279A1 (en) * | 2018-10-25 | 2020-04-29 | Continental Automotive GmbH | Static camera calibration using motion of vehicle portion |
US11830223B2 (en) * | 2019-04-08 | 2023-11-28 | Nec Corporation | Camera calibration apparatus, camera calibration method, and nontransitory computer readable medium storing program |
CN110378965B (zh) * | 2019-05-21 | 2022-04-15 | 北京百度网讯科技有限公司 | 确定路侧成像设备坐标系转换参数的方法、装置、设备 |
WO2021134507A1 (zh) * | 2019-12-31 | 2021-07-08 | 海能达通信股份有限公司 | 一种视频监控的定位方法及视频监控系统 |
CN112001379A (zh) * | 2020-05-19 | 2020-11-27 | 西安工程大学 | 基于机器视觉的汽车仪表固定视点读取仪表的修正算法 |
CN112562014A (zh) * | 2020-12-29 | 2021-03-26 | 纵目科技(上海)股份有限公司 | 相机标定方法、系统、介质及装置 |
CN113561947B (zh) * | 2021-07-02 | 2022-09-20 | 北京中科慧眼科技有限公司 | 一种乘用车自动制动方法、装置及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106780351A (zh) * | 2016-12-09 | 2017-05-31 | 浙江浩腾电子科技股份有限公司 | 一种车牌倾斜矫正方法 |
CN107748887A (zh) * | 2017-09-30 | 2018-03-02 | 五邑大学 | 一种基于显性与隐性线段检测的平面文档图像透视矫正方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050089213A1 (en) * | 2003-10-23 | 2005-04-28 | Geng Z. J. | Method and apparatus for three-dimensional modeling via an image mosaic system |
CN102111561A (zh) * | 2009-12-25 | 2011-06-29 | 新奥特(北京)视频技术有限公司 | 一种模拟真实场景的三维模型投影方法及装置 |
CN106485753B (zh) * | 2016-09-09 | 2019-09-10 | 奇瑞汽车股份有限公司 | 用于无人驾驶汽车的摄像机标定的方法和装置 |
CN106570820B (zh) * | 2016-10-18 | 2019-12-03 | 浙江工业大学 | 一种基于四旋翼无人机的单目视觉三维特征提取方法 |
CN107025670A (zh) * | 2017-03-23 | 2017-08-08 | 华中科技大学 | 一种远心相机标定方法 |
-
2018
- 2018-07-25 CN CN201810823524.9A patent/CN109242779B/zh active Active
-
2019
- 2019-01-22 US US16/254,321 patent/US10803621B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106780351A (zh) * | 2016-12-09 | 2017-05-31 | 浙江浩腾电子科技股份有限公司 | 一种车牌倾斜矫正方法 |
CN107748887A (zh) * | 2017-09-30 | 2018-03-02 | 五邑大学 | 一种基于显性与隐性线段检测的平面文档图像透视矫正方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109242779A (zh) | 2019-01-18 |
US10803621B2 (en) | 2020-10-13 |
US20200034987A1 (en) | 2020-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109242779B (zh) | 一种相机成像模型的构建方法、装置及汽车自动驾驶系统 | |
CN109767476B (zh) | 一种自动对焦双目摄像头标定及深度计算方法 | |
CN108257183B (zh) | 一种相机镜头光轴校准方法和装置 | |
CN105096329B (zh) | 一种精确校正超广角摄像头图像畸变的方法 | |
WO2018173551A1 (ja) | 較正装置、較正方法、光学装置、撮影装置および投影装置 | |
US20180160045A1 (en) | Method and device of image processing and camera | |
RU2016103197A (ru) | Система и способ моделирования и калибровки устройства формирования изображения | |
KR100914211B1 (ko) | 왜곡 영상 보정 장치 및 방법 | |
CN110689581A (zh) | 结构光模组标定方法、电子设备、计算机可读存储介质 | |
CN107633533B (zh) | 大畸变镜头下的高精度圆形标志点中心定位方法及装置 | |
WO2013182080A1 (zh) | 一种参数标定方法及装置 | |
Hanning | High precision camera calibration | |
CN111340888B (zh) | 一种无需白图像的光场相机检校方法及系统 | |
CN111461963B (zh) | 一种鱼眼图像拼接方法及装置 | |
CN111524174B (zh) | 一种动平台动目标双目视觉三维构建方法 | |
CN105374067A (zh) | 一种基于pal相机的三维重建方法及其重建系统 | |
CN114359405A (zh) | 一种离轴沙姆3d线激光相机的标定方法 | |
CN112470192A (zh) | 双摄像头标定方法、电子设备、计算机可读存储介质 | |
CN111627070B (zh) | 一种对旋转轴进行标定的方法、装置和存储介质 | |
CN113724337A (zh) | 一种无需依赖云台角度的相机动态外参标定方法及装置 | |
CN112927306A (zh) | 拍摄装置的标定方法、装置及终端设备 | |
CN116051659A (zh) | 一种线阵相机与2d激光扫描仪联合标定方法 | |
CN111383264B (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
CN111696141A (zh) | 一种三维全景扫描采集方法、设备及存储设备 | |
Hongzhi et al. | The distortion correction of large view wide-angle lens for image mosaic based on OpenCV |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |