CN109242779A - 一种相机成像模型的构建方法、装置及汽车自动驾驶系统 - Google Patents

一种相机成像模型的构建方法、装置及汽车自动驾驶系统 Download PDF

Info

Publication number
CN109242779A
CN109242779A CN201810823524.9A CN201810823524A CN109242779A CN 109242779 A CN109242779 A CN 109242779A CN 201810823524 A CN201810823524 A CN 201810823524A CN 109242779 A CN109242779 A CN 109242779A
Authority
CN
China
Prior art keywords
camera
image coordinate
coordinate
arbitrary point
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810823524.9A
Other languages
English (en)
Other versions
CN109242779B (zh
Inventor
孟然
姜安
朱海涛
崔峰
柴华
庞尊莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhong Ke Hui Yan Technology Ltd
Original Assignee
Beijing Zhong Ke Hui Yan Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhong Ke Hui Yan Technology Ltd filed Critical Beijing Zhong Ke Hui Yan Technology Ltd
Priority to CN201810823524.9A priority Critical patent/CN109242779B/zh
Publication of CN109242779A publication Critical patent/CN109242779A/zh
Priority to US16/254,321 priority patent/US10803621B2/en
Application granted granted Critical
Publication of CN109242779B publication Critical patent/CN109242779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G06T3/604—Rotation of a whole image or part thereof using a CORDIC [COordinate Rotation Digital Compute] device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明提供一种相机成像模型的构建方法、装置与汽车自动驾驶系统，用于，标定计算后准确得到的内、外参数对相机成像系统的描述。该构建方法包括：对任意点P的世界坐标按照预设方式转换为目标相机的相机坐标；将所述相机坐标转换为所述目标相机的图像坐标；将所述图像坐标转换为数字图像坐标，并构建出所述相机成像模型；其中所述将所述图像坐标转换为数字图像坐标的方法为：对所述任意点P进行空间采样，并根据计算将原点坐标调整到图像坐标上。在本发明的技术方案中，靠旋转坐标系建立切变模型，使得相机成像模型迅速精准构建。

Description

一种相机成像模型的构建方法、装置及汽车自动驾驶系统
技术领域
本发明涉及图像处理领域，特别涉及一种相机成像模型的构建方法、装置及汽车自动驾驶系统。
背景技术
通常来讲，相机的成像系统由镜头、图像传感器组成。由于成像过程是非常复杂的，真实的物理空间与数字图像空间之间，存在很多畸变。例如：横纵比畸变(由图像传感器采样间隔不一致导致)、平面透视投影畸变(由成像角度导致)、光学畸变(由镜头畸变导致)等。对于一般的相机成像系统，其畸变都是由线性畸变与非线性畸变叠加而成，而这些畸变构成了相机的成像模型。相机的标定过程就是要根据相机的成像模型，计算其中的未知参数。只有相机的成像模型才能准确描述数字图像空间(即：数字图像坐标系)到真实物理空间(即：世界坐标系)的转换关系。
Image(x,y)＜＜P(a,b,c....)＜＜World(X,Y,Z)
上式中，World(X,Y,Z)代表世界坐标系某空间点的三维坐标(X,Y,Z)；Image(x,y)代表数字图像坐标系某像素的二维坐标(x,y)；P(a,b,c....)中的P代表相机的成像模型，a、b、c...等代表成像模型中的若干参数，相机的标定就是在确定相机成像模型P后，求解a、b、c...等参数的过程。世界坐标系中某空间点的三维坐标通过与相机成像模型进行计算，可以得到该点对应的数字图像坐标。
不同的成像系统(如：鱼眼相机、水下相机、宽视角相机、窄视角相机)可以使用不同的模型进行更准确的描述，模型建立后，再通过标定过程计算出这些模型中的参数(被称作相机内参与相机外参)，最终可以得到对成像系统进行描述的相机内参与相机外参。模型建立的好坏，直接关系到标定计算后得到的内、外参数对相机成像系统描述的准确性。
因此，在现有技术中则存在因成像模型构建的不够科学导致的标定计算速度缓慢，且标定计算后得到的内、外参数对相机成像系统描述不够准确的问题。
发明内容
本发明提供一种相机成像模型的构建方法、装置及汽车自动驾驶系统，以解决现有技术中存在的因成像模型构建的不够科学导致标定计算后得到的内、外参数对相机成像系统描述不够准确的问题。
为了达到上述目的，根据本发明的第一个方面，提供一种相机成像模型的构建方法，并采用如下具体方案：
一种相机成像模型的构建方法包括：对任意点P的世界坐标按照预设方式转换为目标相机的相机坐标；将所述相机坐标转换为所述目标相机的图像坐标；将所述图像坐标转换为数字图像坐标，并构建出所述相机成像模型；；其中所述将所述图像坐标转换为数字图像坐标的方法为：对所述任意点P进行空间采样，并根据公式(1)将原点坐标调整到图像坐标上，所述公式(1)为：
其中，ku＝1/dx，kv＝1/dy，dx和dy分别为所述目标相机的图像传感器横向和纵向的采样间隔，(u0,v0)为图像坐标系与数字图像坐标系两个原点间的平移量，(x,y)为所述任意点P的图像坐标，(u,v)为所述任意点P的数字图像坐标。
进一步地，所述对任意点P的世界坐标按照预设方式转换为目标相机的相机坐标包括：将所述任意点P的世界坐标系OwXwYwZw分别绕其X轴、Y轴和Z轴旋转，然后将其坐标原点平移到Oc，即可得到相机坐标系OcXcYcZc；其中，(Xw,Yw,Zw)为所述任意点P的世界坐标，(Xc,Yc,Zc)为所述任意点P对应的相机坐标，Ow为所述任意点P的世界坐标系中的原点坐标，Oc为相机坐标系的原点坐标。
进一步地，所述将所述相机坐标转换为所述目标相机的图像坐标包括：将所述相机坐标变换为归一化图像坐标；再将所述归一化图像坐标变换到畸变归一化图像坐标；然后将所述畸变归一化图像坐标变换到所述图像坐标。
进一步地，所述将所述相机坐标变换为归一化图像坐标包括：通过公式(2)将所述相机坐标变换为所述归一化图像坐标：
其中，(xu,yu)为所述任意点P理想的归一化图像坐标，(Xc,Yc,Zc)为所述任意点P对应的相机坐标。
进一步地，所述将所述归一化图像坐标变换到畸变归一化图像坐标包括：通过公式(3)将所述归一化图像坐标变换到所述畸变归一化图像坐标：
其中，(xd,yd)为所述任意点P的畸变归一化图像坐标，(xu,yu)为该点理想归一化图像坐标，k1、k2、k3为镜头径向畸变系数。
进一步地，所述将所述畸变归一化图像坐标变换到所述图像坐标包括：通过公式(4)将所述畸变归一化图像坐标变换到所述图像坐标：
其中，(x,y)为所述任意点P的图像坐标，(xd,yd)为所述任意点P的畸变归一化图像坐标，f为透镜焦距。
进一步地，所述构建出所述相机成像模型包括：根据所述公式(1)、所述公式(2)、所述公式(3)及所述公式(4)获取所述成像模型为：
其中，s为比例因子，其取值为1/Zc，a描述从世界坐标到归一化图像坐标的转换；b描述从归一化图像坐标到畸变归一化图像坐标的非线性转换，k1、k2、k3为镜头径向畸变系数；c则描述了从畸变归一化图像坐标到数字图像坐标的转换，矩阵A被称为相机的内部参数，包括2个缩放、1个旋转和2个平移总共5个自由度。
根据本发明的第二个方面，提供一种相机成像模型的构建装置，并采用如下技术方案：
该相机成像模型的构建装置，包括：第一转换模块，用于对任意点P的世界坐标按照预设方式转换为目标相机的相机坐标；第二转换模块，用于将所述相机坐标转换为所述目标相机的图像坐标；构建模块，用于将所述图像坐标转换为数字图像坐标，并构建出所述相机成像模型；其中所述构建模块还用于：对所述任意点P进行空间采样，并根据公式(1)将原点坐标调整到图像坐标上，所述公式(1)为：
其中，ku＝1/dx，kv＝1/dy，dx和dy分别为所述目标相机的图像传感器横向和纵向的采样间隔，(u0,v0)为图像坐标系与数字图像坐标系两个原点间的平移量，(x,y)为所述任意点P的图像坐标，(u,v)为所述任意点P的数字图像坐标。
进一步地，所述第一转换模块包括：旋转模块，用于将所述任意点P的世界坐标系OwXwYwZw分别绕其X轴、Y轴和Z轴旋转，然后将其坐标原点平移到Oc，即可得到相机坐标系OcXcYcZc；其中，(Xw,Yw,Zw)为所述任意点P的世界坐标，(Xc,Yc,Zc)为所述任意点P对应的相机坐标，Ow为所述任意点P的世界坐标系中的原点坐标，Oc为相机坐标系的原点坐标。
进一步地，所述第二转换模块包括：第一转换子模块，用于将所述相机坐标变换为归一化图像坐标；第二转换子模块，用于再将所述归一化图像坐标变换到畸变归一化图像坐标；第三转换子模块，用于然后将所述畸变归一化图像坐标变换到所述图像坐标。
根据本发明的第三个方面，提供一种汽车自动驾驶系统，并采用如下技术方案：
该汽车自动驾驶系统包括上述的构建装置。
通常，在不考虑镜头光学畸变的情况下，从物体上一个空间点的世界坐标变换为该点的数字图像坐标，包含四个变换过程：世界坐标(Xw,Yw,Zw)到相机坐标(Xc,Yc,Zc)、相机坐标到归一化图像坐标(xu,yu)、归一化图像坐标到图像坐标(x,y)、图像坐标到数字图像坐标(u,v)。实际情况中，还要考虑镜头的光学畸变、图像传感器的切向畸变对成像造成的影响，所以，从物体上一个空间点的世界坐标变换为该点的数字图像坐标，具体为：世界坐标-相机坐标-归一化图像坐标-畸形归一化图像坐标-图像坐标-数字图像坐标，这五个过程通过五个变换来实现，因此，相机成像模型的构建过程复杂，且会产生畸变对成像造成的影响，因此，本发明通过对上述五个变换步骤在计算上进行优化处理，并在图像坐标转换为数字图像坐标时，靠旋转坐标系建立切变模型，使得相机成像模型迅速精准构建。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的一种相机成像模型的构建方法的简要流程图；
图2为本发明实施例所述的相机几何模型图(包含透射投影和镜头径向畸变)；
图3为本发明实施例提供的世界坐标到数字图像坐标的变换过程图；
图4为本发明实施例提供的世界坐标系与相机坐标系之间的几何关系示意图；
图5为本发明实施例所述的镜头光学畸变的示意图；
图6为本发明实施例所述的光学畸变示意图；
图7为本发明实施例所述的图像数字化切变关系示意图；
图8为本发明实施例提供的相机成像模型的构建装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
首先，了解一下相机的成像工作过程如下：从物体所发出的光线，经过镜头成像在像平面上，图像传感器(比如CCD传感器)将光强信号转化为电信号，再经过信号放大和调理，最后进行采样、量化转换成数字图像，并通过数据输出单元进行数据输出。
图2为相机模型基本几何描述，其中(Xw,Yw,Zw)为物体上任意点P在世界坐标系中的三维坐标Pw。(Xc,Yc,Zc)为点P在相机坐标系中的三维坐标Pc，该坐标系的原点在光学中心点Oc，Zc轴和光轴重合。(xu,yu)为(Xc,Yc,Zc)的理想透射投影像点在归一化图像平面坐标系上的二维坐标Pu，(xd,yd)为实际透射投影像点在归一化图像平面坐标系上的二维坐标Pd，相对于(xu,yu)它考虑了镜头光学畸变的影响。
在不考虑镜头光学畸变情况下，从物体上一个空间点的世界坐标变换为该点的数字图像坐标，包含四个变换过程：世界坐标(Xw,Yw,Zw)到相机坐标(Xc,Yc,Zc)、相机坐标到归一化图像坐标(xu,yu)、归一化图像坐标到图像坐标(x,y)、图像坐标到数字图像坐标(u,v)。
在实际情况中，还要考虑镜头的光学畸变、图像传感器的切向畸变对成像造成的影响，所以，从物体上一个空间点的世界坐标变换为该点的数字图像坐标，这个过程可以通过图3中变换来实现。
具体的，参见图1，一种相机成像模型的构建方法包括：
S101：对任意点P的世界坐标按照预设方式转换为目标相机的相机坐标；
S103：将所述相机坐标转换为所述目标相机的图像坐标；
S105：将所述图像坐标转换为数字图像坐标，并构建出所述相机成像模型。
其中，所述将所述图像坐标转换为数字图像坐标的方法为：对所述任意点P进行空间采样，并根据公式(1)将原点坐标调整到图像坐标上，所述公式(1)为：
其中，ku＝1/dx，kv＝1/dy，dx和dy分别为所述目标相机的图像传感器横向和纵向的采样间隔，(u0,v0)为图像坐标系与数字图像坐标系两个原点间的平移量，(x,y)为所述任意点P的图像坐标，(u,v)为所述任意点P的数字图像坐标。
在本实施例的上述技术方案中，步骤S101，对任意点P的世界坐标按照预设方式转换为目标相机的相机坐标，具体如下：
其中，变换数学描述为：
其中(Xw,Yw,Zw)为空间任意点P的世界坐标；(Xc,Yc,Zc)为该点对应的相机坐标；为旋转矩阵；为平移向量。该变换描述了相机在世界坐标系中的位置和方向，旋转矩阵R和平移向量t被统称为相机的外参。
如图4所示，旋转矩阵R表征从世界坐标系OwXwYwZw到相机坐标系OcXcYcZc之间的旋转关系，t表征两个坐标系原点之间的平移量。将坐标系OwXwYwZw分别绕其X轴、Y轴和Z轴旋转，然后将其坐标原点平移到Oc，即可得到相机坐标系OcXcYcZc。假定坐标系OwXwYwZw绕X轴、Y轴和Z轴的旋转角分别为φx、φy和φz，则这三个旋转过程的数学表示为：
其中sφ表示φ的正弦值，cφ表示φ的余弦值。旋转矩阵R可以表示如下：
步骤S103中，将所述相机坐标转换为所述目标相机的图像坐标；在该步骤中，包括了图3中的从相机坐标到图像坐标的过程，在该步骤中，具体有包括：
1.相机坐标到归一化图像坐标的变换；
相机坐标到归一化图像坐标的变换数学描述为：
其中(xu,yu)为某空间任意点P理想的归一化图像坐标，(Xc,Yc,Zc)为该点对应的相机坐标。归一化图像平面实际上是垂直于光轴、距离透镜中心单位距离的像平面，归一化图像平面上的点坐标实际上是点P在三维相机坐标系下的齐次坐标。归一化图像坐标系的原点为光轴与归一化图像平面的交点。
2.归一化图像坐标到畸变归一化图像坐标的变换；
如图5所示为镜头光学畸变的示意图，图中黑色网格交点为理想的图像坐标点，黑色点为相对应的畸变后的图像坐标点。
光学畸变主要表现在透视投影变换的过程中，是一个非线性的变换过程，其数学描述为：
其中(xd,yd)为某空间任意点P的畸变归一化图像坐标，(xu,yu)为该点理想归一化图像坐标，k1、k2、k3为镜头径向畸变系数。
如图6所示，当k1、k2、k3＝0时，表征无非线性光学畸变；当k1、k2、k3>0时，也称作枕形畸变；当k1、k2、k3<0时，也称作桶形畸变。
3.畸变归一化图像坐标到图像坐标的变换
变换数学描述为：
其中(x,y)为某空间点P的图像坐标，(xd,yd)为该点的畸变归一化图像坐标。图像平面实际上是垂直于光轴、距离透镜中心为像距v(v≈f，f为透镜焦距)的像平面，图像平面坐标系的原点为光轴与图像平面的交点。用相机焦距f来近似成像点的像距v，是因为在实际成像系统中工作距离(物距)远大于相机焦距f，所以能够用焦距f来近似成像点的像距。
在步骤S105中，将所述图像坐标转换为数字图像坐标，并构建出所述相机成像模型。
所述将所述图像坐标转换为数字图像坐标的方法为：对所述任意点P进行空间采样，并根据公式(1)将原点坐标调整到图像坐标上，所述公式(1)为：
其中，ku＝1/dx，kv＝1/dy，dx和dy分别为所述目标相机的图像传感器横向和纵向的采样间隔，(u0,v0)为图像坐标系与数字图像坐标系两个原点间的平移量，(x,y)为所述任意点P的图像坐标，(u,v)为所述任意点P的数字图像坐标。
实际上，由于相机制造工艺的原因，图像传感器所在的平面无法与理想图像平面完全重合，这会导致两个坐标系之间存在切变，如图7所示。假设横纵轴的采样间隔分别为dx和dy，考虑切变影响的图像数字化的过程可以表示为：
还可以写为矩阵形式：
其中为图像坐标系到数字图像坐标系之间的切变角度，取逆时针为正。
综上，本发明的上述技术方案，完整阐述了图3中的5个变换过程，通过对上述五个变换步骤在计算上进行优化处理，尤其是在步骤S105中，在图像坐标转换为数字图像坐标时，靠旋转坐标系建立切变模型，使得相机成像模型迅速精准构建。
综合考虑上述成像步骤，相机的成像模型可以表示为：
其中，s为比例因子，其取值为1/Zc，公式a描述了从世界坐标到归一化图像坐标的转换；公式b则描述了从归一化图像坐标到畸变归一化图像坐标的非线性转换，k1、k2、k3为镜头径向畸变系数；公式c则描述了从畸变归一化图像坐标到数字图像坐标的转换，矩阵A被称为相机的内部参数，包括2个缩放、1个旋转和2个平移总共5个自由度。
参见图8所示，一种相机成像模型的构建装置，包括：第一转换模块80，用于对任意点P的世界坐标按照预设方式转换为目标相机的相机坐标；第二转换模块82，用于将所述相机坐标转换为所述目标相机的图像坐标；构建模块84，用于将所述图像坐标转换为数字图像坐标，根据所述数字图像坐标构建所述目标相机的相机成像模型；其中所述构建模块还用于：对所述任意点P进行空间采样，并根据公式(1)将原点坐标调整到图像坐标上，所述公式(1)为：
其中，ku＝1/dx，kv＝1/dy，dx和dy分别为所述目标相机的图像传感器横向和纵向的采样间隔，(u0,v0)为图像坐标系与数字图像坐标系两个原点间的平移量，(x,y)为所述任意点P的图像坐标，(u,v)为所述任意点P的数字图像坐标。
可选地，所述第一转换模块80包括：旋转模块(图中未示)，用于将所述任意点P的世界坐标系OwXwYwZw分别绕其X轴、Y轴和Z轴旋转，然后将其坐标原点平移到Oc，即可得到相机坐标系OcXcYcZc；其中，(Xw,Yw,Zw)为所述任意点P的世界坐标，(Xc,Yc,Zc)为所述任意点P对应的相机坐标，Ow为所述任意点P的世界坐标系中的原点坐标，Oc为相机坐标系的原点坐标。
可选地，所述第二转换模块82包括：第一转换子模块(图中未示)，用于将所述相机坐标变换为归一化图像坐标；第二转换子模块(图中未示)，用于再将所述归一化图像坐标变换到畸变归一化图像坐标；第三转换子模块(图中未示)，用于然后将所述畸变归一化图像坐标变换到所述图像坐标。
本发明提供的一种汽车自动驾驶系统包括上述的构建装置。
本发明在考虑通常四个变换过程：世界坐标(Xw,Yw,Zw)到相机坐标(Xc,Yc,Zc)、相机坐标到归一化图像坐标(xu,yu)、归一化图像坐标到图像坐标(x,y)、图像坐标到数字图像坐标(u,v)之外，还考虑了镜头的光学畸变、图像传感器的切向畸变对成像造成的影响，所以，通过五个变换过程来实现相机成像模型的构建，通过对上述五个变换步骤在计算上进行优化处理，并在图像坐标转换为数字图像坐标时，靠旋转坐标系建立切变模型，使得相机成像模型迅速精准构建。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种相机成像模型的构建方法，其特征在于，包括：
对任意点P的世界坐标按照预设方式转换为目标相机的相机坐标；
将所述相机坐标转换为所述目标相机的图像坐标；
将所述图像坐标转换为数字图像坐标，并构建出所述相机成像模型，其中，所述将所述图像坐标转换为数字图像坐标的方法为：
对所述任意点P进行空间采样，并根据公式(1)将原点坐标调整到图像坐标上，所述公式(1)为：
其中，ku＝1/dx，kv＝1/dy，dx和dy分别为所述目标相机的图像传感器横向和纵向的采样间隔，(u0,v0)为图像坐标系与数字图像坐标系两个原点间的平移量，(x,y)为所述任意点P的图像坐标，(u,v)为所述任意点P的数字图像坐标。
2.根据权利要求1所述的构建方法，其特征在于，所述对任意点P的世界坐标按照预设方式转换为目标相机的相机坐标包括：
将所述任意点P的世界坐标系OwXwYwZw分别绕其X轴、Y轴和Z轴旋转，然后将其坐标原点平移到Oc，即可得到相机坐标系OcXcYcZc；
其中，(Xw,Yw,Zw)为所述任意点P的世界坐标，(Xc,Yc,Zc)为所述任意点P对应的相机坐标，Ow为所述任意点P的世界坐标系中的原点坐标，Oc为相机坐标系的原点坐标。
3.根据权利要求1所述的构建方法，其特征在于，所述将所述相机坐标转换为所述目标相机的图像坐标包括：
将所述相机坐标变换为归一化图像坐标；
再将所述归一化图像坐标变换到畸变归一化图像坐标；
然后将所述畸变归一化图像坐标变换到所述图像坐标。
4.根据权利要求3所述的构建方法，其特征在于，所述将所述相机坐标变换为归一化图像坐标包括：
通过公式(2)将所述相机坐标变换为所述归一化图像坐标：
其中，(xu,yu)为所述任意点P理想的归一化图像坐标，(Xc,Yc,Zc)为所述任意点P对应的相机坐标。
5.根据权利要求3所述的构建方法，其特征在于，所述将所述归一化图像坐标变换到畸变归一化图像坐标包括：
通过公式(3)将所述归一化图像坐标变换到所述畸变归一化图像坐标：
其中，(xd,yd)为所述任意点P的畸变归一化图像坐标，(xu,yu)为该点理想归一化图像坐标，k1、k2、k3为镜头径向畸变系数。
6.根据权利要求3所述的构建方法，其特征在于，所述将所述畸变归一化图像坐标变换到所述图像坐标包括：
通过公式(4)将所述畸变归一化图像坐标变换到所述图像坐标：
其中，(x,y)为所述任意点P的图像坐标，(xd,yd)为所述任意点P的畸变归一化图像坐标，f为透镜焦距。
7.如权利要求6所述的构建方法，其特征在于，所述构建出所述相机成像模型包括：
根据所述公式(1)、所述公式(2)、所述公式(3)及所述公式(4)获取所述成像模型为：
其中，s为比例因子，其取值为1/Zc，a描述从世界坐标到归一化图像坐标的转换；b描述从归一化图像坐标到畸变归一化图像坐标的非线性转换，k1、k2、k3为镜头径向畸变系数；c则描述了从畸变归一化图像坐标到数字图像坐标的转换，矩阵A被称为相机的内部参数，包括2个缩放、1个旋转和2个平移5个自由度。
8.一种相机成像模型的构建装置，其特征在于，包括：
第一转换模块，用于对任意点P的世界坐标按照预设方式转换为目标相机的相机坐标；
第二转换模块，用于将所述相机坐标转换为所述目标相机的图像坐标；
构建模块，用于将所述图像坐标转换为数字图像坐标，并构建出所述相机成像模型；其中所述构建模块还用于：
对所述任意点P进行空间采样，并根据公式(1)将原点坐标调整到图像坐标上，所述公式(1)为：
其中，ku＝1/dx，kv＝1/dy，dx和dy分别为所述目标相机的图像传感器横向和纵向的采样间隔，(u0,v0)为图像坐标系与数字图像坐标系两个原点间的平移量，(x,y)为所述任意点P的图像坐标，(u,v)为所述任意点P的数字图像坐标。
9.根据权利要求8所述的构建装置，其特征在于，所述第一转换模块包括：
旋转模块，用于将所述任意点P的世界坐标系OwXwYwZw分别绕其X轴、Y轴和Z轴旋转，然后将其坐标原点平移到Oc，即可得到相机坐标系OcXcYcZc；
其中，(Xw,Yw,Zw)为所述任意点P的世界坐标，(Xc,Yc,Zc)为所述任意点P对应的相机坐标，Ow为所述任意点P的世界坐标系中的原点坐标，Oc为相机坐标系的原点坐标。
10.一种汽车自动驾驶系统，其特征在于，包括权利要去8-9任一项所述的构建装置。
CN201810823524.9A 2018-07-25 2018-07-25 一种相机成像模型的构建方法、装置及汽车自动驾驶系统 Active CN109242779B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810823524.9A CN109242779B (zh) 2018-07-25 2018-07-25 一种相机成像模型的构建方法、装置及汽车自动驾驶系统
US16/254,321 US10803621B2 (en) 2018-07-25 2019-01-22 Method and device for building camera imaging model, and automated driving system for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810823524.9A CN109242779B (zh) 2018-07-25 2018-07-25 一种相机成像模型的构建方法、装置及汽车自动驾驶系统

Publications (2)

Publication Number Publication Date
CN109242779A true CN109242779A (zh) 2019-01-18
CN109242779B CN109242779B (zh) 2023-07-18

Family

ID=65072365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810823524.9A Active CN109242779B (zh) 2018-07-25 2018-07-25 一种相机成像模型的构建方法、装置及汽车自动驾驶系统

Country Status (2)

Country Link
US (1) US10803621B2 (zh)
CN (1) CN109242779B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378965A (zh) * 2019-05-21 2019-10-25 北京百度网讯科技有限公司 确定坐标系转换参数的方法、装置、设备和存储介质
CN112562014A (zh) * 2020-12-29 2021-03-26 纵目科技（上海）股份有限公司 相机标定方法、系统、介质及装置
WO2021134507A1 (zh) * 2019-12-31 2021-07-08 海能达通信股份有限公司 一种视频监控的定位方法及视频监控系统
CN113561947A (zh) * 2021-07-02 2021-10-29 北京中科慧眼科技有限公司 一种乘用车自动制动方法、装置及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3644279A1 (en) * 2018-10-25 2020-04-29 Continental Automotive GmbH Static camera calibration using motion of vehicle portion
WO2020208686A1 (ja) * 2019-04-08 2020-10-15 日本電気株式会社 カメラ校正装置、カメラ校正方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
CN112001379A (zh) * 2020-05-19 2020-11-27 西安工程大学 基于机器视觉的汽车仪表固定视点读取仪表的修正算法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102111561A (zh) * 2009-12-25 2011-06-29 新奥特（北京）视频技术有限公司 一种模拟真实场景的三维模型投影方法及装置
CN106485753A (zh) * 2016-09-09 2017-03-08 奇瑞汽车股份有限公司 用于无人驾驶汽车的摄像机标定的方法和装置
CN106570820A (zh) * 2016-10-18 2017-04-19 浙江工业大学 一种基于四旋翼无人机的单目视觉三维特征提取方法
CN106780351A (zh) * 2016-12-09 2017-05-31 浙江浩腾电子科技股份有限公司 一种车牌倾斜矫正方法
CN107025670A (zh) * 2017-03-23 2017-08-08 华中科技大学 一种远心相机标定方法
CN107748887A (zh) * 2017-09-30 2018-03-02 五邑大学 一种基于显性与隐性线段检测的平面文档图像透视矫正方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050089213A1 (en) * 2003-10-23 2005-04-28 Geng Z. J. Method and apparatus for three-dimensional modeling via an image mosaic system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102111561A (zh) * 2009-12-25 2011-06-29 新奥特（北京）视频技术有限公司 一种模拟真实场景的三维模型投影方法及装置
CN106485753A (zh) * 2016-09-09 2017-03-08 奇瑞汽车股份有限公司 用于无人驾驶汽车的摄像机标定的方法和装置
CN106570820A (zh) * 2016-10-18 2017-04-19 浙江工业大学 一种基于四旋翼无人机的单目视觉三维特征提取方法
CN106780351A (zh) * 2016-12-09 2017-05-31 浙江浩腾电子科技股份有限公司 一种车牌倾斜矫正方法
CN107025670A (zh) * 2017-03-23 2017-08-08 华中科技大学 一种远心相机标定方法
CN107748887A (zh) * 2017-09-30 2018-03-02 五邑大学 一种基于显性与隐性线段检测的平面文档图像透视矫正方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378965A (zh) * 2019-05-21 2019-10-25 北京百度网讯科技有限公司 确定坐标系转换参数的方法、装置、设备和存储介质
CN110378965B (zh) * 2019-05-21 2022-04-15 北京百度网讯科技有限公司 确定路侧成像设备坐标系转换参数的方法、装置、设备
WO2021134507A1 (zh) * 2019-12-31 2021-07-08 海能达通信股份有限公司 一种视频监控的定位方法及视频监控系统
CN112562014A (zh) * 2020-12-29 2021-03-26 纵目科技（上海）股份有限公司 相机标定方法、系统、介质及装置
CN113561947A (zh) * 2021-07-02 2021-10-29 北京中科慧眼科技有限公司 一种乘用车自动制动方法、装置及系统
CN113561947B (zh) * 2021-07-02 2022-09-20 北京中科慧眼科技有限公司 一种乘用车自动制动方法、装置及系统

Also Published As

Publication number Publication date
US20200034987A1 (en) 2020-01-30
US10803621B2 (en) 2020-10-13
CN109242779B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN109242779A (zh) 一种相机成像模型的构建方法、装置及汽车自动驾驶系统
CN110197466B (zh) 一种广角鱼眼图像矫正方法
CN103198487B (zh) 一种用于视频监控系统中的自动定标方法
CN105716542B (zh) 一种基于柔性特征点的三维数据拼接方法
CN102496160B (zh) 集控式足球机器人视觉系统标定方法
CN110443879B (zh) 一种基于神经网络的透视误差补偿方法
CN105118055A (zh) 摄影机定位修正标定方法及系统
WO2018196303A1 (zh) 多方位投影的投影仪标定方法及装置
CN101231750A (zh) 一种双目立体测量系统的标定方法
CN111707187B (zh) 一种大型零件的测量方法及系统
CN112818990B (zh) 目标检测框的生成方法、图像数据自动标注方法及系统
CN109807937A (zh) 一种基于自然场景的机器人手眼标定方法
JP4270949B2 (ja) キャリブレーションチャート画像表示装置、キャリブレーション装置、キャリブレーション方法
CN108180834A (zh) 一种工业机器人同三维成像仪位姿关系现场实时标定方法
CN106780391A (zh) 一种用于全视角三维测量仪光学系统的畸变矫正算法
CN113920205A (zh) 一种非同轴相机的标定方法
CN114283203A (zh) 一种多相机系统的标定方法及系统
CN109118525A (zh) 一种双波段红外图像空域配准方法
CN113724337A (zh) 一种无需依赖云台角度的相机动态外参标定方法及装置
EP4133451A1 (en) Scanning system and calibration thereof
WO2018168757A1 (ja) 画像処理装置、システム、画像処理方法、物品の製造方法、プログラム
CN116026252A (zh) 一种点云测量方法及系统
CN108447096A (zh) kinect深度相机与热红外相机的信息融合方法
CN208478309U (zh) 一种用于晶圆对准的光学成像装置和晶圆对准系统
CN112465918B (zh) 一种基于Tsai标定的显微视觉标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant