CN110517202B - 一种车身摄像头标定方法及其标定装置 - Google Patents
一种车身摄像头标定方法及其标定装置 Download PDFInfo
- Publication number
- CN110517202B CN110517202B CN201910814495.4A CN201910814495A CN110517202B CN 110517202 B CN110517202 B CN 110517202B CN 201910814495 A CN201910814495 A CN 201910814495A CN 110517202 B CN110517202 B CN 110517202B
- Authority
- CN
- China
- Prior art keywords
- calibration
- camera
- image
- module
- pictures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000009466 transformation Effects 0.000 claims abstract description 44
- 238000012937 correction Methods 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 238000010586 diagram Methods 0.000 claims abstract description 14
- 238000003384 imaging method Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 238000007639 printing Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 13
- 230000004927 fusion Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000015654 memory Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种车身摄像头标定方法及其标定装置,包括以下步骤,确定摄像头安装于车身的位置并初始化;所述摄像头利用标定模块进行自身标定并输出和保存标定结果;检测模块检测所述标定结果;读取车身摄像头拍摄的若干图片并输入畸变校正模块,所述畸变校正模块加载所述标定结果数据进行畸变矫正;透视变换模块对矫正图片进行透视变换后输出变换结果图;定义各图片的掩模和拼接混合图,图像拼接模块将矫正图片拼接至混合图中,并读取车身图片和车身掩模图片,将所述车身图片也拼接到混合图的中心位置。本发明的有益效果:能够对车身摄像头进行标定,得出世界坐标系和图像坐标系之间的关系,能够准确的进行车身标定。
Description
技术领域
本发明涉及自动驾驶的技术领域,尤其涉及一种车身摄像头标定方法及其标定装置。
背景技术
机器视觉的基本任务之一是从摄像机获取图像信息并计算三维空间中物体的几何信息,以由此重建和识别物体。而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的,这些几何模型参数就是摄像机参数。在大多数条件下,这些参数必须通过实验与计算才能得到,这个过程被称为摄像机定标(或称为标定)。标定过程就是确定摄像机的几何和光学参数,以及摄像机相对于世界坐标系的方位。由于标定精度的大小,直接影响着计算机视觉(机器视觉)的精度。因此,只有做好了摄像机标定工作,后续工作才能正常展开,可以说,提高标定精度也是当前科研工作的重要方面。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题,提出了本发明。
因此,本发明解决的一个技术问题是:提供一种车身摄像头标定方法对车身摄像头进行标定,得出世界坐标系和图像坐标系之间的关系,能够准确的进行车身标定。
为解决上述技术问题,本发明提供如下技术方案:一种车身摄像头标定方法,包括以下步骤,确定摄像头安装于车身的位置并初始化;所述摄像头利用标定模块进行自身标定并输出和保存标定结果;检测模块检测所述标定结果;读取车身摄像头拍摄的若干图片并输入畸变校正模块,所述畸变校正模块加载所述标定结果数据进行畸变矫正;透视变换模块对矫正图片进行透视变换后输出变换结果图;定义各图片的掩模和拼接混合图,图像拼接模块将矫正图片拼接至混合图中,并读取车身图片和车身掩模图片,将所述车身图片也拼接到混合图的中心位置;处理模块根据所述混合图求出空间物体在世界坐标系和图像坐标系之间变换关系完成标定。
作为本发明所述的车身摄像头标定方法的一种优选方案,其中:所述标定模块还包括以下标定步骤,制作棋盘格图片;将所述棋盘格图片打印贴于平面标定板上;将摄像头的位置固定;旋转所述标定板不同角度和方位拍摄若干张图片;提取棋盘格图片内角点,利用亚像素处理提高检测精度;在棋盘上绘制角点信息进行标定计算,求取摄像头内参和外参。
作为本发明所述的车身摄像头标定方法的一种优选方案,其中:包括所述检测模块利用重投影法检测标定结果的步骤,
定义任意点Xj在相机Pi拍摄到的图像归一化坐标系上的坐标为:
经过重投影后的图像归一化坐标系下坐标为:
其中是为了计算时能不受相机内参影响,K和K’是将齐次坐标转换为非齐次坐标的常数项,因此得到重投影误差为:
eij=||uij-vij||
所述重投影误差越小,则说明标定的越精准。
作为本发明所述的车身摄像头标定方法的一种优选方案,其中:包括自身标定的步骤,设P=(X,Y,Z)为场景中的一点,将P从世界坐标系使用相机的外参数通过刚体变换到相机坐标系;所述相机坐标系通过透视投影变换到相机的成像平面上的像点p=(x,y);将像点p从成像坐标系,通过缩放和平移变换到像素坐标系上点p=(μ,v)。
作为本发明所述的车身摄像头标定方法的一种优选方案,其中:包括以下标定步骤,用于标定的棋盘格是三维场景中的一个平面∏,其在成像平面的像是另一个平面π,根据已知角点的坐标的标定棋盘格,通过角点提取算法得到图像中的角点,得到棋盘平面∏和图像平面π的单应矩阵H;利用棋盘平面和成像平面间的单应、内参的约束条件,获得两个对内参数的约束等式,根据所述约束等式求解内外参数。
作为本发明所述的车身摄像头标定方法的一种优选方案,其中:所述畸变校正模块包括以下步骤,设(μ,v)是理想的无畸变的像素坐标、是畸变后的像素坐标、(μ0,v0)是相机的主点;(x,y)和/>理想的无畸变的归一化的图像坐标和畸变后的归一化图像坐标,使用下式表示径向畸变:
k1、k2表示径向畸变的系数,径向畸变的中心和相机的主心是在相同的位置,得到畸变参数k1、k2后,将图像进行去畸变处理,然后用去畸变后的图像坐标估计相机的内参数。
作为本发明所述的车身摄像头标定方法的一种优选方案,其中:所述透视变换模块变换公式为:
其中,透视变换矩阵A为:
源目标点为:
移动到的目标点为:
本发明解决的另一个技术问题是:提供一种车身摄像头标定装置,上述方法依托于本装置实现。
为解决上述技术问题,本发明提供如下技术方案:一种车身摄像头标定装置,其特征在于:包括标定模块、检测模块、畸变校正模块、透视变换模块、图像拼接模块和处理模块;所述标定模块用于摄像头的自身标定;所述检测模块用于检测所述标定模块的标定结果;所述畸变校正模块用于摄像头拍摄图片的畸变校正;所述透视变换模块用于畸变校正后的图片透视变换输出变换结果图;所述图像拼接模块用于将变换结果图与车身图进行拼接为混合图;所述处理模块用于计算所述混合图确定空间物体表面的三维几何位置与在图像中对应点之间的互相关系。
本发明的有益效果:能够对车身摄像头进行标定,得出世界坐标系和图像坐标系之间的关系,能够准确的进行车身标定。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。其中:
图1为本发明第一种实施例所述车身摄像头标定方法的自身标定流程示意图;
图2为本发明第一种实施例所述车身摄像头标定方法的整体流程示意图;
图3为本发明第二种实施例所述车身摄像头标定装置的原理结构示意图;
图4为本发明所述摄像头在车身周围部署的结构示意图;
图5为本发明所述摄像头在车身左前场景拍摄的示意图;
图6为本发明所述摄像头在车身车前场景拍摄的示意图;
图7为本发明所述摄像头在车身右前场景拍摄的示意图;
图8为本发明所述摄像头在车身右中场景拍摄的示意图;
图9为本发明所述摄像头在车身车后场景拍摄的示意图;
图10为本发明所述车身标定效果图的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合说明书附图对本发明的具体实施方式做详细的说明,显然所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
其次,此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例,也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述,在详述本发明实施例时,为便于说明,表示器件结构的剖面图会不依一般比例作局部放大,而且所述示意图只是示例,其在此不应限制本发明保护的范围。此外,在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中,需要说明的是,术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一、第二或第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定,术语“安装、相连、连接”应做广义理解,例如:可以是固定连接、可拆卸连接或一体式连接;同样可以是机械连接、电连接或直接连接,也可以通过中间媒介间接相连,也可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1~2的示意,示意为本实施例提出的一种车身摄像头标定方法的整体流程示意图,目前已有的标定方法,在包括传统摄像机标定方法、主动视觉摄像机标定方法以及摄像机自标定方法。利用摄像机所拍摄到的图像来还原空间中的物体。假设摄像机所拍摄到的图像与三维空间中的物体之间存在以下一种简单的线性关系:[像]=M[物],矩阵M可以看成是摄像机成像的几何模型。M中的参数就是摄像机参数。通常,这些参数是要通过实验与计算来得到的。这个求解参数的过程就称为摄像机标定。本实施例中针对车载摄像机提出的标定方法,通过将摄像机图像与车身图像拼接结合,获得图像坐标系和世界坐标系之间的关系,并且可以摄像机获取图像信息并计算三维空间中物体的几何信息,以由此重建和识别物体。具体的,该车身摄像头标定方法,包括以下步骤,
S1:确定摄像头安装于车身的位置并初始化。
S2:摄像头利用标定模块100进行自身标定并输出和保存标定结果,标定模块100还包括以下标定步骤,制作棋盘格图片;将棋盘格图片打印贴于平面标定板上;将摄像头的位置固定;旋转标定板不同角度和方位拍摄若干张图片;提取棋盘格图片内角点,利用亚像素处理提高检测精度;在棋盘上绘制角点信息进行标定计算,求取摄像头内参和外参;包括以下标定步骤,
用于标定的棋盘格是三维场景中的一个平面Π,其在成像平面的像是另一个平面π,根据已知角点的坐标的标定棋盘格,通过角点提取算法得到图像中的角点,得到棋盘平面H和图像平面π的单应矩阵H;
利用棋盘平面和成像平面间的单应、内参的约束条件,获得两个对内参数的约束等式,根据约束等式求解内外参数。
本实施例的自身标定的步骤如下:
设P=X,Y,Z为场景中的一点,将P从世界坐标系使用相机的外参数通过刚体变换到相机坐标系;
相机坐标系通过透视投影变换到相机的成像平面上的像点p=x,y;
将像点p从成像坐标系,通过缩放和平移变换到像素坐标系上点p=μ,v。相机将场景中的三维点变换为图像中的二维点,也就是各个坐标系变换的组合,可将上面的变换过程整理为矩阵相乘的形式:
将下式矩阵K称为相机的内参数:
其中a、β表示图像上单位距离上像素的个数。
通过棋盘格定义:p=K[R|t]P,
其中p是像点坐标,P是标定的棋盘坐标。得到下面的等式:H=K[R|t]
H表示的是成像平面和标定棋盘平面之间的单应矩阵。通过对应的点对解得H后,则可以通过上面的等式得到相机的内参数K,以及外参旋转矩阵R和平移向量t。
将一个平面映射到另一个平面,将棋盘格所在的平面映射到相机的成像平面,则有:p=HP,p为棋盘格所成像的像点坐标,P棋盘格角点在世界坐标系的坐标,设棋盘格所在的平面为世界坐标系中Z=0的平面,棋盘格的任一角点P的世界坐标为(X,Y,0),根据小孔相机模型
根据平面间的单应性,有:
将上面两个等式进行整合,则可以得到单应矩阵H和相机矩阵(包含内参和外参)的相等,如下:H=λK[r1r2t],从而可以使用棋盘平面和成像平面间的单应矩阵来约束相机的内参和外参。单应矩阵H可以通过棋盘平和成像平面上对应的点计算出来。
S3:检测模块200检测标定结果,包括检测模块200利用重投影法检测标定结果的步骤,
定义任意点Xj在相机Pi拍摄到的图像归一化坐标系上的坐标为:
经过重投影后的图像归一化坐标系下坐标为:
其中是为了计算时能不受相机内参影响,K和K’是将齐次坐标转换为非齐次坐标的常数项,因此得到重投影误差为:
eij=||uij-vij||
重投影误差越小,则说明标定的越精准;
S3:读取车身摄像头拍摄的若干图片并输入畸变校正模块300,畸变校正模块300加载标定结果数据进行畸变矫正。
为了取得好的成像效果,通常要在相机的镜头前添加透镜。在相机成像的过程中,透镜会对光线的传播产生影响,从而影响相机的成像效果,产生畸变。镜自身的形状对才光线的传播产生影响,形成的畸变称为径向畸变。在小孔模型中,一条指向在成像平面上的像仍然是直线。但是在实际拍摄的过程中,由于透镜的存在,往往将一条直线投影成了曲线,越靠近图像的边缘,这种现象越明显。透镜往往是中心对称的,使得这种不规则的畸变通常是径向对称的。主要有两大类:桶形畸变和枕形畸变。由于在相机组装的过程中,透镜不能和成像平面严格平行,会引入切向畸变。
畸变校正模块300包括以下步骤,
设u,v是理想的无畸变的像素坐标、是畸变后的像素坐标、μ0,v0是相机的主点;
(x,y)和理想的无畸变的归一化的图像坐标和畸变后的归一化图像坐标,使用下式表示径向畸变:
k1、k2表示径向畸变的系数,径向畸变的中心和相机的主心是在相同的位置。
假设γ=0,则有:
将上述式子改写为矩阵的形式:
设有n幅图像,每幅图像上有m个点,则将得到的所有等式组合起来,可以得到2mn个等式,将其记着矩阵形式:Dk=d,则可得到:
k=[k1k2]T=(DTD)-1DTd
利用最大似然估计取得最优解,估计使得下面式子是最小值的参数值:
得到畸变参数k1、k2后,将图像进行去畸变处理,然后用去畸变后的图像坐标估计相机的内参数。
S5:透视变换模块400对矫正图片进行透视变换后输出变换结果图;透视变换模块400变换公式为:
其中,透视变换矩阵A为:
源目标点为:且移动到的目标点为:/>
S6:定义各图片的掩模和拼接混合图,图像拼接模块500将矫正图片拼接至混合图中,并读取车身图片和车身掩模图片,将车身图片也拼接到混合图的中心位置;
首先我们从物理的角度来看看mask到底是什么过程。
在半导体制造中,许多芯片工艺步骤采用光刻技术,用于这些步骤的图形“底片”称为掩膜(也称作“掩模”),其作用是:在硅片上选定的区域中对一个不透明的图形模板遮盖,继而下面的腐蚀或扩散将只影响选定的区域以外的区域。图像掩膜与其类似,用选定的图像、图形或物体,对处理的图像(全部或局部)进行遮挡,来控制图像处理的区域或处理过程。提取感兴趣区:用预先制作的感兴趣区掩膜与待处理图像相乘,得到感兴趣区图像,感兴趣区内图像值保持不变,而区外图像值都为0;屏蔽作用:用掩膜对图像上某些区域作屏蔽,使其不参加处理或不参加处理参数的计算,或仅对屏蔽区作处理或统计;结构特征提取:用相似性变量或图像匹配方法检测和提取图像中与掩膜相似的结构特征;特殊形状图像的制作。掩模是由0和1组成的一个二进制图像。当在某一功能中应用掩模时,1值区域被处理,被屏蔽的0值区域不被包括在计算中。通过指定的数据值、数据范围、有限或无限值、感兴趣区和注释文件来定义图像掩模,也可以应用上述选项的任意组合作为输入来建立掩模。
图像拼接技术是计算机视觉和数字图像处理领域中一个研究的重点。图像拼接是指将描述同一场景的两张或者多张有重叠区域的图像,通过图像配准和图像融合技术拼接成一幅大场景全新图像的过程。图像配准后,通过对配准图像重采样就可以进行图像的拼接。但由于图像灰度差异等原因,拼接后的图像很容易出现亮度差异和拼接接缝,所以在图像拼接后需要进行图像融合,使拼接后的图片看起来自然准确。图像融合是指:在确定参考图像与拼接图像的几何变换关系之后,接着将待拼接图像的像素点投影到参考图像坐标系中。
图像拼接模块500包括图像匹配、重投影、缝合和融合,本实施例中可以采用基于空间域图像拼接算法来实现图像的拼接。在建立参考图像与拼接图像的配准关系后,就可以将图像进行拼接了,由于图像之间无可避免地存在着灰度差异,使得拼接后的图片出现拼缝或者亮度差异的情况。图像融合就是在图像拼接过程中尽量减少亮度差异以及消除拼缝的过程。图像融合分成图像合并和拼缝消除两个过程。
S7:处理模块600根据混合图求出空间物体在世界坐标系和图像坐标系之间变换关系完成标定,根据摄像头标定的参数,可以求出摄像图片相对于世界坐标系的位置关系,因此由于混合图中有摄像机标定的图片信息,二者具有相同的变换关系,因此带有车身图像的混合图能够得到其世界坐标系和图像坐标系的关系。
场景一:
为验证标定精度,设计仿真实验,本方法提出的内容已成功应用于实际的自动驾驶领域车身标定项目。具体如下图说明:
首先摄像头在车身周围部署如下图4的所示,其次拍摄摄像头周围场景各个场景画面如下图5~9所示,最后根据本实施例提出的标定算法,对车身进行标定后最终结果如下图10的所示。如上效果图,在围绕车模型周围各个场景视野标定到车身坐标系中,各个场景很好地拼接在一起,为后续感知测距等算法提供很好地支撑。
实施例2
参照图3的示意,本实施例中示意为一种车身摄像头标定装置,上述方法能够依托于该装置实现,具体的,装置包括标定模块100、检测模块200、畸变校正模块300、透视变换模块400、图像拼接模块500和处理模块600;其中标定模块100用于摄像头的自身标定;检测模块200用于检测标定模块100的标定结果;畸变校正模块300用于摄像头拍摄图片的畸变校正;透视变换模块400用于畸变校正后的图片透视变换输出变换结果图;图像拼接模块500用于将变换结果图与车身图进行拼接为混合图;处理模块600用于计算混合图确定空间物体表面的三维几何位置与在图像中对应点之间的互相关系。
其还需要说明的是,标定模块100、检测模块200、畸变校正模块300、透视变换模块400、图像拼接模块500和处理模块600为植入上述算法程序的集成电路板,算法可以理解为有基本运算及规定的运算顺序所构成的完整的解题步骤。或者看成按照要求设计好的有限的确切的计算序列,并且这样的步骤和序列可以解决一类问题,算法是若干指令的有穷序列,程序是计算机指令的有序集合,是算法用某种程序设计语言的表述,是算法在计算机上的具体实现,算法在描述上一般使用半形式化的语言,而程序是用形式化的计算机语言描述的程序是计算机指令的有序集合,算法是解决问题的步骤;程序是算法的代码实现,且一个算法可以用不同的编程语言编写出不同的程序。而将程序嵌入芯片内构成嵌入式的芯片,是移植到芯片硬件进行实现,因此本实施例中将上述实施了的算法进行编程移植到芯片上,将该植入算法检测模块200的芯片与信号增大电路的电路板进行集成形成电路板。同理,控制模块为具有数据处理的微处理器,本实施例在车载中的应用,例如为ECU单元,电子控制单元,又称“行车电脑”、“车载电脑”等。从用途上讲则是汽车专用微机控制器,它和普通的电脑一样,由微处理器(MCU)、存储器(ROM、RAM)、输入/输出接口(I/0)、模数转换器(A/D)以及整形、驱动等大规模集成电路组成。用一句简单的话来形容就是“ECU就是汽车的大脑”。在ECU中CPU是核心部分,它具有运算与控制的功能,发动机在运行时,它采集各传感器的信号,进行运算,并将运算的结果转变为控制信号,控制被控对象的工作。它还实行对存储器
(ROM/FLASH/EEPROM、RAM)、输入/输出接口(I/O)和其它外部电路的控制;存储器ROM中存放的程序是经过精确计算和大量实验取得的数据为基础编写出来的,这个固有程序在发动机工作时,不断地与采集来的各传感器的信号进行比较和计算。并且改装ECU,就是通过改变处理问题的方法(原先设定好的ECU程序),来达到改变发动机运行的目的。所谓的“ECU程序”,其实就是一套运算法则,它存放在储存器内,对从输入设备经控制器转化而来的信号,处理生成对应的指令信号,从输出设备传输出去,从而实现对车辆更多行驶状态下的控制。
在本实施例中,通俗的说明标定过程为:
摄像头标定模块:制作棋盘格,并且打印好,将棋盘格固定在平面板上。将摄像机位置固定,旋转标定板不同角度和方位拍摄20张左右图片,提取棋盘格图片内角点,亚像素处理提高检测精度,棋盘上绘制角点信息,开始标定计算,求取摄像头内参和外参,重投影法检测标定结果。图像畸变校正:读取摄像头图片,加载摄像头自身标定数据,编程实现对图像畸变矫正。图像透视变换:定义透视变换前的基准点,检测该基准点,对矫正后的图片进行透视变换。图像拼接:定义各个图片的掩模,设置好车身掩模模型,根据透视变换结果图,将图片拼接到一张图中。
应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (3)
1.一种车身摄像头标定方法,其特征在于:包括以下步骤,
确定摄像头安装于车身的位置并初始化;
所述摄像头利用标定模块(100)进行自身标定并输出和保存标定结果;
所述标定模块(100)还包括以下标定步骤,
制作棋盘格图片;
将所述棋盘格图片打印贴于平面标定板上;
将摄像头的位置固定;
旋转所述标定板不同角度和方位拍摄若干张图片;
提取棋盘格图片内角点,利用亚像素处理提高检测精度;
在棋盘上绘制角点信息进行标定计算,求取摄像头内参和外参;
用于标定的棋盘格是三维场景中的一个平面Π,其在成像平面的像是另一个平面π,根据已知角点的坐标的标定棋盘格,通过角点提取算法得到图像中的角点,得到棋盘平面Π和图像平面π的单应矩阵H;
利用棋盘平面和成像平面间的单应、内参的约束条件,获得两个对内参数的约束等式,根据所述约束等式求解内外参数;
检测模块(200)检测所述标定结果;
所述检测模块(200)利用重投影法检测标定结果的步骤,
定义任意点Xj在相机Pi拍摄到的图像归一化坐标系上的坐标为:
经过重投影后的图像归一化坐标系下坐标为:
其中Ki -1是为了计算时能不受相机内参影响,K和K’是将齐次坐标转换为非齐次坐标的常数项,因此得到重投影误差为:
eij=||uij-vij||
所述重投影误差越小,则说明标定的越精准;
读取车身摄像头拍摄的若干图片并输入畸变校正模块(300),所述畸变校正模块(300)加载所述标定结果数据进行畸变矫正;
所述畸变校正模块(300)包括以下步骤,
设(μ,ν)是理想的无畸变的像素坐标、是畸变后的像素坐标、(μ0,ν0)是相机的主点;
(x,y)和理想的无畸变的归一化的图像坐标和畸变后的归一化图像坐标,使用下式表示径向畸变:
k1、k2表示径向畸变的系数,径向畸变的中心和相机的主心是在相同的位置,得到畸变参数k1、k2后,将图像进行去畸变处理,然后用去畸变后的图像坐标估计相机的内参数;
透视变换模块(400)对矫正图片进行透视变换后输出变换结果图;
所述透视变换模块(400)变换公式为:
其中,透视变换矩阵A为:
源目标点为:
移动到的目标点为:
定义各图片的掩模和拼接混合图,图像拼接模块(500)将矫正图片拼接至混合图中,并读取车身图片和车身掩模图片,将所述车身图片也拼接到混合图的中心位置;
处理模块(600)根据所述混合图求出空间物体在世界坐标系和图像坐标系之间变换关系完成标定。
2.如权利要求1所述的车身摄像头标定方法,其特征在于:包括自身标定的步骤,
设P=(X,Y,Z)为场景中的一点,将P从世界坐标系使用相机的外参数通过刚体变换到相机坐标系;
所述相机坐标系通过透视投影变换到相机的成像平面上的像点p=(x,y);
将像点p从成像坐标系,通过缩放和平移变换到像素坐标系上点p=(μ,v)。
3.一种采用如权利要求1和2任一所述的车身摄像头标定方法的装置,其特征在于:包括标定模块(100)、检测模
块(200)、畸变校正模块(300)、透视变换模块(400)、图像拼接模块(500)和处理模块(600);
所述标定模块(100)用于摄像头的自身标定;
所述检测模块(200)用于检测所述标定模块(100)的标定结果;
所述畸变校正模块(300)用于摄像头拍摄图片的畸变校正;
所述透视变换模块(400)用于畸变校正后的图片透视变换输出变换结果图;
所述图像拼接模块(500)用于将变换结果图与车身图进行拼接为混合图;
所述处理模块(600)用于计算所述混合图确定空间物体表面的三维几何位置与在图像中对应点之间的互相关系。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910814495.4A CN110517202B (zh) | 2019-08-30 | 2019-08-30 | 一种车身摄像头标定方法及其标定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910814495.4A CN110517202B (zh) | 2019-08-30 | 2019-08-30 | 一种车身摄像头标定方法及其标定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110517202A CN110517202A (zh) | 2019-11-29 |
CN110517202B true CN110517202B (zh) | 2023-07-28 |
Family
ID=68628459
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910814495.4A Active CN110517202B (zh) | 2019-08-30 | 2019-08-30 | 一种车身摄像头标定方法及其标定装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110517202B (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110908401B (zh) * | 2019-12-06 | 2021-03-30 | 电子科技大学 | 一种针对未知杆塔结构的无人机自主巡检方法 |
CN113129382A (zh) * | 2019-12-31 | 2021-07-16 | 华为技术有限公司 | 一种确定坐标转换参数的方法及装置 |
CN111462218A (zh) * | 2020-03-16 | 2020-07-28 | 西安理工大学 | 一种基于深度学习技术的城市内涝积水面积监测方法 |
CN111462249B (zh) * | 2020-04-02 | 2023-04-18 | 北京迈格威科技有限公司 | 一种交通摄像头标定方法及装置 |
CN113538587A (zh) * | 2020-04-16 | 2021-10-22 | 深圳先进技术研究院 | 一种相机坐标变换方法、终端以及存储介质 |
CN111612851B (zh) * | 2020-05-20 | 2023-04-07 | 阿波罗智联(北京)科技有限公司 | 用于标定相机的方法、装置、设备以及存储介质 |
CN111798478A (zh) * | 2020-07-07 | 2020-10-20 | 重庆大学 | 风力发电机叶片前缘覆冰厚度测量方法 |
CN112001964A (zh) * | 2020-07-31 | 2020-11-27 | 西安理工大学 | 一种基于深度学习的洪水演进过程淹没范围测量方法 |
CN112308984B (zh) * | 2020-11-03 | 2024-02-02 | 豪威科技(武汉)有限公司 | 车载图像拼接方法、系统以及装置 |
CN112489114B (zh) * | 2020-11-25 | 2024-05-10 | 深圳地平线机器人科技有限公司 | 图像转换方法、装置、计算机可读存储介质及电子设备 |
CN112781837A (zh) * | 2020-12-25 | 2021-05-11 | 蚌埠高华电子股份有限公司 | 一种lcd显示效果检测系统 |
CN113177986B (zh) * | 2021-03-16 | 2022-11-08 | 上海大学 | 一种水下大视野摄像系统 |
CN113240615B (zh) * | 2021-05-20 | 2022-06-07 | 北京城市网邻信息技术有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN113240752B (zh) * | 2021-05-21 | 2024-03-22 | 中科创达软件股份有限公司 | 一种内参和外参协同标定方法和装置 |
CN113284196B (zh) * | 2021-07-20 | 2021-10-22 | 杭州先奥科技有限公司 | 一种摄像机畸变逐像素标定方法 |
CN114332234B (zh) * | 2021-10-26 | 2022-09-09 | 鹰驾科技(深圳)有限公司 | 一种基于棋盘格的自动标定方法及系统 |
CN114115021A (zh) * | 2021-11-19 | 2022-03-01 | 安徽省爱夫卡电子科技有限公司 | 一种汽车adas系统的摄像头标定系统 |
CN117036505B (zh) * | 2023-08-23 | 2024-03-29 | 长和有盈电子科技(深圳)有限公司 | 车载摄像头在线标定方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103617606A (zh) * | 2013-11-26 | 2014-03-05 | 中科院微电子研究所昆山分所 | 用于辅助驾驶的车辆多视角全景生成方法 |
CN109712194A (zh) * | 2018-12-10 | 2019-05-03 | 深圳开阳电子股份有限公司 | 车载环视系统及其立体标定方法和计算机可读存储介质 |
-
2019
- 2019-08-30 CN CN201910814495.4A patent/CN110517202B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103617606A (zh) * | 2013-11-26 | 2014-03-05 | 中科院微电子研究所昆山分所 | 用于辅助驾驶的车辆多视角全景生成方法 |
CN109712194A (zh) * | 2018-12-10 | 2019-05-03 | 深圳开阳电子股份有限公司 | 车载环视系统及其立体标定方法和计算机可读存储介质 |
Non-Patent Citations (2)
Title |
---|
【辅助驾驶】图像拼接[4]——车载全景可视系统代码实现;105度西瓜;《CSDN》;20181225;1-3 * |
全景视频拼接关键技术分析;时间机器影像中心;《TMIC时间机器数字文博》;20140303;1-8 * |
Also Published As
Publication number | Publication date |
---|---|
CN110517202A (zh) | 2019-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110517202B (zh) | 一种车身摄像头标定方法及其标定装置 | |
CN109816733B (zh) | 相机参数初始化方法及装置、相机参数标定方法及设备、图像采集系统 | |
CN108805934B (zh) | 一种车载摄像机的外部参数标定方法及装置 | |
EP3100234B1 (en) | Data-processing system and method for calibration of a vehicle surround view system | |
CN108876836B (zh) | 一种深度估计方法、装置、系统及计算机可读存储介质 | |
CN109598762A (zh) | 一种高精度双目相机标定方法 | |
CN110660105B (zh) | 一种全景环视系统的标定参数优化方法及装置 | |
JP5456330B2 (ja) | 画像表示装置及びそのカメラ取り付け角度算出方法 | |
CN114897864B (zh) | 基于数模信息的工件检测及缺陷判断方法 | |
WO2015045329A1 (ja) | 車両周辺画像表示装置及びカメラの調整方法 | |
CN109767473A (zh) | 一种全景泊车装置标定方法及装置 | |
US10740923B2 (en) | Face direction estimation device and face direction estimation method for estimating the direction of a face represented on an image | |
CN115345946A (zh) | 基于深度学习的汽车全景影像系统的外参标定方法、装置 | |
CN112470192A (zh) | 双摄像头标定方法、电子设备、计算机可读存储介质 | |
CN112419420B (zh) | 一种相机标定方法、装置、电子设备及存储介质 | |
CN111461963A (zh) | 一种鱼眼图像拼接方法及装置 | |
CN112270719A (zh) | 相机标定方法、装置及系统 | |
CN113793266A (zh) | 一种多目机器视觉图像拼接方法、系统及存储介质 | |
CN110136048B (zh) | 一种图像配准方法及系统、存储介质及终端 | |
CN110956585B (zh) | 全景图像拼接方法、装置以及计算机可读存储介质 | |
KR101926258B1 (ko) | Avm 시스템의 자동 캘리브레이션 방법 | |
CN115049738A (zh) | 人与相机之间距离的估计方法及系统 | |
CN109754435B (zh) | 一种基于小靶标模糊图像的摄像机在线标定方法 | |
Fasogbon et al. | Calibration of fisheye camera using entrance pupil | |
JP2008224323A (ja) | ステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP02 | Change in the address of a patent holder |
Address after: 11th Floor, Building A1, Huizhi Science and Technology Park, No. 8 Hengtai Road, Nanjing Economic and Technological Development Zone, Jiangsu Province, 211000 Patentee after: DILU TECHNOLOGY Co.,Ltd. Address before: Building C4, No.55 Liyuan South Road, moling street, Jiangning District, Nanjing City, Jiangsu Province Patentee before: DILU TECHNOLOGY Co.,Ltd. |
|
CP02 | Change in the address of a patent holder |