CN110766762A - 一种全景泊车的标定方法及标定系统 - Google Patents

一种全景泊车的标定方法及标定系统 Download PDF

Info

Publication number
CN110766762A
CN110766762A CN201911009031.2A CN201911009031A CN110766762A CN 110766762 A CN110766762 A CN 110766762A CN 201911009031 A CN201911009031 A CN 201911009031A CN 110766762 A CN110766762 A CN 110766762A
Authority
CN
China
Prior art keywords
calibration
images
cameras
camera
monitoring host
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911009031.2A
Other languages
English (en)
Inventor
吴隆穗
黄智�
张宏亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Siwei Electronic Technology Co Ltd
Original Assignee
Guangzhou Siwei Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Siwei Electronic Technology Co Ltd filed Critical Guangzhou Siwei Electronic Technology Co Ltd
Priority to CN201911009031.2A priority Critical patent/CN110766762A/zh
Publication of CN110766762A publication Critical patent/CN110766762A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种全景泊车的标定方法及标定系统,所述方法包括:各摄像头采集自身对应区域的图像,并传输至监控主机;其中,各摄像头和所述监控主机分别指目标车辆安装的前后左右四个摄像头和监控主机,所述图像为铺设在所述目标车辆车身四周的标定样板印刷的标定图案图像,所述标定图案以黑白相间的棋盘格子构成,与各摄像头对应区域的标定图案上设有四个与格子颜色相反的圆;所述监控主机对各摄像头的图像进行畸变校正、生成对地的鸟瞰图,以及将各摄像头的图像拼接成环绕车身四周的图像。本发明具有非常好的鲁棒性,能够提高全景泊车的标定精度,且适用于任意车型。

Description

一种全景泊车的标定方法及标定系统
技术领域
本发明涉及电子技术领域,尤其涉及一种全景泊车的标定方法及标定系统。
背景技术
如何让车辆安全、准确地泊入停车位,一直是广大司机,尤其是新手司机头痛的问题。长期以来,驾驶者只能依赖后视镜大致观察车身周围的环境情况,或者仅仅依赖单一的后视摄像头来观察车身后方的障碍物情况,存在很大的视觉盲区,以及观察到的障碍物相对车身位置不直观的问题,为解决此类安全问题,近几年流行在车身前、后、左、右各安装一个超广角鱼眼摄像头,并经过畸变校正、单应性变换以及全景拼接等技术,形成一个从天空中往下看的合成鸟瞰图,驾驶者可以在车上通过显示屏上的鸟瞰图就可以非常直观地看到车身四周的实时图像,这个图像是无盲区的,并且能清晰地展现障碍物和车身的相对位置。
在整套系统中,如何从四个超广角鱼眼摄像头,合成无盲区、拼接良好的鸟瞰图是关键,这个过程我们称之为标定。标定主要解决以下几个问题:
摄像头的内参数,包含焦距f和中心点(x_o,y_o)两部分。由于生成、制造工艺的精度问题,每个摄像头的实际焦距、中心点都是不一样的,并且能对生成的图像造成重大影响。如果焦距和中心点计算不精确,对超广角鱼眼摄像头进行畸变校正时,无法获得很好的效果,因此标定时需要精确地计算出当前摄像头的实际焦距和中心点;
摄像头的外参数,包括摄像头安装在车身上的高度以及与世界坐标系 (X,Y,Z)构成的三维角度,以便精确地计算出每个摄像头的鸟瞰图;
前后左右四个摄像头之间的相对位置,以便能将四个摄像头的鸟瞰图拼接起来,合成可纵览车身四周的全景鸟瞰图。
一般地,标定时均需要在地面上布置经过设计的特殊图案,图案上含有特殊的特征点,标定时通过机器视觉算法识别并提取这些特征点在图像中的坐标位置来计算上述参数。图案设计是否合理、是否巧妙则直接关系到标定的效果。
在对现有技术的研究和实践中,本发明的发明人发现,现有技术存在以下缺点:
1)受环境光线影响大,标定成功率低,需要有严苛的环境才能标定,无法适应各种如强光、弱光、杂光等不良环境;
2)需要针对每个车型,预先给定一组专属的默认参数,如果摄像头安装位置与预先给定的默认参数偏差大,可能导致无法标定成功;
3)标定精度低,计算不精确。如焦距和中心点的计算不够准确,甚至不考虑每个摄像头的个体差异(即不计算焦距和中心点),导致后期的鸟瞰图效果不好;
4)操作复杂,对操作人员要求高,无法做到傻瓜化一键标定,如标定时需要人工用尺子量出摆放时标定布之间的尺寸,或者需要人工在屏幕上选取特征点。
发明内容
本发明所要解决的技术问题在于,提供一种全景泊车的标定方法及标定系统,具有非常好的鲁棒性,能够提高全景泊车的标定精度,且适用于任意车型。
本发明一实施例提供一种全景泊车的标定方法,包括:
各摄像头采集自身对应区域的图像,并传输至监控主机;其中,各摄像头和所述监控主机分别指目标车辆安装的前后左右四个摄像头和监控主机,所述图像为铺设在所述目标车辆车身四周的标定样板印刷的标定图案图像,所述标定图案以黑白相间的棋盘格子构成,与各摄像头对应区域的标定图案上设有四个与格子颜色相反的圆;
所述监控主机对各摄像头的图像进行畸变校正、生成对地的鸟瞰图,以及将各摄像头的图像拼接成环绕车身四周的图像。
优选地,所述标定图案上设有的四个与格子颜色相反的圆的直径为所在方格边长的1/3至2/3,所述方格大小为500mmx600mm,所述标定图案最外围设有同样为黑白相间、长为250mm、宽为250mm的边缘图案;所述标定样板为无纺布或地面。
优选地,铺设在所述目标车辆左右两侧的标定图案的尾部,绘制有多条指示线,每条指示线的间距为0.2m。
优选地,所述监控主机对各摄像头的图像进行畸变校正、生成对地的鸟瞰图,以及将各摄像头的图像拼接成环绕车身四周的图像,具体的:
所述监控主机采用摄像头的畸变校正原理和单应性变换对各摄像头的图像处理,并求解各摄像头的内参;
识别所述图像中四个与格子颜色相反的圆,并提取此四个圆的圆心坐标,以此四个坐标为迭代的初始坐标。由于圆位于图像中心区域,属于摄像头成像的最佳区域,且由于圆的特殊性,便于识别,因此先识别圆作为迭代的初始坐标,可以很好地适应各种强光、弱光和杂光环境;另外地,在各摄像头的内参中,焦距和中心点偏移以各摄像头的理想值为初始值开始迭代,直至所有参数与镜头实际值完全一致。
本发明一实施例还提供一种全景泊车的标定系统,包括目标车辆和铺设在所述目标车辆车身四周的标定样板;其中,所述目标车辆安装有前后左右四个摄像头以及监控主机,所述标定样板印刷有标定图案,所述标定图案以黑白相间的棋盘格构成,与各摄像头对应区域的标定图案上设有四个与格子颜色相反的圆;
各摄像头,用于采集自身对应区域的图像,并传输至所述监控主机;
所述监控主机,用于对各摄像头的图像进行畸变校正、生成对地的鸟瞰图,以及将各摄像头的图像拼接成环绕车身四周的图像。
本发明一实施例还提供一种计算机可读存储介质,所述存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述存储介质所在设备执行如上述的全景泊车的标定方法。
实施本发明实施例,具有如下有益效果:
本发明具有非常好的鲁棒性,能够提高全景泊车的标定精度,且适用于任意车型。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施方式中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种全景泊车的标定方法的流程示意图;
图2是本发明一实施例提供的前后左右拼在一起的标定图案效果图;
图3是本发明一实施例提供的前后标定图案;
图4是本发明一实施例提供的左右标定图案;
图5是本发明一实施例提供的左右布拼在前布上的示意图;
图6是本发明一实施例提供的前后左右摄像头原始图像;
图7是本发明一实施例提供的原始图像上标注的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,文中所使用的步骤编号仅是为了方便描述,不作为对步骤执行先后顺序的限定。
应当理解,在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/ 或其集合的存在或添加。
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
请参阅图1-7。
本发明一实施例提供一种全景泊车的标定方法,包括:
S100、各摄像头采集自身对应区域的图像,并传输至监控主机;其中,各摄像头和所述监控主机分别指目标车辆安装的前后左右四个摄像头和监控主机,所述图像为铺设在所述目标车辆车身四周的标定样板印刷的标定图案图像,所述标定图案以黑白相间的棋盘格子构成,与各摄像头对应区域的标定图案上设有四个与格子颜色相反的圆;
S200、所述监控主机对各摄像头的图像进行畸变校正、生成对地的鸟瞰图,以及将各摄像头的图像拼接成环绕车身四周的图像。
其中,所述标定图案上设有的四个与格子颜色相反的圆的直径为所在方格边长的1/3至2/3,所述方格大小为500mmx600mm,所述标定图案最外围设有同样为黑白相间、长为250mm、宽为250mm的边缘图案;所述标定样板为无纺布或地面。
在全景泊车系统中,前后摄像头一般分别安装在车头和车尾的居中位置,左右摄像头分别安装在左右外后视镜上,对应地,标定图案放置在车身四周,摄像头根据采集到的各自方位的图案进行标定。
如图2-3,设计的标定图案铺放在车身四周,由前、后、左、右四部分组成,为了便于批量生产以及后续现场实施,前后标定图案设计成完全一致,且旋转 180度之后也完全一致(前和后图案摆放时无方向限制),左和右也是完全一致。图案以黑白相间的棋盘格构成,并在摄像头下方位置放置四个与格子颜色相反的圆。为了使四个圆在摄像头中的成像是最佳的,四个圆均放置在四个摄像头的下方位置,此位置成像时,圆位于摄像头图像的中心位置,图像清晰度最佳,且畸变最小,最利于后续的算法识别。基于此考虑,前后标定图案中的圆放在标定图案的中心位置,左右标定图案中的圆放置在对应侧靠上位置(即左右摄像头下方)。圆的直径一般是所在格子长和宽的1/3至2/3大小,以便标定时识别算法能够更为准确地识别到目标圆,滤除其它干扰。除了内部黑白相间的标定格外,图案的最外围设置有同样为黑白相间、大约250毫米大小的边缘图案。
图案可印刷在不同的材质上,以不同的形态出现,比如印制在无纺布上,或者直接用油漆刷在固定地面上。
需要说明的是,在前装车厂的车间内部,由于具备固定的场地和工位,一般使用油漆刷在固定的地面上,而后装为了灵活性,一般均印制在不反光的无纺布上,便于折叠、存放和运输。
市面上的现有技术中,前后左右四块布铺设时的对齐需要花很长时间,并且需要用尺子去量四个布之间的相对距离,操作非常麻烦,难以保证精度,并且不同的操作工人差别很大,一致性不好,这些都将明显影响标定效果。
本实施例中,针对所设图案是印刷在无纺布上的实体形态,直接将左、右的布和前布用针线缝在一起,或者用胶水粘在一起,这样在实际铺布时,前布和左、右布是一体的,无需额外花时间对齐,且精度有保证,操作者只需要将后布铺在左和右布上即可。如果所设图案是以其它载体方式存在,采用类似的方式固定即可。
如图4-5,铺设在所述目标车辆左右两侧的标定图案的尾部,绘制有多条指示线,每条指示线的间距为0.2m。
在具体的实施例当中,后布如何跟左右布拼接在一起,才能做到以下几点要求?
1)能够适应不同长度的车型,即小型A级轿车,大型D级轿车,以及各类 SUV、MPV等,均能适应;
2)能够确保布与布之间准确对齐,并且不同操作工人铺设的一致性都很好。
为此,本实施例在左右标定图案的尾部,画有多条指示线,并分别标注距离,如0.8米、1米、1.2米…2.0米等,以适应不同长度的车型。使用时,后面标定布根据当前车的大小,选择叠在左右的0.8米、1米、1.2米等位置处,如针对A级轿车,叠在0.8米处,对一般的SUV,叠在1.2米位置处,避免操作工人用尺子量距离。同时,要求后面的布的格子与左右严格对齐,并且与左和右均对齐在同样的距离标注处,能够降低不同工人操作的差异,并确保铺布的精度。
需要说明的是,此处的0.8米、1.2米等位置代表的是当前黑白格的长度,也可以设置成从车头开始到此格的位置,若是车头开始,则应标成如5.1米、5.3 米、5.5米、5.7米、5.9米等类似的距离,原理是一样的。
其中,所述监控主机对各摄像头的图像进行畸变校正、生成对地的鸟瞰图,以及将各摄像头的图像拼接成环绕车身四周的图像,具体的:
所述监控主机采用摄像头的畸变校正原理和单应性变换对各摄像头的图像处理,并求解各摄像头的内参;
识别所述图像中四个与格子颜色相反的圆,并提取此四个圆的圆心坐标,作为迭代的初始坐标);其中,在各摄像头的内参中,焦距和中心点偏移以各摄像头的理想值为初始值开始迭代,直至所有参数与摄像头的实际值完全一致,消除制造工艺产生的个体差异。
如图6-7,在具体的实施例当中,前后左右四个摄像头采集到的原始图像如图所示。从图中可以看出,由于摄像头是原始的超广角摄像头,存在很大的畸变,因此标定的目的即是畸变校正、生成对地的鸟瞰图,以及将四个摄像头图像拼接成完成的环绕车身四周的图像。
畸变校正和生成对地鸟瞰图是在同一技术流程中实现的,即求摄像头的内参与生成对地鸟瞰图是同时进行的。
(1)、摄像头的畸变校正原理
设:摄像头的中心点偏移为(Ox,Oy),注意此处指中心点偏移了中心点偏移 (Ox,Oy),而非中心点为(Ox,Oy)。理想情况下中心点应为图像中心,此时 (Ox,Oy)=(0,0),但实际生产制造时工艺达不到。
在原始畸变图像上,对于已经是以图像中心的为坐标原点的点 Psro=(xsro,ysro),将其平移至畸变中心,得到新的坐标值Pd=(xd,yd),其中 xd=xsro-Ox,yd=ysro-Oy。Pd的极坐标系表示为rd
Figure 1
Pd对应到畸变校正后的理想图像上的坐标点为Pa=(xa,ya),Pu的极坐标系表示为ru
Figure 2
在极坐标系下,原始畸变图像上的点与畸变校正后的点的关系式为:
Figure 4
为描述方便,将公式(1)中从rd计算出ru的过程记为R(rd),对应的逆计算,即从ru计算出rd的过程记为R-1(ru)。
梳理上述参数,可知摄像头的畸变内参数为中心点偏移(Ox,Oy),以及畸变系数k1,k2。为方便描述,记为集合Dint={(Ox,Oy),{k1,k2)}。
(2)、单应性变换
单应性变换可以实现一个平面映射到另外一个平面。全景的环绕影像均是对地拼接的,而摄像头安装时并不是垂直朝下,因此标定时需要将畸变校正后的摄像头图像映射到对地平面的图像,这个过程通过单应性变换来实现。单应性矩阵是一个3x3的矩阵,记为H:
针对畸变校正后平面上的点Pd,映射到地平面上对应的点Pw=(xw,yw),采用齐次坐标可描述为:
Figure BDA0002243413590000072
标量s用来保证齐次坐标最后一个均为1。也可简写成:
Pw=H×Pd 公式(4)
Pd=H-1×Pw 公式(5)
其中H-1是H的逆矩阵。记从畸变校正后平面上的点映射到地平面上的变换为 M(*),即公式(4)可写为Pw=M(Pd)。记其逆变换,即从地平面映射到畸变校正后平面上的变换为M-1(*),即公式(5)可写为Fd=M-1(Pw)。
一般地,H矩阵的最后一个元素h22均固定为1,剩余的8个未知元素可以通过畸变校正平面和地平面上一一对应的4组点的映射来求解,每组点的x和y 构成2个方程,4组点共构成8个方程,可求出8个未知元素的解。OpenCV提供了函数cvFindHomography(),只需输入至少4组点,即可求得单应性矩阵H。此处调用cvFindHomography()来获取矩阵H。
(3)、最优化求解参数
根据上面的描述可知,为了得到精确的摄像头对地鸟瞰图,需要求出摄像头的畸变内参数Da={(Ox,Oy),{k1,k2}},以及单应性矩阵H。为得到此参数,本技术采用迭代的方式求得最优解。本技术的采用梯度下降算法来求得最优解。
(4)、标定算法步骤
下面以前摄像头为例,其它三个摄像头的原理是相同的:
1)、在采集到的摄像头原始图像中,识别白底黑圆和黑底白圆各2个圆,并提取这4个点的圆心坐标po={(pox1,poy1),(yox2,poy2),(pox3,poy3),(pox4,poy4)};
2)、如图7,找到4个圆心坐标后,以圆心坐标为初始点,在其附近寻找其相邻点。如根据PO1的坐标,在其附近寻找到Pd03、Pd04、Pd13、Pd14,类推寻找到 Pd23、Pd24、Pd05、Pd15、Pd25等点,再往外,寻找到Pd02、Pd12等点,直到所有的点均找到。
3)、将所找到的点带入上述“摄像头的畸变校正原理”、“单应性变换”和“最优化求解参数”中描述的原理进入迭代运算,计算出所需的参数。
本发明一实施例还提供一种全景泊车的标定系统,包括目标车辆和铺设在所述目标车辆车身四周的标定样板;其中,所述目标车辆安装有前后左右四个摄像头以及监控主机,所述标定样板印刷有标定图案,所述标定图案以黑白相间的棋盘格构成,与各摄像头对应区域的标定图案上设有四个与格子颜色相反的圆;
各摄像头,用于采集自身对应区域的图像,并传输至所述监控主机;
所述监控主机,用于对各摄像头的图像进行畸变校正、生成对地的鸟瞰图,以及将各摄像头的图像拼接成环绕车身四周的图像。
其中,所述标定图案上设有的四个与格子颜色相反的圆的直径为所在方格边长的1/3至2/3,所述方格大小为500mmx600mm,所述标定图案最外围设有同样为黑白相间、长为250mm、宽为250mm的边缘图案;所述标定样板为无纺布或地面。
在全景泊车系统中,前后摄像头一般分别安装在车头和车尾的居中位置,左右摄像头分别安装在左右外后视镜上,对应地,标定图案放置在车身四周,摄像头根据采集到的各自方位的图案进行标定。
如图2-3,设计的标定图案铺放在车身四周,由前、后、左、右四部分组成,为了便于批量生产以及后续现场实施,前后标定图案设计成完全一致,且旋转 180度之后也完全一致(前和后图案摆放时无方向限制),左和右也是完全一致。图案以黑白相间的棋盘格构成,并在摄像头下方位置放置四个与格子颜色相反的圆。为了使四个圆在摄像头中的成像是最佳的,四个圆均放置在四个摄像头的下方位置,此位置成像时,圆位于摄像头图像的中心位置,图像清晰度最佳,且畸变最小,最利于后续的算法识别。基于此考虑,前后标定图案中的圆放在标定图案的中心位置,左右标定图案中的圆放置在对应侧靠上位置(即左右摄像头下方)。圆的直径一般是所在格子长和宽的1/3至2/3大小,以便标定时识别算法能够更为准确地识别到目标圆,滤除其它干扰。除了内部黑白相间的标定格外,图案的最外围设置有同样为黑白相间、大约250毫米大小的边缘图案。
图案可印刷在不同的材质上,以不同的形态出现,比如印制在无纺布上,或者直接用油漆刷在固定地面上。
需要说明的是,在前装车厂的车间内部,由于具备固定的场地和工位,一般使用油漆刷在固定的地面上,而后装为了灵活性,一般均印制在不反光的无纺布上,便于折叠、存放和运输。
市面上的现有技术中,前后左右四块布铺设时的对齐需要花很长时间,并且需要用尺子去量四个布之间的相对距离,操作非常麻烦,难以保证精度,并且不同的操作工人差别很大,一致性不好,这些都将明显影响标定效果。
本实施例中,针对所设图案是印刷在无纺布上的实体形态,直接将左、右的布和前布用针线缝在一起,或者用胶水粘在一起,这样在实际铺布时,前布和左、右布是一体的,无需额外花时间对齐,且精度有保证,操作者只需要将后布铺在左和右布上即可。如果所设图案是以其它载体方式存在,采用类似的方式固定即可。
如图4-5,铺设在所述目标车辆左右两侧的标定图案的尾部,绘制有多条指示线,每条指示线的间距为0.2m。
在具体的实施例当中,后布如何跟左右布拼接在一起,才能做到以下几点要求?
1)能够适应不同长度的车型,即小型A级轿车,大型D级轿车,以及各类 SUV、MPV等,均能适应;
2)能够确保布与布之间准确对齐,并且不同操作工人铺设的一致性都很好。
为此,本实施例在左右标定图案的尾部,画有多条指示线,并分别标注距离,如0.8米、1米、1.2米…2.0米等,以适应不同长度的车型。使用时,后面标定布根据当前车的大小,选择叠在左右的0.8米、1米、1.2米等位置处,如针对A级轿车,叠在0.8米处,对一般的SUV,叠在1.2米位置处,避免操作工人用尺子量距离。同时,要求后面的布的格子与左右严格对齐,并且与左和右均对齐在同样的距离标注处,能够降低不同工人操作的差异,并确保铺布的精度。
需要说明的是,此处的0.8米、1.2米等位置代表的是当前黑白格的长度,也可以设置成从车头开始到此格的位置,若是车头开始,则应标成如5.1米、5.3 米、5.5米、5.7米、5.9米等类似的距离,原理是一样的。
其中,所述监控主机对各摄像头的图像进行畸变校正、生成对地的鸟瞰图,以及将各摄像头的图像拼接成环绕车身四周的图像,具体的:
所述监控主机采用摄像头的畸变校正原理和单应性变换对各摄像头的图像处理,并求解各摄像头的内参;
识别所述图像中四个与格子颜色相反的圆,并提取此四个圆的圆心坐标,作为迭代的初始坐标);其中,在各摄像头的内参中,焦距和中心点偏移以各摄像头的理想值为初始值开始迭代,直至所有参数与摄像头的实际值完全一致,消除制造工艺产生的个体差异。
如图6-7,在具体的实施例当中,前后左右四个摄像头采集到的原始图像如图所示。从图中可以看出,由于摄像头是原始的超广角摄像头,存在很大的畸变,因此标定的目的即是畸变校正、生成对地的鸟瞰图,以及将四个摄像头图像拼接成完成的环绕车身四周的图像。
畸变校正和生成对地鸟瞰图是在同一技术流程中实现的,即求摄像头的内参与生成对地鸟瞰图是同时进行的。
(1)、摄像头的畸变校正原理
设:摄像头的中心点偏移为(Ox,Oy),注意此处指中心点偏移了中心点偏移 (Ox,Oy),而非中心点为(Ox,Oy)。理想情况下中心点应为图像中心,此时 (Ox,Oy)=(0,0),但实际生产制造时工艺达不到。
在原始畸变图像上,对于已经是以图像中心的为坐标原点的点 Paro=(xaro,yaro),将其平移至畸变中心,得到新的坐标值Pd=(xd,yd),其中 xd=xsro-Ox,yd=ysro-Oy。Pd的极坐标系表示为rd
Figure BDA0002243413590000101
Pd对应到畸变校正后的理想图像上的坐标点为Pa=(xa,ya),Pu的极坐标系表示为ru
Figure BDA0002243413590000102
在极坐标系下,原始畸变图像上的点与畸变校正后的点的关系式为:
为描述方便,将公式(1)中从rd计算出ru的过程记为R(rd),对应的逆计算,即从ru计算出rd的过程记为R-1(rd)。
梳理上述参数,可知摄像头的畸变内参数为中心点偏移(Ox,Oy),以及畸变系数k1,k2。为方便描述,记为集合Dint={(Ox,Oy),{k1,k2}}。
(2)、单应性变换
单应性变换可以实现一个平面映射到另外一个平面。全景的环绕影像均是对地拼接的,而摄像头安装时并不是垂直朝下,因此标定时需要将畸变校正后的摄像头图像映射到对地平面的图像,这个过程通过单应性变换来实现。单应性矩阵是一个3x3的矩阵,记为H:
Figure BDA0002243413590000111
针对畸变校正后平面上的点Pd,映射到地平面上对应的点Pw=(xw,yw),采用齐次坐标可描述为:
Figure BDA0002243413590000112
标量s用来保证齐次坐标最后一个均为1。也可简写成:
Pw=H×Pd 公式(4)
Pd=H-1×Pw 公式(5)
其中H-1是H的逆矩阵。记从畸变校正后平面上的点映射到地平面上的变换为 M(*),即公式(4)可写为Pw=M(Pd)。记其逆变换,即从地平面映射到畸变校正后平面上的变换为M-1(*),即公式(5)可写为Fd=M-1(Pw)。
一般地,H矩阵的最后一个元素h22均固定为1,剩余的8个未知元素可以通过畸变校正平面和地平面上一一对应的4组点的映射来求解,每组点的x和y 构成2个方程,4组点共构成8个方程,可求出8个未知元素的解。OpenCV提供了函数cvFindHomography(),只需输入至少4组点,即可求得单应性矩阵H。此处调用cvFindHomography()来获取矩阵H。
(3)、最优化求解参数
根据上面的描述可知,为了得到精确的摄像头对地鸟瞰图,需要求出摄像头的畸变内参数Dα={(Ox,Oy),{k1,k2}},以及单应性矩阵H。为得到此参数,本技术采用迭代的方式求得最优解。本技术的采用梯度下降算法来求得最优解。
(4)、标定算法步骤
下面以前摄像头为例,其它三个摄像头的原理是相同的:
1)、在采集到的摄像头原始图像中,识别白底黑圆和黑底白圆各2个圆,并提取这4个点的圆心坐标po={(pox1,poy1),(pox2,poy2),(pox3,poy3),(pox4,poy4)};
2)、如图7,找到4个圆心坐标后,以圆心坐标为初始点,在其附近寻找其相邻点。如根据PO1的坐标,在其附近寻找到Pd03、Pd04、Pd13、Pd14,类推寻找到 Pd23、Pd24、Pd05、Pd15、Pd25等点,再往外,寻找到Pd02、Pd12等点,直到所有的点均找到。
3)、将所找到的点带入上述“摄像头的畸变校正原理”、“单应性变换”和“最优化求解参数”中描述的原理进入迭代运算,计算出所需的参数。
本发明一实施例还提供一种计算机可读存储介质,其特征在于,所述存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述存储介质所在设备执行如上述的全景泊车的标定方法。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

Claims (9)

1.一种全景泊车的标定方法,其特征在于,包括:
各摄像头采集自身对应区域的图像,并传输至监控主机;其中,各摄像头和所述监控主机分别指目标车辆安装的前后左右四个摄像头和监控主机,所述图像为铺设在所述目标车辆车身四周的标定样板印刷的标定图案图像,所述标定图案以黑白相间的棋盘格子构成,与各摄像头对应区域的标定图案上设有四个与格子颜色相反的圆;
所述监控主机对各摄像头的图像进行畸变校正、生成对地的鸟瞰图,以及将各摄像头的图像拼接成环绕车身四周的图像。
2.根据权利要求1所述的全景泊车的标定方法,其特征在于,所述标定图案上设有的四个与格子颜色相反的圆的直径为所在方格边长的1/3至2/3,所述方格大小为500mmx600mm,所述标定图案最外围设有同样为黑白相间、长为250mm、宽为250mm的边缘图案;所述标定样板为无纺布或地面。
3.根据权利要求1所述的全景泊车的标定方法,其特征在于,铺设在所述目标车辆左右两侧的标定图案的尾部,绘制有多条指示线,每条指示线的间距为0.2m。
4.根据权利要求1所述的全景泊车的标定方法,其特征在于,所述监控主机对各摄像头的图像进行畸变校正、生成对地的鸟瞰图,以及将各摄像头的图像拼接成环绕车身四周的图像,具体的:
所述监控主机采用摄像头的畸变校正原理和单应性变换对各摄像头的图像处理,并求解各摄像头的内参;
识别所述图像中四个与格子颜色相反的圆,并提取此四个圆的圆心坐标,作为迭代的初始坐标;其中,在各摄像头的内参中,焦距和中心点偏移以各摄像头的理想值为初始值开始迭代,直至迭代结果与摄像头实际值完全一致。
5.一种全景泊车的标定系统,其特征在于,包括目标车辆和铺设在所述目标车辆车身四周的标定样板;其中,所述目标车辆安装有前后左右四个摄像头以及监控主机,所述标定样板印刷有标定图案,所述标定图案以黑白相间的棋盘格构成,与各摄像头对应区域的标定图案上设有四个与格子颜色相反的圆;
各摄像头,用于采集自身对应区域的图像,并传输至所述监控主机;
所述监控主机,用于对各摄像头的图像进行畸变校正、生成对地的鸟瞰图,以及将各摄像头的图像拼接成环绕车身四周的图像。
6.根据权利要求1所述的全景泊车的标定系统,其特征在于,所述标定图案上设有的四个与格子颜色相反的圆的直径为所在方格边长的1/3至2/3,所述方格大小为500mmx600mm,所述标定图案最外围设有同样为黑白相间、长为250mm、宽为250mm的边缘图案;所述标定样板为无纺布或地面。
7.根据权利要求1所述的全景泊车的标定系统,其特征在于,铺设在所述目标车辆左右两侧的标定图案的尾部,绘制有多条指示线,每条指示线的间距为0.2m。
8.根据权利要求1所述的全景泊车的标定系统,其特征在于,所述监控主机对各摄像头的图像进行畸变校正、生成对地的鸟瞰图,以及将各摄像头的图像拼接成环绕车身四周的图像,具体的:
所述监控主机采用摄像头的畸变校正原理和单应性变换对各摄像头的图像处理,并求解各摄像头的内参;
识别所述图像中四个与格子颜色相反的圆,并提取此四个圆的圆心坐标,作为迭代的初始坐标);其中,在各摄像头的内参中,焦距和中心点偏移以各摄像头的理想值为初始值开始迭代,直至迭代结果与摄像头实际值完全一致。
9.一种计算机可读存储介质,其特征在于,所述存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述存储介质所在设备执行如权利要求1至4任一项所述的全景泊车的标定方法。
CN201911009031.2A 2019-10-22 2019-10-22 一种全景泊车的标定方法及标定系统 Pending CN110766762A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911009031.2A CN110766762A (zh) 2019-10-22 2019-10-22 一种全景泊车的标定方法及标定系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911009031.2A CN110766762A (zh) 2019-10-22 2019-10-22 一种全景泊车的标定方法及标定系统

Publications (1)

Publication Number Publication Date
CN110766762A true CN110766762A (zh) 2020-02-07

Family

ID=69333025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911009031.2A Pending CN110766762A (zh) 2019-10-22 2019-10-22 一种全景泊车的标定方法及标定系统

Country Status (1)

Country Link
CN (1) CN110766762A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986270A (zh) * 2020-08-26 2020-11-24 深圳市爱培科技术股份有限公司 一种全景泊车标定方法、装置及存储介质
CN112785653A (zh) * 2020-12-30 2021-05-11 中山联合汽车技术有限公司 车载相机姿态角标定方法
CN113223089A (zh) * 2021-03-25 2021-08-06 中科创达软件股份有限公司 一种标定装置、标定场和标定方法
CN114663397A (zh) * 2022-03-22 2022-06-24 小米汽车科技有限公司 可行驶区域的检测方法、装置、设备及存储介质
EP4195665A1 (en) * 2021-12-08 2023-06-14 Harman Becker Automotive Systems GmbH Calibration arrangement and calibration method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103035005A (zh) * 2012-12-13 2013-04-10 广州致远电子股份有限公司 一种全景泊车的标定方法,及装置,一种自动标定方法
CN105894549A (zh) * 2015-10-21 2016-08-24 乐卡汽车智能科技(北京)有限公司 一种全景辅助泊车系统、装置及全景图像显示方法
CN109559350A (zh) * 2018-11-23 2019-04-02 广州路派电子科技有限公司 全景环视系统预标定装置及方法
CN109974745A (zh) * 2017-12-28 2019-07-05 中国科学院沈阳自动化研究所 车载相机综合标定检测台
CN209388366U (zh) * 2019-01-08 2019-09-13 北京汽车股份有限公司 全景影像的标定装置及标定场地

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103035005A (zh) * 2012-12-13 2013-04-10 广州致远电子股份有限公司 一种全景泊车的标定方法,及装置,一种自动标定方法
CN105894549A (zh) * 2015-10-21 2016-08-24 乐卡汽车智能科技(北京)有限公司 一种全景辅助泊车系统、装置及全景图像显示方法
CN109974745A (zh) * 2017-12-28 2019-07-05 中国科学院沈阳自动化研究所 车载相机综合标定检测台
CN109559350A (zh) * 2018-11-23 2019-04-02 广州路派电子科技有限公司 全景环视系统预标定装置及方法
CN209388366U (zh) * 2019-01-08 2019-09-13 北京汽车股份有限公司 全景影像的标定装置及标定场地

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986270A (zh) * 2020-08-26 2020-11-24 深圳市爱培科技术股份有限公司 一种全景泊车标定方法、装置及存储介质
CN112785653A (zh) * 2020-12-30 2021-05-11 中山联合汽车技术有限公司 车载相机姿态角标定方法
CN113223089A (zh) * 2021-03-25 2021-08-06 中科创达软件股份有限公司 一种标定装置、标定场和标定方法
EP4195665A1 (en) * 2021-12-08 2023-06-14 Harman Becker Automotive Systems GmbH Calibration arrangement and calibration method
CN114663397A (zh) * 2022-03-22 2022-06-24 小米汽车科技有限公司 可行驶区域的检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110766762A (zh) 一种全景泊车的标定方法及标定系统
CN111223038B (zh) 一种车载环视图像的自动拼接方法及显示装置
JP4861034B2 (ja) 車載カメラのキャリブレーションシステム
JP4555876B2 (ja) 車載カメラのキャリブレーション方法
JP4803450B2 (ja) 車載カメラの校正装置及び当該装置を用いた車両の生産方法
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
US10358086B2 (en) Vehicle periphery image display device and camera adjustment method
CN104809718B (zh) 一种车载摄像头自动匹配标定方法
CN108475437A (zh) 具有角落放置摄像机的车辆360°环视系统,校准系统和方法
CN107167090A (zh) 车辆外廓尺寸测量方法及系统
US11562478B2 (en) Method and system for testing field of view
CN101577002A (zh) 应用于目标检测的鱼眼镜头成像系统标定方法
CN111435540A (zh) 一种车载环视系统的环视图拼接方法
JP2013002820A (ja) カメラキャリブレーション装置
CN108989794B (zh) 基于抬头显示系统的虚像信息测量方法及系统
KR20130113306A (ko) 차량 휠 얼라인먼트를 결정하는 시스템 및 관련 방법
JP2010103730A (ja) 車載カメラのキャリブレーション装置およびキャリブレーション方法
CN107067391A (zh) 一种快速标定车载摄像装置的设备与方法
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
JP2004200819A (ja) 車載カメラのキャリブレーション方法及びキャリブレーション装置
WO2023103679A1 (zh) 一种车载环视相机快速自动标定方法和装置
CN115797467B (zh) 车辆相机标定结果检测方法、装置、设备及存储介质
CN109919856A (zh) 基于双目视觉的沥青路面构造深度检测方法
CN113658262A (zh) 相机外参标定方法、装置、系统及存储介质
CN110543612A (zh) 一种基于单目视觉测量的集卡定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200207