CN102881016B - 基于车联网的车辆周围360°环境重构方法 - Google Patents

基于车联网的车辆周围360°环境重构方法 Download PDF

Info

Publication number
CN102881016B
CN102881016B CN201210349062.4A CN201210349062A CN102881016B CN 102881016 B CN102881016 B CN 102881016B CN 201210349062 A CN201210349062 A CN 201210349062A CN 102881016 B CN102881016 B CN 102881016B
Authority
CN
China
Prior art keywords
image
photographic head
amp
prime
brightness
Prior art date
Application number
CN201210349062.4A
Other languages
English (en)
Other versions
CN102881016A (zh
Inventor
梁艳菊
鲁斌
秦瑞
王伟
李庆
陈大鹏
Original Assignee
中科院微电子研究所昆山分所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中科院微电子研究所昆山分所 filed Critical 中科院微电子研究所昆山分所
Priority to CN201210349062.4A priority Critical patent/CN102881016B/zh
Publication of CN102881016A publication Critical patent/CN102881016A/zh
Application granted granted Critical
Publication of CN102881016B publication Critical patent/CN102881016B/zh

Links

Abstract

本发明公开了一种基于车联网的车辆周围360°环境重构方法,包括:S1、使用标定板对每个摄像头进行标定,利用已知参照物的图像,求取每个摄像头的标定参数;S2、摄像头根据自身的标定参数对各自图像进行校正;S3、进行IPM变换,采用仿射变换原理,利用仿射变换矩阵将每个摄像头校正后透视图像变换到俯视图像;S4、设定每个摄像头拍摄图像在全景图像中的显示范围,采用查找表的形式,将每幅IPM变换后的俯视图像对应的像素值映射到全景图,得到最后的拼接图像。本发明实现了不同摄像头图像IPM变换后的鸟瞰图像配准,增强图像亮度调整的精确性。

Description

基于车联网的车辆周围360°环境重构方法

技术领域

[0001] 本发明设及汽车电子技术领域,特别是设及一种基于车联网的车辆周围360°环境 重构方法。

背景技术

[0002] 车联网是物联网的典型应用,它是W汽车为信息节点,集成各类型传感器,建立 M2M互联,实现感知与通讯的无缝对接,使车载单元的信息和道路监控系统、交通管理系统、 停车库系统、汽车4S店服务系统、保险系统、道路医疗救援系统,日常生活相关的增值服务 系统等,并网组成一个强大的汽车物联网,并W汽车和驾乘者为目标客户群,借助强大的后 台数据库,进行定向分析和行为分析,开展衍生消费服务的专业系统解决方案。车联网终端 除了具有目前主流车载终端所有功能之外,还集成了各种定制的个性化车联网服务。作为 交通信息的采集者,为交通部口提供详细、精确的原始数据;作为交通服务的使用者,为车 主提供特定条件下所需的交通信息。最终通过建立W汽车为节点的信息系统,达到解决交 通拥堵、减少能源耗费、实现政府高效管理W及智能安全驾驶的目标。

[0003] 车联网要实现一个重要目标是是车辆的主动安全,主动安全旨在能够预知可能的 交通事故危险,使驾驶员能够提前采取措施来规避交通事故。研究数据表明,驾驶员对行驶 车辆周围的环境估计不足造成了大量的交通事故。目前驾驶员仅仅靠汽车的前后视镜来观 测车辆周围环境时,存在视觉盲区,不能得到全面的车辆周围环境信息。因此研究开发一种 可W让驾驶员感知到车身四周360°环境重构方法,并W-种符合人类视觉习惯的方式展现 出来,可W大幅度提高车辆在行驶时的主动安全性。

[0004] 申请号为201010590428.8的中国专利申请掲示了一种全景泊车系统,其主要应用 于全景泊车,主要在泊车时刻进行车辆四周全景图像采集和应用。在将图像进行鸟廠图像 变换时,要确定摄像头的安装角度,对安装要求较高;在实施过程中,还需要对各个图像的 鸟廠摆放位置和效果微调才能达到比较满意的全景拼接效果,没有给出对摄像机参数求取 的算法。

[0005] 因此,针对上述技术问题,有必要提供一种基于车联网的车辆周围360°环境重构 方法,W克服上述缺陷。

发明内容

[0006] 有鉴于此,本发明提供了一种基于车联网的车辆周围360°环境重构方法,其图像 校正效果好,图像亮度调整精确。

[0007] 为了实现上述目的,本发明实施例提供的技术方案如下:

[000引一种基于车联网的车辆周围360°环境重构方法,所述方法包括:

[0009] S1、使用标定板对每个摄像头进行标定,利用已知参照物的图像,求取每个摄像头 的标定参数;

[0010] S2、摄像头根据自身的标定参数对各自图像进行校正;

[0011] S3、进行IPM变换,采用仿射变换原理,利用仿射变换矩阵将每个摄像头校正后透 视图像变换到俯视图像;

[0012] S4、设定每个摄像头拍摄图像在全景图像中的显示范围,采用查找表的形式,将每 幅IPM变换后的俯视图像对应的像素值映射到全景图,得到最后的拼接图像。

[0013] 作为本发明的进一步改进,所述步骤S1中的标定板为方形或圆形的平面棋盘格、 或者为车身周围画出的不同方框。

[0014] 作为本发明的进一步改进,所述步骤S1具体为:

[0015] 采集标定板不同摆放位置和角度的图像;

[0016] 根据标定板图像的坐标点及相互距离;

[0017] 采用最小二乘法来优化理想图像投影点与实际崎变图像点之间的误差,确定摄像 机的标定参数曰日,ai,曰2 ,- --30,0 ,d,e。

[0018] 作为本发明的进一步改进,所述步骤S2中摄像头对各自图像进行校正的公式为:

[0019]

Figure CN102881016BD00051

[0020] 其中xc',yc'为图像的中屯、坐标。

[0021] 作为本发明的进一步改进,所述步骤S3具体为:

[0022] S31、采用RANSAC随机采样一致算法来估计图像上一点由透视图像变换到俯视图 像的仿射变换矩阵H;

[0023] S32、利用根据仿射变换矩阵聞尋每个摄像头校正后透视图像变换到俯视图像,变 换公式为:

[0024]

Figure CN102881016BD00052

[0025] 作为本发明的进一步改进,所述步骤S31具体为:

[00%] S311、随机选取3组匹配点,估计哺勺六个参数;

[0027] S312、利用估计的参数对余下的匹配点进行判断,区分出内点集和外点集,记录内 点集的数量,用新内点集重新估计参数;

[0028] S313、当内点数目最大时,则在该内点集上给出哺勺最佳估计。

[0029] 作为本发明的进一步改进,所述步骤S4后还包括:

[0030] S5、采用乘性因子与加性因子对相邻两幅图像间的亮度差异进行建模,并采用最 小二乘法来估计亮度差异参数,对图像亮度进行调整。

[0031 ]作为本发明的进一步改进,步骤S5具体为:

[0032] S51、定义相邻摄像头拍摄的图像的亮度之间关系为:Ii=kijilj+kij2,其中Ii、Ij为 两幅相邻图像的亮度值,kw、kw分别表示Ii、。二者之间差别的乘性因子与加性因子;

[0033] S52、定义误差目标eu函数为:

Figure CN102881016BD00053

其中P代表像素,Du代表 重合区域,利用重合区域化J内的像素,可W求得使eij最小的kijl、kij2;

[0034] S53、根据公式Ii=kuA+kw及已经求得的图像亮度进行调整。

[0035] 本发明的有益效果是:

[0036] 采用的IPM变换方法根据两个图像间多个点的对应关系,采用随机抽样一致算法 来优化变换矩阵估计,在变换时与全景图像构建的图像坐标直接对应,间接地实现了不同 摄像头图像IPM变换后的鸟廠图像配准;

[0037] 采用乘性因子与加性因子对相邻两幅图像间的亮度差异进行建模,采用最小二乘 法来估计亮度差异参数,增强图像亮度调整的精确性。

附图说明

[0038] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本 发明中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下, 还可W根据运些附图获得其他的附图。

[0039] 图1为本发明基于车联网的车辆周围360°环境重构方法的流程示意图;

[0040] 图2为本发明车辆的摄像头安装示意图;

[0041] 图3为本发明基于车联网的车辆周围360°环境重构方法的具体流程图;

[0042] 图4为本发明基于车联网的车辆周围360°环境重构方法的图像处理示意图;

[0043] 图5为本发明一实施方式中鱼眼图像成像模型示意图;

[0044] 图6为本发明一实施方式中标定板棋盘格图像示意图;

[0045] 图7为本发明一实施方式中摄像头拍摄图像在全景图像中的显示范围示意图;

[0046] 图8为本发明一实施方式中图片全景映射示意图。

具体实施方式

[0047] 为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实 施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施 例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通 技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护 的范围。

[0048] 参图1所示为本发明基于车联网的车辆周围360°环境重构方法的流程示意图,该 方法包括:

[0049] S1、使用标定板对每个摄像头进行标定,利用已知参照物的图像,求取每个摄像头 的标定参数;

[0050] S2、摄像头根据自身的标定参数对各自图像进行校正;

[0051] S3、进行IPM变换,采用仿射变换原理,利用仿射变换矩阵将每个摄像头校正后透 视图像变换到俯视图像;

[0052] S4、设定每个摄像头拍摄图像在全景图像中的显示范围,采用查找表的形式,将每 幅IPM变换后的俯视图像对应的像素值映射到全景图,得到最后的拼接图像。

[0053] 本发明一实施方式中基于车联网的车辆周围360°环境重构方法具体为:

[0054] S1、采集标定板不同摆放位置和角度的图像;根据标定板图像的坐标点及相互距 离;采用最小二乘法来优化理想图像投影点与实际崎变图像点之间的误差,确定摄像机的 标定参数曰日,曰1,曰2,-'曰。,(3,(1,6。其中,标定板为方形或圆形的平面棋盘格、或者为车身周围 画出的不同方框;

[0055] S2、摄像头根据自身的标定参数对各自图像进行校正,对各自图像进行校正的公 式为:

[0化6]

Figure CN102881016BD00071

[0057]其中xc',yc'为图像的中屯、坐标;

[005引S3、进行IPM变换,采用仿射变换原理,利用仿射变换矩阵将每个摄像头校正后透 视图像变换到俯视图像,具体为:

[0059] S31、采用RANSAC随机采样一致算法来估计图像上一点由透视图像变换到俯视图 像的仿射变换矩阵H;

[0060] S32、利用根据仿射变换矩阵聞尋每个摄像头校正后透视图像变换到俯视图像,变 换公式为:

[0061]

Figure CN102881016BD00072

[0062] 其中步骤S31具体为:

[0063] S311、随机选取3组匹配点,估计Η的六个参数;

[0064] S312、利用估计的参数对余下的匹配点进行判断,区分出内点集和外点集,记录内 点集的数量,用新内点集重新估计参数;

[0065] S313、当内点数目最大时,则在该内点集上给出哺勺最佳估计;

[0066] S4、设定每个摄像头拍摄图像在全景图像中的显示范围,采用查找表的形式,将每 幅ΙΡΜ变换后的俯视图像对应的像素值映射到全景图,得到最后的拼接图像。

[0067] 进一步地,步骤S4后还包括:

[0068] S5、采用乘性因子与加性因子对相邻两幅图像间的亮度差异进行建模,并采用最 小二乘法来估计亮度差异参数,对图像亮度进行调整。具体为:

[00例 S51、定义相邻摄像头拍摄的图像的亮度之间关系为:Ii=ku&+kw,其中Ii、Ij为 两幅相邻图像的亮度值,kw、kw分别表示Ii、。二者之间差别的乘性因子与加性因子;

[0070] S52、定义误差目标eu函数为:

Figure CN102881016BD00073

其中P代表像素,Du代表 重合区域,利用重合区域化J内的像素,可W求得使eij最小的kijl、kij2;

[OOW S53、根据公式Ii=kijilj+kiw及已经求得的图像亮度进行调整。

[0072] 参图2所示,本实施方式中摄像头设为4个广角摄像头,4个广角摄像头为视角大于 180° 的CCD(Qiarge-coupled Device,电荷禪合元件)或CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)摄像头,负责拍摄车辆四周的环境图像,具体包 括:

[0073] 前摄像头CF,安装于车辆排气扇上方且位于车辆宽度中屯、位置,前摄像头的拍摄 角度为斜向下向车身外场景;

[0074] 右摄像头CR,安装于右后视镜的下方,右摄像头的拍摄角度为斜向下向车身外;

[0075] 左摄像头化,安装于右后视镜的下方,左摄像头的拍摄角度为斜向下向车身外;

[0076] 后摄像头CB,安装于车牌上方且位于车辆宽度的中屯、位置,后摄像头的拍摄角度 为斜向下向车身外场景。

[0077] 参图3所示,本实施方式中基于车联网的车辆周围360°环境重构方法采用4个广角 摄像头进行图像采集,将四路摄像头CF、CRXL、CB采集的图像进行编解码后复合成一路视 频信号,输入的信号进行解复用,分成四路视频信号,进行图像的崎变校正、鸟廠变换、拼接 融合和视觉优化处理,融合成一幅覆盖车身360°周边环境的俯视视图,将该复合俯视视图 经过编码后输出。

[0078] 参图4所示为本发明基于车联网的车辆周围360°环境重构方法图像处理示意图, 分为:摄像头标定、图像校正、IPM变换转换为俯视图、全景图像合成、图像亮度调整。

[0079] S1:宽视角摄像头采集到的图像近似于鱼眼图像,图像边缘崎变严重。对崎变图像 进行校正要经过W下两个步骤:

[0080] 1、摄像镜头标定,求取摄像头的内外参数;

[0081] 2、图像校正,根据步骤1的标定结果消除图像崎变。

[0082] 参图5所示为鱼眼图像成像模型,用向量P表示空间中一点X与摄像机坐标系原点 组成的向量。假设X在图像坐标系下像点为将图像坐标系数字化,转变为W像 素为单位,像点坐标用技'二(Μ>')τ表示。Μ'" = (!Λν"Γ和z/' = ("',v'y之间的关系可W用一个 仿射变换矩阵联系起化如其中AER2x2,teR2xi。假设鱼眼镜头模型为式:

[008;3] 34>0:碱(,.如'+0二/义,

[0084]上式中,X用齐次坐标表示,XeR4,PeR3x4,将点X与图像像素点一巧I 一对应起来,g 是非线性函数。鱼眼摄像机标定即是估计矩阵A和tW及非线性函数g。

[00化]经鱼眼镜头光屯、0与(u",v")所对应的Ξ维世界的点所组成的向量P与(u",v")的 投影关系表示为式:

[0086]

Figure CN102881016BD00081

[0087] 则非线性函数g可W表示为:

[0088] g(u,v)=(u",v",f(u",ν"))τ,

[0089]在特定条件下,可W将f(u",v")视为只与图像点与图像中屯、的距离Ρ有关。其中

Figure CN102881016BD00082

U则向量Ρ可W简化为:

[0090]

Figure CN102881016BD00083

[0091] 仿照泰勒级数展开原理,将f(P")表示为多项式和的形式:

[0092]

Figure CN102881016BD00084

[0093] 摄像机标定的任务,即找出式中的多项式系数曰日,曰1,曰2,-'曰。。多项式的次数11越 大,摄像机标定结果越精确,为综合平衡计算量和标定精确度,本实施方式中选择n=4。

[0094] 实际成像的坐标(u',v')与理想未发生崎变的图像坐标(u,v)之间的关系为:

[0095]

Figure CN102881016BD00091

[0096] 其中XC',yc'是鱼眼图像的中屯、坐标。

[0097] 利用已知的参照物的图像,可W计算得到摄像机的参数ao,ai,a2,-'an,c,d,e。

[0098] 图像校正时,摄像机参数确定采用基于参照物的标定方法,本实施例采用如图6所 示的一个平面棋盘格图像作为标定板,标定板上每个正方向框的长度已知。首先采集一系 列标定板不同姿势的图像,采集时,标定板的摆放位置和角度都有所变化。根据不同棋盘格 图像的坐标点及相互距离,采用最小二乘法来优化理想图像投影点与实际崎变图像点之间 的误差,可W确定摄像机的参数日日,ai,日2,··'an,C,d,e。当然其他实施例可能采用标定板上 黑白棋盘格的个数不同,或圆形的标定板;

[0099] 摄像头的参数图像校正公式为:

[0100]

Figure CN102881016BD00092

[0101] S2:IPM变换的目的在于将校正后的视图转变为俯视视图。IPM变换时采用仿射变 换原理,将透视图像平面变换到俯视图像平面。仿射变换矩阵由地面标定物在透视图像中 与俯视图像中的坐标变换关系确定。

[0102] 假设m=(u V 1)τ,设m=(u'v'l)T是平面上的点X在两幅图像上的对应点的像素坐 标,则存在矩阵Η使得下述公式成立:

[0103]

Figure CN102881016BD00093

[0104] 采用两幅图像中Ν(Ν〉4)对相对应的点,在参数求取中,采用RANSAC算法来进行变 换矩阵中参数的拟合。为了提高Η矩阵中参数估计的精度,排除可能存在的误匹配点影响, 文中采用RANSAC(RANdom SAmple Consensus)随机采样一致算法来估计H。

[0105] RANSAC分为Ξ步进行:第一步随机选取3组匹配点,估计Η的六个参数;第二步利用 估计的参数对余下的匹配点进行判断,区分出内点和外点集,记录内点集的数量,用新内点 集重新估计参数;第Ξ步,当内点数目最大时,在该内点集上给出Η的最佳估计。

[0106] 得到两个图像平面的透视变换的单应性矩阵后,将校正后的四个摄像头的透视图 像变换到俯视图像。

[0107] 在图像ΙΡΜ变换时,在车辆周围地面上铺设方格线,并测量车辆本身的实际长宽和 周围方框的实际距离。将车辆及周围方框线按照其实际距离比例绘制俯视平面图,将该图 称为俯视施工平面图。将四个摄像头拍摄得到的鱼眼图像校正后,根据图中车辆周围方框 的Ν(Ν〉4)个角点与对应的俯视施工平面图的Ν(Ν〉4)个角点的坐标,求取两幅图像之间的透 视变换的单应性矩阵。因为实际的单应性矩阵有8个未知参数,而图像中每个对应点包含有 横纵坐标两个参数,故只需四对对应点即可得到单应性矩阵。为增强系统的鲁棒性,提高单 应性矩阵参数的精确性,并综合考虑系统的计算量,Ν可W选择为4,6,7,8或其他大于4的 值。本实施例选择N=6。

[0108] S3:将四幅变换后的图像按照一定的区域限制进行复制重叠 .即可实现全景算法。 设定每个摄像头拍摄图像在全景图像中的显示范围,采用查找表的形式,将每幅IPM变换后 的俯视图像对应的像素值映射到全景图,即可得到最后的拼接图像。

[0109] 全景融合时,设定每个摄像头拍摄图像在全景图像中的显示范围,可W设定采用 查找表的形式,将每幅IPM变换后的俯视图像对应的像素值映射到全景图,即可得到最后的 拼接图像。本实施例选择如图7所示的显示范围,但本发明实际保护应该不限于此显示范 围。其他的实施例中,每个俯视变换图像的显示范围可能为Ξ角形、梯形或其他形状。

[0110] 参图8所示,设定每幅IPM变换后的俯视图像对应全景图映射范围区域后,区域1为 前摄像头图像IPM变换后图像的保持范围,超出该范围之外的图像被去除,区域2为左摄像 头图像IPM变换后图像的保持范围,超出该范围之外的图像被去除,同样区域3、4分别为右 摄像头与后摄像头图像IPM变换后的图像保持范围。区域12为前摄像头与左摄像头图像IPM 变换后的公共的图像保持范围,同理,区域13、24、34的图像范围为区域1与区域3、区域2与 区域4、区域3与区域4的摄像头公共的图像保持范围。

[0111] S4:因为不同摄像头曝光的程度不同,则每个图像的亮度表现不一致,则会出现整 体拼接图像亮度不一致,图像拼缝明显等问题。因此对相邻两个摄像头拍摄的图像间的亮 度进行进行调整。对相同的区域,假设相邻摄像头拍摄的图像的亮度之间变换关系为:

[0112] Ii=kijilj+kij2,

[OW]其中Ii,。为两幅相邻图像的亮度值。山川山巧分别表示Ii,。二者之间差别的乘性 因子与加性因子。为确定1^1,1^2,选择误差目标6^函数最小

[0114]

Figure CN102881016BD00101

[0115] 上式中P代表像素,Du表重合区域。利用重合区域内的像素,可W求得使ευ最小的 kiji,kw。调整相邻区域的亮度,可W实现全景拼接各个图像的亮度统一、拼缝消除。

[0116] 例如亮度调整时,检测在区域12内,相邻摄像头拍摄的图像的亮度之间的变换关 系为:

[0117] Il=kl2ll2+kl22,

[011引其中Il,l2为两幅相邻图像的亮度值。km,ki22分别表示Il,l2二者之间差别的乘性 因子与加性因子。为确定km, ki22,选择误差目标εΐ2函数最小

Figure CN102881016BD00102

[0119] ,

[0120] 上式中Ρ代表像素,Di2代表重合区域12。利用重合区域内的像素,可W求得使εΐ2最 小的km, ki22。调整区域2的亮度,可W实现区域2亮度与区域1亮度的统一,按照同样的算 法,利用重合区域13可W实现区域3与区域1之间的亮度统一,利用重合区域24区域4与区域 2之间的亮度统一。运样全景图像各个摄像头图像之间的亮度差异将被消除。本实施例采用 重合区域内全部图像的亮度值进行参数km, kl22的估计,其他的实施例也可W考虑重合区 域的部分图像亮度值。

[0121] 由上述技术方案可W看出,本发明基于车联网的车辆周围360°环境重构方法采用 的IPM变换方法根据两个图像间多个点的对应关系,采用随机抽样一致算法来优化变换矩 阵估计,在变换时与全景图像构建的图像坐标直接对应,间接地实现了不同摄像头图像IPM 变换后的鸟廠图像配准;

[0122] 采用乘性因子与加性因子对相邻两幅图像间的亮度差异进行建模,采用最小二乘 法来估计亮度差异参数,增强图像亮度调整的精确性。

[0123] 对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在 不背离本发明的精神或基本特征的情况下,能够W其他的具体形式实现本发明。因此,无论 从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权 利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有 变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所设及的权利要求。

[0124] 此外,应当理解,虽然本说明书按照实施方式加 W描述,但并非每个实施方式仅包 含一个独立的技术方案,说明书的运种叙述方式仅仅是为清楚起见,本领域技术人员应当 将说明书作为一个整体,各实施例中的技术方案也可W经适当组合,形成本领域技术人员 可W理解的其他实施方式。

Claims (6)

1. 一种基于车联网的车辆周围360°环境重构方法,其特征在于,所述方法包括: 51、 使用标定板对每个摄像头进行标定,利用已知参照物的图像,求取每个摄像头的标 定参数;其中,摄像镜头标定,求取所述摄像头的内外参数; 52、 摄像头根据自身的标定参数对各自图像进行校正; 53、 进行IPM变换,采用仿射变换原理,利用仿射变换矩阵将每个摄像头校正后透视图 像变换到俯视图像;其中,每个变换后的图像按照一定的区域限制进行复制重叠; 54、 设定每个摄像头拍摄图像在全景图像中的显示范围,采用查找表的形式,将每幅 IPM变换后的俯视图像对应的像素值映射到全景图,得到最后的拼接图像; 所述步骤S3具体为: 531、 采用RANSAC随机采样一致算法来估计图像上一点由透视图像变换到俯视图像的 仿射变换矩阵Η; 532、 利用根据仿射变换矩阵Η将每个摄像头校正后透视图像变换到俯视图像,变换公 式为: 其中,(u ν l)T,(u' ν' 1)τ是平面上的点X在两幅
Figure CN102881016BC00021
, 图像上的对应点的像素坐标; 所述步骤S31具体为: 5311、 随机选取3组匹配点,估计Η的六个参数; 5312、 利用估计的参数对余下的匹配点进行判断,区分出内点集和外点集,记录内点集 的数量,用新内点集重新估计参数; 5313、 当内点数目最大时,则在该内点集上给出Η的最佳估计。
2. 根据权利要求1所述的方法,其特征在于,所述步骤S1中的标定板为方形或圆形的平 面棋盘格、或者为车身周围画出的不同方框。
3. 根据权利要求2所述的方法,其特征在于,所述步骤S1具体为: 采集标定板不同摆放位置和角度的图像; 根据标定板图像的坐标点及相互距离; 采用最小二乘法来优化理想图像投影点与实际畸变图像点之间的误差,确定摄像机的 , ai,a2, ·' -an, c, d, e 〇
4. 根据权利要求3所述的方法,其特征在于,所述步骤S2中摄像头对各自图像进行校正 的公式为:
Figure CN102881016BC00022
其中X。',y。'为图像的中心坐标。
5. 根据权利要求1所述的方法,其特征在于,所述步骤S4后还包括: 55、 采用乘性因子与加性因子对相邻两幅图像间的亮度差异进行建模,并采用最小二 乘法来估计亮度差异参数,对图像亮度进行调整。
6.根据权利要求5所述的方法,其特征在于,所述步骤S5具体为: 551、 定义相邻摄像头拍摄的图像的亮度之间关系为:Ii = kijilj+kij2,其中Ii、Ij为两幅 相邻图像的亮度值,1^、1^2分别表示山二者之间差别的乘性因子与加性因子;
Figure CN102881016BC00031
552、 定义误差目标函数为 其中Ρ代表像素,代表重合 ,. 区域,利用重合区域Di j内的像素,可以求得使ε i j最小的ki j i、ki j2; 553、 根据公式iFku山+klj2及已经求得的km、klj2对图像亮度进行调整。
CN201210349062.4A 2012-09-19 2012-09-19 基于车联网的车辆周围360°环境重构方法 CN102881016B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210349062.4A CN102881016B (zh) 2012-09-19 2012-09-19 基于车联网的车辆周围360°环境重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210349062.4A CN102881016B (zh) 2012-09-19 2012-09-19 基于车联网的车辆周围360°环境重构方法

Publications (2)

Publication Number Publication Date
CN102881016A CN102881016A (zh) 2013-01-16
CN102881016B true CN102881016B (zh) 2016-06-29

Family

ID=47482329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210349062.4A CN102881016B (zh) 2012-09-19 2012-09-19 基于车联网的车辆周围360°环境重构方法

Country Status (1)

Country Link
CN (1) CN102881016B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104035752A (zh) * 2013-03-04 2014-09-10 江南大学 一种基于视觉物联网的Linux智能车载系统
CN103281519A (zh) * 2013-05-30 2013-09-04 水木路拓科技(北京)有限公司 一种新型的道路交通监控摄像机系统
CN104252706B (zh) * 2013-06-27 2017-04-12 株式会社理光 特定平面的检测方法和系统
CN103617606B (zh) * 2013-11-26 2016-09-14 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法
CN104732542B (zh) * 2015-03-27 2018-07-13 巢湖学院 基于多摄像头自标定的全景车辆安全系统的图像处理方法
CN106296642A (zh) * 2015-06-09 2017-01-04 汪浩 车载环视系统摄像头内外参数一次性标定的方法
KR101705558B1 (ko) * 2015-06-25 2017-02-13 (주)캠시스 Avm 시스템의 공차 보정 장치 및 방법
CN105187753A (zh) * 2015-08-06 2015-12-23 佛山六滴电子科技有限公司 一种录制全景视频的系统
CN105141920B (zh) * 2015-09-01 2018-06-19 电子科技大学 一种360度全景视频拼接系统
CN105354796B (zh) * 2015-10-12 2018-12-04 北京鑫洋泉电子科技有限公司 用于行车辅助的图像处理方法及系统
CN105894549A (zh) * 2015-10-21 2016-08-24 乐卡汽车智能科技(北京)有限公司 一种全景辅助泊车系统、装置及全景图像显示方法
CN105608693B (zh) * 2015-12-18 2018-08-28 上海欧菲智能车联科技有限公司 车载全景环视的标定系统及方法
CN105678740B (zh) * 2015-12-30 2019-06-07 完美幻境(北京)科技有限公司 一种相机几何标定处理方法及装置
CN105741296B (zh) * 2016-02-02 2018-12-28 大连楼兰科技股份有限公司 一种360度全视角鸟瞰全景行车辅助标定方法
CN106339980A (zh) * 2016-08-22 2017-01-18 乐视控股(北京)有限公司 基于汽车的vr显示装置、方法及汽车
CN106339981A (zh) * 2016-08-25 2017-01-18 安徽协创物联网技术有限公司 一种全景拼接方法
CN106780344A (zh) * 2017-01-06 2017-05-31 苏州大学 基于偏差转移和拆分的汽车360°环视图像拼接方法
CN107274336B (zh) * 2017-06-14 2019-07-12 电子科技大学 一种针对车载环境的全景图像拼接方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101153796A (zh) * 2006-09-25 2008-04-02 株式会社拓普康 测量方法、测量系统和测量数据处理程序

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7202894B2 (en) * 2002-06-04 2007-04-10 Micron Technology, Inc. Method and apparatus for real time identification and correction of pixel defects for image sensor arrays

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101153796A (zh) * 2006-09-25 2008-04-02 株式会社拓普康 测量方法、测量系统和测量数据处理程序

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
全景视觉泊车辅助系统研究;丁鑫;《中国优秀硕士学位论文全文数据库信息科技辑》;20100815(第8期);第II、7-32页 *

Also Published As

Publication number Publication date
CN102881016A (zh) 2013-01-16

Similar Documents

Publication Publication Date Title
US8169480B2 (en) Method for automatically calibrating a virtual camera system
US8390696B2 (en) Apparatus for detecting direction of image pickup device and moving body comprising same
CN104539855B (zh) 用于处理红外图像数据的系统和装置
JP2006033570A (ja) 画像生成装置
EP2437494B1 (en) Device for monitoring area around vehicle
JP5898475B2 (ja) 車載カメラシステム及びその較正方法、及びその較正プログラム
JP2011182236A (ja) カメラキャリブレーション装置
JP2008187564A (ja) カメラ校正装置及び方法並びに車両
CN1985266B (zh) 全景视觉系统和方法
US20130058589A1 (en) Method and apparatus for transforming a non-linear lens-distorted image
CN101710932B (zh) 图像拼接方法及装置
Senior et al. Acquiring multi-scale images by pan-tilt-zoom control and automatic multi-camera calibration
TWI287402B (en) Panoramic vision system and method
US9834153B2 (en) Method and system for dynamically calibrating vehicular cameras
US9357208B2 (en) Method and system for dynamically calibrating vehicular cameras
Liu et al. Bird’s-eye view vision system for vehicle surrounding monitoring
GB2464574A (en) Combining multiple images to enhance dynamic range
KR20090080556A (ko) 복잡성-적응형 2차원-대-3차원 비디오 시퀀스 변환
US9106879B2 (en) Apparatus and method for automatic white balance with supplementary sensors
CN101236655A (zh) 摄像机校正装置以及方法和车辆
TW201336714A (zh) 全周鳥瞰影像產生方法、訓練方法及應用其之車體端裝置及訓練裝置
CN101894366A (zh) 一种获取标定参数的方法、装置及一种视频监控系统
KR20120140515A (ko) 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
JP5306652B2 (ja) 集積された画像プロセッサ
CN102045546A (zh) 一种全景泊车辅助系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant