CN109246416A - 车载六路摄像头的全景拼接方法 - Google Patents

车载六路摄像头的全景拼接方法 Download PDF

Info

Publication number
CN109246416A
CN109246416A CN201811103952.0A CN201811103952A CN109246416A CN 109246416 A CN109246416 A CN 109246416A CN 201811103952 A CN201811103952 A CN 201811103952A CN 109246416 A CN109246416 A CN 109246416A
Authority
CN
China
Prior art keywords
panorama
eye images
fish eye
vehicle
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811103952.0A
Other languages
English (en)
Inventor
潘林
朱有煌
魏云龙
陈志峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201811103952.0A priority Critical patent/CN109246416A/zh
Publication of CN109246416A publication Critical patent/CN109246416A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种车载六路摄像头的全景拼接方法。通过生成全景图像的映射表,将六路鱼眼图像直接投影到全景3D模型上;该方法将鱼眼图像畸变校正,投影变换,图像拼接等操作写入映射表中,与全景3D模型进行映射和亮度融合,极大的提高了六路视频全景显示的实时性,并且改善了不同摄像头图像的亮度差异的问题。

Description

车载六路摄像头的全景拼接方法
技术领域
本发明涉及一种车载六路摄像头的全景拼接方法。
背景技术
随着现代科技技术的发展和进步,汽车逐步成为人们日常的交通工具。然而,在车辆行驶过程中,尤其对于大型的车辆,后视镜可视范围有限,造成诸多安全隐患。为解决视觉盲区的问题,当前采用最多的是在车身安装多个摄像头,进行标定与投影变换生成多路的全景视频。目前已有的专利《用于辅助驾驶的车辆多视角全景生成方法》,《基于OpenGL的多路视频拼接方法及系统》分别采用了全景图像查找表和OpenGL纹理贴图的方法来提高实时性。但都是四路的拼接系统,并未对六路的拼接方法进行描述。对于大型车辆而言,四个摄像头成像范围明显不足,而将摄像头增加到六路必然会增加算法的复杂度,需要进行优化。此外上述专利并未对拼接的重叠区域进行描述,针对上述存在的问题,本发明提出一种车载六路摄像头的全景拼接方法。
对于大型车辆而言,由于四路摄像头的观测范围有限,需要采用车载六路摄像头进行观测。摄像头数量的增加,提高了全景拼接算法的复杂度,全景显示的实时性受到影响。因此本发明提供了一种用于车载六路摄像头的全景拼接方法。
发明内容
本发明的目的在于提供一种车载六路摄像头的全景拼接方法,通过生成全景图像的映射表,将六路鱼眼图像直接投影到全景3D模型上,极大的提高了六路视频全景显示的实时性,并且改善了不同摄像头图像的亮度差异的问题。
为实现上述目的,本发明的技术方案是:一种车载六路摄像头的全景拼接方法,首先,通过车载六路鱼眼摄像头采集图像,通过鱼眼图像消畸变和标定算法,生成位置映射表;而后,建立全景3D模型,并建立位置映射表与全景3D模型的映射关系;最后,生成边缘融合亮度映射表,实现车载六路鱼眼图像的全景拼接,全景显示。
在本发明一实施例中,该方法具体实现步骤如下,
步骤S1、首先,结合鱼眼图像消畸变算法和鱼眼摄像头内置矩阵参数以及四个变形系数对车载六路鱼眼图像进行消畸变处理,其中,内置矩阵参数的矩阵格式为,四个变形系数组成的向量格式为[k1,k2,p1,p2];然后,通过六路标定,根据物体的真实位置信息作相应的投影变换;最终构建从鱼眼图像到投影变换的位置映射表;
步骤S2、绘制出整个显示全景所需要的全景3D模型,模型由7块不同区域组成,模型底部为全景俯视模型,其余则是全景环视模型;整个底部全景俯视部分由六个鱼眼镜头俯视部分共同拼接完成;将鱼眼图像根据位置映射表进行点到点的映射生成全景图像后,相邻鱼眼摄像头的鱼眼图像预留出重叠区域;
步骤S3、对相邻摄像头的两个鱼眼图像拼接预留出的重叠区域进行边缘融合:设定其中一鱼眼图像的重叠区域的混合因子自左向右,按步长为单位像素,从0到1.0变化,设为a,则另一鱼眼图像的重叠区域的混合因子则设为1-a;获取进行拼接的两个鱼眼图像的亮度参数,若该两个鱼眼图像的亮度差值超过预设阈值,则进行亮度调节,使得两个鱼眼图像的亮度差值不大于预设阈值;通过调节后的亮度参数值与混合因子共同生成亮度映射表;实现车载六路鱼眼图像的全景拼接,全景显示。
在本发明一实施例中,步骤S2中,采用3DMAX软件来绘制全景3D模型。
在本发明一实施例中,步骤S3中,亮度映射表的更新操作按预设时间间隔进行。
相较于现有技术,本发明具有以下有益效果:本发明实现了六路摄像头视频拼接的同时,利用OpenGL的纹理映射技术配合模型与映射表加快显示的速度以至满足实时显示;本发明可用于大型客车、货车的全景实时显示;本发明采用映射表的方法也可以方便移植到基于DSP的开发平台。
附图说明
图1为本发明方法流程图。
图2为位置映射表生成图。
图3为全景3D模型示意图。
图4为亮度映射表生成图。
图5为结果图。
图6为摄像头安装与俯视棋盘格。
图7为3D模型。
具体实施方式
下面结合附图,对本发明的技术方案进行具体说明。
本发明提供了一种车载六路摄像头的全景拼接方法,首先,通过车载六路鱼眼摄像头采集图像,通过鱼眼图像消畸变和标定算法,生成位置映射表;而后,建立全景3D模型,并建立位置映射表与全景3D模型的映射关系;最后,生成边缘融合亮度映射表,实现车载六路鱼眼图像的全景拼接,全景显示;该方法具体实现步骤如下,
步骤S1、首先,结合鱼眼图像消畸变算法和鱼眼摄像头内置矩阵参数以及四个变形系数对车载六路鱼眼图像进行消畸变处理,其中,内置矩阵参数的矩阵格式为 ,四个变形系数组成的向量格式为[k1,k2,p1,p2];然后,通过六路标定,根据物体的真实位置信息作相应的投影变换;最终构建从鱼眼图像到投影变换的位置映射表;
步骤S2、绘制出整个显示全景所需要的全景3D模型,模型由7块不同区域组成,模型底部为全景俯视模型,其余则是全景环视模型;整个底部全景俯视部分由六个鱼眼镜头俯视部分共同拼接完成;将鱼眼图像根据位置映射表进行点到点的映射生成全景图像后,相邻鱼眼摄像头的鱼眼图像预留出重叠区域;
步骤S3、对相邻摄像头的两个鱼眼图像拼接预留出的重叠区域进行边缘融合:设定其中一鱼眼图像的重叠区域的混合因子自左向右,按步长为单位像素,从0到1.0变化,设为a,则另一鱼眼图像的重叠区域的混合因子则设为1-a;获取进行拼接的两个鱼眼图像的亮度参数,若该两个鱼眼图像的亮度差值超过预设阈值,则进行亮度调节,使得两个鱼眼图像的亮度差值不大于预设阈值;通过调节后的亮度参数值与混合因子共同生成亮度映射表;实现车载六路鱼眼图像的全景拼接,全景显示。
步骤S2中,采用3DMAX软件来绘制全景3D模型。
步骤S3中,亮度映射表的更新操作按预设时间间隔进行。
以下为本发明的具体实现过程。
本发明采用一种基于OpenGL的纹理映射技术,通过生成多路映射表来实现鱼眼图像的消畸变以及拼接的方法,流程如图1所示。映射表分为两类,第一类是位置映射表,第二类是亮度映射表。位置映射表的制作,首先将鱼眼图像进行畸变和校正等处理转化成平面图像数据,如位置映射表生成图2所示,如图2-1表示输入的原始图像,将它经过消畸变算法映射到图2-2,即构建A点到B点的映射关系,从而得到的是校正后的图像;其中,为了使消除畸变的图像更好,使用摄像头参数调整。获取鱼眼摄像头的内置矩阵参数,矩阵格式为,以及四个变形系数组成的向量,大小为4x1或者1x4,格式为[k1,k2,p1,p2]。将图2-2的坐标通过矩阵变换映射到图2-3,即B点到C点的映射关系,从而到达对图像更进一步的校正、调整作用,减小图像的形变与拉伸的出现。然后,通过六路标定,对图2-3根据物体的真实位置信息做相应的投影变换,即将C坐标变换到D点,根据模型区域的不同,如图3所示,近处为俯视投影,远处为环视投影。由此构建鱼眼图像直接到最后拼接图像的位置映射表。
本发明使用3DMAX软件绘制出整个显示全景所需要的模型如图3所示,模型由7块不同区域组成,其尺寸根据实际车型可做相应的调整。模型底部为全景俯视模型,其余则是全景环视模型。将模型的三维世界坐标导出到文本文件中。其次,将模型文本导入到OpenGL中,将3DMAX制作的模型在三维空间中完全重新构建出来。同一个摄像头拥有两张位置映射表,分别为环视映射与俯视映射表,前置摄像头s11为环视,s12为俯视,整个底部俯视由六个镜头俯视部分共同拼接完成。将采集到的视频数据根据位置映射表进行点到点的映射生成全景图像后。为了使边界区域平滑过渡,相邻摄像头的拼接图像之间预留出重叠区域,对重叠区域进行融合处理。
本发明使用一种alpha混合技术的亮度映射表来实现边缘的融合。改善了相邻视图之间的大部分颜色和亮度不匹配。将alpha混合应用到校正的像素上,以消除任何残留的焊缝边界,使接缝完全看不见。输出像素是由相应的输入像素值的线性组合产生的,这些值由各自的混合权重加权。混合权重由混合因子与亮度参数值共同构成,亮度参数值的大小受相邻图像之间的原始亮度的影响,如图4 ,3区域重叠区域,设定1图的重叠区域的混合因子自左向右,按步长为单位像素,从0到1变化,设为a,则2图的重叠区域区的混合因子则设为为1-a。对1、2两张相邻的图像进行拼接处理,首先获得各自的图像亮度参数,如果1、2亮度差值超过自定义阈值,则进行亮度调节,将较亮的图亮度参数按阈值的一定比例降低,较暗按阈值的一定比例升高。将调整后的亮度参数值与混合因子共同生成新的亮度映射表。为了满足实时性的要求,亮度映射表的更新操作按一定时间间隔进行。
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。

Claims (4)

1.一种车载六路摄像头的全景拼接方法,其特征在于,首先,通过车载六路鱼眼摄像头采集图像,通过鱼眼图像消畸变和标定算法,生成位置映射表;而后,建立全景3D模型,并建立位置映射表与全景3D模型的映射关系;最后,生成边缘融合亮度映射表,实现车载六路鱼眼图像的全景拼接,全景显示。
2.根据权利要求1所述的车载六路摄像头的全景拼接方法,其特征在于,该方法具体实现步骤如下,
步骤S1、首先,结合鱼眼图像消畸变算法和鱼眼摄像头内置矩阵参数以及四个变形系数对车载六路鱼眼图像进行消畸变处理,其中,内置矩阵参数的矩阵格式为,四个变形系数组成的向量格式为[k1,k2,p1,p2];然后,通过六路标定,根据物体的真实位置信息作相应的投影变换;最终构建从鱼眼图像到投影变换的位置映射表;
步骤S2、绘制出整个显示全景所需要的全景3D模型,模型由7块不同区域组成,模型底部为全景俯视模型,其余则是全景环视模型;整个底部全景俯视部分由六个鱼眼镜头俯视部分共同拼接完成;将鱼眼图像根据位置映射表进行点到点的映射生成全景图像后,相邻鱼眼摄像头的鱼眼图像预留出重叠区域;
步骤S3、对相邻摄像头的两个鱼眼图像拼接预留出的重叠区域进行边缘融合:设定其中一鱼眼图像的重叠区域的混合因子自左向右,按步长为单位像素,从0到1.0变化,设为a,则另一鱼眼图像的重叠区域的混合因子则设为1-a;获取进行拼接的两个鱼眼图像的亮度参数,若该两个鱼眼图像的亮度差值超过预设阈值,则进行亮度调节,使得两个鱼眼图像的亮度差值不大于预设阈值;通过调节后的亮度参数值与混合因子共同生成亮度映射表;实现车载六路鱼眼图像的全景拼接,全景显示。
3.根据权利要求1所述的车载六路摄像头的全景拼接方法,其特征在于,步骤S2中,采用3DMAX软件来绘制全景3D模型。
4.根据权利要求1所述的车载六路摄像头的全景拼接方法,其特征在于,步骤S3中,亮度映射表的更新操作按预设时间间隔进行。
CN201811103952.0A 2018-09-21 2018-09-21 车载六路摄像头的全景拼接方法 Pending CN109246416A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811103952.0A CN109246416A (zh) 2018-09-21 2018-09-21 车载六路摄像头的全景拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811103952.0A CN109246416A (zh) 2018-09-21 2018-09-21 车载六路摄像头的全景拼接方法

Publications (1)

Publication Number Publication Date
CN109246416A true CN109246416A (zh) 2019-01-18

Family

ID=65056418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811103952.0A Pending CN109246416A (zh) 2018-09-21 2018-09-21 车载六路摄像头的全景拼接方法

Country Status (1)

Country Link
CN (1) CN109246416A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110381255A (zh) * 2019-07-29 2019-10-25 上海通立信息科技有限公司 应用360全景环视技术的车载视频监控系统及方法
CN111179168A (zh) * 2019-12-12 2020-05-19 郑州嘉晨电器有限公司 一种车载360度全景环视监控系统及方法
CN111447431A (zh) * 2020-04-02 2020-07-24 深圳普捷利科技有限公司 一种应用于车载环视摄像的裸眼3d显示方法及系统
CN111860632A (zh) * 2020-07-13 2020-10-30 上海航天测控通信研究所 多路图像一致性融合方法
CN112241930A (zh) * 2019-07-18 2021-01-19 杭州海康威视数字技术股份有限公司 车载环视方法、装置、系统及车辆
CN113645395A (zh) * 2021-10-19 2021-11-12 江苏日盈电子股份有限公司 车载360°全景可视摄像头及其应用
CN113891048A (zh) * 2021-10-28 2022-01-04 江苏濠汉信息技术有限公司 一种轨道机车超视距影像图传系统
CN114092319A (zh) * 2021-11-09 2022-02-25 英博超算(南京)科技有限公司 一种汽车360全景显示的亮度均衡方法
CN114845053A (zh) * 2022-04-25 2022-08-02 国能寿光发电有限责任公司 一种全景视频生成方法及装置
CN115426440A (zh) * 2022-07-27 2022-12-02 深圳市富中奇科技有限公司 车辆环视系统的实现方法、装置、设备及计算机存储介质
CN117422650A (zh) * 2023-12-18 2024-01-19 湖北珞珈实验室 全景影像畸变校正方法、装置、电子设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103763479A (zh) * 2013-12-31 2014-04-30 深圳英飞拓科技股份有限公司 实时高速高清全景视频的拼接装置及其方法
CN204749999U (zh) * 2015-05-12 2015-11-11 徐工集团工程机械股份有限公司 一种可全景监控的自卸车
CN105488775A (zh) * 2014-10-09 2016-04-13 东北大学 一种基于六摄像机环视的柱面全景生成装置及方法
CN105678729A (zh) * 2016-02-24 2016-06-15 段梦凡 鱼眼镜头全景图像拼接方法
CN107358577A (zh) * 2017-06-29 2017-11-17 西安交通大学 一种立方体全景图的快速拼接方法
CN107392851A (zh) * 2017-07-04 2017-11-24 上海小蚁科技有限公司 用于生成全景图像的方法和设备
CN107454326A (zh) * 2017-08-23 2017-12-08 广州市九安光电技术股份有限公司 利用鱼眼镜头进行全景摄像的方法、摄像机以及全景摄像系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103763479A (zh) * 2013-12-31 2014-04-30 深圳英飞拓科技股份有限公司 实时高速高清全景视频的拼接装置及其方法
CN105488775A (zh) * 2014-10-09 2016-04-13 东北大学 一种基于六摄像机环视的柱面全景生成装置及方法
CN204749999U (zh) * 2015-05-12 2015-11-11 徐工集团工程机械股份有限公司 一种可全景监控的自卸车
CN105678729A (zh) * 2016-02-24 2016-06-15 段梦凡 鱼眼镜头全景图像拼接方法
CN107358577A (zh) * 2017-06-29 2017-11-17 西安交通大学 一种立方体全景图的快速拼接方法
CN107392851A (zh) * 2017-07-04 2017-11-24 上海小蚁科技有限公司 用于生成全景图像的方法和设备
CN107454326A (zh) * 2017-08-23 2017-12-08 广州市九安光电技术股份有限公司 利用鱼眼镜头进行全景摄像的方法、摄像机以及全景摄像系统

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241930A (zh) * 2019-07-18 2021-01-19 杭州海康威视数字技术股份有限公司 车载环视方法、装置、系统及车辆
CN110381255A (zh) * 2019-07-29 2019-10-25 上海通立信息科技有限公司 应用360全景环视技术的车载视频监控系统及方法
CN110381255B (zh) * 2019-07-29 2021-08-31 上海通立信息科技有限公司 应用360全景环视技术的车载视频监控系统及方法
CN111179168B (zh) * 2019-12-12 2023-11-17 河南嘉晨智能控制股份有限公司 一种车载360度全景环视监控系统及方法
CN111179168A (zh) * 2019-12-12 2020-05-19 郑州嘉晨电器有限公司 一种车载360度全景环视监控系统及方法
CN111447431A (zh) * 2020-04-02 2020-07-24 深圳普捷利科技有限公司 一种应用于车载环视摄像的裸眼3d显示方法及系统
CN111860632B (zh) * 2020-07-13 2022-07-22 上海航天测控通信研究所 多路图像一致性融合方法
CN111860632A (zh) * 2020-07-13 2020-10-30 上海航天测控通信研究所 多路图像一致性融合方法
CN113645395A (zh) * 2021-10-19 2021-11-12 江苏日盈电子股份有限公司 车载360°全景可视摄像头及其应用
CN113891048A (zh) * 2021-10-28 2022-01-04 江苏濠汉信息技术有限公司 一种轨道机车超视距影像图传系统
CN114092319A (zh) * 2021-11-09 2022-02-25 英博超算(南京)科技有限公司 一种汽车360全景显示的亮度均衡方法
CN114092319B (zh) * 2021-11-09 2024-05-14 英博超算(南京)科技有限公司 一种汽车360全景显示的亮度均衡方法
CN114845053A (zh) * 2022-04-25 2022-08-02 国能寿光发电有限责任公司 一种全景视频生成方法及装置
CN115426440B (zh) * 2022-07-27 2024-03-15 深圳市富中奇科技有限公司 车辆环视系统的实现方法、装置、设备及计算机存储介质
CN115426440A (zh) * 2022-07-27 2022-12-02 深圳市富中奇科技有限公司 车辆环视系统的实现方法、装置、设备及计算机存储介质
CN117422650A (zh) * 2023-12-18 2024-01-19 湖北珞珈实验室 全景影像畸变校正方法、装置、电子设备及介质
CN117422650B (zh) * 2023-12-18 2024-03-08 湖北珞珈实验室 全景影像畸变校正方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
CN109246416A (zh) 车载六路摄像头的全景拼接方法
CN111047510B (zh) 一种基于标定的大视场角图像实时拼接方法
US6947059B2 (en) Stereoscopic panoramic image capture device
CN105354796B (zh) 用于行车辅助的图像处理方法及系统
JP4195966B2 (ja) 画像表示制御装置
CA2792562C (en) Automatic image equalization for surround-view video camera systems
US20180130264A1 (en) Virtual reality editor
CN108364263B (zh) 一种标清输入高清输出的车载图像处理方法
US20140247358A1 (en) Image generation device for monitoring surroundings of vehicle
CN110443771B (zh) 车载环视相机系统中环视图亮度与颜色一致性调整方法
TW201417042A (zh) 動態影像處理方法以及動態影像處理系統
JP2010113424A (ja) 画像合成装置及び画像合成方法
JP2006515128A (ja) 立体パノラマ画像取り込み装置
CN113077729B (zh) 一种led球形屏幕的显示方法
KR101535518B1 (ko) 차량 이미지를 생성하기 위한 이미지 처리 방법 및 이미지 처리 장치
CN116894773A (zh) 图像处理方法、装置、电子设备和存储介质
CN111263951A (zh) 用于对全景视图中的重叠区进行快速图像融合的方法和系统
JP2003115057A (ja) テクスチャ編集装置、テクスチャ編集システムおよび方法
CN111241946B (zh) 一种基于单dlp光机增大fov的方法和系统
JP2001306024A (ja) 輝度修正画像作成装置及び作成方法
CN111901579A (zh) 一种大场景投影显示拼接方法
CN107403404A (zh) 车辆的三维环景系统及其方法
KR101241012B1 (ko) 어라운드 뷰 모니터 시스템의 카메라 간 화질차이 개선 방법
CN117237237B (zh) 一种车载360度全景影像的光度均衡方法及装置
CN111243102B (zh) 一种基于扩散膜改造增大fov的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190118