CN111856871A - 一种车载3d全景环视显示方法 - Google Patents

一种车载3d全景环视显示方法 Download PDF

Info

Publication number
CN111856871A
CN111856871A CN201910346035.3A CN201910346035A CN111856871A CN 111856871 A CN111856871 A CN 111856871A CN 201910346035 A CN201910346035 A CN 201910346035A CN 111856871 A CN111856871 A CN 111856871A
Authority
CN
China
Prior art keywords
vehicle
panoramic
image
display method
round display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910346035.3A
Other languages
English (en)
Inventor
周海生
别攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan Tsimsafe Electronics Technology Co ltd
Original Assignee
Dongguan Tsimsafe Electronics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Tsimsafe Electronics Technology Co ltd filed Critical Dongguan Tsimsafe Electronics Technology Co ltd
Priority to CN201910346035.3A priority Critical patent/CN111856871A/zh
Publication of CN111856871A publication Critical patent/CN111856871A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/06—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe involving anamorphosis
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种车载3D全景环视显示方法，包括如下步骤：球面影像采集、影像拼接、影像畸变矫正和影像合成；本发明的有益效果在于，首先，本发明在车辆八个不同方位配置摄像头，提供无盲区的影像画面，配合imx6+NVP6324处理器，提高影像拼接、矫正等处理能力的同时也能保证画质清晰，即使在光线较弱的夜间，也能获得高清的车辆环视全景影像；其次，本发明通过转角传感器采集的车辆转角信息，以及ADAS采集的车辆速度和加速度信息，对拼接后的全景影像进行联合标定和畸变矫正，以获得更加真实的车辆环视全景影像。

Description

一种车载3D全景环视显示方法
技术领域
本发明涉及汽车环视技术领域，尤其涉及一种车载3D全景环视显示方法。
背景技术
伴随着车辆制造行业的快速发展，车辆电子技术的不断提高，车载环视系统应运而生，该项技术通过人工智能、图像识别等技术来完成三维实景建模，能够帮助司机准确判断汽车自身情况以及车辆周围的状态，比较准确的消除了车辆的盲点，避免了很多安全问题的发生，在传统的车载环视系统中，主要采用的是4路标清模拟摄像头、2维图像拼处理技术以及较为简单的控制逻辑。因此存在以下缺点：传统车载环视系统采集的图像质量差，抗干扰能力差，拼接效果差，不能满足客户高精确度的需求，传统车载环视系统的2维图像处理方法容易造成图像拉伸等问题，不能满足客户的逼真体验感需求，以固定的模式来显示视角，不能满足客户全方位无死角的需求。
发明内容
本发明的目的在于，提供一种车载3D全景环视显示方法，克服传统车载环视系统采集的图像质量差，抗干扰能力差，拼接效果差，不能满足客户高精确度的需求，传统车载环视系统的二维图像处理方法容易造成图像拉伸等问题。
为了实现上述目的，本发明的技术方案是：一种车载3D全景环视显示方法，包括如下步骤：
步骤1，通过摄像装置采集车辆正前、左前、右前、正左、正右、正后、左后和右后方的球面影像；
步骤2，通过转角传感器采集车辆的旋转角度；
步骤3，将步骤1得到的八个方位的球面影像的重复部分拼接得到畸变影像；
步骤4，通过步骤2采集的旋转角度，结合车辆ADAS系统采集的车辆速度和加速度，采用Camera-IMU联合标定和逆向除法模型对步骤3得到的畸变影像作畸变矫正，得到真实的车辆全景影像；
步骤5，将步骤4拼接矫正的车辆全景影像合成为全景视频，并通过HDMI通讯方式由车载电脑显示；
步骤6，重复所述步骤1至步骤5，得到实时的车辆全景影像。
上述的车载3D全景环视显示方法，其中，步骤3包括如下步骤：
步骤3.1，将采集的球面影像离散为若干像素点；
步骤3.2，将步骤3.1离散的若干像素点作极坐标变换，拉伸为若干矩形区域；
步骤3.3，采用双三次插值方法将步骤3.2得到的矩形区域拼接得到所述畸变影像。
优选的是，所述步骤3.1的若干像素点的坐标为a(i,j)，则采集的球面影像矩阵表达式为：
Figure DEST_PATH_IMAGE001
其中，a(i,j)表示该像素点的RGB值，D为球面影像的边长。
优选的是，所述步骤3、步骤4和步骤5采用imx6+NVP6324处理器进行影像拼接、畸变矫正和全景视频合成。
优选的是，所述步骤5采用中值滤波法对相邻的两个所述车辆全景影像进行边缘平滑处理。
优选的是，所述步骤5采用5阶中值滤波法对相邻的两个所述车辆全景影像进行边缘平滑处理。
优选的是，所述步骤5采用灰度渐变法对相邻的两个所述车辆全景影像进行明暗过渡调整。
优选的是，所述摄像装置包括鱼眼摄像头。
综上所述，本发明的有益效果在于：
（1）本发明在车辆八个不同方位配置摄像头，提供无盲区的影像画面，配合imx6+NVP6324处理器，提高影像拼接、矫正等处理能力的同时也能保证画质清晰，即使在光线较弱的夜间，也能获得高清的车辆环视全景影像；
（1）本发明通过转角传感器采集的车辆转角信息，以及ADAS采集的车辆速度和加速度信息，对拼接后的全景影像进行联合标定和畸变矫正，以获得更加真实的车辆环视全景影像。
附图说明
图1是本发明一种车载3D全景环视显示方法的工作流程图。
具体实施方式
以下结合附图进一步说明本发明的实施例。
请参见附图1所示，一种车载3D全景环视显示方法，包括如下步骤：
步骤1，通过八台鱼眼摄像头分别采集车辆正前、左前、右前、正左、正右、正后、左后和右后方的球面影像，并通过Can总线将球面影像传输至imx6+NVP6324处理器；
步骤2，通过转角传感器采集车辆的旋转角度，获取车辆的转完信息一次作为联合标定和畸变矫正的基础参数，并通过Can总线传输至imx6+NVP6324处理器；
步骤3，通过imx6+NVP6324处理器将步骤1得到的八个方位的球面影像的重复部分拼接得到畸变影像，此时的畸变影像由于车辆的转弯、加速等影响，会出现边缘畸变现象；
步骤4，通过步骤2采集的旋转角度，结合车辆ADAS系统采集的车辆速度和加速度，采用Camera-IMU联合标定和逆向除法模型对步骤3得到的畸变影像作畸变矫正，消除畸变影像的畸变情况，以获得更加真实的车辆全景影像；
步骤5，将步骤4拼接矫正的车辆全景影像合成为全景视频，并通过HDMI通讯方式由车载电脑显示，方便驾驶人员对车辆的全景影像进行观察；
步骤6，重复所述步骤1至步骤5，得到实时的车辆全景影像。
上述的车载3D全景环视显示方法，其中，步骤3包括如下步骤：
步骤3.1，将采集的球面影像离散为若干像素点；
步骤3.2，将步骤3.1离散的若干像素点作极坐标变换，拉伸为若干矩形区域；
步骤3.3，采用双三次插值方法将步骤3.2得到的矩形区域拼接得到所述畸变影像。
优选的是，所述步骤3.1的若干像素点的坐标为a(i,j)，则采集的球面影像矩阵表达式为：
Figure 492001DEST_PATH_IMAGE002
其中，a(i,j)表示该像素点的RGB值，D为球面影像的边长。
优选的是，所述步骤5采用中值滤波法对相邻的两个所述车辆全景影像进行边缘平滑处理，由于本发明采用imx6+NVP6324处理器，具有较强的图像处理能力，为了提高影响的平滑处理能力并保证处理速率，采用5阶中值滤波法对相邻的两个所述车辆全景影像进行边缘平滑处理。
为了避免车辆全景影像过渡时出现明显的明暗变化，所述步骤5采用灰度渐变法对相邻的两个所述车辆全景影像进行明暗过渡调整，改善每帧全景影像的视觉效果，提高多帧全景影像的过渡连续性。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书内容所作的等效结构变换，或直接或间接运用附属在其他相关产品的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种车载3D全景环视显示方法，其特征在于，包括如下步骤：
步骤1，通过摄像装置采集车辆正前、左前、右前、正左、正右、正后、左后和右后方的球面影像；
步骤2，通过转角传感器采集车辆的旋转角度；
步骤3，将步骤1得到的八个方位的球面影像拼接得到畸变影像；
步骤4，通过步骤2采集的旋转角度，结合车辆ADAS系统采集的车辆速度和加速度，采用Camera-IMU联合标定和逆向除法模型对步骤3得到的畸变影像作畸变矫正，得到真实的车辆全景影像；
步骤5，将步骤4拼接矫正的车辆全景影像合成为全景视频，并通过HDMI通讯方式由车载电脑显示；
步骤6，重复所述步骤1至步骤5，得到实时的车辆全景影像。
2.权利要求1所述的一种车载3D全景环视显示方法，其特征在于，步骤3包括如下步骤：
步骤3.1，将采集的球面影像离散为若干像素点；
步骤3.2，将步骤3.1离散的若干像素点作极坐标变换，拉伸为若干矩形区域；
步骤3.3，采用双三次插值方法将步骤3.2得到的矩形区域拼接得到所述畸变影像。
3.根据权利要求2所述的一种车载3D全景环视显示方法，其特征在于：所述步骤3.1的若干像素点的坐标为a(i,j)，则采集的球面影像矩阵表达式为：
Figure 129064DEST_PATH_IMAGE001
其中，a(i,j)表示该像素点的RGB值，D为球面影像的边长。
4.根据权利要求1所述的一种车载3D全景环视显示方法，其特征在于：所述步骤3、步骤4和步骤5采用imx6+NVP6324处理器进行影像拼接、畸变矫正和全景视频合成。
5.根据权利要求1所述的一种车载3D全景环视显示方法，其特征在于：所述步骤5采用中值滤波法对相邻的两个所述车辆全景影像进行边缘平滑处理。
6.根据权利要求5所述的一种车载3D全景环视显示方法，其特征在于：所述步骤5采用5阶中值滤波法对相邻的两个所述车辆全景影像进行边缘平滑处理。
7.根据权利要求1所述的一种车载3D全景环视显示方法，其特征在于：所述步骤5采用灰度渐变法对相邻的两个所述车辆全景影像进行明暗过渡调整。
8.根据权利要求1所述的一种车载3D全景环视显示方法，其特征在于：所述摄像装置包括鱼眼摄像头。
CN201910346035.3A 2019-04-26 2019-04-26 一种车载3d全景环视显示方法 Pending CN111856871A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910346035.3A CN111856871A (zh) 2019-04-26 2019-04-26 一种车载3d全景环视显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910346035.3A CN111856871A (zh) 2019-04-26 2019-04-26 一种车载3d全景环视显示方法

Publications (1)

Publication Number Publication Date
CN111856871A true CN111856871A (zh) 2020-10-30

Family

ID=72951837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910346035.3A Pending CN111856871A (zh) 2019-04-26 2019-04-26 一种车载3d全景环视显示方法

Country Status (1)

Country Link
CN (1) CN111856871A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102163331A (zh) * 2010-02-12 2011-08-24 王炳立 采用标定方法的图像辅助系统
CN105488775A (zh) * 2014-10-09 2016-04-13 东北大学 一种基于六摄像机环视的柱面全景生成装置及方法
CN108263283A (zh) * 2018-01-25 2018-07-10 长沙立中汽车设计开发股份有限公司 多编组变角度车辆全景环视系统标定及拼接方法
CN108909625A (zh) * 2018-06-22 2018-11-30 河海大学常州校区 基于全景环视系统的车底地面显示方法
US20190088006A1 (en) * 2017-09-15 2019-03-21 Aisin Seiki Kabushiki Kaisha Image processing device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102163331A (zh) * 2010-02-12 2011-08-24 王炳立 采用标定方法的图像辅助系统
CN105488775A (zh) * 2014-10-09 2016-04-13 东北大学 一种基于六摄像机环视的柱面全景生成装置及方法
US20190088006A1 (en) * 2017-09-15 2019-03-21 Aisin Seiki Kabushiki Kaisha Image processing device
CN108263283A (zh) * 2018-01-25 2018-07-10 长沙立中汽车设计开发股份有限公司 多编组变角度车辆全景环视系统标定及拼接方法
CN108909625A (zh) * 2018-06-22 2018-11-30 河海大学常州校区 基于全景环视系统的车底地面显示方法

Similar Documents

Publication Publication Date Title
CN111047510B (zh) 一种基于标定的大视场角图像实时拼接方法
CN111062873B (zh) 一种基于多对双目相机的视差图像拼接与可视化方法
CN103763479B (zh) 实时高速高清全景视频的拼接装置及其方法
CN111028155B (zh) 一种基于多对双目相机的视差图像拼接方法
CN108122191B (zh) 鱼眼图像拼接成全景图像和全景视频的方法及装置
CN109064409B (zh) 一种移动机器人的视觉图像拼接系统及方法
US11115636B2 (en) Image processing apparatus for around view monitoring
US20030117488A1 (en) Stereoscopic panoramic image capture device
CN105354796B (zh) 用于行车辅助的图像处理方法及系统
JP2019514116A (ja) 中間ビューからの効率的なキャンバスビューの生成
CN106856000B (zh) 一种车载全景图像无缝拼接处理方法及系统
CN110264395B (zh) 一种车载单目全景系统的镜头标定方法及相关装置
CN109246416A (zh) 车载六路摄像头的全景拼接方法
CN107358577B (zh) 一种立方体全景图的快速拼接方法
CN109131082B (zh) 一种完全基于视觉的单目全景泊车影像系统及其泊车方法
CN110099268B (zh) 色彩自然匹配与显示区自然融合的盲区透视化显示方法
CN111275621A (zh) 一种行车环视系统中全景图生成方法、系统及存储介质
DE102021124986A1 (de) Bildeinfärbung für fahrzeugkamerabilder
CN107730558A (zh) 基于双向鱼眼摄像机的360°行车记录系统及方法
CN108564654B (zh) 三维大场景的画面进入方式
CN108765582B (zh) 一种全景图片显示方法及设备
CN111860632B (zh) 多路图像一致性融合方法
WO2022133683A1 (zh) 一种混合现实显示的方法、混合现实设备及存储介质
RU2735066C1 (ru) Способ отображения широкоформатного объекта дополненной реальности
CN116757935A (zh) 一种鱼眼相机的图像融合拼接方法、系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201030