CN111626227B - 一种基于双目视觉车底透视全景系统的实现方法 - Google Patents

一种基于双目视觉车底透视全景系统的实现方法 Download PDF

Info

Publication number
CN111626227B
CN111626227B CN202010470282.7A CN202010470282A CN111626227B CN 111626227 B CN111626227 B CN 111626227B CN 202010470282 A CN202010470282 A CN 202010470282A CN 111626227 B CN111626227 B CN 111626227B
Authority
CN
China
Prior art keywords
image
vehicle
implementation method
top view
binocular vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010470282.7A
Other languages
English (en)
Other versions
CN111626227A (zh
Inventor
周建波
王朝霞
刘恋
黎胜锡
孙晓旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Bowei Yuanjing Technology Co ltd
Original Assignee
Shenzhen Bowei Yuanjing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Bowei Yuanjing Technology Co ltd filed Critical Shenzhen Bowei Yuanjing Technology Co ltd
Priority to CN202010470282.7A priority Critical patent/CN111626227B/zh
Publication of CN111626227A publication Critical patent/CN111626227A/zh
Application granted granted Critical
Publication of CN111626227B publication Critical patent/CN111626227B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于双目视觉车底透视全景系统的实现方法，是一种利用车前和车后两个摄像头产生的视频数据，结合车辆的瞬时速度和转向角数据，建立并生成车辆全景图像信息的方法。

Description

一种基于双目视觉车底透视全景系统的实现方法
技术领域
本发明涉及视频图像处理技术领域，具体为一种基于双目视觉车底透视全景系统的实现方法。
背景技术
汽车在行驶过程中常常会遇到各种道路障碍，使正常行驶受到影响。许多障碍隐蔽难以发觉，其中一些障碍由于汽车车身覆盖，更不容易准确判断它们的精确位置产生视觉盲区。传统的基于图像的倒车影像系统只在车尾安装摄像头，只能覆盖车尾周围有限的区域，远远不能满足安全驾驶的需要，而全景环视系统需要在汽车周围架设能覆盖车辆周边所有视场范围的4个广角摄像头，系统安装调试复杂，整体造价较高。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于双目视觉车底透视全景系统的实现方法，解决了视野盲区或安装复杂昂贵的问题。
(二)技术方案
为实现上述目的，本发明提供如下技术方案：一种基于双目视觉车底透视全景系统的实现方法，是一种利用车前和车后两个摄像头产生的视频数据，结合车辆的瞬时速度和转向角数据，建立并生成车辆全景图像信息的方法；其具体方法如下：
步骤S1:利用张正友的基于棋盘格的摄像头标定方法对系统进行标定，获得摄像头内外参和畸变系数；
步骤S2:利用步骤S1中得到的摄像头内外参和畸变系数计算去畸变映射图，对原始图像利用去畸变映射图进行几何变换，得到畸变校正后的图像；
步骤S3:计算畸变校正后的图像变换到俯视图像的单应性矩阵；
步骤S4:利用步骤S3中得到的单应性矩阵，对去畸变图像进行透视投影变换，得到俯视图；
步骤S5:将传入的视频序列的相邻两帧图像利用以上步骤对图像进行预处理，得到两幅俯视图；
步骤S6:对步骤S5中的两幅俯视图，进行图像旋转；
步骤S7:对步骤S6中得到的两帧俯视图进行特征提取与模板匹配，从而得出含有车底信息的拼接图像；
步骤S8:重复以上步骤，直至实时显示包含车子周围信息、车底信息的完整全景图像。
优选的，所述步骤S6中，对步骤S5俯视图利用公式:
Figure BDA0002514080790000021
计算，对图像进行旋转。
优选的，两帧俯视图特征主要提取与模板匹配的具体方法如下：
步骤S701：提取特征，在步骤S7中上一帧图像中选取与图像区域宽度相同，高度为固定值的区域为匹配模板；
步骤S702：求解步骤S7中当前帧图像与步骤S701设置的匹配模板的最大相似性度量；
步骤S703：根据步骤S702所得的最优匹配位置，将当前帧图像和上一帧图像进行拼接融合；
步骤S704：利用步骤S703得到含有车子周围、车底的信息拼接图像。
优选的，在步骤S702中，相似性度量计算公式：
Figure BDA0002514080790000031
优选的，所述相似性度量是记录此时最优匹配位置,拼接区域高度为L, 若为后视，左下角为坐标原点，L公式：
Figure BDA0002514080790000032
优选的，所述相似性度量是记录此时最优匹配位置,若为前视，左上角为坐标原理，L公式：
Figure BDA0002514080790000033
(三)有益效果
本发明提供了一种基于双目视觉车底透视全景系统的实现方法，具备以下有益效果：
本发明能实现获取包含车身周围和车底信息的全景图像，会减少安装复杂度、降低综合成本，并且节约汽车空间，同时能降低汽车在行驶过程中的安全隐患。
附图说明
图1为本发明的方法流程图；
图2为本发明的两帧俯视图特征主要提取与模板匹配方法流程图
图3为本发明的全景示意图；
图4为本发明的两帧俯视图特征主要提取与模板匹配原理图；
图5为本发明的车辆全景图像信息的效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1至图5所示，本发明提供一种技术方案：一种基于双目视觉车底透视全景系统的实现方法，是一种利用车前和车后两个摄像头产生的视频数据，结合车辆的瞬时速度和转向角数据，建立并生成车辆全景图像信息的方法；其具体方法如下：
步骤S1:利用张正友的基于棋盘格的摄像头标定方法对系统进行标定，获得摄像头内外参和畸变系数；
步骤S2:利用步骤S1中得到的摄像头内外参和畸变系数计算去畸变映射图，对原始图像利用去畸变映射图进行几何变换，得到畸变校正后的图像；
步骤S3:计算畸变校正后的图像变换到俯视图像的单应性矩阵；
步骤S4:利用步骤S3中得到的单应性矩阵，对去畸变图像进行透视投影变换，得到俯视图；
步骤S5:将传入的视频序列的相邻两帧图像利用以上步骤对图像进行预处理，得到两幅俯视图；
步骤S6:对步骤S5中的两幅俯视图，进行图像旋转；
步骤S7:对步骤S6中得到的两帧俯视图进行特征提取与模板匹配，从而得出含有车底信息的拼接图像；
步骤S8:重复以上步骤，直至实时显示包含车子周围信息、车底信息的完整全景图像。
所述步骤S6中，对步骤S5俯视图利用公式:
Figure BDA0002514080790000051
计算，对图像进行旋转；其中dstx,dstj分别为旋转后俯视图中像素的横纵坐标，x,y 分别为旋转前俯视图中像素横、纵坐标，xcenter、ycenter分别为俯视图中小车区域的中心坐标，θ为车轮的转向角；
如图4所示，两帧俯视图特征主要提取与模板匹配的具体方法如下：
步骤S701：提取特征，在步骤S7中上一帧图像中选取与图像区域宽度相同，高度为固定值的区域为匹配模板；
步骤S702：求解步骤S7中当前帧图像与步骤S601设置的匹配模板的最大相似性度量；
步骤S703：根据步骤S702所得的最优匹配位置，将当前帧图像和上一帧图像进行拼接融合；
步骤S704：利用步骤S703得到含有车子周围、车底的信息拼接图像，其效果图如图5所示。
在步骤S702中，相似性度量计算公式：
Figure BDA0002514080790000052
其中w1和h1分别当前帧图像的宽度和高度，w2和h2分别为匹配模板的宽度和高度，I1(x，y)为当前帧图像像素灰度值，I2(x，y)为模板区域的像素灰度值。
所述相似性度量是记录此时最优匹配位置,拼接区域高度为L,若为后视，左下角为坐标原点，L公式：
Figure BDA0002514080790000061
如图4所示；其中H和W分别为俯视图的高度和宽度，Lcar和Wcar分别为小车区域的长度和宽度，Ycar为车头到图像顶端的距离，对前视进行处理时图像左上角为坐标原点，对后视进行处理时左下角为坐标原点，v是当前车速。
所述相似性度量是记录此时最优匹配位置,若为前视，左上角为坐标原理，L公式：
Figure BDA0002514080790000062
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于双目视觉车底透视全景系统的实现方法，是一种利用车前和车后两个摄像头产生的视频数据，结合车辆的瞬时速度和转向角数据，建立并生成车辆全景图像信息的方法；其具体方法如下：
步骤S1:利用张正友的基于棋盘格的摄像头标定方法对系统进行标定，获得摄像头内外参和畸变系数；
步骤S2:利用步骤S1中得到的摄像头内外参和畸变系数计算去畸变映射图，对原始图像利用去畸变映射图进行几何变换，得到畸变校正后的图像；
步骤S3:计算畸变校正后的图像变换到俯视图像的单应性矩阵；
步骤S4:利用步骤S3中得到的单应性矩阵，对去畸变图像进行透视投影变换，得到俯视图；
步骤S5:将传入的视频序列的相邻两帧图像利用以上步骤对图像进行预处理，得到两幅俯视图；
步骤S6:对步骤S5中的两幅俯视图，进行图像旋转；
步骤S7:对步骤S6中得到的两帧俯视图进行特征提取与模板匹配，从而得出含有车底信息的拼接图像；
步骤S8:重复以上步骤，直至实时显示包含车子周围信息、车底信息的完整全景图像。
2.根据权利要求1所述的一种基于双目视觉车底透视全景系统的实现方法，其特征在于：所述步骤S6中，对步骤S5俯视图利用公式:
计算，对图像进行旋转；
其中,分别为旋转后俯视图中像素的横纵坐标，x,y分别为旋转前俯视图中像素横、纵坐标，、分别为俯视图中小车区域的中心坐标，为车轮的转向角。
3.根据权利要求1或2所述的一种基于双目视觉车底透视全景系统的实现方法，其特征在于：所述两帧俯视图特征主要提取与模板匹配的具体方法如下：
S701：提取特征，在步骤S7中上一帧图像中选取与图像区域宽度相同，高度为固定值的区域为匹配模板；
S702：求解步骤S7中当前帧图像与步骤S701设置的匹配模板的最大相似性度量；
S703：根据步骤S702所得的最优匹配位置，将当前帧图像和上一帧图像进行拼接融合；
S704：利用步骤S703得到含有车子周围、车底的信息拼接图像。
4.根据权利要求3所述的一种基于双目视觉车底透视全景系统的实现方法，其特征在于：在步骤S702中，相似性度量计算公式：
其中w1和h1分别当前帧图像的宽度和高度，w2和h2分别为匹配模板的宽度和高度，为当前帧图像像素灰度值，为模板区域的像素灰度值。
5.根据权利要求4所述的一种基于双目视觉车底透视全景系统的实现方法，其特征在于：所述相似性度量是记录此时最优匹配位置,拼接区域高度为L,若为后视，左下角为坐标原点，L公式：
其中H和W分别为俯视图的高度和宽度，Lcar和Wcar分别为小车区域的长度和宽度，Ycar为车头到图像顶端的距离，对前视进行处理时图像左上角为坐标原点，对后视进行处理时左下角为坐标原点，v是当前车速。
6.根据权利要求5所述的一种基于双目视觉车底透视全景系统的实现方法，其特征在于：所述相似性度量是记录此时最优匹配位置,若为前视，左上角为坐标原理，L公式：
。
CN202010470282.7A 2020-05-28 2020-05-28 一种基于双目视觉车底透视全景系统的实现方法 Active CN111626227B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010470282.7A CN111626227B (zh) 2020-05-28 2020-05-28 一种基于双目视觉车底透视全景系统的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010470282.7A CN111626227B (zh) 2020-05-28 2020-05-28 一种基于双目视觉车底透视全景系统的实现方法

Publications (2)

Publication Number Publication Date
CN111626227A CN111626227A (zh) 2020-09-04
CN111626227B true CN111626227B (zh) 2023-04-28

Family

ID=72259556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010470282.7A Active CN111626227B (zh) 2020-05-28 2020-05-28 一种基于双目视觉车底透视全景系统的实现方法

Country Status (1)

Country Link
CN (1) CN111626227B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488995B (zh) * 2020-11-18 2023-12-12 成都主导软件技术有限公司 列车自动化检修的智能判伤方法及系统
CN113538283B (zh) * 2021-07-22 2024-04-30 浙江赫千电子科技有限公司 一种冗余鱼眼摄像头拍摄图像的畸变矫正方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109131082A (zh) * 2018-08-31 2019-01-04 深圳以恒科技有限公司 一种完全基于视觉的单目全景泊车影像系统及其泊车方法
CN109389060A (zh) * 2018-09-26 2019-02-26 福州大学 一种基于视觉的车周碰撞预警方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109131082A (zh) * 2018-08-31 2019-01-04 深圳以恒科技有限公司 一种完全基于视觉的单目全景泊车影像系统及其泊车方法
CN109389060A (zh) * 2018-09-26 2019-02-26 福州大学 一种基于视觉的车周碰撞预警方法

Also Published As

Publication number Publication date
CN111626227A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN109435852B (zh) 一种针对大型卡车的全景式辅助驾驶系统及方法
CN108263283B (zh) 多编组变角度车辆全景环视系统标定及拼接方法
JP4695167B2 (ja) 車両の後方視認システムの歪みを補正し且つ像を強調する方法及び装置
CN111559314B (zh) 深度与图像信息融合的3d增强全景环视系统及实现方法
CN105678787A (zh) 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法
WO2019192145A1 (zh) 全景图的视野调整方法及装置、存储介质、电子设备
TWI599989B (zh) 用於交通工具之影像處理方法及影像系統
CN111626227B (zh) 一种基于双目视觉车底透视全景系统的实现方法
CN110414385B (zh) 一种基于单应性变换和特征窗口的车道线检测方法及系统
CN110363085B (zh) 一种基于铰接角补偿的重型铰接车环视实现方法
CN107066954A (zh) 一种车载360度环视显示方法及系统
CN110099268B (zh) 色彩自然匹配与显示区自然融合的盲区透视化显示方法
CN113362228A (zh) 基于改进畸变校正和标记拼接的环视图像拼接方法及系统
CN111768332A (zh) 一种车载环视实时3d全景图像的拼接方法及图形采集装置
CN112348741A (zh) 全景图像拼接方法、设备及存储介质和显示方法及系统
Chang et al. Auto-calibration around-view monitoring system
CN111678518A (zh) 一种用于修正自动泊车路径的视觉定位方法
CN114757833B (zh) 一种车辆侧面图像拼接方法及系统
CN114937090A (zh) 一种智能电子前后视镜系统
CN108230248A (zh) 一种基于自适应特征点配准的环视系统拼接效果评估和自动微调方法
US11377027B2 (en) Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method
CN111860270B (zh) 一种基于鱼眼相机的障碍物检测方法及装置
JP3588728B2 (ja) 車両前方の路上線検出装置
Santhanam et al. Lens distortion correction and geometrical alignment for Around View Monitoring system
CN114926332A (zh) 基于无人机母车的无人机全景图像拼接方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant