CN109131082B - 一种完全基于视觉的单目全景泊车影像系统及其泊车方法 - Google Patents

一种完全基于视觉的单目全景泊车影像系统及其泊车方法 Download PDF

Info

Publication number
CN109131082B
CN109131082B CN201811009683.1A CN201811009683A CN109131082B CN 109131082 B CN109131082 B CN 109131082B CN 201811009683 A CN201811009683 A CN 201811009683A CN 109131082 B CN109131082 B CN 109131082B
Authority
CN
China
Prior art keywords
vision
image
camera
calibration
parking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811009683.1A
Other languages
English (en)
Other versions
CN109131082A (zh
Inventor
李文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yiheng Technology Co ltd
Original Assignee
Shenzhen Yiheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yiheng Technology Co ltd filed Critical Shenzhen Yiheng Technology Co ltd
Priority to CN201811009683.1A priority Critical patent/CN109131082B/zh
Publication of CN109131082A publication Critical patent/CN109131082A/zh
Application granted granted Critical
Publication of CN109131082B publication Critical patent/CN109131082B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种完全基于视觉的单目全景泊车影像系统，包括后视摄像头、图像处理模块、显示屏和校准布，所述后视摄像头的输出端与图像处理模块的输入端连接，所述图像处理模块的输出端与显示屏的输入端连接；一种完全基于视觉的单目全景泊车影像系统的操作方法，包括以下步骤：(1)、安装；(2)、校准；(3)、拼接全景图：根据汽车后视图像精确计算出摄像头的位姿变化，进而得出图像间的[R|T]变换矩阵，进而拼接出全景图，本发明涉及嵌入式机器视觉技术领域。该种完全基于视觉的单目全景泊车影像系统及其泊车方法，解决了需要四摄像头实现全景泊车影像的问题，安装方便、省时省力、费用低廉。

Description

一种完全基于视觉的单目全景泊车影像系统及其泊车方法
技术领域
本发明涉及嵌入式机器视觉技术领域，具体为一种完全基于视觉的单目全景泊车影像系统及其泊车方法。
背景技术
随着图像和计算机视觉技术的快速发展，越来越多的技术被应用到汽车电子领域，传统的基于图像的倒车影像系统只在车尾安装摄像头，只能覆盖车尾周围有限的区域，因此出现了四摄像头全景影像装置，四个摄像头分别安装与汽车头部、尾部和左右两侧，直观地呈现出车辆所处的位置和周边情况，但安装工序复杂，设备价格较贵，同时影响汽车外观。
发明内容
（一）解决的技术问题
针对现有技术的不足，本发明提供了一种完全基于视觉的单目全景泊车影像系统及其泊车方法，解决了需要四摄像头实现全景泊车影像的问题，安装方便、省时省力、费用低廉。
（二）技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种完全基于视觉的单目全景泊车影像系统，包括后视摄像头、图像处理模块、显示屏和校准布，所述后视摄像头的输出端与图像处理模块的输入端连接，所述图像处理模块的输出端与显示屏的输入端连接。
一种完全基于视觉的单目全景泊车影像系统的操作方法，包括以下步骤：
（1）、安装：将后视摄像头安装在汽车车尾中部位置，随后将后视摄像头的输出端与图像处理模块的输入端连接，图像处理模块的输出端与显示屏的输入端连接；
（2）、校准：在汽车正后方的地面放置校准布，并将校准布中间位置对齐汽车中心位置，当屏幕上左侧视频内容与右侧视频内容效果一致时，点击显示屏上“开始校准”按钮，校准算法提取图像角点，并根据校准布特点精确筛选出格子与格子之间的交叉点，并对应俯视图的坐标，根据通用畸变模型，使用最小二乘法迭代计算出模型中的畸变系数和摄像头相对于地面的位姿，完成矫正；
（3）、拼接全景图：根据汽车后视图像精确计算出摄像头的位姿变化，进而得出图像间的[R|T]变换矩阵，进而拼接出全景图；
所述步骤（3）运动中的算法工作过程如下：获取后视摄像头相邻两帧图像n和（n+1）并通过校准过程中得出的畸变系数进行消畸变，并提取出两帧图像有用点，并运用嵌入式硬件深度加速技术，根据提取出的点的特征匹配，得出镜头位姿高精准的变换关系，并在俯视图中拼接融合形成完整的图像。
优选的，所述步骤（2）校准布放置在汽车尾部正后方15cm位置。
所述步骤（3）运动中的算法工作过程如下：获取后视摄像头相邻两帧图像n和（n+1）并通过校准过程中得出的畸变系数进行消畸变，并提取出两帧图像有用点，并运用嵌入式硬件深度加速技术，根据提取出的点的特征匹配，得出镜头位姿高精准的变换关系，并在俯视图中拼接融合形成完整的图像。
优选的，所述校准布采用21×5黑白相间的方格布。
优选的，所述后视摄像头为鱼眼镜头或通用镜头中的任一种。
（三）有益效果
本发明提供了一种完全基于视觉的单目全景泊车影像系统及其泊车方法。具备以下有益效果：
（1）、该种完全基于视觉的单目全景泊车影像系统，包括后视摄像头、图像处理模块、显示屏和校准布，所述后视摄像头的输出端与图像处理模块的输入端连接，所述图像处理模块的输出端与显示屏的输入端连接，只需要后视摄像头，无需借助其他任何传感器，相比目前四摄像头全景，安装方便、省时省力、费用低廉。
（2）、该一种完全基于视觉的单目全景泊车影像系统的操作方法，通过根据汽车后视图像精确计算出摄像头的位姿变化，进而得出图像间的[R|T]变换矩阵，进而拼接出全景图，运动中的算法工作过程如下：获取后视摄像头相邻两帧图像n和（n+1）并通过校准过程中得出的畸变系数进行消畸变，并提取出两帧图像有用点，并运用嵌入式硬件深度加速技术，根据提取出的点的特征匹配，得出镜头位姿高精准的变换关系，并在俯视图中拼接融合形成完整的图像，镜头畸变消除、位姿精确计算，保证了准确实现倒车，方便驾驶员操作车辆。
附图说明
图1为本发明校准布结构示意图；
图2为本发明校准效果示意图；
图3为本发明图像融合原理框图 。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-3，本发明提供一种技术方案：一种完全基于视觉的单目全景泊车影像系统，包括后视摄像头、图像处理模块、显示屏和校准布，后视摄像头的输出端与图像处理模块的输入端连接，图像处理模块的输出端与显示屏的输入端连接，单摄像头安装方便，减小安装成本，保证车辆整体的美观。
一种完全基于视觉的单目全景泊车影像系统的操作方法，包括以下步骤：
（1）、安装：将后视摄像头安装在汽车车尾中部位置，随后将后视摄像头的输出端与图像处理模块的输入端连接，图像处理模块的输出端与显示屏的输入端连接；
（2）、校准：在汽车正后方的地面放置校准布，并将校准布中间位置对齐汽车中心位置，当屏幕上左侧视频内容与右侧视频内容效果一致时，点击显示屏上“开始校准”按钮，校准算法提取图像角点，并根据校准布特点精确筛选出格子与格子之间的交叉点，并对应俯视图的坐标，根据通用畸变模型，使用最小二乘法迭代计算出模型中的畸变系数和摄像头相对于地面的位姿，完成矫正；
（3）、拼接全景图：根据汽车后视图像精确计算出摄像头的位姿变化，进而得出图像间的[R|T]变换矩阵，进而拼接出全景图。
步骤（2）校准布放置在汽车尾部正后方15cm位置。
步骤（3）运动中的算法工作过程如下：获取后视摄像头相邻两帧图像n和（n+1）并通过校准过程中得出的畸变系数进行消畸变，并提取出两帧图像有用点，并运用嵌入式硬件深度加速技术，根据提取出的点的特征匹配，得出镜头位姿高精准的变换关系，并在俯视图中拼接融合形成完整的图像，能通过单个摄像头实现车辆周边环境的显示，避免了安装四摄像头全景泊车系统带来的安装繁琐问题和价格昂贵问题。
校准布采用21×5黑白相间的方格布，采用黑白相间，分界线明显，能准确提取到校准布的每个交点，极大的提高了校准成功率和精度。
后视摄像头为鱼眼镜头或通用镜头中的任一种，兼容性较高，任何车型均可适配。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下。由语句“包括一个......限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素”。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种完全基于视觉的单目全景泊车影像系统，包括后视摄像头、图像处理模块、显示屏和校准布，其特征在于：所述后视摄像头的输出端与图像处理模块的输入端连接，所述图像处理模块的输出端与显示屏的输入端连接；
所述一种完全基于视觉的单目全景泊车影像系统的操作方法包括以下步骤：
（1）、安装：将后视摄像头安装在汽车车尾中部位置，随后将后视摄像头的输出端与图像处理模块的输入端连接，图像处理模块的输出端与显示屏的输入端连接；
（2）、校准：在汽车正后方的地面放置校准布，并将校准布中间位置对齐汽车中心位置，当屏幕上左侧视频内容与右侧视频内容效果一致时，点击显示屏上“开始校准”按钮，校准算法提取图像角点，并根据校准布特点精确筛选出格子与格子之间的交叉点，并对应俯视图的坐标，根据通用畸变模型，使用最小二乘法迭代计算出模型中的畸变系数和摄像头相对于地面的位姿，完成矫正；
（3）、拼接全景图：根据汽车后视图像精确计算出摄像头的位姿变化，进而得出图像间的[R|T]变换矩阵，进而拼接出全景图；
所述步骤（3）运动中的算法工作过程如下：获取后视摄像头相邻两帧图像n和（n+1），并通过校准过程中得出的畸变系数进行消畸变，并提取出两帧图像有用点，并运用嵌入式硬件深度加速技术，根据提取出的点的特征匹配，得出镜头位姿高精准的变换关系，并在俯视图中拼接融合形成完整的图像。
2.根据权利要求1所述的一种完全基于视觉的单目全景泊车影像系统，其特征在于：所述步骤（2）中校准布放置在汽车尾部正后方15cm位置。
3.根据权利要求1所述的一种完全基于视觉的单目全景泊车影像系统，其特征在于：所述校准布采用21×5黑白相间的方格布。
4.根据权利要求1所述的一种完全基于视觉的单目全景泊车影像系统，其特征在于：所述后视摄像头为鱼眼镜头或通用镜头中的任一种。
CN201811009683.1A 2018-08-31 2018-08-31 一种完全基于视觉的单目全景泊车影像系统及其泊车方法 Active CN109131082B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811009683.1A CN109131082B (zh) 2018-08-31 2018-08-31 一种完全基于视觉的单目全景泊车影像系统及其泊车方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811009683.1A CN109131082B (zh) 2018-08-31 2018-08-31 一种完全基于视觉的单目全景泊车影像系统及其泊车方法

Publications (2)

Publication Number Publication Date
CN109131082A CN109131082A (zh) 2019-01-04
CN109131082B true CN109131082B (zh) 2022-03-15

Family

ID=64825892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811009683.1A Active CN109131082B (zh) 2018-08-31 2018-08-31 一种完全基于视觉的单目全景泊车影像系统及其泊车方法

Country Status (1)

Country Link
CN (1) CN109131082B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563840B (zh) * 2019-01-28 2023-09-05 北京魔门塔科技有限公司 分割模型的训练方法、装置、位姿检测方法及车载终端
CN111626227B (zh) * 2020-05-28 2023-04-28 深圳市博维远景科技有限公司 一种基于双目视觉车底透视全景系统的实现方法
CN113221833B (zh) * 2021-06-01 2023-05-26 深圳市天双科技有限公司 一种后视摄像头实现全景泊车的方法
CN113353067A (zh) * 2021-07-14 2021-09-07 重庆大学 一种基于全景摄像头的多环境检测与多模态匹配的平行泊车路径规划系统
CN113674363B (zh) * 2021-08-26 2023-05-30 龙岩学院 一种全景泊车影像拼接标定方法及其标定物

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521817A (zh) * 2011-11-22 2012-06-27 广州致远电子有限公司 一种用于全景泊车系统的图像融合方法
DE102013002375A1 (de) * 2013-02-09 2014-08-14 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Verfahren zur Kalibrierung einer Kamera eines Kraftfahrzeugs
CN104240258A (zh) * 2014-09-30 2014-12-24 苏州智华汽车电子有限公司 一种基于车联网的全景环视系统标定方法、装置及系统
CN105825475A (zh) * 2016-04-01 2016-08-03 西安电子科技大学 基于单摄像头的360度全景影像生成方法
CN205523963U (zh) * 2016-04-14 2016-08-31 广州市晶华精密光学股份有限公司 一种单摄像头全景倒车影像系统
CN106060427A (zh) * 2016-08-25 2016-10-26 刘开剑 基于单摄像头的全景成像方法及其装置
CN107993263A (zh) * 2017-10-27 2018-05-04 深圳市易成自动驾驶技术有限公司 环视系统自动标定方法、汽车、标定装置及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
US9723272B2 (en) * 2012-10-05 2017-08-01 Magna Electronics Inc. Multi-camera image stitching calibration system
CN105955259B (zh) * 2016-04-29 2019-04-23 南京航空航天大学 基于多窗口实时测距的单目视觉agv的精确定位方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521817A (zh) * 2011-11-22 2012-06-27 广州致远电子有限公司 一种用于全景泊车系统的图像融合方法
DE102013002375A1 (de) * 2013-02-09 2014-08-14 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Verfahren zur Kalibrierung einer Kamera eines Kraftfahrzeugs
CN104240258A (zh) * 2014-09-30 2014-12-24 苏州智华汽车电子有限公司 一种基于车联网的全景环视系统标定方法、装置及系统
CN105825475A (zh) * 2016-04-01 2016-08-03 西安电子科技大学 基于单摄像头的360度全景影像生成方法
CN205523963U (zh) * 2016-04-14 2016-08-31 广州市晶华精密光学股份有限公司 一种单摄像头全景倒车影像系统
CN106060427A (zh) * 2016-08-25 2016-10-26 刘开剑 基于单摄像头的全景成像方法及其装置
CN107993263A (zh) * 2017-10-27 2018-05-04 深圳市易成自动驾驶技术有限公司 环视系统自动标定方法、汽车、标定装置及存储介质

Also Published As

Publication number Publication date
CN109131082A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
CN109131082B (zh) 一种完全基于视觉的单目全景泊车影像系统及其泊车方法
CN109435852B (zh) 一种针对大型卡车的全景式辅助驾驶系统及方法
CN109688392B (zh) Ar-hud光学投影系统及映射关系标定方法和畸变矫正方法
CN111768332B (zh) 一种车载环视实时3d全景图像的拼接方法及图形采集装置
CN111179168B (zh) 一种车载360度全景环视监控系统及方法
TWI599989B (zh) 用於交通工具之影像處理方法及影像系統
CN110099268B (zh) 色彩自然匹配与显示区自然融合的盲区透视化显示方法
CN112614192B (zh) 一种车载相机的在线标定方法和车载信息娱乐系统
CN113362228A (zh) 基于改进畸变校正和标记拼接的环视图像拼接方法及系统
CN106855999A (zh) 汽车环视图像的生成方法及装置
CN110689506A (zh) 一种全景拼接方法、一种车用全景拼接方法及其全景系统
WO1997018523B1 (en) Computer stereo vision system and method
CN112348741A (zh) 全景图像拼接方法、设备及存储介质和显示方法及系统
CN111243034A (zh) 一种全景辅助泊车标定方法、装置、设备及存储介质
CN106846243A (zh) 在设备移动过程中获得三维俯视全景图的方法及装置
TW201605247A (zh) 影像處理系統及方法
CN103496339A (zh) 一种通过3d显示汽车全景的显示系统及其实现方法
CN104590115A (zh) 行车安全辅助系统和方法
CN111626227A (zh) 一种基于双目视觉车底透视全景系统的实现方法
CN113276772B (zh) 一种汽车电子外后视镜系统及控制方法
CN214959899U (zh) 一种适用于大型车辆的车载全景拼接系统
CN115546312A (zh) 一种相机外参数的校正方法及装置
JP2009077022A (ja) 運転支援システム及び車両
CN111241946B (zh) 一种基于单dlp光机增大fov的方法和系统
EP3860881B1 (en) Rear facing lane detection overlay

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant