CN110126733A - 一种基于单目摄像头的全景系统及其工作方法 - Google Patents

一种基于单目摄像头的全景系统及其工作方法 Download PDF

Info

Publication number
CN110126733A
CN110126733A CN201910375294.9A CN201910375294A CN110126733A CN 110126733 A CN110126733 A CN 110126733A CN 201910375294 A CN201910375294 A CN 201910375294A CN 110126733 A CN110126733 A CN 110126733A
Authority
CN
China
Prior art keywords
signal
monocular cam
module
image
automobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910375294.9A
Other languages
English (en)
Inventor
刘琳
沙文瀚
夏荣鑫
倪绍勇
孙玉洲
张勇
季益超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chery New Energy Automobile Technology Co Ltd
Original Assignee
Chery New Energy Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chery New Energy Automobile Technology Co Ltd filed Critical Chery New Energy Automobile Technology Co Ltd
Priority to CN201910375294.9A priority Critical patent/CN110126733A/zh
Publication of CN110126733A publication Critical patent/CN110126733A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种基于单目摄像头的全景系统及其工作方法，其特征在于，包括单目摄像头、单片机、PMU电源模块、车机显示模块和视频合成模块，所述单目摄像头、单片机、PMU电源模块、车机显示模块与所述视频合成模块中的CPU主控芯片连接；所述单目摄像头安装于汽车后部，所述单片机通过CAN装置与汽车的CAN网络连接以获取车辆行驶的相关信号。所述车辆行驶的相关信号包括车速信号、电机转速信号、胎压信号、方向盘转角信号和轮胎直径信号。本发明既能满足行车安全，提醒、辅助驾驶员的倒车行为，又能减少倒车影像系统模块的软件、硬件及相关零部件的模具投入成本，是一种能实现全景效果的、成本低廉的全景系统装置。

Description

一种基于单目摄像头的全景系统及其工作方法
技术领域
本发明属于汽车全景影像控制技术领域，具体涉及一种基于单目摄像头的全景系统及其工作方法。
背景技术
纵观形形色色的交通事故，因停车不当引发的事故并不鲜见，究其原因，主要是因视野盲区、操作不当、预判不准等原因，没有把握好周边环境安全停车的诀窍。因此，倒车影像系统，作为实用的驾驶辅助系统，对驾驶员避免事故，确保安全停车，有重大的意义。
但是传统的倒车影像系统，只有后视摄像头，对车左右及前方没有相关的显示，当用户在侧方位停车等工况时，无法显示车头的影像，对用户，尤其是新手的驾驶感，存在较大的困扰，所以全景系统应运而生。而目前常规的全景影像系统，需要至少4个摄像头通过图像拼接方式，实现360°环视显示，硬件费用较大。除了全景系统自身相关的软硬件费用，车辆前保和左右后视镜需要做出相应的结构，装配摄像头及相关线束，对整车成本也有不少的增加。
发明内容
本发明设计了一种基于单目摄像头的全景系统及其工作方法，旨在既能满足行车安全，提醒驾驶员，又能减少倒车影像系统模块的软件、硬件及相关零部件的模具投入成本。
为了实现上述目的，本发明采用了以下方案：
一种基于单目摄像头的全景系统，包括单目摄像头、单片机、PMU电源模块、车机显示模块和视频合成模块，所述单目摄像头、单片机、PMU电源模块、车机显示模块与所述视频合成模块中的CPU主控芯片连接；所述单目摄像头安装于汽车后部，所述单片机通过CAN装置与汽车的CAN网络连接以获取车辆行驶的相关信号。
进一步，所述车辆行驶的相关信号包括车速信号、电机转速信号、胎压信号、方向盘转角信号和轮胎直径信号。
进一步，汽车轮胎上设置有胎压传感器以获取所述胎压信号；方向盘处设置有转角传感器以获取所述方向盘转角信号。
进一步，所述视频合成模块还包括FLASH编辑存储器、DDR3内存卡和SD存储卡，所述FLASH编辑存储器、DDR3内存卡和SD存储卡分别与所述CPU主控芯片连接。
同时，本发明还公开了一种基于单目摄像头的全景系统的工作方法，所述工作方法包括以下步骤：
步骤一，视频合成模块通过其CPU主控芯片接收安装于汽车后方的单目摄像头传来的视频图像，并对视频图像进行鱼眼校正、绘制静态标尺线；同时，单片机通过CAN装置实时地获取车速信号及电机转速信号，来判定汽车的行驶方向和行驶速度，并将判定的汽车行驶方向和行驶速度的信息传送给所述CPU主控芯片；
步骤二，根据汽车的行驶方向和速度，所述视频合成模块将校正后的视频图像缓存并融合，使得汽车在倒车过程中，逐一完成全景图像，并通过车机显示模块进行显示；
步骤三，依据全景标定后的参数，以及单目摄像头的畸变参数表，所述视频合成模块通过图像识别算法准确计算出图像中阻碍物与车身的相对位置并绘制出静态轨迹线；所述视频合成模块通过所述单片机、CAN装置获取方向盘转角信号并计算出实际前轮的转角大小，再依据前轮的转角大小及轮胎直径输入、胎压传感器信号，精确计算出汽车的行进轨迹并绘制出动态辅助线。
进一步，上述步骤二中，所述融合是指所述视频合成模块通过所述单目摄像头实时采集汽车后方视频图像，并将图像进行多帧图像融合处理；所述融合处理依赖于从CAN网络上获取的车速信号及电机转速信号，所述单片机根据车速信号及电机转速信号判定出汽车的倒车速度并发送给所述视频合成模块，而融合算法根据倒车速度准确的计算出每帧新图像应该融合多少像素到原已融合的缓存图像中；车辆不断地往后方倒车，缓存图像区域也将逐渐加大，最终，缓存图像将占满全景区域中实时图像的上部分，全景图像即由实时图像和缓存图像构成。
该基于单目摄像头的全景系统及其工作方法具有以下有益效果：
（1）本发明采用单颗后视摄像头实时采集车辆周边图像，图像经过主芯片进行校正，OSD叠加等处理以及CPU图像融合运算，生成倒车全景和车底透视画面，同时绘制动、静态轨迹线，给车主安全且精准的泊车体验。
（2）本发明相对于现有的全景系统，重新设计出一种基于单摄像头投影全景显示实现方案。基于单目摄像头的全景影像，是利用图像缓存及图像拼接算法，将摄像头随车运动扫略过的影像，和车辆转向角度、车速、轮胎直径、胎压等多信号融合计算后合成的虚拟全景影像。相对于以往的全景系统，既能满足行车安全，提醒、辅助驾驶员的行驶行为，又能减少倒车影像系统模块的软件、硬件及相关零部件的模具投入成本，是一种能实现全景效果的，成本低廉的全景系统装置。
附图说明
图1：本发明实施方式中基于单目摄像头的全景系统的硬件结构框图；
图2：本发明实施方式中CAN网络信号框图。
附图标记说明：
11—CPU主控芯片；12—FLASH编辑存储器；13—DDR3内存卡；14—SD存储卡；2—单目摄像头；3—单片机；4—PMU电源模块；5—车机显示模块。
具体实施方式
下面结合附图，对本发明做进一步说明：
图1至图2示出了本发明基于单目摄像头的全景系统及其工作方法的具体实施方式。图1是本实施方式中基于单目摄像头的全景系统的硬件结构框图；图2是本实施方式中CAN网络信号框图。
如图1所示，本实施方式中的基于单目摄像头的全景系统，包括单目摄像头2、单片机3、PMU电源模块4、车机显示模块5和视频合成模块，单目摄像头2、单片机3、PMU电源模块4、车机显示模块5与所述视频合成模块中的CPU主控芯片11连接；单目摄像头2安装于汽车后部，单片机3通过CAN装置与汽车的CAN网络连接以获取车辆行驶的相关信号。
优选地，所述车辆行驶的相关信号包括车速信号、电机转速信号、胎压信号、方向盘转角信号和轮胎直径信号，如图2所示。
本实施例中，汽车轮胎上设置有胎压传感器以获取所述胎压信号；方向盘处设置有转角传感器以获取所述方向盘转角信号，如图2所示。
优选地，所述视频合成模块还包括FLASH编辑存储器12、DDR3内存卡13和SD存储卡14， FLASH编辑存储器12、DDR3内存卡13和SD存储卡14分别与CPU主控芯片11连接，如图1所示。
本实施方式中的基于单目摄像头的全景系统，工作时，
首先，视频合成模块通过其CPU主控芯片11接收安装于汽车后方的单目摄像头2传来的CVBS视频图像，并对视频图像进行鱼眼校正、绘制静态标尺线；同时，单片机3通过CAN装置实时地获取车速信号及电机转速信号，来判定汽车的行驶方向和行驶速度，并将判定的汽车行驶方向和行驶速度的信息传送给CPU主控芯片11；
其次，根据汽车的行驶方向和速度，所述视频合成模块将校正后的视频图像缓存并融合，使得汽车在倒车过程中，逐一完成全景图像，并通过车机显示模块进行显示；
最后，依据全景标定后的参数，以及单目摄像头2的畸变参数表，所述视频合成模块通过图像识别算法准确计算出图像中阻碍物与车身的相对位置并绘制出静态轨迹线；所述视频合成模块通过单片机3、CAN装置获取方向盘转角信号并计算出实际前轮的转角大小，再依据前轮的转角大小及轮胎直径输入、胎压传感器信号，精确计算出汽车的行进轨迹并绘制出动态辅助线。
所述融合是指所述视频合成模块通过单目摄像头2实时采集汽车后方视频图像，并将图像进行多帧图像融合处理；所述融合处理依赖于从CAN网络上获取的精确的车速信号及电机转速信号，单片机3根据车速信号及电机转速信号判定出汽车的倒车速度并发送给所述视频合成模块，而融合算法根据倒车速度准确的计算出每帧新图像应该融合多少像素到原已融合的缓存图像中；车辆不断地往后方倒车，缓存图像区域也将逐渐加大，最终，缓存图像将占满全景区域中实时图像的上部分，全景图像即由实时图像和缓存图像构成。
本发明采用单颗后视摄像头实时采集车辆周边图像，图像经过主芯片进行校正，OSD叠加等处理以及CPU图像融合运算，生成倒车全景和车底透视画面，同时绘制动、静态轨迹线，给车主安全且精准的泊车体验。
本发明相对于现有的全景系统，重新设计出一种基于单摄像头投影全景显示实现方案。基于单目摄像头的全景影像，是利用图像缓存及图像拼接算法，将摄像头随车运动扫略过的影像，和车辆转向角度、车速、轮胎直径、胎压等多信号融合计算后合成的虚拟全景影像。相对于以往的全景系统，既能满足行车安全，提醒、辅助驾驶员的行驶行为，又能减少倒车影像系统模块的软件、硬件及相关零部件的模具投入成本，是一种能实现全景效果的，成本低廉的全景系统装置。
上面结合附图对本发明进行了示例性的描述，显然本发明的实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围内。

Claims (6)

1.一种基于单目摄像头的全景系统，其特征在于，包括单目摄像头、单片机、PMU电源模块、车机显示模块和视频合成模块，所述单目摄像头、单片机、PMU电源模块、车机显示模块与所述视频合成模块中的CPU主控芯片连接；所述单目摄像头安装于汽车后部，所述单片机通过CAN装置与汽车的CAN网络连接以获取车辆行驶的相关信号。
2.根据权利要求1所述的基于单目摄像头的全景系统，其特征在于，所述车辆行驶的相关信号包括车速信号、电机转速信号、胎压信号、方向盘转角信号和轮胎直径信号。
3.根据权利要求2所述的基于单目摄像头的全景系统，其特征在于，汽车轮胎上设置有胎压传感器以获取所述胎压信号；方向盘处设置有转角传感器以获取所述方向盘转角信号。
4.根据权利要求1、2或3所述的基于单目摄像头的全景系统，其特征在于，所述视频合成模块还包括FLASH编辑存储器、DDR3内存卡和SD存储卡，所述FLASH编辑存储器、DDR3内存卡和SD存储卡分别与所述CPU主控芯片连接。
5.一种基于单目摄像头的全景系统的工作方法，其特征在于，包括上述权利要求1至4任一所述的基于单目摄像头的全景系统，所述工作方法包括以下步骤：
步骤一，视频合成模块通过其CPU主控芯片接收安装于汽车后方的单目摄像头传来的视频图像，并对视频图像进行鱼眼校正、绘制静态标尺线；同时，单片机通过CAN装置实时地获取车速信号及电机转速信号，来判定汽车的行驶方向和行驶速度，并将判定的汽车行驶方向和行驶速度的信息传送给所述CPU主控芯片；
步骤二，根据汽车的行驶方向和速度，所述视频合成模块将校正后的视频图像缓存并融合，使得汽车在倒车过程中，逐一完成全景图像，并通过车机显示模块进行显示；
步骤三，依据全景标定后的参数，以及单目摄像头的畸变参数表，所述视频合成模块通过图像识别算法准确计算出图像中阻碍物与车身的相对位置并绘制出静态轨迹线；所述视频合成模块通过所述单片机、CAN装置获取方向盘转角信号并计算出实际前轮的转角大小，再依据前轮的转角大小及轮胎直径输入、胎压传感器信号，精确计算出汽车的行进轨迹并绘制出动态辅助线。
6.根据权利要求5所述的基于单目摄像头的全景系统的工作方法，其特征在于，上述步骤二中，所述融合是指所述视频合成模块通过所述单目摄像头实时采集汽车后方视频图像，并将图像进行多帧图像融合处理；所述融合处理依赖于从CAN网络上获取的车速信号及电机转速信号，所述单片机根据车速信号及电机转速信号判定出汽车的倒车速度并发送给所述视频合成模块，而融合算法根据倒车速度准确的计算出每帧新图像应该融合多少像素到原已融合的缓存图像中；车辆不断地往后方倒车，缓存图像区域也将逐渐加大，最终，缓存图像将占满全景区域中实时图像的上部分，全景图像即由实时图像和缓存图像构成。
CN201910375294.9A 2019-05-07 2019-05-07 一种基于单目摄像头的全景系统及其工作方法 Pending CN110126733A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910375294.9A CN110126733A (zh) 2019-05-07 2019-05-07 一种基于单目摄像头的全景系统及其工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910375294.9A CN110126733A (zh) 2019-05-07 2019-05-07 一种基于单目摄像头的全景系统及其工作方法

Publications (1)

Publication Number Publication Date
CN110126733A true CN110126733A (zh) 2019-08-16

Family

ID=67576425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910375294.9A Pending CN110126733A (zh) 2019-05-07 2019-05-07 一种基于单目摄像头的全景系统及其工作方法

Country Status (1)

Country Link
CN (1) CN110126733A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111372055A (zh) * 2020-03-25 2020-07-03 东风汽车集团有限公司 一种车底图像显示系统及方法
CN112770147A (zh) * 2021-01-21 2021-05-07 日照职业技术学院 基于云安全认证的无人驾驶透视盒子及其实现方法
CN113484863A (zh) * 2021-07-07 2021-10-08 上海商汤临港智能科技有限公司 一种车辆及其车载传感器系统、以及行车数据采集方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201400129Y (zh) * 2009-03-18 2010-02-10 惠州市德赛汽车电子有限公司 一种汽车安全后视装置
CN105451000A (zh) * 2015-12-27 2016-03-30 百利得汽车主动安全系统（苏州）有限公司 一种基于单目后视摄像头的车载全景环视系统及方法
CN105763854A (zh) * 2016-04-18 2016-07-13 扬州航盛科技有限公司 一种基于单目摄像头的全景成像系统及其成像方法
CN105774657A (zh) * 2016-04-14 2016-07-20 广州市晶华精密光学股份有限公司 一种单摄像头全景倒车影像系统及方法
CN105946719A (zh) * 2016-06-17 2016-09-21 安徽理工大学 一种汽车全景环视辅助安全系统
CN107507131A (zh) * 2017-08-08 2017-12-22 广州市安晓科技有限责任公司 基于单摄像头的360度全景倒车影像生成方法
JP6274936B2 (ja) * 2014-03-25 2018-02-07 ダイハツ工業株式会社 運転支援装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201400129Y (zh) * 2009-03-18 2010-02-10 惠州市德赛汽车电子有限公司 一种汽车安全后视装置
JP6274936B2 (ja) * 2014-03-25 2018-02-07 ダイハツ工業株式会社 運転支援装置
CN105451000A (zh) * 2015-12-27 2016-03-30 百利得汽车主动安全系统（苏州）有限公司 一种基于单目后视摄像头的车载全景环视系统及方法
CN105774657A (zh) * 2016-04-14 2016-07-20 广州市晶华精密光学股份有限公司 一种单摄像头全景倒车影像系统及方法
CN105763854A (zh) * 2016-04-18 2016-07-13 扬州航盛科技有限公司 一种基于单目摄像头的全景成像系统及其成像方法
CN105946719A (zh) * 2016-06-17 2016-09-21 安徽理工大学 一种汽车全景环视辅助安全系统
CN107507131A (zh) * 2017-08-08 2017-12-22 广州市安晓科技有限责任公司 基于单摄像头的360度全景倒车影像生成方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111372055A (zh) * 2020-03-25 2020-07-03 东风汽车集团有限公司 一种车底图像显示系统及方法
CN112770147A (zh) * 2021-01-21 2021-05-07 日照职业技术学院 基于云安全认证的无人驾驶透视盒子及其实现方法
CN112770147B (zh) * 2021-01-21 2022-08-12 日照职业技术学院 基于云安全认证的无人驾驶透视盒子及其实现方法
CN113484863A (zh) * 2021-07-07 2021-10-08 上海商汤临港智能科技有限公司 一种车辆及其车载传感器系统、以及行车数据采集方法

Similar Documents

Publication Publication Date Title
CN107021015B (zh) 用于图像处理的系统及方法
CN110126733A (zh) 一种基于单目摄像头的全景系统及其工作方法
CN101415110B (zh) 动态车辆监控系统
CN109624851B (zh) 基于增强现实的辅助驾驶方法、系统及可读存储介质
CN105678787A (zh) 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法
US20130169792A1 (en) Method for assisting in a parking operation for a motor vehicle, driver assistance system and a motor vehicle
CN107027329B (zh) 将行进工具的周围环境的局部图像拼接成一个图像
WO2017122654A1 (ja) 運転支援装置及び運転支援方法
US20090204326A1 (en) Method and System for Supporting the Driver of a Motor Vehicle in Recognizing the Surroundings of the Motor Vehicle
CN107627959A (zh) 机动车的全景视频监测方法及系统
JP7523196B2 (ja) 周辺画像表示装置
CN207128743U (zh) 一种用于车辆的扩展全景摄像头系统
WO2018150642A1 (ja) 周辺監視装置
CN104477097A (zh) 一种新型电子后视系统及控制逻辑
JP2019028920A (ja) 表示制御装置
CN105472317A (zh) 周边监视装置及周边监视系统
CN106891811A (zh) 一种汽车显示系统
CN113589820A (zh) 远程驾驶的辅助处理方法、装置及系统
CN117382542A (zh) 一种商用车电子后视镜视野随动方法
CN105774657B (zh) 一种单摄像头全景倒车影像系统
CN204367998U (zh) 一种新型电子后视系统
WO2019003602A1 (ja) 衝突推定装置および衝突推定方法
KR102625203B1 (ko) 차량용 주행 보조 장치 및 차량용 주행 보조 장치의 제어방법
CN110733422A (zh) 一种外后视镜动态轨迹预测方法及系统
CN216184804U (zh) 一种辅助驾驶系统及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 241003 no.226, South Huajin Road, high tech Industrial Development Zone, Wuhu City, Anhui Province

Applicant after: Chery New Energy Automobile Co.,Ltd.

Address before: 241003 Huajing South Road, Yijiang District, Wuhu, Anhui 226

Applicant before: CHERY NEW ENERGY AUTOMOBILE TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20190816

RJ01 Rejection of invention patent application after publication