CN105946719A - 一种汽车全景环视辅助安全系统 - Google Patents

一种汽车全景环视辅助安全系统 Download PDF

Info

Publication number
CN105946719A
CN105946719A CN201610451179.1A CN201610451179A CN105946719A CN 105946719 A CN105946719 A CN 105946719A CN 201610451179 A CN201610451179 A CN 201610451179A CN 105946719 A CN105946719 A CN 105946719A
Authority
CN
China
Prior art keywords
signal
panoramic
image
automobile
panorama
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610451179.1A
Other languages
English (en)
Inventor
徐孝萍
任玉东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Science and Technology
Original Assignee
Anhui University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Science and Technology filed Critical Anhui University of Science and Technology
Priority to CN201610451179.1A priority Critical patent/CN105946719A/zh
Publication of CN105946719A publication Critical patent/CN105946719A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种汽车全景环视辅助安全系统。所述辅助安全系统以DRA628处理器为核心，通过安装在汽车车身前后左右4路超广视角的鱼眼摄像头采集汽车车身四周的影像，然后进行预处理、畸变校正、白平衡、图像拼接、图像融合等处理，形成一幅车辆360度全景的俯视图，然后输出到车载显示设备上。本发明可以实时显示360度无缝拼接的全景俯视效果画面，同时可以根据车辆运行情况自动切换到单一画面，还能够实时存储汽车前后左右采集的视频信息，系统具有启动快速、无缝拼接效果好、可录像回放、扩展性强等特点。

Description

一种汽车全景环视辅助安全系统
技术领域
本发明涉及汽车电子技术和图像处理技术，具体涉及一种汽车全景环视辅助安全系统。
背景技术
随着图像和计算机视觉技术的快速发展，越来越多的技术被应用到汽车电子领域，传统的基于图像的倒车影像系统只在车尾安装摄像头，只能覆盖车尾周围有限的区域，而车辆周围和车头的盲区无疑增加了安全驾驶的隐患，在狭隘拥堵的市区和停车场容易出现碰撞和刮蹭事件。为扩大驾驶员视野，就必须能感知360°全方位的环境，这就需要多个视觉传感器的相互协同配合作用，然后通过视频合成处理，形成全车周围的一整套的视频图像，就是有这类需求，全景视觉泊车辅助系统应运而生。该系统可以实时显示360度无缝拼接的全景俯视效果画面，同时可以根据车辆运行情况自动切换到单一画面，还能够实时存储汽车前后左右采集的视频信息。
发明内容
本发明的目的就在于为了解决上述问题而提供一种汽车全景环视辅助安全系统。
本发明通过以下技术方案来实现上述目的：本发明提供了一种汽车全景环视辅助安全系统。该辅助安全系统采用“核心板+控制板”的方式，方便后期实现功能的扩展，核心板主要用于实现图像的采集处理，它采用汽车应用处理器，通过4路标清的模拟鱼眼摄像头采集汽车四周的图像信息，然后对图像进行预处理、校正、白平衡、拼接融合、显示，最后进行标定实现图像的无缝拼接；控制板主要用于实现控制、CAN通信、振动信号和转向倒车信号的采集等。
本发明的进一步改进包括：
该全景环视辅助安全系统包括2个部分：核心板和控制板，其中核心板主要包括汽车应用处理器、4路CVBS输入、视频编解码器、1路CVBS输出、MicroSD、SPI Flash电路、DDR3电路以及电源等；控制板主要包括MCU控制器、CAN接口电路、振动传感器、信号检测电路、红外遥控以及电源等；
所述汽车应用处理器采用TI公司车载级集合了Cortex-A8和C674x DSP协处理器的多核异构Jacinto5ECO处理器—DRA628，它拥有支持多路数字视频交织的输入接口、内置CVBS输出编码器，是一款性价比高、可靠性好、处理速度快、专用于高级驾驶员辅助系统(ADAS)的应用处理器，主要用于实现图像处理、畸变校正、拼接处理等；
所述4路CVBS输入选用广州一谷电子的NTSC制式、728(H)X560(V)像素、水平视角192°垂直角度142°的超广视角的模拟鱼眼摄像头作为CVBS信号的输入，用于采集汽车前后左右的模拟图像；
所述视频解码器选用intersil公司的4通道视频解码和编码芯片TW2866，主要用于实现对4路输入的模拟图像信号进行编码，输出数字信号以便于DRA628处理器处理图像；
所述所述1路CVBS输出主要用于输出拼接处理完成的CVBS信号，可以直接连接到汽车液晶显示器CVBS接口上，显示拼接后模拟图像；
所述Micro SD主要用于存储全景录像数据(最大支持32G)，同时也可以实现程序升级和标定等功能；
所述SPI Flash电路选择存储容量为256Mbit的S25FL256S芯片，该芯片与处理器之间采用SPI方式进行通信，主要用于存储程序代码，作为处理器可选的启动方式之一；
所述DDR3电路为处理器的内存，选择1.5V、2Gb的MT41K128M16JT-15E芯片作为DDR3SDRAM,主要用于缓存系统启动和图像处理过程中的临时数据，该部分在布线时需要进行等长处理；
所述MCU控制器选择意法半导体公司的自带1路CAN、低功耗、高性价比的8位MCU芯片STM8S208C8T6，主要用于实现CAN通信、UART通信、简单控制、振动信号以及信号检测等功能；
CAN接口电路选用NXP公司的TJA1042T/3收发芯片，主要用于实现与汽车ECU进行通信，获取车速、转向等信息；
所述振动传感器选择ADXL345芯片，主要用于测量运动或者冲击导致的动态加速度，实现检测到振动信号，就唤醒系统进行录像，记录恶意碰瓷、损坏车辆以及车祸现场实际情况作为证据；
所述信号检测电路主要用于检测左右转向灯信号、倒车信号，以便自动切换到对应的单视图模式；
所述电源模块包括输入电源滤波和稳压变压，主要用于给核心板、控制板以及摄像头供电，输入电压范围9-36V DC。
本发明的有益效果在于：
本发明针对传统的倒车影像系统存在的缺陷和不足，在此基础上提出了一种利用图像处理技术汽车全景环视辅助安全系统的设计方案。本发明以DRA628处理器为核心，通过4路超广视角的鱼眼摄像头采集汽车车身四周的图像，然后进行预处理、畸变校正、白平衡、图像拼接、图像融合等处理，然后输出1路CVBS信号到汽车显示器上，系统可单独显示每一幅图像，也可显示无缝拼接的图像，同时可以根据检测到左转、右转或倒车信号，自动切换画面，系统具有启动快速、无缝拼接效果好、可录像回放、扩展性强等特点。
附图说明
图1是本发明结构示意图。
具体实施方式
下面结合附图对本发明作进一步详细的说明：
如图1所示。本发明主要由汽车应用处理器1、MCU 2、4路CVBS输入3、视频编解码器4、1路CVBS输出5、Micro SD 6、SPI Flash电路7、DDR3电路8、CAN接口电路9、振动传感器10、信号检测电路11、红外遥控以及电源模块13等13个部分组成。
汽车应用处理器1：主要作用是对采集转换后到的数字图像进行滤波预处理、畸变校正、白平衡、图像拼接、图像融合等处理，然后将拼接完成的CVBS信号输出到液晶显示器；同时当MCU采集到左右转向灯、倒车信号或者检测到红外遥控信号时，可通过串口与汽车应用处理器进行通信，然后切换到对应的显示画面。
MCU 2：主要作用是检测左右转向灯信号、倒车信号、振动信号以及红外遥控，然后与汽车应用处理器进行通信，同时可利用CAN总线与车身ECU进行实现通信。
4路CVBS输入3：主要作用是通过超广视角的鱼眼摄像头采集车身四周的模拟图像，然后将CVBS信号传输给TW2866进行编码转换为数字图像信号。
视频编解码器4：主要作用是将4路鱼眼摄像头采集的模拟图像转换为数字图像，然后通过8位并行口送给汽车应用处理器，由处理器对图像进行处理。
1路CVBS输出5：将处理器无缝拼接完成的CVBS信号输出到液晶显示器进行图像显示。
Micro SD 6：主要作用有三个，存储录像数据、程序升级时的启动盘、图像标定。
SPI Flash电路7：主要用于存储程序代码，作为处理器可选的启动方式之一。
DDR3电路8：主要作用是缓存系统启动和图像处理过程中的临时数据。
CAN接口电路9：主要作用是实现与汽车ECU进行通信，获取车速、转向等信息；
振动传感器10：主要作用是检测车身的振动信号，一旦检测到振动信号立即唤醒系统进行录像功能。
信号检测电路11：主要作用是检测左右转向灯信号、倒车信号，以便自动切换到对应的单视图模式。
红外遥控12：主要作用是发送指令给MCU 2,然后通过串口将指令传送给处理器，实现画面切换、菜单切换以及标定触发等对应的命令。
电源模块13：主要作用是为各个模块提供稳定合适的电压。
本发明的工作原理：利用4路CVBS输入3采集车辆四周的图像信息，然后经过视频编解码器4进行编码处理，将模拟图像转换为数字图像传送给汽车应用处理器1进行图像校正、白平衡、拼接等处理，最后通过1路CVBS输出5将拼接后的图像输出到显示器进行显示。当MCU 2检测到左右转向信号、倒车信号或者红外遥控信号时，通过串口与处理器进行通信，实现自动切换画面。
以上实施例并非仅限于本发明的保护范围，所有基于本发明的基本思想而进行的修改或变动都属于本发明的保护范围。

Claims (7)

1.一种汽车全景环视辅助安全系统，其特征在于，包括汽车应用处理器、MCU控制器、4路CVBS输入、视频编解码器、Micro SD、CAN接口电路、振动传感器、信号检测电路、红外遥控等部分组成。所述4路CVBS输入连接车身前后左右的4个超广视角的鱼眼摄像头，所述视频编解码器将采集的4路CVBS信号转化为数字信号，并通过8bit并口与汽车应用处理器的输入IO端口连接，所述Micro SD与汽车应用处理器之间通过4位的并行口进行通信，所述MCU控制器与汽车应用处理器之间通过串口UART进行通信，所述CAN接口电路连接MCU控制器的CANH和CANL端口，所述振动传感器通过IIC连接到MCU的IO口，所述信号检测电路连接到MCU的IO口，所述红外遥控直接到MCU的IO口。
2.根据权利要求1所述的一种汽车全景环视辅助安全系统，其特征在于，所述汽车应用处理器采用TI的Jacinto5ECO处理器—DRA628,用于对图像进行滤波预处理、畸变校正、白平衡、图像拼接、图像融合等处理，形成一幅车辆360度全景的俯视图,然后将拼接完成的CVBS信号输出到显示器；同时当MCU采集到左右转向灯、倒车信号或者检测到红外遥控信号时，可通过串口与DRA628处理器进行通信，然后切换到对应的显示画面。
3.根据权利要求1所述的一种汽车全景环视辅助安全系统，其特征在于，所述4路CVBS输入采用超广视角的模拟鱼眼摄像头，用于采集车身四周的影像。
4.根据权利要求1所述的一种汽车全景环视辅助安全系统，其特征在于，所述Micro SD主要用于存储录像数据，实现程序升级和标定。
5.根据权利要求1所述的一种汽车全景环视辅助安全系统，其特征在于，所述信号检测用于检测左转向灯信号、右转向灯信号、倒车信号，一旦检测到任意信号，则切换到对应的单一画面。
6.根据权利要求1所述的一种汽车全景环视辅助安全系统，其特征在于，所述红外遥控用于发送遥控指令，实现画面切换、菜单切换以及标定触发。
7.根据权利要求1所述的一种汽车全景环视辅助安全系统，其特征在于，所述振动传感器用于检测车身的振动信号，一旦检测到振动信号立即唤醒系统进行录像功能。
CN201610451179.1A 2016-06-17 2016-06-17 一种汽车全景环视辅助安全系统 Pending CN105946719A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610451179.1A CN105946719A (zh) 2016-06-17 2016-06-17 一种汽车全景环视辅助安全系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610451179.1A CN105946719A (zh) 2016-06-17 2016-06-17 一种汽车全景环视辅助安全系统

Publications (1)

Publication Number Publication Date
CN105946719A true CN105946719A (zh) 2016-09-21

Family

ID=56906941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610451179.1A Pending CN105946719A (zh) 2016-06-17 2016-06-17 一种汽车全景环视辅助安全系统

Country Status (1)

Country Link
CN (1) CN105946719A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106681218A (zh) * 2017-01-11 2017-05-17 张军 一种基于多核异构处理器的智能行车预警系统架构
CN106780842A (zh) * 2017-01-11 2017-05-31 张军 一种基于多核异构处理器的智能行车预警系统原型
CN106803878A (zh) * 2016-12-30 2017-06-06 智车优行科技（北京）有限公司 车载全景环视系统、用于实现全景环视的方法及装置
CN106799991A (zh) * 2017-02-08 2017-06-06 张军 一种基于多核异构处理器的智能行车预警系统接口
CN106809144A (zh) * 2017-02-08 2017-06-09 张军 一种基于多核处理器的智能行车预警系统接口
CN107529045A (zh) * 2017-10-19 2017-12-29 南京中高知识产权股份有限公司 一种汽车360度全景影像系统及其工作方法
CN107547816A (zh) * 2017-08-11 2018-01-05 深圳市麦道微电子技术有限公司 一种将车体实时信息与实时图像混合的处理系统
GB2559758A (en) * 2017-02-16 2018-08-22 Jaguar Land Rover Ltd Apparatus and method for displaying information
CN109080537A (zh) * 2018-09-21 2018-12-25 上海豫兴电子科技有限公司 一种车载电子后视镜系统
CN109525810A (zh) * 2018-11-23 2019-03-26 广州路派电子科技有限公司 一种高清动态3d交互式全景环视系统
CN109552173A (zh) * 2017-09-26 2019-04-02 纵目科技（上海）股份有限公司 全视野摄像头主机控制系统
CN109552315A (zh) * 2017-09-26 2019-04-02 纵目科技（上海）股份有限公司 全视野摄像头主机控制系统
CN109703505A (zh) * 2019-02-28 2019-05-03 浙江奥柯奈伊数字技术有限公司 一种汽车全方位可视系统
CN110126733A (zh) * 2019-05-07 2019-08-16 奇瑞新能源汽车技术有限公司 一种基于单目摄像头的全景系统及其工作方法
CN111836006A (zh) * 2019-04-23 2020-10-27 东莞潜星电子科技有限公司 一种车载流媒体后视视觉显示方法
CN111907410A (zh) * 2019-05-10 2020-11-10 广州汽车集团股份有限公司 一种利用全景泊车功能实现全景行车记录的系统及方法
CN112721805A (zh) * 2021-02-01 2021-04-30 深圳市海沃德科技有限公司 用于实现全景环视的系统和方法
CN113923447A (zh) * 2021-10-29 2022-01-11 中汽院(重庆)汽车检测有限公司 一种用于车辆全景环视测试的延迟测试方法
CN114998869A (zh) * 2022-07-26 2022-09-02 润芯微科技(江苏)有限公司 单图像芯片分场景复用方法
CN117799537A (zh) * 2024-01-02 2024-04-02 湖南三一华源机械有限公司 环视系统视角切换控制方法、环视系统和车辆

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202138297U (zh) * 2011-06-20 2012-02-08 北京工业大学 全景视觉泊车辅助系统
CN202345568U (zh) * 2011-12-01 2012-07-25 张娟 360度全景安全行车影像监控系统
CN203496770U (zh) * 2013-09-11 2014-03-26 南京三宝科技股份有限公司 狭小区域安全行车影像装置
CN103786685A (zh) * 2012-10-26 2014-05-14 深圳市美赛达科技股份有限公司 一种驻车防盗方法和系统
CN203996036U (zh) * 2014-02-21 2014-12-10 北京汽车股份有限公司 一种车辆全景显示控制系统
JP2016063390A (ja) * 2014-09-18 2016-04-25 富士通テン株式会社 画像処理装置、及び画像表示システム
CN205768985U (zh) * 2016-06-17 2016-12-07 安徽理工大学 一种汽车全景环视辅助安全系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202138297U (zh) * 2011-06-20 2012-02-08 北京工业大学 全景视觉泊车辅助系统
CN202345568U (zh) * 2011-12-01 2012-07-25 张娟 360度全景安全行车影像监控系统
CN103786685A (zh) * 2012-10-26 2014-05-14 深圳市美赛达科技股份有限公司 一种驻车防盗方法和系统
CN203496770U (zh) * 2013-09-11 2014-03-26 南京三宝科技股份有限公司 狭小区域安全行车影像装置
CN203996036U (zh) * 2014-02-21 2014-12-10 北京汽车股份有限公司 一种车辆全景显示控制系统
JP2016063390A (ja) * 2014-09-18 2016-04-25 富士通テン株式会社 画像処理装置、及び画像表示システム
CN205768985U (zh) * 2016-06-17 2016-12-07 安徽理工大学 一种汽车全景环视辅助安全系统

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803878A (zh) * 2016-12-30 2017-06-06 智车优行科技（北京）有限公司 车载全景环视系统、用于实现全景环视的方法及装置
CN106681218A (zh) * 2017-01-11 2017-05-17 张军 一种基于多核异构处理器的智能行车预警系统架构
CN106780842A (zh) * 2017-01-11 2017-05-31 张军 一种基于多核异构处理器的智能行车预警系统原型
CN106799991A (zh) * 2017-02-08 2017-06-06 张军 一种基于多核异构处理器的智能行车预警系统接口
CN106809144A (zh) * 2017-02-08 2017-06-09 张军 一种基于多核处理器的智能行车预警系统接口
US11420559B2 (en) 2017-02-16 2022-08-23 Jaguar Land Rover Limited Apparatus and method for generating a composite image from images showing adjacent or overlapping regions external to a vehicle
GB2559758B (en) * 2017-02-16 2021-10-27 Jaguar Land Rover Ltd Apparatus and method for displaying information
GB2559758A (en) * 2017-02-16 2018-08-22 Jaguar Land Rover Ltd Apparatus and method for displaying information
CN107547816A (zh) * 2017-08-11 2018-01-05 深圳市麦道微电子技术有限公司 一种将车体实时信息与实时图像混合的处理系统
CN109552173A (zh) * 2017-09-26 2019-04-02 纵目科技（上海）股份有限公司 全视野摄像头主机控制系统
CN109552315A (zh) * 2017-09-26 2019-04-02 纵目科技（上海）股份有限公司 全视野摄像头主机控制系统
CN109552315B (zh) * 2017-09-26 2022-06-24 纵目科技（上海）股份有限公司 全视野摄像头主机控制系统
CN107529045A (zh) * 2017-10-19 2017-12-29 南京中高知识产权股份有限公司 一种汽车360度全景影像系统及其工作方法
CN109080537A (zh) * 2018-09-21 2018-12-25 上海豫兴电子科技有限公司 一种车载电子后视镜系统
CN109525810A (zh) * 2018-11-23 2019-03-26 广州路派电子科技有限公司 一种高清动态3d交互式全景环视系统
CN109703505A (zh) * 2019-02-28 2019-05-03 浙江奥柯奈伊数字技术有限公司 一种汽车全方位可视系统
CN111836006A (zh) * 2019-04-23 2020-10-27 东莞潜星电子科技有限公司 一种车载流媒体后视视觉显示方法
CN110126733A (zh) * 2019-05-07 2019-08-16 奇瑞新能源汽车技术有限公司 一种基于单目摄像头的全景系统及其工作方法
CN111907410A (zh) * 2019-05-10 2020-11-10 广州汽车集团股份有限公司 一种利用全景泊车功能实现全景行车记录的系统及方法
CN112721805A (zh) * 2021-02-01 2021-04-30 深圳市海沃德科技有限公司 用于实现全景环视的系统和方法
CN113923447A (zh) * 2021-10-29 2022-01-11 中汽院(重庆)汽车检测有限公司 一种用于车辆全景环视测试的延迟测试方法
CN114998869A (zh) * 2022-07-26 2022-09-02 润芯微科技(江苏)有限公司 单图像芯片分场景复用方法
CN114998869B (zh) * 2022-07-26 2022-10-21 润芯微科技(江苏)有限公司 单图像芯片分场景复用方法
CN117799537A (zh) * 2024-01-02 2024-04-02 湖南三一华源机械有限公司 环视系统视角切换控制方法、环视系统和车辆

Similar Documents

Publication Publication Date Title
CN105946719A (zh) 一种汽车全景环视辅助安全系统
CN205768985U (zh) 一种汽车全景环视辅助安全系统
US8553081B2 (en) Apparatus and method for displaying an image of vehicle surroundings
CN101673473A (zh) 基于dsp的全景视觉泊车辅助装置及生成全景视觉图像的方法
CN104321224A (zh) 具有摄像机监控系统的机动车
CN201699882U (zh) 一种汽车全景视频行车辅助记录仪
CN104175959A (zh) 一种360度全景泊车辅助系统
CN102006460A (zh) 一种基于自动控制与提示的辅助驾驶方法及系统
JP5064201B2 (ja) 画像表示システム及びカメラ出力制御方法
CN105365674A (zh) 一种多功能汽车仪表盘及其实现方法
CN202174989U (zh) 汽车360度全景泊车摄像系统
CN206287929U (zh) 一种3d全景泊车装置及系统
CN103448628A (zh) 一种用于接入车联网的工程车安全装置及系统
CN105270249A (zh) 一种利用可变形显示器显示摄像头图像的汽车视镜系统
CN105774657B (zh) 一种单摄像头全景倒车影像系统
CN206781630U (zh) 360°无缝拼接全景泊车系统
CN201111169Y (zh) 汽车黑匣子
CN203435083U (zh) 基于车身传感器360°环视行车的辅助系统
CN202528913U (zh) 交通工具倒车影像系统及装有该系统的车辆交通工具
CN206141431U (zh) 一种基于Kinect的汽车泊车辅助安全系统
CN201758429U (zh) 基于数字信号处理器的车用后视全景系统
CN107380065A (zh) 一种全景泊车辅助系统
CN202863264U (zh) 一种多功能车载摄像头装置
CN202615472U (zh) 车顶型行车记录器
CN205523963U (zh) 一种单摄像头全景倒车影像系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160921

WD01 Invention patent application deemed withdrawn after publication