CN101900551A - 一种车载全景安全监测系统 - Google Patents

一种车载全景安全监测系统 Download PDF

Info

Publication number
CN101900551A
CN101900551A CN2009100521120A CN200910052112A CN101900551A CN 101900551 A CN101900551 A CN 101900551A CN 2009100521120 A CN2009100521120 A CN 2009100521120A CN 200910052112 A CN200910052112 A CN 200910052112A CN 101900551 A CN101900551 A CN 101900551A
Authority
CN
China
Prior art keywords
module
chip
camera
vehicle
dsp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009100521120A
Other languages
English (en)
Inventor
付宇卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xinna Electronic Technology Co Ltd
Original Assignee
Shanghai Xinna Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xinna Electronic Technology Co Ltd filed Critical Shanghai Xinna Electronic Technology Co Ltd
Priority to CN2009100521120A priority Critical patent/CN101900551A/zh
Publication of CN101900551A publication Critical patent/CN101900551A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明涉及一种车载全景安全监测系统,包括多个在不同方向布置的摄像头模组、与摄像头模组对应的多个DSP芯片、FPGA芯片以及LCD显示器。与现有技术相比,本发明能够真正做到利用影像技术完成面向高速运动车辆周边环境和物体的速度与距离检测,同时提供完整的360度柱状影像画面,具备实时性、高清晰度和智能性等高性能特点。

Description

一种车载全景安全监测系统
技术领域
本发明涉及监测系统,特别是涉及一种车载全景安全监测系统。
背景技术
全景检测技术是目前监控技术中的重要发展方向之一,在常见的安检系统中可通过运用多个摄像头或快球系统对周边环境进行360度柱状或球状图像检测,但传统的全景检测技术主要由于在检测速度的实时性上还不够理想,因此主要针对低速运动物体环境,如人流等,还未实现针对高速运动物体,如汽车之类的运动物体环境监测。
如前所述,目前国内外主要车载安全监测系统都基于红外或雷达电磁波反射技术,由于稳定性限制,一般也仅适用于车辆的低速运动状态。而世界上已有的基于全景影像检测的安全监测系统商用化方案,目前主要出现在英菲尼迪FX50等高档车型上,但其仅限于影像显示,没有速度、距离的测算功能,只能作为驾驶辅助功能,缺乏足够的智能性。因此,目前的影像测速、测距技术并没有在车载安全监测上得到切实的商业应用。
发明内容
本发明所要解决的技术问题就是为了克服上述现有技术存在的缺陷而提供一种车载全景安全监测系统。
本发明的目的可以通过以下技术方案来实现:一种车载全景安全监测系统,其特征在于,包括多个在不同方向布置的摄像头模组、与摄像头模组对应的多个DSP芯片、FPGA芯片以及LCD显示器,所述的摄像头模组包括至少三个不同焦距的摄像头,该至少三个摄像头构成摄像头阵列,所述的多个摄像头模组分别通过一AD芯片与一个DSP芯片连接,所述的FPGA芯片包括同屏显示OSD模块、图像混合模块以及视频输出模块,所述的图像混合模块与视频输出模块连接,所述的多个DSP芯片通过FPGA芯片的引脚与同屏显示OSD模块连接,所述的多个DSP芯片还通过FPGA芯片的引脚与图像混合模块连接,所述的LCD显示器通过FPGA芯片的引脚与同屏显示OSD模块、视频输出模块连接。
所述的DSP芯片采用Blackfin处理器。
所述的多个摄像头模组均通过同轴电缆与AD芯片连接。
与现有技术相比,本发明是一种安全监控技术与汽车安全辅助技术的有机结合,能够真正做到利用影像技术完成面向高速运动车辆周边环境和物体的速度与距离检测,同时提供完整的360度柱状影像画面,具备实时性、高清晰度和智能性等高性能特点,在国内外汽车电子同类产品中处于领先地位。
附图说明
图1为本发明的结构示意图;
图2为本发明的摄像头模组示意图。
具体实施方式
下面结合附图对本发明做进一步说明。
如图1,一种车载全景安全监测系统,包括多个在不同方向布置的摄像头模组1、与摄像头模组对应的多个DSP芯片2、FPGA芯片3以及LCD显示器4,所述的摄像头模组1包括至少三个不同焦距的摄像头,该至少三个摄像头构成摄像头阵列,所述的多个摄像头模组1分别通过一AD芯片5与一个DSP芯片2连接,所述的FPGA芯片2包括同屏显示OSD模块20、图像混合模块21以及视频输出模块22,所述的图像混合模块21与视频输出模块22连接,所述的多个DSP芯片2通过FPGA芯片3的引脚与同屏显示OSD模块20连接,所述的多个DSP芯片2还通过FPGA芯片3的引脚与图像混合模块21连接,所述的LCD显示器4通过FPGA芯片3的引脚与同屏显示OSD模块20、视频输出模块21连接。
所述的DSP芯片2采用Blackfin处理器;所述的多个摄像头模组1均通过同轴电缆与AD芯片5连接。
车载全景监测系统对于视频采集以及多媒体处理的实时性要求苛刻,直接影响到行车安全。因此设计时应采用多个高速处理器并行处理,在确保视屏拼接以及测距测速准确性的前提下,尽可能的提高系统监测频率。
摄像头模组把采集到的视频信号转化为时分复用的模拟信号,通过同轴电缆线传输到处理主板上,避免了并行数字信号在长距离传输可能产生的串扰影响。AD芯片示意的是视频解码芯片,将模拟信号转换为标准视频格式的数字信号(比如ITU656),方便DSP和FPGA做处理。
每个DSP模块对单幅图像进行测距测速等计算,并且把处理好的数据送到FPGA上的OSD模块(On Screen Display),用于在LCD上显示车速、车距以及报警信号。同时DSP模块把图像信号送到FPGA端口上,通过图像混合模块实现全景图像的拼接,最后通过视频输出模块将图像信号和监测数据同时显示在显示设备上。
做为整个系统的信息输入部分,摄像头模组应该具有视角广、成像畸变小的特点。图像质量不宜太高,过大的数据量会严重影响处理的实时性。采用640*480VGA的图像格式比较符合系统设计要求。
考虑到测距算法中要在相当短的时间内调整镜头焦距,对摄像头镜头焦距的可调节性具有很高要求,无论是从调节精度还是速度上,否则无法准确的测量车距。
此外,针对散焦测距法应用方案,需要在主要进行测距、测速的方向位置架设不同焦距摄像头构成的摄像头阵列,从而得到实时的不同焦距运动物体静态图像,通过DSP分时处理的方法完成散焦测距处理。
如图2所示,三个不同焦距的摄像头A、B、C分别有三个不同的焦平面一、焦平面二、焦平面三,对于同一景物,成像的清晰度不同,也就是散焦程度不同,这样就可以同时得到三张不同散焦程度的图像,在图像处理时,就可以快速计算出物体距离,而不用等到摄像头焦距的调节。
为了在极短的时间内完成测距和测速的算法,对于系统中DSP处理器的处理速度有着极高的要求,尤其是在车辆高速接近的物体时的测距和测速。
一般DSP的特点是用尽可能少的时钟周期执行尽可能多的算术计算(如MAC操作),而为了达到这个目的,它们经常采用VLIW(超长指令字)指令,提高计算效率,牺牲代码密度。而对于一般的MCU处理器来说主要执行的控制功能包含很多条件操作,在程序流程中频繁跳转。这些程序常常使用实时操作系统(RTOS)。因为可能需要大量的控制功能,所以代码密度至关重要,使可变长指令成为一个突出的特点。而Blackfin作为一款多媒体DSP,包含了64bit操作码以支持DSP内部环路的每时钟周期多次运算的功能。但是因为它经过了优化,以便使16bit操作码成为使用最频繁的指令。因此,编译后blackfin代码密度可以和那些最优的MCU媲美。
Blackfin处理器存储器架构在器件实现中提供了L1和L2存储模块,L1存储器直接与处理器内核相连,以全系统时钟频率运行,并为实时算法程序提供了最大的系统性能。L2存储器是一种较大的大容量存储模块,其性能略有下降,但运行速度仍然高于外存储器。
Blackfin具有多功能、高速PPI(Parallel Peripheral Interface,并行外设接口)接口。接口包括1个专用的时钟引脚,3个帧同步引脚和16个数据引脚,最高工作频率可以达到75MHz。PPI可以直接连接到多种视频编码器和解码器而不需要通过外部逻辑。对于符合ITU-R656的视频编解码器,PPI接口可以在没有CPU介入的情况下解码序列,收集数据流。
如果PPI连接到没有嵌入式控制方案的图像传感器上时,提供3帧同步以管理输入或者输出数据。水平同步,垂直同步以及场同步(HSYNC、VSYNC和FIELD)
DMA是数字信号处理器(DSP)中用于快速数据交换的重要技术,它具有独立于CPU的后台批量数据传输能力,能够满足实时图像处理中的高速数据传输要求。由于图像处理的原始数据量很大,同时图像处理中也会产生等量的中间数据,对于片内存储资源有限的高速DSP芯片来说,一般需要借用外部存储空间。为了提高系统的实时处理能力,可以将数据在不同存储空间的转移任务交给DMA来完成,从而使CPU只专注于数据的计算。同时DMA对数据的重排功能可以优化图像数据在内存中的存储,这不仅可以提高内部存储空间的利用效率,也可以提高数据的传输效率。虽然图像数据的传输也可由软件实现,但会消耗大量的CPU时钟周期,从而使DSP的高速性能难以发挥。而由DMA来进行同样的工作却不占用CPU的时钟周期。Blackfin具有多个独立的DMA控制器,能够支持多种接口,可以完成有DMA功能的外设与连接在外部存储器接口上的外设进行之间进行数据传输,Blackfin的DMA控制器支持存储器与存储器之间(MDMA),存储器与串行外设接口(SPI)之间,存储器与串行接口(SPORT)之间,存储器与异步串行接口(UART)之间,存储器和并行外设接口(PPI)之间进行数据的交换。同时Blackfin具有smartDMA功能,进行DMA传输时列的步长可以小于行的步长,支持交叉存取的数据流,而这些在视频应用场合非常的有用。同时,除了支持传统的一维DMA之外,Blackfin的DMA控制器还支持二维的DMA,这非常适合视频数据块的搬移。
目前市场上的通用DSP处理器性能越来越高,TI公司和ADI公司的DSP处理器核心运算速度可以达到1GHz,非常适合处理海量图像数据。
与通用处理器相比,应用FPGA做数字信号处理的优势,在于FPGA能够大量例化相同的实时加速处理单元,对海量信号进行并行处理。

Claims (3)

1.一种车载全景安全监测系统,其特征在于,包括多个在不同方向布置的摄像头模组、与摄像头模组对应的多个DSP芯片、FPGA芯片以及LCD显示器,所述的摄像头模组包括至少三个不同焦距的摄像头,该至少三个摄像头构成摄像头阵列,所述的多个摄像头模组分别通过一AD芯片与一个DSP芯片连接,所述的FPGA芯片包括同屏显示OSD模块、图像混合模块以及视频输出模块,所述的图像混合模块与视频输出模块连接,所述的多个DSP芯片通过FPGA芯片的引脚与同屏显示OSD模块连接,所述的多个DSP芯片还通过FPGA芯片的引脚与图像混合模块连接,所述的LCD显示器通过FPGA芯片的引脚与同屏显示OSD模块、视频输出模块连接。
2.根据权利要求1所述的一种车载全景安全监测系统,其特征在于,所述的DSP芯片采用Blackfin处理器。
3.根据权利要求1或2所述的一种车载全景安全监测系统,其特征在于,所述的多个摄像头模组均通过同轴电缆与AD芯片连接。
CN2009100521120A 2009-05-27 2009-05-27 一种车载全景安全监测系统 Pending CN101900551A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009100521120A CN101900551A (zh) 2009-05-27 2009-05-27 一种车载全景安全监测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009100521120A CN101900551A (zh) 2009-05-27 2009-05-27 一种车载全景安全监测系统

Publications (1)

Publication Number Publication Date
CN101900551A true CN101900551A (zh) 2010-12-01

Family

ID=43226302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100521120A Pending CN101900551A (zh) 2009-05-27 2009-05-27 一种车载全景安全监测系统

Country Status (1)

Country Link
CN (1) CN101900551A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102724477A (zh) * 2012-05-25 2012-10-10 黑龙江大学 基于fpga的监控视频实时拼接装置及拼接方法
CN103369192A (zh) * 2012-03-31 2013-10-23 深圳市振华微电子有限公司 多通道视频图像全硬件拼接方法及装置
CN103634527A (zh) * 2013-12-12 2014-03-12 南京华图信息技术有限公司 抗相机扰动的多相机实时景象拼接系统
CN103776440A (zh) * 2012-10-18 2014-05-07 泰为信息科技公司 具有允许环境鉴别的导航机制的导航系统及其操作方法
CN107277445A (zh) * 2017-06-29 2017-10-20 深圳市元征科技股份有限公司 一种车载设备
WO2020117285A1 (en) * 2018-12-03 2020-06-11 Didi Research America, Llc A multicamera system for autonamous driving vehicles

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103369192A (zh) * 2012-03-31 2013-10-23 深圳市振华微电子有限公司 多通道视频图像全硬件拼接方法及装置
CN102724477A (zh) * 2012-05-25 2012-10-10 黑龙江大学 基于fpga的监控视频实时拼接装置及拼接方法
CN103776440A (zh) * 2012-10-18 2014-05-07 泰为信息科技公司 具有允许环境鉴别的导航机制的导航系统及其操作方法
CN103776440B (zh) * 2012-10-18 2018-11-02 泰为信息科技公司 具有允许环境鉴别的导航机制的导航系统及其操作方法
CN103634527A (zh) * 2013-12-12 2014-03-12 南京华图信息技术有限公司 抗相机扰动的多相机实时景象拼接系统
CN103634527B (zh) * 2013-12-12 2019-03-12 南京华图信息技术有限公司 抗相机扰动的多相机实时景象拼接系统
CN107277445A (zh) * 2017-06-29 2017-10-20 深圳市元征科技股份有限公司 一种车载设备
WO2020117285A1 (en) * 2018-12-03 2020-06-11 Didi Research America, Llc A multicamera system for autonamous driving vehicles
CN113196007A (zh) * 2018-12-03 2021-07-30 北京航迹科技有限公司 一种应用于车辆的相机系统
US11173841B2 (en) 2018-12-03 2021-11-16 Beijing Voyager Technology Co., Ltd. Multicamera system for autonamous driving vehicles
CN113196007B (zh) * 2018-12-03 2022-07-22 北京航迹科技有限公司 一种应用于车辆的相机系统

Similar Documents

Publication Publication Date Title
CN107817216B (zh) 一种基于cpu+gpu+fpga架构的自动光学检测系统
CN101900551A (zh) 一种车载全景安全监测系统
CN108806243B (zh) 一种基于Zynq-7000的交通流量信息采集终端
US20230345135A1 (en) Method, apparatus, and device for processing images, and storage medium
CN104266605B (zh) 一种三维激光扫描成像仪的成像方法
CN107820075A (zh) 一种基于光流相机的vr设备延迟测试装置
CN109413392B (zh) 一种嵌入式多通道视频图像采集与并行处理的系统及方法
CN102141373B (zh) 光斑中心实时检测系统和检测方法
KR102243496B1 (ko) 액정표시장치모듈 자동 광학 검사에 적합한 가속 이미지 프로세싱 시스템
CN104967783B (zh) 面向微纳星的多路微图像采集系统
CN102148922A (zh) 一种电子设备、图像采集装置及图像采集控制方法
JP7312185B2 (ja) カメラモジュール及びその超解像度映像処理方法
CN102891956A (zh) 基于编码孔径透镜阵列的压缩成像系统的设计方法
CN110517209A (zh) 数据处理方法、装置、系统以及计算机可读存储介质
CN114765667A (zh) 用于多视图拼接的固定图案校准
CN201457257U (zh) 一种车载安全监测装置
CN101404732B (zh) 数字图像采集系统
CN105136030A (zh) 一种自动检测系统
CN201107857Y (zh) 多功能集成化的数字图像处理系统
CN110809113A (zh) 一种基于fpga的红外成像自动聚焦系统
CN102044053B (zh) 基于fpga的逆透视变换方法
CN203519000U (zh) 标志点正交分光成像位姿传感器
Chen et al. An FPGA implementation of a robot control system with an integrated 3D vision system
CN206803995U (zh) 基于嵌入式的摄像测距装置
CN100526969C (zh) 多功能集成化的数字图像处理系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20101201