CN103895573A - 汽车泊车辅助系统及方法 - Google Patents

汽车泊车辅助系统及方法 Download PDF

Info

Publication number
CN103895573A
CN103895573A CN201210577480.9A CN201210577480A CN103895573A CN 103895573 A CN103895573 A CN 103895573A CN 201210577480 A CN201210577480 A CN 201210577480A CN 103895573 A CN103895573 A CN 103895573A
Authority
CN
China
Prior art keywords
image
automobile
wide
fpga
fish
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201210577480.9A
Other languages
English (en)
Inventor
王康斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hongfujin Precision Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Original Assignee
Hongfujin Precision Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hongfujin Precision Industry Shenzhen Co Ltd, Hon Hai Precision Industry Co Ltd filed Critical Hongfujin Precision Industry Shenzhen Co Ltd
Priority to CN201210577480.9A priority Critical patent/CN103895573A/zh
Priority to TW102101016A priority patent/TW201433482A/zh
Priority to US13/971,747 priority patent/US20140184737A1/en
Publication of CN103895573A publication Critical patent/CN103895573A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Abstract

一种汽车泊车辅助系统，包括多个广角摄像头及一显示器，所述多个广角摄像头分别安装于一汽车的前侧、后侧及左右侧，每一广角摄像头拍摄的图像均为鱼眼图，所述汽车泊车辅助系统还包括一与所述多个广角摄像头相连的FPGA及一与所述FPGA相连的DSP，所述FPGA将所述多个广角摄像头拍摄的图像进行鱼眼矫正处理，所述DSP将鱼眼矫正处理后的图像合并拼接为一幅全景图像，该全景图像全方位的显示所述汽车四周的景象。本发明还揭示一种汽车泊车辅助方法。本发明汽车泊车辅助系统及方法可将车辆周围的多个摄像头拍摄的图像融合拼接为一幅全景图，方便用户查看车辆四周的交通状态。

Description

汽车泊车辅助系统及方法
技术领域
本发明涉及一种汽车泊车辅助系统及方法。
背景技术
目前，市售的泊车辅助产品一般是在汽车尾部设置单个的倒车后视摄像头，以便在倒车时看到汽车后方的状况，或通过几个摄像头分几个图形画面显示车辆周边的状况。但此种情况显示的几个画面是独立的，需要驾驶员从几个不同的画面提取信息判断车辆周边的安全状况，因此，对于泊车时车辆周边出现复杂状况时容易造成安全隐患。
发明内容
鉴于以上内容，有必要提供一种可将不同图像融合拼接在一起的汽车泊车辅助系统及方法。
一种汽车泊车辅助系统，包括多个广角摄像头及一显示器，所述多个广角摄像头分别安装于一汽车的前侧、后侧及左右侧，每一广角摄像头拍摄的图像均为鱼眼图，所述汽车泊车辅助系统还包括一与所述多个广角摄像头相连的FPGA及一与所述FPGA相连的DSP，所述FPGA将所述多个广角摄像头拍摄的图像进行鱼眼矫正处理，所述DSP将鱼眼矫正处理后的图像合并拼接为一幅全景图像，该全景图像全方位的显示所述汽车四周的景象。
一种汽车泊车辅助方法，包括以下步骤：将多个广角摄像头安装于一汽车的前侧、后侧及左右侧；所述多个广角摄像头从不同的方位拍取所述汽车四周的的图像，每一广角摄像头拍摄的图像均为鱼眼图；利用一FPGA将所述多个广角摄像头拍摄的图像进行鱼眼矫正处理；利用一DSP将鱼眼矫正后的图像合并拼接为一幅图像；所述DSP将拼接后的图像输出至一显示器；及所述显示器显示拼接后的图像以显示所述汽车四周的交通状态。
相较于现有技术，所述汽车泊车辅助系统及方法利用多个摄像头摄取车辆周边不同方位的图像，并对不同方位的图像进行拼接处理，方便用户查看车辆周围的状况，有助于提高行车安全度。
附图说明
图1是本发明汽车泊车辅助系统一较佳实施方式的组成框图。
图2是图1中汽车泊车辅助系统中摄像头的安装位置示意图。
图3是本发明汽车泊车辅助方法一较佳实施方式的流程图。
主要元件符号说明
第一广角摄像头 11
第二广角摄像头 12
第三广角摄像头 13
第四广角摄像头 14
第一ADC 21
第二ADC 22
第一filter 31
第二filter 32
FPGA 40
第一SRAM 51
第二SRAM 52
SDRAM 60
DSP 70
数模转换模组 80
显示器 90
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
请参阅图1及图2，在本发明一较佳实施方式中，一汽车泊车辅助系统包括一第一广角摄像头11、一第二广角摄像头12、一第三广角摄像头13、一第四广角摄像头14、一第一ADC（Analog to Digital Converter，模数转换器）21、第二ADC 22、一第一filter（滤波器）31、一第二filter 32、一FPGA（Field－Programmable Gate Array，现场可编程门阵列）40、一第一SRAM（静态存储器）51、一第二SRAM 52、一SDRAM（动态存储器）60、一DSP（Digital Signal Processor）70、一数模转换模组80及一显示器90。所述第一SRAM 51、一第二SRAM 52与所述FPGA 40相连，用于扩展所述FPGA 40的静态存储空间。所述SDRAM 60与所述FPGA 40及所述DSP 70相连，用于扩展所述FPGA 40及所述DSP 70的动态存储空间。
在一实施方式中，所述第一ADC 21、第二ADC 22均为TVP5150芯片；所述第一filter 31及第二filter 32均为MDIN221芯片；所述FPGA 40的型号为XC6SLX45；所述DSP 70的型号为TMS320DM643。
在一实施方式中，所述第一广角摄像头11、第二广角摄像头12、第三广角摄像头13、第四广角摄像头14可分别安装于一汽车100前侧、后侧及左右两侧的后视镜上（见图2），每一摄像头均为170度广角摄像头，从而可全方位的摄取所述汽车100四周的图像。
所述第一广角摄像头11及第二广角摄像头12与所述第一ADC 21相连，所述第一ADC 21分为两个区，分别用于接收及处理所述第一广角摄像头11及第二广角摄像头12输出的视频信号。所述第三广角摄像头13及第四广角摄像头14与所述第二ADC 22相连，所述第二ADC 22分为两个区，分别用于接收及处理所述第三广角摄像头13及第四广角摄像头14输出的视频信号。所述第一filter 31分两个区，分别从所述第一ADC 21的两个区接收来源于所述第一广角摄像头11及第二广角摄像头12输出的视频数据。所述第二filter 32分两个区，分别从所述第二ADC 22的两个区接收来源于所述第三广角摄像头13及第四广角摄像头14输出的视频数据。
所述第一广角摄像头11、第二广角摄像头12、第三广角摄像头13、第四广角摄像头14摄取的图像均为鱼眼图，每一幅鱼眼图以一帧模拟信号的形式发送至对应的模数转换芯片ADC，每一模数转换芯片ADC将其接收到的一帧模拟信号转换为一帧数字信号并输出至对应的滤波芯片Filter，每一滤波芯片Filter对其接收到的数字信号进行滤波处理并输出至所述FPGA 40，所述FPGA 40将接收到的每一帧数字信号存储至对应的SRAM，然后对2个SRAM中存储的4帧数字信号进行鱼眼矫正处理，将每幅鱼眼图对应的数字信号转换为平面图对应的数字信号，从而将鱼眼图转换为普通的平面图像。所述FPGA 40对所述4帧数字信号进行鱼眼矫正处理后，再将鱼眼矫正处理后的4帧图像输出至所述DSP 70，所述DSP 70对所述4帧数字信号进行合并处理，使所述4帧数字信号对应的4幅图融合拼接为一幅全景图。所述DSP 70将该全景图对应的一帧数字信号输出至所述数模转换模组80，所述数模转换模组80将接收到的数字信号转换为一帧模拟信号，并将该帧模拟信号输出至所述显示器90，所述显示器90显示该帧模拟信号对应的全景图，用户可通过该全景图查看车辆四周的状况。
请参阅图3，一种利用上述泊车辅助系统的泊车辅助方法包括以下步骤。
S01：所述第一广角摄像头11、第二广角摄像头12、第三广角摄像头13、第四广角摄像头14均在其被安装的位置摄取图像。
S02：所述第一广角摄像头11及第二广角摄像头12将其摄取的图像输出至所述第一ADC 21；所述第三广角摄像头13及第四广角摄像头14将其摄取的图像输出至所述第二ADC 22。
S03：所述第一ADC 21将从所述第一广角摄像头11及第二广角摄像头12接收的2幅图像对应的2帧模拟信号输出至所述第一filter 31；所述第二ADC 22将从所述第一广角摄像头11及第二广角摄像头12接收的2幅图像对应的2帧模拟信号输出至所述第二filter 32。
S04：所述第一filter 31及第二filter 32对所述4帧数字信号进行滤波处理。
S05：所述第一filter 31及第二filter 32将滤波处理后的4帧数字信号输出至所述FPGA 40。
S06：所述FPGA 40将接收到的4帧数字信号分别存储至对应的SRAM；具体的方式为，将所述第一filter 31输出的2帧数字信号输出至SRAM1，将所述第二filter 32输出的2帧数字信号输出至SRAM2。
S07：所述FPGA 40对所述4帧数字信号进行鱼眼矫正处理；在此步骤中，所述FPGA 40将每一幅鱼眼图的各个像素点对应的立体坐标转换为平面坐标，使鱼眼图的球面被拉伸为平面，从而将鱼眼图转换为适于观看的平面图。
S08：所述FPGA 40将鱼眼矫正后的4帧数字信号输出至所述DSP 70。
S09：所述DSP 70将鱼眼矫正处理后的4帧数字信号合并处理为一幅全景图，该全景图全方位的显示使用该泊车辅助系统的车辆四周的景象；在此合并处理图像的步骤中，所述DSP 70可将各摄像头摄取的景象的重叠部分进行取平均值的运算，从而避免产生重影的现象。
S10：所述DSP 70将该全景图对应的一帧数字信号输出至所述数模转换模组80。
S11：所述数模转换模组80将该帧数字信号转换为模拟信号，并将转换出的一帧模拟信号输出至所述显示器90。
S12：所述显示器90根据接收到的信号显示相应的图像。

Claims (10)

1.一种汽车泊车辅助系统，包括多个广角摄像头及一显示器，所述多个广角摄像头分别安装于一汽车的前侧、后侧及左右侧，每一广角摄像头拍摄的图像均为鱼眼图，其特征在于：所述汽车泊车辅助系统还包括一与所述多个广角摄像头相连的FPGA及一与所述FPGA相连的DSP，所述FPGA将所述多个广角摄像头拍摄的图像进行鱼眼矫正处理，所述DSP将鱼眼矫正处理后的图像合并拼接为一幅全景图像，该全景图像全方位的显示所述汽车四周的景象。
2.如权利要求1所述的汽车泊车辅助系统，其特征在于：所述泊车辅助系统还包括一连接于所述多个摄像头及所述FPGA之间的模数转换模组，所述模数转换模组包括分别与所述多个广角摄像头相连的两个模数转换芯片，以将所述多个摄像头摄取的图像对应的模拟视频信号转换为数字视频信号。
3.如权利要求2所述的汽车泊车辅助系统，其特征在于：所述的泊车辅助系统还包括一滤波模组，所述滤波模组包括分别与所述两个模数转换芯片的输出端相连的两个滤波芯片，每一滤波芯片将对应的模数转换芯片输出的数字视频信号进行滤波处理后再输出至所述FPGA。
4.如权利要求3所述的汽车泊车辅助系统，其特征在于：所述的泊车辅助系统还包括一与所述FPGA相连的两个静态存储器，用于存储所述两个滤波芯片输出的四帧数字视频信号。
5.如权利要求1所述的汽车泊车辅助系统，其特征在于：所述多个摄像头均为170度广角摄像头。
6.一种汽车泊车辅助方法，包括以下步骤：
将多个广角摄像头安装于一汽车的前侧、后侧及左右侧；
所述多个广角摄像头从不同的方位拍取所述汽车四周的的图像，每一广角摄像头拍摄的图像均为鱼眼图；
利用一FPGA将所述多个广角摄像头拍摄的图像进行鱼眼矫正处理；
利用一DSP将鱼眼矫正后的图像合并拼接为一幅图像；
所述DSP将拼接后的图像输出至一显示器；及
所述显示器显示拼接后的图像以显示所述汽车四周的交通状态。
7.如权利要求6所述的汽车泊车辅助方法，其特征在于：所述FPGA将所述多个广角摄像头拍摄的图像进行鱼眼矫正处理的步骤包括将每一幅鱼眼图的各个像素点对应的立体坐标转换为平面坐标，使鱼眼图的球面被拉伸为平面，从而将鱼眼图转换为对应的平面图。
8.如权利要求6所述的汽车泊车辅助方法，其特征在于：所述DSP将鱼眼矫正后的图像合并拼接为一幅图像的步骤包括将所述多个摄像头摄取的景象的重叠部分进行取平均值的运算的子步骤。
9.如权利要求6所述的汽车泊车辅助方法，其特征在于：所述汽车泊车辅助方法还包括在将所述鱼眼图转换为平面图的步骤之前将所述鱼眼图对应的模拟视频信号转换为数字视频信号及对所述数字视频信号进行滤波处理的步骤。
10.如权利要求9所述的汽车泊车辅助方法，其特征在于：所述汽车泊车辅助方法还包括在将所述鱼眼图转换为平面图的步骤之前将所述滤波处理后的每一帧数字视频信号存储至一对应的静态存储器的步骤。
CN201210577480.9A 2012-12-27 2012-12-27 汽车泊车辅助系统及方法 Pending CN103895573A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201210577480.9A CN103895573A (zh) 2012-12-27 2012-12-27 汽车泊车辅助系统及方法
TW102101016A TW201433482A (zh) 2012-12-27 2013-01-11 泊車輔助系統及方法
US13/971,747 US20140184737A1 (en) 2012-12-27 2013-08-20 Driving assistant system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210577480.9A CN103895573A (zh) 2012-12-27 2012-12-27 汽车泊车辅助系统及方法

Publications (1)

Publication Number Publication Date
CN103895573A true CN103895573A (zh) 2014-07-02

Family

ID=50987270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210577480.9A Pending CN103895573A (zh) 2012-12-27 2012-12-27 汽车泊车辅助系统及方法

Country Status (3)

Country Link
US (1) US20140184737A1 (zh)
CN (1) CN103895573A (zh)
TW (1) TW201433482A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105516624A (zh) * 2015-12-10 2016-04-20 合肥师范学院 一种基于多核dsp的多通道图像采集处理系统
CN106101635A (zh) * 2016-05-05 2016-11-09 威盛电子股份有限公司 车辆周围影像处理方法及装置
CN106331694A (zh) * 2015-06-30 2017-01-11 财团法人工业技术研究院 车用环景系统调校方法
CN110381260A (zh) * 2019-08-26 2019-10-25 山东浪潮人工智能研究院有限公司 一种基于硬件加速的全景图像生成方法及工具

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105730439B (zh) * 2016-03-15 2018-06-19 北京理工大学 一种机电复合传动履带车辆功率分配方法
CN106101584A (zh) * 2016-07-29 2016-11-09 中国科学院长春光学精密机械与物理研究所 一种星载模块化智能成像系统
CN107424120A (zh) * 2017-04-12 2017-12-01 湖南源信光电科技股份有限公司 一种全景环视系统中的图像拼接方法
CN107529017A (zh) * 2017-10-12 2017-12-29 长沙全度影像科技有限公司 一种全景相机的多拼接模式的系统及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6638230B2 (en) * 2001-07-31 2003-10-28 Koninklijke Philips Electronics N.V. Apparatus and method of frequency compounding to perform contrast imaging
US7324794B2 (en) * 2004-09-29 2008-01-29 Tzero Technologies, Inc. Phase combining diversity
US7782374B2 (en) * 2005-03-03 2010-08-24 Nissan Motor Co., Ltd. Processor and processing method for generating a panoramic image for a vehicle
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
US7876258B2 (en) * 2006-03-13 2011-01-25 The Boeing Company Aircraft collision sense and avoidance system and method
CA2675974C (en) * 2006-04-04 2012-10-02 Bae Systems Information And Electronic Systems Integration Inc. Method and apparatus for protecting troops
US20120242828A1 (en) * 2011-03-24 2012-09-27 Lmk Enterprises, Inc. Method and apparatus for aligning a component with a target

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331694A (zh) * 2015-06-30 2017-01-11 财团法人工业技术研究院 车用环景系统调校方法
US9918010B2 (en) 2015-06-30 2018-03-13 Industrial Technology Research Institute Method for adjusting vehicle panorama system
CN106331694B (zh) * 2015-06-30 2018-08-24 财团法人工业技术研究院 车用环景系统调校方法
CN105516624A (zh) * 2015-12-10 2016-04-20 合肥师范学院 一种基于多核dsp的多通道图像采集处理系统
CN106101635A (zh) * 2016-05-05 2016-11-09 威盛电子股份有限公司 车辆周围影像处理方法及装置
CN106101635B (zh) * 2016-05-05 2019-08-02 威盛电子股份有限公司 车辆周围影像处理方法及装置
CN110381260A (zh) * 2019-08-26 2019-10-25 山东浪潮人工智能研究院有限公司 一种基于硬件加速的全景图像生成方法及工具

Also Published As

Publication number Publication date
TW201433482A (zh) 2014-09-01
US20140184737A1 (en) 2014-07-03

Similar Documents

Publication Publication Date Title
CN103895573A (zh) 汽车泊车辅助系统及方法
CN103879352A (zh) 汽车泊车辅助系统及方法
JP7105754B2 (ja) 撮像装置、及び、撮像装置の制御方法
CN103879353A (zh) 泊车辅助系统及方法
US10462372B2 (en) Imaging device, imaging system, and imaging method
CN103929613A (zh) 一种三维立体鸟瞰行车辅助的方法、装置以及系统
US20130027558A1 (en) Vehicle rear view camera system and method
US20120262578A1 (en) Vehicular around-view driving monitor and recorder
KR102140526B1 (ko) 어라운드 뷰 장치
CN105774657B (zh) 一种单摄像头全景倒车影像系统
CN216331763U (zh) 一种集成全景功能和bsd功能的智能汽车电子后视镜设备
CN202931488U (zh) 一种基于以太网的车载多摄像机系统
TWM541406U (zh) 車用影像整合系統
CN110557144A (zh) 车载终端
US20200128215A1 (en) Hitch assist backup camera system
CN113990103A (zh) 一种车辆环境图像的处理方法、设备、装置及存储介质
WO2020003630A1 (ja) 画像処理装置、画像処理方法、ドライブレコーダー
CN218103226U (zh) 360°环视拼接装置
JP7459607B2 (ja) 表示制御装置、表示制御方法およびプログラム
JP2006160192A (ja) 車両運転支援装置
US20170166128A1 (en) Method and apparatus of holographic drive recording
KR20000030357A (ko) 시시디카메라를 이용한 차량용 기록장치
TWM450517U (zh) 可連接汽車電腦之行車記錄器
CN104853114A (zh) 一种单镜头全景行车记录仪系统
JP2021136599A (ja) 記録制御装置、記録制御方法、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140702