CN103879352A - 汽车泊车辅助系统及方法 - Google Patents

汽车泊车辅助系统及方法 Download PDF

Info

Publication number
CN103879352A
CN103879352A CN201210561772.3A CN201210561772A CN103879352A CN 103879352 A CN103879352 A CN 103879352A CN 201210561772 A CN201210561772 A CN 201210561772A CN 103879352 A CN103879352 A CN 103879352A
Authority
CN
China
Prior art keywords
wide
image
automobile
fpga
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201210561772.3A
Other languages
English (en)
Inventor
王康斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hongfujin Precision Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Original Assignee
Hongfujin Precision Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hongfujin Precision Industry Shenzhen Co Ltd, Hon Hai Precision Industry Co Ltd filed Critical Hongfujin Precision Industry Shenzhen Co Ltd
Priority to CN201210561772.3A priority Critical patent/CN103879352A/zh
Priority to TW101150520A priority patent/TW201425106A/zh
Priority to US13/963,178 priority patent/US20140176700A1/en
Publication of CN103879352A publication Critical patent/CN103879352A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)

Abstract

一种汽车泊车辅助系统，包括四个广角摄像头及一显示器，所述四个广角摄像头分别安装于一汽车的前侧、后侧及左右侧，每一广角摄像头拍摄的图像均为鱼眼图，所述汽车泊车辅助系统还包括一与所述多个广角摄像头相连的FPGA，所述FPGA将所述多个广角摄像头拍摄的图像进行鱼眼矫正处理，再将鱼眼矫正后的图像合并拼接为一幅全景图像，该全景图像全方位的显示所述汽车四周的景象。本发明还揭示一种汽车泊车辅助方法。本发明汽车泊车辅助系统及方法可将车辆周围的多个摄像头拍摄的图像融合拼接为一幅全景图，方便用户查看车辆四周的交通状态。

Description

汽车泊车辅助系统及方法
技术领域
本发明涉及一种汽车泊车辅助系统及方法。
背景技术
目前，市售的汽车泊车辅助产品一般是在汽车尾部设置单个的倒车后视摄像头，以便在倒车时看到汽车后方的状况，或通过几个摄像头分几个图形画面显示车辆周边的状况。但此种情况显示的几个画面是独立的，需要驾驶员从几个不同的画面提取信息判断车辆周边的安全状况，因此，对于泊车时车辆周边出现复杂状况时容易造成安全隐患。
发明内容
鉴于以上内容，有必要提供一种可将不同图像融合拼接在一起的汽车泊车辅助系统及方法。
一种汽车泊车辅助系统，包括四个广角摄像头及一显示器，所述四个广角摄像头分别安装于一汽车的前侧、后侧及左右侧，每一广角摄像头拍摄的图像均为鱼眼图，所述汽车泊车辅助系统还包括一与所述多个广角摄像头相连的FPGA，所述FPGA将所述多个广角摄像头拍摄的图像进行鱼眼矫正处理，再将鱼眼矫正后的图像合并拼接为一幅全景图像，该全景图像全方位的显示所述汽车四周的景象。
一种汽车泊车辅助方法，包括以下步骤：将四个广角摄像头安装于一汽车的前侧、后侧及左右侧；所述四个广角摄像头从不同的方位拍取所述汽车四周的的图像，每一广角摄像头拍摄的图像均为鱼眼图；利用一FPGA将所述四个广角摄像头拍摄的图像进行鱼眼矫正处理；所述FPGA将鱼眼矫正后的图像合并拼接为一幅图像；将拼接后的图像输出至一显示器；及所述显示器显示拼接后的图像以显示所述汽车四周的交通状态。
相较于现有技术，所述汽车泊车辅助系统及方法利用多个摄像头摄取车辆周边不同方位的图像，并对不同方位的图像进行拼接处理，方便用户查看车辆周围的状况，有助于提高行车安全度。
附图说明
图1是本发明汽车泊车辅助系统一较佳实施方式的组成框图。
图2是图1中汽车泊车辅助系统中摄像头的安装位置示意图。
图3是本发明汽车泊车辅助方法一较佳实施方式的流程图。
主要元件符号说明
第一广角摄像头 11
第二广角摄像头 12
第三广角摄像头 13
第四广角摄像头 14
模数转换模组 20
滤波模组 30
FPGA 40
第一SRAM 51
第二SRAM 52
第三SRAM 53
第四SRAM 54
SDRAM 60
数模转换模组 70
显示器 80
汽车 100
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
请参阅图1，在本发明一较佳实施方式中，一汽车泊车辅助系统包括一第一广角摄像头11、一第二广角摄像头12、一第三广角摄像头13、一第四广角摄像头14、一模数转换模组20、一滤波模组30、一FPGA（Field－Programmable Gate Array，现场可编程门阵列）40、一第一SRAM（静态存储器）51、一第二SRAM 52、一第三SRAM 53、第四SRAM 54、一SDRAM（动态存储器）60、一数模转换模组70及一显示器80。所述第一SRAM 51、一第二SRAM 52、一第三SRAM 53、第四SRAM 54及SDRAM 60均与所述FPGA 40相连，用于扩展所述FPGA 40的静态存储空间及动态存储空间。
所述模数转换模组20包括四个模数转换芯片ADC1~ADC4，分别与所述第一广角摄像头11、一第二广角摄像头12、一第三广角摄像头13、一第四广角摄像头14相连。所述滤波模组30包括四个滤波芯片Filter1~Filter4，分别与所述模数转换芯片ADC1~ADC4相连。在一实施方式中，模数转换芯片ADC1~ADC4可以是TVP5150芯片；滤波芯片Filter1~Filter4可以是MDIN221芯片。
在一实施方式中，所述第一广角摄像头11、第二广角摄像头12、第三广角摄像头13、第四广角摄像头14可分别安装于一汽车100前侧、后侧及左右两侧的后视镜上（见图2），每一摄像头均为170度广角摄像头，从而可全方位的摄取所述汽车100四周的图像。
所述第一广角摄像头11、第二广角摄像头12、第三广角摄像头13、第四广角摄像头14摄取的图像均为鱼眼图，每一幅鱼眼图以一帧模拟信号的形式发送至对应的模数转换芯片ADC，每一模数转换芯片ADC将其接收到的一帧模拟信号转换为一帧数字信号并输出至对应的滤波芯片Filter，每一滤波芯片Filter对其接收到的数字信号进行滤波处理并输出至所述FPGA 40，所述FPGA 40将接收到的每一帧数字信号存储至对应的SRAM，然后对4个SRAM中存储的4帧数字信号进行鱼眼矫正处理，将每幅鱼眼图对应的数字信号转换为平面图对应的数字信号，从而将鱼眼图转换为普通的平面图像。所述FPGA 40对所述4帧数字信号进行鱼眼矫正处理后，再对所述4帧数字信号进行合并处理，使所述4帧数字信号对应的4幅图融合拼接为一幅全景图。所述FPGA 40将该全景图对应的一帧数字信号输出至所述数模转换模组70，所述数模转换模组70将接收到的数字信号转换为一帧模拟信号，并将该帧模拟信号输出至所述显示器80，所述显示器80显示该帧模拟信号对应的全景图，用户可通过该全景图查看车辆四周的状况。
请参阅图3，一种利用上述泊车辅助系统的泊车辅助方法包括以下步骤。
S01：所述第一广角摄像头11、第二广角摄像头12、第三广角摄像头13、第四广角摄像头14均在其被安装的位置摄取图像。
S02：所述第一广角摄像头11将其摄取的图像输出至所述模数转换芯片ADC1；所述第二广角摄像头12将其摄取的图像输出至所述模数转换芯片ADC2；所述第三广角摄像头13将其摄取的图像输出至所述模数转换芯片ADC3；所述第四广角摄像头14将其摄取的图像输出至所述模数转换芯片ADC4。
S03：所述模数转换模组20的四个模数转换芯片ADC1~ADC4将接收到的4幅图对应的4帧模拟信号转换为4帧数字信号并输出至对应的滤波芯片Filter1~Filter4。
S04：所述滤波芯片Filter1~Filter4对所述4帧数字信号进行滤波处理。
S05：所述滤波芯片Filter1~Filter4将滤波处理后的4帧数字信号输出至所述FPGA 40。
S06：所述FPGA 40将接收到的4帧数字信号分别存储至对应的SRAM；具体的方式为，将所述滤波芯片Filter1输出的一帧数字信号输出至SRAM1，将所述滤波芯片Filter2输出的一帧数字信号输出至SRAM2，将所述滤波芯片Filter3输出的一帧数字信号输出至SRAM3，将所述滤波芯片Filter4输出的一帧数字信号输出至SRAM4。
S07：所述FPGA 40对所述4帧数字信号进行鱼眼矫正处理；在此步骤中，所述FPGA 40将每一幅鱼眼图的各个像素点对应的立体坐标转换为平面坐标，使鱼眼图的球面被拉伸为平面，从而将鱼眼图转换为适于观看的平面图。
S08：所述FPGA 40鱼眼矫正处理后的4帧数字信号合并处理为一幅全景图，该全景图全方位的显示使用该泊车辅助系统的车辆四周的景象；在此合并处理图像的步骤中，所述FPGA 40可将各摄像头摄取的景象的重叠部分进行取平均值的运算，从而避免产生重影的现象。
S09：所述FPGA 40将该全景图对应的一帧数字信号输出至所述数模转换模组70。
S10：所述数模转换模组70将该帧数字信号转换为模拟信号，并将转换出的一帧模拟信号输出至所述显示器80。
S11：所述显示器80根据接收到的信号显示相应的图像。

Claims (10)

1.一种汽车泊车辅助系统，包括四个广角摄像头及一显示器，所述四个广角摄像头分别安装于一汽车的前侧、后侧及左右侧，每一广角摄像头拍摄的图像均为鱼眼图，其特征在于：所述汽车泊车辅助系统还包括一与所述多个广角摄像头相连的FPGA，所述FPGA将所述多个广角摄像头拍摄的图像进行鱼眼矫正处理，再将鱼眼矫正后的图像合并拼接为一幅全景图像，该全景图像全方位的显示所述汽车四周的景象。
2.如权利要求1所述的汽车泊车辅助系统，其特征在于：所述泊车辅助系统还包括一连接于所述多个摄像头及所述FPGA之间的模数转换模组，所述模数转换模组包括分别与所述四个广角摄像头相连的四个模数转换芯片，以将所述四个摄像头摄取的图像对应的模拟视频信号转换为数字视频信号。
3.如权利要求2所述的汽车泊车辅助系统，其特征在于：所述的泊车辅助系统还包括一滤波模组，所述滤波模组包括分别与所述四个模数转换芯片的输出端相连的四个滤波芯片，每一滤波芯片将对应的模数转换芯片输出的数字视频信号进行滤波处理再输出至所述FPGA。
4.如权利要求3所述的汽车泊车辅助系统，其特征在于：所述的泊车辅助系统还包括一与所述FPGA相连的四个静态存储器，用于分别存储所述四个滤波芯片输出的四帧数字视频信号。
5.如权利要求1所述的汽车泊车辅助系统，其特征在于：所述多个摄像头均为170度广角摄像头。
6.一种汽车泊车辅助方法，包括以下步骤：
将四个广角摄像头安装于一汽车的前侧、后侧及左右侧；
所述四个广角摄像头从不同的方位拍取所述汽车四周的的图像，每一广角摄像头拍摄的图像均为鱼眼图；
利用一FPGA将所述四个广角摄像头拍摄的图像进行鱼眼矫正处理；
所述FPGA将鱼眼矫正后的图像合并拼接为一幅图像；
将拼接后的图像输出至一显示器；及
所述显示器显示拼接后的图像以显示所述汽车四周的交通状态。
7.如权利要求6所述的汽车泊车辅助方法，其特征在于：所述FPGA将所述四个广角摄像头拍摄的图像进行鱼眼矫正处理的步骤包括将每一幅鱼眼图的各个像素点对应的立体坐标转换为平面坐标，使鱼眼图的球面被拉伸为平面，从而将鱼眼图转换为对应的平面图。
8.如权利要求6所述的汽车泊车辅助方法，其特征在于：所述FPGA将鱼眼矫正后的图像合并拼接为一幅图像的步骤包括将所述四个摄像头摄取的景象的重叠部分进行取平均值的运算的子步骤。
9.如权利要求6所述的汽车泊车辅助方法，其特征在于：所述汽车泊车辅助方法还包括在将所述鱼眼图转换为平面图的步骤之前将所述鱼眼图对应的模拟视频信号转换为数字视频信号及对所述数字视频信号进行滤波处理的步骤。
10.如权利要求9所述的汽车泊车辅助方法，其特征在于：所述汽车泊车辅助方法还包括在将所述鱼眼图转换为平面图的步骤之前将所述滤波处理后的每一帧数字视频信号存储至一对应的静态存储器的步骤。
CN201210561772.3A 2012-12-22 2012-12-22 汽车泊车辅助系统及方法 Pending CN103879352A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201210561772.3A CN103879352A (zh) 2012-12-22 2012-12-22 汽车泊车辅助系统及方法
TW101150520A TW201425106A (zh) 2012-12-22 2012-12-27 泊車輔助系統及方法
US13/963,178 US20140176700A1 (en) 2012-12-22 2013-08-09 Driving assistant system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210561772.3A CN103879352A (zh) 2012-12-22 2012-12-22 汽车泊车辅助系统及方法

Publications (1)

Publication Number Publication Date
CN103879352A true CN103879352A (zh) 2014-06-25

Family

ID=50948582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210561772.3A Pending CN103879352A (zh) 2012-12-22 2012-12-22 汽车泊车辅助系统及方法

Country Status (3)

Country Link
US (1) US20140176700A1 (zh)
CN (1) CN103879352A (zh)
TW (1) TW201425106A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9679485B2 (en) 2015-09-11 2017-06-13 International Business Machines Corporation Determining a parking position based on visual and non-visual factors
CN107492125A (zh) * 2017-07-28 2017-12-19 哈尔滨工业大学深圳研究生院 汽车鱼眼镜头环视图像的处理方法
CN108205236A (zh) * 2016-12-20 2018-06-26 浙江舜宇智能光学技术有限公司 全景摄像机及其镜头
CN108282606A (zh) * 2017-01-05 2018-07-13 浙江舜宇智能光学技术有限公司 全景拼接方法及其设备
CN109862206A (zh) * 2019-02-28 2019-06-07 深圳市华星光电半导体显示技术有限公司 信号传输方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104590118A (zh) * 2014-11-28 2015-05-06 广东好帮手电子科技股份有限公司 基于后视镜盒子的行车环境全景显示系统及方法
CN104608693A (zh) * 2014-11-28 2015-05-13 广东好帮手电子科技股份有限公司 行车环境全景显示系统及方法
US10464482B2 (en) * 2015-07-21 2019-11-05 Utherverse Digital Inc. Immersive displays
US10021299B2 (en) * 2016-05-31 2018-07-10 Tower Spring Global Limited System and method for image stitching
CN106200649B (zh) * 2016-09-20 2019-03-12 南京信息工程大学 一种基于图像传感器的自动倒车系统及其控制方法
CN109840897A (zh) * 2017-11-28 2019-06-04 深圳市航盛电子股份有限公司 车辆全景图像校正方法和车辆全景系统
CN110719411B (zh) * 2019-12-16 2020-04-03 长沙智能驾驶研究院有限公司 车辆的全景环视图像生成方法及相关设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7782374B2 (en) * 2005-03-03 2010-08-24 Nissan Motor Co., Ltd. Processor and processing method for generating a panoramic image for a vehicle
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
US7876258B2 (en) * 2006-03-13 2011-01-25 The Boeing Company Aircraft collision sense and avoidance system and method
US8553807B2 (en) * 2008-10-20 2013-10-08 Apple Inc. Methods and systems for programmable digital up-conversion
US20120242828A1 (en) * 2011-03-24 2012-09-27 Lmk Enterprises, Inc. Method and apparatus for aligning a component with a target

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9679485B2 (en) 2015-09-11 2017-06-13 International Business Machines Corporation Determining a parking position based on visual and non-visual factors
US9953531B2 (en) 2015-09-11 2018-04-24 International Business Machines Corporation Determining a parking position based on visual and non-visual factors
US10255808B2 (en) 2015-09-11 2019-04-09 International Business Machines Corporation Determining a parking position based on visual and non-visual factors
CN108205236A (zh) * 2016-12-20 2018-06-26 浙江舜宇智能光学技术有限公司 全景摄像机及其镜头
CN108282606A (zh) * 2017-01-05 2018-07-13 浙江舜宇智能光学技术有限公司 全景拼接方法及其设备
CN108282606B (zh) * 2017-01-05 2020-09-15 浙江舜宇智能光学技术有限公司 全景拼接方法及其设备
CN107492125A (zh) * 2017-07-28 2017-12-19 哈尔滨工业大学深圳研究生院 汽车鱼眼镜头环视图像的处理方法
CN109862206A (zh) * 2019-02-28 2019-06-07 深圳市华星光电半导体显示技术有限公司 信号传输方法

Also Published As

Publication number Publication date
US20140176700A1 (en) 2014-06-26
TW201425106A (zh) 2014-07-01

Similar Documents

Publication Publication Date Title
CN103879352A (zh) 汽车泊车辅助系统及方法
CN103895573A (zh) 汽车泊车辅助系统及方法
CN103879353A (zh) 泊车辅助系统及方法
JP7105754B2 (ja) 撮像装置、及び、撮像装置の制御方法
US20220368839A1 (en) System for processing image data for display using backward projection
JP5194679B2 (ja) 車両用周辺監視装置および映像表示方法
JP5321711B2 (ja) 車両用周辺監視装置および映像表示方法
US8994825B2 (en) Vehicle rear view camera system and method
JP2008149764A (ja) 車両周辺監視装置
JP2009017020A (ja) 画像処理装置及び表示画像生成方法
KR102140526B1 (ko) 어라운드 뷰 장치
US11377027B2 (en) Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method
JP5519479B2 (ja) 運転支援表示装置
US7953292B2 (en) Semiconductor integrated circuit device and rendering processing display system
CN216331763U (zh) 一种集成全景功能和bsd功能的智能汽车电子后视镜设备
CN202931488U (zh) 一种基于以太网的车载多摄像机系统
CN110557144A (zh) 车载终端
US20200128215A1 (en) Hitch assist backup camera system
CN210390948U (zh) 一种集成全景环视的车载视频监控设备及车辆
TWM541406U (zh) 車用影像整合系統
JP7198599B2 (ja) 画像処理装置、画像処理方法、ドライブレコーダー
CN109291853A (zh) 图像处理装置
CN218103226U (zh) 360°环视拼接装置
US20240217451A1 (en) Imaging setting apparatus, image pickup apparatus, and imaging setting method
JP7459607B2 (ja) 表示制御装置、表示制御方法およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140625