CN115107653A - 基于fpga的电子后视镜系统 - Google Patents

基于fpga的电子后视镜系统 Download PDF

Info

Publication number
CN115107653A
CN115107653A CN202210903017.2A CN202210903017A CN115107653A CN 115107653 A CN115107653 A CN 115107653A CN 202210903017 A CN202210903017 A CN 202210903017A CN 115107653 A CN115107653 A CN 115107653A
Authority
CN
China
Prior art keywords
module
fpga
display screen
edge detection
dpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210903017.2A
Other languages
English (en)
Other versions
CN115107653B (zh
Inventor
李乐乐
赵鑫鑫
姜凯
李锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Science Research Institute Co Ltd
Original Assignee
Shandong Inspur Science Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Science Research Institute Co Ltd filed Critical Shandong Inspur Science Research Institute Co Ltd
Priority to CN202210903017.2A priority Critical patent/CN115107653B/zh
Publication of CN115107653A publication Critical patent/CN115107653A/zh
Application granted granted Critical
Publication of CN115107653B publication Critical patent/CN115107653B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/06—Rear-view mirror arrangements mounted on vehicle exterior
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供了一种基于FPGA的电子后视镜系统，涉及FPGA应用领域。包括摄像头模组、FPGA芯片、显示屏和DDR，摄像头模组用来采集车辆的周边环境信息，FPGA芯片包括数据协议转换模块、VDMA模块、均值滤波模块、图像均衡模块、边缘检测增加模块、DPU卷积模块、显示屏驱动模块，分别对摄像头模组采集的车周视频进行协议转换、滤波、图像均衡、边缘检测和DPU卷积，最终显示屏驱动模块将数据流输出到显示屏。本发明将视频显示延时控制在20ms以内，给驾驶人员流畅的视觉体验。同时该系统具备智能检测感知车周的特殊车辆，为驾驶人员提供最优的行车方案。

Description

基于FPGA的电子后视镜系统
技术领域
本发明涉及FPGA的应用领域，具体为基于FPGA的电子后视镜系统。
背景技术
传统的乘用车后视镜受到镜面曲率的限制，无可避免的都存在视野盲区。另外传统后视镜受到天气、光线等外界因素的影响，像夜间看不见、雨雾天看不清、雪天刺眼炫目等问题一直饱受诟病。同时当前越来越复杂的行车环境，也给驾驶人员带来不可预知的危险与挑战。
发明内容
针对现有技术存在的问题，本发明公开一种基于FPGA的电子后视镜系统，可以为驾驶人员提供低延时、高流畅、智能化感知的车机视觉系统。
为了解决所述技术问题，本发明采用的技术方案是：基于FPGA的电子后视镜系统，包括摄像头模组、FPGA芯片、显示屏和DDR，摄像头模组用来采集车辆的周边环境信息，FPGA芯片包括数据协议转换模块、VDMA模块、均值滤波模块、图像均衡模块、边缘检测增加模块、DPU卷积模块、显示屏驱动模块，数据协议转换模块与摄像头模块相连，将摄像头模组输入的RGB接口格式的视频转换成AXI-Stream接口格式，VDMA模块与数据协议转换模块相连，用于将视频流缓存到DDR中实现写入与读取操作，均值滤波模块、图像均衡模块、边缘检测增加模块依次相连，分别对视频数据进行滤波、图像均衡和边缘检测增强，边缘检测增强模块与DPU卷积模块和显示屏驱动模块相连，开启智能感知的情况下，边缘检测增强后的视频数据传输至DPU卷积模块，DPU卷积模块压缩提取图像特征数据，未开启智能感知的情况下，边缘检测增强后的视频数据传输至显示屏驱动模块，显示屏驱动模块将低延时、高质量、智能化感知的视频流输出到显示屏。
进一步的，FPGA采用Zynq UltraScale+MPSoc芯片。
进一步的，摄像头模组采用 OV5640图像传感器。
进一步的，还包括电源芯片和时钟芯片，电源芯片型号为MAX15303，时钟芯片型号为SI5341B。
本发明的有益效果：本发明解决了传统后视镜的视野盲区、夜间看不见、雨雾天看不清等问题，利用摄像头传感器采集车身周边的复杂行车环境，经过解码形成标准的视频流，经由MIPI接口传送至FPGA，检测到视频流输入后，开始对其进行数据协议转换、VDMA写入读取DDR操作、均值滤波、直方图均衡、边缘化检测增强、DPU卷积系列化处理，最终再度编码输出到驾驶舱内的显示屏上，完成低延时、高质量、智能化感知的实时图像传输。FPGA的灵活性，使该系统能够满足客户的定制化需求，快速部署，安全可靠。
附图说明
图1是本发明的原理框图；
图2是FPGA芯片的示意图；
图3是发明的电源原理图；
图4是本发明的时钟原理图。
具体实施方式
下面以具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式，但本发明的保护范围不仅限于下述的实施例。
实施例1
本实施例公开一种基于FPGA的电子后视镜系统，如图1、2所示，包括摄像头模组、FPGA芯片、显示屏和DDR，摄像头模组用来采集车辆的周边环境信息，FPGA芯片包括数据协议转换模块、VDMA模块、均值滤波模块、图像均衡模块、边缘检测增加模块、DPU卷积模块、显示屏驱动模块，数据协议转换模块与摄像头模块相连，将摄像头模组输入的RGB接口格式的视频转换成AXI-Stream接口格式，VDMA模块与数据协议转换模块相连，用于将视频流缓存到DDR中实现写入与读取操作，均值滤波模块、图像均衡模块、边缘检测增加模块依次相连，分别对视频数据进行滤波、图像均衡和边缘检测增强，边缘检测增强模块与DPU卷积模块和显示屏驱动模块相连，开启智能感知的情况下，边缘检测增强后的视频数据传输至DPU卷积模块，DPU卷积模块压缩提取图像特征数据，未开启智能感知的情况下，边缘检测增强后的视频数据传输至显示屏驱动模块，显示屏驱动模块将低延时、高质量、智能化感知的视频流输出到显示屏。
如图3、4所示，本实施例还包括电源芯片和时钟芯片，电源芯片型号为MAX15303，时钟芯片型号为SI5341B。
本实施例中，FPGA采用Zynq UltraScale+MPSoc芯片。摄像头模组采用 OV5640图像传感器。
本实施例所述电子后视镜系统利用FPGA的丰富接口及可定制化，实现了可快速部署到车机的智能化视觉系统。本系统包含硬件设计与FPGA功能模块设计两部分，其中硬件设计包含Zynq UltraScale+ MPSoc芯片、外围电子器件，FPGA模块设计包括该系统正常工作所必需的FPGA定制化的功能模块及视频流存储转发模块。
该系统基于VDMA、视频图像的均值滤波、直方图均衡、边缘化检测增强、DPU卷积、视频编解码、MIPI、SERDES技术。通过外耳镜摄像头模组采集视频图像，经由解码处理得到标准视频流，再由MIPI接口传送至FPGA。在视频流到达FPGA之前，FPGA芯片内部的PS首先对其PL侧模块进行初始化，检测到视频流输入后，开始对其进行数据协议转换、VDMA写入读取DDR操作、均值滤波、直方图均衡、边缘化检测增强、DPU卷积系列化处理，最终再度编码输出到驾驶舱内的显示屏上，完成实时图像传输。
基于该系统的视频显示延时可控制在20ms以内，给驾驶人员流畅的视觉体验。同时该系统具备智能检测感知车周的特殊车辆，为驾驶人员提供最优的行车方案。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.基于FPGA的电子后视镜系统，其特征在于：包括摄像头模组、FPGA芯片、显示屏和DDR，摄像头模组用来采集车辆的周边环境信息，FPGA芯片包括数据协议转换模块、VDMA模块、均值滤波模块、图像均衡模块、边缘检测增加模块、DPU卷积模块、显示屏驱动模块，数据协议转换模块与摄像头模块相连，将摄像头模组输入的RGB接口格式的视频转换成AXI-Stream接口格式，VDMA模块与数据协议转换模块相连，用于将视频流缓存到DDR中实现写入与读取操作，均值滤波模块、图像均衡模块、边缘检测增加模块依次相连，分别对视频数据进行滤波、图像均衡和边缘检测增强，边缘检测增强模块与DPU卷积模块和显示屏驱动模块相连，开启智能感知的情况下，边缘检测增强后的视频数据传输至DPU卷积模块，DPU卷积模块压缩提取图像特征数据，未开启智能感知的情况下，边缘检测增强后的视频数据传输至显示屏驱动模块，显示屏驱动模块将低延时、高质量、智能化感知的视频流输出到显示屏。
2.根据权利要求1所述的基于FPGA的电子后视镜系统，其特征在于：FPGA采用ZynqUltraScale+MPSoc芯片。
3.根据权利要求1所述的基于FPGA的电子后视镜系统，其特征在于：摄像头模组采用OV5640图像传感器。
4.根据权利要求1所述的基于FPGA的电子后视镜系统，其特征在于：还包括电源芯片和时钟芯片，电源芯片型号为MAX15303，时钟芯片型号为SI5341B。
CN202210903017.2A 2022-07-29 2022-07-29 基于fpga的电子后视镜系统 Active CN115107653B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210903017.2A CN115107653B (zh) 2022-07-29 2022-07-29 基于fpga的电子后视镜系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210903017.2A CN115107653B (zh) 2022-07-29 2022-07-29 基于fpga的电子后视镜系统

Publications (2)

Publication Number Publication Date
CN115107653A true CN115107653A (zh) 2022-09-27
CN115107653B CN115107653B (zh) 2024-08-30

Family

ID=83334376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210903017.2A Active CN115107653B (zh) 2022-07-29 2022-07-29 基于fpga的电子后视镜系统

Country Status (1)

Country Link
CN (1) CN115107653B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203611866U (zh) * 2013-11-01 2014-05-28 浙江博声电子有限公司 汽车外后视镜影像显示系统
CN104709176A (zh) * 2013-12-17 2015-06-17 西安广融电气有限公司 利用汽车后视镜的监控装置
CN106379239A (zh) * 2016-09-13 2017-02-08 深圳市宏道互联科技有限公司 3d全景车载内后视镜及其拍摄方法
CN109167915A (zh) * 2018-09-29 2019-01-08 南昌黑鲨科技有限公司 图像处理方法、系统及计算机可读存储介质
CN109455142A (zh) * 2018-12-29 2019-03-12 上海梅克朗汽车镜有限公司 视野融合型全景电子后视镜系统
CN110557144A (zh) * 2018-05-30 2019-12-10 上海擎感智能科技有限公司 车载终端
CN110789454A (zh) * 2019-11-29 2020-02-14 上海新微技术研发中心有限公司 一种流媒体后视镜系统
WO2020082242A1 (zh) * 2018-10-23 2020-04-30 黄正民 一种基于fpga+arm控制的驾驶员疲劳监控系统
CN211196038U (zh) * 2019-12-13 2020-08-07 北京汽车集团越野车有限公司 车用后视镜系统和车辆
CN111583307A (zh) * 2020-05-11 2020-08-25 山东万腾电子科技有限公司 运动目标实时检测跟踪系统及方法
CN112235525A (zh) * 2020-09-15 2021-01-15 中国科学院微电子研究所 基于ZYNQ的GigE接口相机目标识别方法及系统
CN112689121A (zh) * 2019-10-18 2021-04-20 株洲市智汇知识产权运营服务有限责任公司 一种基于fpga的运动跟踪系统
CN213384056U (zh) * 2020-09-24 2021-06-08 深圳市艾为智能有限公司 基于fpga的低延时机动车间接视野装置
US20220092317A1 (en) * 2020-09-21 2022-03-24 Nvidia Corporation Simulating viewpoint transformations for sensor independent scene understanding in autonomous systems

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203611866U (zh) * 2013-11-01 2014-05-28 浙江博声电子有限公司 汽车外后视镜影像显示系统
CN104709176A (zh) * 2013-12-17 2015-06-17 西安广融电气有限公司 利用汽车后视镜的监控装置
CN106379239A (zh) * 2016-09-13 2017-02-08 深圳市宏道互联科技有限公司 3d全景车载内后视镜及其拍摄方法
CN110557144A (zh) * 2018-05-30 2019-12-10 上海擎感智能科技有限公司 车载终端
CN109167915A (zh) * 2018-09-29 2019-01-08 南昌黑鲨科技有限公司 图像处理方法、系统及计算机可读存储介质
WO2020082242A1 (zh) * 2018-10-23 2020-04-30 黄正民 一种基于fpga+arm控制的驾驶员疲劳监控系统
CN109455142A (zh) * 2018-12-29 2019-03-12 上海梅克朗汽车镜有限公司 视野融合型全景电子后视镜系统
CN112689121A (zh) * 2019-10-18 2021-04-20 株洲市智汇知识产权运营服务有限责任公司 一种基于fpga的运动跟踪系统
CN110789454A (zh) * 2019-11-29 2020-02-14 上海新微技术研发中心有限公司 一种流媒体后视镜系统
CN211196038U (zh) * 2019-12-13 2020-08-07 北京汽车集团越野车有限公司 车用后视镜系统和车辆
CN111583307A (zh) * 2020-05-11 2020-08-25 山东万腾电子科技有限公司 运动目标实时检测跟踪系统及方法
CN112235525A (zh) * 2020-09-15 2021-01-15 中国科学院微电子研究所 基于ZYNQ的GigE接口相机目标识别方法及系统
US20220092317A1 (en) * 2020-09-21 2022-03-24 Nvidia Corporation Simulating viewpoint transformations for sensor independent scene understanding in autonomous systems
CN213384056U (zh) * 2020-09-24 2021-06-08 深圳市艾为智能有限公司 基于fpga的低延时机动车间接视野装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王昕, 周洋: "基于NIOSⅡ的汽车电子后视镜系统设计", 杭州电子科技大学学报, no. 02, 30 May 2022 (2022-05-30), pages 68 *

Also Published As

Publication number Publication date
CN115107653B (zh) 2024-08-30

Similar Documents

Publication Publication Date Title
US20180015879A1 (en) Side-view mirror camera system for vehicle
CN110303985B (zh) 一种车辆盲区近红外监测系统及方法
CN207000304U (zh) 一种流媒体后视镜系统及汽车
CN110738952A (zh) 一种结合人眼识别、跟踪和光线识别的hud显示方法和系统
CN208344076U (zh) 流媒体后视镜
CN109466286A (zh) 一种汽车进出低照度区域智能防炫目方法及装置
CN110740257A (zh) 一种高速高清cmos成像系统及其成像方法
CN107933428A (zh) 一种流媒体后视镜
CN109455142A (zh) 视野融合型全景电子后视镜系统
CN204774935U (zh) 一种通过镜头透视汽车a柱盲区的装置
CN115107653A (zh) 基于fpga的电子后视镜系统
CN114500771A (zh) 车载成像系统
CN210174738U (zh) 一种车辆盲区近红外监测系统
CN110126740A (zh) 一种汽车电子后视镜的控制方法及装置
CN110435547B (zh) 一种流媒体后视镜系统及其防眩光方法
CN116494871A (zh) 一种车辆外后视镜系统及方法
CN114222032A (zh) 应用于大型车辆的视觉辅助方法
CN215097285U (zh) 一种无死角的客车或货车电子后视镜系统
CN213384056U (zh) 基于fpga的低延时机动车间接视野装置
CN113071414A (zh) 一种车辆智能遮阳板系统及其图像获取方法
TWM608886U (zh) 汽車ａ柱視覺盲區顯示裝置
CN208128452U (zh) 一种适用于重型拖挂商用车的全景环视监控系统
CN108791061A (zh) 汽车盲区影像流媒体安全辅助装置、系统及方法
CN218986480U (zh) 一种电子外后视镜控制装置
CN203691533U (zh) 一种基于视频处理器的车载夜视辅助装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant