CN114630034B - 一种基于fpga的桥梁水下基础表观检测系统 - Google Patents

一种基于fpga的桥梁水下基础表观检测系统 Download PDF

Info

Publication number
CN114630034B
CN114630034B CN202210259280.2A CN202210259280A CN114630034B CN 114630034 B CN114630034 B CN 114630034B CN 202210259280 A CN202210259280 A CN 202210259280A CN 114630034 B CN114630034 B CN 114630034B
Authority
CN
China
Prior art keywords
module
image data
csi
fpga
main control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210259280.2A
Other languages
English (en)
Other versions
CN114630034A (zh
Inventor
王澄非
高梦圆
徐莹壳
何小元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202210259280.2A priority Critical patent/CN114630034B/zh
Publication of CN114630034A publication Critical patent/CN114630034A/zh
Application granted granted Critical
Publication of CN114630034B publication Critical patent/CN114630034B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种基于FPGA的桥梁水下基础表观检测系统，采用相机阵列实现桥梁水下基础结构的表观检测，该检测系统由CSI‑2汇流模块和主控模块构成。其中，汇流模块以MIPI CSI‑2协议为核心，在主控模块的控制下，同步读取四路CSI‑2相机数据，将四路图像数据汇总合并后，再转成CSI‑2协议所定义的数据流格式转发给主控模块。主控模块采用SoC FPGA技术，完成对CSI‑2汇流模块的控制和图像数据的接收，并将图像数据通过千兆以太网传输至PC端。本发明采用光学图像传感器技术，采用相机阵列结构，以MIPI CSI‑2作为相机接口，以FPGA器件作为本系统的实现方案，具有轻量化、功耗低、成本低廉、便于后期维护、升级等优点，为解决水下结构表观检测的现存问题提供一种实现方案。

Description

一种基于FPGA的桥梁水下基础表观检测系统
技术领域
本发明涉及图像传感器检测领域，特别是涉及一种基于FPGA的桥梁水下基础表观检测系统。
背景技术
在桥梁的服役过程中，其水下基础会受到不同程度的损伤，进而破坏桥梁的整体结构，造成重大财产损失和人员伤亡。在桥梁水下结构表观检测相关技术的研究对响应我国危旧桥梁改造方案，促进我国基础建设向全寿命可持续转型升级等具有重大经济与社会意义。然而，在相关技术的实际应用过程中，出现了很多难以克服的问题,如水质混浊，光照条件较差所导致的识别准确率低；水流速度大导致的检测设备稳定性差；水下结构较深导致的供电、防水困难等一系列难题。此外，现存检测设备还存在体积较大，功耗大，安装困难，实现成本较高，可扩展性较差，后期升级、维护较为困难等弊端。
发明内容
为解决上述存在的技术问题，本发明提供一种基于FPGA的桥梁水下基础表观检测系统。本发明系统具有轻量化、功耗低、成本低廉、便于后期维护、升级等优点，为解决水下结构表观检测的现存问题提供一种实现方案。
本发明涉及一种基于FPGA的桥梁水下基础表观检测系统，所述桥梁水下基础表观检测方法包括：4 X 4相机阵列、图像采集模块、汇流模块、主控模块，其中，
所述4 x 4相机阵列采用MIPI CSI-2图像传感器，所述4 x 4相机阵列通过外部触发接口完成同步配置及触发；
所述图像采集模块包含四个图像传感器，共包含四个图像采集模块。所述图像采集模块基于MIPI CSI-2 子系统实现图像数据的采集；
所述汇流模块用于对单个图像采集模块中的四路图像数据实现汇流。所述汇流模块利用缓存模块将四路图像数据依次按Z字形拼接，合成一帧图像数据；
所述主控模块实现对四个汇流模块的同步控制，通过分配器将控制信号同步发送至汇流模块。所述主控模块实现对四个汇流模块的图像数据的采集。所述主控模块采用SoCFPGA技术，将所采集到的图像数据通过千兆以太网传输至PC端。
进一步地，所述图像传感器采集图像采用全画幅2 x 2 binning模式, 图像分辨率为1280 x 720，物距为15mm，系统检测视场范围约为600cm x 400cm, 系统检测精度小于1mm。
进一步地，所述图像采集模块实现四路相机的同步初始化配置和图像数据的采集。对所采集到的图像数据进行去马赛克处理。
进一步地，所述汇流模块根据AXI Stream图像数据中的行结束信号、数据有效信号以及帧起始信号对四路图像数据按照Z字形拼接。
进一步地，所述主控模块通过PL端实现图像传感器控制信号产生模块、分配模块、缓存模块以及以太网数据打包模块。通过PS端实现以太网数据传输的控制。
进一步地，采用电阻网络实现FMC与MIPI CSI-2协议所定义的DPHY电平标准的转换。其中，汇流模块转接板包括四个MIPI CSI-2 RX接口和一个MIPI CSI-2 TX接口；主控模块转接板包括四个MIPI CSI-2 RX接口。
进一步地，采用千兆以太网对采集到的图像数据进行传输，利用以太网采用PoE供电技术，进一步实现轻量化的目标。
本发明的有益效果在于：解决了现有水下检测系统中存在的体积大，功耗大，安装困难，实现成本较高，可扩展性较差，后期升级、维护较为困难等问题。本发明基于采用相机阵列实现桥梁水下基础结构的表观检测，该检测系统由CSI-2汇流模块和主控模块构成。其中，汇流模块以MIPI CSI-2协议为核心，在主控模块的控制下，同步读取四路CSI-2相机数据，将四路图像数据汇总合并后，再转成CSI-2协议所定义的数据流格式转发给主控模块。主控模块采用SoC FPGA技术，完成对CSI-2汇流模块的控制和图像数据的接收，并将图像数据通过千兆以太网传输至PC端。本发明采用光学图像传感器技术，采用相机阵列结构，以MIPI CSI-2作为相机接口，以FPGA器件作为本系统的实现方案，具有轻量化、功耗低、成本低廉、便于后期维护、升级等优点，为解决水下结构表观检测的现存问题提供一种实现方案。
附图说明
图1是本发明的相机阵列结构示意图；
图2是本发明的图像采集与传输系统总体结构示意图；
图3本发明图像采集模块的结构示意图；
图4是本发明主控模块的结构示意图；
图5是本发明汇流模块和主控模块FMC-CSI2转接板结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步的描述。应当理解，本实施例仅用来说明本发明，但不用来限制本发明范围。
本实施例公开了一种基于FPGA的桥梁水下基础表观检测方法，图1是本本发明的相机阵列结构示意图。所述4 x 4相机阵列采用MIPI CSI-2图像传感器，所述4 x 4相机阵列通过外部触发接口完成同步配置及触发。具体图像传感器可采用索尼的IMX219图像传感器。该图像传感器视场角（α）为77度，全画幅的分辨率为3280x2464。为了更大程度的利用该传感器视场，所采集图像在全画幅的基础上采用2x2 binning模式。输出图像分辨率为1280x 720，物距为15mm，系统检测视场范围约为600cm x 400cm, 系统检测精度小于1mm。
本实施例公开了一种基于FPGA的桥梁水下基础表观检测方法，图2是本本发明的图像采集与传输系统总体结构示意图。该检测方法主要由汇流模块和主控模块构成。其中，汇流模块以FPGA为核心，在主控模块的控制下，同步读取四路CSI-2相机数据，将4路图像数据汇总合并后，再转成CSI-2数据形式转发给主控模块。主控模块采用SoC FPGA技术，完成对CSI-2汇流模块的控制，图像数据的接收以及传输。
如图3所示，图像采集模块分为相机控制模块、图像采集模块、汇流模块、图像数据发送模块。其中，相机采集控制模块用于对整个采集系统的控制，包括相机的初始化配置，根据主控模块发出的控制信号实现四路相机的同步采集。图像采集模块采用MIPI CSI-2RX子系实现对四路图像数据的采集，所采集到的图像通过图像处理模块传输至图像缓冲模块。图像数据缓存模块采用DDR3的实现对图像数据的乒乓操作，从而提高图像数据的连续、无缝缓存。汇流模块根据AXI Stream图像数据中的行结束信号、数据有效信号以及帧起始信号对四路图像数据按照Z字形拼接。图像数据发送模块采用MIPI CSI-2 TX子系实现对图像数据的发送。图像采集模块所采用的FPGA具体可采用赛灵思KINTEX-7 系列芯片XC7K325T-2FFG900C。
如图4所示，主控模块系统采用SoC FPGA技术，所采用的FPGA具体可采用赛灵思ZYNQ-7000系列芯片实现数据的接收和传输。该系列FPGA器件带有双精度浮点的双核ARMCortex-A9MPCore处理系统，在控制方面具有较大的优势，大大降低了开发时间。主控模块包括相机信号控制模块，图像接收及采集模块，以太网数据打包模块。其中PL端用于上述模块的逻辑实现，PS端用于实现对图像数据的传输控制。相机控制信号生成模块主要用于触发相机阵列从而实现同步采集。图像数据的接收主要采用MIPI CSI2 RX子系统完成对图像数据的接收，所接收到的图像数据进行缓存后通过千兆以太网协议上传至PC端。
如图5所示，采用电阻网络实现FMC与MIPI CSI-2协议所定义的DPHY电平标准的转换。其中，汇流模块转接板包括四个MIPI CSI-2 RX接口和一个MIPI CSI-2 TX接口；主控模块转接板包括四个MIPI CSI-2 RX接口。
以上对本发明所提供的一种基于FPGA的桥梁水下基础表观检测方法进行了详细的介绍，但应理解的是，这些描述仅仅用具体的个例对原理以及实施方式进行阐述，并非用来限制本发明专利的应用。本发明的保护范围由附加权利要求限定，并可包括在不脱离本发明专利保护范围和精神下针对发明专利所做的各种变性，改革及等效方案。

Claims (5)

1.一种基于FPGA的桥梁水下基础表观检测系统，其特征在于，包括：4x 4相机阵列、图像采集模块、汇流模块、主控模块，其中，
所述4x 4相机阵列采用MIPI CSI-2图像传感器，所述4x 4相机阵列通过外部触发接口完成同步配置及触发；
所述图像采集模块包含四个图像传感器，共包含四个图像采集模块；所述图像采集模块基于MIPI CSI-2子系统实现图像数据的采集；
所述汇流模块用于对单个图像采集模块中的四路图像数据实现汇流；所述汇流模块利用缓存模块将四路图像数据依次按Z字形拼接，合成一帧图像数据；
所述主控模块实现对四个汇流模块的同步控制，通过分配器将控制信号同步发送至汇流模块；所述主控模块实现对四个汇流模块的图像数据的采集；所述主控模块采用SoCFPGA技术，将所采集到的图像数据通过千兆以太网传输至PC端；
所述图像采集模块实现四路相机的同步初始化配置和图像数据的采集，包括对所采集到的图像数据进行去马赛克处理；
根据AXI Stream图像数据中的行结束信号、数据有效信号以及帧起始信号对四路图像数据按照Z字形拼接；
采用电阻网络实现FMC与MIPI CSI-2协议所定义的DPHY电平标准的转换；其中，汇流模块转接板包括四个MIPI CSI-2 RX接口和一个MIPI CSI-2 TX接口；主控模块转接板包括四个MIPI CSI-2 RX接口；
汇流模块以FPGA为核心，在主控模块的控制下，同步读取四路CSI-2相机数据，将4路图像数据汇总合并后，再转成CSI-2数据形式转发给主控模块。
2.如权利要求1所述一种基于FPGA的桥梁水下基础表观检测系统，其特征在于，所述图像传感器采集图像采用全画幅2x 2 binning模式,图像分辨率为1280x 720，物距为15mm，系统检测视场范围为600cm x 400cm,系统检测精度小于1mm。
3.如权利要求1所述的一种基于FPGA的桥梁水下基础表观检测系统，其特征在于，所述汇流模块通过DDR3控制模块完成图像数据的乒乓操作，实现图像数据的无缝缓存。
4.如权利要求1所述的一种基于FPGA的桥梁水下基础表观检测系统，其特征在于，所述主控模块通过PL端实现图像传感器控制信号产生模块、分配模块、缓存模块以及以太网数据打包模块，通过PS端实现以太网数据传输的控制。
5.如权利要求1所述的一种基于FPGA的桥梁水下基础表观检测系统，其特征在于，采用千兆以太网对采集到的图像数据进行传输，利用以太网采用PoE供电技术，进一步实现轻量化的目标。
CN202210259280.2A 2022-03-16 2022-03-16 一种基于fpga的桥梁水下基础表观检测系统 Active CN114630034B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210259280.2A CN114630034B (zh) 2022-03-16 2022-03-16 一种基于fpga的桥梁水下基础表观检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210259280.2A CN114630034B (zh) 2022-03-16 2022-03-16 一种基于fpga的桥梁水下基础表观检测系统

Publications (2)

Publication Number Publication Date
CN114630034A CN114630034A (zh) 2022-06-14
CN114630034B true CN114630034B (zh) 2024-02-20

Family

ID=81902782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210259280.2A Active CN114630034B (zh) 2022-03-16 2022-03-16 一种基于fpga的桥梁水下基础表观检测系统

Country Status (1)

Country Link
CN (1) CN114630034B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103004180A (zh) * 2010-05-12 2013-03-27 派力肯影像公司 成像器阵列和阵列照相机的架构
CN106231162A (zh) * 2016-07-27 2016-12-14 中国科学院长春光学精密机械与物理研究所 可重构大视场无缝拼接成像系统
WO2016197308A1 (zh) * 2015-06-09 2016-12-15 深圳市晟视科技有限公司 一种高清摄像系统及高分辨率图像的获取方法
CN107509033A (zh) * 2017-09-20 2017-12-22 中国科学院长春光学精密机械与物理研究所 一种遥感相机图像实时采集处理系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103004180A (zh) * 2010-05-12 2013-03-27 派力肯影像公司 成像器阵列和阵列照相机的架构
WO2016197308A1 (zh) * 2015-06-09 2016-12-15 深圳市晟视科技有限公司 一种高清摄像系统及高分辨率图像的获取方法
CN106231162A (zh) * 2016-07-27 2016-12-14 中国科学院长春光学精密机械与物理研究所 可重构大视场无缝拼接成像系统
CN107509033A (zh) * 2017-09-20 2017-12-22 中国科学院长春光学精密机械与物理研究所 一种遥感相机图像实时采集处理系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
40相机阵列的水下结构表观观测系统的实现与应用;李旭;《中国优秀硕士学位论文全文数据库 基础科学辑》(第05期);全文 *

Also Published As

Publication number Publication date
CN114630034A (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
WO2019085605A1 (zh) 一种基于cpu+gpu+fpga架构的自动光学检测系统
CN101321302B (zh) 基于摄像机阵列的三维实时获取系统
CN101982609B (zh) 捣固车光电测量系统及方法
CN108492586B (zh) 一种基于分布式的道路区间监测系统及其测速方法
CN102253913B (zh) 一种对多板卡端口进行状态获取和输出控制的装置
CN104660989B (zh) 一种基于FPGA的光纤转全配置型Camera link实时图像光端机
CN111090603A (zh) 一种lvds转usb3.0适配器
CN105045549A (zh) 一种基于fpga的vga及ps/2信号传输系统
CN102306274A (zh) 一种停车位状态识别装置及方法
CN114630034B (zh) 一种基于fpga的桥梁水下基础表观检测系统
CN101841698A (zh) 视频数据远距离传送系统
CN108415870A (zh) 一种多通道高速数据分发装置
CN201349262Y (zh) 多目相机
CN202565371U (zh) 网络摄像机
CN104243858B (zh) 一种光学遥感器的电路系统
CN201540568U (zh) 一种具有协同处理功能的双cpu系统平台
CN202472947U (zh) 车载移动式测速抓拍装置
CN201794010U (zh) 捣固车光电测量系统
CN110275500B (zh) 一种列车运行监控系统的扩展单元
CN217825143U (zh) 一种多路数据采集卡
CN202150856U (zh) 串口转光纤模块的智能管理系统
CN202166715U (zh) 基于pci-e技术的矿用电缆网在线故障定位系统
CN104243939A (zh) 温控型光端机
CN204330060U (zh) 一种直读摄像远传水表
CN209311350U (zh) 一种基于以太网传输的流水线光学缺陷检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant