CN111050093B - 一种基于camera-link full嵌入式图像存储以及图像处理系统和方法 - Google Patents
一种基于camera-link full嵌入式图像存储以及图像处理系统和方法 Download PDFInfo
- Publication number
- CN111050093B CN111050093B CN201911299270.6A CN201911299270A CN111050093B CN 111050093 B CN111050093 B CN 111050093B CN 201911299270 A CN201911299270 A CN 201911299270A CN 111050093 B CN111050093 B CN 111050093B
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- optical fiber
- signal
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 title claims abstract description 6
- 239000013307 optical fiber Substances 0.000 claims abstract description 49
- 230000006835 compression Effects 0.000 claims abstract description 8
- 238000007906 compression Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 230000005540 biological transmission Effects 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 9
- 238000003672 processing method Methods 0.000 claims description 3
- 230000008054 signal transmission Effects 0.000 claims 1
- 230000006870 function Effects 0.000 abstract description 6
- 238000013468 resource allocation Methods 0.000 abstract description 2
- 230000003287 optical effect Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/22—Adaptations for optical transmission
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于camera‑link full嵌入式图像存储以及图像处理系统和方法，其处理过程为camera link full高速相机通过开窗口达到上千帧的采集速度，采集到的图像被送入camera link嵌入式处理模块，该模块在实时无压缩存储图像的同时完成图像信号转光纤信号，再将信号通过光纤高速串行传输到计算机端10GB的PCIE图像数据采集卡，其中板卡承担图像的获取、搭载FPGA图像预处理功能以及对外输出光触发信号功能，最后计算机对采集卡预处理后的数据进行高速处理及稳定存储；本发明在于挖掘camera link嵌入式模块和图像采集卡的潜力，充分利用资源配置，采用流水线及并行处理的方式，缩短了延迟时间，提升了系统校正能力。
Description
技术领域
本发明属于图像采集和信号处理领域，涉及一种基于camera link full嵌入式的图像存储以及图像处理系统和方法，尤其是将图像存储和图像处理分散到嵌入式设备中去，适用于自适应光学系统波前处理。
背景技术
自适应光学系统通过对动态波前误差的实施探测、控制、校正，使光学系统能够自动克服外界扰动，保持良好的性能，广泛应用在地基望远镜、惯性约束聚变、人眼AO、激光通信等中。自适应光学系统由波前探测器、波前控制器和波前校正器三部分组成，通常由波前探测器探测到波前畸变信息，然后送入波前处理机得到波前校正器所需的控制信号。
具体来说，现有的自适应光学系统使用CCD相机或者CMOS相机来负责开窗口高速采集图像，然后利用相机的camera link接口将图像信号转为光纤信号，以达到远距离传输；计算机端的PCIE光接口收到光信号，将之转为图像数据，然后通过发起内存访问，将数据传输给计算机完成波前处理；计算机端的高速SSD对数据进行存储。其优点在于：目前数字工业相机通常采用camera link接口，采用并串结合的方式实现数据传输，实时性好，抗干扰能力强；光纤通信保密性好，抗干扰能力强，传输容量大，传输速率高。但是，cameralink模块只负责采集图像，10G计算机端PCIE数据采集卡上的板载FPGA资源未利用，导致波前处理机需要完成的工作量巨大。另外，计算机做高速图像存储容易不稳定或发生丢帧现象。
因此，如何在保证波前处理系统强实时性的同时，保证系统的高集成度、资源利用率高和数据存储的稳定度是一个亟需解决的问题。
发明内容
本发明解决的技术问题是：为充分利用现有部件的资源配置，使数据采集卡发挥板载 FPGA的计算潜力，缩短图像处理时间，降低系统体积和使用成本，提高系统数据存储稳定度，本发明提供一种基于camera link full嵌入式的图像存储以及图像处理系统。
本发明的技术方案是：一种基于camera-link full嵌入式图像存储以及图像处理系统，包括camera link full相机、camera link嵌入式模块、光纤数据采集卡、计算机，传输模块主要包括光纤和PCIE接口，camera link full相机通过开窗口来提高帧频，达到高速采集图像；采集到的图像通过camera link嵌入式模块进行无压缩存储，并完成cameralink信号转光纤信号；转换后的信号通过光纤远距离传输到光纤数据采集卡上，进行光纤信号解耦，然后送入板载FPGA芯片进行图像预处理；预处理后的图像数据送入缓存单元DDR3 SDRAM的 FIFO中去；在FPGA内部对图像行数计数来判断一帧图像传输是否完成，若一帧图像传输完成，通知计算机发起接收图像数据命令，则FPGA将数据从缓存FIFO中读出，再通过 PCIE总线发送给计算机。
一种基于camera link full嵌入式的图像存储以及图像处理方法，其步骤如下：
步骤1：camera link full相机通过开窗口来提高帧频，达到高速采集图像；
步骤2：采集到的图像通过camera link嵌入式模块进行无压缩存储，并完成camera link 信号转光纤信号；
步骤3：转换后的信号通过光纤远距离传输到光纤数据采集卡上，进行光纤信号解耦，然后送入板载FPGA芯片进行图像预处理；
步骤4：预处理后的数据通过高速PCI Express接口传输到计算机中。
所述步骤1中需要明确相机支持camera link接口。camera link标准的视频传输模式分为三种：Base模式、Medium模式、Full模式。这里使用camera link full接口。
所述步骤1中相机分辨率为1280x1024 pixel，可在全分辨率下做到实时的500fps图像输出，可灵活配置ROI——即开窗口，以进一步提高帧速，可在96x96 pixel下达到25000fps。
所述步骤2中camera link嵌入式模块接收camera link信号，并在保留原有的camera link转光纤信号传输的基础上，增加无压缩存储图像功能。
所述步骤2中camera link信号主要包括视频数据信号、相机控制信号和串行通信信号 3个部分。其中视频数据信号是Camera Link的核心，主要包括4对差分数据信号和1对差分时钟信号，相机控制信号负责相机的输入和图像采集卡的输出，串行通信信号用来实现相机和图像采集卡之间的异步串行通信。
所述步骤3中光纤数据采集卡是基于PCI Express总线架构的4路10G光纤通道适配器，具有x8 PCIE主机接口，具有1组64位DDR3 SDRAM作为高速缓存，可以实现4通道光纤网络数据的高速采集、实时记录和宽带回放，板载主控芯片FPGA芯片选用Xilinx Kintex-7系列作为主处理器。
所述步骤3中光纤数据采集卡也可通过光纤对外发送控制命令或者图像数据。
所述步骤3中预处理后的图像数据送入缓存单元DDR3 SDRAM的FIFO中去。
所述步骤4中在FPGA内部对图像行数计数来判断一帧图像传输是否完成，若一帧图像传输完成，通知机发起接收图像数据命令，则FPGA将数据从缓存FIFO中读出，再通过PCIE总线发送给计算机。
本发明与现有技术相比有如下优点：
1.camera link嵌入式模块降低了系统体积，符合产品化的设计要求，界面进行易用性优化，产品机械结构优化。
2.camera link嵌入式模块在保留原有功能的基础上，加入了无压缩存储图像功能，比原有的PC存储更加可靠高效，不易发生丢帧现象，且可以过工业级温度要求：-40-80摄氏度。
3.光纤数据采集卡也可通过光纤对外发送控制命令或者数据，提高原有系统的资源利用率。
4.利用板载FPGA资源做图像预处理功能，可以减少CPU工作量，缩短每次实验间隔图像处理的时间周期。
附图说明
图1为本发明的系统原理图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和具体实施方式，对本发明做进一步详细说明。
本发明架构主要包括camera link full相机、camera link嵌入式模块、光纤数据采集卡、计算机，传输模块主要包括光纤和PCIE接口。
相机支持camera link接口。camera link标准的视频传输模式分为三种：Base模式、 Medium模式、Full模式。这里使用camera link full接口。
选用的camera link full相机分辨率为1280x1024 pixel，可在全分辨率下做到实时的 500fps图像输出，可灵活配置ROI——即开窗口，以进一步提高帧速，可在96x96pixel下达到25000fps。
camera link嵌入式模块接收camera link信号，并在保留原有的camera link转光纤信号传输的基础上，增加无压缩存储图像功能。camera link信号主要包括视频数据信号、相机控制信号和串行通信信号3个部分。其中视频数据信号是Camera Link的核心，主要包括4对差分数据信号和1对差分时钟信号，相机控制信号负责相机的输入和图像采集卡的输出，串行通信信号用来实现相机和图像采集卡之间的异步串行通信。
光纤数据采集卡是基于PCI Express总线架构的4路10G光纤通道适配器，具有x8PCIE 主机接口，具有1组64位DDR3 SDRAM作为高速缓存，可以实现4通道光纤网络数据的高速采集、实时记录和宽带回放，板载主控芯片FPGA芯片选用Xilinx Kintex-7系列作为主处理器。光纤数据采集卡也可通过光纤对外发送控制命令或者图像数据。
camera link full相机通过开窗口来提高帧频，达到高速采集图像；采集到的图像通过 camera link嵌入式模块进行无压缩存储，并完成camera link信号转光纤信号；转换后的信号通过光纤远距离传输到光纤数据采集卡上，进行光纤信号解耦，然后送入板载FPGA芯片进行图像预处理；预处理后的图像数据送入缓存单元DDR3 SDRAM的FIFO中去；在FPGA 内部对图像行数计数来判断一帧图像传输是否完成，若一帧图像传输完成，通知计算机发起接收图像数据命令，则FPGA将数据从缓存FIFO中读出，再通过PCIE总线发送给计算机。
本发明并不局限于上述的具体实施方式，上述的实施方式仅仅是示意性的，而不是限制性的。本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。本发明未详细阐述部分属于本领域技术人员的公知技术。
Claims (1)
1.一种基于camera-link full嵌入式图像存储以及图像处理方法，所述基于camera-link full嵌入式图像存储以及图像处理方法利用基于camera-link full嵌入式图像存储以及图像处理系统，所述基于camera-link full嵌入式图像存储以及图像处理系统包括camera link full相机、camera link嵌入式模块、光纤数据采集卡、计算机，传输模块主要包括光纤和PCIE接口，camera link full相机通过开窗口来提高帧频，达到高速采集图像；采集到的图像通过camera link嵌入式模块进行无压缩存储，并完成camera link信号转光纤信号；转换后的信号通过光纤远距离传输到光纤数据采集卡上，进行光纤信号解耦，然后送入板载FPGA芯片进行图像预处理；预处理后的图像数据送入缓存单元DDR3 SDRAM的FIFO中去；在FPGA内部对图像行数计数来判断一帧图像传输是否完成，若一帧图像传输完成，通知计算机发起接收图像数据命令，则FPGA将数据从缓存FIFO中读出，再通过PCIE总线发送给计算机，所述基于camera-link full嵌入式图像存储以及图像处理方法包括如下步骤：
步骤（1）：camera link full相机通过开窗口来提高帧频，达到高速采集图像；
步骤（2）：采集到的图像通过camera link嵌入式模块进行无压缩存储，并完成cameralink信号转光纤信号；
步骤（3）：转换后的信号通过光纤远距离传输到光纤数据采集卡上，进行光纤信号解耦，然后送入板载FPGA芯片进行图像预处理；
步骤（4）：预处理后的数据通过高速PCI Express接口传输到计算机中；
其中，所述步骤（1）中相机支持camera link接口；本申请中使用camera link full接口；
所述步骤（1）中相机分辨率为1280x1024 pixel，在全分辨率下做到实时的500fps图像输出，灵活配置ROI——即开窗口，以进一步提高帧速，在96x96 pixel下达到25000fps；
所述步骤（2）中camera link嵌入式模块接收camera link信号，并在保留原有的camera link转光纤信号传输的基础上，增加无压缩存储图像功能；
所述步骤（2）中camera link信号包括视频数据信号、相机控制信号和串行通信信号3个部分；
所述步骤（3）中光纤数据采集卡是基于PCI Express总线架构的4路10G光纤通道适配器；
所述步骤（3）中光纤数据采集卡通过光纤对外发送控制命令或者图像数据；
所述步骤（3）中预处理后的图像数据送入缓存单元DDR3 SDRAM的FIFO中去；
所述步骤（4）中在FPGA内部对图像行数计数来判断一帧图像传输是否完成，若一帧图像传输完成，通知机发起接收图像数据命令，则FPGA将数据从缓存FIFO中读出，再通过PCIE总线发送给计算机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911299270.6A CN111050093B (zh) | 2019-12-17 | 2019-12-17 | 一种基于camera-link full嵌入式图像存储以及图像处理系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911299270.6A CN111050093B (zh) | 2019-12-17 | 2019-12-17 | 一种基于camera-link full嵌入式图像存储以及图像处理系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111050093A CN111050093A (zh) | 2020-04-21 |
| CN111050093B true CN111050093B (zh) | 2021-11-19 |
Family
ID=70236993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911299270.6A Active CN111050093B (zh) | 2019-12-17 | 2019-12-17 | 一种基于camera-link full嵌入式图像存储以及图像处理系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111050093B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111741219A (zh) * | 2020-07-05 | 2020-10-02 | 北京安洲科技有限公司 | 一种遥感测量用多接口智能图像采集卡 |
| CN112911183A (zh) * | 2020-12-29 | 2021-06-04 | 上海昊博影像科技有限公司 | 具有实时图像输出功能的图像采集卡、图像信息处理设备 |
| CN113434090B (zh) * | 2021-06-30 | 2023-03-28 | 同济大学 | 一种用于高速视频测量的海量数据异步存储方法 |
| CN113589139A (zh) * | 2021-07-16 | 2021-11-02 | 苏州芯迈智能科技有限公司 | 基于tof芯片晶圆的图像测试系统、方法 |
| CN114244967A (zh) * | 2021-10-13 | 2022-03-25 | 深钛智能科技(苏州)有限公司 | 一种半导体芯片图像采集系统 |
| CN116303185A (zh) * | 2023-05-18 | 2023-06-23 | 合肥埃科光电科技股份有限公司 | 一种基于PCIe4.0的图像采集卡及图像采集系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006031294A1 (en) * | 2004-07-23 | 2006-03-23 | Honeywell International Inc. | Reconfigurable computing architecture for space applications |
| CN102117342A (zh) * | 2011-01-21 | 2011-07-06 | 中国科学院上海技术物理研究所 | 基于PCI Express总线的多波段红外图像实时采集系统及方法 |
| CN103402068A (zh) * | 2013-08-09 | 2013-11-20 | 西安电子科技大学 | 非压缩式视频播放系统及播放方法 |
| CN104539886A (zh) * | 2014-12-09 | 2015-04-22 | 中国科学院上海技术物理研究所 | 基于光纤通信的红外数字图像采集和传输系统及方法 |
| CN104660989A (zh) * | 2015-01-28 | 2015-05-27 | 中国科学院光电技术研究所 | 一种基于FPGA的光纤转全配置型Camera link实时图像光端机 |
| CN207560149U (zh) * | 2017-11-30 | 2018-06-29 | 天津中德应用技术大学 | 基于fpga实现线阵相机图像采集的光纤传输系统 |
| CN109714621A (zh) * | 2019-01-02 | 2019-05-03 | 西安微电子技术研究所 | 一种时序可配置的多路动态视频模拟方法及其处理系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104462013B (zh) * | 2014-06-26 | 2017-10-10 | 奥诚信息科技(上海)有限公司 | 一种光学三维传感专用asic芯片系统 |
| TWM530975U (zh) * | 2016-05-25 | 2016-10-21 | 宏正自動科技股份有限公司 | 用於工業嵌入式系統之影像管控裝置及系統 |
-
2019
- 2019-12-17 CN CN201911299270.6A patent/CN111050093B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006031294A1 (en) * | 2004-07-23 | 2006-03-23 | Honeywell International Inc. | Reconfigurable computing architecture for space applications |
| CN102117342A (zh) * | 2011-01-21 | 2011-07-06 | 中国科学院上海技术物理研究所 | 基于PCI Express总线的多波段红外图像实时采集系统及方法 |
| CN103402068A (zh) * | 2013-08-09 | 2013-11-20 | 西安电子科技大学 | 非压缩式视频播放系统及播放方法 |
| CN104539886A (zh) * | 2014-12-09 | 2015-04-22 | 中国科学院上海技术物理研究所 | 基于光纤通信的红外数字图像采集和传输系统及方法 |
| CN104660989A (zh) * | 2015-01-28 | 2015-05-27 | 中国科学院光电技术研究所 | 一种基于FPGA的光纤转全配置型Camera link实时图像光端机 |
| CN207560149U (zh) * | 2017-11-30 | 2018-06-29 | 天津中德应用技术大学 | 基于fpga实现线阵相机图像采集的光纤传输系统 |
| CN109714621A (zh) * | 2019-01-02 | 2019-05-03 | 西安微电子技术研究所 | 一种时序可配置的多路动态视频模拟方法及其处理系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于异步 FIFO 的 Camera Link 数字图像光纤传输技术;张维达 等;《仪表技术与传感器》;20161231(第7期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111050093A (zh) | 2020-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111050093B (zh) | 一种基于camera-link full嵌入式图像存储以及图像处理系统和方法 | |
| CN104539886A (zh) | 基于光纤通信的红外数字图像采集和传输系统及方法 | |
| CN109412914A (zh) | 流数据与axi接口通信装置 | |
| CN108566357B (zh) | 基于ZYNQ-7000和FreeRTOS的图像传输与控制系统及方法 | |
| CN114286035B (zh) | 图像采集卡、图像采集方法及图像采集系统 | |
| CN113301313B (zh) | 一种图像数据处理和传输方法及系统 | |
| US20220321840A1 (en) | Method for transmitting high bandwidth camera data through serdes links | |
| CN111090603A (zh) | 一种lvds转usb3.0适配器 | |
| CN110881027A (zh) | 一种Camera Link-ARINC818协议的视频传输系统及转换方法 | |
| CN113259318A (zh) | 高速数据传输方法、系统、存储介质、信息数据处理终端 | |
| CN106572327B (zh) | 基于fpga的高清视频采集传输系统及方法 | |
| CN101901278B (zh) | 一种高速数据采集卡及数据采集方法 | |
| CN103705260A (zh) | 一种基于光纤通信的数字医学成像设备的数据传输系统 | |
| CN110636219B (zh) | 一种视频数据流的传输方法及装置 | |
| CN112947156A (zh) | 一种基于fpga的分布式数据传输系统及方法 | |
| CN204334811U (zh) | 基于光纤通信的红外数字图像采集和传输系统 | |
| CN102497514B (zh) | 一种三通道视频转发设备和转发方法 | |
| CN101436168B (zh) | 基于usb的图像采集方法及其装置 | |
| CN113193931B (zh) | 一种arinc818节点时间确定性传输装置及方法 | |
| US20150113176A1 (en) | Method for Emulating Communication Standards of Transceiver Modules for Native Host Devices | |
| CN102012948A (zh) | 基于usb的数据实时采集和存储系统及方法 | |
| CN114866710A (zh) | 一种基于Camera-link相机的通用解码和数据采集装置 | |
| CN112350916A (zh) | 基于fpga的pcie低频光纤桥接系统及方法 | |
| CN111444131A (zh) | 一种基于usb3．0的数据采集及传输装置 | |
| CN112532954B (zh) | 一种机载视频一体化处理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |