CN108616724A - 一种基于fpga和arm结构的无线图像采集传输平台 - Google Patents

一种基于fpga和arm结构的无线图像采集传输平台 Download PDF

Info

Publication number
CN108616724A
CN108616724A CN201810428940.9A CN201810428940A CN108616724A CN 108616724 A CN108616724 A CN 108616724A CN 201810428940 A CN201810428940 A CN 201810428940A CN 108616724 A CN108616724 A CN 108616724A
Authority
CN
China
Prior art keywords
fpga
image
data
arm
carries out
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810428940.9A
Other languages
English (en)
Inventor
薛文
桂林卿
余海
何睿清
李俊
姚军
孔文宣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Science And Technology Co Rhinoceros Tooth Shell
Original Assignee
Nanjing Science And Technology Co Rhinoceros Tooth Shell
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Science And Technology Co Rhinoceros Tooth Shell filed Critical Nanjing Science And Technology Co Rhinoceros Tooth Shell
Priority to CN201810428940.9A priority Critical patent/CN108616724A/zh
Publication of CN108616724A publication Critical patent/CN108616724A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于FPGA和ARM结构的无线图像采集传输平台，采用多路图像采集接口的硬件架构；利用FPGA的并行处理能力进行多路同步视频信号采样；基于FPGA的数字图像信息进行实时高速并行预处理及图像压缩；FPGA对多传感器信息进行数据融合；ARM芯片为主体，以FPGA为协处理器的复杂图像处理算法；以ARM处理器为主体进行图像处理算法的主体流程控制，利用FPGA的逻辑资源构造协处理器对关键运算进行硬件加速，协助ARM处理器高效完成如图像特征点提取，图像融合复杂图像处理算法。本发明的有益效果是高集成度的方案，特别适用于高复杂度，高效率的图像采集处理传输的应用场景。

Description

一种基于FPGA和ARM结构的无线图像采集传输平台
技术领域
本发明属于图像处理技术领域，涉及一种基于FPGA和ARM结构的无线图像采集传输平台。
背景技术
目前，现有的数字图像采集传输方案功能往往比较单一，主要面向于一些常见应用的，如面向视频网络传输的网络摄像头模组方案、面向视频采样的USB摄像头方案。针对视频的无线传输需求，目前常见的主要有利用路由芯片方案进行wifi无线传输的方案。除此之外也有诸如面向行车记录仪等实际应用开发的专用芯片解决方案。这些方案普遍的问题是，由于方案都是针对某个特殊应用背景设计，因此缺乏通用性，特别是无法同时对多路摄像头同时进行数据采集及传输。而图像处理器本身的运算能力有限应对复杂应用很难找到实时性好的方案。
发明内容
本发明的目的在于提供一种基于FPGA和ARM结构的无线图像采集传输平台，本发明的有益效果是高集成度的方案，特别适用于高复杂度，高效率的图像采集处理传输的应用场景。
本发明所采用的技术方案是：
1.采用多路图像采集接口的硬件架构；
常见的ISP芯片多为单通道或双通道处理，多通道处理芯片首先需要提供大量I/O接口资源。本发明利用FPGA灵活可配置的I/O资源，按需配置接口功能和数量，且可以适合不同种类的CMOS芯片。
2.利用FPGA的并行处理能力进行多路同步视频信号采样的方法。
多路视频数据，由于不同源，各自产生多个中断信号会给传统的图像处理器带来很大压力。利用FPGA产生各个图像采集装置的工作时钟和控制信号，使多路图像采集装置同步工作，并利用FPGA内部的存储资源对多路采集数据进行缓冲处理和数据合并，这样大大减轻了图像处理器的工作压力，使其相应多通道数据成为可能。
3.基于FPGA的数字图像信息进行实时高速并行预处理及图像压缩的方法，多路视频数据的采集必然会对图像的传输和处理带来较大压力，利用FPGA丰富的资源可以对数字图像进行预处理及图像压缩，从而减少数据传输量。具体来说首先，可以通过图像关联算法找出质量较高的图像予以保留，剔除关联度较小的图像；而后可以对图像进行数据压缩从而大大减小每帧图像的数据大小，通过以上两种方式减小需要传输的数据量，是视频数据的实时传输和处理成为可能。
4.FPGA对多传感器信息进行数据融合的方法。
当前许多图像处理算法中大量利用了传感器信息进行辅助，本发明中利用FPGA的逻辑资源提供了惯性传感器、霍尔传感器、温湿度传感器等多种传感器接口。并利用FPGA本身的特点进行同步逻辑设计，使传感器数据和视频图像在时间上进行同步匹配和数据融合，为后续图像处理提供更多有用信息，提高图像处理的质量。
5.ARM芯片为主体，以FPGA为协处理器的复杂图像处理算法硬件实现方法；以ARM处理器为主体进行图像处理算法的主体流程控制，利用FPGA的逻辑资源构造协处理器对关键运算进行硬件加速，协助ARM处理器高效完成如图像特征点提取，图像融合等复杂图像处理算法。
本发明借助特有的硬件结构可以完成多路摄像头同步图像采集、图像预处理和图像压缩、相关数据融合、图像特征点提取及无线高速传输等功能。与目前常见的一些视频无线采集传输方案相比，本发明提出的这种平台结构是一种多功能，高集成度的方案，特别适用于高复杂度，高效率的图像采集处理传输的应用场景。
附图说明
图1FPGA与图像采集模组接口；
图2多路图像数据合并示意图；
图3图像数据压缩示意图；
图4数据融合模块及数据帧格式示意图。
具体实施方式
下面结合具体实施方式对本发明进行详细说明。
如图1所示，FPGA与典型CMOS图像传感器之间的接口信号定义如下：
(1)FPGA提供工作时钟给CMOS图像传感器
(2)图像传感器向FPGA返回像素数据
(3)图像传感器向FPGA返回行同步及场同步信号
(4)FPGA向图像传感器提供复位信号。
由于各个图像处理器的工作时钟均由FPGA提供，时钟同源，再通过FPGA控制各个图像传感器的复位时序，可以做到多个图像传感器的基本同步。
参照图2，多个图像传感器采集到的数据经过同步处理后可以同时并行写入一个大位宽的FIFO中。这就避免了以往多个图像传感器数据频繁中断处理器的现象。由于各路传感器数据已经经过同步，数据可以有效合并为一路，在高速读走处理，对于后续处理单元，多个数据源已经经过合并，减小了后续处理单元在数据调度上的压力。
参照图3，合并后的图像数据以帧为单位，进行图像压缩，经过硬件的离散余弦变换单元和哈夫曼编码单元后，将图像格式转为JPEG格式，从而大大减少数据量。
参照图4，图像数据，及传感器数据等多种类型的数据进入组帧模块进行组帧，帧结构如图所示。有个一精确到毫秒级的实践标记将会插入在每个数据帧的帧头后，用于表征每个数据在时间轴上的位置，这将有助于后续处理算法对图像信号的处理效果。
图像处理算法通常步骤参数繁多，利用处理进行图像处理具有很大的灵活性，目前常见的一些方案中长采用高性能DSP处理器的方案，单纯ARM处理器在进行图像处理时运算能力通常欠缺。利用FPGA作为协处理器，完成诸如通用矩阵运算，和一些专用算法，将大大提高算法处理效率，是的ARM处理器进行复杂图像处理成为可能。
本发明的优点还在于：
1.提出了利用FPGA与多路图像采集单元进行接口的硬件架构。
2.提出了利用FPGA的并行处理能力进行多路同步视频信号采样的方法。
3.提出了利用FPGA资源对数字图像信息进行实时高速并行预处理及图像压缩的方法。
4.提出了利用FPGA对多传感器信息进行数据融合的方法。
5.提出了以ARM芯片为主体，以FPGA为协处理器的复杂图像处理算法硬件实现方法。
以上所述仅是对本发明的较佳实施方式而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施方式所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。

Claims (2)

1.一种基于FPGA和ARM结构的无线图像采集传输平台，其特征在于按照以下步骤进行：
步骤1：采用多路图像采集接口的硬件架构；利用FPGA灵活可配置的I/O资源，按需配置接口功能和数量；
步骤2：利用FPGA的并行处理能力进行多路同步视频信号采样；利用FPGA产生各个图像采集装置的工作时钟和控制信号，使多路图像采集装置同步工作，并利用FPGA内部的存储资源对多路采集数据进行缓冲处理和数据合并；
步骤3：基于FPGA的数字图像信息进行实时高速并行预处理及图像压缩；利用FPGA丰富的资源可以对数字图像进行预处理及图像压缩，从而减少数据传输量；
步骤4：FPGA对多传感器信息进行数据融合；利用FPGA的逻辑资源提供了惯性传感器、霍尔传感器、温湿度传感器等多种传感器接口，并利用FPGA本身的特点进行同步逻辑设计，使传感器数据和视频图像在时间上进行同步匹配和数据融合，为后续图像处理提供更多有用信息，提高图像处理的质量；
步骤5：ARM芯片为主体，以FPGA为协处理器的复杂图像处理算法；以ARM处理器为主体进行图像处理算法的主体流程控制，利用FPGA的逻辑资源构造协处理器对关键运算进行硬件加速，协助ARM处理器高效完成如图像特征点提取，图像融合复杂图像处理算法。
2.按照权利要求1所述一种基于FPGA和ARM结构的无线图像采集传输平台，其特征在于：所述步骤3通过图像关联算法找出质量较高的图像予以保留，剔除关联度较小的图像；而后对图像进行数据压缩从而大大减小每帧图像的数据大小，通过以上两种方式减小需要传输的数据量，是视频数据的实时传输和处理成为可能。
CN201810428940.9A 2018-05-08 2018-05-08 一种基于fpga和arm结构的无线图像采集传输平台 Pending CN108616724A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810428940.9A CN108616724A (zh) 2018-05-08 2018-05-08 一种基于fpga和arm结构的无线图像采集传输平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810428940.9A CN108616724A (zh) 2018-05-08 2018-05-08 一种基于fpga和arm结构的无线图像采集传输平台

Publications (1)

Publication Number Publication Date
CN108616724A true CN108616724A (zh) 2018-10-02

Family

ID=63662210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810428940.9A Pending CN108616724A (zh) 2018-05-08 2018-05-08 一种基于fpga和arm结构的无线图像采集传输平台

Country Status (1)

Country Link
CN (1) CN108616724A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110266961A (zh) * 2019-07-23 2019-09-20 江苏鼎速网络科技有限公司 图像生成方法、系统及图像生成设备
CN110727515A (zh) * 2019-10-12 2020-01-24 电子科技大学 一种雷达mf-tbd算法的多路fpga快速并行处理系统及处理方法
CN111343379A (zh) * 2020-02-25 2020-06-26 华南理工大学 基于fpga的数据高速采集装置及方法
CN111404652A (zh) * 2020-03-13 2020-07-10 上海航天控制技术研究所 基于fpga的多路数据采集以及实时混合传输平台
CN112197868A (zh) * 2020-10-12 2021-01-08 上海扬灵能源科技有限公司 基于fpga的多传感器识别的红热像仪系统和方法
CN112738426A (zh) * 2020-12-16 2021-04-30 陕西电器研究所 一种多路传感数据、图像混合采编调制装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102253063A (zh) * 2011-03-21 2011-11-23 天津工业大学 钢丝绳芯输送带x光在线检测探测器及信号采集处理方法
CN202771369U (zh) * 2012-08-14 2013-03-06 海尔集团公司 基于多处理器的人机界面装置
CN103226541A (zh) * 2013-03-29 2013-07-31 江苏复芯物联网科技有限公司 一种基于fpga和arm的嵌入式高性能异构计算平台
CN103257910A (zh) * 2013-04-26 2013-08-21 北京航空航天大学 可用于现场测试的lxi嵌入式可重配置通用测试平台
CN103338326A (zh) * 2013-06-28 2013-10-02 徐州黑白龙工程尼龙有限公司 一种基于arm内核的集成摄像头系统
US20140155827A1 (en) * 2012-12-03 2014-06-05 Mylan, Inc. Medicament information system and method
CN104580858A (zh) * 2014-12-26 2015-04-29 北京航天控制仪器研究所 一种无人机用多源成像载荷
CN105278418A (zh) * 2015-11-19 2016-01-27 青岛中科软件股份有限公司 一种基于arm和fpga的高精度数据采集系统
CN205249414U (zh) * 2015-12-25 2016-05-18 北京计算机技术及应用研究所 多处理器架构的实时图像压缩平台结构
CN106530312A (zh) * 2016-11-05 2017-03-22 广州市奥威亚电子科技有限公司 一种基于低功耗嵌入式系统实时抠像方法
CN107370924A (zh) * 2017-07-18 2017-11-21 西安电子科技大学 图像采集系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102253063A (zh) * 2011-03-21 2011-11-23 天津工业大学 钢丝绳芯输送带x光在线检测探测器及信号采集处理方法
CN202771369U (zh) * 2012-08-14 2013-03-06 海尔集团公司 基于多处理器的人机界面装置
US20140155827A1 (en) * 2012-12-03 2014-06-05 Mylan, Inc. Medicament information system and method
CN103226541A (zh) * 2013-03-29 2013-07-31 江苏复芯物联网科技有限公司 一种基于fpga和arm的嵌入式高性能异构计算平台
CN103257910A (zh) * 2013-04-26 2013-08-21 北京航空航天大学 可用于现场测试的lxi嵌入式可重配置通用测试平台
CN103338326A (zh) * 2013-06-28 2013-10-02 徐州黑白龙工程尼龙有限公司 一种基于arm内核的集成摄像头系统
CN104580858A (zh) * 2014-12-26 2015-04-29 北京航天控制仪器研究所 一种无人机用多源成像载荷
CN105278418A (zh) * 2015-11-19 2016-01-27 青岛中科软件股份有限公司 一种基于arm和fpga的高精度数据采集系统
CN205249414U (zh) * 2015-12-25 2016-05-18 北京计算机技术及应用研究所 多处理器架构的实时图像压缩平台结构
CN106530312A (zh) * 2016-11-05 2017-03-22 广州市奥威亚电子科技有限公司 一种基于低功耗嵌入式系统实时抠像方法
CN107370924A (zh) * 2017-07-18 2017-11-21 西安电子科技大学 图像采集系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110266961A (zh) * 2019-07-23 2019-09-20 江苏鼎速网络科技有限公司 图像生成方法、系统及图像生成设备
CN110727515A (zh) * 2019-10-12 2020-01-24 电子科技大学 一种雷达mf-tbd算法的多路fpga快速并行处理系统及处理方法
CN110727515B (zh) * 2019-10-12 2022-02-15 电子科技大学 一种雷达mf-tbd算法的多路fpga快速并行处理系统及处理方法
CN111343379A (zh) * 2020-02-25 2020-06-26 华南理工大学 基于fpga的数据高速采集装置及方法
CN111404652A (zh) * 2020-03-13 2020-07-10 上海航天控制技术研究所 基于fpga的多路数据采集以及实时混合传输平台
CN111404652B (zh) * 2020-03-13 2022-11-11 上海航天控制技术研究所 基于fpga的多路数据采集以及实时混合传输平台
CN112197868A (zh) * 2020-10-12 2021-01-08 上海扬灵能源科技有限公司 基于fpga的多传感器识别的红热像仪系统和方法
CN112738426A (zh) * 2020-12-16 2021-04-30 陕西电器研究所 一种多路传感数据、图像混合采编调制装置

Similar Documents

Publication Publication Date Title
CN108616724A (zh) 一种基于fpga和arm结构的无线图像采集传输平台
CN107249101B (zh) 一种高分辨率图像采集与处理装置
US8587661B2 (en) Scalable system for wide area surveillance
CN101505434A (zh) 具有全局同步功能的高分辨率智能网络摄像机阵列系统
CN105516624A (zh) 一种基于多核dsp的多通道图像采集处理系统
CN104270570A (zh) 双目摄像机及其图像处理方法
CN111447409B (zh) 一种无人机机载多传感器单处理器视频压缩处理方法和装置
CN105611177A (zh) 实现全景相机的多个摄像头同时拍摄的方法及全景相机
CN108769576B (zh) 智能视频处理方法和系统
CN207218845U (zh) 环视摄像装置
CN104580858A (zh) 一种无人机用多源成像载荷
CN102857703A (zh) 高清视频字符叠加系统及控制方法
CN103617658A (zh) 机载多路音视频同步记录仪及记录方法
CN103575255A (zh) 一种基于线阵面阵双图像采集通道的高速轨道状态检测方法
CN114845004B (zh) 一种音视频同步实现方法及声学成像方法
CN114554250B (zh) 一种无人机或无人车的视频和位置同步方法
CN102881159A (zh) 一种嵌入式双dsp信息数据处理装置和方法
CN104463774B (zh) 一种基于dm642的三路图像融合处理器设计方法
CN105554592A (zh) 一种实现高帧率视频图像采集传输的方法及系统
CN102118289A (zh) Ieee1394接口的实时图像分割处理系统与高速智能统一总线接口方法
CN209046794U (zh) 一种实时图像采集系统
CN110636219B (zh) 一种视频数据流的传输方法及装置
CN205385561U (zh) 一种多屏拼接显示系统
CN107094230A (zh) 一种利用多空域数据融合技术获取图像和视频的方法
CN106303538B (zh) 一种支持多源数据融合的视频分级编码方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181002