CN112311960A - 一种应用于目标识别与跟踪的新型视频图像处理系统 - Google Patents
一种应用于目标识别与跟踪的新型视频图像处理系统 Download PDFInfo
- Publication number
- CN112311960A CN112311960A CN202011222324.1A CN202011222324A CN112311960A CN 112311960 A CN112311960 A CN 112311960A CN 202011222324 A CN202011222324 A CN 202011222324A CN 112311960 A CN112311960 A CN 112311960A
- Authority
- CN
- China
- Prior art keywords
- fpga
- interface
- image processing
- processing system
- video image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 47
- 238000007781 pre-processing Methods 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 5
- 230000003993 interaction Effects 0.000 abstract description 2
- 238000013500 data storage Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公布了一种应用于目标识别与跟踪的新型视频图像处理系统，其特征在于，本系统的视频接口在收到数据后发送给FPGA预处理，FPGA再通过PCIEX4总线交于GPU运算，GPU将处理完成的数据转交给FPGA通过视频接口或网口发送出去，同时发送相机驱动信号，跟踪检测目标，并配有FPGA扩展板，可接其他功能性子板。所述视频接口，分为Ccamera link输入视频接口和CVBS输出视频接口；所述GPU模块拥有网口、USB口、HDMI接口以及mSATA接口，可为用户提供良好的人机交互界面和数据存储空间；本发明实现了系统结构简单、运算性能强，高灵活性和低成本，具有很强的扩展性和实用性。
Description
技术领域
本发明属于目标识别与跟踪领域，是基于GPU及FPGA为核心的视频图像处理系统，具体涉及一种应用于目标识别与跟踪的新型视频图像处理系统。
技术背景
目标识别与跟踪技术是计算机视觉关键技术之一，在民用和军用的诸多领域都有着极其广阔的应用前景，包括智能监控、基于视觉的人机交互、视频叠加、目标跟踪、精确制导系统等。随着信息技术的高速发展，需要视频图像的处理信息量越来越大，传统的视频图像处理系统已无法满足现在的需求。
目前常用的目标识别与跟踪处理系统架构主要包括：ARM、DSP、DSP+FPGA等。但通常存在以下缺点：
（1）图像处理系统成本高，体积大，运算速度低且效果难以保证。
（2）系统结构复杂，需要多模块组合协同处理。针对不同应用场景需配置不同功能模块，灵活性不强。
（3）接口数量少，通用性不强。
发明内容
针对现有技术的至少一个缺陷或改进需求，本发明提供了基于FPGA+GPU的视频图像处理系统架构，可实现系统低成本、结构简单集成化、具有高度灵活性和扩展性。
本发明公开了一种应用于目标识别与跟踪的新型视频图像处理系统，该视频图像处理系统的视频接口在收到数据后发送给FPGA预处理之后再交于GPU加速处理，GPU将处理完成的视频数据转交给FPGA通过视频接口或网口发送出去，同时驱动相机跟踪检测目标；并且FPGA扩展板，可扩展其他功能和接口；
所述视频接口，为Camera Link输入接口和CVBS视频图像输出接口，输入接口收在到数据之后经过解码芯片将视频数据解码后发送给FPGA处理，输出接口，将FPGA发出的数据编码成CVBS制视频信号发送出去；
本系统只需一个电源连接器供电，通过电源管理模块，转化为FPGA和GPU需要的各种电源电压。
优选的，所述图像处理系统中GPU模块为NVDIA公司的高性能处理器Jetson TX2，其可搭载系统。
优选的，所述图像处理系统中接口功能扩展板可根据特定需求，设计特定功能扩展板。
优选的，所述图像处理系统中GPU模块向外引出了USB接口、HDMI接口。
优选的，所述图像处理系统中GPU模块向外引出了mSATA接口和SD Card 接口，可搭载mSATA硬盘和SD存储卡。
优选的，所述图像处理系统中FPGA模块搭载4片512MB的DDR3内存。
优选的，所述电源管理模块采用TI公司的TPS56221芯片和TPS54622芯片。
总体而言，本发明所构思的以上技术方案与现有技术相比，具有以下优点：
（1）：由于GPU自身可搭载系统，并利用FPGA的并行处理优势，组成计算机系统结构简单化、高度集成化、小型化、适用性广、成本低，不再需要单独的PC或者服务器作为处理器；
（2）：整个图像处理系统由底板+子卡组成，图像处理系统被模块化设计可以根据实际应用场景灵活配置，功能灵活性高；
（3）：通过子模块可扩展其他常用接口及特定接口供用户使用。大大增强通用性。
附图说明
为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图作简单地介绍。
图1为本发明实施例的一种基于FPGA+GPU视频图像处理系统的架构图；
图2为本发明实施例所提供的一种视频接口编码与解码方式示意图；
图3为本发明实施例所提供的一种FPGA外扩千兆网口示意图；
图4为本发明实施例所提供的一种功能扩展板扩展外部接口示意图。
具体实施方式
本发明系统架构主要由FPGA和GPU模块组成，FPGA模块一方面用来接收GPU模块发送的配置参数及控制命令，来实现系统的控制管理，另一方面，将采集的视频图像数据发送到GPU模块进行数据处理，同时接收GPU模块的处理结果，将处理结果发送给外设接口输出。本发明GPU可安装操作系统，利用FPGA的并行处理优势，就可以组成一个小型便捷、适用于图像处理的计算系统。
图1为本发明实施例的一种基于FPGA+GPU的视频图像处理系统的架构图。该硬件平台系统中，FPGA和GPU之间采用PCIEX4进行数据传输，最高速率可达2GB/S。
GPU模块主要作为系统数据处理器，需要较强的运算能力，故选择NVIDIA公司的高性能处理器Jetson TX2(简称TX2)，其采用GPU+CPU架构；特点是NVIDIA Pascal GPU有256个CUDA有能力的核心；CPU部分由两个ARM v8 64位CPU集群组成，它们由高性能的相干互连结构连接，第一个CPU集群为NVIDIA Denver 2 64-Bit CPU 双核丹佛2 64位CPU集群，可提高单线程性能，第二个CPU集群是一个ARM Cortex-A57 QuadCore，它更适合于多线程应用程序；内存子系统包含一个128位的内存控制器，它提供高带宽LPDDR4支持；8 GB LPDDR4主存和32 GB eMMC闪存集也成于模块上。
FPGA模块主要作为系统的功能扩展，其命令来自于GPU的操作系统，用于系统的控制和管理。充分利用FPGA自身的并行处理的优势，实现视频图像采集和发送以及与GPU模块之间的数据交换的协调处理。这里选用Xilinx公司Kintex7系列的XC7K325T2FFG900I。
进一步地，底板上自身带有两个Camera Link接口（MDR26座子），可相连CameraLink接口相机采集视频图像数据。采集的数据通过解码器芯片（DS90CR286）解码转化为并行数据之后传输给FPGA，在FPGA内部预处理之后发送给GPU进行数据的处理，如图2所示。
进一步地，本系统自身带有两个CVBS信号接口。GPU将处理后的数据传送给FPGA,FPGA将收到的数据通过数据编码器芯片（ADV7393）编码，将数字信号转化成CVBS制信号，通过此接口向显示设备发送CVBS制视频信息。
进一步地，本系统自带有两个千兆网口，一个是GPU模块外扩的，可通过此网口直接与GPU通信；另一个网口是FPGA芯片通过PHY芯片（88E1111）外扩千兆网口，此网口可直接与FPGA进行数据通信，如图3所示。
进一步地，本系统的FPGA模块搭载有4片DDR3芯片总内存可高达2GB,可大大的增强FPGA的数据处理能力。
进一步地，本系统的GPU模块外扩有mSATA和SD Card座子可根据需求装配mSATA硬盘和SD存储卡，用以存储所需数据。
进一步地，本系统拥有GPU和FPGA两个和核心器件，需要多种电压。本系统电源采用J30J-9ZKW连接器输入5.5-12V电源电压。而TX2模块的外围电路需要1 .8V、2.5V、3 .3V和5V电压 FPGA选用Xilinx公司的XC7K325T，需要为该FPGA提供1V核电压，1 .8V VCCIO和VCCAUX、3 .3V VCCIO、1V和1 .2V的MGT供电。FPGA的1V核电压所需电流较大，故采用TexasInstruments公司TPS56221电源芯片（输出高达20A），其余电压采用多片TexasInstruments公司TPS54622芯 片（输出高达6A）为其提供电，以此保证供电的充足。且每一个电源均设计有电源指示灯，指示器电源工作状态。
进一步地，本发明系统架构设计两种时钟，分别是FPGA内部逻辑所需基础时钟，FPGA的PCIE 接口及千兆以太网PHY芯片所需时钟。FPGA内部逻辑所需基础时钟采用40MHz有源晶振产生，PCIE时钟采用差分125MHz时钟，由固定时钟振荡器产生。
进一步地，本系统的FPGA模块通过外扩板增加了VGA接口和DP接口，可通过这两个接口与外界相应端口相连，如图4所示。此扩展板卡置于视频图像处理板底板之上，形成底板+子板的结构。
进一步地，FPGA模块外挂RS422相机驱动控制接口，用以控制相机转动跟踪检测目标。
进一步地，由于本系统采用底板+子板的模式，尺寸为125mm*175mm。小于一般视频图像处理系统。
整个视频图像处理系统底板+扩展板组成，图像处理系统被模块化设计，可
以根据实际应用场景灵活配置，例如针对不同的相机及视频来源接口，配置不同扩展板，适应不同环境用途。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种应用于目标识别与跟踪的新型视频图像处理系统，其特征在于，本系统的视频接口在收到数据后发送给FPGA预处理，FPGA再通过PCIEX4总线交于GPU运算，GPU将处理完成的数据转交给FPGA通过视频接口或网口发送出去，同时发送相机驱动信号，跟踪检测目标，并配有FPGA扩展板，可扩展其他功能接口；
所述视频接口，为Camera Link输入接口和CVBS视频图像输出接口，输入接口收在到数据之后经过解码芯片将视频数据解码后发送给FPGA处理，输出接口，将FPGA发出的数据编码成CVBS制视频信号发送出去；
本系统只需一个电源连接器供电，通过电源管理模块，转化为FPGA和GPU需要的各种电源电压。
2.根据权利要求1所述的视频图像处理系统，其特征在于，所述GPU模块为NVDIA公司的高性能处理器Jetson TX2，其可搭载系统。
3.根据权利要求1所述的视频图像处理系统，其特征在于，所述功能扩展板可根据特定需求，设计特定功能扩展板。
4.根据权利要求1所述的视频图像处理系统，其特征在于，所述GPU模块向外引出了USB接口、HDMI接口。
5.根据权利要求1所述的视频图像处理系统，其特征在于，所述GPU模块向外引出了mSATA接口和SD Card 接口，可搭载mSATA硬盘和SD存储卡。
6.根据权利要求1所述的视频图像处理系统，其特征在于，所述FPGA模块搭载4片512MB的DDR3内存。
7.根据权利要求1所述的视频图像处理系统，其特征在于，所述电源管理模块采用TI公司的TPS56221芯片和TPS54622芯片。
8.根据权利要求1所述的视频图像处理系统，其特征在于，所述相机驱动采用RS422接口控制相机驱动。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011222324.1A CN112311960A (zh) | 2020-11-05 | 2020-11-05 | 一种应用于目标识别与跟踪的新型视频图像处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011222324.1A CN112311960A (zh) | 2020-11-05 | 2020-11-05 | 一种应用于目标识别与跟踪的新型视频图像处理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112311960A true CN112311960A (zh) | 2021-02-02 |
Family
ID=74325034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011222324.1A Pending CN112311960A (zh) | 2020-11-05 | 2020-11-05 | 一种应用于目标识别与跟踪的新型视频图像处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112311960A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977987A (zh) * | 2017-11-20 | 2018-05-01 | 北京理工大学 | 一种无人机载多目标探测跟踪、指示系统及方法 |
| CN107977988A (zh) * | 2017-11-21 | 2018-05-01 | 北京航宇创通技术有限公司 | 视频目标跟踪系统、方法、所述系统的控制板 |
| CN108696727A (zh) * | 2018-08-10 | 2018-10-23 | 杭州言曼科技有限公司 | 工业相机 |
| CN108804376A (zh) * | 2018-06-14 | 2018-11-13 | 山东航天电子技术研究所 | 一种基于gpu和fpga的小型异构处理系统 |
| CN209044577U (zh) * | 2018-12-27 | 2019-06-28 | 北京盛博协同科技有限责任公司 | 综合显示控制模块 |
-
2020
- 2020-11-05 CN CN202011222324.1A patent/CN112311960A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977987A (zh) * | 2017-11-20 | 2018-05-01 | 北京理工大学 | 一种无人机载多目标探测跟踪、指示系统及方法 |
| CN107977988A (zh) * | 2017-11-21 | 2018-05-01 | 北京航宇创通技术有限公司 | 视频目标跟踪系统、方法、所述系统的控制板 |
| CN108804376A (zh) * | 2018-06-14 | 2018-11-13 | 山东航天电子技术研究所 | 一种基于gpu和fpga的小型异构处理系统 |
| CN108696727A (zh) * | 2018-08-10 | 2018-10-23 | 杭州言曼科技有限公司 | 工业相机 |
| CN209044577U (zh) * | 2018-12-27 | 2019-06-28 | 北京盛博协同科技有限责任公司 | 综合显示控制模块 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108804376B (zh) | 一种基于gpu和fpga的小型异构处理系统 | |
| US8347158B2 (en) | System-on-chip with master/slave debug interface | |
| CN204595692U (zh) | 基于申威410处理器和申威套片的vpx计算机主板 | |
| CN107704413A (zh) | 一种基于vpx架构的加固型并行信息处理平台 | |
| CN104811643A (zh) | 基于sd卡阵列的图像数据高速存储系统 | |
| CN211956466U (zh) | 一种基于飞腾处理器的存储主板 | |
| CN110766600B (zh) | 一种分布式架构的图像处理系统 | |
| CN202383569U (zh) | 一种具有多功能、可扩展的pcie接口装置的主板 | |
| CN105118441A (zh) | 用于异步控制系统的led显示屏控制卡 | |
| CN114610483A (zh) | 一种基于npu+fpga架构的vpx型异构加速模块 | |
| CN110825687B (zh) | 一种基于dsp多核架构双模跟踪方法 | |
| CN110569173B (zh) | 一种基于龙芯ip核的服务器健康管理芯片及实现方法 | |
| Patauner et al. | FPGA based microserver for high performance real-time computing in Adaptive Optics | |
| CN112311960A (zh) | 一种应用于目标识别与跟踪的新型视频图像处理系统 | |
| CN108833242B (zh) | 一种二取二安全数据处理与仲裁方法 | |
| CN115718529A (zh) | 一种基于龙芯cpu come模块加固计算机主板系统 | |
| CN203204494U (zh) | 结合多功能高稳定性插槽结构与多功能插卡模块的系统 | |
| RU167666U1 (ru) | Процессорный модуль (MBE2S-PC) | |
| CN110442542B (zh) | 一种箭载计算机 | |
| CN209281294U (zh) | 一种基于申威1621处理器和申威ich2芯片组的eeb服务器主板 | |
| CN113741648A (zh) | 一种计算机硬件系统 | |
| CN217787763U (zh) | 智慧公交车载ai智能客流统计终端核心模组 | |
| CN111797049A (zh) | 一种双路计算主板架构 | |
| CN219162697U (zh) | 一种基于“fpga+ai芯”的巡飞器一体化智能信息处理装置 | |
| CN114520919B (zh) | 一种高速视频信号处理系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210202 |
|
| RJ01 | Rejection of invention patent application after publication |