CN106921861B - 多处理器架构的实时图像压缩平台 - Google Patents

多处理器架构的实时图像压缩平台 Download PDF

Info

Publication number
CN106921861B
CN106921861B CN201510995953.0A CN201510995953A CN106921861B CN 106921861 B CN106921861 B CN 106921861B CN 201510995953 A CN201510995953 A CN 201510995953A CN 106921861 B CN106921861 B CN 106921861B
Authority
CN
China
Prior art keywords
fpga
coding
real
dsp
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510995953.0A
Other languages
English (en)
Other versions
CN106921861A (zh
Inventor
刘攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aerospace Aiwei Electronic Technology Ltd
Beijing Institute of Computer Technology and Applications
Original Assignee
Beijing Aerospace Aiwei Electronic Technology Ltd
Beijing Institute of Computer Technology and Applications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aerospace Aiwei Electronic Technology Ltd, Beijing Institute of Computer Technology and Applications filed Critical Beijing Aerospace Aiwei Electronic Technology Ltd
Priority to CN201510995953.0A priority Critical patent/CN106921861B/zh
Publication of CN106921861A publication Critical patent/CN106921861A/zh
Application granted granted Critical
Publication of CN106921861B publication Critical patent/CN106921861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/93—Run-length coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明公开了一种多处理器架构的实时图像压缩平台，其中，包括：至少一解码芯片，第一FPGA，DSP，ARM处理器以及存储器；该至少一解码芯片用于进行图像输入源的解码；该第一FPGA用于接收缓存解码芯片输出的数字图像信号，以及信号的预处理，根据不同的视频源完成相应的图像预处理；该DSP用于图像的压缩编码；该ARM处理器用于进行压缩码流的对外传输；该存储器用于进行图像的缓存。

Description

多处理器架构的实时图像压缩平台
技术领域
本发明涉及一种视频处理技术领域，特别涉及一种多处理器架构的实时图像压缩平台。
背景技术
随着图形图像技术的发展，对于芯片电路的图像的实时压缩能力提出了越来越高的要求，现有的图像压缩平台的压缩能力以及压缩算法已经无法满足日益提高的需求。
发明内容
本发明的目的在于提供一种多处理器架构的实时图像压缩平台，用于解决上述现有技术的问题。
本发明一种多处理器架构的实时图像压缩平台，其中，包括：至少一解码芯片，第一FPGA，DSP，ARM处理器以及存储器；该至少一解码芯片用于进行图像输入源的解码；该第一FPGA用于接收缓存解码芯片输出的数字图像信号，以及信号的预处理，根据不同的视频源完成相应的图像预处理；该DSP用于图像的压缩编码；该ARM处理器用于进行压缩码流的对外传输；该存储器用于进行图像的缓存。
根据本发明的多处理器架构的实时图像压缩平台的一实施例，其中，包括：第二FPGA，用于辅助该DSP的图像的压缩编码。
根据本发明的多处理器架构的实时图像压缩平台的一实施例，其中，包括：该解码芯片的解码包括模拟信号到数字信号的转变以及串行数字信号到并行数字信号的转换。
根据本发明的多处理器架构的实时图像压缩平台的一实施例，其中，该压缩编码的算法为游程编码和小波编码。
根据本发明的多处理器架构的实时图像压缩平台的一实施例，其中，该第一FPGA以及第二FPGA分别设置有一存储器，用于进行图像的缓存。
根据本发明的多处理器架构的实时图像压缩平台的一实施例，其中，该ARM处理器还用于进行该FPGA以及该DSP的程序加载。
根据本发明的多处理器架构的实时图像压缩平台的一实施例，其中，该第一FPGA与该第二FPGA之间采用高速串行总线完成数据的传输；该FPGA与该DSP之间采用EMIF口通信，该第二FPGA与该ARM处理器之间采用PCI-E高速总线进行数据传输。
根据本发明的多处理器架构的实时图像压缩平台的一实施例，其中，还包括：FLASH存储器用于存储该FPGA以及该DSP的应用程序。
综上，本发明的多处理器架构的实时图像压缩平台，能够满足对于图像实时压缩能力的要求，解决了现有的图像的实时压缩芯片实时压缩能力不足的问题。
附图说明
图1所示为本发明多处理器架构的实时图像压缩平台的模块图；
图2所示为本发明多处理器架构的实时图像压缩平台通信原理示意图；
图3所示为FPGA的工作原理模块图；
图4所示为游程编码的流程框图；
图5所示为小波编码算法的流程图；
图6所示为本发明多处理器架构的实时图像压缩平台的工作原理图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
图1所示为本发明多处理器架构的实时图像压缩平台的模块图，本发明多处理器架构的实时图像压缩平台是能够实现多路视频源输入，多种压缩算法按需加载的通用图像压缩平台。本发明多处理器架构的实时图像压缩平台包括多种视频制式的解码芯片101-104，解码芯片的数量和类型灵活可变，FPGA1、FPGA2、DSP11、DSP12、ARM3以及DDR4。
参考图1，解码芯片101-104(数量不以此为限)负责完成图像输入源的解码，包括各种不同制式的视频源(可见光的，红外的，微光的，低分辨率的，高清分辨率的)，分别完成解码。解码功能不限定于模拟信号到数字信号的转变，也可以完成串行数字信号到并行数字信号的转换。FPGA1用于接收缓存解码芯片101-104输出的数字图像信号，以及信号的预处理，根据不同的视频源完成相应的图像预处理。例如红外图像需要进行非均匀性校正操作，微光图像进行图像帧叠加操作，以及图像的增强和直方图均衡化等操作。FPGA2、DSP11以及DSP12协同配合，共同实现多路图像源的压缩编码工作。压缩编码算法可以主要采用游程编码和小波编码。ARM处理器3用于压缩码流的对外传输，可以采用千兆以太网接口，ARM处理器3用于对外通信和控制，例如通过以太网接口接收外部命令可以选择加载游程编码或者小波编码算法。
FPGA1以及FPGA2可分别外挂大容量DDR内存4以实现图像的多帧缓存。
参考图1，整个系统的主控制器为ARM处理器3，FPGA1接收到图像源后分别对图像进行预处理操作，然后判别图像类别，并把判别信息传输给ARM处理器3，由ARM处理器3决定使用何种算法或者根据以太网接口收到的控制命令来决定使用何种算法，由ARM处理器3来完成FPGA2，DSP11以及DSP12的程序加载。进行图像压缩算法实现的核心为FPGA2+DSP11+DSP12处理器。
参考图1，FPGA1与FPGA2之间采用高速串行总线完成数据的传输。FPGA2与DSP1和DSP2之间采用EMIF口通信，完成数据的交换，在FPGA2中两块双口RAM(DPRAM)与EMIF互联。FPGA2与ARM之间采用PCI-E高速总线进行数据传输，数据主要为压缩的码流。
图2所示为本发明多处理器架构的实时图像压缩平台通信原理示意图，如图1以及图2所示，平台的各个处理器的应用程序可以统一存储在一片大容量的FLASH存储器5中，可以根据系统需要加载，程序统一存储也便于程序的更新和管理。大容量FLASH存储器5挂载在ARM处理器3上，由ARM处理器3负责对FPGA2，DSP1，DSP2处理器依次加载。平台加电启动后，ARM处理器3首先完成程序的加载操作，然后ARM处理器进行FPGA2的程序加载操作，当FPGA2启动以后，进行DSP1和DSP2的程序加载工作，读取大容量FLASH存储器5中的DSP1和DSP2程序并完成DSP1和DSP2处理器的程序加载。FPGA1也可以单独挂载一片FLASH芯片完成自身的程序加载操作。
参考图1和图2，ARM处理器3可以采用J-LINK仿真器和RS232串口完成仿真调试工作。FPGA1和FPGA2采用菊花链式JTAG连接实现程序的调试。DSP1和DSP2也采用菊花链式JTAG接口完成程序的调试。
图3所示为FPGA的工作原理模块图，参考图1以及图3，FPGA1主要完成原始输入图像数据的预处理操作，包括非均匀性校正、色彩空间转换、直方图均衡等。如果输入图像为红外图像则进行非均匀性校正操作，对于彩色图像可能需要进行色彩空间转换操作，以及图像增强和去噪等操作。
参考图1，由FPGA2处理器、DSP11和DSP12处理器协同配合，共同实现多路图像源的压缩编码工作。压缩编码算法主要采用游程编码和小波编码。
游程编码算法主要包括：离散余弦变换+量化+Zigzag编码+熵编码操作。小波编码算法主要包括：小波变换+量化+嵌入式块编码+优化截断操作。
图4所示为游程编码的流程框图，如图4所示，采用的游程编码算法主要包括离散余弦变换+量化+Zigzag编码+熵编码操作。在FPGA2处理器中即可实现，无需占用其他处理器资源。经过FPGA1处理器预处理后的图像数据首先分成8*8的方块，然后对每个小方块分别进行离散余弦变换，将图像从空间域转换到频率域，每个小方块变换后得到一个8*8系数表，左上角代表最低频信息，右下角代表最高频信息；量化操作就是对8*8系数表的每个值分别除以某个值，其原则是对低频信号除以较小的值，对高频系数除以较大的值，从而达到尽量保留低频系数，减小高频系数的目的，起到的压缩的作用。经过量化后的系数进行Zigzag重排序就会提高64个系数出现连续0系数的概率，从而为游程编码提供了可能。然后对游程编码结果进行熵编码，进一步压缩数据量得到最终的压缩码流。
图5所示为小波编码算法的流程图，如图5所示，对于小波压缩算法，必须借助多个处理器并建立合理的并行体系才能实时实现.流水线并行方法和单指令流多数据流(Single Program MultipleData，SPMD)并行方法是计算机并行处理领域内最为通用的两种并行方法。本系统的压缩算法硬件实现方案借用这两种并行思想，建立了其并行体系结构，如图所示，利用DSP处理器的流水线操作将小波压缩算法分解成三部分，与三级流水线对应。包括离散小波变换和量化，嵌入式块编码，优化截断。利用SPMD思想将编码任务分派给FPGA2和DSP1，DSP2处理器，交由它们共同完成。在三级流水线中，第一、三级任务被映射到FPGA2中执行，第二级流水任务被映射到DSP1，DSP2中共同执行。
参考图1以及图5，多路并行的图像数据经过FPGA1处理后缓存在外部存储器中，当缓存数据满一个图像帧时，FPGA2执行小波变换+量化运算，运算结果存入外部DDR缓存中，DSP1和DSP2分别通过EMIF接口将运算的结果读出并执行嵌入式块编码运算，运算结果通过EMIF接口写入外部DDR缓存中.当一个图像帧的所有编码块的嵌入式块编码运算结果写入DDR缓存时，FPGA2执行优化截断运算，得到最终的压缩码流，并通过PCI-E总线输出到ARM处理器中。ARM处理器通过千兆以太网输出。
图6所示为本发明多处理器架构的实时图像压缩平台的工作原理图，参考图1-6，原始图像经过小波变换后得到一幅小波系数，量化模块对小波系数进行量化操作，为压缩提供可能性。嵌入式块编码1和嵌入式块编码2执行相同的操作，并行操作，提高数据处理能力，其将各个子带分成一个个相对独立的码块，然后进行编码操作，产生压缩码流。FPGA2再对码流进行优化截断处理产生最终的码流。
参考图1-6，将各个处理器(FPGA1处理器除外)的程序统一存储在大容量FLASH中，该FLASH挂载在ARM处理器上，所以FPGA2,DSP1,DSP2处理器的程序加载工作由ARM处理器统一控制完成。
参考图1-6，将FPGA2的配置管脚连接到ARM处理器的一组GPIO引脚。FPGA2配置引脚中的INIT(初始化信号)，DONE(配置完成信号)统一连接到ARM处理器。当ARM处理器完成自身的程序加载后即跳转到启动代码1处。启动代码1的程序功能就是利用ARM处理器的GPIO接口模拟FPGA2配置时序，将存储在大容量FLASH中的FPGA2程序传输到FPGA2中。
参考图1-6，DSP1和DSP2的程序加载工作由FPGA2完成。当FPGA2启动以后首先完成DSP1和DSP2的程序加载。具体实现途径为：在FPGA2中构造两个HPI接口控制器分别与DSP1和DSP2的HPI口连接。FPGA2首先需要读取大容量FLASH中的DSP1和DSP2的配置程序到FPGA2中缓存，该功能通过FPGA2和ARM处理器之间的PCI-E总线完成数据传输。然后FPGA2通过两个HPI口同时完成DSP1和DSP2的程序配置。
各个程序文件按照如表1所示的顺序，从FLASH空间0地址开始依次存放。
表1
Figure BDA0000890521390000071
综上，本发明的多处理器架构的实时图像压缩平台，能够满足对于图像实时压缩能力的要求，解决了现有的图像的实时压缩芯片实时压缩能力不足的问题。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (7)

1.一种多处理器架构的实时图像压缩平台，其特征在于，包括：至少一解码芯片，第一FPGA，DSP，ARM处理器以及存储器；
该至少一解码芯片用于进行图像输入源的解码；
该第一FPGA用于接收缓存解码芯片输出的数字图像信号，以及信号的预处理，根据不同的视频源完成相应的图像预处理；
该DSP用于图像的压缩编码；
该ARM处理器用于进行压缩码流的对外传输；
该存储器用于进行图像的缓存；
由第二FPGA处理器、DSP协同配合，共同实现多路图像源的压缩编码工作,压缩编码算法采用游程编码和小波编码；
第二FPGA，用于辅助该DSP的图像的压缩编码；
经过第一FPGA处理器预处理后的图像数据首先分成8*8的方块，然后对每个小方块分别进行离散余弦变换，将图像从空间域转换到频率域，每个小方块变换后得到一个8*8系数表，左上角代表最低频信息，右下角代表最高频信息；量化操作是对8*8系数表的每个值分别除以某一个预定值，对低频信号除以一小预定值，对高频系数除以一大预定值，以保留低频系数，减小高频系数，经过量化后的系数进行Zigzag重排序，对游程编码结果进行熵编码，进一步压缩数据量得到最终的压缩码流；
利用DSP处理器的流水线操作将小波压缩算法分解成三部分，与三级流水线对应包括离散小波变换和量化、嵌入式块编码以及优化截断，将编码任务分派给第二FPGA和DSP处理器；在三级流水线中，第一以及三级任务被映射到第二FPGA中执行，第二级流水任务被映射到DSP中执行。
2.如权利要求1所述的多处理器架构的实时图像压缩平台，其特征在于，包括：该解码芯片的解码包括模拟信号到数字信号的转变以及串行数字信号到并行数字信号的转换。
3.如权利要求1所述的多处理器架构的实时图像压缩平台，其特征在于，该压缩编码的算法为游程编码和小波编码。
4.如权利要求1所述的多处理器架构的实时图像压缩平台，其特征在于，该第一FPGA以及第二FPGA分别设置有一存储器，用于进行图像的缓存。
5.如权利要求1所述的多处理器架构的实时图像压缩平台，其特征在于，该ARM处理器还用于进行该FPGA以及该DSP的程序加载。
6.如权利要求1所述的多处理器架构的实时图像压缩平台，其特征在于，该第一FPGA与该第二FPGA之间采用高速串行总线完成数据的传输；该FPGA与该DSP之间采用EMIF口通信，该第二FPGA与该ARM处理器之间采用PCI-E高速总线进行数据传输。
7.如权利要求1所述的多处理器架构的实时图像压缩平台，其特征在于，还包括：FLASH存储器用于存储该FPGA以及该DSP的应用程序。
CN201510995953.0A 2015-12-25 2015-12-25 多处理器架构的实时图像压缩平台 Active CN106921861B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510995953.0A CN106921861B (zh) 2015-12-25 2015-12-25 多处理器架构的实时图像压缩平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510995953.0A CN106921861B (zh) 2015-12-25 2015-12-25 多处理器架构的实时图像压缩平台

Publications (2)

Publication Number Publication Date
CN106921861A CN106921861A (zh) 2017-07-04
CN106921861B true CN106921861B (zh) 2020-04-21

Family

ID=59456366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510995953.0A Active CN106921861B (zh) 2015-12-25 2015-12-25 多处理器架构的实时图像压缩平台

Country Status (1)

Country Link
CN (1) CN106921861B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277373B (zh) * 2017-07-28 2020-02-07 北京计算机技术及应用研究所 一种高速实时图像处理系统的硬件电路
CN107809643B (zh) * 2017-11-13 2020-11-20 苏州浪潮智能科技有限公司 一种图像的解码方法、装置及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186076A (zh) * 2011-04-29 2011-09-14 中国科学院光电技术研究所 一种实时码率预分配的图像压缩方法及图像压缩装置
CN103945124A (zh) * 2014-04-11 2014-07-23 厦门麦克玛视电子信息技术有限公司 一种智能相机的控制方法
CN103997648A (zh) * 2014-06-11 2014-08-20 中国科学院自动化研究所 一种基于dsp的jpeg2000标准图像快速解压缩系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201663664U (zh) * 2010-03-17 2010-12-01 浙江机电职业技术学院 双cpu结构的网络视频服务器
CN203057353U (zh) * 2012-12-26 2013-07-10 沈阳聚德视频技术有限公司 高清智能视觉一体机
CN104869352A (zh) * 2014-12-01 2015-08-26 重庆凯泽科技有限公司 一种模块化实时图像处理系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186076A (zh) * 2011-04-29 2011-09-14 中国科学院光电技术研究所 一种实时码率预分配的图像压缩方法及图像压缩装置
CN103945124A (zh) * 2014-04-11 2014-07-23 厦门麦克玛视电子信息技术有限公司 一种智能相机的控制方法
CN103997648A (zh) * 2014-06-11 2014-08-20 中国科学院自动化研究所 一种基于dsp的jpeg2000标准图像快速解压缩系统及方法

Also Published As

Publication number Publication date
CN106921861A (zh) 2017-07-04

Similar Documents

Publication Publication Date Title
US10970080B2 (en) Systems and methods for programmable hardware architecture for machine learning
US10409887B1 (en) Generalized dot product for computer vision applications
US11593609B2 (en) Vector quantization decoding hardware unit for real-time dynamic decompression for parameters of neural networks
WO2020073211A1 (zh) 运算加速器、处理方法及相关设备
CN111178518A (zh) 一种基于fpga的软硬件协同的加速方法
US10671401B1 (en) Memory hierarchy to transfer vector data for operators of a directed acyclic graph
WO2021115208A1 (zh) 神经网络处理器、芯片和电子设备
US11403104B2 (en) Neural network processor, chip and electronic device
CN112799726A (zh) 数据处理装置、方法及相关产品
CN106921861B (zh) 多处理器架构的实时图像压缩平台
CN103414901A (zh) 一种快速jpeg2000图像压缩系统
CN110909870A (zh) 训练装置及方法
CN113807998A (zh) 图像处理方法、目标检测装置、机器视觉设备和存储介质
CN102547291B (zh) 基于fpga的jpeg2000图像解码装置及方法
CN114399035A (zh) 搬运数据的方法、直接存储器访问装置以及计算机系统
Liu et al. Parallel program design for JPEG compression encoding
CN109740730B (zh) 运算方法、装置及相关产品
WO2017084071A1 (en) Optimization of interframe prediction algorithms based on heterogeneous computing
CN111047035A (zh) 神经网络处理器、芯片和电子设备
CN115577747A (zh) 一种高并行度的异构卷积神经网络加速器及加速方法
US11935153B2 (en) Data compression support for accelerated processor
CN115222028A (zh) 基于fpga的一维cnn-lstm加速平台及实现方法
CN111382853B (zh) 数据处理装置、方法、芯片及电子设备
CN111382852B (zh) 数据处理装置、方法、芯片及电子设备
US20150262325A1 (en) Device for image decomposition using a wavelet transform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant