CN104112053B - 一种面向图像处理的可重构架构平台设计方法 - Google Patents

一种面向图像处理的可重构架构平台设计方法 Download PDF

Info

Publication number
CN104112053B
CN104112053B CN201410369673.4A CN201410369673A CN104112053B CN 104112053 B CN104112053 B CN 104112053B CN 201410369673 A CN201410369673 A CN 201410369673A CN 104112053 B CN104112053 B CN 104112053B
Authority
CN
China
Prior art keywords
algorithm
task
image
data
reconfigurable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410369673.4A
Other languages
English (en)
Other versions
CN104112053A (zh
Inventor
杨硕
周津
杨阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Jinhang Computing Technology Research Institute
Original Assignee
No 8357 Research Institute of Third Academy of CASIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by No 8357 Research Institute of Third Academy of CASIC filed Critical No 8357 Research Institute of Third Academy of CASIC
Priority to CN201410369673.4A priority Critical patent/CN104112053B/zh
Publication of CN104112053A publication Critical patent/CN104112053A/zh
Application granted granted Critical
Publication of CN104112053B publication Critical patent/CN104112053B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种面向图像处理的可重构架构平台设计方法。该设计方法首先,分析并归纳常用复杂算法的多种运算类型。其次,对图像算法处理流程进行了可重构架构下的软硬件划分。然后,对多类型的图像算法运算类型进行可重构单元设计和实现,并在此基础上,对通用性的复杂算法全局互联架构进行了方案设计和技术实现。最后,基于此架构进行了通用化的卷积运算IP核的设计与实现。

Description

一种面向图像处理的可重构架构平台设计方法
技术领域
本发明属于可重构设计技术领域,具体涉及一种面向图像处理的可重构架构平台设计方法。
背景技术
目前面向各领域应用的图像处理越来越复杂,各种图像处理算法(如图像预处理、图像检测、跟踪等)运算量都十分巨大,同时又有着极高的实时性要求。基于DSP+FPGA的协同处理架构是目前采用的常用方法。在实现对相关算法软硬划分的基础上,充分发挥DSP的软件灵活性和FPGA的硬件实时性,实现系统软硬件协同工作与可靠运行。
基于FPGA芯片的复杂算法处理所耗费的硬件资源非常巨大,导致在设计选型时都选用国外高端FPGA芯片,这些芯片短期内无法找到国产化替代的FPGA。随着系统设计集成化水平越来越高,传统的图像算法处理方案无法解决算法性能提升与资源消耗降低之间的矛盾,因此这就要求新的硬件平台在保证应用需求的灵活性前提下尽量获得ASIC的效率和性能。
近几年发展起来的可重构处理器得到了广泛的研究,可重构架构在灵活性上吸取了DSP和FPGA可配置的特点,采用颗粒度更大的结构,获得性能提升的同时降低了配置的复杂性,提高了资源利用率,虽然在通用性上有所降低,但仍然可以满足特定领域的需求,获得接近ASIC的效率。
发明内容
针对现有技术的不足,本发明拟解决的技术问题是:提供一种面向图像处理的可重构架构平台设计方法。该设计方法首先,分析并归纳常用复杂算法的多种运算类型。其次,对图像算法处理流程进行了可重构架构下的软硬件划分。然后,对多类型的图像算法运算类型进行可重构单元设计和实现,并在此基础上,对通用性的复杂算法全局互联架构进行了方案设计和技术实现。最后,基于此架构进行了通用化的卷积运算IP核的设计与实现。
本发明解决所述技术问题的技术解决方案是:提供一种面向图像处理的可重构架构平台设计方法,其特征在于包括以下步骤:
步骤一、实现信息处理流程及复杂算法组合:
通过对信号处理中各个图像处理算法运算类型在硬件上涉及的操作以及运算数据类型的分析,归类四种基本运算类型及其组合;
所述四种基本运算类型是乘加算术运算、比特串行运算、累加与数值比较运算和数据存取;
在复杂算法映射时,可通过配置、互联重构,分时复用组合四种基本运算类型,实现复杂算法映射;
步骤二、基于功能和效率的复杂算法软硬件划分方法:
①不适宜由软件处理的任务应由硬件来做;
②图像算法的大数据流的预处理任务由硬件来做;
③关键路径上性能要求苛刻的任务应由硬件来做;
④关键路径上、多循环次数的特定复杂运算任务应由硬件来做;
⑤图像算法主处理任务的特征提取和大数据量的特征匹配由硬件来做;
⑥图像算法主处理任务关键路径上、多分支判断结构的子任务应由软件来做;
⑦有可重配置性与多应用性灵活要求的任务应由软件来做;
步骤三、算法芯片结构设计:
将四种基本运算类型作为可重构功能单元的基本粒度,针对数据片上流向特点设计出片上互联结构,结合数据存储器、配置信息存储器,图像算法处理指令控制器和逻辑控制引擎,实现了一个可扩展的通用可重构算法芯片处理架构平台;
步骤四、卷积运算IP核设计与实现:
不以卷积窗口运算作为主要计算方式,而采用行累加、列累加并进行减法消除,减少乘法和加法运算单元的资源调用,采用步骤三的可重构算法芯片处理架构平台来完成资源优化。
所述步骤一中的乘加算术运算是对数值结果的移位;所述比特串行运算是单比特的移位、数据抽头和数据异或。
所述对数值结果的移位是FFT中的蝶形运算、相关、滤波变换以及数字信号处理中常用的各种卷积运算、矩阵乘法;所述单比特的移位、数据抽头和数据异或是编码、高速串行、CRC校验。
所述步骤一中的累加与数值比较运算是图像处理常用的取最大值或最小值;所述数据存取是数据缓存、转置存储或直方图统计。
所述步骤二的不适宜由软件处理的任务是图像采集的高速接口传输和数模转换;所述图像算法的大数据流的预处理任务是校正、滤波、边缘检测、阈值分割;所述关键路径上性能要求苛刻的任务是图像压缩的编解码;所述关键路径上、多循环次数的特定复杂运算任务是如卷积运算、FFT;所述图像算法主处理任务的特征提取和大数据量的特征匹配是SIFT算法的特征点提取和匹配;所述图像算法主处理任务关键路径上、多分支判断结构的子任务是目标识别、目标判断和目标决策;有可重配置性与多应用性灵活要求的任务是CPU可重构指令的控制分配。
所述步骤三的可重构的算法芯片架构平台包括配置信息存储器、图像算法处理指令控制器、逻辑控制引擎、可重构功能单元核、数据存储器以及全局互联;
所述配置信息存储器与逻辑控制引擎连接;图像算法处理指令控制器与逻辑控制引擎连接;逻辑控制引擎与图像算法处理指令控制器、可重构功能单元核和配置信息存储器相连接;可重构功能单元核与全局互联和逻辑控制引擎相连接,数据存储器与图像算法处理指令控制器和全局互联相连接;全局互联与可重构功能单元核和数据存储器相连接。
所述可重构功能单元核包括至少一个可重构单元。
所述可重构单元由局部互联和至少一个可重构单元切片构成。
与现有技术相比,本发明的有益效果是:
1、本发明具备一定的通用性,在总结和精炼常用图像处理算法的基础上,分析了算法的运算特点,归纳了算法的运算类型,可很好的适用于基于SOPC和ASIC的复杂算法设计。
2、本发明最大程度化节约了硬件资源,在有限的硬件资源上实现多种复杂算法功能,不依赖国外高端的FPGA芯片,有利于FPGA芯片国产化的发展进程。
3、本发明将传统的功能模块化的IP核变为可重构运算单元与配置指令化IP核,通过选取不同的配置指令利用有限的可重构运算资源进行互联和运算。
附图说明
图1是本发明一种面向图像处理的可重构架构平台设计方法的可重构算法芯片架构设计;
图2是本发明一种面向图像处理的可重构架构平台设计方法的全局互联及存储架构;
图3是本发明一种面向图像处理的可重构架构平台设计方法的卷积运算结构设计。
具体实施方式
下面结合附图和实例对本发明进行详细介绍。
本发明设计的一种面向图像处理的可重构架构平台设计方法(参见图1-3),具体步骤如下:
步骤一、实现信息处理流程及复杂算法组合:
通过对信号处理中各个图像处理算法运算类型在硬件上涉及的操作以及运算数据类型的分析,归类四种基本的运算类型,为基本可重构运算单元的架构设计提供依据。
①图像校正一般分为灰度校正和几何校正,典型应用为非均匀性校正和稳像处理,操作类型为矩阵操作,运算类型为数据存取和乘加运算。
②图像检测一般分为点目标和直线目标检测。点目标检测一般采用局部滤波方式,运算类型为数据缓存和乘加运算。直线检测一般采用hough变换,其对应的运算类型为数据存取、乘加和数值比较操作。
③图像分割一般为点目标分割和面目标分割,将具有共同特性的像素聚类。典型应用为连通域标记和区域生长算法,运算类型为数据存取、数值比较和选择运算。
④图像跟踪一般分为点目标跟踪和面目标跟踪,其中点目标跟踪的典型应用为卡尔曼滤波跟踪算法,运算类型为数据存取和乘加运算。面目标跟踪分为特征匹配和区域匹配,其中特征点匹配典型应用为SIFT算法,运算类型为乘加、数值比较,特征点匹配操作类型为矩阵操作,运算类型为乘加运算、数值比较、数据存取运算和选择运算。区域匹配典型应用为积相关匹配算法,可采用卷积和FFT两种运算方式实现,卷积运算类型为数据存储和乘加运算,FFT算法运算类型为数据存储和乘加运算。
⑤图像增强一般采用图像直方图增强和DDE增强算法,其中直方图增强算法的运算类型为数据存取、累加和数据比较运算。DDE增强算法运算类型为数据缓存、乘加运算。
⑥图像压缩一般采用频域变换方式,如DCT、小波变换等算法,DCT涉操作类型为局部滤波和并行串行转换操作,运算类型为数据缓存、乘加和比特串行运算。小波变换数据类型为数据缓存和乘加运算。
表1 图像处理算法的运算类型的分析和归类总结
通过上述图像处理算法的运算类型的分析和归类总结(参见表1)可以看出,虽然图像处理算法的运算方式和操作丰富,但是其运算类型存在一定的共性,可以归结以下四种基本运算类型及其组合,代表性地覆盖了一些基本的图像运算类型:
①乘加算术运算,包括对数值结果的移位。如FFT中的蝶形运算、相关、滤波变换,以及数字信号处理中常用的各种卷积运算、矩阵乘法等。
②比特串行运算,包括单比特的移位,数据抽头或数据异或。如编码、高速串行、CRC校验等。
③累加与数值比较运算。如图像处理常用的取最大值或最小值等。
④数据存取。如数据缓存、转置存储或直方图统计等。
依据上述归类的运算类型,可以将各种复杂的图像处理算法最大程度地分解为四种运算类型的组合,并有针对性地对四种运算类型分别进行可重构运算单元电路结构的设计。在复杂算法映射时,可通过配置、互联重构,分时复用四种运算单元,有效的提高算法实现时硬件资源的利用率,提高系统集成的可靠性。
步骤二、基于功能和效率的复杂算法软硬件划分原则:
典型图像处理流程可被视为两个符合系统任务,其中一条流程为图像采集、图像校正、图像检测、图像分割和图像跟踪,另一条为图像采集、图像校正、图像增强、图像压缩和图像显示。上述两条单任务流图需要进一步深入的子任务细化。根据研究结果,单任务流图的软硬件划分原则如下:
①不适宜由软件处理的任务应由硬件来做(如图像采集的高速接口传输和数模转换);
②图像算法的大数据流的预处理任务由硬件来做(如校正、滤波、边缘检测、阈值分割);
③关键路径上性能要求苛刻的任务应由硬件来做(如图像压缩的编解码);
④关键路径上、多循环次数的特定复杂运算任务应由硬件来做(如卷积运算、FFT等);
⑤图像算法主处理任务的特征提取和大数据量的特征匹配由硬件来做(如SIFT算法的特征点提取和匹配);
⑥图像算法主处理任务关键路径上、多分支判断结构的子任务应由软件来做(如目标识别、目标判断和决策);
⑦有可重配置性与多应用性灵活要求的任务应由软件来做(CPU可重构指令的控制分配)。
面向可重构算法系统芯片,为从本质上提高任意单任务流图的IO吞吐量和硬件的重复利用率,可采用更为宏观的硬件流水线划分算法。根据常用算法运算类型分解,我们总可以将任意串行单任务流图根据相似性原则纵向划分为几个子图。其中运算类型最相似的子图可以用一个合成子图来描述并用一个定制可重构硬件模块单元来实现,而不同的硬件模块之间则可以实现一种宏流水线的软件调度方式从而使总系统IO吞吐量和硬件的重复利用率成倍增加。
步骤三、算法芯片结构设计:
本发明的主要思想是针对图像算法运算特点,提取基本运算类型,将其作为可重构功能单元的基本粒度,针对数据片上流向特点设计出结构简单且传输高效的片上互联结构,结合数据存储器、配置信息存储器,图像算法处理指令控制器和逻辑控制引擎,实现了一个可扩展的通用可重构算法芯片处理架构平台。
可重构的算法芯片架构平台设计需要为每一种运算类型设计出相应的功能单元,将它们结合起来构成可重构功能单元核,承担图像算法的主要运算工作。同时,还需设计全局互联,配置信息存储器、数据存储器、逻辑控制引擎,结合图像算法处理指令控制器完成可重构图像处理任务,具体组织结构参见图1。
可重构的算法芯片架构平台(参见图1)包括下列功能单元:配置信息存储器、图像算法处理指令控制器、逻辑控制引擎、可重构功能单元核、数据存储器以及全局互联。所述配置信息存储器与逻辑控制引擎连接;图像算法处理指令控制器与逻辑控制引擎连接;逻辑控制引擎与图像算法处理指令控制器、可重构功能单元核和配置信息存储器相连接;可重构功能单元核与全局互联和逻辑控制引擎相连接,数据存储器与图像算法处理指令控制器和全局互联相连接;全局互联与可重构功能单元核和数据存储器相连接。
其中所述可重构功能单元核包括至少一个可重构单元。所述可重构单元由局部互联和至少一个可重构单元切片构成。
工作时,首先外部上位机将配置信息发送到配置信息存储器中,图像算法处理指令控制器发出任务控制指令送入逻辑控制引擎,逻辑控制引擎接收图像算法处理指令控制器的指令后,从配置信息存储器中读取对应的配置信息发送给对应的可重构功能单元核;可重构功能单元核将配置信息进行运算,再将运算后产生的运算数据通过全局互联传送给数据存储器进行存储;图像算法处理指令控制器与可重构功能单元核间通过数据存储器进行数据交互。
所述配置信息存储器用于存储外部上位机发送来的配置信息。
所述图像算法处理指令控制器用于发出任务控制指令送入逻辑控制引擎。
所述逻辑控制引擎主要负责读取、发送配置信息和与运算密切相关的逻辑控制。逻辑控制引擎工作时,在图像处理算法指令控制器发来的任务控制指令的指示下,从配置信息存储器中读取相应的配置信息并把它们发送给可重构功能单元核和全局互联。对各个功能单元的配置信息进行统计,通过配置信息可以控制可重构功能单元核的工作状态和任意两个功能单元的数据传输。
所述可重构功能单元核是产生运算数据的唯一部件,每个可重构功能单元内部都配有可重构单元切片和局部互联结构,以缓存操作数据流,提高数据在本功能单元的计算、存储频率和硬件使用率,从而降低全局互联的压力。利用这个平台,多类型的图像处理算法可以通过改变配置信息,灵活的映射到至少一个可重构功能单元核上。
所述数据存储器用于存储可重构功能单元核运算配置信息后产生的运算数据,数据存储器与图像处理算法指令控制器之间设计了数据通道,以应对不规则控制复杂的数据处理和小数据流硬件处理效率较低的图像算法,例如目标识别、判断、决策。
所述全局互联用于可重构的算法芯片架构平台的各个功能单元之间的数据传输。
根据基本运算类型研究设计四种常用可重构功能单元实现,分别是可重构算术运算单元(RAU)、比特串行运算单元(BSU)和加法密集运算单元(AAU),互联和存储结构单元:
①可重构算术运算单元(RAU)
乘加运算是图像处理算法中使用频率最高的运算,尤其是乘加和累加运算,例如滤波、FFT、相关等操作,这个结构是任何处理器或可重构结构中不可缺少的部分,所采用了经典的Booth Wallace-tree结构作为基本乘法运算单元。可以支持相邻时刻计算结果的累加运算(如FIR滤波、卷积运算等)。
②比特串行运算单元(BSU)
单比特操作在图像算法中也被广泛使用,例如图像压缩编解码、高速串行通信,CRC校验等等都大量使用了单比特逻辑运算,同时结合着抽头选取、比特移位等操作。
③加法密集运算单元(AAU)
加法密集运算单元(AAU)与RAU不同的是AAU将重点放在加法使用较密集的操作上,如数值比较、绝对值运算等。AAU模块适用诸如图像中值滤波,图像分割的门限判决等操作。
④互联和存储结构单元
从图像处理流程可以发现,数据基本是单向传输,且非随机的。例如图像数据沿校正、检测、分割、跟踪这样的顺序传递。因此,数据的流向可以被限制在一个较小的范围。所以针对全局互联设计了基于多总线多选择器的全局互联及存储架构。例如(参见图2)数据先通过第一可重构单元处理后通过总线开关送往第四可重构单元处理。
该总线开关包含一个多路选择器、一个多路分离器和一个移位寄存器。多路选择器和多路分离器配置信息选择,配置信息包括源端选择和目的端选择控制;源端选择负责选择当前输入的数据来自哪个可重构功能单元,目的端选择负责选择当前数据传送到哪个可重构功能单元或者是数据存储器。为了简化数据流的组织,将所有功能单元包括数据存储器模块的输出数据宽度统一,同时根据各功能单元的运算需求和能力通过移位寄存器平衡不同速度的输入输出数据流。针对图像算法中类似FFT、直方图统计等算法需要大量进行存储器访存的情况,该互联结构提供可重构功能模块与存储器之间的快速访问,不需经过移位寄存器,直接连接功能模块的输出与存储器的输入端,数据位宽的统一放在局部互联和局部存储器中处理。
步骤四、卷积运算IP核设计与实现:
卷积运算是在图像处理中有着广泛的应用,如预处理中的局部滤波运算,匹配跟踪中的积相关运算,甚至FFT运算都可以借助卷积运算的思想来完成。所以,研究基于可重构架构的卷积运算IP核设计具有重要意义。
卷积运算的一般实现方法为,首先根据卷积窗口大小进行图像的行像素缓存,然后对缓存的像素再进行缓存形成卷积所需的矩阵窗口,最后与卷积模板中的系数进行卷积运算。在实施时为了减少处理器和外部的存储器之间的接口带宽及内部缓存资源,输入的图像数据是以单像素宽度进入处理器并且缓存的像素行数为卷积矩阵的行数。传统的设计方法针对每一次不同的卷积运算都需要重新设计卷积运算模块,根据不同的窗口来确定不同的像素缓存结构,并根据不同的系数进行乘加运算。另外,卷积窗口的大小决定了矩阵窗口的乘法器和加法器的数量,即使将卷积运算拆分为行列运算,大窗口的卷积运算都会消耗大量的乘法器和加法器单元。本发明不以卷积窗口运算作为主要计算方式,而采用行累加、列累加并进行减法消除,可有效地减少乘法和加法运算单元的资源调用,同时也更方便采用可重构的架构来完成资源的优化实现。
优化后的卷积运算方法(以3×3卷积窗口、6×6图像大小为例,参见图3):
其中,整个卷积系统只调用一个乘法单元、两个加法单元、两个减法单元和一组移位寄存器,先后进行行累加和列累加运算。行累加运算过程如下:
1.源图像和参考图像通过地址逻辑控制同步输入到乘法器的端口(A0,B0),进行乘法运算,输出结果为C0
2.计算后的结果分两个通路进行,一个通路根据乘法器输出结果完成行累加运算。
3.另一个通路完成行累加控制,通过1×3的移位寄存器缓存输出经过减法器用控制行累加结果。(如行累加结果为C0,3=C0+C1+C2+C3,则减去缓存输出C0,使累加结果调整为C1,3=C1+C2+C3,下一次行累加结果为C1,4=C1+C2+C3+C4,则减去缓存输出C1,使累加结果调整为C2,4=C2+C3+C4,以此类推)。
4.行累加结果同样分两个通路进行,一个通路通过1×6的行缓存完成列方向累加运算。
5.另一个通路通过3×6的移位寄存器缓存输出控制列累加结果(如列累加结果为C0,20,则减去缓存输出C0,2,使累加结果调整为C6,20,下一次累加结果为C1,21,则减去缓存输出C1,3,使累加结果调整为C7,21,以此类推),并作为最终卷积结果输出。
根据上述卷积设计方案,需要一个RAU_SLICE可重构单元,由于行累加和列累加一个时钟周期内同时进行,所以需要4个AAU_SLICE可重构单元完成加减法运算,同时需要卷积窗口大小的移位寄存器。基于可重构的卷积运算过程如下:
1.通过全局互联开关控制命令从MEM输入源图像和参考图像至RAU_SLICE运算单元。
2.RAU_SLICE完成乘法运算。
3.RAU_SLICE通过全局互联开关控制结果分别传送到移位寄存器单元和AAU_SLICE单元0。
4.AAU_SLICE单元0完成行累加运算。
5.全局互联开关控制移位寄存器和AAU_SLICE单元0输出到AAU_SLICE单元1。
6.AAU_SLICE单元1完成减法运算。
7.列累加运算互联和运算方式同行累加运算,不再赘述。
循环上述流程,即可得到最终的卷积输出结果。基于可重构的卷积运算IP核设计将传统的功能模块化的IP核变为可重构运算单元与配置指令化IP核,通过选取不同的配置指令利用有限的可重构运算资源进行互联和运算,可以实现多种图像算法功能。

Claims (8)

1.一种面向图像处理的可重构架构平台设计方法,其特征在于包括以下步骤:
步骤一、实现信息处理流程及复杂算法组合:
通过对信号处理中各个图像处理算法运算类型在硬件上涉及的操作以及运算数据类型的分析,归类四种基本运算类型及其组合;
所述四种基本运算类型是乘加算术运算、比特串行运算、累加与数值比较运算和数据存取;
在复杂算法映射时,可通过配置、互联重构,分时复用组合所述四种基本运算类型,实现复杂算法映射;
步骤二、基于功能和效率的复杂算法软硬件划分方法:
①不适宜由软件处理的任务由硬件来做;
②图像算法的大数据流的预处理任务由硬件来做;
③关键路径上性能要求苛刻的任务由硬件来做;
④关键路径上、多循环次数的特定复杂运算任务由硬件来做;
⑤图像算法主处理任务的特征提取和大数据量的特征匹配由硬件来做;
⑥图像算法主处理任务关键路径上、多分支判断结构的子任务由软件来做;
⑦有可重配置性与多应用性灵活要求的任务由软件来做;
步骤三、算法芯片结构设计:
将所述四种基本运算类型作为可重构功能单元的基本粒度,针对数据片上流向特点设计出片上互联结构,结合数据存储器、配置信息存储器,图像算法处理指令控制器和逻辑控制引擎,实现了一个可扩展的通用可重构算法芯片处理架构平台;
步骤四、卷积运算IP核设计与实现:
不以卷积窗口运算作为主要计算方式,而采用行累加、列累加并进行减法消除,减少乘法和加法运算单元的资源调用,采用步骤三的可重构算法芯片处理架构平台来完成资源优化。
2.根据权利要求1所述的面向图像处理的可重构架构平台设计方法,其特征在于所述步骤一中的乘加算术运算是对数值结果的移位;所述比特串行运算是单比特的移位、数据抽头和数据异或。
3.根据权利要求2所述的面向图像处理的可重构架构平台设计方法,其特征在于所述对数值结果的移位是FFT中的蝶形运算、相关、滤波变换以及数字信号处理中常用的各种卷积运算、矩阵乘法;所述单比特的移位、数据抽头和数据异或是编码、高速串行、CRC校验。
4.根据权利要求1所述的面向图像处理的可重构架构平台设计方法,其特征在于所述步骤一中的累加与数值比较运算是图像处理常用的取最大值或最小值;所述数据存取是数据缓存、转置存储或直方图统计。
5.根据权利要求1所述的面向图像处理的可重构架构平台设计方法,其特征在于所述步骤二的不适宜由软件处理的任务是图像采集的高速接口传输和数模转换;所述图像算法的大数据流的预处理任务是校正、滤波、边缘检测、阈值分割;所述关键路径上性能要求苛刻的任务是图像压缩的编解码;所述关键路径上、多循环次数的特定复杂运算任务是卷积运算、FFT;所述图像算法主处理任务的特征提取和大数据量的特征匹配是SIFT算法的特征点提取和匹配;所述图像算法主处理任务关键路径上、多分支判断结构的子任务是目标识别、目标判断和目标决策;有可重配置性与多应用性灵活要求的任务是CPU可重构指令的控制分配。
6.根据权利要求1所述的面向图像处理的可重构架构平台设计方法,其特征在于所述步骤三的可重构算法芯片处理架构平台包括配置信息存储器、图像算法处理指令控制器、逻辑控制引擎、可重构功能单元核、数据存储器以及全局互联;
所述配置信息存储器与逻辑控制引擎连接;图像算法处理指令控制器与逻辑控制引擎连接;逻辑控制引擎与图像算法处理指令控制器、可重构功能单元核和配置信息存储器相连接;可重构功能单元核与全局互联和逻辑控制引擎相连接,数据存储器与图像算法处理指令控制器和全局互联相连接;全局互联与可重构功能单元核和数据存储器相连接。
7.根据权利要求6所述的面向图像处理的可重构架构平台设计方法,其特征在于所述可重构功能单元核包括至少一个可重构单元。
8.根据权利要求7所述的面向图像处理的可重构架构平台设计方法,其特征在于所述可重构单元由局部互联和至少一个可重构单元切片构成。
CN201410369673.4A 2014-07-29 2014-07-29 一种面向图像处理的可重构架构平台设计方法 Active CN104112053B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410369673.4A CN104112053B (zh) 2014-07-29 2014-07-29 一种面向图像处理的可重构架构平台设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410369673.4A CN104112053B (zh) 2014-07-29 2014-07-29 一种面向图像处理的可重构架构平台设计方法

Publications (2)

Publication Number Publication Date
CN104112053A CN104112053A (zh) 2014-10-22
CN104112053B true CN104112053B (zh) 2017-09-15

Family

ID=51708841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410369673.4A Active CN104112053B (zh) 2014-07-29 2014-07-29 一种面向图像处理的可重构架构平台设计方法

Country Status (1)

Country Link
CN (1) CN104112053B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105137428B (zh) * 2015-07-28 2018-09-04 南京航空航天大学 去斜率信号的极坐标格式成像算法的fpga实现方法
CN105611302A (zh) * 2015-12-29 2016-05-25 东南大学—无锡集成电路技术研究所 一种基于粗粒度可重构系统的二维离散小波变换实现方法
CN105931176A (zh) * 2016-03-30 2016-09-07 杨桦 一种可扩展智能图形图像处理的加速装置和方法
CN107608255A (zh) * 2016-07-12 2018-01-19 深圳市中兴微电子技术有限公司 一种芯片架构重构方法和装置
CN106228238B (zh) * 2016-07-27 2019-03-22 中国科学技术大学苏州研究院 现场可编程门阵列平台上加速深度学习算法的方法和系统
WO2018058426A1 (zh) * 2016-09-29 2018-04-05 清华大学 硬件神经网络转换方法、计算装置、编译方法和神经网络软硬件协作系统
CN107368459B (zh) * 2017-06-24 2021-01-22 中国人民解放军信息工程大学 基于任意维数矩阵乘法的可重构计算结构的调度方法
CN107301032A (zh) * 2017-07-02 2017-10-27 郑州云海信息技术有限公司 一种数字信号处理方法和装置
CN107402744A (zh) * 2017-07-12 2017-11-28 东南大学 一种可重构反馈移位寄存器
CN111651715A (zh) * 2020-06-01 2020-09-11 中国科学院空天信息创新研究院 基于fpga的数据处理方法、处理器、设备和介质
CN111696025B (zh) * 2020-06-11 2023-03-24 西安电子科技大学 基于可重构内存计算技术的图像处理装置及方法
CN112132765A (zh) * 2020-09-28 2020-12-25 北京计算机技术及应用研究所 一种并行视频图像动态范围增强装置及方法
CN115861025B (zh) * 2022-11-29 2024-04-26 白盒子(上海)微电子科技有限公司 一种支持OpenCV的可重构图像处理器芯片架构及应用

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976431A (zh) * 2010-11-02 2011-02-16 公安部第三研究所 一种基于动态可重构技术的通用图像处理平台及其实现方法
JP2011199640A (ja) * 2010-03-19 2011-10-06 Fuji Xerox Co Ltd プログラマブル論理回路装置及び画像処理装置
CN102819818A (zh) * 2012-08-14 2012-12-12 公安部第三研究所 基于fpga芯片的动态可重构技术实现图像处理的方法
CN103019656A (zh) * 2012-12-04 2013-04-03 中国科学院半导体研究所 可动态重构的多级并行单指令多数据阵列处理系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011199640A (ja) * 2010-03-19 2011-10-06 Fuji Xerox Co Ltd プログラマブル論理回路装置及び画像処理装置
CN101976431A (zh) * 2010-11-02 2011-02-16 公安部第三研究所 一种基于动态可重构技术的通用图像处理平台及其实现方法
CN102819818A (zh) * 2012-08-14 2012-12-12 公安部第三研究所 基于fpga芯片的动态可重构技术实现图像处理的方法
CN103019656A (zh) * 2012-12-04 2013-04-03 中国科学院半导体研究所 可动态重构的多级并行单指令多数据阵列处理系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于 FPGA 的图像卷积 IP 核的设计与实现;朱学亮 等;《微电子学与计算机》;20110630;第28卷(第6期);全文 *
基于多类型运算单元的动态可重构基带处理架构与电路设计方法研究;陆雯青;《中国博士学位论文全文数据库 信息科技辑》;20111215(第12期);全文 *
面向图像处理的可重构协处理器结构设计研究;姚于斌;《中国优秀硕士学位论文全文数据库 信息科技辑》;20080615(第6期);全文 *

Also Published As

Publication number Publication date
CN104112053A (zh) 2014-10-22

Similar Documents

Publication Publication Date Title
CN104112053B (zh) 一种面向图像处理的可重构架构平台设计方法
Wang et al. PipeCNN: An OpenCL-based open-source FPGA accelerator for convolution neural networks
CN106203621B (zh) 用于卷积神经网络计算的处理器
US20200050582A1 (en) Performing concurrent operations in a processing element
CN108269224B (zh) 可重新配置的互连
CN109997154A (zh) 信息处理方法及终端设备
Kim et al. A 125 GOPS 583 mW network-on-chip based parallel processor with bio-inspired visual attention engine
CN109871949A (zh) 卷积神经网络加速器及加速方法
CN110163362A (zh) 一种计算装置及方法
WO2014085975A1 (zh) 可动态重构的多级并行单指令多数据阵列处理系统
CN110543936B (zh) 一种cnn全连接层运算的多并行加速方法
Chen et al. StereoEngine: An FPGA-based accelerator for real-time high-quality stereo estimation with binary neural network
Li et al. Dynamic dataflow scheduling and computation mapping techniques for efficient depthwise separable convolution acceleration
CN113033794B (zh) 基于深度可分离卷积的轻量级神经网络硬件加速器
Kim et al. A 118.4 gb/s multi-casting network-on-chip with hierarchical star-ring combined topology for real-time object recognition
Huang et al. IECA: An in-execution configuration CNN accelerator with 30.55 GOPS/mm² area efficiency
CN110598844A (zh) 一种基于fpga的并行卷积神经网络加速器及加速方法
CN103226464A (zh) 一种归并排序结构
CN108960251A (zh) 一种图像匹配描述子生成尺度空间的硬件电路实现方法
CN109992742A (zh) 一种信号处理方法及装置
Kim et al. A Low-Latency FPGA Accelerator for YOLOv3-Tiny With Flexible Layerwise Mapping and Dataflow
CN113055060B (zh) 面向大规模mimo信号检测的粗粒度可重构架构系统
Yin et al. FPGA-based high-performance CNN accelerator architecture with high DSP utilization and efficient scheduling mode
CN102970545A (zh) 一种基于二维离散小波变换算法的静态图像压缩方法
CN108734179A (zh) 基于硬件实现优化的sift关键点描述的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180404

Address after: 300308 Tianjin District of Dongli City Airport Economic Zone bonded Road No. 357

Patentee after: TIANJIN JINHANG INSTITUTE OF COMPUTING TECHNOLOGY

Address before: 300308 Tianjin District of Dongli City Airport Economic Zone bonded Road No. 357

Patentee before: NO.8357 Research Institute of the Third Academy of China Aerospace Science & Industry Corp.