CN102646262B - 一种可重构的视觉前处理器和视觉处理系统 - Google Patents
一种可重构的视觉前处理器和视觉处理系统 Download PDFInfo
- Publication number
- CN102646262B CN102646262B CN201210047720.4A CN201210047720A CN102646262B CN 102646262 B CN102646262 B CN 102646262B CN 201210047720 A CN201210047720 A CN 201210047720A CN 102646262 B CN102646262 B CN 102646262B
- Authority
- CN
- China
- Prior art keywords
- convolution
- restructural
- module
- array
- bus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
本发明提供一种可重构的视觉前处理器，包括色度空间转换模块、可重构卷积阵列、卷积后处理模块、采样存储模块和硬件重配置控制器；色度空间转换模块、可重构卷积阵列、卷积后处理模块依次连接；采样存储模块连接色度空间转换模块、可重构卷积阵列和卷积后处理模块；硬件重配置控制器分别连接上述四个模块；色度空间转换模块，用于将接收到的不同色度空间的视频图像信号转换为亮度图像信号；可重构卷积阵列，用于不同模板的各种图像卷积运算；卷积后处理模块，用于将完成卷积运算的图像进行二值分割；硬件重配置控制器，用于对可重构视觉前处理器的重配置。本发明结构简单、易于应用、速度快，能够对大分辨率的灰度图像进行实时视觉前处理。
Description
技术领域
本发明涉及视觉处理技术领域，具体涉及基于卷积运算的视觉前处理技术；本发明提出的可重构的视觉前处理器能够对大分辨率的灰度图像进行实时视觉前处理。
背景技术
视觉是人类最重要的获取信息和知识的途径。人类获取信息的80％来自视觉。人类视觉系统的前端有各种不同的组织参与视觉信息的前处理，因而人类的视觉系统能够轻易的处理视觉问题。人类为了模仿自身视觉功能，对视觉系统进行了大量理论研究和实验。近年来，视觉不仅在框架模型与算法方面得到了长足的进展，而且在先进制造、医学、国防、公共安全和空间技术等领域获得广泛应用。
随着集成电路制造工艺的发展，单芯片的集成度和规模越来越大，设计和实现具有完整功能的视觉芯片成为可能。片上系统(System on a Chip，SoC)已成为视觉芯片设计时首选的技术，如何在单芯片上实现小体积、低功耗的视觉系统，设计具有视觉感知和图像处理功能的视觉芯片，是当前视觉与智能信息处理领域的研究热点。
目前的视觉芯片主要有两类，一种是为完成某一特定视觉任务设计的专用视觉芯片(Albrecht Rothermel，“A CMOS Chip With Active Pixel Array andSpecific Test Features for Subretinal Implantation”)。专用视觉芯片具有高性能、低功耗、面积小的优点，但是视觉应用灵活多变，这类芯片灵活性差的缺陷，使其很难应用到功能较多的视觉系统中。另一种是为实现多种视觉任务使用可重编程或可重构技术设计的通用视觉芯片(Alexey Lopich，“A SIMD CellularProcessor Array Vision Chip With Asynchronous Processing Capabilitie”；Wan-cheng Zhang，“A Programmable Vision Chip Based on Multiple Levels ofParallel Processors”)。这类芯片同时具有高性能和灵活性。但是已有的通用视觉芯片用同一种结构完成不同层次的视觉处理任务，浪费了其灵活性和资源。
综上所述，目前的视觉芯片主要存在的问题有：专用视觉芯片灵活性差，不适合被广泛使用；通用视觉芯片计算效率低，资源浪费。
发明内容
本发明的目的在于将复杂的视觉处理分为不同层次，提供一种可重构的视觉前处理器结构用于基于卷积的底层视觉处理；其结构简单、易于应用、速度快，能够对大分辨率的灰度图像进行实时处理。通过重配置，可以改变处理器中各模块的连接方式和处理任务，可完成的多种卷积运算，实现通用视觉前处理任务。
为了达到上述目的，本发明采用以下技术方案予以实现：
一种可重构的视觉前处理器，包括色度空间转换模块、可重构卷积阵列、卷积后处理模块、采样存储模块和硬件重配置控制器；色度空间转换模块、可重构卷积阵列、卷积后处理模块依次连接；采样存储模块连接色度空间转换模块、可重构卷积阵列和卷积后处理模块；硬件重配置控制器连接色度空间转换模块、可重构卷积阵列、卷积后处理模块和采样存储模块；色度空间转换模块，用于将接收到的不同色度空间的视频图像信号转换为亮度图像信号；可重构卷积阵列，用于完成不同模板的各种图像卷积运算；卷积后处理模块，用于将完成卷积运算的图像进行二值分割；采样存储模块，用于对原始视频图像、色度空间转换模块输出的亮度图像、可重构卷积阵列输出的卷积运算后的图像、卷积后处理模块输出的二值图像进行采样，并输出给存储器存储。
本发明进一步的改进在于：所述可重构卷积阵列包括若干8×8卷积阵列，若干8×8卷积阵列间可以串联、并联或串并混合连接。
本发明进一步的改进在于：所述卷积后处理模块包括若干比较器和查找表，比较器和查找表串联于可重构卷积阵列输出。
本发明进一步的改进在于：所述采样存储模块包括若干减采样、串并转换器、字节-字转换器、数据读取和总线接口。
本发明进一步的改进在于：所述色度空间转换模块、可重构卷积阵列、卷积后处理模块、采样存储模块、硬件重配置控制器共同连接一个寄存器组，所述寄存器组存放色度空间转换模块、可重构卷积阵列、卷积后处理模块、采样存储模块、硬件重配置控制器的重配置信息、运算控制信息和交互信息。
本发明进一步的改进在于：所述色度空间转换模块、可重构卷积阵列、卷积后处理模块、采样存储模块、硬件重配置控制器共同连接一个中断产生器，色度空间转换模块、可重构卷积阵列、卷积后处理模块、采样存储模块、硬件重配置控制器的中断请求通过寄存器组和中断产生器输出给外部控制模块。
本发明进一步的改进在于：所述可重构卷积阵列包括4个8×8卷积阵列；卷积后处理模块包括6个比较器和2个4096×8bit查找表；采样存储模块包括13个减采样模块，6个串并转换单元，4个字节转字转换模块，4个数据读取和总线接口模块。
一种根据上述的可重构视觉前处理器构建的可重构视觉前处理系统，其包括第一总线、第二总线、外部设备总线、连接在第一总线上的第一存储器、连接在第一总线上的CPU、连接在第二总线上的第二存储器、连接第一总线和第二总线的第一桥接电路、分别与CPU、第一总线和第二总线连接的可重构视觉前处理器、连接第一总线和外部设备总线的第二桥接电路、以及与外部设备总线和可重构视觉前处理器连接的寄存器组和中断控制器。
优选的，所述可重构视觉前处理器中的可重构卷积阵列包括4个8×8卷积阵列；卷积后处理模块包括6个比较器和2个4096×8bit查找表；采样存储模块包括13个减采样模块，6个串并转换单元，4个字节转字转换模块，4个数据读取和总线接口模块。
优选的，4个8×8卷积阵列采用串并混合连接方式。
相对于现有技术，本发明具有以下优点：本发明利用可重构技术，实现了一种用于基于卷积运算的可重构视觉前处理器，并用此运算器构建了可重构的视觉前处理处理系统，能够实现任意不大于16×16的卷积运算。依靠其强大的计算能力能够为更高层次的视觉处理提供特征。本发明实现的可重构视觉前处理器结构简单、速度快、灵活性好，能够方便的实现基于卷积的各种图像运算。本发明构建的可重构视觉前处理系统结构简单规则，高性能，能够对大分辨率的灰度图像进行实时处理；加入配置和控制寄存器组存放控制参数、配置信息和系统运行状态参数，可以实现系统模块间的通信与同步；加入中断产生器，使系统模块相互间同步功能更完善。
附图说明
图1是可重构视觉前处理器的结构示意图；
图2是2×2卷积阵列的结构示意图；
图3是8×8卷积阵列的结构示意图；
图4是8×8卷积阵列实现不同卷积运算的结构示意图；
图5是卷积后处理的结构示意图；
图6是采样存储模块的结构示意图；
图7是可重构视觉前处理系统的结构示意图。
具体实施方式
下面结合附图说明和具体实施方式对本发明做详细说明。
参照图1，本发明提出了一种可重构的视觉前处理器，包括色度空间转换模块、可重构卷积阵列、卷积后处理模块、采样存储模块、硬件重配置控制器；色度空间转换模块、可重构卷积阵列、卷积后处理模块依次连接；采样存储模块连接色度空间转换模块、可重构卷积阵列和卷积后处理模块；硬件重配置控制器连接色度空间转换模块、可重构卷积阵列、卷积后处理模块和采样存储模块；色度空间转换模块将不同色度空间的视频图像信号转换为亮度图像信号；可重构卷积阵列完成不同模板的各种图像卷积运算；卷积后处理模块将完成卷积运算的图像进行二值分割；采样存储模块可对原始视频图像、色度空间转换模块输出的亮度图像、可重构卷积阵列输出的卷积运算后的图像、卷积后处理模块输出的二值图像进行采样，并输出给存储器存储。
参照图2，一个2×2卷积阵列单元包括：4个2输入乘法器、1个4输入加法器。其中乘法器一个输入为卷积模板系数，另一个输入为图像信号。4输入加法器的输入为4个乘法器的结果。
参照图3，1个8×8卷积阵列包括：16个2×2卷积阵列、5个4输入加法器。4个2×2卷积阵列组成一个4×4卷积阵列，4个2×2卷积阵列的结果输入1个加法器。4个4×4卷积阵列的结果输入一个加法器，组成1个8×8卷积阵列。
参照图4，一个8×8卷积阵列通过不同连接，可以实现不同卷积运算。图(a)所示连接方式，8×8卷积阵列可以实现5×5、6×6、7×7或8×8模板大小的卷积运算；(b)所示连接方式，8×8卷积阵列可以同时实现4个3×3或4×4模板大小的卷积运算；(c)所示连接方式，8×8卷积阵列可以同时实现16个2×2模板大小的卷积运算。
参照图5，卷积后处理模块包括若干比较器和查找表，比较器和查找表的输入为可重构卷积阵列输出。查找表可串联比较器或直接输出结果。
参照图6，采样存储模块包括若干减采样、串并转换器、字节-字转换器、数据读取和总线接口。
参照图7，符合本发明的可重构视觉前处理系统，其包括第一总线、第二总线、连接在第一总线上的CPU、连接在第一总线上的第一存储器(SDRAM1)、连接在第二总线上的第二存储器(SDRAM2)、连接在第二总线上的可重构视觉前处理器、连接第一总线和第二总线的桥接电路1、外部设备总线、连接第一总线和外部设备总线的桥接电路2、分别与外部设备总线和可重构视觉前处理器连接的寄存器组和中断控制器。
其中系统基于可重构视觉前处理器以及片上存储和互联资源实现硬件可重构。CPU对各运算单元、存储和互联资源实现动态配置和重构，灵活地改变系统的硬件功能，完成不同卷积运算的视觉前处理任务。这样整个系统兼具具硬件的高效性和软件的灵活性，为完成复杂多变的视觉任务提供了很好的硬件基础。
Claims (9)
1.一种可重构的视觉前处理器，其特征在于：包括色度空间转换模块、可重构卷积阵列、卷积后处理模块、采样存储模块和硬件重配置控制器；色度空间转换模块、可重构卷积阵列、卷积后处理模块依次连接；采样存储模块连接色度空间转换模块、可重构卷积阵列和卷积后处理模块；硬件重配置控制器连接色度空间转换模块、可重构卷积阵列、卷积后处理模块和采样存储模块；
色度空间转换模块，用于将接收到的不同色度空间的视频图像信号转换为亮度图像信号；
可重构卷积阵列，用于完成若干种模板的图像卷积运算；
卷积后处理模块，用于将完成卷积运算的图像进行二值分割；
采样存储模块，用于对原始视频图像、色度空间转换模块输出的亮度图像、可重构卷积阵列输出的卷积运算后的图像、卷积后处理模块输出的二值图像进行采样，并输出给存储器存储；
硬件重配置控制器，用于对可重构视觉前处理器的重配置；
所述可重构卷积阵列包括若干8×8卷积阵列，若干8×8卷积阵列间串联、并联或串并混合连接；
1个8×8卷积阵列包括：16个2×2卷积阵列、5个4输入加法器；4个2×2卷积阵列组成一个4×4卷积阵列，4个2×2卷积阵列的结果输入1个4输入加法器；4个4×4卷积阵列的结果输入一个4输入加法器，组成1个8×8卷积阵列；
一个2×2卷积阵列单元包括：4个2输入乘法器、1个4输入加法器；其中2输入乘法器一个输入为卷积模板系数，另一个输入为图像信号；4输入加法器的输入为4个2输入乘法器的结果。
2.根据权利要求1所述的一种可重构的视觉前处理器，其特征在于：
所述卷积后处理模块包括若干比较器和查找表部件，比较器和查找表部件串联于可重构卷积阵列输出。
3.根据权利要求1所述的一种可重构的视觉前处理器，其特征在于：
所述采样存储模块包括若干减采样、串并转换器、字节-字转换器、数据读取和总线接口。
4.根据权利要求1所述的一种可重构的视觉前处理器，其特征在于，所述色度空间转换模块、可重构卷积阵列、卷积后处理模块、采样存储模块、硬件重配置控制器共同连接一个寄存器组，所述寄存器组存放色度空间转换模块、可重构卷积阵列、卷积后处理模块、采样存储模块、硬件重配置控制器的重配置信息、运算控制信息和交互信息。
5.根据权利要求4所述的一种可重构的视觉前处理器，其特征在于，所述色度空间转换模块、可重构卷积阵列、卷积后处理模块、采样存储模块、硬件重配置控制器共同连接一个中断产生器，色度空间转换模块、可重构卷积阵列、卷积后处理模块、采样存储模块、硬件重配置控制器的中断请求通过寄存器组和中断产生器输出给外部控制模块。
6.根据权利要求1所述的一种可重构的视觉前处理器，其特征在于，所述可重构卷积阵列包括4个8×8卷积阵列；卷积后处理模块包括6个比较器和2个4096×8bit查找表部件；采样存储模块包括13个减采样模块，6个串并转换单元，4个字节转字转换模块，4个数据读取和总线接口模块。
7.一种根据权利要求1至5中任一项所述的可重构视觉前处理器构建的可重构视觉前处理系统，其特征在于：包括第一总线、第二总线、外部设备总线、连接在第一总线上的第一存储器、连接在第一总线上的CPU、连接在第二总线上的第二存储器、连接第一总线和第二总线的第一桥接电路、分别与CPU、第一总线和第二总线连接的可重构视觉前处理器、连接第一总线和外部设备总线的第二桥接电路、以及与外部设备总线和可重构视觉前处理器连接的寄存器组和中断控制器。
8.如权利要求7所述的可重构视觉前处理系统，其特征在于：所述可重构视觉前处理器中的可重构卷积阵列包括4个8×8卷积阵列；卷积后处理模块包括6个比较器和2个4096×8bit查找表部件；采样存储模块包括13个减采样模块，6个串并转换单元，4个字节转字转换模块，4个数据读取和总线接口模块。
9.如权利要求8所述的可重构视觉前处理系统，其特征在于：4个8×8卷积阵列采用串并混合连接方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210047720.4A CN102646262B (zh) | 2012-02-28 | 2012-02-28 | 一种可重构的视觉前处理器和视觉处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210047720.4A CN102646262B (zh) | 2012-02-28 | 2012-02-28 | 一种可重构的视觉前处理器和视觉处理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102646262A CN102646262A (zh) | 2012-08-22 |
| CN102646262B true CN102646262B (zh) | 2014-07-02 |
Family
ID=46659075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210047720.4A Active CN102646262B (zh) | 2012-02-28 | 2012-02-28 | 一种可重构的视觉前处理器和视觉处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102646262B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108513042B (zh) * | 2017-02-24 | 2020-03-10 | 清华大学 | 用于图像处理的装置 |
| CN107203808B (zh) * | 2017-05-08 | 2018-06-01 | 中国科学院计算技术研究所 | 一种二值卷积装置及相应的二值卷积神经网络处理器 |
| CN107632965B (zh) * | 2017-10-17 | 2019-11-29 | 中国科学院计算技术研究所 | 可重构的s型运算装置及运算方法 |
| CN112752009B (zh) * | 2019-10-29 | 2023-06-09 | 中兴通讯股份有限公司 | 图像处理方法、模块、可读存储介质和图像传感器 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101567078A (zh) * | 2009-03-27 | 2009-10-28 | 西安交通大学 | 一种双总线的视觉处理芯片架构 |
| CN101976431A (zh) * | 2010-11-02 | 2011-02-16 | 公安部第三研究所 | 一种基于动态可重构技术的通用图像处理平台及其实现方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7564996B2 (en) * | 2003-01-17 | 2009-07-21 | Parimics, Inc. | Method and apparatus for image processing |
-
2012
- 2012-02-28 CN CN201210047720.4A patent/CN102646262B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101567078A (zh) * | 2009-03-27 | 2009-10-28 | 西安交通大学 | 一种双总线的视觉处理芯片架构 |
| CN101976431A (zh) * | 2010-11-02 | 2011-02-16 | 公安部第三研究所 | 一种基于动态可重构技术的通用图像处理平台及其实现方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102646262A (zh) | 2012-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105631798B (zh) | 低功耗便携式实时图像目标检测与跟踪系统及方法 | |
| Lopich et al. | A SIMD cellular processor array vision chip with asynchronous processing capabilities | |
| CN102646262B (zh) | 一种可重构的视觉前处理器和视觉处理系统 | |
| Wendel et al. | UltraZohm-a powerful real-time computation platform for MPC and multi-level inverters | |
| CN105468568B (zh) | 高效的粗粒度可重构计算系统 | |
| CN107480789A (zh) | 一种深度学习模型的高效转换方法及装置 | |
| CN105137863B (zh) | 空间飞行器控制管理SoC芯片 | |
| Conti et al. | Energy-efficient vision on the PULP platform for ultra-low power parallel computing | |
| CN209388308U (zh) | 基于gpu和fpga的通用数据采集与信号处理系统 | |
| CN110163360A (zh) | 一种计算装置及方法 | |
| CN212969692U (zh) | 一种嵌入式低功耗边缘ai计算网关 | |
| CN115456155A (zh) | 一种多核存算处理器架构 | |
| Schiele et al. | The elastic node: an experimentation platform for hardware accelerator research in the internet of things | |
| CN103544471B (zh) | 一种动平台对地固定目标异构并行自动目标识别器 | |
| Lachmair et al. | From CPU to FPGA—Acceleration of self-organizing maps for data mining | |
| CN204578637U (zh) | 小型旋翼巡线飞行器视觉感知系统 | |
| Magno et al. | Energy efficient system for tactile data decoding using an ultra-low power parallel platform | |
| CN204009892U (zh) | 基于x86与通用操作系统的嵌入式综合处理平台 | |
| CN101859429A (zh) | 一种用于机器视觉的嵌入式图像处理方法及装置 | |
| CN203351026U (zh) | 一种光纤传感信号采集及处理装置 | |
| Teimouri et al. | Improving scalability of CMPs with dense ACCs coverage | |
| CN207742661U (zh) | 一种基于wifi的fpga无线升级和智能加载的装置 | |
| Zhang et al. | Coarse-grained dynamically reconfigurable processor for vision pre-processing | |
| Liao et al. | Low power CNN Accelerator for mobile lensless imaging system | |
| Nguyen et al. | An ASIC implementation of 16-bit fixed-point Digital Signal Processor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |