CN1038366A

CN1038366A - 一种实时图象邻域处理器

Info

Publication number: CN1038366A
Application number: CN 88103242
Authority: CN
Inventors: 王汉生
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 1988-06-02
Filing date: 1988-06-02
Publication date: 1989-12-27
Also published as: CN1010437B

Abstract

本发明属于图象信息处理技术领域，适用于数字图象处理和图象分析。由于本发明采用了行交叉图象存储器和实现行关系变换的数据选择器，不仅具有电路简省、设备量小，能适用于不同分辨率图象和卷积核大小可变的卷积运算之优点，而且具有易于扩展、连接灵活的特点，在涉及数字图象处理的各种领域(如医学、工业、遥感等)中有广泛应用。

Description

本发明属于图象信息处理技术领域，适应于数字图象处理和图象分析。

在图象信息处理中，常用的一种邻域处理算法是卷积运算：

G（x,y)=

Σ_{i=0}^{2} Σ_{j=0}^{2}

Wi,j Fi,j(x,y)

式中：Fi，j（x，y）是被处理象素及其周围象素的灰度值，Wi，j是卷积核的加权系数，G（x，y）是处理后得到的结果。图象邻域处理原理如附图1所示，输入图象1-1，卷积核1-2，卷积运算1-3，输出图象1-4。目前投入实际使用的图象邻域处理器种类很多，其中较先进的是流水邻域处理器，如附图2所示，它由图象存储器2-1，2个（n-3）位（n是一行象素数，通常为512）象素移位寄存器2-2，2-3，9个一位寄存器T₁～T₉和含卷积核加权系数并能进行乘加运算的邻域处理电路2-4组成。图象数据按光栅扫描方式，依行的顺序存放在图象存储器2-1中，例如分辨率为512×512，灰度达256级的一幅图象数据在图象存储器中的分配和地址产生如附图3所示，（3a）是图象数据在图象存储器中的存放情况，（3b）是写地址码产生和地址进位变化关系，列地址X计数器和行地址y计数器均为9位，列地址X计数器按光栅扫描顺序计数以产生列地址，计满一行象素后产生进位信号，使行地址y计数器计数加1，顺序产生下一行地址，循环重复，直至写入整幅图象数据;处理时，图象数据仍按光栅扫描方式从图象存储器中读出（读地址码产生和地址进位变化关系与写地址码产生和地址进位变化关系相同），随后即在（n-3）位象素移位寄存器2-2、2-3中移位，并在T₁～T₉中形成邻域处理所需要的被处理象素及其邻域数据，它们在邻域处理电路中与卷积核加权系数进行乘加运算，最后输出处理后的图象（“图象处理并行结构”1979年国际计算机软件与应用会议文集，第712～717页。S.R.Sternberg，Parallel Archite-ctures for Image Processing，Proceedings of The 3rd Interna-tional IEEE COMPSAC Chicago，1979 pp 712-717。“图象处理并行计算机结构”计算机视觉、图形和图象处理杂志1984年第25期第75页图7 Parallel computer Architectures for image Process-ing”COMPUTER VISION，GRAPHICS AND IMAGE PROCSSING 25 68-88（1984）P75 F1G7）。流水邻域处理器成功地解决了实现实时卷积运算时，图象存储器数据输出的瓶颈问题，并可用VLSI技术实现但它仍存在下列不足：①它需要2个长度为（n-3）位的象素移位寄存器设备量大;②没有适应不同分辨率图象（当n＝512时，它只适用于图象分辨率为512×512的图象，而对于分辨率256×256，1024×1024等图象则不能适用）和不同大小卷积核（如5×5 7×7等）的灵活性;③每幅图象处理前需要有（n+2）个时钟周期的建立时间。

本发明的目的是克服流水邻域处理器之不足，设计一种更加灵活实用，电路简省的图象邻域处理器。

本发明的技术要点是采用了行交叉图象存储器和实现行关系变换的数据选择器，数据选择器接于行交叉图象存储器的出端，将行交叉图象存储器同时输出的2^h路（h为整数，且2^h≤图象行数）数据变成任意相邻2^h行图象数据经由一位寄存器组成的2^h位移位寄存器纬闪谟虼硭璧谋淮硐笏丶捌淞谟蚴荩窃诹谟虼淼缏分杏刖砘说募尤ㄏ凳谐思釉怂恪?

下面结合附图对本发明进行详细描述：附图4是实时图象邻域处理器框图，它包括一个等分成4组（h＝2）的行交叉图象存储器4-1，四个4选1数据选择器4-2，4-3，4-4，4-5，十六个一位寄存器，四个一位寄存器为一组连成四个4位移位寄存器T_0.0～T_0.3，T_1.0～T_1.3，T_2.0～T_2.3，T_3.0～T_3.3，和一个包含卷积核加权系数并能进行乘加运算的邻域处理电路4-6。四个4选1数据选择器将行交叉图象存储器同时输出的4路数据变成任意相临的4路图象数据，分别经四个4位移位寄存器形成邻域处理所需的被处理象素及其邻域数据，它们在邻域处理电路4-6中与卷积核的加权系数进行乘加运算，N是处理结果。

附图5是图象数据在行交叉图象存储器中的分配和写地址产生示意图，（5a）是图象数据在行交叉图象存储器中的存放情况，（5b）是写地址码产生和各部分地址间进位变化关系;（5c）是行交叉图象存储器符号（一般用

表示，2^h是行交叉图象存储器等分的组数）。行交叉图象存储器是将图象存储器分成同样大小的4部分（h＝2），分别称作O₀、O₁、O₂、O₃组存储器。列地址计数器用x表示，行地址计数器分成y′和y″两部分，y′计数器占用行地址的低两位（第0位至第1位）用作存储器写操作的换组控制;y″计数器占用行地址的高七位（第2位至第8位），形成各组存储器的行地址。列地址x计数器按光栅扫描顺序计数，以产生列地址，每当一幅图象的第0行象素数据随列地址x计数器计满一行而写入O₀组存储器后，x计数器产生一个进位信号使y′计数器计数加1，从而使第1行象素数据写入O₁组存储器内，当4组存储器分别依次写完1行象素数据以后，y′计数器产生的进位信号使y″计数器计数加1，使第4行象素数据写入O₀组存储器，并紧挨在第0行象素数据下面，以后依次重复直至将整幅图象数据全部存放在行交叉图象存储器M^＊ ₄内。读操作是让4组存储器同时输出，它们的读地址由x计数器和y″计数器输出的列、行地址决定，各部分地址间进位变化关系仍如附图（5b）所示，由于y′计数器插在x计数器和y″计数器中间，且它的两位输出又不作为存储器的读操作换组控制，所以4组存储器的每行象素数据都要接连读出四次，如附图6所示，图中4i表示第4i行象素数据，i为任意整数。为了使行交叉图象存储器按邻域处理要求输出数据，各组存储器行地址码的产生在时间上要依次错开一行周期，即y′为00时，打入O₀组存储器行地址码，y′为O₁时，打入O₁组存储器行地址码;y′为10时，打入O₂组存储器行地址码;y′为11时，打入O₃组存储器行地址码，以使行交叉图象存储器的4路输出数据的顺序如附图7所示。

四个4选1数据选择器的入端分别与4组存储器的出端相接：第一路数据选择器4-2的0、1、2、3四个入端顺次与O₀、O₁、O₂、O₃、的出端相连;第二路数据选择器4-3的1、2、3三个入端顺次与O₁、O₂、O₃的出端相连，而3与O₀的出端相连;第三路数据选择器4-4的0、1二个入端顺次与O₂、O₃出端相连，而2、3则顺次与O₀、O₁的出端相连;第四路数据选择器4-5的O入端与O₃出端相连，而1，2，3入端则顺次与O₀、O₁、O₂出端相连。四个4选1数据选择器的S₀、S₁端连在一起，仍由y′计数器的两位输出来控制，这样四个4选1数据选择器将行交叉图象存储器的四路图象数据变成了任意相邻4行图象数据，如附图8所示。

据前所述不难看出，根据本发明提出的技术方案，也可以将图象存储器等分成8组（h＝3）的行交叉图象存储器，它的写地址产生和各部分地址间的进位变化关系仍然不变，只是用作存储器写操作换组控制的y′计数器要占用行地址的低三位（第0位至第2位），而形成各组存储器行地址的y″计数器占用高六位（第3位至第8位）;读操作时，各组存储器行地址码产生在时间上同样依次错开一行周期，即y′为000时，打入O₀组存储器行地址码;y′为001时，打入O₁组存储器行地址码;y′为010时，打入O₂组存储器行地址码;y′为011时，打入O₃组存储器行地址码;y′为100时，打入O₄组存储器行地址码;y′为101时，打入O₅组存储器行地址码;y′为110时，打入O₆组存储器行地址码;y′为111时，打入O₇组存储器行地址码。同时采用与之相应的8选1数据选择器和相应数量的一位寄存器组成8位移位寄存器，就可实现卷积核为8×8的邻域处理器。同理，可将图象存储器等分成2^h组行交叉图象存储器，用作存储器写操作换组控制的y′计数器占用行地址相应低位，形成各组存储器行地址的y″计数器占用其余高位;读操作时，依前述方法使各组存储器行地址码产生在时间上依次错开一行周期，同时采用与之相应的数据选择器和由一位寄存器组成的相应位数的移位寄存器，就能构成适应于各种分辨率图象（如256×256，512×512，1024×1024等）和卷积核大小可变的（如3×3、4×4、5×5、7×7、8×8等）卷积运算的邻域处理器。还可将数据选择器、一位寄存器组成的移位寄存器和邻域处理电路集成为各种阵列的专用芯片，与相应的行交叉图象存储器配合，以构成上述邻域处理器，也可构成两通道或多通道并行邻域处理器。此外，行交叉图象存储器与选择器之间的连接可以做成多种逻辑关系的连接模式，使用时通过软件进行控制。总之连接非常灵活，易于扩展。

本发明采用的行交叉图象存储器，也可按行顺序读出图象数据，例如等分成4组（h＝2）的行交叉图象存储器，若使其图象数据按行顺序读出，以达到按光栅扫描方式输出图象数据，即与附图3所示的图象存储器相同的效果，只需在4分组的行交叉图象存储器9-1出端接一个4选1数据选择器9-2，用y′计数器的两位输出作为4选1数据选择器9-2的输出控制信号加到其S₀、S₁端，如附图9所示。其输出端l₀有如下逻辑关系。

lo=Eo Σ_{i=0}^{3} O_{i} M_{i}

式中O_i为各组存储器输出，E₀为4选1数据选择器的使能控制变量，M_i为y′计数器的两位输出形成的最小项。只要使E₀＝1，L₀就是按光栅扫描方式输出的图象数据，如附图10所示，（10a）是行交叉图象存储器同时输出的四路图象数据，（10b）是4选1数据选择器输出的图象数据。

本发明的主要优点是：①电路简省，设备量小;②适用于各种分辨率图象和卷积核大小可变的卷积运算;③在处理前不需要（n+2）个时钟周期的建立时间;④连接灵活，易于扩展。

实施例：

实施例1、

按照附图4所示的实时图象邻域处理器框图，制成512×512分辨率（含256×256分辨率图象）灰度为256级，卷积核为4×4（含3×3）的实时图象邻域处理器。

一、4分组行交叉图象存储器 4-1

它是采用8片μPD41264实现的，1片μPD41264的容量为4×64K位，即4×64000位＝256000位，一幅512×512分辨率的图象有256000象素，正好等于1片μPD41264的容量，灰度为256级，故8片μPD41264即可组成一个512×512×8位的4分组行交叉图象存储器

二、4选1数据选择器 4-2、4-3、4-4、4-5

是采用4片通用的可编程逻辑门阵列器件PAL16L8按实现4选1数据选择器接法实现的（当然也可采用4选1数据选择器芯片，即1片μPD41264配用4个4选1数据选择器芯片，共计用32个这样的芯片也可以）。

三、一位寄存器构成的4位移位寄存器T_0.0～T_0.3，T_1.0～T_1.3、T_2.0～T_2.3、T_3.0～T_3.3是采用16片74LS273器件（1片74LS273含8个一位寄存器）按常规接法实现的

四、邻域处理电路 4-6

可采用能存储卷积核加权系数的双极型随机存储器和能进行乘加运算的常规加法器和乘法器电路实现。

实施例2

3×3卷积运算是图象处理中常用的一种算法，它要求完成下列运算：

G（x,y)=

Σ_{i=0}^{2} Σ_{j=0}^{2}

Wi,j Fi,j(x,y)

这就需要行交叉图象存储器能提供同时输出的三路图象数据，此时，可令附图4所示的实时图象邻域处理器的E₀＝E₁＝E₂＝1 E₃＝0即有

l₀＝O₀m₀+O₁m₁+O₂m₂+O₃m₃

l₁＝O₁m₀+O₂m₁+O₃m₂+O₀m₃

l₂＝O₂m₀+O₃m₁+O₀m₂+O₁m₃

同时令卷积核系数 W₀，3＝W₁，3＝W₂，3＝0，最后得：

N=

Σ_{i=0}^{2} Σ_{j=0}^{2} K_{i , j} T_{i , j}

N就是所需的结果G（x，y）。

实施例3

附图11是4×8阵列芯片NUP（4×8）的框图和符号，（11a）是框图，11-1、11-2、11-3、11-4是4个8选1数据选择器，T_0.0～T_0.7、T_1.0～T_1.7、T_2.0～T_2.7、T_3.0～T_3.7是由一位寄存器组成的4路8位移位寄存器，8-5是含有卷积核加权系数并能实现乘加运算的邻域处理电路。（11b）是符号NPU（4×8），附图12是由2个4×8阵列芯片NPU（4×8）与两个4分组行交叉图象存储器M^＊ ₄构成的两个通道的并行实时图象邻域处理系统。

实施例4

附图13是由2个4×8阵列芯片 NPU（4×8）与一个8分组行交叉图象存储器配合，构成的具有卷积核为8×8的实时图象邻域处理系统。

附图说明

附图1 图象邻域处理原理示意图

1-1 输入图象

1-2 卷积核

1-3 卷积运算

1-4 输出图象

F（x，y）被处理图象数据

Wij 卷积核加权系数

G（x，y）处理结果

附图2 流水邻域处理器框图

2-1 图象存储器

（n-3）位象素移位寄存器

2-4 邻域处理电路

T₁～T₉一位寄存器

附图3 图象数据在图象存储器中的分配和写地址产生示意图

（3a）图象数据在图象存储器中的存放情况

（3b）写入地址码产生和地址间进位变化关系

x 列地址计数器

y 行地址计数器

附图4 实时图象邻域处理器框图

4-1 行交叉图象存储器

4选1数据选择器

4-6 邻域处理电路

4位移位寄存器

T_3.0-T_3.34位移位寄存器

N 处理结果

附图5 图象数据在行交叉图象存储器中的分配和写地址产生示意图

（5a）图象数据在行交叉图象存储器中的存放情况

（5b）写地址码产生和各部分地址间进位变化关系

x 列地址计数器

y′ 换组控制计数器

y″ 行地址计数器

（5c）行交叉图象存储器符号

M^＊ ₄4分组行交叉图象存储器

附图6 行交叉图象存储器四路同时输出数据

附图7 打入地址码产生依次错开一行周期后，行交叉图象

存储器四路同时输出数据

附图8 4选1数据选择器输出的符合邻域处理要求的图象数

据。

附图9 4分组行交叉图象存储器按光栅扫描方式输出图象

数据时的框图

9-1 4分组行交叉图象存储器

9-2 4选1数据选择器

附图10 4分组行交叉图象存储器按光栅扫描方式输出的图

象数据

（10a） 4分组行交叉图象存储器同时输出的四路图象数据

（10b） 4选1数据选择器输出的图象数据

附图11 4×8阵列芯片NPU4×8框图

（11a）框图

11-1 8选1数据选择器

8选1数据选择器

T_0.0～T_0.7

T_1.0～T_1.7

T_2.0～T_2.7由一位寄存器组成的8位移位寄存器

T_3.0～T_3.7

11-5 邻域处理电路

（11b） NPU4×8符号

附图12 两通道并行图象处理系统

PU 后续处理部件

附图13 能实现卷积核为8×8的实时邻域处理的图象处理系统

AU 算术运算部件

LU 逻辑运算部件

Claims

1、一种实时图象邻域处理器，包括由一位寄存器组成的移位寄存器、邻域处理电路，其特征在于采用了行交叉图象存储器和实现行关系变换的数据选择器，数据选择器接于行交叉图象存储器的出端，将行交叉图象存储器同时输出的2^h路(h为整数，且2^h≤图象行数)数据变成任意相邻2^h行图象数据，经由一位寄存器组成的2^h位移位寄存器形成邻域处理所需的被处理象素及其邻域数据，并在邻域处理电路中与卷积核加权系数进行乘加运算。

2、按照权利要求1所说的实时图象邻域处理器，其特征在于所说的行交叉图象存储器是将图象存储器等分成2^h组，它的写地址码产生电路由列地址X计数器和分成y′、y″的行地址计数器组成，x计数器形成各组存储器列地址，y′计数器占行地址的相应低位，形成换组控制信号，y″计数器占行地址其余高位，形成各组存储器行地址。

3、按照权利要求1所说的实时图象邻域处理器，其特征在于数据选择器、一位寄存器组成的移位寄存器、邻域处理电路，可由分离元件和部件组成，也可以集成为专用芯片。

4、按照权利要求1和3所说的实时图象邻域处理器，其特征在于行交叉图象存储器与数据选择器之间的连接可以做成多种逻辑关系的连接模式，使用时通过软件来实现。