CN1552040A

CN1552040A - 图像检测处理装置

Info

Publication number: CN1552040A
Application number: CNA028173562A
Authority: CN
Inventors: ��ľ��Ҳ; 八木哲也; 龟田成司
Original assignee: Japan Science and Technology Agency
Current assignee: Japan Science and Technology Agency
Priority date: 2001-09-05
Filing date: 2002-09-03
Publication date: 2004-12-01
Anticipated expiration: 2022-09-03
Also published as: EP1435588A1; CN1278276C; JP2003078829A; US7369162B2; KR20050025115A; WO2003023712A1; JP3833088B2; KR100592378B1; TW583879B; US20050062853A1; CA2459220A1

Abstract

一种图像检测处理装置，采用多芯片系统，利用超并行电路结构进行图像处理等各种处理，实时进行图像处理等各种处理。从光学系统4输入图像信息，第1级平滑化芯片1具有光传感电路1－1和平滑化电路1－2，进行输入图像的平滑化。第2级以后的轮廓强调芯片2、移动检测芯片3的各个像素分别具有模拟存储器2－1、3－1、轮廓强调电路2－2和移动检测电路3－2。模拟存储器2－1、3－1临时存储来自前级的模拟信息。轮廓强调电路2－2、移动检测电路3－2分别读取模拟存储器2－1、3－1的信息(必要时可以写入)。这里，从第2级轮廓强调芯片2输出进行了轮廓强调的图像信息，从第3级移动检测芯片3输出移动检测的结果。

Description

图像检测处理装置

技术领域

本发明涉及一种图像检测处理装置，特别涉及适用于视觉传感器和图像处理的被称为视觉芯片(vision chip)的图像检测处理装置。此处所说的“视觉芯片”是：例如，用模拟CMOS集成电路来实现在各个像素中配置了光传感电路和处理电路的超并行电路结构，能够进行视觉信息处理的视觉传感器芯片(半导体、电路)。把视觉芯片中、特别模拟生物体网膜的电路结构和功能的芯片称为“硅网膜”。

背景技术

图22表示视觉芯片的概要结构图。下面的图是视觉芯片61的放大图。如该放大图所示，各个像素具有光传感器63和处理电路64。图像信息通过透镜62等光学系统被投影在视觉芯片61上。所投影的图像信息由光传感器63变换为电气信号，由配置在各个像素上的处理电路64进行超并行处理。然后，处理电路64将其变换为计算机和微处理器等高级识别装置容易理解的信息并输出。

利用这种视觉芯片可以解决以往用串行数字计算机形成的图像处理系统所存在的问题。迄今已开发出各种视觉芯片，利用视觉芯片实现的视觉信息处理主要有例如“图像平滑化”、“轮廓强调”、“移动检测”等。

图23表示单芯片系统的电路结构图。这里，作为电路的一个示例，可以列举出进行输入图像的平滑化、轮廓强调、速度检测的视觉芯片。在单芯片的情况下，如图所示，必须在各个像素中分别配置光传感器63和平滑化电路65、轮廓强调电路66、移动检测电路67各处理电路。

但是，在上述的单芯片系统的视觉芯片中，由于在各个像素中配置光传感器和处理电路，所以1个像素的几何学结构(像素尺寸)变大。另外，在以往的视觉芯片中，由于需要用1个芯片来实现各种视觉处理0功能，所以芯片的每单位面积的像素数减少，空间分辨率降低。此外，在以往的视觉芯片中，有时由于简化像素结构、缩小像素尺寸，在下一级的高级识别处理中不能进行充分的图像处理。此外，如果采用通过加大芯片尺寸来增加像素数的对策，则芯片成本增高(随着成品数的增加，不能使用的芯片增加也是原因之一)，从成品率方面考虑，存在芯片尺寸自身依赖于CMOS制造工艺的局限性。

发明内容

鉴于以上情况，本发明的目的是通过采用所谓的“多芯片系统”结构，该多芯片系统把要由1个芯片进行的处理分成多个芯片来进行处理，利用超并行电路结构进行图像处理等各种处理，实时进行图像处理等各种处理。另外，本发明的目的在于，提供一种例如使用CMOS的廉价、小型、耗电低的系统。本发明的目的还在于，提供一种具有模拟特有的耐用性的系统。

根据本发明的解决方法，提供一种图像检测处理装置，具有：

第1像素电路，其具有：把所输入的光信号变换为电气信号的光传感器；和第1处理电路，其对来自所述光传感器的输出进行第1模拟处理，输出模拟图像信息；和

第2像素电路，其对应于所述第1像素电路而设置，具有：第2模拟存储器，其从所述第1像素电路的所述第1处理电路输入模拟图像信息并进行存储；和第2处理电路，其从所述第2模拟存储器读出图像信息，进行第2模拟处理，输出模拟图像信息，

所述第1和第2像素电路分别配置成矩阵状，分别形成第1及第2芯片，所述第1和第2处理电路分别从各自的所述第1及第2芯片中的附近的第1和第2处理电路接收模拟信号，对特性进行补偿，通过并行运算进行第1及第2模拟处理。

附图说明

图1是多芯片系统的像素检测处理装置的结构图。

图2是第1类型芯片的结构图。

图3是第1类型的像素电路的结构图。

图4是第2类型芯片的结构图。

图5是第2类型的像素电路的结构图。

图6是用于选择注目像素的移位寄存器的时序图。

图7是第1类型的1个像素的像素电路的结构图。

图8是像素级的动作的时序图。

图9是电阻电路网的结构图。

图10是使用1维电阻电路网的轮廓强调的效果(イメ—ジ)说明图。

图11是使用2层电阻电路网的轮廓强调的效果说明图。

图12是第2类型的1个像素的像素电路(2)的结构图。

图13是像素级的动作的时序图。

图14是帧间差的效果说明图。

图15是第2类型的1个像素的像素电路(1)的结构图。

图16是像素级的动作的时序图。

图17是多芯片系统的结构图。

图18是使用多芯片系统的两眼立体目视系统图。

图19是有源像素传感器的电路图。

图20是噪声补偿缓冲器的电路图及控制信号的时序图。

图21是电阻电路网的电路图及说明图。

图22是视觉芯片的概要结构图。

图23是单芯片系统的电路结构图。

具体实施方式

1.多芯片系统

图1中表示出多芯片系统的像素检测处理装置的结构图。在该实施方式中，作为一个示例，把平滑化、轮廓强调、移动检测3个处理分别分为3个芯片，形成多芯片结构。从透镜等光学系统4输入图像信息，第1级的平滑化芯片1通过具有光传感电路1-1和作为平滑化用处理电路的平滑化电路1-2来进行输入图像的平滑化。从第1级的平滑化芯片1输出平滑化后的图像信息，作为电压或电流模拟信号，输入给第2级以后的轮廓强调芯片2、移动检测芯片3。第2级以后的轮廓强调芯片2、移动检测芯片3的各个像素分别具有模拟存储器2-1、3-1和作为专用处理电路的轮廓强调电路2-2、移动检测电路3-2。模拟存储器2-1、3-1临时存储来自前级的模拟信息。轮廓强调电路2-2、移动检测电路3-2分别读取模拟存储器2-1、3-1的信息(必要时可以写入)。这里，从第2级轮廓强调芯片2输出轮廓强调后的图像信息，从第3级移动检测芯片3输出移动检测的结果。

作为这种多芯片系统的特征，例如可以列举以下几点。

·能够限定用1个芯片进行的处理(可以分散处理功能)。

·像素尺寸小。

·不加大芯片尺寸就可增加像素数。

·由于从多个芯片将输出并行输出，所以能够进行使用多个视觉信息的高级图像处理。

·为了清除在图像处理及数据复制时附加的电路噪声而在各个像素中配置补偿电路比较容易。

·图像处理、数据复制使用模拟信息。并且，可以利用由配置在各个像素上的模拟处理电路形成的超并行电路结构快速进行图像处理。这一点和现有的图像处理用DSP(Digital Signal Processor)明显不同。

下面，说明本发明与DSP的差异。

在DSP的情况下，把从CCD摄像机之类的摄像机器输出的图像信息通过A/D变换器变换为数字信号，发送给DSP，由DSP进行数字图像处理。与此相对，本发明的实施方式的情况下，在第1级平滑化芯片1阶段，首先在获取图像信息的同时，由各个像素的模拟处理电路实施超并行模拟图像处理(与CCD摄像机的不同点)。然后，从第1级平滑化芯片1直接输出所计算的模拟信息，输入给下一级的轮廓强调芯片2(不进行A/D变换)。之后，来自第1级平滑化芯片1的信息被输入到排列在下一级的轮廓强调芯片2的各个像素中的模拟存储器，再由各个像素的模拟处理电路进行超并行处理(与数字图像处理的不同点)。然后，来自轮廓强调芯片2的信息被输入到排列在下一级的移动检测芯片3的各个像素中的模拟存储器，再由各个像素的模拟处理电路进行超并行处理。

一般来说，和数字电路相比，模拟电路可以设计成小规模的处理电路。假定在各个像素中配置DSP进行并行图像运算时，具有以下等问题：

·像素尺寸变大。

·连接各个像素的布线变复杂。

与此相对，由于本发明利用模拟电路构成各个像素，所以能够减缓这些问题。

但是，有时作为模拟集成电路固有的问题，能设想到因元件特性的不一致造成的偏差的影响。也就是说，即使在同一芯片内设计几何学上完全相同的电路，各个电路的电气特性也产生偏差。在芯片内部就不用说了，该倾向在不同芯片之间表现得更明显。当本发明这样的超并行电路结构的各个像素间的元件特性的偏差或将图像信息复制到下一级时的芯片前后的信息变化严重时，对此需要采取对策。

因此，本发明通过在各个像素中设置补偿伴随元件特性的不一致而产生的偏差(电路噪声)的电路，来解决该问题。在该补偿电路中，通过把各个像素的电路噪声存储在某种模拟信息存储元件中，实现不受电路噪声影响的图像处理和数据复制。具体而言，设想该补偿电路为噪声补偿缓冲器电路(后述)，但只要是具有相同功能的电路就可以进行置换。

2.构成多芯片系统的芯片的电路结构概要

在本发明的实施方式中，构成多芯片系统的芯片的种类大致分为以下两种类型。

·第1类型：在各个像素中内置获取图像信息的光传感器和处理电路

·第2类型：在各个像素中内置存储来自前级的图像信息的模拟存储器和处理电路

说明这些第1类型、第2类型的电路结构。

(1)第1类型芯片的电路结构(图像获取+并行图像处理)

第1类型芯片是要构成的芯片系统的第1级，由内置于各个像素中的光传感器获取外界的图像信息，实施并行图像处理。

图2中表示出第1类型芯片的结构图。

第1类型芯片具有像素电路11、水平移位寄存器13、垂直移位寄存器14、开关15、输出用缓冲器16、输出线17。由水平移位寄存器13、垂直移位寄存器14顺序选择像素电路11，读出并行运算后的输出。(另外，移位寄存器的时序图在后面叙述。)

图3表示第1类型的像素电路的结构图。像素电路11具有光传感器111、处理部112、模拟运算器113、开关114。下面分别说明其作用。

光传感器111把光信号(图像信息)变换为电压、电流等电气信号。像素元件使用光电二极管、光敏晶体管、有源像素传感器等。处理部112接受来自自身的像素电路的光传感器111的输入和来自附近的像素电路的输入n1～n4，进行图像处理。处理部112主要进行使用附近像素信息的并行图像运算。模拟运算器113接受来自处理部112的输入，进行四则运算等模拟运算。模拟运算器113也可以包括对电路噪声进行补偿的电路，该电路噪声同时也是模拟集成电路应该应付的问题，是由各个元件特性的偏差引起的。模拟运算器113的输出成为像素输出。在该实施方式中，输入给各个像素电路11的控制信号统一输入到所有像素，但也可以按每个像素电路或按每行/列来输入。

(2)第2类型芯片的电路结构(模拟存储器+并行图像处理)

第2类型芯片是要构成的芯片系统中的第2级以后的芯片，在内置于各个像素中的模拟存储器中存储来自前级的图像信息，由配置在各个像素中的处理电路实施并行图像处理。

图4表示第2类型芯片的结构图。

第2类型芯片具有像素电路21、水平移位寄存器23、垂直移位寄存器24、开关25、输入用缓冲器26、输出线27、输入线28、输出用缓冲器29。由水平移位寄存器23、垂直移位寄存器24顺序选择注目像素，向像素电路21输入来自前级芯片的数据，读出并行运算后的输出。(另外，移位寄存器的时序图在后面叙述。)

图5表示第2类型的像素电路的结构。

像素电路21由模拟存储器211、处理部212、模拟运算器213构成，具有开关114、115。下面分别说明其作用。

模拟存储器211存储从外部(此时为第1类型像素电路或前级的第2类型像素电路等)输入的图像信息。处理部212接受来自自身的像素电路的模拟存储器211的输入、来自附近的像素电路的输入n1～n4，进行图像处理。处理部212主要进行使用附近像素信息的并行图像运算。模拟运算器213接受来自处理部212的输入，进行四则运算等模拟运算。模拟运算器213也可以包括对电路噪声进行补偿的电路，该电路噪声同时也是模拟集成电路应该应付的问题，是由各个元件特性的偏差引起的。模拟运算器213的输出成为像素输出。在该实施方式中，输入给各个像素电路的控制信号统一输入到所有像素，但也可以按每个像素电路或按每行/列进行输入。

下面，在图6中表示出用于选择注目像素的移位寄存器的时序图。

在第1、第2类型芯片中，水平移位寄存器13、23、垂直移位寄存器14、24均选择用于输入输出图像信息的注目像素电路。其基本时序如图所示。在第2类型芯片中，用垂直移位寄存器24选择像素阵列的行，将所选择的像素的输入输出开关SWi/o连接到各列的输入输出线。在该状态下，用水平移位寄存器23及开关25选择1组输入输出线，分别连接到输入缓冲器26、输出缓冲器29上。即，输入缓冲器26、输出缓冲器29连接到按行/列选择的像素上。第1类型的情况下也相同，但不需要输入路径。

3.芯片的电路示例

(1)第1类型芯片的电路示例：图像获取+平滑化

图7中表示出第1类型的1个像素的像素电路的结构图。

该像素电路具有光传感器111、处理部112、模拟运算器113、开关114。光传感器111在该示例中作为APS(有源像素传感器：后述)，通过储蓄光电荷，把光信号变换为电压信息。这里，处理部112是用电阻电路网构成的。通过把图像信息输入到电阻电路网，可以超并行地进行输入图像的平滑化(后述)。在附近像素之间通过用电阻进行连接(n1、n2、n3、n4)形成电阻电路网，进行输入图像的平滑化。把来自处理部112的输出输入到模拟运算器113。模拟运算器113使用噪声补偿缓冲器电路Nbuf(后述)。噪声补偿缓冲器电路Nbuf可以根据控制信号对输入侧的电路偏差和噪声补偿缓冲器电路Nbuf内部的放大器的偏移进行补偿。通过由水平移位寄存器13、垂直移位寄存器14控制SWo，可以选择并读出注目像素。

图8中表示出像素级的动作时序图。以下说明各个区间的动作。

区间(A)：通过使输入给APS的开关的控制信号SWp为高电平，对APS进行初始化。然后通过使SWp为低电平，转入第n号帧的APS的电荷储蓄动作。

区间(B)+(C)：APS的储蓄时间

区间(C)：经过储蓄时间后，使SWh为高电平，连接处理部112的电阻电路网和噪声补偿缓冲器电路Nbuf。此时，电阻电路网的输出Vnet为：

Vnet＝Vnet(n)+VN1 (1)

其中，Vnet(n)是由电阻电路网处理后的图像信息，VN1是此时的电路噪声。在该状态下，通过控制SW1和SW2，在内置于噪声补偿缓冲器电路Nbuf中的电容器中存储公式(1)的电阻电路网的输出。

区间(A’)：再次通过使输入到APS的开关的控制信号SWp为高电平，对APS进行初始化。此时的电阻电路网的输出Vnet为：

Vnet＝Vnet0+VN0 (2)

其中，Vnet0是来自APS初始化时的电阻电路网的初始电压，VN0是初始化时的电路噪声。即，输入到噪声补偿缓冲器电路Nbuf的输入电压从公式(1)变为公式(2)。此时假设来自噪声补偿缓冲器电路Nbuf的输出Vout在电路噪声的大小总是恒定(VN1＝VN0)的，则：

Vout(n)＝Vnet(n)-Vnet0+VN1-VN0+Vref

＝Vnet(n)-Vnet0+Vref

可以获得与不受电路噪声影响的电阻电路网的处理信息成比例的输出。然后通过使SWh为高电平，在噪声补偿缓冲器电路Nbuf中保持输出。之后通过使SWp为低电平，转入第n+1号帧的APS的电荷储蓄动作。

区间(B’)：由于APS和Nbuf电气分离，所以可以通过与第n+1号帧的APS的储蓄动作并行，关闭输出开关信号SWo，读出Vout(n)。

通过重复以上动作，可以进行图像信息的获取以及通过电阻电路网进行的平滑化动作。

(2)第2类型芯片的电路示例1：轮廓强调

图9中表示出电阻电路网的结构图。

把图示像素之间用电阻进行连接而成的电路称为电阻电路网。通过电阻电路网可以进行输入图像的平滑化(后述)。输入图像和平滑化后的图像的差输出是对输入图像的轮廓进行了强调的信号。

图10中表示出使用1维电阻电路网的轮廓强调的效果的说明图。

图(A)的横轴表示像素序号，纵轴表示对应的图像信息(电压)。向电阻电路网提供第0号像素电压值变大的输入Vk。其对应于图像轮廓。此时从电阻电路网输出轮廓部分被平滑化后的V1k。这些Vk和V1k的差输出如图(B)所示。可以看出，作为轮廓位置的第0号像素响应程度大，其周边随着偏离轮廓位置而逐渐取恒定值。即，进行了轮廓部的强调。

另外，图11中表示出使用2层电阻电路网的轮廓强调的效果的说明图。

如上所述，如果电阻电路网的输入使用预先通过其他电阻电路网平滑化后的图像信息，即，使用2层电阻电路网，则可以获得该图所示的输出。大家知道，该滤波器的特性从数学上来讲与拉普拉斯—高斯特性(_²G)近似，可以同时进行输入图像的平滑化和轮廓强调。另外，该滤波器去除高频空间图像噪声的效果优良。

图12中表示出第2类型的1个像素的像素电路(2)的结构图。

该像素电路具有模拟存储器211、处理部212、模拟运算器213、开关214、215。在模拟存储器211中内置的电容器中存储来自外部的像素信息。处理部212用电阻电路网构成。处理部212通过在与附近像素之间用电阻进行连接(n1、n2、n3、n4)形成电阻电路网，进行输入图像的平滑化。把来自处理部212的输入和输出双方均输出到模拟运算器213。模拟运算器213使用噪声补偿缓冲器电路Nbuf(后述)。噪声补偿缓冲器电路Nbuf可以根据控制信号对输入侧的电路偏差和噪声补偿缓冲器电路Nbuf内部的放大器的偏移进行补偿。通过由水平移位寄存器23、垂直移位寄存器24控制SWi、SWo，可以选择注目像素。

图13中表示出像素级的动作的时序图。虽然此处示出了电阻电路网为1层的示例，但也可以是如上所述的2层。以下说明各区间的动作。

区间(A)：通过使来自移位寄存器的输入控制信号SWi为高电平，在模拟存储器211中存储来自外部的图像信息(Vin(n))。

区间(B)：使数据保持用开关的控制信号SWh和输入切换开关的控制信号SWs为高电平，连接噪声补偿缓冲器电路Nbuf和来自模拟存储器211的输入V1。在该状态下，通过进行噪声补偿缓冲器电路Nbuf的控制信号SW1、SW2的开关动作，将来自模拟存储器211的输入V1存储到噪声补偿缓冲器电路Nbuf中。同时对电路输入侧的偏差和噪声补偿缓冲器电路Nbuf内部的放大器的偏移进行补偿(噪声补偿动作)。

区间(C)：使切换开关的控制信号SWs为低电平，连接噪声补偿缓冲器电路Nbuf和电阻电路网的输出V2，从而在噪声补偿缓冲器电路Nbuf中进行下述计算：

Vout(n)＝V2(n)-V1(n)+Vref

即，可以获得与输入图像信息V1(n)和来自电阻电路网的平滑化输出V2(n)之差成比例的输出。

区间(D)：使数据保持用开关的控制信号SWh为低电平，把所计算的图像信息保持在噪声补偿缓冲器电路Nbuf中。

区间(A’)：通过使来自移位寄存器的输出控制信号SWo为高电平，读出保持在噪声补偿缓冲器电路Nbuf中的输出Vout(n)。与此同时，通过使来自移位寄存器的输入控制信号SWi为高电平，在模拟存储器211中存储下一时间的图像信息(Vin(n+1))。

以下，通过重复相同动作，可以输出轮廓强调输出。

(3)第2类型芯片的电路示例2：移动检测

图14中表示出帧间差的效果说明图。

假定在某第n号帧的图像中，在白底上输入黑圆盘(图(A))。设想该黑圆盘在第n+1号帧的图像中向右移动(图(B))。如果把第n、n+1号帧的图像输出作为电压值，计算这些输出的电位差，则如图(C)所示，仅移动了的部分进行响应。通过这样计算帧间差，可以计算对象的移动。

图15表示第2类型的1个像素的像素电路(1)的结构图。

该像素电路具有模拟存储器211、模拟运算器213、开关214、215。在模拟存储器211内置的电容器中存储来自外部的像素信息。模拟运算器213使用噪声补偿缓冲器电路Nbuf(后述)。噪声补偿缓冲器电路Nbuf可以根据控制信号对输入侧的电路偏差和噪声补偿缓冲器电路Nbuf内部的放大器的偏移进行补偿。通过由水平移位寄存器23、垂直移位寄存器24控制SWi、SWo，可以选择注目像素。

图16中表示出像素级的动作的时序图。以下说明各区间的动作。

初始条件：将输入到SWh的信号总是设为高电平，连接模拟存储器211和噪声补偿缓冲器电路Nbuf。

区间(A)：通过噪声补偿缓冲器电路Nbuf的控制信号SW1、SW2的开关动作，将模拟存储器211上的像素值(Vin(n))存储在噪声补偿缓冲器电路Nbuf中。同时对电路输入侧的偏差和噪声补偿缓冲器电路Nbuf内部的放大器的偏移进行补偿(噪声补偿动作)。

区间(B)：通过使来自移位寄存器的输入控制信号SWi为高电平，把模拟存储器211的信息更新为下一时间的信息(Vin(n+1))。同时在噪声补偿缓冲器电路Nbuf中进行下述计算：

Vout＝(Vin(n))-(Vin(n+1))+Vref

即，可以获得与当前时间(n+1)的像素信息和前一时间(n)的像素信息之差成比例的输出。通过使输出控制信号SWo为高电平，读出噪声补偿缓冲器电路Nbuf的输出。

区间(A’)：通过再次进行控制信号SW1、SW2的开关动作，将模拟存储器211上的像素信息(Vin(n+1))存储在噪声补偿缓冲器电路Nbuf中，通过噪声补偿缓冲器电路Nbuf进行噪声补偿动作。

以下，通过重复相同动作，可以输出帧间差输出。

4.多芯片系统的结构示例

图17中表示出多芯片系统的结构图的一例。

此处，把作为上述的芯片电路示例列举的：

·图像获取+平滑化芯片1

·轮廓强调芯片2

·移动检测芯片3

构成多芯片系统。

这里，说明按照图像获取+平滑化芯片1、轮廓强调芯片2、移动检测芯片3的顺序串联连接的电路示例。

首先，在第1级的平滑化芯片1进行输入图像的获取及输入图像的平滑化。如图(A)所示，把苹果图像投影到平滑化芯片1时，可以获得对图像中包含的空间噪声成分进行平滑化后的输出。

第1级的平滑化芯片1的输出被输入到第2级的轮廓强调芯片2。在第2级的轮廓强调芯片2中，由于进行使用平滑化图像的轮廓强调处理，所以形成拉普拉斯—高斯型滤波器(laplacian-gaussian filter)，可以获得进行了输入图像的平滑化和轮廓强调的输出。如图(B)所示，可以看出，强调了苹果的轮廓和叶子纹理等特征量。

第2级的轮廓强调芯片2的输出被输入到第3级的移动检测芯片3。在第3级的移动检测芯片3中可以检测强调了输入图像轮廓的图像的移动部分。苹果从左向右水平移动时，如图(C)所示，可以看出苹果的移动方向的轮廓输出低(黑)，其相反侧的轮廓输出高(白)，没有移动的垂直方向几乎没有响应。

通过这样构成芯片系统，可以并行输出“平滑化图像”、“轮廓强调图像”、“移动图像”。

下面，在图18中表示出使用多芯片系统的两眼立体目视系统的结构图的一例。

如图所示，通过准备两个图像获取用第1类型芯片51、52，可以对应两眼立体目视这种复杂的图像处理系统。

把两个第1类型芯片51、52的输出输入到多个视觉功能芯片53、54、55、56，并行取出视觉信息。然后，通过综合这些信息，可以高精度地快速解决一般串行图像处理系统中不能解决的对应点问题。

此处，视觉功能芯片53、56起到上述移动检测芯片的作用，视觉功能芯片54、55起到上述轮廓强调芯片的作用。视觉功能芯片57具有下述功能：通过应用移动检测芯片，输入两个视觉功能芯片54、55各自的输出来检测其差。

5.电路示例

图19中表示出有源像素传感器的电路图的一例。

在该示例中，通过使用电荷储蓄型光电传感器，在输出端附加源极跟随电路，构成有源像素传感器(APS)。由于在初始化时，输出下降MOS的阈值部分，所以源极跟随电路使用PMOS源极跟随器(PSF)。

图20表示噪声补偿缓冲器的电路图及控制信号的时序图的一例。

噪声补偿缓冲器电路(Noise Compensation Buffer)是通过把由元件偏差引起的电路噪声存储在内置的电容器中来进行补偿的电路(参照T.Sibano，K.lizuka，M.Miyamoto，M.Osaka，R.Miyama and A.Kito，“Matched Filter for DS-CDMA of up to 50MChip/s Based on SampledAnalog Signal Processing”，ISSCC Digest of Tech.Papers，pp100-101，Feb.1997.)

根据图中的控制信号的时序图说明动作。

(1)(SW1：接通、SW2：连接到ref)

此时，输入V(in)＝Vin0+VN0

(其中，Vin0：来自前级电路的输入信号的初始值，VN0：前级电路噪声)

AMP的反转节点的电压V(in-)＝V(ref)+Voff

(其中，Voff：AMP的偏移电压)

储蓄在AMP的反转节点上的电荷

Q＝C1(V(ref)+Voff-Vin0-VN0)+C2(V(ref)+Voff-V(ref)) (3)

(2)(SW1：断开、SW2：连接到ref)

此时，AMP的反转节点成为浮置状态，电荷被按原样保持。(把到此为止的动作称为复位动作)。

(3)(SW1：断开、SW2：连接到AMP的输出)

此时，输入变为V(in)＝Vin1+VN1

(其中，Vin1：来自前级电路的输入信号，VN1：输入Vin1时的前级电路噪声)

储蓄在AMP的反转节点上的电荷

Q＝C1(V(ref)+Voff-Vin1-VN1)+C2(V(ref)+Voff-V(out)) (4)

根据(3)、(4)，

V(out)＝-(C1/C2)(Vin1-Vin0+VN1-VN0)+V(ref)

因此，如果前级电路的电路噪声恒定(VN0＝VN1)，则输出V(out)不仅不受自身AMP的偏移的影响，也不受前级电路噪声的影响，并且与输入电压的变化部分成比例。

另外，噪声补偿缓冲器电路的动作区域依赖于使用的AMP的动作区域。使用的每个AMP的动作区域如下：

·跨导放大器(AMP1)：针对输入的负变化进行动作

·跨导放大器(AMP2)：针对输入的正变化进行动作

·宽范围放大器：针对输入的正负双方的变化进行动作

图21中表示出电阻电路网的电路图及说明图。

使用该图说明使用电阻电路网的超并行图像运算(参照C.Mead，“Analog VLSI and Neural Systems”，Addision-Wesley，Reading，MA，1989.、及T.Yagi，S.Ohshima and Y.Funahashi，“The role of retinalbipolar cell in early vision：an implication with analogue networksand regularization theory”，Biol.Cybern，77，pp163-171，1997.)。电阻电路网的输出电压的分布是对输入电压进行平滑化后得到的。在节点数充分多时可以如下考虑电阻电路网中的电压分布。

根据图(A)的电阻电路网的概略图进行说明。

设k＝0时的输入电压Vk＝V0，除此以外的情况时为零(空间脉冲输入)。相对该输入的电阻电路网的响应电位V1k为

V1_k＝B₁V₀γ₁ ^|k| 公式1

其中，

B_{1} = 1 / \sqrt{4 {L_{1}}^{2} + 1}

L_{1} = \sqrt{R_{m} / R_{s}}

γ_{1} = 1 + 1 / (2 {L_{1}}^{2}) - \sqrt{1 / {L_{1}}^{2} + 1 / ({4 L}_{1}^{4})}

该公式表示输出信号随着偏离信号源(k＝0)而呈指数函数地衰减。

另外，L1被称为电阻电路网的空间常数，该数值越大，信号传播越宽。

图(B)中表示出用两种空间常数计算空间脉冲输入时的输出电压分布的结果。实线表示

L 1 = \sqrt{(10 / 6)},

虚线表示

两者均随着偏离信号源而呈指数函数地平滑衰减。并且，已经知道空间常数大的虚线一方的输出的传播比较宽。

对任意的输入电位分布Vi的响应，根据公式1中Vk＝1时的响应和Vi的空间卷积积分表示为：

{V 1}_{k} = B_{1} Σ_{i = - \infty}^{\infty} V_{i} {γ_{1}}^{| k - i |}

即，作为图像处理的结构电路使用时，

·通过在输入部排列光传感器阵列或像素存储器，可以超并行地快速计算输入图像的平滑化处理。

·通过用可变电阻构成电阻元件，可以自由地调节平滑化区域。

本发明如上所述，通过采用把要由1个芯片进行的处理分为多个芯片来进行用处理的所谓“多芯片系统”结构，可以用超并行的电路结构进行图像处理等各种处理，实时进行图像处理等各种处理。此外，根据本发明，可以提供例如使用CMOS的廉价、小型、耗电低的系统。另外，根据本发明，可以提供具有模拟特有的耐用性的系统。

Claims

1.一种图像检测处理装置，具有：

2.根据权利要求1所述的图像检测处理装置，还具有第3像素电路，该第3像素电路对应于第1及第2像素电路而设置，具有：第3模拟存储器，其从所述第2像素电路的所述第2处理电路输入模拟图像信息并进行存储；和第3处理电路，其从所述第3模拟存储器读出图像信息，进行第3模拟处理，输出模拟图像信息，所述第3像素电路被配置成矩阵状而形成第3芯片，所述第3处理电路分别从所述第3芯片中的附近的第3处理电路接收模拟信号，对特性进行补偿，通过并行运算进行第3模拟处理。

3.根据权利要求2所述的图像检测处理装置，其特征在于，

所述第1芯片进行图像获取以及所获取的图像信息的平滑化处理，

所述第2芯片对来自所述第1芯片的图像信息进行轮廓强调处理，

所述第3芯片对来自所述第2芯片的图像信息进行移动检测处理。

4.根据权利要求1～3中任一项所述的图像检测处理装置，其特征在于，所述第1芯片还具有：

水平移位寄存器及垂直移位寄存器，其顺序选择所述第1像素电路，读出并行运算后的输出；

开关，其选择来自其中一个所述第1像素电路的模拟输出；和

由所述开关选择的模拟输出的输出用缓冲器。

5.根据权利要求1～4中任一项所述的图像检测处理装置，其特征在于，所述第2芯片还具有：

水平移位寄存器及垂直移位寄存器，其顺序选择所述第2像素电路，读出并行运算后的输出；

开关，其选择来自其中一个所述第2像素电路的模拟输出；

输出用缓冲器，其临时存储由所述开关选择的模拟输出；和

输入到所述第2像素电路中的模拟输入的输入用缓冲器。

6.根据权利要求1～5中任一项所述的图像检测处理装置，其特征在于，

所述第1像素电路的所述光传感器具有根据控制信号把光信号变换为电气信号的有源像素传感器，

所述第1处理电路具有：

电阻电路网，其输入来自自身的所述第1像素电路的所述有源像素传感器的模拟信号和来自附近的第1像素电路的模拟信号，对来自所述有源像素传感器的模拟输入图像进行平滑化；

噪声补偿缓冲器电路，其输入来自所述电阻电路网的模拟信号并进行模拟运算，根据控制信号对输入侧的电路元件特性的偏差和内部放大器的偏移进行补偿，补偿电路噪声；和

开关，其用于输出来自所述噪声补偿缓冲器电路的模拟信号，

所述第1处理电路进行图像信号的获取及平滑化处理。

7.根据权利要求1～6中任一项所述的图像检测处理装置，其特征在于，

所述第2像素电路还具有控制来自所述第1像素电路的像素信号的输入的第1开关，

所述第2模拟存储器在内部电容器中存储模拟图像，

所述第2处理电路具有：

电阻电路网，其输入来自自身的所述第2像素电路的所述第2模拟存储器的模拟信号和来自附近的第2像素电路的模拟信号，对来自所述第2模拟存储器的模拟输入图像进行平滑化；

噪声补偿缓冲器电路，其根据控制信号切换输入所述电阻电路网的输入及输出的模拟信号并进行模拟运算，对输入侧的电路元件特性的偏差和内部放大器的偏移进行补偿，补偿电路噪声；和

所述第2处理电路进行轮廓强调处理。

8.根据权利要求2～7中任一项所述的图像检测处理装置，其特征在于，

所述第3像素电路还具有控制来自所述第2像素电路的像素信号的输入的第1开关，

所述第3模拟存储器在内部电容器中存储模拟图像，

所述第3处理电路具有：

噪声补偿缓冲器电路，其根据控制信号从所述模拟存储器读出图像信息，输出与当前图像信息和前一时间的图像信息之差成比例的模拟信号，并且对输入侧的电路元件特性的偏差和内部放大器的偏移进行补偿，补偿电路噪声；和

第2开关，其用于输出来自所述噪声补偿缓冲器电路的模拟信号，

所述第3处理电路进行移动检测处理。

9.根据权利要求2～8中任一项所述的图像检测处理装置，其特征在于，具有：

左眼用芯片和右眼用芯片，其具有：进行图像获取及平滑化处理的所述第1芯片；对所述第1芯片的输出，进行移动检测处理的所述第2芯片；和输出轮廓强调处理的所述第3芯片，分别进行对应于左眼和右眼的图像处理；

第4芯片，其对来自对应于左眼和右眼的所述第2芯片的输出，进行求出视差的处理；和

综合部，其综合所述第1到第4芯片的输出。