CN1246766A - 成像装置、信号处理装置及其控制方法 - Google Patents

Abstract

一种成像系统,即使提高不同分辨率的图像数据的分辨率,也能有效地执行处理而不会降低有关电路的处理能力。为此,在用于向相应电路传送图像数据的图像数据总线33的带宽限制范围内,存储控制器22分时地向相应电路传送确认信号,并管理使相应电路执行预定处理的控制。即,存储控制器22实际上实时访问相应电路中的数据,使图像数据从相应电路写入图像存储器32,或从图像存储器32中读出图像数据,送到相应电路。

Description

成像装置、信号处理装置 及其控制方法

本发明涉及到一种适用于静态图像成像设备中的信号处理设备。具体地讲，涉及到一种特别有效地完成信号处理的信号处理装置及其控制方法，以及一种成像设备和记录/再现装置。

数码相机通过CCD图像传感器获取图像数据，存入DRAM或快闪存储器，随后将图像数据传送到所谓的个人计算机或类似设备。到目前为止，此类数码相机的大部分属于视频图形阵列(VGA)系统类型。

参照图1，该数码相机200包括：一个用于产生图像信号的CCD图像传感器201，一个输入处理/图像处理电路202，一个用于读取和写入图像数据的存储控制器203，一个用于转换到一种预定系统输出图像的输出处理电路204，一种用于显示在图像拍摄时对象状态的取景器205，一种通过CPU总线206来记录压缩后图像数据的记录单元207，以及用于压缩/扩展图像数据的一种压缩/扩展电路208。数码相机200还包括例如由DRAM构成的存储器209，以及用来控制整个设备的CPU 210。

在开始对象的图像拍摄之前，用户须确保对象图像显示在取景器205上。此状态称作取景模式。此时，CCD图像传感器201将通过光电转换获得的图像信号送到输入处理/图像处理电路202。输入处理/图像处理电路202对图像信号实施相关双采样处理来数字化图像信号。输入处理/图像处理电路202接着实施预定的信号处理，如伽马校正(gamma correction)，失真处理(knee processing)或照相处理(camera processing)，把处理后的图像信号送到存储控制器203，存储控制器203接着响应CPU 210的控制，把图像数据从输入处理/图像处理电路202送到输出处理电路204。输出处理电路204按照例如美国国家电视系统委员会(NTSC)制式，对图像数据编码，再将编码后的图像数据模拟化，把得到的模拟数据送到取景器205。这样就使对象作为拍摄图像的对象被显示在取景器205上。

另一方面，如果用户按下快门按钮(未示出)移到记录模式，存储控制器203促使从输入处理/图像处理电路202提供的图像数据被写到存储器209中。CPU 210使该图像数据从存储器209中读出，在压缩/扩展电路208中按照例如联合图形专家组(JPEG)制式压缩图像数据，然后，在记录单元207中记录经压缩的图像数据。

如果用户执行移到到再现方式的预定处理，CPU 210从记录单元207中读出图像数据，在压缩/扩展电路208中按JPEG制式扩展图像数据，把所得数据经存储控制器203和输出处理电路204送到取景器205。这样就在取景器205上显示了拍摄图像。

随着近来CCD图像传感器的显著技术进步，图像数据分辨率几乎超过1,000,000个像素。另一方面，会担心上述结构的数码相机不足以应付超过1,000,000像素的图像数据。

例如，如果CCD图像传感器201输出高分辨率的图像信号，输入处理/图像处理电路202，存储控制器203或输出处理电路204不能实时处理图像数据，结果到对象图像在取景器205上显示时容易产生例如1秒的延迟。特别是在拍摄轻微地运动对象的图像时，会引起不方便。

此外，由于对需要实时的图像数据进行访问，而且CPU 210用不定的数据速率访问数据都是在普通总线上执行的，所以如果因图像数据量的增加而导致CPU总线停滞，则会降低相应电路的处理能力，使实时访问难以实现。

因此本发明的目的是提供一种信号处理方法和装置，即使为跟上图像数据增加的分辨率处理各种不同的图像数据，也能有效地执行处理而不降低相应电路的处理能力。

在一方面，本发明提供了一种信号处理装置，包括：存贮图像数据的存贮设备，为存贮设备控制写/读图像数据的控制设备，以及多个信号处理设备，用于按预定方式处理图像数据和用于向控制设备输出请求信号，来要求提供图像数据进行信号处理或要求输出处理过的图像数据。控制设备管理对提供请求信号的控制，选择一种或多种输出请求信号的信号处理设备，为选中的信号处理设备提供从存贮设备读出的图像数据，或在存贮设备中写入选中信号处理设备输出的图像数据。

另一方面，本发明提供了一种信号处理装置的控制方法，该信号处理装置可适应在多个信号处理设备和存贮图像数据的存贮设备之间发送和接收图像数据，各信号处理设备按预定方式处理图像数据，并且向控制设备输出一种要求提供进行信号处理的图像数据或要求输出处理后图像数据的请求信号。该控制方法包括：根据所提供的来自多个信号处理设备的请求信号，选择一个或多个输出请求信号的信号处理设备，以及为选中的信号处理设备提供从存贮设备读出的图像数据或在存贮设备中写入选中信号处理设备输出的图像数据。

再一方面，本发明提供一种成像装置，包括：成像设备，暂时存贮来自成像设备的图像数据的存贮设备，为存贮设备控制写/读图像数据的控制设备，多个信号处理设备，用于按预定方式处理图像数据和用于向控制设备输出请求信号，来要求提供图像数据进行信号处理或要求输出处理过的图像数据，以及输出经信号处理设备处理过的图像数据的输出设备。控制设备管理对提供请求信号的控制，选择一种或多种输出请求信号的信号处理设备，为被选的信号处理设备提供从存贮设备读出的图像数据，或在存贮设备中写入被选信号处理设备输出的图像数据。

另一方面，本发明提供了一种记录/再现装置，包括：成像设备，用于对来自成像设备的图像数据进行预定输入处理的输入处理设备，用于在显示设备上显示图像数据的显示处理设备，用于暂时存贮来自成像设备的图像数据的第一存贮设备，为第一存贮设备控制写/读图像数据的控制设备，转换图像数据分辨率的分辨率转换设备，压缩/扩展图像数据的压缩/扩展设备，以及用于在第二存贮设备上记录压缩后的图像数据和用于再现记录在第二存贮设备上图像数据的记录/再现控制设备。控制设备从输入处理设备、显示处理设备、分辨率转换设备和压缩/扩展设备中选择一种或多种信号处理设备。这种控制设备将由第一存贮设备读出的图像数据送到选中的信号处理设备，或将选中信号处理设备输出的图像数据写入到第一存贮设备。

按照本发明，在信号处理装置及其控制方法中，如果每个信号处理设备发出一个请求信号，已输出在优先级次序中具有最高优先级的请求信号的信号处理设备被选中。然后执行以下控制，通过图像数据总线为被选信号处理设备提供从存贮设备读出的图像数据，或通过图像数据总线将被选信号处理设备处理后的图像数据写到存贮设备，因而在相应的信号处理设备中有效实现了信号处理。

附图的简要说明：

图1是说明常规数码相机结构的框图。

图2是表示体现本发明的数码相机的原理结构的框图。

图3是表示图2所示数码相机的原理结构的框图。

图4是说明在图2所示数码相机的信号处理单元中的图像数据流动的框图。

图5是说明在信号处理单元的输入处理电路中简化的分辨率转换电路结构的框图。

图6是表示信号处理单元分辨率转换电路结构的框图。

图7是表示分辨率转换电路的水平方向缓冲器、水平方向转换处理电路、垂直方向缓冲器和垂直方向转换处理电路的具体结构的框图。

图8是表示分辨率转换电路另一种结构的框图。

图9是表示分辨率转换电路垂直方向缓冲器的结构的框图。

图10图解说明了存储控制器从图像存储器读出图像数据的技术。

图11图解说明了组成一幅图像的像素坐标位置。

图12图解说明了存储控制器从图像存储器读出图像数据的另一种技术。

图13是表示分辨率转换电路的由行缓冲器构成的水平方向缓冲器结构的框图。

图14图解说明了存储控制器从图像存储器读出图像数据的技术。

图15是表示信号处理单元NTSC/PAL编码器的简化分辨率转换电路结构的框图。

图16A至16F表示用于图解说明在取景模式下相应电路的信号处理内容的时间表。

参照附图，本发明的优选实施例将被详细地解释。

本发明应用于结构如图2所示的数码相机1。

数码相机1包括一个产生图像信号的图像产生单元10，一个按预定方式处理图像数据的输入信号处理器20，一个由SDRAM构成的图像存储器32，和一个控制输入信号处理器20的控制器40。

图像产生单元10包括一个产生图像信号的固态成像设备，例如一个CCD图像传感器11，一个采样-保持和数字化图像信号以输出图像数据的采样保持-模拟/数字电路(S/H-A/D电路12)，以及一个产生定时信号的定时产生器13。这种定时产生器13根据由信号处理器提供的同步信号，产生水平同步信号和垂直同步信号来控制图像产生单元10的相应电路。

CCD图像传感器11产生对应于XGA(扩展图形阵列：1024×768)像素数据的图像数据，例如由800,000个像素组成。由来自定时产生器13的同步信号驱动的CCD图像传感器11，以每秒30帧的速率输出图像信号。同时，CCD图像传感器11具有稀化图像信号的功能，能将图像信号的垂直分量减少到1/2，1/3，1/4，…，并输出所稀化的信号。

S/H-A/D电路12按照来自定时产生器13的同步信号，按预定采样间隔执行采样-保持和A/D转换，并将所得图像数据发送到信号处理器20。

信号处理器20包括唯一一片LSI(大规模集成电路)。信号处理器20包括：一个对来自图像产生单元10的图像数据进行输入处理和照相处理的输入信号处理器21，一个控制图像存储器32读/写图像数据的存储控制器22，和一个NTSC/PAL(逐行倒相制)编码器23，一个用于模拟化图像数据并把所得模拟信号向外输出的D/A转换器24，以及一个产生同步信号并为定时产生器13提供所得同步信号的同步产生器26。

信号处理器20还包括：一个存储器接口27，作为图像存储器32的接口，一个转换图像数据分辨率的分辨率转换电路28，一个JPEG(联合图像专家组)编码器/解码器29，用于压缩/展开图像数据，一个JPEG接口30，作为JPEG编码器/解码器29的接口，以及一个主机接口31，作为与控制器40的CPU发送/接收数据的接口。

输入信号处理器21对来自S/H-A/D电路12的图像数据进行数字箝位、明暗校正、光圈校正、伽马校正或彩色处理，把所得处理后的信号送到存储控制器22。输入信号处理器21具有处理输入数据并把输入数据转换成Y，Cb和Cr的功能。如果图像数据的分辨率大于VGA(视频图形阵列)的分辨率，输入信号处理器21能执行降低分辨率的处理。输入信号处理器21还执行自动聚焦和自动光圈检测，把数据送到控制器40，进行聚焦机构和光圈机构的自动调节。输入信号处理器21还检测构成图像数据的三原色信号电平来自动调节白平衡。

存储控制器22还执行控制，通过存储器接口27把来自输入信号处理器21或其它电路的图像数据写入到图像存储器32，通过存储器接口27读出图像存储器32的图像数据。此时，存储控制器22基于存贮在图像存储器32中的图像数据检测在CCD图像传感器11中是否存在缺陷像素。

存储控制器22把从图像存储器32中读出的图像数据送到例如，NTSC/PAL编码器23。当得到来自存储控制器22的图像数据时，NTSC/PAL编码器23按NTSC制式或PAL制式将图像数据编码，把编码后的图像数据送到D/A转换器24。D/A转换器24把图像数据模拟化，通过输出端25输出所得的模拟信号。

存储控制器22把从存储控制器22读出的图像数据送到分辨率转换电路28，转换图像数据的分辨率，而将分辨率转换电路28输出的图像数据写入到图像存储器32。

存储控制器22通过JPEG接口30把图像数据送到JPEG编码器/解码器29来压缩静态图像，同时将JPEG编码器/解码器29展开的图像数据写入到图像存储器32。

图像存储器32不但保存如上所述的图像数据，而且保存作为所谓的字符产生器数据的OSD数据(屏上显示数据)。OSD数据由位图数据构成。控制器22控制读/写OSD数据。图像数据和OSD数据由NTSC/PAL编码器23合成。

控制器40包括控制信号处理器20的对应电路的CPU(中央处理器单元)41，一个DRAM(动态随机访问存储器)42，一个存贮CPU 41控制程序的ROM(只读存储器)43，一个快闪存储器接口44，作为与存贮设备51例如快闪存储器进行图像数据交换的接口，以及一个IrDA接口45，作为由如IrLED构成的通讯电路52的接口。

例如，CPU 41将JPEG编码器/解码器29压缩的图像数据，通过快闪存储器接口44写入由快闪存储器组成的存储器设备51，同时使图像数据从存贮设备51中读出，送出从JPEG编码器/解码器29中读出的图像数据。CPU41还使图像数据从存贮设备51中读出，通过IrDA接口45和通讯电路52作为红外线向外输出。

数码相机1的原理结构如图3所示。

输入信号处理器21通过图像数据总线33把来自CCD图像传感器11的图像数据送到图像存储器32。NTSC/PAL编码器23按预定方式将来自图像存储器32的图像数据编码，将所得编码后的数据送到取景器36。这使对象的图像显示列取景器36，这适合于显示与最高到VGA格式的图像数据相关的图像。

存储控制器22在图像存储器32和连接到图像数据总线33的信号处理电路之间传递数据。分辨率转换电路28对来自图像存储器32的图像数据实行分辨率转换，把结果送到图像存储器32。JPEG编码器/解码器29按照JPEG制式压缩来自图像存储器32的图像数据，通过CPU总线34把压缩后的图像数据送到CPU 41，然后CPU 41将压缩后的图像数据写入到存贮设备51。CPU 41还能通过CPU总线34和通讯电路52将压缩图像数据向外输出。

因此，在图3中，信号处理器20的相应电路通过图像数据总线33互连。图像数据总线33是一条虚拟总线，它表示对于相应电路之间交换的图像数据存在着传输带宽限制。

在信号处理器20中，相应电路，如NTSC/PAL编码器23或分辨率交换电路28，向存储控制器22发送表明要求图像数据的请求信号。在图像数据处理结束之后输出图像数据时，这些电路也向存储控制器22发送一个请求信号。

一旦从相应电路接收到请求信号，存储控制器22选择那些具有高优先级次序的电路，向选中电路发送确认的信号。确认信号表示图像数据能被送到接收到信号的电路，或已准备好接收由收到确认信号的电路输出的图像数据。存储控制器22从图像存储器32读出图像数据，通过图像数据总线33把读出的图像数据送到对应于确认信号目的地的电路。存储控制器22接收由确认信号发往的电路输出的图像数据，并向图像存储器32写入图像数据。

一旦接收来自多个电路的请求信号，存储控制器22能优选出必须实时处理的电路。例如，如果一个对象图像显示在取景器36上，则存储控制器22优选输入信号处理器21和NTSC/PAL编码器23。存储控制器22也可能判断在图像数据总线33上的总线占有率，依靠占有率来确定各电路的优先级顺序。

如果图像数据能在图像数据总线33的传输带宽限制下送到相应的电路，存储控制器22有可能控制向相应电路分时地发送确认信号，允许相应电路执行预定处理。这就使存储控制器22实时访问相应电路中的数据，使来自相应电路的图像数据写入到图像存储器32，或使图像存储器32中的图像数据被读出并送到相应电路。

当存储控制器22能通过图像数据总线33访问外部电路(未示出)时，如果外部电路能发送上述请求信号或接收所传送的确认信号，则存储控制器22能同时和分时地在图像数据总线33的传输带宽限制范围内访问信号处理器20的相应电路。也就是说，如果在图像数据总线33的带宽范围内，存储控制器22能同时访问信号处理器20中的各电路，或分时访问信号处理器20的外部电路，而不用考虑信号处理器20中的电路数量或外部电路数量。

如上所述，存储控制器22执行对图像数据总线33，在图像存储器32和相应电路之间图像数据的写/读控制、和向CPU总线34传送数据的仲裁。

信号处理器20中图像数据的具体流向参照图4给予解释。

输入信号处理器21包括一个对来自图像产生单元10的图像数据进行预定信号处理的CCD接口21，一个处理CCD接口21a的检测电路21b，和一个进行图像数据转换处理的相机数字信号处理器21c(相机DSP 21c)。

CCD接口21a对由R，G和B组成的来自图2所示的S/H-A/D电路12的图像数据进行处理，如数字箝位、白平衡调节或伽马校正，或在必要时对图像数据的水平方向的分量进行抽取。在这种处理之后，CCD接口21a通过图像数据总线33把图像数据送到相机DSP 21c或送到存储控制器22。

检测电路21b对来自CCD接口21a的图像数据执行自动聚焦、自动光圈检测或白平衡调节。

相机DSP 21c将来自CCD接口21a的R，G和B图像数据转换成由亮度信号Y和色度信号Cb、Cr构成的图像数据。相机DSP 21c还具有简化的分辨率转换电路21，它不但执行上述处理而且把图像数据分辨率转化成简化形式。

如果CCD图像传感器11产生的图像数据分辨率大于例如VGA格式，简化分辨率转换电路21d就把图像数据分辨率转换到更低值。

具体地，简化分辨率转换电路21d包括一个分离色度信号的B-Y/R-Y分离电路61，在水平方向内插的水平方向线性内插电路62，一个合成色度信号的B-Y/R-Y合成电路63，一个将相应信号延迟一个水平扫描周期(1H周期)的1H延迟电路64，以及一个垂直方向线性插值电路65。

B-Y/R-Y分离电路61将来自相机DSP 21c图像数据的色度信号B-Y和R-Y分离成色度信号Cb，Cr，把分离的彩色信号送到水平方向线性插值电路62。水平方向线性插值电路62在水平方向上插值亮度信号Y和色度信号B-Y，R-Y来降低水平方向的亮度，把插值后的亮度信号Y和色度信号B-Y，R-Y送到B-Y/R-Y合成电路63。

B-Y/R-Y合成电路63合成色度信号B-Y，R-Y，把来自水平方向线性插值电路62的亮度信号Y和合成的色度信号B-Y，R-Y送到1H延迟电路64和垂直方向线性插值电路65。1H延迟电路64将亮度信号Y和色度信号延迟1H，把延迟信号送到垂直方向线性插值电路65。垂直方向线性插值电路65在垂直方向对来自B-Y/R-Y合成电路63和1H延迟电路64的亮度信号Y和色度信号B-Y，R-Y执行线性插值处理，输出在水平和垂直两个方向分辨率降低了的亮度信号Y′和色度信号(B-Y)′，(R-Y)′所构成的图像数据。

分辨率转换电路28执行分辨率转换处理，把[p×q]图像数据转换成[m×n]图像数据。如果CCD图像传感器11产生的图像数据具有高分辨率，分辨率转换电路28执行抑制分辨率到一个预定值的处理。然而，将低分辨率的图像数据处理成高分辨率数据也是可能的。

参照图6，分辨率转换电路28包括一个用于存贮从图像数据总线33输入的图像数据的一个输入缓冲器71，一个水平方向缓冲器72，用于在水平方向缓冲来自输入缓冲器71的图像数据，一个水平方向变换处理电路73，用于在水平方向转换来自水平方向缓冲器72的图像数据的分辨率，一个垂直方向缓冲器74，用于在垂直方向缓冲来自水平方向变换处理电路73的图像数据，一个垂直方向变换处理电路75，用于在垂直方向转换图像数据的分辨率，以及一个在输出时刻用于缓冲的输出缓冲器76。

当分辨率转换电路28准备好对图像数据分辨率进行转换时，它输出一个读请求信号，请求存储控制器22从图像存储器32读出图像数据，在转换处理了图像数据之后，输出一个写请求信号，请求存储控制器22在图像存储器32中写入图像数据。分辨率转换电路28还接收表示存储控制器22已响应请求信号的确认信号。

参照图7，水平方向存储器72由第一延迟电路81，第二延迟电路82和第三延迟电路83组成，每个延迟电路产生一个像素的延迟。因此，第一延迟电路81输出延迟了一个像素的图像数据，而第二和第三延迟电路82、83分别输出延迟了2个像素和3个像素的图像数据。

参照图7，水平方向变换处理电路73包括第一到第四个乘法器84，85，86，87，和第一到第三个加法器88，89，90。有时在加法器90之后还附带一个数据规范电路。

第一个乘法器84用预定系数乘以输入缓冲器71提供的图像数据，结果数据被送至加法器88。第二乘法器85用预定系数乘以第一延迟电路81提供的图像数据，结果数据被送至加法器88。第三个乘法器86用预定系数乘以第二延迟电路82提供的图像数据，结果数据被送至加法器89。第四个乘法器87用预定系数乘以第三个延迟电路83提供的图像数据，结果数据被送至加法器90。第一个加法器88合成图像数据将结果数据送到第二个加法器89。第二个加法器89合成图像数据，将结果数据送到第三个加法器90。第三个加法器90合成相应的图像数据，将所得数据作为在水平方向分辨率转换后的图像数据送入垂直方向缓冲器74。

因此，水平方向变换处理电路73按预定方式用预定权值来加权多个具有一个像素延迟的图像数据，并合成加权的图像数据，对水平方向的像素插值或抽取来转换水平方向的分辨率。

垂直方向缓冲器74由串联连接的第1到第3缓冲器91，92，93构成，每个缓冲器产生1行延迟。因此，第1缓冲器存储器91输出延迟1行的图像数据，而第2和第3个缓冲器存储器92，93分别输出延迟2行和3行的图像数据。

参照图7，垂直方向变换处理电路75包括第5到第8个乘法器94至97和第4到第6个加法器98至100。垂直方向变换处理电路75在加法器90下游一侧有时会包括一个数据规范电路。

第5个乘法器94用预定系数乘以水平方向转换电路73提供的图像数据，所得数据送至第4个加法器98。第6个乘法器95用预定系数乘以第1行存储器91提供的图像数据，所得数据送至第4个加法器98。第7个乘法器96用预定系数乘以第2行存储器92提供的图像数据，所得数据送至第5个加法器99。第8个乘法器97用预定系数乘以第3行存储器93提供的图像数据，所得数据送至第6个加法器100。第4个加法器98合成图像数据，将所得数据送至第5个加法器99。第5个加法器99合成图像数据，将所得图像数据送至第6个加法器100。第6个加法器合成相应的图像数据，将所得数据作为在垂直方向上分辨率转换后的图像数据输出。

因此，垂直方向变换处理电路75按预定方式用预定权值来加权多个各具有一行延迟的图像数据，并合成加权的图像数据，对水平方向的像素插值或抽取来转换垂直方向的分辨率。

图7中，分辨率转换电路28先在水平方向转换分辨率，接着在垂直方向转换分辨率。分辨率转换电路28也可能先在垂直方向执行分辨率转换，接着在水平方向转换分辨率。这就是说，分辨率转换电路28可配置成从输入缓冲器71提供图像数据给垂直方向缓冲器74，并依次在垂直方向缓冲器74、垂直方向变换处理电路75、水平方向缓冲器72和水平方向变换处理电路73中执行处理。

在上述实施例中，在垂直方向缓冲器74中的第1到第3个缓冲器存储器91至93配置成存贮1行(1H)图像数据。或者，如图9所示，第1到第3个缓冲器存储器91至93可配置成存贮少于一行的图像数据。这需要存储控制器22按每N个像素读出存贮在图像存储器32中的图像数据，如图10所示。

具体地说，存储控制器22在垂直方向以行为基准按每N个像素读出对应于可视屏幕的存贮在图像存储器32中的像素数据。参照图11，每个可视屏幕由p×q个像素构成，左上角像素的坐标为(1，1)，右上角像素的坐标为(p，1)，左下角像素坐标是(1，q)，右下角像素坐标是(p，q)。

参照图12，存储控制器22在水平方向以行作基准，按行1，2，…，q的顺序读出N个像素的图像数据。这就使存储控制器22从左端读出对应于N个像素的图像数据，或N×q像素，即在(1，1)，(1，q)，(N，q)和(N，1)定义的区域中的像素数据。该图像数据在下面称为图像数据组(1)。

存储控制器22接着读出由(N-1，1)，(N-1，q)，(2N-2，q)，(2N-2，1)定义范围内的图像数据，以下称为图像数据组(2)。如果存储控制器22读出图像数据组(1)和图像数据组(2)，就相当于2次读出第(N-1)列和第N列图像数据。

原因是，由于垂直方向变换处理电路75从周围像素开始插值，存贮在第1至第3缓冲存储器91至93的起始端和终止端的像素不是处理的对象。例如，如果图像数据组(1)被读出，则像素(N，1)不是在垂直方向上插值处理的对象。可是，当读出像素数据集(2)时，像素(N，1)被读出，它成为插值处理的对象。

按相拟的方式，存储控制器22在水平方向按每行读出N个像素的图像数据，从而包括了前一个图像数据组的最后两列的图像数据。然后将图像数据组送到分辨率转换电路28。

按行为基准将数量上对应于第1至第3缓冲器91至93容量的图像数据送至垂直方向缓冲器74。因此，偏移1行的图像数据被存贮在第1至第3个缓冲存储器91至93中的每一个。垂直方向变换处理电路75能根据来自垂直方向缓冲器74的第1至第3个缓冲器91至93的图像数据在垂直方向进行分辨率转换处理。

至于存储控制器22，它能按缓冲存储器的容量读出数据，使分辨率转换电路28在垂直方向执行分辨率转换，即使在垂直方向分辨率转换所需的缓冲存储器容量不多于1行。

虽然在图像数据组之间重叠的读出数据有两列，也可能重叠列数超过两列或没有重叠。请注意本发明可应用于图像信号处理，如相机信号处理，而不限于分辨率转换。

虽然前面的描述针对的是用于垂直方向插值的缓冲存储器的实施例，本发明也适合于用于水平方向插值的缓冲存储器的实施例。

也就是说，如图13所示，分辨率转换电路28可利用由容量为N个像素的缓冲存储器72a构成的水平方向缓冲器72a在水平方向实现分辨率转换。如图14所示，存储控制器22在垂直方向按列1，2，…，P的顺序以列为基准读出N个像素的图像数据。同时，如上述垂直插值处理那样，这需要存储控制器22两次读出在缓冲存储器首尾两端存贮的图像数据，这样这些图像数据将成为水平方向插值处理的对象。

这样，存储控制器22能从图像存储器32中读出图像数据，从而利用各具有N个像素容量的第1至第3缓冲存储器91至93能够在水平和垂直方向上进行分辨率转换处理。这缩小了水平方向缓冲器72和垂直方向缓冲器74的电路规模，降低了生产成本。

如上所述执行编码的NTSC/PAL编码器23，也具有简化的分辨率转换电路23a，用来在着手编码前提高图像数据的分辨率，如果需要的话。

如果图像存储器32上的图像数据的分辨率低于显示要求的分辨率，简化的分辨率转换电路23a执行分辨率转换来匹配取景器36的显示标准。

参照图15，简化的分辨率转换电路23a包括一个存贮来自图像数据总线33的图像数据的行存储器101，一个在垂直方向插值图像数据的垂直方向线性插值电路(V方向线性插值电路102)，以及一个水平方向插值电路103。

行存储器101存贮来自输入端口in且数量对应于1行的图像数据，并按它存贮的顺序向V-方向线性插值电路102发送图像数据。V方向线性插值电路102用预定权值给来自输入端口in的图像数据和来自行存储器101的图像数据加权，并在垂直方向执行线性插值。水平方向插值电路103用7阶滤波器插值Y，用3阶滤波器插值Cb和Cr。这只是增加2倍分辨率的插值。水平方向插值电路103在输出端口out输出图像数据。

例如，如果a表示从输入端口in输入的图像数据，b表示从行存储器101读出的图像数据，g是权系数，0≤g≤1，c是V方向线性插值电路102输出的图像数据，则V方向线性插值电路102进行下列处理：

c＝g^*a+(1-g)^*b

如上所述，NTSC/PAL编码器23对输出端口out输出的图像数据编码。

数码相机1的信号处理系统由2个芯片即信号处理器20和CPU 41组成。因此，与各个信号处理电路都是由单独芯片结构组成的多个芯片的情况相比，缩小了基片表面区，并降低了功耗。

还有，由于信号处理器20的芯片配置不包括CPU，即使与CPU 41有关的应用改变了，也能相应进行信号处理。这就是说，如果信号处理器20是包括CPU的芯片配置，一旦CPU应用改变时，就不可能重建芯片，反之，信号处理器20可按应用采用优化结构的CPU来执行预定信号处理。

上述结构的数码相机1具有在拍摄图像前确定对象状态和位置的取景模式、确定后拍摄对象图像的记录模式、和确定对象图像拍摄状态的再现模式。数码相机依据选用模式进行处理。

在取景模式，在用户按快门按钮(未显示)拍摄对象前，必须观察在取景器36上显示的对象状态。在这种取景模式，存储控制器22和其它电路按下列方式受控。为图解说明有关模式，将主要参照图4，有时参照图16。

在取景模式，CCD图像传感器11产生图像信号，将垂直分量缩减到1/3，通过S/H-A/D电路12向CCD接口21a提供数字化图像数据。

CCD接口21a执行与图16A所示的时钟同步的信号处理。准确地说，CCD接口21a抽取图像产生单元10提供的图像数据的水平分量的三分之一，对抽取的图像数据进行伽马校正，向相机DSP 21c发送伽马校正的数据。CCD接口21a向相机DSP 21c提供由1/3抽取过程转换到340×256的图像数据。

相机DSP 21c对抽取的图像数据执行数据转换处理，将其转换成YCrCb图像数据。相机DSP 21c用简化的分辨率转换电路21d转换图像数据的分辨率来降低图像数据的分辨率(340×256→320×240)，通过图像数据总线33把转换过的图像数据送至存储控制器22。

请注意简化分辨率转换电路21d以一种简化方式将分辨率降低到一种后续处理所需的程度。在这种方式中，如果CCD图像传感器11产生的图像数据是高分辨率的，CCD图像传感器11产生的图像数据所占用的传送范围可被减小，以避免图像数据总线33的停滞，维持取景模式的实时特征。

存储控制器22在图像存储器32中写入图像数据，同时从图像存储器32中读出如图16D所示的图像数据，通过图像数据总线33向NTSC/PAL编码器23发送读出的图像数据。同时，存储控制器22读出存贮在图像存储器32中如图16E所示的OSD数据，并发送这些OSD数据。图16F指出了可能进行上述实时处理的在图像数据总线33上的传送状态。

在NTSC制式或PAL制式的情况下，NTSC/PAL编码器23分别进行320×240→640×240或320×240→640×288的分辨率转换，并发送转换的图像数据到NTSC/PAL编码器23。NTSC/PAL编码器23还把转换成NTSC制式或PAL制式数据的图像数据转换成OSD数据，将转换后的OSD数据送至图3所示的取景器36。这就使对象图像和标题信息等图像实时显示在取景器36上。

同时，NTSC/PAL编码器23转换分辨率，致使低分辨率数据增加分辨率，例如，如果提供320×200图像数据，它被转换成分别对应于NTSC制式和PAL制式的640×240图像数据和640×288图像数据。

在数码相机1中，CCD图像传感器11产生的图像数据的分辨率在取景模式为降低数据量按简化方式被降低，结果图像数据将在图像数据总线33的带宽限制内，结果使分辨率按所图16F所示的时序在输出阶段被增加到显示所需的程度。

这样，采用数码相机1，为允许在取景器36上显示对象图像，即使是高分辨率的图像数据，也将图像数据置于图像数据总线33的带宽限制内，所以就不必进行费时的抽取处理。

如果在CPU 41中预先设定了优先处理电路，即CCD接口21a、相机DSP 21c或NTSC/PAL编码器23，并且要在其它电路中如上述电路那样分时进行信号处理，则依据图像数据的数据量，具有高优先级的相应电路的处理会被优先执行。

在简化的分辨率转换电路21d中图像数据量大的情况下，为了给予实时处理优先权，在CPU 41的控制下可进行高处理速度的数据处理，即使图像质量降低到某种程度。按此方式，即使在图像产生单元10产生图像数据量大的情况下，在取景模式也能进行高速处理。

在具有变焦功能的数码相机1的情况下，CPU 41能按下列方式控制相应电路。

存储控制器22将通过CCD接口21a和相机DSP 21c提供的图像数据写入图像存储器32中，同时从图像存储器32读出图像数据，送至分辨率转换电路28。分辨率转换电路28利用电子变焦功能对分辨率较低的图像数据进行到较高分辨率的变换处理，或对分辨率较高的图像进行到较低分辨率的变换处理，并将所得图像数据输出到图像存储器32。这种图像数据从图像存储器32读出，通过NTSC/PAL编码器23输出到取景器36。这样就产生了电子变焦图像数据。

由于取景模式给与实时特征最高优先级，相应电路没有执行费时的处理。然而，如果在图像数据总线33传送区域允许的范围内，CPU 41能配置成使存储控制器22和其它电路实行各种处理。

例如，存储控制器22可配置成从其中存贮了CCD接口21a提供的图像数据的图像存储器32中读出图像数据，通过图像数据总线33向NTSC/PAL编码器23和JPEG编码器/解码器29提供读出的图像数据。取景器36实时显示对象图像，同时JPEG编码器/解码器29按JPEG制式压缩图像数据。

JPEG编码器/解码器29压缩/扩展静态图像，然而它不能实时处理具有大量像素的图像。因而JPEG编码器/解码器29有可能通过压缩来抽取预定数量的从图像数据总线33提供的图像数据帧(帧或场数)，或通过压缩来切取部分图像以降低分辨率。这使连续拍摄帧抽取的静态图像或连续拍摄低分辨率图像成为可能。

用户在上面提到的取景模式观察显示在取景器36上的对象状态。如果决定拍摄对象，用户按快门按钮(未示出)。

如果按下快门按钮，数码相机1转到记录模式。在记录模式，CPU 41按下列方式控制存储控制器22或相应的电路，将所拍摄的对象图像记录在记录设备51上。

与按快门按钮同步，CCD图像传感器11终止抽取操作，产生XGA格式的图像信号，通过S/H-A/D电路12将数字化图像数据送至CCD接口21a。

CCD接口21a没有把S/H-A/D电路12提供的图像数据送到相机DSP21c，而是通过图像数据总线33送到存储控制器22。存储控制器22先将图像数据写入图像存储器32，接着读出图像数据，通过图像数据总线33把读出的图像数据送至相机DSP 21c。相机DSP 21c把由RGB组成的图像数据转换成由Y，Cb和Cr组成的图像数据。

相机DSP 21c被提供了曾写入图像存储器32中的图像数据。这就是说，相机DSP 21c对来自图像存储器32的图像数据而不是直接由CCD接口21a提供的图像数据进行数据转换。这样，相机DSP 21c不必执行高速的数据转换，而只有当图像数据总线33不忙时，相机DSP 21c才能执行这类处理。换种说法，在记录模式下，相机DSP 21c不必实时完成处理，从而当执行数据转换处理时给予高图像质量而非高处理速度以优先权，所得转换图像数据可通过图像数据总线33送至存储控制器22。存储控制器22将图像数据写入图像存储器32。

存储控制器22使图像数据从图像存储器32中读出，读出的图像数据被送至JPEG编码器/解码器29。JPEG编码器/解码器29按JPEG制式压缩图像数据，将压缩图像数据写入如图3所示的记录设备51。

如果不必实时处理，例如在记录模式下，则CPU 41允许在将图像数据暂时写入图像存储器32之后，执行预定处理来利用图像数据总线33的传输带宽来处理多像素图像。

在记录模式中，CPU 41将XGA格式的图像数据直接记录在记录设备51。然而，在把图像数据记录到记录设备51上之前，分辨率转换电路28也有可能转换图像数据的分辨率。精确地说，有可能使分辨率转换电路28将通过存储控制器22从图像存储器32中读出的图像数据的分辨率转换为VGA格式(1024×768→640×480)，从而允许JPEG编码器/解码器29压缩图像数据，把压缩数据记录在记录设备51中。

如果想在图像拍摄之后确定拍摄时的图像，操作者按回放按钮(未表示)，来再现拍摄时的图像。

如果推动再现按钮，数码相机1转到再现模式。在再现模式，CPU 41按下列方式控制有关电路读出对象的图像数据。

即，一旦检测到再现按钮的推动，CPU 41就从记录设备51中读出图像数据，在将数据通过CPU总线34送至JPEG编码器/解码器29之前，将读出的图像数据暂时地存贮在DRAM 42中。JPEG编码器/解码器29按JPEG制式扩展从记录设备51读出的图像数据，产生XGA格式的图像数据，通过图像数据总线33把所得图像数据送至存储控制器22。

存储控制器22在图像存储器32上写图像数据，从图像存储器32中读出图像数据，通过图像数据总线33将读出的图像数据发送至分辨率转换电路28。

分辨率转换电路进行分辨率转换，从而使图像数据符合VGA格式(NTSC制式下1024×768→640×480，PAL制式下1024×768→640×576)，通过图像数据总线33把转换的图像数据送至存储控制器22。然后从图像存储器32中读出图像数据，通过NTSC/PAL编码器23将图像数据送至取景器36。这样就在取景器36上显示了对应于记录在记录设备51中的图像数据的一幅图像。

即，由于记录在记录设备51上的图像数据具有高分辨率，CPU 41先降低分辨率，接着将图像数据送至取景器36。

对于取景模式、记录模式和再现模式中的每一种，CPU 41都有可能设置将优先进行处理的电路的优先级次序，在转到某种模式时，使有关电路按优先级次序执行处理。这使得在每种模式中依据处理内容有效地执行图像数据的信号处理成为可能。

在上述实施例中，假设被处理的数据是相当于XGA的图像数据。请注意本发明不限于本实施例，能应用于例如由1百万或更多像素组成的图像数据的处理。

Claims (21)

1.一种信号处理装置，包括：

用于存贮图像数据的存贮设备；

用于为所述存贮设备控制图像数据写/读的控制设备；以及

用于按预定方式处理图像数据和用于向所述控制设备输出请求信号的多种信号处理设备，所述请求信号要求为信号处理提供图像数据或要求输出处理过的图像数据；

所述控制设备管理对提供所述请求信号的控制，选择一个或多个输出所述请求信号的所述信号处理设备，向选中的信号处理设备提供从存贮设备读出的图像数据，或向所述存贮设备写入由选中信号处理设备输出的图像数据。

2.如权利要求1所述的信号处理装置，其中所述多个信号处理设备包括有关的定时产生设备。

3.如权利要求1所述的信号处理装置，还包括：

一种安排在所述控制设备和信号处理装置之间用于发送/接收所述图像数据的图像数据总线。

4.如权利要求1所述的信号处理装置，其中，所述控制设备优先选择要求实时进行信号处理的信号处理设备。

5.如权利要求1所述的信号处理装置，其中该装置包括多种处理模式，其中所述控制设备根据所述工作模式设置所述多个信号处理设备的优先级次序。

6.如权利要求3所述的信号处理装置，其中所述控制设备管理控制，从而使图像数据在图像数据总线传输带宽范围内。

7.如权利要求1所述的信号处理装置，其中所述控制设备从信号处理设备中分时和同时选择多个信号处理设备。

8.如权利要求1所述的信号处理装置，其中所述控制设备向选中的信号处理设备输出一个表示选择结果的确认信号；

所述信号处理设备在接收到所述确认信号后与所述控制设备交换图像数据。

9.一种信号处理装置的控制方法，该信号处理装置用于在多个信号处理设备和存贮图像数据的存贮设备之间发送/接收图像数据，所述信号处理设备用于按预定方式处理图像数据，向所述控制设备输出一个请求信号，来要求为信号处理提供图像数据或要求输出处理过的图像数据，所述控制方法包括：

根据所述多个信号处理设备提供的所述请求信号，选择一个或多个输出所述请求信号的所述信号处理设备；以及

向选中的信号处理设备提供从存贮设备读出的图像数据，或在所述存贮设备中写入由选中的图像处理设备输出的图像数据。

10.如权利要求9所述的控制方法，其中所述多个信号处理设备输出基于由所述信号处理设备各自拥有的定时产生设备的所述请求信号。

11.如权利要求9所述的控制方法，其中所述图像数据通过一条图像数据总线发送和接收。

12.如权利要求9所述的控制方法，其中要求实时处理的信号处理设备被优先选择。

13.如权利要求9所述的控制方法，其中信号处理装置具有多种工作模式；其中，根据所述工作模式设置所述多个信号处理设备的优先级次序。

14.如权利要求11所述的控制方法，其中，执行使图像数据包括在所述图像数据总线的传输带宽内的控制。

15.如权利要求9所述的控制方法，其中同时分时地选择多个信号处理设备。

16.如权利要求9所述的控制方法，其中表示选择结果的确认信号被输出到选中的信号处理设备；

所述信号处理设备在收到所述确认信号之后与所述控制设备交换图像数据。

17.一种成像装置，包括：

成像设备；

用于暂时存贮来自所述成像设备的图像数据的存贮设备；

用于控制所述存贮设备的所述图像数据写/读的控制设备；

多种信号处理设备，用于按预定方式处理图像数据，用于向所述控制设备输出一个要求为信号处理提供图像数据或要求输出处理过的图像数据的请求信号；以及

用于输出由所述信号处理设备处理的图像数据的输出设备；

所述控制设备管理对提供所述请求信号的控制，选择一个或多个输出所述请求信号的所述信号处理设备，向选中的信号处理设备提供从存贮设备读出的图像数据，或在所述存贮设备中写入由选中的信号处理设备输出的图像数据。

18.如权利要求17所述的成像装置，其中，除了所述信号处理设备还包括：

用于处理在显示设备上显示的所述图像数据的显示处理设备；以及

用于处理在记录媒介上记录的所述图像数据的记录处理设备；

优先选择所述显示处理设备的所述控制设备。

19.一种记录/再现装置，包括：

成像设备；

用于对来自所述成像设备的图像数据进行预定的输入处理的输入处理设备；

用于在显示设备上显示图像数据的显示处理设备；

用于暂时存贮来自所述成像设备的图像数据的第一存贮设备；

用于为所述第一存贮设备控制写/读图像数据的控制设备；

用于转换图像数据分辨率的分辨率转换设备；

用于压缩/扩展图像数据的压缩/扩展设备；以及

用于使压缩图像数据记录在第二存贮设备和用于使在所述第二存贮设备上存贮的图像数据再现的记录/再现控制设备；

所述控制设备从所述输入处理设备、显示处理设备、分辨率转换设备和所述压缩/扩展设备中选择1个或多个信号处理设备，所述控制设备从第一存贮设备读出图像数据，送至选中的信号处理设备，或向第一存贮设备写入由选中的信号处理设备输出的图像数据。

20.如权利要求19所述的记录/再现装置，具有一个取景模式，用于在所述显示设备上显示来自所述成像设备的图像数据，一个记录模式，用于在所述第二存贮设备上记录图像数据，以及一个再现模式，用于再现来自所述第二存贮设备上的图像数据；

所述控制设备根据所述各个模式设置所述多个信号处理设备的优先级次序。

21.如权利要求20所述的记录/再现装置，其中，在取景模式，所述控制设备优先选取输入处理设备和显示处理设备。

Images