CN1921568A - 成像设备及图像数据处理方法 - Google Patents

Abstract

本发明提出一种成像设备，包括：存储器，用于存储图像数据；读出装置，用于从所述存储器中读出图像数据；以及延迟装置，用于延迟从所述读出装置读出的图像数据。本发明还提出一种图像数据处理方法，包括以下步骤：存储图像数据；从所述存储器中读出图像数据；以及延迟从所述读出装置读出的图像数据。

Description

成像设备及图像数据处理方法

本申请是名称为“成像设备”(申请号：200410031855.7；申请日：1999年7月14日)的申请的分案申请。

技术领域

本发明涉及一种成像设备及图像数据处理方法，用于依据工作模式进行信号处理。

背景技术

数字静止摄像机将CCD图像传感器获得的图像数据取至DRAM或快速擦写存储器中，并接着传送该图像数据到所谓的个人计算机等中。至今大部分这类数字静止摄像机属于用于视频图形阵列(VGA)系统的类型。

例如参见图1，这种数字静止摄像机200包括一用于产生图像信号的CCD图像传感器201，一输入处理/图像处理电路202，一用于读写图像数据的存储控制器203，一用于变换为预定系统的输出图像的输出处理电路204，一寻像器205，用于在摄像时显示目标的状态，一记录单元207，用于经CPU总线206记录压缩的图像数据，以及一压缩/扩展电路208，用于压缩/扩展图像数据。数字静止摄像机200还包括一存储器209，其例如由一DRAM和一用于控制整个设备的CPU 210组成。

在开始对一目标摄像之前，用户必须确认显示在寻像器205上的目标图像。这一状态称为寻像器模式。此时，CCD图像传感器201发送由光电变换获得的图像信号到输入处理/图像处理电路202。输入处理/图像处理电路202对图像信号执行相关的双采样处理，以数字化图像信号。然后输入处理/图像处理电路202执行预定信号处理，如伽马校正、拐点处理或摄像机处理，并将处理后的图像信号发送到存储控制器203。然后存储控制器203响应CPU210的控制将来自输入处理/图像处理电路202的图像数据发送到输出处理电路204。输出处理电路204按照例如国家电视系统委员会(NTSC)制式对图像数据编码，并模拟化编码的图像数据以将所得模拟数据发送到寻像器205。这允许作为摄像目标的目标表示在寻像器205上。

另一方面，如果用户按下快门按纽(未示出)，以转换到记录模式，存储控制器203使从输入处理/图像处理电路202供给的图像数据写在存储器209中。CPU 210使得图像数据从存储器209中读出，在压缩/扩展电路208中压缩来自记录单元207的图像数据，压缩是例如按照联合摄影专家组(JPEG)系统，以将压缩的图像数据记录在记录单元207中。

如果用户执行预定处理以转换到再现模式，CPU 210使图像数据从记录单元207中读出，以在压缩/扩展电路208中将图像数据按JPEG系统扩展，以经存储控制器203和输出处理电路204发送最后得到的数据到寻像器205。这使得拍摄成(as-shot)的图像显示在寻像器205上。

为跟上CCD图像传感器的最近的显著的技术进步，图像数据的解像度几乎超过1,000,000像素。另一方面，恐怕上述结构的数字静止摄像机不能应付超过1,000,000像素的图像数据。

例如，如果CCD图像传感器201在寻像器模式下输出高解像度的图像信号，输入处理/图像处理电路202、存储控制器203或输出处理电路204不能实时处理图像数据，从而该目标的图像以跳帧(frame-skipping)方式显示在寻像器205上。这即使在目标进行最轻微运动时也会给拍摄目标图像带来不便。

在记录模式下，由于在记录单元207中仅记录多像素图像数据，不必执行例如输入处理/图像处理电路202中的处理。

亦即，在数字静止摄像机200中，由于在例如输入处理/图像处理电路202中执行预定信号处理而不考虑工作模式，在涉及整个设备的情况下该信号处理并非必然有效。

发明内容

因此，本发明的目的是提供一种能够依据工作模式执行有效的信号处理的成像设备。

根据本发明的一个方面，提供一种成像设备，包括：存储器，用于存储图像数据；读出装置，用于从所述存储器中读出图像数据；以及延迟装置，用于延迟从所述读出装置读出的图像数据。

根据本发明的另一个方面，提供一种图像数据处理方法，包括以下步骤：存储图像数据；从所述存储器中读出图像数据；以及延迟从所述读出装置读出的图像数据。

根据本发明的另一个方面，提供一种成像设备，包括：存储器，用于存储至少一页的图像数据；读出装置，用于从所述存储器中多次读出N个像素的图像数据，以读出整个页的图像数据，每次读出N个像素图像数据的操作都在垂直或水平方向上进行，每次垂直或水平读出的操作都通过水平地读出每一行内N个像素的图像数据来进行或者通过垂直地读出每一列内N个像素的图像数据来进行；延迟装置，包括一系列串联连接以存储N个像素的图像数据的缓冲存储器，该延迟装置接收由所述读出装置读出的、到所述一系列缓冲存储器的一端的图像数据输入，并且从所述缓冲存储器的每一个输出延迟的图像数据；以及用于通过加权并合成输出自所述缓冲存储器的每一个的图像数据，在垂直或水平方向上进行图像数据信号处理的装置。其中，所述缓冲存储器的每一个的存储容量都小于存储在所述存储器中一页图像数据的一个水平行的数据量。所述读出装置通过冗余地读出至少两个水平或垂直像素，来进行通过水平或垂直地读出N个像素的图像数据，以水平或垂直读出整个页图像数据的操作。

在另一个方面，本发明提供一种成像设备，它包括：成像装置，用于根据来自目标的成像光产生图像数据；存储装置，用于存储图像数据；多个信号处理装置，用于对图像数据进行预定信号处理；显示装置，用于显示对应于所述图像数据的图像；一记录介质，用于记录图像数据；以及控制装置，用于在第一工作模式下实行控制，在所述第一模式下用执行实时处理所需的所述多个信号处理装置中的信号处理装置以预定方式处理来自所述成像装置的图像数据，以将图像数据写入所述存储装置，并从所述存储装置读出处理后的图像数据，以将读出图像数据提供给所述显示装置，所述控制装置在第二工作模式下实行控制，在所述第二模式下，在所述存储装置中写入来自所述成像装置的图像数据并随后读出写入的图像数据，以发送读出的图像数据到所述多个信号处理装置，以在所述记录介质上记录由所述多个信号处理装置处理的图像数据。

在另一方面，本发明提供一种信号处理设备的控制方法，该信号处理设备适于在多个信号处理装置与用于存储图像数据的存储装置之间传送/接收图像数据，所述信号处理装置适于以预定方式处理图像数据并向控制装置输出一个请求信号，要求提供进行信号处理的图像数据或要求输出处理后的图像数据。该控制方法包括步骤：根据请求信号的提供，在多个信号处理装置中选择一个或多个输出该请求信号的信号处理装置，以及将从存储装置读出的图像数据提供给所选信号处理装置或将所选信号处理装置输出的图像数据写入存储装置中。

在又一方面，本发明提供一种成像设备，它包括：成像装置，存储装置，用于暂时存储来自成像装置的图像数据，控制装置，用于控制存储装置写入/读出图像数据，多个信号处理装置，用于以预定方式处理图像数据并向控制装置输出一请求信号，要求提供用于信号处理的图像数据或要求输出处理后的图像数据，以及输出装置，用于输出信号处理装置处理的图像数据。控制装置管理对提供请求信号的控制，以选择一个或多个输出该请求信号的信号处理装置，以将从存储装置读出的图像数据提供给所选信号处理装置或将所选信号处理装置输出的图像数据存储在存储装置中。

在另一方面，本发明提供一种记录/再现设备，它包括成像装置，输入处理装置，用于对来自成像装置的图像数据进行预定输入处理，显示处理装置，用于在显示装置上显示图像数据，第一存储装置，用于暂时存储来自成像装置的图像数据，控制装置，用于控制第一存储装置对图像数据的写入/读出，解像度变换装置，用于变换图像数据的解像度，压缩/扩展装置，用于压缩/扩展图像数据，以及记录/再现控制装置，用于使压缩的图像数据记录在第二存储装置上并再现记录在第二存储装置上的图像数据。控制装置从输入处理装置、显示处理装置、解像度变换装置及压缩/扩展装置中选择一个或多个信号处理装置。控制装置使从第一存储装置读出的图像数据发送到所选择的信号处理装置或使所选择信号处理装置输出的图像数据写入第一存储装置中。

在信号处理设备及其控制方法中，根据本发明，如果从每一信号处理装置发送请求信号，选择已输出该请求信号的在优选级顺序中具有最高优先级的信号处理装置。然后执行控制，以将在图像数据总线上从存储装置读出的图像数据提供到所选信号处理装置，或者在图像数据总线上将所选信号处理装置的已处理图像数据写入存储装置，从而在相应信号处理装置中执行有效的信号处理。

本发明提供一种成像设备，它包括：

成像装置，用于根据来自目标的成像光产生图像数据；

存储装置，用于存储图像数据；

多个信号处理装置，用于对图像数据进行预定信号处理；

显示装置，用于显示对应于所述图像数据的图像；

一记录介质，用于记录图像数据；以及

控制装置，用于在第一工作模式下实行控制，在所述第一模式下用执行实时处理所需的所述多个信号处理装置中的信号处理装置以预定方式处理来自所述成像装置的图像数据，以将图像数据写入所述存储装置，并从所述存储装置读出处理后的图像数据，以将读出图像数据提供给所述显示装置，所述控制装置在第二工作模式下实行控制，在所述第二模式下，在所述存储装置中写入来自所述成像装置的图像数据并顺序读出写入的图像数据，以发送读出的图像数据到所述多个信号处理装置，以在所述记录介质上记录由所述多个信号处理装置处理的图像数据。

在该成像设备的第一模式下，对来自成像装置的图像数据进行抽选并由执行实时处理所需的信号处理装置按预定方式进行处理。在第二模式下，首先在存储装置中写入多像素图像数据。然后从中读出多像素图像数据并发送到多个信号处理装置加以处理。

更具体地说，在成像设备的第一工作模式下，让执行实时处理所需的多个信号处理装置中的信号处理装置对来自成像装置的图像数据执行预定处理，然后将所得图像数据写入存储装置中，然后从存储装置中读出处理后的图像数据并发送到显示装置。在第二工作模式下，将来自成像装置的图像数据写入存储装置中并从其读出以发送到相应信号处理装置进行处理，然后将处理后的图像数据记录在记录介质上。这实现最有效取决于工作模式的信号处理。

附图说明

图1是说明常规数字静止摄像机结构的方框图。

图2是表示实施本发明的数字静止摄像机的示意性结构的方框图。

图3是表示图2所示数字静止摄像机的示意性结构的方框图。

图4是说明图2所示数字静止摄像机的信号处理单元中的图像数据流的方框图。

图5是说明信号处理单元的输入处理电路中的简化解像度变换电路的结构的方框图。

图6是表示信号处理单元的解像度变换电路的结构的方框图。

图7是表示解像度变换电路的水平方向缓冲器、水平方向变换处理电路、垂直方向缓冲器以及垂直方向变换处理电路的具体结构的方框图。

图8是表示解像度变换电路的替换结构的方框图。

图9是表示解像度变换电路的垂直方向缓冲器的结构的方框图。

图10示出用存储控制器从图像存储器读出图像数据的技术。

图11示出构成图像的像素的坐标位置。

图12示出用存储控制器从图像存储器读出图像数据的另一技术。

图13是表示用行缓冲器构成的解像度变换电路的水平方向缓冲器的结构的方框图。

图14示出存储控制器从图像存储器读出图像数据的技术。

图15进表示信号处理单元的NTSC/PAL编码器中的简化解像度变换电路的方框图。

图16A到16F示出用于表示寻像器模式下相应电路中信号处理内容的时序图。

具体实施方式

下面参照附图详细说明本发明的优选实施例。

本发明应用于数字静止摄像机1，其构成如例如图2所示。

数字静止摄像机1包括一个图像生成单元10，用于产生图像信号，一个输入信号处理器20，用于以预定方式处理图像数据，一个图像存储器32，由一SDRAM构成，以及一个控制器40，用于控制输入信号处理器20。

图像生成单元10包括一固态成像装置，用于产生图像信号，如CCD图像传感器11，一个采样保持模拟/数字电路(S/H-A/D电路12)，用于采样保持和数字化图像信号以输出图像数据，以及定时发生器13，用于产生定时信号。该定时发生器13产生水平同步信号和垂直同步信号，用于根据从信号处理单元提供的同步信号控制图像生成单元10的相应电路。

CCD图像传感器11产生对应于XGA(扩展图形阵列：1024×768)像素数据的图像数据，所述像素数据由例如800,000个像素构成。根据来自定时发生器13的同步信号驱动CCD图像传感器11，以便以每秒30帧的速率输出图像信号。同时，CCD图像传感器11具有使图像信号稀化的功能，并能够使图像信号的垂直分量稀化为1/2，1/3，1/4，...以输出最后得到的稀化的信号。

S/H-A/D电路12还适合于根据来自定时发生器13的同步信号以预定采样间隔执行采样保持和A/D变换，以发送最后所得到的图像数据到信号处理器20。

信号处理器20包括一个单独的LSI(大规模集成电路)。信号处理器20包括一个输入信号处理器21，用于对来自图像生成单元10的图像数据进行输入处理和摄像机处理，一个存储控制器22，用于控制图像存储器32读出/写入图像数据，一个NTSC/PAL(逐行倒相制)编码器23，一个D/A变换器24，用于模拟化图像数据并输出所得到的模拟信号到外部，以及一个同步信号发生器26，用于产生同步信号并提供所得到的同步信号到定时发生器13。

信号处理器20还包括一个存储器接口27，作为图像存储器32的接口，一个解像度变换电路28，用于变换图像数据的解像度，一个JPEG(联合摄影专家组)编码器/解码器29，用于压缩/扩展图像数据，一个JPEG接口30，作为JPEG编码器/解码器29的接口，以及一个主接口31，作为与控制器40的CPU进行数据传送/接收的接口。

输入信号处理器21处理来自S/H-A/D电路12的图像数据，其进行数字箝位、黑斑校正、孔径畸变校正、伽马校正或彩色校正并发送所得到的已处理信号到存储控制器22。输入信号处理器21具有处理输入数据的功能，以将输入数据变换为Y、Cb和Cr。如果图像数据的解像度大于VGA(视频图形阵列)的解像度，输入信号处理器21能够执行降低解像度的处理。输入信号处理21还执行自聚焦和自光圈检测，以发送数据到控制器40，以实现聚集机构和光圈机构的自动调节。输入信号处理器21还检测构成图像数据的三基色的信号电平，以调节自动白平衡。

存储控制器22还进行控制，以使得从输入信号处理器21或其他电路提供的图像数据经存储器接口27写入图像存储器32中，并经存储器接口27读出图像存储器32的图像数据。此时，存储控制器22根据存储在图像存储器32中的图像数据检测在CCD图像传感器11中是否存在任何不良像素。

存储控制器22发送从图像存储器32读出的图像数据到例如NTSC/PAL编码器23。当从存储控制器22提供有图像数据时，NTSC/PAL编码器23按照NTSC制式或PAL制式对图像数据编码以将编码的数据发送到D/A变换器24。D/A变换器24模拟化图像数据以经输出端25输出所得到的模拟信号。

存储控制器22发送从存储控制器22读出的图像数据到解像度变换电路28，以对图像数据进行解像度变换，同时使解像度变换电路28输出的图像数据写入图像存储器32中。

存储控制器22经JPEG接口30发送图像数据到JPEG编码器/解码器29，以实现对静止图像的压缩，同时让由JPEG编码器/解码器29扩展的图像数据写入图像存储器32中。

图像存储器32不仅如上所述存储图像数据，而且存储OSD数据(屏幕显示数据)作为所谓的字符发生器数据。该OSD数据由位映像数据构成。控制器22控制对OSD数据的读出/写入。用NTSC/PAL编码器23合成图像数据和OSD数据。

控制器40包括一CPU(中央处理单元)41，用于控制信号处理器20的相应电路，一DRAM(动态随机存取存储器)42，一ROM(只读存储器)43，其中存储有CPU 41的控制程序，一闪速存储器接口44，作为与存储装置51、例如闪速存储器交换图像数据的接口，以及一IrDA接口45，作为由IrLED构成的通信电路52的接口。

例如，CPU 41使JPEG编码器/解码器29压缩的图像数据通过闪速存储器/接口44写入存储装置51中，存储装置51由闪速存储器构成，同时使图像数据从存储装置51中读出，以发送从JPEG编码器/解码器29读出的图像数据。CPU 41还使从存储装置51读出的图像数据通过IrDA接口45和通信电路52作为红外光输出到外部。

图3示出了数字静止摄像机1的示意性结构。

输入信号信号处理器21经图像数据总线33发送来自CCD图像传感器11的图像数据到图像存储器32。NTSC/PAL编码器23以预定方式对来自图像存储器32的图像数据编码，以将最后得到的编码数据发送到寻像器36，寻像器36适用于显示与VGA格式的图像数据相关联的图像。

存储控制器22在图像存储器32与连接到图像数据总线33的信号处理电路之间进行数据传送。解像度变换电路28对来自图像存储器32的图像数据进行解像度变换，以将结果发送到图像存储器32。JPEG编码器/解码器29按照JPEG系统对来自图像存储器32的图像数据进行压缩，以将压缩后的图像数据经CPU总线34发送到CPU 41，然后使压缩后的图像数据写入存储装置51。CPU 41还能够经CPU总线34和通信电路52输出压缩的图像数据到外部。

因此，在图3中，信号处理器20的相应电路通过图像数据总线33相互连接。图像数据总线33是一虚拟总线并表明对在相应电路之间交换图像数据的传输频带施加了一限制。

在信号处理器20中，各个电路，比如NTSC/PAL编码器23或解像度变换电路28，向存储控制器22发送一表示需要图像数据的请求信号。当在结束图像数据处理后输出图像数据时这些电路还传送一请求信号到存储控制器22。

当从相应电路收到请求信号时，存储控制器22选择具有高优先级顺序的那些电路，并传送一确认信号到所选电路。该确认信号表示图像数据可发送到接收信号的电路，或者表示已收到确认信号的电路输出的图像数据准备好被接收。存储控制器22从图像存储器32读出图像数据，以经图像数据总线33发送读出的图像数据到对应于确认信号目的地的电路。存储控制器22接收已发送确认信号的电路输出的图像数据，以将图像数据写入图像存储器32。

当从相应电路收到请求信号时，存储控制器22能够优先选择必须实时执行该处理的电路。例如，如果将在寻像器35上显示目标的图像，存储控制器22优先选择输入信号处理器21和NTSC/PAL编码器23。存储控制器22还有可能译解图像数据总线33上图像数据的总线占用率，以依据占用率确定相应电路的优先级顺序。

如果可在图像数据总线33的传输频带限制内发送图像数据到相应电路，则存储控制器22能够进行控制，以分时传送确认信号到相应电路，以允许相应电路执行预定处理。这使存储控制器22能对相应电路中的数据进行实时访问，使来自相应电路的图像数据写入图像存储器32中，或者使图像存储器32中的图像数据被读出并传送到相应电路。

当存储控制器22通过图像数据总线33访问外部电路(未示出)时，如果外部电路能够发送上述请求信号或接收所传送的确认信号，存储控制器22可在图像数据总线33的传输频带限制范围内同时和分时访问信号处理器20内的相应电路。亦即，如果在图像数据总线33的频带范围内，存储控制器22可同时访问信号处理器20中的电路或分时访问信号处理器20内的外部电路，而无需考虑信号处理器20内的电路或外部电路数。

如上所述，存储控制器22执行图像数据总线33的判优，图像存储器32与相应电路之间的图像数据的写入/读出控制以及向CPU总线34的数据传输。

参照图4说明信号处理器20中的具体图像数据流。

输入信号处理器21包括一CCD接口21a，用于对来自图像发生单元10的图像数据进行预定信号处理，，一检测电路21b，用于处理CCD接口21a，以及一摄像机数字信号处理器21c(摄像机DSP 21c)，用于进行图像数据的变换处理。

CCD接口21a对来自图2中所示S/H-A/D电路12由R、G和B构成的图像数据进行如数字箝位、白平衡调整或伽马校正一类的处理，或者在必要的情况下抽选图像数据水平方向的分量。在这类处理之后CCD接口21a发送图像数据到摄像机DSP 21c或经图像数据总线33到存储控制器22。

根据CCD接口21a的图像数据，检测电路21b执行检测，以作自动聚焦、自动光圈或白平衡调节。

摄像机DSP 21c将来自CCD接口21a的R、G和B图像数据变换为由亮度信号Y和色度信号Cb，Cr构成的图像数据。摄像机DSP 21c还具有一简化解像度变换电路21d，该电路不仅执行上述处理，而且还以简化的方式变换图像数据的解像度。

如果CCD图像传感器11产生的图像数据的解像度大于例如VGA格式，简化解像度变换电路21d工作，以将图像数据解像度变换为较低值。

具体地说，简化解像度变换电路21d包括一B-Y/R-Y分离电路61，用于分离色度信号，水平检测线性内插电路62，用于在水平方向进行内插，一B-Y/R-Y合成电路63，用于合成色度信号，一1H延迟电路64，用于将各信号延迟一水平扫描期间(1H期间)，以及一垂直方向线性内插电路65。

B-Y/R-Y分离电路61从来自摄像机DSP 21c的图像数据分离色度信号B-Y和R-Y，作为色度信号Cb，Cr，以将分离的色度信号发送到水平方向线性内插电路62。水平方向线性内插电路62在水平方向内插亮度信号Y和色度信号B-Y，R-Y，从而降低水平方向的，高密度以发送内插的亮度信号Y和色度信号B-Y，R-Y到B-Y/R-Y合成电路63。

B-Y/R-Y合成电路63合成色度信号B-Y，R-Y，以将来自水平方向线性内插电路62的亮度信号Y和合成的色度信号B-Y，R-Y送到1H延迟电路64和垂直方向线性内插电路65。1H延迟电路64将亮度信号Y和色度信号延迟1H，以将延迟的信号发送到垂直方向线性内插电路65。垂直方向线性内插电路65根据来自B-Y/R-Y合成电路63的亮度信号Y和色度信号B-Y，R-Y在垂直方向进行线性内插处理，以在同时水平方向和垂直方向输出解像度降低的由亮度信号Y’和色度信号(B-Y)’，(R-Y)’构成的图像数据。

解像度变换电路28执行解像度变换处理，把[p×q]图像数据变换为[m×n]图像数据。如果CCD图像传感器11中产生的图像数据具有高解像度，解像度变换电路28执行将解像度抑制为预定值的处理。然而，有可能将低解像度的图像数据处理为高解像度的数据。

参见图6，解像度变换电路28包括一输入缓冲器71，用于存储从图像数据总线33输入的图像数据，一水平方向缓冲器72，用于在水平方向缓冲来自输入缓冲器71的图像数据，一水平方向变换处理电路73，用于在水平方向变换来自水平方向缓冲器72的图像数据的解像度，一垂直方向缓冲器74，用于在垂直方向缓冲来自水平方向变换处理电路73的图像数据，一垂直方向变换处理电路75，用于在垂直方向变换图像数据的解像度，以及一输出缓冲器76，用于在输出时进行缓冲。

当准备变换图像数据的解像度时，解像度变换电路28输出一读请求信号，请求存储控制器22从图像存储器32读出图像数据，同时输出一写请求信号，请求存储控制器22在变换处理图像数据后将图像数据写入图像存储器32中。解像度变换电路28还接收表示存储控制器22已响应请求信号的确认信号。

参见图7，水平检测缓冲器72由第一延迟电路81、第二延迟电路82和第三延迟电路83构成，每一延迟电路用于产生一个像素的延迟。因此，第一延迟电路81输出延迟了一个像素的图像数据，而第二和第三延迟电路81、82则输出分别延迟了两个像素和延迟了三个像素的图像数据。

参见图7，水平检测变换处理电路73包括第一到第四乘法器84、85、86、87，以及第一到第三加法器88、89、90。一用于对数据归一化的电路有时附随在加法器90之后。

第一乘法器84把从输入缓冲器71提供的图像数据与一预定系数相乘，以将所得数据发送到加法器88。第二乘法器85把从第一延迟电路81提供的图像数据与一预定系数相乘，以将所得数据发送到加法器88。第三乘法器86把从第二延迟电路82提供的图像数据与一预定系数相乘，以将所得数据发送到加法器89。第四乘法器87把从第三延迟电路83提供的图像数据与一预定系数相乘，以将所得数据发送到加法器90。第一加法器88合成图像数据，以将所得数据发送到第二加法器89。第二加法器89合成图像数据，以将所得数据发送到第三加法器90。第三加法器90合成相应图像数据，以将所得数据作为变换水平方向解像度的图像数据发送到垂直方向缓冲器74。

因此，水平方向变换处理电路73以预定加权因子按照预定方式对各具有一个像素的延迟的多个图像数据加权，并合成加权的图像数据以在水平方向内插或抽选像素，从而变换水平方向的解像度。

垂直方向缓冲器74由串联连接的第一到第三缓冲器91，92，93构成，每个缓冲器用于产生一行的延迟。因此，第一缓冲存储器91输出延迟一行的图像数据，而第二和第三缓冲存储器92，93则分别输出延迟了两行和三行的图像数据。

参见图7，垂直方向变换处理电路75包括第五到第八乘法器94到97和第四到第六加法器98到100。垂直方向变换处理电路75有时包括一用于归一化数据的电路，该电路在加法器90的下游一侧。

第五乘法器94把从水平方向变换电路73提供的图像数据与一预定系数相乘，以将所得数据发送到第四加法器98。第六乘法器95把从第一行存储器91提供的图像数据与一预定系数相乘，以将所得数据提供到第四加法器98。第七乘法器96把从第二行存储器92提供的图像数据与一预定系数相乘，以将所得数据发送到第五加法器99。第八乘法器97把从第三行存储器93提供的图像数据与一预定系数相乘，以将所得数据发送到第六加法器100。第四加法器98合成图像数据，以将所得数据发送到第五加法器99。第五加法器99合成图像数据，以将所得数据发送到第六加法器100。第六加法器100合成相应图像数据，以输出所得数据作为变换了水平方向解像度的图像数据。

因此，垂直方向变换处理电路75以预定加权因子按照预定方式对各具有一行的延迟的多个图像数据加权，并合成加权的图像数据以在水平方向内插或抽选像素，从而变换垂直方向的解像度。

在图7中，解像度变换电路28首先执行水平方向的解像度变换，接着进行垂直方向的解像度变换。然而，解像度变换电路28也能够先执行垂直方向的解像度变换，接着进行水平方向的解像度变换。亦即，可将解像度变换电路28构造为将来自输入缓冲器71的图像数据提供到垂直方向缓冲器74并在垂直方向缓冲器74、垂直方向变换处理电路75、水平方向缓冲器72和水平方向变换处理电路73中按此次序进行处理。

在上述实施例中，垂直方向缓冲器74中的第一到第三缓冲存储器91到93被构造为存储一行(1H)图像数据。另一方面，第一到第三缓冲存储器91到93可构造为用于存储少于一行的图像数据，如图9所示。然后存储控制器22需要每N个像素读出存储在图像存储器32中的图像数据，如图10所示。

具体地说，存储控制器22在垂直方向的行基础上每N个像素读出对应于存储在图像存储器32中的的一观看屏的像素数据。参见图11，每一观看屏由p×q像素构成，左上像素的坐标为(1，1)，右上像素的坐标为(p，1)，左下像素的坐标为(1，q)，右下像素的坐标为(p，q)。

参见图12，存储控制器22使N个像素的图像数据以列1，2，...，q的顺序在水平方向在行的基础上读出。这使得存储控制器22读出对应于左端的N个像素，或N×q个像素的图像数据，也就是在由(1，1)，(1，q)，(N，q)和(N，1)限定的区域中的像素数据。以下将该图像数据称之为图像数据组(1)。

然后存储控制器22读出在由(N-1，1)，(N-1，q)，(2N-2，q)，(2N-2，1)限定的范围中的图像数据，以下称之为图像数据组(2)。如果存储控制器22读出图像数据组(1)和图像数据组(2)，两次读出第(N-1)列与第N列的图像数据是相同的。

其原因是由于垂直方向变换处理电路75从周围像素开始内插，存储在第一到第三缓冲存储器91到93的起始端和结尾端的像素不是处理目标。例如，如果读出图像数据组(1)，像素(N，1)不是垂直方向内插处理目标。然而，该像素(N，1)在读出像素数据组(2)时读出，并变为内插处理目标。

以类似方式，存储控制器22在水平方向每行读出N个像素的图像数据，从而正好前一图像数据组的最后两列的图像数据将被包括。这发送图像数据组到解像度变换电路28。

以行为基础，向垂直方向缓冲器74提供图像数据，其数量对应于第一到第三缓冲器91到93的容量。因此，一行的图像数据偏移存储在第一到第三缓冲存储器91到93的每一个中。垂直方向变换处理电路75能够根据来自垂直方向缓冲器74的第一到第三缓冲器91到93的图像数据在垂直方向执行解像度变换处理。

采用存储控制器22，通过读出符合该缓冲存储器容量的量，存储控制器22可使解像度变换电路28执行垂直方向解像度变换，即使垂直方向解像度变换所需的缓冲存储器容量未达到一行。

虽然图像数据组之间的读出叠加是两列，叠加超过两列或无叠加也是可能的。注意本发明在不对解像度变换加以限制的情况下可应用于图像信号处理，比如摄像信号处理。

尽管上述描述是针对缓冲存储器用于垂直方向内插的实施例，本发明也可应用于缓冲存储器用于水平方向内插的实施例。

亦即，解像度变换电路28可利用一水平方向缓冲器72a进行水平方向解像度变换，水平方向缓冲器72a由一个具有N个像素的容量的缓冲存储器72a构成，如图13所示。存储控制器22可以列为基础在垂直方向按便1，1，...，p的顺序读出N个像素的图像数据，如图14所示。同时，存储控制器22需要两次读出存储在缓冲存储器的起始端和结尾端的图像数据，如同上述垂直内插处理，所以这些图像数据将是水平内插处理的目标。

因此，存储控制器22能够从图像存储器32读出图像数据，从而各将对具有N个像素的容量的第一到第三缓冲存储器92到93实现水平和垂直方向的解像度变换处理。这使得水平方向缓冲器72和垂直方向缓冲器74的电路规模减小，从而降低生产成本。

执行上述编码的NTSC/PAL编码器23也具有简化的解像度变换电路23a，用于在必要时在编码之前增加图像数据的解像度。

如果图像存储器32中的图像数据低于显示所需的解像度，简化解像度变换电路23a执行与寻像器36的显示标准相符的解像度变换。

参见图15，简化解像度变换电路23a包括一个行存储器101，用于存储来自图像数据总线33的图像数据，一个垂直方向线性内插电路(V-方向线性内插电路102)，用于在垂直方向内插图像数据，以及一个水平方向内插电路103。

行存储器101按对应于一行的量存储来自输入端in的图像数据，以按存储时的次序将图像数据发送到V-方向线性内插电路102。V-方向线性内插电路102以预定加权因子对来自输入端in和来自行存储器101的图像数据加权，以执行垂直方向的线性内插。水平方向内插电路103用一个七阶滤波器内插Y，同时用一个三阶滤波器内插Cb和Cr。这仅仅是把解像度提高一个因数2的内插。水平方向内插电路103在输出端out输出图像数据。

例如，如果将来自输入端in的图像数据表示为a，来自行存储器101的图像数据表示为b，加权系数为g，其中0≤g≤1，V-方向线性内插电路102输出的图像数据为c，则V-方向线性内插电路102执行下列处理：

c＝g*a+(1-g)*b。

如前所述，输出端out输出的图像数据用NTSC/PAL编码器23编码。

在该信号处理系统中，数字静止摄像机1由所谓的双芯片、即一信号处理器20和一CPU 41构成。因此，各个信号处理电路均为芯片结构，从而可使基片表面区域进而功耗比各个信号处理电路为分离芯片结构时更小。

此外，由于信号处理器20不是包括CPU的芯片结构，即使与CPU 41相关的应用改变时与能够适当地完成信号处理。亦即，如果信号处理器20为包括CPU的芯片结构，则在CPU的应用改变的情况下不可能重新构成该芯片。然而，信号处理器20可在应用的基础上利用最佳结构的CPU执行预定信号处理。

上述结构的数字静止摄像机具有一在摄像前确认目标的状态或位置的寻像器模式，一对所确认的目标摄像的记录模式，以及一确认目标图像的拍摄状态的再现模式，并根据流行模式完成该处理。

在寻像器模式下，用户必须在按快门按纽(未示出)之前观察在寻像器36上指示的目标的状态，以拍摄目标。在该寻像器模式下，以下述方式控制存储控制器22及及其他电路。为表示各种模式，主要参见图4，有时参见图16。

在寻像器模式下，CCD图像传感器11产生从垂直分量减少为三分之一的图像信号，并经S/H-A/D电路12提供数字化图像数据到CCD接口21a。

CCD接口21a与图16A所示时钟同步地执行信号处理。具体地说，CCD接口21a将图像生成单元10提供的图像数据的水平分量抽选为三分之一，并对抽选后的图像数据进行伽马校正，以将伽马校正的数据发送到摄像机DSP 21c。CCD接口21a提供从1/3抽选处理变换为340×256的图像数据给摄像机DSP 21c。

摄像机DSP 21c执行数据变换处理，把抽选的图像数据变换为YCrCb图像数据。摄像机DSP 21c在简化解像度变换电路21d中变换图像数据解像度(340×256→320×240)，以降低图像数据解像度，从而经图像数据总线33发送变换的图像数据到存储控制器22。

注意简化解像度变换电路21d以简化方式将解像度降低到后续处理所需的程度。以这种方式，如果CCD图像传感器11产生的图像数据具有高解像度，则可减小CCD图像传感器11产生的图像数据的传输范围，以避免停滞在图像数据总线33上，从而保持寻像器模式的实时特性。

存储控制器22将图像数据写入图像存储器32中，同时从图像存储器32读出图像数据，如图16D所示，以经图像数据总线33将读出的图像数据发送到NTSC/PAL编码器23。同时，存储控制器22读出存储在图像存储器32中的OSD数据，如图16E所示，以发送存储在图像存储器32中的OSD数据，如图16E所示。图16F示出在图像数据总线33上的传输状态，图像数据总线33允许上述实时处理。

NTSC/PAL编码器23分别在NTSC制式或PAL制式的情况下执行解像度变换320×240→640×240或320×240→640×288，以将变换的图像数据发送到NTSC/PAL编码器23。NTSC/PAL编码器23还将图像数据变换为NTSC制式或PAL制式的数据以及变换为发送到图3所示寻像器36的OSD数据。这允许目标的图像和字幕信息等实时显示在寻像器36上。

同时，NTSC/PAL编码器23变换解像度，使具有低解像度的数据增加解像度，这样，如果提供320×200的图像数据，其在NTSC制式和PAL制式下分别变换为640×240的图像数据和640×288的图像数据。

在数字静止摄像机1中，CCD图像传感器11产生的图像数据的解像度在寻像器模式下以简化的方式降低，以减少数据量，从而图像数据将在图像数据总线33的带宽限制内，解像度在输出级将以图16F所示时序增加到显示所需的程度。

因此，用数字静止摄像机1将图像数据保持在图像数据总线33的带宽限制内，以允许目标的图像显示在寻像器36上，即使图像数据具有高解像度，而不需进行耗时的抽选处理。

如果在CPU 41中预先设定优先处理的电路、即CCD接口21a、摄像机DSP 21c或NTSC/PAL编码器23，并且在上述电路中的其他电路中分时地执行信号处理，则可根据图像数据的数据量优先地执行具有高优先级的各个电路的处理。

在简化解像度变换电路21d中的图像数据的数据量大时，在CPU 41的控制下，可以以高处理速度进行数据处理，以给予实时处理优先权，即使画面质量有某种程度的下降。以这种方式，即使在图像生成单元10产生的图像数据的数据量大的情况下，在寻像器模式下也可实现高速处理。

在具有电子变焦功能的数字静止摄像机1的情况下，CPU 41可以以下列方式控制各个电路。

存储控制器22让经CCD接口21a和摄像机DSP 21c提供的图像数据写入图像存储器32中，同时让图像数据从图像存储器32读出，并发送到解像度变换电路28。解像度变换电路28借助电子变焦功能形成从部分输入图像放大的图像数据，以将最后得到的图像数据输出到图像存储器32。该图像数据从图像存储器32读出并经NTSC/PAL编码器23输出到寻像器36。这产生电子变焦的图像数据。

由于寻像器模式给予实时特性最高的优先级，各个电路不执行耗时的处理。然而，可将CPU 41构造为当在图像数据总线33的传输区域允许的范围内时使存储控制器22和其他电路执行各种处理操作。

例如，可将存储控制器22构造为从图像存储器32读出图像数据，图像存储器32中存储从CCD接口21a提供的图像数据，并将读出的图像数据在图像数据总线33上提供到NTSC/PAL编码器23和JPEG编码器/解码器29。寻像器36实时显示目标的图像，同时JPEG编码器/解码器29按照JPEG系统压缩图像数据。

JPEG编码器/解码器29压缩/扩展静止图像，同时它不能实时处理高像素图像。因此JPEG编码器/解码器29能够通过压缩从图像数据总线33提供的图像数据抽选预定帧数(帧或场的数目)或通过压缩切取部分图像，以降低解像度。这允许连续地拍摄帧抽选的静止图像或连续拍摄低解像度的图像。

用户观察以上述寻像器模式显示在寻像器36上的目标的状态。如果决定拍摄该目标，用户按下快门按纽(未示出)。

如果按下快门按纽，数字静止摄像机1进入记录模式。在记录模式下，CPU 41以下述方式控制存储控制器22或各个电路，以在记录装置51上记录被拍摄目标的图像。

CCD图像传感器11与按下快门按纽同步地停止抽选操作，以产生XGA格式的图像信号，从而经S/H-A/D电路12将数字化的图像数据发送到CCD接口21a。

CCD接口21a不把从S/H-A/D电路12提供的图像数据发送到摄像机DSP21c，而是将它经图像数据总线33提供到存储器控制器22。存储控制器22首先将图像数据写在图像存储器32中，随后读出图像数据，以经图像数据总线33将读出的图像数据发送到摄像机DSP 21c。摄像机DSP 21c将由RGB构成的图像数据变换为由Y，Cb和Cr构成的图像数据。

摄像机DSP 21c提供有曾经在图像存储器32中写入图像数据。亦即，摄像机DSP 21c对来自图像存储器32的图像数据进行数据变换，而不是对直接从CCD接口21a提供的图像数据进行数据变换。因此，摄像机DSP 21c不必要进行高速数据变换，但是它仅在图像数据总线33不忙时如果摄像机DSP 21c执行这种处理时是足够的。换言之，摄像机DSP 21c不必要实时执行该处理，从而可以用给予高画面质量高处理速度的优先级执行数据变换处理，并可经图像数据总线33将最后得到的变换后图像数据发送到存储控制器22。存储控制器22使图像数据写入图像存储器32中。

存储控制器22使图像数据从图像存储器32中读出，以将读出的图像数据发送到JPEG编码器/解码器29。JPEG编码器/解码器29按照JPEG系统压缩图像数据，以将压缩的图像数据写入图3所示的记录装置51中。

如果在记录期间不需要实时处理，CPU 41允许在暂时将图像数据写入图像存储器32之后执行预定处理，以利用图像数据总线33的传输频带处理高像素图像。

在记录模式下CPU 41直接将XGA格式的图像数据记录在记录装置51中。然而，解像度变换电路28能够在将图像数据记录到记录装置51上之前变换图像数据的解像度。具体地说，解像度变换电路28按照VGA(1024×768→640×480)变换经存储控制器22从图像存储器32读出的图像数据，以允许JPEG编码器/解码器29压缩图像数据，将压缩的数据记录在记录装置51中。

如果希望在摄像后确认拍摄成的图像，操作者按下重放按纽(未示出)，以再现拍摄成的图像。

如果按下再现按纽，数字静止摄像机1转移至再现模式。在再现模式下，CPU 41以下述方式控制各个电路，以，读出目标的图像数据。

亦即，在检测对再现按纽的按下时，CPU 41从记录装置51读出图像数据并在将数据经CPU总线34发送到JPEG编码器/解码器29之前在DRAM 42中暂时存储所读出的图像数据。JPEG编码器/解码器29按照JPEG系统扩展从记录装置51读出的图像数据，以产生XGA格式的图像数据，从而经图像数据总线33将最后得到的图像数据发送到

存储控制器22把图像数据写入图像存储器32中并从图像存储器32读出图像数据，以经图像数据总线33将读出的图像数据传送到解像度变换电路28。

解像度变换电路28完成解像度变换，使图像数据符合VGA格式(NTSC制式下的1024×768→640×480和PAL制式下的1024×768→640×576)以将变换后的图像数据经图像数据总线33发送到存储控制器22。然后从图像存储器32读出图像数据并经NTSC/PAL编码器23发送到寻像器36。这显示与在寻像器36的记录装置51中记录的图像数据对应的图像。

亦即，由于记录在记录装置51中的图像数据具有高解像度，CPU 41首先降低解像度，之后发送图像数据到寻像器36。

CPU 41还有可能为寻像器模式、记录模式及再现模式中的每一模式设定要优先处理的电路的优先级顺序，并在转换为这些模式之一时让相关电路按照优先级顺序执行处理。这使得能够依据每一模式下的处理内容有效地执行图像数据的信号处理。

在上述实施例中，假定正在处理的数据是与XGA等效的图像数据。应注意本发明不限于该实施例而是可应用于例如由一兆或更多像素组成的图像数据的处理。

Claims (2)

1.一种成像设备，包括：

存储器，用于存储图像数据；

读出装置，用于从所述存储器中读出图像数据；以及

延迟装置，用于延迟从所述读出装置读出的图像数据。

2.一种图像数据处理方法，包括以下步骤：

存储图像数据；

从所述存储器中读出图像数据；以及

延迟从所述读出装置读出的图像数据。

Images