CN1534988A - 图象处理装置及照相机、以及图象处理方法 - Google Patents

Abstract

本发明涉及图象处理装置及照相机、以及图象处理方法。图象处理装置对图象传感器输出的图象信号进行图象处理后输出。它包括：具有以行单位存放图象的行存储器的共享存储器；使用所述共享存储器，进行所述图象处理的图象处理部；控制所述图象处理部的CPU。所述图象处理部，具有多个处理电路，作为所述图象处理，分别进行所定处理。所述多个处理电路中的至少2个，作为所述共享存储器，使用同一个存储器进行处理。从而可提供抑制存储器的容量的图象处理装置。

Description

图象处理装置及照相机、以及图象处理方法

技术领域

本发明涉及一种对图象传感器输出的信号进行处理的图象处理技术。

背景技术

在作为图象传感器而使用CCD(charge-coupled device)、CMOS(complementary metal oxide semiconductor)摄象器件等的数码静止相机、带数码相机的便携式电话、数码摄像机等数码式相机中，图象处理装置对从图象传感器读出的图象信号，进行图象处理，将其结果向显示装置输出。这时，从图象传感器读出图象以及向显示装置输出图象信号，在1个画面内是逐行进行的。因此，在图象处理装置内的各功能块中，最好使用能够以行为单位存放数据的行存储器进行的处理。作为使用行存储器的现有技术，已有用行存储器进行变焦放大处理的专利文献(参阅日本国特开2001-197348号公报)及在用块单位进行图象处理的同时，还用行存储器进行图象压缩的专利文献(参阅日本国特开平5-252522号公报)。

如上所述，图象处理最好用行存储器进行。因此，如果将上述现有技术组合起来，使所有的处理都用行存储器进行，就能获得具有下述结构的图象处理装置。

图9是表示采用现有技术的图象处理装置的一种结构示例的方框图。图9的图象处理装置，作为处理电路，包括：预处理电路922、YC信号处理电路924、缩小变焦电路926、后过滤器928、JPEG处理电路934及垂直扩大电路936；分别与这些处理电路对应，还具有行单位的存储器961～966。各处理电路，使用分别与各处理电路对应的存储器进行行单位的处理。

这时，各存储器都需要预备足够的容量，以便使对应的处理电路能处理该图象处理装置所能处理的最大图象。

可是，在图象处理装置中，有时并不需要进行集各种处理于一身、将上述处理电路全部付诸使用的处理。这时，如果非要具有与各种处理电路一一对应的存储器，就会存在在处理中根本不用的存储器。

近年来，伴随着图象传感器的象素数量的增大，1行的象素数量越来越多，所需的存储器的容量也在不断增大。另外，伴随着近年来图象处理装置的多功能化，需要行存储器的处理电路的数量也在增加。因此，行存储器容量的增大，成为使图象处理装置成本上升的重要原因。这与人们希望将图象处理装置低成本化的要求背道而驰。

发明内容

本发明的目的，就是要提供抑制存储器容量的图象处理装置。

为了解决上述课题，本发明之1的发明采取的手段，是对图象传感器输出的图象信号，进行图象处理后输出的图象处理装置，它包括：具有以行为单位存放图象的行存储器的共享存储器；使用所述共享存储器，进行所述图象处理的图象处理部；以及控制所述图象处理部的CPU。所述图象处理部，具有多个处理电路，作为所述图象处理，分别进行所述处理。所述多个处理电路中的至少2个，作为所述共享存储器，使用同一个存储器进行处理。

采用本发明之1的发明后，在共享存储器不被2个处理电路中的一个使用时，以及存储器的必要容量较小时，就可以抑制共享存储器的容量。

本发明之2的发明，是在本发明之1所述的图象处理装置中，所述图象处理部，作为多个处理电路，包括：对从所述图象传感器得到的图象信号，进行预处理的预处理电路；将所述预处理后的信号，变换成亮度信号及色差信号后输出的亮度色差信号处理电路；将所述亮度信号及色差信号表示的图象缩小，输出得到的图象的缩小变焦电路；对于与所述缩小变焦电路的输出对应的图象进行压缩编码，将得到的结果作为所述图象处理部的输出的压缩处理电路。

采用专利要2的发明后，在不需要缩小处理时，缩小变焦电路不必使用共享存储器；而在需要缩小处理时，因为图象变小，所以可以减小压缩处理电路所需的共享存储器的容量。这样，就可以通过使用同一个共享存储器，抑制存储器的容量。

本发明之3的发明，是在本发明之2所述的图象处理装置中，所述图象处理部，作为多个处理电路，还具有垂直扩大电路，和对所述缩小变焦电路的输出进行后过滤处理，向所述压缩处理电路或所述垂直扩大电路输出的后过滤器；所述垂直扩大电路，将经过后过滤处理的图象，进行向垂直方向扩大的垂直扩大处理，将得到的结果作为所述图象处理部的输出。

本发明之4的发明，是在本发明之1所述的图象处理装置中，还具有将所述图象处理部的输出，变换成适合于显示或向记录媒体写入的信号后输出的输出部；所述输出部，采用使用在所述图象处理部中使用的所述共享存储器进行处理的结构。

本发明之5的发明，其特征在于：是在本发明之1所述的图象处理装置中，对所述多个处理电路的每一个，按照其各自处理的需要，分配所述共享存储器的区域。

本发明之6的发明，是作为照相机，包括：本发明之2所述的图象处理装置；向所述的图象处理装置输出图象信号的图象传感器；以及将所述的图象处理装置的输出写入记录媒体的记录装置。

本发明之7的发明，是对图象传感器输出的图象信号进行图象处理后输出的图象处理方法，包括：将图象逐行存放在共享存储器中的步骤；使用所述共享存储器，进行所述图象处理的步骤。进行所述图象处理的步骤，具有分别进行作为所述图象处理的所定处理的多个处理。所述多个处理步骤中的至少2个，作为共享存储器使用同一个存储器进行处理。

附图说明

图1是表示具有本发明的实施方式涉及的图象处理装置的照相机的结构示例的方框图。

图2是表示图1的图象处理部的结构示例的方框图。

图3是表示图1的图象处理装置中的处理流程示例的流程图。

图4是表示图1的图象处理装置中的数据流程的第1示例的说明图。

图5是表示图1的图象处理装置中的数据流程的第2示例的说明图。

图6是表示图1的图象处理装置中的数据流程的第3示例的说明图。

图7是表示图1的图象处理装置中的数据流程的第4示例的说明图。

图8是表示图1的图象处理装置中的数据流程的第5示例的说明图。

图9是表示采用现有技术的图象处理装置的结构示例的方框图。

图中：12-图象传感器；13-AD变换器；14-记录装置；15-显示装置；20-图象处理部；22-预处理电路；24-亮度色差信号处理电路(YC信号处理电路)；26-缩小变焦电路；28-后过滤器；34-JPEG处理电路(压缩处理电路)；36-垂直扩大电路；50-CPU；60-共享存储器；70-输出部；100-图象处理装置。

具体实施方式

下面，参照附图，讲述本发明的实施方式。

图1是表示本发明的实施方式涉及的图象处理装置的照相机结构示例的方框图。图1的照相机，例如是数码照相机、带数码照相机的便携式电话、数码摄像机。图1的照相机包括：图象处理装置100、图象传感器12、AD变换器(ADC)13、记录装置14、显示装置15。另外，图象处理装置100包括：图象处理部20、CPU50、共享存储器60、输出部70。在这里，将图象象素的水平方向的排列称作“行”，垂直方向的排列称作“列”。

图象传感器12，例如是CCD及CMOS摄象器件。图象传感器12，将图象信号向AD变换器13输出。AD变换器13，将输入的信号变换成数字数据后，向图象处理部20输出。

图象处理部20，遵照CPU50的指令，对图象传感器12的输出进行图象处理，向输出部70输出。在进行图象处理时，图象处理部20使用共享存储器60。

共享存储器60，具有多个以行单位存放图象的行存储器。各行存储器具有能存放m象素(m是自然数)的数据的容量(将它称作“1H”)。因为不将图象的1行的象素，跨越多个行存储器存放，所以作为1行的象素，可以存放在共享存储器60中的象素的数量是m。这样，在图象处理装置100中，可以处理的象素的1行的最大象素的数量，通常是m。下面，作为例子，设m＝1280，共享存储器具有18个行存储器。

输出部70，具有缓冲器，作为将图象处理部20的输出变换成适合于写入记录装置14中的记录媒体以及在显示装置15中显示的形式的信号后输出的转换装置，进行动作。记录装置14，将输出部70的输出，写入存储卡等记录媒体。显示装置15，例如是液晶显示器，对图象传感器12输出的图象进行监视显示。

图2是表示图1的图象处理部20的结构示例的方框图。图象处理部20，作为处理电路，包括：预处理电路22、亮度色差信号处理电路(以下称作“YC信号处理电路”)24、缩小变焦电路26、后过滤器28、JPEG(jointphotographic image coding experts group)处理电路34和垂直扩大电路36。另外，图象处理部20还具有共享存储器控制电路42。这些图象处理部20内的电路，都按照CPU50的指令动作。

预处理电路22、YC信号处理电路24、缩小变焦电路26、后过滤器28、JPEG处理电路34和垂直扩大电路36，采用还能对输入的数据不进行处理，而原封不动地输出的结构。另外，这些电路通过共享存储器控制电路42，向共享存储器60存取。

另外，预处理电路22、YC信号处理电路24、缩小变焦电路26、后过滤器28、JPEG处理电路34和垂直扩大电路36的各处理电路，作为共享存储器，使用相同的存储器进行处理。换言之，这些处理电路采用共有共享存储器60的结构。CPU50，按照这些处理电路中的每个电路各自处理的需要，给每个电路分配共享存储器60的区域。

进一步，输出部70使用共享存储器60进行处理，并采用与图象处理部20的各处理电路共有共享存储器60的结构。CPU50，根据输出部70中的处理的需要，分配共享存储器60的区域。下面，对输出部70中的共享存储器60的区域的分配，不再赘述。

预处理电路22，对从图象传感器12得到的图象信号，作为预处理进行抽出黑电平、检测白平衡以及γ校正中的至少一种处理，并将得到的结果向YC信号处理电路24输出。

YC信号处理电路24，接收预处理电路22的输出，对它进行YC信号处理后，向缩小变焦电路26输出。YC信号处理，是指黑电平补偿、白平衡补偿及向亮度信号及色差信号的转换。

缩小变焦电路26，通过进行一次插补，从而进行使亮度信号及色差信号显示的图象缩小的变焦处理，并将得到的结果向后过滤器28输出。

后过滤器28具有系数可变的低通滤波器，后过滤处理，就是使由缩小变焦电路26输入的图象的低频成分通过，进行孔径补偿处理后，向JPEG电路处理34输出。

作为压缩处理电路的JPEG电路处理34，对由后过滤器28输出的图象，进行根据JPEG的压缩编码(JPEG压缩处理)，将得到的结果，经由垂直扩大电路36向输出部70输出。进而再将JPEG压缩处理的结果，向记录装置14输出，写入存储卡等记录媒体。

垂直扩大电路36，经由JPEG电路处理34，接收后过滤器28输出的图象，对其进行朝垂直方向扩大的垂直扩大处理，以便使其垂直方向的象素数量符合显示装置15的要求，然后向输出部70输出。进而将垂直扩大处理的结果向显示装置15输出，并在其上显示。

图3是表示图1所示的图象处理装置100中的处理流程示例的流程图。图4是表示图1所示的图象处理装置100内数据流程的第1示例的说明图。在表示以下的数据流程的图象中，不再示出共享存储器控制电路42。在图4中，假设图象传感器12输出的图象的尺寸是横1280(＝m)×纵960象素，作为图象处理，进行预处理、YC信号处理、变焦处理(在本例中，倍率为1/2)、后过滤处理及垂直扩大处理。这时，输入给图象处理装置100的图象的水平方向一行的数据量，相当于1H。下面，参阅图2～图4，讲述图象处理装置100的动作。

在图3的步骤S11中，CPU50将图象传感器12输出的信号表示的图象的水平象素的数量，作为输入给图象处理装置100的图象的水平象素的数量进行设定。该值可以按照连接的图象传感器12情况，从图象处理装置100的外部进行设定。更具体地说，就是设定在图象处理装置100中能处理的图象的水平象素的数量，是不是在共享存储器60的各行存储器中可保存的象素的数量(＝m)的1/2以下。

当水平象素的数量，在m/2以下时，1个行存储器可以存放2行的象素数据。而当水平象素的数量，多于m/2时，1个行存储器只能存放1行的象素数据。因此，需要根据水平象素的数量是否在m/2以下，变更分配给各处理电路的共享存储器60容量。在这里，因为m＝1280，所以被设定成水平象素比m/2多。

在步骤S12中，CPU50设定处理内容。具体地说，设定是否进行变焦处理、后过滤处理、JPEG压缩处理及垂直扩大处理等，进行变焦处理时，设定其倍率等。在图4中，设定成为进行变焦处理、后过滤处理及垂直扩大处理，变焦处理的倍率被设定成为1/2。

在步骤S13中，CPU50给图象处理部20的各处理电路，即给预处理电路22、YC信号处理电路24、缩小变焦电路26、后过滤器28、JPEG处理电路34和垂直扩大电路36分配共享存储器60的区域。

这时，只对实际执行处理的电路分配共享存储器60。在进行倍率在1/2以下的变焦处理等时，还应考虑在那以后的处理中，能否将多行的象素数据存放在1个行存储器中的情况，进行分配。

在图4中，由于变焦处理的倍率在1/2以下，所以能够将缩小后的图象的2行的数据，放在1个行存储器中。这样，在进行后过滤处理及垂直扩大处理时，行存储器就都需要2H的容量。于是，分别给预处理电路22、YC信号处理电路24、缩小变焦电路26、后过滤器28和垂直扩大电路36分配相当于共享存储器60的2H、4H、4H、2H及2H的行存储器。

在步骤S22中，预处理电路22，以图象传感器12输出的图像信号表示的象素的水平方向的1行为单位进行处理，通过在与分配给预处理电路22的共享存储器60的区域之间进行读写，从而进行预处理，并将得到的结果向YC信号处理电路24输出。然后进入步骤S24。

在步骤S24中，YC信号处理电路24，通过在与被分配给该电路的共享存储器60的区域之间进行读写，从而进行YC信号处理，并将得到的结果向缩小变焦电路26输出。然后进入步骤S32。

在步骤S32中，CPU50判断是否进行变焦处理。进行变焦处理时，进入步骤S34。不进行变焦处理时，进入步骤S36。在图4中，因为进行变焦处理，所以进入步骤S34。

在步骤S34中，缩小变焦电路26，通过在与被分配给该电路的共享存储器60的区域之间进行读写，从而进行使图象的象素减少的变焦处理，并将得到的结果向后过滤器28输出。然后，进入步骤S36。在图4中，缩小变焦电路26，进行将图象缩小成使水平方向的象素成为1/2的处理。

在步骤S36中，CPU50判断是否进行后过滤处理。进行后过滤处理时，进入步骤S38。不进行时，进入步骤S42。在图4中，因为进行后过滤处理，所以进入步骤S38。

在步骤S38，后过滤器28，通过在与被分配给它的共享存储器60的区域之间进行读写，来进行后过滤处理，并将得到的结果，向垂直扩大电路36输出。然后，进入步骤S42。

在步骤S42中，CPU50判断是否进行JPEG压缩处理。进行JPEG压缩处理时，进入步骤S44。不进行时，进入步骤S46。在图4中，因为不进行JPEG压缩处理，所以进入步骤S46。

在步骤S46，CPU50判断是否进行垂直扩大处理。进行垂直扩大处理时，进入步骤S48，不进行时，结束处理。

在步骤S48，垂直扩大处理电路36，通过在与被分配给该电路的共享存储器60的区域之间进行读写，来进行垂直扩大处理，并将得到的结果，向输出部70输出。然后结束处理。

另外，在步骤S44，JPEG处理电路34，通过在与被分配给该电路的共享存储器60的区域之间进行读写，来进行JPEG压缩处理，并将得到的结果，经过垂直扩大处理电路36，向输出部70输出。然后结束处理。

如上所述，在图象处理装置100中，JPEG压缩处理和垂直扩大电路只有某一个进行动作。共享存储器60不必为了它们两者的处理而具有行存储器，所以与处理电路各自具有独立的存储器的结构相比，可以削减存储器容量。

图5是表示图1所示的图象处理装置100内数据流程的第2示例的说明图。图5也和图4一样，假设图象传感器12输出的图象的尺寸是横1280(＝m)×纵960象素。在这里，作为图象处理，假设进行预处理、YC信号处理、后过滤处理及JPEG压缩处理。下面，参阅图2、图3及图5，讲述图象处理装置100的动作。

在步骤S11中的处理，和图4一样。在步骤S12中，CPU50设定进行后过滤处理及JPEG压缩处理。

在图5中，输入给图象处理装置100的图象的水平象素是m，不进行变焦处理，所以1个行存储器只能存放1行的象素数据。于是，在步骤S13中，CPU50给预处理电路22、YC信号处理电路24、后过滤器28和JPEG处理电路34分别分配相当于共享存储器60的2H、4H、4H及8H的行存储器。

在图5中，共享存储器60合计需要18H的容量。这相当于使共享存储器60需要最多的容量。而如图9那样，在不用共享存储器60而具有与各处理电路对应的存储器时，与缩小变焦电路和垂直扩大电路对应的存储器都始终需要4H的容量。所以能将图象处理装置100的存储器容量削减8H。

在图3的步骤S22以后的处理，除了不进行步骤S34的变焦处理这一点，和取代步骤S48的垂直扩大处理而进行步骤S44的JPEG压缩处理这一点外，都和图4一样，所以不再赘述。

这样，采用图象处理装置100后，因为不进行变焦处理，所以不给缩小变焦电路26分配行存储器。因此，可以不使用外部存储器，而有效地使用有限的共享存储器60，对尺寸较大的图象进行JPEG压缩处理。

图6是表示图1所示的图象处理装置100内数据流程的第3示例的说明图。图6也和图4一样，假设图象传感器12输出的图象的尺寸是横1280(＝m)×纵960象素。在这里，作为图象处理，假设进行预处理、YC信号处理、变焦处理(在本例中，倍率为1/4)、后过滤处理及JPEG压缩处理。下面，参阅图2、图3及图6，讲述图象处理装置100的动作。

在步骤S11中的处理，和图4一样。在步骤S12中，CPU50设定进行变焦处理、后过滤处理及JPEG压缩处理，而且设定变焦处理的倍率为1/4。

在图6中，输入给图象处理装置100的图象的水平象素是m，变焦处理的倍率为1/4，所以1个行存储器能存放缩小后的图象的4行的数据。于是，在步骤S13中，CPU50给预处理电路22、YC信号处理电路24、缩小变焦电路26、后过滤器28和JPEG处理电路34分别分配相当于共享存储器60的2H、4H、4H、1H及2H的行存储器。

在图3的步骤S22以后的处理，除了取代步骤S48的垂直扩大处理而进行步骤S44的JPEG压缩处理这一点外，都和图4一样，所以不再赘述。

图7是表示图1所示的图象处理装置100内数据流程的第4示例的说明图。在图7中，假设图象传感器12输出的图象的尺寸是横640(＝m/2)×纵480象素，作为图象处理，假设进行预处理、YC信号处理、变焦处理(在本例中，倍率为1/2)、后过滤处理及垂直扩大处理。这时，输入给图象处理装置100的图象的水平方向的行的数据量，相当于1/2H。下面，参阅图2、图3及图7，讲述图象处理装置100的动作。

在步骤S11中，CPU50设定输入给图象处理装置100的图象的水平象素是m/2以下。在步骤S12中，CPU50设定进行变焦处理、后过滤处理及垂直扩大处理，而且设定变焦处理的倍率为1/2。

在图7中，输入给图象处理装置100的图象的水平象素是m/2，变焦处理的倍率为1/2，所以1个行存储器能存放缩小后的图象的4行的数据。于是，在步骤S13中，CPU50给预处理电路22、YC信号处理电路24、缩小变焦电路26、后过滤器28和垂直扩大电路36分别分配相当于共享存储器60的1H、2H、2H、1H及1H的行存储器。

在图3的步骤S22以后的处理，都和图4一样，所以不再赘述。

图8是表示图1所示的图象处理装置100内数据流程的第5示例的说明图。在图8中，假设图象传感器12输出的图象的尺寸是横640(＝m/2)×纵480象素，作为图象处理，假设进行预处理、YC信号处理、变焦处理(在本例中，倍率为1/2)、后过滤处理及JPEG压缩处理。这时，输入给图象处理装置100的图象的水平方向的行的数据量，相当于1/2H。下面，参阅图2、图3及图8，讲述图象处理装置100的动作。

在步骤S11中，和图7一样。在步骤S12中，CPU50设定进行变焦处理、后过滤处理及JPEG压缩处理，而且设定变焦处理的倍率为1/2。

在图8中，输入给图象处理装置100的图象的水平象素是m/2，变焦处理的倍率为1/2，所以1个行存储器能存放缩小后的图象的4行的数据。于是，在步骤S13中，CPU50给预处理电路22、YC信号处理电路24、缩小变焦电路26、后过滤器28和JPEG压缩处理电路34分别分配相当于共享存储器60的1H、2H、2H、1H及2H的行存储器。

在图3的步骤S22以后的处理，都和图6一样，所以不再赘述。

这样，在图象处理装置100中，因为只给实际进行图象处理的电路分配其处理所需容量的共享存储器，所以不需要对图象处理部的所有的处理电路都预备在各处理电路中可能使用的最大容量的存储器。因此可以抑制存储器的容量。

此外，在以上的实施方式中，讲述了图象处理装置具有1个共享存储器的情况，但也可以具有多个共享存储器。例如，可以使图象处理部内的2个电路使用第1共享存储器，图象处理部内的其它2个电路使用第2共享存储器。

综上所述，采用本发明后，可以抑制图象处理装置需要具备的存储器的容量，所以可以实现图象处理装置的低成本化。

Claims (7)

1、一种图象处理装置，是对图象传感器输出的图象信号进行图象处理后输出的图象处理装置，其特征在于：

包括：具有以行单位存放图象的行存储器的共享存储器；

使用所述共享存储器，进行所述图象处理的图象处理部；以及

控制所述图象处理部的CPU，

所述图象处理部，具有分别进行作为所述图象处理的所述处理的多个处理电路，

所述多个处理电路中的至少2个，使用同一所述共享存储器，进行处理。

2、如权利要求1所述的图象处理装置，其特征在于：所述图象处理部，作为所述多个处理电路，具有：

对从所述图象传感器得到的图象信号，进行预处理的预处理电路；

将所述预处理后的信号，变换成亮度信号及色差信号后输出的亮度色差信号处理电路；

将所述亮度信号及色差信号表示的图象缩小，并输出所得到的图象的缩小变焦电路；以及

对于与所述缩小变焦电路的输出所对应的图象进行压缩编码，并将所得到的结果作为所述图象处理部的输出的压缩处理电路。

3、如权利要求2所述的图象处理装置，其特征在于：所述图象处理部，作为多个处理电路，还具有：

垂直扩大电路；和

对所述缩小变焦电路的输出进行后过滤处理，并向所述压缩处理电路或所述垂直扩大电路输出的后过滤器，

所述垂直扩大电路，将经过后过滤处理的图象，进行向垂直方向扩大的垂直扩大处理，并将所得到的结果作为所述图象处理部的输出。

4、如权利要求1所述的图象处理装置，其特征在于：还具有：将所述图象处理部的输出，变换成适合于显示或向记录媒体写入的信号后输出的输出部，

所述输出部，是使用在所述图象处理部中使用的所述共享存储器进行处理的结构。

5、如权利要求1所述的图象处理装置，其特征在于：对所述多个处理电路的每一个，按照其各自处理的需要，分配所述共享存储器的区域。

6、一种照相机，其特征在于，包括：

权利要求2所述的图象处理装置；

向所述的图象处理装置输出图象信号的图象传感器；以及

将所述的图象处理装置的输出写入记录媒体的记录装置。

7、一种图象处理方法，是对图象传感器输出的图象信号进行图象处理后输出的图象处理方法，其特征在于：

包括：以行为单位将图象存放到共享存储器中的步骤；和

使用所述共享存储器，进行所述图象处理的步骤，

进行所述图象处理的步骤，具有分别进行作为所述图象处理的所定处理的多个处理步骤，

所述多个处理步骤中的至少2个，使用同一共享存储器进行处理。

Images