CN1650639A

CN1650639A - 图像信号处理的装置、电路、方法、程序及记录媒体

Info

Publication number: CN1650639A
Application number: CNA03809262XA
Authority: CN
Inventors: 谷添幸广; 山本靖利
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-05-08
Filing date: 2003-05-02
Publication date: 2005-08-03
Anticipated expiration: 2023-05-02
Also published as: JP4284960B2; EP1503600B1; CA2479662A1; WO2003096702B1; WO2003096702A1; JP2004032662A; KR100960176B1; EP1503600A1; EP1503600A4; TWI242988B; US7499086B2; KR20040104518A; TW200405729A; US20050168600A1; CN1326402C

Abstract

在获得辉度信号时有时发生伪信号。本发明的图像信号处理装置具有：利用根据预先确定的图形的重复排列的多种颜色的滤色镜进行摄像的摄像元件(1)；考虑图形对摄像结果的颜色变化进行检测的颜色变化检测部(15)；根据颜色变化检测结果生成摄像结果的辉度信号的加法器(19)、以及核心处理部(20)。

Description

图像信号处理的装置、电路、方法、程序及记录媒体

技术领域

本发明涉及使用于数字式静物摄影照相机及电影等中使用的图像信号处理装置、图像信号处理电路、图像信号处理方法、程序及记录媒体。

背景技术

在数字式静物摄影照相机及电影等中，使用CCD(Charge Coupled Device)等摄像元件。

在摄像元件的表面上，为了彩色化而安装着对每一像素具有规定的重复图形的色分离滤色镜。

作为这样的色分离滤色镜，已知有各种各样的滤色镜。

广泛使用的色分离滤色镜的滤色镜排列之一，有图2所示的，在水平方向的第1行上按深红色、绿色的顺序交替地排列着滤色镜；在第2行上按黄色、青色的顺序交替地排列着滤色镜；在第3行上按绿色、深红色的顺序交替地排列着滤色镜；在第4行上按黄色、青色的顺序交替地排列着滤色镜的，水平2像素、垂直4像素重复的补色滤色镜排列。

以下将这种滤色镜排列称为色差线顺序排列。

作为从具有色差线顺序排列的色分离滤色镜的摄像元件输出生成辉度信号的方法，通常的方法是对纵2×横2像素进行加法运算的方法(参照例如日本特开平8-070466号公报(2页，图4))。

另外，日本特开平8-070466号公报的全部揭示，在这里被原封不动加以引用(参照)，从而被一体化。

又，除色差线顺序排列以外广泛使用的滤色镜排列之一，有图10所示的，在水平方向的第1行上以红色、绿色的顺序交替排列着滤色镜；在第2行上以绿色、蓝色的顺序交替排列着滤色镜的，水平2个像素、垂直2个像素重复的原色滤色镜排列。

以下将该滤色镜排列称为原色拜耳(Bayer)排列。

作为从具有原色拜耳排列的滤色镜的摄像元件输出生成辉度信号的方法，也利用纵2×横2像素的加法运算生成的方法。

作为从具有原色拜耳排列的色分离滤色镜的摄像元件输出生成辉度信号的其它的方法，有仅对纵2×横2像素区域内的绿色信号进行加法运算而生成辉度的高频成分的方法(参照例如日本特开平8-237672号公报(7页，图10～13))。

另外，日本特开平8-237672号公报的全部的揭示，在这里被原封不动加以引用(参照)，从而被一体化。

但是，当通过对纵2×横2像素的信号进行加法运算而生成辉度信号时，在使用色差线顺序排列的色分离滤色镜排列的情况下，存在着在对水平方向上颜色的变化剧烈的被摄物体进行摄像时发生圆点状的伪信号的问题。

例如，图6是表示色差线顺序排列的滤色镜排列的一部分的图，在图6的m列与m+1列之间，被摄物体的颜色有变化。

变化点的右侧是Ye＝Mg＝1、Cr＝Cy＝0，变化点的左侧是Ye＝Mg＝Gr＝Cy＝0。

图7是表示与这时的各滤色镜位置对应的摄像元件的输出的图。

坐标(m，n-1)、(m+1，n-1)、(m，n)、(m+1，n)的纵2×横2像素的加法运算值为2，而坐标(m，n+1)、(m+1，n+1)、(m，n+2)、(m+1，n+2)的像素的加法运算值为1。

这样，尽管是在垂直方向无辉度变化的被摄物体，还是了解到辉度信号有变化。

本发明者注意到，这成为圆点状的伪信号出现，并成为显著地损害摄像质量的主要原因。

同样，在使用原色拜耳排列的色分离滤色镜的情况下，存在着在对斜方向(对角线方向)上颜色的变化剧烈的被摄物体进行摄像时发生圆点状的伪信号的问题。

例如，图11是表示原色拜耳排列的滤色镜排列的一部分的图，以将坐标(m-2，n-2)、(m+3，n+3)加以连接的对角线为边界，被摄物体的颜色发生变化。

变化点的右上方是R＝Gr＝0、B＝1，变化点的左下方是B＝Gr＝0、R＝1。

图12是表示与这时的各滤色镜位置对应的摄像元件的输出的图。

坐标(m-2，n-2)、(m-1，n-2)、(m-2，n-1)、(m-1，n-1)的纵2×横2像素的加法运算值为0，而坐标(m-1，n-1)、(m，n-1)、(m-1，n)、(m，n)的纵2×横2像素的加法运算值为2。

这样，尽管是在斜方向上无辉度变化的被摄物体，还是被发现辉度信号有变化。

本发明者注意到，这成为圆点状的伪信号出现，并成为显著损害摄像质量的主要原因。

另外，在仅使用纵2×横2像素区域内的绿色信号来生成辉度的高频信号的情况下，不发生所述圆点状的伪信号，但尤其是斜方向的取样间隔成为完全使用红色、绿色、蓝色的情况下的2倍，因此损害斜方向的分辨率。

发明内容

本发明是为了解决上述已有的问题而作出的，其目的在于，提供能获得进一步对伪信号的发生进行抑制的辉度信号的图像信号处理装置、图像信号处理电路、图像信号处理方法、程序及记录媒体。

本发明的第1技术方案，是一种图像信号处理装置，具有

利用根据预先确定的图形的重复进行排列的多种滤色镜进行摄像的摄像手段；

考虑所述图形对所述摄像结果的颜色变化进行检测的颜色变化检测手段；以及

根据所述颜色变化的检测结果生成关于所述摄像结果的辉度信号的辉度信号生成手段。

本发明的第2技术方案，是如第1技术方案所述的图像信号处理装置，

在与所述图形相应的规定方向上进行所述颜色变化的检测，

所述辉度信号的生成，在所检测出的所述规定方向的所述颜色的变化超过规定水平的颜色变化点上，对伪信号进行抑制。

本发明的第3技术方案，是如第2技术方案所述的图像信号处理装置，

所述图形，是在水平方向的第1行上将深红色(magenta)滤色镜和绿色滤色镜按这一顺序进行排列，在水平方向的第2行上将黄色滤色镜和青色(cyan)滤色镜按这一顺序进行排列，在水平方向的第3行上将绿色滤色镜和深红色滤色镜按这一顺序进行排列，在水平方向的第4行上将黄色滤色镜和青色滤色镜按这一顺序进行排列用的，在水平方向上具有2像素，在垂直方向上具有4像素的图形，

所述规定方向是水平方向。

本发明的第4技术方案，是如第3技术方案所述的图像信号处理装置，所述颜色变化的检测根据所述深红色在水平方向上的变化和所述绿色在水平方向上的变化进行。

本发明的第5技术方案，是如第4技术方案所述的图像信号处理装置，所述颜色变化的检测，还根据所述黄色在垂直方向上的变化和所述青色在垂直方向上的变化进行。

本发明的第6技术方案，是如第4技术方案所述的图像信号处理装置，所述颜色变化的检测，还根据所述深红色在垂直方向上的变化和所述绿色在垂直方向上的变化进行。

本发明的第7技术方案，是如第2技术方案所述的图像信号处理装置，

所述图形，是在水平方向的第1行上将红色滤色镜和绿色滤色镜按这一顺序进行排列，在水平方向的第2行上将绿色滤色镜和蓝色滤色镜按这一顺序进行排列用的，在水平方向上具有2个像素，在垂直方向上具有2个像素的图形，

所述规定方向是对角线方向。

本发明的第8技术方案，是如第7技术方案所述的图像信号处理装置，所述颜色变化的检测，根据所述红色在对角线方向上的变化和所述蓝色在对角线方向上的变化进行。

本发明的第9技术方案，是如第7技术方案所述的图像信号处理装置，对所述伪信号进行抑制用的运算，根据所述红色在对角线方向上的变化和所述蓝色在对角线方向上的变化进行。

本发明的第10技术方案，是一种图像信号处理电路，具有

考虑所述图形，对利用根据预先确定的图形的重复进行排列的多种滤色镜进行摄像的结果的颜色变化进行检测的颜色变化检测手段；以及

本发明的第11技术方案，是一种图像信号处理方法，具有

考虑所述图形，对利用根据预先确定的图形的重复进行排列的多种滤色镜所进行的摄像的结果的颜色变化进行检测的颜色变化检测步骤；以及

根据所述颜色变化的检测结果生成关于所述摄像的结果的辉度信号的辉度信号生成步骤。

本发明的第12技术方案是一种程序，是使计算机执行技术方案11所述的图像信号处理方法的，考虑所述图形，对利用根据预先确定的图形的重复进行排列的多种滤色镜进行的摄像的结果的颜色变化进行检测的颜色变化检测步骤；以及根据所述颜色变化的检测结果进行生成关于所述摄像结果的辉度信号的辉度信号生成步骤的程序。

本发明的第13技术方案，是一种记录媒体，是承载本发明第12技术方案所述的程序的，可利用计算机进行处理的记录媒体。

附图说明

图1是表示本发明实施形态1的图像信号处理装置的结构方框图。

图2是表示本发明实施形态1的摄像元件1具有的滤色镜排列图。

图3是表示本发明实施形态1的核心处理部20的输入输出信号的关系图。

图4是表示在本发明实施形态1的核心处理部20的输入信号中，对摄像元件1的输出进行的滤色镜处理的分支(tap)系数的图。

图5是表示在本发明实施形态1的核心处理部20的输入信号in与th变动的情况下的适应低通滤色镜部21的输出信号中，对摄像元件1的输出进行的滤色镜处理的分支系数的图。

图6表示本发明实施形态1的摄像元件1具备的滤色镜排列的一部分。

图7表示与本发明实施形态1的各滤色镜位置对应的摄像元件1的输出的例子。

图8是表示与本发明实施形态1的各滤色镜位置对应的摄像元件1的输出的例子。

图9是表示本发明实施形态2的图像信号处理装置的结构的方框图。

图10表示本发明实施形态2的摄像元件30具备的滤色镜排列。

图11表示本发明实施形态2的摄像元件30具备的滤色镜排列的一部分。

图12表示与本发明实施形态2的各滤色镜位置对应的摄像元件30的输出的例子。

图13表示在本发明实施形态2的辉度变化检测部31中的滤色镜处理的分支系数。

图14表示在本发明实施形态2的1像素延迟部37的输出中，对摄像元件30的输出进行的滤色镜处理的分支系数。

图15表示在本发明实施形态2的适应低通滤色镜部33所实施的滤色镜处理的分支系数。

图16表示在本发明实施形态2的颜色变化检测部32所实施的滤色镜处理的分支系数。

符号说明

1-摄像元件；2-A/D变换部；3～7-行存储器；14-辉度信号生成部；15-颜色变化检测部；21-适应低通滤色镜部；22-辉度信号输出端子

具体实施方式

首先，为了更容易理解本发明，就其要点简洁说明如下。

如前所述，在以往的图像信号处理中，在滤色镜的排列中所用的图形相应的规定方向上的颜色的变化剧烈的颜色变化点上，往往在辉度信号中发生所谓伪信号。

本发明者认为，(1)对颜色变化的检测考虑上述图形进行，(2)辉度信号的生成根据颜色变化的检测结果适当进行，这样能对这样的伪信号的发生很好地加以抑制。

更具体地说，在有利用色差线顺序排列对色分离滤色镜进行排列的滤色镜(参照图2)的情况下，(1)对水平方向上的颜色变化的检测通过对适当的滤色镜调查附近的像素相互间的输出值差进行，(2)辉度信号的生成可以在水平方向上的颜色变化超过规定水平的颜色变化点抑制伪信号进行。

又，这样的水平方向上的颜色变化超过规定水平的颜色变化点，在例如画面上左半部分与右半部分用不同的单色显示的单纯的图像(参照图7)中，发生在它们的边界线上。

通过进行上述那样的辉度信号的生成，这样的单纯的图像(或作为部分图像包含这样的单纯的图像的图像)的显示品质，可以说能特别显著地提高。

以下参照附图对本发明的实施形态进行说明。

实施形态1

首先，主要参照图1的本实施形态的图像信号处理装置的方框图，对本实施形态的图像信号处理装置的结构进行说明。

图1中，1是摄像元件，2是A/D变换部，3～7是行存储器，14是辉度信号生成部，15是颜色变化检测部，21是适应低通滤色镜部，22是辉度信号输出端子。

又，图1中，8～10是加法器，11～13是低通滤色镜部。它们构成辉度信号生成部14。

又，图1中，16、19是加法器；17是减法器；18是乘法器；20是核心处理部；23、24是1像素延迟部。它们构成适应低通滤色镜部21。

适应低通滤色镜部21是根据颜色变化检测部15的输出，对摄像元件1的输出信号适应地进行低通滤色镜处理，以此抑制颜色变化点的伪信号的辉度信号生成用的手段。

又，适应低通滤色镜部21具有从摄像元件1的输出信号检测辉度变化用的减法器17，能够根据将利用1像素延迟部24延迟的减法器17的输出与颜色变化检测部15的输出进行比较的结果，对低通滤色镜特性进行控制。

又，摄像元件1与本发明的摄像手段对应，颜色变化检测部15与本发明的颜色变化检测手段对应，包括加法器19、核心处理部20的手段与本发明的辉度信号生成手段对应。

下面对本实施形态的图像信号处理装置的动作进行说明。又，下面一边对本实施形态的图像信号处理装置的动作进行说明，一边对本发明的图像信号处理方法的一实施形态进行说明(在其它实施形态中也相同)。

摄像元件1在表面具有图2所示排列的补色滤色镜，将与滤色镜的颜色相应的深红色、绿色、黄色、青色的补色信号每一水平行逐行输出。

摄像元件1的输出信号由A/D变换部2数字化，通过行存储器3～7延迟，向辉度信号生成部14和颜色变化检测部15输入。

行存储器3～7分别将摄像元件1的水平1行份额的信号延迟后输出。

从而，对颜色变化检测部15同时输入6行补色信号，对辉度信号生成部14同时输入4行补色信号。

在辉度信号生成部14中，用加法器8～10将与垂直方向邻接的补色信号相加后，用低通滤色镜部11～13对与水平方向邻接的信号进行加法运算。

其结果是，将水平2×垂直2像素的补色信号的相加值作为辉度信号，同时输出3行。

辉度信号生成部14的输出包括在上述已有技术例中说明的水平方向的颜色变化点的伪信号。

在本实施形态中，辉度信号生成部14的输出被输入到适应低通滤色镜部21。

在适应低通滤色镜部21中，在辉度信号生成部14的输出的3行内，用加法器16对上下行的信号进行加法运算，用乘法器18将中心行的信号乘以2。

并且，用减法器17从加法器16的输出中减去乘法器18的输出，用1像素延迟部24进行延迟后，向核心(コア)处理部20输入。

图4表示在核心处理部20的输入信号中，相对摄像元件1的输出进行的滤色镜处理的分支系数。

图4的滤色镜是对垂直方向的辉度边缘(edge)进行检测的滤色镜，并且是在水平方向的颜色变化点上对伪信号的电平进行检测的滤色镜。

更具体地说，这样的滤色镜处理，是指通过对与对应的分支系数相乘的摄像元件1的各像素的输出值进行加法运算，算出与滤色镜的中心位置对应生成的信号的输出值用的处理(以下相同)。

图3表示核心处理部20的输入输出关系。

在核心处理部20中，将作为颜色变化检测部15的输出的th(阈值)与作为减法器17的输出的，向核心处理部20的输入in加以比较。

并且在in＜-2th，2th＜in的情况下输出0，在-2th＜in＜th的情况下输出-2th-in，在-th＜in＜th的情况下输出in，在th＜in＜2th的情况下输出2th-in。

核心处理部20的输出，在加法器19中与利用像素延迟部23延迟的乘法器18的输出相加，并向辉度信号输出端子22输出。

图5表示在适应低通滤色镜部21的输出中，对摄像元件1的输出进行的滤色镜处理的分支系数。

图5(a)表示在2×th＜|in|的情况下的分支系数，图5(b)表示在|in|＝1.5×th的情况下的分支系数，图5(c)是表示在|in|＜th的情况下的分支系数。

th相对|in|越大则越是成为在垂直方向上狭带域的低通滤色镜处理，越是增大对水平方向上的颜色的变化点的伪信号的抑制效果。

已知在将图5(c)的滤色镜，对例如图7的颜色的边界部即m列、m+1列的信号使用时，无论在哪个位置，输出值都为3，能完全抑制住伪信号。

因此，颜色变化检测部15只要在水平方向的颜色变化点上生成成为|in|＜th的输出th就可以。但是，在水平方向的颜色变化点以外，若不成为2×th＜|in|，就会发生误动作。

以下对颜色变化检测部15的动作进行更详细的说明。

图8表示在以图6的m列和m+1列为边界，在从Mg＝M0、Gr＝G0、Ye＝Y0、Cy＝C0变化为Mg＝M3、Gr＝G3、Ye＝Y3、Cy＝C3的情况下的摄像元件1的各像素的输出值。

但是，考虑透镜(未图示)及摄像元件1的光圈、水晶光学低通滤色镜(未图示)等的影响，作为中间色，下面对m列为Mg＝M1、Gr＝G1、Ye＝Y1、Cy＝C1的情况、m+1列为Mg＝M2、Gr＝G2、Ye＝Y2、Cy＝C2的情况进行说明。

这里，关于例如Mg，对M0＜M1＜M2＜M3或M0＞M1＞M2＞M3的关系成立的情况进行说明。关于Gr、Ye、Cy，也对成立同样的关系的情况进行说明。

在这时的颜色的边界线上的核心处理部20的输入in就是(数1)那样(当然，是在第一等号为一般的情况下对in进行定义的等号，下同)。

(数1)

in＝Ye(m，n-1)+Cy(m+1，n-1)

-Mg(m，n)-Gr(m+1，n)

-Ye(m，n+1)-Cy(m+1，n+1)

+Gr(m，n+2)+Mg(m+1，n+2)

＝G1-G2+M2-M1

这表示在水平方向上的颜色的变化的边界线上的伪信号由深红色、绿色信号产生。

这时，在颜色变化检测部15中，可以如(数2)那样对th进行运算。

(数2)

th＝Max(|Mg(m，n)-Mg(m+2，n)|，

|Mg(m-1，n+2)

-Mg(m+1，n+2)|)

+Max(|Gr(m-1，n)-Gr(m+1，n)|，

|Gr(m，n+2)

-Gr(m+2，n+2)|)

＝Max(|M1-M3|，|M0-M2|)

+Max(|G1-G3|，|G0-G2|)

其中，Max(a，b)为选择a与b中的大的一方的函数。

由于是M0＜M1＜M2＜M3或M0＞M1＞M2＞M3，G0＜G1＜G2＜G3或G0＞G1＞G2＞G3，故始终成立th＞|in|的关系。

因此，通过使用由(数2)得到的th，能抑制在颜色的变化点上的伪信号。

①又，在利用由(数2)得到的th时，有时作为颜色的变化能检测出在水平方向上辉度的变化。

因此，尤其在斜方向(对角线方向)上有辉度变化的被摄物体上，会发生适应低通滤色镜部21的误动作，发生有损于斜向的分辨率的情况。

为了对这样的误动作的发生进一步加以抑制，如(数3)那样对th进行运算。

(数3)

th＝MAX(a，0)

a＝Max(|Mg(m，n)-Mg(m+2，n)|，

|Mg(m-1，n+2)

-Mg(m+1，n+2)|)

+Max(|Gr(m-1，n)-Gr(m+1，n)|，

|Gr(m，n+2)

-Gr(m+2，n+2)|)

-b×(|2×Ye(m，n+1)-Ye(m，n-1)

-Ye(m，n+3)|

+|2×Cy(m+1，n+1)

-Cy(m+1，n-1)

-Cy(m+1，n+3)|)

在(数3)中，b是调整修正程度用的系数，b＞0。

在(数3)中，对于n-1、n+1、n+3行的运算部分，表示垂直方向的黄色、青色信号的垂直方向上的变动。

黄色、青色信号在水平方向上的颜色变化点上不在垂直方向上变动。

因此，利用(数3)，不会对在水平方向上的颜色变化点上的伪信号的抑制产生影响，能抑制有倾方向的辉度的变化的部分的误动作的发生。

②又，在(数3)中的黄色、青色信号的垂直方向上的变化检测，难以检测出较低频率的变化及用摄像元件的像素间距(pitch)决定的接近垂直奈奎斯特(Nyquist)频率那样的变化。

因此，要抑制那样的频率的斜向辉度变化部分中的误动作的发生有时是困难的。

为了进一步抑制这样的误动作的发生，对垂直方向上的深红色、绿色信号的变动图形进行研究。

并且，在垂直方向的深红色、绿色信号的变动图形未成为颜色变化点的伪信号的图形时，可以判断为不是颜色变化点。

下面利用(数4)，对深红色、绿色信号的变动图形进行研究。

(数4)

c＝{(Mg(m，n)+Gr(m+1，n))

-(Gr(m，n-2)+Mg(m+1，n-2))}

×{(Mg(m，n)+Gr(m+1，n))

-(Gr(m，n+2)+Mg(m+1，n+2))}

在颜色变化点上的伪信号发生的情况下，c＞0。因此，在c＜0的情况下，使th＝0(当然，在c≥0的情况下，上述的th保持不变使用)，能进一步抑制适应低通滤色镜部21的误动作的发生。

③又，(数2)～(数4)是核心处理部20的输入in以(数1)中提供的情况下的运算式。

在考虑向垂直方向的平行移动的情况下，在每1行中将深红色、绿色的行与黄色、青色的行加以替换，故必需对(数1)～(数4)稍微进行修正。

更具体地说，在考虑垂直向下平行移动1行的情况下，(数1)～(数4)分别成为如下所示的(数5)～(数8)。

(数5)

in＝Mg(m，n)+Gr(m+1，n)

-Ye(m，n+1)-Cy(m+1，n+1)

-Gr(m，n+2)-Mg(m+1，n+2)

+Ye(m，n+3)+Cy(m+1，n+3)

(数6)

th＝Max(|Mg(m，n)-Mg(m+2，n)|，

|Mg(m-1，n+2)

-Mg(m+1，n+2)|)

+Max(|Gr(m-1，n)-Gr(m+1，n)|，

|Gr(m，n+2)

-Gr(m+2，n+2)|)

(数7)

th＝MAX(a，0)

a＝Max(|Mg(m，n)-Mg(m+2，n)|，

|Mg(m-1，n+2)

-Mg(m+1，n+2)|)

+Max(|Gr(m-1，n)-Gr(m+1，n)|，

|Gr(m，n+2)

-Gr(m+2，n+2)|)

-b×(|2×Ye(m，n+1)-Ye(m，n-1)

-Ye(m，n+3)|

+|2×Cy(m+1，n+1)

-Cy(m+1，n-1)

-Cy(m+1，n+3)|)

(数8)

c＝{(Mg(m，n+2)+Gr(m+1，n+2))

-(Gr(m，n)+Mg(m+1，n))}

×{(Mg(m，n+2)+Gr(m+1，n+2))

-(Gr(m，n+4)+Mg(m+1，n+4))}

这样，在考虑垂直向下平行移动1行的情况下，(数5)中的垂直方向的坐标值成为对(数1)中的垂直方向的坐标值加1的值，而(数6)、(数7)分别与(数2)、(数3)相同，在(数8)中的垂直方向的坐标值成为对(数1)中的垂直方向的坐标值加2的值。

另外，在考虑在垂直方向上向下平行移动2行的情况下，(数5)～(数8)中的垂直方向的坐标值成为分别对(数1)～(数4)中的垂直方向的坐标值加2的值。

又，在考虑在垂直方向上向下平行移动3行的情况下，(数5)中的垂直方向的坐标值成为对(数1)中的垂直方向的坐标值加3的值，而(数6)、(数7)中的垂直方向的坐标值成为分别对(数2)、(数3)中的垂直方向的坐标值加2的值，在(数8)中的垂直方向的坐标值成为对(数1)中的垂直方向的坐标值加4的值。

当然，在考虑向水平方向平行移动的情况下，(在考虑向右平行移动1行时)也按照同样的考虑，必需对(数1)～(数4)稍作修正。

另外，本实施形态的滤色镜，考虑根据在水平方向上具有2像素、在垂直方向上有4像素的图形的重复进行排列，以此在其它情况下也能以上述情况为准进行处理。

利用以上那样的结构和动作，能从辉度信号输出端子22输出将颜色变化点上的伪信号加以抑制后的辉度信号。

又，即使在有斜向辉度变化的情况下，也能获得不因适应低通滤色镜部21的误动作引起分辨率降低的信号。

实施形态2

首先，主要参照本实施形态的图像信号处理装置的方框图即图9，对本实施形态的图像信号处理装置的结构进行说明。

在本实施形态中，(不是利用色差线顺序排列)利用原色拜耳(Bayer)排列的滤色镜排列。

图9中，30是摄像元件、2是A/D变换部、3～7是行存储器、31是辉度变化检测部、32是颜色变化检测部、22是辉度信号输出端子。

又，在图9中，9、19是加法器；34是乘法器；12是低通滤色镜；20是核心处理部；35～39是1像素延迟部。由这些构成适应低通滤色镜部33。

另外，摄像元件30与本发明的摄像手段对应，颜色变化检测部32与本发明的颜色变化检测手段对应，包括加法器19、核心处理部20的手段与本发明的辉度信号生成手段对应。

下面对本实施形态的图像信号处理装置的动作进行说明。

摄像元件30在表面具有图10所示排列的原色滤色镜，对水平的每1行逐行输出与滤色镜的颜色相应的红色、绿色、蓝色的原色信号。

摄像元件30的输出，在A/D变换部2数字化，通过行存储器3～7被延迟，然后向适应低通滤色镜部33、辉度变化检测部31、颜色变化检测部32输入。

辉度变化检测部31对红色和蓝色的相加值的变化量进行检测。

例如，图13(a)、(b)表示在辉度变化检测部31的输出中，对摄像元件30的输出所进行的滤色镜处理的分支系数。

在图示的纵4×横4的区域的左上方的像素为绿色的情况下，使用(a)的滤色镜。又，在同上区域的左上方的像素为红色或蓝色的情况下，使用(b)的滤色镜。

因此，图13所示的滤色镜为对红色和蓝色的相加值在斜向(对角线方向)的变化进行检测的滤色镜。

辉度变化检测部31的输出通过1像素延迟部38、39向核心处理部20输入。

在核心处理部20中，进行与上述实施形态1同样的处理(参照图3)。

核心处理部20的输出向加法器19输入，并与1像素延迟部37的输出相加。

图14表示在图9的1像素延迟部37的输出中，相对摄像元件30的输出信号所进行的滤色镜处理的分支系数。

图15表示在加法器19的输出中，相对摄像元件30的输出信号所进行的滤色镜处理的分支系数。

即表示在核心处理部20的输入信号in与th的关系发生变化的情况下的适应低通滤色镜部33的滤色镜分支系数的变化。

更具体地说，图15(a)表示2×th＜|in|的情况下的分支系数。又，图15(b)、(c)表示|in|＝1.5×th的情况下的分支系数。又，图15(d)、(e)表示|in|≤th的情况下的分支系数。

另外，图15(b)、(d)表示图示的纵4×横4的区域的左上方的像素与绿色对应的情况下的滤色镜系数。又，图15(c)、(e)表示图示的纵4×横4的区域的左上方的像素与红色或蓝色对应的情况下的滤色镜系数。

可知对于图12的信号，当进行利用图15(d)、(e)的滤色镜的滤色镜处理时，无论在哪个位置，滤色镜的输出值都是4，可获得能够对伪信号进行抑制的信号。

颜色变化检测部32对红色与蓝色的差分值的变化量进行检测。

th是颜色变化检测部32的输出。因此，只要进行颜色变化检测部32中的运算，在伪信号发生的颜色变化点上使|in|＜th即可。

图16表示在颜色变化检测部32中，对摄像元件30的输出信号进行的滤色镜处理的分支系数。

因此，图16所示的滤色镜，成为对红色与蓝色的差分值的斜向(对角线方向)上的变化进行检测的滤色镜。

在图示的纵4×横8像素的左上角的像素为绿色的情况下，进行利用图16(a)、(c)的滤色镜的滤色镜处理，并将各滤色镜处理结果的绝对值的最大值从颜色变化检测部32输出。

在图示的纵4×横8像素的左上角的像素为红色或蓝色的情况下，进行利用图16(b)、(d)的滤色镜的滤色镜处理，并将各滤色镜处理结果的绝对值的最大值从颜色变化检测部32输出。

例如，图11是表示具有摄像元件30的滤色镜排列的一部分的图。

下面对以连接图11所示的坐标(m-2，n-2)与坐标(m+3，n+3)的对角线作为边界，被摄物体的颜色发生变化的情况进行说明。

具体地说，对在变化点的右上方，R＝R0，B＝B0；变化点的左下方，R＝R1、B＝B1的情况进行说明。

这时，将位于颜色发生变化的边界线上的坐标(m，n)、(m，n+1)、(m+1，n)、(m+1，n+1)作为中心的颜色变化检测部32的输出如(数9)所示。

(数9)

th＝Max(|R(m-3，n+2)+R(m-1，n+2)

-R(m+1，n)-R(m+3，n)

-B(m-2，n+1)-B(m，n+1)

+B(m+2，n-1)

-B(m+4，n-1)|，

|R(m+1，n+2)+R(m+3，n+2)

-R(m-3，n)-R(m-1，n)

-B(m+2，n+1)

-B(m+4，n+1)

+B(m-2，n-1)

+B(m，n-1)|)

＝Max(|2R1-2R0-2B1+2B0|，

|R0-R1-B0+B1|)

＝|2R1-2R0-2B1+2B0|

又，这时的核心处理部20的输入in成为如下所示的状态。

(数10)

in＝R(m-1，n)+R(m+1，n+2)

-2R(m+1，n)-2B(m，n+1)

+B(m，n-1)+B(m+2，n+1)

＝2R1-2R0-2B1-2B0

因此，由于在颜色发生变化的边界线上|in|≤th的关系式成立，故从适应低通滤色镜部33输出将伪信号加以抑制的信号。

另外，以上对从右上方向左下方颜色发生变化的情况作了说明，而对从左上方向右下方颜色发生变化的情况也是同样的。

在本实施形态中，在红色、绿色、蓝色中仅对红色、蓝色成分施加低通滤色镜。因此，在对颜色发生变化的边界线上以外进行误修正的情况下，也保持绿色成分的高频成分。因此，能将因误修正引起的分辨率的劣化抑制于最小限度。

又，在本实施形态中，对颜色变化检测部32的输出与辉度变化检测部31的输出进行比较，确定适应低通滤色镜部33的特性。因此，例如，在对同一个被摄物体进行摄影时，光源的辉度发生变化因而被摄物体的辉度发生变化的情况下，颜色变化检测部32的输出与辉度变化检测部31的输出都相应于被摄物体的辉度发生变化。因此，不根据被摄物体的辉度，就能进行适当的适应低通滤色镜处理。

利用以上所述的结构和动作，能从辉度信号输出端子22输出可对颜色的变化点上的伪信号进行抑制的辉度信号。

又，在没有颜色变化的部分，由于使用绿色、蓝色的全部而生成辉度信号，故在倾向上也能获得分辨率高的辉度信号。

当然，在上述实施形态中，利用硬件实现A/D变换部2以后的处理，但使用微机等并利用软件也能实现这样的处理的全部或一部分。

另外，本发明的程序，是利用计算机执行上述本发明的图像信号处理方法的全部或一部分的步骤(或工序、动作、作用等)的动作用的，与计算机协同动作的程序。

又，本发明的记录媒体，是利用计算机执行的上述本发明的图像信号处理方法的全部或一部分的步骤(或工序、动作、作用等)的全部或一部分动作用的程序的载体即记录媒体，能利用计算机进行读取，并使读取的所述程序与所述计算机协同动作，进行所述动作的记录媒体。

另外，上述所谓本发明的“一部分的步骤(或工序、动作、作用等)”，是指在这些多个步骤中的1个或几个步骤。

又，所谓本发明的上述“步骤(或工序、动作、作用等)的动作”，是指所述步骤的全部或一部分的动作。

又，本发明的程序的一种利用形态，也可以是记录在计算机可读取的记录媒体上，与计算机协同动作的形态。

又，本发明的程序的一种利用形态，也可以是在传送媒体中进行传送，可利用计算机读取，与计算机协同动作的形态。

又，作为记录媒体，包括ROM等，作为传送媒体，包括因特网等的传送媒体、光·电波·声波等。

又，上述本发明的计算机，不限于CPU等的纯粹的硬件，也可以是固件及OS，还包括周边设备。

另外，如上所述，本发明的结构，既可以用软件实现，也可以用硬件实现。

产业上的可利用性

本发明具有能获得进一步抑制伪信号的发生的辉度信号的优点。

权利要求书

(按照条约第19条的修改)

1.(修正后)一种图像信号处理装置，其特征在于，具有

考虑所述图形对所述摄像结果的颜色变化进行检测的颜色变化检测手段；

考虑所述图形对有关所述摄像的结果的辉度变化进行检测的辉度变化检测手段；以及

根据所述颜色变化的检测结果和所述辉度变化的检测结果生成关于所述摄像结果的辉度信号的辉度信号生成手段。

2.(修正后)如权利要求1所述的图像信号处理装置，其特征在于，

在与所述图形相应的规定方向上进行所述颜色变化的检测，

所述辉度信号的生成，在所检测出的所述规定方向的所述颜色变化超过关于所述辉度变化的规定水平的颜色变化点上，对伪信号进行抑制。

3.如权利要求2所述的图像信号处理装置，其特征在于，

所述规定方向是水平方向。

4.如权利要求3所述的图像信号处理装置，其特征在于，所述颜色变化的检测根据所述深红色在水平方向上的变化和所述绿色在水平方向上的变化进行。

5.如权利要求4所述的图像信号处理装置，其特征在于，所述颜色变化的检测，还根据所述黄色在垂直方向上的变化和所述青色在垂直方向上的变化进行。

6.如权利要求4所述的图像信号处理装置，其特征在于，所述颜色变化的检测，还根据所述深红色在垂直方向上的变化和所述绿色在垂直方向上的变化进行。

7.如权利要求2所述的图像信号处理装置，其特征在于，

所述规定方向是对角线方向。

8.如权利要求7所述的图像信号处理装置，其特征在于，所述颜色变化的检测，根据所述红色在对角线方向上的变化和所述蓝色在对角线方向上的变化进行。

9.如权利要求7所述的图像信号处理装置，其特征在于，对所述伪信号进行抑制用的运算，根据所述红色在对角线方向上的变化和所述蓝色在对角线方向上的变化进行。

10.一种图像信号处理电路，其特征在于，具有

11.(修正后)一种图像信号处理方法，其特征在于，具有

考虑所述图形，对利用根据预先确定的图形的重复进行排列的多种滤色镜所进行的摄像的结果的颜色变化进行检测的颜色变化检测步骤；

考虑所述图形，对所述摄像结果的辉度变化进行检测的辉度变化检测步骤；以及

根据所述颜色变化的检测结果和所述辉度变化的检测结果，生成关于所述摄像结果的辉度信号的辉度信号生成步骤。

12.(修正后)一种程序，其特征在于，是使计算机执行权利要求11所述的图像信号处理方法的，考虑所述图形，对利用根据预先确定的图形的重复进行排列的多种滤色镜所进行的摄像的结果的颜色变化进行检测的颜色变化检测步骤；考虑所述图形，对所述摄像结果的辉度变化进行检测的辉度变化检测步骤；以及根据所述颜色变化的检测结果和所述辉度变化的检测结果，生成关于所述摄像结果的辉度信号的辉度信号生成步骤的程序。

13.一种记录媒体，其特征在于，是承载权利要求12所述的程序的，可利用计算机进行处理的记录媒体。

Claims

1.一种图像信号处理装置，其特征在于，具有

2.如权利要求1所述的图像信号处理装置，其特征在于，

在与所述图形相应的规定方向上进行所述颜色变化的检测，

3.如权利要求2所述的图像信号处理装置，其特征在于，

所述规定方向是水平方向。

7.如权利要求2所述的图像信号处理装置，其特征在于，

所述规定方向是对角线方向。

10.一种图像信号处理电路，其特征在于，具有

11.一种图像信号处理方法，其特征在于，具有

12.一种程序，其特征在于，是使计算机执行权利要求11所述的图像信号处理方法的，考虑所述图形，对利用根据预先确定的图形的重复进行排列的多种滤色镜进行的摄像的结果的颜色变化进行检测的颜色变化检测步骤；以及根据所述颜色变化的检测结果进行生成关于所述摄像结果的辉度信号的辉度信号生成步骤的程序。