CN101399906A

CN101399906A - 图像信号处理装置及图像信号处理方法

Info

Publication number: CN101399906A
Application number: CNA2008101618754A
Authority: CN
Inventors: 野中雄一; 西泽明仁
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2005-08-26
Filing date: 2006-04-29
Publication date: 2009-04-01
Also published as: KR100786931B1; CN100525381C; US7668391B2; US20070047832A1; CN1921557A; JP2007060457A; KR20070024333A; US20100157108A1

Abstract

本发明提供一种图像信号处理装置及信号处理方法，在图像信号处理装置中，实现兼顾提高析像度和有效地降低噪声两方面。该图像信号处理装置有：检测被拍摄体的边缘特征的边缘特征检测部；进行噪声除去处理的图像信号频带限制部；进行析像度提高处理的图像信号频带提高部；以及根据该边缘特征检测部的输出结果，变更图像信号频带限制部和图像信号频带提高部各自的强度用的增益控制器。

Description

图像信号处理装置及图像信号处理方法

技术领域

本发明涉及图像信号处理装置以及图像信号处理方法。

背景技术

作为本技术领域的背景技术，例如有日本特愿平10-113680号公报。另外，作为本技术领域的背景技术，例如有日本特愿平1-262185号公报。另外，作为本技术领域的背景技术，例如有日本特开2004-208038号公报。

专利文献1：日本特愿平10-113680号

专利文献2：日本特愿平1-262185号

专利文献3：日本特开2004-208038号

在现有技术中，通过利用与周边像素的差分信息等，提高高频信号的增益，来实现提高图像析像度的信号处理。可是，在用摄像机拍摄的图像信号中，除了被拍摄体的单纯的图像信号以外，还重叠有由摄像元件等模拟电路产生的噪声。因此，提高所述的图像析像度的信号处理成为放大噪声分量的重要原因。

例如，图7是专利文献1记载的外推插值信号生成时的例子。图7(a)是输入像素信号，从中心像素a至f中，在c和d上重叠有噪声量为Ns的噪声。当在各像素之间生成插值信号时，在线性插值的情况下，如图7(b)所示，噪声量Ns达到与输入像素信号同等的噪声量。可是，在进行外推插值的情况下，如图7(c)所示，噪声量为(1+α)Ns，致使S/N恶化。这样，现有技术的提高图像析像度的信号处理成为噪声放大的重大原因。

另外，例如，在专利文献2记载的插值信号生成方法中，根据信号的相关性来决定系数，生成插值信号。例如，当生成使用原色拜耳(Bayer)排列的摄像元件情况下的插值信号时，根据G信号求得的R的插值信号Rg(t)为

Rg(t)＝Rc(t)/Gc(t)×G(t)

这里，假设Ns噪声重叠在各像素信号上，则变成

Rg(t)＝(Rc(t)+αNs)/(Gc(t)+αNs)×(G(t)+Ns)

但是，由于噪声是高频AC分量，通过低通滤波器后的噪声分量变小，所以α<1，如果t→∞，则α≈0。因此变成

Rg(t)＝Rc(t)/Gc(t)×(G(t)+Ns)

即插值信号Rg(t)的噪声分量为

Rg(t)＝Rc(t)/Gc(t)×Ns

变成重叠Rc(t)/Gc(t)部分的噪声。因此，特别是在Rc(t)/Gc(t)的值大于等于1的情况下，存在原来的噪声量以上的噪声分量重叠在插值信号上的问题。

另一方面，在现有技术中，通过降低高频带，使噪声电平下降，来实现除去噪声的信号处理方法。这样会使被拍摄体的边缘分量等必要的信号的高频分量的增益也下降，成为使析像度恶化的重要原因。

如上所述，在现有技术中，采用的高析像度化处理和噪声除去处理，具有相反的性质，存在难以两者兼顾的问题。

因此，在本发明中，将通过有效地进行降低噪声和提高析像度的处理，来提高图像信号处理装置及图像信号处理方法的使用方便性。

发明内容

本发明以一种优选的方式构成图像信号处理装置，该图像信号处理装置有：对输入像素信号限制频带的图像信号频带限制部；对输入像素信号提高频带的图像信号频带提高部；检测输入图像信号的边缘特征的边缘特征检测部；以及根据所述边缘特征检测部的输出，控制并输出来自所述图像信号频带限制部和所述图像信号频带提高部的输出像素信号的增益控制器。

在优选的例中，由低通滤波器构成所述图像信号频带限制部，由高通滤波器构成所述图像信号频带提高部。

另外，所述边缘特征检测部最好检测注目像素和周边像素的差分值。另外，所述边缘特征检测部检测注目像素和周边像素的信号电平的绝对值。

如果采用本发明，则能提高图像信号处理装置及图像信号处理方法的使用方便性。

附图说明

图1是本发明的最佳实施方式1的图像信号处理装置的示意图。

图2是本发明的最佳实施方式2的图像信号处理装置的示意图。

图3是表示本发明的实施例1的图像信号处理装置的图。

图4是表示本发明的实施例2的图像信号处理装置的示意图。

图5是表示本发明的实施例3的图像信号处理装置的示意图。

图6是表示本发明的实施例4的图像信号处理装置的示意图。

图7是表示图像信号处理中的外推插值的例图。

具体实施方式

以下，用附图说明实施例。

图1是本发明的优选实施方式1的图像信号处理装置的示意图。

频带限制部101是对输入图像信号除去噪声分量的部。作为例子，是低通滤波器或中频滤波器。

频带提高部102是对输入图像信号进行高析像度化处理的部，例如是对输入图像信号附加上冲量(overshoot)和下冲量(undershoot)，来检测并修正被拍摄体的边缘的部。作为例子，是生成插值信号时生成使频带延伸的插值信号的部。

边缘特征检测部103是对输入图像信号检测某特定的像素和其周边像素的差分值信息，或者根据信号电平的绝对值，检测该区域的被拍摄体的边缘特征的部。作为例子，在某特定的像素和其周边像素的差分值大的情况下，检测出是被拍摄体的轮廓。反之，如果所述差分值小，则检测出是亮度电平平坦的空间等背景。作为另一例子，是对中心像素来说，通过比较与上下左右或倾斜方向的像素的差分值各自的大小，检测被拍摄体的轮廓(边缘)的方向的部。此外，作为又一个例子，除了差分值以外，还根据亮度信号电平的绝对值或色信号的色调信息，检测人的皮肤或空间的平坦部分。

增益控制器104是根据来自边缘特征检测部103的输出，使频带限制部101和频带提高部102的输出的强度比率变化，进行加法处理的部。

利用以上方式，对于噪声分量显著的不需要进行高析像度化处理的图像区来说，对应于边缘特征检测部103的输出，使频带限制部101的效果更强，减弱频带提高部102的效果，能有效地除去噪声分量。另外，对于被拍摄体的边缘分量多、噪声不显著的图像区来说，减弱频带限制部101的效果，增强频带提高部102的效果，能有效地提高析像度。

图2是本发明的优选方式2的图像信号处理装置的示意图。

如图2所示，将频带限制部101和频带提高部102串联连接，也能有效地进行噪声降低和析像度提高处理。这里，作为图1所示的结构和图2所示的结构的差异，可以考虑如下情况。即，图1所示结构的处理速度比图2所示结构的处理速度快。另一方面，图2所示结构的安装比图1所示结构的安装容易。另外，不言而喻，即使变换频带限制部101和频带提高部102的顺序，或者只使用一者，也能获得本发明的效果。

另外，不言而喻，利用电路结构或通过软件的处理，也能实现构成本发明的图像信号处理装置的各部。

图3是将本发明应用于摄像装置的像素插值电路的实施例。

对来自被拍摄体的光进行曝光并变换成电信号的摄像元件301，沿水平方向按照点顺序将像素信号输出给每个像素。该像素信号由A/D302变换成数字数据。摄像机信号处理电路303根据该数字数据化的像素信号，生成YcrCb信号或RGB信号。行存储器304对沿水平方向按照点顺序输出的YcrCb信号或RGB信号，在一个扫描期间将多行的像素作为一行来保存。禁止条件判断电路305、线性插值电路307、前倾斜插值电路308、后倾斜插值电路309、以及插值判断电路310是与专利文献1中记载的电路同等的电路结构。

即，由本实施例中的前倾斜插值电路308、后倾斜插值电路309、以及插值判断电路310生成的像素信号，相当于由前面所述的频带提高部102生成的像素信号。

另外，由本发明的线性插值电路307生成的像素信号，相当于由前面所述的频带限制部101生成的像素信号。

边缘特征检测部103是对输入图像信号，根据某特定的像素及其周边像素的差分值信息、或信号电平的绝对值，检测该区域中的被拍摄体的边缘的特征的部。增益控制器104是根据来自边缘特征检测部103的输出，改变插值判断电路310和线性插值电路307的输出结果的比重，进行加法处理的部。

如果采用以上的结构，则插值信号生成时，对被拍摄体的边缘分量少、噪声容易显著的图像区来说，线性插值增强，能生成抑制了噪声增幅的插值信号。另外，关于被拍摄体的边缘分量多、噪声不显著的图像区，外推插值增强、能生成提高了析像度的插值信号。

另外，作为本实施例的结构，在输入数字图像信号、生成插值信号的像素插值装置中，能构成这样一种图像信号处理装置，该图像信号处理装置包括：根据生成的插值数据之前的插值用原数据，求外推点，将其作为插值数据的第一插值部；根据生成的插值数据之后的插值用原数据，求外推点，将其作为插值数据的第二插值部；用生成的插值数据前后的插值数据，输出所述插值数据的第三插值部，该第三插值部检测所述插值用原数据的斜率，判断信号的排列呈上凸还是呈下凸，如果所述插值用原数据的排列呈上凸，则选择所述第一插值部的输出和所述第二插值部的输出两者中小的一者，如果所述插值用原数据的排列呈下凸，则选择所述第一插值部的输出和所述第二插值部的输出两者中大的一者，作为外推插值信号输出；检测被拍摄体的边缘特征的边缘特征检测部；以及根据该边缘特征检测部的输出结果，变更来自所述外推插值信号生成部的输出像素信号和来自所述第三插值部的输出像素信号各自的强度比率，进行加法运算的增益控制器。

另外，如下将本实施例应用于摄像装置。即，该摄像装置包括：对来自被拍摄体的光进行曝光并变换成电信号的摄像元件；将从摄像元件输出的像素信号变换成数字数据的A/D变换部；根据该数字数据化了的像素信号，生成亮度信号和色差信号的摄像机信号处理电路；以及将水平扫描方向作为一行，保存多行的像素信号的行存储器，在该摄像装置中，利用所述的插值信号生成法，进行变焦处理。

图4是将本发明应用于进行被拍摄体的轮廓修正的图像信号处理装置的实施例。

频带限制部101和边缘特征检测部103具有与所述的部同样的功能。

第一增益控制器104a是根据来自边缘特征检测部103的输出，使输入像素信号与频带限制部101的比重变化，进行加法处理的部。轮廓部修正部401、边缘检测部402和边缘生成部403是与专利文献3中记载的各部同等的电路结构。第二增益控制器104b是根据来自边缘特征检测部103的输出，使轮廓部修正部401和边缘生成部403的输出结果的比重变化、进行加法处理的部。

即，由本实施例的边缘检测部402和边缘生成部403生成的像素信号，相当于由前面所述的频带提高部102生成的像素信号。

如果采用以上的结构，则对于被拍摄体的边缘分量少、噪声显著的图像区来说，频带限制部增强，能生成抑制噪声增强的信号。另外，关于被拍摄体的边缘分量多、噪声不显著的图像区，轮廓修正增强，能提高析像度。

另外，作为本发明的结构，是一种输入数字图像信号，进行被拍摄体的轮廓修正的图像信号处理装置，该图像信号处理装置包括：对该输入的数字图像信号进行轮廓修正处理的第一轮廓部修正部；检测该输入的数字图像信号的轮廓部用的轮廓部检测部；根据该轮廓部检测部的检测结果，修正该输入的数字图像信号的轮廓部的第二轮廓部修正部；检测被拍摄体的边缘特征的边缘特征检测部；以及根据该边缘特征检测部的输出结果，变更来自该第一轮廓部修正部的输出图像信号和来自该第二轮廓部修正部的输出图像信号各自的强度比率，进行加法运算的增益控制器。

图5是将本发明应用于即使在专利文献2记载的被拍摄体的边缘部中也不发生伪色信号的信号插值装置中的实施例。

省略说明摄像元件301和A/D302。

另外，同步电路601、取样电路602、变换电路603、系数电路604、运算电路605与专利文献2记载的各电路的结构相同。

另外，频带限制部101和边缘特征检测部103具有与前面所述的部同样的功能。

增益控制器104是根据来自边缘特征检测部103的输出，改变频带限制部101和取样后的像素信号的比重，进行加法处理的部。在该插值处理中，低通滤波器的通带和一个像素(瞬时值)的频带的差越大，越能生成频率更高的插值信号。即，使该一个像素(瞬时值)的频带滞后，能防止高频噪声分量的放大。

如果采用以上的结构，则生成插值信号时，对被拍摄体的边缘分量少、噪声显著的图像区来说，频带限制部增强，能生成抑制噪声放大的插值信号。另外，关于被拍摄体的边缘分量多、噪声不显著的图像区，能生成提高析像度的插值信号。

另外，本实施例不限于原色拜耳排列的摄像元件，不用说即使是互补色排列(Mg：品红、Gr：绿、Cy：青、Ye：黄)的摄像元件也能适用。

另外，作为本实施例的结构，在具有对来自排列有多个滤色器的被拍摄体的光进行曝光并变换成电信号的摄像元件、以及将从摄像元件输出的像素信号变换成数字数据的A/D变换器的摄像装置中，成为信号插值装置，该信号插值装置包括：从所述信号源取出与由所述多个滤色器产生的像素信号中任意选择取出的第一信号同样种类的第一信号串的第一取样部；从所述信号源取出与该第一信号串不同种类信号的第二信号串的第二取样部；对该第一以及第二取样部的输出信号分别进行波形整形的第一以及第二波形整形部；求与该第一波形整形部的输出信号相对应的该第二波形整形部的输出信号的系数用的系数部；对该第一以及第二取样部的输出信号进行频带限制的频带限制部；检测被拍摄体的边缘特征的边缘特征检测部；根据该边缘特征检测部的输出结果，对来自该第一以及第二取样部的输出信号的输出像素信号和来自该数字数据化的摄像元件的像素信号各自的强度比率进行变更并进行加法运算的增益控制器；进行该显示部的输出信号和所述增益控制器的输出信号之间的运算用的运算部；以及用该运算部的输出信号对所述第二取样部的输出信号进行插值的插值部。

图6是将本发明应用于通过对输入图像信号附加上冲量和下冲量，提高析像度的图像信号处理装置中的实施例。

行存储器304在一水平扫描期间，将沿水平方向按照点顺序输出的YCrCb信号、或RGB信号、或来自摄像元件的像素信号作为一行，保存多行部分的像素。水平扫描方向二次微分部701是对水平方向的像素进行二次微分，抽出边缘分量的滤色部，水平扫描方向二次微分部702是对垂直方向的像素进行二次微分，抽出边缘分量的滤色部，是对各个输入图像信号进行加法处理，对被拍摄体的边缘附近生成上冲量和下冲量，提高析像度的部。

边缘特征检测部103是对输入图像信号，根据某特定的像素和其周边像素的差分值信息、或信号电平的绝对值，检测该区域中的被拍摄体的边缘的特征的部。增益控制器104是根据来自边缘特征检测部103的输出，对水平扫描方向二次微分部701以及垂直扫描方向二次微分部702的输出进行加法运算的部、以及使与输入像素信号的比重变化，进行加法处理的部。

如果采用以上的结构，则在插值信号生成时，对被拍摄体的边缘分量少、噪声容易显著的图像区来说，上冲量、下冲量的附加减弱，能生成抑制噪声放大的信号。另外，关于被拍摄体的边缘分量多、噪声不显著的图像区，上冲量、下冲量的附加增强，能提高析像度。

另外，作为本实施例的结构，在输入数字图像信号，生成轮廓修正信号的图像信号处理装置中，成为图像信号处理装置，该图像信号处理装置包括：将水平扫描方向作为一行，保存多行部分的像素信号的行存储器；根据来自该行存储器的输出图像信号，生成沿水平扫描方向进行二次微分的信号的水平扫描方向二次微分部；根据来自该行存储器的输出图像信号，生成沿垂直扫描方向进行二次微分的垂直扫描方向二次微分部；检测被拍摄体的边缘特征的边缘特征检测部；以及根据该边缘特征检测部的输出结果，对来自该水平扫描方向二次微分部的输出像素信号、来自该垂直扫描方向二次微分部的输出图像信号、以及该输入的数字图像信号各自的强度比率进行变更并进行加法运算的增益控制器。

如果采用以上说明的结构，则第一，能增强图像的被拍摄体的边缘分量少、噪声容易显著的区域的噪声除去处理，减弱不必要的高析像度化处理。另外，第二，能够减弱图像的被拍摄体多、噪声分量不容易显著的区域的噪声除去处理，增强高析像度化处理。

根据该第一和第二，能够提供生成有效地进行噪声除去和高析像度化处理的图像用的图像信号处理装置或程序。

Claims

1.一种图像信号处理装置，其是将输入图像信号输出至显示器的图像信号处理装置，其中：

以不同的频带限制在所述显示器的一个画面上显示的图像信号。

2.一种图像信号处理装置，其是将输入图像信号输出至显示器的图像信号处理装置，其中：

以不同的频带提高在所述显示器的一个画面上显示的图像信号。

3.一种图像信号处理装置，其中：

在从输入的数字图像信号而生成插值信号的像素插值装置中，包括

根据生成的插值数据前的插值用原数据求出外推点，并将其作为插值数据的第一插值部；

根据生成的插值数据后的插值用原数据求出外推点，并将其作为插值数据的第二插值部；

使用生成的插值数据前后的插值数据而输出所述生成的插值数据的第三插值部，该第三插值部检测所述插值用原数据的斜率，判断信号的排列呈上凸还是下凸，若所述插值用原数据的排列呈上凸，则选择所述第一插值部的输出和所述第二插值部的输出两者中较小的一方，若所述插值用原数据的排列呈下凸，则选择所述第一插值部的输出和所述第二插值部的输出两者中较大的一方，作为外推插值信号而输出；

检测被拍摄体的边缘特征的边缘特征检测部；以及

根据该边缘特征检测部的输出结果，变更基于所述外推插值信号的输出像素信号和来自所述第三插值部的输出像素信号各自的强度比率，并进行加法运算的增益控制器。

4.一种摄像装置，其特征在于，包括：

对来自被拍摄体的光进行曝光并变换成电信号的摄像元件；

将从摄像元件输出的像素信号变换成数字数据的A/D变换部；

根据该数字数据化的像素信号，生成亮度信号和色差信号的摄像机信号处理电路；以及

将水平扫描方向作为一行，保存多行部分的像素信号的行存储器，其中，

利用所述权利要求14中所述的基于图像信号处理装置的插值信号生成法进行变焦处理。

5.一种信号插值装置，其特征在于：

在具有排列多个滤色器、对来自被拍摄体的光进行曝光并变换成电信号的摄像元件；以及

将从摄像元件输出的像素信号变换成数字数据的A/D变换器的摄像装置中，包括：

从信号源取出与由所述多个滤色器产生的像素信号中任意选择取出的第一信号同样种类的第一信号串的第一取样部；

从所述信号源取出与该第一信号串不同种类信号的第二信号串的第二取样部；

对该第一以及第二取样部的输出信号分别进行波形整形的第一以及第二波形整形部；

求出与该第一波形整形部的输出信号相对应的该第二波形整形部的输出信号的系数用的系数部；

对该第一以及第二取样部的输出信号进行频带限制的频带限制部；

检测被拍摄体的边缘特征的边缘特征检测部；

根据该边缘特征检测部的输出结果，对基于该第一以及第二取样部的输出信号的输出像素信号和来自该数字数据化的摄像元件的像素信号各自的强度比率进行变更并进行加法运算的增益控制器；

进行该系数部的输出信号和所述增益控制器的输出信号之间的运算用的运算部；以及

用该运算部的输出信号对所述第二取样部的输出信号进行插值的插值部。

6.一种图像信号处理装置，其是输入数字图像信号而生成轮廓修正信号的图像信号处理装置，其特征在于，包括：

将水平扫描方向作为一行，保存多行部分的像素信号的行存储器；

根据来自该行存储器的输出图像信号，生成沿水平扫描方向进行二次微分的信号的水平扫描方向二次微分部；

根据来自该行存储器的输出图像信号，生成沿垂直扫描方向进行二次微分的信号的垂直扫描方向二次微分部；

检测被拍摄体的边缘特征的边缘特征检测部；以及

根据该边缘特征检测部的输出结果，对来自该水平扫描方向二次微分部的输出像素信号、来自该垂直扫描方向二次微分部的输出图像信号、和该输入的数字图像信号各自的强度比率进行变更并进行加法运算的增益控制器。