CN1871847A - 信号处理系统、信号处理方法以及信号处理程序 - Google Patents

Abstract

一种信号处理系统，具有：推测部(5)，其根据由CCD(2)拍摄并由预处理部(3)数字化后的视频信号，推测噪声量或摄影场景作为特征量；边缘提取部(6)，其提取与视频信号相关的图像的边缘成分；校正系数算出部(7)，其根据特征量和边缘成分算出用于校正该边缘成分的校正系数；以及边缘强调部(8)，其根据边缘成分和校正系数进行对视频信号的边缘强调处理。

Description

信号处理系统、信号处理方法以及信号处理程序

技术领域

本发明涉及用于对数字化的视频信号进行信号处理的信号处理系统、信号处理方法以及信号处理程序。

背景技术

以往，进行使图像的轮廓等变显著的边缘强调处理，作为该边缘强调处理，例如使用对被供给的视频信号实施微分运算的方法。

然而，在许多情况下，由于视频信号中包含噪声成分，因而若进行上述的使用微分运算的边缘强调处理，则发生的课题是，噪声成分也被强调。

作为应对这种课题的技术，在例如特开昭58-222383号公报中记载了以下的例子，即：在进行边缘提取之前进行平滑化运算来去除输入图像内包含的噪声，之后进行边缘强调处理。

另一方面，由于上述那样的通过微分运算进行边缘强调处理的方法对输入图像内包含的被摄物体是哪种对象的被摄物体不进行识别，因而不能进行与该被摄物体对应的有效的边缘强调。

相比之下，在例如特开平9-270005号公报中记载了根据输入图像的亮度来分割区域，适当地强调该区域的边缘的处理，进行根据亮度的被摄物体分类。

然而，在上述特开昭58-222383号公报所记载的在边缘提取前进行平滑化运算的方法中，由于本来是边缘的部分也被平滑化而变模糊，因此不能说能充分有效地进行边缘强调。

并且，在上述特开平9-270005号公报所记载的根据亮度来分割区域的方法中，由于不能对例如人的皮肤、天空、植物等与特定颜色对应的被摄物体进行识别，因而在根据被摄物体适当地进行边缘强调上是不够的。

发明内容

本发明是鉴于上述情况而提出的，本发明的目的是提供能适当且有效地进行边缘强调处理的信号处理系统、信号处理方法以及信号处理程序。

为了达到上述目的，第1发明的信号处理系统对数字化的视频信号进行信号处理，该信号处理系统具有：推测单元，其根据上述视频信号推测与该视频信号相关的图像的特征量；边缘提取单元，其从上述视频信号中提取与该视频信号相关的图像的边缘成分；校正系数算出单元，其根据上述特征量算出对上述边缘成分的校正系数；以及边缘强调单元，其根据上述边缘成分和上述校正系数进行对上述视频信号的边缘强调处理。

并且，第2发明的信号处理系统，在上述第1发明的信号处理系统中，还具有：边缘控制单元，其根据上述特征量对上述边缘提取单元和上述边缘强调单元中的至少一方进行控制。

而且，第3发明的信号处理系统，在上述第2发明的信号处理系统中，上述推测单元构成为具有噪声推测单元，其推测噪声量作为上述特征量，上述边缘控制单元根据该噪声量进行控制以使上述边缘提取单元的动作停止。

第4发明的信号处理系统，在上述第2发明的信号处理系统中，上述边缘提取单元使用与规定尺寸的像素阵列对应地来排列系数而成的滤波器，从上述视频信号中提取边缘成分，上述边缘控制单元控制该边缘提取单元，以便切换上述滤波器的尺寸和系数中的至少一方。

第5发明的信号处理系统，在上述第1发明的信号处理系统中，上述推测单元构成为具有图像分割单元，其根据上述视频信号中的特征量，把与该视频信号相关的图像分割成多个区域，上述校正系数算出单元针对由上述图像分割单元分割后的各区域算出校正系数，上述边缘强调单元针对由该图像分割单元分割后的各区域进行对视频信号的边缘强调处理。

第6发明的信号处理系统，在上述第5发明的信号处理系统中，上述图像分割单元使用各像素的颜色作为上述特征量，根据该颜色把与上述视频信号相关的图像分割成多个区域。

第7发明的信号处理系统，在上述第1发明的信号处理系统中，上述推测单元构成为具有噪声推测单元，其推测噪声量作为上述特征量，上述校正系数算出单元根据该噪声量算出对上述边缘成分的校正系数。

第8发明的信号处理系统，在上述第7发明的信号处理系统中，上述噪声推测单元构成为具有：图像区域提取单元，其从上述视频信号中提取规定尺寸的区域；平均亮度算出单元，其算出上述区域内的平均亮度值；放大率算出单元，其算出对与上述视频信号相关的图像的放大率；以及噪声算出单元，其根据上述平均亮度值和上述放大率算出噪声量。

第9发明的信号处理系统，在上述第8发明的信号处理系统中，上述噪声算出单元根据与上述平均亮度值和上述放大率相关的规定函数式来算出噪声量。

第10发明的信号处理系统，在上述第8发明的信号处理系统中，上述噪声算出单元根据与上述平均亮度值和上述放大率相关的规定表格来算出噪声量。

第11发明的信号处理系统，在上述第7发明的信号处理系统中，上述边缘强调单元进行把输入边缘成分置换成0作为输出边缘成分的核化降噪(coring)处理，上述校正系数算出单元构成为具有核化降噪调整单元，其根据上述噪声量设定由该边缘强调单元进行的核化降噪处理的调整范围。

第12发明的信号处理系统，在上述第9发明的信号处理系统中，上述放大率算出单元构成为具有标准值赋予单元，其在没有取得对与上述视频信号相关的图像的放大率的情况下，赋予作为规定标准值的放大率。

第13发明的信号处理系统，在上述第1发明的信号处理系统中，上述推测单元构成为具有摄影场景推测单元，其推测与上述视频信号相关的图像的摄影场景作为上述特征量，上述校正系数算出单元根据该摄影场景算出对上述边缘成分的校正系数。

第14发明的信号处理系统，在上述第13发明的信号处理系统中，上述摄影场景推测单元根据由上述视频信号得到的图像内存在的特定颜色和该特定颜色存在的范围，来推测摄影场景。

第15发明的信号处理系统，在上述第13发明的信号处理系统中，上述边缘强调单元进行把输入边缘成分置换成0作为输出边缘成分的核化降噪处理，上述校正系数算出单元构成为具有核化降噪调整单元，其根据上述摄影场景设定由该边缘强调单元进行的核化降噪处理的调整范围。

第16发明的信号处理方法是针对数字化的视频信号的信号处理方法，该信号处理方法具有下列步骤：按任意顺序或者并行进行根据上述视频信号推测与该视频信号相关的图像的特征量的处理，以及从上述视频信号中提取与该视频信号相关的图像的边缘成分的处理的步骤；根据上述特征量算出对上述边缘成分的校正系数的步骤；以及根据上述边缘成分和上述校正系数进行对上述视频信号的边缘强调处理的步骤。

第17发明的信号处理方法，在上述第16发明的信号处理方法中，上述特征量是噪声量。

第18发明的信号处理方法，在上述第16发明的信号处理方法中，上述特征量是与摄影场景相关的特征量。

第19发明的信号处理方法，在上述第16发明的信号处理方法中，还具有如下步骤：根据上述视频信号中的特征量，把与该视频信号相关的图像分割成多个区域的步骤，上述算出校正系数的步骤是针对上述分割后的各区域算出校正系数的步骤，上述进行边缘强调处理的步骤是针对上述分割后的各区域进行该边缘强调处理的步骤。

第20发明的信号处理程序，使计算机作为以下各单元来发挥功能：推测单元，其根据数字化的视频信号推测与上述视频信号相关的图像的特征量；边缘提取单元，其从上述视频信号中提取与该视频信号相关的图像的边缘成分；校正系数算出单元，其根据上述特征量算出对上述边缘成分的校正系数；以及边缘强调单元，其根据上述边缘成分和上述校正系数进行对上述视频信号的边缘强调处理。

附图说明

图1是示出本发明的实施例1中的信号处理系统的结构的方框图。

图2是示出上述实施例1中的推测部的第1结构例的方框图。

图3是示出上述实施例1中的推测部的第2结构例的方框图。

图4是用于说明在上述实施例1中图像的区域分割模式的图。

图5是示出上述实施例1中的边缘提取部的结构例的方框图。

图6是示出上述实施例1中的校正系数算出部的结构例的方框图。

图7是示出在上述实施例1中，记录在参数用ROM内的与亮度值和噪声量的关系相关的函数的形状的线图。

图8是用于对上述实施例1中核化降噪调整进行说明的线图。

图9是示出在上述实施例1中，根据噪声推测所进行的使用软件的信号处理例的流程图。

图10是示出在上述实施例1中，根据场景推测所进行的使用软件的信号处理例的流程图。

图11是示出本发明的实施例2中的信号处理系统的结构的方框图。

图12是示出上述实施例2中的边缘提取部的结构例的方框图。

图13是示出本发明的实施例3中的信号处理系统的结构的方框图。

图14是示出上述实施例3中的图像分割部的结构例的方框图。

图15是示出在上述实施例3中，通过信号处理程序利用软件进行的处理例的流程图。

具体实施方式

以下，参照附图对本发明的实施例进行说明。

实施例1

图1至图10示出本发明的实施例1，图1是示出信号处理系统的结构的方框图。

如图1所示，该信号处理系统构成为具有：摄影光学系统1，用于成像被摄物体像；为摄像元件的CCD2，对由该摄影光学系统1所成像的光学被摄物体像进行光电转换，输出电视频信号；预处理部3，对从该CCD2输出的模拟视频信号进行增益放大，进行A/D转换转换成数字视频信号，并进行AF(自动对焦)控制和AE(自动曝光)控制等处理；缓冲器4，临时存储从该预处理部3输出的数字视频信号；为推测单元的推测部5，根据从上述缓冲器4读出的视频信号，进行后述的噪声推测和场景推测等处理；为边缘提取单元的边缘提取部6，从上述缓冲器4中读出规定尺寸的区域的视频信号，提取该区域的边缘成分；为校正系数算出单元的校正系数算出部7，根据上述推测部5的推测结果和由上述边缘提取部6提取的边缘成分，算出对边缘成分的校正系数；为边缘强调单元的边缘强调部8，从上述缓冲器4中提取规定尺寸的区域的视频信号，根据来自上述边缘提取部6的边缘成分和来自上述校正系数算出部7的校正系数进行边缘强调处理；输出部9，输出由该边缘强调部8处理后的视频信号，以记录保存到例如存储卡等内；外部I/F部11，包括电源开关、快门按钮、用于切换摄影时的各种模式的接口等；以及由微计算机等构成的控制部10，与上述预处理部3、推测部5、边缘提取部6、校正系数算出部7、边缘强调部8、输出部9、以及外部I/F部11双向连接，对包含这些单元在内的该信号处理系统整体进行综合控制。

下面，对图1所示的信号处理系统中的信号流程进行说明。

该摄像系统构成为可通过上述外部I/F部11设定ISO灵敏度等摄影条件，在进行了这些设定后，通过按下该外部I/F部11的快门按钮，开始上述CCD2的视频信号取入。

通过上述摄影光学系统1由CCD2摄影并输出的视频信号在由上述预处理部3进行了增益放大和A/D转换后，被传送到上述缓冲器4进行存储。

推测部5根据上述控制部10的控制，从上述缓冲器4中读出视频信号，通过进行后述的噪声推测和场景推测等处理来算出特征量，把所算出的特征量传送到校正系数算出部7。

另一方面，边缘提取部6根据上述控制部10的控制，提取读出存储在上述缓冲器4内的视频信号内的规定尺寸的区域，提取该区域的边缘成分。然后，边缘提取部6把所提取的边缘成分传送到校正系数算出部7和边缘强调部8。

校正系数算出部7根据上述控制部10的控制，使用来自上述推测部5的推测量和来自上述边缘提取部6的边缘成分，算出对边缘成分的校正系数，传送到边缘强调部8。

边缘强调部8根据上述控制部10的控制，提取读出存储在上述缓冲器4内的视频信号内的规定尺寸的区域，根据来自上述边缘提取部6的边缘成分和来自上述校正系数算出部7的校正系数，进行边缘强调处理。该边缘强调处理可以对RGB信号内的G信号进行，或者也可以根据该RGB信号算出亮度信号，对算出的亮度信号进行。

上述的推测部5、边缘提取部6、校正系数算出部7以及边缘强调部8中的各处理在本实施例中是以规定尺寸的区域为单位，根据上述控制部10的控制同步进行的。

这样进行了边缘强调处理后的视频信号以规定尺寸的区域为单位被顺次传送到输出部9，通过该输出部9依次记录保存到存储卡等内。

图2是示出推测部5的第1结构例的方框图。

该图2示出具有噪声推测功能的、为噪声推测单元的推测部5的结构例。

该推测部5构成为具有：为图像区域提取单元的局部区域提取部21，从存储在上述缓冲器4内的视频信号中提取读出规定尺寸的局部区域；缓冲器22，临时存储由该局部区域提取部21读出的局部区域的视频信号；为平均亮度算出单元的平均亮度算出部23，算出存储在该缓冲器22内的局部区域的亮度平均值；为放大率算出单元的增益算出部24，根据通过上述外部I/F部11所设定的ISO灵敏度算出由上述预处理部3所执行的增益放大率；为标准值赋予单元的标准值赋予部25，赋予作为没有取得上述ISO灵敏度信息时的标准值的放大率；参数用ROM27，构成噪声算出单元，该单元存储有放大率和在噪声量计算中使用的函数信息之间的关系；以及为噪声算出单元的噪声算出部26，根据从上述增益算出部24或上述标准值赋予部25传送的放大率，从上述参数用ROM27中求出函数信息，把从上述平均亮度算出部23传送的平均亮度代入到基于所求出的函数信息的函数中，算出噪声量，把算出的噪声量传送到上述校正系数算出部7。

上述控制部10与上述局部区域提取部21、平均亮度算出部23、增益算出部24、标准值赋予部25以及噪声算出部26双向连接，对它们进行控制。

下面，对这种推测部5中的处理流程进行说明。

首先，上述预处理部3根据通过上述外部I/F部11所设定的ISO灵敏度，将从上述CCD2传送的视频信号的增益放大。

上述增益算出部24根据上述控制部10的控制，求出由该预处理部3所进行的增益放大率，将其传送到噪声算出部26。

在本实施例的信号处理系统中，设想了作为ISO灵敏度可设定例如100、200、400的三个等级，与这些ISO灵敏度各自对应的放大率分别被设定为1、2、4倍。另外，在没有取得ISO灵敏度信息的情况下，控制部10通过控制标准值赋予部25，从该标准值赋予部25把规定的放大率，例如与ISO灵敏度100对应的放大率即1倍的放大率传送到上述噪声算出部26。

上述噪声算出部26根据上述控制部10的控制，从参数用ROM27中求出与来自增益算出部24或标准值赋予部25的放大率对应的、在噪声量计算中使用的函数信息。

参照图7对在该噪声量计算中使用的函数进行说明。图7是示出记录在参数用ROM27内的与亮度值和噪声量的关系相关的函数的形状的线图。

如该图7所示，噪声量N大致按亮度值Y的幂的函数形状增加。将其进行模型化而得到的结果是数式1所示的函数。

[数式1]

N＝αY^β+γ

式中，α、β、γ是常数。

由于噪声与视频信号一起通过预处理部3的增益处理而被放大或减小，因而该噪声量依赖于该预处理部3的增益处理中的放大率而增减。图7示出把ISO灵敏度100、200、400(即，放大率1、2、4)作为参数，噪声量N相对于亮度值Y变化的状况，分别对应于与各参数相关的3个函数，描绘了3条曲线。

考虑这种放大率的不同，将数式1进行扩展，得到以下数式2所示的函数。

[数式2]

$N={\mathrm{\α}}_i{Y}^{{\mathrm{\β}}_i}+{\mathrm{\γ}}_i$

式中，i是表示放大率的参数，在本实施例中，i＝1、2、4。

上述参数用ROM 27用于记录该数式2中的常数项αi、βi、γi(即，与放大率i各自对应的常数项α、β、γ)。

上述噪声算出部26当从上述增益算出部24或标准值赋予部25取得了放大率时，从上述参数用ROM 27中读出与所取得的放大率i对应的上述常数项αi、βi、γi。此时，由于放大率在与1张图像相关的视频信号中是相同的，因而读出该常数项αi、βi、γi的处理不是针对各局部区域进行的，而是针对与1张图像相关的视频信号仅进行一次。

然后，上述局部区域提取部21根据上述控制部10的控制，从存储在上述缓冲器4内的视频信号中提取规定尺寸的区域，例如5×5像素单位的区域，传送到缓冲器22。

上述平均亮度算出部23根据上述控制部10的控制，针对存储在该缓冲器22内的区域内的各像素，使用以下数式3，按像素单位求出亮度信号Y。

[数式3]

Y＝0.299R+0.587G+0.114B

而且，上述平均亮度算出部23算出按像素单位算出的亮度信号的局部区域内的平均值，将其传送到噪声算出部26。

噪声算出部26通过把从上述平均亮度算出部23传送的平均亮度作为上述数式2的亮度值Y来代入数式2，算出噪声量，把算出的噪声量传送到上述校正系数算出部7。把由该噪声算出部26算出的噪声量作为是由上述局部区域提取部21提取的局部区域的中心像素的噪声量。

上述局部区域提取部21根据上述控制部10的控制，在使规定尺寸的局部区域在水平方向或垂直方向上按1像素单位移动的同时，根据所有视频信号进行噪声量计算。

下面，图3是示出推测部5的第2结构例的方框图。

该图3示出具有场景推测功能的为摄影场景推测单元的推测部5的结构例。

该推测部5构成为具有：对焦位置推测部31，通过上述控制部10取得由上述预处理部3设定的AF信息，进行与对焦位置对应的分类；被摄物体颜色分布推测部32，把存储在上述缓冲器4内的视频信号分割成多个区域，在规定的颜色空间内算出各区域的平均色；夜景推测部33，通过上述控制部10取得由上述预处理部3设定的AE信息，并使用存储在上述缓冲器4内的视频信号来算出画面整体的平均亮度级别，通过把它们与规定条件进行比较，推测是否是夜景摄影；以及整体推测部34，根据来自上述对焦位置推测部31的信息、来自上述被摄物体颜色分布推测部32的信息以及来自上述夜景推测部33的信息，推测摄影场景，把推测结果传送到上述校正系数算出部7。

上述控制部10与上述对焦位置推测部31、被摄物体颜色分布推测部32、夜景推测部33以及整体推测部34双向连接，对它们进行控制。

下面，对这种推测部5中的处理流程进行说明。

上述对焦位置推测部31从上述控制部10取得由上述预处理部3设定的AF信息，将其分类成例如5m～∞(风景摄影)、1m～5m(人物摄影)、小于等于1m(宏摄影)等。该对焦位置推测部31的分类结果被传送到上述整体推测部34。

上述被摄物体颜色分布推测部32根据上述控制部10的控制，把来自缓冲器4的视频信号分割成例如图4所示的13个区域a1～a13。图4是用于对图像的区域分割模式进行说明的图。

即，在该图4所示的例中，该被摄物体颜色分布推测部32把与视频信号相关的区域分类成最中央部、包围该最中央部的内周部、以及围绕该内周部的外周部，进一步将各部分分割成以下的区域。

即，最中央部被分割成正中区域a1、其左邻区域a2以及右邻区域a3。

并且，内周部被分割成上述区域a1的上方区域a4和下方区域a5、该区域a4的左方区域a6和右方区域a7、以及该区域a5的左方区域a8和右方区域a9。

而且，外周部被分割成左上区域a10、右上区域a11、左下区域a12以及右下区域a13。

另外，被摄物体颜色分布推测部32把RGB信号转换成规定的颜色空间的信号，例如L*a*b*颜色空间的信号。向该L*a*b*颜色空间的转换，如以下所示，通过向XYZ信号的转换来进行。

即，被摄物体颜色分布推测部32按以下数式4所示，把RGB信号首先转换成XYZ信号。

[数式4]

X＝0.607R+0.174G+0.200B

Y＝0.299R+0.587G+0.114B

Z＝0.000R+0.0661G+1.116B

然后，被摄物体颜色分布推测部32把该XYZ信号按以下数式5所示转换成L*a*b*信号。

[数式5]

$L*=116f\left(\frac{Y}{Y_n}\right)-16$

$a*=500\{f\left(\frac{X}{X_n}\right)-f\left(\frac{Y}{Y_n}\right)\}$

$b*=200\{f\left(\frac{Y}{Y_n}\right)-f\left(\frac{Z}{Z_n}\right)\}$

式中，函数f是按以下数式6所示来定义的函数。

[数式6]

然后，被摄物体颜色分布推测部32在上述各区域a1～a13内分别算出基于L*a*b*颜色空间的信号值的平均色，把其计算结果传送到上述整体推测部34。

另一方面，上述夜景推测部33从控制部10取得由上述预处理部3设定的AE信息，根据该控制部10的控制，在是比规定的快门速度还长的时间的曝光，而且画面整体的平均亮度级别小于等于规定阈值的情况下，推测为是夜景摄影。该夜景推测部33的推测结果被传送到上述整体推测部34。

上述整体推测部34构成摄影场景推测单元，根据上述控制部10的控制，并根据来自对焦位置推测部31、被摄物体颜色分布推测部32以及夜景推测部33的各信息，推测摄影场景。

即，整体推测部34在来自夜景推测部33的信息是夜景摄影的情况下，直接推测为是夜景摄影，把该结果传送到校正系数算出部7。

另一方面，在推测为不是夜景摄影的情况下，整体推测部34使用来自上述对焦位置推测部31的分类结果、和来自上述被摄物体颜色分布推测部32的各区域a1～a13的平均色信息，推测摄影场景。

整体推测部34在来自上述对焦位置推测部31的AF信息是5m～∞的分类的情况下，推测为是风景摄影。此时，进一步在区域a10和区域a11中的至少一方的平均色是天空颜色的情况下，推测为是上部有天空的风景摄影。另一方面，在AF信息是5m～∞的分类，而且区域a10和区域a11的平均色全都是天空颜色以外的颜色的情况下，推测为是上部没有天空的风景摄影或者上部天空较少的风景摄影。在该情况下，植物和建筑物等具有纹理结构的被摄物体被认为是主要被摄物体。

然后，整体推测部34在来自上述对焦位置推测部31的AF信息是1m～5m的分类的情况下，当区域a4的平均色是肤色，而且区域a6的平均色和区域a7的平均色是肤色以外的颜色时，推测为是一个人的人物摄影。另一方面，当AF信息是1m～5m的分类，而且区域a4、区域a6、区域a7的平均色全都是肤色时，推测为是多个人的人物摄影。并且，在AF信息是1m～5m的分类，而且区域a4、区域a6、区域a7的平均色全都是肤色以外的颜色时，推测为是其它摄影。

最后，整体推测部34在来自上述对焦位置推测部31的AF信息为小于等于1m的分类的情况下，推测为是宏摄影。此时，进一步在区域a2和区域a3的亮度差大于等于某阈值的情况下，推测为是多个物体的宏摄影。与此相反，在区域a2和区域a3的亮度差小于上述阈值的情况下，推测为是单一物体的宏摄影。

这样由整体推测部34推测的结果被传送到上述校正系数算出部7。

图5是示出边缘提取部6的结构例的方框图。

该边缘提取部6构成为具有：亮度信号算出部41，按像素单位读出存储在上述缓冲器4内的视频信号，算出亮度信号；缓冲器42，用于针对所有视频信号存储由该亮度信号算出部41按像素单位算出的亮度信号；滤波器用ROM 44，存储用于进行滤波处理的、构成为矩阵的滤波器系数；以及滤波处理部43，针对各规定尺寸的区域读出存储在上述缓冲器42内的亮度信号，使用从该滤波器用ROM 44读出的由矩阵构成的滤波器系数来算出边缘成分，传送到上述校正系数算出部7和边缘强调部8。

上述控制部10与上述亮度信号算出部41和滤波处理部43双向连接，对它们进行控制。

下面，对这种边缘提取部6中的处理流程进行说明。

上述亮度信号算出部41根据上述控制部10的控制，按像素单位读出存储在缓冲器4内的视频信号，使用以上数式3算出亮度信号。

缓冲器42依次存储由上述亮度信号算出部41按像素单位算出的亮度信号，最终存储与所有视频信号相关的亮度信号。

当这样根据所有视频信号算出了亮度信号时，滤波处理部43根据控制部10的控制，从滤波器用ROM 44中读出用于进行滤波处理的构成为矩阵的滤波器系数。

然后，滤波处理部43根据上述控制部10的控制，针对各个规定尺寸的区域，例如5×5像素单位的各区域读入存储在缓冲器42内的亮度信号，使用由矩阵构成的上述滤波器系数来求出边缘成分。然后，滤波处理部43把所求出的边缘成分分别传送到上述校正系数算出部7和边缘强调部8。

该滤波处理部43根据上述控制部10的控制，在使规定尺寸的区域在水平方向或垂直方向上按1像素单位移动的同时，根据所有亮度信号按如上所述来算出边缘成分。

图6是示出校正系数算出部7的结构例的方框图。

该校正系数算出部7构成为具有：为核化降噪调整单元的核化降噪调整部51，根据从上述推测部5按像素单位传送的推测量，设定作为用于进行核化降噪的阈值的核化降噪范围Th；校正系数用ROM 53，存储有后述的图8所示的把输入边缘成分和输出边缘成分相关联的函数或表格；以及校正系数计算部52，通过把来自上述核化降噪调整部51的核化降噪范围Th作为偏置成分，与从该校正系数用ROM 53读入的函数或表格相加，算出对来自上述边缘提取部6的边缘成分的校正系数，传送到上述边缘强调部8。

上述控制部10与上述核化降噪调整部51和校正系数计算部52双向连接，对它们进行控制。

上述核化降噪调整部51如上所述，根据上述控制部10的控制，并根据从推测部5按像素单位传送的推测量，设定用于进行核化降噪的范围Th。

图8是用于对核化降噪调整进行说明的线图。

核化降噪是把输入边缘成分置换成0作为输出边缘成分的处理，进行核化降噪的范围可自由设定。即，如该图8所示，上述边缘强调部8在输入边缘成分小于等于核化降噪调整范围(阈值)Th的情况下，进行把输出边缘成分设定为0的核化降噪处理，然而可在核化降噪调整部51中可变地设定此时的核化降噪调整范围Th。

例如，在上述推测部5进行上述图2所示的噪声推测的情况下，该核化降噪调整部51把包含规定裕量的系数(例如1.1)与所推测的噪声量相乘，把该结果设定为核化降噪调整范围Th。

另一方面，在上述推测部5进行上述图3所示的场景推测的情况下，核化降噪调整部51根据所推测的摄影场景使核化降噪调整范围Th变化。

具体地说，核化降噪调整部51进行以下处理，即：对于被认为噪声量比较多的摄影场景的图像，把核化降噪调整范围设定为大值即ThL，对于被认为噪声量比较少的摄影场景的图像，把核化降噪调整范围设定为小值即ThS，针对其它摄影场景的图像，把核化降噪调整范围设定为标准值即ThS和ThL的中间的值。

即，在通过上述图3所示的推测部5推测为是例如上部有天空的风景摄影的情况下，由于天空是平坦的、而且是主观上担心噪声成分的区域，因而核化降噪调整部51把大值即ThL指定为核化降噪调整范围Th。

并且，在通过上述推测部5推测为是上部没有天空的风景摄影或者上部天空少的风景摄影的情况下，由于植物或建筑物等具有纹理结构的物体被认为是主要被摄物体，因而核化降噪调整部51把ThS和ThL的中间的值指定为核化降噪调整范围Th。

而且，在通过上述推测部5推测为是一个人的人物摄影的情况下，由于脸的面积比较大而且平坦部位增加，另一方面必须考虑头发的微细结构，因而核化降噪调整部51把ThS和ThL的中间的值指定为核化降噪调整范围Th。

然后，在通过上述推测部5推测为是多个人的人物摄影的情况下，由于脸的面积比较小而且难以识别头发的微细结构，因而核化降噪调整部51把大值即ThL指定为核化降噪调整范围Th。

并且，在通过上述推测部5推测为是其它摄影的情况下，由于所摄影的被摄物体为不明物体，因而考虑到通用性，核化降噪调整部51把ThS和ThL的中间的值指定为核化降噪调整范围Th。

而且，在通过上述推测部5推测为是多个物体的宏摄影的情况下，由于考虑到主要被摄物体有微细结构，因而核化降噪调整部51把小值即ThS指定为核化降噪调整范围Th。

另外，在通过上述推测部5推测为是单一物体的宏摄影的情况下，由于难以判断有无微细结构，因而考虑到通用性，核化降噪调整部51把ThS和ThL的中间的值指定为核化降噪调整范围Th。

这样，根据推测部5的推测结果由核化降噪调整部51指定的核化降噪范围Th被传送到校正系数计算部52。

校正系数计算部52根据上述控制部10的控制，从上述校正系数用ROM53读入上述图8所示的用于校正边缘的函数或表格，把来自上述核化降噪调整部51的核化降噪范围Th作为偏置成分，与所读入的函数或表格相加，把相加得到的值作为对来自边缘提取部6的边缘成分的校正系数，传送到边缘强调部8。边缘强调部8根据来自上述边缘提取部6的边缘成分、和来自该校正系数计算部52的校正系数，进行包含核化降噪在内的边缘强调处理。

上述的校正系数计算部52的校正系数计算是根据上述控制部10的控制，按像素单位依次进行的。

这样，在推测部5进行噪声推测的情况下，把小于等于所推测的噪声量的边缘成分置换成0，可进行噪声不显著的边缘强调处理。并且，在推测部5进行场景推测的情况下，可进行与摄影场景对应的边缘强调处理，可取得高品质的图像。

另外，上述以使用硬件的处理为前提，然而不限于此。例如，把从上述CCD 2得到的视频信号作为未处理状态的Raw数据，把ISO灵敏度信息和图像尺寸等信息作为头信息附加到该Raw数据上。然后，把附加有该头信息的Raw数据输出到计算机等处理装置，可以在该处理装置中使用软件来进行处理。

参照图9和图10，对在计算机中由信号处理程序所执行的处理例进行说明。

图9是示出根据噪声推测进行的使用软件的信号处理例的流程图。

当开始处理时，如上所述，读入包含有ISO灵敏度和图像尺寸等信息的头信息(步骤S1)，并读入作为Raw数据的图像(步骤S2)。

然后，从读入的Raw数据中，读入以关注像素为中心的规定尺寸的块区域，例如由7×7像素构成的块区域(步骤S3)。

接下来，根据所读取的块区域的数据，以关注像素为单位进行噪声推测(步骤S4)，另一方面，与该处理并行地以关注像素为单位进行边缘提取处理(步骤S6)。另外，这里是并行地进行处理，然而也可以按任意顺序依次进行。

然后，根据在上述步骤S4取得的结果和在上述步骤S6取得的结果，算出对边缘成分的校正系数(步骤S5)。

根据通过该步骤S5取得的校正系数、和在上述步骤S6取得的边缘成分，以关注像素为单位进行边缘强调处理(步骤S7)。

之后，判断针对图像内的所有像素的处理是否结束(步骤S8)，返回上述步骤S3，反复进行上述处理直至结束。

这样，在上述步骤S8中判断为针对所有像素的处理已结束的情况下，结束该一系列处理。

图10是示出根据场景推测进行的使用软件的信号处理例的流程图。在该图10中，与上述图9所示的处理相同的部分标注相同符号，省略说明。

在进行了上述步骤S2的处理后，进行上述步骤S3和步骤S6的处理，另一方面，在上述步骤S3和步骤S6并行，根据所读入的Raw数据进行图像整体的场景推测(步骤S9)。另外，这里是并行地进行处理，然而也可以按任意顺序依次进行。

然后，根据通过该步骤S9推测的摄影场景、和通过上述步骤S6提取的关注像素单位的边缘成分，算出对边缘成分的校正系数(步骤S5A)。

之后的处理与上述图9所示相同。

另外，作为上述CCD 2，也可以使用原色系或补色系的单板CCD、二板CCD、三板CCD等中的任意一种。例如在使用单板CCD的情况下，在上述预处理部3中，进行将单板信号三板化的插值处理。

而且在上述说明中，前提是参照参数用ROM 27、由噪声算出部26进行的噪声量的计算是通过函数化的手段来进行的，然而不限于此，例如，也可以采用把噪声量记录为表格的结构。在该情况下，可高精度且快速地进行噪声量计算。

根据该实施例1，由于根据所推测的噪声量和所推测的摄影场景使对边缘强调的校正系数变化，因而可进行与该摄影场景对应的最佳边缘强调处理，可得到高品质的图像。

并且，由于根据所推测的噪声量和所推测的摄影场景，适应性地校正并进行与边缘强调处理相关的核化降噪处理，因而可减少由噪声引起的非自然信号或噪声自身的强调，可得到高品质的图像。

而且，由于根据亮度值和放大率按像素单位进行噪声量的推测，因而可高精度地推测噪声量。

另外，由于将与噪声量相关的信息函数化来保存，因而可以减少用于保存函数信息的ROM的容量，可实现低成本化。并且，在将与噪声量相关的信息表格化来保存的情况下，可高精度且快速地执行噪声量计算。

此外，即使在没有取得为了算出噪声量所需的放大率的情况下，由于赋予标准值，因而也可以推测噪声量，可以保证稳定的动作。

并且，由于根据图像内存在的特定颜色和该特定颜色存在的范围来推测摄影场景，因而可快速且低成本地进行对画面整体的摄影场景推测。

实施例2

图11和图12示出本发明的实施例2，图11是示出信号处理系统的结构的方框图，图12是示出边缘提取部的结构例的方框图。

在该实施例2中，与上述实施例1相同的部分标注相同符号，省略说明，主要仅对不同点进行说明。

如图11所示，该实施例2的信号处理系统对上述图1所示的实施例1的信号处理系统附加了为边缘控制单元的边缘控制部12。

该边缘控制部12用于根据上述控制部10的控制，对上述边缘提取部6和边缘强调部8的动作进行控制，与该边缘提取部6和边缘强调部8双向连接，并与上述控制部10双向连接。

下面，对图11所示的信号处理系统中的信号流程进行说明。

边缘提取部6根据上述控制部10的控制，提取读出存储在上述缓冲器4内的视频信号内的规定尺寸的区域，提取该区域的边缘成分。

上述控制部10参照上述推测部5的推测结果，可根据该推测结果，通过上述边缘控制部12使该边缘提取部6的动作停止。在使该边缘提取部6的动作停止后的情况下，不进行对规定区域的中心像素的边缘强调处理。

具体地说，列举出以下例子：控制成在推测部5进行噪声推测的情况下，当所推测的噪声量超过规定阈值时，使边缘提取部6的动作停止。并且，列举出以下例子：在推测部5进行场景推测的情况下，当推测为是夜景摄影时，使边缘提取部6的动作停止。

下面，参照图12对边缘提取部6的结构例进行说明。

该边缘提取部6构成为与上述图5所示的边缘提取部6大致相同，不同点在于，滤波处理部43a与上述边缘控制部12双向连接并被控制。

控制部10取得上述推测部5的推测结果，根据该推测结果控制上述边缘控制部12，从而可切换滤波处理部43a从滤波器用ROM 44读入的滤波器矩阵尺寸、或者构成矩阵的系数，或者双方。即，在滤波器用ROM 44内存储有把滤波器用系数排列成阵列而得到的数据，作为切换矩阵尺寸的例子，可列举出从5×5的矩阵切换为3×3的矩阵的例子，作为切换系数的例子，可列举出从拉普拉斯算符(Laplacian)切换到Sobel等的例子。

在上述推测部5进行噪声推测的情况下根据所推测的噪声量，并且在该推测部5进行场景推测的情况下根据所推测的摄影场景，滤波处理部43a适应性地进行从滤波器用ROM 44读入的信息的切换。

另外，这里是以使用硬件进行处理为前提，然而不限于此，也可以使用软件进行处理，这与上述实施例1相同。

根据该实施例2，由于可取得与上述实施例1大致相同的效果，并可根据需要停止边缘提取处理，因而针对噪声成分多的区域或规定的摄影场景等，适当地省略边缘提取处理，可使处理速度快速化。

并且，在根据噪声推测或场景推测适应性地切换在边缘提取中使用的滤波器矩阵尺寸和系数中的至少一方的情况下，可进行不提取噪声成分的边缘提取、或与摄影场景对应的边缘提取，可取得高品质的图像。

另外，通过适应性地切换矩阵尺寸，可避免以不需要的大矩阵尺寸进行的滤波处理，因而可使处理快速化。

实施例3

图13至图15示出本发明的实施例3，图13是示出信号处理系统的结构的方框图，图14是示出图像分割部的结构例的方框图，图15是示出通过信号处理程序使用软件进行的处理例的流程图。

在该实施例3中，与上述实施例1、2相同的部分标注相同符号，省略说明，主要仅对不同点进行说明。

该信号处理系统设置有为图像分割单元的图像分割部13来取代上述图1所示的信号处理系统的推测部5。

该图像分割部13把存储在上述缓冲器4内的视频信号分割成规定尺寸的区域，赋予标签，把该结果传送到校正系数算出部7。并且，该图像分割部13与上述控制部10双向连接并被控制。

下面，对图13所示的信号处理系统中的信号流程进行说明。

图像分割部13把存储在上述缓冲器4内的视频信号分割成规定尺寸的区域，进行标签赋予，把该结果传送到校正系数算出部7。

校正系数算出部7根据上述控制部10的控制，使用来自图像分割部13的区域信息、和来自上述边缘提取部6的边缘成分，算出对边缘成分的校正系数。由该校正系数算出部7算出的校正系数被传送到边缘强调部8。

接下来，参照图14对图像分割部13的结构例进行说明。

该图像分割部13构成为具有：颜色信号算出部61，按像素单位读出存储在上述缓冲器4内的视频信号，算出颜色信号；缓冲器62，存储由该颜色信号算出部61算出的颜色信号；特定颜色检测部63，读出存储在该缓冲器62内的颜色信号，通过与规定阈值进行比较等来分割成与颜色对应的区域，赋予标签；暗部检测部64，读出存储在上述缓冲器62内的颜色信号内的例如相当于亮度信号的信号，通过与规定阈值进行比较等来分割成暗部区域以及暗部区域以外的区域，进行标签赋予；以及区域推测部65，根据来自上述特定颜色检测部63的信息和来自上述暗部检测部64的信息进行区域推测，赋予综合标签，传送到上述校正系数算出部7。

上述控制部10与上述颜色信号算出部61、特定颜色检测部63、暗部检测部64以及区域推测部65双向连接，对它们进行控制。

下面，对这种图像分割部13中的处理流程进行说明。

上述颜色信号算出部61根据上述控制部10的控制，按像素单位读出存储在缓冲器4内的视频信号，算出颜色信号，传送到缓冲器62。这里，颜色信号是指参照例如上述数式4～数式6所说明的L*a*b*信号等。

上述特定颜色检测部63根据上述控制部10的控制，读出存储在缓冲器62内的L*a*b*信号内的a*b*信号，进行与规定阈值相比较的处理，从而把与视频信号相关的图像分割成肤色区域、植物颜色区域、天空颜色区域以及其它区域。然后，该特定颜色检测部63按像素单位对例如肤色区域赋予标签1，对植物颜色区域赋予标签2，对天空颜色区域赋予标签3，对其它区域赋予标签0，传送到区域推测部65。

上述暗部检测部64根据上述控制部10的控制，读出存储在缓冲器62内的L*a*b*信号内的L*信号，进行与规定阈值相比较的处理，从而把与视频信号相关的图像分割成暗部区域和其它区域。另外，该暗部检测部64按像素单位对例如暗部区域赋予标签4，对其它区域赋予标签0，传送到区域推测部65。

上述区域推测部65根据上述控制部10的控制，进行把来自特定颜色检测部63的标签和来自暗部检测部64的标签相加的处理。具体地说，区域推测部65分别对肤色区域赋予标签1，对植物颜色区域赋予标签2，对天空颜色区域赋予标签3，对暗部区域赋予标签4，对肤色区域且暗部区域赋予标签5，对植物颜色区域且暗部区域赋予标签6，对天空颜色区域且暗部区域赋予标签7，对其它区域赋予标签0，作为综合标签，传送到校正系数算出部7。

上述校正系数算出部7根据这些标签信息，针对标签1(肤色区域)、标签4(暗部区域)、或者标签6(植物颜色区域且暗部区域)的各区域，把核化降噪调整范围Th指定为ThS和ThL的中间的值。

并且，校正系数算出部7针对标签2(植物颜色区域)或标签0(其它区域)的各区域，把核化降噪调整范围指定为ThS。

另外，校正系数算出部7针对标签3(天空颜色区域)、标签5(肤色区域且暗部区域)、或者标签7(天空颜色区域且暗部区域)的各区域，把核化降噪调整范围Th指定为ThL。

另外，上述说明中以使用硬件的处理为前提，然而不限于此，也可以使用软件进行处理，这与上述实施例1、2相同。

参照图15，对在计算机中通过信号处理程序使用软件执行的处理例进行说明。在该图15中，与上述实施例1的图9所示的处理相同的部分标注相同符号，省略说明。

在进行了上述步骤S2的处理后，进行上述步骤S3和步骤S6的处理，另一方面，与上述步骤S3和步骤S6的处理并行，根据读入的Raw数据，按照各特定颜色来分割图像，进行标签赋予(步骤S11)。另外，这里是并行地进行处理，然而也可以按任意顺序依次进行。

然后，根据通过该步骤S11所分割的图像、和通过上述步骤S6所提取的关注像素单位的边缘成分，算出对边缘成分的校正系数(步骤S5B)。

之后的处理与上述图9所示相同。

另外，在该图15中，在步骤S5B，按关注像素单位来进行校正系数计算，然而也可以按照分割并赋予标签后的各区域来进行。同样，也可以按照分割并赋予标签后的各区域来进行步骤S7的边缘强调处理。

根据该实施例3，由于取得与上述实施例1、2大致相同的效果，并按照图像中包含的各特定颜色进行适应性的边缘强调处理，因而可得到高品质的图像。而且，由于根据颜色信息和是否是暗部的信息来进行图像分割，因而可快速进行区域分割。

另外，本发明不限于上述实施例，当然可在不脱离发明主旨的范围内进行各种变形和应用。

Claims (20)

1.一种信号处理系统，对数字化的视频信号进行信号处理，其特征在于，该信号处理系统具有：

推测单元，其根据上述视频信号推测与该视频信号相关的图像的特征量；

边缘提取单元，其从上述视频信号中提取与该视频信号相关的图像的边缘成分；

校正系数算出单元，其根据上述特征量算出对上述边缘成分的校正系数；以及

边缘强调单元，其根据上述边缘成分和上述校正系数对上述视频信号进行边缘强调处理。

2.根据权利要求1所述的信号处理系统，其特征在于，还具有边缘控制单元，其根据上述特征量对上述边缘提取单元和上述边缘强调单元中的至少一方进行控制。

3.根据权利要求2所述的信号处理系统，其特征在于，

上述推测单元构成为具有噪声推测单元，其推测噪声量作为上述特征量，

上述边缘控制单元根据该噪声量进行控制以使上述边缘提取单元的动作停止。

4.根据权利要求2所述的信号处理系统，其特征在于，

上述边缘提取单元使用与规定尺寸的像素阵列对应地来排列系数而成的滤波器，从上述视频信号中提取边缘成分，

上述边缘控制单元控制该边缘提取单元，以便切换上述滤波器的尺寸和系数中的至少一方。

5.根据权利要求1所述的信号处理系统，其特征在于，

上述推测单元构成为具有图像分割单元，其根据上述视频信号中的特征量，把与该视频信号相关的图像分割成多个区域，

上述校正系数算出单元针对由上述图像分割单元分割后的各区域算出校正系数，

上述边缘强调单元针对由该图像分割单元分割后的各区域进行对视频信号的边缘强调处理。

6.根据权利要求5所述的信号处理系统，其特征在于，上述图像分割单元使用各像素的颜色作为上述特征量，根据该颜色把与上述视频信号相关的图像分割成多个区域。

7.根据权利要求1所述的信号处理系统，其特征在于，

上述推测单元构成为具有噪声推测单元，其推测噪声量作为上述特征量，

上述校正系数算出单元根据该噪声量算出对上述边缘成分的校正系数。

8.根据权利要求7所述的信号处理系统，其特征在于，

上述噪声推测单元构成为具有：

图像区域提取单元，其从上述视频信号中提取规定尺寸的区域；

平均亮度算出单元，其算出上述区域内的平均亮度值；

放大率算出单元，其算出对与上述视频信号相关的图像的放大率；以及

噪声算出单元，其根据上述平均亮度值和上述放大率算出噪声量。

9.根据权利要求8所述的信号处理系统，其特征在于，上述噪声算出单元根据与上述平均亮度值和上述放大率相关的规定函数式来算出噪声量。

10.根据权利要求8所述的信号处理系统，其特征在于，上述噪声算出单元根据与上述平均亮度值和上述放大率相关的规定表格来算出噪声量。

11.根据权利要求7所述的信号处理系统，其特征在于，

上述边缘强调单元进行把输入边缘成分置换成0作为输出边缘成分的核化降噪处理，

上述校正系数算出单元构成为具有核化降噪调整单元，其用于根据上述噪声量设定由该边缘强调单元进行的核化降噪处理的调整范围。

12.根据权利要求9所述的信号处理系统，其特征在于，上述放大率算出单元构成为具有标准值赋予单元，其在没有取得对与上述视频信号相关的图像的放大率的情况下，赋予作为规定标准值的放大率。

13.根据权利要求1所述的信号处理系统，其特征在于，

上述推测单元构成为具有摄影场景推测单元，其推测与上述视频信号相关的图像的摄影场景作为上述特征量，

上述校正系数算出单元根据该摄影场景算出对上述边缘成分的校正系数。

14.根据权利要求13所述的信号处理系统，其特征在于，上述摄影场景推测单元根据由上述视频信号得到的图像内存在的特定颜色和该特定颜色存在的范围，来推测摄影场景。

15.根据权利要求13所述的信号处理系统，其特征在于，

上述边缘强调单元进行把输入边缘成分置换成0作为输出边缘成分的核化降噪处理，

上述校正系数算出单元构成为具有核化降噪调整单元，其用于根据上述摄影场景设定由该边缘强调单元进行的核化降噪处理的调整范围。

16.一种针对数字化的视频信号的信号处理方法，其特征在于，该信号处理方法具有下列步骤：

按任意顺序或者并行进行根据上述视频信号推测与该视频信号相关的图像的特征量的处理，以及从上述视频信号中提取与该视频信号相关的图像的边缘成分的处理的步骤；

根据上述特征量算出对上述边缘成分的校正系数的步骤；以及

根据上述边缘成分和上述校正系数对上述视频信号进行边缘强调处理的步骤。

17.根据权利要求16所述的信号处理方法，其特征在于，上述特征量是噪声量。

18.根据权利要求16所述的信号处理方法，其特征在于，上述特征量是与摄影场景相关的特征量。

19.根据权利要求16所述的信号处理方法，其特征在于，

还具有如下步骤：根据上述视频信号中的特征量，把与该视频信号相关的图像分割成多个区域的步骤，

上述算出校正系数的步骤是针对上述分割后的各区域算出校正系数的步骤，

上述进行边缘强调处理的步骤是针对上述分割后的各区域进行该边缘强调处理的步骤。

20.一种信号处理程序，使计算机作为以下各单元来发挥功能：

推测单元，其根据数字化的视频信号推测与上述视频信号相关的图像的特征量；

边缘提取单元，其从上述视频信号中提取与该视频信号相关的图像的边缘成分；

校正系数算出单元，其根据上述特征量算出对上述边缘成分的校正系数；以及

边缘强调单元，其根据上述边缘成分和上述校正系数进行对上述视频信号的边缘强调处理。

Images