CN101938597A - 影像记录系统 - Google Patents

Abstract

本发明提供影像记录系统，该影像记录系统能够有效消除拍摄的影像的噪声。本实施例的摄像机包括：光学系统(101)、摄像元件(102)、去马赛克处理部(103)、频率变换部(104～106)、帧存储器(124)、参数生成部(125～127)、噪声削减处理部(107～109)、帧存储器(110)、频率变换部(111～113)、噪声削减处理部(114～116)、频率逆变换部(117～119)、亮度信号生成部(120)、色差信号生成部(121)、编码部(122)和记录介质(123)。使用以上的结构，能够进行与输入影像信号的特征相应的噪声提取，能够不产生画质恶化地得到较高的S/N改善效果。

Description

影像记录系统

技术领域

本发明涉及例如由摄像装置和信息处理装置构成的影像记录系统。

背景技术

作为本技术领域的背景技术，有日本特开平8-79571号公报(专利文献1)。在该公报中，记载有：“[目的]在使用正交变换的帧循环型噪声消除装置中，不发生画质恶化地得到现有技术以上的S/N改善效果。[结构]在帧循环型的噪声消除装置中，帧差信号在被哈德玛变换(Hadamard transformation)电路105分解为多个空间频率成分后，在非线性处理电路106分别被实施非线性处理，被哈德玛逆变换电路107合成，变换为原来的时间轴上的信号。另外，设置使用哈德玛变换成分中的二维低频成分的运动检测电路108，从帧差信号检测运动成分。在系数电路109，使用运动检测电路108的检测结果来控制系数，将该系数乘以哈德玛逆变换的输出信号，作为噪声成分。从输入影像信号减去该噪声成分。在以上的结构中，进行与输入影像信号的特征相应的噪声提取，能够不产生画质恶化地得到较高的S/N改善效果。”

专利文献1：日本特开平8-79571号公报

近年来，由于半导体器件的高速化、摄像元件的微型化、数字图像处理技术的发展等，数字影像记录系统变得更为普遍。这表现在例如民用的摄像机、监视照相系统变得到处可见。在这样的状况下，对影像的高品质化的要求变高。对于高品质化虽然存在各种观点，但怎样消除由于多种原因混入影像的噪声成为尤为重要的课题。

混入影像的噪声，大致分为：在图像中位置和强度随机产生的随机噪声、在图像中固定出现的固定模式噪声、和零散地看到的尖峰噪声等。这些噪声中的随机噪声是给予收看者影像的闪烁或低品质的原因，是带来图像品质降低的较大原因。作为消除该随机噪声的方法，一般使用帧循环型噪声消除装置，该帧循环型噪声消除装置利用影像的时间方向的相关性。

另外，作为这种类型的噪声消除装置的改良后的装置，公开有组合作为正交变换的一种的哈德玛变换的噪声消除装置。

在日本特开平8-79571号公报中，进行噪声成分的提取，能够从输入信号中减去它而进行噪声消除。另外，通过运动检测，能够对输入信号中的存在运动的部分和静止的部分以适当的比例进行噪声消除。

在上述的帧循环型噪声消除装置和日本特开平8-79571号公报所示的改良型帧循环型噪声消除装置中，通过将前一帧的数据与当前的帧的数据相加，能够消除随机噪声，但特别是在图像内的存在运动的地方，会残留下像重叠摄影那样的余像。为消除这样的问题，进行下述控制：判别图像内存在运动的地方和静止的地方，在存在运动的地方减少加上前一帧的数据的比例(以下称为循环系数)，防止余像的产生，在不存在运动的地方增大循环系数，消除随机噪声。这时，如日本特开平8-79571号公报所示，能够通过设法使用哈德玛变换判别存在运动的地方和静止的地方等来提高判别效率，但却没有考虑到即使使用上述方法也难以以高精度判别存在运动的地方。

另外，特别是在数字图像的摄像系统中，需要将光的三原色(R(红)、G(绿)、B(蓝))分开进行处理，但却没有考虑到，由于将RGB分别处理，可能会产生本来不应当存在的伪色和颜色噪声。

另外，在民用的数字图像摄像系统中，在噪声消除工序之后，一般进行附加由于信号处理而丢失的高频成分的边缘增强处理，因此需要另外设置用于进行该处理的电路，但没有考虑到，在进行软件安装时处理负荷增大，而在LSI等硬件安装中电路规模和耗电量增大的情况。

发明内容

为了解决或改善上述问题的全部或一部分，提供在本申请的发明内容所记载的范围内的发明。

例如，设置：对输向摄像系统的输入影像信号实施正交变换而生成频率变换信号的变换单元；使该频率变换信号延迟而输出帧或场延迟信号的延迟单元；求取该频率变换信号与该帧或场延迟信号的相关性的相关度生成单元；对该输入影像信号进行滤波处理的滤波单元；和使用该相关度生成单元的输出来控制滤波处理的处理内容的控制单元，通过根据该频率变换信号与该帧延迟信号的相关性，对该输入影像信号进行滤波处理，达到以高精度判别存在运动的地方而进行噪声消除这样的效果。

另外，例如设置：对输向摄像系统的输入影像信号实施正交变换而生成频率变换信号的变换单元；使该频率变换信号延迟而输出帧或场延迟信号的延迟单元；求取该频率变换信号与该帧或场延迟信号的相关性的相关度生成单元；对该频率变换信号实施逆变换的逆变换单元；对该逆变换单元的输出进行滤波处理的滤波单元；和使用该相关度生成单元的输出控制该滤波处理的处理内容的控制单元，通过按照该频率变换信号与该帧延迟信号的相关性，对该逆变换单元的输出进行滤波处理，也能够达到同样的效果。

另外，例如作为生成输向摄像系统的输入影像信号的单元，设置：将光变换为电信号的摄像元件；使该摄像元件进行聚光并成像的光学系统；和以从该摄像元件输出的电信号为输入、实施信号处理并输出一个或多个处理结果的信号处理单元，通过使上述信号处理单元为生成红、绿、蓝三色的颜色信号的颜色信号生成单元，达到不产生伪色和颜色噪声地进行噪声消除的效果。

另外，例如通过使上述信号处理单元为生成亮度信号和色差信号的单元，或为仅生成亮度信号的单元，达到以高精度判别存在运动的地方并降低处理负荷及电路规模的效果。

另外，例如设置：以该相关性为输入生成噪声消除的强度参数的第一参数生成单元；以该相关性为输入生成增强处理的强度参数的第二参数生成单元；和非线性处理单元，其以该噪声消除的强度参数和该增强处理的强度参数为输入，向对原来的输入影像信号实施正交变换而得的第二频率变换信号、对逆变换信号再次实施正交变换而得的第二频率变换信号施加非线性处理，由此，能够在上述非线性处理单元进行与空间频率相应的噪声降低处理和增强处理，达到不大幅增加处理负荷、电路规模地进行噪声消除和边缘增强处理的效果。

发明的效果

例如，具有下述效果：能够高精度地判别存在运动的地方和静止的地方，能够使用与图像特性相应的循环系数进行随机噪声的除去。

另外，例如具有能够不产生伪色和颜色噪声地进行随机噪声的消除的效果。

另外，例如具有处理负荷及电路规模减小、耗电减小的效果。

上述以外的课题、结构和效果，可通过以下的实施方式的说明而变得明确。

附图说明

图1是表示本发明的第一实施方式的图。

图2是表示参数生成部125和噪声削减处理部107的处理的图。

图3是表示噪声削减处理部114的处理的图。

图4是表示核化降噪(coring)处理部中的输入输出特性的图。

图5是表示增强(enhance)处理部中的输入输出特性的图。

图6是表示具有核化降噪处理和增强处理两者的特性的输出输出特性的例子的图。

图7是表示本发明的第二实施方式的图。

图8是表示本发明的第二其它实施方式的图。

图9是表示本发明的第二其它实施方式的图。

图10是表示本发明的第三实施方式的图。

图11是表示本发明的第二其它实施方式的图。

图12是表示本发明的第二其它实施方式的图。

符号说明

101光学系统

102摄像元件

103去马赛克处理部

104、105、106频率变换部

107、108、109面间噪声削减处理部

110帧存储器

111、112、113频率变换部

114、115、116面内噪声削减处理部

117、118、119频率逆变换部

120亮度信号生成部

121色差信号生成部

122编码部

123记录介质

124帧存储器

125、126、127参数生成部

具体实施方式

以下使用附图说明本发明的实施方式。

[实施例1]

图1表示本发明的第一实施例。图1表示以摄像机的方式实现本发明的摄像装置。本实施例的摄像机包括下述部件：光学系统101、摄像元件102、去马赛克处理部103、频率变换部104～106、噪声削减处理部107～109、帧存储器110、频率变换部111～113、噪声削减处理部114～116、频率逆变换部117～119、亮度信号生成部120、色差信号生成部121、编码部122和记录介质123。以下，按顺序说明本实施例的摄像机的动作。

从未图示的被拍摄体发出的光首先被光学系统101聚光。光学系统101虽然没有详细的图示，但其由多个透镜、为了进行对焦和倍率调节而使透镜移动的电动机和控制该电动机的控制系统构成。

被光学系统101聚集(聚光)的光被摄像元件102变换为电信号。摄像元件102除在实际上感光的CCD、CMOS等摄像部之外，还包括：对模拟电信号进行抽样(取样)，转换为数字电信号的AD转换电路；根据周围的光量进行增益调节的AGC电路；对摄像元件供给用于驱动的定时信号的定时发生器；和控制它们的控制电路等。

由摄像元件102转换为数字电信号的影像信号被去马赛克处理部103处理，输出R成分信号、G成分信号、B成分信号。例如，在摄像元件102中使用的摄像部为Bayer(拜尔)排列型的图像传感器的情况下，并不是所有的取样位置上的R成分信号、G成分信号、B成分信号全都存在。在这种情况下，去马赛克处理部103利用来自周围像素的像素插补等适当的处理生成并输出在取样位置不足的成分的信号。另外，根据所使用的摄像部的种类的不同，有在从摄像元件102输出的时刻R成分信号、G成分信号、B成分信号全部存在的情况。在这样的情况下，也可以不设置去马赛克处理部103。

从去马赛克处理部103输出的各颜色成分的信号，分别被输入不同的频率变换部104～106，按某像素单位(例如4像素×4像素、8像素×8像素等)进行频率变换。频率变换例如是离散余弦变换(DCT)、哈德玛变换、小波变换(wavelet transformation)等。

被频率变换部104～106进行频率变换后的各颜色成分的信号被存储于帧存储器124，在被进行帧延迟(也可以是场延迟)后读出。帧存储器124也可以与后述的帧存储器110在物理上共用，也可以是另外的记录存储器。

被频率变换部104～106进行频率变换后的各颜色成分的信号、和从帧存储器124被帧延迟并被读出的各颜色成分的信号，被输入至与各颜色成分对应的参数生成部125～127。在参数生成部125～127，利用被频率变换的各颜色成分的信号和将其帧延迟而得的信号的相关，生成在后极(后阶段)的空间区域进行的噪声消除所涉及的参数，并被供向面间噪声削减处理部107～109。另外，生成在频率区域进行的噪声消除所涉及的参数，并被供向面内噪声削减处理部114～116。

在面间噪声削减处理部107～109，使用空间区域的影像数据，进行帧循环型的面间噪声消除。对于噪声消除处理的具体内容，将在后面进行说明。

实施空间区域的噪声削减处理后的各颜色成分信号被存储于帧存储器110，并被供向频率变换部111～113。在频率变换部111～113，按规定的像素单位实施频率变换处理。具体而言，对各颜色成分信号例如实施包含目标像素的周围像素(5×5像素单位、7×7像素单位等)的频率变换(DCT、DFT、哈德玛变换等)。此处，在频率变换部111～113实施的频率变换，通过尽量以较大单位进行计算并较细地进行频率分解，能够以极细的频率单位进行控制，画质得到提高。另一方面，若计算的单位变大则电路规模也增大，因此，在上述频率变换部104～106以简单的运算(例如哈德玛变换等)进行频率变换或减小计算的单位(例如进行3×3像素单位的运算)，进行必要的最低限度的运算，由此能够减小电路规模和耗电。当然，频率变换部111～113的运算和频率变换部104～106的处理内容也可以为同一个处理。

在频率变换部111～113被变换而得到的颜色成分信号，被供给至按各颜色成分准备的面内噪声削减处理部114～116。在噪声削减处理部114～116中，进行频率区域的噪声削减处理和增强处理。关于噪声削减处理和增强处理的具体内容，在后面进行详细说明。

实施噪声削减处理后的颜色成分信号被供给至频率逆变换部117～119。此处，实施在频率变换部111～113实施的频率变换处理的逆运算，将被变换为频率区域的颜色成分信号复元为原来的空间区域的信号。

复元为空间区域的各颜色成分信号被供给至亮度信号生成部120和色差信号生成部121。在亮度信号生成部120，对供给来的各颜色成分信号实施矩阵(マトリクス)运算等运算方法，生成亮度信号。在色差信号生成部121也同样地生成色差信号。

生成的亮度信号和色差信号被供给至编码部122。在编码部122，对输入的亮度信号和色差信号实施例如H.264、MPEG-2等压缩编码处理。另外，对压缩声音信号和压缩影像信号进行多路(multiplex)处理，作为压缩影像声音数据记录在记录介质123，其中，该压缩声音信号是由未图示的声音聚音部、声音信号前处理部、声音信号编码部生成的，该压缩影像信号是通过上述压缩编码处理而生成的。

对于参数生成部125～127和噪声削减处理部107～109的处理，使用图2进行说明。作为一例，对参数生成部125和噪声削减处理部107的处理进行详细的说明，但是就内部结构和动作而言，对于参数生成部126、127和噪声削减处理部108、109也是同样的。

图2是详细表示图1所示的参数生成部125和面内噪声削减处理部107的结构图。参数生成部125包括：减法器201、增强系数计算部202、核化降噪系数计算部203、循环系数计算部206和控制部210。

在图2中，帧存储器124、频率变换部104、面内噪声削减处理部114、帧存储器110、去马赛克处理部103与图1所示的构成要素相同，从频率变换部104输入的R成分信号首先在减法器201中，被实施与存储于帧存储器124、被延迟1帧的R成分信号进行的减法处理。然后，生成的差信号被供给至增强系数计算部202、核化降噪系数计算部203，算出在核化降噪处理和增强处理中所需要的参数，该核化降噪处理和增强处理是进行后述的频率区域的噪声消除处理所必要的处理。此处计算出的参数能够按频率成分分别设定。

差信号也同时被供向循环系数生成部206，进行后述的在空间区域进行的噪声消除处理所必需的循环系数的计算。例如，循环系数生成部206生成与减法处理结果中特别是低频率成分的绝对值相应的循环系数。

控制部210根据差信号、用户经未图示的用户界面进行的设定、输入信号的特性(例如直方图、面内亮度分布、边缘信息等)，控制上述增强系数计算部202、核化降噪系数计算部203和循环系数生成部206的动作。

另外，在图2中，面间噪声削减处理部107包括乘法器207、加法器208和减法器209。从去马赛克处理部103输入的R成分信号首先在减法器209中，被实施与存储于帧存储器110的被延迟1帧的R成分信号进行的减法处理。在上述循环系数生成部206生成的循环系数通过乘法器207与减法处理结果相乘，之后与从去马赛克处理部103输入的R成分信号相加。因为静止图像中的随机噪声均匀地分布于所有频率成分，并且在帧间不存在相关性，所以利用本处理能够降低随机噪声。另外，通过实施频率变换，能够非常敏感地检测出例如运动的物体的边缘部分，因此，能够比现有技术更高精度地严格区别运动的部分与静止的部分。

接着，使用图3说明噪声削减处理部114～116的处理。在图3中，噪声削减处理部107、频率变换部111、噪声削减处理部114与图1所示的相同，特别对噪声削减处理部114的结构进行详细的表示。作为一例，虽然对在噪声削减处理部114进行的处理进行详细说明，但是就内部结构和动作而言，对于噪声削减处理部115(图1)、116(图1)也是同样的。

在图3中，噪声削减处理部114包括：核化降噪处理组204和增强处理组205、控制部211。核化降噪处理组204由多个核化降噪处理构成。核化降噪处理按每个频率成分分别地进行。

图4表示核化降噪处理中的输入与输出的关系。在核化降噪处理部，例如根据以下4个参数进行从输入信号向输出信号的映射。它们是以下4个：(1)核化降噪的正侧的影响范围(图4中的a点)、(2)核化降噪的负侧的影响范围(图4中的b点)、(3)核化降噪的正侧的倾斜度(图4中的c/a)、(4)核化降噪的负侧的倾斜度(图4中的d/b)。

通过对输入图像实施频率变换，能够分离为高频率成分(随机噪声成分、被拍摄体的边缘成分)和低频率成分(被拍摄体的非边缘成分等)。对于该频率变换后的影像信号，通过取帧间的差，能够有效地分离被拍摄体的运动成分和随机噪声成分。

上述参数(本例中为a～d)由控制部211(图3)控制。对参数的决定方法进行说明。首先，核化降噪的影响范围(a、c)能够由噪声等级(level：级、电平)决定。作为随机噪声的特性，可列举在某等级以内确定的分布(均匀分布、高斯分布)、等级自身较低的情况、在全部频率成分中同样地包含的情况。因此，预先调查输入图像所包含的噪声的等级，据此决定a和c。另外，根据上述的特性，通常进行设定，使得c＝-a。就噪声等级而言，通过决定使用的透镜、传感器的种类、使用本实施例的摄像机的环境(温度、照度等)，能够在某种程度上事先进行调查，并据此利用控制部211设定参数。另外，通过令控制部211为CPU，将控制软件化，也能够根据照度变化、图像的特征量对参数进行微调节。

噪声消除的程度由核化降噪区域的倾斜度(c/a、d/b)决定。即，倾斜度越小(越接近水平)，噪声消除效果越大。另外，本发明采用能够按每个频率成分分别设定核化降噪的参数的结构，但因为随机噪声成分具有在各频率成分均匀出现的特性，所以一般在所有的频率成分设定相同的核化降噪影响范围和核化降噪区域的倾斜度。

通过如上所述那样实施核化降噪处理，随机噪声成分被抑制，并且低频率成分、等级大的高频率成分(即物体的边缘成分)被直接(保持原样地)输出，因此，能够在图像中不产生模糊地抑制随机噪声。

接着，随机噪声成分被核化降噪处理组204(图3)降低后的影像信号被输入到增强处理组205(图3)。增强处理组也与核化降噪处理组同样地采用能够按照每个频率成分分别实施的结构。图5表示增强处理中的输入与输出的关系。增强处理的参数例如按以下方式决定。即如下4点：(1)增强的正侧的影响范围(图5中的e点)、(2)增强的负侧的影响范围(图5中的f点)、(3)增强的正侧的倾斜度(图5中的g/e)、(4)增强的负侧的倾斜度(图5中的h/f)。

通过将它们按频率成分算出并进行设定，能够实现在现有的滤波中难以进行的、增强特定的频率成分而使图像显得美观。一般而言，就低频率成分而言，通过较小地设定增强的倾斜度，能够不损失图像的自然性，通过对中等频域成分较强地实施增强处理，能够形成轮廓鲜明显眼的图像。因为若过分增强高频率成分，则图像的不平滑感(粗糙感)可能会带来视觉上的坏影响，因此优选适度地进行增强处理。

如上所述，通过按每个频率成分分别区别地进行核化降噪处理和增强处理，能够以极高精度进行随机噪声消除。

另外，作为同时具有核化降噪处理和增强处理两特性的输入输出特性，存在图6所示的特性。将核化降噪处理和增强处理的边界点、各部分的倾斜度(参数)作为参数由用户通过控制部211进行控制，或根据使用环境、图像的特征进行自动控制，能够通过一个滤波运算同时进行两个处理。因此能够在软件处理中实现处理时间的缩短，在硬件处理中实现电路规模的缩小和耗电的减小。

[实施例2]

图7表示本发明的第二实施例。图7表示以摄像机的方式实现本发明的摄像装置。本实施例的摄像机包括下述部件：光学系统101、摄像元件102、去马赛克处理部103、频率变换部104～106、帧存储器125、参数生成部125～127、噪声削减处理部114～116、频率逆变换部117～119、噪声削减处理部107～109、帧存储器110、亮度信号生成部120、色差信号生成部121、编码部122和记录介质123。在图7的各构成要素中，与图1具有相同编号的部件进行相同的动作。以下，按顺序说明本实施例的摄像机的动作。

因为本发明的第二实施例与上述第一实施例大致相同，所以仅对差进行详细说明。首先，由光学系统101和摄像元件102取得的影像信号在去马赛克处理部103被进行处理，成为各颜色成分信号，分别被输入频率变换部104～106进行频率变换。之后，进行频率变换后的各颜色成分的信号和使其在帧存储器124帧延迟而得的各颜色成分的信号被供给至参数生成部125～127，生成对后级(后阶段)的噪声消除处理的程度进行调节的参数。另外，被频率变换部104～106进行频率变换后的各颜色成分信号也被供给至噪声削减处理部114～116。因为该噪声削减处理部114～116与第一实施例为相同的结构和处理内容，所以略去说明。在噪声削减处理部114～116中被实施非线性处理(核化降噪处理和增强处理)后的各颜色成分信号，在频率逆变换部117～119中被逆运算而再次变换为空间区域的信号。

再次变换得到的各颜色成分的信号被供给至按各颜色设置的噪声削减处理部107～109。对该噪声削减处理部，也供给已经存储在帧存储器110中的过去的帧的颜色成分信号。在噪声削减处理部107～109，实施时间区域上的噪声削减处理。噪声削减处理的具体的内容因为与第一实施例相同，所以此处略去说明。

实施噪声削减处理后的信号被写入帧存储器110，并被供给至亮度信号生成部120和色差信号生成部121，变换为亮度信号和色差信号。亮度信号和色差信号在编码部122被压缩编码，对压缩声音信号和压缩影像信号进行多路(multiplex)处理，作为压缩影像声音数据记录在记录介质123，其中，该压缩声音信号是由未图示的声音聚音部、声音信号前处理部、声音信号编码部生成的，该压缩影像信号是通过上述压缩编码处理而生成的。

通过采用本结构，与第一实施例相比，能够对输入信号进行噪声消除，并减少频率变换部的数目，具有处理量降低、电路规模缩小、耗电减小的效果。

另外，使用图8说明本实施例的其它的方式。图8表示以摄像机的方式实现本发明的摄像装置。在图8的各构成要素中，与图1具有相同的编号的要素进行相同的动作。本实施例的摄像机包括下述部件：光学系统101、摄像元件102、频率变换部104、帧存储器124、参数生成部125、噪声削减处理部114、频率逆变换部117、噪声削减处理部107、帧存储器110、去马赛克处理部103、亮度信号生成部120、色差信号生成部121、编码部122和记录介质123。以下，按顺序说明本实施例的摄像机的动作。

由光学系统101和摄像元件102生成的影像信号在RGB混色的状态下直接被输入到频率变换部104。在频率变换部104，与实施例1同样地实施频率变换，但这时使用周围的相同颜色的像素的值实施频率变换。例如在使用Bayer排列的摄像元件的情况下，第一行(line)按照R成分、G成分、R成分、G成分……的方式排列，第二行按照G成分、B成分、G成分、B成分……的方式排列。第三行为与第一行相同的排列。于是，例如在对R成分实施频率变换的情况下，使用中心的R成分像素和包围该像素的R成分像素(水平、垂直地相邻的像素，以及隔开三个像素的像素)实施频率变换。对于G成分、B成分也一样。

频率变换后的影像信号在噪声削减处理部114被实施噪声削减处理和增强处理，在频率逆变换部117被逆变换而复元为空间区域的信号。

被复元的影像信号在噪声削减处理部107被实施空间区域的噪声消除处理，之后在去马赛克处理部103被分离为R成分、G成分和B成分，在亮度信号生成部120和色差信号生成部121被变换为亮度信号和色差信号。之后，利用编码部122进行压缩编码和多路处理，作为数据存储于记录介质123。

通过采用本发明的方式，能够实现与实施例1同样的噪声消除和增强，并缩小进行频率变换、噪声消除、逆频率变换所需的电路规模。

另外，图9表示本实施例的其它方式。图9表示以摄像机的方式实现本发明的摄像装置。在图9的各构成要素中，与图1具有相同的编号的要素(部件)进行相同的动作。本实施例的摄像机包括下述部件：光学系统101、摄像元件102、去马赛克处理部103、亮度信号生成部120、色差信号生成部121、频率变换部104和105、帧存储器124、参数生成部125和126、噪声削减处理部107和108、帧存储器110、频率变换部111和112、噪声削减处理部114和115、频率逆变换部117和118、编码部122以及记录介质123。以下，按顺序说明本实施例的摄像机的动作。

此处也因为与第一实施例的相同点较多，所以只进行大致说明，因为各部分的详细动作与第一实施例相同，所以略去说明。首先，由光学系统101和摄像元件102取得的影像信号被去马赛克处理部103分离为R成分、G成分和B成分，在亮度信号生成部120和色差信号生成部121变换为亮度信号和色差信号。生成的亮度信号和色差信号被输入至频率变换部104和105，实施频率变换。利用其输出和使该输出在帧存储器124中帧延迟而得的信号，在参数生成部125、126生成用于噪声消除的参数。之后，在噪声削减处理部107和108对亮度信号和色差信号实施噪声消除处理，并供向频率变换部111和112。频率变换后的亮度信号和色差信号被供给至噪声消除处理部114和115，在实施噪声消除处理和增强处理之后，在频率逆变换部117和118被复元。噪声消除后的亮度信号和色差信号在编码部122被压缩编码并进行多路处理，作为数据存储于记录介质123。

通过采用本发明的方式，能够实现与实施例1相同的噪声消除和增强，抑制由于对RGB分别进行处理而可能产生的伪色和颜色噪声等。

另外，作为上述实施方式的扩展，能够采用下述结构：只根据亮度信号生成噪声消除的参数，将生成的参数使用于亮度信号和色差信号两者的噪声消除处理和增强处理。图11表示该方式。对图11和图9的差异进行说明。图11采用从图9除去频率变换部105、参数生成部126后的结构，另外，在噪声削减处理部108使用的噪声消除的参数、在噪声削减处理部115使用的噪声消除的参数均在参数生成部125中被生成。采用这样的结构，能够去除色差信号侧的频率变换处理部，以致能够减少处理量、电路规模和耗电。

另外，作为上述实施方式的扩展，能够采用图12所示的方式。在图12的各构成要素中，与图1具有相同的编号的要素进行相同的动作。本扩展方式包括：光学系统101、摄像元件102、去马赛克处理部103、亮度信号生成部120、色差信号生成部121、频率变换部104、帧存储器124、参数生成部125、噪声削减处理部114、频率逆变换部117、帧存储器110、噪声削减处理部107和108、编码部122以及记录介质123。在本扩展方式中，根据亮度信号生成噪声消除参数这一点与上述实施方式相同，但本扩展方式的特征在于，首先实施频率区域的噪声消除，减少一个频率变换部。通过采用本扩展方式，能够进行一步减小处理量、电路规模和耗电。

[实施方式3]

图10表示本发明的第三实施例。图10表示以摄像机的方式实现本发明的摄像装置。本实施例的摄像机包括下述部件：光学系统101、摄像元件102、去马赛克处理部103、面间噪声削减处理部128～130、帧存储器110、频率变换部111～113、面内噪声削减处理部114～116、频率逆变换部117～119、亮度信号生成部120、色差信号生成部121、编码部122和记录介质123。在图12的各构成要素中，与图1具有相同编号的要素进行相同的动作。以下，按顺序说明本实施例的摄像机的动作。

因为本发明的第三实施例与上述第一实施例大致相同，所以仅对差异进行详细说明。首先，由光学系统101和摄像元件102取得的影像信号在去马赛克处理部103被处理，成为各颜色成分信号，利用帧延迟器使其延迟。各颜色成分信号和使其帧延迟而得的信号被供给至面间噪声消除处理部128～130，在其中进行与两信号的相关度相应的随机噪声消除处理。与此同时，根据帧相关的程度，生成并输出在后级的面内噪声消除处理部114～116使用的噪声消除参数。一般而言，帧相关度较高的地方为静止的物体，这样的地方对噪声也很敏感，另外因为边缘的解析度(resolution：分辨率)越高则图像越美观，所以优选的是，以不损失解析度的程度提高核化降噪等级，降低噪声感，提高增强等级。相反，帧相关度较低的地方是运动的部分，这样的部分具有对噪声的灵敏度较低的视觉特性。另外，过分地增强运动的地方的边缘，是在后极(阶段)的编码处理中产生由压缩引起的噪声的原因。在这样的地方，优选节制地控制增强等级。

噪声降低后的各颜色成分信号在频率变换部111～113被进行频率变换，也被供向噪声削减处理部114～116。该噪声削减处理部114～116因为与第一实施例具有相同的结构和处理内容，所以略去说明。在噪声削减处理部114～116被实施非线性处理(核化降噪处理和增强处理)后的各颜色成分信号，在频率逆变换部117～119中被逆运算而再次变换为空间区域的信号。

再次变换后的各颜色成分的信号被供给至亮度信号生成部120和色差信号生成部121，变换为亮度信号和色差信号。亮度信号和色差信号在编码部122被压缩编码，对压缩声音信号和压缩影像信号进行多路(multiplex)处理，作为压缩影像声音数据记录在记录介质123，其中，该压缩声音信号是由未图示的声音聚音部、声音信号前处理部、声音信号编码部生成的，该压缩影像信号是通过上述压缩编码处理而生成的。通过采用本结构，与前面的实施例相比，能够对输入信号进行噪声消除，并减少频率变换部的数目，具有处理量降低、电路规定减小、耗电减少的效果。

在本实施例中，由去马赛克处理部103生成的信号例如可以为R、G、B各颜色成分，也可以为亮度和色差，也可以为各颜色成分按Bayer排列(BayerArray)而形成的信号。

以上对本发明的实施方式进行了说明，但本发明并不限定于上述实施例1～3，也可以在发明的范围内自由变更。

例如，上述实施例是为了易于理解地说明本发明而进行的详细的说明，并不限定于必须具备已说明的所有结构。另外，某实施例的结构的一部分能够与其它的实施例的结构进行置换，此外也能够在某实施例的结构上添加其它的实施例的结构。

Claims (17)

1.一种影像记录系统，其特征在于，包括：

变换单元，其对输入影像信号实施正交变换而生成频率变换信号；

相关度生成单元，其求取所述频率变换信号的帧或场间的相关性；

滤波单元，其对所述输入影像信号进行滤波处理；和

控制单元，其控制所述滤波单元，其中，

所述控制单元，对于所述输入影像信号，根据所述相关度生成单元的输出进行所述滤波单元的控制。

2.一种影像记录系统，其特征在于，包括：

变换单元，其对输入影像信号实施正交变换而生成频率变换信号；

相关度生成单元，其求取所述频率变换信号的帧或场间的相关性；

逆变换单元，其对所述频率变换信号实施逆变换；

滤波单元，其对所述逆变换单元的输出进行滤波处理；和

控制单元，其控制所述滤波单元，其中，

所述控制单元，对于所述逆变换单元的输出，根据所述相关度生成单元的输出进行所述滤波单元的控制。

3.一种影像记录系统，其特征在于，包括：

摄像元件，其将光转换为电信号；

光学系统，其使光在该摄像元件聚光而成像；

信号处理单元，其以从该摄像元件输出的电信号为输入实施信号处理，输出一个或多个处理结果；

变换单元，其对于该信号处理单元的各个输出，对该信号处理单元的输出实施正交变换而生成频率变换信号；

延迟单元，其将所述频率变换信号延迟，输出帧或场延迟信号；

相关度生成单元，其求取所述频率变换信号与所述帧或场延迟信号的相关性；

第二延迟单元，其将所述信号处理单元的输出延迟，输出第二帧或场延迟信号；

滤波单元，其使用所述信号处理单元的输出和所述第二帧或场延迟信号，对所述信号处理单元的输出进行滤波处理；和

控制单元，其使用所述相关度生成单元的输出控制所述滤波处理的处理内容，

该影像记录系统根据所述频率变换信号与所述帧延迟信号的相关性，对所述信号处理单元的输出进行滤波处理。

4.一种影像记录系统，其特征在于，包括：

摄像元件，其将光转换为电信号；

光学系统，其使光在该摄像元件聚光而成像；

信号处理单元，其以从该摄像元件输出的电信号为输入实施信号处理，输出一个或多个处理结果；

变换单元，其对于该信号处理单元的各个输出，对该信号处理单元的输出实施正交变换而生成频率变换信号；

延迟单元，其将所述频率变换信号延迟，输出帧或场延迟信号；

相关度生成单元，其求取所述频率变换信号与所述帧或场延迟信号的相关性；

逆变换单元，其对所述频率变换信号实施逆变换；

第二延迟单元，其将所述逆变换单元的输出延迟，输出第二帧或场延迟信号；

滤波单元，其使用所述逆变换单元的输出和所述第二帧或场延迟信号，对所述逆变换单元的输出进行滤波处理；和

控制单元，其使用所述相关度生成单元的输出控制所述滤波处理的处理内容，

该影像记录系统根据所述频率变换信号与所述帧或场延迟信号的相关性，对所述逆变换单元的输出进行滤波处理。

5.如权利要求3或4所述的影像记录系统，其特征在于：

所述信号处理单元是生成红、绿、蓝三色的颜色信号的颜色信号生成单元。

6.如权利要求3或4所述的影像记录系统，其特征在于：

所述信号处理单元是生成亮度信号和色差信号的单元。

7.如权利要求3或4所述的影像记录系统，其特征在于：

所述信号处理单元是红、绿、蓝三色的颜色信号中的任一种信号被交替地配置的单元。

8.一种影像记录系统，其特征在于，包括：

摄像元件，其将光转换为电信号；

光学系统，其使光在该摄像元件聚光而成像；

信号处理单元，其以从该摄像元件输出的电信号为输入，生成亮度信号和色差信号；

变换单元，其对该亮度信号实施正交变换而生成频率变换信号；

延迟单元，其将该频率变换信号延迟，输出帧或场延迟信号；

相关度生成单元，其求取所述频率变换信号与所述帧或场延迟信号的相关性；

第二延迟单元，其将所述亮度信号和所述色差信号延迟，输出第二帧或场延迟信号；

滤波单元，其使用所述亮度信号和所述第二帧或场延迟信号，对所述亮度信号进行滤波处理；

控制单元，其使用所述相关度生成单元的输出来控制所述滤波处理的处理内容；

第二滤波单元，其使用所述色差信号和所述第二帧或场延迟信号，对所述色差信号进行第二滤波处理；和

第二控制单元，其使用所述相关度生成单元的输出来控制所述第二滤波处理的处理内容，

该影像记录系统根据所述频率变换信号与所述帧或场延迟信号的相关性，对所述亮度信号和所述色差信号进行滤波处理。

9.一种影像记录系统，其特征在于，包括：

摄像元件，其将光转换为电信号；

光学系统，其使光在该摄像元件聚光而成像；

信号处理单元，其以从该摄像元件输出的电信号为输入，生成亮度信号和色差信号；

变换单元，其对该亮度信号实施正交变换而生成频率变换信号；

延迟单元，其将该频率变换信号延迟，输出帧或场延迟信号；

相关度生成单元，其求取所述频率变换信号与所述帧或场延迟信号的相关性；

逆变换单元，其对所述频率变换信号实施逆变换；

第二延迟单元，其将该逆变换单元的输出延迟，输出第二帧或场延迟信号；

滤波单元，其使用所述逆变换单元的输出和第二帧或场延迟信号，对所述逆变换单元的输出进行滤波处理；

控制单元，其使用所述相关度生成单元的输出来控制所述滤波处理的处理内容；

第三延迟单元，其将所述色差信号延迟，输出第三帧或场延迟信号；

第二滤波单元，其使用所述色差信号和所述第三延迟单元的输出，对所述色差信号进行第二滤波处理；和

第二控制单元，其使用所述相关度生成单元的输出来控制所述第二滤波处理的处理内容，

该影像记录系统根据所述频率变换信号与所述帧延迟信号的相关性，对所述逆变换单元的输出和所述色差信号进行滤波处理。

10.如权利要求1～9中任一项所述的影像记录系统，其特征在于，包括：

第一参数生成单元，其以所述相关性为输入，生成噪声消除的强度参数；

第二参数生成单元，其以所述相关性为输入，生成增强处理的强度参数；

第二变换单元，其对所述滤波单元的输出实施正交变换而生成第二频率变换信号；

非线性处理单元，其以所述噪声消除的强度参数、所述增强处理的强度参数和所述第二变换单元的输出为输入，对所述第二变换单元的输出施加非线性处理；和

第二逆变换单元，其对该非线性处理单元的输出实施所述正交变换的逆变换，

该影像记录系统在所述非线性处理单元进行与空间频率相应的噪声降低处理和增强处理。

11.如权利要求1～9中任一项所述的影像记录系统，其特征在于，包括：

第一参数生成单元，其以所述相关性为输入，生成噪声消除的强度参数；

第二参数生成单元，其以所述相关性为输入，生成增强处理的强度参数；和

非线性处理单元，其以所述噪声消除的强度参数、所述增强处理的强度参数和所述频率变换信号为输入，对所述频率变换信号施加非线性处理，

该影像记录系统在所述非线性处理单元进行与空间频率相应的噪声降低处理和增强处理。

12.一种影像记录系统，其特征在于，包括：

相关度生成单元，其对输入影像信号求取帧或场间的相关性；

滤波单元，其对所述输入影像信号进行滤波处理；

第二滤波单元，其对所述滤波单元的输出进行滤波处理；和

控制单元，其控制所述滤波单元和所述第二滤波单元，其中，

所述控制单元，对所述输入影像信号，根据所述相关度生成单元的输出进行所述滤波单元的控制。

13.如权利要求12所述的影像记录系统，其特征在于：

所述信号处理单元是生成红、绿、蓝三色的颜色信号的颜色信号生成单元。

14.如权利要求12所述的影像记录系统，其特征在于：

所述信号处理单元是生成亮度信号和色差信号的单元。

15.如权利要求12所述的影像记录系统，其特征在于：

所述信号处理单元是红、绿、蓝三色的颜色信号中的任一种信号被交替地配置的单元。

16.如权利要求12～15中任一项所述的影像记录系统，其特征在于，包括：

第一参数生成单元，其以所述相关性为输入，生成噪声消除的强度参数；

第二参数生成单元，其以所述相关性为输入，生成增强处理的强度参数；

第二变换单元，其对所述滤波单元的输出实施正交变换而生成第二频率变换信号；

非线性处理单元，其以所述噪声消除的强度参数、所述增强处理的强度参数和所述第二变换单元的输出为输入，对所述第二变换单元的输出施加非线性处理；和

第二逆变换单元，其对该非线性处理单元的输出实施所述正交变换的逆变换，

该影像记录系统在所述非线性处理单元进行与空间频率相应的噪声降低处理和增强处理。

17.如权利要求12～15中任一项所述的影像记录系统，其特征在于，包括：

第一参数生成单元，其以所述相关性为输入，生成噪声消除的强度参数；

第二参数生成单元，其以所述相关性为输入，生成增强处理的强度参数；和

非线性处理单元，其以所述噪声消除的强度参数、所述增强处理的强度参数和所述频率变换信号为输入，对所述频率变换信号施加非线性处理，

该影像记录系统在该非线性处理单元进行与空间频率相应的噪声降低处理和增强处理。

Images