具体实施方式
现在参照附图对本发明的一些实施例进行说明。本领域技术人员可以看出,下面对本发明实施例的说明仅仅是示例性的,并不用于限制本发明的范围。本发明的范围仅由所附权利要求及其等同替换来限定。
(A)第一实施例
下面参照附图对根据本发明第一实施例的降噪电路和方法进行说明。
由第一实施例的降噪电路处理的视频信号(视频数据)可以是复合视频信号或者是亮度信号、色度信号或色差信号等的分量信号。优选地,该信号是隔行扫描信号,并且每帧的行数无关紧要。另外,输入到第一实施例的降噪电路中的数据是作为数字信号(视频数据)输入的,但是像素数据的位数无关紧要。数字信号的采样频率也不重要。另外,第一实施例的降噪电路可以包含在处理由记录介质再生的视频信号(视频数据)的设备中、包含在处理从网络上接收的视频信号(视频数据)的设备中、包含在处理广播视频信号(视频数据)的设备中、或者包含在处理由摄像机拍摄的视频信号(视频数据)的设备中。
(A-1)第一实施例的结构
图1是第一实施例的降噪电路的结构框图。第一实施例的降噪电路包括帧存储器1(视频数据存储装置)、帧间降噪装置2、两个场间降噪装置3和4、行间降噪装置5、移动/边沿检测校正信号产生装置6、以及选择/组合装置7。下面把场间降噪装置3称为“第一场间降噪装置”,把场间降噪装置4称为“第二场间降噪装置”。
帧存储器1存储至少一帧从选择/组合装置7输出的降噪后视频数据。帧存储器1把当前正在降噪的先前帧的像素数据(视频图像数据)输出到帧间降噪装置2,分别把先前场的两个像素的数据输出到第一场间降噪装置3和第二场间降噪装置4,并把先前行(1个水平扫描行)的像素数据输出到行间降噪装置5。
图2示出了正在进行降噪的像素数据和降噪时使用的先前像素数据之间的关系,是沿时间轴方向和垂直方向(V方向)标绘的。像素数据9是正在进行降噪的像素数据8的一帧前(即两场(场周期)前;2V前)的像素数据,并被输出到帧间降噪装置2。对于垂直方向和水平方向,在显示中先前帧的像素数据9与正在进行降噪的像素数据8处于相同的位置。像素数据10和11是正在进行降噪的像素数据8的一场(周期)(1V)前的像素数据,并被输出到第一场间降噪装置3和第二场间降噪装置4。在显示中,输出到第一场间降噪装置3的像素数据10在水平方向上与正在进行降噪的像素数据8位于相同的位置(虽然最多可以偏移1/2个像素间距)。但是,像素数据10在垂直方向上要高1/2行。在显示中,输出到第二场间降噪装置4的像素数据11在水平方向上与正在进行降噪的像素数据8位于相同的位置((虽然最多可以偏移1/2个像素间距)。但是,像素数据11在垂直方向上要低1/2行。像素数据12是正在进行降噪的像素数据8的一行(一个水平扫描周期;1H)前的像素数据,并被输出到行间降噪装置5。在显示中,像素数据12在水平方向上与正在进行降噪的像素数据8位于相同位置,但是在垂直方向上比像素数据8高一行。
参照图1和2,帧间降噪装置2由输入的视频信号和来自帧存储器1的1帧延迟数据生成帧间降噪后数据和帧间移动检测信号(下面在讨论该降噪电路的操作时解释这个生成过程)。另外,帧间降噪装置2向选择/组合装置7输出帧间降噪后数据,并向移动/边沿检测校正信号产生装置6输出帧间移动检测信号。
第一场间降噪装置3由输入的视频数据和来自帧存储器1的1场延迟数据A(见图2中的像素数据10)生成场间降噪后数据A和场间移动/边沿检测信号A(下面在讨论该降噪电路的操作时解释这个生成过程)。另外,第一场间降噪装置3向选择/组合装置7输出场间降噪后数据A,并向移动/边沿检测校正信号产生装置6输出场间移动/边沿检测信号A。
第二场间降噪装置4由输入的视频数据和来自帧存储器1的1场延迟数据B(见图2中的像素数据11)生成场间降噪后数据B和场间移动/边沿检测信号B(下面在讨论该降噪电路的操作时解释这个生成过程)。另外,第二场间降噪装置4向选择/组合装置7输出场间降噪后数据B,并向移动/边沿检测校正信号产生装置6输出场间移动/边沿检测信号B。
行间降噪装置5由输入的视频信号和来自帧存储器1的1行延迟数据生成行间降噪后数据和行间边沿检测信号(下面在讨论该降噪电路的操作时解释这个生成过程)。另外,行间降噪装置5向选择/组合装置7输出行间降噪后数据,并向移动/边沿检测校正信号产生装置6输出行间边沿检测信号。
移动/边沿检测校正信号产生装置6由帧间移动检测信号、场间移动/边沿检测信号A、场间移动/边沿检测信号B和行间边沿检测信号生成移动/边沿检测校正信号。另外,移动/边沿检测校正信号产生装置6向选择/组合装置7输出该移动/边沿检测校正信号作为控制信号。
选择/组合装置7根据来自移动/边沿检测校正信号产生装置6的移动/边沿检测校正信号选择和/或组合来自四个降噪装置2、3、4和5的帧间降噪后数据、场间降噪后数据A、场间降噪后数据B以及行间降噪后数据。另外,选择/组合装置7输出选择/组合的数据作为降噪后的视频数据。降噪后的视频数据被输出到下一级,同时也送到帧存储器1。
(A-2)第一实施例的操作
下面对具有上述结构的本发明第一实施例的降噪电路和降噪方法的操作进行说明。
在第一实施例的降噪电路中,当输入视频数据的新像素变成要进行降噪的像素时(见图2中的数字8),降噪装置2-5分别进行以下处理,为进行降噪的像素生成降噪后数据。
帧间降噪装置2首先确定进行降噪的像素的输入视频数据(像素数据)8和从帧存储器1输出的1帧延迟数据9(一帧前的像素数据)之间的差值的绝对值。帧间降噪装置2然后把该绝对差值与一个用于判定噪声/移动的阈值进行比较。如果该绝对差值小于该阈值,则确定该差异是由噪声引起的,而如果该绝对差值大于该阈值,则确定该差异是由图像部分的移动引起的。如本领域所公知的,在图像冻结的部分,连续帧的相同位置的像素数据基本上具有相同的值(关联度极高),即使有差异,该差异也很小。另一方面,在图像移动的部分,连续帧的相同位置的像素数据在大部分时候会由于移动的效果而不同,并且差异很大。帧间降噪装置2利用了图像的这个属性。
当帧间降噪装置2根据绝对差值确定该差异是由噪声引起的时,帧间降噪装置2从输入的视频数据(像素数据)8中去除噪声成分而输出帧间降噪后数据。另一方面,当帧间降噪装置2根据绝对差值确定该差异是由移动引起的时,帧间降噪装置2原样地输出所输入的视频数据(像素数据)8作为帧间降噪后数据。应该注意,从输入视频数据(像素数据)8中去除的噪声成分可以是上述的差值本身、把该差值乘以一个预定值的加权系数所得到的值、或者多个紧接在前面的被确定为由噪声导致的像素的差值的加权平均值。
另外,当帧间降噪装置2根据绝对差值确定该差异是由移动导致的时,帧间降噪装置2通过把该绝对差值通过低通滤波器而获得差异量级(平滑值)。另外,帧间降噪装置2生成并输出帧间移动检测信号,该帧间移动检测信号包括已被确定为移动的数据差异量和根据差异量级和差值的符号确定的移动判定信号(移动:是/否)。即使根据绝对差值确定为移动时,帧间移动检测信号的移动判定信号也不是简单地设定为“移动:是”,而是根据变化(包括已经通过了低通滤波器的差异量级的符号(正或负))确定移动判定信号的内容(“移动:是”或者“移动:否”)。噪声是随机的,但是在移动的情况下同一像素的视频数据的变化中存在特定的趋势。从而根据通过低通滤波器获得的差异量级确定了帧间移动检测信号中包含的移动判定信号的内容。
第一场间降噪装置3首先确定要进行降噪的输入视频数据(像素数据)8和从帧存储器1输出的1场延迟数据10之间的差值的绝对值。第一场间降噪装置3然后将该绝对差值与一个用于判定噪声和移动/边沿的阈值进行比较。如果该绝对差值小于该阈值,则确定该差异是由噪声引起的,而如果该绝对差值等于或大于该阈值,则确定该差异是由图像部分的移动或边沿引起的。通过将该绝对差值与阈值进行比较来判定噪声和移动的技术原理和帧间降噪装置2相同。应该注意,第一场间降噪装置3用来确定该绝对差值的两个数据点(即输入视频数据(像素数据)8和从帧存储器1输出的1场延迟数据10的像素)在显示中具有相同的水平位置,但是在垂直方向上偏移1/2行。因此,如果在图像的像素位置之间的这个偏移宽度之内存在静止物体的边沿,则该绝对差值会变得很大。所以不仅由于移动,边沿也会使绝对差值等于或大于阈值。
当第一场间降噪装置3根据绝对差值确定差异是由噪声引起的时,第一场间降噪装置3输出通过从输入视频数据(像素数据)8中去除噪声成分而获得的场间降噪后数据A。另一方面,当第一场间降噪装置3根据绝对差值确定差异是由移动或边沿引起的时,第一场间降噪装置3原样地输出所输入的视频数据(像素数据)8,作为第一场间降噪后数据A。应该注意,从输入视频数据(像素数据)8中去除的噪声成分可以是上述的差值本身、把该差值乘以一个预定值的加权系数所得到的值、或者多个紧接在前面的被确定为由噪声导致的像素的差值的加权平均值。
另外,当第一场间降噪装置3根据绝对差值确定差异是由移动或边沿引起的时,把该绝对差值通过低通滤波器以得到差异量级(平滑值)。另外,第一场间降噪装置3生成并输出场间移动/边沿检测信号,该场间移动/边沿检测信号包括已被确定为移动或边沿的数据差异量和根据差异量级和差值的符号确定的移动/边沿判定信号(移动/边沿:是/否)。
第二场间降噪装置4根据要进行降噪的像素的输入视频数据(像素数据)8和从帧存储器1输出的1场延迟数据11进行与第一场间降噪装置3类似的处理。
行间降噪装置5首先确定要进行降噪的像素的输入视频数据(像素数据)8和从帧存储器1输出的1行延迟数据12之间的差值的绝对值。然后行间降噪装置5将该绝对差值与一个用于判定噪声/边沿的阈值进行比较。如果该绝对差值小于该阈值,则确定该差异是由噪声引起的,而如果该绝对差值等于或大于该阈值,则确定该差异是由图像部分的边沿引起的。通过将该绝对差值与阈值进行比较来判定噪声和边沿的技术原理和第一场间降噪装置3和第二场间降噪装置4相同。应该注意,行间降噪装置5用来确定该绝对差值的两个数据点(即输入视频数据(像素数据)8和从帧存储器1输出的1行延迟数据12的像素)属于同一帧和同一场,因此它们不能用来检测移动,只能用来检测边沿。
当行间降噪装置5根据该绝对差值确定该差异是由噪声引起的时,行间降噪装置5输出通过从输入视频数据(像素数据)8中去除噪声成分而得到的行间降噪后数据。另一方面,当行间降噪装置5根据该绝对差值确定该差异是由边沿引起的时,行间降噪装置5原样地输出所输入的视频数据(像素数据)8作为行间降噪后数据。应该注意,从输入视频数据(像素数据)8中去除的噪声成分可以是上述的差值本身、把该差值乘以一个预定值的加权系数所得到的值、或者多个紧接在前面的被确定为由噪声导致的像素的差值的加权平均值。
另外,当行间降噪装置5根据绝对差值确定差异是由边沿引起的时,把该绝对差值通过低通滤波器以得到差异量级(平滑值),并且行间降噪装置5生成并输出行间边沿检测信号,该行间边沿检测信号包括已被确定为边沿的数据差异量和根据差异量级和差值的符号确定的边沿判定信号(边沿:是/否)。
图3的表列出了输入到四个不同的降噪装置2-5中的两个数据点之间在时间方向和垂直方向上是否存在偏移以及偏移的大小。应该注意,在图3中假设在水平方向上没有位置偏移。图4的表解释了从移动/边沿检测校正信号产生装置6到选择/组合装置7的控制信号的含义。换句话说,图4的表解释了选择/组合装置7的选择或组合的逻辑。
对于与帧间降噪装置2相关的1帧延迟数据9,在时间轴方向上相对于正在进行降噪的像素数据8的偏移比较大,为2V(V是一个场周期)。但是,由于在V方向(垂直方向)上没有位置偏移,只有在帧之间没有移动时,如图4所示,才可能通过确定1帧延迟数据9和正在进行降噪的像素数据8之间的差值的绝对值来从降噪后数据中提取噪声成分。但是,当帧之间存在移动时,如果使用差异数据来生成降噪后数据则会产生位置残像,因为无法使数据在时间上关联起来。
另外,对于与行间降噪装置5相关的1行延迟数据12,尽管在时间轴方向上没有偏移,但在V方向上相对于正在进行降噪的像素数据8有1行的偏移,如图3所示。因此,如图4所示,当行之间没有边沿时,可以通过确定1行延迟数据12和正在进行降噪的像素数据8之间的差值的绝对值来从降噪后数据中提取噪声成分。但是,当行之间存在边沿时,如果使用差异数据来生成降噪后数据则会产生位置残像,因为无法使数据在V方向上关联起来。
另外,在与第一场间降噪装置3或第二场间降噪装置4相关的1场延迟数据A 10和1场延迟数据B 11中,如图3所示,与正在进行降噪的像素数据8相比,在时间轴方向上有1V的偏移,这对应于帧间偏移时间的1/2,并且在V方向上有0.5H(H是一个水平扫描周期)的偏移,这对应于行间偏移的1/2行。因此,如图4所示,当在1场延迟数据A 10和1场延迟数据B 11中都没有移动和边沿时,生成1场延迟数据A 10和1场延迟数据B 11的平均数据。可以通过确定该平均数据和正在进行降噪的像素数据8之间的差值的绝对值来从降噪后数据中提取出噪声成分。另外,当1场延迟数据A 10或1场延迟数据B 11中没有移动或边沿时,可以通过确定没有移动的数据和正在进行降噪的像素数据8之间的差值的绝对值来从降噪后数据中提取出噪声成分。但是,当1场延迟数据A 10和1场延迟数据B 11中都存在移动或边沿时,如果使用差异数据来生成降噪后数据,则由于无法在时间和垂直方向上将数据关联起来,会产生时间或位置残像。
从而,移动/边沿检测校正信号产生装置6形成用于选择或组合降噪后数据的控制信号,使得总是可以把时间和V方向上的残像减至最小。当选择/组合装置7根据该控制信号对来自四个降噪装置2-5的降噪后数据进行选择或组合时,得到了最终的降噪后视频数据。
图5的流程图示出了生成移动/边沿检测校正信号产生装置6的控制信号的处理示例。
移动/边沿检测校正信号产生装置6首先判断两个帧之间的帧间移动检测信号中是否存在移动(S100)。如果帧之间没有移动,则移动/边沿检测校正信号产生装置6使选择/组合装置7选择帧间降噪后数据作为输出视频数据(S101)。
另一方面,如果帧之间存在移动,则移动/边沿检测校正信号产生装置6在场间移动/边沿检测信号A和场间移动/边沿检测信号B的内容组合之间进行判断(S102至S104)。如果场间移动/边沿检测信号A和场间移动/边沿检测信号B都表示不存在移动,则移动/边沿检测校正信号产生装置6使选择/组合装置7输出通过对场间降噪后数据A和场间降噪后数据B进行平均而得到的场间降噪后数据作为输出视频数据(S105)。另外,如果场间移动/边沿检测信号A中没有移动,但是场间移动/边沿检测信号B中有移动,则移动/边沿检测校正信号产生装置6使选择/组合装置7选择场间降噪后数据A作为输出视频数据(S106)。另外,如果场间移动/边沿检测信号A中有移动,但是场间移动/边沿检测信号B中没有移动,则移动/边沿检测校正信号产生装置6使选择/组合装置7选择场间降噪后数据B作为输出视频数据(S107)。
如果场间移动/边沿检测信号A和场间移动/边沿检测信号B都表示存在移动或边沿,则移动/边沿检测校正信号产生装置6判断行间边沿检测信号的内容(S108)。如果不存在边沿,则移动/边沿检测校正信号产生装置6使选择/组合装置7选择行间降噪后数据作为输出视频数据(S109)。如果存在边沿,则移动/边沿检测校正信号产生装置6使选择/组合装置7选择具有最低的移动或边沿量级的降噪后数据作为输出视频数据(S110)。
如果行间边沿检测信号表示存在边沿,则移动/边沿检测校正信号产生装置6也可以使选择/组合装置7选择帧间降噪后数据(S110-1),或确定对来自四个移动/边沿判定信号的四个降噪后数据点进行加权的方法,并对四个降噪后数据点进行加权组合,从而生成输出视频数据(S110-2)。在后一情况下,与具有最小差异量级的判定信号相对应的降噪后数据被赋予更大的权重。
(A-3)第一实施例的效果
根据第一实施例,可以实现有效的降噪,可以抑制使用一帧的存储利用四个关联(如帧间关联、场间A关联、场间B关联和行间关联)分别进行帧间、场间和行间降噪时出现的残像。换句话说,通过组合利用帧间、场间A、场间B和行间降噪的四个关联的降噪处理,可以与图像部分的内容无关地对任意图像部分进行有效的降噪。
这里,尽管所输入的与输入视频数据关联的延迟数据是不同的,但利用四个关联的降噪装置可以具有相同的内部结构,从而可以实现降噪电路。
另外,尽管使用了多种降噪方法,但对于图像存储器来说一帧的容量就足够了,并且可以使存储容量小于传统的降噪方法所需的容量。另外,可以把降噪处理中的处理延迟缩短到大约一帧周期的较短时间。特别是在视频信号和音频信号的同步成为问题的设备中,降噪处理的短处理延迟是有利的,可以把专用于同步的结构限制为最少。
如这里所使用的,下面的方向术语“前向、后向、向上、向下、垂直、水平、下面和横向”以及任何其它的方向术语是指应用了本发明的设备中的这些方向。因此,如这里用于描述本发明一样,这些术语应该针对应用了本发明的设备进行解释。
可选实施例
下面对可选实施例进行描述。考虑到第一实施例和可选实施例之间的相似性,在可选实施例中的与第一实施例相同的部件具有与第一实施例一样的标号。另外,为简洁起见,省略了可选实施例中的与第一实施例相同的部件的说明。
(B)第二实施例
接下来参照附图对根据本发明的降噪电路和方法的第二实施例进行说明。图6示出了根据本发明第二实施例的降噪电路的结构框图。对于与第一实施例的图1中所示的部件相同或相应的部件,在图6中使用相同或相应的标号。因为具有相同标号的结构要素与第一实施例中相似或相同,所以省略了它们的详细说明。
比较图6和图1可见,除了利用与第一实施例相同或相似的关联的四个降噪装置2-5之外,第二实施例的降噪电路还具有低通滤波降噪装置8作为降噪装置。
低通滤波降噪装置8使输入的视频数据通过低通滤波器,以从输入视频数据中去除高频噪声成分,从而进行降噪。处理后的数据(低通滤波降噪后数据)被输出到选择/组合装置7A。
选择/组合装置7A不同于第一实施例的选择/组合装置7,来自低通滤波降噪装置8的低通滤波降噪后数据也要进行选择/组合处理。另外,移动/边沿检测校正信号产生装置6A不同于第一实施例的移动/边沿检测校正信号产生装置6,在预定条件下,移动/边沿检测校正信号产生装置6A也允许选择/组合装置7A选择或组合来自低通滤波降噪装置8的低通滤波降噪后数据。
图7的表示出了如何选择第二实施例的降噪后数据。如图7所示,当存在帧间移动、场间移动/边沿和行间边沿时,选择低通滤波降噪后数据。否则,降噪后数据的选择/组合方法与第一实施例相同。
图8的流程图示出了第二实施例的移动/边沿检测校正信号产生装置6A生成控制信号的处理示例。对于与图5所示的第一实施例相同或相应的步骤使用相同或相应的标号。
如果需要,第二实施例的移动/边沿检测校正信号产生装置6A也执行步骤S100至S109,就像第一实施例一样。如果行间边沿检测信号表示存在边沿,则第二实施例的移动/边沿检测校正信号产生装置6A使选择/组合装置7输出低通滤波降噪后数据作为输出视频数据(S110A)。
根据第二实施例,除了第一实施例的相同效果之外,还可以实现有效的降噪,抑制使用一帧的存储利用四个关联(如帧间关联、场间A关联、场间B关联和行间关联)分别进行帧间、场间和行间降噪并且通过低通滤波器进行降噪处理时出现的残像。
(C)其它实施例
在第一实施例中,提供了四个降噪装置,在第二实施例中提供了五个降噪装置,但是降噪装置的数目不限于这些实施例中的数目。
例如,降噪装置也可以是执行帧间和场间关联的降噪装置、执行帧间和行间关联的降噪装置、或者执行场间和行间关联的降噪装置。也可以是利用间隔两个或更多个帧的多个帧的帧间关联的降噪装置。作为场间降噪装置,也可以仅提供第一场间降噪装置和第二场间降噪装置中的一个。相反,作为行间降噪装置,也可以同时提供利用正在降噪的像素数据上一行的像素数据的第一行间降噪装置和利用正在降噪的像素数据下一行的像素数据的第二行间降噪装置。另外,可以在上述组合中添加低通滤波降噪装置。但是,最好是提供利用至少两种关联的降噪装置。
应该注意,如果有多种类型的降噪装置,则应该把电路设计为用户可以通过DIP开关设定要使用的降噪装置。例如,也可以在第一实施例中引入改变设定的技术概念,当用户决定不使用行间降噪装置5时,可以禁止行间降噪装置5或者使移动/边沿检测校正信号产生装置6不选择行间降噪装置5的行间降噪后数据(略去图5中的S108和S109)。
在上述实施例中,说明了在把绝对差值通过低通滤波器后根据差异量级来形成表示是否存在移动或边沿的判定信号,但是也可以原样使用表示绝对差值和阈值哪个更大的信息来判断是否存在移动或边沿。应该注意:“存在边沿或移动”表示存在有效的图像变化(不是由噪声引起的)。
另外,上述实施例是针对视频信号是隔行扫描视频信号进行说明的,但是本发明也可以应用于非隔行扫描视频信号。例如,当输入信号是已经从隔行扫描格式转换成非隔行扫描格式的视频信号时,场的概念还是存在的。另外,通过集成帧间和行间降噪装置,可以处理非隔行扫描视频信号。
应该注意,利用电视接收机等的视频显示设备,可以容易地显示降噪后的视频。利用录像机(VTR、DVD、CD)等的视频记录设备,可以容易地记录降噪后的视频。利用视频再生设备,可以容易地输出降噪后的视频。
这里使用的“配置为”一词用于表示设备的部件、部分或零件包含被构造和/或编程为执行预期功能的硬件和/或软件。
另外,在权利要求中被表达为“装置加功能”的条目应该包含能够用来执行本发明的这部分功能的任何结构。
这里使用的表示程度的词语,如“大致”、“约”和“近似”等表示所修饰的词语的合理的偏差而最终结果不会有显著的变化。例如,这些词语可以解释为包含所修饰的项目的至少±5%的偏差,如果这个偏差不会改变所修饰的词的含义的话。
本申请要求日本专利申请No.2003-410159的优先权。在此以引用的方式引入日本专利申请No.2003-410159的全部内容。
虽然选择了特定的实施例来说明本发明,但是通过这里所公开的内容,本领域技术人员很容易理解,在不脱离所附权利要求限定的本发明范围的情况下可以进行各种变化和改进。另外,上面对根据本发明的实施例的说明仅用于说明的目的,而不是用于限制本发明的范围,本发明的范围由所附权利要求及其等同物限定。因此本发明的范围不限于所公开的实施例。