CN101087366A - 影像信号处理方法及影像信号处理装置 - Google Patents

影像信号处理方法及影像信号处理装置 Download PDF

Info

Publication number
CN101087366A
CN101087366A CNA2007101106520A CN200710110652A CN101087366A CN 101087366 A CN101087366 A CN 101087366A CN A2007101106520 A CNA2007101106520 A CN A2007101106520A CN 200710110652 A CN200710110652 A CN 200710110652A CN 101087366 A CN101087366 A CN 101087366A
Authority
CN
China
Prior art keywords
signal
noise
zone
noise level
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007101106520A
Other languages
English (en)
Other versions
CN101087366B (zh
Inventor
木村青司
绪形昌美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101087366A publication Critical patent/CN101087366A/zh
Application granted granted Critical
Publication of CN101087366B publication Critical patent/CN101087366B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213Circuitry for suppressing or minimising impulsive noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Picture Signal Circuits (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及一种影像信号处理方法及影像信号处理装置。特别是涉及一种影像信号处理方法、影像信号处理方法的程序、记录影像信号处理方法的程序的记录介质及影像信号处理装置,例如,应用于消除影像信号中的噪音的噪音滤波器中,比以往更高精度地测量噪音水平。本发明从噪音水平测量对象中除去噪音水平非常小的区域来测量噪音水平。

Description

影像信号处理方法及影像信号处理装置
技术领域
本发明涉及一种影像信号处理方法、影像信号处理方法的程序、记录影像信号处理方法的程序的记录介质及影像信号处理装置,例如,可以应用于消除影像信号中的噪音的噪音滤波器。本发明通过从噪音水平测量对象中除去噪音水平非常小的区域来测量噪音水平,从而比以往更高精度地测量噪音水平。
背景技术
目前,在各种影像信号处理装置中,用时间循环型等的噪音滤波器从影像信号中消除噪音。这种时间循环型等的噪音滤波器对从影像信号中抽出的噪音信号成分的信号水平进行校正,生成校正用信号,并从原来的影像信号中减去该校正用信号来从影像信号中消除噪音。
因此,在校正用信号的信号水平过大时,会在被摄体的边界、构造组织区域等中发生模糊。另外,与此相反,在校正用信号的信号水平过小时,不能充分抑制噪音。
因此,目前,在各种影像信号处理装置中构成为该校正用信号的信号水平可以根据操作员的操作来改变。对此,在日本特开2001-136416号公报等中提出了如下方案:测量噪音水平,并根据噪音水平测量结果自动设定校正用信号的信号水平。
但是,以往的方法在正确测量噪音水平的方面,还有不十分实用的缺点,其结果存在无法正确消除噪音的问题。
专利文献1:日本特开2001-136416号公报
发明内容
发明所要解决的问题
本发明是考虑上述问题而提出的,提出了一种与以往相比可以进一步高精度地测量噪音水平的影像信号处理方法、影像信号处理方法的程序、记录有影像信号处理方法的程序的记录介质及影像信号处理装置。
用于解决问题的方案
为了解决上述课题,发明1适用于测量输入影像信号的噪音水平的影像信号处理方法,具有以下步骤:面内的特征量检测步骤,对上述输入影像信号中设定的每个区域检测表示上述输入影像信号中的噪音水平的面内的特征量;无噪音区域的处理步骤,用无噪音区域用的阈值判断在上述面内的特征量检测步骤中检测出的面内的特征量,从噪音水平测量对象中除去上述面内的特征量少于上述无噪音区域用的阈值的区域;以及噪音水平测量步骤,对在上述无噪音区域的处理步骤中除去而剩余的区域的上述面内的特征量进行统计处理,输出噪音水平测量结果。
另外,发明2适用于测量输入影像信号的噪音水平的影像信号处理方法的程序,具有以下步骤:面内的特征量检测步骤,对上述输入影像信号中设定的每个区域,检测表示上述输入影像信号中的噪音水平的面内的特征量;无噪音区域的处理步骤,用无噪音区域用的阈值判断在上述面内的特征量检测步骤中检测出的面内的特征量,从噪音水平测量对象中除去上述面内的特征量少于上述无噪音区域用的阈值的区域;以及噪音水平测量步骤,对在上述无噪音区域的处理步骤中除去而剩余的区域的上述面内的特征量进行统计处理,输出噪音水平测量结果。
另外,发明3适用于记录有测量输入影像信号的噪音水平的影像信号处理方法的程序的记录介质,上述影像信号处理方法的程序具有以下步骤:面内的特征量检测步骤,对上述输入影像信号中设定的每个区域,检测表示上述输入影像信号中的噪音水平的面内的特征量;无噪音区域的处理步骤,用无噪音区域用的阈值判断在上述面内的特征量检测步骤中检测出的面内的特征量,从噪音水平测量对象中除去上述面内的特征量少于上述无噪音区域用的阈值的区域;以及噪音水平测量步骤,对在上述无噪音区域的处理步骤中除去而剩余的区域的上述面内的特征量进行统计处理,输出噪音水平测量结果。
另外,发明4适用于测量输入影像信号的噪音水平的影像信号处理装置,具有:面内的特征量检测部,对上述输入影像信号中设定的每个区域,检测表示上述输入影像信号中的噪音水平的面内的特征量;无噪音区域的处理部,用无噪音区域用的阈值判断在上述面内的特征量检测部中检测出的面内的特征量,从噪音水平测量对象中除去上述面内的特征量少于上述无噪音区域用的阈值的区域;以及噪音水平测量部,对在上述无噪音区域的处理部中除去而剩余的区域的上述面内的特征量进行统计处理,输出噪音水平测量结果。
另外,发明5适用于测量输入影像信号的噪音水平的影像信号处理方法,具有以下步骤:面内的特征量检测步骤,对上述输入影像信号中设定的每个区域,检测表示上述输入影像信号中的噪音水平的面内的特征量;无噪音区域的处理步骤,从上述输入影像信号检测与附近像素相关性高的像素,根据检测结果,从噪音水平测量对象中除去包含较多与附近像素之间的相关性高的像素的区域;以及噪音水平测量步骤,对在上述无噪音区域的处理步骤中除去而剩余的区域的上述面内的特征量进行统计处理,输出噪音水平测量结果。
另外,发明6适用于测量输入影像信号的噪音水平的影像信号处理方法的程序,具有以下步骤:面内的特征量检测步骤,对上述输入影像信号中设定的每个区域,检测表示上述输入影像信号中的噪音水平的面内的特征量;无噪音区域的处理步骤,从上述输入影像信号检测与附近像素相关性高的像素,根据检测结果,从噪音水平测量对象中除去包含较多与附近像素之间的相关性高的像素的区域;以及噪音水平测量步骤,对在上述无噪音区域的处理步骤中除去而剩余的区域的上述面内的特征量进行统计处理,输出噪音水平测量结果。
另外,发明7适用于记录有测量输入影像信号的噪音水平的影像信号处理方法的程序的记录介质,上述影像信号处理方法的程序具有以下步骤:面内的特征量检测步骤,对上述输入影像信号中设定的每个区域,检测表示上述输入影像信号中的噪音水平的面内的特征量;无噪音区域的处理步骤,从上述输入影像信号检测与附近像素相关性高的像素,根据检测结果,从噪音水平测量对象中除去包含较多与附近像素之间的相关性高的像素的区域;以及噪音水平测量步骤,对在上述无噪音区域的处理步骤中除去而剩余的区域的上述面内的特征量进行统计处理,输出噪音水平测量结果。
另外,发明8适用于测量输入影像信号的噪音水平的影像信号处理装置,具有:面内的特征量检测部,对上述输入影像信号中设定的每个区域,检测表示上述输入影像信号中的噪音水平的面内的特征量;无噪音区域的处理部,从上述输入影像信号检测与附近像素相关性高的像素,根据检测结果,从噪音水平测量对象中除去包含较多与附近像素之间的相关性高的像素的区域;以及噪音水平测量部,对在上述无噪音区域的处理部中除去而剩余的区域的上述面内的特征量进行统计处理,输出噪音水平测量结果。
根据发明1、发明2、发明3或发明4的结构,可以从噪音水平测量对象中除去噪音水平非常小的区域并测量噪音水平,能够在电视接收机、光盘录像机等的图形用户界面的区域、显示编辑过程中插入的字幕信息等的区域中不测量噪音水平。因此,可以正确测定混入本来的影像信号中的噪音水平,可以比以往更高精度地测量噪音水平。
根据发明5、发明6、发明7或发明8的结构,可以有效利用与附近像素之间的相关性,从噪音水平测量对象中除去噪音水平非常小的区域并测量噪音水平,能够在电视接收机、光盘录像机等的图形用户界面的区域、显示编辑过程中插入的字幕信息等的区域中不测量噪音水平。因此,可以正确测定混入本来的影像信号中的噪音水平,可以比以往更高精度地测量噪音水平。
发明的效果
根据本发明,能够比以往更高精度地测量噪音水平。
附图说明
图1是表示适用于本发明的实施例1的噪音滤波器中的噪音区域检测部的框图。
图2是表示本发明的实施例1的噪音滤波器的结构的框图。
图3是表示图2的噪音滤波器的测量部的结构的框图。
图4是表示图3的测量部中的参照影像信号生成部的结构的框图。
图5是表示图4的参照影像信号生成部的其它例的结构的框图。
图6是表示图3的测量部中的差分信号生成部的结构的框图。
图7是用于说明图3的测量部中的噪音区域检测部的平面图。
图8是表示图7的其它例的结构的平面图。
图9是表示图1的噪音区域检测部中的测量有效判断部的结构的框图。
图10是表示图3的测量部中的部分区域信号分割部的结构的框图。
图11是表示图10的部分区域信号分割部中的噪音水平时间平滑部的结构的框图。
图12是表示图11的噪音水平时间平滑部中的滤波器处理部的结构的框图。
图13是表示图12的其它例的结构的框图。
图14是表示适用于本发明的实施例2的噪音滤波器中的噪音区域检测部的结构的框图。
图15是表示图14的噪音区域检测部中的饱和校正活度(activity)算出部的结构的框图。
图16是用于说明图15的饱和校正活度算出部的动作的特性曲线图。
图17是表示图14的噪音区域检测部中的测量有效判断部的结构的框图。
图18是表示适用于本发明的实施例3的噪音滤波器中的测量有效判断部的结构的框图。
图19是表示图18的测量有效判断部中的最小活度算出部的结构的框图。
图20是用于说明图19的最小活度算出部的动作的特性曲线图。
图21是表示由图19的最小活度算出部得到的最小活度的变化的特性曲线图。
图22是表示适用于本发明的实施例4的噪音滤波器中的测量有效判断部的结构的框图。
图23是表示图22的测量有效判断部中的最小活度算出部的结构的框图。
图24是表示适用于本发明的实施例5的噪音滤波器中的测量部的结构的框图。
图25是表示图24的测量部中的噪音区域检测部的结构的框图。
图26是表示影像信号的一般频率特性的特性曲线图。
图27是表示噪音的一般频率特性的特性曲线图。
图28是表示图25的噪音区域检测部中的测量有效判断部的结构的框图。
图29是表示图24的测量部中的噪音水平测量部的结构的框图。
图30是表示适用于本发明的实施例6的噪音滤波器中的测量部的结构的框图。
图31是表示图30的测量部中的噪音水平测量部的结构的框图。
图32是表示适用于本发明的实施例7的噪音滤波器中的测量部的结构的框图。
图33是表示适用于本发明的实施例8的噪音滤波器中的测量部的结构的框图。
图34是表示图33的测量部中的噪音区域检测部的结构的框图。
图35是表示图33的测量部中的噪音水平测量部的结构的框图。
图36是表示适用于本发明的实施例9的噪音滤波器中的测量部的结构的框图。
图37是表示本发明的实施例10的噪音滤波器的结构的框图。
图38是表示图37的噪音滤波器中的噪音区域检测部的结构的框图。
图39是表示图38的噪音区域检测部中的测量有效判断部的结构的框图。
图40是用于说明图39的测量有效判断部的动作的特性曲线图。
图41是表示图37的噪音滤波器中的噪音抽出部的结构的框图。
图42是用于说明图41的噪音抽出部的动作的特性曲线图。
图43是用于说明图41的噪音抽出部中的非线性特性设定部的动作的特性曲线图。
图44是表示图43的其它例的特性曲线图。
图45是表示图37的噪音滤波器中的噪音减法计算处理部的结构的框图。
图46是用于图45的噪音减法计算处理部的动作的说明的特性曲线图。
图47是表示图46的其它例的特性曲线图。
图48是表示本发明的实施例11的噪音滤波器的结构的框图。
图49是表示图48的噪音滤波器中的噪音区域检测部的结构的框图。
图50是用于说明图49的噪音区域检测部的动作的特性曲线图。
图51是表示图48的噪音滤波器中的噪音抽出部的结构的框图。
图52是表示本发明的实施例12的噪音滤波器的结构的框图。
图53是表示图52的噪音滤波器中的噪音抽出部的结构的框图。
图54是表示本发明的实施例13的噪音滤波器的结构的框图。
图55是表示适用于本发明的实施例14的噪音滤波器中的噪音区域检测部的结构的框图。
图56是用于说明图55的噪音区域检测部的动作的平面图。
图57是表示图55的噪音区域检测部中的无噪音像素检测部的结构的框图。
图58是用于说明图57的无噪音像素检测部的动作的平面图。
图59是表示图55的噪音区域检测部中的无噪音混入区域检测部的结构的框图。
图60是用于说明图59的无噪音混入区域检测部的动作的平面图。
图61是表示适用于本发明的实施例15的噪音滤波器中的噪音区域检测部的结构的框图。
图62是表示适用于本发明的实施例16的噪音滤波器中的噪音区域检测部的结构的框图。
附图标记说明
1、141、171、191、201:噪音滤波器;6、81、101、111、121、131、142、172、192:测量部;11、143:参照影像信号生成部;16、132:差分信号生成部;18、51、85、102、114、122、134、144、174、203、210、230、240:噪音区域检测部;20、82、104、112:部分区域信号分割部;21、105、145、175:像素区域特征量抽出部;106、147:饱和区域检测部;23、53、107、177:无噪音区域检测部;24、55、61、71、87、108、126、179:测量有效判断部;27、56、62、150:不能测量区域判断部;29、63、72:最小活度算出部;30:阈值设定部;31、88、153:有效噪音区域活度选择部;35、90、103、115、123、135、155、180:噪音水平测量部;37、91、127:噪音区域统计值算出部;40:噪音水平时间平滑部;42:滤波器处理部;47:前值存储部;52、176:饱和校正活度算出部;83、113、133、173:频带分割部;83、178:频率区域特征量抽出部;157、181、192:噪音抽出部;158:噪音抽出混合比设定部;159、184、195:非线性特性设定部;160、183、196:非线性处理部;161、185:混合处理部。
具体实施方式
用于实施发明的最佳方式
下面参照适当附图详细说明本发明的实施例。
实施例1
(1)实施例的结构:
图2是表示适用于本发明的影像信号处理装置中的噪音滤波器的框图。该噪音滤波器1是时间循环型的噪音滤波器,有效利用连续的场或帧间的相关来消除输入影像信号S1的噪音,并输出输出影像信号S2。
在此,延迟信号生成部2将输出影像信号S2延迟,输出噪音成分抽出用的延迟信号S3。此外,在此,延迟信号S3也可以是对输出影像信号S2进行运动校正而生成。减法计算电路3从输入影像信号S1减去延迟影像信号S3,生成噪音信号成分S4。信号水平校正电路4对该噪音信号成分S4的信号水平进行校正,生成校正用信号S5,减法计算电路5从输入影像信号S1减去该校正用信号S5,生成输出影像信号S2。
测量部6根据输入影像信号S1测量噪音信号成分的信号水平,输出测量结果S7,信号水平校正电路4根据该测量结果S7改变校正用信号S5的信号水平并输出。
图3是详细表示该测量部6的框图。在该测量部6中,参照影像信号生成部11使输入影像信号S1延迟1场或1帧的期间,输出参照用影像信号S11。更具体地说,参照影像信号生成部11对输入影像信号S1进行运动校正,生成参照用影像信号S11。
即,如图4所示,在参照影像信号生成部11中,延迟信号生成部12使输入影像信号S1延迟1场或1帧的期间,生成延迟影像信号S12。运动向量检测部13以该延迟影像信号S12为基准,根据输入影像信号S1检测运动向量MV。此外,在此,该运动向量的检测可以应用块匹配法、梯度法等各种运动向量检测方法。另外,运动向量的精度可以是整数像素精度、小数像素精度的任何一种。
运动校正影像信号生成部14使用该运动向量MV对延迟影像信号S12进行运动校正,输出参照用影像信号S11。另外,在此,在该参照影像信号S11可以确保充分实用性的特性的情况下,如图5所示,也可以在延迟信号生成部12中使输入影像信号S1仅延迟1场或1帧的期间而生成。
如图6所示,差分信号生成部16通过减法计算电路17从输入影像信号S1减去参照用影像信号S11,输出作为场间差分或帧间差分的差分信号S16。
噪音区域检测部18(图3)在由输入影像信号S1得到的1个画面中设定多个区域,对每个区域生成并输出信号(以下称为活度)S1A,该信号S1A是像素区域中的影像信号的1个画面内的特征量(以下称为面内的特征量),表示输入影像信号S1中的像素值的偏差程度。另外,对与该输入影像信号S1的各区域对应的每个区域,对于参照影像信号S11、差分信号S16,也分别生成活度S11A、S16A并将其输出。另外,分别判断是否适用于这些活度S1A、S11A、S16A的噪音水平测量,根据该判断结果,输出表示作为适合于噪音测量的区域的噪音区域识别标志S1F、S11F、S16F。
在此,图1是详细表示噪音区域检测部18的框图。在该噪音区域检测部18中,如图7所示,部分区域信号分割部20将输入影像信号S1的1个画面沿水平方向及垂直方向分割为多个区域。部分区域信号分割部20将输入影像信号S1、参照影像信号S11、差分信号S16分别分配到各区域,对每个区域集中输出这些输入影像信号S1、参照影像信号S11、差分信号S16。此外,将这样分配到各区域并对每个区域输出的输入影像信号S1、参照影像信号S11、差分信号S16分别称为部分输入影像信号S1P、部分参照影像信号S11P、部分差分信号S16P。另外,根据与图7的对比,如图8所示,区域的设定也可以使相邻的区域部分重叠。
像素区域特征量抽出部21输入部分输入影像信号S1P、部分参照影像信号S11P、部分差分信号S16P,对每个区域进行处理,对每个区域分别检测输入影像信号S1、参照影像信号S11、差分信号S16的活度S1A、S11A、S16A。此外,该活度S1A、S11A、S16A的检测也可以是通过计算各区域中的信号的分散而求得,另外,也可以代而通过以计算像素值的平方平均、像素值的绝对值平均、像素值的标准偏差等来求得。
另外,像素区域特征量抽出部21对每个区域分别计算输入影像信号S1、参照影像信号S11的像素值的平均值S1PAve、S11PAve并将其输出。
饱和区域检测部22用规定的阈值Smin Th、Smax Th判断由像素区域特征量抽出部21计算的输入影像信号S1、参照影像信号S11的像素值的平均值S1PAve、S11PAve,由此在各区域中输出饱和标志S1PAveF、S11PAveF,该饱和标志表示输入影像信号S1、参照影像信号S11的像素值是否有可能受到动态范围的影响而发生了限幅。此外,这里限幅指的是所谓的白电平限制、黑电平限制。另外,阈值Smin Th、Smax Th分别是黑色度及白色度的阈值。因此,饱和区域检测部22在S1PAve<S min Th或S1PAve>Smax Th成立的情况下,使输入影像信号S1的饱和标志S1PAveF的信号强度扩大。另外,在S11PAve<Smin Th或S11PAve>Smax Th成立的情况下,使参照影像信号S11的饱和标志S11PAveF的信号强度扩大。
在此,在影像信号的像素值受到动态范围的影响而发生了限幅的情况下,重叠在该影像信号中的噪音也被限幅。因此,在该被限幅的区域中,无法正确测量噪音水平。因此,饱和区域检测部22对每个区域,用规定的阈值Smin Th、Smax Th判断输入影像信号S1、参照影像信号S11的平均值S1PAve、S11PAve,由此,检测由限幅造成的不适合于噪音水平检测的区域,用饱和标志S1PAveF、S11PAveF输出检测结果。
无噪音区域检测部23输入输入影像信号S1、参照影像信号S11、差分信号S16的活度S1A、S11A、S16A,分别检测无噪音区域并输出无噪音区域检测标志S1NFF、S11NFF、S16NFF。在此,无噪音区域被推断为该区域是电视接收机、光盘录像机等的图形用户界面的区域、显示编辑过程中插入的字幕信息等的区域,该区域是可以认为在对象的信号中几乎没有噪音的区域。
无噪音区域检测部23用规定的阈值INF Th判断各区域中的输入影像信号S1、参照影像信号S11的活度S1A、S11A的值Iact,在Iact<INF Th的关系成立的情况下,分别使输入影像信号S1、参照影像信号S11的无噪音区域检测标志S1NFF、S11NFF的信号强度扩大。另外,用对应的阈值PNF Th判断各区域中的差分信号S16的活度S16A的值Pact,在Pact<PNF Th的关系成立的情况下,使差分信号S16的无噪音区域检测标志S16NFF的信号强度扩大。
测量有效判断部24处理饱和标志S1PAveF、S11PAveF、无噪音区域检测标志S1NFF、S11NFF、S16NFF,输出噪音区域识别标志S1F、S11F、S16F。
图9是详细表示该测量有效判断部24的框图。在测量有效判断部24中,不能测量区域判断部27通过饱和标志S1PAveF、S11PAveF、无噪音区域检测标志S1NFF、S11NFF、S16NFF的各信号S1、S11、S16的各个逻辑运算处理,输出表示该区域为不适合噪音的测量的区域的不能测量区域判断标志S1NF、S11NF、S16NF。
具体地说,在使输入影像信号S1的饱和标志S1PAveF、无噪音区域识别标志S1NFF中任意一个的信号强度扩大了的情况下,不能测量区域判断部27使该区域中的输入影像信号S1的不能测量区域判断标志S1NF的信号强度扩大。另外,在使参照影像信号S11的饱和标志S11PAveF、无噪音区域识别标志S11NFF中任意一个的信号强度扩大了的情况下,使该区域中的参照影像信号S11的不能测量区域判断标志S11NF的信号强度扩大。另外,在使差分信号S16的无噪音区域识别标志S16NFF中任意一个的信号强度扩大了的情况下,使该区域中的差分信号S16的不能测量区域判断标志S16NF的信号强度扩大。
放大电路28以与输入影像信号S1的活度S1A、参照影像信号S11的活度S11A对应的方式,对差分信号S16的活度S16A的值进行校正并输出。
最小活度算出部29对每个区域,从输入影像信号S1的活度S1A、参照影像信号S11的活度S11A、放大电路28输出的差分信号S16的活度S16A中选择对应的不能测量区域判断标志S1NF、S11NF、S16NF的信号强度没有扩大的活度S1A、S11A、S16A。另外,对每个区域,从所选择的活度S1A、S11A、S16A检测值最小的活度,进而,从该检测出的各区域的最小值中选择在1场或1帧中值最小的活度。最小活度算出部29将在该1场或1帧中选择的值最小的活度作为最小活度MinAct输出。此外,也可以记录并保持1场或1帧的不能测量区域判断标志S1NF、S11NF、S16NF的信号强度没有扩大的活度S1A、S11A、S16A,从该记录并保持的活度S1A、S11A、S16A中从值较小的一方输出多个平均值,来代替该1场单位或1帧单位的最小活度MinAct的检测。
阈值设定部30根据最小活度MinAct,计算用于判断活度S1A、S11A、S16A的上限阈值Act MaxTh1。即,阈值设定部30将由对应的区域的面积决定的常数A sd与最小活度MinAct相乘,计算用于计算上限阈值Act MaxTh1的第1中间计算值EstSD(=MinAct×A sd)。另外,同样地,将由对应的区域的面积决定的常数A mean与最小活度MinAct相乘,计算用于计算上限阈值Act MaxTh1的第2中间计算值EstMean(=MinAct×A mean)。另外,将第1中间计算值EstSD乘以常数ActTh Factor1,并与第2中间计算值EstMean相加,计算上限阈值Act MaxTh1(=EstMean+EstSD×ActTh Factor1)。此外,在此,常数ActTh Factor1是考虑了噪音的分布的常数。由此,阈值设定部30以最小活度MinAct为基准预测上限阈值Act MaxTh1,该上限阈值Act MaxTh1用于判断为在各区域中检测出的活度S1A、S11A、S16A不是仅由噪音的内容造成。
有效噪音区域活度选择部31根据上限阈值Act MaxTh1、最小活度MinAct、不能测量区域判断标志S1NF、S11NF、S16NF来设定噪音区域识别标志S1F、S11F、S16F。即,在使不能测量区域判断标志S1NF、S11NF、S16NF的信号强度扩大了的情况下,明显对应的活度S1A、S11A、S16A可以判断为不适用于噪音水平的测量,由此,在这种情况下,有效噪音区域活度选择部31使对应的信号S1A、S11A、S16A的噪音区域识别标志S1F、S11F、S16F的信号强度减弱。另外,即使在使不能测量区域判断标志S1NF、S11NF、S16NF的信号强度减弱了的情况下,在对应的活度S1A、S11A、S16A的值小于最小活度MinAct的情况下,或大于上限阈值Act MaxTh1的情况下,可以说用于噪音水平测量的可信性低,因此,在这种情况下也使噪音区域识别标志S1F、S11F、S16F的信号强度减弱。
噪音水平测量部35(图3)处理噪音区域识别标志S1F、S11F、S16F、活度S1A、S11A、S16A,输出噪音水平测量结果S7。
即,如图10所示,在噪音水平测量部35中,噪音区域统计值算出部37对使噪音区域识别标志S1F、S11F、S16F的信号强度扩大了的适合于噪音水平测量的区域的活度S1A、S11A、S16A进行统计处理,输出代表活度S1A、S11A、S16A的代表活度ACT。在此,该统计处理是在使噪音区域识别标志S1F、S11F、S16F的信号强度扩大了的区域的活度S1A、S11A、S16A之中检测最优势的活度的处理,可以应用求平均值的处理、求分布的中心值的处理、求柱状图中最大频度的值的处理等。噪音区域统计值算出部37以1场单位或1帧单位计算代表活度ACT并输出。此外,也可以以多个场单位或多个帧单位计算代表活度ACT并输出,来代替1场单位或1帧单位。
另外,噪音区域统计值算出部37对使噪音区域识别标志S1F、S11F、S16F的信号强度扩大了的活度S1A、S11A、S16A的数量进行计数,计算在代表活度ACT的计算中使用的活度S1A、S11A、S16A的数量n并将其输出。
噪音水平转换部36将代表活度ACT换算为噪音水平并将其输出。即,在噪音水平转换部36中,放大电路38将在噪音区域统计值算出部37中计算的代表活度ACT的值与增益AK相乘,校正输出到与平均噪音水平AveN对应的信号水平。此外,在此,增益AK是常数,根据上限阈值Act MaxTh1的值进行设定。
不能测量判断部39用规定的阈值判断在由噪音区域统计值算出部37求得的代表活度ACT的计算中使用的活度S1A、S11A、S16A的数量n,在该数量n小于阈值的情况下,输出表示噪音水平的测量困难的判断信号NG。
噪音水平时间平滑部40根据判断信号NG,对由噪音区域统计值算出部37求得的平均噪音水平AveN进行平滑化,输出噪音水平测量结果S7。即,如图11所示,噪音水平时间平滑部40通过由于判断信号NG的信号强度的减弱而进行接通动作的开关电路41,将平均噪音水平AveN输入到滤波器处理部42。在此,滤波器处理部42如图12所示,由FIR型的低通滤波器电路形成,该低通滤波器电路由以下电路形成:依次延迟输入信号IN的多级延迟电路D1~D4;用滤波器系数h0~h4对输入信号IN、各延迟电路D1~D4的输出信号进行加权的乘法计算电路M0~M4;以及对乘法计算电路M0~M4的输出信号进行加法计算的加法计算电路AD1~AD4。滤波器处理部42根据与由滤波器特性控制部44设定的滤波器系数h0~h4对应的特性,对通过开关电路41依次输入的平均噪音水平AveN进行平滑化。此外,在滤波器处理部42中,如图13所示,可以应用时间循环型(IIR)的低通滤波器,该时间循环型(IIR)的低通滤波器在延迟电路D中延迟输出信号OUT,在放大电路MBA及MAB中分别对该延迟电路D的输出信号和输入信号IN进行放大,并在加法计算电路AD中进行加法计算。
噪音水平时间平滑部40通过由于判断信号NG的信号强度的减弱而进行接通动作的开关电路45、根据判断信号NG切换接点的开关电路46,将滤波器处理部42的输出信号作为噪音水平测量结果S7输出。
在噪音水平时间平滑部40中,前值存储部47对由于判断信号NG的信号强度的减弱而通过开关电路45输入的滤波器处理部42的输出信号依次进行锁存并输出。另外,前值存储部47通过判断信号NG的信号强度的扩大而停止锁存动作,由此,在判断信号NG的信号强度扩大时,对滤波器处理部42的输出信号进行前值保持并输出。在判断信号NG的信号强度扩大时,噪音水平时间平滑部40将开关电路46的接点从开关电路45侧切换到前值存储部47侧,通过前值保持输出噪音水平测量结果S7。
减法计算电路48计算从前值存储部47输出的噪音水平测量结果S7和依次输入的平均噪音水平AveN之间的差分值开输出。
滤波器特性控制部44输入从前值存储部47输出的噪音水平测量结果,另外,通过减法计算电路48,输入该噪音水平测量结果和平均噪音水平AveN之间的差分值,根据这些测量结果、差分值来控制滤波器处理部42的特性。具体地说,滤波器特性控制部44在差分值较大的情况下,由于噪音水平测量结果的变化剧烈,因此加强滤波器处理部42的平滑化的处理。另外,在平均噪音水平AveN大的情况下,由于考虑到测量结果也参差不齐,因此加强滤波器处理部42的平滑化的处理。此外,在平滑化的处理中,能够根据使用噪音水平测量结果S7的后级的电路结构而进行各种设定,也可以省略这种平滑化的处理进行输出。
(2)实施例的动作:
在上述结构中,将影像信号S1依次输入到噪音滤波器1(图2),在减法计算电路5中减去噪音消除用的校正用信号S5,抑制噪音,并作为输出影像信号S2输出。影像信号S1在延迟信号生成部2中延迟该输出影像信号S2,生成延迟影像信号S3,在减法计算电路3中减去该延迟信号S3,生成噪音信号成分S4。另外,该噪音信号成分S4的信号水平在信号水平校正电路4中被校正,生成校正用信号S5。
因此,在该校正用信号S5的信号水平小于噪音水平的情况下,输入影像信号S1不能通过该噪音滤波器1充分抑制噪音,不能充分提高画质。另外,与此相反,在校正用信号S5的信号水平大于噪音水平的情况下,连影像本来的高频带成分都被抑制,会在被拍摄物体的边界、构造组织区域等处发生模糊。
因此,输入影像信号S1在测量部6中测量噪音水平,根据该噪音水平测量结果S7控制信号水平校正电路4的增益,将校正用信号S5的信号水平设定为正确的信号水平。但是,在测量部6中无法适当地测量噪音水平时,就难以适当地设定校正用信号S5的信号水平。
因此,在测量部6中,将输入影像信号S1(图3)输入到噪音区域检测部18的部分区域控制分割部20(图1),集中为在1个画面中设定的每个区域的信号(图7及图8),在像素区域特征量抽出部21中,对每个区域检测表示像素值的偏差程度的活度S1A。
在此,从该输入影像信号S1检测出的活度S1A的值随着噪音水平的增大而增大,由此来表示噪音水平。但是,在各种影像设备中,有由图形用户界面等带来的的各种影像插入到输入影像信号S1中的情况。另外,还有在编辑过程中插入字幕信息的情况。对于这种影像、信息,与输入影像信号S1的其它部分相比,是噪音少、像素值的偏差小的所谓的平坦的部分。因此,如果根据在这种部分中检测出的噪音水平来设定信号水平校正电路4的增益,就无法充分抑制噪音。
因此,在该测量部6中,输入影像信号S1在后续的无噪音区域检测部23中,用规定的阈值INF Th判断活度S1A的值Iact,检测噪音水平的非常小的区域,检测插入了字幕信息等的区域。即,输入影像信号S1在活度S1A的值Iact小于规定的阈值INF Th的情况下,作为不适合噪音的测量的区域,无噪音区域检测标志S1NFF的信号强度扩大。
另外,例如,在该输入影像信号S1是从光盘录像机播放的内容的情况下,也预测在向光盘录像机输入时重叠的噪音成分在该光盘录像机的记录播放系统的动态范围中被部分抑制的情况。在这种情况下,如果根据在该被抑制的部分中检测的噪音水平来设定信号水平校正电路4的增益,就无法充分抑制噪音。
因此,输入影像信号S1在像素区域特征量抽出部21中,进而对每个区域求得像素值的平均值S1PAve,另外,在饱和区域检测部22中,用规定的阈值Smin Th、Smax Th判断该平均值S1PAve,在有可能抑制了噪音的白色度区域、黑色度侧区域中,饱和标志S1PAveF的信号强度扩大。
对于输入影像信号S1,使饱和标志S1PAveF、无噪音区域检测标志S1NFF的信号强度减弱了的区域的活度S1A在测量有效判断部24、噪音水平测量部35中选择性地进行处理来测量噪音水平。由此,测量部6与以往相比,可以提高噪音水平的测量精度。
但是,从输入影像信号S1求得的活度S1A虽然包含了噪音成分,但是也包含了本来的影像信号的高频带成分。因此,在高频带成分的信号水平大时,噪音水平的测量中误差变大。
因此,输入影像信号S1在参照影像信号生成部11中进行延迟、运动校正,生成参照用影像信号S11(图4及图5),进而在差分信号生成部16中生成与该参照用影像信号S11之间的差分信号S16(图6)。另外,该差分信号S16在噪音区域检测部18的部分区域控制分割部20(图1)中,与输入影像信号S1同样地,集中为在1个画面中设定的每个区域的信号(图7及图8),在像素区域特征量抽出部21中,对每个区域检测活度S16A。另外,该差分信号S16的生成中使用的参照用影像信号S11也与输入影像信号S1同样地被处理,对每个区域检测活度S11A。
在此,对于该差分信号S16的活度S16A,差分信号S16是连续的场或帧间的差分信号,因此在能够正确进行运动校正的情况下,不受输入影像信号S1中本来包含的高频带成分的影响,正确表示噪音水平。但是也有错误进行运动校正的情况,在这种情况下,就成为噪音水平的误检测,也会发生使用输入影像信号S1的活度S1A来测量噪音水平更能够正确测量噪音水平的情况。
另外,例如,也可以预测通过场景变化、刷新等画质暂时变化的情况,在这种情况下,使用参照影像信号S11来测量噪音水平可以更正确地测量噪音水平。
通过这种方式,在该测量部6中,不但使用输入影像信号S1的活度S1A,还使用参照影像信号S11及差分信号S16的活度S11A及S16A来求得输入影像信号S1,由此可以比以往进一步高精度地测量噪音水平。
另外,对于该参照影像信号S11,也与输入影像信号S1同样地,有在记录播放系统等的动态范围中噪音被部分抑制的情况,进而有可能在显示有字幕信息等的区域中误检测噪音水平,因此与输入影像信号S1同样地,在饱和区域检测部22、无噪音区域检测部23中分别处理,设定饱和标志S11PAveF、无噪音区域检测标志S11NFF,也由此提高噪音水平的测量精度。
与此相对,差分信号S16在无噪音区域检测部23中设定无噪音区域检测标志S16NFF,由此也提高噪音水平的测量精度。此外,由于差分信号S16用阈值判断平均值无法检测噪音被部分抑制的部分,因此,在该测量部6中没有设定饱和标志,但是也可以使用在作为差分信号S16的生成源的输入影像信号S1及或参照影像信号S11中设定的饱和标志S1PAveF及或S11PaveF来设定饱和标志。
在测量部6中,对于输入影像信号S1,根据这些饱和标志S1PAveF、S11PAveF、无噪音区域检测标志S1NFF、S11NFF、S16NFF,在测量有效判断部24、噪音水平测量部35中选择性地处理3种活度S1A、S11A、S16A来测量噪音水平。由此,该测量部6可以比以往提高噪音水平的测量精度。
更具体地说,输入影像信号S1在测量有效判断部24的不能测量区域判断部27中(图1及图9),对每个输入影像信号S1、参照影像信号S11分别检测饱和标志S1PAveF、S11PAveF、无噪音区域检测标志S1NFF、S11NFF之中任意一个的信号强度扩大了的区域,使表示该区域为不适合于噪音水平测量的区域的不能测量区域判断标志S1NF、S11NF的信号强度扩大。另外,对于差分信号S16,检测无噪音区域识别标志S16NFF的信号强度扩大了的区域,在该区域中使不能测量区域判断标志S16NF的信号强度扩大。
输入影像信号S1在噪音水平测量部35中,从噪音水平的测量对象中除去不能测量区域判断标志S1NF、S11NF、S16NF的信号强度扩大了的区域的对应的活度S1A、S11A、S16A,从而根据以饱和区域检测部22中的像素值的平均值为基准的区域判断结果(为标志S1PAveF、S11PAveF)、以无噪音区域检测部23中的活度S1A、S11A、S16A为基准的区域判断结果(标志S1NFF、S11NFF、S16NFF),从噪音水平测量对象中除去不适合于噪音水平测量的区域,提高噪音水平的测量精度。
但是,即使在这样根据以像素值的平均值为基准的区域判断结果、以活度S1A、S11A、S16A为基准的区域判断结果来从噪音水平测量对象中除去不适合于噪音水平测量的区域的情况下,由输入影像信号S1还会有包含有不适合于噪音水平测量的区域的情况。在此,可以认为噪音与1个画面的整体几乎均匀重叠。因此,根据这样以像素值的平均值为基准的区域判断结果、以活度S1A、S11A、S16A为基准的区域判断结果而从噪音水平测量对象中除去不适合于噪音水平测量的区域,检测出与在其它区域中检测的活度相比过于偏离的值的活度的区域很可能包含有噪音以外的高频带成分。
因此,输入影像信号S1进而在最小活度算出部29中,选择对应的不能测量区域判断标志S1NF、S11NF、S16NF的信号强度没有扩大的活度S1A、S11A、S16A,以1场单位或1帧单位检测值最小的最小活度MinAct。另外,以该最小活度MinAct为基准,设定上限阈值Act MaxTh1。
另外,在有效噪音区域活度选择部31中,输入影像信号S1以该最小活度MinAct、上限阈值Act MaxTh1为基准来判断活度S1A、S11A、S16A,检测检测出与在其它区域中检测的活度相比过于偏离的值的活度的区域,由此检测不适合于噪音水平的测量的区域。输入影像信号S1从噪音水平测量对象也除去用该最小活度MinAct、上限阈值Act MaxTh1检测出的不适合于噪音水平测量的区域,从而进一步提高噪音水平的测量精度。
此外,也可以由此对每个输入影像信号S1、参照影像信号S11、差分信号S16求得最小活度MinAct、上限阈值Act MaxTh1,来用于对应的活度S1A、S11A、S16A的判断。另外,也可以根据活度S1A、S11A、S16A的分布来设定最小活度MinAct、上限阈值Act MaxTh1。此外,在根据活度S1A、S11A、S16A的分布设定最小活度MinAct、上限阈值Act MaxTh1的情况下,例如,可以考虑推断噪音的分布,根据该噪音的分布的标准偏差进行设定。
输入影像信号S1在有效噪音区域活度选择部31中,在根据不能测量区域判断标志S1NF、S11NF、S16NF设为不适合于噪音水平测量的区域中,加入用该最小活度MinAct、上限阈值Act MaxTh1检测出的不适合于噪音水平的测量的区域,对每个信号S1、S11、S16,使表示适合于噪音水平的测量的区域的噪音区域识别标志S1F、S11F、S16F的信号强度扩大。
输入影像信号S1(图10)在噪音区域统计值算出部37中,根据该噪音区域识别标志S1F、S11F、S16F,选择性地取得适合于噪音水平测量的区域的对应的活度S1A、S11A、S16A,以1场单位或1帧单位对该选择的活度S1A、S11A、S16A进行统计处理,检测代表活度ACT。另外,计算用于求得代表活度ACT的活度S1A、S11A、S16A的个数n。
输入影像信号S1(图10及图11)在该代表活度ACT被转换为平均噪音水平AveN后,在噪音水平时间平滑部40中进行平滑化处理,生成噪音水平检测结果S7。但是,对于根据噪音区域识别标志S1F、S11F、S16F而不适合于噪音水平测量的区域较多的1场、1帧,认为是本来就很难正确测量噪音水平的影像,这种在1场、1帧中检测出的噪音水平可以判断为是可信性低。
因此,输入影像信号S1在噪音水平转换部36的不能测量判断部39中,判断用于求得代表活度ACT的活度S1A、S11A、S16A的个数n,检测不适合于噪音水平测量的场、帧。另外,在噪音水平时间平滑部40中,在不适合于该噪音水平测量的场、帧中,切换开关电路41,而使得不将代表活度ACT加到平滑化处理对象中,另外,切换开关电路45、46,而使得通过前值保持输出噪音水平检测结果S7。由此,在实施例中,防止剧烈的值的变化并检测噪音水平检测结果S7,适合于由噪音滤波器1进行的噪音消除。
另外,通过滤波器特性控制部44,在噪音水平大、误差大的情况下,在连续的场、帧中噪音水平的变动大的情况下,加强由滤波器处理部42带来的平滑化的特性,从而防止测定精度变差。
(3)实施例的效果:
根据上述结构,用无噪音区域用的阈值来判断作为面内的特征量的活度从噪音水平测量对象中进行除去,从噪音水平测量对象中除去噪音水平非常小的区域,由此,可以比以往更高精度地测量噪音水平。即,在这种情况下,可以不测量电视接收机、光盘录像机等的图形用户界面的区域、显示编辑过程中插入的字幕信息等的区域噪音水平,可以正确测定混入本来的影像信号中的噪音水平,并高精度地测量噪音水平。
另外,对于参照信号也同样进行处理,设定噪音水平测量对象,通过与参照信号之间的综合处理来测量噪音水平,从而可以进一步高精度地测量噪音水平。
另外,对于帧间或场间的差分信号也同样进行处理并设定噪音水平测量对象,通过与差分信号之间的综合处理来测量噪音水平,从而可以进一步高精度地测量噪音水平。
另外,用平均值用的阈值来判断像素值的平均值并从噪音水平测量对象中除去,由此可以从噪音水平测量对象中除去受到动态范围的影响而发生限幅的可能性高的区域,并测量噪音水平,可以进一步提高噪音水平检测精度。
另外,合计特征量并根据检测出的特征量的最小值设定上限阈值,根据该上限阈值判断特征量,由此,可以将无法正确进行运动校正的区域从噪音水平测量对象中除去,从而也可以进一步提高噪音水平检测精度。
另外,以场单位或帧单位判断从测量对象中除去的区域的数量,在该区域的数量大于固定值的情况下,通过前值保持输出噪音水平检测结果,由此将噪音水平检测结果应用于噪音滤波器的处理中,可以防止错误抑制噪音水平,进而可以防止剧烈的画质的变化。
实施例2
图14是表示适用于本发明的实施例2的噪音滤波器中的噪音区域检测部的结构的框图。该实施例2的噪音滤波器除了应用该噪音区域检测部51来代替噪音区域检测部18这一点以外,其余与实施例1的噪音滤波器结构相同。此外,下面对与实施例1相同的结构标注对应的附图标记来表示,省略重复的说明。
该噪音区域检测部51采用对活度S1A、S11A、S16A进行校正使得表示抑制前的噪音水平的方式,来取代设定标志S1PAveF、S11PAveF使得从噪音水平测量对象中除去噪音可能被抑制的白色度侧区域、黑色度侧区域的方式,通过这种方式,这些区域也成为噪音水平测量对象。该噪音区域检测部51与在实施例1中所述的噪音区域检测部相同,在部分区域信号分割部20、像素区域特征量抽出部21中依次处理输入影像信号S1、参照影像信号S11、差分信号S16,求得活度S1A、S11A、S16A、输入影像信号S1、参照影像信号S11的像素值的平均值S1PAve、S11PAve。
在该噪音区域检测部51中,饱和校正活度算出部52对于噪音可能被抑制的白色度侧区域、黑色度侧区域,以表示抑制前的噪音水平的方式对活度S1A、S11A、S16A进行校正并输出。即,如图15所示,在饱和校正活度算出部52中,饱和度算出部57输入输入影像信号S1、参照影像信号S11的像素值的平均值S1PAve、S11PAve,计算各区域的饱和度S1PS、S11PS。此外,在此,用像素值的平均值除以像素值所能取得的最大值来求得饱和度。另外,对于差分信号S16的活度S16A,对输入影像信号S1及参照影像信号S11的平均值S1PAve及S11PAve进行平均值化,根据该平均值求得饱和度P16PS。
活度校正部54将输入影像信号S1、参照影像信号S11、差分信号S16的活度S1A、S11A、S16A分别乘以与对应的饱和度S1PS、S11PS、S16PS相应的校正量,来对活度S1A、S11A、S16A的值进行校正,输出活度S1AA、S11AA、S16AA。另外,在此,图16是表示例如仅对白色度侧进行活度校正的情况的示例,在这种情况下,设定为随着饱和度接近白色度侧,校正量变大。在该实施例中,对黑色度侧区域及白色度侧区域进行活度S1A、S11A、S16A的校正,由此活度校正部54设定校正量使得随着从黑色度接近白色度,值逐渐减小后,大致成为固定值,其后值逐渐增大。
无噪音区域检测部53以与该饱和校正活度算出部52中的活度S1A、S11A、S16A的校正对应的方式设定阈值INF Th,除了这一点,与实施例1的无噪音区域检测部23结构相同,用阈值INF Th、PNF Th判断活度S1AA、S11AA、S16AA,输出无噪音区域检测标志S1NFF、S11NFF、S16NFF。
如图17所示,测量有效判断部55与饱和校正活度算出部52、无噪音区域检测部53的结构对应,不能测量区域判断部56的结构不同,除了这一点,与实施例1的测量有效判断部24结构相同,根据饱和校正活度算出部52、无噪音区域检测部53的处理结果输出噪音区域识别标志S1F、S11F、S16F。因此,不能测量区域判断部56仅反转无噪音区域检测标志S1NFF、S11NFF、S16NFF的逻辑值并输出噪音区域识别标志S1F、S11F、S16F。
此外,通过这种方式,有效噪音区域活度选择部31处理校正后的活度S1AA、S11AA、S16AA来代替校正前的活度S1A、S11A、S16A,并输出标志S1F、S11F、S16F。另外,后级的噪音水平测量部35处理校正后的活度S1AA、S11AA、S16AA来代替校正前的活度S1A、S11A、S16A,并输出噪音水平检测结果S7。
如该实施例那样,以表示抑制前的噪音水平的方式对活度S1A、S11A、S16A进行校正来作为噪音水平测量对象,来代替从噪音水平测量对象中除去噪音有可能被抑制了的白色度侧区域、黑色度侧区域,也可以得到与实施例1相同的效果。另外,在这种情况下,与实施例1相比噪音水平测量对象的区域数增大,因此能够即使在例如黑暗的场景持续的情况下,也可以稳定地高精度地测量噪音水平。
实施例3
此外,在实施例1的结构中,根据输入影像信号S1可能会出现在大部分区域中无噪音检测标志S1NFF、S11NFF、S16NFF的信号强度扩大,用于噪音水平测量的区域数非常少,测量结果的可信性变差的情况。
因此,在本实施例中,在无噪音检测标志S1NFF、S11NFF、S16NFF的信号强度扩大了的区域的数量增大时,根据最小活度MinAct减少从噪音测量对象中除去的区域数量。另外,以下对与实施例1、2相同的结构标注对应的附图标记进行表示,省略重复的说明。
即,图18是表示适用于本发明的实施例3的噪音滤波器中的测量有效判断部的结构的框图。该实施例3的噪音滤波器除了应用本测量有效判断部61来代替测量有效判断部24这一点之外,其余与实施例1的噪音滤波器结构相同。
在该测量有效判断部61中,不能测量区域判断部62将饱和标志S1PAveF、S11PAveF直接作为不能测量区域判断标志S1NF、S11NF输出。另外,在饱和标志S1PAveF、S11PAveF之中任意一个的信号强度扩大了的情况下,使不能测量区域判断标志S16NF的信号强度扩大。
最小活度算出部63根据无噪音检测标志S1NFF、S11NFF、S16NFF的信号强度扩大了的区域的数量,改变最小活度MinAct的值并将其输出。
即,图19是表示最小活度算出部63的框图。在最小活度算出部63中,非无噪音最小活度算出部64与最小活度算出部29(图9)同样地处理活度S1A、S11A、S16A并输出最小活度MinActA。但是在本实施例中,由不能测量区域判断部62生成的不能测量区域判断标志S1NF、S11NF、S16NF与实施例1的情况不同,仅由饱和标志S1PAveF、S11PAveF生成,由此,非无噪音最小活度算出部64单独处理从不能测量区域判断部62输出的不能测量区域判断标志S1NF、S11NF、S16NF和无噪音区域检测标志S1NFF、S11NFF、S16NFF,选择性地处理与实施例1的最小活度算出部29相同区域的活度S1A、S11A、S16A并输出最小活度MinActA。由此,在本实施例中,无噪音区域也不用于噪音水平测量。
无噪音最小活度算出部65对于根据不能测量区域判断标志S1NF、S11NF、S16NF判断为可测量的区域、且根据无噪音区域检测标志S1NFF、S11NFF、S16NFF判断为难测量的区域,选择性地处理与非无噪音最小活度算出部64同样对应的活度S1A、S11A、S16A并输出最小活度MinActB。另外,计算用该区域的数N除以区域的总数得到的占有率RateN并将其输出。
最小活度合成部66用规定的阈值RTH1判断占有率RateN,如图20所示,在占有率RateN为该阈值RTH1以下时,即,根据无噪音区域检测标志S1NFF、S11NFF、S16NFF判断为难测量的区域的数为一定值以下时,根据非无噪音最小活度算出部64求得的最小活度MinActA的值,输出最小活度MinAct。
另外,用大于阈值RTH1的值的规定的阈值RTH2判断占有率RateN,在占有率RateN大于等于该阈值RTH2的情况下,即,根据无噪音区域检测标志S1NFF、S11NFF、S16NFF判断为难测量的区域的数大于等于固定值的情况下,根据无噪音最小活度算出部65求得的最小活度MinActB的值输出最小活度MinAct。另外,在占有率RateN为该2个阈值RTH1、RTH2之间的值的情况下,通过使用了最小活度MinActA、MinActB的直线插值来输出最小活度MinAct。由此,在图21中,如箭头A所示,最小活度合成部66在根据无噪音区域检测标志S1NFF、S11NFF、S16NFF判断为难测量的区域的数量增大时,减小最小活度MinAct的值,使噪音水平测量对象的区域数增大。
根据本实施例,检测无噪音检测标志S1NFF、S11NFF、S16NFF的信号强度扩大了的区域的占有率,在该区域的数量增大时,根据最小活度MinAct减少从噪音测量对象除去的区域数,由此可以防止由于用于噪音水平测量的区域数非常少而造成的测量精度的变差,与实施例1的结构相比,可以进一步高精度地测量噪音水平。
实施例4
图22是表示适用于本发明的实施例4的噪音滤波器中的测量有效判断部的结构的框图。该实施例4的噪音滤波器除了应用该测量有效判断部71来代替测量有效判断部55这一点之外,其余与实施例2的噪音滤波器结构相同。因此,在该实施例中,以表示抑制前的噪音水平的方式,对活度S1A、S11A、S16A进行校正,使用作为该校正结果的活度S1AA、S11AA、S16AA测量噪音水平,来代替从噪音水平测量对象中除去噪音可能被抑制的白色度侧区域、黑色度侧区域。另外,下面对与实施例1~3相同的结构标注对应的附图标记进行表示,省略重复的说明。
该测量有效判断部71根据最小活度MinAct的设定来最终设定噪音水平测量对象。因此,测量有效判断部71将以表示抑制前的噪音水平的方式进行了校正的活度S1AA、S11AA、S16AA输入最小活度算出部72。
在此,通过与图19的对比,如图23所示,在最小活度算出部72中,非无噪音最小活度算出部73选择性地处理根据无噪音区域检测标志S1NFF、S11NFF、S16NFF判断为噪音水平可测量的区域的对应的活度S1AA、S11AA、S16AA,并输出最小活度MinActA。此外,该活度S1AA、S11AA、S16AA的选择性处理与实施例1的最小活度算出部29相同。
与此相对,无噪音最小活度算出部74选择性地处理根据无噪音区域检测标志S1NFF、S11NFF、S16NFF判断为噪音水平难测量的区域的对应的活度S1AA、S11AA、S16AA,并输出最小活度MinActB。另外,该活度S1AA、S11AA、S16AA的选择性处理与实施例1的最小活度算出部29相同。此外,计算用于最小活度MinActB的计算的区域的占有率RataN并将其输出。
最小活度合成部75与最小活度合成部66相同,对这些最小活度MinActA、MinActB进行合成,输出最小活度MinAct。
有效噪音区域活度选择部31根据上限阈值Act MaxTh1、最小活度MinAct来设定噪音区域识别标志S1F、S11F、S16F。即,在对应的活度S1AA、S11AA、S16AA的值小于最小活度MinAct的情况下,或大于上限阈值Act MaxTh1的情况下,可以说用于噪音水平测量的可信性低,使噪音区域识别标志S1F、S11F、S16F的信号强度减弱。
依据该实施例,根据最小活度MinAct的设定最终从噪音水平测量对象中除去显示有字幕信息等的区域,根据从噪音水平测量对象中除去的区域的占有率来改变最小活度MinAct,由此,除了具有实施例1的效果,即使在黑暗的场景中,并且噪音非常少的场景持续的情况下,也可以稳定且高精度地测量噪音水平。
实施例5
图24是表示适用于本发明的实施例5的噪音滤波器中的测量部的结构的框图。在该测量部81中,对与上述各实施例相同的结构标注对应的附图标记进行表示,省略重复的说明。
该测量部81将输入影像信号S1和从参照影像信号生成部11输出的参照影像信号S11输入到部分区域信号分割部82,在此,生成部分输入影像信号S1P及部分参照影像信号S11P。此外,部分区域信号分割部82与对实施例1上述的部分区域信号分割部20相同,生成部分输入影像信号S1P及部分参照影像信号S11P。
频带分割部83输入部分输入影像信号S1P及部分参照影像信号S11P,将该输入的像素区域的信号分别转换为频率区域上的多个频带的信号并将其输出。在此,向该频率区域上的转换处理可以应用例如Hadamard变换、Haar变换、离散余弦变换等正交变换处理、使用了滤波器组的wavelet变换、子频带分割等各种方法。频带分割部83分别将该多个频带的信号作为部分输入影像频带信号S1PB及部分参照影像频带信号S11PB进行输出。
差分信号生成部84从部分输入影像信号S1P中减去部分参照影像信号S11P,输出部分差分信号S16P。另外,差分信号生成部84对每个对应的频带从部分输入影像频带信号S1PB中减去部分参照影像频带信号S11PB,输出部分差分频带信号S16PB。
噪音区域检测部85对于作为像素区域上的信号的部分输入影像信号S1P、部分参照影像信号S11P、部分差分信号S16P进行与上述实施例2的噪音区域检测部51同样的处理并输出标志S1F、S11F、S16F、活度S1AA、S11AA、S16AA。另外,对于作为频率区域上的信号的部分输入影像频带信号S1PB、部分参照影像频带信号S11PB、部分差分频带信号S16PB,分别检测各频带中的特征量并将其输出。
因此,如图25所示,在噪音区域检测部85中其像素区域上的信号的处理系统与上述实施例2的噪音区域检测部51结构相同。
频率区域特征量抽出部86从频率区域上的信号S1PB、S11PB、S16PB分别对每个区域检测表示与噪音相似的程度的平坦度S1B、S11B、S16B。在此,如图26所示,影像信号一般的频谱分布偏重于特定的频率。与此相对,如图27所示,噪音频谱分布在较宽广的频率频带中。因此,可以说频谱的分布越平坦,该信号就是包含越多噪音成分的信号。此外,在平坦度S1B、S11B、S16B中,可以应用表示各频带的频谱的离散的分散值、频谱的最大值和最小值之比等。
测量有效判断部87在上述的各实施例的测量有效判断部中的标志S1F、S11F、S16F的设定条件中加入对应的平坦度S1B、S11B、S16B来设定标志S1F、S11F、S16F。因此,如图28所示,测量有效判断部87除了设定标志S1F、S11F、S16F的有效噪音区域活度选择部88之外,与上述实施例4的测量有效判断部71结构相同。
有效噪音区域活度选择部88在满足上述各实施例的有效噪音区域活度选择部31中的标志S1F、S11F、S16F的设定条件的情况下,并且在分别用规定的阈值判断对应的平坦度S1B、S11B、S16B、根据频谱分布判断为噪音成分占支配地位的区域中,使标志S1F、S11F、S16F的信号强度扩大。由此,在该实施例中,参考作为频率区域中的影像信号的特征量的频谱分布来设定噪音水平测量对象的区域。
图29是表示噪音水平测量部90的结构的框图。在该噪音水平测量部90中,噪音区域统计值算出部91与噪音区域统计值算出部37同样地对噪音区域识别标志S1F、S11F、S16F的信号强度扩大了的区域的活度S1AA、S11AA、S16AA进行统计处理,输出代表活度S1AA、S11AA、S16AA的代表活度ACT。
另外,对噪音区域识别标志S1F、S11F、S16F的信号强度扩大了的区域,噪音区域统计值算出部91选择性地处理部分输入影像频带信号S1PB、部分参照影像频带信号S11PB、部分差分频带信号S16PB,输出与代表活度ACT对应的噪音区域侧的代表活度ACTB。此外,在这种情况下,噪音区域统计值算出部91对每个频带计算多个区域中的频谱值的平方平均、绝对值平均、标准偏差等,对每个频带输出代表活度ACTB。
噪音水平转换部92对于代表活度ACT进行与上述实施例同样的处理,输出噪音水平检测结果S7。与此相对,对于噪音区域侧的代表活度ACTB,对每个频带分别由放大电路93乘以增益AK、对值进行校正后,输入到噪音水平时间平滑部94。
噪音水平时间平滑部94对每个频带分别对放大电路93的输出信号进行时间平滑化处理,输出每个频带的噪音水平测量结果S7B。
依据该实施例,以频率区域中的平坦度为基准来设定标志S1F、S11F、S16F,根据在各频带中检测出的频谱的平坦度,改变噪音水平测量对象的区域,从而即使在根据以像素值为基准的活度难以判断是否为噪音水平测量对象的情况下,也可以正确判断噪音水平测量对象。具体地说,即使是对比度低的构造组织部、像素值的值较小的帧或场,只要以频率区域中的平坦度为基准,就可以确实地判断是否是适合于噪音水平测量的区域。因此,与上述实施例相比可以进一步提高噪音水平测量精度。
另外,有效使用求得该频率区域中的平坦度的结构,对每个频带分别输出噪音水平测量结果,由此,在对影像信号进行频带分割并进行处理的情况下,可以对应各种情况。具体地说,在噪音滤波器中,在对影像信号进行频带分割来抑制噪音时,可以正确设定各频带的校正用信号的信号水平。另外,也可以广泛适用于增强处理等高画质化技术。
实施例6
图30是表示适用于本发明的实施例6的噪音滤波器中的测量部的结构的框图。该测量部101只使用输入影像信号S1来测量噪音水平。
因此,测量部101直接将输入影像信号S1输入到噪音区域检测部102,在噪音水平测量部103中处理噪音区域检测部102的输出,并输出噪音水平测量结果S7。
在此,如图31所示,噪音区域检测部102省略与上述各实施例的噪音区域检测部中的参照影像信号S11、差分信号S16相关的结构,形成各部104~108,输出输入影像信号S1的活度S1A、噪音区域识别标志S1F。
另外,噪音水平测量部103也同样地,从上述各实施例的对应的结构中省略与参照影像信号S11、差分信号S16相关的结构而形成。
如该实施例那样,即使在只根据输入影像信号测量噪音水平的情况下,也可以比以往提高噪音水平的测量精度。
实施例7
图32是表示适用于本发明的实施例7的噪音滤波器中的测量部的结构的框图。该测量部111以针对图24所述的实施例5的对各影像信号进行频带分割并测量噪音水平的结构为前提,只使用输入影像信号S1来测量噪音水平。
因此,测量部111直接将输入影像信号S1输入到部分区域信号分割部112,另外,将从该部分区域信号分割部112输出的部分输入影像信号S1P输入到频带分割部113。另外,依次在噪音区域检测部114、噪音水平测量部115中处理部分区域信号分割部112、频带分割部113的输出,并输出噪音水平检测结果S7、S7B。
在此,这些部分区域信号分割部112、频带分割部113、噪音区域检测部114、噪音水平测量部115从上述实施例5的对应的结构中省略与参照影像信号S11、差分信号S16相关的结构而形成。
如该实施例那样,在以对影像信号进行频带分割并测量噪音水平的结构为前提,只使用输入影像信号S1来测量噪音水平的情况下,也可以比以往提高噪音水平的测量精度。
实施例8
图33是通过与图3的对比表示适用于本发明的实施例8的噪音滤波器中的测量部的结构的框图。在该测量部121中,对与上述实施例1相同的结构标注对应的附图标记进行表示,省略重复的说明。在该测量部121中,噪音区域检测部122只对差分信号S16生成活度S16A、噪音区域识别标志S16F,噪音水平测量部123使用该活度S16A、噪音区域识别标志S16F来输出噪音水平检测结果S7。
在此,图34是表示噪音区域检测部122的结构的框图。噪音区域检测部122在部分区域信号分割部20、像素区域特征量抽出部21、饱和区域检测部22中依次处理输入影像信号S1、参照影像信号S11、差分信号S16,并输出饱和标志S1PAveF、S11PAveF。
无噪音区域检测部125从实施例1的无噪音区域检测部23中省略与输入影像信号S1、参照影像信号S11相关的结构而形成,仅对差分信号S16输出无噪音区域检测标志S16NFF。测量有效部126从实施例1的对应的结构中省略与输入影像信号S1、参照影像信号S11相关的结构而形成,仅对差分信号S16输出噪音区域识别标志S16F、活度S16A。
如图35所示,噪音水平测量部123在噪音区域统计值算出部127、噪音水平转换部128中依次处理噪音区域识别标志S16F、活度S16A,并输出噪音水平测量结果S7。在此,噪音区域统计值算出部127、噪音水平转换部128从实施例1的对应的结构中省略与输入影像信号S1、参照影像信号S11相关的结构而形成。
如该实施例那样,即使在只用差分信号测量噪音水平的情况下,也可以比以往提高噪音水平的测量精度。此外,如该实施例那样,只用差分信号测量噪音水平而得到的噪音水平测量结果从原理上仅测量时间变动的噪音成分,因此,应用于例如时间循环型滤波器那样减少时间变动的噪音的处理中能够有效地减少噪音,其结果,可以防止在对比度低的运动物体边界部发生称为拖尾的模糊,确实地抑制噪音。
实施例9
图36是通过与图24的对比表示适用于本发明的实施例9的噪音滤波器中的测量部的结构的框图。在该测量部131中,对与上述实施例相同的结构标注对应的附图标记进行表示,省略重复的说明。该测量部131以针对图24所述的实施例5的对各影像信号进行频带分割并测量噪音水平的结构为前提,仅对差分信号S16测量噪音水平。测量部131在最初在差分信号生成部132中生成部分差分信号S16P之后,在后续的频带分割部133中生成部分差分频带信号S16PB。
该测量部131在噪音区域检测部134、噪音水平测量部135中依次处理部分差分频带信号S16PB、输入影像信号S1、参照信号S11、差分信号S16,仅对差分信号S16测量噪音水平,并输出噪音水平测量结果S7、S7B。
如该实施例那样,即使以进行频带分割并测量噪音水平的结构为前提、仅对差分信号S16测量噪音水平,也可以比以往提高噪音水平测量的精度。
实施例10
图37是表示本发明的实施例10的噪音滤波器的结构的框图。在该噪音滤波器中,对与上述实施例相同的结构标注对应的附图标记进行表示,省略重复的说明。该噪音滤波器141在测量部142中测量输入影像信号S1的噪音水平,使用该噪音水平测量结果S7来改变噪音降低的水平。
测量部142将输入影像信号S1输入到参照影像信号生成部143,生成参照影像信号S11,在部分区域信号分割部20中处理输入影像信号S1、参照影像信号S11,生成部分输入影像信号S1P、部分参照影像信号S11P。另外,在差分信号生成部16中,根据部分输入影像信号S1P、部分参照影像信号S11P生成部分差分信号S16P。此外,参照影像信号生成部143,对作为该噪音滤波器141的处理结果的输出影像信号S18进行运动校正,生成参照影像信号S11,来代替1帧前的输入影像信号S1。
噪音区域检测部144对部分输入影像信号S1P、部分参照影像信号S11P、部分差分信号S16P进行处理,输出输入影像信号S1、参照影像信号S11的活度S1A、S11A、噪音区域识别标志S1F、S11F。
在此,如图38所示,与将部分区域信号分割部20配置在差分信号生成部16的前级相对应,噪音区域检测部144将部分输入影像信号S1P、部分参照影像信号S11P、部分差分信号S16P直接输入到像素区域特征量抽出部145。像素区域特征量抽出部145与像素区域特征量抽出部21同样,对每个区域分别检测输入影像信号S1、差分信号S16的活度S1A、S16A。另外,检测输入影像信号S1、参照影像信号S11的平均值S1PAve、S11PAve并将其输出。
与饱和区域检测部22同样,饱和区域检测部147对该输入影像信号S1、参照影像信号S11的平均值S1PAve、S11PAve进行处理,并输出饱和标志S1PAveF、S11PAveF。
与无噪音区域检测部23同样,无噪音区域检测部146输出输入影像信号S1、差分信号S16的无噪音区域检测标志S1NFF、S16NFF。
与测量有效判断部24同样,测量有效判断部148对输入影像信号S1、差分信号S16的活度S1A、S16A、输入影像信号S1、参照影像信号S11的饱和标志S1PAveF、S11PAveF、输入影像信号S1、差分信号S16的无噪音区域检测标志S1NFF、S16NFF进行处理,并输出输入影像信号S1、差分信号S16的噪音区域识别标志S1F、S16F、输入影像信号S1、差分信号S16的活度S1A、S16A。另外,分别输出输入影像信号S1、差分信号S16的噪音可信度S1C、A16C。此外,在此,噪音可信度S1C、A16C分别是输入影像信号S1、差分信号S16的活度S1A、S16A表示噪音水平的可信度。
在此,图39是详细表示该测量有效判断部148的框图。在测量有效判断部148中,与不能测量区域判断部27同样,不能测量区域判断部150根据饱和标志S1PAveF、S11PAveF、无噪音区域检测标志S1NFF、S16NFF,输出输入影像信号S1、差分信号S16的不能测量区域判断标志S1NF、S16NF。具体地说,不能测量区域判断部150在输入影像信号S1的饱和标志S1PAveF、噪音区域识别标志S1NFF之中任意一个的信号强度扩大了的情况下,使该区域中的输入影像信号S1的不能测量区域判断标志S1NF的信号强度扩大。另外,在任何饱和标志S1PAveF、S11PAveF的信号强度扩大了的情况下,或差分信号S16的噪音区域识别标志S16NFF的信号强度扩大了的情况下,使该区域中的差分信号S16的不能测量区域判断标志S16NF的信号强度扩大。
最小活度算出部29从输入影像信号S1、差分信号S16的活度S1A、S16A检测最小活度MinAct并输出。
与阈值设定部30同样,阈值设定部152根据该最小活度MinAct计算上限阈值ActMAXTh1并将其输出。进而,阈值设定部152计算用于求得噪音可信度S1C、A16C的阈值ActMaxTh2并输出。在此,阈值设定部152对用于上限阈值ActMAXTh1的计算的第1中间计算值EstSD乘以阈值ActMaxTh2计算用的常数ActTh Factor2,将其结果得到的乘法计算值加上用于上限阈值Act MAX Th1的计算的第2中间计算值EstMean,计算阈值ActMaxTh2(=EstMean+EstSD×ActTh Factor2)。此外,在此,常数ActTh Factor2是大于常数ActTh Factor1的值。
与有效噪音区域活度选择部31同样,有效噪音区域活度选择部153输出输入影像信号S1、差分信号S16的噪音区域识别标志S1F、S16F。进而,有效噪音区域活度选择部153用上限阈值ActMAXTh1、阈值ActMaxTh2分别判断输入影像信号S1、差分信号S16的活度S1A、S16A,根据该判断结果,根据图40所示的特性输出输入影像信号S1及差分信号S16的噪音可信度S1C及S16C。
更具体地说,有效噪音区域活度选择部153在活度S1A、S16A的值小于上限阈值ActMAXTh1的情况下,根据值为1的固定值分别输出噪音可信度S1C及S16C。另外,在活度S1A、S16A的值大于阈值ActMaxTh2的情况下,根据值为0的固定值分别输出噪音可信度S1C及S16C。另外,在活度S1A、S16A的值为从上限阈值ActMAXTh1到阈值ActMaxTh2之间的值的情况下,根据将活度S1A、S16A的值作为参数的直线插值来输出噪音可信度S1C及S16C。由此,有效噪音区域活度选择部153设定噪音可信度S1C及S16C,使得在活度S1A、S16A的值大于固定值并增大时,值变小。
与噪音水平测量部35同样,噪音水平测量部155(图37)以输入影像信号S1、差分信号S16的噪音区域识别标志S1F、S16F为基准,对输入影像信号S1、差分信号S16的活度S1A、S16A进行处理,输出噪音水平测量结果S7。
噪音抽出部157根据部分输入影像信号S1P、部分差分信号S16P生成噪音信号S19并将其输出。该噪音滤波器141通过从输入影像信号S1(S1P)中减去该噪音信号S19来降低输入影像信号S1的噪音。因此,该噪音滤波器由时间循环型3D噪音滤波器和只用画面内的信息进行噪音降低处理的2D噪音滤波器的混合型形成。
在此,图41是详细表示噪音抽出部157的框图。在噪音抽出部157中,噪音抽出混合比设定部158计算由部分输入影像信号S1P、部分差分信号S16P形成的噪音成分的混合比BR并将其输出。具体地说,如图42所示,噪音抽出混合比设定部158用第1及第2阈值DRTh1、DRTh2判断噪音可信度S1C或S16C,在其一方的噪音可信度的值小于等于第1阈值DRTh1、大于等于第2阈值DRTh2的情况下,分别只选择输入影像信号S 1的噪音成分或差分信号S16的噪音成分,以这种方式将混合比BR设定为值0或1。另外,在其一方的噪音可信度的值为第1及第2阈值DRTh1、DRTh2之间的值的情况下,通过与噪音可信度的值对应的直线插值,设定混合比BR。此外,在该实施例中,使用差分信号S16侧的噪音可信度S16C,根据该图42所示的特性输出混合比BR。此外,混合比BR的设定方法不限于此,也可以使用2个噪音可信度S1C、S16C的双方进行设定。
非线性特性设定部159决定处理输入影像信号S1及差分信号S16的噪音成分的特性。在此,该噪音抽出部157对大振幅成分进行限幅,抽出噪音成分,非线性特性设定部159决定作为该限幅处理的非线性特性。具体地说,噪音抽出部157根据图43及图44所示的输入输出特性对噪音成分进行非线性处理,根据噪音水平测量结果S7、对应的噪音可信度决定非线性特性,使得开始限幅处理的信号水平Nth、-Nth随着噪音水平增大而远离0水平。另外,随着噪音可信度减少,将限幅的特性从急剧的特性设定为平滑的特性。非线性特性设定部159为了输入影像信号S1、差分信号S16,分别将特性设定信号S1T、S16T输出到非线性特性处理部160,将非线性特性处理部160中的非线性处理的特性设定为该决定好的特性。
非线性特性处理部160对差分信号S16用在非线性特性设定部159中设定的输入输出特性进行校正,作为噪音成分S16N输出。与此相对,对输入影像信号S1用规定的高通滤波器抽出高频带成分,用在非线性特性设定部159中设定的输入输出特性对该高频带成分进行校正,作为噪音成分S1N输出。
混合处理部161用混合比BR对从该非线性特性处理部160输出的噪音成分S1N、S16N进行加权相加,输出噪音信号S19。此外,如对图8所述那样,在相邻的区域部分重叠时,混合处理部161对区域重复的部分,对在各区域中求得的噪音成分进行平均值化,输出噪音信号S19。此外,该平均值的处理也可以在后述的部分区域综合部166中执行。
噪音减法计算处理部163为了防止所谓的粘连,对噪音信号S19的信号水平进行校正,降低输入影像信号S1的噪音水平。在此,粘连是在时间循环型滤波器中在回归率为1附近时发生的现象,在有运动的部分可以察觉画质明显变差。因此,如图45所示,噪音减法计算处理部163将噪音信号S19输入到粘连防止部164。在此,粘连防止部164根据图46所示的输入输出特性进行输入信号校正,抑制小振幅成分并输出。此外,通过与图46的对比,如图47所示,该特性的校正可以根据各种特性进行校正。噪音减法计算处理部163在后续的减法计算电路165中,从部分输入影像信号S1P中减去该粘连防止部164的输出信号来抑制噪音成分。
部分区域信号综合部166(图37)与部分区域信号分割部20相反,将从该噪音减法计算处理部163集中到每个区域并输出的部分输入影像信号S1P转换为根据光栅扫描的顺序像素值连续的影像信号,将该影像信号作为输出影像信号S18输出。
依据该实施例,有效使用噪音测量部的结构,通过时间循环型3D噪音滤波器与2D噪音滤波器的混合型来构造噪音滤波器,可以比以往高精度地测量噪音水平,另外,能够有效地使用测量结果来降低噪音。
即,在测量噪音水平时,分别检测作为输入影像信号及差分信号的活度中的可信度的噪音可信度,通过与该噪音可信度对应的混合比的设定,可以正确切换时间循环型3D噪音滤波器进行的动作和2D噪音滤波器进行的动作,由此,可以正确对应各种输入影像信号,降低噪音。
即,在时间循环型3D噪音滤波器中,对于噪音降低效果不充分的移动物体等的影像,可以通过2D噪音滤波器降低噪音水平,由此,可以比以往确实地降低噪音。
另外,与此相反,在2D噪音滤波器中,对于噪音的降低效果不充分的构造组织部,可以通过时间循环型3D噪音滤波器降低噪音水平,由此,可以比以往确实地降低噪音。
另外,对噪音成分进行非线性处理,降低噪音水平,对应噪音水平检测结果、噪音可信度,变化该非线性处理的特性,由此,可以在越类似噪音的区域越加强噪音的降低效果,同时能够尽可能地减小在加强噪音的降低效果的情况下可能会出现劣化的构造组织部、动作边界部的模糊。
另外,对噪音成分进行非线性处理,根据噪音可信度,以抑制大振幅的方式设定该非线性处理的特性,由此,适当地变化非线性处理的特性,可以进一步提高噪音水平的抑制效果。
实施例11
图48是通过与图37的对比表示本发明的实施例11的噪音滤波器的框图。另外,在该实施例中,对与上述实施例相同的结构标注对应的附图标记进行表示,省略重复的说明。
在该实施例中,与对实施例5说明的测量部81相同,测量部172在频带分割部173中对输入影像信号、差分信号进行频带分割,以频率区域中的平坦度为基准测量噪音水平。此外,在该图48的测量部172中生成差分信号之后进行频带分割,这一点与实施例5的测量部81不同。
测量部172构成为对于参照影像信号S11,不将各区域用于噪音测量。因此,通过与图25的对比,如在图49中表示噪音区域检测部174的结构那样,在该噪音区域检测部174的各部175~179中,除了与该参照影像信号S11相关的结构不同这一点,其余与对应的各部结构相同。此外,噪音水平测量部174根据图50所示的可信度校正系数对值进行校正,输出噪音可信度S1C、S16C。此外,该可信度校正系数是与对应的平坦度S1B、S16B相对应的系数。
与噪音水平测量部155同样,噪音水平测量部180根据噪音区域检测部174的输出来输出噪音测量结果S7、S7B。
噪音抽出部181根据测量部172的输出,对由频带分割部173进行频带分割并输出的部分输入影像信号S1PB、差分信号S16PB进行处理,输出噪音信号S19。
图51是详细表示噪音抽出部181的框图。与在实施例10中说明的噪音抽出部157同样,该噪音抽出部181对每个频带设定混合比BR。
在该噪音抽出部181中,非线性特性处理部183对部分输入影像信号S1PB、差分信号S16BP的每个频带分别执行非线性处理,输出噪音成分S1NB、S16NB。另外,与该非线性特性处理部183的结构对应,非线性特性设定部184根据每个频带的噪音水平检测结果S7B,对每个频带设定非线性特性处理部183的特性。此外,各频带的特性设定方法与对实施例10所述的内容相同。
与混合处理部161同样,混合处理部185对每个频带分别合成并输出噪音抽出部181的输出信号。与频带合成部186、频带分割部173相反,对多个频带的混合处理部185的输出信号进行合成,输出噪音信号S19。
根据该实施例,有效使用测量部中的每个频带的噪音水平测量的结构,对每个频带降低噪音水平,由此,与目前相比,可以进一步确实地降低噪音水平。即,可以抑制动作模糊、构造组织部等的模糊,并且有效地降低噪音。另外,可以更有效地对在频率频带中带有偏重的噪音进行噪音降低。此外,这种在频率频带中带有偏重的噪音是例如所谓的横向噪音(块噪音(clamp noise))、RF系列的噪音、MPEG等压缩噪音。
另外,此时,根据在各频带中检测出的平坦度,对噪音可信度进行校正,由此也可以得到进一步降低噪音水平的效果。
实施例12
图52是通过与图48的对比表示本发明的实施例12的噪音滤波器的框图。另外,在该实施例中,对与上述实施例相同的结构标注对应的附图标记进行表示,省略重复的说明。噪音滤波器191是所谓的2D噪音滤波器,仅根据输入影像信号S1的面内成分降低噪音水平。因此,测量部192除了在噪音区域检测部193中生成噪音可信度S1C这一点,其余与实施例7的测量部111结构相同。
噪音抽出部194对频带分割后的部分输入影像信号S1PB进行处理,生成噪音信号S19。即,如图53所示,噪音抽出部194在非线性特性设定部195中,根据噪音可信度S1C、噪音水平检测结果S7B,仅对输入影像信号S1对每个频带分别决定非线性特性。另外,噪音抽出部194在非线性特性处理部196中,用在非线性特性设定部195中决定的非线性特性对部分输入影像信号S1PB的特性进行校正,作为噪音信号S19B输出。
根据该实施例,进行频带分割并降低噪音水平,由此在2D噪音滤波器中可以确实地降低噪音水平。
实施例13
图54是通过与图48的对比表示本发明的实施例13的噪音滤波器的框图。另外,在该实施例中,对与上述实施例相同的结构标注对应的附图标记进行表示,省略重复的说明。噪音滤波器201是所谓的时间循环型噪音滤波器,只根据输入影像信号S1的场间差分或帧间差分成分来降低噪音水平。因此,测量部202除了参照影像信号生成部143的结构不同、在噪音区域检测部203中生成噪音可信度S16C这几点,其余与实施例9的测量部131结构相同。
根据该实施例,进行频带分割并降低噪音水平,由此在时间循环型3D噪音滤波器中可以确实地降低噪音水平。
实施例14
图55是通过与图34的对比表示适用于本发明的实施例14的噪音滤波器中的噪音区域检测部的结构的框图。该实施例的测量部除了该噪音区域检测部210的结构不同这一点,其余与实施例8的测量部121结构相同。另外,该噪音区域检测部210设置无噪音区域检测部211来代替无噪音区域检测部125,除了与该无噪音区域检测部211相关的结构不同这一点,其余与图34的噪音区域检测部122结构相同。
在此,将输入影像信号S1等分割为多个区域(以下称为部分区域)的情况下,如图56所示,会产生只包含部分字幕、GUI等的区域A。在这种情况下,如上述实施例那样单纯地用阈值判断活度来检测无噪音区域,这种区域A就不能作为无噪音区域被检测。即,在上述实施例中,该区域A被判断为是用于测量噪音水平的噪音区域,从而在噪音测量结果中产生误差。
因此,在该实施例中,以像素单位判断是否适合于噪音的测量,根据该判断结果设定无噪音区域。因此,无噪音区域检测部211使用与附近像素的相关以像素单位判断是否为不适合于噪音测量的像素(以下称为无噪音像素)。因此,噪音区域检测部210将差分信号S16输入到无噪音区域检测部211的无噪音像素检测部212。
如图57所示,无噪音像素检测部212将差分信号S16输入到附近像素差异度算出部216。如图58所示,附近像素差异度算出部216将差分信号S16的各像素设定为依次处理的对象像素,以该对象像素为中心,设定规定范围的局部窗口。此外,局部窗口设定为包围小于对图7所述的部分区域的区域。
另外,附近像素差异度算出部216对由该局部窗口所包围的每个附近像素与对象像素之间分别检测像素值的差异度。此外,该差异度可以适用例如绝对值差分、平方差分等表示与附近像素之间的相关性的各种指标。
类似像素计数器部217用规定的阈值判断在附近像素差异度算出部216中检测出的差异度,对每个对象像素计数差异度小于等于阈值的附近像素数,并输出计数值。由此,类似像素计数器部217对每个对象像素检测与对象像素之间相关性高的附近像素数。
阈值判断部218用规定的阈值判断类似像素计数器部217的计数值,将与对象像素之间相关性高的附近像素数大于该阈值的对象像素检测为无噪音像素。阈值判断部218将该无噪音像素的检测结果作为无噪音像素识别标志S16NFP输出。
无噪音混入区域检测部213(图55)根据该无噪音像素识别标志S16NFP,检测包含较多与附近像素之间相关性高的像素的区域,输出无噪音混入区域识别标志S16NFFM。即,如图59所示,在无噪音混入区域检测部213中,无噪音像素混入区域检测部220输入无噪音像素识别标志S16NFP,对每个部分区域计数无噪音像素识别标志S16NFP。另外,无噪音像素混入区域检测部220用规定的阈值判断计数值,由此,检测在图60(A)中通过无噪音像素混入区域表示的、包含较多与附近像素之间相关性高的像素的区域。无噪音像素混入区域检测部220根据无噪音像素混入区域识别标志输出该检测结果。
延迟处理部221按照与后级的无噪音混入区域判断部222的处理对应的期间,延迟并输出该无噪音像素混入区域识别标志。
无噪音混入区域判断部222根据从无噪音像素混入区域检测部220、延迟处理部221输出的无噪音像素混入区域识别标志,在处理对象的部分区域的无噪音像素混入区域识别标志的信号强度扩大了的情况下,即,在包含较多与附近像素之间相关性高的像素的区域中,使无噪音混入区域识别标志S16NFFM的信号强度扩大。另外,即使在处理对象的部分区域的无噪音像素混入区域识别标志的信号强度没有扩大的情况下,在与处理对象的部分区域相邻的部分区域中无噪音像素混入区域识别标志的信号强度扩大了的情况下,即,相邻的部分区域是包含较多与附近像素之间相关性高的像素的区域的情况下,使无噪音混入区域识别标志S16NFFM的信号强度扩大。
由此,通过与图60(A)的对比,如在图60(B)中通过相邻无噪音像素混入区域所示那样,也包括相邻的部分区域是无噪音像素混入区域的情况,无噪音混入区域检测部213将该部分区域判断为无噪音混入区域,根据无噪音混入区域识别标志S16NFFM输出该判断结果。此外,在此,在图60(B)中,通过粗线表示的矩形框,表示在处理对象的部分区域中用于判断无噪音像素混入区域识别标志的区域。
测量有效判断部214除了以无噪音混入区域识别标志S16NFFM为基准来代替无噪音区域检测标志S16NFF并输出活度S16A这一点,其余与图34的测量有效判断部126结构相同。
在该实施例中,检测与附近像素相关性高的像素,根据该检测结果,从噪音水平测量对象中除去包含较多与附近像素之间相关性高的像素的区域,由此,至少可以不将可疑的区域用于噪音水平的测量,从而可以进一步有效地避免字幕、GUI的影响,确实地检测噪音水平。
更具体地说,对每个像素检测作为表示与附近像素之间的非相关性的指标的差异度并判断该差异度,对每个部分区域检测与附近像素相关性高的像素数并进行判断,检测包含较多与附近像素之间相关性高的像素的区域,由此可以确实地检测噪音水平。
另外,通过使用差分信号来检测差异度,可以根据绝对值差分、平方差分等简单的运算处理的指标来检测差异度。
另外,不仅是对象区域,在相邻区域是包含较多与附近像素之间相关性高的像素的区域的情况下,通过从噪音水平测量对象中除去该区域,也可以确实地避免字幕、GUI等的影响,正确测量噪音水平。
实施例15
图61是通过与图1及图55的对比表示适用于本发明的实施例15的噪音滤波器中的噪音区域检测部的结构的框图。该实施例的测量部除了该图61所示的噪音区域检测部230的结构不同这一点,其余与实施例1的测量部结构相同,另外,该噪音区域检测部230除了设置无噪音区域检测部231来代替无噪音区域检测部23这一点,其余与图1的噪音区域检测部18结构相同。
另外,无噪音区域检测部231除了设置无噪音像素检测部232、无噪音混入区域检测部233来代替无噪音像素检测部212、无噪音混入区域检测部213这一点,其余与图55的无噪音区域检测部211结构相同。无噪音区域检测部231除差分信号S16以外,还对输入影像信号S1、参照影像信号S11也与差分信号S16同样地生成无噪音像素识别标志S1NFP、S11NFP,进而生成无噪音混入区域识别标志S1NFFM、S11NFFM,除了这一点,其余与无噪音区域检测部211结构相同。测量有效判断部234由此以无噪音混入区域识别标志S1NFFM、S11NFFM、S16NFFM为基准来代替无噪音区域检测标志S1NFF、S11NFF、S16NFF,并输出活度S1A、S11A、S16A,除了这一点,其余与图1的测量有效判断部24结构相同。
如该实施例那样,不仅对于差分信号,也对于输入影像信号、参照影像信号,包括相邻的部分区域,对每个部分区域判断是否是适合于测量噪音的部分区域,由此可以进一步有效地避免字幕、GUI的影响,确实地检测噪音水平。
实施例16
图62是通过与图31及图55的对比表示适用于本发明的实施例16的噪音滤波器中的噪音区域检测部的结构的框图。该实施例的测量部除了该图62所示的噪音区域检测部240的结构不同这一点,其余与实施例6的测量部结构相同。另外,该噪音区域检测部240除了设置无噪音区域检测部241来代替无噪音区域检测部107这一点,其余与图31的噪音区域检测部102结构相同。
另外,无噪音区域检测部241设置无噪音像素检测部242、无噪音混入区域检测部243来代替无噪音像素检测部212、无噪音混入区域检测部213,除了这一点,其余与图55的无噪音区域检测部211结构相同。在此,无噪音像素检测部242、无噪音混入区域检测部243代替差分信号S16,对输入影像信号S1进行与差分信号S16同样的处理,生成无噪音像素识别标志S1NFP,进而生成无噪音混入区域识别标志S1NFFM,除了这一点,其余与无噪音像素检测部212、无噪音混入区域检测部213结构相同。测量有效判断部244由此以无噪音混入区域识别标志S1NFFM为基准来代替噪音区域识别标志S1NFF并输出活度S1A,除了这一点,其余与图31的测量有效判断部108结构相同。
如该实施例那样,对于输入影像信号,包括相邻的部分区域,对每个部分区域判断是否是适合于测量噪音的部分区域,这样也可以得到与实施例13相同的效果。
实施例17
此外,在上述实施例中,对将本发明应用于噪音滤波器中的情况进行了说明,但是本发明不限于此,可以广泛应用于各种影像信号的处理。
另外,在上述实施例中,对通过硬件构成噪音滤波器的情况进行了说明,但是本发明不限于此,也可以设为通过运算处理单元,通过执行程序来构成。此外,在这种情况下,该程序可以预先安装并提供,也可以记录到光盘、磁盘、存储卡等记录介质中提供,还可以通过经由互联网等网络的下载来提供。
工业上的实用性
本发明可以应用于例如消除影像信号中的噪音的噪音滤波器。

Claims (23)

1.一种影像信号处理方法,测量输入影像信号的噪音水平,其特征在于,具有以下步骤:
面内的特征量检测步骤,对所述输入影像信号中设定的每个区域检测表示所述输入影像信号中的噪音水平的面内的特征量;
无噪音区域的处理步骤,用无噪音区域用的阈值判断在所述面内的特征量检测步骤中检测出的面内的特征量,从噪音水平测量对象中除去所述面内的特征量少于所述无噪音区域用的阈值的区域;以及
噪音水平测量步骤,对由所述无噪音区域的处理步骤除去而剩余的区域的所述面内的特征量进行统计处理,输出噪音水平测量结果。
2.根据权利要求1所述的影像信号处理方法,其特征在于,具有以下步骤:
参照影像信号生成步骤,生成相对于所述输入影像信号延迟的参照影像信号;
参照影像信号的面内的特征量检测步骤,对所述参照影像信号中设定的每个区域检测所述参照影像信号中的所述面内的特征量;以及
参照影像信号的无噪音区域的处理步骤,用无噪音区域用的阈值判断在所述参照影像信号的面内的特征量检测步骤中检测出的面内的特征量,从噪音水平测量对象中除去所述面内的特征量少于所述无噪音区域用的阈值的区域,
所述噪音水平测量步骤不仅在由所述无噪音区域的处理步骤除去而剩余的区域中测量所述噪音水平,还对在由所述参照影像信号的无噪音区域的处理步骤除去而剩余的区域的所述面内的特征量进行统计处理,测量所述噪音水平。
3.根据权利要求1所述的影像信号处理方法,其特征在于,具有以下步骤:
差分信号生成步骤,生成所述输入影像信号的帧间或场间的差分信号;
差分信号的面内的特征量检测步骤,对所述差分信号中设定的每个区域检测所述差分信号中的所述面内的特征量;以及
差分信号的无噪音区域的处理步骤,用无噪音区域用的阈值判断在所述差分信号的面内的特征量检测步骤中检测出的面内的特征量,从噪音水平测量对象中除去所述面内的特征量少于所述无噪音区域用的阈值的区域,
所述噪音水平测量步骤不仅在由所述无噪音区域的处理步骤除去而剩余的区域中测量所述噪音水平,还对由所述差分信号的无噪音区域的处理步骤除去而剩余的区域的所述面内的特征量进行统计处理,测量所述噪音水平。
4.根据权利要求1所述的影像信号处理方法,其特征在于,
所述面内的特征量检测步骤具有差分信号生成步骤,在该差分信号生成步骤中生成所述输入影像信号的帧间或场间的差分信号,
所述面内的特征量检测步骤通过对所述输入影像信号中设定的每个区域检测所述差分信号中的所述面内的特征量,来检测所述输入影像信号中的面内的特征量。
5.根据权利要求1所述的影像信号处理方法,其特征在于,具有以下步骤:
平均值检测步骤,对所述输入影像信号中设定的每个区域检测所述输入影像信号中的像素值的平均值;以及
饱和区域的检测步骤,用平均值用的阈值判断在所述平均值检测步骤中检测出的平均值,检测可能会抑制混入到所述输入影像信号中的噪音的区域,从所述噪音水平测量步骤的处理对象中除去该检测出的区域。
6.根据权利要求1所述的影像信号处理方法,其特征在于,具有以下步骤:
最小值检测步骤,合计所述面内的特征量,检测有效区域的最小值;
阈值设定步骤,根据在所述最小值检测步骤中检测出的有效区域的最小值设定与所述最小值对应的上限阈值;以及
根据特征量进行的处理对象除去步骤,根据所述上限阈值判断所述面内的特征量,检测所述面内的特征量大于所述上限阈值的区域,从所述噪音水平测量步骤的处理对象中除去该检测出的区域。
7.根据权利要求1所述的影像信号处理方法,其特征在于,
所述噪音水平测量步骤以场单位或帧单位判断从测量对象除去的区域的数量,在该区域的数量大于固定值的情况下,通过前值保持输出所述噪音水平检测结果。
8.根据权利要求1所述的影像信号处理方法,其特征在于,具有以下步骤:
平均值检测步骤,对所述输入影像信号中设定的每个区域检测所述输入影像信号中的像素值的平均值;以及
面内的特征量校正步骤,根据在所述平均值检测步骤中检测出的平均值求饱和度,根据该饱和度对在所述面内的特征量检测步骤中检测出的所述面内的特征量进行校正,
所述无噪音区域的处理步骤用所述无噪音区域用的阈值判断在所述面内的特征量校正步骤中进行了校正的所述面内的特征量。
9.根据权利要求6所述的影像信号处理方法,其特征在于,具有以下步骤:
与无噪音相关的最小值检测步骤,对在所述无噪音区域的处理步骤中从噪音水平测量对象中除去的所述区域的面内的特征量进行合计,检测无噪音的最小值;以及
占有率检测步骤,检测占有率,该占有率表示在1场或1帧中的所述无噪音区域的处理步骤中从噪音水平测量对象中除去的所述区域的比例,
所述处理对象除去步骤随着所述占有率的增大,使所述有效区域的最小值的值接近所述无噪音的最小值,判断所述面内的特征量,从所述噪音水平测量步骤的处理对象中除去所述面内的特征量小于所述有效区域的最小值的区域。
10.根据权利要求1所述的影像信号处理方法,其特征在于,具有以下步骤:
频带分割步骤,对所述输入影像信号中设定的每个区域,将所述输入影像信号分割为多个频带;
每个频带的特征量检测步骤,对在所述频带分割步骤中分割的每个频带,检测所述输入影像信号中的表示噪音水平的频率区域的特征量;以及
每个频带的噪音水平测量步骤,关于所述噪音水平测量步骤中的噪音水平测量对象的区域,对所述频率区域的特征量进行统计处理,输出所述每个频带的噪音水平检测结果。
11.根据权利要求1所述的影像信号处理方法,其特征在于,
根据所述各频带中检测的频谱的平坦度,改变在所述噪音水平测量步骤中处理的区域数量。
12.根据权利要求1所述的影像信号处理方法,其特征在于,
具有滤波处理步骤,在该滤波处理步骤中根据所述噪音水平检测结果,改变噪音抑制水平来抑制所述输入影像信号的噪音。
13.根据权利要求12所述的影像信号处理方法,其特征在于,所述滤波处理步骤具有以下步骤:
时间方向的噪音成分检测步骤,根据场间差分或帧间差分检测由差分造成的噪音成分;
面内的噪音成分检测步骤,在1场或1帧内检测由面内造成的噪音成分;
合成处理步骤,对由所述差分造成的噪音成分和由所述面内造成的噪音成分进行加权相加,生成噪音校正用信号;
减法计算步骤,从所述输入影像信号减去所述噪音校正用信号;
噪音可信度检测步骤,根据所述频率区域的特征量检测表示所述各区域的所述噪音水平检测结果的可信性的噪音可信度;以及
混合比设定步骤,根据所述噪音可信度设定所述合成处理中的加权相加的比例。
14.根据权利要求13所述的影像信号处理方法,其特征在于,
所述合成处理步骤根据所述噪音可信度抑制大振幅,来生成所述噪音校正信号。
15.根据权利要求10所述的影像信号处理方法,其特征在于,
具有滤波处理步骤,该滤波处理步骤对在所述频带分割步骤中分割出的每个频带,根据对应的每个频带的噪音水平检测结果来改变噪音抑制水平,抑制所述输入影像信号的噪音。
16.根据权利要求15所述的影像信号处理方法,其特征在于,所述滤波处理步骤具有以下步骤:
时间方向的噪音成分检测步骤,对所述每个频带,根据场间差分或帧间差分检测由差分造成的噪音成分;
面内的噪音成分检测步骤,对所述每个频带,在1场或1帧内检测由面内造成的噪音成分;
合成处理步骤,对所述每个频带,对由所述差分造成的噪音成分和由所述面内造成的噪音成分进行加权相加,生成噪音校正用信号;
减法计算步骤,从所述输入影像信号减去所述噪音校正用信号;
噪音可信度检测步骤,根据所述频率区域的特征量检测表示所述各区域的所述噪音水平检测结果的可信性的噪音可信度;以及
混合比设定步骤,根据所述噪音可信度设定所述合成处理中的加权相加的比例。
17.根据权利要求16所述的影像信号处理方法,其特征在于,
所述噪音可信度检测步骤根据各频带中检测的频谱的平坦度校正所述噪音可信度。
18.一种影像信号处理装置,测量输入影像信号的噪音水平,其特征在于,具有:
面内的特征量检测部,对所述输入影像信号中设定的每个区域,检测表示所述输入影像信号中的噪音水平的面内的特征量;
无噪音区域的处理部,用无噪音区域用的阈值判断在所述面内的特征量检测部中检测出的面内的特征量,从噪音水平测量对象中除去所述面内的特征量少于所述无噪音区域用的阈值的区域;以及
噪音水平测量部,对由所述无噪音区域的处理部除去而剩余的区域的所述面内的特征量进行统计处理,输出噪音水平测量结果。
19.一种影像信号处理方法,测量输入影像信号的噪音水平,其特征在于,具有以下步骤:
面内的特征量检测步骤,对所述输入影像信号中设定的每个区域,检测表示所述输入影像信号中的噪音水平的面内的特征量;
无噪音区域的处理步骤,从所述输入影像信号检测与附近像素相关性高的像素,根据检测结果,从噪音水平测量对象中除去包含较多与附近像素之间的相关性高的像素的区域;以及
噪音水平测量步骤,对由所述无噪音区域的处理步骤除去而剩余的区域的所述面内的特征量进行统计处理,输出噪音水平测量结果。
20.根据权利要求19所述的影像信号处理方法,其特征在于,所述无噪音区域的处理步骤具有以下步骤:
差异度检测步骤,从所述输入影像信号对每个像素检测作为表示与附近像素之间的非相关性的指标的差异度;
像素数检测步骤,判断所述差异度,对每个所述区域检测与所述附近像素相关性高的像素数;以及
区域检测步骤,判断在所述像素数检测步骤中检测出的像素数,检测包含较多与所述附近像素之间的相关性高的像素的区域。
21.根据权利要求20所述的影像信号处理方法,其特征在于,
所述无噪音区域的处理步骤包括差分信号生成步骤,该差分信号生成步骤生成所述输入影像信号的帧间或场间的差分信号,
所述差异度检测步骤根据所述差分信号检测所述差异度。
22.根据权利要求19所述的影像信号处理方法,其特征在于,
在所述无噪音区域的处理步骤中,在处理对象区域是包含较多与所述附近像素之间的相关性高的像素的区域的情况下、以及相邻区域是包含较多与所述附近像素之间的相关性高的像素的区域的情况下,从噪音水平测量对象中除去该处理对象区域。
23.一种影像信号处理装置,测量输入影像信号的噪音水平,其特征在于,具有:
面内的特征量检测部,对所述输入影像信号中设定的每个区域,检测表示所述输入影像信号中的噪音水平的面内的特征量;
无噪音区域的处理部,从所述输入影像信号检测与附近像素相关性高的像素,根据检测结果,从噪音水平测量对象中除去包含较多与附近像素之间的相关性高的像素的区域;以及
噪音水平测量部,对在所述无噪音区域的处理部中除去而剩余的区域的所述面内的特征量进行统计处理,输出噪音水平测量结果。
CN2007101106520A 2006-06-06 2007-06-06 影像信号处理方法及影像信号处理装置 Expired - Fee Related CN101087366B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006-156936 2006-06-06
JP2006156936 2006-06-06
JP2006156936 2006-06-06

Publications (2)

Publication Number Publication Date
CN101087366A true CN101087366A (zh) 2007-12-12
CN101087366B CN101087366B (zh) 2010-12-01

Family

ID=38529696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101106520A Expired - Fee Related CN101087366B (zh) 2006-06-06 2007-06-06 影像信号处理方法及影像信号处理装置

Country Status (4)

Country Link
US (1) US8248537B2 (zh)
EP (1) EP1865730A3 (zh)
KR (1) KR20070116738A (zh)
CN (1) CN101087366B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101986692A (zh) * 2009-07-28 2011-03-16 索尼公司 图像捕获器件、图像捕获装置、信号处理方法及程序
CN102799752A (zh) * 2011-05-26 2012-11-28 鸿富锦精密工业(深圳)有限公司 频谱影像处理系统和方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4863767B2 (ja) * 2006-05-22 2012-01-25 ソニー株式会社 映像信号処理装置及び画像表示装置
JP4605217B2 (ja) * 2007-12-28 2011-01-05 カシオ計算機株式会社 撮影装置及びそのプログラム
JP4480760B2 (ja) * 2007-12-29 2010-06-16 株式会社モルフォ 画像データ処理方法および画像処理装置
CN102845071B (zh) * 2010-04-19 2015-01-28 杜比实验室特许公司 高动态范围、视觉动态范围和宽色域的图像与视频的质量评估
US9106916B1 (en) * 2010-10-29 2015-08-11 Qualcomm Technologies, Inc. Saturation insensitive H.264 weighted prediction coefficients estimation
JP5641148B2 (ja) * 2011-09-22 2014-12-17 株式会社島津製作所 画像処理装置およびそれを備えた放射線撮影装置
JP5412692B2 (ja) * 2011-10-04 2014-02-12 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
CN105191277B (zh) * 2013-03-22 2019-03-08 新思公司 基于引导式滤波器的细节增强
EP2808841A1 (en) * 2013-05-31 2014-12-03 Thomson Licensing Method and apparatus for generating a noise profile of noise in an image sequence
JP2015231086A (ja) * 2014-06-04 2015-12-21 三星ディスプレイ株式會社Samsung Display Co.,Ltd. 制御装置、およびプログラム
KR20160039497A (ko) * 2014-10-01 2016-04-11 삼성전자주식회사 영상 처리 장치, 디스플레이 장치 및 그 영상 처리 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0213069A (ja) 1988-06-30 1990-01-17 Canon Inc 雑音除去装置
JP3590117B2 (ja) 1995-01-23 2004-11-17 日本放送協会 テレビジョン映像信号のs/n値検出方法および装置
GB2347811B (en) * 1998-12-24 2002-11-13 Independent Television Commiss Apparatus and method for processing video images
JP2001136416A (ja) 1999-08-20 2001-05-18 Sony Corp 信号処理装置及び方法
EP1230805B1 (en) * 1999-11-11 2008-11-19 STMicroelectronics Asia Pacific Pte Ltd. Video signal noise level estimator
JP4192493B2 (ja) 2002-05-13 2008-12-10 株式会社豊田中央研究所 画像ノイズ検出方法及びそれを用いた画像処理装置
US6933983B2 (en) * 2001-09-10 2005-08-23 Jaldi Semiconductor Corp. System and method for reducing noise in images
JP2003209716A (ja) 2002-01-16 2003-07-25 Sony Corp 映像信号処理装置および方法、記録媒体、並びにプログラム
KR20040051370A (ko) * 2002-12-12 2004-06-18 삼성전자주식회사 영상신호의 노이즈 측정장치 및 그 측정방법
KR20040062257A (ko) * 2003-01-02 2004-07-07 삼성전자주식회사 움직임 보상에 기반한 개선된 노이즈 예측 방법 및 그장치와 이를 사용한 동영상 부호화 방법 및 그 장치
KR100522607B1 (ko) 2003-07-15 2005-10-19 삼성전자주식회사 노이즈 상태를 고려한 적응적 비디오 신호 처리 장치 및방법
EP1622395B1 (en) * 2003-08-22 2015-03-18 Nippon Telegraph And Telephone Corporation Device, method and program for quality evaluation of a video signal after its transmission or encoding
US7916848B2 (en) * 2003-10-01 2011-03-29 Microsoft Corporation Methods and systems for participant sourcing indication in multi-party conferencing and for audio source discrimination
KR20050049064A (ko) * 2003-11-21 2005-05-25 삼성전자주식회사 영상신호의 노이즈 측정장치 및 그 측정방법
JP2008508751A (ja) * 2004-07-30 2008-03-21 アルゴリス インコーポレイテッド 符号化された画像信号に関する適応型3d虚構映像削減のための装置および方法
JP2007011926A (ja) 2005-07-04 2007-01-18 Fujifilm Holdings Corp 画像処理方法および装置並びにプログラム
US7586646B2 (en) * 2006-04-12 2009-09-08 Xerox Corporation System for processing and classifying image data using halftone noise energy distribution

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101986692A (zh) * 2009-07-28 2011-03-16 索尼公司 图像捕获器件、图像捕获装置、信号处理方法及程序
CN101986692B (zh) * 2009-07-28 2013-11-20 索尼公司 图像捕获器件、图像捕获装置、信号处理方法
CN102799752A (zh) * 2011-05-26 2012-11-28 鸿富锦精密工业(深圳)有限公司 频谱影像处理系统和方法
CN102799752B (zh) * 2011-05-26 2016-05-25 罗普特(厦门)科技集团有限公司 频谱影像处理系统和方法

Also Published As

Publication number Publication date
EP1865730A2 (en) 2007-12-12
EP1865730A3 (en) 2010-01-20
CN101087366B (zh) 2010-12-01
US20080106647A1 (en) 2008-05-08
KR20070116738A (ko) 2007-12-11
US8248537B2 (en) 2012-08-21

Similar Documents

Publication Publication Date Title
CN101087366B (zh) 影像信号处理方法及影像信号处理装置
EP3488388B1 (en) Video processing method and apparatus
US7663701B2 (en) Systems, methods, and apparatus for noise reduction
US7932954B2 (en) Cross color and dot disturbance elimination apparatus and method
TWI575503B (zh) 影像處理裝置及影像處理方法
US20070098294A1 (en) Method and system for quantization artifact removal using super precision
US8331689B2 (en) Detecting a border region in an image
JP2015043595A (ja) ブロックノイズの検出方法
US7522220B2 (en) Dual-channel adaptive 2D noise reduction for video signals
KR20070116717A (ko) 압축된 디지털 이미지의 mpeg 노이즈 강도 측정 방법및 장치
JPH04234276A (ja) 動き検出方法
KR20020052997A (ko) 데이터 처리 방법
WO2008124744A2 (en) Systems and methods for measuring loss of detail in a video codec block
US7116837B2 (en) Method and apparatus for reducing image noise
JP2008017448A (ja) 映像信号処理方法、映像信号処理方法のプログラム、映像信号処理方法のプログラムを記録した記録媒体及び映像信号処理装置
US20060218619A1 (en) Block artifacts detection
US7120310B2 (en) Image noise reduction method and device
JP5075804B2 (ja) ノイズ低減装置
Ben Atitallah A new adaptive filter to remove impulsive noise in color images
US8654258B1 (en) Method and apparatus for estimating noise in a video signal
Baroncini et al. Quasi-blind on line video quality tracking based on polar edge coherence
Dai et al. Combined Inter-frame and Inter-color Prediction for Color Video Denoising
Li Noise reduction for video signals
Shi et al. Improving the picture quality of cable television
Abate Detection and measurement of artefacts in digital video frames

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101201

Termination date: 20130606