CN102918830A - 图像处理装置和方法、图像显示装置和方法 - Google Patents

图像处理装置和方法、图像显示装置和方法 Download PDF

Info

Publication number
CN102918830A
CN102918830A CN2011800266476A CN201180026647A CN102918830A CN 102918830 A CN102918830 A CN 102918830A CN 2011800266476 A CN2011800266476 A CN 2011800266476A CN 201180026647 A CN201180026647 A CN 201180026647A CN 102918830 A CN102918830 A CN 102918830A
Authority
CN
China
Prior art keywords
image
mentioned
noise reduction
reduction process
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800266476A
Other languages
English (en)
Other versions
CN102918830B (zh
Inventor
上野雅史
张小忙
大木康宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN102918830A publication Critical patent/CN102918830A/zh
Application granted granted Critical
Publication of CN102918830B publication Critical patent/CN102918830B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0147—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation using an indication of film mode or an indication of a specific pattern, e.g. 3:2 pull-down pattern
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/106—Determination of movement vectors or equivalent parameters within the image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Television Systems (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

3维降噪处理部(14)使用由运动矢量检测部(12)检测到的运动矢量(MV)针对输入图像(X(n))进行递归型降噪处理。3维降噪图像(B(n))作为校正原图像(Y(n))输出。2维降噪滤波处理部(13)针对输入图像(X(n))应用2维降噪滤波。内插图像生成部(15)使用运动矢量(MV)基于2维降噪图像(A(n))生成内插图像(Y(n+0.5))。基于未进行递归型降噪处理的图像来生成内插图像，防止由运动矢量的误检测导致的内插图像的大幅度的劣化。

Description

图像处理装置和方法、图像显示装置和方法
技术领域
本发明涉及图像处理装置、图像处理方法、图像显示装置以及图像显示方法，特别涉及进行帧率转换处理和递归型降噪处理的图像处理装置、图像处理方法、图像显示装置以及图像显示方法。
背景技术
在液晶显示装置等保持型显示装置中，存在当显示了有运动的图像时，动的部分的轮廓看上去模糊的问题(下面，将该现象称为运动模糊)。作为防止该运动模糊的方法，已知在连续的2个帧之间内插新的帧，提高帧率的方法(帧率转换处理)。另外，还已知为了有效地防止运动模糊，当进行帧率转换处理时，使用运动矢量进行运动补偿的方法。
除此以外，作为降低运动图像所包括的噪声的方法，已知使用了运动矢量的递归型降噪处理。图13是示出专利文献1所记载的降噪装置的构成的框图。在图13所示的降噪装置110中，运动检测帧巡回型降噪装置111所包括的帧存储器116存储前帧的输出视频信号。矢量检测装置117基于输入视频信号和从帧存储器116输出的前帧的输出视频信号，求出运动矢量MV和运动成分MC(示出对应像素的变化的量)。巡回反馈量控制电路112基于运动成分MC求出巡回系数k。乘法器113使输入视频信号所包括的像素值成为(1-k)倍，乘法器114使对应的像素值(从帧存储器116用运动矢量MV读出的像素值)成为k倍，加法器115将乘法器113、114的输出相加。加法器115的输出作为输出视频信号向降噪装置110的外部输出，并且用于针对下帧的输入视频信号的处理而存储于帧存储器116。根据降噪装置110，能降低与时间轴方向无关的噪声(不时出现的噪声)，防止运动区域的余像的发生，得到清晰的高画质的图像。
另外，也可以考虑将运动补偿的帧率转换处理与使用了运动矢量的递归型降噪处理进行组合的方法。图14是示出进行帧率转换处理和递归型降噪处理的图像处理装置的构成的框图。在图14所示的图像处理装置120中，帧存储器121、运动矢量检测部122、内插图像生成部124以及时基转换部125进行运动补偿的帧率转换处理。3维降噪处理部123使用由运动矢量检测部122检测到的运动矢量来进行递归型降噪处理。根据图像处理装置120，能防止在保持型显示装置中发生的运动模糊，并且显示运动图像时进行无余像感的降噪，显示高画质的运动图像。另外，在帧率转换处理和递归型降噪处理中共用运动矢量检测部122，由此能削减电路规模、存储器容量。
现有技术文献
专利文献
专利文献1：日本特开2004-88234号公报
发明内容
发明要解决的问题
但是，在运动矢量检测处理中，不限于能经常检测正确的运动矢量。例如，在运动快的视频、放映一边改变形状一边移动的物体的视频、其它物体在某物体的跟前或里头忽隐忽现的视频等中，追随运动是困难的，因此，易于发生运动矢量的误检测。另外，如包括场景更换、照相机的闪光等的视频那样，在帧之间场景、亮度较大地变化的情况下，有时在整个画面中发生运动矢量的误检测。
在专利文献1的第2以后的实施方式中，记载有降低运动矢量的误检测的方法。但是，即使使用该方法，也无法完全地防止运动矢量的误检测。另外，还存在当校正运动矢量的错误时降噪效果变小的问题。
当发生运动矢量的误检测时，在帧率转换处理中，移动物体的形状出现失真，或者发生看到重影等画质劣化。在递归型降噪处理中，发生物体的边缘模糊，或者在移动物体中看到拖尾等画质劣化。在进行帧率转换处理和递归型降噪处理两者的情况下，在递归型降噪处理后的图像中发生运动模糊、拖尾。另外，内插图像基于递归型降噪处理后的图像而生成，因此，在已发生了运动模糊、拖尾的部分进一步出现失真。其结果是，有时内插图像大幅度地劣化。
由此，本发明的目的在于，提供进行帧率转换处理和递归型降噪处理，防止了由运动矢量的误检测导致的内插图像的大幅度劣化的图像处理装置、图像处理方法、图像显示装置以及图像显示方法。
用于解决问题的方案
本发明的第1方面是一种图像处理装置，其特征在于，
进行帧率转换处理和递归型降噪处理，
具备：运动矢量检测部，其从连续地输入的输入图像中检测运动矢量；
第1降噪处理部，其使用上述运动矢量针对上述输入图像进行递归型降噪处理；
第2降噪处理部，其针对上述输入图像应用降噪滤波；以及
内插图像生成部，其使用上述运动矢量基于参照图像来生成内插图像，
输出用规定的方法求出的校正原图像和基于用不同于上述校正原图像的方法求出的参照图像所生成的内插图像。
本发明的第2方面的特征在于，在本发明的第1方面中，
上述校正原图像是由上述第1降噪处理部求出的图像，上述参照图像是由上述第2降噪处理部求出的图像。
本发明的第3方面的特征在于，在本发明的第1方面中，
还具备选择部，上述选择部选择上述第1降噪处理部和第2降噪处理部的输出中的任一个，求出上述参照图像，
上述校正原图像是由上述第1降噪处理部求出的图像。
本发明的第4方面的特征在于，在本发明的第3方面中，
还具备场景信息检测部，上述场景信息检测部基于上述输入图像来检测场景信息，
上述选择部基于上述场景信息进行选择。
本发明的第5方面的特征在于，在本发明的第3方面中，
还具备反射式字幕(telop)信息检测部，上述反射式字幕信息检测部基于上述输入图像来检测反射式字幕信息，
上述选择部基于上述反射式字幕信息进行选择。
本发明的第6方面的特征在于，在本发明的第3方面中，
还具备外部信息解析部，上述外部信息解析部解析从外部输入的外部信息，
上述选择部基于上述外部信息解析部的解析结果进行选择。
本发明的第7方面的特征在于，在本发明的第1方面中，
还具备加权加法运算部，上述加权加法运算部针对上述第1降噪处理部和第2降噪处理部的输出进行独立的2个加权加法运算，
上述校正原图像是用上述加权加法运算部的一方加权加法运算求出的图像，上述参照图像是用上述加权加法运算部的另一方加权加法运算求出的图像。
本发明的第8方面的特征在于，在本发明的第7方面中，
还具备场景信息检测部，上述场景信息检测部基于上述输入图像来检测场景信息，
上述加权加法运算部的加权系数基于上述场景信息而变化。
本发明的第9方面的特征在于，在本发明的第7方面中，
还具备反射式字幕信息检测部，上述反射式字幕信息检测部基于上述输入图像来检测反射式字幕信息，
上述加权加法运算部的加权系数基于上述反射式字幕信息而变化。
本发明的第10方面的特征在于，在本发明的第7方面中，
还具备外部信息解析部，上述外部信息解析部解析从外部输入的外部信息，
上述加权加法运算部的加权系数基于上述外部信息解析部的解析结果而变化。
本发明的第11方面的特征在于，是一种图像处理方法，
进行帧率转换处理和递归型降噪处理，
具备：从连续地输入的输入图像中检测运动矢量的步骤；
使用检测到的运动矢量针对上述输入图像进行递归型降噪处理的步骤；
针对上述输入图像应用降噪滤波的步骤；以及
使用检测到的运动矢量基于参照图像来生成内插图像的步骤，
输出用规定的方法求出的校正原图像和基于用不同于上述校正原图像的方法求出的参照图像所生成的内插图像。
本发明的第12方面的特征在于，是一种图像显示装置，
进行帧率转换处理和递归型降噪处理来显示图像，
具备：显示面板；
图像处理部，其进行帧率转换处理和递归型降噪处理；以及
驱动电路，其基于上述图像处理部的输出来驱动上述显示面板，
上述图像处理部包括：
运动矢量检测部，其从连续地输入的输入图像中检测运动矢量；
第1降噪处理部，其使用上述运动矢量针对上述输入图像进行递归型降噪处理；
第2降噪处理部，其针对上述输入图像应用降噪滤波；以及
内插图像生成部，其使用上述运动矢量基于参照图像来生成内插图像，
输出用规定的方法求出的校正原图像和基于用不同于上述校正原图像的方法求出的参照图像所生成的内插图像。
本发明的第13方面是一种图像显示方法，
进行帧率转换处理和递归型降噪处理而在显示面板中显示图像，
具备：从连续地输入的输入图像中检测运动矢量的步骤；
使用检测到的运动矢量针对上述输入图像进行递归型降噪处理的步骤；
针对上述输入图像应用降噪滤波的步骤；
使用检测到的运动矢量基于参照图像来生成内插图像的步骤；以及
基于图像信号来驱动显示面板的步骤，上述图像信号表示用规定的方法求出的校正原图像和基于用不同于上述校正原图像的方法求出的参照图像所生成的内插图像。
发明效果
根据本发明的第1或第11方面，进行运动补偿的帧率转换处理和使用了运动矢量的递归型降噪处理，由此能防止在保持型显示装置中发生的运动模糊，并且防止运动区域的余像的发生，得到清晰的高画质的输出图像。另外，在帧率转换处理和递归型降噪处理中共用运动矢量检测部，由此能削减电路规模、存储器容量。另外，用不同于校正原图像的方法求出参照图像，由此基于优选的参照图像来生成内插图像，即使在发生了运动矢量的误检测的情况下，也能防止内插图像的大幅度的劣化。
根据本发明的第2方面，内插图像基于未进行递归型降噪处理的图像来生成。因此，即使在发生了运动矢量的误检测的情况下，也能防止内插图像的大幅度的劣化。另外，内插图像基于应用了降噪滤波的图像来生成。因此，能降低内插图像所包括的、在递归型降噪处理中无法降低的噪声。
根据本发明的第3方面，能适当地将进行了递归型降噪处理的图像和未进行递归型降噪处理的图像进行切换来求出参照图像，基于此生成内插图像。因此，根据情况生成优选的内插图像，即使在发生了运动矢量的误检测的情况下，也能防止内插图像的大幅度的劣化。另外，基于应用了降噪滤波的图像来生成内插图像，由此能降低内插图像所包括的、在递归型降噪处理中无法降低的噪声。
根据本发明的第4方面，能根据输入图像所表示的场景的特征，将进行了递归型降噪处理的图像和未进行递归型降噪处理的图像进行切换来求出参照图像，基于此生成内插图像。因此，根据场景的特征生成优选的内插图像，即使在发生了运动矢量的误检测的情况下，也能防止内插图像的大幅度的劣化。
根据本发明的第5方面，能根据输入图像所包括的反射式字幕的特征，将进行了递归型降噪处理的图像和未进行递归型降噪处理的图像进行切换来求出参照图像，基于此生成内插图像。因此，根据反射式字幕的特征生成优选的内插图像，即使在发生了运动矢量的误检测的情况下，也能防止内插图像的大幅度的劣化。
根据本发明的第6方面，能根据从外部输入的外部信息，将进行了递归型降噪处理的图像和未进行递归型降噪处理的图像进行切换来求出参照图像，基于此求出内插图像。因此，根据外部信息生成优选的内插图像，即使在发生了运动矢量的误检测的情况下，也能防止内插图像的大幅度的劣化。
根据本发明的第7方面，能针对进行了递归型降噪处理的图像和未进行递归型降噪处理的图像进行加权加法来求出参照图像，基于此生成内插图像。因此，根据情况生成优选的内插图像，即使在发生了运动矢量的误检测的情况下，也能防止内插图像的大幅度的劣化。另外，增大向应用了降噪滤波的图像施加的加权系数来求出参照图像，由此能降低内插图像所包括的、在递归型降噪处理中无法降低的噪声。
根据本发明的第8方面，能根据输入图像所表示的场景的特征一边改变加权系数，一边针对进行了递归型降噪处理的图像和未进行递归型降噪处理的图像进行加权加法来求出参照图像，基于此生成内插图像。因此，根据场景的特征生成优选的内插图像，即使在发生了运动矢量的误检测的情况下，也能防止内插图像的大幅度的劣化。
根据本发明的第9方面，能根据输入图像所包括的反射式字幕的特征，一边改变加权系数，一边针对进行了递归型降噪处理的图像和未进行递归型降噪处理的图像进行加权加法来求出参照图像，基于此生成内插图像。因此，根据反射式字幕的特征生成优选的内插图像，即使在发生了运动矢量的误检测的情况下，也能防止内插图像的大幅度的劣化。
根据本发明的第10方面，能根据从外部输入的外部信息，一边改变加权系数，一边针对进行了递归型降噪处理的图像和未进行递归型降噪处理的图像进行加权加法来求出参照图像，基于此生成内插图像。因此，根据外部信息生成优选的内插图像，即使在发生了运动矢量的误检测的情况下，也能防止内插图像的大幅度的劣化。
根据本发明的第12或第13方面，能降低在保持型显示装置中发生的运动模糊，并且防止运动区域的余像的发生，显示清晰的高画质的图像。另外，即使在发生了运动矢量的误检测的情况下，也能防止内插图像的大幅度的劣化。
附图说明
图1是示出本发明的第1实施方式的图像处理装置的构成的框图。
图2是示出包括本发明的各实施方式的图像处理装置的液晶显示装置的构成的框图。
图3是示出图1所示的图像处理装置的输入图像和输出图像的图。
图4是示出本发明的第2实施方式的图像处理装置的构成的框图。
图5是示出本发明的第3实施方式的图像处理装置的构成的框图。
图6是示出包括反射式字幕的输入图像的例子的图。
图7是示出图5所示的图像处理装置的反射式字幕信息检测部的反射式字幕区域检测结果的图。
图8是示出本发明的第4实施方式的图像处理装置的构成的框图。
图9是示出本发明的第5实施方式的图像处理装置的构成的框图。
图10是示出图9所示的图像处理装置的加权系数控制部和加权加法运算部的详细的框图。
图11是示出本发明的第5实施方式的第1变形例的图像处理装置的构成的框图。
图12是示出本发明的第5实施方式的第2变形例的图像处理装置的构成的框图。
图13是示出现有的降噪装置的构成的框图。
图14是示出现有的图像处理装置的构成的框图。
具体实施方式
(第1实施方式)
图1是示出本发明的第1实施方式的图像处理装置的构成的框图。图1所示的图像处理装置10具备：帧存储器11、运动矢量检测部12、2维降噪滤波处理部13、3维降噪处理部14、内插图像生成部15以及时基转换部16。图像处理装置10进行运动补偿的帧率转换处理和使用了运动矢量的递归型降噪处理。
图2是示出包括图像处理装置10的液晶显示装置的构成的框图。图2所示的液晶显示装置1具备：图像处理装置10、定时控制电路2、扫描信号线驱动电路3、数据信号线驱动电路4以及液晶面板5。液晶面板5包括p根扫描信号线G1～Gp、q根数据信号线S1～Sq以及(p×q)个像素电路6。扫描信号线G1～Gp相互平行地配置，数据信号线S1～Sq以与扫描信号线G1～Gp正交的方式相互平行地配置。(p×q)个像素电路6配置在扫描信号线G 1～Gp与数据信号线S1～Sq的各交点附近。
从外部向液晶显示装置1输入帧率为60Hz的输入图像信号Vin。图像处理装置10将输入图像信号Vin转换为帧率为120Hz的输出图像信号Vout。输出图像信号Vout向数据信号线驱动电路4供给。定时控制电路2向扫描信号线驱动电路3和数据信号线驱动电路4分别供给定时控制信号TC1、TC2。扫描信号线驱动电路3和数据信号线驱动电路4是液晶面板5的驱动电路。扫描信号线驱动电路3基于定时控制信号TC1驱动扫描信号线G1～Gp。数据信号线驱动电路4基于定时控制信号TC2和输出图像信号Vout驱动数据信号线S1～Sq。使用扫描信号线驱动电路3和数据信号线驱动电路4来驱动液晶面板5，由此能在1秒钟在液晶面板5中显示120个图像。
下面，将输入图像信号Vin所表示的图像称为输入图像，将输出图像信号Vout所表示的图像称为输出图像，将第n个输入图像表示为X(n)。图3是示出图像处理装置10的输入图像和输出图像的图。输入图像在1秒钟输入60幅，输出图像在1秒钟输出120张。在输出图像中包括：针对输入图像进行了降噪处理的图像(在图3中附上点状图案的图像。下面称为校正原图像)和由图像处理装置10新生成的图像(在图3中附上斜线的图像。下面称为内插图像)。将与输入图像X(n)对应的校正原图像表示为Y(n)，将在校正原图像Y(n)、Y(n+1)的中间内插的内插图像表示为Y(n+0.5)。如下所示，图像处理装置10通过针对输入图像进行递归型降噪处理来求出校正原图像，基于针对输入图像应用了2维降噪滤波的图像来生成内插图像。
下面，再次参照图1说明图像处理装置10的详细内容。在此，说明输入了输入图像X(n+1)时的图像处理装置10的动作。帧存储器11将输入图像信号Vin存储1帧的量，使其延迟1帧期间输出。当输入了输入图像X(n+1)时，帧存储器11一边存储输入图像X(n+1)，一边输出输入图像X(n)。
运动矢量检测部12从连续地输入的输入图像中检测运动矢量。更详细地说，运动矢量检测部12基于输入图像X(n+1)和从帧存储器11输出的输入图像X(n)，检测2个图像之间的运动矢量MV。运动矢量MV的检测方法可以是任意的。检测到的运动矢量MV向3维降噪处理部14和内插图像生成部15供给。
2维降噪滤波处理部13针对从帧存储器11输出的输入图像X(n)应用2维降噪滤波。2维降噪滤波的特性可以是任意的。例如，能将低通滤波、中通滤波用作2维降噪滤波。2维降噪滤波处理部13的输出作为2维降噪图像A(n)向内插图像生成部15供给。
3维降噪处理部14针对输入图像X(n)进行使用了运动矢量的递归型降噪处理(3维降噪处理)。更详细地说，3维降噪处理部14包括：运动补偿图像存储器141、加权系数控制部142、系数乘法器143、144、加法器145以及运动补偿图像生成部146。当从帧存储器11输出了输入图像X(n)时，运动补偿图像存储器141输出针对输入图像X(n-1)进行了递归型降噪处理和运动补偿的运动补偿图像C(n)。
加权系数控制部142对输入图像X(n)和运动补偿图像C(n)进行比较，由此决定加权系数k(此处，0≤k≤1)。加权系数控制部142求出例如输入图像X(n)和运动补偿图像C(n)的亮度差分、亮度梯度信息等，根据所求出的值改变加权系数k。或者，加权系数控制部142根据输入图像X(n)的亮度信息、频率特性等改变加权系数k。
基于由加权系数控制部142决定的加权系数k，系数乘法器143使输入图像X(n)所包括的像素值成为(1-k)倍，系数乘法器144使运动补偿图像C(n)所包括的对应的像素值成为k倍。加法器145将系数乘法器143、144的输出相加。加法器145的输出作为3维降噪图像B(n)向时基转换部16和运动补偿图像生成部146供给。
运动补偿图像生成部146基于3维降噪图像B(n)和由运动矢量检测部12检测到的运动矢量MV，生成运动补偿图像C(n+1)。运动补偿图像生成部146为了与对3维降噪处理部14接下来供给的输入图像X(n+1)的位置对准，使用从未来朝向过去的运动矢量，生成运动补偿图像C(n+1)。所生成的运动补偿图像C(n+1)存储于运动补偿图像存储器141。
内插图像生成部15使用由运动矢量检测部12检测到的运动矢量MV，基于2维降噪图像A(n)，生成应在校正原图像Y(n)和校正原图像Y(n+1)的中间内插的内插图像Y(n+0.5)。所生成的内插图像Y(n+0.5)向时基转换部16供给。
向时基转换部16供给的3维降噪图像B(n)被原样用作校正原图像Y(n)。时基转换部16顺序输出校正原图像Y(n)和内插图像Y(n+0.5)。更详细地说，时基转换部16先输出校正原图像Y(n)，延迟1/120秒后输出内插图像Y(n+0.5)。其结果是，从图像处理装置10输出交替地包括校正原图像和内插图像的、帧率为120Hz的输出图像信号Vout。
这样在图像处理装置10中，通过针对输入图像进行递归型降噪处理来求出校正原图像。基于针对输入图像应用了2维降噪滤波的图像来生成内插图像。这样基于以不同于校正图像的方法所求出的图像来生成内插图像。
下面，说明本实施方式的图像处理装置10的效果。如上所述，图像处理装置10进行运动补偿的帧率转换处理和使用了运动矢量的递归型降噪处理。由此，能防止在保持型显示装置中发生的运动模糊，并且能防止运动区域的余像的发生，得到清晰的高画质的输出图像。特别是，进行递归型处理，由此能得到与参照了数帧的量的图像时相同的效果。另外，进行使用了运动矢量的递归型降噪处理，由此能进行追随运动的加权加法，能有效地防止模糊。另外，在图像处理装置10中，由运动矢量检测部12检测到的运动矢量MV用于帧率转换处理和递归型降噪处理两者。这样在帧率转换处理和递归型降噪处理中共用运动矢量检测部12，由此能削减电路规模、存储器容量。
如上所述，在进行帧率转换处理和递归型降噪处理的现有的图像处理装置(例如，图14所示的图像处理装置120)中，存在以下问题：当基于递归型降噪处理后的图像来生成内插图像，因此发生运动矢量的误检测时，内插图像大幅度地劣化。
对此，本实施方式的图像处理装置10将对输入图像X(n)进行了递归型降噪处理的图像设为校正原图像Y(n)，基于在输入图像X(n)中应用了2维降噪滤波的图像来生成内插图像Y(n+0.5)。这样在图像处理装置10中，当发生了运动矢量的误检测时，有可能大幅度地劣化的内插图像不是基于进行了递归型降噪处理的图像，而是基于未进行递归型降噪处理的图像来生成的。因此，根据图像处理装置10，即使发生了运动矢量的误检测，也能防止内插图像的大幅度的劣化。
另外，在图像处理装置10中，内插图像基于应用了2维降噪滤波的图像来生成。因此，根据图像处理装置10，能降低内插图像所包括的、在递归型降噪处理中无法降低的噪声。此外，在递归型降噪处理中无法降低的噪声是即使经过时间也不变化的噪声，例如包括在静止图像中经常在相同的位置发生的蚊式噪声等。
另外，一般地说，当进行帧率转换处理时，发生边缘失真等画质劣化。图像处理装置10基于应用了2维降噪滤波的图像来生成内插图像。因此，根据图像处理装置10，能抑制使边缘模糊、抑制内插图像所包括的边缘失真。
另外，根据将图像处理装置10作为图像处理部而具备的液晶显示装置1(图2)，能降低在保持型显示装置中发生的运动模糊，并且防止运动区域的余像的发生，显示清晰的高画质的图像。另外，即使在发生了运动矢量的误检测的情况下，也能防止内插图像的大幅度的劣化。
(第2的实施方式)
图4是示出本发明的第2实施方式的图像处理装置的构成的框图。图4所示的图像处理装置20对第1实施方式的图像处理装置10追加了场景信息检测部21和选择部22。下面的各实施方式的图像处理装置与第1实施方式的图像处理装置10同样地，内置地用于图2所示的液晶显示装置1。另外，对各实施方式的构成要素中的与前面的实施方式相同的内容，附上相同的附图标记并省略说明。
场景信息检测部21基于输入图像X(n)检测场景信息，基于所检测到的场景信息输出选择控制信号P1(详细情况后述)。选择控制信号P1是2值信号，按照图像单位变为高电平和低电平。例如，选择控制信号P1当在输入图像X(n)中发生了场景更换时成为高电平，除此以外时成为低电平。
选择部22当选择控制信号P1是高电平时，选择由2维降噪滤波处理部13求出的2维降噪图像A(n)，当选择控制信号P1是低电平时，选择由3维降噪处理部14求出的3维降噪图像B(n)。选择部22所选择的图像作为参照图像Z(n)向内插图像生成部15供给。
内插图像生成部15使用由运动矢量检测部12检测到的运动矢量MV，基于由选择部22求出的参照图像Z(n)，生成应在校正原图像Y(n)和校正原图像Y(n+1)的中间内插的内插图像Y(n+0.5)。内插图像Y(n+0.5)当在输入图像X(n)中发生了场景更换时基于2维降噪图像A(n)来生成，除此以外时基于3维降噪图像B(n)来生成。
下面，说明场景信息检测部21。场景信息检测部21针对连续的2个帧之间的亮度差分、画面内的运动矢量进行统计处理，检测输入图像X(n)所表示的场景的特征(场景信息)。在场景信息中，例如包括：场景更换、高速滚动/全景图像、静止图像、淡入/淡出图像等信息。
场景信息检测部21例如可以针对连续的2个帧求出整个画面的亮度直方图，当2个直方图的差大时，判断为场景更换。场景信息检测部21可以基于运动矢量的精度信息，当在整个画面中精度低的矢量多时，判断为场景更换。场景信息检测部21可以基于从图像处理装置10的外部施加的信息来检测场景更换。例如，场景信息检测部21可以基于从解码部(未图示)接受的解码结果来检测场景更换。
一般地说，当发生了场景更换时，多发生运动矢量的误检测。因此，场景信息检测部21当判断为场景更换时，输出高电平的选择控制信号P1。因此，当发生了场景更换时，内插图像Y(n+0.5)不是基于3维降噪图像B(n)而是基于2维降噪图像A(n)生成。这样，当发生了场景更换时，基于未进行递归型降噪处理的图像来生成内插图像，由此能防止内插图像的大幅度的劣化。
此外，当发生场景更换时，运动矢量的检测精度低的状态多会持续片刻。由此，优选当场景信息检测部21检测到场景更换时，在片刻之后(例如，涵盖数帧期间)输出高电平的选择控制信号P1。
另外，场景信息检测部21例如可以求出整个画面的运动矢量的平均值(平均矢量)，当平均矢量大时，判断为高速滚动图像。场景信息检测部21可以从整个画面的运动矢量的直方图求出峰值矢量(频度最高的矢量)，当峰值矢量大时，判断为高速滚动图像。场景信息检测部21计算检测到比规定大的运动矢量的次数、由于超过检测范围而运动矢量的检测失败的次数，当该次数多时，可以判断为高速滚动图像。
一般地说，在高速滚动图像中，多发生运动矢量的误检测。因此，场景信息检测部21当判断为高速滚动图像时，输出高电平的选择控制信号P1。因此，当输入图像为高速滚动图像时，内插图像Y(n+0.5)不是基于3维降噪图像B(n)而是基于2维降噪图像A(n)生成。这样，当输入图像是高速滚动图像时，基于未进行递归型降噪处理的图像来生成内插图像，由此能防止内插图像的大幅度的劣化。
另外，场景信息检测部21当例如连续的2个帧之间的亮度差充分地小时，可以判断为静止图像。场景信息检测部21当平均矢量、峰值矢量充分地接近零矢量时、当检测到的运动矢量为零矢量的情况多时，可以判断为静止图像。
一般地说，在静止图像中几乎不发生运动矢量的误检测。因此，场景信息检测部21当判断为静止图像时，输出低电平的选择控制信号P1。因此，当输入图像X(n)为静止图像时，内插图像Y(n+0.5)基于3维降噪图像B(n)生成。
这样在图像处理装置20中，通过针对输入图像进行递归型降噪处理来求出校正原图像。基于参照图像来生成内插图像，上述参照图像是将针对输入图像应用了2维降噪滤波的图像和针对输入图像进行了递归型降噪处理的图像进行切换而得到的。这样基于用不同于校正图像的方法求出的参照图像来生成内插图像。
如上所示，本实施方式的图像处理装置20具备：场景信息检测部21，其基于输入图像X(n)检测场景信息；和选择部22，其选择2维降噪滤波处理部13和3维降噪处理部14的输出中的任一个，求出参照图像Z(n)。选择部22基于由场景信息检测部21检测到的场景信息进行选择。
因此，根据本实施方式的图像处理装置20，能根据输入图像所表示的场景的特征，将进行了递归型降噪处理的图像和未进行递归型降噪处理的图像进行切换来求出参照图像，基于此生成内插图像。因此，根据场景的特征生成优选的内插图像，即使在发生了运动矢量的误检测的情况下，也能防止内插图像的大幅度的劣化。另外，基于应用了降噪滤波的图像来生成内插图像，由此能降低内插图像所包括的、在递归型降噪处理中无法降低的噪声。
(第3实施方式)
图5是示出本发明的第3实施方式的图像处理装置的构成的框图。图5所示的图像处理装置40是在第2实施方式的图像处理装置20中将场景信息检测部21置换为反射式字幕信息检测部31。
反射式字幕信息检测部31基于输入图像X(n)检测反射式字幕信息，基于所检测到的反射式字幕信息输出选择控制信号P2(详细情况后述)。选择控制信号P2是2值信号，以图像内的像素、行或带状区域(包括多个行)为单位变为高电平和低电平。例如，在输入图像X(n)包括反射式字幕的情况下，选择控制信号P2在反射式字幕区域的内部成为高电平，在反射式字幕区域的外部成为低电平。
选择部22和内插图像生成部15与第2的实施方式同样地动作。因此，在输入图像X(n)包括反射式字幕的情况下，内插图像Y(n+0.5)例如在反射式字幕区域的内部基于2维降噪图像A(n)生成，在反射式字幕区域的外部基于3维降噪图像B(n)生成。
下面，说明反射式字幕信息检测部31。反射式字幕信息检测部31针对画面内的运动矢量进行统计处理，求出输入图像X(n)所包括的反射式字幕区域的位置和速度。反射式字幕区域的位置使用坐标、行编号或带状区域的编号等来表示。
图6是示出包括反射式字幕的输入图像的例子的图。在图6所示的输入图像35之下大约1/4的部分，包括反射式字幕36。反射式字幕36内的文字(下面，称为反射式字幕文字)在左方向以恒定的速度(下面，称为反射式字幕速度)移动。将输入图像35分割为多个块，在按照每个块检测运动矢量的情况下，在包括反射式字幕文字的块中，检测相当于反射式字幕速度的运动矢量。另一方面，不包括反射式字幕文字的块的运动矢量大致为零矢量。因此，能对包括反射式字幕文字的块和不包括反射式字幕文字的块进行区别来检测反射式字幕区域。反射式字幕信息检测部31如图7所示，从输入图像35检测反射式字幕区域37(用虚线示出的区域)。
一般地说，反射式字幕文字在显示画面内高速地移动。在反射式字幕文字与背景的边界部分，在文字的后面忽隐忽现背景的结构，因此，在帧之间多发生没有关联的区域(该区域被称为闭塞区域)。在闭塞区域中，易于发生运动矢量的误检测。另外，大部分反射式字幕文字具有清晰的边缘。因此，由运动矢量的误检测导致的内插图像的劣化在反射式字幕区域中变得显著。
反射式字幕信息检测部31也可以例如在反射式字幕区域的内部输出高电平的选择控制信号P2，在反射式字幕区域的外部输出低电平的选择控制信号P2。反射式字幕信息检测部31也可以针对在反射式字幕区域内有运动的部分输出高电平的选择控制信号P2，针对无运动的部分、运动小的部分输出低电平的选择控制信号P2。反射式字幕信息检测部31也可以针对在反射式字幕区域内以接近反射式字幕速度的速度移动的部分输出高电平的选择控制信号P2，针对除此以外的部分输出低电平的选择控制信号P2。
因此，在存在反射式字幕的部分，内插图像Y(n+0.5)不是基于3维降噪图像B(n)而是基于2维降噪图像A(n)生成。这样，在存在反射式字幕的部分，基于未进行递归型降噪处理的图像来生成内插图像，由此能防止包括反射式字幕的内插图像的大幅度的劣化。
这样，在图像处理装置30中，通过针对输入图像进行递归型降噪处理来求出校正原图像。基于参照图像来生成内插图像，上述参照图像是将针对输入图像应用了2维降噪滤波的图像和针对输入图像进行了递归型降噪处理的图像进行切换而得到的。这样基于用不同于校正图像的方法求出的参照图像来生成内插图像。
如上所示，本实施方式的图像处理装置30具备：反射式字幕信息检测部31，其基于输入图像X(n)检测反射式字幕信息；和选择部22，其选择2维降噪滤波处理部13和3维降噪处理部14的输出中的任一个，求出参照图像Z(n)。选择部22基于由反射式字幕信息检测部31检测到的反射式字幕信息进行选择。
因此，根据本实施方式的图像处理装置30，能根据输入图像所包括的反射式字幕的特征，将进行了递归型降噪处理的图像和未进行递归型降噪处理的图像进行切换来求出参照图像，基于此生成内插图像。因此，根据反射式字幕的特征生成优选的内插图像，即使在发生了运动矢量的误检测的情况下，也能防止内插图像的大幅度的劣化。另外，针对基于应用了降噪滤波的图像而生成了内插图像的部分，能降低内插图像所包括的、在递归型降噪处理中无法降低的噪声。
(第4实施方式)
图8是示出本发明的第4实施方式的图像处理装置的构成的框图。图8所示的图像处理装置40是在第2实施方式的图像处理装置20中将场景信息检测部21置换为外部信息解析部41。
从外部向本实施方式的图像处理装置40输入外部信息信号R。外部信息解析部41解析外部信息信号R，基于所得到的解析结果输出选择控制信号P3(详细情况后述)。选择控制信号P3为2值信号，以图像、像素、行或带状区域为单位变为高电平和低电平。例如，选择控制信号P3当输入图像X(n)与紧前的输入图像不同时成为高电平，除此以外时成为低电平。
选择部22和内插图像生成部15与第2的实施方式同样地动作。因此，内插图像Y(n+0.5)当例如输入图像X(n)与紧前的输入图像不同时，基于2维降噪图像A(n)生成，除此以外时基于3维降噪图像B(n)生成。
下面，说明外部信息解析部41。在向外部信息解析部41输入的外部信息信号R中，例如包括：输入图像的类别信息(动画、电影、新闻等)、显示装置的画面风格模式信息(游戏、电影、PC等)、重叠图像信息(OSD(On Screen Display：屏幕菜单式调节方式)、多画面、字幕等)、用户设定信息(降噪的强度设定值等)等。
例如，在类别信息示出动画、电影的情况下，输入图像多是将24p格式、30p格式等视频降低后的视频的情况。例如在将24p格式的视频降低后的视频中，为了按照60帧/秒显示24帧/秒的视频，2个2个地或者3个3个地连续地包含相同的图像。
优选在连续地输入相同的图像的情况下，在后面的图像中进行3维降噪处理。与此相对，在输入了不同的图像的情况下，易于发生运动矢量的误检测，因此，优选在后面的图像中应用2维降噪滤波。外部信息解析部41基于解析外部信息信号R而求出的类别信息，判断是否连续地输入了相同的图像。外部信息解析部41当输入了相同的图像时，输出高电平的选择控制信号P3，当输入了不同的图像时，输出低电平的选择控制信号P3。外部信息解析部41可以基于画面的风格模式信息进行相同的控制。
此外，优选在针对24p格式的视频进行利用运动补偿的帧率转换处理、生成帧率为120Hz的视频的情况下(即，在24帧/秒的帧之间内插4个内插图像、转换为120帧/秒的视频的情况下)，使用第1实施方式的图像处理装置10。
另外，当在重叠有OSD、字幕的输入图像中，对文字应用2维降噪滤波时，会变得模糊而难以读取。因此，优选在重叠有OSD、字幕的部分进行3维降噪处理。外部信息解析部41基于解析外部信息信号R而求出的重叠图像信息，求出重叠有OSD、字幕的部分。外部信息解析部41针对重叠有OSD、字幕的部分输出低电平的选择控制信号P3，针对除此以外的部分输出高电平的选择控制信号P3。图像处理装置40根据外部信息解析部41的解析结果，基于2维降噪图像A(n)和3维降噪图像B(n)中的任一个生成内插图像Y(n+0.5)。
这样在图像处理装置40中，通过针对输入图像进行递归型降噪处理来求出校正原图像。基于参照图像来生成内插图像，上述参照图像是将针对输入图像应用了2维降噪滤波的图像和针对输入图像进行了递归型降噪处理的图像进行切换而得到的。这样基于用不同于校正图像的方法求出的参照图像来生成内插图像。
如上所示，本实施方式的图像处理装置40具备：外部信息解析部41，其解析外部信息；和选择部22，其选择2维降噪滤波处理部13和3维降噪处理部14的输出中的任一个，求出参照图像Z(n)。选择部22基于外部信息解析部41的解析结果进行选择。
因此，根据本实施方式的图像处理装置40，能根据从外部输入的外部信息，将进行了递归型降噪处理的图像和未进行递归型降噪处理的图像进行切换来求出参照图像，基于此生成内插图像。因此，根据外部信息生成优选的内插图像，即使在发生了运动矢量的误检测的情况下，也能防止内插图像的大幅度的劣化。另外，针对基于应用了降噪滤波的图像而生成了内插图像的部分，能降低内插图像所包括的、在递归型降噪处理中无法降低的噪声。
(第5实施方式)
图9是示出本发明的第5实施方式的图像处理装置的构成的框图。图9所示的图像处理装置50是在第2实施方式的图像处理装置20中将选择部22置换为加权系数控制部51和加权加法运算部52。
场景信息检测部21基于输入图像X(n)检测场景信息。但是，本实施方式的场景信息检测部21输出示出所检测到的场景信息的场景信息信号Q1来代替选择控制信号P1。场景信息信号Q1可以是多值信号，也可以是多个信号。
图10是示出加权系数控制部51和加权加法运算部52的详细内容的框图。如图10所示，加权加法运算部52包括：校正原图像用加权加法部53a，其包括系数乘法器54a、55a以及加法器56a；和内插图像用加权加法部53b，其包括系数乘法器54b、55b以及加法器56b。
加权系数控制部51基于场景信息信号Q1求出加权系数α、β(此处，0≤α≤1、0≤β≤1)(详细情况后述)。向加权加法运算部52输入由2维降噪滤波处理部13求出的2维降噪图像A(n)、由3维降噪处理部14求出的3维降噪图像B(n)以及由加权系数控制部51求出的加权系数α、β。系数乘法器54a使2维降噪图像A(n)所包括的像素值成为(1-α)倍，系数乘法器55a使3维降噪图像B(n)所包括的像素值成为α倍，加法器56a将系数乘法器54a、55a的输出相加。系数乘法器54b使2维降噪图像A(n)所包括的像素值成为(1-β)倍，系数乘法器55b使3维降噪图像B(n)所包括的像素值成为β倍，加法器56b将系数乘法器54b、55b的输出相加。
校正原图像用加权加法部53a的输出作为校正原图像Y(n)向时基转换部16供给。内插图像用加权加法部53b的输出作为参照图像Z(n)向内插图像生成部15供给。在2维降噪图像A(n)、3维降噪图像B(n)、校正原图像Y(n)以及参照图像Z(n)之间，下式(1)和(2)成立。
Y(n)＝(1-α)×A(n)+α×B(n)…(1)
Z(n)＝(1-β)×A(n)+β×B(n)…(2)
(此处，0≤α≤1、0≤β≤1)
内插图像生成部15使用由运动矢量检测部12检测到的运动矢量MV，基于由内插图像用加权加法部53b求出的参照图像Z(n)，生成应在校正原图像Y(n)和校正原图像Y(n+1)的中间内插的内插图像Y(n+0.5)。
下面，说明加权系数控制部51。在输入图像X(n)的运动量大的情况下，易于发生运动矢量的误检测。在这种情况下，3维降噪图像B(n)有可能劣化，因此，加权系数控制部51减小加权系数α。由此，得到接近2维降噪图像A(n)的校正原图像Y(n)。另外，内插图像Y(n+0.5)与校正原图像Y(n)相比易于劣化，因此，加权系数控制部51使加权系数β小于加权系数α。因此，基于比校正原图像Y(n)离2维降噪图像A(n)近的参照图像Z(n)生成内插图像Y(n+0.5)。由此，能防止内插图像的大幅度的劣化。
在输入图像X(n)的运动量小的情况下，难以发生运动矢量的误检测，也难以发生内插图像的大幅度的劣化。在这种情况下，加权系数控制部51增大加权系数α。由此，得到接近3维降噪图像B(n)的校正原图像Y(n)。在内插图像Y(n+0.5)中多少会发生由帧率转换处理导致的劣化，因此，加权系数控制部51使加权系数β小于加权系数α。
此外，大致静止的图像多是原来为模糊少的清晰的图像。当在该图像中应用2维降噪滤波时，会发生模糊，看上去图像反而劣化。因此，优选在大致静止的图像中进行3维降噪处理。与此相对，运动大的图像原来就模糊，因此，即使应用2维降噪滤波，也难以感到模糊。因此，优选在运动大的图像中应用2维降噪滤波。
这样在图像处理装置50中，通过针对2维降噪图像和3维降噪图像进行使用了加权系数α的加权加法来求出校正原图像。基于参照图像来生成内插图像，上述参照图像针对2维降噪图像和3维降噪图像进行使用了加权系数β的加权加法来求出。这样基于用不同于校正图像的方法求出的参照图像来生成内插图像。
如上所示，本实施方式的图像处理装置50具备：场景信息检测部21，其基于输入图像X(n)检测场景信息；和加权加法运算部52，其针对2维降噪滤波处理部13和3维降噪处理部14的输出，进行独立的2个加权加法运算。校正原图像Y(n)是用加权加法运算部52的一方加权加法运算求出的图像，参照图像Z(n)是用加权加法运算部52的另一方加权加法运算求出的图像。加权加法运算部52的加权系数α、β基于由场景信息检测部21检测到的场景信息变化。
因此，根据本实施方式的图像处理装置50，能一边根据输入图像所表示的场景的特征改变加权系数，一边针对进行了递归型降噪处理的图像和未进行递归型降噪处理的图像进行加权加法来求出参照图像，基于此生成内插图像。因此，根据场景的特征生成优选的内插图像，即使在发生了运动矢量的误检测的情况下，也能防止内插图像的大幅度的劣化。另外，在增大向应用了降噪滤波的图像施加的加权系数来求出参照图像、基于此生成了内插图像的情况下，也能降低内插图像所包括的、在递归型降噪处理中无法降低的噪声。
此外，第5实施方式能包括下面的变形例。图11和图12是示出第5实施方式的变形例的图像处理装置的构成的框图。图11所示的图像处理装置60对第3实施方式的图像处理装置30进行了变形。在图像处理装置60中，反射式字幕信息检测部31输出示出反射式字幕信息的反射式字幕信息信号Q2，加权系数控制部51基于反射式字幕信息信号Q2改变加权加法运算部52的加权系数。图12所示的图像处理装置70对第4实施方式的图像处理装置40进行了变形。在图像处理装置70中，外部信息解析部41输出示出了外部信息的解析结果的解析结果信号Q3，加权系数控制部51基于解析结果信号Q3改变加权加法运算部52的加权系数。
该变形例的图像处理装置60、70起到与图像处理装置50相同的效果。即，根据图像处理装置60、70，能一边根据输入图像所包括的反射式字幕的特征(或者根据从外部输入的外部信息)改变加权系数，一边针对进行了递归型降噪处理的图像和未进行递归型降噪处理的图像进行加权加法来求出参照图像，基于此生成内插图像。因此，根据反射式字幕的特征(或者根据外部信息)生成优选的内插图像，即使在发生了运动矢量的误检测的情况下，也能防止内插图像的大幅度的劣化。
另外，第1～第5实施方式中，针对为了将帧率设为2倍而在连续的2个校正原图像的中间内插1个内插图像的图像处理装置进行了说明。除此以外，本发明的图像处理装置也可以为了使帧率大于2倍而在连续的2个校正原图像之间内插多个内插图像。另外，本发明的图像处理装置也可以具备1维降噪滤波部来代替2维降噪滤波处理部13，上述1维降噪滤波部针对输入图像X(n)应用1维降噪滤波。1维降噪滤波是在图像的水平方向或垂直方向中的任一个进行滤波处理。
如上所示，根据本发明的图像处理装置、图像处理方法、图像显示装置以及图像显示方法，用不同于校正原图像的方法来求出参照图像，由此基于优选的参照图像来生成内插图像，即使在发生了运动矢量的误检测的情况下，也能防止内插图像的大幅度的劣化。
工业上的可利用性
本发明的图像处理装置、图像处理方法、图像显示装置以及图像显示方法起到即使在发生了运动矢量的误检测的情况下，也防止内插图像的大幅度的劣化的效果，因此，能用于进行帧率转换处理和递归型降噪处理的各种图像处理装置、图像处理方法、图像显示装置以及图像显示方法。
附图标记说明
1：液晶显示装置
2：定时控制电路
3：扫描信号线驱动电路
4：数据信号线驱动电路
5：液晶面板
6：像素电路
10、20、30、40、50、60、70：图像处理装置
11：帧存储器
12：运动矢量检测部
13：2维降噪滤波处理部
14：3维降噪处理部
15：内插图像生成部
16：时基转换部
21：场景信息检测部
22：选择部
31：反射式字幕信息检测部
35：输入图像
36：反射式字幕
37：反射式字幕区域
41：外部信息解析部
51：加权系数控制部
52：加权加法运算部
53：加权加法部

Claims (13)

1.一种图像处理装置，其特征在于，
进行帧率转换处理和递归型降噪处理，
具备：运动矢量检测部，其从连续地输入的输入图像中检测运动矢量；
第1降噪处理部，其使用上述运动矢量针对上述输入图像进行递归型降噪处理；
第2降噪处理部，其针对上述输入图像应用降噪滤波；以及
内插图像生成部，其使用上述运动矢量基于参照图像来生成内插图像，
输出用规定的方法求出的校正原图像和基于用不同于上述校正原图像的方法求出的参照图像所生成的内插图像。
2.根据权利要求1所述的图像处理装置，其特征在于，
上述校正原图像是由上述第1降噪处理部求出的图像，上述参照图像是由上述第2降噪处理部求出的图像。
3.根据权利要求1所述的图像处理装置，其特征在于，
还具备选择部，上述选择部选择上述第1降噪处理部和第2降噪处理部的输出中的任一个，求出上述参照图像，
上述校正原图像是由上述第1降噪处理部求出的图像。
4.根据权利要求3所述的图像处理装置，其特征在于，
还具备场景信息检测部，上述场景信息检测部基于上述输入图像来检测场景信息，
上述选择部基于上述场景信息进行选择。
5.根据权利要求3所述的图像处理装置，其特征在于，
还具备反射式字幕信息检测部，上述反射式字幕信息检测部基于上述输入图像来检测反射式字幕信息，
上述选择部基于上述反射式字幕信息进行选择。
6.根据权利要求3所述的图像处理装置，其特征在于，
还具备外部信息解析部，上述外部信息解析部解析从外部输入的外部信息，
上述选择部基于上述外部信息解析部的解析结果进行选择。
7.根据权利要求1所述的图像处理装置，其特征在于，
还具备加权加法运算部，上述加权加法运算部针对上述第1降噪处理部和第2降噪处理部的输出进行独立的2个加权加法运算，
上述校正原图像是用上述加权加法运算部的一方加权加法运算求出的图像，上述参照图像是用上述加权加法运算部的另一方加权加法运算求出的图像。
8.根据权利要求7所述的图像处理装置，其特征在于，
还具备场景信息检测部，上述场景信息检测部基于上述输入图像来检测场景信息，
上述加权加法运算部的加权系数基于上述场景信息而变化。
9.根据权利要求7所述的图像处理装置，其特征在于，
还具备反射式字幕信息检测部，上述反射式字幕信息检测部基于上述输入图像来检测反射式字幕信息，
上述加权加法运算部的加权系数基于上述反射式字幕信息而变化。
10.根据权利要求7所述的图像处理装置，其特征在于，
还具备外部信息解析部，上述外部信息解析部解析从外部输入的外部信息，
上述加权加法运算部的加权系数基于上述外部信息解析部的解析结果而变化。
11.一种图像处理方法，其特征在于，
进行帧率转换处理和递归型降噪处理，
具备：从连续地输入的输入图像中检测运动矢量的步骤；
使用检测到的运动矢量针对上述输入图像进行递归型降噪处理的步骤；
针对上述输入图像应用降噪滤波的步骤；以及
使用检测到的运动矢量基于参照图像来生成内插图像的步骤，
输出用规定的方法求出的校正原图像和基于用不同于上述校正原图像的方法求出的参照图像所生成的内插图像。
12.一种图像显示装置，其特征在于，
进行帧率转换处理和递归型降噪处理来显示图像，
具备：显示面板；
图像处理部，其进行帧率转换处理和递归型降噪处理；以及
驱动电路，其基于上述图像处理部的输出来驱动上述显示面板，
上述图像处理部包括：
运动矢量检测部，其从连续地输入的输入图像中检测运动矢量；
第1降噪处理部，其使用上述运动矢量针对上述输入图像进行递归型降噪处理；
第2降噪处理部，其针对上述输入图像应用降噪滤波；以及
内插图像生成部，其使用上述运动矢量基于参照图像来生成内插图像，
输出用规定的方法求出的校正原图像和基于用不同于上述校正原图像的方法求出的参照图像所生成的内插图像。
13.一种图像显示方法，其特征在于，
进行帧率转换处理和递归型降噪处理而在显示面板中显示图像，
具备：从连续地输入的输入图像中检测运动矢量的步骤；
使用检测到的运动矢量针对上述输入图像进行递归型降噪处理的步骤；
针对上述输入图像应用降噪滤波的步骤；
使用检测到的运动矢量基于参照图像来生成内插图像的步骤；以及
基于图像信号来驱动显示面板的步骤，上述图像信号表示用规定的方法求出的校正原图像和基于用不同于上述校正原图像的方法求出的参照图像所生成的内插图像。
CN201180026647.6A 2010-06-08 2011-04-04 图像处理装置和方法、图像显示装置和方法 Expired - Fee Related CN102918830B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-131425 2010-06-08
JP2010131425 2010-06-08
PCT/JP2011/058550 WO2011155258A1 (ja) 2010-06-08 2011-04-04 画像処理装置および方法、画像表示装置および方法

Publications (2)

Publication Number Publication Date
CN102918830A true CN102918830A (zh) 2013-02-06
CN102918830B CN102918830B (zh) 2015-06-17

Family

ID=45097872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180026647.6A Expired - Fee Related CN102918830B (zh) 2010-06-08 2011-04-04 图像处理装置和方法、图像显示装置和方法

Country Status (4)

Country Link
US (1) US9215353B2 (zh)
JP (1) JP5490236B2 (zh)
CN (1) CN102918830B (zh)
WO (1) WO2011155258A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI606418B (zh) * 2012-09-28 2017-11-21 輝達公司 圖形處理單元驅動程式產生內插的圖框之電腦系統及方法
JP5882253B2 (ja) * 2013-04-23 2016-03-09 高千穂産業株式会社 長尺物品の位置測定方法
US10134110B1 (en) * 2015-04-01 2018-11-20 Pixelworks, Inc. Temporal stability for single frame super resolution
CN107437238B (zh) * 2016-05-25 2020-11-24 上海联影医疗科技股份有限公司 一种图像分块自适应递归降噪方法及装置
US11303847B2 (en) * 2019-07-17 2022-04-12 Home Box Office, Inc. Video frame pulldown based on frame analysis
CN111754437B (zh) * 2020-06-24 2023-07-14 成都国科微电子有限公司 一种基于运动强度的3d降噪方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004088234A (ja) * 2002-08-23 2004-03-18 Matsushita Electric Ind Co Ltd ノイズ低減装置
JP2006023812A (ja) * 2004-07-06 2006-01-26 Matsushita Electric Ind Co Ltd 画像処理装置
JP2010093680A (ja) * 2008-10-10 2010-04-22 Victor Co Of Japan Ltd 映像信号処理装置及び映像信号処理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69604958T2 (de) 1995-03-31 2000-02-17 Thomson Multimedia Sa Verfahren und Vorrichtung für bewegungskompensierte Erhöhung der Bildfrequenz
EP0735747B1 (en) 1995-03-31 1999-11-03 THOMSON multimedia Method and apparatus for motion compensated frame rate upconversion
FR2742900B1 (fr) * 1995-12-22 1998-02-13 Thomson Multimedia Sa Procede d'interpolation de trames progressives
JP4686148B2 (ja) * 2003-08-11 2011-05-18 三星電子株式会社 液晶表示装置及びその映像信号補正方法
US7317841B2 (en) * 2003-12-22 2008-01-08 Ge Medical Systems Global Technology Company, Llc System and method for image noise reduction using a minimal error spatiotemporal recursive filter
JP4364287B1 (ja) * 2008-06-27 2009-11-11 株式会社東芝 映像信号処理装置及びテレビジョン受信装置及びその制御方法
JP4643727B2 (ja) * 2009-05-29 2011-03-02 株式会社東芝 画像処理装置及び画像処理方法
US9277202B2 (en) * 2011-01-19 2016-03-01 Sharp Kabushiki Kaisha Image processing device, image processing method, image display apparatus, and image display method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004088234A (ja) * 2002-08-23 2004-03-18 Matsushita Electric Ind Co Ltd ノイズ低減装置
JP2006023812A (ja) * 2004-07-06 2006-01-26 Matsushita Electric Ind Co Ltd 画像処理装置
JP2010093680A (ja) * 2008-10-10 2010-04-22 Victor Co Of Japan Ltd 映像信号処理装置及び映像信号処理方法

Also Published As

Publication number Publication date
WO2011155258A1 (ja) 2011-12-15
JP5490236B2 (ja) 2014-05-14
US9215353B2 (en) 2015-12-15
US20130069922A1 (en) 2013-03-21
JPWO2011155258A1 (ja) 2013-08-01
CN102918830B (zh) 2015-06-17

Similar Documents

Publication Publication Date Title
CN101663885B (zh) 图像处理装置及方法、图像显示装置及方法
JP4181593B2 (ja) 画像表示装置及び方法
JP4303745B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
CN102918830B (zh) 图像处理装置和方法、图像显示装置和方法
JP2008107753A (ja) 画像表示装置及び方法、画像処理装置及び方法
JP2011221441A (ja) 画像処理装置
JP2008160591A (ja) テレビジョン受信機及びそのフレームレート変換方法
US8274605B2 (en) System and method for adjacent field comparison in video processing
EP1924099A1 (en) Frame interpolating circuit, frame interpolating method, and display apparatus
CN102577365B (zh) 视频显示装置
JP2010093672A (ja) 映像変換装置および方法、並びにプログラム
KR101002495B1 (ko) 화상 변환 장치 및 화상 변환 방법
US20100026904A1 (en) Video signal processing apparatus and video signal processing method
JP2008028507A (ja) 画像補正回路、画像補正方法および画像表示装置
JP4505000B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
US7750974B2 (en) System and method for static region detection in video processing
JP2008139828A (ja) 画像処理装置、画像処理方法、電気光学装置及び電子機器
JP4181613B2 (ja) 画像表示装置及び方法
JP2009253567A (ja) テレビジョン受信機及びそのフレームレート変換方法
JP2008193730A (ja) 画像表示装置及び方法、画像処理装置及び方法
JP2007288483A (ja) 画像変換装置
JP4656546B2 (ja) 映像信号処理装置
KR100791481B1 (ko) 디스플레이 장치 및 제어 방법
JP4181612B2 (ja) 画像表示装置及び方法
JP2006203320A (ja) 飛越走査信号の順次走査信号への変換方法及び装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150617

Termination date: 20200404