CN101543043A - 图像显示装置、视频信号处理器和视频信号处理方法 - Google Patents

图像显示装置、视频信号处理器和视频信号处理方法 Download PDF

Info

Publication number
CN101543043A
CN101543043A CNA200880000352XA CN200880000352A CN101543043A CN 101543043 A CN101543043 A CN 101543043A CN A200880000352X A CNA200880000352X A CN A200880000352XA CN 200880000352 A CN200880000352 A CN 200880000352A CN 101543043 A CN101543043 A CN 101543043A
Authority
CN
China
Prior art keywords
value
pixel
frame
image
image blur
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200880000352XA
Other languages
English (en)
Other versions
CN101543043B (zh
Inventor
宫崎慎一郎
村上一郎
西亨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101543043A publication Critical patent/CN101543043A/zh
Application granted granted Critical
Publication of CN101543043B publication Critical patent/CN101543043B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611Control of matrices with row and column drivers
    • G09G3/3648Control of matrices with row and column drivers using an active matrix
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/205Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/66Transforming electric information into light information
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/02Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/024Scrolling of light from the illumination source over the display in combination with the scanning of the display screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/06Details of flat display driving waveforms
    • G09G2310/061Details of flat display driving waveforms for resetting or blanking
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0606Manual adjustment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0613The adjustment depending on the type of the information to be displayed
    • G09G2320/062Adjustment of illumination source parameters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/10Special adaptations of display systems for operation with variable images
    • G09G2320/106Determination of movement vectors or equivalent parameters within the image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435Change or adaptation of the frame rate of the video stream
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Television Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Liquid Crystal (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本发明提供一种图像显示装置,能够在执行用于改善预定图像质量的视频信号处理时抑制起因于运动向量的检测精度的图片质量的恶化。考虑通过运动向量检测器44进行运动向量mv检测的可靠性,在插补部45、成像模糊抑制处理器13和过驱动处理器10中执行视频信号处理。具体地,执行视频信号处理,以使得随着可靠性的提高视频信号处理的程度增加,另一方面,随着可靠性降低视频信号处理的程度降低。在使用运动向量执行视频信号处理的情况下,即使当运动向量超出了运动向量搜索范围(块匹配范围)时,也能够执行根据运动向量检测精度的视频信号处理。

Description

图像显示装置、视频信号处理器和视频信号处理方法
技术领域
本发明涉及一种用于使用运动补偿法执行预定视频信号处理的视频信号处理器、视频信号处理方法、以及具有这种视频信号处理器的图像显示装置。
背景技术
作为用于改善电视接收器、DVD播放器等中的图像质量的视频信号处理方法之一,存在使用运动补偿法的帧率变换。
关于由照相机捕获的用于电视广播的视频信号(在下文,称为摄像信号)和由将电影转变为电视系统的电视电影获得的视频信号(在下文,称为电影信号),帧率变换的原理将使用图1到3来描述。
图1(a)表示NTSC系统的摄像信号的原始帧A、B、C和D。在将摄像信号的帧率转变到120Hz的情况下,如图1(b)所示,在相邻原始帧之间(帧A和B之间,帧B和C之间,以及帧C和D之间)的每1/120秒的定时处添加插补帧。
图2(a)表示电影信号的原始帧A、B、C和D,该电影信号是变换到PAL系统的电视电影(2:2下拉(pulldown))。每个原始帧重复两次。在将2:2下拉电影信号的帧率变换到100Hz的情况下,如图2(b)所示,在25Hz周期处相邻的原始帧之间(帧A和B之间,帧B和C之间,以及帧C和D之间)的1/100秒间隔处添加三个插补帧。
图3(a)表示电影信号的原始帧A、B和C,该电影信号是变换(3:2下拉)到NTSC系统的电视电影。奇数原始帧A和C重复三次,偶数原始帧B重复两次。在将3:2下拉电影信号的帧率变换到120Hz的情况下,如图3(b)所示,在24Hz周期处相邻的原始帧之间(帧A和B之间,帧B和C之间)的1/120秒间隔处添加四个插补帧。
通过插补前一原始帧和后一原始帧的视频图像,产生每个插补帧。该插补是通过这样一种方法执行的,即,基于每个插补帧中的视频图像的插补位置的参数以及前一原始帧和后一原始帧之间的运动向量计算用于计算插补帧的像素值的前一原始帧和后一原始帧的像素地址,然后依据插补位置为像素地址值分配权重。
该帧率变换产生消除摄像信号中模糊不清的运动的效果,和降低电影信号中抖动(视频图像中运动的不平滑)的效果。
图1到3还表示传统帧率变换中插补帧中的视频图像的插补位置。如图1(b)所示,插补帧中的视频图像的插补位置,在将NTSC摄像信号的帧率变换到120Hz的时刻,被传统地设置到一个位置,该位置是通过将前一原始帧和后一原始帧之间的视频图像的运动幅度(通过运动向量检测确定的幅度)等分为两部分来获得的,即,运动幅度的50%的位置。
如图2(b)所示,在将2:2下拉电影信号的帧率变换到100Hz的时刻,三个插补帧中的视频图像的插补位置被传统地设置到这样的位置,这些位置是通过将前一原始帧和后一原始帧之间的视频图像运动幅度等分为四部分获得的,即,运动幅度的25%、50%和75%的位置。
如图3(b)所示,在将3:2下拉电影信号的帧率变换到120Hz的时刻,四个插补帧中的视频图像的插补位置被传统地设置到这样的位置,这些位置是通过将前一原始帧和后一原始帧之间的视频图像运动幅度等分为五部分获得的,即,运动幅度的20%、40%、60%和80%的位置。
图4是表示在相关领域的插补位置接受帧率变换的3:2下拉电影信号的视频图像例子的图。飞机的视频图像在相邻的原始帧A和B之间移动。在四个插补帧中,飞机的视频图像被插补到通过将运动幅度等分为五部分获得的位置中。
而且,例如,与这种帧率变换相关的技术在专利文献1中提出。
专利文献1:日本未审专利申请公开No.2003-189257。
发明内容
如上所述,在使用运动补偿的帧率变换中,传统地,插补帧中的视频图像的插补位置被设置到通过将前一原始帧和后一原始帧之间的视频图像运动幅度等分获得的位置。
然而,在电影信号的情况下,当在通过将如图4示例的原始帧之间的视频图像运动幅度等分获得的插补位置处执行插补时,抖动(judder)大大降低,视频图像的运动变得非常平滑。结果,习惯于电影信号中抖动的人获得电影信号的感觉消失的印象。
而且,在使用运动补偿的帧率变换中,在其中相邻原始帧之间的视频图像运动变得非常快的情况下,运动向量出了运动向量搜索范围(块匹配范围),并且大的抖动发生。在这种情况下,存在这样的问题,当用户正在观看其中运动非常平滑的视频图像时,由于大的抖动突然发生,用户会感觉不舒服。
而且,迄今为止,为了使在变换电影(film)信号(电影院(cinema)信号)的帧率时刻视频图像的运动更加平滑,已经提出(参见专利文献1)沿着运动向量的方向移动在帧率变换之后的场的像素位置的技术。但是,没有提出在变换电影信号的帧率时刻降低抖动的同时消弱抖动降低程度的技术。
顺便地,在执行视频信号处理以改善图片质量诸如通过使用运动向量进行帧率变换的情况下,当运动向量出了如上的运动向量搜索范围(块匹配范围)时,可能不能很好地检测到运动向量。在这种情况下,如果依原样使用运动向量,视频信号处理没有很好地执行。另一问题产生,使得图片质量恶化。
而且,在显示在固定像素(保留(hold))类型显示设备诸如液晶显示器上接受视频信号处理的视频信号的情况下,另一问题产生,使得由于其配置所谓的保留模糊(hold blur)产生。要求尽可能地降低这种保留模糊。由于这种保留模糊的可视性根据环境变化,所以根据环境的改善方法是需要的。
鉴于这些问题,获得本发明,它的第一个目的是提供一种图像显示装置、视频信号处理器和视频信号处理方法,能够在使用运动补偿变换电影信号帧率的时刻降低抖动的同时消弱抖动的降低程度。
本发明的第二个目的是提供一种图像显示装置、视频信号处理器和视频信号处理方法,能够抑制在执行预定视频信号处理以改善图片质量的时刻由于运动向量的检测精度造成的图片质量的恶化。
而且,本发明的第三个目的是提供一种图像显示装置,能够依据环境降低保留模糊。
本发明的图像显示装置包括:运动向量检测设备,用于沿着时间轴(timebase)检测多个原始帧的运动向量;视频信号处理设备,用于通过使用检测到的运动向量执行预定的视频信号处理以改善多个原始帧的图片质量;和显示设备,用于基于接受视频信号处理的视频信号显示视频图像。而且,视频信号处理设备执行视频信号处理,以使得,随着由运动向量检测设备检测运动向量的可靠性的提高,视频信号处理的程度增加,另一方面,随着可靠性的降低,视频信号处理的程度下降。
本发明的视频信号处理器包括:运动向量检测设备,用于沿着时间轴检测多个原始帧中的运动向量;和视频信号处理设备,用于通过使用检测到的运动向量执行预定的视频信号处理以改善多个原始帧的图片质量。而且,视频信号处理设备执行视频信号处理,以使得,随着由运动向量检测设备检测运动向量的可靠性的提高,视频信号处理的程度增加,另一方面,随着可靠性的降低,视频信号处理的程度下降。
本发明的视频信号处理方法包括下列步骤:沿着时间轴检测多个原始帧中的运动向量;和通过使用检测到的运动向量执行预定的视频信号处理以改善多个原始帧的图片质量,同时执行视频信号处理,以使得,随着由运动向量检测设备检测运动向量的可靠性的提高,视频信号处理的程度增加,另一方面,随着可靠性的降低,视频信号处理的程度下降。
在本发明的图像显示装置、视频信号处理器和视频信号处理方法中,沿着时间轴检测多个原始帧中的运动向量,和通过使用检测到的运动向量在多个原始帧上执行改善图片质量的预定视频信号处理。在这种视频信号处理中,执行视频信号处理,以使得,随着由运动向量检测设备检测运动向量的可靠性的提高,视频信号处理的程度增加,另一方面,随着可靠性的降低,视频信号处理的程度下降。因此,例如,也是在其中运动向量出了运动向量搜索范围(块匹配范围)的情况下,可执行根据运动向量检测精度的视频信号处理。
在本发明的图像显示装置、视频信号处理器和视频信号处理方法中,执行视频信号处理,以使得,随着检测运动向量的可靠性的提高,视频信号处理的程度增加,另一方面,随着可靠性的降低,视频信号处理的程度下降。因此,在通过使用运动向量执行预定的视频信号处理以改善图片质量的情况下,可执行根据运动向量检测精度的视频信号处理。因此,在执行预定的视频信号处理以改善图片质量的时刻,可以抑制根据运动向量检测精度的图片质量恶化。
附图说明
图1是表示相关技术中摄像信号的帧率变换原理和插补位置的图。
图2是表示相关技术中电影信号的帧率变换原理和插补位置的图。
图3是表示相关技术中电影信号的帧率变换原理和插补位置的图。
图4是示例相关技术中在插补位置接过帧率变换的电影信号的视频图像的图。
图5是表示根据本发明第一实施例的视频信号处理器的电路配置的实例的方框图。
图6是表示通过插补器进行地址计算的原理图。
图7是表示从CPU提供的插补位置参数的图。
图8是表示在3:2下拉电影信号的情况下插补位置参数值的图。
图9是表示在2:2下拉电影信号的情况下插补位置参数值的图。
图10是表示使用图5的装置接受帧率变换的电影信号视频图像的图。
图11是表示根据第一实施例的修改实例的视频信号处理器的电路配置实例方框图。
图12是表示摄像信号的到240Hz的帧率变换图。
图13是表示根据本发明第二实施例的视频信号处理器配置实例的方框图。
图14是表示在人的视网膜上形成的图像中模糊的频率特性实例图。
图15是解释通过图13的视频信号处理器执行的图像处理实例的流程图。
图16是表示根据移动向量(移动速度、运动向量)的成像模糊的频率特性实例图。
图17是表示在图13的视频信号处理器中成像模糊抑制处理器的功能配置实例方框图。
图18是表示在图17的成像模糊处理器中高频成分移除单元的功能配置实例方框图。
图19是表示图18的高频成分移除单元中高频限制器(limiter)特性的实例图。
图20是表示在图17的成像模糊抑制处理器中滤波器单元的功能配置实例方框图。
图21是表示图20的滤波器单元中增益控制器的功能配置实例方框图。
图22是表示在图21的增益控制器中调整量确定单元的特性实例图。
图23是表示在图17的成像模糊抑制处理器中成像模糊补偿单元的功能配置实例方框图。
图24是表示在图23的成像模糊补偿单元中ALTI单元的功能配置实例方框图。
图25是说明由图24的ALTI单元处理的对象的实例图,以解释在计算连续布置在目标像素右侧的一组像素的像素值的平均值的情况下校正像素值的方法。
图26是补充解释在计算连续布置在目标像素右侧的一组像素的像素值的平均值的情况下像素值校正方法的图。
图27是解释图24的ALTI单元处理实例的流程图。
图28是表示在图24的ALTI单元中调整量计算器特性的实例图。
图29是表示图23的成像模糊补偿单元中ALTI单元的功能配置的与图12不同的另一个实例方框图。
图30是表示在图23的成像模糊补偿单元中增益控制器的功能配置实例方框图。
图31是表示在图30的增益调整单元中调整量确定单元特性的实例图。
图32是表示图13的视频信号处理器中成像模糊抑制处理器的功能配置的与图17不同的实例方框图。
图33是表示图13的视频信号处理器中成像模糊抑制处理器的功能配置的与图17和32不同的实例方框图。
图34是说明摄像机的快门速度和成像模糊特性的图。
图35是表示根据第二实施例的视频信号处理器的一部分配置的与图13不同的实例方框图。
图36是表示第二实施例的视频信号处理器的一部分配置的与图13和35不同的实例方框图。
图37是表示第二实施例的视频信号处理器的一部分配置的与图13、35和36不同的实例方框图。
图38是表示第二实施例的视频信号处理器的一部分配置的与图13、35、36和37不同的实例方框图。
图39是表示图13的视频信号处理器中成像模糊抑制处理器的功能配置的图17、32和33不同的实例方框图。
图40是表示与图13的视频信号处理器中图像模糊抑制处理器的功能配置的与图17、32、33和39不同的实例方框图。
图41是表示图13的视频信号处理器中图像模糊抑制处理器的功能配置的与图17、32、33、39和40不同的实例方框图。
图42是表示根据第二实施例的修改实例的视频信号处理器配置的方框图。
图43是表示根据本发明第三实施例的修改实例的视频信号处理器配置的实例方框图。
图44是表示运动向量检测存在/不存在和可靠性之间的关系实例图。
图45是表示运动向量检测存在/不存在和可靠性之间的关系实例的定时脉冲波形图。
图46是表示根据可靠性与运动向量相乘的增益中变化的实例的定时图。
图47是表示根据可靠性与运动向量相乘的增益中变化的另一个实例的定时图。
图48是表示根据本发明第四实施例的图像显示装置配置的实例的方框图。
图49是表示通过图48所示的背光驱动单元基于帧单位的黑插入处理(black inserting process)(闪烁(blinking)处理)的实例的定时(timing)图。
图50是表示通过图48所示的背光驱动单元(backlight driving unti)的基于黑插入线单位(black insertion line unit basis)的黑插入处理(闪烁处理)的实例的定时图。
图51是表示通过图48所示的背光驱动单元(backlight driving unti)的基于黑插入线单位和帧单位(frame unit basis)组合的黑插入处理(闪烁处理)的实例的定时图。
图52是表示基于帧单位的黑插入处理中黑插入率的实例的定时图。
图53是表示基于帧单位的黑插入处理中黑插入率的另一个实例的定时图。
图54是表示基于黑插入线单位和帧单位的组合中的黑插入处理中黑插入率的实例的定时图。
图55是表示基于黑插入线单位和帧单位的组合中的黑插入处理中黑插入率的另一个实例的定时图。
图56是表示整个屏幕照明度(luminance)直方图分布的实例的特性要素图。
图57是表示根据第四实施例的修改实例的图像显示装置配置的实例的方框图。
图58是表示应用本发明的视频信号处理器的全部或部分硬件配置的实例的方框图。
具体实施方式
下面将参考附图详细描述本发明的实施例。
图5是表示根据本发明第一实施例的视频信号处理器(视频信号处理器4)的电路配置实例的方框图。视频信号处理器4内置在电视接收器中。将经过诸如由未示出的调谐器、解码器等调谐和解码处理的数字分量信号YUV提供给视频信号处理器4。
提供给视频信号处理器4的数字分量信号YUV输入到预处理器41,经由存储器控制器42顺次写入存储器43。
预处理器41执行的是将照明度信号Y从数字分量信号YUV中分离的处理。由预处理器41分离的照明度信号Y也经由存储器控制器42顺次写入存储器43中。
写入存储器43的照明度信号Y顺次由存储器控制器42读取(如图2和3所示,在其中相同的原始帧被重复两次或三次的电影信号的情况下,相同的原始帧只被读取一次),并被发送到运动向量检测器44。运动向量检测器44通过使用本帧的照明度信号Y和直接在前和随后的帧的照明度信号Y的块匹配执行运动向量检测处理。
由运动向量检测器44检测的每个帧的运动向量mv经由存储器控制器42写入存储器43。在其之后,运动向量mv被从存储器43中读取,并再次被发送到运动向量检测器44,以便在随后帧的运动向量检测中被参考。
而且,存储器控制器42以两倍速度、按照两系列、信号彼此偏离一个帧地读取写入在存储器43中的数字分量信号YUV(在其中如图2和3中所示的相同原始帧被重复两次或三次的电影信号的情况下,相同原始帧只被读取一次)。而且,存储器控制器42以两倍速度读取表示两个帧之间的运动的运动向量mv。以这种方式读取的两个系列的数字分量信号2YUV和运动向量mv被发送到插补部45。
为插补部45提供两系列的搜索范围存储器451和452以及插补器453。来自存储器控制器42的两系列数字分量信号2YUV之一写入搜索范围存储器451,另一个写入搜索范围存储器452。来自存储器控制器42的运动向量mv输入到插补器453。
而且,从电视接收器中的CPU 46,将表示插补帧中视频图像的插补位置的插补位置参数Relpos经由作为串行总线的I2C总线40和用于并行转换串行信号的解码器47提供给插补部45(插补位置参数Relpos的细节将在后面描述)。插补位置参数Relpos也输入到插补器453。
在运动向量mv和插补位置参数Relpos的基础上,插补器453计算用于计算插补帧的像素值的搜索范围存储器451和452中的原始帧中的像素的地址。
图6是概念表示地址计算原理的图。n-1指示在垂直轴方向上的下述原始帧的每个像素的地址(在屏幕上x方向和y方向的位置),该原始帧来自写入搜索范围存储器451和452中的、偏离一个帧的两个原始帧的较早的一个。n指示在垂直轴方向上来自两个原始帧的后一原始帧的每个像素地址。
i指示垂直轴方向上插补帧中每个像素的地址。水平轴表示时间,并显示原始帧n-1和n之间的插补帧i的定时(这里作为一个实例,该定时对应图2(b)中三个插补帧中的插补帧)。Relpos指示为插补帧i的生成提供的插补位置参数。
mv(x,y)int表示相对于在插补帧i的各像素中当前产生的像素(称为参考像素)的像素地址(x,y)的、原始帧n-1和n之间的运动向量。zeroPelPrev(x,y)指示原始帧n-1中参考地址(x,y)中的像素值。ZeroPelSucc(x,y)指示原始帧n中参考地址(x,y)中的像素值。
插补器453基于参考地址(x,y)、运动向量mv(x,y)int的x方向上的分量mvX、运动向量mv(x,y)int的y方向上的分量mvY和插补位置参数Relpos,通过下面公式(1)获得计算参考地址(x,y)的像素值的、原始帧n-1和n中的像素的地址。
[数学公式1]
原始帧n-1中的像素地址
=(x+mvX.Relpos,y+mvY.Relpos)
原始帧n中的像素地址
=(x-mvX.(1-Relpos),y-mvY.(1-Relpos)  …(1)
插补器453发送如上所述获得的地址到搜索范围存储器451和452,并读取这些地址的像素值prev和succ。然后使用像素值prev和succ和插补位置参数Relpos,通过下面公式(2)计算插补帧I的参考地址(x,y)的像素值Out。
[数学公式2]
Out=prev.(1-Relpos)+succ.Relpos    …(2)
通过对插补帧i的各个像素顺序执行这种计算(顺序更新参考地址的值(x,y)),产生插补帧i。
接下来,将描述从CPU 46提供给插补部45的插补位置参数Relpos。图7是表示从CPU 46提供的插补位置参数Relpos的图。在其中将2:2下拉电影信号(参考图2(a))作为数字分量信号YUV提供给图5的视频信号处理器4的情况下,CPU 46每1/100秒提供四相参数Relpos_22_0、Relpos_22_1、Relpos_22_2、和Relpos_22_3(即,以1/25秒周期)。这些相的每个参数由六个位组成(图中[5:0]表示六个位)。
Relpos_22_0是用于从插补器453中依原样输出在搜索范围存储器451和452中彼此偏离一个帧的两个原始帧的前一帧的参数。Relpos_22_1到Relpos_22_3是用于以两个原始帧之间的如图2(b)所示的1/100秒间隔产生三个插补帧的参数。
在其中提供2:2下拉电影信号的情况下,相同的原始帧在搜索范围存储器451和452(图5)中保持1/25秒。然后,在1/25秒期间,插补器453通过上面提到的公式(1)和(2)对各个相的每个参数Relpos_22_0、Relpos_22_1、Relpos_22_2、和Relpos_22_3计算插补帧。通过以1/25秒周期重复该过程,2:2下拉电影信号得到帧率转换。
另一方面,在其中将3:2下拉电影信号(参考图3(a))作为数字分量信号YUV提供给图5的视频信号处理器4的情况下,CPU 46每1/120秒提供五相的插补位置参数Relpos_32_0、Relpos_32_1、Relpos_32_2、Relpos_32_3和Relpos_32_4(即,以1/24秒周期)。
Relpos_32_0是用于从插补器453中依原样输出在搜索范围存储器451和452中彼此偏离一个帧的两个原始帧的中的前一帧的参数。Relpos_32_1到Relpos_32_4是用于以两个原始帧之间的如图3(b)所示的1/120秒间隔产生四个插补帧的参数。
在其中提供3:2下拉电影信号的情况下,相同的原始帧在搜索范围存储器451和452中保持1/24秒。然后,在1/24秒期间,插补器453通过上面提到的公式(1)和(2)对各个相的每个参数Relpos_32_0、Relpos_32_1、Relpos_32_2、Relpos_32_3和Relpos_32_4计算插补帧。通过以1/24秒周期重复该过程,3:2下拉电影信号得到帧率转换。
由用户选择插补位置参数Relpos的值。特别是,如图5所示,连接到电视接收器的远程控制器400具有插补位置调整按钮401,用于在“强、中和弱”三个级别上转换和选择插补位置参数Relpos的值。
通过电视接收器中红外光接收单元48从远程控制器400中接收指示由插补位置调整按钮401的选择结果的信号。当该信号经由I2C总线40被发送到CPU 46时,CPU 46根据选择结果设置插补位置参数Relpos的值。
图8是表示在提供3:2下拉电影信号的情况下由CPU 46依据插补位置调整按钮401的选择结果设置的插补位置参数Relpos的值的图。在插补位置调整按钮401选择“强”的情况下,Relpos_32_0、Relpos_32_1、Relpos_32_2、Relpos_32_3和Relpos_32_4的值分别被设置为0、0.2、0.4、0.6和0.8。
由于第一相参数Relpos_32_0的值是0,所以从公式(1)和(2)搜索范围存储器451和452中两个原始帧的前一个是依原样从插补器453输出的。
而且,由于第二、第三、第四和第五相Relpos_32_1、Relpos_32_2、Relpos_32_3和Relpos_32_4的参数值均一地从公式(1)和(2)中变化0.2,像0.2、0.4、0.6和0.8,所以搜索范围存储器451和452中两个原始帧之间产生的四个插补帧中的视频图像插补位置与图3(b)中所示的相关技术中的插补位置相同。这些位置的获得是通过将两个原始帧之间的视频图像的运动幅度均匀分成五个部分,即,运动幅度的20%、40%、60%和80%位置。
在插补位置调整按钮401选择“中”的情况下,Relpos_32_0、Relpos_32_1、Relpos_32_2、Relpos_32_3和Relpos_32_4的值分别被设置为0、0.15、0.3、0.7和0.85。由于第一相参数Relpos_32_0的值是0,所以像在“强”的情况中一样,搜索范围存储器451和452中两个原始帧的前一个依原样从插补器453输出。
另一方面,第二和第三相参数Relpos_32_1和Relpos_32_2的值0.15和0.3(如图3(b)所示,这些是用于产生相邻原始帧之间的四个插补帧中的更接近于前面原始帧的插补帧的参数)小于“强”情况下的值0.2和0.4。
第四和第五相参数Relpos_32_3和Relpos_32_4的值0.7和0.85(如图3(b)所示,这些是用于产生相邻原始帧之间的四个插补帧中的更接近于后面原始帧的插补帧的参数)大于“强”情况下的值0.6和0.8。
通过参数Relpos_32_1到Relpos_32_4的值,在“中”情况下,搜索范围存储器451和452中两个原始帧之间产生的四个插补帧中视频图像的插补位置是两个原始帧之间的视频图像运动幅度的15%、30%、70%和85%位置。即,四个插补帧中视频图像的插补位置不是通过像在“强”情况下那样平均划分两个原始帧之间的视频图像的运动幅度获得的位置(与那些相关技术中的插补位置相同的插补位置),而是比平均划分位置更靠近离插补帧近的原始帧中的视频图像的位置。
在插补位置调整按钮401选择“弱”的情况下,Relpos_32_0、Relpos_32_1、Relpos_32_2、Relpos_32_3和Relpos_32_4的值分别被设置为0、0.1、0.2、0.8和0.9。第二和第三相参数的值0.1和0.2(用于产生相邻原始帧之间的四个插补帧中的更接近于前面原始帧的插补帧的参数)进一步小于“中”情况下的值0.15和0.3。
而且,第四和第五相参数的值0.8和0.9(用于产生相邻原始帧之间的四个插补帧中的更接近于后面原始帧的插补帧的参数)大于“中”情况下的值0.7和0.85。
通过参数Relpos_32_1到Relpos_32_4的值,在“弱”情况下,搜索范围存储器451和452中两个原始帧之间产生的四个插补帧中视频图像的插补位置是两个原始帧之间的视频图像运动幅度的10%、20%、80%和90%位置。即,与“中”情况相比,四个插补帧中视频图像的插补位置是更靠近于更接近插补帧的原始帧中视频图像的位置。
图9是表示在提供2:2下拉电影信号的情况下由CPU 46依据插补位置调整按钮401的选择结果设置的插补位置参数Relpos的值的图。在插补位置调整按钮401选择“强”的情况下,Relpos_22_0、Relpos_22_1、Relpos_22_2和Relpos_22_3的值分别被设置为0、0.25、0.5和0.75。
由于第一相参数Relpos_22_0的值是0,所以搜索范围存储器451和452中两个原始帧的前一原始帧依原样从插补器453输出的。
而且,由于第二、第三和第四相Relpos_22_1、Relpos_22_2和Relpos_22_3的参数值均一地变化0.25,像0.25、0.5和0.75,所以从公式(1)和(2),搜索范围存储器451和452中两个原始帧之间产生的三个插补帧中的视频图像的插补位置与图2(b)中所示的相关技术中的插补位置相同。这些位置的获得是通过将两个原始帧之间的视频图像的运动幅度平均分成四个部分,即,运动幅度的25%、50%和75%位置。
在插补位置调整按钮401选择“中”的情况下,Relpos_22_0、Relpos_22_1、Relpos_22_2和Relpos_22_3的值分别被设置为0、0.15、0.3和0.85。由于第一相参数Relpos_22_0的值是0,像在“强”的情况下一样,所以搜索范围存储器451和452中两个原始帧的前一原始帧依原样从插补器453输出的。
另一方面,第二相参数Relpos_22_1的值0.15(如图2(b)所示,这是用于产生相邻原始帧之间的三个插补帧中更接近于前面原始帧的插补帧的参数)小于“强”情况下的值0.25。
而且,如图2(b)所示,第三相参数Relpos_22_2是用于产生相邻原始帧之间的三个插补帧中前面原始帧和后面原始帧中间右侧的插补帧的参数。在这里,通过将该中间插补帧归类为更靠近于前面原始帧的插补帧,参数Relpos_22_2的值变成比“强”情况下的值0.5更小的值0.3。
第四相参数Relpos_22_3的值0.85(如图2(b)所示,这是用于产生相邻原始帧之间的三个插补帧中更靠近后面原始帧的插补帧的参数)大于“强”情况下的值0.75。
通过参数Relpos_22_1到Relpos_22_3的值,在“中”情况下,搜索范围存储器451和452中两个原始帧之间产生的三个插补帧中视频图像的插补位置是两个原始帧之间的视频图像运动幅度的15%、30%和85%位置。即,三个插补帧中视频图像的插补位置不是通过像在“强”情况下那样平均划分两个原始帧之间的视频图像的运动幅度获得的位置(如那些相关技术中的插补位置相同的插补位置),而是比平均划分位置更接近离插补帧更近的原始帧中的视频图像的位置。
在插补位置调整按钮401选择“弱”的情况下,Relpos_22_0、Relpos_22_1、Relpos_22_2和Relpos_22_3的值分别被设置为0、0.1、0.2和0.9。第二和第三相参数的值0.1和0.2(该参数用于产生相邻原始帧之间的三个插补帧中更靠近前面原始帧的插补帧)进一步小于“中”情况下的值0.15和0.3。
而且,第四相参数的值0.9(该参数用于产生相邻原始帧之间的三个插补帧中更靠近后面原始帧的插补帧)大于“中”情况下的值0.85。
通过参数Relpos_22_1到Relpos_22_3的值,在“弱”情况下,搜索范围存储器451和452中两个原始帧之间产生的三个插补帧中视频图像的插补位置是两个原始帧之间的视频图像运动幅度的10%、20%和90%位置。即,三个插补帧中视频图像的插补位置是与“中”情况下的插补位置相比更靠近于更接近插补帧的原始帧中视频图像的位置。
图10是使用作为例子的与图4中相同的原始帧的视频图像,表示与相关技术中插补位置的视频图像(图10(a))相比较而言在将3:2下拉电影信号提供给图5的视频信号处理器4和由插补位置调整按钮401选择“弱”的情况下,经过帧率变换的视频图像(图10(b))。
如图10(b)所示,在四个插补帧中,在更接近前面原始帧A的两个插补帧中,与相关技术情况下相比较而言,飞机的图像更靠近原始帧A定位。另一方面,在更接近于后面原始帧B的两个插补帧中,与相关技术情况下相比较而言,飞机的图像更靠近原始帧B定位。因此,第二和第三插补帧的飞机图像位置之间的间隔大于相关技术的间隔。
如上所述,在视频信号处理器4中,当插补位置调整按钮401选择“弱”或“中”时,在较早原始帧和后面原始帧中更靠近前面原始帧的插补帧中的插补位置朝着前面原始帧的视频图像偏移。更靠近后面原始帧的插补帧中插补位置朝着后面原始帧的视频图像偏移。
因此,也如图10所示,在更靠近前面原始帧的插补帧和更靠近后面原始帧的插补帧之间,插补视频图像的位置间隔大于相关技术情况下的位置间隔。
如上所述,其视频图像的插补位置比相关技术彼此分开更大的插补帧。因此,插补帧之间视频图像运动的不平滑性显著高于相关技术的情况。因此,在执行电影信号的帧率变换时,在通过帧率变换减小抖动的同时,相比于相关技术的情况,能够降低减小的程度。
而且,在用户通过电视接收器观看电影信号的视频图像的情况下,一些用户更喜欢抖动被最大程度地降低以使得视频图像的运动更平滑的情况,而一些用户更喜欢抖动保持到一定程度的情况,在该程度上图像保留电影信号的味道。因此,更喜欢视频图像的更平滑运动的用户利用插补位置调整按钮401选择“强”。更喜欢抖动保持到一定程度的图像的用户利用插补位置调制按钮401选择“弱”或“中”。因此,抖动降低程度可以根据每个用户的偏爱进行选择。
如在“背景技术”中所述,在使用运动补偿的帧率变换中,在相邻原始帧之间的视频图像运动变得非常快的情况下,运动向量超出了运动向量搜索范围,因此大抖动发生。同样在这种情况下,通过利用插补位置调制按钮401选择“弱”或“中”来减小抖动降低程度,由于当用户观看包括一些抖动的视频图像时大抖动发生,所以用户就没有在其中运动非常平滑的视频图像中突然发生大抖动的传统情况感觉那么奇怪。
而且,在使用运动补偿的帧率变换中,已知,作为副作用,发生这样的现象(称为光晕(Halo)),如在运动的人等的视频图像的轮廓中看到类似微光的噪声。当被插补的视频图像的位置与原始帧中的视频图像的位置分开时,光晕会变得更加显著。正相反,当利用插补位置调整按钮401选择“弱”或“中”时,将被插补的视频图像的位置变得更靠近原始帧中的视频图像,以使得光晕能够被抑制。
在图5的例子中,远程控制器400拥有插补位置调整按钮401,用于在“强、中和弱”三个程度中转换和选择插补位置参数Relpos的值。但是,作为另一个实例,可以为远程控制器400或电视接收器体提供诸如量(volume)开关的操作装置,用于当连续(无阶地)改变图8和9中“强”到“弱”范围内的值时选择插补位置参数Relpos的值。在这种情况下,为了进一步减小插补位置参数Relpos值的最小改变量,可以将从CPU 46提供的插补位置参数Relpos的位数设置为大于六位(例如,大约八位)。
接下来,图11是表示根据本实施例修改实例的视频信号处理器(视频信号处理器4A)的电路配置实例方框图。相同的参考标记指代与那些图5中所示的视频信号处理器4的元件相同的元件,并且它们的说明将不再重复。
在视频信号处理器4A中,提供给视频信号处理器4A的数字分量信号YUV的S/N级由S/N级检测器49检测。然后,指示检测结果的信号经由I2C总线40发送到CPU 46。
如上所述,在使用运动补偿的帧率变换中,发生这样的现象(光晕),即在运动的人等的视频图像的轮廓中出现类似微光的噪声。当视频图像的插补位置与原始帧中的视频图像的位置分开时,光晕会变得更加显著。而且,当视频信号的S/N级降低(噪声级提高)时,光晕更加发生。
在CPU 46的存储器中,预存储指示预定值的S/N级的信息,该预定值预设置为光晕是否容易产生的边界。在S/N级检测器49的检测结果高于预定级的情况下,CPU 46将提供给插补部45的插补位置参数Relpos设置到图8和9中的“强”值。另一方面,当S/N级检测器49的检测结果等于或小于预定级时,CPU 46将提供给插补部45的插补位置参数Relpos设置到图8和9中的“弱(或中)”值。
由此,在所提供的数字分量信号YUV的S/N级是高的情况下(在光晕不容易发生的情况下),视频图像的运动能够变得平滑。在S/N级是低的情况下(在光晕容易发生的情况下),通过将视频图像的插补位置设置得更靠近原始帧的视频图像,光晕能够得到抑制。
而且,帧率变换电影信号的情况在该实施例中只是例示。但是,例如,如图12所示,在将NTSC系统的摄像信号的帧率变换到240Hz的情况下,三个插补帧以1/240秒的间隔添加在相邻原始帧之间(帧A和B之间,帧B和C之间,以及帧C和D之间)。尽管没有示出,在将PAL系统中摄像信号的帧率变换到200Hz的情况下,三个插补帧以1/200秒的间隔添加在相邻原始帧之间。如上所述,本发明也可以应用到将摄像信号变换到高帧率的情况。
在该实施例中,已经描述了通过选择用户的操作设置插补位置参数Relpos值的实例和依据视频信号的S/N级设置插补位置参数Relpos值的例子。但是,例如,作为设置插补位置参数Relpos值的又一个方法,从EPG(电子节目向导)中获得目前接收的电视广播节目类型(genre)的信息,并根据该类型可设置插补位置参数Relpos的值(例如,在其中视频图像的运动是慢的类型中设置图8和9中“强”的值,在其中视频图像的运动是快的类型中设置图8和9中“弱”或“中”的值)。
可替换地,在图8和9中通过情况重置(fact reset)可将插补位置参数Relpos的值设置为“弱”或“中”值。
而且,图8和9中所示的“弱”和“中”值仅仅是一个实例。明显地,通过另一个值,可将每个插补帧中视频图像的插补位置设置为更靠近与插补帧更接近的原始帧的视频图像的位置。
而且,在该实施例中,已经描述了将本发明应用到电视接收器中的视频信号处理器的实例。但是,除了这一点外,本发明还可应用到任何视频信号处理器,用于通过使用运动补偿法变换视频信号的帧率,诸如DVD播放器中的视频信号处理器。
[第二实施例]
现在将描述本发明的第二实施例。
图13表示第二实施例的视频信号处理器(视频信号处理器4B)的配置实例。相同的参考标记指示与前面实施例的那些元件相同的元件,并且它们的说明不再重复。
视频信号处理器4B基于读取(access)单位对运动图像数据执行各种图像处理。读取单位是运动图像的单位,诸如帧或场,具体地,例如,指组成运动图像的整个图片或图片的一部分。在这种情况下,图片在这里表示单个的静止图像。因此,整个图片对应一个帧。但是,在下文中,为解释简便起见,假定视频信号处理器4B基于帧单位对运动图像数据执行各种图像处理。
如图13所示,视频信号处理器4B是通过为在第一实施例中描述的视频信号处理器4A(包括插补部45(高帧率变换单元))进一步提供成像模糊特性检测器12和成像模糊抑制处理器13来获得的。
到插补部45,如第一实施例中所述,例如,诸如电视广播信号的运动图像信号作为帧单位中的运动图像数据输入。
在下文中,在运动图像和对应于运动图像的运动图像数据没有彼此区别的情况下,运动图像和对应于运动图像的运动图像数据将全部简单地称为运动图像。类似地,在帧和对应于帧的帧数据没有彼此区别的情况下,它们将简单地称为帧。
在输入处于第一帧率的运动图像的情况下,插补部对运动图像执行高帧率变换处理,并将作为处理结果获得的高于第一帧率的第二帧率运动图像提供给成像模糊特性检测器12和成像模糊抑制处理器13。
高帧率变换处理是一种在输入时刻的第一帧率低于输出(显示)时刻的第二帧率的情况下执行的处理。这是一种通过创建新帧并将该新帧插入到构成输入时刻运动图像的各个帧之间,将第一帧率变换到高于第一帧率的第二帧率的处理。
在这种情况下,第一帧率指的是当运动图像输入到插补部45时在时间点的运动图像的帧率。因此,第一帧率可以是任意帧率。在这种情况下,例如,它是当运动图像被未示出的成像装置捕获时的帧率,即,成像帧率。
而且,在该实施例中,作为用于执行这种高帧率变换处理的高帧率变换器的实例,将描述在第一实施例中描述的插补部45(在将N个插补帧添加到相邻原始帧之间的情况下,作为插补帧中视频图像的插补位置,不是通过均等地划分较早原始帧和后面原始帧之间的视频图像的运动幅度获得的位置,而是比平均划分位置更接近与插补帧更靠近的原始帧的视频图像的位置被设置)。代替插补部45,可提供普通的高帧率变换器(其设置,作为插补帧中的视频图像插补位置,通过均等地划分较早原始帧和后面原始帧之间的视频图像的运动幅度获得的位置)。
成像模糊特性检测器12检测这样一种参数值,该参数指示关于构成由插补部45提供的运动图像的各个帧的成像模糊特性。成像模糊特性检测器12的检测结果,即,指示程序模糊特性的参数值被提供给成像模糊抑制处理器13。
而且,指示成像模糊特性的参数没有限制,而是能够使用各种参数。后面将描述指示这种成像模糊特性的参数的具体实例。例如,在使用移动(travel)向量(运动向量)的绝对值作为指示成像模糊特性的参数的情况下,成像模糊特性检测器12可以包括在第一实施例中描述的运动向量检测器44。
在一个帧中指示成像模糊特性的参数检测值的数量没有具体限制。例如,可以每个帧只检测一个指示成像模糊特性的参数值。可以对于构成帧的每个像素检测指示成像模糊特性的参数值。也可以将一个帧划分成一些块,并对于每个划分块检测指示成像模糊特性的参数值。
对于构成由插补部45提供的运动图像的各个帧,基于由成像模糊特性检测器12检测的参数值中对应于要处理的帧的值,成像模糊抑制处理器13校正构成该要处理的帧的各个像素的值。也就是,根据要处理的帧的成像模糊特性(参数值),成像模糊抑制处理器13校正要处理的帧的各个像素值,以便抑制成像模糊。即,使用参数的检测值,执行抑制由包括在由插补部45提供的每个帧中的成像模糊引起的图片质量恶化的成像模糊抑制处理。
因此,运动图像从成像模糊抑制13输出到视频信号处理器4B的外部,在该运动图像中成像模糊通过校正每个帧的每个像素值得到抑制,并且运动图像被变换到比在输入时的第一帧率高的第二帧率。
在图13的实例中,成像模糊特性检测器12和成像模糊抑制处理器13的组与插补部45结合使用。但是,自然地,该组可以单独使用,或可以结合未示出的其它功能块(用于执行预定图像处理的另外视频图像信号处理器)使用。
即,仅仅通过成像模糊特性检测器12和成像模糊抑制处理器13的组,就可以产生抑制成像模糊的效果。但是,为了使效果更加显著,如上所述优选地将成像模糊特性检测器12和成像模糊抑制处理器13的组与插补部45结合起来。其原因将在下面描述。
当显示在未示出的显示设备上的运动图像形成为人的视网膜上的图像时,由人意识到的模糊是当人追随和看到包括在运动图像中的运动物体时发生的保留模糊(hold blur)和上面提到的在捕捉运动图像时添加的成像模糊的组合。
成像模糊的特性表示为低通滤波器,正如将在后面参考图16等所描述的。具体地,成像模糊之后的图像信号是等于通过将没有成像模糊的图像信号(理想的图像信号)穿过低通滤波器获得的信号。因而,具有成像模糊的图像信号的频率特性比没有成像模糊的图像信号的频率特性差。即,通常,频率越高,与没有成像模糊的图像信号的增益相比,具有成像模糊的图像信号的增益越低。
像成像模糊的特性一样,保留模糊的特性也表示为低通滤波器。即,具有保留模糊的图像信号是等于通过将没有保留模糊的图像信号(具有成像模糊的图像信号)穿过低通滤波器获得的信号。因此,具有保留模糊的图像信号的频率特性要比没有保留模糊的图像信号的频率特性差。即,通常,频率越高,与没有保留模糊的图像信号的增益相比,具有保留模糊的图像信号的增益越低。但是,保留模糊只在显示设备是固定像素(保留)显示设备的情况下发生。
因此,通过对具有成像模糊的、其频率特性由于成像模糊已经恶化的图像信号执行高帧率变换处理,保留模糊能够得到抑制。但是,即使执行高帧率变换处理,成像模糊的恶化也没有改变,最终,抑制人的视网膜上的模糊的效果减半。这将参考图14得到描述。
图14表示在以移动速度4[像素/帧]运动的实际物体的图像被捕捉在图像捕捉装置(在下文中,称为摄像机)的图像捕捉范围内的情况下形成在人视网膜上的图像中的模糊的频率特性。在图14中,水平轴表示频率,垂直轴指示增益。但是,水平轴上的每个值表示在尼奎斯特频率是1的情况下的相对值。
在图14中,由交替的长和短虚线指示的曲线h0表示在用于降低模糊(包括成像模糊和保留模糊)的处理没有执行的情况下,在人的视网膜上形成的图像中模糊的频率特性。具体地,在将运动图像--其在图13的实例中被输入到视频信号处理器4B--在没有被输入到视频信号处理器4B(没有被处理)的状态下直接提供给显示设备并显示的情况下,在观看运动图像的人视网膜上形成的图像中的模糊频率特性是曲线h0。
相反,例如,当通过高帧率变换处理显示速度加倍时,只有保留模糊被降低。结果,在人视网膜上形成的图像中模糊的频率特性变成由图中点线表示的曲线h1。具体地,在运动图像在插补部45中接受高帧率变换处理然后在没有被输入到成像模糊抑制处理器13(没有降低成像模糊)的状态下被提供给显示设备并显示的情况下,在观看运动图像的人视网膜上形成的图像中模糊的频率特性是曲线h1。
例如,当通过高帧率变换处理(保留模糊被降低)显示速度加倍时,通过应用本发明成像模糊的程度被降低一半,在人视网膜上形成的图像中模糊的频率特性变成由图中实线指示的曲线h2。具体地,在运动图像--其在图13中被输入到视频信号处理器4B中---在插补部45中接受高帧率变换处理,经过通过成像模糊抑制处理器13的成像模糊抑制处理,然后被提供给显示设备并显示的情况下,在观看运动图像的人视网膜上形成的图像中模糊的频率特性是曲线h2。
从曲线h1和h2之间的比较,能够理解,通过高帧率变换处理的只在保留模糊中的降低不足以降低人视网膜上模糊的特性,在成像模糊中进一步的降低是需要的。但是,如上所述,在相关领域的技术中,高帧率变换处理只是简单地执行,而没有特别考虑降低成像模糊的必要性。
因此,本发明的视频信号处理器,在图13的实施例中和将在后面描述的图35和36等的实施例中,不仅具有插补部45,而且还具有成像模糊特性检测器12和成像模糊抑制处理器13,为的是降低成像模糊,即,为了将人视网膜上的模糊特性在图14中从曲线h0改善到曲线h2。但是,如在图37和38的实施例中所描述的,对于本发明的视频信号处理器来说成像模糊特性检测器12不是必需的元件。
即,基于在由成像模糊特性检测器12检测的指示成像模糊特性的参数值中对应与要处理帧的值,成像模糊抑制处理器13校正每个要处理帧的每个像素值,由此抑制经过高帧率变换的帧中由成像模糊引起的图像中的恶化。换句话说,通过把从本发明的视频信号处理器诸如视频信号处理器4B输出的图像信号提供给未示出的显示设备,显示设备能够显示清楚的图像作为对应于图像信号的图像。
如上所述,优选地将成像模糊特性检测器12与成像模糊抑制处理器13的组与插补部45组合起来。
接下来,参考图15的流程图,将描述具有图13的功能配置的视频信号处理器4B的图像处理。
在步骤S1,插补部45输入第一帧率的运动图像。
在步骤S2,插补部45将运动图像的帧率变换为比第一帧率高的第二帧率。
当从第一帧率变换到第二帧率的运动图像从插补部45提供到成像模糊检测器12和成像模糊抑制处理器13时,处理继续到步骤S3。
在步骤S3,成像模糊特性检测器12检测指示构成运动图像的各个帧中的成像模糊特性的一个或多个参数值。
当指示构成运动图像的各个帧中的成像模糊特性的一个或多个参数值从成像模糊特性检测器12提供到成像模糊抑制处理器13时,处理继续到步骤S4。
在步骤S4,对于构成从插补部45提供的运动图像的各个帧,基于由成像模糊检测器12检测的参数值中对应于要处理帧的一个或多个值,成像模糊抑制处理器13校正要处理的帧的各个像素值。
在步骤S5,成像模糊抑制处理器13输出通过校正每个帧的像素值和将第一帧率改变到第二帧率获得的运动图像。
在此之后,图15的图像处理结束。
在上面的描述中,为方便解释起见,基于运动图像单位基执行步骤S1到S5的每个中的处理。但是,实际上,帧通常是处理单位。
在图15的图像处理中,每一步的处理单位是运动图像的事实等价于在步骤S1到S5中移动要处理步骤到下一步骤的条件是对整个运动图像执行要处理步骤的处理的条件的事实。
另一方面,在图15的图像处理中,每一步的处理单位是帧的事实等价于在步骤S1到S5中移动要处理步骤到下一步骤的条件是对整个帧执行要处理步骤的处理的条件的事实。换句话说,每一步中的处理单位是帧的状态等价于对每个帧的步骤S1到S5的连续处理相对于另一帧独立地(并行地)执行的状态。在这种情况下,例如,当步骤S3的处理是对第一帧执行时,在步骤S2中对与上述不同的第二帧的处理可以并行执行。
而且,实际上,将构成要处理的帧的各个像素顺序设置为被称为处理对象的像素的情况经常发生(在下文中,称为目标像素),并且,至少,在步骤S3和S4中的处理对目标像素顺序独立地执行。即,步骤S3和S4中的处理单位经常是像素。
因此,在下面的描述中,也经常假设在步骤S3和S4中的处理基于像素单位执行。具体地,步骤S3中的处理是成像模糊特性检测器12的处理。步骤S4中的处理是成像模糊抑制处理器13的处理。因此,将假定成像模糊特性检测器12和成像模糊抑制处理器13的处理单位是像素而给出下面的描述。
接下来,现在将描述图13中视频信号处理器4B中成像模糊抑制处理器13的细节。具体地,例如,将描述在将移动向量(运动向量)的绝对值用作为指示成像模糊特性的参数的情况下的成像模糊抑制处理器13的实施例。
在下文中,移动向量(运动向量)的绝对值将是所谓的移动速度,移动向量(运动向量)的方向将是所谓的移动方向。移动方向可以是二维平面上的任意方向。自然地,在二维平面上的任意方向成为移动方向的情况下,图13的视频信号处理器4B可以类似地执行将在后面描述的各种处理。但是,在下文中,为方便解释起见,假设移动方向是横向。
在移动速度用作为指示成像模糊特性的参数的情况下,例如,对于构成运动图像的各个帧,成像模糊特性检测器12顺序将构成要处理帧的每个像素设置为目标像素,顺序检测目标像素中的移动向量,并顺序将作为指示目标像素中成像模糊特性的参数值的移动向量提供给成像模糊抑制处理器13。
因此,例如,对于构成运动图像的每个帧来说,成像模糊抑制处理器13顺序将构成被处理帧的每个像素设置为目标像素,并基于从成像模糊特性检测器12中提供的目标像素中的移动速度顺序校正目标像素的像素值。
在这里,将描述为什么将移动速度用作为指示成像模糊特性的参数。
成像模糊的特性通常表示为它依赖于对象的移动速度的形式。
而且,在对象本身在实际空间中移动和摄像机固定的情况下,当对象被摄像机捕捉时,对象的移动速度自然地包括帧中对象(图像)的移动速度。而且,这里对象的移动速度包括在对象固定在实空间和摄像机通过手振动等被移动的情况下,或在对象和摄像机都在实空间移动的情况下,当对象被摄像机捕捉时,这里对象的移动速度包括帧中对象(图像)的相对移动速度。
因此,成像模糊的特性可以表示为它依赖于构成对象图像的每个像素中移动速度的形式。
像素中的移动速度指的是要处理的帧中的像素和在前帧中的相应像素(相应点)之间的空间距离。例如,在要处理的帧中的像素和直接在前帧(时间上一个之前)中的相应像素(对应点)之间的空间距离是v像素(v表示等于或大于0的任意整数值)的情况下,像素中的移动速度是v[像素/帧]。
在这种情况下,如果构成对象图像的各个像素的预定一个被设置为目标像素,那么目标像素中成像模糊的特性可以表示为依赖于目标像素中移动速度v[像素/帧]的形式。
更具体地,例如,在目标像素的移动速度是2、3和4[像素/帧]的情况下,目标像素中的成像模糊的频率特性可以分别由图16中的曲线H2、H3和H4表示。
即,图16表示在目标像素中的移动速度是2、3和4[像素/帧]的情况下目标像素中成像模糊的频率特性。在图16中,水平轴表示频率,垂直轴表示增益。但是,水平轴上的每个值表示奈奎斯特频率为1情况下的相对值。
在上面已经描述了为什么可以将移动速度用作为指示成像模糊特性的参数的原因。
顺便提一下,正如从图16中频率特性H2到H4中所理解的,当在空间区域表示目标像素中成像模糊的特性时,该特性可以由运动平均滤波器(低通滤波器)来表示。
具体地,当指示运动平均滤波器(低通滤波器)的传递函数(在下文中,称为成像模糊的传递函数)写为H时,在成像模糊假设没有发生的情况下的理想图像信号(在下文中,称为没有成像模糊的信号)在频域中表示为F,并且从摄像机输出的实际的图像信号,即,其中成像模糊发生的图像信号(在下文中,称为具有成像模糊的信号)在频域中表示为H,具有成像模糊的信号G表示为下面等式(3)。
G=H×F    …(3)
本发明的目的是消除(抑制)成像模糊。为了实现该目的,从已知的具有成像模糊的信号G和已知的成像模糊的传递函数H执行没有成像模糊的信号F的预测计算是足够的。即,执行预测计算的下面等式(4)即足够。
F=inv(H)×G  …(4)
在等式(4)中,inv(H)指示成像模糊的传递函数H的反函数。由于成像模糊的传递函数H具有如上所述的低通滤波器的特性,所以传递函数H的反函数inv(H)自然具有高通滤波器的特性。
如上所述,成像模糊的传递函数H的特性根据移动速度而改变。具体地,例如,当目标像素中的移动速度是2、3和4[像素/帧]时,目标像素中成像模糊的传递函数H的频率特性成为不同特性,如图16中分别由曲线H2、H3和H4所示的。
因此,成像模糊抑制处理器13可以实现本发明的目的,即,通过依据移动速度改变成像模糊的传递函数H的特性、获得其特性被改变的传递函数H的反函数inv(H)、并使用该反函数inv(H)执行上述等式(4)的计算处理来消除(抑制)成像模糊的目的。
可替换地,由于上述等式(4)的计算是为了获得本发明目的的频率领域的计算,所以成像模糊抑制处理器13可以在空间领域中执行等价于上述等式(4)的计算处理的处理。具体地,例如,成像模糊抑制处理器13可以执行下面的第一到第三处理。
在第一处理中,根据从成像模糊特性检测器12提供的目标像素中的移动速度,变换表示目标像素中成像模糊的运动平均滤波器(低通滤波器)的特性。具体地,例如,以一一对应方式为多个移动速度准备运动平均滤波器。选择一个对应多个运动平均滤波器中目标像素中的移动速度的滤波器的处理是第一处理的实例。
第二处理是由下面处理2-1到2-3组成的处理。
处理2-1是通过对其特性通过第一处理得到变换的运动平均滤波器执行傅里叶变换以频率显示运动平均滤波器的处理。具体地,例如,在目标像素中的移动速度是2、3和4[像素/帧]的情况下,获得图16中曲线H2、H3和H4的处理是处理2-1。即,从频域的视点看,获得目标像素中成像模糊的传递函数H的处理是处理2-1。
处理2-2是计算由处理2-1频率指示的运动平均滤波器的逆的处理。即,从频域的视点看,产生由上述等式(4)表示的成像模糊的传递函数H的反函数inv(H)的处理是处理2-2。
处理2-3是对由处理2-2计算并且频率指示的运动平均滤波器的逆执行逆傅里叶变换的处理。即,产生对应于反函数inv(H)的高通滤波器(维纳滤波器等)的处理是处理2-3。换句话说,产生运动平均滤波器的反滤波器的处理是处理2-3。在下面,由处理2-3产生的高通滤波器将被称为逆运动平均滤波器。
第三处理是输入作为输入图像的带有成像模糊的对应于频域中上述等式(4)中的信号G的空间领域中的图像信号g、并将由处理2-3产生的逆运动平均滤波器应用到图像信号g的处理。通过第三处理,重新构建(预测计算)没有成像模糊的对应于频域中上述等式(4)中信号的空间领域的图像信号f。具体地,例如,通过将逆运动平均滤波器应用到包括要处理帧中的目标像素的预定块来校正目标像素的像素值的处理是第三处理。
能够执行第一到第三处理的成像模糊抑制处理器13的功能配置的实施例已被本发明的发明者发明,并在与日本专利申请第2004-234051号的申请一起提交的图17中公开。
但是,在成像模糊抑制处理器13具有和日本专利申请第2004-234051号的申请一起提供的图17的配置的情况下,如下描述的第一个问题重新出现。即,也如由图16中频率特性H2到H4所显示的,指示成像模糊的运动平均滤波器(它的频率特性)包括在此增益变成零的频率。因此,对于成像模糊抑制处理器13来说难以产生运动平均滤波器的完整逆滤波器(完整的逆运动平均滤波器)。结果,噪声提高的第一个问题重新出现。
而且,将高通滤波器(逆运动平均滤波器)应用到图像信号的处理像第三处理也被称为使边缘清晰(sharp)的处理。作为“使边缘清晰”含义上的图像形成技术,在过去,存在诸如LTI和清晰化(sharpness)的技术。明显地,这种传统技术可以应用到成像模糊抑制处理器13。
但是,在将这种传统技术应用到成像模糊抑制处理器13的情况下,下面的第二到第五个问题重新出现。
即,LTI是在日本未审专利申请公开第2000-324364号等中公开的相关领域的技术。在日本未审专利申请公开第2000-324364号中,通过硬件开关(hard switch)将目标像素的照明度(像素值)替换为与目标像素相邻的像素的照明度(像素值),以校正目标像素的照明度,由此使边缘清晰的技术是LTI。因此,由于其特性,LTI具有抵抗噪声的耐久力低和处理图像可能被噪声破坏的第二个问题。还存在第三个问题,即不考虑LTI之前的图像数据,所有的边缘被清晰化。
而且,由于相关领域的技术(LTI和清晰化)用于图像形成,所以这些技术具有第四个问题,即该处理还对没有成像模糊产生的静止图片类似执行,和第五个问题,即,不考虑成像模糊的量,该处理统一被执行。
因此,本发明的发明者已经发明了成像模糊抑制处理器13,该处理器13例如具有本发明图17中所示的功能配置,以解决在上面“本发明要解决的问题”中所描述的问题以及第一到第五个问题。即,图17表示本发明应用于此的成像模糊抑制处理器13的功能配置的实例。
在图17的实例中,成像模糊抑制处理器13被配置为具有高频成分消除单元21、滤波器单元22和成像模糊补偿单元23。
至少在成像模糊抑制处理器13的描述中,输入到构成成像模糊抑制处理器13的每个功能块(包括诸如加法器的计算单元)的信号在下文中统称为输入信号,而不考虑输入单位诸如运动图像、构成运动图像的每一帧和构成每一帧的每个像素的像素值。类似地,从每个功能块输出的信号在下文中统称为输出信号,而不考虑输出单位。换句话说,在输入单位和输出单位有必要彼此区分开的情况下,将使用单位(主要地是像素值)给出描述。在另一情况下,将使用输入信号或输出信号简单地给出描述。
如图17所示,将插补部45的输出信号提供给高频成分消除单元21,作为到成像模糊抑制处理器13的输入信号。将成像模糊特性检测器12的输出信号提供给滤波器单元22和成像模糊补偿单元23。将高频成分消除单元21的输出信号提供给滤波器单元22。将滤波器单元22的输出信号提供给成像模糊补偿单元23。将成像模糊补偿单元23的输出信号输出到外部,作为指示成像模糊抑制处理器13最终处理结果的输出信号。
在下面中,高频成分消除单元21、滤波器单元22和成像模糊补偿单元23的细节将以上述顺序得到描述。
首先,参考图18和19,将描述高频成分消除单元21的细节。
图18示出了高频成分消除单元21的详细功能配置。图19示出了图18中的高频成分消除单元21中的后述的高频限制器32的特性。
图18的实例中,将高频成分消除单元21配置为具有高通滤波器31、高频限制器32和减法器33。
如图18所示,将插补部45的输出信号作为高频成分消除单元21的输入信号提供给高通滤波器31和减法器33。
高通滤波器31具有HPF(高通滤波器)的函数。因此,高通滤波器31从高频成分消除单元21的输入信号中提取高频成分,并将其提供给高频限制器32。
高频限制器32具有由图19中曲线P1所示的函数,将从高通滤波器31提供的高频成分作为输入参数赋予给函数,并将函数的输出(图19的输出)提供给减法器33。即,如从图19中曲线P1的形状中所容易理解的,在值是预定值或更大或是预定值或更小的情况下,高频限制器32限制从高通滤波器31中提供的高频成分(输入)值。换句话说,高频限制器32具有由图19值曲线P1所示的特性。
再次参考图18,减法器33计算高频成分消除单元21的输入信号和由高频限制器32限制的高频成分之间的差,并将该导出的差分信号作为高频成分消除单元21的输出信号提供给滤波器单元22。
以这种方式,从高频成分消除单元21的输入信号中消除诸如噪声的高频成分,并提供作为结果获得的信号,作为输出信号到滤波器单元22。
接下来,参考图20到22,将描述滤波器单元22的细节。
图20表示滤波器单元22的详细功能配置的实例。图21表示在图20中滤波器单元22中的增益控制器53的详细功能配置的实例,其将在后面得到描述。图22表示图21中增益控制器53中调整量确定单元64的特性,其将在后面得到描述。
在图20的实例中,滤波器单元52包括运动平均滤波器51到加法器54。
如图20所示,将高频成分消除单元21的输出信号作为滤波器单元22的输入信号提供给运动平均滤波器51、减法器52和加法器54的每一个。而且,将成像模糊特性检测器12的输出信号提供给运动平均滤波器51和增益控制器53的每一个。
运动平均滤波器51对滤波器单元22的输入信号实施运动平均滤波。更具体地,运动平均滤波器51对滤波器单元22的输入信号中包括要处理帧中的目标像素的预定块的每个像素值实施运动平均滤波,由此校正目标像素的像素值。此时,运动平均滤波器51依据成像模糊特性检测器12的输出信号中目标像素中的移动速度变换运动平均滤波器的特性。具体地,例如,在目标像素中的移动速度是2、3和4[像素/帧]的情况下,从频域看来,运动平均滤波器51将运动平均滤波器的特性变换成在图16中分别由曲线H2、H3和H4所示的上述那些特性。将由运动平均滤波器51校正的目标像素的像素值提供给减法器52。
此时,运动平均滤波器51也可以依据成像模糊特性检测器12的输出信号中目标像素中的移动速度改变对目标像素进行写运动平均滤波的情况下使用的抽头(tap)(目标像素和与目标像素相邻的预定像素)的数量。具体地,例如,运动平均滤波器51应当变换抽头的数量,以便随着移动速度的提高而提高(即,以便提高被平均的宽度)。成像模糊补偿单元23使用运动平均滤波器--该运动平均滤波器使用根据移动速度的数量的抽头--的结果,由此使得更高精度的校正,即能够更多地抑制成像模糊的校正能够执行。
减法器52获得滤波器单元22的输入信号中目标像素校正之前的像素值和由运动平均滤波器51校正的目标像素的像素值之间的差,并将该差值提供给增益控制器53。在下文中,将减法器52的输出信号称为运动平均滤波器之前和之后信号之间的差。
增益控制器53调整运动平均滤波器之前和之后信号之间的差值,并将运动平均滤波器之前和之后信号之间的调整差值作为输出信号提供给加法器54。将在后面参考图21描述增益控制器53的细节。
加法器54将滤波器单元22的输入信号和增益控制器53的输出信号相加,并将该和信号作为输出信号提供给成像模糊补偿单元23。具体地,当着重于目标像素时,加法器54将作为校正量的目标像素的运动平均滤波器之前和之后信号之间的调整差值加到校正之前的目标像素的像素值,并将和值作为校正后的目标像素的像素值提供给外部的成像模糊补偿单元23。
如上所述的滤波器单元22中的空间领域的处理将如下在频域中执行。
即,在作为减法器52的输出信号的运动平均滤波器之前和之后信号之间的差在频域中考虑的情况下,当着重于到预定频率时,减法器52的输出信号的增益将变成如下那样。具体地,在着重的频率处,滤波器单元22的输入信号的增益和穿过运动平均滤波器的输入信号的增益之间的差分增益变成减法器52的输出信号的增益。减法器52的输出信号的增益在下文中被参考为运动平均滤波器之前和之后增益之间的差分增益。
而且,由增益控制器53调整运动平均滤波器之前和之后增益之间的差分增益。后面将描述增益调整。
因此,当在频域中考虑图20实例中的滤波器单元22(加法器54)的输出信号的情况下,当着重于预定频率时,输出信号的增益是通过将输入信号的增益和增益调整之后的运动平均滤波器之前和之后增益之间的差分增益相加获得的和增益。即,在每个频率处,输出信号的增益只比输入信号的增益高出增益调整之后运动平均滤波器之前和之后信号之间的差分增益的量。
换句话说,滤波器单元22整体上执行基本上等价于应用高通滤波器的的处理。
参考图21,将描述增益调整器53的细节。
在图21的实例中,增益控制器53具有延迟单元61-1到61-n(在下文中,称为对应图21的DL单元61-1到61-n)、MAX/MIN计算器62、减法器63、调整量确定单元64和乘法器65。
如图21所示,将作为减法器52的输出信号的运动平均滤波器之前和之后信号之间的差作为增益控制器53的输入信号提供到DL单元61-1。将成像模糊特性检测器12的输出信号提供给MAX/MIN计算器62。
以这种配置,增益调整器53能够抑制在信号级高的地方发生的振铃(ringing)。
下面将描述增益控制器53的详细功能配置(每个功能块的连接模式)和其操作。
DL单元61-1到61-n以该顺序连接。当在前DL单元的输出信号作为输入信号提供给DL单元时,DL单元延迟输入信号预定延迟时间,并将产生的信号作为输出信号提供给随后的DL单元。也将DL单元61-1到61-n的每个输出信号提供给MAX/MIN计算器62。而且,还将DL单元61-(n/2)的输出提供给乘法器65。
在作为增益控制器53的输入信号的运动平均滤波器之前和之后信号之间的差(在下文中称为相邻像素的差值)中,将与使用目标像素作为中心的沿移动方向(在这种情况下,是横向)连续布置的n个像素对应的值从右到左以像素的排列顺序依次输入到DL单元61-1。因此,在其后几乎n倍于延迟时间长的时间过去之后,使用目标像素作为中心的沿横向连续布置的n个像素中相邻像素的一个差值从DL单元61-1到61-n中一个接一个地输出,并提供给MAX/MIN计算器62。而且,如上所述,目标值的相邻像素的差分值从DL单元61-(n/2)中输出并提供给MAX/MIN计算器62,还提供给乘法器65。
而且,尽管没有特别限制,但DL单元61-1到61-n的数目n在这种情况下是移动速度的最高值[像素/帧]。还假定从成像模糊特性检测器12中提供的目标像素中的移动速度是v[像素/帧]。但是,v是0或更大的任意整数值。
MAX/MIN计算器62确定下述范围作为计算范围,该范围包括作为中心的目标像素,还包括对应移动速度的数量的v个像素中相邻像素的差值。MAX/MIN计算器62从相邻像素的v个差值中获得最大值MAX和最小值MIN,该v个差值被包括在来自由DL单元61-1到61-n提供的相邻像素的n个差值的计算范围中,并且MAX/MIN计算器将最大值MAX和最小值MIN提供给减法器63。
而且,出于下面的原因,将包括作为中心的目标像素和包括对应移动速度的数量的v像素中相邻像素的差值的范围设置为计算范围。即,振铃只通过高通滤波器的抽头数量,换句话说,只通过对应移动速度的数量,施加影响。
减法器63获得从MXA/MIN计算器62提供的最大值MAX和最小值MIN之间的差,并将该差值(=MAX-MIN)提供给调整量确定单元64。
已知,差值(=MAX-MIN)越大,目标像素周围的振铃越大。即,差(=MAX-MIN)是作为目标像素周围的振铃幅度的指标的值。
然后,调整量确定单元64基于从减法器63提供的差值(=MAX-MIN),确定与目标像素相邻的像素差值上的调整量,并将其提供给乘法器65。
具体地,例如,调整量确定单元64保持由图22中曲线P2指示的函数,将从减法器63中提供的差值(=MAX-MIN)作为输入参数赋予给该函数,并将该函数的输出(图22的输出)作为与目标像素相邻的像素差值上的调整量提供给乘法器65。即,正如容易从图22中曲线P2的形状所理解的,在从减法器63提供的差值(=MAX-MIN)超过预定值之后,调整量(输出)降低,以便抑制振铃发生。换句话说,调整量确定单元64具有由图22中曲线P2所示的特性。
再次参考图21,乘法器65将从DL单元61-(n/2)中提供的与目标像素相邻的像素差值与从调整量确定单元64中提供的调整量(在图22的实例中,值的范围是0到1)相乘,并将结果值作为与目标像素相邻的信号之间的调整后的差值提供给加法器54。即,将调整后的相邻像素的差值作为增益控制器53的输出信号依次提供给加法器54。
如上所述,当作为减法器63的输出信号的差值(=MAX-MIN)超过预定值时,随着差值(=MAX-MIN)的增加,调整量(输出)也逐渐地从1降到0。因此,在作为减法器63的输出信号的差值(=MAX-MIN)等于或大于预定值的情况下,小于1的调整值和与目标像素相邻的像素差值相乘。因此,与目标像素相邻的像素差被调整从而被减小。因此,目标像素周围的振铃得到抑制。
从频域来看,因此,可以说,如上所述的增益控制器53中空间领域中的处理是调整运动平均滤波器之前和之后增益之间的差分增益以便抑制振铃的处理。
接下来,参考图23到31,将描述成像模糊补偿单元23的细节。
图23表示成像模糊补偿单元23的详细功能配置的实例。
在图23的实例中,成像模糊补偿单元23被配置为具有ALTI单元81、减法器82、增益控制器83和加法器84。
如图23所示,滤波器单元22的输出信号,作为成像模糊补偿单元23的输入信号,输入到ALTI单元81、减法器82和加法器84中。将成像模糊特性检测器12的输出信号提供给ALTI单元81和增益控制器83。
着重于成像模糊补偿单元23的输入信号中的目标像素的像素值,在下文中将描述ALTI单元81到加法器84的每一个。
如上所述,处于被提供给成像模糊补偿单元23阶段时的目标像素像素值通常不同于处于输入到图17的成像模糊抑制处理器13阶段的目标像素像素值,因为它已经被高频成分消除单元21和滤波器单元22校正过。而且,正如将在后面描述的,目标像素的像素值也在成像模糊补偿单元23中得到适当校正。那么,为了避免混淆,在解释成像模糊补偿单元23时,将处于输入到每个功能块阶段的每个像素值称为输入像素值,将处于从每个功能块输出阶段的像素值称为输出像素值。而且,存在这样的情况,关于同一像素,多个不同像素值从多个在前功能块输入的某一功能块。在这种情况下,将接近原始值的像素值(主要是,校正之前的像素值)称为输入像素值,将其它像素值称为随后功能块的输出像素值。例如,尽管将在后面描述细节,将作为来自ALTI单元81和外部滤波器单元22的目标像素的像素值的差值提供给减法器82。因此,将从外部滤波器单元22提供的像素值称为输入像素值,将从ALTI单元81提供的像素值称为ALTI单元81的输出像素值。
ALTI单元81根据从成像模糊特性检测器12提供的目标像素中的移动速度确定校正量,将校正量与目标像素的输入像素值相加,并将相加的值作为目标像素的输出像素值提供给减法器82。后面将参考图24描述ALTI单元81更加细节的内容。
减法器82计算ALTI单元81目标像素的输出像素值和目标像素的输入像素值之间的差,并将该差值(在下文中,称为目标像素差值)提供给增益控制器83。
增益控制器83根据从成像模糊特性检测器12中提供的目标像素中的移动速度调整从减法器82提供的目标像素差值,并将该调整后的目标像素差值作为对目标像素最终的校正量提供给加法器84。
加法器84将来自增益控制器83的最终校正量加到目标像素的输入像素值,并将该相加的值作为目标像素的输出像素值输出到外部。即,将加法器84的目标像素的输出像素值,作为由成像模糊抑制补偿单元23最终校正的目标像素的像素值,输出到外部。
成像模糊补偿单元23中ALTI单元81和增益控制器83的每一个的细节在下面将以上述顺序得到描述。
首先,参考图24到29,将描述ALTI单元81的细节。
图24表示ALTI单元81的详细功能配置的实例。
在图24的实例中,ALTI单元81被配置为具有延迟单元91-1到91-n(在下文中,对应图24称为DL单元91-1到91-n)、平均值计算器92到94、校正量确定单元95和加法器96。
下面将描述ALTI单元81的详细功能配置(每个功能块的连接模式)和其操作。
DL单元91-1到91-n以该顺序连接。DL单元91-1到91-n的每一个只延迟从前一DL单元输出的每个像素值预定延迟时间,并将结果信号输出到随后的DL单元。将从DL单元91-1到91-(n/2-1)的每个输出的像素值提供给平均值计算器93。将从DL单元91-(n/2-1)、91-(n/2)和91-(n/2+1)输出的像素值提供给平均值计算器92。将从DL单元91-(n/2+1)到91-n输出的像素值提供给平均值计算器94。还将从DL单元91-(n/2)输出的像素值提供给校正量确定单元95和加法器96。
使用目标像素作为中心的沿移动方向(在这种情况下,是横向)连续布置的n个像素的每个像素值依次从滤波器单元22以从右到左的排列顺序输入到DL单元91-1。因此,在其后几乎n倍于延迟时间长的时间过去之后,使用目标像素作为中心的沿横向连续布置的n个像素的每个像素值从DL单元91-1到91-n的每一个中一个接一个地输出。
而且,描述的给出是假定处于从DL单元91-1到91-n的每个输出阶段的每个像素值是到ALTI单元81的输入像素值。
具体地,目标像素的输入像素值N一个接一个地从DL单元91-(n/2)中输出。目标像素左侧上连续排列的n/2-1个像素的每个的输入像素值从DL单元91-1到91-(n/2-1)的每个输出。另一方面,目标像素右侧上连续排列的n/2-1个像素的每个的输入像素值从DL单元91-(n/2+1)到91-n的每个一个接一个地输出。
而且,尽管没有专门限定,但DL单元91-1到91-n的数量在这种情况下是移动速度的最高值[像素/帧]。也假定从成像模糊特性检测器12提供的目标像素中的移动速度以类似于上述实例的方式为v[像素/帧]。
因此,目标像素的输入像素值N、目标像素左侧上像素的输入像素值和目标像素右侧上像素的输入像素值输入到平均值计算器92。然后,平均值计算器92计算目标像素的输入像素值N、目标像素左侧上像素的输入像素值、和目标像素右侧上像素的输入像素值的平均值Na(在下文中,称为目标像素的平均像素值Na),并将平均值Na提供给校正量确定单元95。
正如将在下面描述的细节,由校正量确定单元95确定的目标像素的校正量ADD被调整预定调整量c。调整值c不是固定值,而是由预定处理(在下文中,称为调整量确定处理)确定的可变值。在该实施例中,在调整量确定处理中,出于下面的原因使用目标像素的平均像素值Na。尽管在这种情况下,当目标像素的输入像素值N在调整量确定处理中可依原样使用,但如果目标像素中包括噪声,则被处理的图像可能会被破坏。即,该原因是防止要处理图像的破坏。
将目标像素左侧上连续布置的n/2-1个像素的输入像素值提供给平均值计算器93。然后,平均值计算器93沿着目标像素左侧上像素的左方向按顺序选择大约是移动速度的一半的k个像素(其中k大约是v/2),并将包括选择的k个像素输入像素值的范围确定为计算范围。然后,平均值计算器93计算所包括在提供的n/2-1个输入像素值中的计算范围中的k个输入像素值的平均值La(在下文中,称为左像素的平均像素值La),并将该平均值提供给校正量确定单元95。
另一方面,将目标像素右侧上连续布置的n/2-1像素的输入像素值提供给平均值计算器94。然后,平均值计算器94在目标像素右侧上像素的右方向上按顺序选择k个像素,并将包括选择的k个像素的输入像素值的范围确定为计算范围。然后,平均值计算器94计算包括在提供的n/2-1个输入像素值的计算范围(在下文中,称为右像素的平均像素值Ra)中的k个输入像素值的平均值Ra,并将其提供给校正量确定单元95。
正如将在后面的细节中所描述的,左像素的平均像素值La和右像素的平均像素值Ra用于调整量确定处理和确定校正量候选值的处理(在下文中,称为候选值确定处理)。
即,在上述日本未审专利申请公开第2000-324364号中所公开的相关技术的LTI中,在左方向上与目标像素相距预定的一个像素(在下文中,称为左像素)的输入像素值和目标像素的输入像素值之间的差值被确定为第一校正量候选值。而且,在右方向上与目标像素相距预定的一个像素(在下文中,称为右像素)的输入像素值和目标像素的输入像素值之间的差值被确定为第二校正量候选值。然后,第一和第二校正量候选值之一被未经校正的依原样确定为校正量。因此,相关技术的LTI具有这样的问题,即如果在左像素或右像素的输入像素值中包括噪声,可能不能准确地确定校正量(两个校正量候选值)。
因此,为了解决该问题,即,为了准确地确定校正量候选值,在本实施例的候选确定处理中,不是简单地使用诸如左像素或右像素的一个像素的输入像素值,而是使用左像素的平均像素值La和右像素的平均像素值Ra。
但是,存在这样的情况,包括在计算范围中的每个输入像素值的改变方向不是恒定的,即,升高然后下降,或者相反,下降然后升高。换句话说,存在这样的情况,在使用水平方向的像素位置作为水平轴和使用像素值作为垂直轴的平面上(例如将在后面描述的图25的平面),指示包括在计算范围中的各个输入像素值的线连接点(将在后面描述的图25中的点131到134等)的梯度极性被颠倒。在这种情况下,出现新的问题,即,即使将包括在计算范围中的输入像素值的简单平均值用作为左像素的平均像素值La或右像素的平均像素值Ra,也不能准确地确定校正量(候选值)。
因此,为了解决新问题,在该实施例中,平均值计算器93和94的每一个将包括在计算范围中的输入像素值中极性颠倒(polarity inversion)后的第一点指示的输入像素值β更新为像素值γ,该像素值γ是通过使用由极性颠倒之前的第二点指示的输入像素值α计算下面等式(5)的右侧得出的。平均值计算器93和94的每一个将由第一点指示的像素的输入像素值看作更新后的像素值γ,并计算左像素的平均像素值La或右像素的平均像素值Ra。
γ=α-H×f(H)    …(5)
在等式(5)中,如图25所示,H表示极性颠倒之前的第二点(图中点133)的像素值α和极性颠倒之后的第一点(图中点134)的像素值β之间的差值(=α-β)。
即,图25表示包括在目标像素131中的水平方向上连续布置的12个像素的像素值的实例。在图25中,水平轴指示“水平方向上的像素位置”,垂直轴指示“像素值”。在图25的实例中,平均值计算器94的计算范围,即,右像素平均像素值Ra的计算范围是范围D,包括在指示目标像素的点131右侧上的三个点132到133指示的像素值α、α和β。
从图25的实例中理解到,确定了从点133到点134的梯度极性(polarityof the gradient)。具体地说,点134是极性颠倒之后的第一点,点133是极性确定之前的第二点。因此,在图25的实例中,平均值计算器94通过赋值和计算等式(5)右侧的由点133指示的输入像素值α和输入像素值α和由点134指示的输入像素值β之间的差值H(=α-β),把由点134指示的输入像素值从像素值β变化到像素值γ。然后,使用更新后的像素值γ作为在计算范围D内由点134指示的像素的输入像素值,和依原样使用原始的像素值α作为其它点132和133的输入像素值的每一个,平均值计算器94计算右像素的平均像素值Ra。即,计算Ra=(α+α+γ)/3。
在实施例中,在等式(5)右侧的计算中,具有像图26的线141特性的函数用作为函数f(H)。
如图26所示,在极性颠倒之前的像素值α和极性颠倒之后的像素值β之间的差值H等于值H2或更大的情况下,函数f(H)的输出是0。而且,当差值H大时,意味着极性颠倒之后的梯度是陡峭(sharp)的。因此,在极性颠倒之后的梯度陡峭到某一程度或更高时的情况下,即,在差值H是值H2或更大的情况下,由等式(5)更新的像素值γ变成像素值α。即,如图25所示,在极性颠倒之后的梯度陡峭到某一程度或更高的情况下,使用像素值α代替像素值β作为由极性颠倒之后的点134指示的像素的输入像素值,计算计算范围D内右像素的平均像素值Ra。即,计算Ra=(α+α+α)/3=α,并将右像素的平均像素值Ra确定为像素值α。
另一方面,如图26所示,在极性颠倒之前的像素值α和极性颠倒之后的像素值β之间的差值H等于值H1或更小的情况下,函数f(H)的输出是1。而且,当差值H小时,意味着极性颠倒之后的梯度是平缓的。因此,在极性颠倒之后的梯度平缓到某一程度或更高的情况下,即,在差值H是值H1或更低的情况下,由等式(5)更新过的像素值γ保持像素值β。即,在极性颠倒之后的梯度平缓到某一程度或更高的情况下,尽管未示出,依原样使用像素值β作为由极性颠倒之后的点134指示的输入像素值,计算计算范围D内右像素的平均像素值Ra。即,计算Ra=(α+α+β)/3,并将右像素的平均像素值Ra确定为像素值{(α+α+β)/3)。
而且,当极性颠倒之后的梯度平缓到某一程度或更高时,出于下述原因依原样使用原始像素值β,而没有更新由极性颠倒之后的点134指示的像素值。即,在极性颠倒之后的梯度平缓到某一程度或更高的情况下,由于噪声发生极性颠倒的可能性很高。在这种情况下,通过获得没有更新输入像素值的平均值,可获得没有噪声的适当的右像素的平均像素值Ra。
使用图25的具体实例已经描述了计算右像素的平均像素值Ra的情况。而且在其它情况下,例如,在计算左像素的平均像素值La的情况下,由极性颠倒之后的点指示的像素的输入像素值类似地通过等式(5)被从像素值β更新到像素值γ。
再次参考图24,在上述实例中在上述平均值计算器92-94的每一个中计算平均值的情况下使用的抽头的数量(像素值的数量)是固定的。但是,它可以例如根据成像模糊特性检测器12的输出信号中目标像素内的移动速度而变化。具体地,例如,它可以变换,从而当移动速度提高时增加抽头的数量(即,增加平均值的宽度)。使用根据如上所述移动速度的数量的抽头的平均值计算器92到94的结果被校正量确定单元95使用,其将在后面描述,由此使得实现用于执行高精度校正的校正量,即,能进一步抑制成像模糊的校正能够被确定。
通过使用来自DL单元91-(n/2)的目标像素的输入像素值N、来自平均值计算器92的目标像素的平均像素值Na、来自平均值计算器93的左像素的平均像素值La、和来自平均值计算器94的右像素的平均像素值Ra,校正量确定单元95确定校正量ADD,并将其提供给加法器96。
在这里,加法器96将来自校正量确定单元95的校正量ADD加到来自DL单元91-(n/2)的目标像素的输入像素值N,并将相加结果作为目标像素的输出像素值即目标像素的校正像素值提供给ALTI单元82外部的加法器82。
在解释校正量确定单元95的详细功能配置的实例之前,将参考图27的流程图描述ALTI单元81的处理。
在步骤S21,ALTI单元81设置目标像素。
在步骤S22,ALTI单元81的DL单元91-1到91-n获得围绕作为中心的目标像素的输入像素值N的n条相邻输入像素值。
在步骤S23,如上所述,ALTI单元81的平均值计算器92计算目标像素的平均像素值Na,并将其提供给校正量确定单元95。
在步骤S24,如上所述,ALTI单元82的平均值计算器93计算左像素的平均像素值La,并将其提供给校正量确定单元95。
在步骤S25,如上所述,ALTI单元82的平均值计算器94计算右像素的平均像素值Ra,并将其提供给校正量确定单元95。
而且,如从图24中显而易见的,平均值计算器92到94的每一个执行相互独立的处理。因此,步骤S23到S25的处理顺序不限制于图27的实例,而可以是任意的顺序。即,实际上,步骤S23到S25的处理是并行和彼此独立地执行的。
在步骤S26中,通过使用来自DL单元91-(n/2)的目标像素的输入像素值N、来自平均值计算器93的左像素的平均像素值La和来自平均值计算器94的右像素的平均像素值Ra,ALTI单元82中的校正量确定单元95确定两个校正量的候选值ADDL和ADDR。即,步骤S26的处理是上述的候选值确定处理。校正量的候选值ADDL和ADDR是来自将在后面描述的减法器101和102的各自输出信号。而且,将在后面描述步骤S26中候选值确定处理和校正量候选值ADDL和ADDR的细节。
在步骤S27,通过使用来自平均值计算器92的目标像素的平均像素值Na、来自平均值计算器93的左像素的平均像素值La和来自平均值计算器94的右像素的平均像素值Ra,校正量确定单元95确定调整量c。即,步骤S27的处理是上述调整量确定处理。调整量c表示将在后面描述的调整量值计算器109的输出信号。将在后面描述步骤S27中调整量确定处理和调整量c的细节。
而且,正如将在后面所详细描述的,实际上,步骤S26和S27的处理是并行和彼此独立地执行的。即,步骤S26到S27的处理顺序不限制于图27的实例,而可以是任意的顺序。
在步骤S28,通过使用调整量c,校正量确定单元95调整候选值ADDL和ADDR的每一个。在下面,步骤S28的处理将被称为调整处理。将在后面描述调整处理的细节。
在步骤S29,校正量确定单元95依据预定判别条件确定(选择)被调整量c调整的候选值ADDL和ADDR和0的预定之一作为校正量ADD,并将其提供给加法器96。在下面,步骤S29中的处理将被称为校正量选择处理。将在后面描述校正量选择处理的细节(包括判别条件)。
在步骤S30,ALTI单元81中的加法器96将校正量ADD加到目标像素的输入像素值N,并将结果相加值作为目标像素的输出像素值输出到外部的加法器82。
在步骤S31,ALTI单元81确定是否已对所有的像素进行了处理。
在步骤S31确定还没有对所有的像素进行处理的情况下,该处理返回到步骤S21,下面的处理重复。具体地,将另一像素设置为目标像素,将校正量ADD加到目标像素的输入像素值N,并将结果加法值作为目标像素的输出像素值输出到外部的加法器82。自然地,在像素中像素值N和校正量ADD的每一个经常变化。
在所有的像素被设置为目标像素并且针对于每个设置目标像素重复执行步骤S21到S31的上述环处理之后,在步骤S31确定,对所有像素的处理结束,ALTI单元81的处理结束。
而且,由于ALTI单元81是图13中成像模糊抑制处理器13的组件,所以将图27中ALTI单元81的上述处理作为图15中步骤S4的上述处理的一部分执行。
如上所述,校正量确定单元95执行步骤S26到S29的处理。在下面,再次参考图24,在描述校正量确定单元95的详细功能配置的实例的同时,也将描述步骤S26到S29中处理的细节。
如图24所示,校正量确定单元95具有加法器101和102,用来执行图27中步骤S26的上述候选值确定处理。换句话说,由减法器101和102构成的候选值确定单元121执行步骤S26中的候选值确定处理。
减法器101计算来自平均值计算器93的左像素的平均像素值La和来自DL单元91-(n/2)的目标像素的输入像素值N之间的差值(=La-N),并将该差值作为校正量的候选值ADDL提供给乘法器110。
而且,如在后面所描述的,在将校正量的候选值ADDL确定为没有调整(与调整量c=1相乘)的校正量ADD的情况下,加法器96将校正量ADD(=La-N)加到目标像素的输入像素值N,并将结果相加值(=La)输出到外部。即,在将校正量的候选值ADDL((=La-N)依原样用作为校正量ADD的情况下,目标像素的像素值从原始像素值N校正(替换)到左像素的平均像素值La。
减法器102计算来自平均值计算器94的右像素的平均像素值Ra和来自DL单元91-(n/2)的目标像素的输入像素值N之间的差值(=Ra-N),并将该差值作为校正量的候选值ADDR提供给乘法器111。
而且,如后面所描述的,在将校正量的候选值ADDR确定为没有调整(与调整量c=1相乘)的校正量ADD的情况下,加法器96将校正量ADD(=Ra-N)加到目标像素的输入像素值N,并将结果相加值(=Ra)输出到外部。即,在将校正量的候选值ADDR((=Ra-N)依原样用作为校正量ADD的情况下,目标像素的像素值从原始像素值N校正(替换)到右像素的平均像素值Ra。
而且,如图24所示,校正量确定单元95具有从减法器103到调整量值计算器109的组件,用来执行图27中步骤S27的上述调整量确定处理。换句话说,由减法器103到调整量确定单元109构成的调整量确定单元122执行步骤S27中的调整量确定处理。
减法器103计算来自平均值计算器92的目标像素的平均像素值Na和来自平均值计算器93的左像素的平均像素值La之间的差值(=Na-La),并将该差值提供给加法器105。
减法器104计算来自平均值计算器92的目标像素的平均像素值Na和来自平均值计算器94的右像素的平均像素值Ra之间的差值(=Na-Ra),并将该差值提供给加法器105。
加法器105计算减法器103和104的输出信号的和,并将计算结果输出到ABS单元106。
ABS单元106计算加法器105输出信号的绝对值b,并将该绝对值提供给除法器108。
换句话说,在使用像素值作为垂直轴和使用水平方向的像素位置作为水平轴的平面内,减法器103和104以及加法器105计算线上第二点处的二次微分值,该线顺序连接指示左像素平均像素值La的第一点、指示目标像素平均像素值Na的第二点、和指示右像素平均像素值Ra的第三点。ABS单元106计算二次微分值的绝对值,并将其提供给除法器108。因此,在下面从ABS单元106输出的绝对值将被称为二次微分绝对值b。
在前面的平面中,在连接指示左像素平均像素值La的第一点和指示右像素平均像素值Ra的第三点的直线用作边界线的情况下,二次微分绝对值b是指示在垂直轴方向上指示目标像素平均像素值Na的第二点相对于边界线的距离的值。
因此,校正量确定单元95依据二次微分绝对值b的幅度调整校正量的候选值ADDL和ADDR的每一个,并将调整的候选值ADDL和ADDR之一确定为校正量ADD。即,加法器96输出目标像素的输出像素值N和根据二次微分绝对值b调整的校正量ADD之间的相加值,作为目标像素的输出像素值。结果,可以使加法器96输出信号的边缘部分(被处理的帧)变得平缓。
但是,即使二次微分绝对值b是相同的,当左像素的平均像素值La和右像素的平均像素值Ra之间差的绝对值h,即在上述平面中垂直轴方向上第一和第三点之间的距离h变化时,二次微分绝对值b的含义也变化。具体地,即使二次微分绝对值b是相同的,在幅度远小于高度h的情况下,换句话说,在通过将二次微分值b除以高度h获得的除法值(=b/h)小的情况下,可以确定在目标像素周围发生噪声的可能性高。换句话说,即使二次微分绝对值b是相同的,在与高度h相比幅度不是这么小的情况下,换句话说,在上述的除法值(=b/h)具有某一幅度或更大的情况下,可以确定在目标像素周围发生噪声的可能性低。
因此,如果根据二次微分绝对值b的幅度简单调整候选值ADDL和ADDR,那么不考虑是否发生噪声,目标像素的输入像素值N的校正量ADD变成相同值。新的问题发生,即可能不能准确地校正目标像素的输入像素值N。
然后,为了解决该新问题,该实施例的校正量确定单元95的调整量确定单元122具有从上述减法器103到ABS单元106的组件,而且,具有差绝对值计算器107、除法器(b/h计算器)108、和调整量值计算器109。
差绝对值计算器107计算来自平均值计算器93的左像素的平均像素值La和来自平均值计算器94的右像素的平均像素值Ra之间的差值,还计算该差值的绝对值h(h=|La-Na|,即,上述高度h,并将该高度h提供给除法器108。
除法器108将来自ABS单元106的二次微分绝对值b除以来自差绝对值计算器107,并将该除法值(=b/h)提供给调整量计算器109。即,除法值(=b/h)可被称为通过用高度h标准化二次微分绝对值b获得的值。因此,除法值(=b/h)将被称为标准化的二次微分值(=b/h)。
调整量计算器109根据来自除法器108的标准化二次微分值(=b/h)计算针对候选值ADDL和ADDR的调整量c,并将其提供给乘法器110和111。
具体地,例如,调整量计算器109保持由图28中曲线151表示的特性函数,将来自除法器108的标准化二次微分值(=b/h)作为输入参数赋予给该函数,并将该函数的输出(图28的输出)作为调整量c提供给乘法器110和111。
即,正如容易从图28的曲线151的形状所容易理解的,当标准化二次微分值(=b/h)小于预定值b1时,噪声的可能性高,并且调整量c(输出)变成0。在这种情况下,正如将在后面描述的,候选值ADDL和ADDR将通过与作为调整量c的0相乘而得到调整,因此调整候选值ADDL和ADDR的每一个变成0。因此,校正量ADD也变成0,并且目标像素的输入像素值N没有校正。
而且,当标准化的二次微分值(=b/h)超过预定值b1并增加时,调整量c(输出)也逐渐增加。在这种情况下,正如将在后面描述的,候选值ADDL和ADDR的每一个通过与小于1的调整量c相乘而得到调整,因此调整候选者ADDL和ADDR的每一个变得比原始值小。因此,校正量ADD变成比原始值小的候选值ADDL和ADDR之一。目标像素的校正后的像素值变得比左像素的平均像素值La大,或比右像素的平均像素值Ra小。
而且,当标准化的二次微分值(=b/h)变成预定值b2或更大时,在此之后,调整量c(输出)变成1。在这种情况下,正如将在后面描述的,候选值ADDL和ADDR的每一个通过与作为调整量c的1相乘而得到调整,因此调整的候选值ADDL和ADDR的每一个保持原始值(即,没有被调整)。因此,校正量ADD变成保持为原始值的候选值ADDL和ADDR之一。如上所述,目标像素的校正后的像素值变成左像素的平均像素值La,或右像素的平均像素值Ra。
如上所述,在本实施例中,使用由图28的线151表示的特性函数确定调整量c,标准化二次微分值(=b/h)作为参数输入到该函数。因此,通过用调整量c调整校正量ADD(准确的说,通过调整校正量的候选者ADDL和ADDR),可以使加法器96的输出信号(被处理帧)中边缘部分变得平缓。具体地,在相关技术的LTI中,通过硬件开关的切换(像素值的简单替换)校正目标像素的像素值。因此存在一个问题,即不能使输出信号中的边缘部分变得平缓。因此,通过使用本实施例中的ALTI单元81,该问题可以得到解决。
再次参考图24,将继续校正量确定单元95的详细说明。具体地,校正量确定单元95具有乘法器110和111,以便执行图27中的上述步骤S28的调整处理。换句话说,由乘法器101和111构成的调整单元123执行步骤S28中的调整处理。
乘法器110将来自减法器101的候选值ADDL与来自调整量计算器109的校正量c相乘,并将结果相乘值作为调整后的候选值ADDL提供给判别器113。
乘法器111将来自减法器102的候选值ADDR与来自调整量计算器109的校正量c相乘,并将结果相乘值作为调整后的候选值ADDR提供给判别器113。
而且,校正量确定单元95还具有固定值产生器112和判别器113,以便执行图27的步骤S29中的上述校正量选择处理。换句话说,由固定值产生器112和判别器113构成的校正量选择单元124执行步骤S29中的校正量选择处理。
在该实施例中,固定值产生器112总是产生“0”,如图24所示,并将其提供给判别器113。
提供减法器103和104、加法器105、乘法器110和111、和固定值产生器112的输出信号给判别器113。基于使用减法器103和104和加法器105的输出信号的预定选择条件,判别器113选择(确定)来自固定值产生器112的“0”、来自乘法器110的校正候选值ADDL、和来自乘法器111的校正候选值ADDR的其中之一作为校正量ADD,并把它提供给加法器96。
具体地,例如,在上述使用像素值作为垂直轴和使用水平方向的像素位置作为水平轴的平面内,将连接指示左像素的平均像素值La的第一点和指示右像素的平均像素值Ra的第三点的直线设置为边界线。假定该实施例的选择条件指定为,在边界线的改变方向是向上的方向并且指示目标像素的平均像素值Na的第二点布置在边界线的上侧的情况下,将校正后的候选值ADDR选择为校正量ADD。与之相反,假定该实施例的选择条件指定为,在边界线的改变方向是向上的方向并且第二点布置在边界线的下侧的情况下,将校正后的候选值ADDL选择为校正量ADD。
在这种情况下,基于减法器103和104以及加法器105的输出信号,判别器113能够识别边界线的改变方向以及边界线和第二点之间的位置关系。
然后,例如,在判别器113基于减法器103和104以及加法器105的输出信号识别出边界线的改变方向是向上方向并且第二点布置在边界线的上侧的情况下,判别器113选择(确定)来自乘法器111的校正后的候选值ADDR作为校正量ADD,并将其提供给加法器96。
另一方面,例如,在判别器113基于减法器103和104以及加法器105的输出信号识别出边界线的改变方向是向上方向并且第二点布置在边界线的下侧的情况下,判别器113选择(确定)来自乘法器110的校正后的候选值ADDL作为校正量ADD,并将其提供给加法器96。
还假定,在将目标像素定位在例如不是边缘部分的位置的情况下,选择0作为校正量ADD被指定为该实施例的选择条件。在这种情况下,例如,当判别器113识别出减法器103和104以及加法器105的全部输出信号几乎为零时,即,当左像素的平均像素值La、目标像素的输入像素值N、和右像素的平均像素值Rc几乎相等或类似时,判别器113识别出目标像素定位在不是边缘部分的位置,选择(确定)来自固定值产生器112的“0”作为校正量ADD,并将其提供给加法器96。
作为ALTI单元81的实施例,已经在上面描述了具有图24的功能配置的ALTI单元81。只要等价于上述系列处理的处理能够被执行,任何功能配置都可用作为ALTI单元81的功能配置。具体地,例如,ALTI单元81可以具有图29所示的功能配置。即,图29表示ALTI单元91的、与图24不同的详细功能配置的实例。
在图29的实例中,ALTI单元81被配置为具有掩蔽(masking)信号产生器161、LTI处理单元162和求平均单元163。
掩蔽信号产生器161接收滤波器单元22的输出信号作为自己的输入信号,并顺序设置输入信号中构成要处理帧的每个像素作为目标像素。通过对应于来自目标像素的移动速度的一半的像素数量,掩蔽信号产生器161搜索目标像素左和右侧上的像素,并对指示对应移动速度的像素数量的像素值的每个信号执行掩蔽处理。如上所述,从成像模糊特性检测器12提供目标像素的移动速度。从掩蔽信号产生器161提供掩蔽后的信号给LTI处理单元162。
LTI处理单元162对每个掩蔽后的信号执行LTI处理,并将结果信号作为输出信号提供给求平均单元163。
在LTI处理单元162的输出信号中,求平均单元163对对应于掩蔽信号产生器161中搜索次数的数量的信号求平均,并将结果信号作为ALTI单元81的输出信号提供给外部的加法器82。
参考图24到29,在上面已经描述了图23中成像模糊补偿单元23的ALTI单元81的细节。
接下来,参考图30和31,将描述图23中成像模糊补偿单元23的增益控制器83的细节。
图30表示增益控制器83的详细功能配置的实例。图31表示图30的增益控制器83中的稍后将描述的调整量确定单元71的特性。
在图30的实例中,增益控制器83被配置为具有调整量确定单元171和乘法器172。
调整量确定单元171保持由图31中曲线181表示的函数,将从成像模糊特性检测器12提供的目标像素中的移动速度作为输入参数赋予给该函数,并将该函数的输出(图31的输出)作为调整量提供给乘法器172。换句话说,调整量确定单元171具有由图31的曲线181表示的特性。
还将来自调整量确定单元171的调整量和加法器82的输出信号提供给乘法器172。正如从图23的上述功能配置中所显而易见的,加法器82的输出信号是在加法器84中被加到成像模糊补偿单元23的目标像素的输入像素值的最终校正量的候选值。具体地,乘法器172将最终校正量的候选值与来自调整量确定单元171的调整量相乘,并将结果相乘值作为最终调整量提供给加法器84。
即,正如从图31中线181的形状和成像模糊补偿单元23的图23的功能配置中所容易理解的,则增益控制器83如此控制,以使得当移动速度低的时候,ALTI单元81的处理结果(在下文中称为ALTI)没有对目标像素的像素值的最终校正量施加太大的影响。当移动速度低时,由于成像模糊引起的增益恶化是小的,通过图17和20中的滤波器单元22增大衰减的增益即足够了。即,输出滤波器单元22的输出信号作为成像模糊补偿单元23的最终输出信号而没有对输出信号执行太大的校正,就足够了。
参考图17到31,上面已经描述了图13中视频信号处理器4B中成像模糊抑制处理器13的实例。
但是,成像模糊抑制处理器13的功能配置不限于上述图17的实例,而是可以以不同方式修改。具体地,例如,图32和33表示应用本发明的成像模糊抑制处理器13的功能配置的两个实例,并且这两个实例不同于图17的实例。
在图32的实例中,以类似于图17实例的方式,成像模糊抑制处理器13被配置为具有高频成分消除单元21、滤波器单元22和成像模糊补偿单元23、
也是在图32的实例中,以类似于图17实例的方式,将插补部45的输出信号作为成像模糊抑制处理器13的输入信号提供给高频成分消除单元21。将成像模糊特性检测器12的输出信号提供给滤波器单元22和成像模糊补偿单元23。
但是,在图32的实例中,将高频成分消除单元21的输出信号提供给成像模糊补偿单元23。将成像模糊补偿单元23的输出信号提供给滤波器单元22。将滤波器单元22的输出信号作为指示成像模糊抑制处理器13的最终处理结果的输出信号输出到外部。
换句话说,在图32的实例中,滤波器单元22和成像模糊补偿单元23的布置位置与图17实例中的那些相反。即,滤波器单元22和成像模糊补偿单元23的布置顺序(处理顺序)不是具体限定的。任何单元可以布置在先。
而且,在图33的实例中,像图17和32的实例一样,成像模糊抑制处理器13具有高频成分消除单元21、滤波器单元22和成像模糊补偿单元23,而且,除了功能块,还具有加法器24。
也是在图33的实例中,像图17和32的实例一样,将插补部45的输出信号作为成像模糊抑制处理器13的输入信号提供给高频成分消除单元21。而且,将成像模糊特性检测器12的输出信号提供给滤波器单元22和成像模糊补偿单元23的每一个。
但是,在图33的实例中,将高频成分消除单元21的输出信号提供给滤波器单元22和成像模糊补偿单元23的每一个。将滤波器单元22和成像模糊补偿单元23的输出信号提供给加法器24。加法器24将滤波器单元22的输出信号和成像模糊补偿单元23的输出信号相加,并将结果相加值作为指示成像模糊抑制处理器13的最终处理结果的输出信号输出到外部。
换句话说,滤波器单元22和成像模糊补偿单元23在图17和32的实例中串联布置,但在图33的实例中是并联布置。即,滤波器单元22和成像模糊补偿单元23可以串联或并联布置。但是,如果滤波器单元22和成像模糊补偿单元23都使用线存储器(line memory),通过如图33的实例中所示并列布置滤波器单元22和成像模糊补偿单元23,则线存储器可以共享。因此,产生能够降低电路尺寸(通过线存储器的数量)的效果。
如上所述,在通过图像处理降低在图像捕捉时移动体的模糊(成像模糊)时,在传统的技术中,不考虑静止状态和模糊量的程度而统一执行该处理。与之相反,在本发明中,例如,通过使用上述成像模糊抑制处理器13,计算移动向量(移动速度),根据运动图像的状态改变增强量。因此,在不使振铃发生情况下,可降低模糊。而且,在相关技术的LTI中,通过硬件开关切换该信号,使得处理的图像经常被破坏。但是,上述成像模糊抑制处理器13具有作为组件的ALTI单元81。因此,信号可以通过软件转换,结果,可以抑制被处理图像的破坏。
而且,在上述的实例中,为了解释简单,移动向量的方向(移动方向)是水平方向。但是,即使当移动方向是另一个方向时,成像模糊抑制处理器13能够基本上执行与上述系列处理相似的处理。具体地,不管移动方向如何,成像模糊抑制处理器13能够类似地校正目标像素的像素值,以便抑制成像模糊。具体地,例如,对于图24的功能配置中的ALTI单元81来说,以排列顺序输入使用目标像素作为中心沿着移动方向(例如,垂直方向)连续排列的像素的像素值到DL单元91-1。而且在其它功能块中,操作类似地执行。
顺便提及,在上述的实例中,在校正像素值时,成像模糊抑制处理器13使用移动速度(移动向量的绝对值)作为参数。但是,除了移动速度,只要参数表示成像模糊的特性,就能够使用任意的参数。
具体地,例如,成像模糊抑制处理器13可以使用在捕获被处理运动图像的时刻摄像机的快门速度作为表示图像模糊特性的参数。原因是,例如,如图34所示,在图中,当快门速度变化时,成像模糊的程度也只变化时间量Ts。
具体地,在图34中,上图表示快门速度是1/30秒的情况,该速度与帧速度相同。下图表示(1/30-Ts)秒快门速度的情况,该速度快于帧速度。在图34的两个图中,水平轴表示时间轴,垂直轴表示快门打开时间的比率。例如,在快门速度是Va[秒](Va是0或更大的任意值)的情况下,快门打开时间比率表示为(Ts/Vs)×100[%],当快门打开时第一时间的比率设置为0%,在从第一时间起V[秒]过去和快门关闭之后的第二时间的比率设置为100%,从第一时间到目前时间的时间表示为Ta[秒](Ta是从0或更大到V或更小的任意正值)。在这种情况下,在图23线图的垂直轴上,与时间轴接触的值是100[%],最大值(每条直线上的最大值)是0[%]。即,快门开放时间的比率朝着图34中线图垂直轴的底部增加。
现在假定,例如,摄像机中的一个检测元件(element)对应帧中一个像素。在这种情况下,如图34的上图所示,当快门速度是1/30秒时,在其中快门打开的1/30秒中入射光的积分值作为来自摄像机中一个检测元件的对应像素的像素值输出。另一方面,当快门速度是(1/30-Ts)秒时,在其中快门打开的(1/30-Ts)秒中入射光的积分值作为来自摄像机的一个检测元件的对应像素的像素值输出。
即,快门速度对应于检测元件中的光累计时间(曝光时间)。因此,例如,当横越预定检测元件前面的移动物体存在于实际空间时,与对应于物体的光不同的光。例如,以1/30秒的快门速度入射到检测元件上的背景光比以(1/30-Ts)秒的快门速度入射到检测元件上的背景光大时间量Ts[秒]。在从一个检测元件输出的像素值中,所混合的背景或与物体不同的地方的光累计值在1/30秒快门速度的比率大于以(1/30-Ts)秒快门速度时的比率。结果,成像模糊的程度提高。
上述内容总结如下。快门速度越低,成像模糊的程度越高。即,因此可以说,快门速度表达了成像模糊的特性。因此,快门速度可以和移动速度一起用作为表示成像模糊特性的参数。
而且,在将快门速度用作为表示成像模糊特性的参数的情况下,例如,图13中的成像模糊特性检测器12通过分析从插补部45等提供的运动图像(数据)所附加的头标(header)信息,可以检测每一帧的快门速度,并将该快门速度作为表示成像模糊特性的参数提供给成像模糊抑制处理器13。通过使用快门速度代替移动速度执行例如上述系列的处理,成像模糊抑制处理器13可以准确地校正每个像素值。使用快门速度情况下的成像模糊抑制处理器13的功能配置可以基本上与使用移动速度情况下的功能配置相同。即,通过使用快门速度作为参数值执行上述系列处理,参考图17到31描述的成像模糊抑制处理器13可以准确地校正每个像素值。
具有图13所示配置的视频信号处理器4B已经作为本实施例的视频信号处理器的实例在上面得到描述。本实施例的视频信号处理器不限于图13的实例,而可以具有其它各种配置。
具体地,例如,图35到38的每一个是根据本实施例的修改实例的视频信号处理器一部分的框图。
例如,图35的视频信号处理器被配置为,像图13的视频信号处理器4B,具有插补部45、成像模糊特性检测器12和成像模糊抑制处理器13。
但是,在图35的视频信号处理器中,成像模糊抑制处理器13的校正处理的对象是输入到视频信号处理器的运动图像,即,经受插补部45的高帧率变换处理之前的运动图像。因此,成像模糊特性检测器12检测插补部45的高帧率变换处理之前的运动图像中成像模糊的特性,并将检测结果提供给成像模糊抑制处理器13。
因此,作为图35的视频信号处理器的图像处理,图15图像处理的步骤S1、S3、S4、S2和S5中的处理以该顺序被执行。
而且,例如,图36的视频信号处理器被配置为,像图13的视频信号处理器4B和图35的视频信号处理器,具有插补部45、成像模糊特性检测器12和成像模糊抑制处理器13。
在图36的视频信号处理器中,像在图13的视频信号处理器4B中一样,成像模糊抑制处理器13的校正处理对象是通过对输入运动图像执行插补部45的高帧率变换处理获得的运动图像。因此,成像模糊抑制处理器13对经过高帧率变换处理的运动图像执行校正处理。
但是,图36的视频信号处理器中成像模糊特性检测器12在输入运动图像,即插补部45的高帧率变换处理之前的运动图像中,检测表示成像模糊特性的参数,并将检测结果提供给成像模糊抑制处理器13。即,图36的视频信号处理器的成像模糊抑制处理器13使用在高帧率变换处理之前的运动图像中检测到的参数值校正每个像素值。
因此,作为图36的视频信号处理器的图像处理,以类似于图15的成像处理的流程执行的处理,即,在步骤S1、S2、S3、S4和S5中的处理以该顺序被执行。但是,步骤S3的处理是这样的处理,“从高帧率变换处理之前的运动图像,即,从构成由步骤S1的处理输入的运动图像的每个帧,检测表示成像模糊特性的参数值”。
与图35和36的视频信号处理器相反,图37和38的每个视频信号处理器被配置为具有插补部45和成像模糊抑制处理器13,不包括成像模糊特性检测器12作为组件。
具体地,如图37和38所示,在另一个视频信号处理器211(在下文中,称为图像信号产生装置211,如图中所描述的)提供成像模糊特性检测器12和叠加单元221。将输入到图像信号产生装置211的运动图像提供给成像模糊特性检测器12和叠加单元221。成像模糊特性检测器12从运动图像检测表示成像模糊特性的参数值,并将其提供给叠加单元221。叠加单元221将指示成像模糊特性的参数值叠加到运动图像上,并输出结果信号。
因此,将叠加表示成像模糊特性的参数值的运动图像(信号)从成像信号产生装置211提供给图37的视频信号处理器。
然后,例如,在图37的视频信号处理器中,成像模糊抑制处理器13将表示成像模糊特性的参数值与运动图像彼此分开,并对于构成分开的运动图像的每个帧基于表示成像模糊特性的分开的参数值,校正每个像素值。
接下来,插补部45对由成像模糊抑制处理器13校正的运动图像执行高帧率变换处理,并将结果运动图像即被变换到高帧率和被校正的运动图像输出。
因此,作为图37的视频信号处理器的图像处理,图15中图像处理的步骤S1、S4、S2和S5中的处理以该顺序被执行。
与之相反,例如,在图38的视频信号处理器中,插补部45将表示成像模糊特性的参数值与运动图像彼此分开,并对分开的运动图像执行高帧率变换处理,并将结果运动图像即被变换到高帧率的运动图像提供给成像模糊抑制处理器13。此时,也将由插补部45分开的表示成像模糊特性的参数值提供给成像模糊抑制处理器13。
接下来,对于构成被变换到高帧率的运动图像的每个帧,基于表示成像模糊特性的参数值,成像模糊抑制处理器13校正每个像素值,并输出结果运动图像即被校正和被变换到高帧率的运动图像。
顺便提及,在对成像模糊抑制处理器13的上述描述中,为了解释简单起见,移动方向(移动向量的方向)是水平方向。因此,作为在目标像素执行上述各种处理诸如滤波和校正的情况下使用的像素,使用在水平方向上与目标像素相邻的像素。而且,使用预定方向上与目标像素相邻的像素的处理将被称为预定方向上的处理。即,上述实例涉及水平方向上的处理。
但是,如上所述,二维平面中的任何方向都可以作为移动方向。自然地,成像模糊抑制处理器13能够以相同的方式在作为移动方向的二维平面的任意方向诸如垂直方向上执行上述各种处理。但是,为了执行移动方向是垂直方向情况下的处理(或移动方向是斜方向上情况下的处理,其是垂直方向上的处理和水平方向上的处理的组合处理),成像模糊抑制处理器13必须使用例如图39的配置代替图17的上述配置、图40的配置代替图32的上述配置、和图41的配置代替图33的上述配置。
即,图39到41表示应用本发明的成像模糊抑制处理器13的功能配置的三个实例,它们不同于上述的实例。
在图39、40和41中,与图17、32和33中相同的参考标记指示相应的部件(块)。它们的描述相同,因此将不再重复。
在图39实例的成像模糊抑制处理器13中,为了实现图17实例配置中垂直方向上的处理,在滤波器单元22的前级进一步提供线存储器261-1,在成像模糊补偿单元23的前级提供线存储器261-2。
类似地,在图40的成像模糊抑制处理器13中,为了实现图32实例配置中垂直方向上的处理,在成像模糊补偿单元23的前级进一步提供线存储器261-1,在滤波器单元22的前级提供线存储器261-2。
另一方面,在图41实例的成像模糊抑制处理器13中,为了实现图33实例配置中垂直方向上的处理,在成像模糊补偿单元23和滤波器单元22的前级进一步提供仅一个共用的线存储器261。
如上所述,通过在图41的实例中使用成像模糊抑制处理器13,与使用图39或40实例的配置的情况相比,可以降低线存储器的数量,而不会恶化成像模糊抑制的效果。即,通过将图41实例的配置用作为成像模糊抑制处理器13的配置,与使用图39或40实例的配置情况相比,可以降低成像模糊抑制处理器13的电路尺寸,而且,可以降低图13的视频信号处理器4B的电路尺寸。
而且,在该实施例中,例如,像图42中所示的视频信号处理器4C一样,从解码器47输出的插补位置参数Relpos不仅可以被提供给插补器453,而且提供给成像模糊抑制处理器13。在这种配置中,依据由插补部45设置的插补位置朝向各个插补帧中更近原始帧的视频图像的距离,成像模糊抑制处理器13可以改变成像模糊抑制处理中的处理量。因此,根据插补帧布置的不一致性(抖动的强度),可以改变降低成像模糊的程度。通过精细地调整在显示图像中抑制保持模糊的程度和抑制成像模糊的程度,可以改善观看电影等时的图片质量。
在上述各个实施例中执行的高帧率变换处理中,输入视频信号的第一帧率(帧频)和输出视频信号的第二帧率(帧频)的组合没有具体限制,而可以是任意的组合。具体地,例如,将60(或30)[Hz]用作为输入视频信号的第一帧率,将120[Hz]用作为输出视频信号的第二帧率。例如,将60(或30)[Hz]用作为输入视频信号的第一帧率,将240[Hz]用作为输出视频信号的第二帧率。例如,将对应于PAL(行相位交替,Phase Alternation by Line)系统的50[Hz]用作为输入视频信号的第一帧率,将100[Hz]或200[Hz]用作为输出视频信号的第二帧率。例如,将对应于电影电视的48[Hz]用作为输入视频信号的第一帧率,将等于或高于48[Hz]的预定频率用作为输出视频信号的第二帧率。
而且,通过对从现有的电视系统等产生的输入视频信号执行上述各个实施例中的高帧率变换处理,能够高质量地显示现有内容。
[第三实施例]
现在将描述本发明的第三实施例。
图43表示根据本实施例的视频信号处理器(视频信号处理器4D)的配置的实例。而且,相同的参考符号指示与前述实施例中相同的元件,它们的描述将不再重复。
通过为第二实施例中描述的视频信号处理器4B进一步提供过驱动(overdrive)处理器10获得视频信号处理器4D,考虑到在运动向量检测器44中检测运动向量的可靠性,视频信号处理器4D在插补部45、成像模糊抑制处理器13和过驱动处理器10中执行视频信号处理。而且,在成像模糊特性检测器12中也检测运动向量的情况下,也可考虑检测运动向量的可靠性。在该实施例中,下面将描述成像模糊抑制处理器13和过驱动处理器10使用通过运动向量检测器44检测的运动向量mv执行视频信号处理的情况。
通过使用由运动向量检测器44检测的运动向量mv,过驱动处理器10对从成像模糊抑制处理器13提供的视频信号执行过驱动处理。具体地,过驱动处理器10使得过驱动处理的程度随着运动向量mv的增大而升高,并使得过驱动处理的程度随着运动向量mv的减小而下降。通过这种过驱动处理,可以抑制显示器图像中的运动模糊和保持模糊。
在这里,参考图45和46,将详细描述运动向量检测中的可靠性。图44和45表示运动向量检测存在/不存在(MC ON/OFF信号)和可靠性之间的关系的实例。
在图44中,在MC ON/OFF信号的值是零(ON:能够检测运动向量的情况)和没有变化的情况下,和在该值从“1”(OFF:没有运动向量能够检测到的情况,诸如该值超出运动向量的搜索范围(块匹配范围)的情况)变化到“0”的情况下,可靠性的值增大到“P(在前值)+Y(变化量)”。另一方面,在MC ON/OFF信号的值从“0”变化到“1”的情况下,和在该值是“1”和没有变化的情况下,可靠性的值减小到“P-Y”。
以该配置,例如,如图45所示,在MC ON/OFF信号的值是“0”的期间,可靠性逐渐地从0%增大到100%。另一方面,在MC ON/OFF信号的值是“1”的期间,可靠性逐渐地从100%减小到0%。
通过考虑运动向量mv检测的可靠性,在插补部45、成像模糊抑制处理器13和过驱动处理器10中如此设置以使得视频信号处理的程度随着可靠性的增加而升高,另一方面,视频信号处理的程度随着可靠性的减小而降低。
具体地,过驱动处理器10如此设置,以使得随着可靠性的增加,过驱动处理的程度升高,另一方面,随着可靠性的减小,过驱动处理的程度降低。同时,也有可能依据通过插补部45在每个插补帧中设置的插补位置朝着较近原始帧的视频图像的距离改变过驱动处理的程度(依据插补帧位置的不一致性变化降低运动模糊和保持模糊的程度(抖动的强度)),并有可能也考虑该可靠性来执行该过驱动处理。
而且,成像模糊抑制处理器13如此设置,以使得成像模糊抑制处理的程度随着可靠性的增加而提高,另一方面,成像模糊抑制处理的程度随着可靠性减小而降低。例如,像在第二实施例中图42所示的视频信号处理器4C中一样,依据由插补部45设置的插补帧中插补位置朝向较近原始帧的视频图像的距离,可以改变成像模糊抑制处理中的处理量(根据插补帧位置的不一致性改变降低成像模糊的程度(抖动强度)),而且,考虑这种可靠性可以执行成像模糊抑制处理。
而且,考虑在运动向量mv检测中的可靠性,插补部45改变设置每个插补帧中插补位置朝向较近原始帧的视频图像的距离。因此,考虑检测运动向量mv中的可靠性,能够改变插补帧位置的不一致性(抖动强度)。
同时,在通过代替插补部45使用运动补偿沿着时间轴在相邻的原始帧之间追加插补原始帧的视频图像获得的M个(其中M是1或更大的整数)插补帧来变化视频信号的帧率的情况下,例如,可以执行考虑可靠性的帧率变换,如图46(3:2下拉信号的情况下)和图47(在24Hz电影源信号的情况下)所示。
具体地,它可以如此设置,以使得随着可靠性的增加,在帧率变换时刻与运动向量MV1到MV3相乘的增益增大,另一方面,随着可靠性的减小,在帧率变换时刻与运动向量MV1到MV3相乘的增益减小。
以这种方式,在该实施例中,考虑由运动向量检测器44检测运动向量mv中的可靠性,在插补部45、成像模糊抑制处理器13和过驱动处理器10中执行视频信号处理。可以如此设置,以使得随着可靠性增加,视频信号处理的程度增加,另一方面,随着可靠性减小,视频信号处理的程度降低。因此,在使用运动向量执行视频信号处理的情况下,即使当运动向量超出了运动向量搜索范围时(块匹配范围),也能够执行根据运动向量检测精度的视频信号处理。因此,在执行预定视频信号处理的时刻,能够抑制由于运动向量检测精度引起的图片质量的恶化。
[第四实施例]
现在将描述本发明的第四实施例。
图48表示根据本实施例的图像显示装置(液晶显示器7)的配置的实例。而且,相同的参考符号指示与前述实施例中相同的组件,它们的描述将不再重复。
液晶显示器7基于在第一到第三实施例中描述的视频信号处理器4(或视频信号处理设备4A到4D的任意一个)中经过视频信号处理的视频信号,显示视频图像,并且液晶显示器7是保持类型(hold-type)的显示设备。具体地,液晶显示器7具有视频信号处理器4(4A到4D)、液晶显示面板70、背光驱动单元71、背光72、定时控制器73、门驱动器74和数据驱动器75。
背光72是发射光到液晶显示面板70上的光源,并且包括例如CCFL(冷阴极荧光灯,Cold Cathode Fluorescent Lamp)和LED(发光二极管)。
液晶显示面板70基于视频信号调整来自背光72的入射光。液晶显示面板70包括透射式液晶层(未示出)、将液晶层夹在中间的一对基层(TFT基层和相对的电极基层,未示出)、和偏振片(未示出),该偏振片层压在与液晶层相对一侧上的TFT基层和相对的电极基层的每一个上。
数据驱动器75将基于视频信号的驱动电压提供给液晶显示面板2中的每个像素电极。门驱动器74沿着未示出的水平扫描线行顺序地驱动液晶显示面板2中的像素电极。定时控制器73基于从视频信号处理器4(4A到4D)提供的视频信号控制数据驱动器75和门驱动器74。背光驱动单元71基于提供给视频信号处理器4(4A到4D)的视频信号控制背光72的开启和关闭操作(对背光72执行开启驱动。)。
依据原始帧中视频信号内容和用户观看环境的照明度的至少之一,构造该实施例的液晶显示器7,以执行将黑显示区域(black display area)插入液晶显示面板2的显示屏中的黑插入处理(black inserting process)。具体地,例如,构建液晶显示器7,以便当原始帧中的视频信号是电影信号(电影信号)时执行将黑显示区域插入液晶显示面板2中的显示屏中的黑插入处理。更具体地,背光驱动单元71执行背光72的开启和关闭之间的切换驱动,以便执行在液晶显示面板2的显示屏上插入黑显示的处理。而且,通过使用包括在EPG(电子程序向导,Electronic Program Guide)中的原始帧的内容信息,或基于原始帧的帧率,背光驱动单元71确定例如原始帧中的视频信号是否是电影信号。
可以以下面的方法执行黑插入。例如,如图49(A)和(B)所示,基于帧单位执行黑插入处理。例如,通过由原始帧中预定数量的水平扫描线组成的黑插入线单元执行黑插入处理,如图50(A)和(B)所示。例如,如图51(A)和(B)所示,通过组合基于黑插入线单位和帧单位执行黑插入处理。在图49到51(和后面描述的图52到55)中,(A)表示了液晶显示面板2(LCD)中的视频图像内容(原始帧A到C和插补帧A′到C′),和(B)表示了背光7 2的点亮(light-on)状态。图中的水平轴表示时间。
在对图49中所示的基于帧单位进行黑插入处理的情况下,整个帧被点亮或熄灭(light off),以使得保持改进效果提高。在对图50所示的基于黑插入线单位进行黑插入处理的情况下,显示照明度能够通过设置黑插入率而得到调整,其将在后面得到描述,并且帧率疑似地提高。因此,与基于帧单位的情况相比,闪烁(flicker)不太可见。在帧单位和图51所示的黑插入线单位组合的情况下,运动图像响应变得最高。
而且,在如图50和51所示的包括基于黑插入线单位de黑插入处理的情况下,黑插入处理可以通过多个彼此远离的黑插入线执行。在这种配置中,将在后面描述的黑插入率和显示照明度的调整变得容易。
而且,例如,如图52到55所示,当执行黑插入处理时,背光驱动单元71可以执行切换驱动,使得黑显示区域在整个显示屏上的面积比率(=黑插入率)可以通过改变黑插入线的厚度(构成黑插入线的水平扫描线的数量)而变化。在这种配置中,产生降低保持模糊的效果,并能够调整显示照明度。
而且,背光驱动单元71可以执行切换驱动,使得当执行黑插入处理时,黑显示区的照明度变化。在这种配置中,在降低保持模糊的同时,能够调整显示照明度。而且,黑插入率和黑显示区域的照明度都可以变化。
而且,在使黑插入率和黑显示区照明度的至少一个可变的情况下,黑插入率和黑显示区照明度可以以多级变化或连续变化。在进行这种变化的情况下,降低保持模糊和调整显示照明度变得容易。
以这种方式,在该实施例中,依据原始帧中视频信号内容和用户观看环境照明度的至少之一,执行将黑显示区插入到液晶显示面板2中显示屏中的黑插入处理。因此,根据环境能够降低保持模糊。
而且,例如,如图56所示,根据原始帧中的照明度柱状图分布,可以确定是否执行黑插入处理,并且黑插入率和黑显示区照明度可以变化。以这种配置,调整变成可能。例如,确定,在黑图像等中降低显示照明度不显著的情况下执行黑插入处理,并且通过提高黑插入率或降低黑显示区的照明度,优先给出降低保持模糊的效果。
而且,根据由运动向量检测器44等检测的原始帧中运动向量的幅度,可以改变黑插入率和黑显示区照明度。在这种配置中,例如,通过在视频图像的运动大的情况下提高黑插入率或降低黑显示区照明度,能够执行诸如抑制抖动的调整。
而且,例如,像在图57中所示的液晶显示器7A中一样,通过提供用于检测用户观看环境的亮度的亮度检测器76(例如,由照明度传感器构成)等,如上所述可以确定是否执行黑插入处理,或根据检测的用户观看环境亮度可以改变黑显示区的照明度。在这种配置中,存在依赖于观看环境亮度显示照明度的降低不显著的情况(例如,其中观看环境是黑状态的情况)。在这种情况下,通过确定是执行黑插入处理,还是提高黑插入率或降低黑显示区照明度,能够执行将优先权放在降低保持模糊的效果的调整。
而且,在提供亮度检测器76的情况下,根据检测到的用户观看环境的亮度,例如,可以改变通过成像模糊抑制处理器13的成像模糊抑制处理的处理量,和改变通过插补部45设置每个插补帧中更靠近较近原始帧的视频图像的插补位置的程度。在改变通过成像模糊抑制处理器13的成像模糊抑制处理处理量的情况下,存在依赖于观看环境的亮度成像模糊不显著的情况(例如,在其中观看环境是黑状态的情况下)。在这种情况中,能够执行降低成像模糊抑制处理的处理量的调整。在改变通过插补部45设置更靠近较近原始帧的视频图像的插补位置的程度的情况下,当依赖于观看环境的亮度抖动不显著时(例如,在其中观看环境是黑状态的情况下),通过设置更靠近原始帧的插补位置,抖动残留。以这种方式,例如,实现创建对电影来说是特有真实性的调整。
而且,通过其中保持类型的图像显示装置是液晶显示器和黑插入处理(闪烁处理,blinking process)通过背光驱动单元71的切换驱动来执行的情况,已经对该实施例进行了描述。例如,在其中显示设备是发光显示设备而不是液晶显示器(诸如有机场致发光显示设备)的情况下,例如通过提供黑插入处理器(未示出)用于对视频信号处理器中原始帧的视频信号执行黑插入处理,和通过黑插入处理器执行视频信号处理,可以执行黑插入处理。
同时,在该实施例中,通过提供例如预定操作设备(设置设备),由用户的操作,能够设置黑插入处理是否能够被执行、黑插入率的变化、黑显示区中照明度的变化。
而且,该实施例中的视频信号处理器不限于在第一到第三实施例中描述的视频信号处理器4(或视频信号处理器4A到4D的任意一个)。另外的视频信号处理器可以使用,只要它沿着时间轴对多个原始帧执行预定的视频信号处理。
而且,能够通过硬件或软件执行第一到第四实施例中描述的系列处理(或处理的一部分)。
既然这样,在上述实施例1到4中描述的视频信号4和4A到4D、背光驱动单元71、和定时控制器73或它们的一部分(例如,成像模糊抑制处理器13等)的全部能够由例如图58所示的计算机构成。
在图58中,CPU(中央处理单元)依据在ROM(只读存储器)302上记录的程序、或从存储器308下载到RAM(随机存取存储器)303的程序执行各种处理。在RAM 303中,CPU 301执行各种处理所需要的数据等也可以被适当地存储。
CPU 301、ROM 302和RAM 303通过总线304彼此连接。输入/输出接口305也连接到总线304。
包括键盘、鼠标等的输入单元306、诸如显示器的输出单元307、由硬盘等构成的存储器308、和包括调制解调器、终端适配器等的通信单元309连接到输入/输出接口305。通信单元309通过包括因特网的网络执行与其它设备的通信处理。
如果需要,驱动310也连接到输入/输出接口305。诸如磁盘、光盘、磁光盘或半导体存储器的可移动记录介质311适当地安装到输入/输出接口305上。如果需要,从可移动记录介质311读取的计算机程序安装到存储器308中。
在通过软件执行系列处理的情况下,构成该软件的程序从网络或记录介质中安装到例如装备有专门硬件的计算机或普通个人计算机等中,上述计算机能够通过安装各种程序执行各种功能。
包括这种程序的记录介质不限于可移动记录介质(封装介质,packagemedium)211,诸如磁盘(包括软盘)、光盘(包括CD-ROM(光盘只读存储器)和DVD(数字化视频光盘))、磁光盘(包括迷你光盘)或半导体存储器,如图58所示。它可以是记录程序的ROM 302、包括在存储器308中的硬盘、或在其预装备在装置体中的状态下提供给用户的类似装置。
同时,在该说明书中,描述记录在记录介质上的程序的步骤明显地不仅包括以该顺序沿时间序列执行的处理,而且包括不总是沿时间序列执行而是并行或独立执行的处理。
而且,如上所述,在该说明书中,该系统指的是由多个处理装置和处理器构成的整个装置。
而且,在上述实施例和修改实例中描述的配置等不限于上述组合而可以是任意组合。

Claims (10)

1、一种图像显示装置,其特征在于,包括:
运动向量检测设备,用于沿着时间轴检测多个原始帧中的运动向量;
视频信号处理设备,用于通过使用检测到的运动向量执行预定的视频信号处理,以改善该多个原始帧上的图片质量;和
显示设备,用于基于经过视频信号处理的视频信号显示视频图像,
其中,视频信号处理设备执行视频信号处理,以使得随着通过运动向量检测设备检测运动向量可靠性的提高视频信号处理的程度增加,另一方面,随着该可靠性的降低,视频信号处理的程度降低。
2、根据权利要求1所述的图像显示装置,其特征在于:视频信号处理设备包括成像模糊抑制处理设备,用于通过使用检测到的运动向量执行成像模糊抑制处理,以抑制由于包括在原始帧中的成像模糊引起的图片质量恶化。
3、根据权利要求2所述的图像显示装置,其特征在于:成像模糊抑制处理设备执行视频信号处理,以使得随着所述可靠性的提高,成像模糊抑制处理的程度增加,另一方面,随着所述可靠性的降低,成像模糊抑制处理的程度降低。
4、根据权利要求1所述的图像显示装置,其特征在于:视频信号处理设备包括过驱动处理设备,用于通过使用检测到的运动向量对原始帧的视频信号执行过驱动处理。
5、根据权利要求4所述的图像显示装置,其特征在于:过驱动处理设备执行视频信号处理,以使得随着所述可靠性的提高,过驱动处理的程度增加,另一方面,随着所述可靠性的降低,过驱动处理的程度降低。
6、根据权利要求1所述的图像显示装置,其特征在于:视频信号处理设备包括帧率变换设备,用于通过沿着时间轴将M(M:1或更大的整数)个插补帧添加到彼此相邻的原始帧之间,变换视频信号的帧率,通过使用运动补偿法从原始帧中的视频图像获得插补帧。
7、根据权利要求6所述的图像显示装置,其特征在于:帧率变换设备执行视频信号处理,以使得随着所述可靠性的提高,在帧率变换时运动向量与之相乘的增益增大,另一方面,随着所述可靠性的降低,增益减小。
8、根据权利要求1到7的任意一个所述的图像显示装置,其特征在于:可靠性的值在其中检测运动向量的周期内逐渐地提高,另一方面,可靠性的值在其中没有检测运动向量的周期内逐渐地降低。
9、一种视频信号处理器,其特征在于,包含:
运动向量检测设备,用于沿着时间轴检测多个原始帧中的运动向量;
视频信号处理设备,用于通过使用检测到的运动向量执行预定的视频信号处理,以改善该多个原始帧上的图片质量,
其中视频信号处理设备执行视频信号处理,以使得随着通过运动向量检测设备检测运动向量可靠性的提高,视频信号处理的程度增加,另一方面,随着该可靠性的降低,视频信号处理的程度降低。
10、一种视频信号处理方法,其特征在于,包括下列步骤:
沿着时间轴检测多个原始帧中的运动向量;和
通过使用检测到的运动向量,执行预定的视频信号处理,以改善该多个原始帧上的图片质量,
其中,执行视频信号处理,以使得随着检测运动向量可靠性的提高视频信号处理的程度增加,另一方面,随着该可靠性的降低,视频信号处理的程度降低。
CN200880000352XA 2007-02-20 2008-02-20 图像显示装置、视频信号处理器和视频信号处理方法 Expired - Fee Related CN101543043B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007039559 2007-02-20
JP039559/2007 2007-02-20
PCT/JP2008/052902 WO2008102827A1 (ja) 2007-02-20 2008-02-20 画像表示装置、映像信号処理装置および映像信号処理方法

Publications (2)

Publication Number Publication Date
CN101543043A true CN101543043A (zh) 2009-09-23
CN101543043B CN101543043B (zh) 2011-05-18

Family

ID=39710100

Family Applications (3)

Application Number Title Priority Date Filing Date
CN2008800002584A Expired - Fee Related CN101543064B (zh) 2007-02-20 2008-02-20 图像显示装置
CN2008800002620A Expired - Fee Related CN101543065B (zh) 2007-02-20 2008-02-20 图像显示装置、视频信号处理器以及视频信号处理方法
CN200880000352XA Expired - Fee Related CN101543043B (zh) 2007-02-20 2008-02-20 图像显示装置、视频信号处理器和视频信号处理方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN2008800002584A Expired - Fee Related CN101543064B (zh) 2007-02-20 2008-02-20 图像显示装置
CN2008800002620A Expired - Fee Related CN101543065B (zh) 2007-02-20 2008-02-20 图像显示装置、视频信号处理器以及视频信号处理方法

Country Status (6)

Country Link
US (3) US8213504B2 (zh)
EP (3) EP2059037B1 (zh)
JP (3) JP5187531B2 (zh)
KR (3) KR100988652B1 (zh)
CN (3) CN101543064B (zh)
WO (3) WO2008102828A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109089014A (zh) * 2014-02-27 2018-12-25 杜比实验室特许公司 用于控制颤抖可见性的系统和方法
CN110178365A (zh) * 2017-02-15 2019-08-27 松下知识产权经营株式会社 图像处理装置和图像处理方法
CN111641828A (zh) * 2020-05-16 2020-09-08 Oppo广东移动通信有限公司 视频处理方法及装置、存储介质和电子设备
CN111641829A (zh) * 2020-05-16 2020-09-08 Oppo广东移动通信有限公司 视频处理方法及装置、系统、存储介质和电子设备

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4863767B2 (ja) * 2006-05-22 2012-01-25 ソニー株式会社 映像信号処理装置及び画像表示装置
JP5141871B2 (ja) * 2007-05-14 2013-02-13 株式会社リコー 画像処理方法及び画像表示装置
US8300958B2 (en) * 2007-07-11 2012-10-30 Samsung Electronics Co., Ltd. System and method for detecting scrolling text in mixed mode film and video
JP4268220B2 (ja) * 2007-08-03 2009-05-27 パナソニック株式会社 撮影装置、撮影方法、およびプログラム
EP2101503A1 (en) * 2008-03-11 2009-09-16 British Telecommunications Public Limited Company Video coding
JP4506875B2 (ja) * 2008-05-19 2010-07-21 ソニー株式会社 画像処理装置および画像処理方法
JP5015089B2 (ja) * 2008-08-06 2012-08-29 シャープ株式会社 フレームレート変換装置、フレームレート変換方法、テレビジョン受像機、フレームレート変換プログラムおよび該プログラムを記録した記録媒体
JP2011530937A (ja) * 2008-08-12 2011-12-22 キーレス システムズ エルティーディー. データ入力システム
JP4626779B2 (ja) 2008-08-26 2011-02-09 ソニー株式会社 映像信号処理装置、画像表示装置および映像信号処理方法
US8373644B2 (en) * 2008-09-23 2013-02-12 Sharp Kabushiki Kaisha Backlight luminance control apparatus and video display apparatus
JP5262546B2 (ja) * 2008-10-08 2013-08-14 ソニー株式会社 映像信号処理システム、再生装置および表示装置、ならびに映像信号処理方法
US8488057B2 (en) * 2008-12-01 2013-07-16 Ati Technologies Ulc Method and apparatus for dejuddering image data
EP2200319A1 (en) 2008-12-10 2010-06-23 BRITISH TELECOMMUNICATIONS public limited company Multiplexed video streaming
WO2010067519A1 (ja) * 2008-12-10 2010-06-17 パナソニック株式会社 映像処理装置及び映像処理方法
JP5219771B2 (ja) * 2008-12-15 2013-06-26 キヤノン株式会社 映像処理装置および映像処理装置の制御方法
US8903191B2 (en) * 2008-12-30 2014-12-02 Intel Corporation Method and apparatus for noise reduction in video
EP2219342A1 (en) 2009-02-12 2010-08-18 BRITISH TELECOMMUNICATIONS public limited company Bandwidth allocation control in multiple video streaming
JP5011434B2 (ja) * 2009-02-19 2012-08-29 パナソニック株式会社 画像表示装置
EP2234402B1 (en) * 2009-03-25 2012-07-04 Bang & Olufsen A/S A method and a system for adapting film judder correction
JP2012138646A (ja) 2009-04-23 2012-07-19 Panasonic Corp 映像処理装置及び映像処理方法
JP2011035776A (ja) * 2009-08-04 2011-02-17 Sanyo Electric Co Ltd 映像情報処理装置およびプログラム
JP4656546B2 (ja) * 2009-08-28 2011-03-23 日本ビクター株式会社 映像信号処理装置
JP5631565B2 (ja) 2009-08-31 2014-11-26 京セラディスプレイ株式会社 表示装置
JP2011091533A (ja) * 2009-10-21 2011-05-06 Sony Corp 画像処理装置および方法、並びに、プログラム
JP5324391B2 (ja) * 2009-10-22 2013-10-23 キヤノン株式会社 画像処理装置およびその制御方法
US9019317B2 (en) * 2009-10-23 2015-04-28 Lg Display Co., Ltd. Liquid crystal display and method for driving the same
JP2011102876A (ja) * 2009-11-10 2011-05-26 Hitachi Displays Ltd 液晶表示装置
EP2509306A4 (en) * 2009-12-01 2013-05-15 Panasonic Corp IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
WO2011067870A1 (ja) 2009-12-01 2011-06-09 パナソニック株式会社 画像処理装置および画像処理方法
JP2013077862A (ja) * 2010-02-08 2013-04-25 Panasonic Corp 映像信号処理装置および映像信号処理方法
US8922474B2 (en) * 2010-02-10 2014-12-30 Sharp Laboratories Of America, Inc. Method of performing off axis halo reduction by generating an off-axis image and detecting halo artifacts therein
US9659353B2 (en) 2010-03-01 2017-05-23 Stmicroelectronics, Inc. Object speed weighted motion compensated interpolation
JP2011227153A (ja) * 2010-04-15 2011-11-10 Canon Inc 画像表示装置、画像表示方法
JP5634245B2 (ja) * 2010-12-15 2014-12-03 キヤノン株式会社 動きベクトル検出装置及びその制御方法、プログラム
KR101745418B1 (ko) * 2010-12-30 2017-06-12 엘지디스플레이 주식회사 전원 공급부 및 이를 포함하는 액정표시장치
CN102214450B (zh) 2011-06-02 2013-01-09 深圳市华星光电技术有限公司 液晶显示器及其驱动方法
JP2013015585A (ja) * 2011-06-30 2013-01-24 Toshiba Corp 表示装置及び表示方法
US8692933B1 (en) 2011-10-20 2014-04-08 Marvell International Ltd. Method and apparatus for buffering anchor frames in motion compensation systems
US9653026B2 (en) 2012-03-07 2017-05-16 Canon Kabushiki Kaisha Backlight controlling apparatus, backlight controlling method and program
JP2013201607A (ja) * 2012-03-26 2013-10-03 Jvc Kenwood Corp 動きベクトル補正装置及び方法、並びに、映像信号処理装置及び方法
JP5178933B1 (ja) * 2012-05-21 2013-04-10 正浩 小林 画像処理装置
JP6041535B2 (ja) * 2012-05-29 2016-12-07 株式会社トプコン 画像取得方法及び撮影装置
JP5202749B1 (ja) * 2012-09-03 2013-06-05 正浩 小林 画像処理方法
JP5939108B2 (ja) * 2012-09-25 2016-06-22 三菱電機株式会社 画像表示装置および画像表示方法
US10154177B2 (en) * 2012-10-04 2018-12-11 Cognex Corporation Symbology reader with multi-core processor
JP6369929B2 (ja) * 2013-07-11 2018-08-08 Eizo株式会社 表示装置及びバックライトの駆動方法
WO2015087597A1 (ja) * 2013-12-13 2015-06-18 シャープ株式会社 フィールドシーケンシャル表示装置およびその駆動方法
KR102107472B1 (ko) 2014-03-24 2020-05-08 엘지디스플레이 주식회사 백색 유기 발광 소자
KR102145759B1 (ko) 2014-03-27 2020-08-20 엘지디스플레이 주식회사 유기 발광 소자
WO2016018283A1 (en) * 2014-07-30 2016-02-04 Halliburton Energy Services, Inc. Deployable baffle
JP2018022932A (ja) * 2014-12-08 2018-02-08 株式会社ジャパンディスプレイ 表示システム及び表示装置
WO2016185947A1 (ja) * 2015-05-19 2016-11-24 ソニー株式会社 画像処理装置、画像処理方法、受信装置および送信装置
CN105141969B (zh) * 2015-09-21 2017-12-26 电子科技大学 一种视频帧间篡改被动认证方法
KR102538879B1 (ko) * 2016-08-11 2023-06-02 삼성디스플레이 주식회사 표시 장치 및 이의 구동 방법
JP6362116B2 (ja) * 2016-11-30 2018-07-25 キヤノン株式会社 表示装置及びその制御方法、プログラム、記憶媒体
US11151727B2 (en) * 2017-08-24 2021-10-19 Sony Group Corporation Image processing devices with efficient motion blur detection and methods of operating same
CN107424571B (zh) * 2017-08-31 2021-03-09 北京集创北方科技股份有限公司 有机发光二极管显示装置及其驱动方法
EP3843380A4 (en) * 2018-08-22 2021-10-20 Sony Group Corporation DISPLAY DEVICE, SIGNAL PROCESSING DEVICE AND SIGNAL PROCESSING METHOD
WO2020170945A1 (ja) 2019-02-20 2020-08-27 富士フイルム株式会社 表示制御装置、撮像装置、表示制御方法、及び表示制御プログラム
KR102549786B1 (ko) 2019-03-29 2023-06-30 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN110933496B (zh) * 2019-12-10 2021-07-23 Oppo广东移动通信有限公司 图像数据插帧处理方法、装置、电子设备及存储介质
CN110992902B (zh) * 2019-12-24 2022-06-14 苏州佳世达电通有限公司 显示系统及其背光控制方法
WO2021221192A1 (ko) * 2020-04-28 2021-11-04 엘지전자 주식회사 디스플레이 장치, 및 이를 구비하는 영상표시장치
CN111586321B (zh) * 2020-05-08 2023-05-12 Oppo广东移动通信有限公司 视频生成方法、装置、电子设备和计算机可读存储介质
CN112164374A (zh) * 2020-11-05 2021-01-01 北京集创北方科技股份有限公司 亮度调节方法、亮度调节装置、显示面板和显示装置

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9214218D0 (en) 1992-07-03 1992-08-12 Snell & Wilcox Ltd Motion compensated video processing
US5748231A (en) * 1992-10-13 1998-05-05 Samsung Electronics Co., Ltd. Adaptive motion vector decision method and device for digital image stabilizer system
US5642170A (en) * 1993-10-11 1997-06-24 Thomson Consumer Electronics, S.A. Method and apparatus for motion compensated interpolation of intermediate fields or frames
US5519446A (en) * 1993-11-13 1996-05-21 Goldstar Co., Ltd. Apparatus and method for converting an HDTV signal to a non-HDTV signal
JP4256471B2 (ja) 1994-04-05 2009-04-22 エヌエックスピー ビー ヴィ インタレース−順次走査変換方法及び装置
US5929919A (en) * 1994-04-05 1999-07-27 U.S. Philips Corporation Motion-compensated field rate conversion
JP2891129B2 (ja) * 1995-01-27 1999-05-17 日本電気株式会社 動き補償予測画像作成装置
KR100391192B1 (ko) 1995-04-11 2003-11-17 코닌클리케 필립스 일렉트로닉스 엔.브이. 입력필드처리방법및장치및텔레비전신호수신기
GB2305569B (en) 1995-09-21 1999-07-21 Innovision Res Ltd Motion compensated interpolation
GB2311184A (en) 1996-03-13 1997-09-17 Innovision Plc Motion vector field error estimation
KR100207323B1 (ko) * 1996-12-06 1999-07-15 윤종용 약전계 신호 수신시 영 잡음 제거방법
CN1217852A (zh) * 1997-02-13 1999-05-26 三菱电机株式会社 动态图象预测方式
JP4083265B2 (ja) * 1997-10-07 2008-04-30 株式会社日立製作所 画像信号の方式変換方法および装置
US6195389B1 (en) * 1998-04-16 2001-02-27 Scientific-Atlanta, Inc. Motion estimation system and methods
JP2000217108A (ja) * 1999-01-22 2000-08-04 Canon Inc 画像符号化方法及び記憶媒体
JP2000324364A (ja) * 1999-05-07 2000-11-24 Sony Corp 映像信号の輪郭補正回路
JP2001169281A (ja) * 1999-12-13 2001-06-22 Matsushita Electric Ind Co Ltd 動画像符号化装置、および動画像符号化方法
US7106350B2 (en) * 2000-07-07 2006-09-12 Kabushiki Kaisha Toshiba Display method for liquid crystal display device
JP2002158941A (ja) * 2000-11-16 2002-05-31 Sharp Corp 画質制御装置
US6956617B2 (en) 2000-11-17 2005-10-18 Texas Instruments Incorporated Image scaling and sample rate conversion by interpolation with non-linear positioning vector
KR100549156B1 (ko) * 2001-07-23 2006-02-06 가부시키가이샤 히타치세이사쿠쇼 표시 장치
JP2003036056A (ja) * 2001-07-23 2003-02-07 Hitachi Ltd 液晶表示装置
WO2003032288A1 (fr) 2001-10-05 2003-04-17 Nec Corporation Appareil d'affichage, systeme d'affichage d'image, et terminal utilisant ce systeme et cet appareil
JP3855761B2 (ja) 2001-10-09 2006-12-13 ソニー株式会社 画像信号処理装置及び方法
US20030123738A1 (en) * 2001-11-30 2003-07-03 Per Frojdh Global motion compensation for video pictures
KR100610954B1 (ko) * 2002-01-21 2006-08-10 마츠시타 덴끼 산교 가부시키가이샤 표시 장치 및 표시 장치의 구동 방법
JP2003244659A (ja) 2002-02-14 2003-08-29 Toshiba Corp フレーム補間方法
EP3029938A1 (en) * 2002-03-15 2016-06-08 Nokia Technologies Oy Method for coding motion in a video sequence
US20040090554A1 (en) * 2002-10-23 2004-05-13 Takahiro Nishi Picture coding method
AU2003289238A1 (en) 2002-12-06 2004-06-30 Sharp Kabushiki Kaisha Liquid crystal display device
JP2004234051A (ja) 2003-01-28 2004-08-19 Fuji Xerox Co Ltd 文章分類装置およびその方法
JP4239892B2 (ja) * 2003-07-14 2009-03-18 セイコーエプソン株式会社 電気光学装置とその駆動方法ならびに投射型表示装置、電子機器
JP4367100B2 (ja) 2003-11-18 2009-11-18 日本ビクター株式会社 画像表示装置
JP4539152B2 (ja) * 2003-11-07 2010-09-08 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP4198608B2 (ja) * 2004-01-15 2008-12-17 株式会社東芝 補間画像生成方法および装置
EP1589763A2 (en) 2004-04-20 2005-10-26 Sony Corporation Image processing apparatus, method and program
JP2005338262A (ja) 2004-05-25 2005-12-08 Sharp Corp 表示装置およびその駆動方法
US7657118B2 (en) * 2004-06-09 2010-02-02 Hewlett-Packard Development Company, L.P. Generating and displaying spatially offset sub-frames using image data converted from a different color space
CN1860779B (zh) * 2004-08-11 2010-05-12 索尼株式会社 图像处理设备和方法
JP5062968B2 (ja) 2004-08-11 2012-10-31 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4359223B2 (ja) * 2004-10-29 2009-11-04 株式会社 日立ディスプレイズ 映像補間装置とこれを用いたフレームレート変換装置,映像表示装置
JP4396496B2 (ja) * 2004-12-02 2010-01-13 株式会社日立製作所 フレームレート変換装置、及び映像表示装置、並びにフレームレート変換方法
US7728877B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Laboratories, Inc. Method and system for synthesizing multiview videos
JP2006189661A (ja) * 2005-01-06 2006-07-20 Toshiba Corp 画像表示装置及びその方法
JP2006189658A (ja) * 2005-01-06 2006-07-20 Toshiba Corp 画像表示装置及びその画像表示方法
KR100714689B1 (ko) * 2005-01-21 2007-05-04 삼성전자주식회사 다 계층 구조 기반의 스케일러블 비디오 코딩 및 디코딩방법, 이를 위한 장치
JP2008033209A (ja) * 2005-09-28 2008-02-14 Toshiba Matsushita Display Technology Co Ltd 液晶表示装置
KR20070055212A (ko) * 2005-11-25 2007-05-30 삼성전자주식회사 프레임 보간장치, 프레임 보간방법 및 움직임 신뢰성평가장치
US20070132709A1 (en) * 2005-12-12 2007-06-14 Toshiba Matsushita Display Technology Co., Ltd Liquid crystal display device and method for driving the same
KR101225058B1 (ko) * 2006-02-14 2013-01-23 삼성전자주식회사 콘트라스트 조절 방법 및 장치
JP5076355B2 (ja) 2006-04-25 2012-11-21 ソニー株式会社 画像表示装置、画像表示方法
JP4863767B2 (ja) * 2006-05-22 2012-01-25 ソニー株式会社 映像信号処理装置及び画像表示装置
US8174544B2 (en) 2006-05-23 2012-05-08 Panasonic Corporation Image display apparatus, image displaying method, plasma display panel apparatus, program, integrated circuit, and recording medium
CN101578866B (zh) * 2006-10-20 2013-11-13 诺基亚公司 利用参考画面标记和参考画面列表对可缩放视频位流进行编解码的方法及装置
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109089014A (zh) * 2014-02-27 2018-12-25 杜比实验室特许公司 用于控制颤抖可见性的系统和方法
CN109089014B (zh) * 2014-02-27 2021-02-19 杜比实验室特许公司 用于控制颤抖可见性的方法、装置及计算机可读介质
CN110178365A (zh) * 2017-02-15 2019-08-27 松下知识产权经营株式会社 图像处理装置和图像处理方法
CN110178365B (zh) * 2017-02-15 2021-10-08 松下知识产权经营株式会社 图像处理装置和图像处理方法
CN111641828A (zh) * 2020-05-16 2020-09-08 Oppo广东移动通信有限公司 视频处理方法及装置、存储介质和电子设备
CN111641829A (zh) * 2020-05-16 2020-09-08 Oppo广东移动通信有限公司 视频处理方法及装置、系统、存储介质和电子设备
CN111641829B (zh) * 2020-05-16 2022-07-22 Oppo广东移动通信有限公司 视频处理方法及装置、系统、存储介质和电子设备

Also Published As

Publication number Publication date
EP2059023B1 (en) 2015-11-04
KR101456305B1 (ko) 2014-11-03
KR20090115653A (ko) 2009-11-05
EP2059037A1 (en) 2009-05-13
KR101522736B1 (ko) 2015-05-26
EP2059023A4 (en) 2011-10-12
JPWO2008102828A1 (ja) 2010-05-27
EP2059037B1 (en) 2012-06-20
EP2018052B1 (en) 2014-12-10
EP2018052A1 (en) 2009-01-21
CN101543065B (zh) 2012-03-14
CN101543065A (zh) 2009-09-23
US20090184916A1 (en) 2009-07-23
JP5212742B2 (ja) 2013-06-19
JP5294036B2 (ja) 2013-09-18
CN101543043B (zh) 2011-05-18
US8441468B2 (en) 2013-05-14
WO2008102827A1 (ja) 2008-08-28
WO2008102826A1 (ja) 2008-08-28
US20100013991A1 (en) 2010-01-21
KR20090113752A (ko) 2009-11-02
CN101543064A (zh) 2009-09-23
JPWO2008102826A1 (ja) 2010-05-27
EP2059023A1 (en) 2009-05-13
KR100988652B1 (ko) 2010-10-18
CN101543064B (zh) 2013-07-03
JPWO2008102827A1 (ja) 2010-05-27
US8917767B2 (en) 2014-12-23
US8213504B2 (en) 2012-07-03
JP5187531B2 (ja) 2013-04-24
WO2008102828A1 (ja) 2008-08-28
US20100034272A1 (en) 2010-02-11
EP2059037A4 (en) 2010-12-01
KR20090113751A (ko) 2009-11-02
EP2018052A4 (en) 2010-03-10

Similar Documents

Publication Publication Date Title
CN101543043B (zh) 图像显示装置、视频信号处理器和视频信号处理方法
CN101420519B (zh) 显示面板控制装置、液晶显示装置、显示装置驱动方法
CN101663885B (zh) 图像处理装置及方法、图像显示装置及方法
JP4569388B2 (ja) 画像表示装置
US7898519B2 (en) Method for overdriving a backlit display
CN101202005B (zh) 显示装置及显示系统
CN101803363A (zh) 用于视频图像数据中的基于行的运动估计的方法和装置
CN101536507A (zh) 图像显示装置及方法、图像处理装置及方法
US20110285816A1 (en) Picture signal processor, picture display and picture display system
US20090002559A1 (en) Phase Shift Insertion Method For Reducing Motion Artifacts On Hold-Type Displays
EP1939852A1 (en) Method of detecting global image, display apparatus employing the method and method of driving the display apparatus
CN101751894B (zh) 图像处理装置和图像显示系统
CN101025484A (zh) 数据处理装置及其驱动方法以及具有该装置的显示设备
CN100407766C (zh) 用于处理图像的方法和设备
CN101751893B (zh) 图像处理装置和图像显示系统
CN114073072A (zh) 图像处理装置和图像处理方法
US20060082530A1 (en) Liquid crystal screen display method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110518