CN101663885A - 图像处理装置及方法、图像显示装置及方法 - Google Patents

图像处理装置及方法、图像显示装置及方法 Download PDF

Info

Publication number
CN101663885A
CN101663885A CN200880012509A CN200880012509A CN101663885A CN 101663885 A CN101663885 A CN 101663885A CN 200880012509 A CN200880012509 A CN 200880012509A CN 200880012509 A CN200880012509 A CN 200880012509A CN 101663885 A CN101663885 A CN 101663885A
Authority
CN
China
Prior art keywords
image signal
edge
received image
motion vector
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880012509A
Other languages
English (en)
Other versions
CN101663885B (zh
Inventor
上野雅史
山本健一郎
古川浩之
吉田育弘
吉井隆司
椿郁子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN101663885A publication Critical patent/CN101663885A/zh
Application granted granted Critical
Publication of CN101663885B publication Critical patent/CN101663885B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/106—Determination of movement vectors or equivalent parameters within the image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Television Systems (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种能够抑制图像劣化、减少保持型显示方式引起的动态模糊、同时能减少摄像元件的时间积分效果引起的显示视频的动态模糊、实现高品质的显示视频的图像显示装置及方法、图像处理装置及方法。包括：运动矢量检测部(101)，该运动矢量检测部(101)检测输入图像信号的帧间的每个预定区域的运动矢量；以及边缘增强部(2)，该边缘增强部(2)根据所述运动矢量检测部(101)所检测出的输入图像信号的运动量，增强该输入图像信号及FRC部(100)所生成的内插图像信号的高频分量。由此，通过补偿因摄像元件的时间积分效果而衰减的高频分量，从而可以减少可观察到的动态模糊，提高显示图像的清晰感。另外，通过减小对内插图像信号的边缘增强程度，使其小于对输入图像信号的边缘增强程度，由此使内插图像信号的图像劣化不显眼，提高显示图像的清晰感。

Description

图像处理装置及方法、图像显示装置及方法
技术领域
本发明涉及可减少因摄像元件的时间积分效果引起的显示视频的动态模糊、呈现高品质显示视频的图像显示装置及利用该装置的图像显示方法，以及图像处理装置及利用该装置的图像处理方法。
背景技术
在实现动态图像的用途方面以往主要使用阴极射线管(CRT：CathodeRay Tube)，与阴极射线管相比，LCD(Liquid Crystal Display：液晶显示器)在显示动态图像时，存在观赏者感觉到动态部分的轮廓模糊、即所谓动态模糊的缺点。该动态模糊认为是由LCD的显示方式本身所引起的(例如，参照日本专利第3295437号说明书；“石黑秀一、栗田泰市郎《采用8倍速CRT的保持发光型显示器的动态画质的相关研究》，信学技报，社团法人电子信息通信学会，EID96-4(1996-06)，p.19-26”)。
在扫描电子束使荧光体发光从而进行显示的CRT中，各像素的发光虽然存在荧光体的少许残留光，但仍呈大致脉冲状。称之为脉冲型显示方式。另一方面，在LCD中，通过对液晶施加电场而累积的电荷直到下一次施加电场为止，以较高的比例加以保持。特别是在TFT方式的情况下，对构成像素的每一点设置TFT开关，通常还对各像素设置辅助电容，从而所累积电荷的保持能力极高。因此，像素直到施加基于下一帧或场(以下以帧为代表)的图像信息的电场而被改写为止都持续发光。称之为保持型显示方式。
在上述那样的保持型显示方式中，由于图像显示光的脉冲响应具有在时间上的宽度，因此时间频率特性变差，随之空间频率特性也下降，从而发生动态模糊。即，由于人的视线流畅地跟踪运动物体，所以若像保持型那样发光时间长，则通过时间积分效果，图像的运动就变得不流畅，看起来不自然。
为了改善上述保持型显示方式的动态模糊，已知有通过在帧间内插图像来变换帧率(帧数)的技术。该技术被称为FRC(Frame Rate Converter：帧率变换)，在液晶显示装置等中已实用化。
以往，变换帧率的方法有仅多次重复读出同一帧、或采用帧间线性内插(线性插值)的帧内插等各种方法(例如，参照山内达郎《电视方式变换》，电视学会杂志，Vol.45，No.12，pp.1534-1543(1991))。然而，在采用线性插值的帧内插处理的情况下，随着帧率变换会发生运动不自然(颤抖、抖动)，并且不能充分改善上述保持型显示方式引起的动态模糊的问题，不足以改善画质。
因此，为了消除上述颤抖的影响来改善动态画质，提出了利用运动矢量的运动补偿型帧内插处理。根据此处理，捕捉动态图像本身来补偿图像的运动，所以分辨率不会变低，也不会发生颤抖，可以获得极自然的动态图像。而且，由于内插图像信号是通过运动补偿形成的，所以能充分改善上述保持型显示方式所引起的动态模糊的问题。
上述日本专利第3295437号说明书中揭示了一种技术，通过与运动相适应地生成内插帧，用于提高显示图像的帧频，改善导致动态模糊的空间频率特性的降低。该技术根据前后帧与运动相适应地形成内插到显示图像的帧间的至少一个内插图像信号，将形成的内插图像信号内插到帧间并依次进行显示。
图1是表示以往的液晶显示装置中的FRC驱动显示电路的简要结构的框图，图中，FRC驱动显示电路由以下构成：通过在输入图像信号的帧间内插实施了运动补偿处理的图像信号来变换输入图像信号的帧数的FRC部100；具有液晶层和用于对该液晶层施加扫描信号及数据信号的电极的有源矩阵型液晶显示面板203；以及用于根据经FRC部100进行了帧率变换的图像信号驱动液晶显示面板203的扫描电极及数据电极的电极驱动部204。
FRC部100包括：从输入图像信号检测出运动矢量信息的运动矢量检测部101；以及根据运动矢量检测部101获得的运动矢量信息生成内插帧的内插帧生成部102。
在上述结构中，运动矢量检测部101例如可以利用块匹配法、梯度法等求出运动矢量信息，或者当输入图像信号中以某种形式包含运动矢量信息时，也可以利用该信息。例如，用MPEG方式进行压缩编码的图像数据中包含编码时算出的动态图像的运动矢量信息，就可以采用获取该运动矢量信息的结构。
图2是用于说明采用图1所示的以往的FRC驱动显示电路的帧率变换处理的图。FRC部100进行以下处理：通过使用从运动矢量检测部101输出的运动矢量信息进行运动补偿处理，从而生成帧间的内插帧(图中涂成灰色的图像)，将该生成的内插帧信号与输入帧信号一起依次输出，从而将输入图像信号的帧率从例如每秒60帧(60Hz)变换到每秒120帧(120Hz)。
图3是用于说明采用运动矢量检测部101及内插帧生成部102的内插帧生成处理的图。运动矢量检测部101利用梯度法等从图2所示的例如帧#1和帧#2检测出运动矢量205。即，运动矢量检测部101在帧#1和帧#2的1/60秒期间，通过测定向哪个方向运动且运动多少，求出运动矢量205。接着，内插帧生成部102利用求出的运动矢量205，在帧#1和帧#2之间分配内插矢量206。通过根据该内插矢量206使对象(这里是汽车)从帧#1的位置移动到1/120秒后的位置，从而生成内插帧207。
这样，通过利用运动矢量信息进行运动补偿帧内插处理，提高显示帧频，从而可以使LCD(保持型显示方式)的显示状态接近CRT(脉冲型显示方式)的显示状态，能够改善由显示动态图像时发生的动态模糊引起的图像劣化。
这里，在上述运动补偿帧内插处理中，为了进行运动补偿，运动矢量的检测不可缺少。作为检测该运动矢量的典型方法，提出了例如块匹配法、梯度法等。在梯度法中，在连续的两帧间对各像素或每个小块检测运动矢量，由此对两帧间的内插帧的各像素或各小块进行内插。即，通过对两帧间的任意位置的图像进行正确的位置修正并内插，从而进行帧数变换。
通过如上所述那样进行运动补偿型帧内插处理，提高显示帧频，从而能够改善由保持型显示引起的动态模糊所造成的画质劣化，但有时输入图像信号中包含有因摄像元件的时间积分效果引起的动态模糊(也称为摄像机模糊)，此摄像元件的时间积分效果所引起的动态模糊会造成画质劣化。因此，例如日本国专利特开2002-373330号公报提出了去除此摄像元件的时间积分效果引起的动态模糊并且生成自然的图像、提高清晰感的图像处理装置。以下，结合图4对此日本国专利特开2002-373330号公报所述的以往的图像处理装置进行说明。
图4是表示以往的图像处理装置的的结构的功能框图。提供给图像处理装置的输入图像被提供给对象提取部111、区域确定部113、混合比计算部114、以及前景背景分离部115。对象提取部111粗略地提取出与输入图像中包含的前景对象对应的图像对象，并将提取出的图像对象提供给运动检测部112。对象提取部111例如通过检测与输入图像中包含的前景对象对应的图像对象的轮廓，从而粗略地提取出与前景对象对应的图像对象。
对象提取部111粗略地提取出与输入图像中包含的背景对象对应的图像对象，并将提取出的图像对象提供给运动检测部112。对象提取部111例如根据输入图像与提取出的前景对象所对应的图像对象之差，粗略地提取出与背景对象对应的图像对象。另外，例如对象提取部111也可以根据设置于内部的背景存储器中所存储的背景图像与输入图像之差，粗略地提取与前景对象对应的图像对象、及与背景对象对应的图像对象。
运动检测部112例如利用块匹配法、梯度法、相位相关法、以及像素递归法等方法，计算出与粗略地提取出的前景对象对应的图像对象的运动矢量，并将算出的运动矢量及运动矢量的位置信息(确定与运动矢量对应的像素的位置的信息)提供给区域确定部113及动态模糊提取部116。在运动检测部112输出的运动矢量中包含有与运动量v对应的信息。另外，例如运动检测部112也可以将图像对象中确定像素的像素位置信息和每个图像对象的运动矢量一起输出到动态模糊去除部116。
运动量v是以像素间隔为单位表示与正在运动的对象对应的图像的位置变化的值。例如，当与前景对应的对象的图像以某帧为基准进行移动以在下一帧中显示于相距4个像素量的位置时，与前景对应的对象的图像运动量v为4。
区域确定部113将输入图像的像素分别确定在前景区域、背景区域、或混合区域中的某一个中，并将表示每个像素属于前景区域、背景区域、或混合区域中的哪一个的信息(以下称为区域信息)提供给混合比计算部114、前景背景分离部115以及动态模糊去除部116。
混合比计算部114基于输入图像及区域确定部113提供的区域信息，计算出与混合区域中包含的像素对应的混合比(以下称为混合比α)，并将算出的混合比提供给前景背景分离部115。混合比α是表示像素值中与背景对象对应的图像成分(以下称为背景成分)的比例的值。
前景背景分离部115基于区域确定部113提供的区域信息及混合比计算部114提供的混合比α，将输入图像分离为仅仅由前景对象所对应的图像成分(以下称为前景成分)形成的前景成分图像、和仅仅由背景成分形成的背景成分图像，并将前景成分图像提供给动态模糊去除部116，将背景成分图像提供给修正部117。
动态模糊去除部116基于从运动矢量获知的运动量v及区域信息，决定表示前景成分图像中包含的一个以上像素的处理单位。处理单位是指定成为动态模糊量调整处理对象的一组像素的数据。动态模糊去除部116基于前景背景分离部115提供的前景成分图像、运动检测部112提供的运动矢量及其位置信息、以及处理单位，去除前景成分图像中包含的动态模糊，并将去除了动态模糊的前景成分图像输出到动态模糊去除图像处理部118。
修正部117修正背景成分图像中与混合区域对应的像素的像素值。背景成分图像中与混合区域对应的像素的像素值是从分离前的混合区域的像素的像素值去除前景成分而计算出的。因而，背景成分图像中与混合区域对应的像素的像素值与相邻背景区域的像素的像素值相比，对应于混合比α而减少。修正部117对上述背景成分图像中与混合区域对应的像素的像素值的混合比α所对应的增益的降低进行修正，并将修正后的背景成分图像提供给动态模糊去除图像处理部118。
动态模糊去除图像处理部118对每个去除了动态模糊的前景成分图像及修正后的背景成分图像，应用边缘增强程度不同的边缘增强处理。在此，对作为静止图像的背景成分图像，执行与前景成分图像相比更增强边缘的边缘增强处理。通过这样，能够在对包含噪声的图像应用边缘增强处理时不发生不自然的图像劣化，进一步增加背景成分图像的清晰感。
另一方面，对前景成分图像执行与背景成分图像相比边缘增强程度较少的增强处理。通过这样，即使去除了动态模糊的前景成分画像中包含有噪声，仍然可在前景成分图像中提高清晰感并且减少不自然的图像劣化。
发明内容
然而，在上述日本国专利特开2002-373330号公报所述的图像处理装置中，需要用于去除前景成分图像中包含的动态模糊的动态模糊去除部116、和对背景成分图像中与混合区域对应的像素的像素值进行修正的修正部117等，存在会导致处理/结构非常复杂的问题。而且，在采用此图像处理装置的情况下，存在以下问题：虽然对背景静止而前景对象在运动的图像可以去除摄像元件的时间积分效果引起的动态模糊，但除此以外例如对不仅前景对象的图像在运动、背景图像也在运动的图像却不能去除动态模糊。这样，仅限于对特定的图像内容可获得所要的效果，因此不能说是实用的。
再有，在上述日本国专利特开2002-373330号公报所述的图像处理装置中，存在以下问题：在去除了动态模糊的前景成分图像中包含有噪声的情况下，若使边缘增强的程度增大，则会导致不自然的图像劣化，因此减小对前景成分图像的边缘增强的程度，这样一来就不能充分提高前景成分图像的清晰感。
另外，例如在日本国专利特开平1-215185号公报中提出了以下方法：用简单的结构去除摄像元件的时间积分效果引起的动态模糊，从输入图像信号检测出被拍摄物体的运动，并可根据该运动检测结果，改变对输入图像信号的轮廓补偿量(边缘增强程度)。由此，通过对输入图像信号的运动量大的区域增大对输入图像信号的边缘增强程度，能够减少摄像元件的时间积分效果引起的可观测到的动态模糊，提高图像的清晰感，并且能够防止边缘增强过度造成的画质劣化(静止区域的噪音增加)。
在此，将用于减少上述保持型显示方式引起的动态模糊的运动补偿型帧率变换处理(FRC处理)、与减少上述摄像元件的时间积分效果引起的动态模糊的边缘增强处理组合时，存在以下问题：例如，若采用在减少摄像元件的时间积分效果引起的动态模糊的边缘增强处理的后级实施FRC处理的结构，则会对增强了边缘的图像信号进行FCR处理的运动矢量检测，从而例如在像梯度法那样基于图像信号的平滑梯度进行矢量计算时，会诱发运动矢量的误检测。
因而，希望采用在边缘增强处理的前级实施FRC处理的结构，但在此情况下，存在以下问题。即，FRC处理所生成的内插图像信号经常发生运动矢量的误检测等引起的图像劣化(图像破绽)，若对包含这样的图像劣化的内插图像信号实施与对输入图像信号实施的边缘增强处理相同的边缘增强处理，则图像劣化被增强而变得显眼。
本发明是鉴于如上所述实际情况而作出的，其目的在于提供一种能够抑制图像劣化、减少保持型显示方式引起的动态模糊、同时减少摄像元件的时间积分效果引起的显示视频的动态模糊、实现高品质的显示视频的图像显示装置及方法、图像处理装置及方法。
本申请的第一项发明是一种图像显示装置，该图像显示装置包括频率变换单元，该频率变换单元基于输入图像信号的帧间或场间的运动矢量信息，将对所述输入图像信号实施运动补偿处理而生成的内插图像信号内插到所述输入图像信号的帧间或场间，从而变换所述输入图像信号的帧数或场数，该图像显示装置的特征在于，对所述输入图像信号以第一边缘增强程度实施边缘增强处理，并且对所述内插图像信号以小于所述第一边缘增强程度的第二边缘增强程度实施边缘增强处理、或者不进行边缘增强处理。
本申请的第二项发明的特征在于，所述边缘增强处理对所述输入图像信号的运动量大的区域，使增强所述图像信号的高频分量的量增大。
本申请的第三项发明的特征在于，所述边缘增强处理对所述输入图像信号的运动量大的区域，扩大进行所述增强的图像信号的频率范围。
本申请的第四项发明的特征在于，可根据所述输入图像信号的运动方向，改变对所述图像信号进行边缘增强的滤波器的特性。
本申请的第五项发明的特征在于，所述频率变换单元包括：在所述输入图像信号中包含的连续帧间或场间检测运动矢量的运动矢量检测部；基于该检测出的运动矢量在所述帧间或所述场间分配内插矢量的内插矢量分配部；基于该分配的内插矢量生成内插图像信号的内插图像生成部；以及将该生成的内插图像信号内插到所述帧间或所述场间的图像内插部，基于所述运动矢量检测部所检测出的运动矢量，求取所述输入图像信号的运动量/运动方向。
本申请的第六项发明的特征在于，设置了将所述运动矢量检测部所检测出的运动矢量平滑化的低通滤波器。
本申请的第七项发明的特征在于，所述频率变换单元包括：在所述输入图像信号中包含的连续帧间或场间检测运动矢量的运动矢量检测部；基于该检测出的运动矢量在所述帧间或所述场间分配内插矢量的内插矢量分配部；基于该分配的内插矢量生成内插图像信号的内插图像生成部；以及将该生成的内插图像信号内插到所述帧间或所述场间的图像内插部，基于所述内插矢量分配部所分配的内插矢量，求取所述输入图像信号的运动量/运动方向。
本申请的第八项发明的特征在于，设置了将所述内插矢量分配部所分配的内插矢量平滑化的低通滤波器。
本申请的第九项发明的特征在于，所述频率变换单元在所述输入图像信号的帧间或场间内插多个所述内插图像信号，可根据与所述输入图像信号在时间上的距离，改变对各个内插图像信号的边缘增强程度。
本申请的第十项发明是一种图像显示方法，该图像显示方法包括频率变换步骤，该频率变换步骤基于输入图像信号的帧间或场间的运动矢量信息，将对所述输入图像信号实施运动补偿处理而生成的内插图像信号内插到所述输入图像信号的帧间或场间，从而变换所述输入图像信号的帧数或场数，该图像显示方法的特征在于，对所述输入图像信号以第一边缘增强程度实施边缘增强处理，并且对所述内插图像信号以小于所述第一边缘增强程度的第二边缘增强程度实施边缘增强处理、或者不进行边缘增强处理。
本申请的第十一项发明是一种图像处理装置，该图像处理装置包括频率变换单元，该频率变换单元基于输入图像信号的帧间或场间的运动矢量信息，将对所述输入图像信号实施运动补偿处理而生成的内插图像信号内插到所述输入图像信号的帧间或场间，从而变换所述输入图像信号的帧数或场数，该图像处理装置的特征在于，对所述输入图像信号以第一边缘增强程度实施边缘增强处理，并且对所述内插图像信号以小于所述第一边缘增强程度的第二边缘增强程度实施边缘增强处理、或者不进行边缘增强处理。
本申请的第十二项发明是一种图像处理方法，该图像处理方法包括频率步骤步骤，该频率变换步骤基于输入图像信号的帧间或场间的运动矢量信息，将对所述输入图像信号实施运动补偿处理而生成的内插图像信号内插到所述输入图像信号的帧间或场间，从而变换所述输入图像信号的帧数或场数，该图像处理方法的特征在于，对所述输入图像信号以第一边缘增强程度实施边缘增强处理，并且对所述内插图像信号以小于所述第一边缘增强程度小的第二边缘增强程度实施边缘增强处理、或者不进行边缘增强处理。
根据本发明，通过使得对内插图像信号的边缘增强程度小于对输入图像信号的边缘增强程度，从而能够使FRC处理所产生的图像劣化不显眼，提高显示图像的清晰感。
附图说明
图1是表示以往的液晶显示装置中的FRC驱动显示电路的简要结构的框图。
图2是用于说明采用图1所示的以往的FRC驱动显示电路的帧率变换处理的图。
图3是用于说明采用运动矢量检测部及内插帧生成部的内插帧生成处理的图。
图4是表示以往的图像处理装置的的结构的功能框图。
图5是表示减少摄像元件的时间积分效果引起的显示视频动态模糊的图像处理装置的简要结构的功能框图。
图6是表示边缘增强部的一个结构例的框图。
图7是表示边缘增强部的一个结构例的动作的说明图。
图8是表示边缘增强部的其它结构例的框图。
图9是表示边缘增强部的其它结构例的动作的说明图。
图10是表示本发明第一实施方式的图像处理装置的简要结构的功能框图。
图11是用于说明将帧率变换成5倍时的内插图像信号生成方法的图。
图12是表示本发明第二实施方式的图像处理装置的简要结构的功能框图。
图13是表示本发明第三实施方式的图像处理装置的一个结构例的框图。
图14是表示本发明第四实施方式的图像处理装置的一个结构例的框图。
标号说明
1…运动检测部、2…边缘增强部、21…高通滤波器、22…增益调整部、23…求和部、24…滤波器、100…FRC部、101…运动矢量检测部、102…内插帧生成部、103…内插矢量分配部、104…时基变换部、105…帧缓冲器(FB)、106…原帧矢量分配部、107…帧缓冲器(FB)、111…对象提取部、112…运动检测部、113…区域确定部、114…混合比计算部、115…前景背景分离部、116…动态模糊去除部、117…修正部、118…动态模糊去除图像处理部、203…液晶显示面板、204…电极驱动部、205…运动矢量、206…内插矢量、207…内插帧。
具体实施方式
下面，参照附图，详细说明本发明的优选图像处理装置的实施方式，对于与上述已有例相同的部分添加相同标号，省略其说明。此外，本发明可以适用于场信号及内插场信号、帧信号及内插帧信号中的任一方，但由于两者(场和帧)有相似的关系，所以以帧信号及内插帧信号为代表例进行说明。
首先，结合图5至图9，对本发明的图像处理装置中的边缘增强部的结构例进行说明。在此，图5是表示减少摄像元件的时间积分效果引起的显示视频动态模糊的图像处理装置的简要结构的功能框图，图6是表示边缘增强部的一个结构例的框图，图7是表示边缘增强部的一个结构例的动作的说明图，图8是表示边缘增强部的其它结构例的框图，图9是表示边缘增强部的其它结构例的动作的说明图。
如图5所示，减少摄像元件的时间积分效果引起的显示视频动态模糊的图像处理装置包括：检测输入图像信号中每预定图像区域的运动量的运动检测部1；以及根据所述运动检测部1所检测出的输入图像信号的运动量增强该输入图像信号的高频分量的边缘增强部2。
在此，运动检测部1可以采用块匹配法、梯度法等，在输入图像信号的连续两帧间对各像素或每个小块(例如由8像素×8像素形成的运动检测块)求取运动矢量，在输入图像信号中以某种形式包含有运动矢量信息时，也可以利用该运动矢量信息。例如，用MPEG方式进行压缩编码的图像数据中包含编码时算出的动态图像的运动矢量信息，就可以采用获取该运动矢量信息的结构。
边缘增强部2基于运动检测部1所检测出的运动矢量及其位置信息，可以改变增强该输入图像信号的高频分量的程度、频率范围，对该输入图像信号进行边缘增强处理。即，边缘增强部2根据输入图像信号的画面内图像运动量的分布，在画面内切换增强该输入图像信号的高频分量的程度、频率范围。通过边缘增强部2与运动相适应地进行了清晰化处理的图像信号，由另外构成或一体构成的阴极射线管、液晶显示面板等显示器件(未图示)显示输出。
即，在输入图像信号的运动量大的区域中，由于摄像元件的时间积分效果，高频分量衰减的可能性很高，所以为了补偿此衰减的高频分量，利用边缘增强部2进行适当的边缘增强处理。由此，能够减少可观察到的动态模糊，提高显示图像的清晰感。
图6表示上述边缘增强部2的一个结构例。输入图像信号被输入到高通滤波器21及求和器23。高通滤波器21基于输入的滤波器系数，从输入图像信号中提取出图像的高频分量，即去除图像的低频分量，生成边缘图像信号。输入的滤波器系数可根据上述运动检测部1所检测出的运动量分级地改变。然后，当此滤波器系数变化时，高通滤波器21改变所提取图像的频率、所去除图像的频率、以及所提取图像的增益。
高通滤波器21所生成的边缘图像信号被提供给增益调整部22。增益调整部22基于输入的增益调整系数，使高通滤波器21提供的边缘图像信号放大或衰减。输入的增益调整系数可根据上述运动检测部1所检测出的运动量分级地改变。然后，当此增益调整系数变化时，增益调整部22改变边缘图像信号的放大率(衰减率)。
例如，增益调整部22在指定1以上放大率的增益调整系数输入时，放大边缘图像信号，在指定不足1的放大率的增益调整系数输入时，使边缘图像信号衰减。经增益调整部22调整了增益的边缘图像信号被提供给求和部23。求和部23对输入图像信号、与增益调整部22提供的调整了增益的边缘图像信号求和，并输出求和后的图像信号。
如上所述构成的边缘增强部2例如在输入图像信号的运动量为0的区域中不进行边缘增强处理(使边缘增强处理无效，将输入图像信号原状输出)。另外，如图7(a)所示，对于输入图像信号的运动量小的区域，将高通滤波器21所提取图像的频率限制在高频区域，并且将增益调整部22的边缘图像信号的放大率抑制为1。对于输入图像信号的运动量大的区域，如图7(b)所示，将高通滤波器21所提取图像的频率范围扩张到低频区域一侧，并且使增益调整部22的边缘图像信号的放大率增大为1以上。
这样，在输入图像信号的运动量大的区域中，由于摄像元件的时间积分效果，高频分量衰减的可能性很大，所以通过进一步增强边缘增强的程度，对该衰减的高频分量进行补偿，由此能够减少可观察到的动态模糊，提高显示图像的清晰感。另外，在输入图像信号的运动量大的区域中，更大范围的频率分量有衰减的趋势，所以通过进一步扩大进行所述增强的输入图像信号的频率范围，由此能够减少可观察到的动态模糊，提高显示图像的清晰感。
即，虽然在上述边缘增强部2的一个示例中包括高通滤波器21和增益调整部22，但也可以至少包括高通滤波器21和增益调整部22中的某一个。另外，由于在输入图像信号的运动量为0的区域中未发生动态模糊(摄像机模糊)，所以可以不进行边缘增强处理。
接下来，图8表示上述边缘增强部2的其它结构例。在图8所示的示例中，边缘增强部2由滤波器24构成。滤波器24基于输入的滤波器系数，放大输入图像信号的高频分量，生成边缘增强图像信号。输入的滤波器系数可根据上述运动检测部1所检测出的运动量分级地改变。然后，当此滤波器系数变化时，滤波器24改变输入图像信号的高频分量的增益。
例如，在输入图像信号的运动量为0的区域中，使输入图像信号原状通过(使边缘增强处理无效)。另外，如图9(a)所示，对于输入图像信号的运动量小的区域，将输入图像信号的高频分量放大2倍，使输入图像信号的低频分量原状通过，生成边缘增强图像信号。对于输入图像信号的运动量大的区域，如图9(b)所示，将输入图像信号的高频分量放大2.5倍，使输入图像信号的低频分量原状通过，生成边缘增强图像信号。
这样，在输入图像信号的运动量大的区域中，由于摄像元件的时间积分效果，高频分量衰减的可能性很大，所以通过进一步增强边缘增强的程度，对该衰减的高频分量进行补偿，由此能够减少可观察到的动态模糊，提高显示图像的清晰感。另一方面，在输入图像信号的运动量小的区域中，由于摄像元件的时间积分效果，高频分量衰减的可能性较小，所以可以减弱边缘增强的程度，防止过度边缘增强造成的边缘部分的画质劣化。另外，由于在输入图像信号的运动量为0的区域中未发生动态模糊(摄像机模糊)，所以可以不进行边缘增强处理。另外，本发明的边缘增强部2的结构当然不限于上述结构。
在上述图像处理装置的示例中，说明了可根据输入图像信号的运动量改变边缘增强程度的方法，但也可以根据输入图像信号的运动量以及输入图像信号的运动方向，来改变滤波器的特性例如滤波器的抽头形状。例如，在仅有水平方向运动的图像信号中，由于垂直方向上不发生摄像元件的时间积分效果引起的高频分量的衰减，因此希望进行水平方向的滤波处理，所以在从输入图像信号检测出的运动矢量只有水平方向分量时，将图6的高通滤波器21或图8的滤波器24的抽头形状切换为一维水平抽头。
同样，在从输入图像信号中检测出的运动矢量只有垂直方向分量时(视频在垂直方向上运动时)，切换为一维垂直抽头形状的滤波器即可，在从输入图像信号中检测出的运动矢量具有水平方向分量和垂直方向分量时(视频在倾斜方向上运动时)，切换为倾斜方向抽头形状的滤波器即可。这样，通过根据运动矢量的方向切换为各向同性或各向异性或椭圆形等抽头形状的滤波器，能实现更理想的滤波处理。
另外，在以输入图像信号的例如由8像素×8像素形成的运动检测块为单位检测运动矢量、基于此运动矢量控制边缘增强处理的情况下，由于对每个8像素×8像素的块区域实施不同的边缘增强处理，所以有时会在块边界上产生伪像(图像劣化)。为了去除这样的弊病，有例如在运动检测部1与边缘增强部2之间设置对运动矢量的低通滤波器、从而将运动矢量平滑化的方法。这样，通过使画面内的运动矢量的变化平滑，可以防止由于边缘增强处理急剧变化而产生的块边界的伪像。
另外，在用具有时间积分效果的摄像元件拍摄的自然图像中包含有上述动态模糊(摄像机模糊)，但动画、CG(计算机图形)图像中原本未包含如上所述的动态模糊(摄像机模糊)。若对这样未包含动态模糊(摄像机模糊)的图像过度地进行高频分量的增强，则可能在边缘部分产生图像劣化。因而，在动画、CG的图像信号输入时，即使是输入图像信号的运动量大的区域，也希望减弱上述动态模糊减少(清晰化)处理的强度或不进行处理。
例如，基于从电视广播数据中分离提取出的EPG(Electronic ProgramGuide：电子节目指南)数据中包含的种类信息，判定输入图像信号的种类类别，在判定输入图像信号的种类类别是例如动画时，即使是输入图像信号的运动量大的区域，也只要像对运动量小的区域一样进行控制即可，即减小边缘增强部2增强高频分量的程度、缩小增强的频率范围、或者使边缘增强部2的边缘增强处理无效。
与上述相同，在节目标志、反射式字幕之类的字符文字、图标等CG图像合成为自然图像的一部分的情况下，对于该CG图像合成的区域，即使在背景的自然图像的运动量大时或该CG图像的移动速度快时，也希望减弱上述动态模糊减少(清晰化)处理的强度或不进行处理。
例如，可以从输入图像信号中检测出节目标志、反射式字幕之类的字符文字、图标等CG图像合成(重叠)的区域位置，对该CG图像合成(重叠)的区域，像对图像的运动量小或无运动的区域一样进行控制即可，即减小边缘增强部2增强高频分量的程度、缩小增强的频率范围、或者使边缘增强部2的边缘增强处理无效。
再者，由于摄像元件的时间积分效果引起的动态模糊(摄像机模糊)也会随着视频拍摄时摄像元件的曝光时间即快门速度而变化，所以例如即使是在输入图像信号的运动量大的情况下，当该输入图像信号的拍摄时的快门速度快即曝光时间短时，也希望减弱上述动态模糊减少(清晰化)处理的强度。因而，例如在关于视频拍摄时的快门速度的信息被添加到电视广播数据中的情况下，可以从电视广播数据中分离·获取关于快门速度的信息，根据该关于快门速度的信息，控制边缘增强部2增强高频分量的程度及/或增强的频率范围，使其可变，或者不进行边缘增强处理。
另外，在视频拍摄时，按照拍摄者的意图有时将焦点对准拍摄画面内的全体而拍摄，有时将焦点仅对准拍摄画面内的一部分而拍摄等。在将焦点仅对准拍摄画面内的一部分时，就有意地使焦点对准的被拍摄物体以外拍摄为模糊的视频。对这样有意模糊化而拍摄的区域，希望减弱上述动态模糊减小(清晰化)处理的强度，或者不进行动态模糊减小(清晰化)处理。
在将焦点仅对准拍摄画面内的一部分时，一般可通过使摄像机的拍摄景深变浅来实现。此拍摄景深由多种要素决定，这些要素包括摄像机镜头的光圈数、摄像机与被拍摄物体之间的距离、摄像机的设定状态(光圈、增益、电子光圈)等。例如作为使拍摄景深变浅的要素，可以列举出减小摄像机镜头的光圈数、或缩短到被拍摄物体的距离、或打开光圈等。因而，在将关于这样的拍摄景深的信息添加到电视广播数据中而发送的情况下，例如作为元数据添加的情况下，可以从电视广播数据中获取关于拍摄景深的信息，判定该拍摄景深的状态，并根据该判定结果控制边缘增强部2增强高频分量的程度及/或增强的频率范围，使其可变，或者不进行边缘增强处理。
再者，在运动矢量检测块中，例如进行DCT等频率解析，检查高频分量的量，由此可以检测上述CG图像重叠的部分、或用快门速度快的摄像机所拍摄的图像中尽管运动速度快但动态模糊少的部分。即，在某个运动检测块中运动量大且高频分量少时，认为是运动快且动态模糊造成高频分量丧失的部分。换言之，认为这种情况不是CG图像重叠的部分或用快门速度快的摄像机拍摄的图像中动态模糊少的部分，而是用快门速度慢的摄像机拍摄的图像中动态模糊多的部分。因此，照常进行边缘增强处理即可。
另一方面，在某个运动检测块中运动量大且高频分量多时，认为是CG图像重叠的部分、或用快门速度快的摄像机拍摄的图像中动态模糊少的部分在运动，因此减小边缘增强程度即可。这样，通过解析图像信号并将运动量和高频分量的量合成进行判定，可以决定适当的动态模糊减少处理的强度。
利用上述图像处理装置，无论图像内容是什么，都可以减少摄像元件的时间积分效果引起的显示视频的动态模糊，实现高品质的显示视频，接下来作为本发明的实施方式，说明适用于液晶显示器、有机EL显示器、电泳显示器等具有保持型显示特性的图像显示装置的图像处理装置，即可以减少摄像元件的时间积分效果引起的显示视频的动态模糊和保持型显示特性引起的动态模糊两者、实现高品质的显示视频的图像处理装置。
(第一实施方式)
结合图10，对本发明第一实施方式的图像处理装置进行说明，对于与上述图像处理装置相同的部分添加相同标号，省略其说明。在此，图10是表示本实施方式的图像处理装置的简要结构的功能框图。
如图10所示，本实施方式的图像处理装置包括：FRC部100，FRC部100通过在输入图像信号的帧间或场间内插实施了运动补偿处理的图像信号，来变换所述输入图像信号的帧数；以及边缘增强部2，边缘增强部2增强通过该FRC部100变换了帧数的图像信号的高频分量。
FRC部100包括：运动矢量检测部101，运动矢量检测部101从一帧前的输入图像信号和当前帧的输入图像信号检测出运动矢量；内插矢量分配部103；内插矢量分配部103对运动矢量检测部101所检测出的运动矢量进行评价，并基于该评价结果向帧间的内插块分配最适当的内插矢量；内插帧生成部102，内插帧生成部102基于内插矢量分配部103输入的内插矢量，利用一帧前的输入图像信号和当前帧的输入图像信号来生成内插帧；以及时基变换部104，时基变换部104通过交替地输出输入帧和内插帧，输出帧率是原始输入图像信号的2倍的图像信号。
然后，边缘增强部2可以基于FRC部100的运动矢量检测部101所检测出的运动矢量，改变增强高频分量的程度、增强的频率范围，对图像信号进行边缘增强处理。即，本实施方式的运动矢量检测部101相当于结合图5所述的图像处理装置中的运动检测部1，在输入图像信号的运动量大的区域中，由于摄像元件的时间积分效果，高频分量衰减的可能性很高，所以为了补偿此衰减的高频分量，通过边缘增强部2进行适当的边缘增强处理。
通过边缘增强部2与运动相适应地进行了清晰化处理的图像信号由另外构成或一体构成的液晶显示面板等显示器件(未图示)显示输出。由此，能够减少了可观察到的动态模糊，提高显示图像的清晰感。另外，在应用于具有保持型显示特性的图像显示装置时，可以减少摄像元件的时间积分效果引起的显示视频的动态模糊和保持型显示特性引起的动态模糊两者、实现高品质的显示视频。
另外，在本实施方式中虽然采用利用边缘增强部2对输入图像信号和FRC部100的内插帧生成部102所生成的内插图像信号两者实施边缘增强处理的结构，但并不限于此，也可以仅对输入图像信号实施边缘增强处理。这样一来，可以减少边缘增强部2的处理量。
另外，在本实施方式中虽然采用利用边缘增强部2对输入图像信号和FRC部100的内插帧生成部102所生成的内插图像信号两者实施边缘增强处理的结构，但也可以使得对输入图像信号的边缘增强处理与对内插图像信号的边缘增强处理为不同的处理。
即，存在运动矢量的误检测等引起内插图像信号发生图像劣化(图像破绽)的情况，若对这样劣化了的内插图像实施边缘增强处理，则图像劣化了的部分也被实施边缘增强处理，使得图像劣化变得更加显眼，因此通过减小对内插图像信号的边缘增强程度，使其小于对输入图像信号(原图像信号)的边缘增强程度，或者只将对内插图像信号的边缘增强处理无效，从而可以使运动补偿型帧率变换处理造成的图像劣化不显眼，可以减小摄像元件的时间积分效果引起的可观测到的动态模糊，提高显示图像的清晰感。
例如，通过缩小对内插图像信号进行增强的频率范围，使其小于对输入图像信号(原图像信号)进行增强的频率范围，由此可以使运动补偿型帧率变换处理造成的图像劣化不显眼，可以减小摄像元件的时间积分效果引起的可观测到的动态模糊，提高显示图像的清晰感。
另外，对于本实施方式的FRC部100，说明了将输入图像信号的帧率变换为2倍的结构，但不限于此，也可以是将输入图像信号的帧率变换为1.5倍、3倍等的结构，或者输入图像信号由电影胶片视频生成的结构，例如在进行了3-2下拉后的图像信号的情况下，抽出相当于24Hz的主要图像信号(所谓进行逆3-2下拉处理)，在此帧间内插4幅内插图像信号来将帧率变换为120Hz(5倍)。
这样生成多幅内插图像信号时，可以使多个内插帧各自的所述边缘增强处理不同。例如，如图11(a)所示，单向地从原图像生成4幅内插图像时，在时间上离开原图像的第四幅内插图像与原图像之间的运动矢量的长度变大，运动矢量检测时的计算误差变大，因而内插图像信号有时会发生图像劣化。在这样的情况下，通过减小对在时间上离开原图像信号的内插图像信号的边缘增强程度，增大对原图像信号或在时间上接近原图像信号的内插图像信号的边缘增强程度，由此可以使图像劣化不显眼，可以减小摄像元件的时间积分效果引起的可观测到的动态模糊，提高显示图像的清晰感。
另外，如图11(b)所示，当四幅内插图像中的前两幅由前面的原图像生成、后两幅由后面的原图像生成时，或者如图11(c)所示，根据与前后原图像之间的距离改变加权求和比率或混合比率而生成内插图像时，由于中间的第二幅及第三幅内插图像信号在时间上远离原图像信号，所以通过减小边缘增强程度，增大对原图像信号或靠近原图像信号的第一幅及第四幅内插图像信号的边缘增强程度，由此可以使图像劣化不显眼，可以减小摄像元件的时间积分效果引起的可观测到的动态模糊，提高显示图像的清晰感。
如上所述，在本实施方式的图像处理装置中，通过根据FRC部100得到的输入图像信号的运动量，适当地控制边缘增强部2的边缘增强处理，由此可以减小摄像元件的时间积分效果引起的可观测到的动态模糊，提高显示图像的清晰感，并且能够防止过度的边缘增强造成的画质劣化。
在此，对输入图像信号以第一边缘增强程度实施边缘增强处理，并且对内插图像信号以小于所述第一边缘增强程度的第二边缘增强程度实施边缘增强处理、或者不进行边缘增强处理，由此，即使在内插图像信号发生图像劣化时，也可以使其不显眼，可以提高显示图像的清晰感。
另外，希望在运动矢量检测部101与边缘增强部2之间设置对运动矢量的低通滤波器，使画面内运动矢量的变化平滑，从而防止由于画面内边缘增强处理急剧变化而产生的伪像，如上所述。
另外，在本实施方式的情况下，在FRC处理后进行边缘增强处理，因此FRC部100的运动矢量检测部101中的运动矢量检测处理不受边缘增强处理的影响，可以稳定地工作。而且，由于原状使用运动矢量检测部101生成的运动矢量信息，所以可以用比后文描述的第三至第四实施方式更简单的结构来实现。
但是，FRC部100的输出图像信号虽然是交替地输出原图像与内插图像，但由于边缘增强部2中将FRC部100所生成的运动矢量信息原状应用于原图像和内插图像，所以存在对内插图像没有进行正确的边缘增强处理的情况。即，FRC部100所生成的运动矢量信息的运动量、位置适合输入图像信号，但不适合内插图像信号，所以在使用FRC部100所生成的运动矢量信息的情况下，希望仅对输入图像信号(原图像信号)进行边缘增强处理。另外，对上述课题的其它改善方法将在后文中作为第三至第四实施方式描述。
(第二实施方式)
结合图12，对本发明第二实施方式的图像处理装置进行说明，对于与上述图像处理装置相同的部分添加相同标号，省略其说明。在此，图12是表示本实施方式的图像处理装置的简要结构的功能框图。
与上述第一实施方式相同，本实施方式的图像处理装置包括：FRC部100，FRC部100通过在输入图像信号的帧间或场间内插实施了运动补偿处理的图像信号，变换所述输入图像信号的帧数；以及边缘增强部2，边缘增强部2增强通过该FRC部100变换了帧数的图像信号的高频分量。在上述第一实施方式中，基于运动矢量检测部101所检测出的运动矢量，控制边缘增强部2的边缘增强处理，使其可变，而在本实施方式中，采用基于内插矢量分配部103所评价·分配的内插矢量控制边缘增强部2的边缘增强处理使其可变的结构。
对此内插矢量分配处理进行说明。考虑运动矢量检测部101所检测出的运动矢量是对一帧前的输入图像信号n-1的运动矢量的情况。即，在输入图像信号n-1的各运动矢量检测块中，各运动矢量检测块的运动矢量表示该块在下一帧的输入图像信号n中移动到哪个位置。那么，在将帧率变换为例如2倍时，内插帧的时间位置在输入图像信号n-1与输入图像信号n的中间位置。从而，进行以下处理：求取使输入图像信号n-1中的各运动矢量进至内插帧的时间位置时插入到内插帧上的哪个块，并将该运动矢量分配给被插入的块。此为向内插帧的内插矢量分配处理。
在此，通常进一步分割通过运动矢量检测部101检测运动矢量的运动矢量检测块，来设定通过内插矢量分配部103分配最适当的内插矢量的内插块。例如，在运动矢量检测块为8像素×8像素时，将运动矢量检测块进一步八分为2像素×4像素来设定内插块。
另外，内插矢量分配部103通过计算被检测块的图像信息与运动矢量从被检测块指向的块的图像信息之间的差值(称为DFD(移位区域差(Displaced Field Difference)))等，来评价运动矢量检测部101所求取的运动矢量的正确性，由此将更适当的内插矢量分配给上述内插块。DFD是表示候选矢量的正确程度的指标，DFD的值越小，则表示被检测块与运动矢量从被检测块指向的块之间的匹配越好，对应的候选矢量更加适合。
因而，在本实施方式中，由于可以基于FRC部100的内插矢量分配部103所求取的内插矢量，改变通过边缘增强部2增强高频分量的程度、增强的频率范围，所以至少可以对FRC部100的输出图像信号中的内插图像信号进行更加精细且适当的边缘增强处理。
另外，在本实施方式的情况下，虽然采用利用边缘增强部2对输入图像信号和FRC部100的内插帧生成部102所生成的内插图像信号两者实施边缘增强处理的结构，但不限于此，也可以只对输入图像信号实施边缘增强处理。这样一来，可以减少边缘增强部2的处理量。
另外，在本实施方式中，虽然采用利用边缘增强部2对输入图像信号和FRC部100的内插帧生成部102所生成的内插图像信号两者实施边缘增强处理的结构，但也可以使得对输入图像信号的边缘增强处理与对内插图像信号的边缘增强处理为不同的处理。
即，存在运动矢量的误检测等引起内插图像信号发生图像劣化(图像破绽)的情况，若对这样劣化了的内插图像实施边缘增强处理，则图像劣化了的部分也被实施边缘增强处理，使得图像劣化会变得更加显眼，因此通过减小对内插图像信号的边缘增强程度，使其小于对输入图像信号(原图像信号)的边缘增强程度，或者只将对内插图像信号的边缘增强处理无效，从而可以使运动补偿型帧率变换处理造成的图像劣化不显眼，可以减小摄像元件的时间积分效果引起的可观测到的动态模糊，提高显示图像的清晰感。
例如，通过缩小对内插图像信号进行增强的频率范围，使其小于对输入图像信号(原图像信号)进行增强的频率范围，由此可以使运动补偿型帧率变换处理造成的图像劣化不显眼，可以减小摄像元件的时间积分效果引起的可观测到的动态模糊，提高显示图像的清晰感。
另外，对于本实施方式的FRC部100，说明了将输入图像信号的帧率变换为2倍的结构，但不限于此，也可以是将输入图像信号的帧率变换为1.5倍、3倍等的结构，或者输入图像信号由电影胶片视频生成的结构，例如，在进行了3-2下拉后的图像信号的情况下，抽出相当于24Hz的主要图像信号(所谓进行逆3-2下拉处理)，在此帧间内插4幅内插图像信号来变换帧率为120Hz(5倍)。
这样生成多幅内插图像信号时，可以使多个内插帧各自的所述边缘增强处理不同。例如，如图11(a)所示，单向地从原图像生成4幅内插图像时，在时间上离开原图像的第四幅内插图像与原图像之间的运动矢量的长度变大，运动矢量检测时的计算误差变大，因而内插图像信号有时会发生图像劣化。在这样的情况下，通过减少对在时间上离开原图像信号的内插图像信号的边缘增强程度，增大对原图像信号或在时间上接近原图像信号的内插图像信号的边缘增强程度，由此可以使图像劣化不显眼，可以减小摄像元件的时间积分效果引起的可观测到的动态模糊，提高显示图像的清晰感。
另外，如图11(b)所示，当四幅内插图像中的前两幅由前面的原图像生成，后两幅由后面的原图像生成时，或者如图11(c)所示，根据与前后原图像之间的距离改变加权求和比率或混合比率而生成内插图像时，由于中间的第二幅及第三幅内插图像信号在时间上远离原图像信号，所以通过减小边缘增强程度，增大对原图像信号或靠近原图像信号的第一幅及第四幅内插图像信号的边缘增强程度，由此可以使图像劣化不显眼，可以减小摄像元件的时间积分效果引起的可观测到的动态模糊，提高显示图像的清晰感。
如上所述，在本实施方式的图像处理装置中，通过根据FRC部100得到的输入图像信号的运动量，适当地控制边缘增强部2的边缘增强处理，由此可以减小摄像元件的时间积分效果引起的可观测到的动态模糊，提高显示图像的清晰感，并且能够防止过度的边缘增强造成的画质劣化。
在此，对输入图像信号以第一边缘增强程度实施边缘增强处理，并且对内插图像信号以小于所述第一边缘增强程度的第二边缘增强程度实施边缘增强处理、或者不进行边缘增强处理，因此，即使在内插图像信号发生图像劣化时，也可以使其不显眼，可以提高显示图像的清晰感。
另外，希望在内插矢量分配部103与边缘增强部2之间设置对内插矢量的低通滤波器，使画面内内插矢量的变化平滑，从而防止由于画面内边缘增强处理急剧变化而产生的伪像。
另外，在本实施方式的情况下，FRC部100的运动矢量检测部101中的运动矢量检测处理不受边缘增强处理的影响，可以稳定地工作。而且，由于原状使用FRC部100的内插矢量分配部103所分配的内插矢量信息，所以可以用比后文描述的第三至第四实施方式更简单的结构来实现。
但是，FRC部100的输出图像信号虽然是交替地输出原图像与内插图像，但由于边缘增强部2中将FRC部100所生成的内插矢量信息原状应用于原图像和内插图像双方，所以存在对原图像没有进行正确的边缘增强处理的情况。另外，对上述课题的改善方法将在后文中作为第三至第四实施方式描述。
(第三实施方式)
结合图13，对本发明第三实施方式的图像处理装置进行说明，对于与上述图像处理装置相同的部分添加相同标号，省略其说明。在此，图13是表示本实施方式的图像处理装置的一个结构例的框图。
在图13中，运动矢量检测部101根据通过帧缓冲器(FB)105得以延迟的一帧前的输入图像信号n-1、和当前帧的输入图像信号n，求取各运动检测块的运动矢量。内插矢量分配部103用检测出的运动矢量，对内插帧进行适当的分配矢量V的分配。内插帧生成部102用分割的矢量V生成内插帧图像，并将其与矢量V一起输出。原帧矢量分配部106用运动矢量检测部101所求取的运动矢量，对原帧进行适当的矢量V的分配，并输出该分配的矢量V。
在此，对原帧进行适当的矢量V的分配是指对原帧也进行与所述第二实施方式中详细描述的向内插帧的矢量分配处理相同的处理。本来，运动矢量检测部101所检测出的运动矢量是指对作为原帧的输入图像信号n的运动矢量，但这里是指对运动矢量检测块的矢量。进行将此矢量重新分配给内插块的处理。若内插块与运动矢量检测块同样大，则也可原状使用。若内插块比运动矢量检测块要小，则重新分配。
时基变换部104通过交替地输出从内插帧生成部102输出的内插帧和原帧，来向边缘增强部2输出帧率为原始输入图像信号的2倍的图像信号。另外，时基变换部104将输出内插帧的同时从内插帧生成部102输出的分配矢量V、和输出原帧的同时从原帧矢量分配部106输出的分配矢量V分别输出到边缘增强部2。
边缘增强部2基于从时基变换部104输出的分配矢量V，对帧率变换后的图像信号进行边缘增强处理。此时，分配矢量V越大，越增强边缘增强的程度或越扩大进行增强的频率范围，由此补偿因摄像元件的时间积分效果而衰减了的高频分量。
另外，在本实施方式中，虽然采用利用边缘增强部2对内插图像信号和输入图像信号(原图像信号)两者实施边缘增强处理的结构，但不限于此，也可以仅对输入图像信号实施边缘增强处理。此时，可以减少边缘增强部2的处理量。
另外，在本实施方式中，虽然也采用利用边缘增强部2对输入图像信号和FRC部100的内插帧生成部102所生成的内插图像信号两者实施边缘增强处理的结构，但也可以使得对输入图像信号的边缘增强处理与对内插图像信号的边缘增强处理为不同的处理。
即，存在运动矢量的误检测等引起内插图像信号发生图像劣化(图像破绽)的情况，若对这样劣化了的内插图像实施边缘增强处理，则图像劣化了的部分也被实施边缘增强处理，使得图像劣化变得更加显眼，因此通过减小对内插图像信号的边缘增强程度，使其小于对输入图像信号(原图像信号)的边缘增强程度，或者只将对内插图像信号的边缘增强处理无效，从而可以使运动补偿型帧率变换处理造成的图像劣化不显眼，可以减小摄像元件的时间积分效果引起的可观测到的动态模糊，提高显示图像的清晰感。
例如，通过缩小对内插图像信号进行增强的频率范围，使其小于对输入图像信号(原图像信号)进行增强的频率范围，由此可以使运动补偿型帧率变换处理造成的图像劣化不显眼，可以减小摄像元件的时间积分效果引起的可观测到的动态模糊，提高显示图像的清晰感。
另外，对于本实施方式的FRC部100，说明了将输入图像信号的帧率变换为2倍的结构，但不限于此，也可以是将输入图像信号的帧率变换为1.5倍、3倍等的结构，或者输入图像信号由电影胶片视频生成的结构，例如，在进行了3-2下拉后的图像信号的情况下，抽出相当于24Hz的主要图像信号(所谓进行逆3-2下拉处理)，在此帧间内插4幅内插图像信号来变换帧率为120Hz(5倍)。
这样生成多幅内插图像信号时，可以使多个内插帧各自的所述边缘增强处理不同。例如，如图11(a)所示，单向地从原图像生成4幅枚内插图像时，在时间上离开原图像的第四幅内插图像与原图像之间的运动矢量的长度变大，运动矢量检测时的计算误差变大，因而内插图像信号有时会发生图像劣化。在这样的情况下，通过减少对在时间上离开原图像信号的内插图像信号的边缘增强程度，增大对原图像信号或在时间上接近原图像信号的内插图像信号的边缘增强程度，由此可以使图像劣化不显眼，可以减小摄像元件的时间积分效果引起的可观测到的动态模糊，提高显示图像的清晰感。
另外，如图11(b)所示，当四幅内插图像中的前两幅由前面的原图像生成、后两幅由后面的原图像生成时，或者如图11(c)所示，根据与前后原图像之间的距离改变加权求和比率或混合比率而生成内插图像时，由于中间的第二幅及第三幅内插图像信号在时间上远离原图像信号，所以通过减小边缘增强程度，增大对原图像信号或靠近原图像信号的第一幅及第四幅内插图像信号的边缘增强程度，由此可以使图像劣化不显眼，可以减小摄像元件的时间积分效果引起的可观测到的动态模糊，提高显示图像的清晰感。
另外，在本实施方式中，虽然采用利用运动矢量检测部101对原帧n检测运动矢量、利用原帧矢量分配部106对原帧n分配该运动矢量、利用时基变换部104交替地输出内插帧和原帧n的结构，但也可以采用对原帧n-1检测运动矢量、利用原帧矢量分配部106对原帧n-1分配该运动矢量、利用时基变换部104交替地输出原帧n-1和内插帧的结构。
如上所述，本实施方式的图像处理装置中，在FRC部100内部对内插帧图像信号和原帧图像信号分别实施与图像的运动量相对应的适当的边缘增强处理，因此可以减小摄像元件的时间积分效果引起的可观测到的动态模糊，提高显示图像的清晰感，并且能够防止过度的边缘增强造成的画质劣化。
在此，对输入图像信号以第一边缘增强程度实施边缘增强处理，并且对内插图像信号以小于所述第一边缘增强程度的第二边缘增强程度实施边缘增强处理、或者不进行边缘增强处理，因此，即使在内插图像信号发生图像劣化时，也可以使其不显眼，可以提高显示图像的清晰感。
另外，在本实施方式的情况下，FRC部100的运动矢量检测部101中的运动矢量检测处理不受边缘增强处理的影响，可以稳定地工作。而且，由于在对原帧和内插帧分别进行适当的矢量分配后进行边缘增强处理，所以与上述第一至第二实施方式相比，可以进行更正确的边缘增强处理。
(第四实施方式)
结合图14，对本发明第四实施方式的图像处理装置进行说明，对于与上述图像处理装置相同的部分添加相同标号，省略其说明。在此，图14是表示本实施方式的图像处理装置的一个结构例的框图。
本实施方式的图像处理装置与图13所示的第三实施方式相似。与第三实施方式的不同点在于，边缘增强部设置于FRC部100的内部，且数量增加为边缘增强部2A与边缘增强部2B这两个，以及边缘增强部与时基变换部104的顺序反转。
边缘增强部2A基于从内插帧生成部102输出的分配矢量V，对内插帧图像信号进行边缘增强处理。边缘增强部2B基于从原帧分配部106输出的分配矢量V，对原帧图像信号进行边缘增强处理。此时，分配矢量V越大，越增强边缘增强的程度或越扩大进行增强的频率范围，由此补偿因摄像元件的时间积分效果而衰减了的高频分量。
时基变换部104通过交替地输出边缘增强部2A输出的内插帧、和从边缘增强部2B输出的原帧，来输出帧率为原始输入图像信号的2倍的图像信号。
另外，在本实施方式中，虽然采用利用边缘增强部2A及边缘增强部2B对内插图像信号和输入图像信号(原图像信号)两者实施边缘增强处理的结构，但不限于此，也可以仅对输入图像信号实施边缘增强处理。例如，内插帧生成部102所生成的内插图像信号中有可能因运动矢量的误检测等而引起图像劣化，所以也可以省略对内插图像信号进行边缘增强处理的边缘增强部2A。这样，通过省略边缘增强部2A，可以使结构更简单。
另外，在本实施方式中，虽然采用利用边缘增强部2A及边缘增强部2B对输入图像信号和FRC部100的内插帧生成部102所生成的内插图像信号两者实施边缘增强处理的结构，但也可以使得对输入图像信号的边缘增强处理与对内插图像信号的边缘增强处理为不同的处理。
即，存在运动矢量的误检测等引起内插图像信号发生图像劣化(图像破绽)的情况，若对这样劣化了的内插图像实施边缘增强处理，则图像劣化了的部分也被实施边缘增强处理，图像劣化会变得更加显眼，因此通过减小对内插图像信号的边缘增强程度，使其小于对输入图像信号(原图像信号)的边缘增强程度，或者只将对内插图像信号的边缘增强处理无效，从而可以使运动补偿型帧率变换处理造成的图像劣化不显眼，可以减小摄像元件的时间积分效果引起的可观测到的动态模糊，提高显示图像的清晰感。
例如，通过缩小对内插图像信号进行增强的频率范围，使其小于对输入图像信号(原图像信号)进行增强的频率范围，由此可以使运动补偿型帧率变换处理造成的图像劣化不显眼，可以减小摄像元件的时间积分效果引起的可观测到的动态模糊，提高显示图像的清晰感。
另外，对于本实施方式的FRC部100，说明了将输入图像信号的帧率变换为2倍的结构，但不限于此，也可以是将输入图像信号的帧率变换为1.5倍、3倍等的结构，或者输入图像信号由电影胶片视频生成的结构，例如，在进行了3-2下拉后的图像信号的情况下，抽出相当于24Hz的主要图像信号(所谓进行逆3-2下拉处理)，在此帧间内插4幅内插图像信号来变换帧率为120Hz(5倍)。
这样生成多幅内插图像信号时，可以使多个内插帧各自的所述边缘增强处理不同。例如，如图11(a)所示，单向地从原图像生成4幅内插图像时，在时间上离开原图像的第四幅内插图像与原图像之间的运动矢量的长度变大，运动矢量检测时的计算误差变大，因而内插图像信号有时会发生图像劣化。在这样的情况下，通过减少对在时间上离开原图像信号的内插图像信号的边缘增强程度，增大对原图像信号或在时间上接近原图像信号的内插图像信号的边缘增强程度，由此可以使图像劣化不显眼，可以减小摄像元件的时间积分效果引起的可观测到的动态模糊，提高显示图像的清晰感。
另外，如图11(b)所示，当四幅内插图像中的前两幅由前面的原图像生成、后两幅由后面的原图像生成时，或者如图11(c)所示，根据与前后原图像之间的距离改变加权求和比率或混合比率而生成内插图像时，由于中间的第二幅及第三幅内插图像信号在时间上远离原图像信号，所以通过减小边缘增强程度，增大对原图像信号或靠近原图像信号的第一幅及第四幅内插图像信号的边缘增强程度，由此可以使图像劣化不显眼，可以减小摄像元件的时间积分效果引起的可观测到的动态模糊，提高显示图像的清晰感。
另外，在本实施方式中，虽然采用利用运动矢量检测部101对原帧n检测运动矢量、利用原帧矢量分配部106对原帧n分配该运动矢量、利用边缘增强部2B对原帧n进行边缘增强处理的结构，但也可以采用对原帧n-1检测运动矢量、利用原帧矢量分配部106对原帧n-1分配该运动矢量、利用边缘增强部2B对原帧n-1进行边缘增强处理的结构。
如上所述，本实施方式的图像处理装置中，在FRC部100内部对内插帧图像信号和原帧图像信号分别实施与图像的运动量对应的适当的边缘增强处理，因此可以减小摄像元件的时间积分效果引起的可观测到的动态模糊，提高显示图像的清晰感，并且能够防止过度的边缘增强造成的画质劣化。
在此，对输入图像信号以第一边缘增强程度实施边缘增强处理，并且对内插图像信号以小于所述第一边缘增强程度的第二边缘增强程度实施边缘增强处理、或者不进行边缘增强处理，因此，即使在内插图像信号发生图像劣化时，也可以使其不显眼，可以提高显示图像的清晰感。
另外，在本实施方式的情况下，FRC部100的运动矢量检测部101中的运动矢量检测处理不受边缘增强处理的影响，可以稳定地工作。而且，由于在对原帧和内插帧分别进行了适当的矢量分配后进行边缘增强处理，所以与上述第一至第二实施方式相比，可以进行更正确的边缘增强处理。另外，由于包括边缘增强部2A和边缘增强部2B这两个边缘增强部，所以各边缘增强处理只要是上述第三实施方式的一半即可。
在上述说明中，对涉及本发明的图像处理装置及方法的实施方式的一个示例进行了说明，根据这些说明，也可以容易地理解利用计算机将本图像处理方法作为程序执行的处理程序、以及将该处理程序记录到利用计算机可读取的记录介质的程序记录介质。
另外，如上所述，本发明的图像处理装置可以与图像显示装置构成为一体，也可以独立于图像显示装置另外设置。而且，不限于此，还可以设置于例如各种记录介质重放装置等视频输出机器内。
而且，在上述各实施方式中，对可根据输入图像信号的运动量改变对图像信号的边缘增强程度进行了说明，但可知本发明不限于此，无论输入图像信号的运动量如何，都可以将其适用于以预先确定的边缘增强程度实施边缘增强处理的情况。在此情况下，通过减小对内插图像信号的边缘增强程度，使其小于对输入图像信号的边缘增强程度，，由此即使在内插图像信号发生画像劣化时，也可以使其不显眼，可以提高显示图像的清晰感。

Claims (12)

1.一种图像显示装置，包括频率变换单元，该频率变换单元基于输入图像信号的帧间或场间的运动矢量信息，将对所述输入图像信号实施运动补偿处理而生成的内插图像信号内插到所述输入图像信号的帧间或场间，从而变换所述输入图像信号的帧数或场数，该图像显示装置的特征在于，
对所述输入图像信号以第一边缘增强程度实施边缘增强处理，
并且对所述内插图像信号以小于所述第一边缘增强程度的第二边缘增强程度实施边缘增强处理、或者不进行边缘增强处理。
2.如权利要求1所述的图像显示装置，其特征在于，
所述边缘增强处理对所述输入图像信号的运动量大的区域，使增强所述图像信号的高频分量的量增大。
3.如权利要求1或2所述的图像显示装置，其特征在于，
所述边缘增强处理对所述输入图像信号的运动量大的区域，扩大进行所述增强的图像信号的频率范围。
4.如权利要求1至3中的任一项所述的图像显示装置，其特征在于，
可根据所述输入图像信号的运动方向，改变对所述图像信号进行边缘增强的滤波器的特性。
5.如权利要求2至4中的任一项所述的图像显示装置，其特征在于，
所述频率变换单元包括：在所述输入图像信号中包含的连续帧间或场间检测运动矢量的运动矢量检测部；
基于该检测出的运动矢量向所述帧间或所述场间分配内插矢量的内插矢量分配部；
基于该分配的内插矢量生成内插图像信号的内插图像生成部；以及
将该生成的内插图像信号内插到所述帧间或所述场间的图像内插部，
基于所述运动矢量检测部所检测出的运动矢量，求取所述输入图像信号的运动量/运动方向。
6.如权利要求5所述的图像显示装置，其特征在于，
设置了将所述运动矢量检测部所检测出的运动矢量平滑化的低通滤波器。
7.如权利要求2至4中的任一项所述的图像显示装置，其特征在于，
所述频率变换单元包括：在所述输入图像信号中包含的连续帧间或场间检测运动矢量的运动矢量检测部；
基于该检测出的运动矢量向所述帧间或所述场间分配内插矢量的内插矢量分配部；
基于该分配的内插矢量生成内插图像信号的内插图像生成部；以及
将该生成的内插图像信号内插到所述帧间或所述场间的图像内插部，
基于所述内插向量分配部所分配的运动矢量，求取所述输入图像信号的运动量/运动方向。
8.如权利要求7所述的图像显示装置，其特征在于，
设置了将所述内插矢量分配部所分配的运动矢量平滑化的低通滤波器。
9.如权利要求1至8中的任一项所述的图像显示装置，其特征在于，
所述频率变换单元将多个所述内插图像信号内插到所述输入图像信号的帧间或场间，
可根据与所述输入图像信号在时间上的距离，改变对各个内插图像信号的边缘增强程度。
10.一种图像显示方法，包括频率变换步骤，该频率变换步骤基于输入图像信号的帧间或场间的运动矢量信息，将对所述输入图像信号实施运动补偿处理而生成的内插图像信号内插到所述输入图像信号的帧间或场间，从而变换所述输入图像信号的帧数或场数，该图像显示方法的特征在于，
对所述输入图像信号以第一边缘增强程度实施边缘增强处理，
并且对所述内插图像信号以小于所述第一边缘增强程度的第二边缘增强程度实施边缘增强处理、或者不进行边缘增强处理。
11.一种图像处理装置，包括频率变换单元，该频率变换单元基于输入图像信号的帧间或场间的运动矢量信息，将对所述输入图像信号实施运动补偿处理而生成的内插图像信号内插到所述输入图像信号的帧间或场间，从而变换所述输入图像信号的帧数或场数，该图像处理装置的特征在于，
对所述输入图像信号以第一边缘增强程度实施边缘增强处理，
并且对所述内插图像信号以小于所述第一边缘增强程度的第二边缘增强程度实施边缘增强处理、或者不进行边缘增强处理。
12.一种图像处理方法，包括频率变换步骤，该频率变换步骤基于输入图像信号的帧间或场间的运动矢量信息，将对所述输入图像信号实施运动补偿处理而生成的内插图像信号内插到所述输入图像信号的帧间或场间，从而变换所述输入图像信号的帧数或场数，该图像处理方法的特征在于，
对所述输入图像信号以第一边缘增强程度实施边缘增强处理，
并且对所述内插图像信号以小于所述第一边缘增强程度的第二边缘增强程度实施边缘增强处理、或者不进行边缘增强处理。
CN2008800125090A 2007-04-27 2008-04-18 图像处理装置及方法、图像显示装置及方法 Expired - Fee Related CN101663885B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP118108/2007 2007-04-27
JP2007118108 2007-04-27
JP051919/2008 2008-03-03
JP2008051919A JP4139430B1 (ja) 2007-04-27 2008-03-03 画像処理装置及び方法、画像表示装置及び方法
PCT/JP2008/057626 WO2008136286A1 (ja) 2007-04-27 2008-04-18 画像処理装置及び方法、画像表示装置及び方法

Publications (2)

Publication Number Publication Date
CN101663885A true CN101663885A (zh) 2010-03-03
CN101663885B CN101663885B (zh) 2013-06-19

Family

ID=39758372

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201110430382.8A Expired - Fee Related CN102394051B (zh) 2007-04-27 2008-04-18 图像显示装置及方法
CN200880013007.XA Expired - Fee Related CN101663886B (zh) 2007-04-27 2008-04-18 图像显示装置及方法
CN2008800125090A Expired - Fee Related CN101663885B (zh) 2007-04-27 2008-04-18 图像处理装置及方法、图像显示装置及方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201110430382.8A Expired - Fee Related CN102394051B (zh) 2007-04-27 2008-04-18 图像显示装置及方法
CN200880013007.XA Expired - Fee Related CN101663886B (zh) 2007-04-27 2008-04-18 图像显示装置及方法

Country Status (7)

Country Link
US (2) US8319898B2 (zh)
EP (2) EP2144434A4 (zh)
JP (5) JP4139430B1 (zh)
CN (3) CN102394051B (zh)
BR (1) BRPI0809149A2 (zh)
RU (1) RU2419243C1 (zh)
WO (1) WO2008136286A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102651122A (zh) * 2011-02-24 2012-08-29 索尼公司 图像增强装置和方法
CN104134198A (zh) * 2014-07-28 2014-11-05 厦门美图之家科技有限公司 一种对图像进行局部处理的方法

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4181593B2 (ja) * 2006-09-20 2008-11-19 シャープ株式会社 画像表示装置及び方法
JP4525692B2 (ja) * 2007-03-27 2010-08-18 株式会社日立製作所 画像処理装置、画像処理方法、画像表示装置
GB2450121A (en) * 2007-06-13 2008-12-17 Sharp Kk Frame rate conversion using either interpolation or frame repetition
JP2009081574A (ja) * 2007-09-25 2009-04-16 Toshiba Corp 画像処理装置、方法およびプログラム
US8184200B1 (en) * 2008-04-22 2012-05-22 Marvell International Ltd. Picture rate conversion system for high definition video
JP5200788B2 (ja) 2008-09-09 2013-06-05 富士通株式会社 映像信号処理装置、映像信号処理方法および映像信号処理プログラム
WO2010035776A1 (ja) * 2008-09-26 2010-04-01 日本電気株式会社 サーバ装置及び通信システムと通信方法とプログラム
JP5147655B2 (ja) * 2008-11-20 2013-02-20 株式会社日立製作所 映像信号処理装置および映像表示装置
GB2466044B (en) * 2008-12-09 2014-05-21 Snell Ltd Motion image rendering system
JP5219771B2 (ja) * 2008-12-15 2013-06-26 キヤノン株式会社 映像処理装置および映像処理装置の制御方法
KR20230088842A (ko) 2009-02-06 2023-06-20 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 장치 구동 방법
JP4521468B1 (ja) 2009-02-25 2010-08-11 株式会社東芝 画像処理装置及び画像処理方法
JP5322704B2 (ja) * 2009-03-06 2013-10-23 キヤノン株式会社 画像処理装置、画像処理方法
JP5448981B2 (ja) * 2009-04-08 2014-03-19 株式会社半導体エネルギー研究所 液晶表示装置の駆動方法
JP5493455B2 (ja) * 2009-05-01 2014-05-14 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP4643727B2 (ja) 2009-05-29 2011-03-02 株式会社東芝 画像処理装置及び画像処理方法
JP2010288052A (ja) * 2009-06-11 2010-12-24 Sharp Corp テレビジョン受像機
JP2011035655A (ja) * 2009-07-31 2011-02-17 Sanyo Electric Co Ltd フレームレート変換装置、およびそれを搭載した表示装置
JP2011066540A (ja) * 2009-09-15 2011-03-31 Toshiba Corp 映像処理装置及び映像処理方法
JP4762336B2 (ja) 2009-09-15 2011-08-31 株式会社東芝 映像処理装置及び映像処理方法
JP5335653B2 (ja) * 2009-12-04 2013-11-06 ミツミ電機株式会社 液晶表示装置及び液晶表示方法
JP4762343B2 (ja) * 2009-12-28 2011-08-31 株式会社東芝 画質調整装置および画質調整方法
JP4924727B2 (ja) * 2010-02-16 2012-04-25 カシオ計算機株式会社 画像処理装置及び画像処理プログラム
US9659353B2 (en) * 2010-03-01 2017-05-23 Stmicroelectronics, Inc. Object speed weighted motion compensated interpolation
JP2011192141A (ja) * 2010-03-16 2011-09-29 Sony Corp 動体検出装置と動体検出方法およびプログラム
JP5541956B2 (ja) * 2010-04-07 2014-07-09 亨 羽角 画像合成方法、画像合成プログラムおよび画像合成装置
JP5574830B2 (ja) * 2010-06-03 2014-08-20 三菱電機株式会社 画像処理装置及び方法、並びに画像表示装置及び方法
JP2011259248A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像処理装置および方法、並びにプログラム
JP5656464B2 (ja) * 2010-06-14 2015-01-21 キヤノン株式会社 映像処理装置及びその制御方法
JP4937382B2 (ja) * 2010-06-30 2012-05-23 株式会社東芝 映像信号補間装置、映像表示装置及び映像信号補間方法
JP5317023B2 (ja) * 2010-09-16 2013-10-16 カシオ計算機株式会社 手ぶれ補正装置、手ぶれ補正方法およびプログラム
EP2533518B1 (en) * 2011-06-10 2014-09-10 Canon Kabushiki Kaisha Shake compensation apparatus, shake compensation control method, and image capturing apparatus and control method thereof
JP5743918B2 (ja) * 2012-01-31 2015-07-01 株式会社東芝 画像処理装置
JP2013186427A (ja) * 2012-03-09 2013-09-19 Ricoh Co Ltd 映像処理装置
JP6019341B2 (ja) * 2012-03-23 2016-11-02 株式会社Ｊｏｌｅｄ 表示装置、集積回路及び制御方法
US9503645B2 (en) 2012-05-24 2016-11-22 Mediatek Inc. Preview system for concurrently displaying multiple preview images generated based on input image generated by image capture apparatus and related preview method thereof
JP2013251765A (ja) * 2012-05-31 2013-12-12 Toshiba Corp 映像処理装置及び映像処理方法
JP5684205B2 (ja) * 2012-08-29 2015-03-11 株式会社東芝 画像処理装置、画像処理方法、及びプログラム
TWI606418B (zh) * 2012-09-28 2017-11-21 輝達公司 圖形處理單元驅動程式產生內插的圖框之電腦系統及方法
FR2998437B1 (fr) * 2012-11-16 2018-09-21 Thales Procede et systeme de determination en temps reel de signaux a sommer parmi un ensemble de signaux recus
CN103167304B (zh) * 2013-03-07 2015-01-21 海信集团有限公司 立体视频帧率提升方法和装置
JP6150583B2 (ja) * 2013-03-27 2017-06-21 オリンパス株式会社 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
US9083850B1 (en) * 2013-06-29 2015-07-14 Securus Technologies, Inc. Video blurring in a secure environment
KR102021857B1 (ko) * 2013-07-23 2019-09-17 엘지전자 주식회사 이동 단말기 및 그의 파노라마 촬영방법
TWI528790B (zh) * 2013-12-13 2016-04-01 瑞昱半導體股份有限公司 多媒體系統之視窗偵測裝置與方法
KR20150069413A (ko) * 2013-12-13 2015-06-23 삼성디스플레이 주식회사 표시 장치 및 그 구동 방법
WO2015104969A1 (ja) 2014-01-09 2015-07-16 ソニー株式会社 映像信号処理装置、映像信号処理方法およびカメラ装置
KR102237132B1 (ko) 2014-07-23 2021-04-08 삼성디스플레이 주식회사 표시 장치 및 이의 구동 방법
CN105335780B (zh) * 2014-08-14 2018-11-09 夏志刚 数卡方法
EP3016383B1 (en) * 2014-11-03 2017-06-21 Axis AB Method, device, and system for pre-processing a video stream for subsequent motion detection processing
WO2016114684A1 (ru) * 2015-01-16 2016-07-21 федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики" (Университет ИТМО) Способ повышения резкости цифрового изображения
JP5846549B1 (ja) * 2015-02-06 2016-01-20 株式会社リコー 画像処理システム、画像処理方法、プログラム、撮像システム、画像生成装置、画像生成方法およびプログラム
US10359858B2 (en) * 2016-09-07 2019-07-23 Disney Enterprises, Inc. Systems and methods for simulating sounds of a virtual object using procedural audio
US10354394B2 (en) 2016-09-16 2019-07-16 Dolby Laboratories Licensing Corporation Dynamic adjustment of frame rate conversion settings
WO2018108933A1 (en) * 2016-12-13 2018-06-21 Koninklijke Philips N.V. A method and apparatus for modifying a contour comprising a sequence of points positioned on an image
US11012683B1 (en) 2017-09-28 2021-05-18 Alarm.Com Incorporated Dynamic calibration of surveillance devices
US10636173B1 (en) * 2017-09-28 2020-04-28 Alarm.Com Incorporated Dynamic calibration of surveillance devices
US10977809B2 (en) 2017-12-11 2021-04-13 Dolby Laboratories Licensing Corporation Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings
JP7354129B2 (ja) * 2018-02-28 2023-10-02 レール ビジョン リミテッド 光学センサの内蔵試験のためのシステムおよび方法
KR102558166B1 (ko) * 2018-08-08 2023-07-24 삼성전자주식회사 복수의 객체들을 포함하는 이미지를 보정하는 전자 장치 및 그 제어 방법
US11087721B2 (en) 2018-11-28 2021-08-10 Samsung Electronics Co., Ltd. Display driver, circuit sharing frame buffer, mobile device, and operating method thereof
WO2020235722A1 (ko) 2019-05-23 2020-11-26 엘지전자 주식회사 디스플레이 장치
KR20220113745A (ko) 2020-02-27 2022-08-16 엘지전자 주식회사 디스플레이 장치
US20230088882A1 (en) * 2021-09-22 2023-03-23 Samsung Electronics Co., Ltd. Judder detection for dynamic frame rate conversion
WO2023074669A1 (ja) * 2021-10-27 2023-05-04 キヤノン株式会社 撮像装置、画像処理装置、および方法
US11871146B1 (en) * 2022-08-16 2024-01-09 Novatek Microelectronics Corp. Video processor for handling irregular input
CN118430465B (zh) * 2024-07-03 2024-09-10 深圳市华海电子科技有限公司 一种面向智能显示屏的背光补偿方法、系统及显示屏

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0754966B2 (ja) * 1985-12-09 1995-06-07 株式会社日立製作所 輪郭補正回路
SU1425872A1 (ru) 1987-03-16 1988-09-23 Минский радиотехнический институт Устройство интерпол ции видеосигнала
JPH01215185A (ja) 1988-02-24 1989-08-29 Hitachi Ltd 輪郭補償回路
JPH03190473A (ja) 1989-12-20 1991-08-20 Nec Home Electron Ltd ビデオ信号処理装置
JPH03295437A (ja) * 1990-04-13 1991-12-26 Saginomiya Seisakusho Inc 車両振動試験方法
JPH0445671A (ja) 1990-06-12 1992-02-14 Sony Corp テレビジョン信号の輪郭強調回路
JP3295437B2 (ja) 1991-03-29 2002-06-24 日本放送協会 表示装置
JPH0522634A (ja) * 1991-07-16 1993-01-29 Matsushita Electric Ind Co Ltd 輪郭補正回路
JPH06205777A (ja) * 1993-01-12 1994-07-26 Hitachi Medical Corp 超音波診断装置
JPH06292054A (ja) * 1993-04-06 1994-10-18 Olympus Optical Co Ltd 水平アパーチャ補償回路を備えたビデオカメラ
EP0647919B1 (en) 1993-10-11 2000-02-02 THOMSON multimedia Method and apparatus for correcting motion vectors
JPH08279950A (ja) 1995-04-07 1996-10-22 Sony Corp ビデオカメラおよびビデオカメラ装置
JP3572595B2 (ja) * 1995-07-21 2004-10-06 ソニー株式会社 電子番組ガイド表示制御装置および方法
US5757432A (en) * 1995-12-18 1998-05-26 Intel Corporation Manipulating video and audio signals using a processor which supports SIMD instructions
US6037986A (en) * 1996-07-16 2000-03-14 Divicom Inc. Video preprocessing method and apparatus with selective filtering based on motion detection
JPH10108086A (ja) * 1996-09-30 1998-04-24 Hitachi Ltd テレビジョン受像機の画質改善回路
JP3572882B2 (ja) 1997-08-26 2004-10-06 松下電器産業株式会社 順次走査変換回路
JPH11122510A (ja) 1997-10-20 1999-04-30 Fujitsu General Ltd 映像信号の輪郭補正回路
JP2000101871A (ja) 1998-09-25 2000-04-07 Nippon Hoso Kyokai <Nhk> 輪郭強調処理回路
JP4159062B2 (ja) 1998-11-10 2008-10-01 キヤノン株式会社 画像処理装置
JP4281929B2 (ja) * 1998-11-18 2009-06-17 カシオ計算機株式会社 エッジ強調装置及びエッジ強調方法
JP2000224472A (ja) 1999-02-04 2000-08-11 Fuji Photo Film Co Ltd 撮像制御装置および撮像制御方法
JP2001128060A (ja) * 1999-10-26 2001-05-11 Nikon Corp 電子カメラ
JP2001086385A (ja) * 1999-09-14 2001-03-30 Nikon Corp 電子カメラ
JP2001333278A (ja) * 2000-05-19 2001-11-30 Victor Co Of Japan Ltd 画像処理装置
JP4649058B2 (ja) 2000-05-31 2011-03-09 パナソニック株式会社 放送されたコンテンツを受信し蓄積しておき、ユーザの要求に応じてコンテンツを利用可能状態にする受信端末装置
US7191402B2 (en) 2001-05-10 2007-03-13 Samsung Electronics Co., Ltd. Method and apparatus for adjusting contrast and sharpness for regions in a display device
JP4596214B2 (ja) 2001-06-15 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7336818B2 (en) 2001-06-15 2008-02-26 Sony Corporation Image processing device and method, and image-taking device
JP2003338972A (ja) * 2001-09-12 2003-11-28 Fuji Photo Film Co Ltd 画像処理システム、撮像装置、画像処理装置、画像処理方法及びプログラム
KR20040054758A (ko) * 2001-11-01 2004-06-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 이미지들의 향상된 공간 해상도
EP1471489A4 (en) * 2002-01-21 2009-04-22 Panasonic Corp DISPLAY DEVICE AND METHOD FOR CONTROLLING A DISPLAY DEVICE
JP4025865B2 (ja) * 2002-03-14 2007-12-26 コニカミノルタオプト株式会社 電子カメラ
JP4102973B2 (ja) 2002-04-24 2008-06-18 日本電気株式会社 動画像の符号化方法および復号化方法、これを用いた装置とプログラム
US6975359B2 (en) 2002-04-25 2005-12-13 Trident Microsystems, Inc. Method and system for motion and edge-adaptive signal frame rate up-conversion
US7643019B2 (en) * 2002-05-23 2010-01-05 Koninklijke Philips Electronics N.V. Edge dependent motion blur reduction
CN100531356C (zh) * 2002-05-24 2009-08-19 皇家飞利浦电子股份有限公司 用于锐度增强的单元和方法
JP4309622B2 (ja) 2002-07-09 2009-08-05 オリンパス株式会社 電子的撮像装置および顕微鏡用電子的撮像装置
JP2004080252A (ja) * 2002-08-14 2004-03-11 Toshiba Corp 映像表示装置及びその方法
EP1422928A3 (en) * 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals
KR100467625B1 (ko) 2003-02-03 2005-01-24 삼성전자주식회사 프레임 레이트 변환을 이용하는 영상 처리 장치 및 방법
JP2005051460A (ja) 2003-07-28 2005-02-24 Shibasoku:Kk ビデオ信号処理装置及びビデオ信号の処理方法
JP3901173B2 (ja) * 2004-06-07 2007-04-04 セイコーエプソン株式会社 画像処理装置、画像処理方法及び画像処理プログラム
KR20060048247A (ko) * 2004-07-12 2006-05-18 엘지전자 주식회사 처리장치 및 그 제어방법
JP5062968B2 (ja) * 2004-08-11 2012-10-31 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4674528B2 (ja) 2004-12-07 2011-04-20 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7515768B2 (en) * 2004-12-07 2009-04-07 Sony Corporation Method, and apparatus for processing image, recording medium and computer program
JP2006332904A (ja) 2005-05-24 2006-12-07 Sharp Corp 輪郭強調回路
JP4707457B2 (ja) 2005-05-25 2011-06-22 シャープ株式会社 映像処理装置及び映像処理システム
US7889233B2 (en) * 2005-08-26 2011-02-15 Nvidia Corporation Video image processing with remote diagnosis and programmable scripting
US20080285645A1 (en) * 2007-05-17 2008-11-20 Tandberg Television Asa Adaptive border processing
US8189105B2 (en) * 2007-10-17 2012-05-29 Entropic Communications, Inc. Systems and methods of motion and edge adaptive processing including motion compensation features

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102651122A (zh) * 2011-02-24 2012-08-29 索尼公司 图像增强装置和方法
CN104134198A (zh) * 2014-07-28 2014-11-05 厦门美图之家科技有限公司 一种对图像进行局部处理的方法

Also Published As

Publication number Publication date
US8319898B2 (en) 2012-11-27
CN101663886A (zh) 2010-03-03
CN101663885B (zh) 2013-06-19
EP2141910A4 (en) 2010-09-29
JP5260769B2 (ja) 2013-08-14
JP5014497B2 (ja) 2012-08-29
US8462266B2 (en) 2013-06-11
CN102394051A (zh) 2012-03-28
EP2144434A4 (en) 2010-10-06
JP4686594B2 (ja) 2011-05-25
JP2011120270A (ja) 2011-06-16
EP2141910B1 (en) 2015-10-14
JP2009071873A (ja) 2009-04-02
WO2008136286A1 (ja) 2008-11-13
US20100091185A1 (en) 2010-04-15
BRPI0809149A2 (pt) 2014-09-16
EP2141910A1 (en) 2010-01-06
JP4139430B1 (ja) 2008-08-27
RU2009135233A (ru) 2011-04-10
JP2008295023A (ja) 2008-12-04
EP2144434A1 (en) 2010-01-13
RU2419243C1 (ru) 2011-05-20
CN101663886B (zh) 2014-07-30
JP2008295022A (ja) 2008-12-04
JP2012231471A (ja) 2012-11-22
CN102394051B (zh) 2014-05-21
US20100110300A1 (en) 2010-05-06

Similar Documents

Publication Publication Date Title
CN101663885B (zh) 图像处理装置及方法、图像显示装置及方法
US8358373B2 (en) Image displaying device and method, and image processing device and method
JP4181592B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
US8446526B2 (en) Image displaying device and method, and image processing device and method
US8325272B2 (en) Image displaying device and method and image processing device and method for preventing image deterioration due to motion-compensated rate conversion processing
EP1990997A1 (en) Image display device and method, and image processing device and method
EP2439944A1 (en) Image displaying device
WO2008038419A1 (fr) Périphérique et procédé d&#39;affichage et de traitement d&#39;image
JP2009055340A (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4181614B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
CN101536506A (zh) 图像显示装置及方法、图像处理装置及方法
JP4369971B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4369967B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4181610B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP2008079286A (ja) 画像表示装置及び方法、画像処理装置及び方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130619

Termination date: 20200418