JP2005043864A - 画像処理装置および方法、並びにプログラム - Google Patents

画像処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP2005043864A
JP2005043864A JP2004133189A JP2004133189A JP2005043864A JP 2005043864 A JP2005043864 A JP 2005043864A JP 2004133189 A JP2004133189 A JP 2004133189A JP 2004133189 A JP2004133189 A JP 2004133189A JP 2005043864 A JP2005043864 A JP 2005043864A
Authority
JP
Japan
Prior art keywords
pixel
image processing
image data
result
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004133189A
Other languages
English (en)
Other versions
JP4817000B2 (ja
Inventor
Toru Nishi
亨 西
Kazuhiko Ueda
和彦 上田
Mitsuyasu Asano
光康 浅野
Kazuki Yokoyama
一樹 横山
Tetsuji Inada
哲治 稲田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004133189A priority Critical patent/JP4817000B2/ja
Priority to US10/884,063 priority patent/US7750897B2/en
Priority to EP20040253988 priority patent/EP1494169B1/en
Priority to DE200460027684 priority patent/DE602004027684D1/de
Priority to KR20040051430A priority patent/KR101064463B1/ko
Priority to CNB2004100899377A priority patent/CN100345439C/zh
Publication of JP2005043864A publication Critical patent/JP2005043864A/ja
Priority to KR1020110059420A priority patent/KR20110089111A/ko
Application granted granted Critical
Publication of JP4817000B2 publication Critical patent/JP4817000B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611Control of matrices with row and column drivers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0252Improving the response speed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/10Special adaptations of display systems for operation with variable images
    • G09G2320/106Determination of movement vectors or equivalent parameters within the image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/16Determination of a pixel data signal depending on the signal applied in the previous frame

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Image Analysis (AREA)
  • Liquid Crystal (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

【課題】液晶型表示装置等のホールド型表示装置における、動画像の動きボケを抑制することができるようにする。
【解決手段】 ステップエッジ検出部31は、入力されたフレーム又はフィールドの画像データの中から、動きのあるステップエッジのエッジ部分を検出する。補正部32は、ステップエッジ検出部31により検出されたステップエッジのエッジ部分に対応する画素に対して、その画素値を、動き検出部24より供給された、その画素に対応するステップエッジの空間的な移動量に基づいて補正する。本発明は、液晶型表示装置等のホールド型表示装置の表示を制御する画像処理装置に適用可能である。
【選択図】図7

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、液晶型表示装置等のホールド型表示装置における、動画像の動きボケを抑制することができるようにした画像処理装置および方法、並びにプログラムに関する。
従来、動画像の表示装置として、CRT(Cathode Ray Tub)が普及しているが、近年、CRTとは異なる表示方式を採用した、液晶型表示装置も普及してきている(例えば、特許文献1参照)。
CRTは、動画像を構成する複数のフレーム又はフィールドのうちの所定の1つの表示が指示されると、内蔵する電子銃を、CRTの画面を構成する複数の水平ライン(走査線)のそれぞれに沿って順次走査させることで、指示されたフレーム又はフィールドを画面に表示させる。
従って、指示されたフレーム又はフィールドを構成する複数の画素のそれぞれに注目すると、複数の画素のそれぞれは、時間方向において、インパルス状に表示される(電子銃が走査して来て、対応する位置に来た瞬間のみ表示される)ことになる。なお、以下、このようなCRTと同様の表示方式を採用する表示装置を総称して、インパルス型表示装置と称する。
これに対して、液晶型表示装置は、動画像を構成する複数のフレーム又はフィールドのうちの所定の1つの表示が指示されてから、次のフレーム又はフィールドの表示が指示されるまで、その画面を構成する全ての液晶の表示を保持させることで、指示されたフレーム又はフィールドを画面に表示させる。
詳細には、例えば、1つの液晶に、1つの画素が対応付けられているとする。この場合、フレーム又はフィールドの表示の指示として、そのフレーム又はフィールドを構成する各画素の画素値のそれぞれが液晶型表示装置に指示されると、液晶型表示装置は、その画面を構成する各液晶(各画素のそれぞれに対応する各液晶)のそれぞれに対して、指示された画素値に対応するレベルの電圧を印加する。すると、各液晶のそれぞれは、印加された電圧レベルに対応するレベルの光を出力する。その後、少なくとも次のフレーム又はフィールドの表示が指示されるまでの間、各液晶のそれぞれには、同一レベルの電圧が印加され続けるので、各液晶のそれぞれは、一定レベルの光を出力し続ける。即ち、各液晶のそれぞれには、指示された画素値を有する画素が表示され続ける。
その後、次のフレーム又はフィールドの表示が指示されて、所定の画素の画素値の変更が必要となった場合、その画素に対応する液晶には、変更された画素値に対応するレベルの電圧が印加されるので(印加される電圧のレベルが変化するので)、その液晶の出力レベル(光のレベル)も変化することになる。
このように、液晶型表示装置は、CRT等のインパルス型表示装置とは異なる表示方式を採用しているので、インパルス型表示装置に比較して、設置スペースが少なくて済む、消費電力が少ない、および、歪みが生じにくいといった特長を有している。
特願2001−118396号公報
しかしながら、液晶型表示装置は、動画像を表示する場合、インパルス型表示装置に比較して、動きボケが発生する頻度が多いという課題がある。
従来、この課題の発生、即ち、液晶型表示装置における動きボケの発生は、液晶の応答速度の遅さが原因であると考えられていた。即ち、液晶型表示装置では、各液晶のそれぞれの出力レベルが、指示された目標レベル(例えば、1つの液晶に1つの画素が対応付けられている場合、指示された画素値に対応するレベル)に到達するまでに時間がかかるため、動きボケが発生してしまうと考えられていた。
そこで、この課題を解決するために、即ち、液晶型表示装置における動きボケの発生を抑制するために、特許文献1には、次のような手法が開示されている。即ち、特許文献1に開示されている手法とは、各液晶(各画素)のそれぞれに対して、目標レベル(例えば、1つの液晶に1つの画素が対応付けられている場合、指示された画素値に対応するレベル)よりも高いレベルの電圧を印加する手法(以下、オーバドライブ方式と称する)である。換言すると、オーバドライブ方式は、目標レベルとして、いままでのレベルよりも高いレベルを設定する手法、即ち、目標レベルを補正する手法である。
図1は、このようなオーバドライブ方式の原理を説明する図である。即ち、図1には、オーバドライブ方式が適用された場合と適用されない場合(通常の場合)のそれぞれにおける、液晶の出力レベルの時間応答の波形が示されている。
図1において、図中水平方向の軸は時間軸を表しており、図中垂直方向の軸は液晶の出力レベル(光のレベル)を表している。曲線1は、オーバドライブ方式が適用されない場合(通常の場合)における、液晶の出力レベルの時間応答の波形を表している。曲線2は、オーバドライブ方式が適用された場合における、液晶の出力レベルの時間応答の波形を表している。また、Tは、1フレーム又はフィールドの表示時間、即ち、所定のフレーム又はフィールドの表示が指示されてから、次のフレーム又はフィールドの表示が指示されるまでの時間を表している。以下、このような時間Tを、フレーム又はフィールド時間Tと称する。液晶型表示装置においては、フレーム又はフィールド時間Tは一般的に16.6msとされている。
例えば、図1に示されるように、時刻0の直前においては、液晶型表示装置の画面を構成する各液晶のうちの、注目される液晶(以下、注目液晶と称する)の出力レベルがレベルYbとされ、また、時刻0に所定のフレーム又はフィールドの表示が指示されたところ、その指示においては、注目液晶の指示レベル(目標レベル)がレベルYeとされていたとする。
この場合、オーバドライブ方式が適用されていない、通常の液晶型表示装置は、略時刻0に、注目液晶に対して、目標レベルYeに対応するレベルの電圧を印加することになる。仮に、注目液晶が、理想的な液晶であれば(応答速度が無限大であれば)、目標レベルYeに対応するレベルの電圧が印加されると即座に(同時に)、その出力レベルは、レベルYbから目標レベルYeに変化するはずである。しかしながら、実際には、曲線1に示されるように、注目液晶の出力レベルは、レベルYbから目標レベルYeに徐々に変化していく。即ち、注目液晶の出力レベルの応答波形(曲線1の波形)は、遅れ要素の波形となる。
具体的には、図1の例(曲線1)では、時刻0からフレーム又はフィールド時間Tだけ経過した時刻t1になっても(即ち、次のフレーム又はフィールドの表示が指示されても)、注目液晶の出力レベルは、目標レベルYeよりも低いレベルYt1までしか到達していない。
この状態で、例えば、時刻t1に次のフレーム又はフィールドの表示が指示されたところ、その指示においても、注目液晶の指示レベル(目標レベル)がレベルYeとされていたとする。
この場合、図1の例(曲線1)では、注目液晶の出力レベルは、レベルYt1から目標レベルYeに徐々に変化していくが、時刻t1からフレーム又はフィールド時間Tだけ経過した時刻t2になっても(即ち、さらに次のフレーム又はフィールドの表示が指示されても)、注目液晶の出力レベルは、目標レベルYeよりも低いレベルYt2までしか到達していない。
そこで、オーバドライブ方式においては、フレーム又はフィールドの表示が指示されてから(図1の例では、時刻0から)、次のフレーム又はフィールドの表示が指示されるまでに(図1の例では、時刻t1までに)、注目液晶の出力レベルが、目標レベルYeに到達するように、注目液晶に対して、目標レベルYeに対応するレベルよりも大きいレベル(図1の例では、レベルYlckに対応するレベル)の電圧が印加される。
これにより、曲線2に示されるように、時刻0からフレーム又はフィールド時間Tだけ経過した時刻t1になると、注目液晶の出力レベルは、目標レベルYeまで到達することになる。
換言すると、図1の例では、オーバドライブ方式が採用されると、略時刻0の時点で、目標レベルが、レベルYeからそれよりも高いレベルYlckに補正され、補正された目標レベルYlckに対応するレベルの電圧が、注目液晶に印加される。これにより、結果として、その電圧が印加されてからフレーム又はフィールド時間Tだけ経過すると、即ち、時刻t1になると、注目液晶の出力レベルが、補正前の目標レベルYe(即ち、実際に望まれているレベルYe)に到達するのである。
そして、いまの場合、時刻t1に次のフレーム又はフィールドの表示が指示されたところ、その指示においても、注目液晶の指示レベル(目標レベル)がレベルYeとされ、かつ、時刻t1の時点の注目液晶の出力レベルが、レベルYeに到達しているので、今度は、目標レベルは、レベルYeのまま補正されず、目標レベルYeに対応するレベルの電圧が、注目液晶に印加される。これにより、時刻t1から時刻t2の間、注目液晶の出力レベルは、目標レベルYeを保ち続けることになる。
図2は、図1に対応する図であって、オーバドライブ方式が採用された場合と採用されない場合(通常の場合)のそれぞれにおける、液晶の出力レベル(光のレベル)の時間推移を視覚的に示す図である。
図2において、図中、左側の垂直下向き方向の軸は、図1の時間軸と対応する時間軸を表している。時間軸の右隣には、オーバドライブ方式が採用されない場合(通常の場合)における、液晶の出力レベルの時間推移(図1の曲線1の推移)が示されている。さらに、その右隣には、オーバドライブ方式が採用された場合における、液晶の出力レベルの時間推移(図1の曲線2の推移)が示されている。なお、図2においては、グレー階調の濃淡により、液晶の出力レベルが示されている。即ち、一番濃い階調のグレーは、図1におけるレベルYbを表しており、一番薄い階調のグレーは、図1におけるレベルYeを表している。
しかしながら、このようなオーバドライブ方式を適用しても、動きボケの発生を依然として抑制することができない状況である。換言すると、現状、液晶型表示装置における、動画像の動きボケを抑制させる手法として、効果的な手法がいまだ存在せず、上述した課題を解決することができない状況である。
以上、液晶型表示装置が有する課題として説明したが、このような課題は、液晶型表示装置のみならず、目標レベルが指示されてから、出力レベルがその目標レベルに到達するまでに、所定の時間を要する表示素子を複数個有し、複数の表示素子のそれぞれが、フレーム又はフィールドを構成する画素のうちの所定の1つの少なくとも一部分に対応付けられている表示装置全体が有する課題である。
なお、このような表示装置においては、所定のフレーム又はフィールドの表示が指示されてから、所定の時間(例えば、次のフレーム又はフィールドの表示が指示されるまでの時間)の間、画面を構成する各表示素子のうちの少なくとも一部の表示をホールドさせる表示方式が採用されていることが多い。なお、以下、液晶型表示装置等、このような表示方式を採用する表示装置をまとめて、ホールド型表示装置と称する。また、ホールド型表示装置の画面を構成する各表示素子(液晶型表示装置の場合、液晶)のそれぞれの表示の形態を、ホールド表示と称する。即ち、上述した課題は、ホールド型表示装置が有する課題であるとも言える。
本発明は、このような状況に鑑みてなされたものであり、液晶型表示装置等のホールド型表示装置における、動画像の動きボケを抑制させることができるようにするものである。
本発明の第1の画像処理装置は、入力された画像データと、それより1つ前の参照画像データとに基づいて動きを検出する動き検出手段と、動き検出手段の結果に基づいて画像データにおける画素値を処理する画像処理手段と、画像処理手段の結果を表示する表示手段とを備える画像処理装置であって、画像処理手段は、動き検出手段の結果に応じてエッジ部分を検出するステップエッジ検出手段と、ステップエッジ検出手段の結果を補正する補正手段とを有することを特徴とする。
動き検出手段は、画像データの動きのあるオブジェクトと、参照画像の動きのあるオブジェクトとを比較することにより動きを検出するようにすることができる。
補正手段は、ステップエッジ検出手段により検出されたエッジ部分におけるエッジの高さを、動き検出手段により検出された動きに応じて可変させる補正を行うようにすることができる。
補正手段は、さらに、ステップエッジ検出手段により検出されたステップエッジのエッジ部分におけるエッジの高さを、表示手段の表示特性に応じて可変させる補正を行うようにすることができる。
本発明の第1の画像処理方法は、入力された画像データと、それより1つ前の参照画像データとにより動きを検出する動き検出ステップと、前記動き検出ステップの処理の結果より、画像データのうちの少なくとも一部分の画素値を処理する画像処理ステップと、画像処理ステップの処理の結果を表示する表示ステップとを含む画像処理方法であって、画像処理ステップは、動き検出ステップの処理の結果に応じて、画像データにおけるエッジ部分を検出するステップエッジ検出ステップと、ステップエッジ検出ステップの結果を補正する補正ステップとを含むことを特徴とする。
本発明の第1のプログラムは、入力された画像データと、それより1つ前の参照画像データとにより動きを検出する動き検出ステップと、画像データと前記動き検出ステップの処理の結果より、画像データのうちの少なくとも一部分の画素値を処理する画像処理ステップと、画像処理ステップの処理の結果を表示する表示ステップとをコンピュータに実行させるプログラムであって、画像処理ステップは、動き検出ステップの処理の結果に応じて、画像データにおけるエッジ部分を検出するステップエッジ検出ステップと、ステップエッジ検出ステップの結果を補正する補正ステップとを含むことを特徴とする。
本発明の第1の画像処理装置および方法、並びに、第1のプログラムにおいては、入力された画像データと、それより1つ前の参照画像データとにより動きが検出され、その結果より、画像データのうちの少なくとも一部分の画素値に処理が施され、その処理の結果が表示される。詳細には、動き検出の結果に応じて、画像データにおけるエッジ部分が検出され、その結果が補正される。
本発明の第2の画像処理装置は、目標レベルが指示されてから、出力レベルがその目標のレベルに到達するまでに、所定の時間を要する表示素子を複数個有し、複数の表示素子のそれぞれが、アクセスユニットを構成する画素のうちの所定の1つの少なくとも一部分に対応付けられた表示装置に対して、動画像を構成する複数のアクセスユニットのそれぞれの表示を指示する画像処理装置であり、第1のアクセスユニットの中から、空間的な配置位置が、第1のアクセスユニットより前の第2のアクセスユニットにおける空間的な配置位置から移動したオブジェクトを検出し、そのオブジェクトの空間的な移動量を検出する移動検出手段と、移動検出手段により検出されたオブジェクトのエッジ部分を検出するエッジ検出手段と、第1のアクセスユニットを構成する複数の画素のうちの、エッジ検出手段により検出されたオブジェクトのエッジ部分に対応する画素に対して、その画素値を、移動検出手段により検出されたオブジェクトの空間的な移動量に基づいて補正する補正手段と、補正手段により補正された画素値を含む、第1のアクセスユニットを構成する複数の画素の画素値のそれぞれを、対応付けられた前記検出素子のそれぞれの前記目標レベルとして、表示装置に対して指示することで、第1のアクセスユニットの表示を指示する表示指示手段とを備えることを特徴とする。
オブジェクトは、その移動方向に対して、第1の画素値を有する複数の画素が連続して並ぶ第1の画素群と、第1の画素値とは異なる第2の画素値を有する複数の画素が連続して並ぶ第2の画素群とが、連続して並んで構成され、エッジ検出手段は、第1の画素群を構成する複数の画素のうちの、第2の画素群に隣接する画素を、オブジェクトのエッジ部分に対応する画素として検出するようにすることができる。
エッジ検出手段は、さらに、オブジェクトのエッジ部分に対応する画素として検出された第1の画素の第1の画素値と、オブジェクトの移動方向に第1の画素と隣接する第2の画素の第2の画素値との差分値をさらに演算し、補正手段は、エッジ検出手段により検出された第1の画素について、移動検出手段により検出された移動量に応じて第1のゲインを決定し、決定された第1のゲインと、エッジ検出手段により検出された差分値との積を補正値として決定し、決定された補正値を第1の画素の画素値に加算した値を、第1の画素の補正された画素値として決定するようにすることができる。
補正手段は、さらに、第1の画素について、表示装置の第1の画素に対応する表示素子の時間応答の特性に応じて第2のゲインを決定し、第1のゲイン、決定された第2のゲイン、および、差分値の積を補正値として決定するようにうすることができる。
補正手段は、さらに、第1の画素を起点としてオブジェクトの移動方向とは逆方向に連続して並ぶ画素のうちの、第1の画素を含む2以上の画素を、補正の対象となる対象画素として設定し、補正値を、設定された2以上の対象画素の補正値のそれぞれとして分配し、2以上の対象画素のそれぞれについて、対応する画素値に対して、分配された補正値を加算した値を、対応する対象画素の補正された画素値としてそれぞれ決定するようにすることができる。
本発明の第2の画像処理方法は、目標レベルが指示されてから、出力レベルがその目標レベルに到達するまでに、所定の時間を要する表示素子を複数個有し、複数の表示素子のそれぞれが、アクセスユニットを構成する画素のうちの所定の1つの少なくとも一部分に対応付けられた表示装置に対して、動画像を構成する複数のアクセスユニットのそれぞれの表示を指示する画像処理方法であり、第1のアクセスユニットの中から、空間的な配置位置が、第1のアクセスユニットより前の第2のアクセスユニットにおける空間的な配置位置から移動したオブジェクトを検出し、そのオブジェクトの空間的な移動量を検出する移動検出ステップと、移動検出ステップの処理により検出されたオブジェクトのエッジ部分を検出するエッジ検出ステップと、第1のアクセスユニットを構成する複数の画素のうちの、エッジ検出ステップの処理により検出されたオブジェクトのエッジ部分に対応する画素に対して、その画素値を、移動検出ステップの処理により検出されたオブジェクトの空間的な移動量に基づいて補正する補正ステップと、補正ステップの処理により補正された画素値を含む、第1のアクセスユニットを構成する複数の画素の画素値のそれぞれを、対応付けられた前記検出素子のそれぞれの前記目標レベルとして、表示装置に対して指示することで、第1のアクセスユニットの表示を指示する表示指示ステップとを含むことを特徴とする。
本発明の第2のプログラムは、目標レベルが指示されてから、出力レベルがその目標のレベルに到達するまでに、所定の時間を要する表示素子を複数個有し、複数の前記表示素子のそれぞれが、アクセスユニットを構成する画素のうちの所定の1つの少なくとも一部分に対応付けられている表示装置に対して、動画像を構成する複数のアクセスユニットのそれぞれの表示を指示する処理をコンピュータに実行させるプログラムであり、第1のアクセスユニットの中から、空間的な配置位置が、第1のアクセスユニットより前の第2のアクセスユニットにおける空間的な配置位置から移動したオブジェクトを検出し、そのオブジェクトの空間的な移動量を検出する移動検出ステップと、移動検出ステップの処理により検出されたオブジェクトのエッジ部分を検出するエッジ検出ステップと、第1のアクセスユニットを構成する複数の画素のうちの、エッジ検出ステップの処理により検出されたオブジェクトのエッジ部分に対応する画素に対して、その画素値を、移動検出ステップの処理により検出されたオブジェクトの空間的な移動量に基づいて補正する補正ステップと、補正ステップの処理により補正された画素値を含む、第1のアクセスユニットを構成する複数の画素の画素値のそれぞれを、対応付けられた前記検出素子のそれぞれの前記目標レベルとして、表示装置に対して指示することで、第1のアクセスユニットの表示を指示する表示指示ステップとを含むことを特徴とする。
本発明の第2の画像処理装置および方法、並びに、第2のプログラムにおいては、目標レベルが指示されてから、出力レベルがその目標レベルに到達するまでに、所定の時間を要する表示素子を複数個有し、複数の表示素子のそれぞれが、アクセスユニットを構成する画素のうちの所定の1つの少なくとも一部分に対応付けられている表示装置に対して、動画像を構成する複数のアクセスユニットのそれぞれの表示が指示される。詳細には、第1のアクセスユニットの中から、空間的な配置位置が、第1のアクセスユニットより前の第2のアクセスユニットにおける空間的な配置位置から移動したオブジェクトが検出され、そのオブジェクトの空間的な移動量と、そのオブジェクトのエッジ部分が検出され、第1のアクセスユニットを構成する複数の画素のうちの、検出されたオブジェクトのエッジ部分に対応する画素に対して、その画素値が、検出されたオブジェクトの空間的な移動量に基づいて補正される。そして、補正された画素値を含む、第1のアクセスユニットを構成する複数の画素の画素値のそれぞれが、対応付けられた検出素子のそれぞれの目標レベルとして、表示装置に対して指示されることで、第1のアクセスユニットの表示が指示される。
本発明の第3の画像処理装置は、入力された画像データと、それより1つ前の参照画像データにより動きを検出する動き検出手段と、動き検出手段の結果に基づいて画像データに所定の第1の処理を施す第1の画像処理手段と、動き検出手段の結果に基づいて画像データに、第1の処理以外の第2の処理を施す第2の画像処理手段と、動き検出手段の結果に基づいて第1の画像処理手段および第2の画像処理手段の結果のうちの少なくとも一方の結果を表示する表示手段とを備えることを特徴とする。
動き検出手段は、画像データの動きのあるオブジェクトと参照画像の動きのあるオブジェクトとを比較することにより動きを検出するようにすることができる。
第2の画像処理手段は、動き検出手段の結果に応じてエッジ部分を検出するステップエッジ検出手段と、ステップエッジ検出手段の結果を補正する補正手段とを有するようにすることができる。
表示手段は、動き検出手段の結果に基づいて第1の画像処理手段の結果および第2の画像処理手段の結果のうちのいずれか一方に切り換える切替手段と、切替手段により切り替えられた方の結果を、各画素に対応した表示素子の目標レベルに応じて所定の形式の信号に変換する表示制御手段と、表示素子の全てに対して、表示制御手段の結果を保持させるホールド手段とを有するようにすることができる。
補正手段は、ステップエッジ検出手段により検出されたエッジ部分におけるエッジの高さを、動き検出手段により検出された動きに応じて可変させる補正を行うようにすることができる。
補正手段は、さらに、ステップエッジ検出手段により検出されたエッジ部分におけるエッジの高さを、表示手段の表示特性に応じて可変させる補正を行うようにすることができる。
本発明の第3の画像処理方法は、入力された画像データと、それより1つ前の参照画像データにより動きを検出する動き検出ステップと、動き検出ステップの結果に基づいて画像データに所定の第1の処理を施す第1の画像処理ステップと、動き検出ステップの結果に基づいて画像データに、第1の処理以外の第2の処理を施す第2の画像処理ステップと、動き検出ステップの結果に基づいて第1の画像処理ステップの処理の結果および第2の画像処理ステップの処理の結果のうちの少なくとも一方の結果を表示する表示ステップとを含むことを特徴とする。
本発明の第3のプログラムは、入力された画像データと、それより1つ前の参照画像データにより動きを検出する動き検出ステップと、動き検出ステップの結果に基づいて画像データに所定の第1の処理を施す第1の画像処理ステップと、動き検出ステップの結果に基づいて画像データに、第1の処理以外の第2の処理を施す第2の画像処理ステップと、動き検出ステップの結果に基づいて第1の画像処理ステップの処理の結果および第2の画像処理ステップの処理の結果のうちの少なくとも一方の結果を表示する表示ステップとをコンピュータに実行させることを特徴とする。
本発明の第3の画像処理装置および方法、並びに、第3のプログラムにおいては、入力された画像データと、それより1つ前の参照画像データにより動きが検出され、その結果に基づいて画像データに、所定の第1の処理が施されるとともに、第1の処理以外の第2の処理が施され、動き検出の結果に基づいて第1の画像処理の結果および第2の画像処理の結果のうちの少なくとも一方の結果が表示される。
本発明の第4の画像処理装置は、入力された画像データと、それより1つ前の参照画像データとに基づいて動きを検出する動き検出手段と、動き検出手段の結果に基づいて画像データにおける画素値を処理する画像処理手段と、所定の表示装置が画像処理手段の結果を表示することを制御する表示制御手段とを備える画像処理装置であって、画像処理手段は、画像データのうちの所定の方向に連続して配置される2つの画素のそれぞれに対応する2つの画素値からなるブロックに対して、動き検出手段の結果を利用する非対称ハイパスフィルタ処理を施すことで、ブロックに含まれる2つの画素値のうちの一方の画素値を補正する補正手段を有することを特徴とする。
本発明の第4の画像処理方法は、入力された画像データと、それより1つ前の参照画像データとに基づいて動きを検出する動き検出ステップと、動き検出ステップの処理結果に基づいて画像データにおける画素値を処理する画像処理ステップと、所定の表示装置が画像処理ステップの処理結果を表示することを制御する表示制御ステップとを含み、画像処理ステップは、画像データのうちの所定の方向に連続して配置される2つの画素のそれぞれに対応する2つの画素値からなるブロックに対して、動き検出ステップの処理結果を利用する非対称ハイパスフィルタ処理を施すことで、ブロックに含まれる2つの画素値のうちの一方の画素値を補正する補正ステップを含むことを特徴とする。
本発明の第4のプログラムは、入力された画像データと、それより1つ前の参照画像データとに基づいて動きを検出する動き検出ステップと、動き検出ステップの処理結果に基づいて画像データにおける画素値を処理する画像処理ステップと、所定の表示装置が画像処理ステップの処理結果を表示することを制御する表示制御ステップとを含み、画像処理ステップは、画像データのうちの所定の方向に連続して配置される2つの画素のそれぞれに対応する2つの画素値からなるブロックに対して、動き検出ステップの処理結果を利用する非対称ハイパスフィルタ処理を施すことで、ブロックに含まれる2つの画素値のうちの一方の画素値を補正する補正ステップを含むことを特徴とする。
本発明の第4の画像処理装置および方法、並びに、第4のプログラムにおいては、入力された画像データと、それより1つ前の参照画像データとに基づいて動きが検出され、その動きに基づいて画像データにおける画素値が処理され、所定の表示装置に、画素値が処理された画像が表示される。詳細には、画素値の処理には、画像データのうちの所定の方向に連続して配置される2つの画素のそれぞれに対応する2つの画素値からなるブロックに対して、検出された動きを利用する非対称ハイパスフィルタ処理が施されて、ブロックに含まれる2つの画素値のうちの一方の画素値が補正される処理が少なくとも含まれる。
なお、本発明の画像処理装置は、表示装置とは独立した装置であってもよいし、表示装置を構成要素として含む装置内の1構成要素であってもよい。或いは、本発明の画像処理装置は、表示装置自身に内蔵されてもよい。
また、本発明は、勿論、本発明のプログラムを記録する記録媒体にも適用可能である。
以上のごとく、本発明によれば、液晶型表示装置等のホールド型表示装置の表示を制御することができる。特に、本発明によれば、液晶型表示装置等のホールド型表示装置における、動画像の動きボケを抑制することができる。
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
本発明によれば、第1の画像処理装置が提供される。この第1の画像処理装置は、入力された画像データ(例えば、図7の画像処理装置11にいま入力された画像データ)と、それより1つ前の参照画像データ(例えば、図7の参照画像記憶部23より出力される画像データ)とに基づいて動きを検出する動き検出手段(例えば、図7の動き検出部24)と、前記動き検出手段の結果に基づいて前記画像データにおける画素値を処理する画像処理手段(例えば、図7の画像処理部22)と、前記画像処理手段の結果を表示する表示手段(例えば、図7のホールド型表示装置12)とを備える画像処理装置おいて、前記画像処理手段は、前記動き検出手段の結果に応じてエッジ部分を検出するステップエッジ検出手段(例えば、図7のステップエッジ検出部31)と、前記ステップエッジ検出手段の結果を補正する補正手段(例えば、図7の補正部32)とを有することを特徴とする。
本発明によれば、第2の画像処理装置が提供される。この第2の画像処理装置は、目標レベル(例えば、図1のレベルYe)が指示されてから、出力レベルがその目標レベルに到達するまでに、所定の時間(例えば、図1の例では、1つのフレーム又はフィールドを表示させる時間(フレーム又はフィールド時間)Tの2倍以上の時間)を要する表示素子(例えば、応答波形が、図1の曲線1のようになる表示素子)を複数個有し、複数の前記表示素子のそれぞれが、アクセスユニットを構成する画素のうちの所定の1つの少なくとも一部分に対応付けられている表示装置(例えば、図7のホールド型表示装置12)に対して、動画像を構成する複数の前記アクセスユニットのそれぞれの表示を指示する画像処理装置(例えば、図7の画像処理装置11)であって、前記第1のアクセスユニットの中から、空間的な配置位置が、前記第1のアクセスユニットより前の第2のアクセスユニットにおける空間的な配置位置から移動したオブジェクト(例えば、図3から図4に示されるように移動するステップエッジ)を検出し、そのオブジェクトの空間的な移動量を検出する移動検出手段(例えば、図7の動き検出部24)と、前記移動検出手段により検出された前記オブジェクトのエッジ部分を検出するエッジ検出手段(例えば、図7の画像処理部22のステップエッジ検出部31、または、図23の画像処理部22の差分値演算部81)と、前記第1のアクセスユニットを構成する複数の前記画素のうちの、前記エッジ検出手段により検出された前記オブジェクトの前記エッジ部分に対応する画素(例えば、図4や図12のステップエッジのエッジ部分に対応する画素n+4、または図13の画素n+5)に対して、その画素値を、前記移動検出手段により検出された前記オブジェクトの前記空間的な移動量に基づいて補正する(例えば、図11乃至図13に示されるように補正する)補正手段(例えば、図7の補正部32、または、図23の差分値依存ゲインGe決定82乃至加算部87)と、前記補正手段により補正された前記画素値を含む、前記第1のアクセスユニットを構成する複数の前記画素の画素値のそれぞれを、対応付けられた前記検出素子のそれぞれの前記目標レベルとして、前記表示装置に対して指示することで、前記第1のアクセスユニットの表示を指示する表示指示手段(例えば、図7の表示制御部26)とを備えることを特徴とする。
この第2の画像処理装置においては、前記オブジェクトは、その移動方向(例えば、図4の矢印で示される方向(空間方向X))に対して、第1の画素値(例えば、図4の画素値E)を有する画素(例えば、図4の画素n-8乃至画素n+4)が連続して並び、所定の画素(例えば、図4の画素n+4)を境に、第1の画素値とは異なる第2の画素値(例えば、図4の画素値B)を有する画素(例えば、図4の画素n+5から図中右側の画素)が連続して並んで形成され、前記エッジ検出手段は、前記第2の画素値を有する前記画素との境に位置する、前記第1の画素値を有する前記画素(例えば、図4の画素n+4)を、前記オブジェクトの前記エッジ部分に対応する画素として検出することを特徴とする。
この第2の画像処理装置においては、前記エッジ検出手段は、さらに、前記オブジェクトの前記エッジ部分に対応する画素として検出された第1の画素の前記第1の画素値と、前記オブジェクトの前記移動方向に前記第1の画素と隣接する第2の画素の前記第2の画素値との差分値をさらに演算し、前記補正手段は、前記エッジ検出手段により検出された前記第1の画素について、前記移動検出手段により検出された前記移動量に応じて第1のゲイン(例えば、図17の移動速度依存ゲインGv)を決定し、決定された前記第1のゲインと、前記エッジ検出手段により検出された前記差分値との積を補正値として決定し(例えば、図23の補正値決定部86が後述する補正値R=Gv×(Nr-Nrn)を決定し)、決定された前記補正値を前記第1の画素の前記画素値に加算した値を、前記第1の画素の補正された画素値として決定する(例えば、図23の加算部87が、補正値Rと注目画素の画素値Nrとの加算値Nr+Rを出力する)ことを特徴とする。
この第2の画像処理装置においては、前記補正手段は、さらに、前記第1の画素について、前記表示装置の前記第1の画素に対応する前記表示素子の時間応答の特性に応じて第2のゲインを決定し(例えば、図23の差分値依存ゲインGe決定部82が図22の差分値依存ゲインGeを決定するとともに、目標レベル依存ゲインGl決定部84が図20の目標レベル依存ゲインGlを決定し)、前記第1のゲイン、決定された前記第2のゲイン、および、前記差分値の積を前記補正値として決定する(乗算部83と乗算部85で、Ge×Gl×(Nr-Nrn)を演算し、さらに、補正値決定部86で、Gv×Ge×Gl×(Nr-Nrn)を演算し、それを補正値Rとして決定する)ことを特徴とする。
前記補正手段は、さらに、前記第1の画素を起点として前記オブジェクトの前記移動方向とは逆方向に連続して並ぶ画素のうちの、前記第1の画素を含む2以上の画素を、補正の対象となる対象画素として設定し(例えば、図25の画素n+4と画素n+3を対象画素として設定し)、前記補正値を、設定された2以上の前記対象画素の補正値のそれぞれとして分配し(例えば、図25に示されるように、補正値Rを2:1の比率で分配し)、2以上の前記対象画素のそれぞれについて、対応する画素値に対して、分配された前記補正値を加算した値を、対応する前記対象画素の補正された画素値としてそれぞれ決定する(例えば、図25に示されるように、画素n+4の補正値は2/3Rとして決定し、画素n+3の補正値R/3として決定する)ことを特徴とす。
本発明によれば、第3の画像処理装置が提供される。この第3の画像処理装置は、入力された画像データ(例えば、図7の画像処理装置11にいま入力された画像データ)と、それより1つ前の参照画像データ(例えば、図7の参照画像記憶部23より出力された画像データ)により動きを検出する動き検出手段(例えば、図7の動き検出部24)と、前記動き検出手段の結果に基づいて前記画像データに所定の第1の処理を施す第1の画像処理手段(例えば、図7の画像処理装部21)と、前記動き検出手段の結果に基づいて前記画像データに、前記第1の処理以外の第2の処理を施す第2の画像処理手段(例えば、図7の画像処理部22)と、前記動き検出手段の結果に基づいて前記第1の画像処理手段および前記第2の画像処理手段の結果のうちの少なくとも一方の結果を表示する表示手段(後述するように、図7の切替部25、表示制御部26、および、ホールド型表示装置12を併せて1つの表示手段とみなすことができ、それに対応する)とを備えることを特徴とする。
この第3の画像処理装置において、前記第2の画像処理手段は、前記動き検出手段の結果に応じてエッジ部分を検出するステップエッジ検出手段(例えば、図7のステップエッジ検出部31)と、前記ステップエッジ検出手段の結果を補正する補正手段(例えば、図7の補正部32)とを有することを特徴とする。
この第3の画像処理装置において、前記表示手段は、前記動き検出手段の結果に基づいて前記第1の画像処理手段の結果および前記第2の画像処理手段の結果のうちのいずれか一方に切り換える切替手段(例えば、図7の切替部25)と、前記切替手段により切り替えられた方の結果を、各画素に対応した表示素子の目標レベルに応じて所定の形式の信号(例えば、目標レベルに対応する電圧レベルの電圧信号)に変換する表示制御手段(例えば、図7の表示制御部26)と、前記表示素子の全てに対して、前記表示制御手段の結果を保持させるホールド手段(例えば、図7のホールド型表示装置12)とを有することを特徴とする。
本発明によれば、第4の画像処理装置が提供される。この第4の画像処理装置は、入力された画像データと、それより1つ前の参照画像データとに基づいて動きを検出する動き検出手段(例えば、図7の動き検出部24)と、前記動き検出手段の結果に基づいて前記画像データにおける画素値を処理する画像処理手段(例えば、図7の画像処理部22の代わりに設けられる、図14の画像処理部22)と、所定の表示装置が前記画像処理手段の結果を表示することを制御する表示制御手段(例えば、図7の表示制御部26)とを備える画像処理装置であって、前記画像処理手段は、前記画像データのうちの所定の方向に連続して配置される2つの画素のそれぞれに対応する2つの画素値からなるブロックに対して、前記動き検出手段の結果を利用する非対称ハイパスフィルタ処理を施すことで、前記ブロックに含まれる2つの前記画素値のうちの一方の画素値を補正する補正手段(例えば、図14の画像処理部22のうちの、特に、非対称係数フィルタ62乃至乗算部66)を有することを特徴とする。
ところで、本願出願人は、上述したオーバドライブ方式を適用しても、従来の課題を解決することができない要因、即ち、ホールド型表示装置における動きボケの発生を抑制することができない要因について解析し、その解析結果に基づいて、従来の課題を解決することが可能な画像処理装置を発明した。
そこで、従来の課題を解決することが可能な画像処理装置、即ち、本発明が適用される画像処理装置について説明する前に、上述した解析結果について説明する。
本願出願人は、はじめに、次のように思想した。即ち、上述したように、液晶型表示装置において、動きボケが発生する原因の1つは、液晶(画素)の応答速度が遅いことでああり、オーバドライブ方式は、この原因を考慮した手法である。
しかしながら、液晶型表示装置における動きボケの発生は、液晶の応答の遅さだけが原因ではなく、人間(液晶型表示装置を見るユーザ)の目が有する、追従覗と称される特性もその原因の1つである。それにも関わらず、オーバドライブ方式では、この追従視について全く考慮しておらず、このため、動きボケの発生を抑制することができないでいると、本願出願人は解析した。なお、追従覗とは、網膜残像とも称される特性であって、物体が動いている場合、人間の目が、無意識のうちに、その物体に追従してしまう特性のことである。
ここで、図3乃至図6を参照して、追従覗と、液晶型表示装置における動きボケとの関係について、詳細に説明する。
なお、以下、ホールド型表示装置の画面を構成する各表示素子(液晶型表示装置の場合、液晶)のそれぞれには、フレーム又はフィールドを構成する複数の画素のうちの所定の1つが対応付けられているとして説明する。
図3は、所定のフレーム又はフィールドに含まれる、ステップエッジを表している。
図3において、図中水平方向の軸は、画素位置(空間方向X)を表しており、図中垂直方向の軸は、画素値を表している。n-8乃至n+4のそれぞれは、画素の番号を表しており、図3においては、番号n-8乃至番号n+4のそれぞれの位置に、対応する番号が付された画素が配置されている。なお、以下、番号k(kは、任意の整数値)の画素を、画素kと称する。また、ここでは、空間方向のうちの、フレーム又はフィールドを構成する画素が連続して並ぶ所定の1方向を、空間方向Xと称し、空間方向Xと垂直な方向を、空間方向Yと称している。即ち、図3において、画素n-8乃至画素n+4のそれぞれが、空間方向Xに連続して並んで配置されている。
また、ここでは、第1の画素値(図3の例では、画素値E)を有する画素が所定の方向(図3の例では、空間方向X)に連続して並び、所定の画素(図3の例では、画素n)を境に、第1の画素値とは異なる第2の画素値(図3の例では、画素値B)を有する画素がその方向に連続して並んで形成される画素の集合体を、ステップエッジと称している。
即ち、例えば、所定のフレーム又はフィールドにおいて、一定の画素値Bを有する背景の上に、一定の画素値Eを有する1つのオブジェクトが配置されている場合、そのフレーム又はフィールドを構成する複数の画素のうちの、オブジェクトと背景の境(エッジ)の周辺に位置する、所定の方向に連続して並ぶ画素の集合体が、ステップエッジとなる。従って、この場合、ステップエッジが所定の方向に動くことは、オブジェクトがその方向に動くことを表すことになる。換言すると、後述するように、オブジェクトは全て、ステップエッジに分解できるので、ステップエッジ自身を、1つのオブジェクトとみなすこともできる。
例えば、いま、図3に示されるステップエッジが、空間方向Xに一定の移動速度で動いており、そのフレーム又はフィールド間の移動量が4[画素/フレーム又はフィールド]とされたとする。この場合、そのステップエッジは、次のフレーム又はフィールドでは、図4に示される位置まで動くことになる。
即ち、図4に示されるステップエッジを含むフレーム又はフィールドが、これから表示される対象のフレーム又はフィールド(以下、表示対象フレーム又はフィールドと称する)とされた場合、図3は、表示対象フレーム又はフィールドの直前(1つ前)のフレーム又はフィールドに含まれるステップエッジを示すことになる。また、図4は、ステップエッジが、4[画素/フレーム又はフィールド]の一定速度で移動している場合の、表示対象フレーム又はフィールドに含まれるステップエッジを示すことになる。
図5は、上述したオーバドライブ方式を適用した場合における、液晶型表示装置の画面を構成する各液晶(各画素)のホールド表示と、追従覗との関係を説明する図である。
図5において、図中上側の図は、図4のステップエッジが液晶型表示装置に表示された場合における、液晶の出力レベルの時間推移を表している。
図5の上側の図において、図中水平方向の軸は、画素位置(空間方向X)を表しており、図中垂直下向き方向の軸は、時間軸を表している。即ち、上述したように、ここでは、1つの画素に1つの液晶が対応しているので、図中水平方向の軸は、画素n-9乃至画素n+8のそれぞれに対応する液晶の位置を表しているとも言える。そこで、以下、画素kに対応する液晶を、液晶kと称する。また、図5の上側の図においては、グレー階調の濃淡により、各液晶(液晶n-7乃至液晶n+4)のそれぞれの出力レベルが示されている。即ち、一番濃い階調のグレーは、図4における画素値Bに対応するレベルを表しており、一番薄い階調のグレーは、図4における画素値Eに対応するレベルを表している。なお、後述する図6や図11においては、さらに薄い階調のグレーが示されており、そのグレーは、図4における画素値Eよりも高い画素値に対応するレベルを表すことになる。
図5の下側の図は、ユーザ(人間)が、液晶型表示装置に表示される、図4のステップエッジを見た場合における、ユーザの目の網膜に取り込まれる光量を示している。即ち、図中垂直方向の軸が、ユーザの目の網膜に取り込まれる光量を示している。また、図中水平方向の軸は、上側の図の時刻tbの時点における、ユーザの目の網膜の位置(空間方向X)を表している。
例えば、いま、図5の上側の図に示されるように、時刻taの直前に、図3のステップエッジを含むフレーム又はフィールド(表示対象フレーム又はフィールドの直前のフレーム又はフィールド)が液晶型表示装置に表示されており、時刻taに、図4のステップエッジを含むフレーム又はフィールド(表示対象フレーム又はフィールド)の表示が、液晶型表示装置に指示されたとする。
この場合、液晶(画素)n-7乃至液晶(画素)nのそれぞれは、時刻taの段階で、画素値Eに対応するレベルの光を出力しているので、液晶型表示装置は、時刻ta以降、液晶n-7乃至液晶nのそれぞれに対して、画素値Eに対応するレベルの電圧を印加する。すると、液晶n-7乃至液晶nのそれぞれは、画素値Eに対応するレベルの光を出力し続ける(ホールド表示する)。
これに対して、液晶(画素)n+1乃至液晶(画素)n+4のそれぞれは、時刻taの段階で、画素値Bに対応するレベルの光を出力しているので、液晶型表示装置は、略時刻taに、液晶n+1乃至液晶n+4のそれぞれに対して、画素値Eに対応するレベルよりも高いレベル(いまの場合、図1のレベルYlck)の電圧を印加する。すると、上述したように、略時刻taから、次のフレーム又はフィールドの表示が指示される時刻tbまでの間(表示対象フレーム又はフィールドに対するフレーム又はフィールド時間Tの間)、液晶n+1乃至液晶n+4のそれぞれの出力レベルは、画素値Bから画素値Eに対応するレベルに徐々に変化していく。
ユーザは、時刻taの前から、追従覗により、液晶型表示装置に表示されるステップエッジを、その動きに追従して見て来たので、表示対象フレーム又はフィールドの表示が指示された時刻taから、次のフレーム又はフィールドの表示が指示される時刻tbまでの間(表示対象フレーム又はフィールドに対するフレーム又はフィールド時間Tの間)でも、図5の上側の図に示される矢印に沿って(ステップエッジの動きに追従して)、ステップエッジを見続けることになる。
具体的には、例えば、ユーザ(人間)の目の網膜のうちの、時刻tbの時点に、液晶n+1と液晶n+2の境に対応する場所に位置する点i+1は、上側の図の1番左側の矢印に沿って動くことになる。即ち、1番左側の矢印が、時刻taから時刻tbまでの間の、網膜の点i+1の軌跡を示している。
時刻taから時刻tbの間の各瞬間のそれぞれの時点で、網膜の点i+1には、上側の図の1番左側の矢印が通る場所に位置する液晶から出力された、所定のレベルの光が入射される。その結果、網膜の点i+1には、各瞬間のそれぞれの時点に入射された光が順次蓄積されていくので、時刻tbの時点で、その蓄積された光量(入射された光のレベルの積分値)の光、即ち、上側の図の1番左側の矢印に沿って蓄積された光量の光が取り込まれることになる。従って、網膜の点i+1には、この光量の光に対応する像が形成される。
網膜の他の点k(kは、i+1を除く、i-8乃至i+8のうちのいずれかの値)においても、全く同様に、時刻taから時刻tbの各瞬間のそれぞれの時点で、網膜の各点kのそれぞれに対応する場所に位置する液晶から出力された、所定のレベルの光が順次蓄積されていく。その結果、時刻tbの時点で、図5の下側の図に示されるような光量(入射された光のレベルの積分値)の光が、網膜の各点kのそれぞれに取り込まれることになる。従って、網膜の各点kのそれぞれにおいては、それぞれ取り込まれた光量の光に対応する像が形成される。
図5の下側の図に示されるように、時刻tbの時点で、液晶n+1乃至液晶n+8の8画素分の場所に対応する、網膜の点i乃至点i+8の範囲においては、取り込まれた光量は一定ではなく、徐々に減少している。従って、そのような光量の光に対応して、網膜の点i乃至点i+8の範囲に形成される像は、あたかも画素値Eから画素値Bに徐々に変化していくような、ボケた画像となってしまう。即ち、網膜の点i乃至点i+8の範囲において、動きボケが発生してしまう。
そこで、時刻tbの時点で、液晶n+1乃至液晶n+4の4画素分の場所(図4のステップエッジの実際の配置場所)に対応する、網膜の点i乃至点i+4の範囲に取り込まれる光量の不足分を補うために、例えば、各液晶のそれぞれに印加される電圧のレベルをさらに上げたとする(各液晶のそれぞれの目標レベルをさらに上げたとする)。この場合における、図5に対応する図が、図6に示されている。
即ち、図6は、図5と同様にオーバドライブ方式を適用しているが、図5の場合よりもさらに高いレベルの電圧を印加する(目標レベルをさらに高いレベルに補正する)場合における、液晶型表示装置の画面を構成する各液晶(各画素)のホールド表示と、追従覗との関係を説明する図である。
例えば、いま、図6の上側の図に示されるように、時刻taの直前に、図3のステップエッジを含むフレーム又はフィールド(表示対象フレーム又はフィールドの直前のフレーム又はフィールド)が液晶型表示装置に表示されており、時刻taに、図4のエッジフレーム又はフィールドを含むフレーム又はフィールド(表示対象フレーム又はフィールド)の表示が、液晶型表示装置に指示されたとする。
この場合、液晶(画素)n-7乃至液晶(画素)n-4のそれぞれは、時刻taの段階で、画素値Eに対応するレベルの光を出力しているので、液晶型表示装置は、時刻ta以降、液晶n-7乃至液晶n-4のそれぞれに対して、画素値Eに対応するレベルの電圧を印加する。従って、液晶n-7乃至液晶n-4のそれぞれの出力レベルは、画素値Eに対応するレベルに保持される。
また、液晶(画素)n-3乃至液晶(画素)nのそれぞれは、時刻taの段階で、画素値Eに対応するレベルよりも高いレベルの光を出力しているので、液晶型表示装置は、時刻ta以降、液晶n-3乃至液晶nのそれぞれに対しても、画素値Eに対応するレベルの電圧を印加する。すると、液晶n-3乃至液晶nのそれぞれの出力レベルは、徐々に下がっていき、画素値Eに対応するレベルに戻ると、それ以降、画素値Eに対応するレベルに保持される。
これに対して、液晶n+1乃至液晶n+4は、時刻taの段階で、画素値Bに対応するレベルの光を出力しているので、液晶型表示装置は、略時刻taに、液晶n+1乃至液晶n+4のそれぞれに対して、画素値Eに対応するレベルよりも高いレベル(図5のときよりもさらに高いレベル)の電圧を印加する。すると、略時刻taから、次のフレーム又はフィールドの表示が指示される時刻tbまでの間(表示対象フレーム又はフィールドに対するフレーム又はフィールド時間Tの間)、液晶n+1乃至液晶n+4のそれぞれの出力レベルは、画素値Bから画素値Eに対応するレベルに変化していき(図5のときよりも速い速度で変化していき)、時刻tbよりも前の時刻に、画素値Eに対応するレベルに到達し、それ以降も、時刻tbまでの間、増加し続ける。
ユーザは、時刻taよりも前に、追従覗により、液晶型表示装置に表示されるステップエッジを、その動きに追従して見て来たので、表示対象フレーム又はフィールドの表示が指示された時刻taから、次のフレーム又はフィールドの表示が指示される時刻tbまでの間(表示対象フレーム又はフィールドに対するフレーム又はフィールド時間Tの間)でも、図6の上側の図に示される矢印に沿って(ステップエッジの動きに追従して)、ステップエッジを見続けることになる。
従って、ユーザ(人間)の目の網膜の各点i-8乃至点i+8においては、時刻taから時刻tbの各瞬間のそれぞれの時点で、それぞれ対応する場所に位置する液晶から出力された、所定のレベルの光が順次蓄積されていく。その結果、時刻tbの時点で、今度は、図6の下側の図に示されるような光量(入射された光のレベルの積分値)の光が、網膜の各点i-8乃至点i+8のそれぞれに取り込まれることになる。従って、網膜の各点i-8乃至点i+8のそれぞれにおいては、それぞれ取り込まれた光量の光に対応する像が形成される。
図5と図6のそれぞれの下側の図を比較するに、液晶(画素)n+1乃至液晶(画素)n+8の8画素分の場所に対応する、網膜の点i乃至点i+8の範囲においては、図6の方が、光量を表す曲線の傾きは急になり、ユーザ(人間)の目には、ステップエッジのエッジ部分が、図5のときと比べて鮮明に映るようにはなる。
しかしながら、図6においては、上述したように、各液晶のそれぞれの出力レベルは、ステップエッジの画素値Eに対応するレベルよりも高いレベルとなるときもあり、その結果、液晶n-3乃至液晶n+4の場所に位置する、網膜の点i-4乃至点i+4においては、取り込まれた光量が、実際に取り込まれるべき光量(即ち、液晶n-7乃至液晶n-4の場所にする、網膜の点i-8乃至点i-4において、取り込まれた光量と同一の光量)よりも多くなってしまう。
即ち、網膜の点i-4乃至点i+4の範囲においては、画素値Eよりも大きい画素値に対応するレベルの画像が形成されてしまう(あたかも、白く光るように映ってしまう)ことになり、これでは、動きボケが解消しているとは言い難い。さらに、網膜の点i-4乃至点i+4の範囲に形成される、このような画像も、一種の動きボケの画像として捉えると、結局、動きボケの範囲は、液晶(画素)n-3乃至液晶(画素)n+8の12画素分の場所に対応する、網膜の点i-4乃至点i+8の範囲まで広がってしまう。
このように、人間の目は、追従覗という特性を有しているので、従来のオーバドライブ方式のように、動いているオブジェクトに対応する液晶(画素)の全ての画素値(それに対応する、液晶に印加される電圧のレベル)を補正しても、即ち、液晶の出力レベルの時間応答だけを改善しても、動きボケを解消することはできない。
そこで、本願出願人は、液晶の応答の遅さのみならず、従来のオーバドライブ方式では全く考慮されていなかった追従覗も考慮して画像処理を行う画像処理装置を発明した。このような画像処理装置は、様々な実施の形態を取ることが可能であり、具体的には、例えば、図7に示されるように構成することができる。
即ち、図7は、本実施の形態が適用される画像処理装置の構成例を表している。
図7において、画像処理装置11は、液晶型表示装置等として構成されるホールド型表示装置12に対して、動画像の表示を制御する。即ち、画像処理装置11は、動画像を構成する複数のフレーム又はフィールドのそれぞれの表示を順次指示する。これにより、ホールド型表示装置12は、上述したように、所定のフレーム又はフィールドの表示が指示されてから、所定の時間の間、その第1のフレーム又はフィールドを構成する複数の画素のそれぞれを対応する表示素子(図示せず)に表示させ、それら表示素子のうちの少なくとも一部の表示を保持させる。即ち、各表示素子のうちの少なくとも一部は、所定の時間、ホールド表示する。
なお、以下、ホールド型表示装置12は、第1のフレーム又はフィールドの表示が指示されてから、その次の第2のフレーム又はフィールドの表示が指示されるまでの間、第1のフレーム又はフィールドを構成する全ての画素のそれぞれを対応する表示素子(図示せず)に表示させ、それら全ての表示素子の表示を保持させる(各表示素子の全ては、ホールド表示する)とする。
詳細には、画像処理装置11には、動画像を構成する複数のフレーム又はフィールドのそれぞれの画像データが順次入力される。即ち、画像処理装置11には、表示対象フレーム又はフィールドの画像データ(例えば、表示対象フレーム又はフィールドを構成する全ての画素の画素値)が入力される。具体的には、表示対象フレーム又はフィールドの画像データは、画像処理部21、画像処理部22、参照画像記憶部23、および、動き検出部24のそれぞれに入力される。
画像処理部21は、入力された表示対象フレーム又はフィールドの画像データに対して、画素を単位として、所定の画像処理を施して、切替部25に出力する。即ち、画像処理部21は、表示対象フレーム又はフィールドを構成する複数の画素のそれぞれに対して、所定の画像処理を施すことで、それらの画素の画素値を補正し、補正した画素値を、所定の順番で切替部25に順次出力する。
なお、画像処理部21が実行する画像処理は、特に限定されず、例えば、図7の例では、画像処理部21には、後述する参照画像記憶部23から出力される参照画像(表示対象フレーム又はフィールドの直前のフレーム又はフィールド)のデータ、および、後述する動き検出部24の検出結果が入力されるが、これら入力された2つの情報を全て利用する画像処理であってもよいし、いずれか一方の情報を利用する画像処理であってもよいし、或いは、いずれの情報も利用しない画像処理であってもよい。具体的には、例えば、画像処理部21は、所定の規則のテーブル(図示せず)を有し、そのテーブルに従って、表示対象フレーム又はフィールドを構成する各画素のそれぞれの画素値を補正する画像処理を行うことができる。
また、画像処理部21は、画像処理装置11にとって必須な構成要素ではなく、省略されてもよい。この場合、表示対象フレーム又はフィールドの画像データは、画像処理部22、参照画像記憶部23、動き検出部24、および、切替部25のそれぞれに入力されることになる。
画像処理部22は、入力された表示対象フレーム又はフィールドの中から、後述する動き検出部24により検出された動きのあるオブジェクト(その配置位置が、表示対象フレーム又はフィールドの直前のフレーム又はフィールドにおける配置位置から移動したオブジェクト)のエッジ部分に対応する画素に対して、その画素値を補正し、切替部25に出力する。
なお、後述するように、画像処理部22は、フレーム又はフィールドに含まれる、実物体に対応する画像をオブジェクトと捉えて、そのようにして捉えたオブジェクトに対して、上述した画像処理を施してもよい。ただし、ここでは、画像処理部22は、上述した図3や図4に示されるようなステップエッジを1つのオブジェクトとして捉えて、このステップエッジを単位として上述した画像処理を施すとする。
また、画像処理部22は、図7の例では、ステップエッジ検出部31と補正部32とから構成されているが、図7の例の形態に限定されず、様々な形態を取ることが可能である。具体的には、例えば、後述する図14や図23に示されるように画像処理部22を構成してもよい。
ただし、これらの画像処理部22の各種形態の詳細(図7、図14、および図23のそれぞれに示される形態の説明)については後述する。
参照画像記憶部23は、入力された表示対象フレーム又はフィールドの画像データを、表示対象フレーム又はフィールドの次の(直後の)フレーム又はフィールドに対する参照画像の画像データとして記憶する。即ち、参照画像記憶部23に、新たなフレーム又はフィールドの画像データが、表示対象フレーム又はフィールドの画像データとして入力された場合、それを記憶するとともに、いままで記憶していた、その直前のフレーム又はフィールド(その直前に表示対象フレーム又はフィールドであったフレーム又はフィールド)の画像データを、いま新たに入力された表示対象フレーム又はフィールドに対する参照画像の画像データとして引き続き記憶する。
動き検出部24は、表示対象フレーム又はフィールドの画像データが入力されると、参照画像記憶部23に記憶されている参照画像(表示対象フレーム又はフィールドの直前のフレーム又はフィールド)の画像データを取得する。そして、動き検出部24は、表示対象フレーム又はフィールドの画像データと、参照画像の画像データとを比較することで、表示対象フレーム又はフィールドの中から、動きのあるオブジェクト(その配置位置が、参照画像における配置位置から移動したオブジェクト)を、画素を単位として検出する。さらに、動き検出部24は、そのオブジェクトの空間的な移動量(移動方向も含む。例えば、移動方向は、プラスかマイナスで表現される)も、画素を単位として検出する。
即ち、動き検出部24は、入力された画像データの動きのあるオブジェクトと、参照画像記憶部23より出力された参照画像の動きのあるオブジェクトとを比較することにより動きを検出するのである。
なお、動き検出部24は、実際には、空間方向Xと空間方向Yに動くオブジェクトのそれぞれを個別に検出することが可能であるが、以下の説明においては、空間方向Xに動くオブジェクトのみを検出するとして説明する。
詳細には、動き検出部24は、空間方向Xに移動したオブジェクトを、画素を単位として検出する。即ち、動き検出部24は、表示対象フレーム又はフィールドを構成する複数の画素のうちの、処理の対象として注目すべき画素(以下、注目画素と称する)が、空間方向Xに移動したオブジェクトに対応する画素か否かを判定する。
動き検出部24は、注目画素が、空間方向Xに移動したオブジェクトに対応する画素ではないと判定した場合、その判定結果を切替部25に供給する(必要に応じて、さらに画像処理部21にも供給する)。この場合、後述するように、切替部25は、その入力を、画像処理部21側に切り替える。
これに対して、動き検出部24は、注目画素が、空間方向Xに移動したオブジェクトに対応する画素であると判定した場合、その判定結果を、ステップエッジ検出部31、補正部32、および、切替部25のそれぞれに供給する(必要に応じて、さらに画像処理部21にも供給する)。この場合、後述するように、切替部25は、その入力を、画像処理部22側(補正部32側)に切り替える。さらに、動き検出部24は、注目画素に対応するオブジェクトの空間的な移動量(フレーム又はフィールド間の移動距離)を検出し、ステップエッジ検出部31、および、補正部32に供給する。
切替部25は、上述したように、動き検出部24の検出結果に応じて、その入力を切り替える。
即ち、動き検出部24により、注目画素が動きのあるオブジェクト(いまの場合、ステップエッジ)に対応する画素ではないと検出された場合、切替部25は、その入力を画像処理部21側に切り替え、画像処理部21より供給される注目画素のデータ(画素値)を表示制御部26に供給する。
これに対して、動き検出部24により、注目画素が動きのあるオブジェクト(いまの場合、ステップエッジ)に対応する画素であると検出された場合、切替部25は、その入力を画像処理部22の補正部32側に切り替え、補正部32より供給される注目画素のデータ(画素値)を表示制御部26に供給する。
表示制御部26は、切替部25より順次供給されてくる、表示対象フレーム又はフィールドを構成する各画素のデータ(画素値)のそれぞれを、ホールド型表示装置12の、対応付けられた検出素子の目標レベルのそれぞれとして、所定の形式の信号に変換した後、ホールド型表示装置12に出力する。即ち、表示制御部26は、このような処理を行うことで、表示対象フレーム又はフィールドの表示をホールド型表示装置12に指示するのである。
ここで、図7の例の画像処理部22の詳細について説明する。
画像処理部22は、図7の例では、ステップエッジ検出部31と補正部32により構成される。
ステップエッジ検出部31は、入力された表示対象フレーム又はフィールドの画像データの中から、動き検出部24により検出されたオブジェクト(動きのあるオブジェクト)のエッジ部分を検出し、その検出結果を補正部32に供給する。
具体的には、例えば、表示対象フレーム又はフィールドの中に、色や濃度がグラデーション的に変化する実物体に対応する画像が存在した場合、ステップエッジ検出部23は、その実物体に対応する画像そのものをオブジェクトとして捉え、そのようにして捉えたオブジェクトのエッジを検出してもよい。
この場合、ステップエッジ検出部31は、実物体そのものに対応するオブジェクトのエッジを検出するために、例えば、オブジェクトの動き方向(空間方向X)における、画素値の変化を表す関数を生成し、各画素のそれぞれにおける、その関数の1次微分値を演算する。このようにして演算された、所定の画素における1次微分値は、その画素の画素値と、隣接画素の画素値との差異の度合いを表すので、ステップエッジ検出部31は、1次微分値がある(0でない)画素を、オブジェクトのエッジ部分に対応する画素として検出する。
ただし、このような関数の生成や、その関数を利用する1次微分値の演算は、ステップエッジ検出部31にとって負荷の重い処理となる。そこで、ここでは、上述したように、ステップエッジ検出部31は、ステップエッジをオブジェクトして捉え、入力された表示対象フレーム又はフィールドの画像データを、空間方向Xに形成される、複数のステップエッジの画像データの集合体に分解した上、複数のステップエッジのそれぞれのエッジ部分を検出し、その検出結果を補正部32に供給するのである。
例えば、表示対象フレーム又はフィールドに、図8に示される画像データが含まれていたとする。なお、図8において、水平方向の軸は、画素位置(空間方向X)を表しており、垂直方向は、画素値を表している。即ち、図8に示される画像データは、画素X1の画素値L2、画素X2の画素値L3、および、画素X3の画素値L1からなる画像データである。
この場合、ステップエッジ検出部31は、図8に示される画像データを、図9に示される2つのステップエッジ(図9中左側のステップエッジ(画素X1までの画素においては、画素値L2であり、画素X2以降の画素においては、画素値L3であるステップエッジ)と、図9中右側のステップエッジ(画素X2までの画素においては、画素値L3であり、画素X3以降の画素においては、画素値L1であるステップエッジ))の画像データに分解する。そして、ステップエッジ検出部31は、図9に示される2つのステップエッジのそれぞれのエッジ部分を検出する。
この場合、ステップエッジは、単に、第1の画素値の画素の集まり(空間方向Xに並ぶ第1の画素群)と、第2の画素値の画素の集まり(空間方向Xに並ぶ第2の画素群)から構成されるので、ステップエッジ検出部31は、隣接する画素の画素値と差異がある画素値を有する画素を見つけ、その画素の配置位置が、ステップエッジのエッジ部分に相当すると判断することで、ステップエッジのエッジ部分を検出することができる。
詳細には、ステップエッジ検出部31は、動き検出部24と同様に、表示対象フレーム又はフィールドを構成する複数の画素のうちの所定の1つを注目画素とし、注目画素を単位としてその処理を実行する。従って、ステップエッジ検出部31は、注目画素の画素値と、それに隣接する画素(いまの場合、空間方向Xに隣接する画素)のうちの、予め定められた方の画素の画素値との差分を演算することで、ステップエッジのエッジ部分を検出することができる。
即ち、ステップエッジ検出部31は、注目画素の画素値と、それに隣接する画素の画素値との差分を演算し、その結果、差分があった場合、即ち、演算結果(差分値)が0でない場合、注目画素が、ステップエッジのエッジ部分に対応する画素であると検出する。
図7に戻り、この場合、ステップエッジ検出部31は、その検出結果として、注目画素の画素値と、演算した値(注目画素の画素値と、それに隣接する画素の画素値との差分値であり、以下、単に差分値と称する)を、補正部32に供給する。
なお、差分値が演算される対象の画素は、注目画素に隣接する(いまの場合、空間方向Xに隣接する)2つの画素のうちの、いずれの画素とされてもよい。ただし、いまの場合、動き検出部24よりオブジェクト(即ち、ステップエッジ)の空間方向Xに対する移動量(移動方向も含む。例えば、移動方向は、プラスかマイナスで表現される)がステップエッジ検出部31に供給されるので、差分値が演算される対象の画素として、ステップエッジの進む方向、或いは、その逆の方向に注目画素と隣接する画素を使用することができる。
補正部32は、ステップエッジ検出部31により検出されたステップエッジのエッジ部分に対応する注目画素に対して、その画素値を、動き検出部24より供給された、注目画素に対応するステップエッジの空間的な移動量(いまの場合、空間方向Xに対する移動量)、および、ステップエッジの高さ(ステップエッジのエッジ部分に対応する注目画素の画素値と、それに隣接する画素の画素値との差分値)に基づいて補正する。
即ち、補正部32には、ステップエッジ検出部31より、その検出結果として、注目画素の画素値と、それに対応する差分値が供給され、また、動き検出部24より、その注目画素に対応するステップエッジの空間的な移動量(いまの場合、空間方向Xの移動量)が供給されてくる。従って、補正部32は、供給された差分値が0でなく、かつ、供給された移動量が0でない場合、注目画素が、動きのあるステップエッジのエッジ部分に対応する画素であると判断し、供給された差分値と移動量に基づいて、注目画素の画素値を補正するのである。
この場合における画素値の補正方法は、ステップエッジのエッジ部分に対応する画素に対して、その画素値を、ステップエッジの移動量に基づいて補正する方法であれば、特に限定されないが、具体的には、例えば、次のような補正方法を適用することができる。
即ち、図10は、本実施の形態が適用される画素値の補正方法の例を説明する図であって、通常の場合(従来のオーバドライブ方式や、後述する本実施の形態の手法等を何も使用しない場合)における、液晶型表示装置(図7のホールド型表示装置12の1形態)の画面を構成する各液晶(各画素)のホールド表示と、追従覗との関係を説明する図である。
図10において、図中上側の図は、上述した図5や図6と同様に、図4のステップエッジが液晶型表示装置に表示された場合における、ステップエッジの配置位置に対応する液晶の出力レベルの時間推移を表している。また、図中下側の図も、図5や図6と同様に、ユーザ(人間)が、液晶型表示装置に表示される、図4のステップエッジを見た場合における、ユーザの目の網膜に取り込まれる光の量(光量)を示している。
例えば、いま、図10の上側の図に示されるように、時刻taの直前に、図3のステップエッジを含むフレーム又はフィールド(表示対象フレーム又はフィールドの直前のフレーム又はフィールド)が液晶型表示装置に表示されており、時刻taに、図4のエッジフレーム又はフィールドを含むフレーム又はフィールド(表示対象フレーム又はフィールド)の表示が、液晶型表示装置に指示されたとする。
この場合、液晶型表示装置は、時刻ta以降、液晶(画素)n-7乃至液晶(画素)n+4のそれぞれに対して、画素値Eに対応するレベルの電圧を印加する。すると、液晶n-7乃至液晶n+4のそれぞれの出力レベルは、図10の上側の図に示されるように変化する。
ユーザは、時刻taの前から、追従覗により、液晶型表示装置に表示されるステップエッジを、その動きに追従して見て来たので、表示対象フレーム又はフィールドの表示が指示された時刻taから、次のフレーム又はフィールドの表示が指示される時刻tbまでの間(表示対象フレーム又はフィールドに対するフレーム又はフィールド時間Tの間)でも、図10の上側の図に示される矢印に沿って(ステップエッジの動きに追従して)、ステップエッジを見続けることになる。
従って、ユーザ(人間)の目の網膜のうちの、時刻tbの時点で、液晶n-7乃至液晶n+8の場所(図4のステップエッジの実際の配置位置とその近傍)に対応する、網膜の点i-8乃至点i+8の範囲には、図10の下側に示される光量Sの光が蓄積され、その蓄積された光に対応する像が形成されるので、動きボケが発生してしまうことになる。
これに対して、図10の下側の図に示されるように、仮に、網膜の点i-8乃至点i+8の範囲に、光量S+光量R分の光が蓄積されれば、動きボケの発生を抑制することが可能になる。なお、以下、光量Rを不足光量Rと称する。
そこで、本実施の形態においては、補正部32が、この不足光量Rに対応する補正を行う。ただし、補正部32が、画素(液晶)n+1乃至画素(液晶)n+4のそれぞれの画素値に対して、均等に補正を行ったのでは、従来のオーバドライブ方式と変わりが無く、動きボケの発生を抑制することができない。そこで、本実施の形態においては、補正部32が、追従覗をさらに考慮して、ステップエッジのエッジ部分に対応する画素(即ち、図10においては、画素(液晶)n+4)の画素値のみを補正するのである。
具体的には、例えば、全ての液晶の時間応答が、所定の時定数τの一次遅れ要素である(即ち、全ての液晶の時間応答が、いつでも同一である)と仮定し、画素値Bから画素値Eに変化させる指令が与えられた場合の、出力レベル(画素値換算値)Y(t)は、次の式(1)のように表される。ただし、tは、液晶に指令が与えられた時刻を0とした場合の時刻を表している。
Figure 2005043864
この場合の、図10に示される不足光量Rは、画素値に換算すると、次の式(2)のように示される。
Figure 2005043864
従って、補正部32は、追従覗を考慮して、ステップエッジのエッジ部分に対応する画素(図10においては、画素(液晶)n+4)の画素値に対して、式(2)で示される不足光量(画素値換算値)Rを、補正値として加算することで、その画素値を補正することができる。
図11は、このようにして、ステップエッジのエッジ部分に対応する画素の画素値のみが補正された場合(即ち、本実施形態が適用された場合)における、液晶型表示装置の画面を構成する各液晶(各画素)のホールド表示と、追従覗との関係を説明する図である。即ち、図11は、従来の図5、図6、および図10に対応する、本実施の形態が適用された結果を表す図である。
図11の上側の図に示されるように、各フレーム又はフィールドの表示が指示される時点で、ステップエッジのエッジ部分に対応する画素の画素値に対して、上述した式(2)で示される不足光量(画素値換算値)Rが、補正値として順次加算されることで、その画素値が補正される。即ち、時刻taより時間Tだけ前の時点(図3のステップエッジを含むフレーム又はフィールドの表示が指示される時点)には、画素(液晶)nの画素値が補正され、時刻ta(図4のステップエッジを含むフレーム又はフィールドの表示が指示される時点)には、画素(液晶)n+4の画素値が補正される。
この場合、液晶型表示装置(ホールド型表示装置12)は、時刻ta以降、液晶n-7乃至液晶n+3のそれぞれに対する目標レベルは画素値Eであるとして、画素値Eに対応するレベルの電圧を液晶n-7乃至液晶n+3のそれぞれに印加する。一方、液晶n+4に対する目標レベルは、補正された画素値(画素値Eに、上述した式(2)の補正値Rが加算された値)であるとして、液晶n+4に対してのみ、補正された画素値に対応するレベルの電圧を印加することになる。すると、液晶n-7乃至液晶n+4のそれぞれの出力レベルは、図11の上側の図に示されるように変化する。
ユーザは、追従覗により、液晶型表示装置に表示されるステップエッジを、その動きに追従して見て来たので、表示対象フレーム又はフィールドの表示が指示された時刻taから、次のフレーム又はフィールドの表示が指示される時刻tbまでの間(表示対象フレーム又はフィールドに対するフレーム又はフィールド時間Tの間)でも、図11の上側の図に示される矢印に沿って(ステップエッジの動きに追従して)、ステップエッジを見続けることになる。
具体的には、例えば、網膜の点i+1は、時刻taから時刻tbまでの間、矢印41に沿って、ステップエッジを見続けることになる。この場合、網膜の点i+1は、前回の補正(時刻taよりも時間Tだけ前の時点における補正)の対象とされた液晶(画素)nを通るので、液晶nを通るとき、不足分の光量(補正された光量)を取り込むことができ、その結果、時刻tbの段階で、目標とする光量を取り込むことができるようになる。
その他の網膜の点k(kは、i+1を除くi-8乃至i+8のうちのいずれかの値)も、時刻taから時刻tbまでの間、全く同様に、補正の対象とされた液晶(画素n-4、画素n、および、画素n+4のそれぞれに対応する液晶)のうちの少なくとも1つを通るので、これら補正の対象とされたを液晶を通るとき、不足分の光量(補正された光量)を取り込むことができ、その結果、時刻tbの段階で、目標とする光量を取り込むことができるようになる。
従って、ユーザの目の網膜の点i-8乃至点i+8の範囲には、結局、図11の下側の図に示されるような理想的な光量(図10の光量S+不足光量R分の光量)が取り込まれ、その光量の光に対応する像が形成されることになる。
即ち、図11の下側の図に示されるように、網膜の点i-8乃至点i+4の範囲には、オーバーシュートが無くほぼ一定の光量の光に対応する像(画素値Eの理想的な像)が形成され、かつ、動きボケの範囲も、液晶(画素)n+5乃至液晶(画素)n+8までの4画素分の場所に対応する、網膜の点i+4乃至点i+8の範囲までに限定されている。このように、本実施の形態を適用することで、従来のいずれの場合(図5、図6、および図10の場合)と比較しても、動きボケの度合いを抑制することが可能になる。
ところで、上述した例では、ステップエッジが、空間方向Xに4[画素/フレーム又はフィールド]の移動量で動いている場合の補正の例であったが、ステップエッジが異なる移動量で動いている場合であっても、補正部32が、上述した処理と全く同様に、ステップエッジのエッジ部分に対応する画素の画素値を補正することで、動きボケを抑制することができる。
即ち、上述した式(2)において、移動量4[画素/フレーム又はフィールド]の箇所を、例えば、移動量v[画素/フレーム又はフィールド]に変えることで、補正値Rは、次の式(3)のように表される。
Figure 2005043864
なお、ステップエッジが等速度の場合、フレーム又はフィールド間の移動量vは、移動速度を表すことになる。即ち、フレーム又はフィールド間においては、ステップエッジの移動速度はいずれも一定であるとした場合、フレーム又はフィールド間のステップエッジの移動量vは、フレーム又はフィールド間における、ステップエッジの移動速度vであるとも言える。
さらに、上述した例では、図4のステップエッジを例にして説明したため、注目画素は画素n+4となり、その結果、注目画素n+4の画素値はEとなり、また、空間方向Xに注目画素と隣接する画素(図4には図示されていないが画素n+5)の画素値はBとなったが、注目画素とそれに隣接する画素の各画素値のそれぞれは、当然ながら、これらの値に限定されず、様々な値を取り得る。従って、注目画素の画素値をNrとし、また、空間方向Xに注目画素と隣接する画素の画素値をNrnとすると、上述した式(3)は、次の式(4)のようにさらに一般化された式となる。
Figure 2005043864
式(4)において、注目画素がステップエッジのエッジ部分の画素でない場合、差分値(Nr-Nrn)は0となり、その結果、補正値Rも0となる。例えば、図4において、注目画素が画素nである場合、Nr-Nrn=E−E=0となる。このように、式(4)は、0補正(補正の禁止)も含む、全ての画素に当てはまる一般化された補正式であると言える。
図7に戻り、上述したように、注目画素に対応するステップエッジの移動量vは、動き検出部24より補正部32に供給される。また、注目画素の画素値Nr(注目画素が図4の画素n+4の場合には、画素値E)と、差分値(Nr-Nrn)(注目画素が図4の画素n+4の場合には、差分値(E-B))は、ステップエッジ検出部31から補正部32に供給される。従って、例えば、補正部32は、供給された移動量v、注目画素の画素値Nr、および、差分値(Nr-Nrn)のそれぞれを、上述した式(4)(注目画素が図4の画素n+4の場合には、式(3))に代入して、式(4)の右辺を演算することで、補正値Rを演算することができる。そして、補正部32は、注目画素の画素値を、画素値(Nr+R)(注目画素が図4の画素n+4の場合には、画素値(E+R))に更新して、切替部25を介して表示制御部26に供給する。
すると、上述したように、表示制御部26は、補正された画素値(Nr+R)(注目画素が図4の画素n+4の場合には、画素値(E+R))を含む表示対象フレーム又はフィールドを構成する複数の画素の画素値のそれぞれを、ホールド型表示装置12の検出素子のそれぞれの目標レベルとして、ホールド型表示装置12に対して指示する。即ち、表示制御部26は、表示対象フレーム又はフィールドの表示を指示する。
なお、ここでは、説明の簡略上、上述した式(1)乃至式(4)における時定数τは一定であると仮定した(みなした)が、実際には、時定数τは異なることになる。
即ち、注目画素に対応する注目液晶(図7のホールド型表示装置12の注目表示素子)への指令として、例えば、元の画素値Nrn(以下、旧画素値Nrnとも称する)から画素値Nr(以下、目標画素値Nrまたは新画素値Nrとも称する)に変化させる指令が与えられた場合、即ち、注目液晶の入力電圧が、旧画素値Nrnに対応する電圧レベルから、新画素値Nrに対応する電圧レベルに変化した場合、注目液晶の出力光のレベルが、旧画素値Nrnに対応する光のレベルから、新画素値Nrに対応する光のレベルに変化するまでの時間、即ち、注目液晶の応答時間(応答速度)は、旧画素値Nr-1と新画素値Nrとのそれぞれの値に応じて異なることになる。このため、当然ながら、注目液晶の時定数τも、旧画素値Nr-1と新画素値Nrとのそれぞれの値に応じて異なることになる。
そこで、時定数τの違いも考慮したより正確な補正を行いたい場合、旧画素値Nr-1と新画素値Nrとのそれぞれの値に対応する液晶の応答速度のそれぞれが記述されたテーブル(例えば、後述する図18に示されるようなテーブルであって、以下、パネルテーブルと称する)を補正部32等に保持させればよい。これにより、補正部32は、そのパネルテーブルを参照して時定数τを特定し、その時定数τとともに、上述した、移動量v、注目画素の画素値Nr、および、差分値(Nr-Nrn)のそれぞれを、上述した式(4)に代入して、式(4)の右辺を演算することで、補正値Rをさらに正確に演算することができる。そして、補正部32は、注目画素の画素値を、画素値(Nr+R)に更新して、切替部25を介して表示制御部26に供給することができる。
以上、注目画素の画素値の補正方法の一例について説明した。
ところで、上述したように、注目画素の画素値の補正方法は、上述した例に限定されず、様々な方法を適用することができる。
そこで、以下、注目画素の画素値の補正方法の他の例の幾つかについて説明していく。
例えば、上述した例と同様に時定数τが一定であると仮定すると、式(4)の補正値Rは、次の式(5)のようにも表される。
R=(Nr−Nrn)×C×v ・・・(5)
なお、式(5)において、Cは所定の固定値(vの比例係数)を示している。
さらに、式(5)の右辺において、C×vの部分を、移動量(速度)vに依存する(比例する)ゲインであるとみなし、そのゲインをGと記述すると、式(6)は式(7)のように表される。
R=(Nr-Nrn)×G ・・・(6)
従って、上述した図7の構成の画像処理部22の代わりに、次の式(7)を演算するのと等価なハイパスフィルタ処理を施す画像処理部22、即ち、非対称ハイパルスフィルタとして構成される画像処理部22を適用することもできる。
Nr' = Nr + R= Nr + (Nr-Nrn)×G ・・・(7)
式(7)において、Nr'は、この非対称ハイパルスフィルタの出力値、即ち、注目画素の補正された画素値を示している。
なお、非対称ハイパルスフィルタとは次のようなフィルタを指す。
即ち、画像処理において、例えば、注目画素の画素値Nrと、それに隣接する(いまの場合、空間方向Xに隣接する)画素の画素値Nrnからなるブロック(以下、注目ブロック(Nr,Nrn)と称する)に対して、一般的なハイパスフィルタがかけられると、この注目ブロック(Nr,Nrn)は、ブロック(Nr+△N,Nrn-△N)のように更新されることになる。なお、△Nは補正量(値)を指す。このような、2つの画素値Nr,Nrnともにハイパスフィルタ処理を施すフィルタ、即ち、補正量△Nを、2つの画素の境で線対称となるように2つの画素値Nr,Nrnにそれぞれ加えるフィルタ処理を施す一般的なハイパスフィルタを、本明細書においては、対称ハイパスフィルタと称する。対称ハイパスフィルタの例としては、いわゆるシャープネスの効果を画像に付加する(いわゆる絵作りを行う)フィルタ(以下、単にシャープネスと称する)を指す。
これに対して、注目ブロック(Nr,Nrn)が入力された場合、フィルタ処理の結果として、ブロック(Nr+△N,Nrn)、または、ブロック(Nr,Nrn-△N)を出力するフィルタ、即ち、2つの画素値Nr,Nrnのうちのいずれか一方だけにハイパスフィルタ処理を施すフィルタを、本明細書では、非対称ハイパスフィルタと称する。
具体的には、例えば、いま、上述した図4と同一のステップエッジが描画されている図12において、画素n+4が注目画素とされているとする。この場合、注目画素n+4の画素値Nr=Eとなり、空間方向Xに注目画素n+4と隣接する画素n+5の画素値Nrn=Bとなる。
この場合、仮に補正量△Nが上述した式(6)の演算結果と等価な値Rとなるように、対称ハイパスフィルタであるシャープネスがかけられると、注目画素n+4の画素値Nrは、画素値Eから画素値E+Rに更新され(補正され)、それに隣接する画素n+5の画素値Nrnは、画素値Bから画素値B-Rに更新されることになる。上述したように、いわゆる絵作りを目的する場合、シャープネスが利用されても特に問題はない。即ち、その目的を達成することができる。
しかしながら、本発明の目的、即ち、動きボケを抑制するための補正が目的とされている場合、注目画素n+4に隣接する画素n+5の画素値Nrnの補正は不要である(画素値Bのままでよい)ので、シャープネスが利用されても、その目的を達成することができない。
そこで、本発明の目的、即ち、動きボケを抑制するための補正の目的を達成するためには、例えば、図12に示されるように、注目画素の画素値Nrだけを、画素値Eから画素値E+R(即ち、上述した式(7)の最左辺の補正後の画素値Nr')に更新させることが可能な非対称ハイパスフィルタを用いると好適である。
なお、これまでの説明においては、図12に示されるように、ステップエッジの移動方向が空間方向Xであるとして説明してきたため、補正が加えられる画素は、ステップエッジのエッジ部分を構成する2つの画素n+4と画素n+5のうちの、画素n+4の方とされた。
これに対して、図13に示されるように、ステップエッジの移動方向が空間方向Xとは逆方向である場合、補正が加えられる画素は、ステップエッジのエッジ部分を構成する2つの画素n+4と画素n+5のうちの、画素n+5の方とされる必要がある。
この場合、画素n+5の画素値Bは、次の(8)に示されるように、画素値B'に更新されることになる。
B' = B − R = B −(E−B)×G ・・・(8)
以上の内容をより一般化すると、結局、注目ブロック(Nr,Nrn)に対応するステップエッジの移動方向が「+」、即ち、空間方向Xである場合には、注目画素の画素値Nrの方だけが、上述した式(7)に従って、画素値Nr'に更新される。
これに対して、注目ブロック(Nr,Nrn)に対応するステップエッジの移動方向が「−」、即ち、空間方向Xと逆方向である場合には、注目画素と空間方向Xに隣接する画素の画素値Nrnの方だけが、次の式(9)に従って、画素値Nrn'に更新される。
Nrn' = Nrn − (Nr-Nrn)×G ・・・(9)
このように、ステップエッジの移動方向に応じて、ステップエッジのエッジ部分に対応する、注目画素と、注目画素と空間方向Xに隣接する画素とのうちのいずれか一方の画素値が更新されることになる。従って、以下においては、空間方向Xに形成されるステップエッジのエッジ部分とは、上述した例のように単に1つの注目画素を指すのではなく、相異なる画素値を有する、空間方向Xに連続して並ぶ2つの画素の組(ブロック)であると捉えて説明していく。
このため、以下においては、注目画素の画素値Nr単体ではなく、注目画素の画素値Nrと、その空間方向Xに隣接する画素(或いは逆方向に隣接する画素でもよい)の画素値Nrnとの組、即ち、上述した注目ブロック(Nr,Nrn)を単位として取り扱う。この場合、ステップエッジの進行方向に応じて、入力された注目ブロック(Nr,Nrn)を、更新された注目ブロック(Nr',Nrn)として出力するのか、或いは、更新された注目ブロック(Nr,Nrn')として出力するのかを切り替える必要がある。即ち、注目ブロック(Nr,Nrn)のうちの、画素値Nrの方を補正するのか、画素値Nrnの方を補正するのかを切り替える必要がある。そこで、本実施の形態では、例えば、後述する図15と図16に示されるように、フィルタ係数を、ステップエッジの移動方向に応じて切り替えて使用する。ただし、このフィルタ係数の切り替え等の詳細については後述する。
以上の説明から、上述した図7の構成の画像処理部22の代わりに、上述した式(7)または式(9)を演算するのと等価なハイパスフィルタ処理を施す画像処理部22、即ち、非対称ハイパルスフィルタとして構成される画像処理部22を適用することもできることがわかる。
例えば、画像処理部22は、図14に示されるような非対称ハイパスフィルタとして構成することができる。即ち、図14は、非対称ハイパスフィルタとして構成される画像処理部22の一構成例を示している。
図14の例では、画像処理部(非対称ハイパスフィルタ)22は、切替部61乃至加算部67から構成されている。
図14に示されるように、画像処理部22には、入力画像の画像データが、上述した注目ブロック(Nr,Nrn)の単位で入力される。具体的には、注目ブロック(Nr,Nrn)は、切替部61と加算部67に供給される。
切替部61は、係数選択部64の制御に基づいて、その出力先を、非対称係数フィルタ62側と非対称係数フィルタ63側とのうちのいずれか一方に切り替える。
非対称係数フィルタは62は、例えば、図15に示されるようなフィルタ係数(重み値)を保持し、入力された注目ブロック(Nr,Nrn)に対して、このフィルタ係数を利用して非対称フィルタ処理を施す。
なお、図15において、左側の四画内に記載されている「1」は、画素値Nrに対するフィルタ係数を示しており、右側の四画内に記載されている「−1」は、画素値Nr-1に対するフィルタ係数を示している。また、ここでは、フィルタ係数「1」と「−1」とのうちの、フィルタ係数「1」に対応する画素値(即ち、図15の例では、画素値Nrであり、後述する図16の例では、画素値Nr-1である)側にフィルタ処理が施されるとする。
具体的には、例えば、非対称係数フィルタ62は、次の式(10)と式(11)のそれぞれを演算し、それらの演算結果Nr62,Nrn62の組、即ち、(Nr62,Nrn62)=(Nr-Nrn,0)を乗算部66に供給する。
Nr62= Nr×1 + Nrn×(−1) = Nr Nrn ・・・(10)
Nrn62 = 0 ・・・(11)
これに対して、非対称係数フィルタは63は、例えば、図16に示されるようなフィルタ係数(重み値)を保持し、入力された注目ブロック(Nr,Nrn)に対して、このフィルタ係数を利用して非対称フィルタ処理を施す。
なお、図16において、左側の四画内に記載されている「−1」は、画素値Nrに対するフィルタ係数を示しており、右側の四画内に記載されている「1」は、画素値Nr-1に対するフィルタ係数を示している。
従って、具体的には、例えば、非対称係数フィルタ63は、次の式(12)と式(13)のそれぞれを演算し、それらの演算結果Nr63,Nrn63の組、即ち、(Nr63,Nrn63)=(0,Nrn-Nr)を乗算部66に供給する。
Nr63= 0 ・・・(12)
Nrn63= Nr×(−1) + Nrn×1 = Nrn − Nr ・・・(13)
係数選択部64は、動き検出部24から供給された注目画素(画素値Nrを有する画素)の移動量(ベクトル)vに基づいて、その移動方向を検出する。
そして、係数選択部64は、移動方向が「+」であるという検出結果の場合、即ち、上述した図12に示されるように、ステップエッジの移動方向が空間方向Xである場合、切替部61の出力先を非対称係数フィルタ62側に切り替える。
これにより、注目ブロック(Nr,Nrn)は、非対称係数フィルタ62に供給される一方、非対称係数フィルタ63への供給が禁止される。
従って、非対称係数フィルタ62は、注目画素(ステップエッジ)の移動方向が「+(=空間方向X)」である場合に利用されるフィルタ、即ち、注目画素の画素値Nr(図12の例では、画素n+4の画素値E)の方を補正するためのフィルタであるといえる。
これに対して、係数選択部64は、移動方向が「−」であるという検出結果の場合、即ち、上述した図13に示されるように、ステップエッジの移動方向が空間方向Xと逆方向である場合、切替部61の出力先を非対称係数フィルタ63側に切り替える。
これにより、注目ブロック(Nr,Nrn)は、非対称係数フィルタ63へ供給される一方、非対称係数フィルタ62への供給が禁止される。
従って、非対称係数フィルタ63は、注目画素(ステップエッジ)の移動方向が「−(=空間方向Xと逆方向)」である場合に利用されるフィルタ、即ち、注目画素と空間方向Xに隣接する画素の画素値Nrn(図13の例では、画素n+5の画素値B)の方を補正するためのフィルタであるといえる。
ゲインG決定部65は、動き検出部24から供給された注目画素(ステップエッジ)の移動量v(絶対値)に基づいて、上述した式(7)や式(9)で利用されるゲインGを決定して、乗算部66に供給する。
具体的には、例えば、ゲインGは、上述した式(5)で説明したように、移動量v(絶対値)に比例してその値が可変する可変ゲインである。そこで、ゲインG決定部65は、上述した式(5)に示されるような比例定数Cを保持しておき、動き検出部24から供給された移動量vを次の式(14)に代入して演算し、その演算結果をゲインGとして決定して、乗算部66に出力してもよい。
G = C × v ・・・(14)
或いは、ゲインG決定部65は、図17に示されるようなテーブル、即ち、移動量vとゲインG(なお、図17の例では、ゲインGではなくゲインGvと記述されているが、この意味については後述する)との関係を示すテーブルを保持しておき、このテーブルを参照して、ゲインGを決定して、乗算部66に出力してもよい。
以上説明したように、注目画素(ステップエッジ)の移動方向が「+(=空間方向X)」である場合、乗算部66には、非対称係数フィルタ62のフィルタ処理の結果であるブロック(Nr−Nrn,0)が供給されるとともに、ゲインG決定部65により決定されたゲインGが供給されることになる。従って、乗算部66は、次の式(15)と式(16)のそれぞれを演算し、それらの演算結果Nr66+,Nrn66+の組、即ち、(Nr66+,Nrn66+)=(R,0)を加算部67に供給する。
Nr66+ = (Nr-Nrn)×G = R ・・・(15)
Nrn66+ = 0×G = 0 ・・・(16)
これに対して、注目画素(ステップエッジ)の移動方向が「−(=空間方向Xとは逆方向)」である場合、乗算部66には、非対称係数フィルタ63のフィルタ処理の結果であるブロック(0,Nrn−Nr)が供給されるとともに、ゲインG決定部65により決定されたゲインGが供給されることになる。従って、乗算部66は、次の式(17)と式(18)のそれぞれを演算し、それらの演算結果Nr66-,Nrn66-の組、即ち、(Nr66-,Nrn66-)=(0,−R)を加算部67に供給する。
Nr66- = 0×G = 0 ・・・(17)
Nrn66- = −(Nr-Nrn)×G = −R ・・・(18)
以上の説明をまとめると、結局、図14の例では、切替部61乃至乗算部66が、注目ブロック(Nr,Nrn)の補正量を決定し、加算部67に供給することになる。
そこで、加算部67は、注目ブロック(Nr,Nrn)に対して、乗算部66から出力された補正量を示すブロックを加算し、その加算結果を外部の切替部25に出力する。
即ち、注目画素(ステップエッジ)の移動方向が「+(=空間方向X)」である場合には、乗算部66からは、補正量を示すブロック(R(=(Nr-Nrn)×G),0)が出力されてくるので、加算部67は、注目ブロック(Nr,Nrn)に対して、このブロック(R,0)を加算し、その加算結果であるブロック(Nr+R,Nrn)を、補正された注目ブロックとして切替部25に出力する。
換言すると、この場合、加算部67は、上述した式(7)に、注目ブロック(Nr,Nrn)のうちの注目画素の画素値Nrを代入するとともに、乗算部66から供給されたブロック(R,0)のうちの補正値R(=(Nr-Nrn)×G)を代入して式(7)を演算し、その演算結果を、注目画素の補正された画素値Nr'として出力しているとも言える。
これに対して、注目画素(ステップエッジ)の移動方向が「−(=空間方向Xとは逆方向の場合)」である場合には、乗算部66からは、補正量を示すブロック(0,−R)が出力されてくるので、加算部67は、注目ブロック(Nr,Nrn)に対して、このブロック(0,−R)を加算し、その加算結果であるブロック(Nr,Nrn−R)を、補正された注目ブロックとして切替部25に出力する。
換言すると、この場合、加算部67は、上述した式(9)に、注目ブロック(Nr,Nrn)のうちの注目画素と空間方向Xに隣接する画素の画素値Nrnを代入するとともに、乗算部66から供給されたブロック(0,−R)のうちの補正値−R(=−(Nr-Nrn)×G)を代入して式(9)を演算し、その演算結果を、空間方向Xに注目画素と隣接する画素の補正された画素値Nrn'として出力しているとも言える。
以上、図7のホールド型表示装置12の表示素子(図7のホールド型表示装置12が液晶表示装置で構成される場合には液晶)の応答速度は一定であるという仮定、即ち、時定数τは一定であるという仮定に基づく、画像処理部22の実施の形態の一例について説明した。
ところで、上述したように、実際の時定数τは一定ではなく、旧画素値と新画素値(目標画素値)とのそれぞれに応じて異なることになる。そこで、時定数τを特定するために、例えば、図18に示されるようなパネルテーブルを使用することができる。
図18のパネルテーブルにおいて、各四角の中には、対応する旧画素値から、対応する目標(新)画素値に変更する指令がなされた場合に、液晶の光のレベルが、旧画素値に対応する光のレベルから、新画素値に対応する光のレベルに到達するまでに要する時間(msec)、
即ち、応答時間(msec)の例が記述されている。
例えば、2行目の1列目の四角には「20」が記述されているが、この「20」は、画素値「192」に対応する光のレベルから、画素値「64」に対応する光のレベルに変更されるまでの、液晶の応答時間が20msecであることを示している。
一方、2行目の1列目の四角には「12」が記述されているが、この「12」は、逆に画素値「64」に対応する光のレベルから、画素値「192」に対応する光のレベルに変更されるまでの、液晶の応答時間が12msecであることを示している。
従って、上述したように、一般的にフレーム時間T(図2等参照)は、16.6msecとされているので、画素値が「64」から「192」に変更する場合(それに対応する光のレベルに変更する場合)、液晶の応答時間はフレーム時間Tと比較して早いので、液晶の光のレベルは、フレーム時間よりも前に目標レベル(画素値「192」に対応するレベル)に到達できる。
ところが、画素値が「192」から「64」に変更する場合(それに対応する光のレベルに変更する場合)、液晶の応答時間はフレーム時間Tと比較して遅いので、液晶の光のレベルは、フレーム時間が経過しても、即ち、次のフレームに対する新たな目標画素値の指示がなされても、その前の目標レベル(画素値「64」に対応するレベル)に到達できないことになる。
このように、画像処理部22は、ホールド型表示装置12に関するパネルテーブルを保持していれば、時定数τを考慮した、より正確な画素値の補正を行うことができる。
しかしながら、図18のパネルテーブルには、説明を簡略するために、画素値が「64」と「192」といった単なる2つの画素値の関係しか含まれていないが、実際のパネルテーブルには、さらに多くの画素値同士の関係(情報)が含まれることになる。従って、このような多くの情報を含むパネルテーブル利用して、画素値の補正値を演算させるためには、画像処理部22の回路規模が大きくなってしまうという課題が発生してしまう。
一方、画像処理部22が、上述した図14に示されるような非対称ハイパスフィルタで構成されることの効果のひとつは、回路規模が縮小可能であることである。
従って、画像処理部22が、非対称ハイパスフィルタと、パネルテーブルを利用する演算部(図示せず)とが混在されて構成されると、パネルテーブルが有する課題のために、非対称ハイパスフィルタの効果は薄れてしまうことになる。即ち、画像処理部22の回路規模の縮小レベルはわずかな範囲に留まってしまうことになる。
換言すると、従来のパネルテーブルを単に利用しただけでは、液晶の応答速度(時定数τ)の影響も加味した画素値の補正を行うことが可能な画像処理部22を、非対称ハイパスフィルタとして構成させることは困難である。
そこで、本願出願人は、このパネルテーブルに基づいて、液晶の時間応答(時定数τ)と、旧画素値と新画素値とのそれぞれの関係を関数近似し、それらの近似関数の出力値のそれぞれを可変ゲインとみなし、これらの可変ゲインを利用してハイパスフィルタの特性を可変させることで、液晶の応答速度(時定数τ)の影響も加味した画素値の補正を行うことが可能になると思想した。
そして、本願出願人は、このような思想に基づいて、液晶の実際の応答速度(時定数τ)の影響も加味した画素値の補正を行うことが可能な非対称ハイパスフィルタ、即ち、回路規模の大幅な縮小が可能な画像処理部22をさらに発明した。
即ち、本願出願人は、例えば、図14に示されるような非対称ハイパスフィルタで構成される画像処理部22を発明し、さらに、液晶の実際の応答速度(時定数τ)の影響も加味した画素値の補正を行うことを可能とするために、例えば、図19に示される構成のゲインG決定部65を発明した。
図19に示されるように、このゲインG決定部65は、目標レベル依存ゲインGl決定部71乃至乗算部75から構成される。
目標レベル依存ゲインGl決定部71は、液晶の応答(時定数τ)と、目標画素値(新画素値)との関係を示す近似関数そのものや、それを示すテーブル等の情報を予め保持し、その情報に基づいて、第1のゲインを決定する。
なお、ここでは、目標画素値(新画素値)は、入力画像のうちの注目ブロック(Nr,Nrn)の画素値Nr,Nrnのうちのいずれか一方になる。注目ブロック(Nr,Nrn)は、注目画素に対応する注目液晶(図7のホールド型表示装置12の注目表示素子)と、その注目液晶と空間方向Xに隣接する液晶とのそれぞれに対する、目標レベル(新画素値)を示しているからである。
このため、図17には、ゲインG決定部65への入力画像の入力は図示されていなかったものが、図19の例では、目標レベル依存ゲインGl決定部71への入力画像の入力が図示されている。
以上のことから、第1のゲインは、液晶の応答(時定数τ)と、目標画素値(新画素値)とに依存するゲインであるといえる。そこで、以下、第1のゲインを、目標レベル依存ゲインGlと称する。
具体的には、例えば、目標レベル依存ゲインGl決定部71は、図20に示されるようなテーブルを保持することができる。即ち、図20は、上述した図18のパネルテーブルに基づいて(実際には、さらに多くの情報を含むパネルテーブルに基づいて)生成されたテーブルの例である。
図20に示されるように、新画素値が「192」である場合の、目標レベル依存ゲインGlは低い値になっている。なぜならば、上述した図18のパネルテーブルにおいて、画素値が「64」から「192」に変更する場合(それに対応する光のレベルに変更する場合)、液晶の応答時間はフレーム時間Tと比較して早いので、補正量をさほど大きくする必要が無いためである。このように、図20に示されるテーブルは、液晶の応答(時定数τ)と、目標画素値(新画素値)との関係を近似的に表現していると言える。
従って、目標レベル依存ゲインGl決定部71は、入力された注目ブロック(Nr,Nrn)のうちの画素値Nrまたは画素値Nrnを目標(新)画素値とし、図20のようなテーブルを参照することで、目標レベル依存ゲインGlを直ちに決定し、乗算部73に出力することができる。
ところで、図12に示されるように、ステップエッジが空間方向Xに動いている場合、そのエッジ部分のうちの注目画素n+4が補正対象となる。この場合、補正対象の画素n+4において、画素値Eが補正前の新画素値(目標画素値)を示し、画素値Bが旧画素値(図3参照)を示すことになる。即ち、この場合、画素n+4に対応する液晶(ホールド型表示装置12に表示素子)への次の指令では、小さい画素値Bから大きな画素値Eへの変更が指示される(画素n+4に対応する液晶の入力電圧が、画素値Bに対応する電圧レベルから、画素値Eに対応する電圧レベルに変化する)ことになる。
これに対して、図13に示されるように、ステップエッジが空間方向Xと逆方向に動いている場合、そのエッジ部分のうちの注目画素n+4と空間方向Xに隣接する画素n+5が補正対象となる。この場合、補正対象の画素n+5において、画素値Bが補正前の新画素値(目標画素値)を示し、画素値Eが旧画素値を示すことになる。即ち、この場合、画素n+5に対応する液晶への次の指令では、大きい画素値Eから小さな画素値Bへの変更が指示される(画素n+5に対応する液晶の入力電圧が、画素値Eに対応する電圧レベルから、画素値Bに対応する電圧レベルに変化する)ことになる。
このように、同一の新画素値(液晶の入力電圧の新レベルが同一)であっても、旧画素値からその新画素値への変化の方向(液晶の入力電圧の旧レベルから新レベルへの変化の方向)は異なる。即ち、図12の例では、変化の方向は、小さな旧画素値から大きな新画素に向かう方向となる。これに対して、図13の例では、変化の方向は、大きな旧画素値から小さな新画素に向かう方向となる。
一方、新画素値がたとえ同一であっても、変化の方向によって、液晶の応答(時定数τ)は同一であるとは限らない。即ち、変化の方向が、大きな旧画素値から小さな新画素値の方向である場合(入力電圧が大きな旧レベルから小さな新レベルに変更された場合)の液晶の応答(時定数τ)と、変化の方向が、小さな旧画素値から大きな新画素値の方向である場合(入力電圧が小さな旧レベルから大きな新レベルに変更された場合)の液晶の応答(時定数τ)とでは、必ずしも同一であるとは限らない。
なぜならば、液晶型表示装置等として構成される図7のホールド型表示装置12は、いわゆるγ特性を有しているからである。即ち、ホールド型表示装置12は、次の表示対象フレームの注目画素(注目液晶)に対して指示する画素値(入力電圧の電圧レベル)が小さいときは出力光(明るさ)の変化は緩やかであるが、その画素値(入力電圧の電圧レベル)が大きくなると出力光(明るさ)の変化が急激に大きくなる、といった特性を有しているからである。また、このため、ホールド型表示装置12にはγ補正がかけられていることもあるからである。
従って、同一の新画素値であっても、旧画素値から新画素値の変化の方向に応じて、目標レベル依存ゲインGlも異なる値を使用する方が好適な場合もでてくる。
このような場合、目標レベル依存ゲインGl決定部71は、図20のようなテーブルを単に1種類だけ保持するのではなく、例えば、図20のテーブルを、小さい旧画素値から大きい新画素値に変わるとき用のテーブルとして保持するとともに、さらに、図21に示されるような、大きい旧画素値から小さい新画素値に変わるとき用のテーブルとして保持すると好適である。
なお、図20のテーブルと図21のテーブルとの横軸、即ち、目標(新)画素値の軸のスケール(座標位置)は、特に一致しているわけではない。
この場合、図19の目標レベル依存ゲインGl決定部71は、非対称係数フィルタ62と非対称係数フィルタ63とのそれぞれの出力を監視し、非対称係数フィルタ62から出力があった場合には、入力された注目ブロック(Nr,Nrn)のうちの画素値Nrを目標(新)画素値とし、画素値Nrnを旧画素値とし、Nr>Nrnのときには図20のテーブルを、Nr<Nrnのときには図21のテーブルを、それぞれ参照することで、目標レベル依存ゲインGlを決定し、乗算部73に出力する。
これに対して、非対称係数フィルタ63から出力があった場合には、入力された注目ブロック(Nr,Nrn)のうちの画素値Nrnを目標(新)画素値とし、画素値Nrを旧画素値として、Nr>Nrnのときには図21のテーブルを、Nr<Nrnのときには図20のテーブルを、それぞれ参照することで、目標レベル依存ゲインGlを決定し、乗算部73に出力する。
このため、図17には、非対称フィルタ62と非対称フィルタ63のそれぞれから、入力画像のゲインG決定部65への入力は図示されていなかったものが、図19の例では、非対称フィルタ62と非対称フィルタ63のそれぞれから、目標レベル依存ゲインGl決定部71への入力が図示されている。
このように、目標レベル依存ゲインGl決定部71により、液晶の応答速度(時定数τ)と新画素値との関係を示す可変ゲインである、目標レベル依存ゲインGlが決定される。従って、後は、液晶の応答速度(時定数τ)と旧画素値との関係の近似を示す可変ゲインが決定されればよく、例えば、図19の例では、このような可変ゲインを決定するブロックとして、差分値依存ゲインGe決定部72が設けられている。
ただし、上述したように、ここでは、旧画素値自体の取り扱いは行われていない。そこで、ここでは、旧画素値に対応する情報として、例えば、新画素値と旧画素値との差分値(一次微分値)を取り扱うことにする。具体的には、例えば、上述したように非対称係数フィルタ62から出力されるブロック(Nr-Nrn,0)のうちの値Nr-Nrnとは、結局、注目画素における、新画素値と旧画素値との差分値を示している。同様に、非対称係数フィルタ63から出力されるブロック(0,Nrn-Nr)のうちの値Nrn-Nrとは、結局、注目画素と空間方向Xに隣接する画素における、新画素値と旧画素値との差分値を示している。そこで、差分値依存ゲインGe決定部72は、旧画素値に対応する情報として、例えば、非対称係数フィルタ62または非対称係数フィルタ63の出力を使用することにする。
このため、図17には、非対称フィルタ62と非対称フィルタ63のそれぞれから、入力画像のゲインG決定部65への入力は図示されていなかったものが、図19の例では、非対称フィルタ62と非対称フィルタ63のそれぞれから、差分値依存ゲインGe決定部72への入力が図示されている。
この場合、差分値依存ゲインGe決定部72は、液晶の応答(時定数τ)と、目標画素値(新画素値)と旧画素値の差分値との関係を示す近似関数そのものや、それを示すテーブル等の情報を予め保持し、その情報と、非対称フィルタ62または非対称フィルタ63のの出力とに基づいて、第2のゲインを決定する。
このように、第2のゲインは、液晶の応答(時定数τ)と、目標画素値(新画素値)とと旧画素値の差分値とに依存するゲインであるといえる。そこで、以下、第2のゲインを、差分値レベル依存ゲインGeと称する。
具体的には、例えば、差分値依存ゲインGe決定部72は、図22に示されるようなテーブルを保持することができる。
この場合、差分値依存ゲインGe決定部72は、非対称係数フィルタ62から出力されるブロック(Nr-Nrn,0)のうちの値Nr-Nrn、または、非対称係数フィルタ63から出力されるブロック(0,Nrn-Nr)のうちの値Nrn-Nrを、差分値として抽出し、抽出された差分値と、図22等のテーブルを参照することで、差分値依存ゲインGeを直ちに決定し、乗算部73に出力することができる。
乗算部73は、目標レベル依存ゲインGl決定部71から供給された目標レベル依存ゲインGlと、差分値依存ゲインGe決定部72から供給された差分値依存ゲインGeとを乗算し、その乗算結果、即ち、値Ge×Glを乗算部75に供給する。
移動速度依存ゲインGv決定部74は、液晶の応答速度(時定数τ)を考慮しない場合に利用された上述したゲイン、即ち、動き検出部24から供給されるステップエッジ(注目画素)の移動量(速度)vに依存するゲインを、第3のゲインとして決定し、乗算部75に供給する。このように、第3のゲインは、ステップエッジ(注目画素)の移動量vに依存するゲインである。従って、以下、第3のゲインを、移動速度依存ゲインGvと称する。
即ち、移動速度依存ゲインGv決定部74は、上述した式(14)に示される比例定数Cを保持しておき、動き検出部24から供給された移動量vを上述した式(14)に代入して演算し、その演算結果を移動速度依存ゲインGvとして決定して、乗算部75に出力することができる。
或いは、移動速度ゲインGv決定部74は、上述した図17に示されるようなテーブル、即ち、移動量vと移動速度依存ゲインGvとの関係を示すテーブルを保持しておき、このテーブルを参照して、移動速度依存ゲインGvを決定して、乗算部66に出力してもよい。
乗算部75は、乗算部73から供給された値Ge×Glと、移動速度ゲインGv決定部74から供給された移動速度依存ゲインGvとを乗算し、その乗算結果を最終的なゲインGとして外部の乗算部66に対して出力する。
即ち、図19の例のゲインG決定部65は、結局、次の式(19)の右辺の演算結果と等価な値を最終的なゲインGとして決定し、外部の乗算部66に出力する。
G = Ge × Gl × Gv ・・・(19)
このように、液晶の応答速度(時定数τ)を考慮しない(一定であると仮定する)場合、ゲインGは、単に移動速度依存ゲインGvそのものとなるが、液晶の応答速度(時定数τ)を考慮する場合、ゲインGは、移動速度依存ゲインGvに対して、液晶の応答速度(時定数τ)の近似を示す値Ge×Gl(目標レベル依存ゲインGlと差分値依存ゲインGeとの積)が乗算された値になる。
以上、画像処理部22の形態の一例として、上述した図7の画像処理部22の他、上述した式(7)または式(9)を演算するのと等価なハイパスフィルタ処理を施す非対称ハイパルスフィルタとして構成される図14の画像処理部22について説明した。
さらに、液晶の実際の応答速度(時定数τ)の影響も加味した画素値の補正を行うことが可能な非対称ハイパスフィルタで構成される画像処理部22の一形態として、図14のゲインG決定部65が図19に示されるように構成される例について説明した。
ただし、画像処理部22は、図7、図14、または図19の形態に限定されず、様々な形態を取ることが可能である。即ち、上述した式(7)若しくは式(9)を演算するのと等価なハイパスフィルタ処理を施す非対称ハイパルスフィルタであれば、その形態は特に限定されず、画像処理部22として適用することが可能である。ただし、液晶の実際の応答速度(時定数τ)の影響も加味した画素値の補正をさらに行う場合には、非対称ハイパスフィルタは、さらに式(19)を演算するのと等価なゲインGを決定する必要がある。
具体的には、例えば、画像処理部22は、図23に示されるような非対称ハイパスフィルタとして構成することもできる。
図23の例では、画像処理部22は、差分値演算部(係数フィルタ部)81乃至加算部87から構成されている。
差分値演算部(係数フィルタ部)81は、図14の切替部61乃至係数選択部64のそれぞれの機能を併せ持っている。即ち、差分値演算部81からは、ブロック(Nr-Nrn,0)、またはブロック(0,Nrn-Nr)が出力されて、差分値依存ゲインGe決定部82と乗算部83に供給される。
差分値依存ゲインGe決定部82は、図19の差分値依存ゲインGe決定部72と基本的に同様の機能と構成を有している。即ち、差分値依存ゲインGe決定部82からは、差分値依存ゲインGeが出力されて、乗算部83に供給される。
乗算部83は、差分値演算部(係数フィルタ部)81から供給されたブロック(Nr-Nrn,0)、またはブロック(0,Nrn-Nr)と、差分値依存ゲインGe決定部82供給された差分値依存ゲインGeとを乗算し、その乗算結果、即ち、ブロック(Ge×(Nr-Nrn),0)、またはブロック(0,Ge×(Nrn-Nr))を乗算部85に供給する。
目標レベル依存ゲインGl決定部84は、図19の目標レベル依存ゲインGl決定部71と基本的に同様の機能と構成を有している。即ち、目標レベル依存ゲインGl決定部84からは、目標レベル依存ゲインGlが出力されて、乗算部85に供給される。
乗算部85は、乗算部83から供給されるブロック(Ge×(Nr-Nrn),0)、またはブロック(0,Ge×(Nrn-Nr))と、目標レベル依存ゲインGlから供給された目標レベル依存ゲインGlとを乗算し、その乗算結果、即ち、ブロック(Gl×Ge×(Nr-Nrn),0)、またはブロック(0,Gl×Ge×(Nrn-Nr))を補正値決定部86に供給する。
即ち、図23の例では、補正値決定部86に入力されるブロック(Gl×Ge×(Nr-Nrn),0)、またはブロック(0,Gl×Ge×(Nrn-Nr))は、液晶の応答速度(時定数τ)が既に考慮されたブロックであるといる。換言すると、補正値決定部86の処理前までに、液晶の応答速度(時定数τ)に応じて非対称ハイパスフィルタ22の特性が既に変化されている。
そこで、補正値決定部86は、動き検出部24から供給される移動速度vに応じて、非対称ハイパスフィルタ22の特性をさらに変化させることで、補正値を求めることができる。
即ち、補正値決定部86は、図19の移動速度依存ゲインGv決定部74、および乗算部75、並びに、図14の乗算部66のそれぞれの機能を併せ持っており、ブロック(R(=Gv×Gl×Ge×(Nr-Nrn)),0)、またはブロック(0,−R(=Gv×Gl×Ge×(Nrn-Nr)))を生成し、加算部87に供給する。
加算部87は、図14の加算部67と基本的に同様の機能と構成を有している。また、加算部87に入力される情報は、図14の加算部67と同様の情報である。即ち、加算部87には、上述したように、補正値決定部86から出力されるブロック(R,0)、またはブロック(0,−R)と、注目ブロック(Nr,Nrn)とが入力される。
従って、図23の加算部87からの出力、即ち、図23の画像処理部(非対称ハイパスフィルタ)22からの出力は、ブロック(Nr+R,Nrn)またはブロック(Nr,Nrn-R)となり、図14の加算部67からの出力、即ち、図14の画像処理部(非対称ハイパスフィルタ)22からの出力と基本的に同一となる(ただし、図14のゲイン決定部65が、図19の構成を有している場合)。
以上のことから、画像処理部22を非対称ハイパスフィルタとして構成する場合、その出力が同一であれば、その内部の構成は特に限定されず、図14や図23の構成の他、図示はしないが、様々な構成を取ることが可能である。
ところで、上述したように、動き検出部24から供給される移動量vが大きくなるほど、画素値の補正値Rも大きくなる。それに伴い、補正後の画素値も大きくなる。例えば、注目画素の画素値Nrが補正される場合(上述した式(7)参照)、注目画素の補正後の画素値Nr+Rは、補正値Rが大きくなればなるほど大きくなる。
一方、液晶型表示装置等として構成される図7のホールド型表示装置12は、所定のダイナミックレンジを有している。なお、ダイナミックレンジとは、信号の再現能力を表す数値であって、一般的には、最小値と最大値の比率をdB単位で表現されたもの、或いは、ビット数で表現されたものを指す。ただし、以下においては、説明を容易なもの(他との比較を容易なもの)とするために、信号の再現能力の最大値を画素値に換算した値を、ダイナミックレンジと称して説明していく。
従って、図24に示されるように、補正値Rが大きくなると、補正後の画素値(図24の例では、注目画素n+4の補正後の画素値E+R)が、ダイナミックレンジを越えてしまう場合がでてくる。
このような場合、ホールド型表示装置12では、ダイナミックレンジまでしか再現できない(ダイナミックレンジに対応するレベルの光しか出力できない)ので、ダイナミックレンジ以上の画素値を指令しても(例えば、図24の例では、画素n+4の指令として、ダイナミックレンジ以上の画素値E+Rを指令しても)、結局、ダイナミックレンジに対応する画素値を指令した場合と変わらないことになってしまう。即ち、図24の×(バツ)印で示されるように、補正値Rのうちの、「(画素値E+R)−(ダイナミックレンジ)」に対応する分の補正がかけられないことになってしまう。
上述したように、補正値Rは、人間の追従視に起因する動きボケを解消するための補正量であって、上述した図10で説明したように、人間の目の網膜に本来蓄積される光量と、実際に蓄積される光量との差分値、即ち、不足光量に対応する値である。従って、人間の目の網膜には、補正値Rのうちの、「(画素値E-R)−(ダイナミックレンジ)」に対応する分の光量は蓄積されないことになり、その結果、動きボケの解消効果が薄れてしまう、といった問題が発生してしまう。
そこで、この問題を解決するためには、補正対象となる画素を、上述した例のように、ステップエッジのエッジ部分に対応する1つの画素(図24の例では、画素n+4)だけとするのではなく、図25に示されるように、その画素(図25の例でも、画素n+4)を起点としてステップエッジの移動方向とは逆方向に連続して並ぶ画素(図25の例では、画素n+4乃至画素n-8)のうちの、2以上の画素(図25の例では、画素n+4と画素n+3)とすればよい。
ただし、この場合、図7、図14、または図23の画像処理部22を単純なフィルタで構成するだけでは、2以上の画素を補正対象とする補正を実現することは困難である。2以上の画素のそれぞれにおける移動量v(動き検出部24によりそれぞれ検出される移動量v)が異なることがあるからである。
そこで、例えば、画像処理部22が図7のように構成される場合、補正部32が、補正値Rを、ステップエッジのエッジ部分に対応する画素(図25の例では、画素n+4)から、そのステップエッジの移動方向とは逆方向(図25の例では、空間方向Xと逆方向)に伝播させる処理を実行すればよい。換言すると、補正部32が、ステップエッジのエッジ部分に対応する1つの画素(図24の例では、画素n+4)を起点として、ステップエッジの移動方向とは逆方向に連続して並ぶ2以上の画素(図25の例では、画素n+4と画素n+3)のそれぞれの画素値に補正値Rを分配して加えればよい。
補正値Rの分配方法やその処理方法自体は、特に限定されず、例えば、補正部32が、最終的な補正値Rを求めた後に、補正対象の2以上の画素のそれぞれの補正値として、補正値Rを所定の比率で分配した値を決定し、分配されたそれぞれの補正値を、対応する画素の画素値のそれぞれに加える、といった処理を実行してもよい。
このような処理を補正部32が実行した場合の補正結果は、例えば、図25に示されるようになる。即ち、図25の例では、画素n+4と画素N+3が補正対象の画素とされ、「画素n+4の補正値:画素n+3の補正値=2:1」の比率で分配され、その結果、画素n+4の補正値=2R/3と、画素n+3の補正値=R/3と、それぞれ決定されている。
或いは、例えば、画像処理部22が図23のように構成されている場合、補正値決定部86が、図26に示されるような、移動速度依存ゲインGvを決定するためのテーブルを有し、補正対象の2以上の画素のそれぞれについて、図26のテーブルを参照して、それぞれの移動速度依存ゲインGvを決定し、決定された2以上の移動速度依存ゲインGvのそれぞれを用いて2以上のゲインGのそれぞれを求め、それらの2以上のゲインGのそれぞれに基づいて、補正対象の2以上の画素のそれぞれの補正値を求めることもできる。
具体的には、例えば、図25に示されるように、ステップエッジが空間方向Xに移動し、ステップエッジのエッジ部分が画素n+4である場合、補正値決定部24は、画素n+4における移動量vを動き検出部24から取得し、移動量vと、図26のテーブルのうちの線Gvnrとの関係から、画素n+4における移動速度依存ゲインGvを決定する。同様に、補正値決定部24は、移動量vと、図26のテーブルのうちの線Gvnr-1との関係から、画素n+3における移動速度依存ゲインGvを決定する。
なお、以下、画素n+4における移動速度依存ゲインGvを、移動速度依存ゲインGvn+4と称し、画素n+3における移動速度依存ゲインGvを、移動速度依存ゲインGvn+3と称する。
次に、補正値決定部86は、次の式(20)と式(21)のそれぞれを演算して、画素n+4における補正値(以下、補正値Rn+4と称する)と、画素n+3における補正値(以下、補正値Rn+3と称する)のそれぞれを決定し、加算部87に供給する。
Rn+4 = (Nr-Nrn)×Ge×Gl×Gvn+4 = (E-B)×Ge×Gl×Gvn+4・・・(20)
Rn+3 = (Nr-Nrn)×Ge×Gl×Gvn+3 = (E-B)×Ge×Gl×Gvn+3・・・(21)
このようにして、加算部87には、画素n+4における補正値Rn+4と、画素n+3における補正値Rn+3のそれぞれが供給される。また、この場合、加算部87には、入力画像としては、画素n+4の画素値Nr(図25の例では、画素値E)と、画素n+3の画素値(図25の例では、画素値E)が供給される。
従って、加算部87は、画素n+4の画素値Eと、画素n+4における補正値Rn+4とを加算し、その加算結果(E+Rn+4)を、画素n+4の補正された画素値として切替部25に供給する。また、加算部87は、画素n+3の画素値Eと、画素n+3における補正値Rn+3とを加算し、その加算結果(E+Rn+3)を、画素n+3の補正された画素値として切替部25に供給する。
なお、ステップエッジが空間方向Xと逆方向に進んでいる場合については、補正対象が画素n+5と画素n+6となり、差分値演算部81から出力される差分値が差分値(Nrn-Nr)=(B-E)となることを除いては、基本的に上述した処理と同様の処理が実行されることになる。従って、ここでは、その詳細な説明については省略する。
次に、図27のフローチャートを参照して、本実施の形態の画像処理装置(図7)の画像処理について説明する。
はじめに、ステップS1において、画像処理装置11は、表示対象フレーム又はフィールドの画像データを入力する。詳細には、表示対象フレーム又はフィールドの画像データは、画像処理部21、画像処理部22、参照画像記憶部23、および、動き検出部24のそれぞれに入力される。
ステップS2において、画像処理装置11(画像処理部21、画像処理部22、および、動き検出部24等)は、表示対象フレーム又はフィールドを構成する複数の画素の中から、注目画素を設定する。
ステップS3において、動き検出部24は、表示対象フレーム又はフィールドの画像データと、参照画像記憶部23に記憶されている参照画像(表示対象フレーム又はフィールドの1つ前のフレーム又はフィールド)の画像データとを比較することで、注目画素に動きがあるか否かを判定する。
ステップS3において、注目画素に動きがないと判定された場合、その判定結果が切替部25に供給されるので、切替部25は、その入力を画像処理部21側に切り替える。すると、ステップS4において、画像処理部21が、注目画素に対して所定の画像処理を施すことで、注目画素の画素値を補正し、補正した画素値を、切替部25を介して表示制御部26に供給する。
これに対して、ステップS3において、注目画素に動きがあると判定された場合、その判定結果が切替部25に供給されるので、切替部25は、その入力を画像処理部22(補正部32)側に切り替える。
このとき、動き検出部24は、ステップS5において、注目画素の移動量(注目画素に対応するオブジェクトの、フレーム又はフィールド間の移動量)を演算し、ステップエッジ検出部31と補正部32のそれぞれに供給する。
ステップS6において、ステップエッジ検出部31は、注目画素の画素値と、所定の方向(いまの場合、空間方向Xのうちのいずれかの方向であり、動き検出部24より供給される移動量(移動方向)に従って決定される)に隣接する画素の画素値との差分値を演算し、演算した差分値と、注目画素の画素値とを補正部32に供給する。
ステップS7において、補正部32は、注目画素の移動量と差分値に基づいて、注目画素の画素値を補正し、補正した画素値を、切替部25を介して表示制御部26に供給する。
即ち、上述したように、注目画素の移動量v(即ち、注目画素に対応するステップエッジの移動量v)は、ステップS5の処理で、動き検出部24から補正部32に供給される。また、注目画素の画素値Eと、差分値(E-B)は、ステップS6の処理で、ステップエッジ検出部31から補正部32に供給される。従って、例えば、補正部32は、ステップS7の処理で、供給された移動量v、注目画素の画素値E、および、差分値(E-B)のそれぞれを、上述した式(3)に代入して、式(3)の右辺を演算することで、補正値Rを演算し、注目画素の画素値を、画素値(E+R)に更新する。更新された画素値(E+R)は、切替部25を介して表示制御部26に供給される。
なお、差分値が0の場合、即ち、注目画素がステップエッジのエッジ部分に対応する画素でない場合、式(3)より補正値Rも0となる。即ち、差分値が0の場合、注目画素の画素値は補正されず、そのまま、切替部25を介して表示制御部26に供給されることになる。
或いは、図14の構成例の画像処理部22や、図23の構成例の画像処理部22が、上述した処理を実行することで、ステップS6とS7の処理を実行することもできる。
ステップS8において、表示制御部26は、画像処理部21、または、画像処理部22より切替部25を介して供給された、注目画素の画素値を(必要に応じて、その画素値を、ホールド型表示装置12に対応する信号に変換して)ホールド型表示装置12に出力する。即ち、表示制御部26は、注目画素の画素値を、ホールド型表示装置12の表示素子のうちの、注目画素に対応する表示素子に対する目標レベルとして、ホールド型表示装置12に出力するのである。
ステップS9において、画像処理装置11は、全ての画素の画素値を出力したか否かを判定する。
ステップS9において、全ての画素の画素値がまだ出力されていないと判定された場合、処理はステップS2に戻り、それ以降の処理が繰り返される。即ち、表示対象フレーム又はフィールドを構成する複数の画素のうちの、まだ処理が施されていない画素が順次注目画素として設定され、注目画素の画素値が補正され(0補正も含む)、ホールド型表示装置12に出力される。
以上の処理が繰り返されて、表示対象フレーム又はフィールドを構成する全ての画素の画素値がホールド型表示装置12に供給されると、全ての画素の画素値を出力したと判定され、処理はステップS10に進む。
このとき、ホールド型表示装置12は、その画面を構成する表示素子(液晶等)のそれぞれに対して、供給された画素値(目標レベル)に対応するレベルの電圧をそれぞれ印加し、次のフレーム又はフィールドの表示が指示されるまで(次のフレーム又はフィールドを構成する全ての画素の画素値が供給されるまで)、そのレベルの電圧の印加を保持し続ける。即ち、各表示素子のそれぞれは、対応する画素をホールド表示する。
ステップS10において、画像処理装置11は、動画像を構成する全てのフレーム又はフィールドを処理したか否かを判定する。
ステップS10において、全てのフレーム又はフィールドをまだ処理していないと判定された場合、処理はステップS1に戻り、次のフレーム又はフィールドが、表示対象フレーム又はフィールドとして入力され、それ以降の処理が繰り返される。
そして、動画像を構成する複数のフレーム又はフィールドのうちの、最後のフレーム又はフィールドを構成する全ての画素の画素値が補正され(0補正も含む)、ホールド型表示装置12に出力されると、ステップS10において、全てのフレーム又はフィールドを処理したと判定され、画像処理装置11の画像処理は終了となる。
なお、図27の例では、画像処理装置11は、ホールド型表示装置12に対して、表示対象フレーム又はフィールドを構成する各画素の画素値(補正された画素値)のそれぞれを個別に出力しているが、表示対象フレーム又はフィールドを構成する全ての画素の画素値を補正した後、それらを一括して(表示対象フレーム又はフィールドの画像データとして)出力してもよい。
以上のように、本実施の形態の画像処理装置は、動画像に含まれる、空間的に動きのあるエッジやテクスチャに対して、ホールド型表示装置の時間的な応答特性といった時間方向に対する補正のみならず、そのエッジやテクスチャの移動量といった空間方向に対する補正も行っているので、時間方向に対する補正のみを行う従来のオーバドライブ方式を適用する画像処理装置に比較して、過補正なくエッジを急峻にすることができる。即ち、本実施の形態の画像処理装置は、従来の画像処理装置に比較して、空間的に動きのあるエッジやテクスチャの動きボケの発生の頻度や度合いを抑制することが可能になる。
換言すると、本実施の形態の画像処理装置は、ホールド型表示装置の時間的な応答特性に関わらず、補正の効果、即ち、空間的に動きのあるエッジやテクスチャの動きボケの発生の頻度や度合いを抑制する効果を奏することが可能になる。
また、本実施の形態の画像処理装置は、動画像に含まれる、空間的に動きのあるエッジやテクスチャに対応する画像データを、ステップエッジの画像データの集合に分解し、各ステップエッジの画像データのそれぞれに対して補正を行うので、確実、かつ適切に補正を行うことが可能になるとともに、その補正処理に対する負荷を低減させることも可能になる。
さらに、上述した例では、ステップエッジの移動方向は、空間方向Xとされたが、ステップエッジの移動方向が空間方向Yであっても、画像処理装置11は、上述した一連の処理を実行することで、全く同様に、画素値を補正することができる。即ち、本実施形態においては、空間方向Xのみならず空間方向Yに対する動きボケの発生も抑制することが可能になる。
さらにまた、本実施の形態においては、画像処理により補正を行うので、パネルの応答特性に関わらず、上述した効果を奏することが可能になる。
ところで、本実施の形態が適用される画像処理装置は、上述した図7の構成に限定されず、様々な実施の形態を取ることができる。
例えば、図7の画像処理装置11とホールド型表示装置12とをあわせて1つの画像処理装置とみなし、かつ、切替部25、表示制御部26、および、ホールド型表示装置12を併せて1つの表示部とみなすこともできる。
即ち、このようにして捉えた画像処理装置は、参照画像記憶部23、入力された画像データと、それより1つ前の参照画像データ(参照画像記憶部23から出力される画像データ)により動きを検出する動き検出部24、動き検出部24の結果に基づいて画像データに所定の第1の処理を施す画像処理部24、動き検出部24の結果に基づいて画像データに、第1の処理以外の第2の処理を施す画像処理部22、および、動き検出部24の結果に基づいて画像処理部21および画像処理部22の出力結果のうちの少なくとも一方の出力結果を表示する表示部から構成されることになる。
そして、この表示部は、動き検出部24の結果に基づいて画像処理部21の出力結果および画像処理部22の出力結果のうちのいずれか一方に切り換える切替部25、切替部25により切り替えられた方の出力結果を、各画素に対応した表示素子の目標レベルに応じて所定の形式の信号(例えば、目標レベルに対応する電圧レベルの電圧信号)に変換する表示制御部26、並びに、表示素子の全てに対して、表示制御部26の結果を保持させるホールド型表示装置12から構成されることになる。
また、例えば、本実施の形態が適用される画像処理装置は、図28に示されるように構成することもできる。
即ち、図28は、本実施の形態が適用される画像処理装置の他の構成例を表しており、図7と対応する部分には対応する符号が付されている。
図28に示されるように、画像処理装置51には、図7の画像処理装置11と基本的に同様の構成と機能を有する、画像処理部21乃至表示制御部26のそれぞれが設けられており、それらの基本的な接続形態も図7のそれと同様とされている。
ただし、図7の画像処理装置11においては、動き検出部24の検出結果が、ステップエッジ検出部31に供給されていたが、図28の画像処理装置51においては、動き検出部24の検出結果は、ステップエッジ検出部31に供給されず、逆に、ステップエッジ検出部31の検出結果が、動き検出部24と画像処理部21のそれぞれに供給されている。
画像処理装置51は、このような構成を有しているので、次のように動作することになり、その結果、その処理量を画像処理装置11(図7)に比較して抑制することが可能になる。
即ち、図7の画像処理装置11においては、画像処理部21と画像処理部22のいずれもが、所定のフレーム又はフィールドを構成する全ての画素について、その処理を実行する。換言すると、1つのフレーム又はフィールドに対して、画像処理が2回施されることになる。
これに対して、図28の画像処理装置51においては、先に、ステップエッジ検出部31が、所定のフレーム又はフィールドを構成する複数の画素の中から、ステップエッジに対応する画素を検出し、その検出結果を、補正部32の他、動き検出部24と画像処理部21のそれぞれに供給する。
このため、動き検出部24は、ステップエッジ検出部31により検出された画素(ステップエッジに対応する画素)についてのみ、その処理を実行することができる。即ち、動き検出部24は、ステップエッジ検出部31により検出されたステップエッジが、動きのあるステップエッジであるのか否かを検出するとも言える。
また、画像処理部21は、ステップエッジ検出部31により検出された画素(ステップエッジに対応する画素)のうちの、動き検出部24により動きが検出された画素に対しては、その処理を禁止する。即ち、画像処理部21は、動きのあるステップエッジに対応する画素に対しては、その処理を禁止し、それ以外の画素に対してのみ、その処理を実行する。
このように、図28の画像処理装置51においては、1つの画素に対する画像処理は、画像処理部21と画像処理部22のうちのいずれか一方のみにより実行される。換言すると、1つのフレーム又はフィールドに対して、画像処理が1回だけ施されることになる。さらに、動き検出部24の処理も、ステップエッジに対応する画素についてのみ実行される。従って、画像処理装置51の処理量を、画像処理装置11(図7)のそれに比較して抑制することが可能になる。
また、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。
この場合、図7の画像処理装置11や図28の画像処理装置51は、例えば、図29に示されるようなパーソナルコンピュータにより構成される。
図29において、CPU(Central Processing Unit)101は、ROM(Read Only Memory)102に記録されているプログラム、または記憶部108からRAM(Random Access Memory)103にロードされたプログラムに従って各種の処理を実行する。RAM103にはまた、CPU101が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU101、ROM102、およびRAM103は、バス104を介して相互に接続されている。このバス104にはまた、入出力インタフェース105も接続されている。
入出力インタフェース105には、キーボード、マウスなどよりなる入力部106、ディスプレイなどよりなる出力部107、ハードディスクなどより構成される記憶部108、モデム、ターミナルアダプタなどより構成される通信部109が接続されている。通信部109は、インターネットを含むネットワークを介して他の情報処理装置との通信処理を行う。
なお、この場合、出力部107自身が、ホールド型表示装置であってもよいし、或いは、入出力インタフェース105に必要に応じて接続される、図示せぬ接続部に、外部のホールド型表示装置が接続されてもよい。
入出力インタフェース105にはまた、必要に応じてドライブ110が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体111が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部108にインストールされる。
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
このようなプログラムを含む記録媒体は、図29に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フロッピディスクを含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)を含む)、もしくは半導体メモリなどよりなるリムーバブル記録媒体(パッケージメディア)111により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM102や、記憶部108に含まれるハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本実施の形態の画像処理装置が取り扱う動画像は、上述したように、フレームを単位とすることも可能であるし、フィールドを単位とすることも可能である。そこで、本明細書においては、このような単位を、アクセスユニットとも称する。
さらにまた、以上の説明においては、ホールド型表示装置12の画面を構成する各表示素子(液晶型表示装置の場合、液晶)のそれぞれには、フレーム又はフィールドを構成する複数の画素のうちの所定の1つが対応付けられていたが、1つの画素に複数の表示素子が対応付けられていてもよい。即ち、複数の表示素子で1つの画素を表示してもよい。
液晶型表示装置の液晶の出力レベルの時間応答波形の例を示す図である。 従来のオーバドライブ方式を適用した場合と適用しない場合における、液晶型表示装置の液晶の出力レベルの推移の例を示す図である。 所定のフレーム又はフィールドに含まれる、ステップエッジの例を示す図である。 図3の次のフレーム又はフィールドに含まれる、ステップエッジの例を示す図である。 オーバドライブ方式を採用した液晶型表示装置に、図4のステップエッジを表示させた場合における、追従覗と、動きボケとの関係を説明する図である。 オーバドライブ方式を採用した液晶型表示装置に、図4のステップエッジを表示させた場合における、追従覗と、動きボケとの関係を説明する他の図である。 本実施の形態が適用される画像処理装置の構成例を示すブロック図である。 図7の画像処理装置に入力される画像データのうちの、所定の1部分を示す図である。 図8の画像データから分解された2つのステップエッジの画像データを示す図である。 図7の画像処理装置の補正部の補正方法を説明する図であって、図7のホールド型表示装置に図4のステップエッジが表示させた場合における、追従覗と動きボケとの関係を示す図である。 図7の画像処理装置の表示の制御により、図7のホールド型表示装置に図4のステップエッジが表示させた場合における、追従覗と動きボケとの関係を示す図である。 ステップエッジの移動方向と、補正対象の画素との関係例を示す図である。 ステップエッジの移動方向と、補正対象の画素との関係例を示す図である。 図7の画像処理装置の画像処理部の他の構成例を示すブロック図である。 図14の画像処理部が利用するフィルタ係数の例を示す図である。 図14の画像処理部が利用するフィルタ係数の例を示す図である。 図14の画像処理部が利用する、ステップエッジの移動量と補正量の関係例を示す図である。 図7のホールド型表示装置のパネルテーブルの例を示す図である。 図14の画像処理部のゲインG決定部の詳細な構成例を示すブロック図である。 図14の画像処理部が利用する、目標(新)画素値と補正量の関係の例を示す図である。 図14の画像処理部が利用する、目標(新)画素値と補正量の関係の他の例を示す図である。 図14の画像処理部が利用する、目標(新)画素値と旧画素値の差分値と、補正量の関係の他の例を示す図である。 図7の画像処理装置の画像処理部のさらに他の構成例を示すブロック図である。 画素値の補正量とダイナミックレンジとの関係例を示す図である。 補正量がダイナミックレンジを越える場合の画素値の補正方法例を説明する図である。 補正量がダイナミックレンジを越える場合の画素値の補正方法で利用される、ステップエッジの移動量と補正量の関係例を示す図である。 図7の画像処理装置の画像処理例を説明するフローチャートである。 本実施の形態が適用される画像処理装置の他の構成例を示すブロック図である。 本実施の形態が適用される画像処理装置のさらに他の構成例を示すブロック図である。
符号の説明
11 画像処理装置, 12 ホールド型表示装置, 21 画像処理部, 22 画像処理部, 23 参照画像記憶部, 24 動き検出部, 25 切り替え部, 26 表示制御部, 31 ステップエッジ検出部 32 補正部, 61 切替部, 62 非対称フィルタ, 63 非対称フィルタ, 64 係数選択部, 65 ゲインG決定部, 66 乗算部, 67 加算部, 71 目標レベル依存ゲインGl決定部, 72 差分値依存Ge決定部, 73 乗算部, 74 移動速度依存ゲインGv決定部, 75 乗算部, 81 差分値演算部(係数フィルタ部), 82 差分値依存ゲインGe決定部, 83 乗算部, 84 目標レベル依存ゲインGl決定部, 85 乗算部, 86 補正値決定部, 87 加算部, 101 CPU, 107 出力部, 110 ドライブ, 111 リムーバブル記録媒体

Claims (24)

  1. 入力された画像データと、それより1つ前の参照画像データとに基づいて動きを検出する動き検出手段と、
    前記動き検出手段の結果に基づいて前記画像データにおける画素値を処理する画像処理手段と、
    前記画像処理手段の結果を表示する表示手段と
    を備える画像処理装置おいて、
    前記画像処理手段は、
    前記動き検出手段の結果に応じてエッジ部分を検出するステップエッジ検出手段と、
    前記ステップエッジ検出手段の結果を補正する補正手段と
    を有することを特徴とする画像処理装置。
  2. 前記動き検出手段は、
    前記画像データの動きのあるオブジェクトと、前記参照画像の動きのあるオブジェクトとを比較することにより動きを検出する
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記補正手段は、前記ステップエッジ検出手段により検出された前記エッジ部分におけるエッジの高さを、前記動き検出手段により検出された前記動きに応じて可変させる補正を行う
    ことを特徴とする請求項1に記載の情報処理装置。
  4. 前記補正手段は、さらに、前記ステップエッジ検出手段により検出されたステップエッジの前記エッジ部分におけるエッジの高さを、前記表示手段の表示特性に応じて可変させる補正を行う
    ことを特徴とする請求項3に記載の情報処理装置。
  5. 入力された画像データと、それより1つ前の参照画像データとにより動きを検出する動き検出ステップと、
    前記動き検出ステップの処理の結果より前記画像データにおける画素値を処理する画像処理ステップと、
    前記画像処理ステップの処理の結果を表示する表示ステップと
    を含む画像処理方法おいて、
    前記画像処理ステップは、
    前記動き検出ステップの処理の結果に応じて、前記画像データにおけるエッジ部分を検出するステップエッジ検出ステップと、
    前記ステップエッジ検出ステップの結果を補正する補正ステップと
    を含むことを特徴とする画像処理方法。
  6. 入力された画像データと、それより1つ前の参照画像データとにより動きを検出する動き検出ステップと、
    前記画像データと前記動き検出ステップの処理の結果より、前記画像データにおける画素値を処理する画像処理ステップと、
    前記画像処理ステップの処理の結果を表示する表示ステップと
    を含む、コンピュータに実行させるプログラムであって、
    前記画像処理ステップは、
    前記動き検出ステップの処理の結果に応じて、前記画像データにおけるエッジ部分を検出するステップエッジ検出ステップと、
    前記ステップエッジ検出ステップの結果を補正する補正ステップと
    を含むことを特徴とするプログラム。
  7. 目標レベルが指示されてから、出力レベルがその目標レベルに到達するまでに、所定の時間を要する表示素子を複数個有し、複数の前記表示素子のそれぞれが、アクセスユニットを構成する画素のうちの所定の1つの少なくとも一部分に対応付けられている表示装置に対して、動画像を構成する複数の前記アクセスユニットのそれぞれの表示を指示する画像処理装置において、
    前記第1のアクセスユニットの中から、空間的な配置位置が、前記第1のアクセスユニットより前の第2のアクセスユニットにおける空間的な配置位置から移動したオブジェクトを検出し、そのオブジェクトの空間的な移動量を検出する移動検出手段と、
    前記移動検出手段により検出された前記オブジェクトのエッジ部分を検出するエッジ検出手段と、
    前記第1のアクセスユニットを構成する複数の前記画素のうちの、前記エッジ検出手段により検出された前記オブジェクトの前記エッジ部分に対応する画素について、その画素値を、前記移動検出手段により検出された前記オブジェクトの前記空間的な移動量に基づいて補正する補正手段と、
    前記補正手段により補正された前記画素値を含む、前記第1のアクセスユニットを構成する複数の前記画素の画素値のそれぞれを、対応付けられた前記表示素子のそれぞれの前記目標レベルとして、前記表示装置に対して指示することで、前記第1のアクセスユニットの表示を指示する表示指示手段と
    を備えることを特徴とする画像処理装置。
  8. 前記オブジェクトは、その移動方向に対して、第1の画素値を有する画素が連続して並び、所定の画素を境に、第1の画素値とは異なる第2の画素値を有する画素が連続して並んで形成され、
    前記エッジ検出手段は、前記第2の画素値を有する前記画素との境に位置する、前記第1の画素値を有する前記画素を、前記オブジェクトの前記エッジ部分に対応する画素として検出する
    ことを特徴とする請求項7に記載の画像処理装置。
  9. 前記エッジ検出手段は、さらに、前記オブジェクトの前記エッジ部分に対応する画素として検出された第1の画素の前記第1の画素値と、前記オブジェクトの前記移動方向に前記第1の画素と隣接する第2の画素の前記第2の画素値との差分値をさらに演算し、
    前記補正手段は、前記エッジ検出手段により検出された前記第1の画素について、前記移動検出手段により検出された前記移動量に応じて第1のゲインを決定し、決定された前記第1のゲインと、前記エッジ検出手段により検出された前記差分値との積を補正値として決定し、決定された前記補正値を前記第1の画素の前記画素値に加算した値を、前記第1の画素の補正された画素値として決定する
    ことを特徴とする請求項8に記載の情報処理装置。
  10. 前記補正手段は、さらに、前記第1の画素について、前記表示装置の前記第1の画素に対応する前記表示素子の時間応答の特性に応じて第2のゲインを決定し、前記第1のゲイン、決定された前記第2のゲイン、および、前記差分値の積を前記補正値として決定する
    ことを特徴とする請求項9に記載の情報処理装置。
  11. 前記補正手段は、さらに、前記第1の画素を起点として前記オブジェクトの前記移動方向とは逆方向に連続して並ぶ画素のうちの、前記第1の画素を含む2以上の画素を、補正の対象となる対象画素として設定し、前記補正値を、設定された2以上の前記対象画素の補正値のそれぞれとして分配し、2以上の前記対象画素のそれぞれについて、対応する画素値に対して、分配された前記補正値を加算した値を、対応する前記対象画素の補正された画素値としてそれぞれ決定する
    ことを特徴とする請求項10に記載の情報処理装置。
  12. 目標レベルが指示されてから、出力レベルがその目標レベルに到達するまでに、所定の時間を要する表示素子を複数個有し、複数の前記表示素子のそれぞれが、アクセスユニットを構成する画素のうちの所定の1つの少なくとも一部分に対応付けられている表示装置に対して、動画像を構成する複数の前記アクセスユニットのそれぞれの表示を指示する画像処理方法において、
    前記第1のアクセスユニットの中から、空間的な配置位置が、前記第1のアクセスユニットより前の第2のアクセスユニットにおける空間的な配置位置から移動したオブジェクトを検出し、そのオブジェクトの空間的な移動量を検出する移動検出ステップと、
    前記移動検出ステップの処理により検出された前記オブジェクトのエッジ部分を検出するエッジ検出ステップと、
    前記第1のアクセスユニットを構成する複数の前記画素のうちの、前記エッジ検出ステップの処理により検出された前記オブジェクトの前記エッジ部分に対応する画素に対して、その画素値を、前記移動検出ステップの処理により検出された前記オブジェクトの前記空間的な移動量に基づいて補正する補正ステップと、
    前記補正ステップの処理により補正された前記画素値を含む、前記第1のアクセスユニットを構成する複数の前記画素の画素値のそれぞれを、対応付けられた前記表示素子のそれぞれの前記目標レベルとして、前記表示装置に対して指示することで、前記第1のアクセスユニットの表示を指示する表示指示ステップと
    を含むことを特徴とする画像処理方法。
  13. 目標レベルが指示されてから、出力レベルがその目標レベルに到達するまでに、所定の時間を要する表示素子を複数個有し、複数の前記表示素子のそれぞれが、アクセスユニットを構成する画素のうちの所定の1つの少なくとも一部分に対応付けられた表示装置に対して、動画像を構成する複数の前記アクセスユニットのそれぞれの表示を指示する処理をコンピュータに実行させるプログラムであって、
    前記第1のアクセスユニットの中から、空間的な配置位置が、前記第1のアクセスユニットより前の第2のアクセスユニットにおける空間的な配置位置から移動したオブジェクトを検出し、そのオブジェクトの空間的な移動量を検出する移動検出ステップと、
    前記移動検出ステップの処理により検出された前記オブジェクトのエッジ部分を検出するエッジ検出ステップと、
    前記第1のアクセスユニットを構成する複数の前記画素のうちの、前記エッジ検出ステップの処理により検出された前記オブジェクトの前記エッジ部分に対応する画素に対して、その画素値を、前記移動検出ステップの処理により検出された前記オブジェクトの前記空間的な移動量に基づいて補正する補正ステップと、
    前記補正ステップの処理により補正された前記画素値を含む、前記第1のアクセスユニットを構成する複数の前記画素の画素値のそれぞれを、対応付けられた前記表示素子のそれぞれの前記目標レベルとして、前記表示装置に対して指示することで、前記第1のアクセスユニットの表示を指示する表示指示ステップと
    を含むことを特徴とするプログラム。
  14. 入力された画像データと、それより1つ前の参照画像データにより動きを検出する動き検出手段と、
    前記動き検出手段の結果に基づいて前記画像データに所定の第1の処理を施す第1の画像処理手段と、
    前記動き検出手段の結果に基づいて前記画像データに、前記第1の処理以外の第2の処理を施す第2の画像処理手段と、
    前記動き検出手段の結果に基づいて前記第1の画像処理手段および前記第2の画像処理手段の結果のうちの少なくとも一方の結果を表示する表示手段と
    を備えることを特徴とする画像処理装置。
  15. 前記動き検出手段は、
    前記画像データの動きのあるオブジェクトと前記参照画像の動きのあるオブジェクトとを比較することにより動きを検出する
    ことを特徴とする請求項14に記載の画像処理装置。
  16. 前記第2の画像処理手段は、
    前記動き検出手段の結果に応じてエッジ部分を検出するステップエッジ検出手段と、
    前記ステップエッジ検出手段の結果を補正する補正手段と
    を有することを特徴とする請求項14に記載の画像処理装置。
  17. 前記補正手段は、前記ステップエッジ検出手段により検出された前記エッジ部分におけるエッジの高さを、前記動き検出手段により検出された前記動きに応じて可変させる補正を行う
    ことを特徴とする請求項16に記載の情報処理装置。
  18. 前記補正手段は、さらに、前記ステップエッジ検出手段により検出された前記エッジ部分における前記エッジの高さを、前記表示手段の表示特性に応じて可変させる補正を行う
    ことを特徴とする請求項17に記載の情報処理装置。
  19. 前記表示手段は、
    前記動き検出手段の結果に基づいて前記第1の画像処理手段の結果および前記第2の画像処理手段の結果のうちのいずれか一方に切り換える切替手段と、
    前記切替手段により切り替えられた方の結果を、各画素に対応した表示素子の目標レベルに応じて所定の形式の信号に変換する表示制御手段と、
    前記表示素子の全てに対して、前記表示制御手段の結果を保持させるホールド手段と
    を有することを特徴とする請求項14に記載の画像処理装置。
  20. 入力された画像データと、それより1つ前の参照画像データにより動きを検出する動き検出ステップと、
    前記動き検出ステップの結果に基づいて前記画像データに所定の第1の処理を施す第1の画像処理ステップと、
    前記動き検出ステップの結果に基づいて前記画像データに、前記第1の処理以外の第2の処理を施す第2の画像処理ステップと、
    前記動き検出ステップの結果に基づいて前記第1の画像処理ステップの処理の結果および前記第2の画像処理ステップの処理の結果のうちの少なくとも一方の結果を表示する表示ステップと
    を含むことを特徴とする画像処理方法。
  21. コンピュータに実行させるプログラムであって、
    入力された画像データと、それより1つ前の参照画像データにより動きを検出する動き検出ステップと、
    前記動き検出ステップの結果に基づいて前記画像データに所定の第1の処理を施す第1の画像処理ステップと、
    前記動き検出ステップの結果に基づいて前記画像データに、前記第1の処理以外の第2の処理を施す第2の画像処理ステップと、
    前記動き検出ステップの結果に基づいて前記第1の画像処理ステップの処理の結果および前記第2の画像処理ステップの処理の結果のうちの少なくとも一方の結果を表示する表示ステップと
    を含むことを特徴とするプログラム。
  22. 入力された画像データと、それより1つ前の参照画像データとに基づいて動きを検出する動き検出手段と、
    前記動き検出手段の結果に基づいて前記画像データにおける画素値を処理する画像処理手段と、
    所定の表示装置が前記画像処理手段の結果を表示することを制御する表示制御手段と
    を備える画像処理装置おいて、
    前記画像処理手段は、
    前記画像データのうちの所定の方向に連続して配置される2つの画素のそれぞれに対応する2つの画素値からなるブロックに対して、前記動き検出手段の結果を利用する非対称ハイパスフィルタ処理を施すことで、前記ブロックに含まれる2つの前記画素値のうちの一方の画素値を補正する補正手段
    を有することを特徴とする画像処理装置。
  23. 画像処理装置の画像処理方法において、
    入力された画像データと、それより1つ前の参照画像データとに基づいて動きを検出する動き検出ステップと、
    前記動き検出ステップの処理結果に基づいて前記画像データにおける画素値を処理する画像処理ステップと、
    所定の表示装置が前記画像処理ステップの処理結果を表示することを制御する表示制御ステップと
    を含み、
    前記画像処理ステップは、
    前記画像データのうちの所定の方向に連続して配置される2つの画素のそれぞれに対応する2つの画素値からなるブロックに対して、前記動き検出ステップの処理結果を利用する非対称ハイパスフィルタ処理を施すことで、前記ブロックに含まれる2つの前記画素値のうちの一方の画素値を補正する補正ステップ
    を含むことを特徴とする画像処理方法。
  24. コンピュータに実行させるプログラムであって、
    入力された画像データと、それより1つ前の参照画像データとに基づいて動きを検出する動き検出ステップと、
    前記動き検出ステップの処理結果に基づいて前記画像データにおける画素値を処理する画像処理ステップと、
    所定の表示装置が前記画像処理ステップの処理結果を表示することを制御する表示制御ステップと
    を含み、
    前記画像処理ステップは、
    前記画像データのうちの所定の方向に連続して配置される2つの画素のそれぞれに対応する2つの画素値からなるブロックに対して、前記動き検出ステップの処理結果を利用する非対称ハイパスフィルタ処理を施すことで、前記ブロックに含まれる2つの前記画素値のうちの一方の画素値を補正する補正ステップ
    を含むことを特徴とするプログラム。
JP2004133189A 2003-07-04 2004-04-28 画像処理装置および方法、並びにプログラム Expired - Fee Related JP4817000B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2004133189A JP4817000B2 (ja) 2003-07-04 2004-04-28 画像処理装置および方法、並びにプログラム
EP20040253988 EP1494169B1 (en) 2003-07-04 2004-07-01 Video processing apparatus, video processing method, and computer program
DE200460027684 DE602004027684D1 (de) 2003-07-04 2004-07-01 Videoverarbeitungsvorrichtung, Videoverarbeitungsverfahren und Computerprogramm
US10/884,063 US7750897B2 (en) 2003-07-04 2004-07-01 Video processing apparatus, video processing method, and computer program
KR20040051430A KR101064463B1 (ko) 2003-07-04 2004-07-02 화상 처리 장치 및 방법, 컴퓨터 판독 가능 기록 매체
CNB2004100899377A CN100345439C (zh) 2003-07-04 2004-07-04 视频处理装置、视频处理方法和计算机程序
KR1020110059420A KR20110089111A (ko) 2003-07-04 2011-06-20 화상 처리 장치 및 방법, 컴퓨터 판독 가능 기록 매체

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2003270965 2003-07-04
JP2003270965 2003-07-04
JP2004133189A JP4817000B2 (ja) 2003-07-04 2004-04-28 画像処理装置および方法、並びにプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010212122A Division JP4821922B2 (ja) 2003-07-04 2010-09-22 画像処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2005043864A true JP2005043864A (ja) 2005-02-17
JP4817000B2 JP4817000B2 (ja) 2011-11-16

Family

ID=33436484

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004133189A Expired - Fee Related JP4817000B2 (ja) 2003-07-04 2004-04-28 画像処理装置および方法、並びにプログラム

Country Status (6)

Country Link
US (1) US7750897B2 (ja)
EP (1) EP1494169B1 (ja)
JP (1) JP4817000B2 (ja)
KR (2) KR101064463B1 (ja)
CN (1) CN100345439C (ja)
DE (1) DE602004027684D1 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006098803A (ja) * 2004-09-29 2006-04-13 Toshiba Corp 動画処理方法、動画処理装置および動画処理プログラム
JP2006243283A (ja) * 2005-03-02 2006-09-14 Sony Corp 照明装置及び表示装置
WO2006098244A1 (ja) * 2005-03-14 2006-09-21 Sharp Kabushiki Kaisha 画像表示装置、画像表示モニタ、およびテレビジョン受像機
JP2006317660A (ja) * 2005-05-12 2006-11-24 Nippon Hoso Kyokai <Nhk> 画像表示制御装置、ディスプレイ装置及び画像表示方法
JP2007079549A (ja) * 2005-09-12 2007-03-29 Lg Phillips Lcd Co Ltd 液晶表示装置の駆動装置及び駆動方法
JP2007114736A (ja) * 2005-10-20 2007-05-10 Lg Phillips Lcd Co Ltd 液晶表示装置の駆動装置及び駆動方法
JP2007213017A (ja) * 2006-02-09 2007-08-23 Lg Phillips Lcd Co Ltd 液晶表示装置の駆動装置及び駆動方法
JP2007256917A (ja) * 2006-03-20 2007-10-04 Lg Phillips Lcd Co Ltd 液晶表示装置の駆動装置及び駆動方法
KR100815010B1 (ko) * 2005-06-13 2008-03-18 세이코 엡슨 가부시키가이샤 Lcd 모션 블러 선보상 방법
JP2008165235A (ja) * 2006-12-29 2008-07-17 Lg Display Co Ltd 液晶表示装置及びその駆動方法
JP2008281940A (ja) * 2007-05-14 2008-11-20 Ricoh Co Ltd 画像処理方法及び画像表示装置
JP2009042290A (ja) * 2007-08-06 2009-02-26 Thine Electronics Inc 画像信号処理装置
JPWO2007026714A1 (ja) * 2005-08-31 2009-03-12 シャープ株式会社 Lcd、液晶表示装置、およびこれらの駆動方法
JP2009169411A (ja) * 2007-12-18 2009-07-30 Sony Corp 画像処理装置および画像表示システム
WO2009107606A1 (ja) * 2008-02-25 2009-09-03 ザインエレクトロニクス株式会社 画像信号処理装置
US7956834B2 (en) 2005-09-16 2011-06-07 Samsung Electronics Co., Ltd. Method for driving liquid crystal display and apparatus employing the same
CN102169678A (zh) * 2010-02-25 2011-08-31 精工爱普生株式会社 图像处理电路、图像处理方法、液晶显示装置及电子设备
KR101422600B1 (ko) 2007-02-24 2014-07-23 엘지디스플레이 주식회사 모션블러를 제거한 액정표시장치 및 이의 구동방법
JP2015103859A (ja) * 2013-11-21 2015-06-04 日本放送協会 映像信号処理装置、画像表示装置及びプログラム

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4817000B2 (ja) 2003-07-04 2011-11-16 ソニー株式会社 画像処理装置および方法、並びにプログラム
EP1589763A2 (en) * 2004-04-20 2005-10-26 Sony Corporation Image processing apparatus, method and program
US7898519B2 (en) * 2005-02-17 2011-03-01 Sharp Laboratories Of America, Inc. Method for overdriving a backlit display
JP3959547B2 (ja) * 2005-04-27 2007-08-15 三菱電機株式会社 画像処理装置、画像処理方法、及び情報端末装置
US7724259B2 (en) * 2005-08-24 2010-05-25 Innovative Solutions And Support, Inc. Aircraft flat panel display system with improved information availability
TWI357040B (en) * 2005-09-21 2012-01-21 Mstar Semiconductor Inc Liquid crystal display control circuit and thereof
DE102006006801A1 (de) * 2006-02-14 2007-08-23 Fujitsu Siemens Computers Gmbh Flüssigkristallbildschirm und Verfahren zur Anzeige eines Bildsignals
JP4720544B2 (ja) * 2006-03-01 2011-07-13 ソニー株式会社 画像処理装置および方法、プログラム記録媒体、並びにプログラム
JP5341509B2 (ja) * 2006-05-23 2013-11-13 パナソニック株式会社 画像表示装置、画像表示方法、プラズマディスプレイパネル装置、プログラム、集積回路、及び、記録媒体
US7705885B2 (en) * 2006-06-15 2010-04-27 Freescale Semiconductor, Inc. Image and video motion stabilization system
KR101362149B1 (ko) * 2006-06-27 2014-02-12 엘지디스플레이 주식회사 액정표시장치 및 그의 구동방법
JP2008028507A (ja) * 2006-07-19 2008-02-07 Sony Corp 画像補正回路、画像補正方法および画像表示装置
US8260077B2 (en) 2006-11-29 2012-09-04 Mstar Semiconductor, Inc. Method and apparatus for eliminating image blur
TWI369665B (en) * 2006-11-29 2012-08-01 Mstar Semiconductor Inc Method and apparatus for eliminating image blur
RU2009124928A (ru) * 2006-11-30 2011-01-10 НТТ ДоКоМо, Инк. (JP) Устройство динамического кодирования изображения, способ динамического кодирования изображения, программа динамического кодирования изображения, устройство динамического декодирования изображения, способ динамического декодирования изображения и программа динамического декодирования изображения
JP4958538B2 (ja) * 2006-12-25 2012-06-20 三星電子株式会社 画像処理装置、画像処理方法、および撮像装置
EP1973338A1 (en) * 2007-03-19 2008-09-24 Sony Deutschland GmbH Apparatus and method for reducing motion blur in a video signal
TWI372377B (en) * 2007-11-21 2012-09-11 Mstar Semiconductor Inc Method and apparatus for eliminating image blur by pixel-based processing
JP5219609B2 (ja) * 2008-05-01 2013-06-26 キヤノン株式会社 フレームレート変換装置、方法及びプログラム
JP5219608B2 (ja) * 2008-05-01 2013-06-26 キヤノン株式会社 フレームレート変換装置、方法及びプログラム
US8532414B2 (en) 2009-03-17 2013-09-10 Utc Fire & Security Corporation Region-of-interest video quality enhancement for object recognition
JP5381807B2 (ja) * 2010-02-25 2014-01-08 セイコーエプソン株式会社 映像処理回路、その処理方法、液晶表示装置および電子機器
US8823746B2 (en) 2010-10-19 2014-09-02 Apple Inc. System and method for motion blur using velocity vectors
US20130207992A1 (en) * 2012-02-10 2013-08-15 Emil Alexander WASBERGER Method, apparatus and computer readable medium carrying instructions for mitigating visual artefacts
WO2013148566A1 (en) * 2012-03-26 2013-10-03 Viewdle, Inc. Image blur detection
JP6103850B2 (ja) * 2012-08-06 2017-03-29 キヤノン株式会社 表示装置およびその制御方法
JP6148488B2 (ja) * 2013-02-12 2017-06-14 キヤノン株式会社 画像表示装置及びその方法
US9454925B1 (en) * 2014-09-10 2016-09-27 Google Inc. Image degradation reduction
US11837174B2 (en) 2018-06-15 2023-12-05 Samsung Display Co., Ltd. Display device having a grayscale correction unit utilizing weighting
KR102493488B1 (ko) * 2018-06-15 2023-02-01 삼성디스플레이 주식회사 표시 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000330501A (ja) * 1999-05-21 2000-11-30 Matsushita Electric Ind Co Ltd 液晶駆動回路
JP2003058098A (ja) * 2001-08-08 2003-02-28 Seiko Epson Corp ホールド型画像表示装置
JP2005173573A (ja) * 2003-11-17 2005-06-30 Sharp Corp 画像表示装置、電子機器、液晶テレビジョン装置、液晶モニタ装置、画像表示方法、表示制御プログラムおよび記録媒体

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0151410B1 (ko) * 1992-07-03 1998-10-15 강진구 영상신호의 운동벡터 검출방법
JPH06121192A (ja) * 1992-10-08 1994-04-28 Sony Corp ノイズ除去回路
DE69634251T2 (de) * 1995-04-07 2005-06-30 Fujitsu General Ltd., Kawasaki Verfahren zur steuerung einer anzeigetafel
US5781648A (en) * 1995-04-07 1998-07-14 California Institute Of Technology Pulse domain neuromorphic integrated circuit for computing motion
JP3719783B2 (ja) * 1996-07-29 2005-11-24 富士通株式会社 中間調表示方法および表示装置
US6310588B1 (en) * 1997-07-24 2001-10-30 Matsushita Electric Industrial Co., Ltd. Image display apparatus and image evaluation apparatus
JP2994633B2 (ja) * 1997-12-10 1999-12-27 松下電器産業株式会社 疑似輪郭ノイズ検出装置およびそれを用いた表示装置
JP2001083926A (ja) * 1999-09-09 2001-03-30 Sharp Corp 動画偽輪郭補償方法およびその方法を用いた画像表示装置
US6115092A (en) * 1999-09-15 2000-09-05 Rainbow Displays, Inc. Compensation for edge effects and cell gap variation in tiled flat-panel, liquid crystal displays
US6442203B1 (en) * 1999-11-05 2002-08-27 Demografx System and method for motion compensation and frame rate conversion
JP2002135801A (ja) * 2000-10-25 2002-05-10 Sony Corp 画像処理装置
JP2003029713A (ja) * 2001-07-06 2003-01-31 Internatl Business Mach Corp <Ibm> 液晶表示装置、液晶ディスプレイ駆動回路、液晶ディスプレイの駆動方法、およびプログラム
KR100403601B1 (ko) * 2001-12-21 2003-10-30 삼성전자주식회사 영상의 윤곽선 보정 장치 및 방법
DE60315024T2 (de) * 2002-05-23 2008-03-20 Koninklijke Philips Electronics N.V. Kantenabhängige reduktion der bewegungsunschärfe
JP4817000B2 (ja) * 2003-07-04 2011-11-16 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP4325388B2 (ja) * 2003-12-12 2009-09-02 ソニー株式会社 信号処理装置、画像表示装置および信号処理方法
EP1589763A2 (en) * 2004-04-20 2005-10-26 Sony Corporation Image processing apparatus, method and program
JP4517872B2 (ja) * 2005-02-10 2010-08-04 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000330501A (ja) * 1999-05-21 2000-11-30 Matsushita Electric Ind Co Ltd 液晶駆動回路
JP2003058098A (ja) * 2001-08-08 2003-02-28 Seiko Epson Corp ホールド型画像表示装置
JP2005173573A (ja) * 2003-11-17 2005-06-30 Sharp Corp 画像表示装置、電子機器、液晶テレビジョン装置、液晶モニタ装置、画像表示方法、表示制御プログラムおよび記録媒体

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7639312B2 (en) 2004-09-29 2009-12-29 Kabushiki Kaisha Toshiba Apparatus and method for processing moving picture, and computer program product
JP2006098803A (ja) * 2004-09-29 2006-04-13 Toshiba Corp 動画処理方法、動画処理装置および動画処理プログラム
JP2006243283A (ja) * 2005-03-02 2006-09-14 Sony Corp 照明装置及び表示装置
JP2010156992A (ja) * 2005-03-14 2010-07-15 Sharp Corp 画像表示装置
WO2006098244A1 (ja) * 2005-03-14 2006-09-21 Sharp Kabushiki Kaisha 画像表示装置、画像表示モニタ、およびテレビジョン受像機
JP4499154B2 (ja) * 2005-03-14 2010-07-07 シャープ株式会社 画像表示装置、画像表示モニタ、およびテレビジョン受像機
JPWO2006098244A1 (ja) * 2005-03-14 2008-08-21 シャープ株式会社 画像表示装置、画像表示モニタ、およびテレビジョン受像機
JP2006317660A (ja) * 2005-05-12 2006-11-24 Nippon Hoso Kyokai <Nhk> 画像表示制御装置、ディスプレイ装置及び画像表示方法
KR100815010B1 (ko) * 2005-06-13 2008-03-18 세이코 엡슨 가부시키가이샤 Lcd 모션 블러 선보상 방법
JPWO2007026714A1 (ja) * 2005-08-31 2009-03-12 シャープ株式会社 Lcd、液晶表示装置、およびこれらの駆動方法
US7859497B2 (en) 2005-09-12 2010-12-28 Lg. Display Co., Ltd. Apparatus and method for driving liquid crystal display device
US7952552B2 (en) 2005-09-12 2011-05-31 Lg Display Co., Ltd. Apparatus and method for driving liquid crystal display device
JP2007079549A (ja) * 2005-09-12 2007-03-29 Lg Phillips Lcd Co Ltd 液晶表示装置の駆動装置及び駆動方法
US7956834B2 (en) 2005-09-16 2011-06-07 Samsung Electronics Co., Ltd. Method for driving liquid crystal display and apparatus employing the same
JP4532441B2 (ja) * 2005-10-20 2010-08-25 エルジー ディスプレイ カンパニー リミテッド 液晶表示装置の駆動装置及び駆動方法
JP2007114736A (ja) * 2005-10-20 2007-05-10 Lg Phillips Lcd Co Ltd 液晶表示装置の駆動装置及び駆動方法
US7786967B2 (en) 2005-10-20 2010-08-31 Lg. Display Co., Ltd. Apparatus and method for driving liquid crystal display device
JP2007213017A (ja) * 2006-02-09 2007-08-23 Lg Phillips Lcd Co Ltd 液晶表示装置の駆動装置及び駆動方法
US7893905B2 (en) 2006-02-09 2011-02-22 Lg Display Co., Ltd. Apparatus and method for driving liquid crystal display device
US8373632B2 (en) 2006-03-20 2013-02-12 Lg Display Co., Ltd. Apparatus and method for driving a liquid crystal display device
JP4597949B2 (ja) * 2006-03-20 2010-12-15 エルジー ディスプレイ カンパニー リミテッド 液晶表示装置の駆動装置及び駆動方法
JP2007256917A (ja) * 2006-03-20 2007-10-04 Lg Phillips Lcd Co Ltd 液晶表示装置の駆動装置及び駆動方法
US8547310B2 (en) 2006-12-29 2013-10-01 Lg Display Co., Ltd. Liquid crystal display device and method for selecting overdriving when the pixel data is motion image data
KR101399237B1 (ko) * 2006-12-29 2014-05-28 엘지디스플레이 주식회사 액정표시장치 및 그의 구동방법
JP2008165235A (ja) * 2006-12-29 2008-07-17 Lg Display Co Ltd 液晶表示装置及びその駆動方法
KR101422600B1 (ko) 2007-02-24 2014-07-23 엘지디스플레이 주식회사 모션블러를 제거한 액정표시장치 및 이의 구동방법
JP2008281940A (ja) * 2007-05-14 2008-11-20 Ricoh Co Ltd 画像処理方法及び画像表示装置
JP2009042290A (ja) * 2007-08-06 2009-02-26 Thine Electronics Inc 画像信号処理装置
JP2009169411A (ja) * 2007-12-18 2009-07-30 Sony Corp 画像処理装置および画像表示システム
US8411104B2 (en) 2007-12-18 2013-04-02 Sony Corporation Image processing device and image display system
US8452119B2 (en) 2007-12-18 2013-05-28 Sony Corporation Image processing device and image display system
JP2009169412A (ja) * 2007-12-18 2009-07-30 Sony Corp 画像処理装置および画像表示システム
WO2009107606A1 (ja) * 2008-02-25 2009-09-03 ザインエレクトロニクス株式会社 画像信号処理装置
JP2009198993A (ja) * 2008-02-25 2009-09-03 Thine Electronics Inc 画像信号処理装置
CN102169678A (zh) * 2010-02-25 2011-08-31 精工爱普生株式会社 图像处理电路、图像处理方法、液晶显示装置及电子设备
JP2015103859A (ja) * 2013-11-21 2015-06-04 日本放送協会 映像信号処理装置、画像表示装置及びプログラム

Also Published As

Publication number Publication date
DE602004027684D1 (de) 2010-07-29
EP1494169A3 (en) 2008-12-31
KR20110089111A (ko) 2011-08-04
EP1494169A2 (en) 2005-01-05
CN100345439C (zh) 2007-10-24
JP4817000B2 (ja) 2011-11-16
KR101064463B1 (ko) 2011-09-15
KR20050004096A (ko) 2005-01-12
US20050030302A1 (en) 2005-02-10
CN1599419A (zh) 2005-03-23
US7750897B2 (en) 2010-07-06
EP1494169B1 (en) 2010-06-16

Similar Documents

Publication Publication Date Title
JP4817000B2 (ja) 画像処理装置および方法、並びにプログラム
JP5024634B2 (ja) 画像処理装置および画像表示システム
JP4795870B2 (ja) 液晶表示装置の駆動装置及び駆動方法
US9324285B2 (en) Apparatus for simultaneously performing gamma correction and contrast enhancement in display device
JP5105778B2 (ja) 液晶表示装置の駆動装置及び駆動方法
JP4977763B2 (ja) 空間的にずらされたサブフレームの生成及び表示
JP5079017B2 (ja) 表示装置
US8044978B2 (en) Image display apparatus and high quality image providing method thereof
CN113674663B (zh) 显示装置亮度补偿查找表产生方法、其装置、及显示装置
JP2007114736A (ja) 液晶表示装置の駆動装置及び駆動方法
US9100530B2 (en) Image processing apparatus, image processing method and storage medium
JP5479064B2 (ja) 画像処理装置およびその制御方法、プログラム
JP4821922B2 (ja) 画像処理装置および方法、並びにプログラム
JP2002123211A (ja) ビデオ画像を処理する方法及び装置
US10198982B2 (en) Image processing apparatus, method thereof, and image display apparatus
KR20140037632A (ko) 디스플레이 장치 및 제어 방법
US20170092217A1 (en) Video display apparatus, information processing method, and storage medium
JPH08130696A (ja) 画像表示装置
JP4843489B2 (ja) 画像処理装置
KR102337387B1 (ko) 영상보정장치 및 이를 포함하는 표시장치의 구동회로
JP2008250175A (ja) 画像処理装置および方法、並びにプログラム
JP2011022762A (ja) 画像信号処理装置
JP2010028576A (ja) 画像処理装置及びその制御方法
JP2017156721A (ja) 画像処理装置および画像処理方法
JP2002334328A (ja) 画像表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070424

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110804

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110817

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees