JP2005141209A - 画像処理装置、その方法及び表示装置 - Google Patents

Abstract

【課題】 画像処理を強く作用させても、副作用が少なくかつ精細感を向上できる画像処理装置を提供する。
【解決手段】 補間部１１は、カラーであって画素精度を持つ入力画像を、サブピクセル精度の補間画像に変換する。輝度・色度分離部２１は、サブピクセル精度の補間画像からサブピクセル精度の輝度成分を分離する。画像処理部１２は輝度分離部が分離したサブピクセル精度の輝度成分に基づいて、輝度成分の特定周波数帯に属する成分を強調する。エッジの太り及びギザギザ感を抑制し、精細感が高く、高品位な表示結果が得られる。
【選択図】 図１

Description

本発明は、入力画像における、特定周波数帯に属する成分を、副作用を抑制しつつ、強調し、画像の精細感を向上させる画像処理装置及びその関連技術に関するものである。

ここで、本明細書において、「サブピクセル」とは、１画素を構成する複数の発光素子のうちの１つの発光素子に対応する微小画素要素をいい、「サブピクセル精度」とは、１画素を構成する複数の発光素子のうちの１つの発光素子に一対一に対応する精度をいう。また、本明細書において、「輝度」とは色の明るさを示す任意の物理量（例えば、ｌｉｇｈｔｎｅｓｓ、ｌｕｍｉｎａｎｃｅ等）をいい、「色度」とは色の鮮やかさを示す任意の物理量（例えば、ｃｈｒｏｍａｔｉｃｉｔｙ，ｓａｔｕｒａｔｉｏｎ等）をいう。

画像の精細感を向上させる技術の一つとして、画像エンハンサが知られている。画像エンハンサは、画像の高域成分をゲイン倍し、画像に加算する。

図１１は、従来の画像処理装置のブロック図である。図１１を用いて、従来の画像エンハンサを具体的に説明する。

入力画像は、画像処理部１の内部において、加算器２とハイパスフィルタ３とに入力される。ハイパスフィルタ３は、入力画像の高域成分を取り出し、乗算器４へ出力する。乗算器４は、取り出された高域成分を、一定値によりゲイン倍し、加算器２へ出力する。加算器２は、入力画像とゲイン倍された高域成分とを加算し、加算結果を出力画像とする。

このようにすると、高域成分が補償され、画像の精細感が向上する。一方、これでは、高域成分がゲインにより広がってしまう。

特に、小さな像（例えば、小石の像など）の輪郭がはっきりする点は好ましいが、その副作用として、小さな像が実物よりもかなり大きくなってしまい、この点において、精細感が逆に低下する結果となる。

また、ゲインを高くすると、画像のエッジがギザギザになってしまい表示品位が低下する。

この点を考慮し、特開平９−２６４６０６号公報は、高域成分のゲインを抑制して、小さな像の拡大を防止する技術を開示する。しかしながら、これでは、画像の精細感を向上させる作用が弱まってしまう。なお、従来技術は、いずれも画素精度において、処理を行っている。
特開平９−２８４６０６号公報 特開２００２−３１８５６１号公報 米国特許第６，３９３，１４５号公報 特開２００２−３５４２７７号公報 特開２００２−４１０２４号公報 特開２００２−９９２３９号公報

そこで本発明は、画像処理を強く作用させても、副作用が少なくかつ精細感を向上できる技術を提供することを目的とする。

第１の発明に係る画像処理装置は、表示デバイスの画素を構成する発光素子（サブピクセル）の個数に合わせた精度を持つサブピクセル精度の画像に基づいて、画像の特定周波数帯に属する成分を強調したサブピクセル精度の強調画像を生成する画像処理部を備える。

この構成により、画像処理部に入力される画像は、画素精度ではなく、サブピクセル精度において、高い解像度を保持する状態で、処理される。しかも、この処理は、画像の特定周波数帯に属する成分を強調するものであり、サブピクセル精度の強調画像あるいはそれ由来の画像に基づいて、表示デバイスにサブピクセル精度を保ったまま表示させることにより、従来技術よりも、精細感に優れた表示を行える。

第２の発明に係る画像処理装置は、画素精度を持つ入力画像を、サブピクセル精度の補間画像に変換する補間部と、サブピクセル精度の補間画像からサブピクセル精度の輝度成分を分離する輝度分離部と、輝度分離部が分離したサブピクセル精度の輝度成分に基づいて、輝度成分の特定周波数帯に属する成分を強調する画像処理部とを備える。

この構成により、カラーの入力画像について、従来技術よりも、精細感に優れた表示を行える。カラー画像から分離された輝度成分（人間の視覚が敏感に反応する）が強調されるため、精細感を効果的に高めることができる。

第３の発明に係る画像処理装置は、白黒２値又はグレースケールであって画素精度を持つ入力画像を、サブピクセル精度の補間画像に変換する補間部と、サブピクセル精度の補間画像に基づいて、輝度成分の特定周波数帯に属する成分を強調する画像処理部とを備える。

この構成により、白黒２値又はグレースケールの入力画像について、従来技術よりも、精細感に優れた表示を行える。また、輝度成分（人間の視覚が敏感に反応する）が強調されるため、精細感を効果的に高めることができる。

第４の発明に係る画像処理装置は、画素精度の入力画像を、サブピクセル精度の補間画像に変換する補間部と、サブピクセル精度の補間画像に基づいて、補間画像の特定周波数帯に属する成分を強調したサブピクセル精度の強調画像を生成する画像処理部と、サブピクセル精度の強調画像をサブピクセルレンダリング処理して表示画像を生成するサブピクセルレンダリング部とを備える。

この構成において、サブピクセルレンダリング部を設けたことにより、ダウンサンプリングすることなく、サブピクセル精度の表示が可能な表示デバイスの性能を十分に発揮させることができる。

より具体的には、従来技術よりも、より強く、特定周波数帯に属する成分を強調しても、エッジが不自然に太くなったり、ギザギザ感が増すようなことはなく、先鋭で高品位の表示結果が得られる。

第５の発明に係る画像処理装置では、１つの画素は、赤の発光素子に対応するサブピクセルと、緑の発光素子に対応するサブピクセルと、青の発光素子に対応するサブピクセルとにより構成される。

この構成により、ＲＧＢ３原色をそれぞれ発光する３つの発光素子により１画素を構成する表示デバイス、例えば、ＰＤＰ（プラズマディスプレイパネル）、液晶パネル、有機ＥＬ等を用いて、精細感に優れた表示を行える。

第６の発明に係る画像処理装置では、補間部は、注目画素と、注目画素に隣接する画素との発光状態によって定義されるパターンを用いた、パターンマッチングに基づいて、変換を行う。

この構成により、上記発光状態を反映した補間を実施でき、単純補間よりも、補間精度を向上できる。

第７の発明に係る画像処理装置では、補間部は、画素精度の入力画像を、１画素を構成するサブピクセルの個数回だけ、複写して、サブピクセル精度の補間画像に変換する。

この構成により、単純な処理により高速に補間を実施できる。

第８の発明に係る画像処理装置では、補間部は、さらに、変換されたサブピクセル精度の補間画像から高周波成分を取り除くローパスフィルタを備える。

この構成により、本来画像に含まれていない高周波成分（単純補間の副作用として発生しがちである）を取り除くことができる。しかも、画像処理部の強調に先だって、この高周波成分を取り除くことにより、本来画像に含まれていない高周波成分を強調するような事態を回避できる。

第９の発明に係る画像処理装置では、サブピクセルレンダリング部は、サブピクセル精度の画像を、サブピクセル精度の輝度成分と、サブピクセル精度の色度成分とに分離する輝度・色度分離部と、分離されたサブピクセル精度の輝度成分に対してサブピクセル精度で表示した場合に発生する色にじみを抑制するフィルタ処理を施して第１の結果を出力する色にじみ抑制部と、分離されたサブピクセル精度の色度成分を処理して第２の結果を出力する色度処理部と、第１の結果と第２の結果とに基づいて、表示画像を生成する表示画像生成部とを備える。

この構成により、人間の視覚が敏感な輝度成分について、サブピクセル精度での強調処理が施されるため、精細感を効果的に高めることができる。しかも、色にじみ抑制部により、色にじみが少ない画像が生成される。

第１０の発明に係る画像処理装置では、画像処理部は、サブピクセル精度の補間画像からサブピクセル精度の高周波成分を取り出すハイパスフィルタと、高周波成分をゲイン倍して強調成分を出力する乗算器と、補間画像と強調成分とを加算してサブピクセル精度の強調画像を出力する加算器とを備える。

この構成により、輪郭やエッジなどの強調をサブピクセル精度で行え、精細感が効果的に高まる。しかも、乗算器でゲイン倍した強調成分を、加算器により補間画像に足し込む構成としているため、補間画像が強調される度合いを把握しやすい。

第１１の発明に係る画像処理装置では、画像処理部は、さらに、高周波成分の波形を一定範囲内に整形して整形済高周波成分を出力する波形整形部を備え、乗算器のゲインは、整形済高周波成分に基づいて調整される。

この構成において、波形整形部を設け、乗算器のゲインを整形済高周波成分に基づいて調整することにより、乗算器のゲインが過剰にならないようにし、画像処理結果を自然にすることができる。

第１２の発明に係る画像処理装置では、単位時間あたり、補間部が入力画像を入力する処理量に対して、画像処理部は、１画素を構成するサブピクセルの個数倍の並列処理を行う。

この構成により、補間部と画像処理部とを、同じサンプリング周波数あるいはクロック数で動作させることができ、リアルタイム処理に対応しやすい。

本発明によれば、入力画像をサブピクセル精度に補間した後、ダウンサンプリングすることなく、表示デバイスの表示結果に、高精度の画像処理結果を反映することができ、画像の精細感を向上できる。

また、画像処理が、画像の高周波成分の強調であるときには、エッジの太りやギザギザ感を抑制でき、従来技術よりも、先鋭感が高く、高品位な表示結果が得られる。

以下、図面を参照しながら、本発明の実施の形態を説明する。

（実施の形態１）
図１は、本発明の実施の形態１における画像処理装置のブロック図である。図１の画像処理装置は、大きく分けて、入力画像の前処理を行う前処理部１０と、サブピクセルレンダリング部２０と、サブピクセルレンダリング部２０から出力される出力画像に基づいて、表示デバイス３１の発光状態を制御するドライバ３０とを備える。

表示デバイス３１としては、ＰＤＰ（プラズマディスプレイパネル）、ＬＣＤ、有機ＥＬ等の表示デバイスが好ましい。これらの表示デバイスは、１画素が、ＲＧＢ３原色をそれぞれ発光する３つの発光素子から構成され、各発光素子は、ドライバ３０により独立して制御される。

発光素子は、ＲＧＢ３原色の光を発するものでなくても差し支えないし、発光素子が並ぶ方向は、水平／垂直のいずれでも良いし、発光素子が並ぶ順序は、任意である。なお、以下便宜上、発光素子は水平方向にＲＧＢの順序で並んでいるものとする。したがって、上述の定義により、サブピクセルもこれらの発光素子と同様に配置されるものとする。

前処理部１０のうち、補間部１１は、画素精度の入力画像（本例では、ＲＧＢ色空間とする）を、サブピクセル精度の補間画像に変換する。本例では、サブピクセルが水平方向に並んでいるものとするため、補間部１１は、入力画像を水平方向について３倍（垂直方向は１倍）の解像度に補間する。

補間の具体的手法としては、（１）単純補間、（２）パターンマッチング、（３）線形補間、（４）バイキュービックによる補間が、考えられる。

ここで、図２（ａ）に示すように、添字ｉ（ｉ＝１，２，．．．，ｎ：自然数ｎは水平方向の画素数）を導入し、水平方向の左端から「ｉ」番目の画素の入力画像データが、（Ｒｉ，Ｇｉ，Ｂｉ）の３つの成分を持つものとする。

このとき、図２（ｂ）に示すように、補間部１１は、「ｉ」番目の画素について、（Ｒｒｉ，Ｇｒｉ，Ｂｒｉ,Ｒｇｉ，Ｇｇｉ，Ｂｇｉ,Ｒｂｉ，Ｇｂｉ，Ｂｂｉ）の９つの成分を生成する。

（１）単純補間によるときは、補間部１１は、
Ｒｒｉ＝Ｒｇｉ＝Ｒｂｉ＝Ｒｉ
Ｇｒｉ＝Ｇｇｉ＝Ｇｂｉ＝Ｇｉ
Ｂｒｉ＝Ｂｇｉ＝Ｂｂｉ＝Ｂｉ
により、１画素を構成するサブピクセルの個数回（本例では３回）だけ複写を行う。

但し、後述するように、単純補間すると、入力画像に本来含まれていない高周波成分が発生するという副作用がある。

（２）パターンマッチングによる補間によるときは、補間部１１は、注目画素（水平方向の左端から「ｉ」番目の画素）と、注目画素に隣接する複数の画素の色と発光状態により、定義されるパターンに従って、パターンマッチングし、補間画像を定める。なお、本発明は、パターンマッチングの手法自体を骨子とするものではないから、詳細な説明を省略するが、パターンマッチングの具体的手法については、例えば、特開２００２−３５４２７７号公報等を参照されたい。

また、前処理部１０のうち、画像処理部１２は、補間部１１からサブピクセル精度の補間画像Ｓ１を入力し、補間画像Ｓ１の特定周波数帯に属する成分を強調したサブピクセル精度の強調画像Ｓ４を生成する。この強調画像Ｓ４は、図２（ｃ）に示すように、「ｉ」番目の画素について、（Ｒ’ｒｉ，Ｇ’ｒｉ，Ｂ’ｒｉ,Ｒ’ｇｉ，Ｇ’ｇｉ，Ｂ’ｇｉ,Ｒ’ｂｉ，Ｇ’ｂｉ，Ｂ’ｂｉ）の９つの成分を有する。

本形態では、画像処理部１２は、画像エンハンス処理を行うものとする。この画像エンハンス処理は、画素精度ではなくサブピクセル精度で実施される。なお、画像処理部１２が、エンハンス処理ではなく、他の精細感向上を目的とする処理（例えば、コントラスト補正、ガンマ補正、色調整等により精細感を向上させる処理）を行うようにしても良い。

図３を参照しながら、本形態の画像処理部１２の構成を説明する。ここで、図３以下、太い矢印は、サブピクセル精度であることを示す。

サブピクセル精度の補間画像Ｓ１は、ハイパスフィルタ１２１と加算器１２２とに入力される。ハイパスフィルタ１２１は、補間画像Ｓ１の高周波成分Ｓ２を取り出し、乗算器１２３へ出力する。乗算器１２３は、一定のゲイン値により、高周波成分Ｓ２をゲイン倍し、その結果を、強調成分Ｓ３として加算器１２２へ出力する。

加算器１２２は、補間画像Ｓ１と強調成分Ｓ３とを加算し、加算結果を強調画像Ｓ４として出力する。以上の処理は、全てサブピクセル精度で実施される。

図４（ａ）〜（ｄ）において、横軸は水平方向の位置（サブピクセル精度）を示し、縦軸は各成分のレベルを示す。図４（ａ）は補間画像Ｓ１の波形例を示し、同様に、図４（ｂ）は高周波成分Ｓ２の波形例、図４（ｃ）は強調成分Ｓ３の波形例、図４（ｄ）は強調画像Ｓ４の波形例を、それぞれ示す。

図４（ｄ）に示す強調画像Ｓ４に対し、画素精度でエンハンス処理を行うと、横軸方向に１／３精度の粗い処理しか実施できない。したがって、本形態によるエンハンス処理が、従来技術よりも、先鋭に実施でき、しかも、ギザギザ感を抑制できる点が理解されよう。

次に、図１、図２を参照しながら、サブピクセルレンダリング部２０について、説明する。図１において、輝度・色度分離部２１は、サブピクセル精度の強調画像Ｓ４（Ｒ’ｒｉ，Ｇ’ｒｉ，Ｂ’ｒｉ,Ｒ’ｇｉ，Ｇ’ｇｉ，Ｂ’ｇｉ,Ｒ’ｂｉ，Ｇ’ｂｉ，Ｂ’ｂｉ）を、サブピクセル精度の輝度成分（Ｙｒｉ，Ｙｇｉ，Ｙｂｉ）と、サブピクセル精度の色度成分（Ｃｂｒｉ，Ｃｒｒｉ，Ｃｂｇｉ，Ｃｒｇｉ，Ｃｂｂｉ，Ｃｒｂｉ）とに、分離する（図２（ｄ）参照）。

輝度・色度分離部２１は、このための変換式として、例えば、次式を使用できる。
Ｙｉ ＝ ０．２９９Ｒｉ＋０．５８７Ｇｉ＋０．１１４Ｂｉ
Ｃｂｉ ＝−０．１７２Ｒｉ−０．３３９Ｇｉ＋０．５１１Ｂｉ
Ｃｒｉ ＝ ０．５１１Ｒｉ−０．４２８Ｇｉ−０．０８３Ｂｉ
色にじみ抑制部２２は、分離されたサブピクセル精度の輝度成分に対してサブピクセル精度で表示した場合に発生する色にじみを抑制するフィルタ処理を施して第１の結果を出力する。

本形態では、色にじみ抑制部２２は、分離されたサブピクセル精度の輝度成分（Ｙｒｉ，Ｙｇｉ，Ｙｂｉ）を色にじみ抑制処理して第１の結果（Ｙ＃ｒｉ，Ｙ＃ｇｉ，Ｙ＃ｂｉ）を出力する。

色にじみ抑制部２２は、このための変換式として、例えば、次式を使用できる。
Ｙ＃ｒｉ＝（Ｙｂｉ−１ ＋ Ｙｒｉ ＋ Ｙｇｉ ）÷３
Ｙ＃ｇｉ＝（Ｙｒｉ ＋ Ｙｇｉ ＋ Ｙｂｉ ）÷３
Ｙ＃ｂｉ＝（Ｙｇｉ ＋ Ｙｂｉ ＋ Ｙｇｉ＋１）÷３
この例では、色にじみ抑制部２２は、１：１：１の比となる３タップのフィルタ処理を行っている。しかしながら、色にじみ抑制部２２は、１：２：１の３タップのフィルタ処理、１：２：３：２：１あるいは１：４：６：４：１の５タップのフィルタ処理、或いは、特開２００２−４１０２４号公報や特開２００２−９９２３９号公報に開示されたフィルタ処理を行いようにしても良い。

ここで、本明細書において、「色にじみ」とは、異なる色に発光するサブピクセルに、それぞれ異なる輝度に基づいた情報を与えるために発生する好ましくない色の発光のことである。このような好ましくない色の発光が発生すると、輝度変化の大きな部分において、色がにじんだような部分が発生してしまい、画質の劣化原因となる。色にじみ抑制部２２は、サブピクセルレンダリングにより発生する色にじみを抑制する。

勿論、以上のフィルタ係数は、一例に過ぎず、色にじみ抑制部２２は、色にじみを抑制する効果があるフィルタ係数であれば、任意のものを使用できる。

色度処理部２３は、分離されたサブピクセル精度の色度成分（Ｃｂｒｉ，Ｃｒｒｉ，Ｃｂｇｉ，Ｃｒｇｉ，Ｃｂｂｉ，Ｃｒｂｉ）を処理して第２の結果（Ｃｂ＃ｉ，Ｃｒ＃ｉ）を出力する。

色度処理部２３は、このための変換式として、例えば、次式を使用できる。
Ｃｂ＃ｉ＝（Ｃｂｒｉ＋Ｃｒｇｉ＋Ｃｂｂｉ）÷３
Ｃｒ＃ｉ＝（Ｃｒｒｉ＋Ｃｒｇｉ＋Ｃｒｂｉ）÷３
さらに、表示画像生成部２４は、第１の結果（Ｙ＃ｒｉ，Ｙ＃ｇｉ，Ｙ＃ｂｉ）と第２の結果（Ｃｂ＃ｉ，Ｃｒ＃ｉ）とに基づいて、表示画像（Ｒ＃ｉ，Ｇ＃ｉ，Ｂ＃ｉ）を生成する。

表示画像生成部２４は、このための変換式として、例えば、次式を使用できる。
Ｒ＃ｉ＝Ｙ＃ｒｉ＋１．３７１Ｃ＃ｒｉ
Ｇ＃ｉ＝Ｙ＃ｇｉ−０．６９８Ｃ＃ｒｉ−０．３３６Ｃ＃ｂｉ
Ｂ＃ｉ＝Ｙ＃ｂｉ＋１．７３２Ｃ＃ｂｉ
この式において、表示画像（Ｒ＃ｉ，Ｇ＃ｉ，Ｂ＃ｉ）に加算される輝度成分が、それぞれ異なる点に注目されたい。これにより、サブピクセル精度で画像処理を施した結果が保持されたまま、その結果が、表示デバイス３１の表示に反映されることとなる。

なお、上述した各式は、例示に過ぎず、他の式を使用できる。

本形態により、画素精度の入力画像が、サブピクセル精度に変換され、サブピクセル精度において、画像処理が実施され、画像処理結果が、サブピクセル精度の情報を保ったまま表示デバイス３１の表示結果に反映される。これにより、従来技術よりも、より精細感が高い画像を生成できる。しかも、位置精度が高いため、画像処理のゲインを高くしても、従来技術のよりも、ギザギザ感が目立たないようにすることができる。

画素精度の入力画像に対し、サブピクセル精度の処理を行う前処理部１０及びサブピクセルレンダリング部２０のそれぞれの内部は、３倍のデータを同時並列処理するようにすることが望ましい。そのようにすると、ハードウエアで図１の画像処理装置を構成する場合、サブピクセル精度の処理を行う部分について、回路規模が増加することになるが、ハードウエアの動作周波数を、入力画像のサンプリング周波数に対して大きくする必要がない点で、有利となる。

＜実施の形態１の第１変形例＞
図１の構成において、画像処理部１２は、主として、輝度成分にその作用を及ぼす。したがって、入力画像をカラー画像対応とするときには、図５に示すように、先に輝度成分の分離を行ってから、その後、画像処理部１２による画像処理を行っても良い。

＜実施の形態１の第２変形例＞
あるいは、入力画像を、白黒２値又はグレースケールのみとするときは、図６に示すように、輝度の分離や、色度の処理を省略することができる。

以上の、第１変形例及び第２変形例のいずれによっても、精細感向上の点について、図１の構成と相違はない。

（実施の形態２）
次に、図７〜図１０を参照しながら、本発明の実施の形態２を説明する。図７は、本発明の実施の形態２における画像処理装置のブロック図である。

図７に示すように、本形態では、実施の形態１に係る図１に対し、補間部４０と画像処理部５０の構成が異なる。また、図７以下において、図１と同様の構成要素については、同一符号を付すことにより、説明を省略する。

補間部４０は、次の要素を有する。単純補間部４１は、画素精度の入力画像（Ｒｉ，Ｇｉ，Ｂｉ）を、１画素を構成するサブピクセルの個数回だけ複写して、サブピクセル精度の補間画像（Ｒｉ，Ｇｉ，Ｂｉ，Ｒｉ，Ｇｉ，Ｂｉ，Ｒｉ，Ｇｉ，Ｂｉ）に変換する。本形態でも、実施の形態１と同様に、１画素について３つのサブピクセルが水平に並んでいるものとし、単純補間部４１は、水平方向について３回複写（実施の形態１で述べた単純補間）を行う。

上述したように、このような単純補間を行うと、その副作用として、入力画像に本来含まれていない高周波成分が、補間画像に発生してしまう。

図８において、上段は、入力画像のデータ例を示し、その下段は、補間画像（単純補間結果）のデータ例を示す。図８では、点Ｐ１付近に、上記高周波成分が発生している。点Ｐ１において、補間画像のＲＧＢ各値が、「２５５」から「０」へ１画素の約１／３倍の間隔で変化することになるが、入力画像では、「２５５」から「０」へ１画素の１倍の間隔で変化している。即ち、周波数領域で考えると、補間画像の方が、値の変化がより高い周波数側へ寄っていることになる。

そして、単純補間部４１により単純補間された補間画像を、そのまま画像処理部５０により画像処理（例えば、エンハンス処理等）すると、単純補間によって発生し入力画像に本来含まれていない高周波成分を、不自然に強調することになってしまう。

そこで本形態では、単純補間部４１と画像処理部５０との間に、ローパスフィルタ４２を設け、ローパスフィルタ４２により単純補間の副作用により発生した高周波成分を、抑制している。これにより、入力画像に対して、より自然な画像処理を実現できる。なお、ローパスフィルタ４２の出力は、サブピクセル精度の補間画像Ｓ１１として、画像処理部５０に入力される。

また、図７に示すように、画像処理部５０は、次の要素を有する。サブピクセル精度の補間画像Ｓ１１（図９（ａ）参照）は、ハイパスフィルタ５１と第１加算器５２とに入力される。ハイパスフィルタ５１は、補間画像Ｓ１１からサブピクセル精度の高周波成分Ｓ１２（図９（ｂ）参照）を取り出し、取り出された高周波成分Ｓ１２は、乗算器５４と波形整形部５３に入力される。

乗算器５４は、ゲイン調整値Ｓ１５に従って高周波成分Ｓ１２をゲイン倍し、サブピクセル精度の強調成分Ｓ１６を第１加算器５２に出力する。

波形整形部５３は、図９（ｂ）に示すような高周波成分Ｓ１２の波形を、図９（ｃ）に示すように一定範囲内に整形する。さらに、波形整形部５３は、図１０の斜線部内に存在する成分を抽出し、抽出された整形済高周波成分Ｓ１３を第２加算器５５に出力する。本形態では、図１０に示す特性に従い、ハイパスフィルタ５１の出力が、一定レベル以上になると、整形済高周波成分Ｓ１３が小さくなる。これにより、ハイパスフィルタ５１の出力が比較的大きい部分に関し、乗算器５４のゲイン値が過大になることが、防止される。

勿論、波形整形部５３の処理として、ゲイン調整のための他の処理（例えば、絶対値の調整、コアリング等）を用いても良い。

また、図７に示すように、第２加算器５５には、正の固定ゲイン値が入力され、第２加算器５５は、整形済高周波成分Ｓ１３に、この固定ゲイン値を加算し、加算結果をゲイン調整値Ｓ１５として、乗算器５４へ出力する。

乗算器５４は、ゲイン調整値Ｓ１５に従って高周波成分Ｓ１２をゲイン倍し、その結果を、サブピクセル精度の強調成分Ｓ１６として第１加算器５２へ出力する。

さらに、第１加算器５２は、サブピクセル精度の補間画像Ｓ１１とサブピクセル精度の強調成分Ｓ１６とを加算し、その結果をサブピクセル精度の強調画像Ｓ１７としてサブピクセルレンダリング部２０へ出力する。

本形態によれば、単純補間により発生する高周波成分を制限して、自然な画像処理を実施できる。また、画像処理部５０におけるゲイン値を調整することにより、オーバーゲインによる信号の折り返しや、色にじみを抑制して、精細度が高く、高品位な表示結果を得られる。

本発明に係る画像処理装置は、例えば、１画素について複数の発光素子を使用する表示装置及びその内部要素あるいはこれらの関連技術において、好適に利用できる。

本発明の実施の形態１における表示装置のブロック図 （ａ）本発明の実施の形態１における画像処理の過程説明図 （ｂ）本発明の実施の形態１における画像処理の過程説明図 （ｃ）本発明の実施の形態１における画像処理の過程説明図 （ｄ）本発明の実施の形態１における画像処理の過程説明図 （ｅ）本発明の実施の形態１における画像処理の過程説明図 （ｆ）本発明の実施の形態１における画像処理の過程説明図 本発明の実施の形態１における画像処理部のブロック図 （ａ）本発明の実施の形態１における波形例を示すグラフ （ｂ）本発明の実施の形態１における波形例を示すグラフ （ｃ）本発明の実施の形態１における波形例を示すグラフ （ｄ）本発明の実施の形態１における波形例を示すグラフ 本発明の実施の形態１（第１変形例）における表示装置のブロック図 本発明の実施の形態１（第２変形例）における表示装置のブロック図 本発明の実施の形態２における表示装置のブロック図 本発明の実施の形態２における単純補間の副作用の説明図 （ａ）本発明の実施の形態２における波形例を示すグラフ （ｂ）本発明の実施の形態２における波形例を示すグラフ （ｃ）本発明の実施の形態２における波形例を示すグラフ 本発明の実施の形態２における波形整形部による出力範囲を示すグラフ 従来の画像処理装置のブロック図

符号の説明

１、１２、５０ 画像処理部
２、１２２ 加算器
３、５１、１２１ ハイパスフィルタ
４、５４、１２３ 乗算器
１０ 前処理部
１１、４０ 補間部
２０ サブピクセルレンダリング部
２１ 輝度・色度分離部
２２ 色にじみ抑制部
２３ 色度処理部
２４ 表示画像生成部
３０ ドライバ
３１ 表示デバイス
４１ 単純補間部
４２ ローパスフィルタ
５２ 第１加算器
５３ 波形整形部
５５ 第２加算器
Ｓ１、Ｓ１１ 補間画像
Ｓ２、Ｓ１２ 高周波成分
Ｓ３、Ｓ１６ 強調成分
Ｓ４、Ｓ１７ 強調画像
Ｓ１３ 整形済高周波成分
Ｓ１４ 固定ゲイン値
Ｓ１５ ゲイン調整値

Claims (17)

1. 表示デバイスの画素を構成する発光素子（サブピクセル）の個数に合わせた精度を持つサブピクセル精度の画像に基づいて、前記画像の特定周波数帯に属する成分を強調したサブピクセル精度の強調画像を生成する画像処理部を備える画像処理装置。
2. 画素精度を持つ入力画像を、サブピクセル精度の補間画像に変換する補間部と、
   前記サブピクセル精度の補間画像からサブピクセル精度の輝度成分を分離する輝度分離部と、
   前記輝度分離部が分離した前記サブピクセル精度の輝度成分に基づいて、前記輝度成分の特定周波数帯に属する成分を強調する画像処理部とを備える画像処理装置。
3. 白黒２値又はグレースケールであって画素精度を持つ入力画像を、サブピクセル精度の補間画像に変換する補間部と、
   前記サブピクセル精度の補間画像に基づいて、前記輝度成分の特定周波数帯に属する成分を強調する画像処理部とを備える画像処理装置。
4. 画素精度の入力画像を、サブピクセル精度の補間画像に変換する補間部と、
   前記サブピクセル精度の補間画像に基づいて、前記補間画像の特定周波数帯に属する成分を強調したサブピクセル精度の強調画像を生成する画像処理部と、
   前記サブピクセル精度の強調画像をサブピクセルレンダリング処理して表示画像を生成するサブピクセルレンダリング部とを備える画像処理装置。
5. １つの画素は、赤の発光素子に対応するサブピクセルと、緑の発光素子に対応するサブピクセルと、青の発光素子に対応するサブピクセルとにより構成される請求項１から４記載の画像処理装置。
6. 前記補間部は、注目画素と、前記注目画素に隣接する画素との発光状態によって定義されるパターンを用いた、パターンマッチングに基づいて、変換を行う請求項２から４記載の画像処理装置。
7. 前記補間部は、前記画素精度の入力画像を、１画素を構成するサブピクセルの個数回だけ、複写して、前記サブピクセル精度の補間画像に変換する請求項２から４記載の画像処理装置。
8. 前記補間部は、さらに、変換された前記サブピクセル精度の補間画像から高周波成分を取り除くローパスフィルタを備える請求項７記載の画像処理装置。
9. 前記サブピクセルレンダリング部は、
   サブピクセル精度の画像を、サブピクセル精度の輝度成分と、サブピクセル精度の色度成分とに分離する輝度・色度分離部と、
   分離された前記サブピクセル精度の輝度成分に対してサブピクセル精度で表示した場合に発生する色にじみを抑制するフィルタ処理を施して第１の結果を出力する色にじみ抑制部と、
   分離された前記サブピクセル精度の色度成分を処理して第２の結果を出力する色度処理部と、
   前記第１の結果と前記第２の結果とに基づいて、表示画像を生成する表示画像生成部とを備える請求項４記載の画像処理装置。
10. 前記画像処理部は、
    前記サブピクセル精度の補間画像からサブピクセル精度の高周波成分を取り出すハイパスフィルタと、
    前記高周波成分をゲイン倍して強調成分を出力する乗算器と、
    前記補間画像と前記強調成分とを加算して前記サブピクセル精度の強調画像を出力する加算器とを備える請求項１から９記載の画像処理装置。
11. 前記画像処理部は、さらに、前記高周波成分の波形を一定範囲内に整形して整形済高周波成分を出力する波形整形部を備え、
    前記乗算器のゲインは、前記整形済高周波成分に基づいて調整される請求項１０記載の画像処理装置。
12. 単位時間あたり、前記補間部が前記入力画像を入力する処理量に対して、前記画像処理部は、１画素を構成するサブピクセルの個数倍の並列処理を行う請求項２から１１記載の画像処理装置。
13. 表示デバイスと、請求項１記載の画像処理装置と、前記画像処理部が生成した強調画像により前記表示デバイスを制御するドライバとを備える表示装置。
14. サブピクセル精度の画像に基づいて、前記画像の特定周波数帯に属する成分を強調したサブピクセル精度の強調画像を生成するステップを含む画像処理方法。
15. 画素精度を持つ入力画像を、サブピクセル精度の補間画像に変換するステップと、
    前記サブピクセル精度の補間画像からサブピクセル精度の輝度成分を分離するステップと、
    分離された前記サブピクセル精度の輝度成分に基づいて、前記輝度成分の特定周波数帯に属する成分を強調するステップとを含む画像処理方法。
16. 白黒２値又はグレースケールであって画素精度を持つ入力画像を、サブピクセル精度の補間画像に変換するステップと、
    前記サブピクセル精度の補間画像に基づいて、前記輝度成分の特定周波数帯に属する成分を強調するステップとを含む画像処理方法。
17. 画素精度の入力画像を、サブピクセル精度の補間画像に変換するステップと、
    前記サブピクセル精度の補間画像に基づいて、前記補間画像の特定周波数帯に属する成分を強調したサブピクセル精度の強調画像を生成するステップと、
    前記サブピクセル精度の強調画像をサブピクセルレンダリング処理して表示画像を生成するステップとを含む画像処理方法。

Images