JP2014102642A - 画像処理回路、画像処理方法及びそれを用いた表示装置 - Google Patents

Abstract

【課題】低解像度の画像データを高解像度の画像データに拡大変換するときに、画像の輪郭やテクスチャー領域、グラデーション領域において、画像劣化を低減した画像処理回路、画像処理方法及び表示装置を提供する。
【解決手段】画像処理回路は、入力画像データをグラデーション領域の第１の画像領域、非グラデーション領域の第２の画像領域、中間領域の第３の画像領域に分類する判別部と、入力画像データの画素の値に、理論的に求めた係数を適用して補間した第１の出力画素の値を生成する第１の画素補間部と、学習によって求めた係数を適用して補間した第２の出力画素の値を生成する第２の画素補間部と、判別部が分類した結果に応じて、第１の出力画素の値又は第２の出力画素の値を出力し、入力画像データを第３の画像領域に分類した場合に、第１の出力画素の値及び第２の出力画素の値を演算処理した第３の出力画素の値を出力する混合部と、を備える。
【選択図】図１

Description

本発明は画像処理回路、画像処理方法及びそれを用いた表示装置に関し、特に、低解像度の画像データを高解像度の画像データに拡大変換するときに、画像の輪郭やテクスチャー領域、グラデーション領域において、画像劣化を低減した画像処理回路、画像処理方法及びそれを用いた表示装置に関する。

近年、表示装置においては、大型化・高解像度化が進み、広く一般家庭まで普及している。しかし、表示装置のさらなる大型化・高解像度化に対する要求や取り組みも続いている。表示装置の大型化・高解像度化には、画像データを拡大するための補間が必須となる。画像データの一般的な拡大における補間方式であるＢｉ−Ｌｉｎｅａｒ方式、Ｂｉ−Ｃｕｂｉｃ方式、Ｌａｎｃｚｏｓ方式では、大型・高解像度の表示装置において、ぼけやエッジ部分におけるジャギーが目立つ問題があった。これらを解決する手段の一つとして学習によって補間係数を決定する方式が提案されており、輪郭やテクスチャー領域においてＬａｎｃｚｏｓ方式などを上回る画質を実現している。しかし、学習による補間係数は理論的に求めた補間係数とは異なり、各参照画素がバラバラな周波数成分を持つため、特にグラデーション領域（隣接画素の差分の変化量が少ない領域）では、観察者の目につくような画像劣化（縞模様）を発生させてしまう。

この問題を解決するため、例えば特許文献１では、波形クラス（ＡＤＲＣ）に加えて、傾きクラス、位相クラスによって画像の特徴を細分化して補間係数を学習により求めることが記載されている。しかし、このような画像の特徴を細分化した補間係数を学習により求める方式においても、グラデーション領域の画像劣化（縞模様）を完全に消すことはできていない。

特開２００９−２６８０２１号公報

本発明は、上述の問題を解決するものであって、低解像度の画像データを高解像度の画像データに拡大変換するときに、画像の輪郭やテクスチャー領域、グラデーション領域において、画像劣化を低減した画像処理回路、画像処理方法及びそれを用いた表示装置を提供することを目的とする。

本発明の一実施形態によると、入力画像データを構成する画素の２次元配列において、複数の前記画素により形成される矩形の格子を規定し、前記矩形の格子内の領域に画素を補間して、前記入力画像データを拡大した出力画像データを出力する画像処理回路であって、前記入力画像データをグラデーション領域である第１の画像領域、非グラデーション領域である第２の画像領域、または、前記グラデーション領域と前記非グラデーション領域との中間領域である第３の画像領域の何れかに分類する判別部と、前記入力画像データの画素の値に、理論的に求めた係数を適用して補間した第１の出力画素の値を生成する第１の画素補間部と、前記入力画像データの画素の値に、学習によって求めた係数を適用して補間した第２の出力画素の値を生成する第２の画素補間部と、前記判別部が前記入力画像データを第１の画像領域に分類した場合に、前記第１の出力画素の値を出力し、前記判別部が前記入力画像データを第２の画像領域に分類した場合に、前記第２の出力画素の値を出力し、もしくは、前記判別部が前記入力画像データを第３の画像領域に分類した場合に、前記第１の出力画素の値及び前記第２の出力画素の値を演算処理した第３の出力画素の値を出力する混合部と、を備える画像処理回路が提供される。

本実施形態によると、低解像度の画像データを高解像度の画像データに拡大変換するときに、入力画像データをグラデーション領域、画像の輪郭やテクスチャー領域（非グラデーション領域）及びそれらの中間領域の３つの画像領域に分類することにより、各画像領域に適切な画素補間を行うことができ、画像劣化を低減した画像処理回路を提供することができる。

前記画像処理回路において、前記判別部は、所定の第１の閾値及び第２の閾値を有し、前記矩形の格子に含まれる画素の値を演算処理して、凹凸度を求め、前記判別部は、前記凹凸度が前記第１の閾値より小さい場合に、前記入力画像データを前記第１の画像領域に分類して、前記混合部は前記第１の出力画素の値を出力し、前記判別部は、前記凹凸度が前記第２の閾値より大きい場合に、前記入力画像データを前記第２の画像領域に分類して、前記第２の出力画素の値を出力し、前記判別部は、前記凹凸度が前記第１の閾値以上、前記第２の閾値以下である場合に、前記入力画像データを前記第３の画像領域に分類して、前記混合部は前記第３の出力画素の値を出力してもよい。

本実施形態によると、矩形の格子に含まれる入力画像データの画素の値を演算処理して凹凸度を求め、２つの所定の閾値に基づいて、入力画像データをグラデーション領域、非グラデーション領域及びそれらの中間領域の３つの画像領域に分類するため、入力画像データは３つの領域に適正に分類され、各画像領域に適した画素補間を行うことができ、画像劣化を低減した画像処理回路を提供することができる。

前記画像処理回路において、前記第３の出力画素の値は、前記凹凸度と前記第１の閾値及び前記第２の閾値から求めた第１の割合を１から減じた第２の割合と、前記第１の出力画素の値との積と、前記第１の割合と、前記第２の出力画素の値との積と、を加算して求めてもよい。

本実施形態によると、矩形の格子に含まれる入力画像データの画素の値を演算処理して求めた凹凸度と２つの所定の閾値とを演算した割合に応じて、中間領域に分類された入力画像データを処理することにより、中間領域に適した画素補間を行うことができ、画像劣化を低減した画像処理回路を提供することができる。

前記画像処理回路において、前記凹凸度は、前記矩形の格子に含まれる画素の値の２次微分の絶対値の最大値、最小値または平均値、ハイパスフィルタを用いた高周波成分の絶対値、最小値または平均値、もしくは離散フーリエ変換を用いた高周波成分の絶対値の最大値、最小値または平均値であり、前記画素の値の２次微分の絶対値、前記ハイパスフィルタを用いた高周波成分の絶対値または前記離散フーリエ変換を用いた高周波成分の絶対値に所定の重み付けをして求めてもよい。

本実施形態によると、入力画像データの画素の値を演算した値に重み付けをして最大値、最小値または平均値を求めることにより、入力画像データは３つの領域に適正に分類され、各画像領域に適した画素補間を行うことができ、画像劣化を低減した画像処理回路を提供することができる。

また、本発明の一実施形態によると、入力画像データを構成する画素の２次元配列において、複数の前記画素により形成される矩形の格子を規定し、前記矩形の格子内の領域に画素を補間して、前記入力画像データを拡大した出力画像データを出力する画像処理方法であって、前記入力画像データをグラデーション領域である第１の画像領域、非グラデーション領域である第２の画像領域、または、前記グラデーション領域と前記非グラデーション領域との中間領域である第３の画像領域の何れかに分類し、前記入力画像データの画素の値に、理論的に求めた係数を適用して補間した第１の出力画素の値を生成し、前記入力画像データの画素の値に、学習によって求めた係数を適用して補間した第２の出力画素の値を生成し、前記入力画像データを第１の画像領域に分類した場合に、前記第１の出力画素の値を出力し、前記入力画像データを第２の画像領域に分類した場合に、前記第２の出力画素の値を出力し、もしくは、前記入力画像データを第３の画像領域に分類した場合に、前記第１の出力画素の値及び前記第２の出力画素の値を演算処理した第３の画素の値を出力する画像処理方法が提供される。

本実施形態によると、低解像度の画像データを高解像度の画像データに拡大変換するときに、入力画像データをグラデーション領域、画像の輪郭やテクスチャー領域（非グラデーション領域）及びそれらの中間領域の３つの画像領域に分類することにより、各画像領域に適切な画素補間を行うことができ、画像劣化を低減した画像処理方法を提供することができる。

前記画像処理方法において、所定の第１の閾値及び第２の閾値を有し、前記矩形の格子に含まれる画素の値を演算処理して、凹凸度を求め、前記凹凸度が前記第１の閾値より小さい場合に、前記入力画像データを前記第１の画像領域に分類して、前記第１の出力画素の値を出力し、前記凹凸度が前記第２の閾値より大きい場合に、前記入力画像データを前記第２の画像領域に分類して、前記第２の出力画素の値を出力し、前記凹凸度が前記第１の閾値以上、前記第２の閾値以下である場合に、前記入力画像データを前記第３の画像領域に分類して、前記第３の出力画素の値を出力してもよい。

本実施形態によると、矩形の格子に含まれる入力画像データの画素の値を演算処理して凹凸度を求め、２つの所定の閾値に基づいて、入力画像データをグラデーション領域、非グラデーション領域及びそれらの中間領域の３つの画像領域に分類するため、入力画像データは３つの領域に適正に分類され、各画像領域に適した画素補間を行うことができ、画像劣化を低減した画像処理方法を提供することができる。

前記画像処理方法において、前記第３の出力画素の値は、前記凹凸度と前記第１の閾値及び前記第２の閾値から求めた第１の割合を１から減じた第２の割合と、前記第１の出力画素の値との積と、前記第１の割合と、前記第２の出力画素の値との積と、を加算して求めてもよい。

本実施形態によると、矩形の格子に含まれる入力画像データの画素の値を演算処理して求めた凹凸度と２つの所定の閾値とを演算した割合に応じて、中間領域に分類された入力画像データを処理することにより、中間領域に適した画素補間を行うことができ、画像劣化を低減した画像処理方法を提供することができる。

前記画像処理方法において、前記凹凸度は、前記矩形の格子に含まれる画素の値の２次微分の絶対値の最大値、最小値または平均値、ハイパスフィルタを用いた高周波成分の絶対値の最大値、最小値または平均値、もしくは離散フーリエ変換を用いた高周波成分の絶対値の最大値、最小値または平均値であり、前記画素の値の２次微分の絶対値、前記ハイパスフィルタを用いた高周波成分の絶対値または前記離散フーリエ変換を用いた高周波成分の絶対値に所定の重み付けをして求めてもよい。

本実施形態によると、入力画像データの画素の値を演算した値に重み付けをして最大値、最小値または平均値を求めることにより、入力画像データは３つの領域に適正に分類され、各画像領域に適した画素補間を行うことができ、画像劣化を低減した画像処理方法を提供することができる。

また、本発明の一実施形態によると、入力画像データを構成する画素の２次元配列において、複数の前記画素により形成される矩形の格子を規定し、前記矩形の格子内の領域に画素を補間して、前記入力画像データを拡大した出力画像データを表示する表示装置であって、表示部と、入力画像データに画像処理を行い、処理された出力画像データを出力する画像処理回路と、前記画像処理回路から出力された前記出力画像データを前記表示部に出力するデータドライバと、駆動信号を出力する前記表示部にゲートドライバと、を備え、前記画像処理回路は、前記入力画像データをグラデーション領域である第１の画像領域、非グラデーション領域である第２の画像領域、または、前記グラデーション領域と前記非グラデーション領域との中間領域である第３の画像領域の何れかに分類し、前記入力画像データの画素の値に、理論的に求めた係数を適用して補間した第１の出力画素の値を生成し、前記入力画像データの画素の値に、学習によって求めた係数を適用して補間した第２の出力画素の値を生成し、前記入力画像データを第１の画像領域に分類した場合に、前記出力画像データとして、前記第１の出力画素の値を出力し、前記入力画像データを第２の画像領域に分類した場合に、出力画像データとして、前記第２の出力画素の値を出力し、もしくは、前記入力画像データを第３の画像領域に分類した場合に、出力画像データとして、前記第１の出力画素の値及び前記第２の出力画素の値を演算処理した第３の出力画素の値を出力し、前記表示部は、前記駆動信号に応じて、前記出力画像データに基づく画像を表示する表示装置が提供される。

本実施形態によると、低解像度の画像データを高解像度の画像データに拡大変換するときに、入力画像データをグラデーション領域、画像の輪郭やテクスチャー領域（非グラデーション領域）及びそれらの中間領域の３つの画像領域に分類することにより、各画像領域に適切な画素補間を行うことができ、画像劣化を低減した表示装置を提供することができる。

前記表示装置において、前記画像処理回路は、所定の第１の閾値及び第２の閾値を有し、前記矩形の格子に含まれる画素の値を演算処理して、凹凸度を求め、前記凹凸度が前記第１の閾値より小さい場合に、前記入力画像データを前記第１の画像領域に分類して、前記第１の出力画素の値を出力し、前記凹凸度が前記第２の閾値より大きい場合に、前記入力画像データを前記第２の画像領域に分類して、前記第２の出力画素の値を出力し、前記凹凸度が前記第１の閾値以上、前記第２の閾値以下である場合に、前記入力画像データを前記第３の画像領域に分類して、前記第３の出力画素の値を出力してもよい。

本実施形態によると、矩形の格子に含まれる入力画像データの画素の値を演算処理して凹凸度を求め、２つの所定の閾値に基づいて、入力画像データをグラデーション領域、非グラデーション領域及びそれらの中間領域の３つの画像領域に分類するため、入力画像データは３つの領域に適正に分類され、各画像領域に適した画素補間を行うことができ、画像劣化を低減した表示装置を提供することができる。

前記表示装置において、前記第３の出力画素の値は、前記凹凸度と前記第１の閾値及び前記第２の閾値から求めた第１の割合を１から減じた第２の割合と、前記第１の出力画素の値との積と、前記第１の割合と、前記第２の出力画素の値との積と、を加算して求めてもよい。

本実施形態によると、矩形の格子に含まれる入力画像データの画素の値を演算処理して求めた凹凸度と２つの所定の閾値とを演算した割合に応じて、中間領域に分類された入力画像データを処理することにより、中間領域に適した画素補間を行うことができ、画像劣化を低減した表示装置を提供することができる。

前記表示装置において、前記凹凸度は、前記矩形の格子に含まれる画素の値の２次微分の絶対値の最大値、最小値または平均値、ハイパスフィルタを用いた高周波成分の絶対値の最大値、最小値または平均値、もしくは離散フーリエ変換を用いた高周波成分の絶対値の最大値、最小値または平均値であり、前記画素の値の２次微分の絶対値、前記ハイパスフィルタを用いた高周波成分の絶対値または前記離散フーリエ変換を用いた高周波成分の絶対値に所定の重み付けをして求めてもよい。

本実施形態によると、入力画像データの画素の値を演算した値に重み付けをして最大値、最小値または平均値を求めることにより、入力画像データは３つの領域に適正に分類され、各画像領域に適した画素補間を行うことができ、画像劣化を低減した表示装置を提供することができる。

本発明によると、低解像度の画像データを高解像度の画像データに拡大変換するときに、画像の輪郭やテクスチャー領域、グラデーション領域において、画像劣化を低減した画像処理回路、画像処理方法及びそれを用いた表示装置を提供することができる。

本発明の一実施形態に係る画像処理回路１０を示すブロック図である。 本発明の一実施形態に係る画像処理方法を説明する概念図であり、左図は入力画像データ１００を示す模式図であり、右図は画像処理回路１０により処理されて出力画像データ５００を示す模式図である。 本発明の一実施形態に係る入力画像データ１００の画素配列と、判別部１１により補間される画素との関係を説明する模式図である。 （ａ）は入力画素と補間画素の距離と、学習によって求めた補間係数との関係の例を示す模式図であり、（ｂ）は学習によって求めた補間係数をグラデーション領域１１０に適用した従来の補間画素の座標と階調の関係の一例を示す模式図であり、（ｃ）は入力画素と補間画素の距離と、理論的に求めた補間係数との関係の例を示す模式図であり、（ｄ）は理論的に求めた補間係数をグラデーション領域１１０に適用した本発明に係る補間画素の座標と階調の関係の一例を示す模式図である。 （ａ）はグラデーション領域を示し、（ｂ）は学習によって求めた補間係数を適用して画素補間した従来例を示す模式図であり、（ｃ）は理論的に求めた補間係数を適用して画素補間した本発明の実施例を示す模式図である。 本発明の一実施形態に係る表示装置１を示す模式図である。

以下、図面を参照して本発明に係る画像処理回路、画像処理方法及びそれを用いた表示装置について説明する。但し、本発明の画像処理回路、画像処理方法及びそれを用いた表示装置は多くの異なる態様で実施することが可能であり、以下に示す実施の形態の記載内容に限定して解釈されるものではない。なお、本実施の形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号を付し、その繰り返しの説明は省略する。

上述したように、Ｂｉ−Ｌｉｎｅａｒ方式、Ｂｉ−Ｃｕｂｉｃ方式、Ｌａｎｃｚｏｓ方式の補間では、ぼけやエッジ部分におけるジャギーが目立つ問題があり、また、学習型の補間ではグラデーション領域の画像劣化を改善するのは困難である。画像の特徴を細分化した学習型の補間でもグラデーション領域の画像劣化を改善するのは困難であることから、本発明者らは、従来行われてこなかったＢｉ−Ｌｉｎｅａｒ方式、Ｂｉ−Ｃｕｂｉｃ方式、Ｌａｎｃｚｏｓ方式の理論的な補間と、学習型の補間とを併用することを検討した。即ち、本発明者らは、画像の輪郭やテクスチャー領域での補間を得意とする学習型の補間と、グラデーション領域での補間を得意とするＢｉ−Ｌｉｎｅａｒ方式、Ｂｉ−Ｃｕｂｉｃ方式、Ｌａｎｃｚｏｓ方式の補間とを併用することを想到した。

ここで重要なことは、画像の輪郭やテクスチャー領域と、グラデーション領域とを区別して、それぞれに異なる補間方法を適用することである。図１は、本発明の一実施形態に係る画像処理回路１０を示すブロック図である。画像処理回路１０は、例えば、判別部１１と、非学習型画素補間部（第１の画素補間部）１３と、学習型画素補間部（第２の画素補間部）１５と、混合部１７と、を備える。

判別部１１は、入力画像データをグラデーション領域（第１の画像領域）、輪郭やテクスチャー領域等の非グラデーション領域（第２の画像領域）またはグラデーション領域と非グラデーション領域との中間領域（第３の画像領域）の何れかに分類する。非学習型画素補間部１３は、入力画像データの画素の値に、理論的に求めた係数を適用して補間した画素の値（第１の出力画素の値）を生成する。また、学習型画素補間部１５は、入力画像データの画素の値に、学習によって求めた係数を適用して補間した画素の値（第２の出力画素の値）を生成する。混合部１７は、判別部１１が分類した結果に基づいて、第１の出力画素の値または第２の出力画素の値を出力する、もしくは、中間領域（第３の画像領域）のために、第１の出力画素の値及び第２の出力画素の値を演算処理した第３の出力画素の値を出力する。

ここで、図２を参照する。図２は、本発明の一実施形態に係る画像処理方法を説明する概念図である。左図は入力画像データ１００を示す模式図であり、右図は画像処理回路１０により処理されて出力画像データ５００を示す模式図である。入力画像データ１００は有線または無線の通信手段により一般的に供給される低解像度の画像データである。出力画像データ５００は、画像処理回路１０により補間された高解像度の出力画像データである。入力画像データ１００においては、グラデーション領域１１０と非グラデーション領域１３０とが混在している。判別部１１は、入力画像データ１００をグラデーション領域１１０と非グラデーション領域１３０に分類する。しかし、入力画像データ１００においては、グラデーション領域１１０と非グラデーション領域１３０との中間領域１５０も存在するため、判別部１１は、グラデーション領域１１０と非グラデーション領域１３０との中間領域（第３の画像領域）１５０を含めた何れかの領域に入力画像データ１００を分類することが好ましい。

後述するように、本実施形態においては、グラデーション領域１１０は、非学習型画素補間部１３により画素補間された領域５１０として出力され、非グラデーション領域１３０は、学習型画素補間部１５により画素補間された領域５３０として出力される。また、中間領域１５０は、非学習型画素補間部１３により処理された値と、学習型画素補間部１５により処理された値をその割合に応じて演算した領域５５０として出力される。

本実施形態において、判別部１１は、入力画像データ１００をこれらの３つの領域に分類するために、例えば、所定の第１の閾値及び第２の閾値を有する。また、判別部１１は、入力画像データ１００を構成する画素の２次元配列において、複数の画素により形成される矩形の格子を規定し、矩形の格子に含まれる画素の値を演算処理して、凹凸度を求める。図３は、本発明の一実施形態に係る入力画像データ１００の画素配列と、判別部１１により補間される画素との関係を説明する模式図である。本実施形態において、入力画像データ１００の画素により形成される矩形の格子は、これに限定されるものではないが、例えば、３×３で規定する。

図３においては、例えば、画素ｘ１〜ｘ９で規定される格子を拡大する（高解像度化する）場合において、画素ｘ１、ｘ２、ｘ４及びｘ５で囲まれる領域に４つの画素を補間する。言い換えると、例えば、画素ｘ５からその周囲に４つの画素を補間する。本実施形態においては、この格子がグラデーション領域１１０か、非グラデーション領域１３０か、またはグラデーション領域１１０と非グラデーション領域１３０との中間領域１５０であるかを、例えば、矩形の格子に含まれる画素の値の２次微分の絶対値の最大値、最小値または平均値、ハイパスフィルタを用いた高周波成分の絶対値の最大値、最小値または平均値、もしくは離散フーリエ変換を用いた高周波成分の絶対値の最大値、最小値または平均値を求めることにより分類する。

（２次微分の絶対値に基づく凹凸度を用いた分類）
以下では、２次微分の絶対値に基づく凹凸度を求める一例として、２次微分の絶対値の最大値により分類する方法について説明する。図３の画素ｘ１〜ｘ９で規定される格子に対して２次微分の絶対値を求めると、以下のようになる。

d2x(0)=|(x2-x1)-(x3-X2)|
d2x(1)=|(x5-x4)-(x6-x5)|
d2x(2)=|(x8-x7)-(x9-x8)|
d2y(0)=|(x4-x1)-(x7-x4)|
d2y(1)=|(x5-x2)-(x8-x5)|
d2y(2)=|(x6-x3)-(x9-x6)|

この２次微分の絶対値の最大値（d2_max）は、以下の式（１）により求めることができる。

d2_max=max(w1*d2x(0), w2*d2x(1), w3*d2x(2), w4*d2y(0), w5*d2y(1), w6*d2y(2))・・・（１）

ここで、ｗ１〜ｗ６は、２次微分の絶対値に対する重みを示す。各本実施形態においては、２次微分の絶対値を重み付けした上で最大値を求めることが好ましい。特に、格子の中心の重みを大きくし、格子の周囲の重みを小さくすることが好ましい。このような重み付けをすることにより、判別部１１は、入力画像データ１００を３つの領域に的確に分類することができる。

判別部１１は、得られた最大値を第１の閾値（Th1）及び第２の閾値（Th2）と比較する。判別部１１は、最大値が第１の閾値より小さい場合には、入力される画素の値をグラデーション領域１１０に分類する。判別部１１は、最大値が第２の閾値より大きい場合には、入力される画素の値を非グラデーション領域１３０に分類する。また、判別部１１は、最大値が第１の閾値以上、第２の閾値以下である場合には、入力される画素の値をグラデーション領域１１０と非グラデーション領域１３０との中間領域１５０に分類する。本実施形態においては、判別部１１は、このような入力される１フーム毎の画像データ１００について、３つの領域に分類する。このように、本実施形態において、判別部１１は、画素により形成される矩形の格子を基に画素の値を２次微分し、絶対値として凹凸度を求めることにより、入力画像データ１００を３つの領域に的確に分類することができる。上述したように、本実施形態においては、凹凸度として２次微分の絶対値の最小値または平均値を用いても、同様に入力画像データ１００を３つの領域に的確に分類することができる。

（ハイパスフィルタを用いた高周波成分の絶対値に基づく凹凸度を用いた分類）
以下では、ハイパスフィルタを用いた高周波成分の絶対値に基づく凹凸度を求める一例として、ハイパスフィルタを用いた高周波成分の絶対値の最大値により分類する方法について説明する。判別部１１が行う画像データの分類処理の変形例として、ハイパスフィルタを用いた高周波成分の絶対値の最大値を用いた分類方法について説明する。図３の画素ｘ１〜ｘ９で規定される格子に対してハイパスフィルタを適用すると、以下のようになる。

Hx(0)=|-1/4・x1+1/2・x2-1/4・x3|
Hx(1)=|-1/4・x4+1/2・x5-1/4・x6|
Hx(2)=|-1/4・x7+1/2・x8-1/4・x9|
Hy(0)=|-1/4・x1+1/2・x4-1/4・x7|
Hy(1)=|-1/4・x2+1/2・x5-1/4・x8|
Hy(2)=|-1/4・x3+1/2・x6-1/4・x9|

このハイパスフィルタを用いた高周波成分の絶対値の最大値（H_max）は、以下の式（２）により求めることができる。

H_max=max(w1*Hx(0),w2*Hx(1),w3*Hx(2),w4*Hy(0),w5*Hy(1),w6*Hy(2)) ・・・（２）

ここで、ｗ１〜ｗ６は、ハイパスフィルタを用いた高周波成分の絶対値に対する重みを示す。各本実施形態においては、ハイパスフィルタを用いた高周波成分の絶対値を重み付けした上で最大値を求めることが好ましい。特に、格子の中心の重みを大きくし、格子の周囲の重みを小さくすることが好ましい。このような重み付けをすることにより、判別部１１は、入力画像データ１００を３つの領域に的確に分類することができる。

判別部１１は、上述したように、得られた最大値を第１の閾値（Th1）及び第２の閾値（Th2）と比較する。このように、本実施形態において、判別部１１は、画素により形成される矩形の格子を基に画素の値を、ハイパスフィルタを用いて高周波成分の絶対値を求めることにより、入力画像データ１００を３つの領域に的確に分類することができる。上述したように、本実施形態においては、凹凸度としてハイパスフィルタを用いた高周波成分の絶対値の最小値または平均値を用いても、同様に入力画像データ１００を３つの領域に的確に分類することができる。

上述したように、非学習型画素補間部１３は、入力画像データの画素の値に、理論的に求めた係数を適用して補間した画素の値を生成する。非学習型画素補間部１３は、Ｂｉ−Ｌｉｎｅａｒ方式、Ｂｉ−Ｃｕｂｉｃ方式、Ｌａｎｃｚｏｓ方式等の公知の補間技術により画素の補間を行う。上述した特許文献１に記載されたような公知の方法により、理論に基づいた画素の補間を行う。

また、学習型画素補間部１５は、上述したように、入力画像データの画素の値に、学習によって求めた係数を適用して補間した画素の値を生成する。なお、本実施形態に係る画像処理回路１０においては、非学習型画素補間部１３と学習型画素補間部１５とで行う画素の補間は、判別部１１で行う分類処理と同時並行で行うことが好ましい。判別部１１で分類した結果に基づいて、入力された画素の値から非学習型画素補間部１３または学習型画素補間部１５で画素の補間を行うことも可能であるが、処理速度の面から同時並行で行うことが好ましい。

判別部１１で入力された画素の値がグラデーション領域１１０に分類されると、混合部１７は、理論的に求めた係数を適用して補間した画素の値を出力する。判別部１１で入力された画素の値が非グラデーション領域１３０に分類されると、混合部１７は、学習によって求めた係数を適用して補間した画素の値を出力する。また、判別部１１で入力された画素の値がグラデーション領域１１０と非グラデーション領域１３０との中間領域１５０に分類されると、混合部１７は、求めた最大値と第１の閾値及び第２の閾値から求めた割合（第１の割合）を１から減じた第２の割合と、理論的に求めた係数を適用して補間した画素の値との積と、第１の割合と、学習によって求めた係数を適用して補間した画素の値との積と、を加算して出力する。

即ち、判別部１１が２次微分し、絶対値として最大値を求めた場合には、混合部１７は式（３）により補間画素を求める。
N*(1- (d2_max-Th1)/(Th2-Th1))+L*(d2_max-Th1)/(Th2-Th1)・・・（３）

ここで、Nは理論による補間画素の値を示し、Lは学習による補間画素の値を示す。
したがって、中間領域１５０においては、d2_maxがTh1に近いほどNの割合が多くなり、Th2に近いほどLの割合が多くなる。

また、判別部１１がハイパスフィルタを用いた高周波成分の絶対値の最大値を求めた場合には、混合部１７は式（４）により補間画素を求める。
N*(1- (H_max-Th1)/(Th2-Th1))+L*(H_max-Th1)/(Th2-Th1)・・・（４）

ここで、Nは理論による補間画素の値を示し、Lは学習による補間画素の値を示す。
したがって、中間領域１５０においては、H_maxがTh1に近いほどNの割合が多くなり、Th2に近いほどLの割合が多くなる。

このように、画像処理回路１０は、低解像度の画像データを３つの領域に分類して、領域毎に異なる補間方法を適用して画素を補間する。図４は、上述した方法により画素補間を行った場合の例を示す模式図である。図４（ａ）は、入力画素（参照画素）と補間画素の距離と、学習によって求めた補間係数との関係の例を示す模式図である。図４（ｂ）は、従来技術の学習によって求めた補間係数をグラデーション領域１１０に適用した従来の補間画素の座標と階調の関係の一例を示す模式図である。また、図４（ｃ）は、入力画素（参照画素）と補間画素の距離と、理論的に求めた補間係数との関係の例を示す模式図である。図４（ｄ）は、本発明に係る理論的に求めた補間係数をグラデーション領域１１０に適用した補間画素の座標と階調の関係の一例を示す模式図である。

図５は、グラデーション領域（図５（ａ））に学習によって求めた補間係数を適用して画素補間した従来例（図５（ｂ））と、理論的に求めた補間係数を適用して画素補間した本発明に係る実施例（図５（ｃ））を示す模式図である。図４及び図５から明らかなように、グラデーション領域１１０に理論的に求めた補間係数を適用した本実施例においては、スムーズなグラデーション領域として拡大され、画像劣化を低減することができる。一方、グラデーション領域１１０に学習によって求めた補間係数を適用した従来例においては、グラデーション領域の画像劣化が生じ、観察者の目につくような縞模様が観察される。本発明においては、画像の輪郭やテクスチャー領域（非グラデーション領域１３０）に学習によって求めた補間係数を適用した場合は、エッジの効いた質感のある画像を実現することができる。

（表示装置）
上述した本発明に係る画像処理回路は、表示装置に実装することができる。図６は、本実施形態に係る表示装置１を示す模式図である。表示装置１は、例えば、画像処理回路１０、タイミング制御部２０、データドライバ３０、ゲートドライバ４０及び表示部５０を備える。上述したように、画像処理回路１０は、入力された第１の画像データに画像処理を行い、処理された第２の画像データを出力する。

タイミング制御部２０は、画像処理回路１０で画素補間された画像データをデータドライバ３０及びゲートドライバ４０出力し、制御する。データドライバ３０は、画像処理回路１０から出力画像データを表示部５０に出力する。ゲートドライバ４０は、表示部５０に駆動信号を出力する。

表示装置１は、画像処理回路１０を備えることにより、入力画像データを３つの領域に分類して、それぞれに適した画素補間を行うことにより、グラデーション領域１１０には理論的に求めた補間係数を適用し、スムーズなグラデーション領域として拡大して、画像劣化を低減することができる。また、画像の輪郭やテクスチャー領域（非グラデーション領域１３０）には、学習によって求めた補間係数を適用して、エッジの効いた質感のある画像を実現することができる。

１：表示装置、１０：画像処理回路、１１：判別部、１３：非学習型画素補間部、１５：学習型画素補間部、１７：混合部、２０：タイミング制御部、３０：データドライバ、４０：ゲートドライバ、５０：表示部、１００：入力画像データ、１１０：グラデーション領域、１３０：非グラデーション領域、１５０：中間領域、５００：出力画像データ、５１０：非学習型画素補間部１３により画素補間された領域、５３０：学習型画素補間部１５により画素補間された領域、５５０：非学習型画素補間部１３により処理された値と、学習型画素補間部１５により処理された値をその割合に応じて演算した領域

Claims (12)

1. 入力画像データを構成する画素の２次元配列において、複数の前記画素により形成される矩形の格子を規定し、
   前記矩形の格子内の領域に画素を補間して、前記入力画像データを拡大した出力画像データを出力する画像処理回路であって、
   前記入力画像データをグラデーション領域である第１の画像領域、非グラデーション領域である第２の画像領域、または、前記グラデーション領域と前記非グラデーション領域との中間領域である第３の画像領域の何れかに分類する判別部と、
   前記入力画像データの画素の値に、理論的に求めた係数を適用して補間した第１の出力画素の値を生成する第１の画素補間部と、
   前記入力画像データの画素の値に、学習によって求めた係数を適用して補間した第２の出力画素の値を生成する第２の画素補間部と、
   前記判別部が前記入力画像データを第１の画像領域に分類した場合に、前記第１の出力画素の値を出力し、前記判別部が前記入力画像データを第２の画像領域に分類した場合に、前記第２の出力画素の値を出力し、もしくは、前記判別部が前記入力画像データを第３の画像領域に分類した場合に、前記第１の出力画素の値及び前記第２の出力画素の値を演算処理した第３の出力画素の値を出力する混合部と、を備えることを特徴とする画像処理回路。
2. 前記判別部は、所定の第１の閾値及び第２の閾値を有し、
   前記矩形の格子に含まれる画素の値を演算処理して、凹凸度を求め、
   前記判別部は、前記凹凸度が前記第１の閾値より小さい場合に、前記入力画像データを前記第１の画像領域に分類して、前記混合部は前記第１の出力画素の値を出力し、
   前記判別部は、前記凹凸度が前記第２の閾値より大きい場合に、前記入力画像データを前記第２の画像領域に分類して、前記第２の出力画素の値を出力し、
   前記判別部は、前記凹凸度が前記第１の閾値以上、前記第２の閾値以下である場合に、前記入力画像データを前記第３の画像領域に分類して、前記混合部は前記第３の出力画素の値を出力することを特徴とする請求項１に記載の画像処理回路。
3. 前記第３の出力画素の値は、前記凹凸度と前記第１の閾値及び前記第２の閾値から求めた第１の割合を１から減じた第２の割合と、前記第１の出力画素の値との積と、
   前記第１の割合と、前記第２の出力画素の値との積と、を加算して求められることを特徴とする請求項２に記載の画像処理回路。
4. 前記凹凸度は、前記矩形の格子に含まれる画素の値の２次微分の絶対値の最大値、最小値または平均値、ハイパスフィルタを用いた高周波成分の絶対値の最大値、最小値または平均値、もしくは離散フーリエ変換を用いた高周波成分の絶対値の最大値、最小値または平均値であり、
   前記画素の値の２次微分の絶対値、前記ハイパスフィルタを用いた高周波成分の絶対値または前記離散フーリエ変換を用いた高周波成分の絶対値に所定の重み付けをして求めることを特徴とする請求項２または３に記載の画像処理回路。
5. 入力画像データを構成する画素の２次元配列において、複数の前記画素により形成される矩形の格子を規定し、
   前記矩形の格子内の領域に画素を補間して、前記入力画像データを拡大した出力画像データを出力する画像処理方法であって、
   前記入力画像データをグラデーション領域である第１の画像領域、非グラデーション領域である第２の画像領域、または、前記グラデーション領域と前記非グラデーション領域との中間領域である第３の画像領域の何れかに分類し、
   前記入力画像データの画素の値に、理論的に求めた係数を適用して補間した第１の出力画素の値を生成し、
   前記入力画像データの画素の値に、学習によって求めた係数を適用して補間した第２の出力画素の値を生成し、
   前記入力画像データを第１の画像領域に分類した場合に、前記第１の出力画素の値を出力し、前記入力画像データを第２の画像領域に分類した場合に、前記第２の出力画素の値を出力し、もしくは、前記入力画像データを第３の画像領域に分類した場合に、前記第１の出力画素の値及び前記第２の出力画素の値を演算処理した第３の画素の値を出力することを特徴とする画像処理方法。
6. 所定の第１の閾値及び第２の閾値を有し、
   前記矩形の格子に含まれる画素の値を演算処理して、凹凸度を求め、
   前記凹凸度が前記第１の閾値より小さい場合に、前記入力画像データを前記第１の画像領域に分類して、前記第１の出力画素の値を出力し、
   前記凹凸度が前記第２の閾値より大きい場合に、前記入力画像データを前記第２の画像領域に分類して、前記第２の出力画素の値を出力し、
   前記凹凸度が前記第１の閾値以上、前記第２の閾値以下である場合に、前記入力画像データを前記第３の画像領域に分類して、前記第３の出力画素の値を出力することを特徴とする請求項５に記載の画像処理方法。
7. 前記第３の出力画素の値は、前記凹凸度と前記第１の閾値及び前記第２の閾値から求めた第１の割合を１から減じた第２の割合と、前記第１の出力画素の値との積と、
   前記第１の割合と、前記第２の出力画素の値との積と、を加算して求められることを特徴とする請求項６に記載の画像処理方法。
8. 前記凹凸度は、前記矩形の格子に含まれる画素の値の２次微分の絶対値の最大値、最小値または平均値、ハイパスフィルタを用いた高周波成分の絶対値の最大値、最小値または平均値、もしくは離散フーリエ変換を用いた高周波成分の絶対値の最大値、最小値または平均値であり、
   前記画素の値の２次微分の絶対値、前記ハイパスフィルタを用いた高周波成分の絶対値または前記離散フーリエ変換を用いた高周波成分の絶対値に所定の重み付けをして求めることを特徴とする請求項６または７に記載の画像処理方法。
9. 入力画像データを構成する画素の２次元配列において、複数の前記画素により形成される矩形の格子を規定し、
   前記矩形の格子内の領域に画素を補間して、前記入力画像データを拡大した出力画像データを表示する表示装置であって、
   表示部と、
   入力画像データに画像処理を行い、処理された出力画像データを出力する画像処理回路と、
   前記画像処理回路から出力された前記出力画像データを前記表示部に出力するデータドライバと、
   駆動信号を出力する前記表示部にゲートドライバと、を備え、
   前記画像処理回路は、前記入力画像データをグラデーション領域である第１の画像領域、非グラデーション領域である第２の画像領域、または、前記グラデーション領域と前記非グラデーション領域との中間領域である第３の画像領域の何れかに分類し、
   前記入力画像データの画素の値に、理論的に求めた係数を適用して補間した第１の出力画素の値を生成し、
   前記入力画像データの画素の値に、学習によって求めた係数を適用して補間した第２の出力画素の値を生成し、
   前記入力画像データを第１の画像領域に分類した場合に、前記出力画像データとして、前記第１の出力画素の値を出力し、前記入力画像データを第２の画像領域に分類した場合に、出力画像データとして、前記第２の出力画素の値を出力し、もしくは、前記入力画像データを第３の画像領域に分類した場合に、出力画像データとして、前記第１の出力画素の値及び前記第２の出力画素の値を演算処理した第３の出力画素の値を出力し、
   前記表示部は、前記駆動信号に応じて、前記出力画像データに基づく画像を表示することを特徴とする表示装置。
10. 前記画像処理回路は、所定の第１の閾値及び第２の閾値を有し、
    前記矩形の格子に含まれる画素の値を演算処理して、凹凸度を求め、
    前記凹凸度が前記第１の閾値より小さい場合に、前記入力画像データを前記第１の画像領域に分類して、前記第１の出力画素の値を出力し、
    前記凹凸度が前記第２の閾値より大きい場合に、前記入力画像データを前記第２の画像領域に分類して、前記第２の出力画素の値を出力し、
    前記凹凸度が前記第１の閾値以上、前記第２の閾値以下である場合に、前記入力画像データを前記第３の画像領域に分類して、前記第３の出力画素の値を出力することを特徴とする請求項９に記載の表示装置。
11. 前記第３の出力画素の値は、前記凹凸度と前記第１の閾値及び前記第２の閾値から求めた第１の割合を１から減じた第２の割合と、前記第１の出力画素の値との積と、
    前記第１の割合と、前記第２の出力画素の値との積と、を加算して求められることを特徴とする請求項１０に記載の表示装置。
12. 前記凹凸度は、前記矩形の格子に含まれる画素の値の２次微分の絶対値の最大値、最小値または平均値、ハイパスフィルタを用いた高周波成分の絶対値の最大値、最小値または平均値、もしくは離散フーリエ変換を用いた高周波成分の絶対値の最大値、最小値または平均値であり、
    前記画素の値の２次微分の絶対値、前記ハイパスフィルタを用いた高周波成分の絶対値または前記離散フーリエ変換を用いた高周波成分の絶対値に所定の重み付けをして求めることを特徴とする請求項１０または１１に記載の表示装置。