JP2013165476A - 画像処理装置、画像処理方法、画像表示装置、プログラム及び記録媒体 - Google Patents

Abstract

【課題】
エッジを強調しつつ画像を拡大することで生じるテキスチャ領域での画像の劣化を防ぐ。
【解決手段】
エッジ強調画像拡大部（１００）が、入力画像（Ｄ０）を、エッジが強調された高解像度画像（Ｄ１００）に変換し、差分計算部（２００）が、高解像度画像（Ｄ１００）と入力画像（Ｄ０）の差分（Ｄ２００）を求める。高解像度画像補正部（３００）が、差分（Ｄ２００）を、高解像度画像（Ｄ１００）を構成する各画素へ拡散し、高解像度画像を補正した補正画像（Ｄ３００）を生成する。
【選択図】 図１

Description

本発明は、画像処理装置、画像処理方法、及び画像表示装置に関する。本発明はまた、画像処理方法の実行のためのプログラム、及び該プログラムを記録した記録媒体に関する。

従来の画像処理において拡大画像を出力する際、拡大画像のぼやけを取り除くため、エッジの強調を行っていた。
例えば特許文献１に開示された画像処理装置は、第１の画像拡大部、高周波数成分画像生成部、第２の画像拡大部、高周波数成分画像処理部、及び加算部を備え、第１の画像拡大部で入力画像を拡大した第１の拡大画像を生成し、高周波数成分画像生成部で入力画像の高周波数成分を取り出した第１の高周波数成分画像を生成し、第２の画像拡大部で第１の高周波数成分画像を拡大した第２の拡大画像を生成し、高周波数成分画像処理部で第２の拡大画像に非線形処理を行った画像から高周波数成分を取り出した第２の高周波数成分画像を生成し、加算部で第１の拡大画像と第２の高周波数成分画像を加算し、エッジを強調した拡大画像を出力する。

国際公開第２００９／１１０３２８号

エッジを強調した拡大画像を出力する従来の画像処理装置では、画素値が局所的な画素値の平均値より大きい画素に関してはその画素値をより大きく、画素値が局所的な画素値の平均値より小さい画素に関してはその画素値をより小さくする傾向がある。
これは、局所的な画素値の平均値より大きい画素値を持つ画素についてはその画素値をより大きくし、局所的な画素値の平均値より小さい画素値を持つ画素についてはその画素値をより小さくすることで、エッジを鮮明にし、拡大画像のぼやけを取り除くこととしているためである。
しかしながら、画素値が局所的な画素値の平均値より大きい画素に関してはその画素値をより大きく、画素値が局所的な画素値の平均値より小さい画素に関してはその画素値をより小さくした場合、エッジを含まない領域ではかえって不自然な処理結果となることがある。
例えばテキスチャ領域では、画素値が局所的な画素値の平均値より大きい画素に関してはその画素値をより大きく、画素値が局所的な画素値の平均値より小さい画素に関してはその画素値をより小さくすることによって、画素値が大きな値を取るものと小さな値を取るものの２種類に分かれ、細かい模様がつぶれたように見え、かえって解像感が下がってしまうことがある。

本発明による画像処理装置は、
第１の解像度の入力画像を、前記入力画像に含まれるエッジが強調された第２の解像度の高解像度画像に変換するエッジ強調画像拡大部と、
前記高解像度画像と前記入力画像の差分を求める差分計算部と、
前記差分を、前記高解像度画像を構成する各画素へ拡散し、前記高解像度画像を補正した補正画像を生成する高解像度画像補正部を備え、
前記補正画像を出力画像とすることを特徴とする。

本発明による画像処理装置では、テキスチャ領域において、様々な画素値をもった画素が作られるため、テキスチャ領域においても解像感が高まる。

本発明の実施の形態Ａ１、Ａ２、Ｂ１、Ｂ２、Ｃ１、及びＣ２による画像処理装置のブロック図である。 入力画像Ｄ０における画素の配列を概略的に示す図である。 エッジ強調拡大画像Ｄ１００における画素の配列を概略的に示す図である。 図１の差分計算部２００の構成例を示すブロック図である。 本発明の実施の形態Ａ１で用いられる、図１の高解像度画像補正部３００の構成例を示すブロック図である。 対応点から、その近傍の画素への差分データの拡散の一例を示す図である。 （ａ）〜（ｄ）は、補正対象画素に対する差分データの拡散元となる対応点の相対位置を示す図である。 補正対象画素に対する差分データの拡散元となる対応点の相対位置を示す図である。 エッジとテキスチャ領域を含む画像の一例を示す図である。 図１の画像処理装置を備えた画像表示装置を示すブロック図である。 図１のエッジ強調画像拡大部１００の構成例を示すブロック図である。 本発明の実施の形態Ａ２で用いられる、図１の高解像度画像補正部３００の構成例を示すブロック図である。 図１２のエッジ検出部３１１の構成例を示すブロック図である。 図１２のテキスチャ検出部３２１の構成例を示すブロック図である。 本発明の実施の形態Ａ３、Ａ４、Ｂ３、Ｂ４、Ｃ３及びＣ４による画像処理方法の実施に用いられる演算装置の構成を示すブロック図である。 本発明の実施の形態Ａ３、Ａ４、Ｂ３、Ｂ４、Ｃ３及びＣ４による画像処理方法の処理手順を示すフローチャートである。 図１６の差分計算ステップＳＴ２００の処理手順を示すフローチャートである。 本発明の実施の形態Ａ３で用いられる、図１６の高解像度画像補正ステップＳＴ３００の処理手順を示すフローチャートである。 図１６のエッジ強調画像拡大ステップＳＴ１００の処理手順を示すフローチャートである。 本発明の実施の形態Ａ４で用いられる、図１６の高解像度画像補正ステップＳＴ３００の処理手順を示すフローチャートである。 図２０のエッジ検出ステップＳＴ３１１の処理手順を示すフローチャートである。 図２０のテキスチャ検出ステップＳＴ３２１の処理手順を示すフローチャートである。 本発明の実施の形態Ｂ１で用いられる、図１の高解像度画像補正部３００の構成例を示すブロック図である。 図２３の周期性検出部３３１の構成例を示すブロック図である。 本発明の実施の形態Ｂ２で用いられる、図１の高解像度画像補正部３００の構成例を示すブロック図である。 本発明の実施の形態Ｂ３で用いられる、図１６の高解像度画像補正ステップＳＴ３００の処理手順を示すフローチャートである。 図２６の周期性検出ステップＳＴ３３１の処理手順を示すフローチャートである。 本発明の実施の形態Ｂ４で用いられる、図１６の高解像度画像補正ステップＳＴ３００の処理手順を示すフローチャートである。 本発明の実施の形態Ｃ１で用いられる、図１の高解像度画像補正部３００の構成例を示すブロック図である。 （ａ）〜（ｅ）は、輝度情報Ｄ３４０と補正係数Ｆ３４０の関係の異なる例を示す図である。 図２９の高解像度画像補正部３００内の輝度情報生成部３４０の構成例を示すブロック図である。 図２９の高解像度画像補正部３００内の輝度情報生成部３４０の他の構成例を示すブロック図である。 図２９の高解像度画像補正部３００内の輝度情報生成部３４０のさらに他の構成例を示すブロック図である。 本発明の実施の形態Ｃ２で用いられる、図１の高解像度画像補正部３００の構成例を示すブロック図である。 本発明の実施の形態Ｃ３で用いられる、図１６の高解像度画像補正ステップＳＴ３００の処理手順を示すフローチャートである。 本発明の実施の形態Ｃ４で用いられる、図１６の高解像度画像補正ステップＳＴ３００の処理手順を示すフローチャートである。

実施の形態Ａ１．
図１は、本発明の実施の形態Ａ１による画像処理装置を表す図である。実施の形態Ａ１による画像処理装置は、エッジ強調画像拡大部１００、差分計算部２００、及び高解像度画像補正部３００を備える。
エッジ強調画像拡大部１００は、入力画像Ｄ０を受けて、入力画像Ｄ０よりも画素数の多いエッジ強調拡大画像Ｄ１００を出力する。ここでエッジ強調拡大画像Ｄ１００は、入力画像Ｄ０内のエッジが強調された拡大画像である。拡大画像を高解像度画像と言い、入力画像を低解像度画像と言うこともある。

差分計算部２００は、入力画像Ｄ０とエッジ強調拡大画像Ｄ１００の差分を表す差分データＤ２００を出力する。
高解像度画像補正部３００は、差分データＤ２００で表される差分を部分的に又は完全に打ち消すようにエッジ強調拡大画像Ｄ１００を補正し、その結果を出力画像Ｄ３００として出力する。

以下、エッジ強調画像拡大部１００、差分計算部２００、及び高解像度画像補正部３００の各々について説明する。

エッジ強調画像拡大部１００は入力画像Ｄ０内のエッジが強調された拡大画像であるエッジ強調拡大画像Ｄ１００を生成する。ここで入力画像Ｄ０内のエッジが強調された拡大画像を生成するためには既知の方法を用いればよく、例えば上記の特許文献１に開示された画像処理装置を用いればよい。

図２は入力画像Ｄ０を模式的に表す図である。
図２において最も小さい四角が入力画像Ｄ０を構成する画素を表している。
入力画像Ｄ０を構成する画素の横幅、即ち水平方向に隣接する画素間の間隔をＬｘ、高さ、即ち垂直方向に隣接する画素間の間隔をＬｙ、水平方向の画素数をＮｘ、垂直方向の画素数をＮｙとすると、入力画像Ｄ０は、横幅Ｌｘ、高さＬｙの画素が水平方向にＮｘ個、垂直方向にＮｙ個、二次元状に並んだものと表される。

また、入力画像Ｄ０の水平方向、垂直方向に沿って水平座標、垂直座標を定義し、その単位長がそれぞれＬｘ、Ｌｙと等しいとすると、入力画像Ｄ０を構成する各画素の位置は、０以上Ｎｘ未満の整数値を取る変数ｓ、０以上Ｎｙ未満の整数値を取る変数ｔを用いて
（ｘ，ｙ）＝（ｓ，ｔ）
と表される。画面の左上隅の画素については、ｘ＝０、ｙ＝０であり、１画素分右方に移動するにつれて、ｘの値は１ずつ大きくなり、１画素分下方に移動するにつれて、ｙの値は１ずつ大きくなる。

以下、入力画像Ｄ０を構成する画素のうち、座標（ｘ，ｙ）に位置するものをＰ０（ｘ，ｙ）で、画素Ｐ０（ｘ，ｙ）の画素値をＤ０（ｘ，ｙ）で表す。また、入力画像Ｄ０を構成する画素Ｐ０（ｘ，ｙ）を画素Ｐ０と表すこともある。

また、エッジ強調画像拡大部１００における水平方向の倍率をＳｘ、垂直方向の倍率をＳｙとする。この場合、エッジ強調拡大画像Ｄ１００を構成する画素の横幅はＬｘ／Ｓｘ、高さはＬｙ／Ｓｙとなる。エッジ強調拡大画像Ｄ１００の水平方向の画素数をＭｘ、垂直方向の画素数をＭｙとすると、
Ｍｘ＝［Ｓｘ・Ｎｘ］
Ｍｙ＝［Ｓｙ・Ｎｙ］
となる。なお、［Ａ］はＡを超えない最大の整数を表し、例えば［１０］＝１０、［１０．５］＝１０である。エッジ拡大強調画像Ｄ１００は、横幅Ｌｘ／Ｓｘ、高さＬｙ／Ｓｙの画素が水平方向にＭｘ個、垂直方向にＭｙ個、二次元状に並んだものと表される。

さらに、水平座標、垂直座標の単位長が図２に示された水平座標、垂直座標の単位長（Ｌｘ、Ｌｙ）と等しい座標系で考えると、エッジ強調拡大画像Ｄ１００を構成する各画素の位置は、０以上Ｍｘ未満の整数値を取る変数ｕ、０以上Ｍｙ未満の整数値を取る変数ｖを用いて
（ｘ，ｙ）＝（ｕ／Ｓｘ，ｖ／Ｓｙ）
と表され、水平方向画素間隔が１／Ｓｘ、垂直方向画素間隔が１／Ｓｙとなる。

図３はＳｘ＝２、Ｓｙ＝２の場合に得られるエッジ強調拡大画像Ｄ１００を模式的に表す図であり、図３において最も小さい四角がエッジ強調拡大画像Ｄ１００を構成する画素を表している。
この場合、
Ｍｘ＝［２Ｎｘ］
Ｍｙ＝［２Ｎｙ］
（ｘ，ｙ）＝（ｕ／２，ｖ／２）
となる。

なお、以下の説明で特に断りなく水平座標、垂直座標からなる座標系およびその座標上の点について述べる場合、図２あるいは図３に表される座標系、すなわち水平座標、垂直座標の単位長がそれぞれＬｘ、Ｌｙとなる座標系を用いているものとする。

以下、エッジ強調拡大画像Ｄ１００を構成する画素のうち、座標（ｘ，ｙ）に位置するものをＰ１００（ｘ，ｙ）で、画素Ｐ１００（ｘ，ｙ）の画素値をＤ１００（ｘ，ｙ）で表す。また、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００（ｘ，ｙ）については、単に画素Ｐ１００と表すこともある。

次に差分計算部２００について述べる。
図４は差分計算部２００の構成例を示す図である。
差分計算部２００は、対応点設定部２２１、注目領域設定部２２２、及び対応点画素値計算部２２３を備える。

対応点設定部２２１は入力画像Ｄ０を構成する画素Ｐ０の各々について、エッジ強調拡大画像Ｄ１００内でその画素Ｐ０と同じ位置になる場所を対応点として設定する。例えば入力画像Ｄ０を構成する画素Ｐ０（ｘ,ｙ）を順次注目画素として選択し、選択した注目画素について対応点を設定する。すわなち、画素Ｐ０（ｘ，ｙ）に対する対応点の座標は（ｘ，ｙ）となる。以下、座標（ｘ，ｙ）で表される対応点をＴ（ｘ，ｙ）で表す。なお、対応点Ｔ（ｘ，ｙ）の座標の表記を省略して、単に対応点Ｔと表すこともある。

注目領域設定部２２２は対応点Ｔの各々について、その近傍（対応点及びその周囲を含む領域）に存在するエッジ強調拡大画像Ｄ１００内の複数の画素Ｐ１００によって構成される領域を、注目領域として設定する。

対応点画素値計算部２２３は各注目領域について、その注目領域を構成する画素Ｐ１００の画素値を加重加算した値（以下、対応点画素値Ｄ２２３と呼ぶ）を計算する。これは、エッジ強調拡大画像Ｄ１００内に、入力画像Ｄ０を構成する画素Ｐ０の各々についてその画素Ｐ０と同じ位置にその画素Ｐ０と同じ大きさの画素があると仮定した場合に、その画素が持つ画素値を、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００（ｘ，ｙ）の画素値Ｄ１００（ｘ，ｙ）から求めることに相当する。

対応点Ｔ（ｘ，ｙ）に対して計算した対応点画素値Ｄ２２３をＤ２２３（ｘ，ｙ）で表すと、

となる。ここでＩａ、Ｉｂ、Ｊａ、Ｊｂは負の値でない整数であり、Ｗは任意の実数ｘ、ｙについて

を満たす係数である。

式（１）の処理は、ローパスフィルタリングに相当し、注目領域が大きいほど、従って、計算に用いられる画素数が多いほど、設定の自由度が増すので、その点から、注目領域は大きい方が望ましい。また、実用上は、注目領域は、画素Ｐ０の大きさより大きくなる様に構成するのが好ましい。

減算部２３０は対応点Ｔの各々について計算された対応点画素値Ｄ２２３と、その対応点Ｔと同じ位置にある入力画像Ｄ０内の画素Ｐ０の画素値の差を求め、差分データＤ２００として出力する。

対応点Ｔ（ｘ，ｙ）に対して計算される差分データＤ２００をＤ２００（ｘ，ｙ）で表すと、差分データＤ２００（ｘ，ｙ）は画素値Ｄ０（ｘ，ｙ）と対応点画素値Ｄ２２３（ｘ，ｙ）の差で表され、
Ｄ２００（ｘ，ｙ）＝Ｄ２２３（ｘ，ｙ）−Ｄ０（ｘ，ｙ）
となる。

次に高解像度画像補正部３００について述べる。
高解像度画像補正部３００は、対応点Ｔの各々について求めた差分データＤ２００（で表される差分）を、エッジ強調拡大画像Ｄ１００を構成する各画素Ｐ１００に拡散したもの（後述する差分拡散量Ｄ３０２）を、エッジ強調拡大画像Ｄ１００から減算する。これは差分データＤ２００で表される入力画像Ｄ０とエッジ強調拡大画像Ｄ１００の差を少なくとも部分的に打ち消すように、エッジ強調拡大画像Ｄ１００を補正することを意味する。

図５は高解像度画像補正部３００の構成例を示す図である。
高解像度画像補正部３００は、拡散係数計算部３０１、拡散量計算部３０２、及び減算部３０３を備える。

拡散係数計算部３０１は、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００のうち、各対応点Ｔ（ｘ，ｙ）の近傍にある画素の各々に対して、差分データＤ２００（ｘ，ｙ）をどの程度拡散する（割り当てる）かを決定付ける差分拡散係数Ｋ３０１を求める。ここで差分拡散係数Ｋ３０１としては対応点Ｔごとに異なる係数を求める。

対応点Ｔ（ｘ，ｙ）の近傍に存在する画素Ｐ１００は整数ｉ、ｊを用いて

と表され、例えば、画素Ｐ１００のうち、対応点Ｔ（ｘ，ｙ）を囲むように存在する４つの画素（対応点Ｔ（ｘ，ｙ）がその内部に位置する画素を含む）は、

と表される。

画素Ｐ１００（［ｘ・Ｓｘ］／Ｓｘ，［ｙ・Ｓｙ］／Ｓｙ）を中心に水平方向は左にＨａ画素、右にＨｂ画素、垂直方向は上にＶａ画素、下にＶｂ画素まで差分データＤ２００（ｘ，ｙ）を拡散させる場合、差分拡散係数Ｋ３０１は（Ｖａ＋Ｖｂ＋１）行、（Ｈａ＋Ｈｂ＋１）列の二次元行列で表される。

この二次元行列のｖ行ｈ列目(ｖ＝１〜Ｖａ＋Ｖｂ＋１、ｈ＝Ｈａ＋Ｈｂ＋１)の要素ａ_ｈｖ（ｖ＝−Ｖａ〜＋Ｖｂ、ｈ＝−Ｈａ〜Ｈｂ）は、差分データＤ２００（ｘ，ｙ）を、画素Ｐ１００（［ｘ・Ｓｘ］／Ｓｘ，［ｙ・Ｓｙ］／Ｓｙ）の、ｈ−（Ｈａ＋１）画素右（ｈ−（Ｈａ＋１）が負の値のときは（Ｈａ＋１）−ｈ画素左）でかつ、ｖ−（Ｖａ＋１）下（ｖ−（Ｖａ＋１）が負の値のときは（Ｖａ＋１）−ｖ画素上）
に存在する下記の画素

へ拡散する（割り当てる）量を決定する。

差分拡散係数Ｋ３０１は、例えば、予め用意した互いに異なる複数の、（Ｖａ＋Ｖｂ＋１）行、（Ｈａ＋Ｈｂ＋１）列の二次元行列Ａｎ（ｎ＝１〜Ｎ，Ｎ≧２）のそれぞれの要素に異なる重み付け係数ｂｎ（ｎ＝１〜Ｎ）を掛けた後、加算して求めることが出来る。

なお、互いに異なるＮ個の二次元行列を用意するには、例えば、Ｎ個の二次元行列Ａｎが互いに一次独立な行列となるように設定してやればよい。

係数ｂｎは、対応点Ｔ（ｘ，ｙ）ごとに異なった組み合わせを与えることが出来る。例えば、該係数ｂｎを、入力画像の画素値の変化に基づいて求めることとしても良い。例えば、差分拡散係数計算部３０１において、４個の二次元行列Ａｎ（ｎ＝１〜４）を上記係数で重みを付けて加算して拡散係数Ｋ３０１を求める場合、Ｐ０（ｘ，ｙ）の近傍から４個の画素を選び、その画素が持つ画素値と入力画像の画素値Ｄ０（ｘ，ｙ）の差の絶対値をｂｎ（ｎ＝１〜４）とする。例えば、４個の画素としてＰ０（ｘ，ｙ−１）、Ｐ０（ｘ−１，ｙ）、Ｐ０（ｘ＋１，ｙ）、Ｐ０（ｘ，ｙ＋１）を選択した場合、

となる。

このように、対応点Ｔごとに異なるＮ個の係数ｂｎ（ｎ＝１〜Ｎ）を求め、係数ｂｎを用いて互いに異なるＮ個の行列Ａｎを加重加算すれば、対応点Ｔごとに異なる差分拡散係数Ｋ３０１を求めることが出来る。

以下、対応点Ｔ（ｘ，ｙ）に対して計算された差分拡散係数をＫ３０１（ｘ，ｙ）で表す。また、差分拡散係数Ｋ３０１（ｘ，ｙ）を表す二次元行列のｖ行ｈ列目の要素をＫ３０１（ｘ,ｙ,ｖ,ｈ）で表す。

対応点（ｘ，ｙ）に応じて変わる係数ｂｎ及び係数Ｋ３０１を、それぞれｂｎ（ｘ，ｙ）及びＫ３０１（ｘ，ｙ）で表すと、上記の式（６）は以下のように書き直すことができる。

（但し、式（８）で、Ｈｃ＝Ｈａ＋Ｈｂ＋１、Ｖｃ＝Ｖａ＋Ｖｂ＋１である。）

拡散量計算部３０２は、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００の各々に対して、その画素の近傍に存在する対応点Ｔに対して計算された差分データＤ２００、及び差分拡散係数Ｋ３０１をもとに、画素Ｐ１００に対して拡散される（割り当てられる）差分データＤ２００の総和を計算し、差分拡散量Ｄ３０２として出力する。なお、画素Ｐ１００（ｘ，ｙ）の近傍に存在する対応点Ｔは整数ｉ、ｊを用いて
Ｔ（［ｘ］＋ｉ，［ｙ］＋ｊ）
と表され、上記の対応点Ｔに対して計算された差分データは
Ｄ２００（［ｘ］＋ｉ，［ｙ］＋ｊ）
と表される。

１又は２以上の対応点から画素Ｄ１００（ｘ，ｙ）に対して拡散される差分拡散量Ｄ３０２（１又は２以上の対応点から拡散される（割り当てられる）差分データの総和）をＤ３０２（ｘ，ｙ）で表すと、

となる。

以下、差分拡散量Ｄ３０２（ｘ，ｙ）が式（９）で得られる理由を説明する。
まず、対応点Ｔ（［ｘ］＋ｉ，［ｙ］＋ｊ）について求めた差分データＤ２００（［ｘ］＋ｉ，［ｙ］＋ｊ）の画素Ｐ１００（ｘ，ｙ）への拡散量を求める。
対応点Ｔ（［ｘ］＋ｉ，［ｙ］＋ｊ）について求められた差分データＤ２００（［ｘ］＋ｉ，［ｙ］＋ｊ）の、画素

のＵ−（Ｈａ＋１）画素右、Ｖ−（Ｖａ＋１）画素下（Ｕ、Ｖは整数）に位置する画素への拡散量を決める拡散係数Ｋ３０１を、Ｋ３０１（［ｘ］＋ｉ，［ｙ］＋ｊ，Ｕ，Ｖ）で表す。

次に、画素Ｐ１００の画素間隔は１／Ｓｘなので、画素Ｐ１００（ｘ,ｙ）は、
上式（１０）で表される画素に対して

画素右、

画素下に位置する。

よって、拡散係数Ｋ３０１（［ｘ］＋ｉ，［ｙ］＋ｊ，Ｕ，Ｖ）が、
上式（１０）で表される画素から、画素Ｐ１００（ｘ，ｙ）への拡散量を表す係数である場合、

が成立する。

式（１３）を変形すると、

となる。

よって、対応点Ｔ（［ｘ］＋ｉ，［ｙ］＋ｊ）について求めた差分データＤ２００（［ｘ］＋ｉ，［ｙ］＋ｊ）の画素Ｐ１００（ｘ，ｙ）への拡散量を与える係数Ｋ３０１は、

であり、対応点Ｔ（［ｘ］＋ｉ，［ｙ］＋ｊ）について求めた差分データ
Ｄ２００（［ｘ］＋ｉ，［ｙ］＋ｊ）
の画素Ｐ１００（ｘ，ｙ）への拡散量は、

である。式（１６）をｉ、ｊについて積算すれば式（９）が得られる。

各画素（補正対象画素）について差分データの拡散元となる対応点の数は、当該画素とその近傍領域内の対応点の相対位置に応じて異なる。
例えば、拡大率Ｓｘ、Ｓｙがともに２であり、差分データを拡散する領域（拡散領域）が５×５画素の大きさを持つ場合、図６に示されるように、対応点（対応点がその内部に位置する画素、即ち対応点を含む画素を「○」印で示す）からの差分データが５×５画素に拡散される。

拡散（割り当て）を受ける画素（補正対象画素）を中心として、その周囲の対応点からの拡散（割り当て）の様子が図７（ａ）から図７（ｄ）に示されている。
図７（ａ）〜図７（ｄ）でも対応点を含む画素が○印で示されている。
図７（ａ）の場合には、補正対象画素は、該画素内に含まれる対応点のほか、周囲の８つの対応点から差分の拡散（分配）を受ける。
図７（ｂ）、図７（ｃ）の場合には、補正対象画素は、周囲の６つの対応点から差分の拡散（分配）を受ける。
図７（ｄ）の場合には、補正対象画素は、周囲の４つの対応点から差分の拡散（分配）を受ける。

このように、補正対象ごとに、拡散元となる対応点の数が異なる。また、誤差の拡散元となる対応点の数が多い画素ほど拡散される誤差の総量が多くなりやすいため、誤差の拡散元となる対応点の数が多い画素ほど画素値がより大きくなりやすかったり、より小さくなりやすかったりする。なお、大きくなるか小さくなるかは誤差の値が正か負かに依存する。また、誤差の拡散元となる対応点の数が多い画素と少ない画素は周期的にあらわれる。よって、誤差の拡散元となる対応点の数を考慮せず、拡散係数の値をどのような画素に対してもほぼ同じ値にすると、他の画素より画素値がより大きな値に補正されやすい、あるいはより小さな値に補正されやすい画素が周期的にならび、補正の結果、画素値の変化に市松模様に似たパターンが現れ、処理結果が不自然になることがある。
一方、誤差の拡散元となる対応点の数が比較的少ない画素については拡散係数を比較的大きな値にするようにしておけば、上記のような不具合が発生しにくくなる。
一般には、拡散元となる対応点から補正対象画素（拡散先）までの距離が大きいほど、拡散係数を小さくするよう重み付けを行うことで、上記の条件が略満たされるようになる。ただし、拡散係数については、それのみならず、別個の調整が必要となる場合もある。

以下、Ｓｘ＝２、Ｓｙ＝２、Ｈａ＝１、Ｈｂ＝１、Ｖａ＝１、Ｖｂ＝１の場合について、図８を参照して、式（９）におけるｉ、ｊの変動範囲について説明する。
図８に示す例では、各画素を補正対象画素としたときに、誤差の配分元となる対応点(図８では×印で示す)と補正対象画素の位置関係に注目してエッジ強調拡大画像の画素を分類すると、誤差の配分元が４個になる画素ｐｉｘ１、左右の２個になる画素ｐｉｘ２、上下の２個になる画素ｐｉｘ３、１個になる画素ｐｉｘ４の４種類に分類できる。

この場合、式（９）を書き直すと、ｐｉｘ１のパターンでは、ｉ＝０〜１、ｊ＝０〜１であり

となる。

ｐｉｘ２のパターンでは、ｉ＝０〜１、ｊ＝０であり

となる。

ｐｉｘ３のパターンでは、ｉ＝０、ｊ＝０〜１であり

となる。

ｐｉｘ４のパターンでは、ｉ＝０、ｊ＝０であり

となる。

式（１７）〜式（２０）では、誤差の配分元となる対応点と補正対象画素の位置関係に応じて、式（９）におけるｉ、ｊの変動範囲を変化させているが、Ｋ３０１に続く括弧中の後の２項が、Ｋ３０１の行列要素の範囲外を示す値になった場合、Ｋ３０１の値は０にするという制限を用いれば、誤差の配分元となる対応点と補正対象画素の位置関係によらず、ｉ、ｊの変動範囲を共通に出来る。
式（１７）〜式（２０）では、Ｋ３０１は３行３列の行列であるので、Ｋ３０１に続く括弧中の後の２項の値は、その値が１以上３以下の整数値であれば、Ｋ３０１の行列要素の範囲内を示している。よって「Ｋ３０１に続く括弧中の後の２項が、Ｋ３０１の行列要素の範囲外の値になった場合、Ｋ３０１の値は０にする」とは、Ｋ３０１をＫ３０１（ｘ，ｙ，ｖ，ｈ）で表した場合、ｖ、ｈの少なくとも一方が１以上３以下の整数値以外の値となった場合、
Ｋ３０１（ｘ，ｙ，ｖ，ｈ）＝０
にすることを意味する。
以下、上記の制限を用いてｐｉｘ１同様、ｐｉｘ２〜ｐｉｘ４に対しても式（９）において、ｉ＝０〜１、ｊ＝０〜１の範囲で変化させた場合を考える。

この場合、式（９）は、ｐｉｘ２のパターンでは、

となる。

ｐｉｘ３のパターンでは、

となる。

ｐｉｘ４のパターンでは、

となる。
このように、ｐｉｘ１の場合も含めｉ、ｊの変動範囲を共通（ｉ＝０〜１、ｊ＝０〜１）に出来る。

上記の説明をさらに一般化し、式（９）において、ｉによる積算範囲（ｉの変動範囲）を、ＳａからＳｂまで、ｊによる積算範囲（ｊの変動範囲）をＴａからＴｂまでとすると、Ｓａ、Ｓｂ、Ｔａ、Ｔｂは例えば
Ｓａ＝−［Ｈｂ／Ｓｘ］
Ｓｂ＝［（Ｈａ／Ｓｘ）＋１］
Ｔａ＝−［Ｖｂ／Ｓｙ］
Ｔｂ＝［（Ｖａ／Ｓｙ）＋１］
で与えられる。
ただし、ｉ、ｊが上記の範囲に入っていても、Ｋ３０１に続く括弧中の後の２項の計算結果が、Ｋ３０１の行列要素の範囲外を示す値になった場合、Ｋ３０１の値を０にする必要がある。

図５に戻り、減算部３０３は、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００（ｘ，ｙ）の画素値Ｄ１００（ｘ，ｙ）から、画素Ｐ１００（ｘ，ｙ）に対して計算した差分拡散量Ｄ３０２（ｘ，ｙ）を引いた値を各画素の画素値とする画像を差分補正画像Ｄ３０３として出力する。差分補正画像Ｄ３０３を構成する画素のうち、座標（ｘ，ｙ）に位置するものをＰ３０３（ｘ，ｙ）、画素Ｐ３０３（ｘ，ｙ）の画素値をＤ３０３（ｘ，ｙ）とすると、
Ｄ３０３（ｘ，ｙ）＝Ｄ１００（ｘ，ｙ）−Ｄ３０２（ｘ，ｙ）
となる。
高解像度画像補正部３００は、差分補正画像Ｄ３０３を出力画像Ｄ３００として出力する。

以下、本実施の形態による画像処理装置の効果について述べる。
従来から、画像の拡大によって生じるぼやけを補正するために、エッジを強調した拡大画像を出力する画像処理装置が提案されている。なお、以下の説明ではエッジを強調した拡大画像を出力する処理をエッジ強調画像拡大処理と呼ぶ。

エッジを強調した拡大画像を出力する従来の画像処理装置では、画素値が局所的な画素値の平均値より大きい画素に関してはその画素値をより大きく、画素値が局所的な画素値の平均値より小さい画素に関してはその画素値をより小さくする傾向がある。

これは、局所的な画素値の平均値より大きい画素値を持つ画素についてはその画素値をより大きくし、局所的な画素値の平均値より小さい画素値を持つ画素についてはその画素値をより小さくすることで、エッジを鮮明にし、拡大画像のぼやけを取り除くこととしているためである。

しかしながら、画素値が局所的な画素値の平均値より大きい画素に関してはその画素値をより大きく、画素値が局所的な画素値の平均値より小さい画素に関してはその画素値をより小さくした場合、エッジを含まない領域ではかえって不自然な処理結果となることがある。

例えばテキスチャ領域では、画素値が局所的な画素値の平均値より大きい画素に関してはその画素値をより大きく、画素値が局所的な画素値の平均値より小さい画素に関してはその画素値をより小さくすることによって、画素値が大きな値を取るものと小さな値を取るものの２種類に分かれ、細かい模様がつぶれたように見え、かえって解像感が下がってしまうことがある。
ここでテキスチャ領域とは、例えば、被写体の質感を表す領域であり、画素値は細かく変化している。つまりテキスチャ領域では様々な画素値を持つ画素が含まれ、局所的に画素値の変化が多い。このような領域では、隣接画素間の画素値の差分の大きさがある程度ある画素が多く存在する。

図９は、エッジとテキスチャ領域について説明するための図である。
エッジは、図９中の符号Ｐ１で表されるような箇所であり、一つの被写体と別の被写体の境界を表す。符号Ｐ１の例では、人物と背景の境界部分を表している。エッジが現れる領域では、エッジを境界にして、局所的な画素値の平均値より大きい画素値を持つ画素と、局所的な画素値の平均値より小さい画素値を持つ画素の二種類に分かれるが、局所的な画素値の平均値より大きい画素値を持つ画素の画素値と、局所的な画素値の平均値より小さい画素値を持つ画素値の差が大きくなるほど、よりエッジがはっきりし、視覚的に解像感の高い画像と感じられる。

一方、テキスチャ領域は、図９中の符号Ｐ２で表されるような箇所であり、同一被写体内の細かい模様を表す領域である。符号Ｐ２の例では、細かい模様のついた服がテキスチャ領域として示されている。先に述べた様に、テキスチャ領域では局所的に画素値の変化が多い。つまりテキスチャ領域に様々な画素値を持った画素が含まれていると、細かい模様がある様に見え、解像感の高い画像と感じられる。

上に述べた様に、テキスチャ領域では、画素値が大きな値を取るものと小さな値を取るものの２種類に分かれるよりは、様々な画素値を持った画素が現れた方が、細かい模様があるように見え好ましい。

そこで本発明者は、様々な画素値を持った画素を作り出すことによって、エッジを含まない領域でも解像感を増すことが出来ると考えた。

特に、入力画像Ｄ０とエッジ強調拡大画像Ｄ１００の間に生じる差を利用して様々な画素値を持った画素を作り出すことを考えた。

入力画像Ｄ０とエッジ強調拡大画像Ｄ１００は画素数の違いを除いて一致することが望ましい。
つまり、エッジ強調拡大画像Ｄ１００内に入力画像Ｄ０を構成する画素Ｐ０（ｘ，ｙ）と同じ位置に画素Ｐ０（ｘ，ｙ）と同じ大きさの画素があると仮定した場合に、その画素が持つ画素値を計算した値、すなわち対応点画素値Ｄ２２３（ｘ，ｙ）と、画素値Ｄ０（ｘ，ｙ）は一致することが望ましい。

しかしながら、このような配慮をせずに形成されたエッジ強調拡大画像の場合には、両者が一致するとは限らない。
例えば、画素Ｐ０（ｘ，ｙ）と同じ大きさの画素があると仮定した場所付近で、エッジ強調画像拡大処理によって画素値Ｄ１００（ｘ，ｙ）が局所的な画素値の平均値より大きな値になっている画素が多い場合、対応点画素値Ｄ２２３（ｘ，ｙ）は画素値Ｄ０（ｘ，ｙ）より大きな値となることが多く、逆に、エッジ強調画像拡大処理によって画素値Ｄ１００（ｘ，ｙ）が局所的な画素値の平均値より小さな値になっている画素が多い場合、対応点画素値Ｄ２２３（ｘ，ｙ）は画素値Ｄ０（ｘ，ｙ）より小さな値となることが多い。

このように画素値Ｄ０（ｘ，ｙ）と対応点画素値Ｄ２２３（ｘ，ｙ）の間には差が生じるので、この差を利用し、様々な画素値を持った画素を作り、画像の解像感を増すことを考えた。

すなわち、高解像度画像補正部３００で、差分データＤ２００を少なくとも部分的に打ち消すようにエッジ強調拡大画像Ｄ１００を補正する際に、画素によって補正する程度を変えることで様々な画素値を持った画素を作り出すこととした。

エッジ強調拡大画像Ｄ１００から差分拡散量Ｄ３０２を引くことは、対応点Ｔごとに異なる差分拡散係数Ｋ３０１を求め、求められた差分拡散係数Ｋ３０１を用いて、差分データＤ２００を対応点Ｔの近傍にある画素Ｐ１００へ拡散することに相当する。これにより、画素Ｐ１００ごとにその画素値を補正する程度が変化し、様々な画素値をもった画素が作られ、テキスチャ領域における解像感が高まる。

また、様々な画素値を持った画素を作るためには、例えば、乱数によって与えられるランダムな値を、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００の各々の画素値へ加えてもよい。
ただし、上記実施の形態のように、入力画像Ｄ０とエッジ強調拡大画像Ｄ１００の差を差分データＤ２００として求め、差分データＤ２００で表される差分を少なくとも部分的に打ち消すようにエッジ強調拡大画像Ｄ１００を補正し出力画像Ｄ３００とすれば、出力画像Ｄ３００内に、入力画像Ｄ０を構成する画素Ｐ０（ｘ，ｙ）と同じ位置に画素Ｐ０（ｘ，ｙ）と同じ大きさの画素があると仮定し、その画素が持つ画素値を計算した場合に得られる値が、画素Ｐ０（ｘ，ｙ）の画素値Ｄ０（ｘ，ｙ）と近い値になる。言い換えると、入力画像Ｄ０と出力画像Ｄ３００は画素数の違いを除いて似たような性質を持つ（あるいは入力画像Ｄ０と出力画像Ｄ３００の局所的な画素値の平均値が似た値になる）ため、ランダムな値をエッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００の各々の画素値へ加えるよりも、より自然な感じを与える、様々な画素値を持った画素を作り出すことが可能となる。

本実施の形態による画像処理装置は画像表示装置の一部として用いることが出来る。図１０は、本実施の形態による画像処理装置を利用した画像表示装置の例であり、この画像表示装置は、入力画像処理部Ｕ１、及び表示部Ｕ２を備え、入力画像ＤＩＮに応じた出力画像ＤＯＵＴを表示部Ｕ２上に出力する。入力画像処理部Ｕ１は、本実施の形態による画像処理装置を内部に備えており、入力画像ＤＩＮの画素数が表示部Ｕ２の出力画素数より少なかった場合、本発明の実施の形態による画像処理装置によって入力画像ＤＩＮを拡大したものを出力画像ＤＯＵＴとして出力する。上記のように動作することで、入力画像ＤＩＮの画素数が表示部Ｕ２の出力画素数より少なくても、視覚上好ましい画像を表示することが出来る。

本実施の形態による画像処理装置は、その主旨を逸脱しない範囲で様々な変形例を考えることが出来る。

例えば、上記の例では、差分拡散係数Ｋ３０１を求めるために用いた二次元行列Ａｎの数は４個であったが、二次元行列の数は４個に限定されるものではない。また、用いる二次元行列Ａｎの数に応じて係数ｂｎの求め方も様々に変形できる。

５個の二次元行列を用いるのであれば、式（７）で表される係数ｂｎ（ｎ＝１〜４）に例えば下記の係数

を加えればよいし、８個の二次元行列を用いるのであれば、例えば

とすればよいし、９個の二次元行列を用いるのであれば、例えば式（２５）で表される係数ｂｎ（ｎ＝１〜８）に下記の係数

を加えればよい。

なお、上記の例では、入力画像Ｄ０を構成する画素Ｐ０の画素値の差分を利用して係数ｂｎを求めているが、入力画像Ｄ０を構成する画素Ｐ０の画素値から係数ｂｎを求める方法は、画素値の差分を利用する方法に限定されない。

また、上記の例では、入力画像Ｄ０を構成する画素Ｐ０の画素値を利用して対応点Ｔごとに異なるＮ個の係数ｂｎを求めることとしたが、必ずしも入力画像Ｄ０を構成する画素Ｐ０の画素値を利用して係数ｂｎを求める必要はない。例えば乱数を利用して、対応点Ｔごとに異なるＮ個の係数ｂｎを求めることも出来る。

また、Ｎ個の行列Ａｎを加重加算して差分拡散係数Ｋ３０１を求める際、

というように、係数ｂｎの総和で正規化してもよい。

また、エッジ強調画像拡大部１００は入力画像Ｄ０に含まれるエッジを強調した拡大画像を出力するものであれば任意の既知の方法を用いることが出来る。

図１１はエッジ強調画像拡大部１００の一例を示すものであり、これは上記の特許文献１に開示されたものであり、画像拡大部１０２Ａ、高周波数成分画像生成部１０１、画像拡大部１０２Ｂ、高周波数成分画像処理部１０３、及び加算部１０４を備える。画像拡大部１０２Ａは、入力画像Ｄ０を拡大した拡大画像Ｄ１０２Ａを生成する。高周波数成分画像生成部１０１は、入力画像Ｄ０の高周波数成分のみを取り出して高周波数成分画像Ｄ１０１を生成する。画像拡大部１０２Ｂは、高周波数成分画像生成部１０１から出力される高周波数成分画像Ｄ１０１を拡大して拡大画像Ｄ１０２Ｂを生成する。高周波数成分画像処理部１０３は、画像拡大部１０２Ｂから出力される拡大画像Ｄ１０２Ｂに非線形処理を行った画像から高周波数成分を取り出して高周波数成分画像Ｄ１０３を生成する。加算部１０４は、拡大画像Ｄ１０２Ａと高周波数成分画像Ｄ１０３を加算して、エッジ強調拡大画像Ｄ１００を出力する。

高周波数成分画像処理部１０３で行う非線形処理は例えば、拡大画像Ｄ１０２Ｂ内のゼロクロス点を含む所定の領域内に存在する画素（高周波数成分画像の画素）に対してはその画素値を１より大きい増幅率で増幅し、それ以外の画素については画素値をそのままとするものである。
上記の特許文献１に開示されている通り上記の処理によってエッジを強調した拡大画像を出力することが出来る。

エッジ強調画像拡大部１００の構成は上記以外のものでもよく、例えば入力画像Ｄ０を単純に拡大した画像に、アンシャープマスクなどの既知のエッジ強調フィルタを掛けた画像を出力するものでもよい。上記の処理でもエッジを強調した拡大画像を出力することが出来る。

上記の例以外にも、エッジを強調した拡大画像を出力する方法は、エッジを強調しつつ画像を拡大する方法や画像を拡大した後エッジを強調する方法を問わず様々な方法が既知であり、それらの方法を自由に使うことが出来る。

実施の形態Ａ２．
実施の形態Ａ２による画像処理装置は、実施の形態Ａ１による画像処理装置と同様、図１に示す構成で実現できる。ただし、高解像度画像補正部３００の構成及び動作が、実施の形態Ａ１による画像処理装置とは異なる。実施の形態Ａ２による画像処理装置も、実施の形態Ａ１による画像処理装置と同様、画像表示装置の一部として用いることが出来る。

図１２は実施の形態Ａ２による高解像度画像補正部３００の構成例を示す図である。
図１２の高解像度画像補正部３００は、拡散係数計算部３０１、拡散量計算部３０２、エッジ判定部３１０、テキスチャ判定部３２０、拡散量補正部４００、及び減算部３０３ｂを備える。

拡散係数計算部３０１、及び拡散量計算部３０２としては、図５を参照して実施の形態Ａ１で説明したものと同じものを用い得る。

エッジ判定部３１０は、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００（ｘ，ｙ）の各々について、画素Ｐ１００（ｘ，ｙ）がエッジあるいはエッジに近い領域（以下、エッジ領域と呼ぶ）に含まれる確率を示す値を求め、その結果をエッジ判定結果Ｄ３１０として出力する。なお、画素Ｐ１００（ｘ，ｙ）について求められるエッジ判定結果Ｄ３１０をＤ３１０（ｘ，ｙ）と表す。

エッジ判定部３１０は図１２に示すように、エッジ検出部３１１、及びエッジ確率計算部３１２を備える。

エッジ検出部３１１は、被写体の輪郭線など、入力画像Ｄ０において画素値が急激に変化する箇所をエッジとして検出する。

図１３はエッジ検出部３１１の構成例を示す。図示のエッジ検出部３１１は、微分計算部３１１Ａ、及び比較部３１１Ｂを備える。

微分計算部３１１Ａは、入力画像Ｄ０を構成する画素Ｐ０の各々について、画素値の微分値Ｄ３１１Ａを計算する。

以下、ソーベルフィルタを用いて微分値Ｄ３１１Ａを計算する例を示す。この場合、微分計算部３１１Ａは、水平微分計算部３１１Ａ１、垂直微分計算部３１１Ａ２、及び加算部３１１Ａ３で構成できる。

水平微分計算部３１１Ａ１は、水平方向のソーベルフィルタを用いて水平微分値Ｄ３１１Ａ１を計算する。画素Ｐ０（ｘ，ｙ）について計算される水平微分値Ｄ３１１Ａ１をＤ３１１Ａ１（ｘ，ｙ）とすると、

となる。

垂直微分計算部３１１Ａ２は、垂直方向のソーベルフィルタを用いて垂直微分値Ｄ３１１Ａ２を計算する。画素Ｐ０（ｘ，ｙ）について計算される垂直微分値Ｄ３１１Ａ２をＤ３１１Ａ２（ｘ，ｙ）とすると、

となる。

加算部３１１Ａ３は、水平微分値Ｄ３１１Ａ１の絶対値と垂直微分値Ｄ３１１Ａ２の絶対値を加算し、加算した結果を微分値Ｄ３１１Ａ３として出力する。画素Ｐ０（ｘ，ｙ）について計算される微分値Ｄ３１１Ａ３をＤ３１１Ａ３（ｘ，ｙ）とすると、
Ｄ３１１Ａ３（ｘ，ｙ）
＝｜Ｄ３１１Ａ１（ｘ，ｙ）｜＋｜Ｄ３１１Ａ２（ｘ，ｙ）｜
となる。
微分計算部３１１Ａは、微分値Ｄ３１１Ａ３を微分値Ｄ３１１Ａとして出力する。

比較部３１１Ｂは、画素Ｐ０の各々について、その画素がエッジに含まれているかを判定し、その結果を判定結果Ｄ３１１Ｂとして出力する。
エッジでは画素値が急激に変化するので、画素値の微分値の大きさも大きくなる。よって、画素Ｐ０について計算された微分値Ｄ３１１Ａの絶対値が閾値Ｔｈ３１１Ｂ以上である場合、その画素はエッジに含まれていると判定することが出来る。以下、画素Ｐ０（ｘ，ｙ）について計算した微分値Ｄ３１１ＡをＤ３１１Ａ（ｘ，ｙ）、判定結果Ｄ３１１ＢをＤ３１１Ｂ（ｘ，ｙ）で表すと

と表すことができる。つまり、判定結果Ｄ３１１Ｂ（ｘ，ｙ）が「１」のとき、画素Ｐ０（ｘ，ｙ）はエッジに含まれていることになる。

エッジ検出部３１１は、判定結果Ｄ３１１Ｂをエッジ検出結果Ｄ３１１として出力する。
このように、エッジ検出部３１１は、入力画像Ｄ０を構成する画素Ｐ０の各々を注目画素とし、注目画素における画素値の微分値の大きさが一定値以上となる画素を、エッジとして検出する。

エッジ確率算出部３１２は、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００がエッジ領域に含まれる確率を示す値であるエッジ確率Ｄ３１２を求める。

エッジ確率Ｄ３１２の求め方の一例を示す。
入力画像Ｄ０とエッジ強調拡大画像Ｄ１００は同じ被写体を表す画像である。よって入力画像Ｄ０でエッジと判定される箇所はエッジ強調拡大画像Ｄ１００でもエッジと判定出来る。つまり、エッジ強調拡大画像Ｄ１００に入力画像Ｄ０を重ねた場合に、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００の近傍に存在する、入力画像Ｄ０を構成する画素Ｐ０がエッジに含まれている場合、画素Ｐ１００もエッジあるいはエッジ近傍の領域（すなわちエッジ領域）に含まれている可能性が高い。逆から考えれば、画素Ｐ１００がエッジ領域に含まれている場合、その近傍に存在する画素Ｐ０はエッジに含まれることが多く、エッジ検出結果Ｄ３１１も値「１」を取っていることが多い。さらに言えば画素Ｐ１００がエッジ領域に含まれている場合、その近傍に存在する画素Ｐ０に対して計算されたエッジ検出結果Ｄ３１１を加算した値は大きな値になりやすいことがわかる。つまり、画素Ｐ１００の近傍に存在する画素Ｐ０に対して計算されたエッジ検出結果Ｄ３１１を加算した値が大きいほど、画素Ｐ１００はエッジ領域に含まれる可能性が高い。

以上の議論からエッジ確率Ｄ３１２は、エッジ強調拡大画像Ｄ１００に入力画像Ｄ０を重ねた場合に、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００の近傍に存在する、入力画像Ｄ０を構成する画素Ｐ０に対して計算されたエッジ検出結果Ｄ３１１を加算した値とすればよいことがわかる。

画素Ｐ１００（ｘ，ｙ）の近傍にある画素Ｐ０は、整数ｉ，ｊを用いて
Ｐ０（［ｘ］＋ｉ，［ｙ］＋ｊ）
と表され、これらの画素Ｐ０に対して計算されたエッジ検出結果Ｄ３１１は
Ｄ３１１（［ｘ］＋ｉ，［ｙ］＋ｊ）
と表されるので、画素Ｐ１００（ｘ，ｙ）について求められるエッジ確率Ｄ３１２を表すＤ３１２（ｘ，ｙ）は

で与えられる。上記の式は、画素Ｐ０（［ｘ］，［ｙ］）を中心に水平方向は左にＩｃ画素、右にＩｄ画素、垂直方向は上にＪｃ画素、下にＪｄ画素までの範囲で求められたエッジ検出結果Ｄ３１１を加算してエッジ確率Ｄ３１２（ｘ，ｙ）を求めることを意味する。また、上記の議論から明らかなように、エッジ確率Ｄ３１２が大きな値であるほど、画素Ｐ１００がエッジ領域に含まれる可能性が高くなる。

エッジ判定部３１０は、エッジ確率Ｄ３１２をエッジ判定結果Ｄ３１０として出力する。
このように、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００の各々について、エッジ検出結果Ｄ３１１を基にエッジ判定結果Ｄ３１０を求めることが出来る。

次に、テキスチャ判定部３２０の動作について説明する。
テキスチャ判定部３２０は、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００（ｘ，ｙ）の各々について、画素Ｐ１００（ｘ，ｙ）がテキスチャ領域に含まれる確率を示す値を求め、その結果をテキスチャ判定結果Ｄ３２０として出力する。なお、画素Ｐ１００（ｘ，ｙ）について求められるテキスチャ判定結果Ｄ３２０をＤ３２０（ｘ，ｙ）と表す。

テキスチャ判定部３２０は図１２に示すように、テキスチャ検出部３２１、及びテキスチャ確率計算部３２２を備える。

テキスチャ検出部３２１は、入力画像Ｄ０において局所的に画素値の変化が多い領域をテキスチャ領域として検出する。

図１４はテキスチャ検出部３２１の構成例を示す。図示のテキスチャ検出部３２１は、差分計算部３２１Ａ、比較部３２１Ｂ、加算部３２１Ｃ、及び検出部３２１Ｄを備える。

差分計算部３２１Ａは、入力画像Ｄ０を構成する画素Ｐ０の各々について、隣接画素との画素値の差分を計算し、差分値Ｄ３２１Ａとして出力する。
画素Ｐ０（ｘ，ｙ）について計算される差分値Ｄ３２１をＤ３２１Ａ（ｘ，ｙ）とすると、Ｄ３２１Ａ（ｘ，ｙ）は、例えば下記の差分

から成る。

比較部３２１Ｂは、画素Ｐ０（ｘ，ｙ）の各々について計算された差分値Ｄ３２１Ａ（ｘ，ｙ）を構成する複数個の差分値Ｄ３２１Ａｒ（ｘ，ｙ）（ただしｒは１以上８以下の整数）について、その絶対値が閾値Ｔｈ３２１Ｂ以上となる差分値の数を数えた結果をカウント値Ｄ３２１Ｂ（ｘ，ｙ）として出力する。また、カウント値Ｄ３２１Ｂ（ｘ，ｙ）を単にカウント値Ｄ３２１Ｂと表すこともある。

加算部３２１Ｃは、入力画像Ｄ０を構成する画素Ｐ０の各々について、その画素の近傍に存在する画素Ｐ０について計算されたカウント値Ｄ３２１Ｂを加算した結果を加算値Ｄ３２１Ｃとして出力する。画素Ｐ０（ｘ，ｙ）について計算される加算値Ｄ３２１ＣをＤ３２１Ｃ（ｘ，ｙ）とすると、Ｄ３２１Ｃ（ｘ，ｙ）は

と表される。上記の式は、画素Ｐ０（ｘ，ｙ）を中心に水平方向は左にＩｅ画素、右にＩｆ画素、垂直方向は上にＪｅ画素、下にＪｆ画素までの範囲で求められたカウント値Ｄ３２Ｂを加算して加算値Ｄ３２１Ｃ（ｘ，ｙ）を求めることを意味する。

検出部３２１Ｄは、画素Ｐ０の各々について、その画素がテキスチャ領域に含まれているか判定し、その結果を検出結果Ｄ３２１Ｄとして出力する。

テキスチャ領域では局所的に画素値の変化が多いので、隣接画素間の画素値の差分の大きさがある程度ある画素が多くなることを踏まえると、カウント値Ｄ３２１Ｂはテキスチャ領域で大きな値になりやすいことがわかる。また、加算値Ｄ３２１Ｃは、カウント値Ｄ３２１Ｂを加算して得られるので、加算値Ｄ３２１Ｃもカウント値Ｄ３２１Ｂと同様、テキスチャ領域で大きな値になりやすいことがわかる。よって、画素Ｐ０について計算された加算値Ｄ３２１Ｃの値が閾値Ｔｈ３２１Ｄ以上である場合、その画素はテキスチャ領域に含まれていると判定することが出来る。画素Ｐ０（ｘ，ｙ）について計算される検出結果Ｄ３２１ＤをＤ３２１Ｄ（ｘ，ｙ）で表すと

となる。つまり、検出結果Ｄ３２１Ｄ（ｘ，ｙ）が「１」のとき、画素Ｐ０（ｘ，ｙ）はテキスチャ領域に含まれていることになる。

テキスチャ検出部３２１は、検出結果Ｄ３２１Ｄをテキスチャ検出結果Ｄ３２１として出力する。
このように、テキスチャ検出部３２１は、入力画像Ｄ０を構成する画素Ｐ０の各々を注目画素とし、注目画素の近傍において隣接画素間の画素値の差分の大きさがある程度ある画素が多く存在する領域を、テキスチャ領域として検出する。

テキスチャ確率計算部３２２は、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００がテキスチャ領域に含まれる確率を示す値であるテキスチャ確率Ｄ３２２を求める。

テキスチャ確率Ｄ３２２の求め方について説明する。
エッジ確率Ｄ３１２をエッジ検出結果Ｄ３１１から求めた場合と同様の議論から、テキスチャ確率Ｄ３２２は、エッジ強調拡大画像Ｄ１００に入力画像Ｄ０を重ねた場合に、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００の近傍に存在する、入力画像Ｄ０を構成する画素Ｐ０に対して計算されたテキスチャ検出結果Ｄ３２１を加算した値とすればよいことがわかる。

画素Ｐ１００（ｘ，ｙ）の近傍にある画素Ｐ０は、整数ｉ，ｊを用いて
Ｐ０（［ｘ］＋ｉ，［ｙ］＋ｊ）
と表され、これらの画素Ｐ０ついて計算されたテキスチャ検出結果Ｄ３２１は
Ｄ３２１（［ｘ］＋ｉ，［ｙ］＋ｊ）
と表されるので、画素Ｐ１００（ｘ，ｙ）について求められるテキスチャ確率Ｄ３２２をＤ３２２（ｘ，ｙ）で表すと

となる。上記の式は、画素Ｐ０（［ｘ］，［ｙ］）を中心に水平方向は左にＩｇ画素、右にＩｈ画素、垂直方向は上にＪｇ画素、下にＪｈ画素までの範囲で求められたテキスチャ検出結果Ｄ３２１を加算してテキスチャ確率Ｄ３２２（ｘ，ｙ）を求めることを意味する。また、上記の議論から明らかなように、テキスチャ確率Ｄ３２２が大きな値であるほど、画素Ｐ１００がテキスチャ領域に含まれる可能性が高くなる。

テキスチャ判定部３２０は、テキスチャ確率Ｄ３２２をテキスチャ判定結果Ｄ３２０として出力する。
このように、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００の各々について、テキスチャ検出結果Ｄ３２１を基にテキスチャ判定結果Ｄ３２０を求めることが出来る。

拡散量補正部４００は、差分拡散量Ｄ３０２と、エッジ判定結果Ｄ３１０と、テキスチャ判定結果Ｄ３２０とに基づいて補正拡散量Ｄ４００を求める。
拡散量補正部４００は、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００の各々について、補正係数Ｆ３１０を求める。以下、画素Ｐ１００（ｘ，ｙ）に対して計算される補正係数Ｆ３１０を補正係数Ｆ３１０（ｘ，ｙ）で表す。補正係数Ｆ３１０（ｘ，ｙ）はエッジ判定結果Ｄ３１０（ｘ，ｙ）の値に応じて求められる。例えば、補正係数Ｆ３１０（ｘ，ｙ）はエッジ判定結果Ｄ３１０（ｘ，ｙ）の値に対して単調に減少するよう求められる。

拡散量補正部４００は、また、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００の各々について、補正係数Ｆ３２０を求める。画素Ｐ１００（ｘ，ｙ）に対して計算される補正係数Ｆ３２０を補正係数Ｆ３２０（ｘ，ｙ）で表す。補正係数Ｆ３２０（ｘ，ｙ）はテキスチャ判定結果Ｄ３２０（ｘ，ｙ）の値に応じて求められる。例えば、補正係数Ｆ３２０（ｘ，ｙ）はテキスチャ判定結果Ｄ３２０（ｘ，ｙ）の値に対して単調に増加するよう求められる。

拡散量補正部４００は、さらに、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００の各々について、差分拡散量Ｄ３０２を補正係数Ｆ３１０、Ｆ３２０の値に応じて補正した差分拡散量Ｄ４００を求める。補正された差分拡散量を以下単に「補正拡散量」と言うことがある。この補正は、例えば、補正係数Ｆ３１０、Ｆ３２０を差分拡散量３０２に乗じることで行われる。画素Ｐ１００（ｘ，ｙ）に対して計算される補正拡散量Ｄ４００をＤ４００（ｘ，ｙ）とすると、
Ｄ４００（ｘ，ｙ）＝Ｆ３１０（ｘ，ｙ）×Ｆ３２０（ｘ，ｙ）×Ｄ３０２（ｘ，ｙ）
と表される。

減算部３０３ｂは、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００（ｘ，ｙ）の画素値Ｄ１００（ｘ，ｙ）から、画素Ｐ１００（ｘ，ｙ）に対して計算した補正拡散量Ｄ４００（ｘ，ｙ）を引いた値を各画素の画素値とする画像を差分補正画像Ｄ３０３として出力する。すなわち、差分補正画像Ｄ３０３の画素値Ｄ３０３（ｘ，ｙ）は
Ｄ３０３（ｘ，ｙ）＝Ｄ１００（ｘ，ｙ）−Ｄ４００（ｘ，ｙ）
となる。

高解像度画像補正部３００は、差分補正画像Ｄ３０３を出力画像Ｄ３００として出力する。

本実施の形態による拡散量計算部３０２は、差分拡散係数Ｋ３０１のみでなく、補正係数Ｆ３１０、Ｆ３２０に応じても、差分データＤ２００の拡散量が変化する点で、実施の形態Ａ１による拡散量計算部３０２と異なる。

特に、補正係数Ｆ３１０に応じて補正拡散量Ｄ４００を変化させることで、画素Ｐ１００がエッジ領域に含まれている確率が高い場合、差分データＤ２００の拡散を抑制することとしている。このようにすることで、エッジ強調画像拡大部１００でのエッジ強調の効果を最大限残しつつ、テキスチャ領域での解像感向上を図ることが出来る。

また、補正係数Ｆ３２０に応じて補正拡散量Ｄ４００を変化させることで、画素Ｐ１００がテキスチャ領域に含まれている確率が高い場合、差分データＤ２００の拡散を行う（妨げない）こととしている。このようにすることでも、エッジ領域に代表されるテキスチャ領域以外の箇所で差分データＤ２００の拡散を抑制することが可能なため、エッジ強調画像拡大部１００でのエッジ強調の効果を残しつつ、テキスチャ領域での解像感向上を図ることが出来る。

よって本実施の形態の画像処理装置では、エッジ強調画像拡大部１００でのエッジ強調の効果を残しつつ、テキスチャ領域での解像感向上を図ることが出来る。

なお、補正係数Ｆ３１０、Ｆ３２０の少なくとも一つを用いれば、エッジ強調画像拡大部１００でのエッジ強調の効果を残しつつ、テキスチャ領域での解像感向上を図ることが出来る。

なお、補正係数Ｆ３１０で補正拡散量Ｄ４００の値を変化させる処理は、入力画像Ｄ０に含まれるエッジをエッジ検出部３１１で検出し、入力画像Ｄ０をエッジ強調拡大画像Ｄ１００に重ねた場合に、エッジ検出部３１１でエッジが検出された箇所の近傍となる領域では、補正拡散量Ｄ４００の値が大きくならないよう抑制する処理ともいえる。

補正係数Ｆ３１０で補正拡散量Ｄ４００の値を変化させる処理は、エッジ判定部３１０でエッジ強調拡大画像Ｄ１００にエッジが含まれる箇所を検出し、エッジが検出された箇所の近傍領域、即ちエッジが検出された箇所およびその周辺では、補正拡散量Ｄ４００の値が大きくならないよう抑制する処理ともいえる。

また、補正係数Ｆ３２０で補正拡散量Ｄ４００の値を変化させる処理は、入力画像Ｄ０に含まれるテキスチャ領域をテキスチャ検出部３２１で検出し、入力画像Ｄ０をエッジ強調拡大画像Ｄ１００に重ねた場合に、テキスチャ検出部３２１でテキスチャ領域と検出された箇所の近傍となる領域以外では、補正拡散量Ｄ４００の値が大きくならないよう抑制する処理ともいえる。

また、補正係数Ｆ３２０で補正拡散量Ｄ４００の値を変化させる処理は、テキスチャ判定部３２０でエッジ強調拡大画像Ｄ１００にテキスチャが含まれる箇所を検出し、テキスチャが含まれると判定された箇所の近傍領域、即ちテキスチャが含まれると判定された箇所とその周辺以外では、補正拡散量Ｄ４００の値が大きくならないよう抑制する処理ともいえる。

さらにまた、補正係数Ｆ３２０で補正拡散量Ｄ４００の値を変化させる処理は、テキスチャ判定部３２０でエッジ強調拡大画像Ｄ１００において、局所的に画素値の変化が多い領域をテキスチャ領域として検出し、テキスチャ領域とその周辺以外では、補正拡散量Ｄ４００の値が大きくならないよう抑制する処理ともいえる。

本実施の形態による画像処理装置も、その主旨を逸脱しない範囲で様々な変形例を考えることが出来る。まず、実施の形態Ａ１について説明したのと同様の変形を加えることができる。

また、式（３１）、式（３３）、式（３５）など単純加算で表されている処理のいずれかを加重加算にしてもよい。

また、エッジ検出結果Ｄ３１１に対して孤立点除去処理を行って、エッジの検出精度を高めることが出来る。孤立点除去処理としては例えばメディアンフィルタや、収縮・膨張処理を組み合わせたモルフォロジー演算などを用いることが出来る。

なお、テキスチャ検出結果Ｄ３２１についても、孤立点除去処理を利用してテキスチャの検出精度を高めることが可能である。

また、孤立点除去処理をエッジ検出結果Ｄ３１１やテキスチャ検出結果Ｄ３２１に対して行うのではなく、エッジ確率Ｄ３１２やテキスチャ確率Ｄ３２２に対して行っても上記と同様の効果が得られる。

また、上記の例では、エッジを検出するためにソーベルフィルタを用いたが、ソーベルフィルタの代わりに、エッジ検出用の既知のフィルタを用いてもよい。また、エッジを検出できる処理であれば、上記以外の既知の方法を用いてもよい。

また、テキスチャ領域を検出するための処理も、局所的に画素値の変化が多い領域を検出できる処理であればよい。上記の目的が達成できるのであれば式（３２）に示した以外の画素値の差分を用いてもよい。

他にも、画素Ｐ０の各々を含む局所的な領域をフーリエ変換し、高周波数成分が多く含まれる程テキスチャ領域である可能性が高いと判断してもよい。さらに、フーリエ変換の代わりに離散コサイン変換やウェーブレット変換など、周波数帯域ごとに信号を分解できる処理を用いてもよい。

さらに、局所的に画素値の変化が多い領域を検出できる処理であれば、上記以外の既知の方法を用いてもよい。

また、補正係数Ｆ３１０、補正係数Ｆ３２０による差分拡散量Ｄ３０２の補正も上記の例に留まらず、エッジ領域で、あるいはテキスチャ領域以外の領域で、差分拡散量Ｄ３０２の値を小さな値に補正できるものならよい。

よって補正係数Ｆ３１０は、エッジ判定結果Ｄ３１０に対し、単調に減少するものでなくてもよく、例えばエッジ判定結果Ｄ３１０がある閾値より大きな値を取る少なくとも一部の区間において、１未満の値（あるいは差分拡散量Ｄ３０２を小さな値に補正できる値）になればよい。

また補正係数Ｆ３２０は、テキスチャ判定結果Ｄ３２０に対し、単調に増加するものでなくてもよく、例えばテキスチャ判定結果Ｄ３２０がある閾値より小さな値を取る少なくとも一部の区間において、１未満の値（あるいは差分拡散量Ｄ３０２を小さな値に補正できる値）になればよい。

また、差分拡散量Ｄ３０２を補正するための演算は、補正係数Ｆ３１０、補正係数Ｆ３２０を用いた乗算に限定されない。例えば、エッジ判定結果Ｄ３１０の値が大きくなるほど、大きな値となる補正値を差分拡散量Ｄ３０２から引いたものを補正拡散量Ｄ４００としてもよいし、エッジ判定結果Ｄ３１０の値が小さくなるほど、大きな値となる補正値を差分拡散量Ｄ３０２から引いたものを補正拡散量Ｄ４００としてもよい。
あるいは、例えばエッジ判定結果Ｄ３１０がある閾値より大きな値を取る少なくとも一部の区間において、差分拡散量Ｄ３０２より補正拡散量Ｄ４００の値が小さくなる処理をしてもよいし、例えばテキスチャ判定結果Ｄ３２０がある閾値より小さな値を取る少なくとも一部の区間において、差分拡散量Ｄ３０２より補正拡散量Ｄ４００の値が小さくなる処理をしてもよい。

このように差分拡散量Ｄ３０２に対するエッジ判定結果Ｄ３１０及びテキスチャ判定結果Ｄ３２０による補正は、エッジ領域、あるいはテキスチャ領域以外の領域で、補正拡散量Ｄ４００の値が大きくならないよう抑制するものであればよい。

実施の形態Ａ３．
実施の形態Ａ１では、本発明をハードウエアにより実現するものとして説明したが、図１に示される構成の一部又は全部をソフトウエアにより、即ちプログラムされたコンピュータにより実現することも可能である。その場合の画像処理方法を、図１５〜図１８を参照して説明する。

図１５は、実施の形態Ａ３の画像処理方法の実施に用いられる演算装置、即ち、実施の形態Ａ３の画像処理装置として用い得る演算装置（コンピュータ）を示す。図示の演算装置は、入力インターフェースＵ１Ａ、プロセッサＵ１Ｂ、プログラムメモリＵ１Ｃ、データメモリＵ１Ｄ、出力インターフェースＵ１Ｅおよびこれらを接続するバスＵ１Ｆを含む。

プロセッサＵ１Ｂは、入力インターフェースＵ１Ａを介して入力される画像に対して、プログラムメモリＵ１Ｃに記憶されたプログラムに従って動作する。動作の過程で種々のデータをデータメモリＵ１Ｄに記憶させる。処理の結果生成された画像はインターフェースＵ１Ｅを介して出力される。

図１５に示した演算装置を、図９に示す画像表示装置の構成要素である入力画像処理部Ｕ１に組み込むことで本発明による画像表示装置の一部として利用できる。例えば入力画像ＤＩＮの画素数が表示部Ｕ２の出力画素数より少なかった場合、入力インターフェースＵ１Ａを介して入力画像ＤＩＮを図１７に示した演算装置へ入力する。プログラムメモリＵ１Ｃには、本実施の形態による画像処理方法を実行するためのプログラムを記憶しておき、プロセッサＵ１Ｂが本実施の形態による画像処理方法によって入力画像ＤＩＮを拡大し、その結果を、出力インターフェースＵ１Ｅを経由して入力画像処理部Ｕ１から出力画像ＤＯＵＴとして出力すればよい。上記のように動作することで、入力画像ＤＩＮの画素数が表示部Ｕ２の出力画素数より少なくても、視覚上好ましい画像を表示することが出来る。

図１６は、図１５の画像処理装置を用いて実施可能な、実施の形態Ａ３による画像処理方法のフローを表す図である。
実施の形態Ａ３による画像処理方法は、エッジ強調画像拡大ステップＳＴ１００、差分計算ステップＳＴ２００、及び高解像度画像補正ステップＳＴ３００を含む。

エッジ強調画像拡大ステップＳＴ１００は、図示しない画像入力ステップによって入力される入力画像Ｄ０内のエッジが強調された拡大画像であるエッジ強調拡大画像Ｄ１００を生成する。ここで入力画像Ｄ０内のエッジが強調された拡大画像を生成するためには既知の方法を用いればよく、例えば上記の特許文献１に開示された画像処理方法を用いればよい。

差分計算ステップＳＴ２００は、入力画像Ｄ０とエッジ強調拡大画像Ｄ１００の差分を表す差分データＤ２００を出力する。即ち入力画像Ｄ０の画素Ｄ０（ｘ，ｙ）を順次注目画素として選択し、注目画素について、エッジ強調拡大画像Ｄ１００の対応点を設定し、注目画素の画素値と、対応点の画素値の差を示す差分データＤ２００（ｘ，ｙ）を出力する。

図１７は差分計算ステップＳＴ２００の処理フローを表す図であり、差分計算ステップＳＴ２００は、対応点設定ステップＳＴ２２１、注目領域設定ステップＳＴ２２２、及び対応点画素値計算ステップＳＴ２２３を備える。
対応点設定ステップＳＴ２２１で行う処理は、実施の形態Ａ１に記載した対応点設定部２２１で行う処理と同じである。
注目領域設定ステップＳＴ２２２で行う処理は、実施の形態Ａ１に記載した注目領域設定部２２２で行う処理と同じである。
対応点画素値計算ステップ２２３で行う処理は、実施の形態Ａ１に記載した対応点画素値計算部２２３で行う処理と同じである。

高解像度画像補正ステップＳＴ３００は、差分データＤ２００で表される差分を少なくとも部分的に打ち消すようにエッジ強調拡大画像Ｄ１００を補正し、その結果を出力画像Ｄ３００として出力する。

図１８は高解像度画像補正ステップＳＴ３００の処理フローを表す図であり、高解像度画像補正ステップＳＴ３００は、拡散係数計算ステップＳＴ３０１、拡散量計算ステップＳＴ３０２、及び減算ステップＳＴ３０３を備える。
拡散係数計算ステップＳＴ３０１で行う処理は、実施の形態Ａ１に記載した拡散係数計算部３０１で行う処理と同じである。
拡散量計算ステップＳＴ３０２で行う処理は、実施の形態Ａ１に記載した拡散量計算部３０２で行う処理と同じである。
減算ステップＳＴ３０３で行う処理は、実施の形態Ａ１に記載した減算部３０３で行う処理と同じである。

以上が実施の形態Ａ３による画像処理方法による処理であり、その内容は実施の形態Ａ１による画像処理装置と同等である。よって実施の形態Ａ３による画像処理方法は実施の形態Ａ１による画像処理装置と同じ効果を持つ。

図１６のエッジ強調拡大処理ステップＳＴ１００は入力画像Ｄ０に含まれるエッジを強調した拡大画像を出力するものであれば任意の既知の方法を用いることが出来る。

図１９はエッジ強調拡大処理ステップＳＴ１００の一例を示すものであり、これは上記の特許文献１に開示されたもので、画像拡大ステップＳＴ１０２Ａ、高周波数成分画像生成ステップＳＴ１０１、画像拡大ステップＳＴ１０２Ｂ、高周波数成分画像処理ステップＳＴ１０３、及び加算ステップＳＴ１０４を備える。画像拡大ステップＳＴ１０２Ａは、入力画像Ｄ０を拡大した拡大画像Ｄ１０２Ａを生成する。
画像拡大ステップＳＴ１０２Ａは、図１１の画像拡大部１０２Ａと同じ処理をし、
高周波数成分画像生成ステップＳＴ１０１は、図１１の高周波数成分生成部１０１と同じ処理をし、
画像拡大ステップＳＴ１０２Ｂは、図１１の画像拡大部１０２Ｂと同じ処理をし、
高周波数成分画像処理ステップＳＴ１０３は、図１１の高周波数成分画像処理部１０３と同じ処理をし、
加算ステップＳＴ１０４は、図１１の加算部１０４と同じ処理をする。
上記の特許文献１に開示されている通り上記の処理によってエッジを強調した拡大画像を出力することが出来る。

図１６のエッジ強調拡大処理ステップＳＴ１００は上記以外のものでもよく、例えば入力画像Ｄ０を単純に拡大した画像に、アンシャープマスクなどの既知のエッジ強調フィルタを掛けた画像を出力するものでもよい。上記の処理でもエッジを強調した拡大画像を出力することが出来る。

また、上記の例以外にも、エッジを強調した拡大画像を出力する方法は様々な方法が既知であり、それらの方法を自由に使うことが出来る。

さらに、実施の形態Ａ１による画像処理装置に適用可能な変形例は実施の形態Ａ３による画像処理方法にも適用可能である。

実施の形態Ａ４．
実施の形態Ａ２では、本発明をハードウエアにより実現するものとして説明したが、実施の形態Ａ２による画像処理装置と同じ処理をソフトウエアにより実現することも可能である。実施の形態Ａ４による画像処理方法も実施の形態Ａ３による画像処理方法と同様、図１５の画像処理装置で実施可能であり、画像表示装置の一部として使用できる。
実施の形態Ａ４による画像処理方法は、実施の形態Ａ３による画像処理方法と同様、図１６に示すフローで実現できる。ただし、高解像度画像補正ステップＳＴ３００よる処理の内容が、実施の形態Ａ３による画像処理方法とは異なる。

図２０は、実施の形態Ａ４による高解像度画像補正ステップＳＴ３００の処理フローを表す図であり、図２０に示される高解像度画像補正ステップＳＴ３００は、拡散係数計算ステップＳＴ３０１、拡散量計算ステップＳＴ３０２、エッジ判定ステップＳＴ３１０、テキスチャ判定ステップＳＴ３２０、拡散量補正ステップＳＴ４００、及び減算ステップＳＴ３０３ｂを備える。

拡散係数計算ステップＳＴ３０１、及び拡散量計算ステップＳＴ３０２の動作は実施の形態Ａ３と同じでよい。

エッジ判定ステップＳＴ３１０は、エッジ強調画像拡大ステップＳＴ１００が出力するエッジ強調拡大画像Ｄ１００を構成する画素の各々について、その画素がエッジ領域に含まれる確率を示す値を求め、その結果をエッジ判定結果Ｄ３１０として出力する。

エッジ判定ステップＳＴ３１０は、エッジ検出ステップＳＴ３１１、及びエッジ確率計算ステップＳＴ３１２を備える。

図２１はエッジ検出ステップＳＴ３１１の処理フローを表す図であり、エッジ検出ステップＳＴ３１１は、微分計算ステップＳＴ３１１Ａ、及び比較ステップＳＴ３１１Ｂを備える。

微分計算ステップＳＴ３１１Ａは、水平微分計算ステップＳＴ３１１Ａ１、垂直微分計算ステップＳＴ３１１Ａ２、及び加算ステップＳＴ３１１Ａ３を含む。
水平微分計算ステップＳＴ３１１Ａ１は、実施の形態Ａ２の水平微分計算部３１１Ａ１と同様の処理をする。
垂直微分計算ステップＳＴ３１１Ａ２は、実施の形態Ａ２の垂直微分計算部３１１Ａ２と同様の処理をする。
加算ステップＳＴ３１１Ａ３は、実施の形態Ａ２の加算部３１１Ａ３と同様の処理をする。
微分計算ステップＳＴ３１１Ａの動作は以上の通りであり、その処理内容は実施の形態Ａ２の微分計算部３１１Ａと同等である。

比較ステップＳＴ３１１Ｂは、実施の形態Ａ２の比較部３１１Ａと同様の処理をする。

エッジ検出ステップＳＴ３１１の動作は以上の通りであり、その処理内容は実施の形態Ａ２のエッジ検出部３１１と同等である。

エッジ確率計算ステップＳＴ３１２は、エッジ確率計算部３１２と同様の処理をする。

エッジ判定ステップＳＴ３１０の動作は以上の通りであり、その処理内容は実施の形態Ａ２のエッジ判定部３１０と同等である。

テキスチャ判定ステップＳＴ３２０は、エッジ強調拡大画像Ｄ１００を構成する画素の各々について、その画素がテキスチャ領域に含まれる確率を示す値を求め、その結果をテキスチャ判定結果Ｄ３２０として出力する。

テキスチャ判定ステップＳＴ３２０は、テキスチャ検出ステップＳＴ３２１、及びテキスチャ確率計算ステップＳＴ３２２を備える。

図２２は、テキスチャ検出ステップＳＴ３２１の処理フローを表す図であり、テキスチャ検出ステップＳＴ３２１は、差分計算ステップＳＴ３２１Ａ、比較ステップＳＴ３２１Ｂ、加算ステップＳＴ３２１Ｃ、及び検出ステップＳＴ３２１Ｄを備える。
差分計算ステップＳＴ３２１Ａは、実施の形態Ａ２の差分計算部３２１Ａと同様の動作をする。
比較ステップＳＴ３２１Ｂは、実施の形態Ａ２の比較部３２１Ｂと同様の動作をする。
加算ステップＳＴ３２１Ｃは、実施の形態Ａ２の加算部３２１Ｃと同様の動作をする。
検出ステップＳＴ３２１Ｄは、実施の形態Ａ２の検出部３２１Ｄと同様の動作をする。

テキスチャ検出ステップＳＴ３２１の動作は以上の通りであり、その処理内容は実施の形態Ａ２のテキスチャ検出部３２１と同等である。

テキスチャ確率計算ステップＳＴ３２２は、実施の形態Ａ２のテキスチャ確率計算部３２２と同様の動作をする。

テキスチャ判定ステップＳＴ３２０の動作は以上の通りであり、その処理内容は実施の形態Ａ２のテキスチャ判定部３２０と同等である。

拡散量補正ステップＳＴ４００は、実施の形態Ａ２の拡散量補正部４００と同様の処理をする。
減算ステップＳＴ３０３ｂは、実施の形態Ａ２の減算部３０３ｂと同様の処理をする。

以上が実施の形態Ａ４による画像処理方法による処理であり、その処理内容は実施の形態Ａ２による画像処理装置と同等である。よって実施の形態Ａ４による画像処理方法は実施の形態Ａ２による画像処理装置と同じ効果を持つ。

実施の形態Ａ２による画像処理装置に適用可能な変形例は実施の形態Ａ４による画像処理方法にも適用可能である。

実施の形態Ｂ１．
実施の形態Ｂ１による画像処理装置は、実施の形態Ａ１による画像処理装置と同様、図１に示す構成で実現できる。ただし、高解像度画像補正部３００の構成及び動作が、実施の形態Ａ１による画像処理装置とは異なる。

図２３は実施の形態Ｂ１における高解像度画像補正部３００の構成例を示す図である。
図２３の高解像度画像補正部３００は、拡散係数計算部３０１、拡散量計算部３０２、周期性判定部３３０、拡散量補正部４００ｂ、及び減算部３０３ｂを備える。

拡散係数計算部３０１、及び拡散量計算部３０２としては、図５を参照して実施の形態Ａ１、或いはＡ２で説明したものと同じものを用い得る。減算部３０３ｂとしては、図１２を参照して実施の形態Ａ２で説明したものと同じものを用い得る。

周期性判定部３３０は、エッジ強調拡大画像Ｄ１００に周期的な模様が含まれる箇所を検出する。ここで周期的な模様とは垂直方向の縞模様や水平方向の縞模様のように画素値の変化に規則的なパターンが現れるものである。
図２３に示される周期性判定部３３０は、周期性検出部３３１、及び周期性確率計算部３３２を備える。

図２４は図２３の周期性検出部３３１の構成例を示す図である。図示の周期性検出部３３１は水平差分計算部３３１Ａ１、垂直差分計算部３３１Ａ２、比較部３３１Ｂ、及び加算部３３１Ｃを備える。

水平差分計算部３３１Ａ１は入力画像Ｄ０を構成する画素Ｐ０の各々に対して画素値の水平方向に関する輝度変化を表す水平方向輝度変化量Ｄ３３１Ａ１を計算する。画素Ｐ０（ｘ，ｙ）に対して計算される水平方向輝度変化量Ｄ３３１Ａ１をＤ３３１Ａ１（ｘ，ｙ）とすると、

となる。上記の水平方向輝度変化量Ｄ３３１Ａ１は、各画素について求められるものであり、各画素について水平方向の一方の側で隣接する画素との輝度値の差分の絶対値と、水平方向の他方の側で隣接する画素との輝度値の差分の絶対値の和を表す。

垂直差分計算部３３１Ａ２は入力画像Ｄ０を構成する画素Ｐ０の各々に対して画素値の垂直方向に関する輝度変化を表す垂直方向輝度変化量Ｄ３３１Ａ２を計算する。画素Ｐ０（ｘ，ｙ）に対して計算される垂直方向輝度変化量Ｄ３３１Ａ２をＤ３３１Ａ２（ｘ，ｙ）とすると、

となる。上記の垂直方向輝度変化量Ｄ３３１Ａ２は、各画素について求められるものであり、各画素について垂直方向の一方の側で隣接する画素との輝度値の差分の絶対値と、垂直方向の他方の側で隣接する画素との輝度値の差分の絶対値の和を表す。

比較部３３１Ｂは、水平方向輝度変化値Ｄ３３１Ａ１と垂直方向輝度変化値Ｄ３３１Ａ２を比較し、その値がある閾値Ｔｈ３３１Ｂ以上離れているか否かを表す輝度変化量比較結果Ｄ３３１Ｂを出力する。この場合、画素Ｐ０（ｘ，ｙ）について得られる輝度変化量比較結果Ｄ３３１ＢをＤ３３１Ｂ（ｘ，ｙ）とすると、

となる。

加算部３３１Ｃは輝度変化量比較結果Ｄ３３１Ｂを各注目画素の近傍の画素について加算乃至積算した結果を比較結果加算値Ｄ３３１Ｃとして出力する。画素Ｐ０（ｘ，ｙ）について得られる比較結果加算値Ｄ３３１ＣをＤ３３１Ｃ（ｘ，ｙ）とすると、

となる。

周期性検出部３３１は、比較結果加算値Ｄ３３１Ｃを周期性検出結果Ｄ３３１として出力する。以上の処理を行う結果、各注目画素の近傍領域内において、水平方向輝度変化量Ｄ３３１Ａ１と垂直方向輝度変化量Ｄ３３１Ａ２の差が所定の閾値Ｔｈ３３１Ｂよりも大きいとの判定結果Ｄ３３１Ｂが得られた画素の数Ｄ３３１Ｃが、周期性検出結果Ｄ３３１として求められる。

垂直方向に関して周期的な模様（例えば水平方向の縞模様）がある領域に含まれる画素に関しては、水平方向輝度変化量Ｄ３３１Ａ１（式（３６））は小さな値になり、垂直方向輝度変化量Ｄ３３１Ａ２（式（３７））は大きな値になる。逆に、水平方向に関して周期的な模様（例えば垂直方向の縞模様）がある領域に含まれる画素に関しては、水平方向輝度変化量Ｄ３３１Ａ１（式（３６））は大きな値になり、垂直方向輝度変化量Ｄ３３１Ａ２（式（３７））は小さな値になる。
よって、水平方向輝度変化量Ｄ３３１Ａ１と垂直方向輝度変化量Ｄ３３１Ａ２の値がある程度離れている場合、その画素は周期的な模様がある領域に含まれる可能性が高い。つまり、画素Ｐ０（ｘ，ｙ）が周期的な模様がある領域に含まれる場合、式（３８）に示す値は１になることが多く、逆に画素Ｐ０（ｘ，ｙ）が周期的な模様がある領域に含まれない場合、式（３８）に示す値は０になることが多い。
さらに、周期的な模様がある領域では、その領域に含まれる画素のほとんどについて上記の説明があてはまる。よって、周期的な模様がある領域では、画素Ｐ０（ｘ，ｙ）を含む局所的な領域について輝度変化量比較結果Ｄ３３１Ｂを加算した値Ｄ３３１Ｃ（式（３９））は大きな値になる。逆に周期的な模様がない領域では値Ｄ３３１Ｃ（式（３９））は小さな値になる。
すなわち、画素Ｐ０に対して周期性検出結果Ｄ３３１（＝Ｄ３３１Ｃ）の値が大きいほど、画素Ｐ０は周期的な模様のある領域に含まれる可能性が高い。

周期性確率計算部３３２は、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００が周期性のある模様で構成される領域（以下、周期的領域と呼ぶ）に含まれる確率を示す値である周期性確率Ｄ３３２を求める。

周期性確率Ｄ３３２の求め方の一例を示す。
入力画像Ｄ０とエッジ強調拡大画像Ｄ１００は同じ被写体を表す画像である。よって入力画像Ｄ０において周期的な模様で構成される領域は、エッジ強調拡大画像Ｄ１００でも周期的な模様で構成される領域である。つまり、エッジ強調拡大画像Ｄ１００に入力画像Ｄ０を重ねた場合に、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００の近傍に存在する、入力画像Ｄ０を構成する画素Ｐ０が周期的な模様で構成される領域に含まれている場合、画素Ｐ１００も周期的な模様で構成される領域（すなわち周期的領域）に含まれている可能性が高い。逆から考えれば、画素Ｐ１００が周期的領域に含まれている場合、その近傍に存在する画素Ｐ０は周期的領域に含まれることが多く、周期性検出結果Ｄ３３１も大きな値をとっていることが多い。さらに言えば画素Ｐ１００が周期的領域に含まれている場合、その近傍に存在する画素Ｐ０に対して計算された周期性検出結果Ｄ３３１を加算した値は大きな値になりやすいことがわかる。つまり、画素Ｐ１００の近傍に存在する画素Ｐ０に対して計算された周期性検出結果Ｄ３３１を加算した値が大きいほど、画素Ｐ１００は周期的領域に含まれる可能性が高い。
以上の議論から周期性確率Ｄ３３２は、エッジ強調拡大画像Ｄ１００に入力画像Ｄ０を重ねた場合に、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００の各々（補正対象画素）の近傍に存在する、入力画像Ｄ０を構成する画素Ｐ０に対して計算された周期性検出結果Ｄ３３１を加算した値とすればよいことがわかる。

画素Ｐ１００（ｘ，ｙ）の近傍にある画素Ｐ０は、整数ｉ，ｊを用いて
Ｐ０（［ｘ］＋ｉ，［ｙ］＋ｊ）
と表され、これらの画素Ｐ０に対して計算された周期性検出結果Ｄ３３１は
Ｄ３３１（［ｘ］＋ｉ，［ｙ］＋ｊ）
と表されるので、画素Ｐ１００（ｘ，ｙ）について求められる周期性確率Ｄ３３２をＤ３３２（ｘ，ｙ）で表すと、

となる。なお、上記の式は、画素Ｐ０（［ｘ］，［ｙ］）を中心に水平方向は左にＨ０画素、右にＨ１画素、垂直方向は上にＶ０画素、下にＶ１画素までの範囲で周期性検出結果Ｄ３３１を加算して周期性確率Ｄ３３２（ｘ，ｙ）を求めることを意味する。また、上記の議論から明らかなように、周期性確率Ｄ３３２が大きな値であるほど、画素Ｐ１００が周期性領域に含まれる可能性が高くなる。

周期性判定部３３０は、周期性確率Ｄ３３２を周期性判定結果Ｄ３３０として出力する。以上の処理を行う結果、各画素について求められた周期性検出結果Ｄ３３１を、各注目画素の近傍領域の全体にわたり積算した結果が、周期性確率Ｄ３３２としても求められ、周期性判定結果Ｄ３３０として出力される。

拡散量補正部４００ｂは、実施の形態Ａ２の拡散量補正部４００と同様のものであるが、差分拡散量Ｄ３０２と、周期性判定結果Ｄ３３０とに基づいて補正拡散量Ｄ４００を求める。
拡散量補正部４００ｂは、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００の各々について、補正係数Ｆ３３０を求める。以下、画素Ｐ１００（ｘ，ｙ）に対して計算される補正係数Ｆ３３０を補正係数Ｆ３３０（ｘ，ｙ）で表す。補正係数Ｆ３３０（ｘ，ｙ）は周期性判定結果Ｄ３３０（ｘ，ｙ）の値に応じて求められる。例えば、補正係数Ｆ３３０（ｘ，ｙ）は周期性判定結果Ｄ３３０（ｘ，ｙ）の値に対して単調に減少するよう求められる。

拡散量補正部４００ｂは、また、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００の各々について、差分拡散量Ｄ３０２を補正係数Ｆ３３０の値に応じて補正した差分拡散量（補正拡散量）Ｄ４００を求める。この補正は、例えば、補正係数Ｆ３３０を差分拡散量Ｄ３０２に乗じることで行われる。画素Ｐ１００（ｘ，ｙ）に対して計算される補正拡散量Ｄ４００をＤ４００（ｘ，ｙ）とすると、

と表される。

減算部３０３ｂは、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００（ｘ，ｙ）の画素値Ｄ１００（ｘ，ｙ）から、画素Ｐ１００（ｘ，ｙ）に対して計算した補正拡散量Ｄ４００（ｘ，ｙ）を引いた値を各画素の画素値とする画像を差分補正画像Ｄ３０３として出力する。差分補正画像Ｄ３０３を構成する画素のうち、座標（ｘ，ｙ）に位置するものをＰ３０３（ｘ，ｙ）、画素Ｐ３０３（ｘ，ｙ）の画素値をＤ３０３（ｘ，ｙ）とすると、
Ｄ３０３（ｘ，ｙ）＝Ｄ１００（ｘ，ｙ）−Ｄ４００（ｘ，ｙ）
となる。
高解像度画像補正部３００は、差分補正画像Ｄ３０３を出力画像Ｄ３００として出力する。

以下、本実施の形態による画像処理装置の効果について述べる。
実施の形態Ａ１に関して述べたように、エッジ強調拡大画像Ｄ１００から差分拡散量Ｄ３０２を引くことで、テキスチャ領域における解像感を高めることが可能である。しかし、入力画像Ｄ０あるいはエッジ強調拡大画像Ｄ１００に周期的な模様ある場合、画質が悪化することがある。

例えば、差分データＤ２００を少なくとも部分的に打ち消すようにエッジ強調拡大画像Ｄ１００を補正した結果、周期的な模様がある領域の一部に、もともとある周期的な模様と異なる性質の模様が現れると、視覚的には輝度の変化が不自然に感じられ、画質が悪化することがある。

そこで本実施の形態による画像処理装置では、周期性判定部３３０において、エッジ強調拡大画像Ｄ１００に周期的な模様が含まれる可能性の高さを表す値である周期性判定結果Ｄ３３０を求め、式（４１）に示すように差分拡散量Ｄ３０２の値を補正することで、エッジ強調拡大画像Ｄ１００において、周期的な模様が含まれる可能性の高い領域では補正拡散量Ｄ４００の大きさが小さな値になるよう（あるいは補正拡散量Ｄ４００の大きさが抑制されるよう）にした。

よって、実施の形態Ｂ１による画像処理装置では、実施の形態Ａ１と同様に、テキスチャ領域において、様々な画素値をもった画素が作られるため、テキスチャ領域においても解像感が高まるのみならず、入力画像Ｄ０に周期的な模様が含まれていても、出力画像Ｄ３００の画質が悪化することがない。

本実施の形態による画像処理装置も、実施の形態Ａ１による画像処理装置と同様、画像表示装置の一部として用いることが出来る。例えば図１０に示される画像表示装置における入力画像処理部Ｕ１の内部に、実施の形態Ａ１の画像処理装置の代わりに、本実施の形態による画像処理装置を備えることとしても良い。

本実施の形態による画像処理装置も、その主旨を逸脱しない範囲で様々な変形例を考えることが出来る。まず、実施の形態Ａ１及びＡ２について説明したのと同様の変形を加えることができる。

また、図２３の周期性検出部３３１から出力される周期性検出結果Ｄ３３１や図２４の比較部３３１Ｂから出力される輝度変化量比較結果Ｄ３３１Ｂに対して孤立点除去処理を行って、周期性のある箇所の検出精度を高めることが出来る。孤立点除去処理としては例えばメディアンフィルタや、収縮・膨張処理を組み合わせたモルフォロジー演算などを用いることが出来る。

また、孤立点除去処理を周期性検出結果Ｄ３３１に対して行うのではなく、周期性確率Ｄ３３２に対して行っても上記と同様の効果が得られる。

また、周期性のある箇所の検出方法は上記の例に留まらず、式（３６）や式（３７）に示した変化量以外の画素値の差分を用いてもよい。例えば水平方向輝度変化量Ｄ３３１Ａ１として水平方向に関する画素値の二次微分の絶対値を計算し、垂直方向輝度変化量Ｄ３３１Ａ２として垂直方向に関する画素値の二次微分の絶対値を計算してもよい。また、画素値の差分を計算する方向は水平方向、垂直方向に限られず、少なくとも異なる２種類の方向について計算すればよい。この場合、例えば、少なくとも異なる２種類の方向について計算した差分（あるいは差分の絶対値）の最大値と最小値の差がある閾値以上の値であれば周期的な模様があると判断することが出来る。さらに、周期的な模様のある領域を検出できる処理であれば、上記以外の既知の方法を用いてもよい。例えば、ガボールフィルターを用いて、周期的な模様が含まれるかを判断してもよい。他にも、入力画像Ｄ１あるいはエッジ強調拡大画像Ｄ１００をいくつかの領域に分割し、その領域ごとにフーリエ変換等を用いて周波数解析をし、特定の周波数の信号が多く含まれている場合、周期的な模様があると判断してもよい。

また、補正係数Ｆ３３０による差分拡散量Ｄ３０２の補正も上記の例に限られず、周期的な模様のある領域で、差分拡散量Ｄ３０２の値を小さな値に補正できるものならよい。

よって補正係数Ｆ３３０は、周期性判定結果Ｄ３３０に対し、単調に減少するものでなくてもよく、例えば周期性判定結果Ｄ３３０がある閾値より大きな値をとる範囲の少なくとも一部の区間において、１未満の値（あるいは差分拡散量Ｄ３０２の大きさを小さく補正できる値）になればよい。

また、差分拡散量Ｄ３０２を補正するための演算は、補正係数Ｆ３３０を用いた乗算に限定されない。例えば、周期性判定結果Ｄ３３０の値が大きくなるほど大きくなる補正値を差分拡散量Ｄ３０２から引いた値を、補正拡散量Ｄ４００としてもよいし、あるいは、周期性判定結果Ｄ３３０がある閾値より大きな値をとる範囲の少なくとも一部の区間において、差分拡散量Ｄ３０２の大きさより補正拡散量Ｄ４００の大きさが小さくなる処理をしてもよい。

このように差分拡散量Ｄ３０２に対する周期性判定結果Ｄ３３０による補正は、周期的な模様のある領域で、補正拡散量Ｄ４００の大きさを抑制（あるいは小さく）できるものであればよい。

なお、補正係数Ｆ３３０で補正拡散量Ｄ４００の値を変化させる処理は、入力画像Ｄ０、従ってエッジ強調拡大画像Ｄ１００に周期的な模様が含まれる箇所を周期性検出部３３１で検出し、入力画像Ｄ０をエッジ強調拡大画像Ｄ１００に重ねた場合に、周期性検出部３３１で周期的な模様を含むと判定された箇所の近傍となる領域では、差分拡散量Ｄ４００の値が大きくならないよう抑制する処理ともいえる。

また、補正係数Ｆ３３０で補正拡散量Ｄ４００の値を変化させる処理は、周期性判定部３３０でエッジ強調拡大画像Ｄ２００に周期的な模様が含まれる箇所を検出し、周期的な模様が含まれると判定された箇所では、差分拡散量Ｄ４００の値が大きくならないよう抑制する処理ともいえる。

実施の形態Ｂ２．
実施の形態Ｂ２による画像処理装置は、実施の形態Ａ１による画像処理装置と同様、図１に示す構成で実現できる。ただし、高解像度画像補正部３００の構成及び動作が、実施の形態Ａ１による画像処理装置とは異なる。実施の形態Ｂ２による画像処理装置も、実施の形態Ａ１による画像処理装置と同様、画像表示装置の一部として用いることが出来る。

図２５は実施の形態Ｂ２による高解像度画像補正部３００の構成例を示す図である。
図２５の高解像度画像補正部３００は、拡散係数計算部３０１、拡散量計算部３０２、エッジ判定部３１０、テキスチャ判定部３２０、周期性判定部３３０、拡散量補正部４００ｃ、及び減算部３０３ｂを備える。

拡散係数計算部３０１、及び拡散量計算部３０２としては、実施の形態Ａ１、Ａ２、或いはＢ１で説明したものと同じものを用い得る。減算部３０３ｂとしては、実施の形態Ａ２、或いはＢ１で説明したものと同じものを用い得る。
周期性判定部３３０としては、実施の形態Ｂ１で説明したものと同じものを用い得る。

エッジ判定部３１０、及びテキスチャ判定部３２０としては、実施の形態Ａ２で説明したものと同じものを用い得る。

拡散量補正部４００ｃは、実施の形態Ｂ１の拡散量保衛部４００ｂと同様のものであるが、差分拡散量Ｄ３０２及び周期性判定結果Ｄ３３０のほか、エッジ判定結果Ｄ３１０及びテキスチャ判定結果Ｄ３２０にも基づいて補正拡散量Ｄ４００を求める。即ち、拡散量補正部４００ｃは、実施の形態Ｂ１で説明した、周期性判定結果Ｄ３３０によって変化する補正係数Ｆ３３０に加え、エッジ判定結果Ｄ３１０によって変化する補正係数Ｆ３１０、テキスチャ判定結果Ｄ３２０によって変化する補正係数Ｆ３２０によっても差分拡散量Ｄ３２０の値を補正する。
補正係数Ｆ３１０及びＦ３２０は、実施の形態Ａ２と同様に求められる。補正係数Ｆ３３０は、実施の形態Ｂ１と同様に求められる。

拡散量補正部４００ｃは、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００の各々について、差分拡散量Ｄ３０２を補正係数Ｆ３１０、Ｆ３２０、Ｆ３３０の値に応じて補正した差分拡散量Ｄ４００を求める。この補正は、例えば、補正係数Ｆ３１０、Ｆ３２０、Ｆ３３０を差分拡散量Ｄ３０２に乗じることで行われる。画素Ｐ１００（ｘ，ｙ）に対して計算される差分拡散量Ｄ４００をＤ４００（ｘ，ｙ）とすると、
Ｄ４００（ｘ，ｙ）
＝Ｆ３１０（ｘ，ｙ）×Ｆ３２０（ｘ，ｙ）×Ｆ３３０（ｘ，ｙ）×Ｄ３０２（ｘ，ｙ）
と表される。

減算部３０３ｂは、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００（ｘ，ｙ）の画素値Ｄ１００（ｘ，ｙ）から、画素Ｐ１００（ｘ，ｙ）に対して計算した補正拡散量Ｄ４００（ｘ，ｙ）を引いた値を各画素の画素値とする画像を差分補正画像Ｄ３０３として出力する。すなわち、差分補正画像Ｄ３０３の画素値Ｄ３０３（ｘ，ｙ）は
Ｄ３０３（ｘ，ｙ）＝Ｄ１００（ｘ，ｙ）−Ｄ４００（ｘ，ｙ）
となる。
高解像度画像補正部３００は、差分補正画像Ｄ３０３を出力画像Ｄ３００として出力する。

本実施の形態による拡散量補正部４００ｃは、補正係数Ｆ３３０に加え、補正係数Ｆ３１０、Ｆ３２０によっても、差分拡散量Ｄ３０２を補正する程度が変化する点で、実施の形態Ｂ１と異なる。

特に、補正係数Ｆ３１０に応じて差分拡散量Ｄ４００を変化させることで、画素Ｐ１００がエッジ領域に含まれている確率が高い場合、差分データＤ２００の拡散を抑制することとしている。このようにすることで、エッジ強調画像拡大部１００でのエッジ強調の効果を最大限残しつつ、テキスチャ領域での解像感向上を図ることが出来る。

また、補正係数Ｆ３２０に応じて差分拡散量Ｄ４００を変化させることで、画素Ｐ１００がテキスチャ領域に含まれている確率が高い場合、差分データＤ２００の拡散を行う（妨げない）こととしている。このようにすることでも、エッジ領域に代表されるテキスチャ領域以外の箇所で差分データＤ２００の拡散を抑制することが可能なため、エッジ強調画像拡大部１００でのエッジ強調の効果を残しつつ、テキスチャ領域での解像感向上を図ることが出来る。

よって本実施の形態の画像処理装置では、エッジ強調画像拡大部１００でのエッジ強調の効果を残しつつ、テキスチャ領域での解像感向上を図ることが出来る。

なお、補正係数Ｆ３１０、Ｆ３２０の少なくとも一つを用いれば、エッジ強調画像拡大部１００でのエッジ強調の効果を残しつつ、テキスチャ領域での解像感向上を図ることが出来る。

本実施の形態による画像処理装置も、その主旨を逸脱しない範囲で様々な変形例を考えることが出来る。特に、実施の形態Ａ１、Ａ２及びＢ１について説明したのと同様の変形を加えることができる。

実施の形態Ｂ３．
実施の形態Ｂ１では、本発明をハードウエアにより実現するものとして説明したが、実施の形態Ｂ１による画像処理と同じ処理をソフトウエアにより実現することも可能である。実施の形態Ｂ３による画像処理方法も実施の形態Ａ３による画像処理方法と同様、図１５の画像処理装置で実施可能であり、画像表示装置の一部として使用できる。
実施の形態Ｂ３による画像処理方法は、実施の形態Ａ３による画像処理方法と同様、図１６に示すフローで実現できる。ただし、高解像度画像補正ステップＳＴ３００よる処理の内容が、実施の形態Ａ３による画像処理方法とは異なる。

図２６は、実施の形態Ｂ３による高解像度画像補正ステップＳＴ３００の処理フローを表す図であり、図２６に示される高解像度画像補正ステップＳＴ３００は、拡散係数計算ステップＳＴ３０１、拡散量計算ステップＳＴ３０２、周期性判定ステップＳＴ３３０、拡散量補正ステップＳＴ４００ｂ、及び減算ステップＳＴ３０３ｂを備える。

拡散係数計算ステップＳＴ３０１、及び拡散量計算ステップＳＴ３０２の動作は実施の形態Ａ３と同じでよい。

周期性判定ステップＳＴ３３０は、周期性検出ステップＳＴ３３１、及び周期性確率計算ステップＳＴ３３２を備える。

図２７は図２６の周期性検出ステップＳＴ３３１の処理フローを表す図であり、周期性検出ステップＳＴ３３１は、水平方向輝度変化量計算ステップＳＴ３３１Ａ１、垂直方向輝度変化量計算ステップＳＴ３３１Ａ２、比較ステップＳＴ３３１Ｂ、及び加算ステップＳＴ３３１Ｃを備える。

水平方向輝度変化量計算ステップＳＴ３３１Ａ１は、実施の形態Ｂ１の水平方向輝度変化量計算部３３１Ａ１と同様の処理をする。
垂直方向輝度変化量計算ステップＳＴ３３１Ａ２は、実施の形態Ｂ１の垂直方向輝度変化量計算部３３１Ａ２と同様の処理をする。
比較ステップＳＴ３３１Ｂは、実施の形態Ｂ１の比較部３３１Ｂと同様の処理をする。
加算ステップＳＴ３３１Ｃは、実施の形態Ｂ１の加算部３３１Ｃと同様の処理をする。
周期性検出ステップＳＴ３３１の動作は以上の通りであり、その処理内容は実施の形態Ｂ１の周期性検出部３３１と同等である。

図２６の周期性確率計算ステップＳＴ３３２は、実施の形態Ｂ１の周期性確率計算部３３２と同様の処理をする。

周期性判定ステップＳＴ３３０の動作は以上の通りであり、その処理内容は実施の形態Ｂ１の周期性判定部３３０と同等である。

拡散量補正ステップＳＴ４００ｂで行う処理は、実施の形態Ｂ１に記載した拡散量補正部４００ｂで行う処理と同等である。

減算ステップＳＴ３０３ｂで行う処理は、実施の形態Ｂ１に記載した減算部３０３ｂで行う処理と同じである。

以上が実施の形態Ｂ３による画像処理方法による処理であり、その内容は実施の形態Ｂ１による画像処理装置と同等である。よって実施の形態Ｂ３による画像処理方法は実施の形態Ｂ１による画像処理装置と同じ効果を持つ。

実施の形態Ｂ１による画像処理装置に適用可能な変形例は実施の形態Ｂ３による画像処理方法にも適用可能である。

実施の形態Ｂ４．
実施の形態Ｂ２では、本発明をハードウエアにより実現するものとして説明したが、実施の形態Ｂ２による画像処理装置と同じ処理をソフトウエアにより実現することも可能である。実施の形態Ｂ４による画像処理方法も実施の形態Ｂ３による画像処理方法と同様、図１５の画像処理装置で実施可能であり、画像表示装置の一部として使用できる。

実施の形態Ｂ４による画像処理方法は、実施の形態Ｂ３による画像処理方法と同様、図１６に示すフローで実現できる。ただし、高解像度画像補正ステップＳＴ３００による処理の内容が、実施の形態Ｂ３による画像処理方法とは異なる。

図２８は、実施の形態Ｂ４による高解像度画像補正ステップＳＴ３００の処理フローを表す図であり、図２８に示される高解像度画像補正ステップＳＴ３００は、拡散係数計算ステップＳＴ３０１、拡散量計算ステップＳＴ３０２、エッジ判定ステップＳＴ３１０、テキスチャ判定ステップＳＴ３２０、周期性判定ステップＳＴ３３０、拡散量補正ステップＳＴ４００ｃ、及び減算ステップＳＴ３０３ｂを備える。

拡散係数計算ステップＳＴ３０１、拡散量計算ステップＳＴ３０２、及び周期性判定ステップＳＴ３３０の動作は実施の形態Ｂ３と同じでよい。

エッジ判定ステップＳＴ３１０、及びテキスチャ判定ステップＳＴ３２０の動作は実施の形態Ａ４と同じでよい。

拡散量補正ステップＳＴ４００ｃは、実施の形態Ｂ２の拡散量補正部４００ｃと同様の処理をする。
減算ステップＳＴ３０３ｂは、実施の形態Ｂ２の減算部３０３ｂと同様の処理をする。

以上が実施の形態Ｂ４による画像処理方法による処理であり、その処理内容は実施の形態Ｂ２による画像処理装置と同等である。よって実施の形態Ｂ４による画像処理方法は実施の形態Ｂ２による画像処理装置と同じ効果を持つ。

実施の形態Ｂ２による画像処理装置に適用可能な変形例は実施の形態Ｂ４による画像処理方法にも適用可能である。

実施の形態Ｃ１．
実施の形態Ｃ１による画像処理装置は、実施の形態Ａ１による画像処理装置と同様、図１に示す構成で実現できる。ただし、高解像度画像補正部３００の構成及び動作が、実施の形態Ａ１による画像処理装置とは異なる。

図２９は実施の形態Ｃ１における高解像度画像補正部３００の構成例を示す図である。
図２９の高解像度画像補正部３００は、拡散係数計算部３０１、拡散量計算部３０２、輝度情報生成部３４０、拡散量補正部４００ｄ、及び減算部３０３ｂを備える。

拡散係数計算部３０１、及び拡散量計算部３０２としては、実施の形態Ａ１、Ａ２、Ｂ１、或いはＢ２で説明したものと同じものを用い得る。減算部３０３ｂとしては、実施の形態Ａ２、Ｂ１、或いはＢ２で説明したものと同じものを用い得る。

輝度情報生成部３４０は、エッジ強調拡大画像Ｄ１００中の、各画素について、当該画素が小さな画素値を持った画素が多く集まる領域内に位置するものであるかどうかを示す輝度情報Ｄ３４０を生成する。
輝度情報生成部３４０は、例えば、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００の各々について、その画素を含む所定の領域、例えば当該画素の近傍領域内にある画素Ｐ１００の画素値Ｄ１００の平均値ＡＶＥ１００を計算し、輝度情報Ｄ３４０として出力する。なお、平均値は単純平均であってもよいし、重み付け平均であってもよい。以下、画素Ｐ１００（ｘ，ｙ）に対して計算される輝度情報Ｄ３４０をＤ３４０（ｘ，ｙ）で表す。

拡散量補正部４００ｄは、実施の形態Ａ２の拡散量補正部４００と同様のものであるが、差分拡散量Ｄ３０２と輝度情報Ｄ３４０に基づいて補正拡散量Ｄ４００を求める。
拡散量補正部４００ｄは、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００の各々について、補正係数Ｆ３４０を求める。以下、画素Ｐ１００（ｘ，ｙ）に対して計算される補正係数Ｆ３４０を補正係数Ｆ３４０（ｘ，ｙ）で表す。補正係数Ｆ３４０（ｘ，ｙ）は輝度情報Ｄ３４０（ｘ，ｙ）の値に応じて求められる。例えば、図３０（ａ）に示すように、補正係数Ｆ３４０（ｘ，ｙ）は輝度情報Ｄ３４０（ｘ，ｙ）の値の減少に対して単調に減少するよう求められる。

拡散量補正部４００ｄは、また、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００の各々について、差分拡散量Ｄ３０２を補正係数Ｆ３４０の値に応じて補正した差分拡散量（補正拡散量）Ｄ４００を求める。この補正は、例えば、補正係数Ｆ３４０を差分拡散量Ｄ３０２に乗じることで行われる。画素Ｐ１００（ｘ，ｙ）に対して計算される補正拡散量Ｄ４００をＤ４００（ｘ，ｙ）とすると、

と表される。

減算部３０３ｂは、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００（ｘ，ｙ）の画素値Ｄ１００（ｘ，ｙ）から、画素Ｐ１００（ｘ，ｙ）に対して計算した補正拡散量Ｄ４００（ｘ，ｙ）を引いた値を各画素の画素値とする画像を差分補正画像Ｄ３０３として出力する。差分補正画像Ｄ３０３を構成する画素のうち、座標（ｘ，ｙ）に位置するものをＰ３０３（ｘ，ｙ）、画素Ｐ３０３（ｘ，ｙ）の画素値をＤ３０３（ｘ，ｙ）とすると、
Ｄ３０３（ｘ，ｙ）＝Ｄ１００（ｘ，ｙ）−Ｄ４００（ｘ，ｙ）
となる
高解像度画像補正部３００は、差分補正画像Ｄ３０３を出力画像Ｄ３００として出力する。

以下、本実施の形態による画像処理装置の効果について述べる。
実施の形態Ａ１に関して述べたように、エッジ強調拡大画像Ｄ１００から差分拡散量Ｄ３０２を引くことで、テキスチャ領域における解像感を高めることが可能である。しかし、入力画像Ｄ０あるいはエッジ強調拡大画像Ｄ１００に小さい画素値を持った画素が集まる領域（以下、低輝度領域と呼ぶこともある）があった場合、画質が悪化することがある。

低輝度領域に細かい画素値（あるいは輝度）の変化が現れると、Ｓ／Ｎが悪化あるいはノイズが増加したように感じられ、画質が悪化したように感じることがある。

そこで本実施の形態による画像処理装置では、輝度情報生成部３４０において、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００の各々について、その画素を含む所定の領域、例えば当該画素の近傍領域内にある画素Ｐ１００が持つ画素値Ｄ１００の平均値ＡＶＥ１００を表す輝度情報Ｄ３４０を求め、式（４２）に示すように輝度情報Ｄ３４０の値に応じて差分拡散量Ｄ３０２の値を補正することで、低輝度領域において補正拡散量Ｄ４００の大きさが小さくなるよう（あるいは補正拡散量Ｄ４００の大きさが抑制されるよう）にした。

よって本実施の形態による画像処理装置では、低輝度領域において出力画像Ｄ３００の画質が悪化することがない。

なお、低輝度領域において、差分拡散量Ｄ３０２の値を補正するために用いる輝度情報Ｄ３４０あるいは補正係数Ｆ３４０は上記の例に限定されない。

また、補正係数Ｆ３４０による差分拡散量Ｄ３０２の補正も上記の例に留まらず、低輝度領域で、差分拡散量Ｄ３０２の値を小さな値に補正できるものであればよい。

よって補正係数Ｆ３４０は、輝度情報Ｄ３４０に対し、連続的に変化するものでなくてもよく、例えば図３０（ｂ）に示すように、輝度情報Ｄ３４０がある閾値（低輝度領域検出用閾値)Ｔｈ３４０Ｌｏより小さな値をとる少なくとも一部の区間において、１未満の値（あるいは差分拡散量Ｄ３０２の大きさを小さく補正できる値）になるものであればよい。

また、差分拡散量Ｄ３０２を補正するための演算は、補正係数Ｆ３４０を用いた乗算に限定されず、輝度情報Ｄ３４０がある閾値（低輝度領域検出用閾値)Ｔｈ３４０Ｌｏより小さな値をとる少なくとも一部の区間において、差分拡散量Ｄ３０２の大きさより補正拡散量Ｄ４００の大きさが小さくなる処理であればよい。

また、輝度情報Ｄ３４０も上記の例に留まらず、低輝度領域を検出できるものであればよい。
例えば、画素値の平均値ＡＶＥ１００自体ではなく、画素値の最大階調値、即ち階調範囲の最大値から上記平均値ＡＶＥ１００を減算した値を輝度情報Ｄ３４０とし、補正係数Ｆ３４０を輝度情報Ｄ３４０の増加とともに減少するものとしても良い。

また、輝度情報生成部３４０で、画素Ｐ１００（ｘ，ｙ）を含む所定の領域、例えば当該画素の近傍領域内で画素値が所定の閾値（低輝度画素検出用閾値）Ｔｈ１００Ｌｏより小さな値となる画素の数をカウントしたカウント値Ｄ３４０Ｌｏ（ｘ，ｙ）を輝度情報Ｄ３４０としてもよい。このためには、例えば、図３１に示すように、輝度情報生成部３４０として、低輝度画素検出部３４０１と、低輝度画素計数部３４０２とを有するものを用い、低輝度画素検出部３４０１で画素値Ｄ１００が閾値Ｔｈ１００Ｌｏよりも小さい画素を検出し、検出結果（検出された画素）Ｄ３４０１を低輝度画素計数部３４０２でカウントし、カウント値Ｄ３４０Ｌｏを輝度情報Ｄ３４０として出力すれば良い。

この場合、差分拡散量Ｄ３０２を補正するための演算は、輝度情報Ｄ３４０がある閾値（輝度情報閾値）Ｔｎ３４０Ｌｏより大きな値をとる少なくとも一部の区間において、差分拡散量Ｄ３０２の大きさより補正拡散量Ｄ４００の大きさが小さくなる処理であればよい。
そのため、例えば、図３０（ｃ）に示すように、上記閾値（輝度情報閾値）Ｔｎ３４０Ｌｏよりも大きな範囲において、輝度情報Ｄ３４０の増加とともに、減少する補正係数Ｆ３４０を生成し、該補正係数Ｆ３４０を差分拡散量Ｄ３０２に乗算して補正拡散量Ｄ４００を求めることとすれば良い。

また、画素数の違いを除けば入力画像Ｄ０とエッジ強調拡大画像Ｄ１００は同じ画像であるので、輝度情報Ｄ３４０を入力画像Ｄ０から求めてもよい。

例えば、画素Ｐ１００の各々について、画素Ｐ１００を含む所定の領域内に存在する対応点Ｔと同じ位置にある画素Ｐ０の画素値の局所的な平均値ＡＶＥ０を計算し、輝度情報Ｄ３４０としてもよい。

また、カウント値Ｄ３４０Ｌｏ（ｘ，ｙ）として、画素Ｐ１００（ｘ，ｙ）を含む所定の領域、例えば当該画素の近傍領域内に存在する対応点Ｔと同じ位置にある画素Ｐ０のうち、その画素値が所定の閾値（低輝度画素検出用閾値）Ｔｈ０Ｌｏ（図３１に括弧書きで示す）より小さな値となる画素数をカウントした値を用いてもよい。

なお、上述の処理は、輝度情報生成部３４０でエッジ強調拡大画像Ｄ１００あるいは入力画像Ｄ０に局所的に画素値（あるいは輝度値）の小さい画素が多く集まる領域を検出し、該当領域では、補正拡散量Ｄ４００の値が大きくならないよう抑制する、あるいは差分データＤ２００を打ち消す補正を抑制する処理ともいえる。

また、上記の説明では輝度情報Ｄ３４０を用いて低輝度領域での画質悪化を抑制する処理について述べたが、輝度情報Ｄ３４０を用いて画質の悪化を抑制できるのは低輝度領域に限定されない。

以下の説明では、入力画像Ｄ０に字幕などの文字情報が付加されている場合を考える。これらの文字情報に対して細かい画素値の変化を加えると文字の形が崩れ、文字情報の視認性あるいは可読性が低下することがある。

以下、画素Ｐ１００（ｘ，ｙ）を含む所定の領域で画素値が所定の閾値（高輝度画素検出用閾値）Ｔｈ１００Ｈｉより大きな値となる画素の数をカウントしたカウント値Ｄ３４０Ｈｉ（ｘ，ｙ）について述べる。一般的に字幕などの文字情報は視認性を高めるために輝度値の高い画素（あるいは大きな画素値を持った画素）を用いて表示する。よって文字情報が付加されている領域ではカウント値Ｄ３４０Ｈｉ（ｘ，ｙ）はその他の領域に比べ大きな値となる。

つまり、カウント値Ｄ３４０Ｈｉ（ｘ，ｙ）を輝度情報Ｄ３４０の一部として用い、カウント値Ｄ３４０Ｈｉ（ｘ，ｙ）が所定の閾値（高輝度画素数検出用閾値）Ｔｎ３４０Ｈｉより大きな値をとる少なくとも一部の区間において、差分拡散量Ｄ３０２の大きさより補正拡散量Ｄ４００の大きさが小さくなるよう補正すれば、文字情報の視認性低下を抑制することが出来る。

このような処理のためには、例えば図３２に示すように、輝度情報生成部３４０として、高輝度画素検出部３４０３と、高輝度画素計数部３４０４とを有するものを用い、高輝度画素検出部３４０３でエッジ強調拡大画像の画素値Ｄ１００が閾値Ｔｈ１００Ｈｉよりも大きい画素を検出し、検出結果（検出された画素）を高輝度画素計数部３４０４でカウントし、カウント値Ｄ３４０Ｈｉを輝度情報Ｄ３４０として出力すれば良い。

なお、カウント値Ｄ３４０Ｈｉ（ｘ，ｙ）として用いることが出来るのは上記の例に限定されず、大きな画素値を持った画素が多く現れる領域を検出できるものであればよい。

例えばカウント値Ｄ３４０Ｈｉ（ｘ，ｙ）を入力画像Ｄ０から求めてもよく、画素Ｐ１００（ｘ，ｙ）を含む所定の領域、例えば当該画素の近傍領域内に存在する対応点Ｔと同じ位置にある画素Ｐ０のうち、その画素値が所定の閾値（高輝度画素数検出用閾値）Ｔｈ０Ｈｉ（図３２に括弧書きで示す）より大きな値となる画素数をカウントした値をカウント値Ｄ３４０Ｈｉ（ｘ，ｙ）としてもよい。

他にも平均値ＡＶＥ１００や平均値ＡＶＥ０を輝度情報Ｄ３４０として用いて文字情報の視認性が低下しないようにすることも出来る。先に述べたように、文字情報は大きな画素値を持った画素を用いて表示するので、文字情報が表示されている部分では、平均値ＡＶＥ１００や平均値ＡＶＥ０の値はある程度大きな値となる。よってこれらの値を輝度情報Ｄ３４０として用いる場合、輝度情報Ｄ３４０が所定の閾値（高輝度領域検出用閾値）Ｔｈ３４０Ｈｉより大きな値となる少なくとも一部の区間において、差分拡散量Ｄ３０２の大きさより補正拡散量Ｄ４００の大きさが小さくなるよう補正すればよい。

そのためには、例えば、図３０（ｄ）に示すように、輝度情報Ｄ３４０が上記の所定の閾値（高輝度領域検出用閾値）Ｔｈ３４０Ｈｉよりも大きい領域で、輝度情報Ｄ３４０の増加に対して補正係数Ｆ３４０が減少する関係を持たせれば良い。

なお、低輝度領域での画質の悪化と文字情報の視認性低下の両方を防止することも可能である。例えば輝度情報Ｄ３４０として平均値ＡＶＥ１００や平均値ＡＶＥ０を用いる場合、輝度情報Ｄ３４０がある閾値（低輝度領域検出用閾値）Ｔｈ３４０Ｌｏより小さな値となる少なくとも一部の区間および別の閾値（高輝度領域検出用閾値）Ｔｈ３４０Ｈｉ（＞Ｔｈ３４０Ｌｏ）より大きな値となる少なくとも一部の区間において、差分拡散量Ｄ３０２の大きさより補正拡散量Ｄ４００の大きさが小さくなるよう処理すればよい。このためには、例えば図３０（ｅ）に示すように、補正係数Ｆ３４０を、例えば輝度情報Ｄ３４０の値が低輝度領域検出用閾値Ｔｈ３４０Ｌｏより小さい範囲で、輝度情報Ｄ３４０の減少とともに減少させ、輝度情報Ｄ３４０の値が高輝度領域検出用閾値Ｔｈ３４０Ｈｉより大きい範囲で、輝度情報Ｄ３４０の増加とともに減少させれば良い。

代わりに、輝度情報Ｄ３４０としてカウント値Ｄ３４０Ｌｏ（ｘ，ｙ）とカウント値Ｄ３４０Ｈｉ（ｘ，ｙ）を用い、カウント値Ｄ３４０Ｌｏ（ｘ，ｙ）がある閾値（低輝度画素数検出用閾値）Ｔｎ３４０Ｌｏより大きな値となる少なくとも一部の区間およびカウント値Ｄ３４０Ｈｉ（ｘ，ｙ）が別の閾値（高輝度画素数検出用閾値）Ｔｎ３４０Ｈｉより大きな値となる少なくとも一部の区間において、差分拡散量Ｄ３０２の大きさより補正拡散量Ｄ４００の大きさが小さくなるよう処理すればよい。

このためには、例えば、図３３に示すように、輝度情報生成部３４０として、図３１と同様の低輝度画素検出部３４０１及び低輝度画素計数部３４０２、並びに図３２と同様の高輝度画素検出部３４０３及び高輝度画素計数部３４０４のほかに、第１パラメータ生成部３４０５、第２パラメータ生成部３４０６、及び合成部３４０７を有するものを用い、第１パラメータ生成部３４０５が、カウント値Ｄ３４０Ｌｏが低輝度画素数検出用閾値Ｔｎ３４０Ｌｏ以下では１で、カウント値Ｄ３４０Ｌｏが低輝度画素数検出用閾値Ｔｎ３４０Ｌｏより大きい範囲で、カウント値Ｄ３４０Ｌｏの増加とともに減少する第１パラメータＤ３４０５を生成し、第２パラメータ生成部３４０６が、カウント値Ｄ３４０Ｈｉが高輝度画素数検出用閾値Ｔｎ３４０Ｈｉ以下の範囲では１で、カウント値Ｄ３４０Ｈｉが高輝度画素数検出用閾値Ｔｎ３４０Ｈｉより大きい範囲で、カウント値Ｄ３４０Ｈｉの増加とともに減少する第２パラメータＤ３４０６を生成し、合成部３４０７が、第１パラメータＤ３４０５と第２パラメータＤ３４０６のうちのより小さな値のものを選択する処理、又は第１パラメータＤ３４０５と第２パラメータＤ３４０６を乗算する処理により補正係数Ｆ３４０を求めることとすれば良い。

なお、上述の処理は、輝度情報生成部３４０でエッジ強調拡大画像Ｄ１００あるいは入力画像Ｄ０に局所的に画素値（あるいは輝度値）の大きい画素が多く集まる領域を検出し、該当領域では、補正拡散量Ｄ４００の値が大きくならないよう抑制する、あるいは差分データＤ２００を打ち消す補正を抑制する処理ともいえる。

以上のように、実施の形態Ｃ１の画像処理装置では、実施の形態Ａ１と同様に、テキスチャ領域において、様々な画素値をもった画素が作られるため、テキスチャ領域においても解像感が高まるのみならず、局所的に輝度の低い領域でＳ／Ｎが悪化したり、文字情報が付加されていた場合に、文字の視認性が下がることがない。

本実施の形態による画像処理装置も、実施の形態Ａ１による画像処理装置と同様、画像表示装置の一部として用いることが出来る。例えば図１０に示される画像表示措置における入力画像処理部Ｕ１の内部に、実施の形態Ａ１の画像処理装置の代わりに、本実施の形態による画像処理装置を備えることとしても良い。

本実施の形態による画像処理装置も、その主旨を逸脱しない範囲で様々な変形例を考えることが出来る。
特に、実施の形態Ａ１、Ａ２、Ｂ１、及びＢ２について説明したのと同様の変形を加えることができる。

実施の形態Ｃ２．
実施の形態Ｃ２による画像処理装置は、実施の形態Ｃ１による画像処理装置と同様、図１に示す構成で実現できる。ただし、高解像度画像補正部３００の構成及び動作が、実施の形態Ｃ１による画像処理装置とは異なる。実施の形態Ｃ２による画像処理装置も、実施の形態Ｃ１による画像処理装置と同様、画像表示装置の一部として用いることが出来る。

図３４は実施の形態Ｃ２による高解像度画像補正部３００の構成例を示す図である。
図３４の高解像度画像補正部３００は、拡散係数計算部３０１、拡散量計算部３０２、エッジ判定部３１０、テキスチャ判定部３２０、輝度情報生成部３４０、拡散量補正部４００ｅ、及び減算部３０３ｂを備える。

拡散係数計算部３０１、及び拡散量計算部３０２としては、実施の形態Ａ１、Ａ２、Ｂ１、Ｂ２、或いはＣ１で説明したものと同じものを用い得る。減算部３０３ｂとしては、実施の形態Ａ２、Ｂ１、Ｂ２、或いはＣ１で説明したものと同じものを用い得る。輝度情報生成部３４０としては、実施の形態Ｃ１で説明したものと同じものを用い得る。

エッジ判定部３１０、及びテキスチャ判定部３２０としては、実施の形態Ａ２、或いはＢ２で説明したものと同じものを用い得る。

拡散量補正部４００ｅは、実施の形態Ｃ１の拡散量補正部４００ｄと同様のものであるが、差分拡散量Ｄ３０２及び輝度情報Ｄ３４０のほか、エッジ判定結果Ｄ３１０及びテキスチャ判定結果Ｄ３２０にも基づいて補正拡散量Ｄ４００を求める。即ち、拡散量補正部４００ｅは、実施の形態Ｃ１で説明した、輝度情報Ｄ３４０によって変化する補正係数Ｆ３４０に加え、エッジ判定結果Ｄ３１０によって変化する補正係数Ｆ３１０、テキスチャ判定結果Ｄ３２０によって変化する補正係数Ｆ３２０によっても差分拡散量Ｄ３０２の値を補正する。
補正係数Ｆ３１０及びＦ３２０は、実施の形態Ａ２と同様に求められる。補正係数Ｆ３４０は、実施の形態Ｃ１と同様に求められる。

拡散量補正部４００ｅは、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００の各々について、差分拡散量Ｄ３０２を補正係数Ｆ３１０、Ｆ３２０、Ｆ３４０の値に応じて補正した補正拡散量Ｄ４００を求める。この補正は、例えば、補正係数Ｆ３１０、Ｆ３２０、Ｆ３４０を差分拡散量３０２に乗じることで行われる。画素Ｐ１００（ｘ，ｙ）に対して計算される補正拡散量Ｄ４００をＤ４００（ｘ，ｙ）とすると、
Ｄ４００（ｘ，ｙ）
＝Ｆ３１０（ｘ，ｙ）×Ｆ３２０（ｘ，ｙ）×Ｆ３４０×Ｄ３０２（ｘ，ｙ）
と表される。

減算部３０３ｂは、エッジ強調拡大画像Ｄ１００を構成する画素Ｐ１００（ｘ，ｙ）の画素値Ｄ１００（ｘ，ｙ）から、画素Ｐ１００（ｘ，ｙ）に対して計算した補正拡散量Ｄ４００（ｘ，ｙ）を引いた値を各画素の画素値とする画像を差分補正画像Ｄ３０３として出力する。すなわち、差分補正画像Ｄ３０３の画素値Ｄ３０３（ｘ，ｙ）は
Ｄ３０３（ｘ，ｙ）＝Ｄ１００（ｘ，ｙ）−Ｄ４００（ｘ，ｙ）
となる。
高解像度画像補正部３００は、差分補正画像Ｄ３０３を出力画像Ｄ３００として出力する。

本実施の形態による拡散量補正部４００ｅは、補正係数Ｆ３４０に加え、補正係数Ｆ３１０、Ｆ３２０によっても、差分拡散量Ｄ３０２を補正する程度が変化する点で、実施の形態Ｃ１と異なる。

特に、補正係数Ｆ３１０に応じて補正拡散量Ｄ４００を変化させることで、画素Ｐ１００がエッジ領域に含まれている確率が高い場合、差分データＤ２００の拡散を抑制することとしている。このようにすることで、エッジ強調画像拡大部１００でのエッジ強調の効果を最大限残しつつ、テキスチャ領域での解像感向上を図ることが出来る。

また、補正係数Ｆ３２０に応じて補正拡散量Ｄ４００を変化させることで、画素Ｐ１００がテキスチャ領域に含まれている確率が高い場合、差分データＤ２００の拡散を行う（妨げない）こととしている。このようにすることでも、エッジ領域に代表されるテキスチャ領域以外の箇所で差分データＤ２００の拡散を抑制することが可能なため、エッジ強調画像拡大部１００でのエッジ強調の効果を残しつつ、テキスチャ領域での解像感向上を図ることが出来る。

よって本実施の形態の画像処理装置では、エッジ強調画像拡大部１００でのエッジ強調の効果を残しつつ、テキスチャ領域での解像感向上を図ることが出来る。

なお、補正係数Ｆ３１０、Ｆ３２０の少なくとも一つを用いれば、エッジ強調画像拡大部１００でのエッジ強調の効果を残しつつ、テキスチャ領域での解像感向上を図ることが出来る。

本実施の形態による画像処理装置も、その主旨を逸脱しない範囲で様々な変形例を考えることが出来る。特に、実施の形態Ａ１、Ａ２、Ｂ１、Ｂ２及びＣ１に関して説明したのと同様の変形を加えることができる。

実施の形態Ｃ３．
実施の形態Ｃ１では、本発明をハードウエアにより実現するものとして説明したが、実施の形態Ｃ１による画像処理と同じ処理をソフトウエアにより実現することも可能である。実施の形態Ｃ３による画像処理方法も実施の形態Ａ３による画像処理方法と同様、図１５の画像処理装置で実施可能であり、画像表示装置の一部として使用できる。
実施の形態Ｃ３による画像処理方法は、実施の形態Ａ３による画像処理方法と同様、図１６に示すフローで実現できる。ただし、高解像度画像補正ステップＳＴ３００よる処理の内容が、実施の形態Ａ３による画像処理方法とは異なる。

図３５は、実施の形態Ｃ３による高解像度画像補正ステップＳＴ３００の処理フローを表す図であり、図３５に示される高解像度画像補正ステップＳＴ３００は、拡散係数計算ステップＳＴ３０１、拡散量計算ステップＳＴ３０２、輝度情報生成ステップＳＴ３４０、拡散量補正ステップＳＴ４００ｄ、及び減算ステップＳＴ３０３ｂを備える。

拡散係数計算ステップＳＴ３０１、及び拡散量計算ステップＳＴ３０２の動作は実施の形態Ａ３と同じでよい。

輝度情報生成ステップＳＴ３４０で行う処理は、実施の形態Ｃ１に記載した輝度情報生成部３４０で行う処理と同じである。

拡散量補正ステップＳＴ４００ｄで行う処理は、実施の形態Ｃ１に記載した拡散量補正部４００ｄで行う処理と同等である。

減算ステップＳＴ３０３ｂで行う処理は、実施の形態Ｃ１に記載した減算部３０３ｂで行う処理と同じである。

以上が実施の形態Ｃ３による画像処理方法による処理であり、その内容は実施の形態Ｃ１による画像処理装置と同等である。よって実施の形態Ｃ３による画像処理方法は実施の形態Ｃ１による画像処理装置と同じ効果を持つ。

実施の形態Ｃ１による画像処理装置に適用可能な変形例は実施の形態Ｃ３による画像処理方法にも適用可能である。

実施の形態Ｃ４．
実施の形態Ｃ２では、本発明をハードウエアにより実現するものとして説明したが、実施の形態Ｃ２による画像処理装置と同じ処理をソフトウエアにより実現することも可能である。実施の形態Ｃ４による画像処理方法も実施の形態Ｃ３による画像処理方法と同様、図１５の画像処理装置で実施可能であり、画像表示装置の一部として使用できる。

実施の形態Ｃ４による画像処理方法は、実施の形態Ｃ３による画像処理方法と同様、図１６に示すフローで実現できる。ただし、高解像度画像補正ステップＳＴ３００による処理の内容が、実施の形態Ｃ３による画像処理方法とは異なる。

図３６は、実施の形態Ｃ４による高解像度画像補正ステップＳＴ３００の処理フローを表す図であり、図３６に示される高解像度画像補正ステップＳＴ３００は、拡散係数計算ステップＳＴ３０１、拡散量計算ステップＳＴ３０２、エッジ判定ステップＳＴ３１０、テキスチャ判定ステップＳＴ３２０、輝度情報生成ステップＳＴ３４０、拡散量補正ステップＳＴ４００ｅ、及び減算ステップＳＴ３０３ｂを備える。

拡散係数計算ステップＳＴ３０１、拡散量計算ステップＳＴ３０２、及び輝度情報生成ステップＳＴ３４０の動作は実施の形態Ｃ３と同じでよい。

エッジ判定ステップＳＴ３１０、及びテキスチャ判定ステップＳＴ３２０の動作は実施の形態Ａ４と同じでよい。

拡散量補正ステップＳＴ４００ｅは、実施の形態Ｃ２の拡散量補正部４００ｅと同様の処理をする。
減算ステップＳＴ３０３ｂは、実施の形態Ｃ２の減算部３０３ｂと同様の処理をする。

以上が実施の形態Ｃ４による画像処理方法による処理であり、その処理内容は実施の形態Ｃ２による画像処理装置と同等である。よって実施の形態Ｃ４による画像処理方法は実施の形態Ｃ２による画像処理装置と同じ効果を持つ。

実施の形態Ｃ２による画像処理装置に適用可能な変形例は実施の形態Ｃ４による画像処理方法にも適用可能である。

実施の形態Ａ３、Ａ４、Ｂ３、Ｂ４、Ｃ３及びＣ４で説明した本発明の画像処理方法をコンピュータに実行させるためのプログラム、並びに該プログラムを記録したコンピュータで読み取り可能な記録媒体も、本発明の一部を成す。

Ｄ０ 入力画像、 １００ エッジ強調画像拡大部、 Ｄ１００ エッジ強調拡大画像、 ２００ 差分計算部、 Ｄ２００ 差分データ、 ３００ 高解像度画像補正部、
Ｄ３００ 出力画像。

Claims (17)

1. 第１の解像度の入力画像を、前記入力画像に含まれるエッジが強調された第２の解像度の高解像度画像に変換するエッジ強調画像拡大部と、
   前記高解像度画像と前記入力画像の差分を求める差分計算部と、
   前記差分を、前記高解像度画像を構成する各画素へ拡散し、前記高解像度画像を補正した補正画像を生成する高解像度画像補正部を備え、
   前記補正画像を出力画像とすることを特徴とする画像処理装置。
2. 前記高解像度画像補正部は、
   前記入力画像において、局所的に画素値の変化が多い領域をテキスチャ領域として検出するテキスチャ検出部を備え、
   前記入力画像と前記高解像度画像を重ねた場合に、前記テキスチャ領域として検出された領域の近傍以外では、前記差分を少なくとも部分的に打ち消す補正を抑制することを特徴とする請求項１に記載の画像処理装置。
3. 前記差分計算部は、
   前記入力画像を前記高解像度画像上に重ねた場合に、前記入力画像を構成する各画素が重なる位置を対応点とする対応点設定部と、
   前記対応点に前記入力画像を構成する各画素と同じ大きさの画素があるとした場合の画素値を、前記高解像度画像の画素値から対応点の画素値として求める対応点画素値計算部と、
   前記入力画像の各画素の画素値と、前記対応点画素値計算部で求めた当該画素についての対応点の画素値の差を求める第１の減算部を有し、
   前記第１の減算部の出力を前記差分とする
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記高解像度画像補正部は、
   前記差分を、前記対応点の近傍に存在する前記高解像度画像を構成する各画素へ拡散する量を決定する拡散係数を、前記対応点ごとに求める拡散係数計算部を有する
   ことを特徴とする請求項１記載の画像処理装置。
5. 前記高解像度画像補正部は、
   前記高解像度画像を構成する各画素について、当該画素に、その近傍の１又は２以上の対応点の各々から拡散される差分を、前記拡散係数を用いて求め、さらに当該画素の近傍の前記１又は２以上の対応点から拡散される差分の和を求めて、出力する拡散量計算部と、
   前記エッジ強調画像拡大部から出力される前記高解像度画像の画素値から、前記拡散量計算部の出力値を引いた値を出力する第２の減算部を有し、
   前記第２の減算部の出力値を前記補正画像の画素値とする
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記拡散係数は、互いに異なる行列を加重加算して得られることを特徴とする請求項４に記載の画像処理装置。
7. 前記互いに異なる行列は、互いに一次独立であることを特徴とする請求項６に記載の画像処理装置。
8. 前記加重加算のための重み付け係数は、前記対応点ごとに異なるものであることを特徴とする請求項６に記載の画像処理装置。
9. 前記加重加算のための重み付け係数は、前記入力画像の画素値の変化に基づいて求められることを特徴とする請求項６に記載の画像処理装置。
10. 前記高解像度画像補正部は、
    前記入力画像に含まれるエッジを検出するエッジ検出部をさらに備え、
    前記入力画像と前記高解像度画像を重ねた場合に、前記エッジが検出された箇所の近傍では、前記差分を打ち消す補正を抑制することを特徴とする請求項１に記載の画像処理装置。
11. 前記高解像度画像補正部は、前記高解像度画像に周期的な模様が含まれる箇所を検出する周期性判定部をさらに備え、
    前記高解像度画像に周期的な模様が含まれると判定された箇所では、前記差分を打ち消す補正を抑制する
    ことを特徴とする請求項１に記載の画像処理装置。
12. 前記高解像度画像補正部は、前記高解像度画像あるいは前記入力画像に小さな画素値を持った画素が多く集まる領域、又は大きな画素値を持った画素が多く集まる領域を検出し、該当領域では前記差分を打ち消す補正を抑制することを特徴とする請求項１に記載の画像処理装置。
13. 請求項１乃至１２のいずれかに記載の画像処理装置を備えた画像表示装置。
14. 第１の解像度の入力画像を、前記入力画像に含まれるエッジが強調された第２の解像度
    の高解像度画像に変換するエッジ強調画像拡大ステップと、
    前記高解像度画像と前記入力画像の差分を求める差分計算ステップと、
    前記差分を前記高解像度画像を構成する各画素へ拡散し、前記高解像度画像を補正した補正画像を生成する高解像度画像補正ステップを備え、
    前記補正画像を出力画像とすることを特徴とする画像処理方法。
15. 請求項１４に記載の画像処理方法で処理した画像を表示することを特徴とする画像表示装置。
16. 請求項１４に記載の画像処理方法をコンピュータに実行させるためのプログラム。
17. 請求項１６のプログラムを記録したコンピュータで読み取り可能な記録媒体。

Images