JP2008166983A - 解像度変換処理方法、画像処理装置、画像表示装置及びプログラム - Google Patents

Abstract

【課題】画像の滑らかさを保ちつつ、図形や文字などの境界部の鮮明な解像度変換画像を得るようにする。
【解決手段】入力画像の階調性が保存される補間画素の中間処理データを生成する第一の演算ステップと、補間画素に隣接した複数の参照画素を判定用参照画素として各判定用参照画素の画素値の組合せ及び最大値、最小値を求める共に、複数の判定用参照画素値より中間値を生成するステップと、判定用参照画素の画素値の組合せが所定の数以上ならば中間処理データの値を補間画素の画素値とし、所定の数未満ならば、中間処理データの値と中間値を比較し、その結果により補間画素の画素値を複数の判定用画素より求めた値とする第二の演算ステップとからなる。
【選択図】図２

Description

本発明は、入力画像データを補間処理して、解像度の異なる出力画像データを作成する解像度変換処理方法、それを行う画像処理装置、画像表示装置、及びその処理をコンピュータに実行させるプログラムに関する。

画像を表示する画像表示装置としては、ＣＲＴ，ＬＣＤ，ＰＤＰ，プロジェクタ等がある。これらの表示装置は固有の出力解像度を有している。また入力される画像にも固有の解像度を有しており、入力される画像の解像度と表示装置の解像度が同一であれば問題なく表示を行うことができるが、異なる場合には、表示されない画素の発生や、表示装置で使用されない画素が発生する。これらの問題を発生させないために、入力画像と表示装置の解像度を等しくする解像度変換という処理が必要となってくる。解像度変換は、画像の拡大・縮小処理においても用いられる。

解像度変換を行う場合、入力画像の各画素を規定した座標上に割付け、この座標上に出力画像の補間画素の割付けを行う。解像度変換の補間処理は、座標上の補間画素の画素値を補間画素の周囲に存在する参照画素の画素値を元にして決定する処理である。従来の補間方法は、この補間画素値の決定を種々の方法で行っている。

従来知られている代表的な方法としては、補間画素に最も近い距離にある参照画素の画素値を補間画素の画素値とする最近傍補間法、補間画素の周囲にある参照画素について、それぞれ補間画素との距離に反比例して各画素値に重み付けを行い、補間画素の画素値を算出する線形補間法、参照画素の有する画素値から３次近似した関数や多項式を求め、その式を用いて補間画素の画素値を算出する標本化関数補間法やスプライン補間法（キュービック・コンボリューション）等の方法がある。

一方、対象とする画像によって複数の補間方法を使い分けるなどして画質の向上を狙ったものが従来から種々提案されている。そのいくつかを挙げると、以下のようなものである。
（１）特許文献１
複数の参照画素における濃度差（最大濃度−最小濃度）を用いて、文字か写真かを判断し（所定の濃度差以上は文字、他は写真）、写真の場合は線形補間法、文字の場合は最近傍補間法を用いる方法、あるいは写真と判断した場合には線形補間法による演算結果を注目画素値とし、文字と判断した場合には、線形補間法での補間画素の値が第一のしきい値以上なら最大濃度値、第二のしきい値以下ならば最小濃度値、しきい値の中間では、最大濃度値と最小濃度値の平均値を用いる方法、またはしきい値を一つとし、最大濃度値と最小濃度値の平均値を用いる方法により拡大／縮小処理を行う。

（２）特許文献２
補間画素データをその近傍に位置する４点の原画素データに基づいて加重平均演算により求め、これら４点の画像データのうち少なくとも３点の分布態様に基づいてこの４点により囲まれる領域内に斜め線のエッジをなすパターンが存在することを判定して、当該４点により囲まれる領域内に斜め線のエッジをなすパターンが存在することを判定したときには該領域内の斜め線のエッジをなすパターンに該当する補間画素データとして、上記加重平均演算の結果に依らず当該４点のいずれかの原画素データ自体を適用する。

（３）特許文献３
ＣＧ（コンピュータ グラフィック）と自然画を水平、垂直方向を別々に、並んだ参照画素４点の画素値の差と所定のしきい値を用いた式（参照画素がＣ Ａ Ｂ Ｄと並ぶ時、｜Ａ−Ｂ｜−しきい値＊（｜Ａ−Ｃ｜＋｜Ｂ−Ｄ｜）／２が０より上か下か）により判定を行い、補間方法を最近傍補間と線形補間とキュービック・コンボリューションとで切替える。

（４）特許文献４
座標／輝度畳込み演算法を基本的な解像度変換方法とし、４つの参照画素の状態により、テキストデータと判断されなければ座標／輝度畳込み演算法、テキストデータと判断された場合には、最近傍補間法、あるいは座標／輝度畳込み演算法の重付け因子の重みをより大きくした演算法とで判断により演算法を使い分け、テキストデータの画像はより鮮明な画像に、その他の部分では滑らかな画像の表示を行う。

特許第２９９１４８５号公報 特許第３３２７９６１号公報 特開２００３−３１９１７１号公報 特開２００６−０５３８８７号公報

特許文献１の濃度差による文字、写真の判定では、濃度差の少ない文字、図形などが写真と判断され、線形補間法による処理を行うことになり、鮮明さの足りないボケた画像になってしまう。図１４、図１５にその例を示す。図１４は判定に用いる濃度差を図７の元画像の写真部分に影響がない値とし、解像度変換を行ったものである。図７の元画像で写真部分に影響がない値で判断すると、中間調の文字や図形の部分が正しく判断されずボケた画像になってしまう。また、図１５は、図７の元画像にて文字が正しく判定できる濃度差を判定に用いる値として、解像度変換を行ったものである。この濃度差を判定に用いると、文字や図形図は正しく判断されて鮮明になるが、写真部分にて正しく判定されない部分が発生し、画質の劣化が発生している。このように複数の参照画素内の濃度差を用いて判定を行う方法であると、判定に用いる濃度差の値により判定がばらつくことで、正確性に問題があり、様々な画像を扱う場合には、良好な画像が得られない場合が多い。

特許文献２では、少なくとも３参照画素が一致した範囲を同一画素値とし、斜め線のエッジを鮮明にすることを主眼としているが、同一画素値とした範囲に隣接した範囲の値は、加重平均演算により求めていることから、境界部に隣接した加重平均演算で求めた部分は境界部の鮮明さが劣化する。図１６は、図７の元画像に対して特許文献２により処理を行った画像で、写真に線形補間、文字や図形に最近傍補間を使い分けた例を示したものである。線形補間と最近傍補間を使い分けるものは、文字や図形の部分は鮮明にはなるが、最近傍補間を用いていることによりジャギーが発生するため、高品質な画像を得ることができない。

特許文献３の水平または垂直方向に並んだ参照画素４点の画素値の差と所定のしきい値を用いた式によるＣＧ、写真の判定を水平、垂直各々の方向で別々に行う方法では、判定に参照画素４点の画素値の差と所定のしきい値を用いる方法は、しきい値の設定により判定結果が大きく違う特徴があり、一般的な様々な画像を判定する場合には、最適なしきい値を設定することは困難であり、設定した場合でも様々な画像において正確に判断することは困難である。図１７は図７の元画像にてＣＧが鮮明になるしきい値を用いて解像度変換を行った例、図１８は自然画の劣化が少なくなるようなしきい値を用いて解像度変換を行った例である。各々、解像度変換に用いる保管方法としては、ＣＧと判断された場合には最近傍補間法を用い、それ以外にはキュービック・コンボリューション法を用いている。図１７では文字や図形の部分は鮮明であるが、最近傍補間の特徴であるジャギーが発生するとともに、自然画の部分においてＣＧと誤判定することによる画質の劣化が大きいことが見られる。図１８では自然画の部分での誤判定が少なくなり、画質の劣化の影響は少なくなるが、文字や図研の部分で鮮明さの劣化であるボケが発生してきている。このようにＣＧと自然画という２つの画像が共存する画像においては、特許文献３の判定方法では高品質な画像を得ることは難しい。

特許文献４では、座標／輝度畳込み演算法において、さらにテキストデータか自然画かを判断する手段をもち、テキストデータと判断された場合には、画像情報因子及び、補間画素と各参照画素間の距離を用いた距離因子の重付けをより大きくするような演算法を用いているが、このような方法では良好な画像は得られるが、演算が複雑になり回路規模が大型化し高コストとなってしまう。一方、最近傍法を用いた場合には、境界部の鮮明さは向上するが、斜めの部分にてジャギーが発生してしまう。

以上のように、従来はテキストデータの境界部の鮮明にしようとする場合には、解像度変換後にエッジ強調を行ったり、参照画素の状況により複数の解像度変換方法を使い分ける方法が用いられてきた。しかし、これらの方法では擬似輪郭が発生したり、不鮮明な部分が残ったり、回路が大きくなりコストが高くなったりし、低コストと優れた画質を両立した解像度変換方法は不可能であった。

本発明は、回路規模を抑えつつ、図形や文字などの特定の階調で表現された画像の境界部の鮮明さを向上させるとともに、その他の画像では入力画像の階調性を保持させて、高画質の解像度変換画像を作成する解像度変換処理方法、それを行う画像処理装置、該画像処理装置を備えた画像表示装置、及び、解像度変換処理方法をコンピュータに実行させるためのプログラムを提供することにある。

自然画像と文字や図形などの識別を領域レベルで行なった場合、この識別を誤ると領域全体の画質がかえって悪くなる。そこで、本発明は、狭い範囲を部分的に判定して行き、最適な処理をする方が、より高画質な画像を得ることができることに着目したものである。本発明の骨子は、まず補間処理を行い、次に一定の狭い範囲内で文字や図形の境界部と判定できる部分はエッジを強調する処理を施すことで高画質な画像を得るものである。

請求項１の発明は、入力された画像の画素（元画素）間に補間する画素（補間画素）を生成して解像度の異なる画像を出力する解像度変換処理方法において、入力画像の階調性が保存される補間画素の中間処理データを生成する第一の演算ステップと、少なくとも補間画素に隣接した複数の参照画素を判定用参照画素として各判定用参照画素の画素値の組合せ及び最大値、最小値を求める共に、複数の判定用参照画素値より中間値を生成するステップと、前記判定用参照画素の画素値の組合せが所定の数以上ならば前記中間処理データの値を補間画素の画素値とし、所定の数未満ならば、前記中間処理データの値と前記中間値を比較し、その結果により補間画素の画素値を前記複数の判定用画素より求めた値とする第二の演算ステップとからなることを特徴とする。

請求項２の発明は、請求項１の解像度変換処理方法において、第一の演算ステップは、補間画素の周囲にある複数の各参照画素と前記補間画素との距離を重付け因子として、線形補間演算より補間画素の中間処理表示データを生成することを特徴とする。

請求項３の発明は、請求項１の解像度変換処理方法において、第一の演算ステップは、補間画素の周囲にある複数の参照画素の画素値と所定値との差を用いた画像情報因子、及び、補間画素と前記各参照画素間の距離を用いた距離因子により重付けを行うことで、座標／輝度畳込み演算により補間画素の中間処理データを生成することを特徴とする。

請求項４の発明は、請求項１の解像度変換処理方法において、第一の演算ステップは、前記判定参照画素に用いる参照画素数以上の参照画素を用いて３次畳込み内挿法により補間画素の中間処理データを生成することを特徴とする。

請求項５の発明は、請求項１乃至４のいずれか１項の解像度変換処理方法において、第二の演算ステップは、前記複数の判定用参照画素値の組合せが２組以下である場合に、前記中間処理データの値と前記中間値を比較し、その結果により複数の判定用参照画素より求めた値を補間画素の画素値とし、前記組合せが３組以上の場合は中間処理データの値を補間画素の画素値とすることを特徴とする。

請求項６の発明は、請求項５の解像度変換処理方法において、第二の演算ステップでは、前記中間処理データの値が中間値より小さければ前記判定用参照画素値の最小値、等しければ中間値、それ以外は前記判定用参照画素値の最大値を補間画素の画素値とすることを特徴とする。

請求項７の発明は、請求項１乃至６のいずれか１項の解像度変換処理方法において、前記中間値は、前記複数の判定用参照画素値の最大値と最小値の中間の値とすることを特徴とする。

請求項８の発明は、入力データ記憶手段と処理手段と出力データ記憶手段を備え、請求項１乃至７のいずれか１項の解像度変換処理方法を実施することを特徴とする画像処理装置である。

請求項９の発明は、少なくとも画像表示手段と、請求項８に記載の画像処理装置を備えたことを特徴とする画像表示装置である。

請求項１０の発明は、請求項１乃至７のいずれか１項の解像度変換処理方法の各ステップをコンピュータに実行させるためのプログラムである。

請求項１の発明では、複数の参照画素値よりテキストデータを判断し、第一の演算により生成した中間処理データをもとに、テキストデータでは中間処理データの値と中間値を比較し、その結果により補間画素値を複数の判定用画素より求めた値とし、それ以外では中間処理データの値とすることにより、第一の演算の特徴を活かしつつ、テキストデータの境界部の鮮明な画像を得ることができる。

請求項２の発明では、第一の演算を補間画素の周囲にある複数の参照画素と前記補間画素との距離を重付け因子とし、線形補間演算により、補間画素の画素値を生成する方法とすることにより、回路規模が小さくて済むことから、滑らかでテキストデータの境界部の鮮明な画像を低コストで得ることができる。

請求項３の発明では、第一の演算を補間画素の周囲にある複数の参照画素の画素値と所定値との差を用いた画像情報因子及び、補間画素と前記各参照画素間の距離を用いた距離因子により重付けを行うことで、座標／輝度畳込み演算により、補間画素の画素値を生成する方法とすることにより、第一の演算の特徴である非常に滑らかな画像と、テキストデータ境界部の鮮明さを両立させた画像を得ることができる。

請求項４の発明では、第一の演算を判定参照画素に用いる参照画素数以上の参照画素を用いた３次畳込み内挿法とすることにより、自然画が非常に鮮明になる特徴と、テキストデータ境界部の鮮明さを両立させた画像を得ることができる。

請求項５の発明では、第二の演算として、複数の評価用参照画素値の組合せが２組以下の場合に、中間処理データと中間値を比較し、その結果により補間画素値を複数の評価用参照画素より求めた値とする処理を行うことにより、テキストデータに対するの判断の確実性が高くなる。

請求項６の発明では、第二の演算において、中間処理データが境界値より小さければ評価用参照画素値の最小値、等しければ中間値、それ以外は前記評価用参照画素値の最大値を補間画素値とすることにより、より境界部の鮮明な画像を得ることができる。

請求項７の発明では、中間値を複数の評価用参照画素値の最大値と最小値の中間値とすることにより、境界部に第一の演算の特徴を活かしつつ、鮮明な画像を得ることができる。

請求項８の発明では、請求項１〜７のいずれかに記載の解像度変換処理方法を実施する手段を備えることにより、従来の画像処理装置よりもテキストデータ境界部の鮮明な画像を得ることができる画像処理装置が実現できる。

請求項９の発明では、請求項８に記載の画像処理装置を備えることにより、従来の画像表示装置よりもテキストデータ境界部の鮮明な画像を表示することができる画像表示装置が実現できる。

請求項１０の発明では、本コンピュータプログラムをコンピュータにて読取って動作させることにより、テキストデータ境界部の鮮明な画像を表示する解像度変換を行うことができる。

以下、本発明の実施の形態について図面を参照して説明する。
図１は、本発明の解像度変換処理方法を実施する画像処理装置を含む画像表示装置の全体的ブロック図を示す。図１において、１０が画像処理装置、２０が画像表示装置である。

画像処理装置１０では、入力された画像データを、画素、所定ライン、フレーム等の単位で、一旦、入力データ記憶部１１に格納する。同時に、入力画像データの制御情報（クロック、水平同期信号、垂直同期信号など）は解像度検出部１４に送る。解像度検出部１４は、水平同期信号期間のクロック数、垂直同期信号期間の水平同期信号数を計数することで入力画像データの解像度を判定して、その解像度情報を座標テーブル部１５に送る。一般に入力画像の解像度はＶＧＡ，ＳＶＧＡ，ＸＧＡ，ＵＸＧＡ，ＱＸＧＡ等、いくつかに特定できる。座標テーブル部１５は、各解像度に対応して、補間画素（補間画素Ｎo.）と使用する各参照画素（参照画素Ｎo.）、補間画素と各参照画素の画素間距離からなる補間データを格納したルックアップテーブル（ＬＵＴ）を保持している。座標テーブル部１５は解像度検出部１４で判定された解像度に対応するＬＵＴを選択し、その補間データを読み出して補間データ記憶部１６に格納する。補間処理部１２は、補間データ記憶部１６より、順次、補間画素と各参照画素、及び補間画素と各参照画素の画素間距離を読出し、入力データ記憶部１１より各参照画素の画素値を読出し、補間画素と各参照画素の画素間距離、各参照画素の画素値をもとに補間画素の画素値を生成する処理を繰り返し実行する。生成された補間画素の画素値は、順次、出力データ記憶部１３に格納される。

画像表示装置２０では、出力データ記憶部１３に格納された各補間画素の画素値を所定の単位毎に読出して表示部２１に出力する。

本発明の特徴は、補間処理部１２の処理にある。該補間処理部１２での処理は、入力画像の階調性が保存される補間画素の中間処理データを生成する第１の演算と、図形や文字などの特定の階調で表現された領域に対して境界部を強調した補間画素値を生成し、それ以外の領域では中間処理データを補間画素値とする第２の演算とに大別される。

第１の演算としては、線形補間演算法、座標／輝度畳込み演算法、３次畳込み内挿法などが適用される。第２の演算は、補間画素に隣接した複数の参照画素の画素値の最大値、最小値、中間値を求め、参照画素値の組合せ数が所定の数以上ならば中間処理データを補間画素値に、所定の数未満ならば、中間処理データの値と中間値を比較して、その結果により最大値、中間値あるいは最小値のいずれかを補間画素値とすることを基本とする。以下、各実施例について詳述する。

＜実施例１＞
本実施例は第１の演算として線形補間演算を適用するものである。線形補間演算は、補間画素の周囲の複数の各参照画素と補間画素との距離を重付け因子として、補間画素の画素値を算出する方法である。ここでは、補間画素周囲の４点の参照画素を用い、この４点の参照画素値の組合せが２組以下の場合には、線形補間演算により算出された中間処理データの値と、該４点の参照画素値中の最大値と最小値の中間の値を中間値（境界値）として比較して、その結果により補間画素の画素値を、４点の参照画素中の最大値、最小値のいずれか、もしくは中間値とし、３組以上の場合は、第１の演算の線形補間演算法の中間処理データの値を補間画素の画素値とするものを例として説明する。

ここで、参照画素値の組合せとは、参照画素を４点とした場合、例えば、各参照画素の値が０，１，２，３の場合にはすべて値が異なるため４組、０，１，０，３の場合には０，１，３の３種類に分類できることから３組、０，１，０，１の場合には値が０，１の２種類に分類できることから２組、０，０，０，０の場合には値が０だけなので１組と数える。このように、参照画素値の組合せとは、所定の点数（ここでは４点）の参照画素のもつ値（参照画素値）が何種類の組に分類されるかを云うことと定義する。本実施例では、４点の参照画素値の組合せが２組以下場合（組合せ数≦２）、文字などのテキストデータや図形など、あるいはその境界部と判断する。これは後述の実施例２、３でも同様とする。

図５は、本実施例を説明する上での補間画素と参照画素の位置関係を模式的に示したものである。ここで、補間画素Ｂの画素値をｂ、補間画素Ｂの周囲近傍に位置する参照画素Ａ００の画素値をａ００、参照画素Ａ１０の画素値をａ１０、参照画素Ａ０１の画素値をａ０１、参照画素Ａ１１の画素値をａ１１、参照画素Ａ００，Ａ０１と補間画素Ｂとの水平方向の距離をｘ１、参照画素Ａ１０，Ａ１１と補間画素Ｂとの水平方向の距離をｘ２、参照画素Ａ００，Ａ１０と補間画素Ｂとの垂直方向の距離をｙ１、参照画素Ａ０１，Ａ１１と補間画素Ｂとの垂直方向の距離をｙ２とする。補間画素Ｂの画素値ｂは、線形補間演算の場合、式（１）のようにして求まる。
ｂ＝ｘ２・ｙ２・ａ００＋ｘ１・ｙ２・ａ１０＋ｘ２・ｙ１・ａ０１
＋ｘ１・ｙ１・ａ１１ （１）
なお、図５においては、４点の参照画素を用いる場合を例示したが、より多くの参照画素を用いることでもよく、本実施例はこれに限定されるものではない。

図２は本実施例の補間処理に関する流れを表したフローチャートである。以下、図２のフローチャートに沿って本実施例の場合の補間処理部１２の動作を説明する。

補間処理部１２では、補間データ記憶部１６より、まず、１番目の補間画素について、その補間演算に使用する各参照画素（Ａ００，Ａ１０，Ａ０１，Ａ１１）、該補間画素と各参照画素の画素間距離（ｘ１，ｘ２，ｙ１，ｙ２）を読出し、各参照画素（Ａ００，Ａ１０，Ａ０１，Ａ１１）の画素値（ａ００，ａ１０，ａ１０，ａ０１，ａ１１）を入力データ記憶部１１より読み出す（ステップ１０１〜１０３）。そして、補間画素と各参照画素の画素間距離（ｘ１，ｘ２，ｙ１，ｙ２）、及び各参照画素の画素値（ａ００，ａ１０，ａ０１，ａ１１）を元に、式（１）により解像度変換の中間処理データｂを算出する（ステップ１０４）。

次に、補間処理部１２では、判定準備として、入力データ記憶部１１より読み出された各参照画素の画素値を比較して、参照画素値の組合せ数を判別する（ステップ１０５）。さらに、４点の参照画素値中の最大値Ｍａｘと最小値ｍｉｎを判別し（ステップ１０６）、両者の中間値ｃ
ｃ＝（Ｍａｘ＋Ｍｉｎ）／２
を求める（ステップ１０７）。

補間処理部１２では、次に、第二の演算として、４点の参照画素値が３組以上（組合せ数＞２）かどうか判定し（ステップ１０８）、３組以上の場合には、補間画素の画素値（Ｂ）は第１の演算（線形補間演算）で求まった中間処理データｂの値とする（ステップ１０９）。一方、２組以下の場合には、中間処理データｂと中間値Ｃを比較し（ステップ１１０）、
ｂ＞Ｃ ならば Ｂ＝Ｍａｘ
ｂ＝Ｃ ならば Ｂ＝Ｃ
ｂ＜Ｃ ならば Ｂ＝Ｍｉｎ
とする（ステップ１１１〜１１３）。

以上により、１番目の補間画素の画素値Ｂが生成される。補間処理部１２では、補間データ記憶部１６に未処理の補間データがなくなるまで、同様の処理を繰り返す（ステップ１１４）。これにより、各補間画素の画素値が生成される。該補間処理部１２にて処理された補間画素の画素値は出力データ記憶部６に格納され、所定の単位毎に表示部２１に出力される。

先に述べたように、本実施例では、４点の参照画素値の組合せが２組以下の場合に、文字などのテキストデータや図形などあるいはその境界部と判断する。文字などのテキストデータや図形はほとんどの場合、同じ画素値により構成されている。またこれらは同一色の背景に描画されていることが大多数であり、このような場合には境界部では４点の参照画素値の組合せは２組となる。そこで組合せが２組以下の場合には、文字などのテキストデータや図形などの境界部と判断することにより、鮮明さを高めることができる。自然画においても２組になる場合もあるが、本実施例では第一の演算（線形補間演算）により算出した結果を中間処理データとして補間画素値の決定に用いていることにより、第一の演算の特徴を反映することができ、それにより階調の連続性への影響を最小限に留めることができるので、画質への影響はほとんどない。

このように４点の参照画素値の組合せが２組以下の場合に文字などのテキストデータや図形などの境界部と判断して処理を行うことにより、文字などのテキストデータや図形などの境界部の大多数をカバーすることができるとともに、自然画への誤判断を最小限に留めることができる。

背景にグラデションがかかっている場合や、背景の変わり目である場合には、３組または４組になることもある。本実施例では例示しないが、３組の場合は隣接して同じ画素値のものがある場合には、他の２点の画素値の差が所定の範囲内ならば文字などのテキストデータや図形などの境界部と判断したり、対角に同じ画素値のものがある場合には文字などのテキストデータや図形などの境界部と判断し、同じ画素値の画素を底辺に範囲を分けて処理するなどの方法も可能である。さらに評価用参照画素を４点に限らず、その周囲の画素も評価に用いて、同一の画素値の連続性などで文字などのテキストデータや図形などの境界部と判断する方法も可能である。

本実施例のように解像度変換前の参照画素値を文字などのテキストデータや図形などあるいはその境界部と自然画との判断に用いる方法では、画素値の差による判定に比べ正確性に優れ、解像度変換後の画像データに加工(所定のしきい値で判定を行い処理を行うなど)するなどの方法に比べ、判定に用いる参照画素データが元画像データであることにより、処理後の画像データを用いるよりも正確性に優れるのは自明である。

図７は解像度変換を行う前の元画像、図８は単に線形補間法で解像度変換を行った画像、図９は本実施例で解像度変換を行った画像の例である。

図８の線形補間法の画像は、自然画などでは滑らかな画像を得られるが、その一方、文字などのテキストデータや図形などは、その境界部が不鮮明である。これに対し、本実施例の第１の演算の線形補間法に第二の演算を付加した画像である図９では、図８では不鮮明であった文字などのテキストデータや図形などの境界部が鮮明になっている。また、これによる自然画部分への影響はほとんどない。このように、本実施例の線形補間法の第一の演算に第二の演算の処理を付加することにより、文字などのテキストデータや図形などの境界部が鮮明になり、高画質の画像になる効果がある。また、図１６の特許文献２の方法による画像では、文字などのテキストデータや図形などの境界部は図８の線形補間法に比べ鮮明になっているが、テキストデータ部に加重平均演算を用いる部分があるためにボケが発生し、本実施例の図９と比較して鮮明さで劣る原因となっている。

このように、本実施例では鮮明さの劣化の原因となる線形補間法の中間調を用いないことによって境界部分を明確にすることで、格段に鮮明な画像を生成することがでる。さらに第一の演算である線形補間法の結果と中間値Ｃを比較することで、文字などのテキストデータや図形などの境界部でも、第一の演算である線形補間法による滑らかさという特長を生かすことができ、鮮明さと階調の連続性の保存された滑らかさを両立させることができ、高画質の画像をえることができる。

＜実施例２＞
本実施例は第一の演算として座標／輝度畳込み演算を適用するものである。第二の演算は先の実施例１と同様である。座標／輝度畳込み演算は、補間画素の周囲にある複数の参照画素の画素値と所定値との差を用いた画像情報因子、及び補間画素と各参照画素間の距離を用いた距離因子により重付けを行うことで、補間画素の画素値を算出する方法である。この座標／輝度畳込み演算については、例えば、特開２００６−５３８８７号公報（特許文献４）に記載されている。

ここでは実施例１と同じく、図５のように補間画素（Ｂ）の周囲の４点の参照画素（Ａ００，Ａ１０，Ａ０１，Ａ１１）を用いたものを例として説明する。

図３は本実施例の補間処理に関する流れを表したフローチャートである。以下、図３のフローチャートに沿って本実施例の場合の補間処理部１２の動作を説明する。

補間処理部１２では、補間データ記憶部１６より、まず、１番目の補間画素について、その補間演算に使用する各参照画素（Ａ００，Ａ１０，Ａ０１，Ａ１１）、該補間画素と各参照画素の画素間距離（ｘ１，ｘ２，ｙ１，ｙ２）を読み出し、各参照画素（Ａ００，Ａ１０，Ａ０１，Ａ１１）の画素値（ａ００，ａ１０，ａ１０，ａ０１，ａ１１）を入力データ記憶部１１より読み出す（ステップ１０１〜１０３）。そして、座標／輝度畳込み演算のために、あらかじめ入力データ記憶部１１より読出された４点の参照画素値の比較から、最大の画素値Ｍａｘと最小の画素値Ｍｉｎを求めておく（ステップ２０４）。

次に、補間処理部１２では、第１の演算として以下のように座標／輝度畳込み演算を行って中間処理データｂを求める（ステップ２０５）。

まず、最大の画素値Ｍａｘと最小の画素値Ｍｉｎより、値Ｍを次のようにして算出する。
Ｍ＝Ｍａｘ−Ｍｉｎ＋１

次に、４点の参照画素の画素値の平均値（ＡＶＥ）を次のように求める。
ＡＶＥ＝（ａ００＋ａ０１＋ａ１０＋ａ１１）／４

次に、補間画素と各参照画素との距離、各参照画素の画素値とその平均値ＡＶＥとの差、値Ｍを用いて、Ｚ００，Ｚ１０，Ｚ０１，Ｚ１１の値を下記の式（２）により生成する。
Ｚ００＝（（ｘ２・ｙ２）・（１−｜ａ００−ＡＶＥ｜／Ｍ））
Ｚ１０＝（（ｘ１・ｙ２）・（１−｜ａ１０−ＡＶＥ｜／Ｍ））
Ｚ０１＝（（ｘ２・ｙ１）・（１−｜ａ０１−ＡＶＥ｜／Ｍ））
Ｚ１１＝（（ｘ１・ｙ１）・（１−｜ａ１１−ＡＶＥ｜／Ｍ）） （２）

次に、各参照画素の画素値とＺ００，Ｚ１０，Ｚ０１，Ｚ１１の値を用いて、各参照画素の重み付けを行い、下記の式（３）により中間処理データｂを生成する。
ｂ＝（Ｚ００・ａ００＋Ｚ１０・ａ１０＋Ｚ０１・ａ０１＋Ｚ１１・ａ１１）
／（Ｚ００＋Ｚ１０＋Ｚ０１＋Ｚ１１） （３）

補間処理部１２では、次に、判定準備として参照画素値の組合せ数を判別する（ステップ２０６）。さらに、参照画素値中の最大の画素値Ｍａｘと最小の画素値Ｍｉｎからその平均値である中間値Ｃを算出する（ステップ２０７）。ここで、最大値Ｍａｘと最小値Ｍｉｎは、ステップ２０４ですでに得られているため、それを利用する。
Ｃ＝（Ｍａｘ＋Ｍｉｎ）／２

補間処理部１２では、次に、第二の演算として、４点の参照画素値の組合せが３組以上（組合せ数＞２）かどうか判定し（ステップ２０８）、３組以上の場合には、補間画素の画素値（Ｂ）は第１の演算（座標／輝度畳込み演算）で求まった中間処理データｂの値とする（ステップ２０９）。一方、２組以下の場合には、中間処理データｂと中間値Ｃを比較し（ステップ２１０）、
ｂ＞Ｃ ならば Ｂ＝Ｍａｘ
ｂ＝Ｃ ならば Ｂ＝Ｃ
ｂ＜Ｃ ならば Ｂ＝Ｍｉｎ
とする（ステップ１１１〜１１３）。

以上により、１番目の補間画素の画素値Ｂが生成される。補間処理部１２では、補間データ記憶部１６中に、未処理の補間データが無くなるまで、同様の処理を繰り返す（ステップ１１４）。これにより、各補間画素の画素値が順次生成される。

補間処理部１２にて生成された補間画素の画素値は、そのまま出力してもよいが、ここでは一時出力データ記憶部１３に格納し、所定の単位毎に表示部２１に出力される。

本実施例では、座標／輝度畳込み演算法による画像の滑らかさという特徴と、文字などのテキストデータや図形などとその境界部において、画像の滑らかさを反映しながら境界部の鮮明さが格段に向上した画像を得ることができる。

図１０は図７の元画像に対し、座標/輝度畳込み演算法だけで解像度変換を行った画像、図１１は本実施例で解像度変換を行った画像の一例である。

座標/輝度畳込み演算法は、非常に滑らかでジャギーの少ない自然な画像が得られることが特徴であり、図１０の画像にもこの特徴がよく現れている。しかし、文字などのテキストデータや図形などの境界部には中間調の画素があることから、鮮明な画像を得るためには改善の余地がある。この座標/輝度畳込み演算法の第一の演算に第二の演算を付加した本実施例の画像である図１１では、図１０では改善の余地があった文字などのテキストデータや図形などの境界部が、鮮明になっている。またこれによる自然画部分への影響はほとんどない。

このように、本実施例では、文字などのテキストデータや図形などの境界部が、座標／輝度畳込み演算による補間方法の特徴である画像の滑らかさを保ちながら鮮明さを向上することができる。

＜実施例３＞
本実施例は第１の演算として３次畳込み内挿演算法を適用するものである。３次畳込み内挿演算法（キュービック・コンボリューション）については、例えば特開平１１−２５０６７号公報に記載されている。

本実施例では、第一の演算に参照画素がとして１６画素用いる３次畳込み内挿法を用い、第二の演算は１６画素の参照画素の中から補間画素に隣接する４点を判定用参照画素とし、その判定用参照画素の画素値の組合せが２組以下の値をもつ場合に、３次畳込み内挿法により算出された中間処理データの値と、４点の判定用参照画素値中の最大値と最小値の中間の値を中間値（境界値）として比較し、その結果により補間画素の画素値を、４点の判定用参照画素値中の最大値、最小値のいずれか、もしくは中間値とし、３組以上の場合、第一の演算の３次畳込み内挿法の中間データの値を補間画素の画素値とするものを例として説明する。

図６は、本実施例を説明する上での補間画素と参照画素の位置関係を模試的に示したもので、Ａ１１〜Ａ４４の１６画素が参照画素、その中のＡ２２〜Ａ３３の４画素が判定用参照画素、Ｂが補間画素である。ここで、補間画素Ｂの画素値をｂ、参照画素Ａ１１〜Ａ４４の画素値をａ１１〜ａ４４とする。また、参照画素Ａ１１，Ａ１２，Ａ１３，Ａ１４と補間画素Ｂとの水平方向の距離をｘ１、参照画素Ａ２１，Ａ２２，Ａ２３，Ａ２４と補間画素Ｂとの水平方向の距離をｘ２、参照画素Ａ３１，Ａ３２，Ａ３３，Ａ３４と補間画素Ｂとの水平方向の距離をｘ３、参照画素Ａ４１，Ａ４２，Ａ４３，Ａ４４と補間画素Ｂとの平水方向の距離をｘ４とする。同様にして、参照画素Ａ１１，Ａ２１，Ａ３１，Ａ４１と補間画素Ｂとの垂直方向の距離をｙ１、参照画素Ａ１２，Ａ２２，Ａ３２，Ａ４２と補間画素Ｂとの垂直方向の距離をｙ２、参照画素Ａ１３，Ａ２３，Ａ３３，Ａ４３と補間画素Ｂとの垂直方向の距離をｙ３、参照画素Ａ１４，Ａ２４，Ａ３４，Ａ４４と補間画素Ｂとの垂直方向の距離をｙ４とする。

図４は本実施例の補間処理に関する流れを表したフローチャートである。以下、図４のフローチャートに沿って本実施例の場合の補間処理部１２の動作を説明する。

補間処理部１２では、補間データ記憶部１６より、まず、１番目の補間画素について、その補間処理に使用する各参照画素（Ａ１４〜Ａ４４）、該補間画素と各参照画素の画素間距離（ｘ１，ｘ２，ｘ３，ｘ４，ｙ１，ｙ２，ｙ３，ｙ４）を読み出し、各参照画素（Ａ１１〜Ａ４４）の画素値（ａ１１〜ａ４４）を入力データ記憶部１１より読み出す（ステップ３０１〜３０３）。そして、第１の演算として、読み出した１６点の参照画素値と画素間距離を用いて３次畳込み内挿法にて中間処理データｂを生成する（ステップ３０４）。

３次畳込み内挿法は，各軸に平行に標本化関数を用いた畳込みにより内挿処理を実行することで補間画素値を決定するものである。この際の標本化関数に、次式のような３次近似したsinc関数が用いられる。

補間処理部１２では、まず、補間画素と各参照画素の距離ｘ１，ｘ２，ｘ３，ｘ４，ｙ１，ｙ２，ｙ３，ｙ４をそれぞれ標本化関数の変数ｔに代入することで、ｆ（ｘ１），ｆ（ｘ２），ｆ（ｘ３），ｆ（ｘ４），ｆ（ｙ１），ｆ（ｙ２），ｆ（ｙ３），ｆ（ｙ４）を求める。画素間の距離は１とする。次に、求めたｆ（ｘ１）〜ｆ（ｘ４）、ｆ（ｙ１）〜ｆ（ｙ４）と、各参照画素の画素値ａ１１〜ａ４４を用い、

により中間処理データｂを算出する。

補間処理部１２では、次に、判定準備として、入力データ記憶部１６より読出された１６点の参照画素の中から、補間画素に隣接する４点の参照画素（Ａ２２，Ａ２３，Ａ３２，Ａ３３）を第二の演算に用いるための判定用参照画素とし（ステップ３０５）、該判定用参照画素（Ａ２２，Ａ２３，Ａ３２，Ａ３３）の画素値を比較して、判定用参照画素の組合せを判別する（ステップ３０６）。さらに、この４点の判定用参照画素値中の最大の画素値Ｍａｘと最小の画素値Ｍｉｎを求めるとともに（ステップ３０７）、最大の画素値Ｍａｘと最小の画素値Ｍｉｎより、その中間値Ｃを算出する（ステップ３０８）。
Ｃ＝（Ｍａｘ−Ｍｉｎ）／２

補間処理部１２では、次に、第二の演算として、４点の判定用参照画素値の組合せが３組以上（組合せ数＞２）かどうか判定し（ステップ３０９）、３組以上の場合には、補間画素の画素値（Ｂ）は第一の演算（３次畳込み内挿演算）で求めた中間処理データｂの値とする（ステップ３１０）。一方、２組以下の場合には、中間処理データｂと中間値Ｃを比較し（ステップ３１１）、
ｂ＞Ｃ ならば Ｂ＝Ｍａｘ
ｂ＝Ｃ ならば Ｂ＝Ｃ
ｂ＜Ｃ ならば Ｂ＝Ｍｉｎ
とする（ステップ３１２〜３１４）。

以上により、１番目の補間画素の画素値Ｂは生成される。補間処理部１２では、補間データ記憶部１３中に未処理の補間データがなくなるまで、同様の処理を繰り返す（ステップ１１５）。これにより、各補間画素の画素値が順次生成される。

補間処理部１２にて生成された補間画素の画素値は、そのまま出力してもよいが、ここでは一時出力データ記憶部１３に格納し、所定の単位毎に表示部２１に出力される。

本実施例では、第一の演算としての３次畳込み内挿法（キュービック・コンボリューション）の特徴を反映しつつ、境界部の鮮明な画像を得ることができる。なお、本実施例では、評価用参照画素は補間画素に隣接する４点を用い、３次畳込み内挿法の標本化関数としてsinc関数を用いたが、評価用参照画素に用いる参照画素数や標本化関数は本例に限定されるものではない。

図１２は３次畳込み内挿法であるキュービック・コンボリューションのみにより解像度変換を行った画像、図１３は本実施例で解像度変換を行った画像の一例である。

図１２のキュービック・コンボリューションは、自然画は非常に鮮明であり、画素値が急激に変化する文字や図形などのテキストデータや図形などの境界部では強調の効果が得られ、図８の線形補間法に比べれば鮮明な画像であるが、多少ボケている。また、若干のノイズも発生し、文字や斜め線部でジャギーが発生している。これに対し、図１３の本実施例の画像は、図１２に比べ文字や図形などのテキストデータの境界部が鮮明になるとともに、キュービック・コンボリューションの特徴であった境界部の強調による画素値の不均一という問題がなくなり、文字や図形などのテキストデータは、均一な画素値の画像になっている。また、第二の演算の処理を付加したことによる自然画部分への影響はほとんどない。さらにノイズの発生はない。

このように、本実施例では、第一の演算の３次演算畳込み内挿法に第二の演算の処理を付加することにより、文字などのテキストデータや図形などの境界部が補間方法の特徴である自然画の鮮明さを保ちながら鮮明さが向上する。

なお、図１で示した装置における各部の一部もしくは全部の処理機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図２〜図４で示した処理手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもない。また、コンピュータでその処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることができるとともに、インターネット等のネットワークを通してそのプログラムを配布したりすることが可能である。

本発明の実施例の画像処理装置及び画像表示装置の構成例を示すブロック図。 実施例１の補間処理に関する流れを表したフローチャート。 実施例２の補間処理に関する流れを表したフローチャート。 実施例３の補間処理に関する流れを表したフローチャート。 実施例１、２のための二次元格子状に配列された補間画素と参照画素の位置と距離を模式的に示した図。 実施例３のための二次元格子状に配列された補間画素と参照画素及び評価用参照画素の位置と距離を模式的に示した図。 元画像の一例。 図７の元画像を線形補間法を用いて解像度変換を行った画像の例。 図７の元画像を実施例１の方法により解像度変換を行った画像の例。 図７の元画像を座標／輝度畳込み演算法を用いて解像度変換を行った画像の例。 図７の元画像を実施例２の方法により解像度変換を行った画像の例。 図７の元画像をキュービック・コンボリューションを用いて解像度変換を行った画像の例。 図７の元画像を実施例３の方法により解像度変換を行った画像の例。 図７の元画像を特許文献１の補間方法において、濃度差を図７の自然画部分に影響がない値にして解像度変換を行った画像の例。 図７の元画像を特許文献１の補間方法において、濃度差を図７の画像にて文字が正しく判定できる値にして解像度変換を行った画像の例。 図７の元画像を特許文献２の方法を用いて解像度変換を行った画像の例。 図１７の元画像を特許文献３の補間方法を用い、図７の元画像にてＣＧが鮮明になるしきい値を用いて解像度変換を行った画像の例。 図７の元画像を特許文献３の補間方法を用い、自然画の劣化が少なくなるようなしきい値を用いて解像度変換を行った画像の例。

符号の説明

１０ 画像処理装置
１１ 入力データ記憶部
１２ 補間処理部
１３ 出力データ記憶部
１４ 解像度検出部
１５ 座標テーブル部
１６ 補間データ記憶部
２０ 画像表示装置
２１ 表示部

Claims (10)

1. 入力された画像の画素（以下、元画素）間に補間する画素（以下、補間画素）を生成して解像度の異なる画像を出力する解像度変換処理方法において、
   入力画像の階調性が保存される補間画素の中間処理データを生成する第一の演算ステップと、
   少なくとも補間画素に隣接した複数の参照画素を判定用参照画素として各判定用参照画素の画素値の組合せ及び最大値、最小値を求める共に、複数の判定用参照画素値より中間値を生成するステップと、
   前記判定用参照画素の画素値の組合せが所定の数以上ならば前記中間処理データの値を補間画素の画素値とし、所定の数未満ならば、前記中間処理データの値と前記中間値を比較し、その結果により補間画素の画素値を前記複数の判定用画素より求めた値とする第二の演算ステップと、
   からなることを特徴とする解像度変換処理方法。
2. 前記第一の演算ステップは、補間画素の周囲にある複数の各参照画素と前記補間画素との距離を重付け因子として、線形補間演算より補間画素の中間処理データを生成することを特徴とする請求項１に記載の解像度変換処理方法。
3. 前記第一の演算ステップは、補間画素の周囲にある複数の参照画素の画素値と所定値との差を用いた画像情報因子、及び、補間画素と前記各参照画素間の距離を用いた距離因子により重付けを行うことで、座標／輝度畳込み演算により補間画素の中間処理データを生成することを特徴とする請求項１に記載の解像度変換処理方法。
4. 前記第一の演算ステップは、前記判定参照画素に用いる参照画素数以上の参照画素を用いて３次畳込み内挿法により補間画素の中間処理データを生成することを特徴とする請求項１に記載の解像度変換処理方法。
5. 第二の演算ステップは、前記複数の判定用参照画素値の組合せが２組以下である場合に、前記中間処理データの値と前記中間値を比較し、その結果により複数の判定用参照画素より求めた値を補間画素の画素値とし、前記組合せが３組以上の場合は中間処理データの値を補間画素の画素値とすることを特徴とする請求項１乃至４のいずれか１項に記載の解像度変換処理方法。
6. 第二の演算ステップでは、前記中間処理データの値が中間値より小さければ前記判定用参照画素値の最小値、等しければ中間値、それ以外は前記判定用参照画素値の最大値を補間画素の画素値とすることを特徴とする請求項５に記載の解像度変換処理方法。
7. 前記中間値は、前記複数の判定用参照画素値の最大値と最小値の中間の値とすることを特徴とする請求項１乃至６のいずれか１項に記載の解像度変換処理方法。
8. 入力データ記憶手段と処理手段と出力データ記憶手段を備え、請求項１乃至７のいずれか１項に記載の解像度変換処理方法を実施することを特徴とする画像処理装置。
9. 少なくとも画像表示手段と、請求項８に記載の画像処理装置を備えたことを特徴とする画像表示装置。
10. 請求項１乃至７のいずれか１項に記載の解像度変換処理方法の各ステップをコンピュータに実行させるためのプログラム。

Images