JP2008228251A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】画像を拡大した場合であっても、輪郭線のぼけや輪郭線あるいは輪郭線周辺に発生する画質劣化を生じさせることなく、輪郭線の再現性を向上させることが可能な画像処理装置を提供することを目的とする。
【解決手段】拡大倍率Ｎを設定する倍率設定部１０２と、入力画像を、隣接する２画素間の濃度値の変化量が大きい輪郭線領域と隣接する２画素間の濃度値の変化量が小さい平坦領域に分離すると共に、分離した領域毎に拡大倍率Ｎに基づいて拡大倍率Ｎ１を設定する画像分離部１０３と、拡大倍率Ｎ１に基づいて、分離された領域毎に補間画素が等間隔に並ぶように補間画素の出力アドレスを決定するアドレス管理部８０１と、各出力アドレスにおいてそれぞれ補間画素を生成しそれら補間画素で構成される画像を拡大後の画像として出力する補間演算部８０２とを備えて画像処理装置１を構成する。
【選択図】図１

Description

本発明は、画像を拡大処理する画像処理装置、画像処理方法、及び画像処理プログラムに関し、より詳しくは、入力された画像信号や映像信号に対して画素補間演算を行い、画素数変換を行う画像処理装置、画像処理方法、及び画像処理プログラムに関する。

ＣＲＴ（ＣａｔｈｏｄｅＲａｙ Ｔｕｂｅ）ディスプレイ表示装置、液晶表示装置、プラズマディスプレイ表示装置などにおいては、走査線数及び走査周波数があらかじめ所定の値に設定されており、１走査線毎の水平方向の画素数も所定の値に設定されており、画面として所定の画素数に設定されている。

１走査線毎の水平画素数、走査線数、及び走査周波数があらかじめ所定の値に設定されているＨＤＴＶ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ ＴｅｌｅＶｉｓｉｏｎ）に対応した表示装置に対して、入力信号としてＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）方式の映像信号を表示するためには走査線毎の水平画素数、走査線数を補間するように信号処理する必要がある。

さらに、画素ずらしを応用した表示装置では表示装置に使用されている表示パネル以上の画素数の表示が可能であるため、入力信号の解像度が低い場合には表示する前に補間して表示画素数にあわせる必要がある。（例えば、特許文献１参照）
補間により画素を生成する方法として、図１２に示すように拡大処理を行う場合を例にとって説明する。図１２において実線、破線の格子上に画素が存在しているとする。実線の格子上の白抜きの丸が入力画像の画素（入力画素）を表し、破線の格子上の黒丸が入力画像を拡大した後の画像の画素（出力画素）を表している。一般に、入力画像を拡大した後の画像の画素の座標は、入力画像の画素の座標と同じにはならず、そのために拡大後の各画素値はその周囲の格子点における入力画像の各画素を利用して補間する必要がある。

従来から行われている補間方法としては、以下に述べるような３つの方法がある。１番目は最近傍法という補間方法であって、補間しようとする画素の濃度値として、最も距離の近い元の画像の座標系での格子点上の濃度値を用いる方法である。２番目は線形補間法という補間方法であって、補間しようとする画素の濃度値として、最近傍の４つの格子点上の濃度値を距離などに応じて重み付けし補間する方法である。３番目は３次補間法という補間方法であって、ｓｉｎｃ関数の近似式を用い、補間しようとする画素の周囲の格子点上の濃度値を用いて３次式による補間を行う方法である。この際用いられる補間式としては主として「キュービック・コンボリューション」などが用いられている。その式を示すと以下の数１のようになる。

なお、Ｃ（ｘ）は補間関数、ｆ（ｕ_０，ｖ_０）は補間位置の画素、ｆ（ｕ_ｋ，ｖ_ｌ）は補間位置周辺の画素とする。また、０≦｜ｘ｜＜１のときＣ（ｘ）＝１−２｜ｘ｜^２＋｜ｘ｜^３、１≦｜ｘ｜＜２のとき、Ｃ（ｘ）＝４−８｜ｘ｜＋５｜ｘ｜^２−｜ｘ｜^３、２≦｜ｘ｜のとき、Ｃ（ｘ）＝０とする。

上記３つの補間方法はＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタと呼ばれている。（例えば、特許文献２または特許文献３参照）
しかしながら、このような画像処理方法では、拡大処理を行う場合にサンプリング間隔が小さくなり、より高い高周波数成分まで再現できるようになったにも関わらず、元の画像にこの高周波成分が含まれておらず周波数成分が変わらないので、画像サイズが大きくなった分、輪郭線がぼけて見えてしまうという問題点や鮮鋭度を改善するために新たにオーバーシュートやアンダーシュートが発生し、拡大後の輪郭線あるいは輪郭線周辺での画質劣化が発生するといった問題点がある。

そこで、拡大後の輪郭線あるいは輪郭線周辺での画質劣化を抑えるための画像処理方法として、例えば、入力画像を輪郭線周辺の領域とその領域以外の領域に分離し、それら領域毎に補間画素を生成していくという補間方法がある。（例えば、特許文献４参照）
特開平９−１５２５７２号公報 特開平８−１０６２８０号公報 特開２００２−２４７３６５号公報 特開２００２−１００７０号公報

しかしながら、上述のように、画像を輪郭線周辺の領域とその領域以外の領域に分離し、それら領域毎に補間画素を生成していくという画像処理方法では、補間画素が領域毎に個別に出力されるため、輪郭線付近の補間画素が不連続になる可能性があり拡大後の輪郭線の再現性が低下してしまうという問題がある。

そこで、本発明は上述の事情に鑑みてなされたものであり、従来技術に基づく問題点を改善するため、画像を拡大した場合であっても、輪郭線のぼけや輪郭線あるいは輪郭線周辺に発生する画質劣化を生じさせることなく、輪郭線の再現性を向上させることが可能な画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

また、本発明は、ハード化時の回路規模を比較的小さくすることが可能な画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

上記の課題を解決するために本発明では、以下のような構成を採用した。
すなわち、本発明の画像処理装置は、画像を拡大処理する画像処理装置において、基準の拡大倍率を設定する倍率設定手段と、入力画像を、その入力画像を構成する画素の濃度値の変化量が大きい輪郭線領域と、濃度値の変化量が小さい平坦領域とに分離すると共に、前記領域毎に前記基準の拡大倍率に基づいて前記入力画像の拡大処理に使用する拡大倍率を設定する画像分離手段と、前記画像分離手段により設定された拡大倍率に基づいて、前記領域毎に補間後の各画素が等間隔に並ぶように補間後の各画素の出力アドレスを決定するアドレス管理手段と、前記アドレス管理手段で決定された各出力アドレスにおいてそれぞれ補間画素を生成しそれら補間画素で構成される画像を前記入力画像の拡大画像として出力する補間演算手段とを備える。

また、上記画像処理装置は、前記補間演算手段で生成される補間画素の数が所定値以上にならないように前記補間演算手段で生成される補間画素の数を制限する補間画素数補正手段を備えるように構成してもよい。

また、上記画像処理装置は、前記入力画像を複数の画像に分割する画像分割手段と、前記補間演算手段で生成される補間画素により構成される複数の画像を結合する画像結合手段とを備え、前記画像分離手段は、前記画像分割手段により分割された各画像をそれぞれ輪郭線領域と平坦領域に分離すると共に、前記画像分割手段により分割された画像毎に前記入力画像の拡大処理に使用する拡大倍率を設定し、前記アドレス管理手段は、前記画像分割手段により分割された画像毎に補間後の各画素の出力アドレスを決定し、前記補間演算手段は、前記画像分割手段により分割された画像毎に補間画素を生成するように構成してもよい。

また、上記拡大画像出力手段は、前記領域毎に補間方法を選択する補間方法選択手段を備え、前記補間演算手段は、前記補間方法選択手段により選択された補間方法に基づいて前記補間画素を生成するように構成してもよい。

また、本発明の画像処理方法は、画像を拡大処理する画像処理方法において、基準の拡大倍率を設定するステップと、入力画像を、その入力画像を構成する画素の濃度値の変化量が大きい輪郭線領域と、濃度値の変化量が小さい平坦領域とに分離すると共に、前記領域毎に前記基準の拡大倍率に基づいて前記入力画像の拡大処理に使用する拡大倍率を設定するステップと、前記入力画像の拡大処理に使用する拡大倍率に基づいて、前記領域毎に補間後の各画素が等間隔に並ぶように補間後の各画素の出力アドレスを決定するステップと、前記各出力アドレスにおいてそれぞれ補間画素を生成しそれら補間画素で構成される画像を前記入力画像の拡大画像として出力するステップとを有する。

また、本発明の画像処理プログラムは、画像を拡大処理するためにコンピュータを、基準の拡大倍率を設定する倍率設定手段、入力画像を、その入力画像を構成する画素の濃度値の変化量が大きい輪郭線領域と、濃度値の変化量が小さい平坦領域とに分離すると共に、前記領域毎に前記基準の拡大倍率に基づいて前記入力画像の拡大処理に使用する拡大倍率を設定する画像分離手段、前記画像分離手段により設定された拡大倍率に基づいて、前記領域毎に補間後の各画素が等間隔に並ぶように補間後の各画素の出力アドレスを決定するアドレス管理手段、前記アドレス管理手段で決定された各出力アドレスにおいてそれぞれ補間画素を生成しそれら補間画素で構成される画像を前記入力画像の拡大画像として出力する補間演算手段として機能させるためのプログラムである。

本発明によれば、画像を拡大する際、画像中の輪郭線のぼけや輪郭線あるいは輪郭線周辺に発生する画質劣化を生じさせることなく、輪郭線の再現性を向上させることができ、高品位の拡大画像を生成することができる。また、ハード化時の回路規模の増大を抑制することができる。

以下、図面を用いて本発明の実施形態を説明する。
図１は、本発明の実施形態の画像処理装置の全体構成を示す機能ブロック図である。
図１に示す画像処理装置１は、画像入力部１０１、倍率設定部１０２、画像分離部１０３、画像補間部１０４、及び画像記録部１０５により構成されている。

画像入力部１０１は、入力される画像信号ｘをＡ／Ｄ（アナログ／デジタル）変換してデジタル化し、そのデジタル化した画像信号ｘを画像入力部１０１に備えられる不図示の色空間変換部において色空間の画像信号ｘ１に変換し、その色空間に変換した画像信号ｘ１を画像入力部１０１に備えられる不図示のメモリに蓄積する。また、画像入力部１０１に入力される画像信号ｘはデジタル信号であってもよく、この場合、画像入力部１０１は、Ａ／Ｄ変換を行わず色空間変換部において色空間の画像信号ｘ１に変換してメモリに蓄積する。

画像分離部１０３は、画像入力部１０１から出力される色空間変換後の画像信号ｘ１に基づいて輪郭線検出を行う。すなわち、画像分離部１０３は、画像信号ｘ１に示される画像を構成する各画素（以下、入力画素という）のうち隣接する２画素間の濃度値の差分を演算し、その演算結果と閾値との比較結果により画像信号ｘ１に示される画像を輪郭線領域と平坦領域に分離する。また、画像分離部１０３は、輪郭線領域と平坦領域のそれぞれの領域に使用される各拡大倍率Ｎ１（拡大後の画素数）を、倍率設定部１０２から出力される拡大倍率Ｎを基準にして設定し、それら拡大倍率Ｎ１及び画像信号ｘ１（輪郭線領域、平坦領域）を画像補間部１０４へ出力する。

画像補間部１０４は、画像分離部１０３で分離された輪郭線領域と平坦領域において、それぞれ、領域に対応する拡大倍率Ｎ１に基づいて補間画素を生成し、その補間画素により拡大後の画像を示す画像信号ｘ２を生成し画像記録部１０５へ出力する。すなわち、画像補間部１０４は、輪郭線領域と平坦領域において、それぞれ、互いに一定数の補間画素を生成するのではなく、領域毎に異なった数の補間画素を生成し、それら補間画素を用いて拡大後の画像を示す画像信号ｘ２を生成する。ある領域では拡大倍率Ｎより大きな拡大倍率Ｎ１で補間画素が生成されたり、他の領域では拡大倍率Ｎより小さな拡大倍率Ｎ１で補間画素が生成されたりし、画像全体の拡大倍率Ｎ１が拡大倍率Ｎと同じになるように各領域毎で異なる拡大倍率Ｎ１が設定される。

画像記録部１０５は、画像補間部１０４から出力される画像信号ｘ２を記録する。
図２は、画像分離部１０３の構成を示す機能ブロック図である。
図２に示す画像分離部１０３は、水平方向輪郭線検出部４０１、水平方向補間画素数決定部４０２、垂直方向輪郭線検出部４０３、及び垂直方向補間画素数決定部４０４により構成されている。

水平方向輪郭線検出部４０１は、画像信号ｘ１に示される画像の水平方向の各画素のうち隣接する２画素間の濃度値の差分値を演算し、その差分値を閾値処理することにより画像信号ｘ１に示される画像を水平方向成分の輪郭線領域と平坦領域に分離する。例えば、水平方向輪郭線検出部４０１は、演算した差分値が閾値よりも大きいとき、その差分値を求めるのに使用した画素が輪郭線領域に属していると判断し、演算した差分値が閾値よりも小さいとき、その差分値を求めるのに使用した画素が平坦領域に属していると判断する。

垂直方向輪郭線検出部４０３は、画像信号ｘ１に示される画像の垂直方向の各画素のうち隣接する２画素間の濃度値の差分値を演算し、その差分値を閾値処理することにより画像信号ｘ１に示される画像を垂直方向成分の輪郭線領域と平坦領域に分離する。例えば、垂直方向輪郭線検出部４０３は、演算した差分値が閾値よりも大きいとき、その差分値を求めるのに使用した画素が輪郭線領域に属していると判断し、演算した差分値が閾値よりも小さいとき、その差分値を求めるのに使用した画素が平坦領域に属すると判断する。

水平方向補間画素数決定部４０２は、倍率設定部１０２から出力される拡大倍率Ｎと水平方向輪郭線検出部４０１から出力される水平方向成分の輪郭線領域及び平坦領域とにより各領域の水平方向の拡大倍率Ｎ１を演算する。

垂直方向補間画素数決定部４０４は、倍率設定部１０２から出力される拡大倍率Ｎと垂直方向輪郭線検出部４０３から出力される垂直方向成分の輪郭線領域及び平坦領域とにより各領域の垂直方向の拡大倍率Ｎ１を演算する。

図３Ａ〜図３Ｄは、水平方向補間画素数決定部４０２または垂直方向補間画素数決定部４０４における拡大倍率Ｎ１の演算方法を説明するための図である。
図３Ａは、画像信号ｘ１に示される画像のある１ラインの１次元方向の各画素（横軸）の濃度値（縦軸）を示している。図３Ｂは、図３Ａに示す１ラインの各画素（横軸）において、隣接する２画素間の濃度値の差分ｄ１（縦軸）を示している。図３Ｃは、図３Ａに示す１ラインの各画素（横軸）において、図３Ｂに示す差分ｄ１の隣接する２値間の差分ｄ２（縦軸）を示している。図３Ｄは、図３Ａに示す１ラインの各画素（横軸）において、拡大倍率Ｎ１（縦軸）を示している。拡大倍率Ｎ１は、差分ｄ１、差分ｄ２、拡大倍率Ｎを用いて以下の数２の式で表すことができる。

なお、Ｃは正規化のための定数である。
図３Ｄにおいて領域ａは平坦領域であり、この領域ａでは拡大倍率Ｎと同じ拡大倍率Ｎ１で補間画素が生成される。領域ｂ及び領域ｃは何れも輪郭線領域であり、領域ｂでは拡大倍率Ｎよりも高い拡大倍率Ｎ１で補間画素が生成される。すなわち、領域ｂで生成される補間画素は、領域ａで生成される補間画素より多くなる。一方、領域ｃでは拡大倍率Ｎよりも低い拡大倍率Ｎ１で補間画素が生成される。すなわち、領域ｃで生成される補間画素は、領域ａで生成される補間画素より少なくなる。なお、領域ｂ及び領域ｃの各領域に属する画像信号ｘ１の画素（入力サンプル）の数が互いに等しくなるように領域ｂ及び領域ｃのそれぞれの区間が決定されるものとする。

図４は、画像補間部１０４の構成を示す機能ブロック図である。
図４に示す画像補間部１０４は、アドレス管理部８０１、補間演算部８０２、補間方法選択部８０３、及び補間データ選択部８０４により構成されている。

アドレス管理部８０１は、画像分離部１０３から出力される拡大倍率Ｎ１に基づいて、画像信号ｘ２の各画素の出力アドレスを決定する。
補間方法選択部８０３は、画像分離部１０３から出力される画像信号ｘ１（例えば、画像信号の種類（自然画、モノクロ画像など））に基づいて、補間演算部８０２で使用される補間方法を選択する。この補間方法選択部８０３を備えていることにより、輪郭線領域と平坦領域とでそれぞれ最適な補間方式を用いることができるので輪郭線付近の画質劣化を抑えることができるうえ、補間画素の生成のための演算を高速に行うことができる。

補間データ選択部８０４は、補間演算部８０２で補間画素を生成するときに使用される入力画素を選択する。
補間演算部８０２は、補間方法選択部８０３で選択された補間方法を使って補間データ選択部８０４で選択された入力画素に対応する補間画素をアドレス管理部８０１で決定された出力アドレスにおいて生成する。

図５Ａ〜図５Ｃは、画像補間部１０４の動作を説明するための図である。なお、説明を簡単にするため、画像信号ｘ１に示される画像を２倍にする場合、すなわち、拡大倍率Ｎ＝２の場合の画像補間部１０４の動作について説明する。また、図５Ａ〜図５Ｃにおいて、ｓ１、ｓ２、ｓ３、ｓ４、ｓ５、ｓ６は入力画素を表し、ｔ１、ｔ２、ｔ３、ｔ４、ｔ５、ｔ６、ｔ７、ｔ８、ｔ９は補間画素を表している。また、各入力画素のそれぞれの間の距離をｍとする。

図５Ａは、平坦領域である領域ａにおける入力画素と補間画素との関係を示す図である。図５Ｂは、輪郭線領域である領域ｂにおける入力画素と補間画素との関係を示す図である。図５Ｃは、輪郭線領域である領域ｃにおける入力画素と補間画素との関係を示す図である。

図５Ａにおいて、領域ａは平坦領域であり拡大倍率Ｎ１が拡大倍率Ｎと同じ２になるので、各入力画素の間に、それぞれ、２つの画素が入るように補間画素が生成される。すなわち、領域ａにおける補間画素の数は、領域ａにおける入力画素の数の２倍になる。

図５Ｂにおいて、領域ｂは輪郭線領域であり拡大倍率Ｎ＝２よりも大きな拡大倍率Ｎ１が使用される領域である。例えば、拡大倍率Ｎ１＝３となるとき、各入力画素の間に、それぞれ、３つの画素が入るように補間画素が生成される。すなわち、領域ｂにおける補間画素の数は、領域ｂにおける入力画素の数の３倍になる。

図５Ｃにおいて、領域ｃは輪郭線領域であり拡大倍率Ｎ＝２よりも小さい拡大倍率Ｎ１が使用される領域である。例えば、拡大倍率Ｎ１＝１となるとき、各入力画素の間に、それぞれ、１つの画素が入るように補間画素が生成される。すなわち、領域ｃにおける補間画素の数は、領域ｃにおける入力画素の数の１倍になる。

次に、図５Ａ、図５Ｂ、図５Ｃを用いて領域ａ、領域ｂ、領域ｃそれぞれにおける補間画素の生成位置（出力アドレス）について説明する。
まず、図５Ａにおいて入力画素ｓ１、ｓ２、ｓ３、ｓ４から補間画素ｔ１、ｔ２を生成する場合を考える。このとき、補間画素ｔ１の位置は、入力画素ｓ１に対して（１＋１／４）ｍの距離にあり、入力画素ｓ２に対して（１／４）ｍの距離にあり、入力画素ｓ３に対して（３／４）ｍの距離にあり、入力画素ｓ４に対して（１＋３／４）ｍの距離にある。また、補間画素ｔ２の位置は、入力画素ｓ１に対して（１＋３／４）ｍの距離にあり、入力画素ｓ２に対して（３／４）ｍの距離にあり、入力画素ｓ３に対して（１／４）ｍの距離にあり、入力画素ｓ４に対して（１＋１／４）ｍの距離にある。そして、これらの距離を上記数１の補間関数など所定の補間関数に代入し、その補間関数を求めることによって補間画素ｔ１、ｔ２の各濃度値を算出する。以下、同様にして補間画素ｔ３、ｔ４の各位置や各濃度値の算出に入力画素ｓ２、ｓ３、ｓ４、ｓ５を使用し、補間画素ｔ５、ｔ６の各位置や各濃度値の算出に入力画素ｓ３、ｓ４、ｓ５、ｓ６を使用する。すなわち、アドレス管理部８０１は、領域ａの拡大倍率Ｎ１や入力画素ｓ１〜ｓ６の各アドレスなどに基づいて、補間画素ｔ１〜ｔ６が等間隔になるように補間画素ｔ１〜ｔ６の各出力アドレスを決定する。また、補間演算部８０２は、入力画素ｓ１〜ｓ６の各濃度値や入力画素ｓ１〜ｓ６と補間画素ｔ１〜ｔ６とのそれぞれの相対距離などに基づいて、補間画素ｔ１〜ｔ６の各濃度値を算出する。

次に、図５Ｂにおいて入力画素ｓ１、ｓ２、ｓ３、ｓ４から補間画素ｔ１、ｔ２、ｔ３を生成する場合を考える。このとき、補間画素ｔ１の位置は、入力画素ｓ１に対して（１＋１／６）ｍの距離にあり、入力画素ｓ２に対して（１／６）ｍの距離にあり、入力画素ｓ３に対して（５／６）ｍの距離にあり、入力画素ｓ４に対して（１＋５／６）ｍの距離にある。また、補間画素ｔ２の位置は、入力画素ｓ１に対して（１＋１／２）ｍの距離にあり、入力画素ｓ２に対して（１／２）ｍの距離にあり、入力画素ｓ３に対して（１／２）ｍの距離にあり、入力画素ｓ４に対して（１＋１／２）ｍの距離にある。さらに、補間画素ｔ３の位置は、入力画素ｓ１に対して（１＋５／６）ｍの距離にあり、入力画素ｓ２に対して（５／６）ｍの距離にあり、入力画素ｓ３に対して（１／６）ｍの距離にあり、入力画素ｓ４に対して（１＋１／６）ｍの距離にある。そして、これらの距離を上記数１の補間関数など所定の補間関数に代入し、その補間関数を求めることによって補間画素ｔ１、ｔ２、ｔ３の各濃度値を算出する。以下、同様にして補間画素ｔ４、ｔ５、ｔ６の各位置や各濃度値の算出に入力画素ｓ２、ｓ３、ｓ４、ｓ５を使用し、補間画素ｔ７、ｔ８、ｔ９の各位置や各濃度値の算出に入力画素ｓ３、ｓ４、ｓ５、ｓ６を使用する。すなわち、アドレス管理部８０１は、領域ｂの拡大倍率Ｎ１や入力画素ｓ１〜ｓ６の各アドレスなどに基づいて、補間画素ｔ１〜ｔ９が等間隔になるように補間画素ｔ１〜ｔ９の各出力アドレスを決定する。また、補間演算部８０２は、入力画素ｓ１〜ｓ６の各濃度値や入力画素ｓ１〜ｓ６と補間画素ｔ１〜ｔ９とのそれぞれの相対距離などに基づいて、補間画素ｔ１〜ｔ９の各濃度値を算出する。

次に、図５Ｃにおいて入力画素ｓ１、ｓ２、ｓ３、ｓ４から補間画素ｔ１を生成する場合を考える。このとき、補間画素ｔ１の位置は、入力画素ｓ１に対して（１＋１／２）ｍの距離にあり、入力画素ｓ２に対して（１／２）ｍの距離にあり、入力画素ｓ３に対して（１／２）ｍの距離にあり、入力画素ｓ４に対して（１＋１／２）ｍの距離にある。これらの距離を上記数１の補間関数など所定の補間関数に代入し、その補間関数を求めることによって補間画素ｔ１、ｔ２、ｔ３の各濃度値を算出する。以下、同様にして補間画素ｔ２の位置や濃度値の算出に入力画素ｓ２、ｓ３、ｓ４、ｓ５を使用し、入力画素ｔ３の位置や濃度値の算出に入力画素ｓ３、ｓ４、ｓ５、ｓ６を使用する。すなわち、アドレス管理部８０１は、領域ｃの拡大倍率Ｎ１や入力画素ｓ１〜ｓ６の各アドレスなどに基づいて、補間画素ｔ１〜ｔ３が等間隔になるように補間画素ｔ１〜ｔ３の各出力アドレスを決定する。また、補間演算部８０２は、入力画素ｓ１〜ｓ６の各濃度値や入力画素ｓ１〜ｓ６と補間画素ｔ１〜ｔ３とのそれぞれの相対距離などに基づいて、補間画素ｔ１〜ｔ３の各濃度値を算出する。

なお、上記実施形態では、補間画素を生成するために、入力画素を４つずつ使用しているが、補間関数の設定の仕方に応じて補間画素を生成するための入力画素の数を変えるようにしてもよい。

図６は、画像補間部１０４の他の構成を示す機能ブロック図である。
図６に示す画像補間部１０４は、図４に示す画像補間部１０４に比べて、補間画素数補正部１１０１が追加されている点が異なる。

補間画素数補正部１１０１は、あらかじめ拡大倍率Ｎに応じたテーブルを備えており、画像分離部１０３から出力される拡大倍率Ｎ１と周辺の画素に対する拡大倍率Ｎ１との差分値を算出し、その差分値がテーブル上の値の範囲内である場合は画像分離部１０３から出力される拡大倍率Ｎ１をそのままアドレス管理部８０１へ出力し、範囲外である場合は同じテーブル上の所定の拡大倍率Ｎ１（画像分離部１０３から出力される拡大倍率Ｎ１よりも小さい拡大倍率Ｎ１）をアドレス管理部８０１へ出力する（クリッピング処理）。なお、補間画素数補正部１１０１は、上述では画像補間部１０４に備えられる構成であるが、画像分離部１０３に備えられてもよい。このように、補間画素数補正部１１０１を備えていることにより、補間画素数の変化をなめらかに制御することができるようになるので拡大画像の領域境界付近での不連続性を抑えることができるので高画質の拡大画像を得ることができる。

上述した本実施形態の画像処理装置１によれば、画像信号ｘ１に示される画像を輪郭線領域と平坦領域に分離し、それら領域毎に画素の濃度値の変化量に応じて拡大倍率Ｎ１を最適に変化させているので、輪郭線のぼけなどの画質劣化を生じさせることなく輪郭線情報を保持しながら拡大画像を得ることができる。

また、上述した本実施形態の画像処理装置１によれば、アドレス管理部８０１を備えているので、補間画素を拡大画像の所望な位置に出力することができる。これにより、輪郭線付近の補間画素が不連続になることを抑えることができるので、拡大画像中の輪郭線の再現性を向上させることができる。

図７は、本発明の他の実施形態の画像処理装置の全体構成を示す機能ブロック図である。
図７に示す画像処理装置２は、図１に示す画像処理装置１に比べて、画像分割部２０１と画像連結部２０２が追加されている点が異なる。なお、画像処理装置２における画像入力部１０１の動作は図１に示す画像処理装置１における画像入力部１０１の動作と同じであるため説明を省略する。

画像分割部２０１は、画像入力部１０１から出力される画像信号ｘ１に示される画像をあらかじめ決められた大きさに分割し、それら分割画像を画像分離部１０３へ出力する。
画像分離部１０３は、画像分割部２０１から出力される各分割画像をそれぞれ輪郭線領域と平坦領域に分離し、分離した輪郭線領域と平坦領域それぞれに対して倍率設定部１０２から出力される拡大倍率Ｎを基準にして拡大倍率Ｎ１を演算し、それら拡大倍率Ｎ１及び分割画像を画像補間部１０４へ出力する。

画像補間部１０４は、画像分離部１０３から出力される分割画像毎に、輪郭線領域と平坦領域においてそれぞれ画像分離部１０３から出力される拡大倍率Ｎ１に基づいて補間画素を生成して各分割画像の画像信号ｘ２を生成し画像結合部２０２へ出力する。

画像結合部２０２は、画像補間部１０４から出力される各分割画像のそれぞれの出力アドレスを決定し、それら分割画像を結合して１枚の画像を示す画像信号ｘ２を生成し画像記録部１０５へ出力する。

画像記録部１０５は、画像結合部２０２から出力される画像信号ｘ２を記録する。
図８は、画像分割部２０１の構成を示す機能ブロック図である。
図８に示す画像分割部２０１は、分割数算出部９０１及び分割画像生成部９０２により構成されている。

分割数算出部９０１は、入力画素の数を検出し、以降の処理系のメモリなどにあらかじめ記録されている画素単位に適合するように画像信号ｘ１に示される画像を分割するための分割数を算出する。

分割画像生成部９０２は、分割数算出部９０１により算出された分割数で画像信号ｘ１を分割して出力する。
図９は、画像結合部２０２の構成を示す機能ブロック図である。

図９に示す画像結合部２０２は、結合アドレス算出部１００１及び結合画像生成部１００２より構成されている。
結合アドレス算出部１００１は、画像補間部１０４から出力される各分割画像に基づいて、それら分割画像を１画面分の画像として出力するためのアドレスを決定する。

結合画像生成部１００２は、総合アドレス算出部１００１により決定されるアドレスに基づいて、分割画像から１画面分の画像を生成し画像信号ｘ２として画像記録部１０５へ出力する。

図１０は、画像処理装置２における分割処理及び結合処理を示す図である。なお、画像信号ｘ１に示される画像３０１が９つに分割される場合を説明する。
まず、画像分割部２０１により、画像３０１が分割画像３０２（１）〜分割画像３０２（９）に分割される。なお、分割画像３０２（１）〜分割画像３０２（９）は、それぞれ、重複領域３０３をもっており、その重複領域３０３の大きさは少なくともフィルタ演算をするときのフィルタサイズ分とする。

次に、画像結合部２０２により、拡大後の分割画像３０２（１）〜分割画像３０２（９）が順次結合されていき、１枚の出力画像３０４に結合される。このとき、各分割画像３０２は、それぞれ、所定の重複処理領域３０５が削除されて１枚の出力画像３０４に結合される。結合していく順番としては、分割画像３０２（１）、分割画像３０２（２）、分割画像３０２（３）、・・・、分割画像３０２（９）を順番に結合していくことが効率的である。

以上の構成により、演算に時間がかかる画像分離部１０３及び画像補間部１０４をそれぞれ複数用意することで画像分離部１０３及び画像補間部１０４のそれぞれの処理を並列化することができるようになるため、拡大処理を高速に行うことができるようになる。

図１１は、画像分離部１０３及び画像補間部１０４のそれぞれの処理を並列処理するための画像処理装置の機能ブロック図である。
図１１に示す画像処理装置３は、図７に示す画像処理装置２に比べて、同期制御部１２０１、複数の画像分離部、画像分離部（１）１２０２、画像分離部（２）１２０３、画像分離部（３）１２０４、画像分離部（４）１２０５、複数の画像補間部、画像補間部（１）１２０６、画像補間部（２）１２０７、画像補間部（３）１２０８、画像補間部（４）１２０９が存在する点が異なる。

図１１は４並列の場合を図示したもので画像分離部と画像補間部はそれぞれ４つ存在する。また、倍率設定部１０２の図示を省略している。
画像入力部１０１から出力される画像信号ｘ１に示される画像は画像分割部２０１であらかじめ決められた大きさに分割される。このとき、同期制御部１２０１は、画像分割部２０１を制御して、画像分割部２０１の出力を画像分離部（１）１２０２〜画像分離部（４）１２０５に割り振る。画像分離部（１）１２０２、画像分離部（２）１２０３、画像分離部（３）１２０４、画像分離部（４）１２０５では、それぞれ拡大倍率Ｎ１を設定し、画像補間部（１）１２０６、画像補間部（２）１２０７、画像補間部（３）１２０８、画像補間部（４）１２０９へ出力する。

各画像補間部は、輪郭線領域と平坦領域とにおいて、それぞれ、拡大倍率Ｎ１に基づいて各分割画像にそれぞれ対応する補間画素を生成し、画像結合部２０２へ出力する。このとき、同期制御部１２０１は、画像結合部２０２の処理を監視し、各分割画像が互いに結像され最終的に１枚の画像が生成されるのが確認されると次の画像信号ｘ１を処理するように各画像分離部を制御する。

このように処理時間がかかる画像分離部及び画像補間部のそれぞれの処理を並列化することで高価な高速処理回路を使用せずに、安価な回路を複数用いることができコストの低減を図ることができる。

また、このように構成する場合は、画像信号ｘ１に示される画像を小領域に分けて拡大処理することができるので、使用するメモリ量などを削減することができハード化時の回路規模の増大を抑制することができる。

また、このように構成する場合は、拡大処理を高速に行うことができるため、映像の拡大処理に対して有用である。
また、上述した本実施形態の画像処理方法は、ＣＰＵがプログラムやデータを主記憶装置にロードし実行することなどにより、プログラムとしてソフトウエア的に実現する。

また、上述した本実施形態の画像処理装置は、映像投影装置や映像表示装置に備えられてもよい。映像投影装置としては、例えば、透過型液晶プロジェクタ、ＬＣＯＳなどの反射型液晶プロジェクタ、ＤＭＤ素子を用いたＤＬＰプロジェクタ、ＬＥＤプロジェクタ、レーザスキャンプロジェクタ、ＣＲＴ投射型ディスプレイなどが考えられる。また、映像表示装置としては、有機ＥＬディスプレイ、プラズマディスプレイ、ＣＲＴディスプレイ、ＳＥＤディスプレイなどが考えられる。

本発明の実施形態の画像処理装置を示す図である。 画像分離部の構成を示す機能ブロック図である。 画像信号ｘ１に示される画像のある１ラインの１次元方向の各画素の色空間の値を示している。 図３Ａに示す１ラインの各画素において、隣接する２画素間の色空間の差分ｄ１を示している。 図３Ａに示す１ラインの各画素において、図３Ｂに示す差分ｄ１の隣接する２値間の差分ｄ２を示している。 図３Ａに示す１ラインの各画素において、拡大倍率Ｎ１を示している。 画像補間部の構成を示す機能ブロック図である。 平坦領域である領域ａにおける入力画素と補間画素との関係を示す図である。 輪郭線領域である領域ｂにおける入力画素と補間画素との関係を示す図である。 輪郭線領域である領域ｃにおける入力画素と補間画素との関係を示す図である。 画像補間部の他の構成を示す機能ブロック図である。 本発明の他の実施形態の画像処理装置の全体構成を示す機能ブロック図である。 画像分割部の構成を示す機能ブロック図である。 画像結合部の構成を示す機能ブロック図である。 画像処理装置における分割処理及び結合処理を示す図である。 画像分離部及び画像補間部のそれぞれの処理を並列処理するための画像処理装置の機能ブロック図である。 従来の画像処理方法を示す図である。

符号の説明

１ 画像処理装置
１０１ 画像入力部
１０２ 倍率設定部
１０３ 画像分離部
１０４ 画像補間部
１０５ 画像記録部
２０１ 画像分割部
２０２ 画像連結部
４０１ 水平方向輪郭線検出部
４０２ 水平方向補間画素数決定部
４０３ 垂直方向輪郭線検出部
４０４ 垂直方向補間画素数決定部
８０１ アドレス管理部
８０２ 補間演算部
８０３ 補間方法選択部
８０４ 補間データ選択部
１１０１ 補間画素数補正部
１２０１ 同期制御部
１２０２ 画像分離部（１）
１２０３ 画像分離部（２）
１２０４ 画像分離部（３）
１２０５ 画像分離部（４）
１２０６ 画像補間部（１）
１２０７ 画像補間部（２）
１２０８ 画像補間部（３）
１２０９ 画像補間部（４）

Claims (6)

1. 画像を拡大処理する画像処理装置において、
   基準の拡大倍率を設定する倍率設定手段と、
   入力画像を、その入力画像を構成する画素の濃度値の変化量が大きい輪郭線領域と、濃度値の変化量が小さい平坦領域とに分離すると共に、前記領域毎に前記基準の拡大倍率に基づいて前記入力画像の拡大処理に使用する拡大倍率を設定する画像分離手段と、
   前記画像分離手段により設定された拡大倍率に基づいて、前記領域毎に補間後の各画素が等間隔に並ぶように補間後の各画素の出力アドレスを決定するアドレス管理手段と、
   前記アドレス管理手段で決定された各出力アドレスにおいてそれぞれ補間画素を生成しそれら補間画素で構成される画像を前記入力画像の拡大画像として出力する補間演算手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記補間演算手段で生成される補間画素の数が所定値以上にならないように前記補間演算手段で生成される補間画素の数を制限する補間画素数補正手段を備える、
   ことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記入力画像を複数の画像に分割する画像分割手段と、
   前記補間演算手段で生成される補間画素により構成される複数の画像を結合する画像結合手段と、
   を備え、
   前記画像分離手段は、前記画像分割手段により分割された各画像をそれぞれ輪郭線領域と平坦領域に分離すると共に、前記画像分割手段により分割された画像毎に前記入力画像の拡大処理に使用する拡大倍率を設定し、
   前記アドレス管理手段は、前記画像分割手段により分割された画像毎に補間後の各画素の出力アドレスを決定し、
   前記補間演算手段は、前記画像分割手段により分割された画像毎に補間画素を生成する、
   ことを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置であって、
   前記領域毎に補間方法を選択する補間方法選択手段を備え、
   前記補間演算手段は、前記補間方法選択手段により選択された補間方法に基づいて前記補間画素を生成する、
   ことを特徴とする画像処理装置。
5. 画像を拡大処理する画像処理方法において、
   基準の拡大倍率を設定するステップと、
   入力画像を、その入力画像を構成する画素の濃度値の変化量が大きい輪郭線領域と、濃度値の変化量が小さい平坦領域とに分離すると共に、前記領域毎に前記基準の拡大倍率に基づいて前記入力画像の拡大処理に使用する拡大倍率を設定するステップと、
   前記入力画像の拡大処理に使用する拡大倍率に基づいて、前記領域毎に補間後の各画素が等間隔に並ぶように補間後の各画素の出力アドレスを決定するステップと、
   前記各出力アドレスにおいてそれぞれ補間画素を生成しそれら補間画素で構成される画像を前記入力画像の拡大画像として出力するステップと、
   を有することを特徴とする画像処理方法。
6. 画像を拡大処理するためにコンピュータを、
   基準の拡大倍率を設定する倍率設定手段、
   入力画像を、その入力画像を構成する画素の濃度値の変化量が大きい輪郭線領域と、濃度値の変化量が小さい平坦領域とに分離すると共に、前記領域毎に前記基準の拡大倍率に基づいて前記入力画像の拡大処理に使用する拡大倍率を設定する画像分離手段、
   前記画像分離手段により設定された拡大倍率に基づいて、前記領域毎に補間後の各画素が等間隔に並ぶように補間後の各画素の出力アドレスを決定するアドレス管理手段、
   前記アドレス管理手段で決定された各出力アドレスにおいてそれぞれ補間画素を生成しそれら補間画素で構成される画像を前記入力画像の拡大画像として出力する補間画演算手段、
   として機能させるための画像処理プログラム。