JP2019121062A - 画像拡大装置 - Google Patents

Abstract

【課題】補間の際に画像中の斜め方向の相関を考慮しつつ、画質の低下を招くような補間画素の生成を抑制した画像拡大装置を提供する。【解決手段】画像データが入力される入力手段１０と、補間対象位置の相関方向を判別する方向判別手段１１と、補間に用いる画素を複数選択し、選択した画素の相関方向を判別する画素選択手段１２と、補間対象位置に方向性補間による補間画素を生成する方向性補間手段１３と、補間対象位置に方向性補間以外の手法で補間画素を生成する算術補間手段１４と、補間対象位置の方向と、補間に用いる画素の位置の方向との差が、全て一定の設定範囲内である判別条件に合致する場合、方向性補間手段１３で生成された補間画素を選択し、判別条件に合致しない場合、算術補間手段１４で生成された補間画素を選択する選択手段１５と、選択手段１５で選択された補間画素を出力補間画素として出力する出力手段１６と、を有する【選択図】図１

Description

本発明は、入力画像に対して画素の補間を行い、拡大画像を出力する画像拡大装置に関する。

高解像度に対応した映像装置の普及に伴い、低解像度の映像を高解像度の映像に拡大する技術が求められている。低解像度の映像を高解像度の映像に拡大するため、映像装置には、映像を構成する画像の画素を補間して出力する画像拡大装置が設けられる。画像拡大装置は、入力された画像に対して、画素を補間する手法を適用して出力する。

画像拡大装置は、補間する画素の位置において、斜め方向に相関する方向を算出し、この相関方向に存在する画素を選択して補間を行うことがある。このような方向性補間を行う画像拡大装置として、例えば特許文献１に挙げるようなものがある。

特開２００４−１５３６６８号公報

方向性補間において、補間対象の画素の位置から相関する方向に存在する画素は、補間対象の画素から離れた位置に存在することが多い。このため、補間に用いる画素値が、補間対象の画素値と大きく異なっていることがある。その場合、生成された補間画素が、周囲の画素と大きく異なる画素値を有し、画質の低下を招く。

また、補間対象位置の周辺のパターンによっては、方向性補間で適切な補間ができない場合がある。このような条件下で方向性補間を行った場合も、周辺の画素と大きくかけ離れた画素を生成してしまい、画質を低下させることがある。

また、方向性補間においては、斜め方向の線を滑らかに接続することが、高画質化のためには必要である。従来の方向性補間では、補間対象位置で検出された相関方向に近い画素を選択して、補間に用いている。これに対して、より滑らかな斜め線の生成が求められている。

また、画像の中に文字が含まれている場合に、拡大時の文字の線に含まれる斜め線を、より滑らかにすることも求められている。

本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、補間の際に画像中の斜め方向の相関を考慮しつつ、画質の低下を招くような補間画素の生成を抑制した画像拡大装置を提供することにある。

上記課題を解決するために、本発明のある観点によれば、格子状に配列された多数の画素からなる画像データが入力され、該画像データに補間手法を適用して拡大画像データを出力する画像拡大装置において、画像データが入力される入力手段と、補間対象位置が周囲の画素と相関する方向を判別する方向判別手段と、前記方向判別手段で判別された方向に基づいて、補間に用いる画素を複数選択すると共に、選択した画素が周囲の画素と相関する方向を判別する画素選択手段と、前記画素選択手段で選択された画素を用いて、補間対象位置に方向性補間による補間画素を生成する方向性補間手段と、補間対象位置に方向性補間以外の手法で補間画素を生成する算術補間手段と、前記方向判別手段で判別された補間対象位置の方向と、前記画素選択手段で判別された補間に用いる画素の位置の方向との差が、全て一定の設定範囲内である判別条件に合致する場合、前記方向性補間手段で生成された補間画素を選択し、前記判別条件に合致しない場合、前記算術補間手段で生成された補間画素を選択する選択手段と、前記方向性補間手段で生成された補間画素と、前記算術補間手段で生成された補間画素のうち、前記選択手段で選択された補間画素を出力補間画素として出力する出力手段と、を有することを特徴とする画像拡大装置が提供される。

かかる構成によって、補間対象位置の相関方向と、方向性補間に用いる画素の相関方向との差が大きい場合に、算術補間画素が採用される。したがって、方向性補間で周囲と大きく異なる画素の生成を抑え、ノイズを低減できる。

また、前記方向判別手段及び画素選択手段で判別する方向は、基準となる画素から他の画素に対して、縦方向に離れた画素数を横方向に離れた画素数で除した指数値で表され、前記判別条件の設定範囲は、前記指数の範囲として設定されているようにしてもよい。これにより、判別条件を簡単に設定できると共に、方向の演算を簡易化することができる。

また、本発明の別の観点によれば、格子状に配列された多数の画素からなる画像データが入力され、該画像データに補間手法を適用して拡大画像データを出力する画像拡大装置において、画像データが入力される入力手段と、補間対象位置が周囲の画素と相関する方向を判別する方向判別手段と、前記方向判別手段で判別された方向に基づいて、補間に用いる画素を複数選択する画素選択手段と、前記画素選択手段で選択された画素を用いて、補間対象位置に方向性補間による補間画素を生成する方向性補間手段と、補間対象位置に方向性補間以外の手法で補間画素を生成する算術補間手段と、前記画素選択手段で選択された画素の画素値と、前記算術補間手段で生成された補間画素の画素値との差が、全て一定の設定範囲内である判別条件に合致する場合、前記方向性補間手段で生成された補間画素を選択し、前記判別条件に合致しない場合、前記算術補間手段で生成された補間画素を選択する選択手段と、前記方向性補間手段で生成された補間画素と、前記算術補間手段で生成された補間画素のうち、前記選択手段で選択された補間画素を出力補間画素として出力する出力手段と、を有することを特徴とする画像拡大装置が提供される。

かかる構成によって、方向性補間に用いる画素値と、補間対象位置に算術補間手法で生成された画素値との差が大きい場合に、算術補間画素が採用される。したがって、方向性補間で周囲と大きく異なる画素の生成を抑え、ノイズを低減できる。

また、本発明の別の観点によれば、格子状に配列された多数の画素からなる画像データが入力され、該画像データに補間手法を適用して拡大画像データを出力する画像拡大装置において、画像データが入力される入力手段と、補間対象位置が周囲の画素と相関する方向を判別する方向判別手段と、前記方向判別手段で判別された方向に基づいて、補間に用いる画素を複数選択する画素選択手段と、前記画素選択手段で選択された画素を用いて、補間対象位置に方向性補間による補間画素を生成する方向性補間手段と、補間対象位置に方向性補間以外の手法で補間画素を生成する算術補間手段と、前記入力手段に入力された画像データから、補間対象位置の周辺画素からなる参照領域を取り出し、該参照領域の複雑度を評価し、該複雑度が小さいと判断される場合、前記方向性補間手段で生成された補間画素を選択し、前記複雑度が大きいと判断される場合、前記算術補間手段で生成された補間画素を選択する選択手段と、前記方向性補間手段で生成された補間画素と、前記算術補間手段で生成された補間画素のうち、前記選択手段で選択された補間画素を出力補間画素として出力する出力手段と、を有することを特徴とする画像拡大装置が提供される。

かかる構成によって、補間対象画素の周辺の複雑度が大きい場合に、算術補間画素が採用される。したがって、方向性補間で周囲と大きく異なる画素の生成を抑え、ノイズを低減できる。

また、前記選択手段は、前記参照領域の画素値の最大値と最小値の差ＤＲと、前記参照領域の横方向に隣接する画素間の差分と、該算出した横方向の差分の絶対値の総和ＡｃｔＨと、前記参照領域の縦方向に隣接する画素間の差分と、該算出した縦方向の差分の絶対値の総和ＡｃｔＶと、を算出し、前記選択手段は、
ＡｃｔＨ＋ＡｃｔＶ＞［第１の設定値］×ＤＲとなる第１の条件と、
ＡｃｔＨ＞［第２の設定値］×ＤＲとなる第２の条件と、
ＡｃｔＶ＞［第２の設定値］×ＤＲとなる第３の条件と、
のいずれかに合致する場合、前記複雑度が高いと判断するようにしてもよい。これにより、参照領域の複雑度を容易に判別できる。

また、前記選択手段は、前記参照領域の画素値の最大値と最小値の差ＤＲと、前記参照領域の横方向に隣接する画素間の差分と、該算出した横方向の差分の絶対値の総和ＡｃｔＨと、前記参照領域の縦方向に隣接する画素間の差分と、該算出した縦方向の差分の絶対値の総和ＡｃｔＶと、を算出し、前記選択手段は、
ＡｃｔＨ＞［第３の設定値］、かつ、ＡｃｔＨ＋２×ＡｃｔＶ＞［第１の設定値］×ＤＲとなる第４の条件と、
ＡｃｔＶ＞［第４の設定値］、かつ、ＡｃｔＶ＋２×ＡｃｔＨ＞［第１の設定値］×ＤＲとなる第５の条件と、
のいずれかに合致する場合、前記複雑度が高いと判断するようにしてもよい。これにより、参照領域の複雑度を容易に判別できる。

また、前記選択手段は、前記補間対象位置の周辺から、横６画素、縦６画素の参照領域を取り出すようにしてもよい。これにより、複雑度の判別に必要十分な参照領域を取り出すことができる。

また、本発明の別の観点によれば、格子状に配列された多数の画素からなる画像データが入力され、該画像データに補間手法を適用して拡大画像データを出力する画像拡大装置において、画像データが入力される入力手段と、補間対象位置の方向を判別する方向判別手段と、前記方向判別手段で判別された方向に基づいて、補間に用いる画素を複数選択する画素選択手段と、前記画素選択手段で選択された画素を用いて、補間対象位置に方向性補間による補間画素を生成する方向性補間手段と、補間対象位置に方向性補間以外の手法で補間画素を生成する算術補間手段と、前記入力手段に入力された画像データから、補間対象位置の周辺画素からなる参照領域を取り出し、該参照手段における線分の終端の有無を検出し、該線分の終端が検出されない場合、前記方向性補間手段で生成された補間画素を選択し、前記線分の終端が検出された場合、前記算術補間手段で生成された補間画素を選択する選択手段と、前記方向性補間手段で生成された補間画素と、前記算術補間手段で生成された補間画素のうち、前記選択手段で選択された補間画素を出力補間画素として出力する出力手段と、を有することを特徴とする画像拡大装置が提供される。

かかる構成によって、補間対象位置の周辺に線分の終端が存在する場合に、算術補間画素が採用される。これにより、線分の終端付近で生じる相関方向の判別エラーによるノイズ発生を抑えることができる。

また、前記選択手段は、前記補間対象位置の周辺から、横３画素、縦３画素の判別領域を取り出し、該判別領域の画素値の最大値Ｍａｘと最小値Ｍｉｎの差ＤＲを算出し、前記判別領域について、各画素を［設定値］×ＤＲ＋Ｍｉｎの閾値を基準に画素値で区分して二分し、該二分した前記判別領域のパターンが、横３画素、縦３画素の領域内に線分の終端を有する複数のパターンのうちいずれか１つに該当する場合、線分の終端を検出するようにしてもよい。これにより、補間対象位置の周辺に線分の終端が存在するか否かを簡単に判別できる。

また、前記画素選択手段は、前記補間対象位置から前記方向判別手段で判別された方向に向かう線Ｌ１上に画素中心が存在する場合、線Ｌ１上の前記補間対象位置に最も近い２つの画素を選択し、前記線Ｌ１上に画素中心が存在しない場合、前記線Ｌ１と前記補間対象位置で直交する線Ｌ２と、前記線Ｌ１と平行でいずれかの画素中心を通る線のうち、前記線Ｌ１に最も近い線Ｌ３及び線Ｌ４との２つの交点を、それぞれ補間用点とし、各補間用点を補間する、前記線Ｌ３上の２つの画素と、前記線Ｌ４上の２つの画素とを選択し、前記方向性補間手段は、線Ｌ１上に画素中心が存在する場合、前記画素選択手段で選択された２つの画素から、前記補間対象位置に補間画素を生成し、前記線Ｌ１上に画素中心が存在しない場合、２つの前記補間用点について、それぞれ前記画素選択手段で選択された画素から補間された画素値を算出し、２つの前記補間用点の画素値から、バイリニア（Ｂｉ−Ｌｉｎｅａｒ）法により、前記補間対象位置に補間画素を生成するようにしてもよい。これによれば、方向性補間において、補間対象位置に近く、実際に存在する画素の画素値から、補間画素が生成される。この手法によって、斜め線を滑らかに表現できる。

また、前記画素選択手段は、前記補間対象位置から前記方向判別手段で判別された方向に向かう線Ｌ１上に画素中心が存在する場合、線Ｌ１上の前記補間対象位置に最も近い２つの画素を選択し、前記線Ｌ１上に画素中心が存在しない場合、前記線Ｌ１と前記補間対象位置で直交する線Ｌ２と、前記線Ｌ１と平行でいずれかの画素中心を通る線のうち、前記線Ｌ１に最も近い線Ｌ３及び線Ｌ４との２つの交点と、前記線Ｌ１に二番目に近い線Ｌ５及び線Ｌ６との２つの交点とを、それぞれ補間用点とし、各補間用点を補間する、前記線Ｌ３上の２つの画素と、前記線Ｌ４上の２つの画素と、前記線Ｌ５上の２つの画素と、前記線Ｌ６上の２つの画素とを選択し、前記方向性補間手段は、線Ｌ１上に画素中心が存在する場合、前記画素選択手段で選択された２つの画素から、前記補間対象位置に補間画素を生成し、前記線Ｌ１上に画素中心が存在しない場合、４つの前記補間用点について、それぞれ前記画素選択手段で選択された画素から補間された画素値を算出し、４つの前記補間用点の画素値から、バイキュービック（Ｂｉ−Ｃｕｂｉｃ）法により、前記補間対象位置に補間画素を生成するようにしてもよい。これによれば、方向性補間において、補間対象位置に近く、実際に存在する画素の画素値から、補間画素が生成される。この手法によって、斜め線を滑らかに表現できる。

また、前記入力手段に入力された画像データから、補間対象位置の周辺画素からなる判別用参照領域を取り出し、該判別用参照領域がグラフィック画像の領域であるか否かを判別するグラフィック領域判別手段をさらに有し、前記グラフィック領域判別手段で、前記判別用参照領域がグラフィック画像の領域と判別された場合、前記画素選択手段は、前記補間対象位置から前記方向判別手段で判別された方向に向かう線Ｌ１上に画素中心が存在する場合、線Ｌ１上の前記補間対象位置に最も近い２つの画素を選択し、前記線Ｌ１上に画素中心が存在しない場合、前記線Ｌ１と前記補間対象位置で直交する線Ｌ２と、前記線Ｌ１と平行でいずれかの画素中心を通る線のうち、前記線Ｌ１に最も近い線Ｌ３及び線Ｌ４との２つの交点を、それぞれ補間用点とし、各補間用点を補間する、前記線Ｌ３上の２つの画素と、前記線Ｌ４上の２つの画素とを選択し、前記方向性補間手段は、線Ｌ１上に画素中心が存在する場合、前記画素選択手段で選択された２つの画素から、前記補間対象位置に補間画素を生成し、前記線Ｌ１上に画素中心が存在しない場合、２つの前記補間用点について、それぞれ前記画素選択手段で選択された画素から補間された画素値を算出し、２つの前記補間用点の画素値から、バイリニア（Ｂｉ−Ｌｉｎｅａｒ）法により、前記補間対象位置に補間画素を生成し、前記グラフィック領域判別手段で、前記判別用参照領域がグラフィック画像の領域でないと判別された場合、前記画素選択手段は、前記補間対象位置から前記方向判別手段で判別された方向に向かう線Ｌ１上に画素中心が存在する場合、線Ｌ１上の前記補間対象位置に最も近い２つの画素を選択し、前記線Ｌ１上に画素中心が存在しない場合、前記線Ｌ１と前記補間対象位置で直交する線Ｌ２と、前記線Ｌ１と平行でいずれかの画素中心を通る線のうち、前記線Ｌ１に最も近い線Ｌ３及び線Ｌ４との２つの交点と、前記線Ｌ１に二番目に近い線Ｌ５及び線Ｌ６との２つの交点とを、それぞれ補間用点とし、各補間用点を補間する、前記線Ｌ３上の２つの画素と、前記線Ｌ４上の２つの画素と、前記線Ｌ５上の２つの画素と、前記線Ｌ６上の２つの画素とを選択し、
前記方向性補間手段は、線Ｌ１上に画素中心が存在する場合、前記画素選択手段で選択された２つの画素から、前記補間対象位置に補間画素を生成し、前記線Ｌ１上に画素中心が存在しない場合、４つの前記補間用点について、それぞれ前記画素選択手段で選択された画素から補間された画素値を算出し、４つの前記補間用点の画素値から、バイキュービック（Ｂｉ−Ｃｕｂｉｃ）法により、前記補間対象位置に補間画素を生成するようにしてもよい。これにより、グラフィック画像の領域では、斜め線にリンギング（Ｒｉｎｇｉｎｇ）を生じさせない手法により、方向性補間を行うことができる。

また、本発明の別の観点によれば、格子状に配列された多数の画素からなる画像データが入力され、該画像データに補間手法を適用して拡大画像データを出力する画像拡大装置において、画像データが入力される入力手段と、前記入力手段に入力された画像データの画素間に、自然画像用の第１の補間手法を適用した補間画素を生成する第１補間手段と、前記入力手段に入力された画像データの画素間に、文字線用の第２の補間手法を適用した補間画素を生成する第２補間手段と、前記入力手段に入力された画像データから、補間対象位置の周辺画素からなる参照領域を取り出し、該参照領域の画素値のヒストグラムを算出し、該ヒストグラムが２値でない場合は前記第１の補間手法を選択し、前記ヒストグラムが２値である場合は前記第２の補間手法を選択する選択手段と、前記選択手段の選択に基づいて、前記第１補間手段で挿入される補間画素と、前記第２補間手段で挿入される補間画素のいずれかを、出力補間画素として出力する出力手段と、を有し、前記第２補間手段は、前記参照領域の画素の最大値Ｍａｘと最小値Ｍｉｎ及び平均値Ａｖｅを算出し、Ｍａｘ−Ａｖｅ＞Ａｖｅ−Ｍｉｎの判別条件を満たす場合、前記参照領域の画素値の大きい部分を文字線領域と判別し、前記判別条件を満たさない場合、前記参照領域の画素値の小さい部分を文字線領域と判別し、前記参照領域の文字線領域のパターンに応じた補間画素を生成することを特徴とする画像拡大装置が提供される。

かかる構成によって、画像中の文字線を滑らかに拡大することができる。

また、前記第２補間手段は、一定の大きさの領域における文字線のパターンと、前記文字線を拡大したパターンとを関連付けて記憶するパターン記憶部を有し、前記第２補間手段は、前記補間対象位置の周辺画素を取り出して、前記パターン記憶部の前記文字線領域のパターンに合致する場合、対応する前記文字線を拡大したパターンに従って補間画素を生成するようにしてもよい。これにより、文字線のパターンに合わせて滑らかな線とすることができる。

本発明によれば、補間対象位置の周辺の画素値に応じて補間手法を切替えることで、方向性補間によるノイズ発生を抑え、高画質な拡大画像を得ることができる。

本発明の第１の実施形態に係る画像拡大装置の構成を示すブロック図である。 画像データに含まれる画素と、補間対象位置との配置関係を表した図である。 特定の画素を基準とした方向であって、規格化された方向を表す図である。 補間対象位置の相関方向に画素中心が存在する場合の選択画素の説明図である。 補間対象位置の相関方向に画素中心が存在しない場合の選択画素の説明図である。 補間画素出力のフローチャートである。 第２の実施形態に係る画像拡大装置の構成を示すブロック図である。 第２の実施形態における補間画素出力のフローチャートである。 第３の実施形態に係る画像拡大装置の構成を示すブロック図である。 第３の実施形態における補間画素出力のフローチャートである。 第３の実施形態において、参照領域に対し行う演算の内容を表した説明図である。 第４の実施形態における補間画素出力のフローチャートである。 参照領域と判別領域の関係を表した説明図である。 線分の終端を有する判別領域のパターンを表した説明図である。 第５の実施形態において、補間対象位置の相関方向に画素中心が存在しない場合の選択画素の説明図である。 第６の実施形態に係る画像拡大装置の構成を示すブロック図である。 第７の実施形態に係る画像拡大装置の構成を示すブロック図である。 第７の実施形態における補間画素出力のフローチャートである。 拡大前の文字線と単純に拡大した文字線及びパターンを適応した文字線の説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜１．第１の実施形態＞
［画像拡大装置の構成］
まず、図１を参照して、本発明の第１の実施形態に係る画像拡大装置１の構成について説明する。画像拡大装置１には、格子状に配列された多数の画素からなる画像データが入力される。画像拡大装置１は、入力された画像データの各画素間に補間画素を挿入し、拡大画像データを出力する。

画像拡大装置１は、画像データを含む入力信号が入力される入力手段１０を有している。また、画像拡大装置１は、入力手段１０に入力された画像データを読み込んで処理を行う方向判別手段１１と、画素選択手段１２と、算術補間手段１４とを有している。方向判別手段１１は、補間対象位置が周囲の画素と相関する方向を判別する。画素選択手段１２は、方向性補間に必要な画素を選択する。方向性補間に必要な画素は、方向判別手段１１で判別された方向に基づいて選択される。画素選択手段１２は、画素の選択に加えて、選択した画素の位置における相関方向を判別する。算術補間手段１４は、方向性補間以外の手法で、補間対象位置に補間画素を生成する。算術補間手段１４で用いる補間手法は、任意の手法を採用できる。例えば、バイリニア（Ｂｉ−Ｌｉｎｅａｒ）法、バイキュービック（Ｂｉ−Ｃｕｂｉｃ）法、ランツォシュ（Ｌａｎｃｚｏｓ）法などを用いることができる。

また、画像拡大装置１は、方向性補間手段１３を有している。方向性補間手段１３は、方向判別手段１１で判別された方向と、画素選択手段１２で選択された画素から、方向性補間による画素を生成する。画像拡大装置１は、方向性補間手段１３で生成された補間画素と、算術補間手段１４で生成された補間画素のいずれかを選択する選択手段１５を有する。選択手段１５は、方向判別手段１１で判別された補間対象位置の方向と、画素選択手段１２で判別された画素位置の方向に基づいて、選択を行う。画像拡大装置１は、選択手段１５で選択された補間画素を出力する出力手段１６を有している。

［補間画素の配置］
画像拡大装置１は、画像データに含まれる全ての画素について、補間画素をそれぞれ挿入し、拡大画像データを生成する。図２を参照して、補間画素の配置関係について説明する。本実施形態では、入力された画像データを、横方向と縦方向にそれぞれ２倍に拡大するものとする。

画素Ａについての補間画素は、画素Ａと画素Ｂとの間である補間対象位置ａ１と、画素Ａと画素Ｃとの間である補間対象位置ａ２と、画素Ａと画素Ｄとの間である補間対象位置ａ３に、それぞれ生成される。補間対象位置ａ１は、左右に並んだ画素Ａと画素Ｂとに対し横方向に隣接する。補間対象位置ａ２は、上下に並んだ画素Ａと画素Ｃとに対し縦方向に隣接する。補間対象位置ａ３は、周囲の画素Ａ、画素Ｂ、画素Ｃ、及び画素Ｄに対し斜め方向に隣接する。

［方向性補間手法］
次に、方向性補間の手法につき説明する。方向性補間は、画像データから相関する方向を判別し、当該方向と平行な方向から補間のための画素を選択する。これにより、画像の拡大に伴うエッジ（Ｅｄｇｅ）の不鮮明化を抑制できる。補間対象位置における相関方向の判別手法としては、ゾーベルフィルタ（Ｓｏｂｅｌ ｆｉｌｔｅｒ）を用いることができる。ただし、方向性の判別手法はこれに限られず、例えばプレヴィットフィルタ（Ｐｒｅｗｉｔｔ ｆｉｌｔｅｒ）など他の手法でもよい。

方向性補間を行う際には、補間に用いる画素を選択するために相関方向の情報が必要である。画像データの画素は、縦横に一定の間隔で並んでいるので、画素の選択に必要な角度情報は、画素の配置を基準に規格化できる。図３に示されているように、画素Ａを基準として、横方向に１画素、縦方向に１画素離れた画素Ｐ１に向かう方向を「１」とする。画素Ａを基準として、横方向に２画素、縦方向に３画素離れた画素Ｐ２に向かう方向は「２／３」である。同様に、画素Ａから画素Ｐ３に向かう方向は「２」、画素Ａから画素Ｐ４に向かう方向は「５／２」である。さらに、画素Ａから画素Ｐ５に向かう方向は「３」、画素Ａから画素Ｐ６に向かう方向は「４」、画素Ａから画素Ｐ７に向かう方向は「５」である。画素Ａから水平な方向から、方向「１」までの角度範囲は、これらの数値の逆数で表される。また、これまで説明した方向は、第１象限及び第３象限に向かう方向である。これに対し、第２象限及び第４象限に向かう方向は、負の方向として表される。

方向性補間手法につき、図４、図５を参照して説明する。前述のように、方向判別手段１１は、補間対象位置における相関方向を判別する。図４は、方向判別手段１１で判別された方向が、方向「２」の場合を示している。この例では、補間対象位置ａ１から相関方向に向かう線Ｌ１上には、画素Ｃ及び画素Ｃ’の中心位置が存在する。線Ｌ１上に画素中心が存在する場合、画素選択手段１２は、線Ｌ１上の補間対象位置ａ１に最も近い２つの画素を選択する。この選択された２つの画素に基づき、方向性補間手段１３は、補間対象位置ａ１に補間画素を生成する。補間画素の生成法として、例えばバイリニア法を用いることができる。ただし、それ以外の手法を用いてもよい。

また、線Ｌ１上には、補間対象位置ａ１から２番目に近い画素Ｅ、画素Ｅ’も存在している。画素選択手段１２は、画素Ｃ、画素Ｃ’に加えて、画素Ｅ、画素Ｅ’も選択することができる。４画素が選択された場合、方向性補間手段１３は、４画素を用いた補間手法、例えばバイキュービック法などを用いることができる。

図５は、方向判別手段１１で判別された方向が、方向「３」の場合を示している。この例では、補間対象位置ａ１から相関方向に向かう線Ｌ１上には、画素の中心位置が存在しない。この場合、さらに、線Ｌ１の法線である線Ｌ２を引く。次に、線Ｌ１に平行な線であって、他の画素の中心位置を通る線を引く。このような線は複数存在する。そのうち、線Ｌ１に最も近いものとして、画素Ｅ及び画素Ｅ’の中心を通る線Ｌ３と、画素Ｃ及び画素Ｃ’の中心を通る線Ｌ４を引く。線Ｌ３と線Ｌ２の交点を、補間用点ｑ１とする。補間用点ｑ１の画素値は、画素Ｅと画素Ｅ’の画素値から算出される。また、線Ｌ４と線Ｌ２の交点を、補間用点ｑ２とする。補間用点ｑ２の画素値は、画素Ｃと画素Ｃ’の画素値から算出される。各補間用点の算出には、バイリニア法が用いられる。その上で、補間用点ｑ１，ｑ２の２点から、バイリニア法により、補間対象位置ａ１の画素を生成する。なお、その他の相関方向、補間対象位置の場合にも、同様に２点の補間用点が算出され、バイリニア法で補間画素が生成される。

［補間画素出力手順］
図６を参照して、本実施形態における補間画素の出力手順について説明する。まず、方向判別手段１１が、補間対象位置における相関方向を判別する。（Ｓ１−１）。次に、方向判別手段１１で判別した方向に基づいて、画素選択手段１２が補間に用いる画素を選択する（Ｓ１−２）。画素の選択は、先に説明した通りに行われる。

補間に用いる画素が選択されたら、方向性補間手段１３は、方向性補間画素を生成する（Ｓ１−３）。また、画素選択手段１２は、選択した画素の相関方向を判別する（Ｓ１−４）。相関方向は、選択された画素の全てについて判別される。方向性補間とは別に、算術補間手段１４では、算術補間の手法により、補間対象位置に補間画素が生成される（Ｓ１−５）。

次に、Ｓ１−１で判別された方向と、Ｓ１−４で判別された方向とが、判別条件に合致するか否かが判別される（Ｓ１−６）。判別条件は、Ｓ１−１で判別された方向と、Ｓ１−４で判別された方向との差が、全て一定の設定範囲内となることである。設定範囲は、プラス方向の角度差と、マイナス方向の角度差により設定できる。角度差は、前述の規格化された角度で設定される。例えば、設定範囲は、角度差が−１〜＋１の範囲とすることができる。ただし、設定範囲は任意に設定することができる。設定範囲を広くすると、方向性補間を用いる割合が大きくなり、斜め線をより滑らかにすることができる。一方で、補間エラーによるノイズ（Ｎｏｉｓｅ）の発生も増大する。設定範囲を狭くすると、ノイズの発生は抑えられるが、斜め線のジャギー（Ｊｕｇｇｙ）が増加する。

Ｓ１−６で判別条件に合致する場合、選択手段は方向性補間を選択し、出力手段１６は方向性補間画素を出力する（Ｓ１−７）。Ｓ１−６で判別条件に合致しない場合、選択手段は算術補間を選択し、出力手段１６は算術補間画素を出力する（Ｓ１−８）。

方向性補間は、生成された補間画素が周囲の画素と大きく異なる画素値となることで、ノイズを生じることがある。補間に用いる画素の方向が、補間対象位置の方向と大きく異なる場合に、このノイズを生じることが多い。ここまで説明したように、本実施形態の画像拡大装置１は、補間対象位置の方向と、補間に用いる画素の方向とを比較する。そして、画像拡大装置１は、方向差が大きい場合には、方向性補間以外の手法で生成された補間画素を出力する。これにより、方向性補間時におけるノイズの発生を抑え、高画質な拡大画像を得ることができる。

＜２．第２の実施形態＞
［画像拡大装置の構成］
次に、第２の実施形態について説明する。図７に示すように、第２の実施形態の画像拡大装置２０は、入力信号が入力される入力手段２１を有している。入力手段２１からの画像データは、方向判別手段２２と画素選択手段２３及び算術補間手段２４に送られる。方向判別手段２２では、補間対象位置の相関方向が判別される。画素選択手段２３では、方向性補間に用いる画素を選択する。算術補間手段２４では、方向性補間以外の手法により、補間画素を生成する。本実施形態における相関方向の判別や画素選択、算術補間の手法は、第１の実施形態と同様である。

方向性補間手段２５は、方向判別手段２２で判別された方向と、画素選択手段２３で選択された画素から、方向性補間による補間画素を生成する。方向性補間の手法は、第１の実施形態と同様である。

選択手段２６は、画素選択手段２３で選択された画素の画素値と、算術補間手段２４で生成された画素の画素値とを比較する。選択手段２６は、比較する画素値の差が、全て一定の設定範囲内となる判別条件に合致する場合、方向性補間による補間画素を選択する。また、選択手段２６は、比較する画素値の差が判別条件に合致しない場合、算術補間による補間画素を選択する。判別条件の設定範囲は、任意に設定することができる。設定範囲を広くすると、方向性補間を用いる割合が大きくなり、斜め線をより滑らかにすることができる。一方で、補間エラーによるノイズの発生も増大する。設定範囲を狭くすると、ノイズの発生は抑えられるが、斜め線のジャギーが増加する。

［補間画素出力手順］
図８を参照して、本実施形態における補間画素の出力手順について説明する。まず、方向判別手段２２が、補間対象位置における相関方向を判別する。（Ｓ２−１）。次に、方向判別手段２２で判別した方向に基づいて、画素選択手段２３が補間に用いる画素を選択する（Ｓ２−２）。Ｓ２−１で判別された方向と、Ｓ２−２で選択された画素から、方向性補間手段２５は補間画素を生成する。（Ｓ２−３）。また、算術補間手段２４も、補間画素を生成する（Ｓ２−４）。

次に、選択手段２６は、画素選択手段２３で選択された複数の画素と、算術補間手段２４で生成された補間画素について、前述の判別条件に合致するか否かを判別する（Ｓ２−５）。各画素が判別条件に合致する場合、選択手段２６は方向性補間による補間画素を選択し、出力手段２７から出力される（Ｓ２−６）。また、各画素が判別条件に合致しない場合、選択手段２６は算術補間による補間画素を選択し、出力手段２７から出力される（Ｓ２−７）。

方向性補間では、補間に用いる画素の画素値が、補間対象位置周辺の画素値と大きく異なる場合に、ノイズを生じることが多い。ここまで説明したように、本実施形態の画像拡大装置２０は、補間に用いる画素の画素値と、算術補間による補間対象位置の画素値とを比較する。そして、画像拡大装置２０は、画素値の差が大きい場合には、方向性補間以外の手法で生成された補間画素を出力する。これにより、方向性補間時におけるノイズの発生を抑え、高画質な拡大画像を得ることができる。

＜３．第３の実施形態＞
［画像拡大装置の構成］
次に、第３の実施形態について説明する。図９に示すように、第３の実施形態の画像拡大装置３０は、入力信号が入力される入力手段３１を有している。入力手段３１からの画像データは、方向判別手段３２と画素選択手段３３と算術補間手段３４及び選択手段３６に送られる。方向判別手段３２では、補間対象位置の相関方向が判別される。画素選択手段３３では、方向性補間に用いる画素を選択する。算術補間手段３４では、方向性補間以外の手法により、補間画素を生成する。本実施形態における相関方向の判別や画素選択、算術補間の手法は、第１の実施形態と同様である。

選択手段３６は、画像データから補間対象位置の周辺画素からなる参照領域を取り出し、参照領域の複雑度を評価する。選択手段３６は、参照領域の複雑度が小さい場合は、方向性補間による補間画素を選択する。一方、選択手段３６は、参照領域の複雑度が大きい場合は、算術補間による補間画素を選択する。複雑度の評価については後で詳述する。

方向性補間手段３５は、方向判別手段３２で判別された方向と、画素選択手段３３で選択された画素から、方向性補間による補間画素を生成する。方向性補間の手法は、第１の実施形態と同様である。

［補間画素出力手順］
図１０を参照して、本実施形態における補間画素の出力手順について説明する。まず、方向判別手段３２が、補間対象位置における相関方向を判別する。（Ｓ３−１）。次に、方向判別手段３２で判別した方向に基づいて、画素選択手段３３が補間に用いる画素を選択する（Ｓ３−２）。Ｓ３−１で判別された方向と、Ｓ３−２で選択された画素から、方向性補間手段３５は補間画素を生成する。（Ｓ３−３）。また、算術補間手段３４も、補間画素を生成する（Ｓ３−４）。

選択手段３６は、画像データから補間対象位置の周辺画素からなる参照領域を取り出す（Ｓ３−５）。参照領域は、図１１に示すように、横６画素、縦６画素の正方形の領域である。次に、選択手段３６は、取り出した参照領域の複雑度を評価する（Ｓ３−６）。参照領域の複雑度を評価するため、選択手段３６は、参照領域の画素値の最大値と最小値の差ＤＲを算出する。また、図１１（ａ）に示すように、選択手段３６は、参照領域の横方向に隣接する画素間の差分をそれぞれ算出し、算出した差分の絶対値の総和ＡｃｔＨを算出する。さらに、図１１（ｂ）に示すように、選択手段３６は、参照領域の縦方向に隣接する画素間の差分をそれぞれ算出し、算出した差分の絶対値の総和ＡｃｔＶを算出する。

選択手段３６は、算出した値が、以下に示す第１〜５の条件を満たすか否かを判別する。各条件中、α１、α２、α３、α４は、それぞれ一定の設定値である。設定値は、任意に設定することができる。これら５つの条件のうち、いずれか１つが合致する場合、選択手段３６は参照領域の複雑度が大きいと評価する。これら５つの条件のいずれにも合致しない場合は、選択手段３６は参照領域の複雑度が低いと評価する。
第１の条件：ＡｃｔＨ＋ＡｃｔＶ＞α１×ＤＲ
第２の条件：ＡｃｔＨ＞α２×ＤＲ
第３の条件：ＡｃｔＶ＞α２×ＤＲ
第４の条件：ＡｃｔＨ＞α３、かつ、ＡｃｔＨ＋２×ＡｃｔＶ＞α１×ＤＲ
第５の条件：ＡｃｔＶ＞α４、かつ、ＡｃｔＶ＋２×ＡｃｔＨ＞α１×ＤＲ

選択手段３６は、参照領域の複雑度が小さいか否かを判別する（Ｓ３−７）。参照領域の複雑度が小さければ、選択手段３６は方向性補間による補間画素を選択し、出力手段３７から出力される（Ｓ３−８）。また、参照領域の複雑度が大きければ、選択手段３６は算術補間による補間画素を選択し、出力手段３７から出力される（Ｓ３−９）。

方向性補間では、補間対象位置の周辺が一定以上の複雑さを有している場合に、ノイズを生じることが多い。ここまで説明したように、本実施形態の画像拡大装置３０は、補間対象位置周辺の複雑度を評価する。そして、画像拡大装置３０は、複雑度が大きい場合には、方向性補間以外の手法で生成された補間画素を出力する。これにより、複雑度の高い領域におけるノイズの発生を抑え、高画質な拡大画像を得ることができる。

＜４．第４の実施形態＞
［画像拡大装置の構成］
次に、第４の実施形態について説明する。本実施形態の画像拡大装置３０の構成は、第３の実施形態と同様であるが、選択手段３６の動作が異なる。選択手段３６による補間画素の選択については、後で詳述する。

［補間画素出力手順］
図１２を参照して、本実施形態における補間画素の出力手順について説明する。まず、方向判別手段３２が、補間対象位置における相関方向を判別する。（Ｓ４−１）。次に、方向判別手段３２で判別した方向に基づいて、画素選択手段３３が補間に用いる画素を選択する（Ｓ４−２）。Ｓ４−１で判別された方向と、Ｓ４−２で選択された画素から、方向性補間手段３５は補間画素を生成する。（Ｓ４−３）。また、算術補間手段３４も、補間画素を生成する（Ｓ４−４）。

選択手段３６は、画像データから補間対象位置の周辺画素からなる参照領域を取り出す（Ｓ４−５）。参照領域は、図１３に示すように、横６画素、縦６画素の正方形の領域である。選択手段３６は、参照領域からさらに横３画素、縦３画素の判別領域Ｒを取り出す。図１３の判別領域Ｒは、参照領域の左上端の画素を含んでいる。判別領域は、図１３に示す判別領域Ｒから右側に向かって１画素分ずつずらした４領域も取り出される。また、これらの４領域をそれぞれ下側に向かって１画素分ずつずらした領域も取り出される。これにより、判別領域は計１６領域取り出される。

次に、選択手段３６は、参照領域から取り出した判別領域毎に、線分の終端の有無を判別する。判別領域における線分の終端の有無は、判別領域について、予め設定された領域のパターンに合致するか否かで判別される。領域のパターンは、図１４に示されている。この図では、白抜きの画素が、線分の部分である。横３画素、縦３画素の領域で、線分の終端が存在するパターンは、領域の中心の画素と、周辺８画素のいずれか１つの画素とが、線分を構成する場合である。したがって、図１４に示す８パターンとなる。

設定された領域のパターンは、２値のパターンなので、判別領域も２値に区分する。このため、選択手段３６は、判別領域の画素値の最大値Ｍａｘと最小値Ｍｉｎの差ＤＲを算出し、判別領域について、各画素をＤＲ／２＋Ｍｉｎの閾値を基準に画素値で区分して二分する。これによって２値に区分された判別領域について、選択手段３６は、図１４のパターンのいずれかに合致するか否かを判別する。選択手段３６は、判別領域のいずれか１つが、図１４に示すパターンのいずれかに合致する場合、参照領域に線分の終端が存在すると判別する。

選択手段３６は、Ｓ４−６の終端判別の結果、終端無しと判別したら（Ｓ４−７）、方向性補間による補間画素を選択する。そして、方向性補間による補間画素が出力手段３７から出力される（Ｓ４−８）。また、選択手段３６は、Ｓ４−６の終端判別の結果、終端有りと判別したら（Ｓ４−７）、算術補間による補間画素を選択する。そして、算術補間による補間画素が出力手段３７から出力される（Ｓ４−９）。

方向性補間では、線分の終端が存在する場合には、相関方向の判別が正常に行われない可能性が高い。ここまで説明したように、本実施形態の画像拡大装置３０は、補間対象位置周辺における線分の終端の有無を判別する。そして、画像拡大装置３０、線分の終端が存在する場合は、方向性補間以外の手法で生成された補間画素を出力する。これにより、線分の終端位置付近でのノイズの発生を抑え、高画質な拡大画像を得ることができる。

＜５．第５の実施形態＞
次に、第５の実施形態に係る画像拡大装置１について説明する。本実施形態の画像拡大装置１の構成は、第１の実施形態と同じである。本実施形態の画像拡大装置１は、方向性補間の手法において、第１の実施形態と異なっている。

本実施形態における方向性補間手法につき説明する。方向判別手段１１は、補間対象位置における相関方向を判別する。補間対象位置から判別された方向に向かう線上に、画素の中心位置が存在する場合、画素選択手段１２は、第１の実施形態と同様、その画素を選択する。方向性補間手段１３は、画素選択手段１２で選択された画素に基づき、補間対象位置に補間画素を生成する。補間画素の生成法として、例えばバイリニア法、バイキュービック法などを用いることができる。ただし、それ以外の手法を用いてもよい。

補間対象位置から判別された方向に向かう線上に、画素の中心位置が存在しない場合について、図１５を参照して説明する。この例では、補間対象位置ａ１の方向が方向「３」であるものとする。

まず、補間対象位置ａ１を通る方向「３」の線Ｌ１と、この線Ｌ１の法線である線Ｌ２を引く。次に、線Ｌ１に平行な線であって、他の画素の中心位置を通る線を引く。このような線は複数存在する。そのうち、線Ｌ１に最も近いものとして、画素Ｅ及び画素Ｅ’の中心を通る線Ｌ３と、画素Ｃ及び画素Ｃ’の中心を通る線Ｌ４を引く。線Ｌ３と線Ｌ２の交点を、補間用点ｑ１とする。補間用点ｑ１の画素値は、画素Ｅと画素Ｅ’の画素値から算出される。また、線Ｌ４と線Ｌ２の交点を、補間用点ｑ２とする。補間用点ｑ２の画素値は、画素Ｃと画素Ｃ’の画素値から算出される。線Ｌ３や線Ｌ４の次に線Ｌ１に近いものとして、画素Ｆ及び画素Ｆ’の中心を通る線Ｌ５と、画素Ｇ及び画素Ｇ’の中心を通る線Ｌ６とを引く。線Ｌ５と線Ｌ２の交点を、補間用点ｑ３とする。補間用点ｑ３の画素値は、画素Ｆと画素Ｆ’の画素値から算出される。また、線Ｌ６と線Ｌ２の交点を、補間用点ｑ４とする。補間用点ｑ４の画素値は、画素Ｇと画素Ｇ’の画素値から算出される。各補間用点の算出には、バイリニア法が用いられる。

その上で、補間用点ｑ１，ｑ２，ｑ３，ｑ４の４点から、バイキュービック法により、補間対象位置ａ１の画素を生成する。このように、補間対象位置で検出された相関方向において、実際に存在する画素を用いて４つの補間用点の画素値を算出している。これにより、バイキュービック法を用いた補間画素の生成を行うことができる。補間画素の生成にバイキュービック法を用いることにより、先鋭度の高い斜め線を生成することができる。なお、その他の相関方向、補間対象位置の場合にも、同様に４点の補間用点が算出され、バイキュービック法で補間画素が生成される。

＜６．第６の実施形態＞
次に、第６の実施形態に係る画像拡大装置４０について説明する。第１の実施形態で説明した方向性補間手法は、バイリニア法を用いている。以下、この手法を第１方向性補間手法という。第５の実施形態で説明した方向性補間手法は、バイキュービック法を用いている。以下、この手法を第２方向性補間手法という。第１方向性補間手法は、斜め線が滑らかでリンギング（Ｒｉｎｇｉｎｇ）を生じにくい補間手法である。一方で、第１方向性補間手法は、斜め線の先鋭感が乏しい。第２方向性補間手法は、斜め線に先鋭感を持たせることができる。一方で、第２方向性補間手法は、リンギングを生じやすい。第１方向性補間手法は、ＰＣの画像などグラフィック（Ｇｒａｐｈｉｃ）画像に適している。第２方向性補間手法は、自然画像に適している。本実施形態では、補間対象位置における画像の種類に応じて、方向性補間手法を切替える。

［画像拡大装置の構成］
図１６に示すように、本実施形態の画像拡大装置４０は、入力信号が入力される入力手段４１を有している。入力手段４１からの画像データは、方向判別手段４２と画素選択手段４３とグラフィック領域判別手段４６及び算術補間手段４８に送られる。方向判別手段４２では、補間対象位置の相関方向が判別される。画素選択手段４３では、方向性補間に用いる画素を選択する。算術補間手段４８では、方向性補間以外の手法により、補間画素を生成する。本実施形態における相関方向の判別や算術補間の手法は、第１の実施形態と同様である。画素選択手段４３で選択される画素は、第１方向性補間手法に必要な画素と、第２方向性補間手法に必要な画素である。

画像拡大装置４０は、第１方向性補間手段４４と第２方向性補間手段４５を有している。第１方向性補間手段４４は、第１方向性補間手法により補間画素を生成する。第２方向性補間手段４５は、第２方向性補間手法により補間画素を生成する。

グラフィック領域判別手段４６は、補間対象位置の周辺画素を参照領域として取り出す。グラフィック領域判別手段４６は、参照領域が一定の判別条件に合致する場合、補間対象位置がグラフィック画像の領域と判別する。参照領域は、横６画素、縦６画素の領域とされる。判別条件は、参照領域の画素のうち、予め設定された数以上の画素が、同一であることである。設定される数は４であり、同一であることは、画素値が一定の範囲内であるか否かによって判別される。すなわち、横６画素、縦６画素の領域で４つ以上、同一の画素が存在する場合、補間対象位置がグラフィック画像の領域と判別される。参照領域が判別条件に合致しない場合、補間対象位置が自然画像の領域と判別される。判別条件における設定数や、同一とみなす画素値の範囲は、任意に設定することができる。また、グラフィック画像の領域と判別するために、その他の手法を用いてもよい。

選択手段４７は、第１の実施形態と同様、補間対象位置の相関方向と、方向性補間に用いる画素の方向により、方向性補間画素または算術補間画素を選択する。また、選択手段４７は、方向性補間を選択する場合、グラフィック領域判別手段４６の判別結果に応じて、さらに方向性補間画素を選択する。補間対象位置がグラフィック画像の領域と判別された場合、選択手段４７は、第１方向性補間手段４４で生成された補間画素を選択する。また、補間対象位置が自然画像の領域と判別された場合、選択手段４７は、第２方向性補間手段４５で生成された補間画素を選択する。出力手段４９は、選択手段４７で選択された補間画素を出力する。

このように、本実施形態の画像拡大装置４０は、グラフィック領域判別手段４６で補間対象位置における画像の種類を判別する。画像拡大装置４０は、その結果に応じて、方向性補間画素を選択し、出力する。これにより、グラフィック画像の領域と自然画像の領域のそれぞれに適した補間を行うことができる。

＜７．第７の実施形態＞
［画像拡大装置の構成］
次に、第７の実施形態に係る画像拡大装置５０について説明する。本実施形態の画像拡大装置５０は、画像中の文字線を滑らかに拡大する。図１７に示すように、本実施形態の画像拡大装置５０は、入力信号が入力される入力手段５１を有している。入力手段５１からの画像データは、選択手段５２と第１補間手段５３及び第２補間手段５４に送られる。

選択手段５２は、画像データから補間対象位置の周辺画素からなる参照領域を取り出し、領域の判別を行う。その詳細は後で詳述する。第１補間手段５３は、自然画像用の補間手法により、補間対象位置に補間画素を生成する。自然画像用の補間手法として、例えばバイキュービック法、またはランツォシュ法を用いることができる。ただし、第１の補間手法はこれらに限られず、それ以外の補間手法でもよい。第２補間手段５４は、文字線用の補間手法により、補間対象位置に補間画素を生成する。文字線用の補間手法の詳細は、後で詳述する。出力手段５５は、選択手段５２で選択された補間手法で生成された補間画素を出力する。

［補間画素出力手順］
図１８を参照して、本実施形態における補間画素の出力手順について説明する。まず、選択手段５２は、補間対象位置の周辺から参照領域を取り出す（Ｓ５−１）。参照領域は、横方向に６画素、縦方向に６画素の正方形状の領域である。選択手段５２は、取り出した参照領域について、ヒストグラム（Ｈｉｓｔｏｇｒａｍ）を算出する（Ｓ５−２）。次に、選択手段５２は、算出したヒストグラムが２値であるか否かを判別する（Ｓ５−３）。ヒストグラムが２値の場合、選択手段５２は、第２の補間手法を選択する。一方、ヒストグラムが２値でない場合、選択手段５２は、第１の補間手法を選択する。選択手段５２が第１の補間手法を選択した場合、出力手段５５は第１補間手段５３で生成された補間画素を出力する（Ｓ５−４）。

第２補間手段５４は、参照領域に含まれる画素値の平均値Ａｖｅを算出する（Ｓ５−５）。次に、第２補間手段５４は、参照領域の画素値の最大値Ｍａｘと最小値Ｍｉｎを算出する（Ｓ５−６）。次に、第２補間手段５４は、参照領域で画素値の大きい方と小さい方のいずれが文字線であるかを判別する（Ｓ５−７）。第２補間手段５４は、Ｍａｘ−Ａｖｅ＞Ａｖｅ−Ｍｉｎの判別条件を満たす場合、参照領域の画素値の大きい部分を文字線の領域と判別する。また、第２補間手段５４は、判別条件を満たさない場合、参照領域の画素値の小さい部分を文字線の領域と判別する。

第２補間手段５４は、パターン記憶部５４ａを有している。パターン記憶部５４ａは、一定の大きさの領域における文字線のパターンと、文字線を拡大したパターンとを関連付けて記憶している。パターン記憶部５４ａが記憶する領域は、横方向に４画素、縦方向に４画素の大きさである。

第２補間手段５４は、パターン識別のため、補間対象画素の周辺から横方向に４画素、縦方向に４画素の領域を取り出す。そして、第２補間手段５４は、取り出した領域の文字線のパターンに合致する拡大パターンをパターン記憶部５４ａから読み出す（Ｓ５−７）。第２補間手段５４は、読み出した拡大パターンに基づき補間対象位置に補間画素を生成する。

図１９（ａ）に示すように、拡大前の文字線に斜め線が含まれている場合、これを単純に２倍に拡大すると、図１９（ｂ）のようになる。図１９（ｂ）では、斜め線における段差がそのまま２倍に拡大される。このため、文字線の段差が目立ち、文字線が滑らかにならない。このような斜め線に対し、パターン記憶部５４ａには、適応すべき拡大パターンが記憶されている。パターン記憶部５４ａには、横方向に４画素、縦方向に４画素の大きさの領域内に存在しうる文字線のパターンについて、それぞれ拡大パターンを記憶している。

パターン記憶部５４ａの拡大パターンを適応した場合について、図１９（ｃ）に示している。パターン記憶部５４ａの拡大パターンを適応することで、文字線の斜め線を平滑化することができる。

このように、本実施形態の画像拡大装置５０は、補間対象位置の周辺が文字線であるか否かを判別する。また、画像拡大装置５０は、文字線の領域を判別し、そのパターンに対してパターン記憶部５４ａに記憶された拡大パターンを適応する。これにより、画像中の文字線について、滑らかな線となるように補間することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上述の実施形態において画像拡大装置は、入力された画像データを縦横２倍の大きさの拡大画像データに拡大する。拡大率は２倍には限られず、３倍あるいはそれ以上とすることができる。

１ 画像拡大装置
１０ 入力手段
１１ 方向判別手段
１２ 画素選択手段
１３ 方向性補間手段
１４ 算術補間手段
１５ 選択手段
１６ 出力手段

Claims (14)

1. 格子状に配列された多数の画素からなる画像データが入力され、該画像データに補間手法を適用して拡大画像データを出力する画像拡大装置において、
   画像データが入力される入力手段と、
   補間対象位置が周囲の画素と相関する方向を判別する方向判別手段と、
   前記方向判別手段で判別された方向に基づいて、補間に用いる画素を複数選択すると共に、選択した画素が周囲の画素と相関する方向を判別する画素選択手段と、
   前記画素選択手段で選択された画素を用いて、補間対象位置に方向性補間による補間画素を生成する方向性補間手段と、
   補間対象位置に方向性補間以外の手法で補間画素を生成する算術補間手段と、
   前記方向判別手段で判別された補間対象位置の方向と、前記画素選択手段で判別された補間に用いる画素の位置の方向との差が、全て一定の設定範囲内である判別条件に合致する場合、前記方向性補間手段で生成された補間画素を選択し、前記判別条件に合致しない場合、前記算術補間手段で生成された補間画素を選択する選択手段と、
   前記方向性補間手段で生成された補間画素と、前記算術補間手段で生成された補間画素のうち、前記選択手段で選択された補間画素を出力補間画素として出力する出力手段と、
   を有することを特徴とする画像拡大装置。
2. 前記方向判別手段及び画素選択手段で判別する方向は、基準となる画素から他の画素に対して、縦方向に離れた画素数を横方向に離れた画素数で除した指数値で表され、前記判別条件の設定範囲は、前記指数の範囲として設定されていることを特徴とする請求項１に記載の画像拡大装置。
3. 格子状に配列された多数の画素からなる画像データが入力され、該画像データに補間手法を適用して拡大画像データを出力する画像拡大装置において、
   画像データが入力される入力手段と、
   補間対象位置が周囲の画素と相関する方向を判別する方向判別手段と、
   前記方向判別手段で判別された方向に基づいて、補間に用いる画素を複数選択する画素選択手段と、
   前記画素選択手段で選択された画素を用いて、補間対象位置に方向性補間による補間画素を生成する方向性補間手段と、
   補間対象位置に方向性補間以外の手法で補間画素を生成する算術補間手段と、
   前記画素選択手段で選択された画素の画素値と、前記算術補間手段で生成された補間画素の画素値との差が、全て一定の設定範囲内である判別条件に合致する場合、前記方向性補間手段で生成された補間画素を選択し、前記判別条件に合致しない場合、前記算術補間手段で生成された補間画素を選択する選択手段と、
   前記方向性補間手段で生成された補間画素と、前記算術補間手段で生成された補間画素のうち、前記選択手段で選択された補間画素を出力補間画素として出力する出力手段と、
   を有することを特徴とする画像拡大装置。
4. 格子状に配列された多数の画素からなる画像データが入力され、該画像データに補間手法を適用して拡大画像データを出力する画像拡大装置において、
   画像データが入力される入力手段と、
   補間対象位置が周囲の画素と相関する方向を判別する方向判別手段と、
   前記方向判別手段で判別された方向に基づいて、補間に用いる画素を複数選択する画素選択手段と、
   前記画素選択手段で選択された画素を用いて、補間対象位置に方向性補間による補間画素を生成する方向性補間手段と、
   補間対象位置に方向性補間以外の手法で補間画素を生成する算術補間手段と、
   前記入力手段に入力された画像データから、補間対象位置の周辺画素からなる参照領域を取り出し、該参照領域の複雑度を評価し、該複雑度が小さいと判断される場合、前記方向性補間手段で生成された補間画素を選択し、前記複雑度が大きいと判断される場合、前記算術補間手段で生成された補間画素を選択する選択手段と、
   前記方向性補間手段で生成された補間画素と、前記算術補間手段で生成された補間画素のうち、前記選択手段で選択された補間画素を出力補間画素として出力する出力手段と、
   を有することを特徴とする画像拡大装置。
5. 前記選択手段は、前記参照領域の画素値の最大値と最小値の差ＤＲと、前記参照領域の横方向に隣接する画素間の差分と、該算出した横方向の差分の絶対値の総和ＡｃｔＨと、前記参照領域の縦方向に隣接する画素間の差分と、該算出した縦方向の差分の絶対値の総和ＡｃｔＶと、を算出し、
   前記選択手段は、
   ＡｃｔＨ＋ＡｃｔＶ＞［第１の設定値］×ＤＲとなる第１の条件と、
   ＡｃｔＨ＞［第２の設定値］×ＤＲとなる第２の条件と、
   ＡｃｔＶ＞［第２の設定値］×ＤＲとなる第３の条件と、
   のいずれかに合致する場合、前記複雑度が高いと判断することを特徴とする請求項４に記載の画像拡大装置。
6. 前記選択手段は、前記参照領域の画素値の最大値と最小値の差ＤＲと、前記参照領域の横方向に隣接する画素間の差分と、該算出した横方向の差分の絶対値の総和ＡｃｔＨと、前記参照領域の縦方向に隣接する画素間の差分と、該算出した縦方向の差分の絶対値の総和ＡｃｔＶと、を算出し、
   前記選択手段は、
   ＡｃｔＨ＞［第３の設定値］、かつ、ＡｃｔＨ＋２×ＡｃｔＶ＞［第１の設定値］×ＤＲとなる第４の条件と、
   ＡｃｔＶ＞［第４の設定値］、かつ、ＡｃｔＶ＋２×ＡｃｔＨ＞［第１の設定値］×ＤＲとなる第５の条件と、
   のいずれかに合致する場合、前記複雑度が高いと判断することを特徴とする請求項４または５に記載の画像拡大装置。
7. 前記選択手段は、前記補間対象位置の周辺から、横６画素、縦６画素の参照領域を取り出すことを特徴とする請求項４〜６のいずれか１項に記載の画像拡大装置。
8. 格子状に配列された多数の画素からなる画像データが入力され、該画像データに補間手法を適用して拡大画像データを出力する画像拡大装置において、
   画像データが入力される入力手段と、
   補間対象位置の方向を判別する方向判別手段と、
   前記方向判別手段で判別された方向に基づいて、補間に用いる画素を複数選択する画素選択手段と、
   前記画素選択手段で選択された画素を用いて、補間対象位置に方向性補間による補間画素を生成する方向性補間手段と、
   補間対象位置に方向性補間以外の手法で補間画素を生成する算術補間手段と、
   前記入力手段に入力された画像データから、補間対象位置の周辺画素からなる参照領域を取り出し、該参照手段における線分の終端の有無を検出し、該線分の終端が検出されない場合、前記方向性補間手段で生成された補間画素を選択し、前記線分の終端が検出された場合、前記算術補間手段で生成された補間画素を選択する選択手段と、
   前記方向性補間手段で生成された補間画素と、前記算術補間手段で生成された補間画素のうち、前記選択手段で選択された補間画素を出力補間画素として出力する出力手段と、
   を有することを特徴とする画像拡大装置。
9. 前記選択手段は、前記補間対象位置の周辺から、横３画素、縦３画素の判別領域を取り出し、該判別領域の画素値の最大値Ｍａｘと最小値Ｍｉｎの差ＤＲを算出し、前記判別領域について、各画素を［設定値］×ＤＲ＋Ｍｉｎの閾値を基準に画素値で区分して二分し、該二分した前記判別領域のパターンが、横３画素、縦３画素の領域内に線分の終端を有する複数のパターンのうちいずれか１つに該当する場合、線分の終端を検出することを特徴とする請求項８に記載の画像拡大装置。
10. 前記画素選択手段は、前記補間対象位置から前記方向判別手段で判別された方向に向かう線Ｌ１上に画素中心が存在する場合、線Ｌ１上の前記補間対象位置に最も近い２つの画素を選択し、前記線Ｌ１上に画素中心が存在しない場合、前記線Ｌ１と前記補間対象位置で直交する線Ｌ２と、前記線Ｌ１と平行でいずれかの画素中心を通る線のうち、前記線Ｌ１に最も近い線Ｌ３及び線Ｌ４との２つの交点を、それぞれ補間用点とし、各補間用点を補間する、前記線Ｌ３上の２つの画素と、前記線Ｌ４上の２つの画素とを選択し、
    前記方向性補間手段は、線Ｌ１上に画素中心が存在する場合、前記画素選択手段で選択された２つの画素から、前記補間対象位置に補間画素を生成し、前記線Ｌ１上に画素中心が存在しない場合、２つの前記補間用点について、それぞれ前記画素選択手段で選択された画素から補間された画素値を算出し、２つの前記補間用点の画素値から、バイリニア法により、前記補間対象位置に補間画素を生成することを特徴とする請求項１〜９のいずれか１項に記載の画像拡大装置。
11. 前記画素選択手段は、前記補間対象位置から前記方向判別手段で判別された方向に向かう線Ｌ１上に画素中心が存在する場合、線Ｌ１上の前記補間対象位置に最も近い２つの画素を選択し、前記線Ｌ１上に画素中心が存在しない場合、前記線Ｌ１と前記補間対象位置で直交する線Ｌ２と、前記線Ｌ１と平行でいずれかの画素中心を通る線のうち、前記線Ｌ１に最も近い線Ｌ３及び線Ｌ４との２つの交点と、前記線Ｌ１に二番目に近い線Ｌ５及び線Ｌ６との２つの交点とを、それぞれ補間用点とし、各補間用点を補間する、前記線Ｌ３上の２つの画素と、前記線Ｌ４上の２つの画素と、前記線Ｌ５上の２つの画素と、前記線Ｌ６上の２つの画素とを選択し、
    前記方向性補間手段は、線Ｌ１上に画素中心が存在する場合、前記画素選択手段で選択された２つの画素から、前記補間対象位置に補間画素を生成し、前記線Ｌ１上に画素中心が存在しない場合、４つの前記補間用点について、それぞれ前記画素選択手段で選択された画素から補間された画素値を算出し、４つの前記補間用点の画素値から、バイキュービック法により、前記補間対象位置に補間画素を生成することを特徴とする請求項１〜９のいずれか１項に記載の画像拡大装置。
12. 前記入力手段に入力された画像データから、補間対象位置の周辺画素からなる判別用参照領域を取り出し、該判別用参照領域がグラフィック画像の領域であるか否かを判別するグラフィック領域判別手段をさらに有し、
    前記グラフィック領域判別手段で、前記判別用参照領域がグラフィック画像の領域と判別された場合、
    前記画素選択手段は、前記補間対象位置から前記方向判別手段で判別された方向に向かう線Ｌ１上に画素中心が存在する場合、線Ｌ１上の前記補間対象位置に最も近い２つの画素を選択し、前記線Ｌ１上に画素中心が存在しない場合、前記線Ｌ１と前記補間対象位置で直交する線Ｌ２と、前記線Ｌ１と平行でいずれかの画素中心を通る線のうち、前記線Ｌ１に最も近い線Ｌ３及び線Ｌ４との２つの交点を、それぞれ補間用点とし、各補間用点を補間する、前記線Ｌ３上の２つの画素と、前記線Ｌ４上の２つの画素とを選択し、
    前記方向性補間手段は、線Ｌ１上に画素中心が存在する場合、前記画素選択手段で選択された２つの画素から、前記補間対象位置に補間画素を生成し、前記線Ｌ１上に画素中心が存在しない場合、２つの前記補間用点について、それぞれ前記画素選択手段で選択された画素から補間された画素値を算出し、２つの前記補間用点の画素値から、バイリニア法により、前記補間対象位置に補間画素を生成し、
    前記グラフィック領域判別手段で、前記判別用参照領域がグラフィック画像の領域でないと判別された場合、
    前記画素選択手段は、前記補間対象位置から前記方向判別手段で判別された方向に向かう線Ｌ１上に画素中心が存在する場合、線Ｌ１上の前記補間対象位置に最も近い２つの画素を選択し、前記線Ｌ１上に画素中心が存在しない場合、前記線Ｌ１と前記補間対象位置で直交する線Ｌ２と、前記線Ｌ１と平行でいずれかの画素中心を通る線のうち、前記線Ｌ１に最も近い線Ｌ３及び線Ｌ４との２つの交点と、前記線Ｌ１に二番目に近い線Ｌ５及び線Ｌ６との２つの交点とを、それぞれ補間用点とし、各補間用点を補間する、前記線Ｌ３上の２つの画素と、前記線Ｌ４上の２つの画素と、前記線Ｌ５上の２つの画素と、前記線Ｌ６上の２つの画素とを選択し、
    前記方向性補間手段は、線Ｌ１上に画素中心が存在する場合、前記画素選択手段で選択された２つの画素から、前記補間対象位置に補間画素を生成し、前記線Ｌ１上に画素中心が存在しない場合、４つの前記補間用点について、それぞれ前記画素選択手段で選択された画素から補間された画素値を算出し、４つの前記補間用点の画素値から、バイキュービック法により、前記補間対象位置に補間画素を生成することを特徴とする請求項１〜９のいずれか１項に記載の画像拡大装置。
13. 格子状に配列された多数の画素からなる画像データが入力され、該画像データに補間手法を適用して拡大画像データを出力する画像拡大装置において、
    画像データが入力される入力手段と、
    前記入力手段に入力された画像データの画素間に、自然画像用の第１の補間手法を適用した補間画素を生成する第１補間手段と、
    前記入力手段に入力された画像データの画素間に、文字線用の第２の補間手法を適用した補間画素を生成する第２補間手段と、
    前記入力手段に入力された画像データから、補間対象位置の周辺画素からなる参照領域を取り出し、該参照領域の画素値のヒストグラムを算出し、該ヒストグラムが２値でない場合は前記第１の補間手法を選択し、前記ヒストグラムが２値である場合は前記第２の補間手法を選択する選択手段と、
    前記選択手段の選択に基づいて、前記第１補間手段で挿入される補間画素と、前記第２補間手段で挿入される補間画素のいずれかを、出力補間画素として出力する出力手段と、
    を有し、
    前記第２補間手段は、前記参照領域の画素の最大値Ｍａｘと最小値Ｍｉｎ及び平均値Ａｖｅを算出し、Ｍａｘ−Ａｖｅ＞Ａｖｅ−Ｍｉｎの判別条件を満たす場合、前記参照領域の画素値の大きい部分を文字線領域と判別し、前記判別条件を満たさない場合、前記参照領域の画素値の小さい部分を文字線領域と判別し、前記参照領域の文字線領域のパターンに応じた補間画素を生成することを特徴とする画像拡大装置。
14. 前記第２補間手段は、一定の大きさの領域における文字線のパターンと、前記文字線を拡大したパターンとを関連付けて記憶するパターン記憶部を有し、
    前記第２補間手段は、前記補間対象位置の周辺画素を取り出して、前記パターン記憶部の前記文字線領域のパターンに合致する場合、対応する前記文字線を拡大したパターンに従って補間画素を生成することを特徴とする請求項１３に記載の画像拡大装置。

Images