JP2009049562A - 画像処理装置、方法およびプログラム - Google Patents

Abstract

【課題】画像の倍率を変更する際に生じる画質の劣化を防止することができる画像処理装置、方法およびプログラムを提供すること。
【解決手段】画像処理装置は、画像の入力を行う画像入力部１０と、画像入力部１０によって入力された画像に含まれるエッジの方向を検出するエッジ方向算出部２４と、画像入力部１０によって入力された画像に対して、エッジ方向算出部２４によって検出されたエッジの向きに補間処理を行う補間位置決定部２６、補間対象画素決定部２８、第１方向補間部３０、第２方向補間部３２とを備えている。
【選択図】図１

Description

本発明は、入力画像の解像度変換を行う画像処理装置、方法およびプログラムに関する。

従来から、バイキュービック法を用いて画像の補間処理を行う際に、画像のエッジ付近での補間係数の調整やサンプリング間隔の変更を行って水平方向および垂直方向での補間を順次行う手法が知られている（例えば、特許文献１参照。）。
特開２００６−５４８９９号公報（第８−１９頁、図１−１５）

ところで、上述した特許文献１に記載の従来技術では、エッジ付近で補間係数の調整を行っているが、基本的にはエッジ方向に沿った補間を行っているわけではないため、ジャギー等が発生し、画像の解像度を変換する際に画質が劣化するという問題があった。特に、バイキュービック法を用いた場合には、１変数補間関数を用いて水平方向に沿って補間処理後に垂直方向に沿って補間処理しているため、補間位置に対して上下左右の斜め方向に位置する画素の値が直接反映されるわけではなく、ジャギーの発生をある程度許容せざるを得なかった。

本発明は、このような点に鑑みて創作されたものであり、その目的は、画像の倍率を変更する際に生じる画質の劣化を防止することができる画像処理装置、方法およびプログラムを提供することにある。

上述した課題を解決するために、本発明の画像処理装置は、画像の入力を行う画像入力手段と、画像入力手段によって入力された画像に含まれるエッジの方向を検出するエッジ方向検出手段と、画像入力手段によって入力された画像に対して、エッジ方向検出手段によって検出されたエッジの向きに補間処理を行う補間処理手段とを備えている。

また、本発明の画像処理方法は、画像の入力を行う画像入力ステップと、画像入力ステップにおいて入力された画像に含まれるエッジの方向を検出するエッジ方向検出ステップと、画像入力ステップにおいて入力された画像に対して、エッジ方向検出ステップにおいて検出されたエッジの向きに補間処理を行う補間処理ステップとを有している。

また、本発明の画像処理プログラムは、コンピュータを、画像の入力を行う画像入力手段と、画像入力手段によって入力された画像に含まれるエッジの方向を検出するエッジ方向検出手段と、画像入力手段によって入力された画像に対して、エッジ方向検出手段によって検出されたエッジの向きに補間処理を行う補間処理手段として機能させる。

画像に含まれるエッジの向きを検出してその方向に合わせて補間処理を行うことにより、補間位置に対してエッジの向きに存在する画素の影響を直接反映させた補間処理を行うことができ、画像の倍率を変更する際に生じる画質の劣化を防止することができる。

また、上述した画像入力手段によって入力された画像は、互いに直交する水平軸および垂直軸に沿って配置された複数の画素によって構成されており、エッジ方向検出手段は、補間位置を包囲する４つの画素の画素値に基づいてエッジの方向を検出することが望ましい。あるいは、上述した画像入力ステップにおいて入力された画像は、互いに直交する水平軸および垂直軸に沿って配置された複数の画素によって構成されており、エッジ方向検出ステップは、補間位置を包囲する４つの画素の画素値に基づいてエッジの方向を検出することが望ましい。これにより、エッジ方向検出に必要な画素数を少なくして演算量を削減することができる。

また、上述したエッジ方向検出手段は、補間位置を包囲する４つの画素の画素値に基づいて、これら４つの画素に対応する画像の濃度勾配を算出し、濃度勾配に対して垂直な向きをエッジの方向として推定することが望ましい。あるいは、上述したエッジ方向検出ステップは、補間位置を包囲する４つの画素の画素値に基づいて、これら４つの画素に対応する画像の濃度勾配を算出し、濃度勾配に対して垂直な向きをエッジの方向として推定することが望ましい。エッジが存在する場合にはエッジを挟んで濃淡勾配が生じるため、濃淡勾配を用いることにより、確実にエッジの向きを知ることができる。

また、上述した画像入力手段によって入力された画像に対して拡大／縮小の倍率を指定する倍率指定手段をさらに備え、補間処理手段は、倍率指定手段によって指定された倍率に応じた補間位置を決定する補間位置決定手段を有することが望ましい。あるいは、上述した画像入力ステップにおいて入力された画像に対して拡大／縮小の倍率を指定する倍率指定ステップをさらに備え、補間処理ステップは、倍率指定ステップにおいて指定された倍率に応じた補間位置を決定する補間位置決定ステップを有することが望ましい。あるいは、コンピュータを、さらに、画像入力手段によって入力された画像に対して拡大／縮小の倍率を指定する倍率指定手段として機能させ、補間処理手段は、倍率指定手段によって指定された倍率に応じた補間位置を決定する補間位置決定手段を有することが望ましい。これにより、指定された倍率に応じて、必要な補間位置を決定することが可能となる。

また、上述した補間処理手段は、補間位置の周囲であって、エッジ方向検出手段によって検出されたエッジの向きに沿って配置された所定個数の画素を補間対象画素として抽出する補間対象画素決定手段を有することが望ましい。上述した補間対象画素決定手段は、エッジ方向検出手段によって検出されたエッジの向きを有する第１の補間軸を設定し、この第１の補間軸を挟んで所定範囲内に位置する所定個の画素を補間対象画素として抽出することが望ましい。あるいは、上述した補間処理ステップは、補間位置の周囲であって、エッジ方向検出ステップによって検出されたエッジの向きに沿って配置された所定個数の画素を補間対象画素として抽出する補間対象画素決定ステップを有することが望ましい。上述した補間対象画素決定ステップは、エッジ方向検出ステップにおいて検出されたエッジの向きを有する第１の補間軸を設定し、この第１の補間軸を挟んで所定範囲内に位置する所定個の画素を補間対象画素として抽出することが望ましい。また、上述した第１の補間軸は、エッジの向きに一致した直線形状または非直線形状を有することが望ましい。

これにより、エッジの向きに沿って並んだ画素の画素値を、補間位置の画素値を算出する補間処理に反映させることが可能となり、エッジ方向に沿って滑らかでジャギーの発生のない画像を得ることができる。

また、水平軸および垂直軸のいずれか一方が第２の補間軸として用いられ、補間処理手段は、第１および第２の補間軸のいずれか一方の補間軸に沿って第１の補間処理を行うことにより仮想的な複数の補間位置における画素値を算出し、この第１の補間処理によって得られた複数の補間位置に対応する画素値を用いて、補間位置決定手段によって決定された補間位置に対応する補間値をいずれか他方の補間軸に沿って算出することが望ましい。あるいは、水平軸および垂直軸のいずれか一方が第２の補間軸として用いられ、補間処理ステップは、第１および第２の補間軸のいずれか一方の補間軸に沿って第１の補間処理を行うことにより仮想的な複数の補間位置における画素値を算出し、この第１の補間処理によって得られた複数の補間位置に対応する画素値を用いて、補間位置決定手段によって決定された補間位置に対応する補間値をいずれか他方の補間軸に沿って算出することが望ましい。第１および第２の補間軸のそれぞれについて別々に補間処理を行って最終的な補間値を求めることができ、処理の簡略化を図ることが可能となる。

また、上述した補間対象画素決定手段は、エッジ検出手段によって検出されたエッジの向きに基づいて、水平軸および垂直軸のいずれを第２の補間軸として用いるかを決定することが望ましい。具体的には、上述した補間対象画素決定手段は、第１の補間軸との角度が４５度以上となる水平軸あるいは垂直軸を第２の補間軸として設定することが望ましい。あるいは、上述した補間対象画素決定ステップは、エッジ検出ステップにおいて検出されたエッジの向きに基づいて、水平軸および垂直軸のいずれを第２の補間軸として用いるかを決定することが望ましい。具体的には、上述した補間対象画素決定ステップは、第１の補間軸との角度が４５度以上となる水平軸あるいは垂直軸を第２の補間軸として設定することが望ましい。垂直に近い２軸のそれぞれに沿って補間処理を行うことにより、補間精度を向上させることができる。

また、上述した補間処理手段は、第１および第２の補間軸に沿って格子状に配置されるように第２の補間軸に沿って所定個の画素の画素位置を調整した後に補間処理を行うことが望ましい。あるいは、上述した補間処理ステップは、第１および第２の補間軸に沿って格子状に配置されるように第２の補間軸に沿って所定個の画素の画素位置を調整した後に補間処理を行うことが望ましい。第１および第２の補間軸のそれぞれについて別々に補間処理を行って最終的な補間値を求める際に、従来と同等のアルゴリズムを用いて処理の簡略化を図ることが可能となる。

また、上述した補間処理は、隣接する画素の間隔をｔとしたときに、
φ（ｔ）＝−１．７５｜ｔ｜²＋１．０ （｜ｔ｜≦０．５）
１．２５｜ｔ｜²−３．０｜ｔ｜＋１．７５ （０．５＜｜ｔ｜≦１．０）
０．７５｜ｔ｜²−２．０｜ｔ｜＋１．２５ （１．０＜｜ｔ｜≦１．５）
−０．２５｜ｔ｜²＋｜ｔ｜−１．０ （１．５＜｜ｔ｜≦２．０）
０ （２．０＜｜ｔ｜）
で表される標本化関数φ（ｔ）を用いて行われることが望ましい。

以下、本発明を適用した一実施形態の画像処理装置について、図面に基づいて詳細に説明する。

〔第１の実施形態〕
図１は、第１の実施形態の画像処理装置の構成を示す図である。図１に示すように、本実施形態の画像処理装置は、画像入力部１０、画像データ格納部１２、補間処理部２０、倍率指定部４０、出力処理部５０、表示装置５２、プリンタ５４を含んで構成されている。

画像入力部１０は、所定の解像度の画像データを取り込むためのものである。例えば、紙原稿に描かれた画像を所定の解像度で光学的に読み取るスキャナを画像入力部１０として用いることができる。あるいは、ＣＤやＤＶＤ等の挿抜可能な記憶媒体に記録された画像データを取り込む場合には、これらの記憶媒体のドライブ装置（読み取り装置）を画像入力部１０として用いることができる。半導体メモリやハードディスク装置に記録された画像データを取り込む場合には、これらを接続する入出力インタフェースを画像入力部１０として用いることができる。また、インターネットやその他のネットワーク、あるいは電話回線等を介した通信によって画像データを取り込む場合には、回線の種類等に応じた通信装置を画像入力部１０として用いることができる。このようにして画像入力部１０によって取り込まれた画像データに対応する画像は、互いに直交する水平軸（ｘ軸）および垂直軸（ｙ軸）に沿って配置された複数の画素によって構成されている。

画像データ格納部１２は、画像入力部１０によって取り込まれた画像データや、補間処理部２０によって最終的に得られた補間後の画像データやこの補間後の画像データを得るために必要な中間データを格納する。

補間処理部２０は、画像入力部１０によって取り込まれて画像データ格納部１２に格納された画像データや中間データに基づいて、画像の拡大あるいは縮小に必要な補間処理を行う。なお、本明細書では、画像入力部１０によって取り込まれて画像データ格納部１２に格納された画像データを「入力画像データ」、入力画像データに対応する画像を「入力画像」と称する。また、画像を構成する複数の画素のそれぞれの値（濃淡値や輝度値あるいはカラーの場合にはＲＧＢの各値など）を「画素値」、画像を構成する複数の画素の画素値の集まりを「画像データ」と称する。補間処理部２０による補間処理によって倍率が変更された後の画像データは画像データ格納部１２に格納される。補間処理部２０は、補間領域決定部２２、エッジ方向算出部２４、補間位置決定部２６、補間対象画素決定部２８、第１方向補間部３０、第２方向補間部３２を備えている。

倍率指定部４０は、画像の拡大／縮小倍率を指定する。例えば、キーボードを倍率指定部４０として用い、キーボードのテンキー等を操作して倍率の値を直接入力することができる。あるいは、マウスを倍率指定部４０として用い、表示装置５２に表示された倍率指定画面の所定箇所を指し示すことにより、任意の倍率を入力したり、あらかじめ用意された複数の倍率の中から所望の値を選択するようにしてもよい。

出力処理部５０は、補間処理部２０によって拡大／縮小処理された後の画像データを画像データ格納部１２から読み出し、拡大／縮小された画像を表示装置５２の画面上に表示したり、プリンタ５４によって印刷するために必要な処理を行う。具体的には、出力処理部５０は、画像データ格納部１２から読み出した画像データを表示装置５２による表示に必要な形式の信号（例えばＮＴＳＣ信号やＧＢＲ信号）に変換して表示装置５２に入力する機能や、プリンタ５４による印刷に必要な形式の信号に変換する機能を有する。

上述した画像入力部１０が画像入力手段に、エッジ方向算出部２４がエッジ方向検出手段に、補間位置決定部２６、補間対象画素決定部２８、第１方向補間部３０、第２方向補間部３２が補間処理手段に、倍率指定部４０が倍率指定手段に、補間位置決定部２６が補間位置決定手段に、補間対象画素決定部２８が補間対象画素決定手段にそれぞれ対応する。また、画像入力部１０によって行われる動作が画像入力ステップに、エッジ方向算出部２４によって行われる動作がエッジ方向検出ステップに、補間位置決定部２６、補間対象画素決定部２８、第１方向補間部３０、第２方向補間部３２によって行われる動作が補間処理ステップに、倍率指定部４０によって行われる動作が倍率指定ステップに、補間位置決定部２６によって行われる動作が補間位置決定ステップに、補間対象画素決定部２８によって行われる動作が補間対象画素決定ステップにそれぞれ対応する。

また、上述した画像処理装置は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータの構成によって実現することができる。この場合に、画像データ格納部１２はハードディスク装置や半導体メモリによって構成することが可能である。補間処理部２０は、ＲＯＭやＲＡＭあるいはハードディスク装置等に格納された所定の画像処理プログラムをＣＰＵで実行することにより実現することができる。

本実施形態の画像処理装置はこのような構成を有しており、次に画像処理装置による補間処理の具体的な内容について説明する。図２は、本実実施形態の画像処理装置による補間処理の動作手順を示す流れ図である。

画像入力部１０を用いて画像データの入力が行われた後（ステップ２００）、倍率指定部４０を用いた倍率の指定が行われる（ステップ２０１）。次に、補間領域決定部２２は、入力画像を構成する複数の画素の中から２×２画素（４画素）を抽出し、これら４画素で区画された領域（四角形）を「補間領域」として決定する（ステップ２０２）。

次に、エッジ方向算出部２４は、補間領域を決定した際に用いられた４画素の画素値に基づいて、これら４画素に対応する画像の濃度勾配を算出する（ステップ２０３）。後述するように、補間領域を決定する際に用いられた４画素の内部に補間位置が設定されるため、補間位置を包囲する４つの画素の画素値に基づいて、画像の濃度勾配が算出されることになる。また、エッジ方向算出部２４は、濃度勾配に対して垂直な向きを画像のエッジ方向（輪郭線の向き）として推定する（ステップ２０４）。

図３は、濃度勾配算出およびエッジ方向推定の概要を示す図である。図３において、Ｐ１、Ｐ２、Ｐ３、Ｐ４は、ステップ２０２で決定された補間領域を区画する４つの画素を示している。また、矢印Ａは濃度勾配を、矢印Ｂは濃度勾配と直交するエッジ方向を示している。

平面近似式をａｘ＋ｂｙ＋ｃ＝Ｐとし、画素位置（ｘ_i，ｙ_i）における濃度をＰｋとすると、以下の式が成立する。

エッジ方向算出部２４は、この式から濃度勾配ｒ＝−ａ／ｂを算出するとともに、濃度勾配に垂直な向きＲ＝ｂ／ａをエッジ方向として推定する。

次に、補間位置決定部２６は、補間領域内における補間位置、すなわち、補間領域内において補間画素を発生させる位置を決定する（ステップ２０５）。図４は、補間位置決定の概要を示す図である。例えば、ステップ２０１において倍率「５」が指定された場合、すなわち、入力画像を５倍に拡大する場合が示されている。この場合には、図４で点線の四角で示されるように、隣接する２つの画素の間に等間隔に４つの補間画素を発生させればよい。例えば、ｐで示される補間画素の位置（補間位置）がステップ２０５において決定される。

次に、補間対象画素決定部２８は、エッジ方向算出部２４によって推定されたエッジ方向に基づいて、補間画素の画素値を算出するために必要なｎ×ｎ画素を「補間対象画素」として抽出する（ステップ２０６）。ｎは２以上の偶数であるが、具体的には、使用する標本化関数を決定すればｎの値も決まる。但し、滑らかな補間処理を行うためにはｎの値は４以上が望ましく、本実施形態ではｎ＝４に設定されている。標本化関数の具体例については後述する。

図５は、補間対象画素抽出の概要を示す図である。図５において、ａ１〜ａ６、ｂ１〜ｂ６、ｃ１〜ｃ６、ｄ１〜ｄ６、ｅ１〜ｅ６のそれぞれは、入力画像を構成する各画素を示している。また、Ｅはステップ２０４において推定されたエッジ方向を示している。従来から行われている補間処理では、ｎ＝４の場合には、補間画素ｐを挟んで水平（ｘ軸方向）と垂直（ｙ軸方向）のそれぞれに上下左右（水平方向をｘ軸、垂直方向をｙ軸とする）２画素ずつの合計１６画素（ｂ２〜ｂ５、ｃ２〜ｃ５、ｄ２〜ｄ５、ｅ２〜ｅ５）が補間対象画素として抽出されていた。これに対して、本実施形態では、補間画素ｐを通るエッジ方向Ｅをρ軸とし、このρ軸がｙ軸の代わりに用いられる。そして、ｘ軸とρ軸のそれぞれを補間軸（ρ軸が第１の補間軸に、ｘ軸が第２の補間軸に対応する）に設定し、これら非直交の２つの補間軸のそれぞれに沿って補間画素ｐを挟んで左右と斜め方向の２画素ずつが補間対象画素として抽出される。具体的には、補間対象画素決定部２８は、補間対象画素としてｂ３〜ｂ６、ｃ２〜ｃ５、ｄ１〜ｄ４、ｅ１〜ｅ４の１６画素を抽出する。

次に、第１方向補間部３０は、ρ軸を第１方向とし、第１方向に沿った補間処理を行う（ステップ２０７）。図６は、第１方向に沿った補間処理に先立って行われる画素位置調整の概要を示す図である。図５に示したように、補間画素ｐ周辺に配置された１６個の補間対象画素は、ρ軸方向に見ると、ρ軸と平行には配置されてはいない。例えば、図５に示した補間対象画素の中で最も右側に配置された４つの画素ｂ６、ｃ５、ｄ４、ｅ４を見ると、これら４画素はρ軸と平行になっていない。本実施形態では、第１方向補間部３０は、第１方向（ρ軸）に沿った補間処理を行う前に、図６に示すように座標変換を行って、ρ軸（図６では垂直方向）に沿って１６個の補間対象画素が規則的に配置されるように画素位置調整が行われる。

図７および図８は、画素位置調整を行う際の補間画素ｐの算出方法の概要を示す図である。図７に示すように、補間画素ｐと左上の画素ｃ３との間のｘ軸方向の距離をＬ１、ｙ軸方向の距離をＬ３、補間画素ｐと左下の画素ｄ３との間のｘ軸方向の距離をＬ２とする。図８に示すように、画素位置調整後の補間画素ｐと左上の画素ｃ３との間のρ軸方向の距離はＬ３が用いられる。また、画素位置調整前は補間画素ｐの左下に配置されていた画素ｄ３の位置が右下にずれるため、このずれに対応して補間画素ｐの位置もずれる。

図９は、画素位置調整後に行われる第１方向に沿った補間処理の概要を示す図である。図９に示すように、ρ軸に沿って配置された４画素の画素値を用いることにより、補間画素ｐと同じρ軸に沿った位置に対応する仮想的な補間画素ｈ１〜ｈ４の各画素値が補間処理によって算出される。図１０は、補間画素の画素値算出に用いられる標本化関数を示す図である。この標本化関数φ（ｔ）は、以下の式で示される区分多項式であり、補間位置を中心に左右２画素（ρ軸に沿った補間を行う場合には図９に示すρ軸に沿って上下２画素）の画素値を用いて補間画素の画素値を算出することができる。

φ（ｔ）＝−１．７５｜ｔ｜²＋１．０ （｜ｔ｜≦０．５）
１．２５｜ｔ｜²−３．０｜ｔ｜＋１．７５ （０．５＜｜ｔ｜≦１．０）
０．７５｜ｔ｜²−２．０｜ｔ｜＋１．２５ （１．０＜｜ｔ｜≦１．５）
−０．２５｜ｔ｜²＋｜ｔ｜−１．０ （１．５＜｜ｔ｜≦２．０）
０ （２．０＜｜ｔ｜）
次に、第２方向補間部３２は、ｘ軸を第２方向とし、第２方向に沿った補間処理を行う（ステップ２０８）。図１１は、第１方向に沿った補間処理の後に行われる第２方向に沿った補間処理の概要を示す図である。図１１に示すように、水平方向（ｘ軸方向）に沿って配置された仮想的な補間画素ｈ１〜ｈ４の画素値を用いることにより、最終的な補間画素ｐの画素値が補間処理によって算出される。

次に、補間位置決定部２６は、補間領域内に他の補間画素（補間値の算出が終了していない補間画素）があるか否かを判定する（ステップ２０９）。他の補間画素がある場合には肯定判断が行われ、ステップ２０５に戻って補間位置の決定動作以降が繰り返される。また、補間領域内の全ての補間画素について補間値の算出が終了した場合にはステップ２０９の判定において否定判断が行われ、次に、補間領域決定部２２は、補間処理が終了していない他の補間領域があるか否かを判定する（ステップ２１０）。他の補間領域がある場合には肯定判断が行われ、ステップ２０２に戻って補間領域の決定動作以降が繰り返される。また、全ての補間領域について補間処理が終了した場合にはステップ２１０の判定において否定判断が行われる。なお、画像を拡大した場合には、入力画像の全てが表示対象あるいは印刷対象になるとは限らない。このような場合には、表示対象あるいは印刷対象となる一部の画像について、ステップ２１０の判定を行うようにしてもよい。

このようにして全ての補間領域について補間処理が終了した画像データが画像データ格納部１２に格納された後、出力処理部５０は、この画像データを読み出して、所定倍率（例えば５倍）で拡大された後の画像を表示装置５２の画面上に表示、あるいはこの画像をプリンタで印刷する（ステップ２１１）。

このように、本実施形態の画像処理装置では、画像に含まれるエッジの向きを検出してその方向に合わせて補間処理を行うことにより、補間位置に対してエッジの向きに存在する画素の影響を直接反映させた補間処理を行うことができ、画像の倍率を変更する際に生じる画質の劣化を防止することができる。また、補間位置を包囲する４つの画素の画素値に基づいてエッジの方向を検出することにより、エッジ方向検出に必要な画素数を少なくして演算量を削減することができる。特に、エッジが存在する場合にはエッジを挟んで濃淡勾配が生じるため、濃淡勾配を用いることにより、確実にエッジの向きを知ることができる。

また、エッジの向きを有する第１の補間軸としてのρ軸を設定し、このρ軸を挟んで所定範囲内に位置する所定個の画素を補間対象画素として抽出することにより、エッジの向きに沿って並んだ画素の画素値を、補間位置の画素値を算出する補間処理に反映させることが可能となり、エッジ方向に沿って滑らかでジャギーの発生のない画像を得ることができる。また、第１および第２の補間軸（ρ軸とｘ軸）のそれぞれについて別々に補間処理を行って最終的な補間値を求めることにより、処理の簡略化を図ることが可能となる。

また、ρ軸およびｘ軸に沿って格子状に配置されるようにｘ軸に沿って所定個の画素の画素位置を調整した後に補間処理を行うことにより、ρ軸およびｘ軸のそれぞれについて別々に補間処理を行って最終的な補間値を求める際に、従来と同等のアルゴリズムを用いて処理の簡略化を図ることが可能となる。

図１２は、本実施形態の画像処理装置による補間処理によって得られた画像を示す図である。また、図１３は比較のためにバイキュービック法を用いた補間処理によって得られた画像を示す例である。図１２から明らかなように、本実施形態ではエッジ方向に沿った補間処理を行うことにより、ジャギーの発生がない拡大画像を得ることができる。

ところで、上述した本実施形態の説明では、ステップ２０７の第１方向の補間処理（図９）をρ軸に沿って行い、ステップ２０８の第２方向の補間処理（図１１）をｘ軸に沿って行ったが、反対に、第１方向の補間処理をｘ軸に沿って行い、第２方向の補間処理をρ軸に沿って行うようにしてもよい。この変形例は、後述する第２の実施形態にも適用することができる。

図１４は、変形例の第１方向に沿った補間処理の概要を示す図である。図１４に示すように、ｘ軸に沿って配置された４画素の画素値を用いることにより、補間画素ｐと同じｘ軸に沿った位置（画素位置調整後の位置）に対応する仮想的な補間画素ｖ１〜ｖ４の各画素値が補間処理によって算出される。

図１５は、変形例の第１方向に沿った補間処理の後に行われる第２方向に沿った補間処理の概要を示す図である。図１５に示すように、ρ軸方向に沿って配置された仮想的な補間画素ｖ１〜ｖ４の画素値を用いることにより、最終的な補間画素ｐの画素値が補間処理によって算出される。

また、上述した本実施形態の説明では、ｘ軸を固定し、エッジ方向に一致させたρ軸をｙ軸に置き換えたが、ｘ軸とエッジ方向との角度が４５度未満の場合には、ｙ軸を固定し、エッジ方向に一致させたρ軸をｘ軸に置き換えた方が補間精度が向上する。

図１６は、エッジ方向に応じて補間軸を可変設定する変形例の画像処理装置による補間処理の動作手順を示す流れ図である。図２に示す流れ図に対して、ステップ２０４の次にステップ２２０の補間軸決定の動作手順が追加されている。このステップ２２０では、補間対象画素決定部２８は、ｘ軸とエッジ方向Ｅと角度を算出し、ρ軸と組み合わせて使用する補間軸を決定する。具体的には、ｘ軸とエッジ方向Ｅとの角度が４５度以上の場合には、ｘ軸とρ軸とが補間軸に設定され、図２を用いて説明した一連の補間処理が実施される。一方、ｘ軸とエッジ方向Ｅとの角度が４５度未満の場合には、ｙ軸とρ軸とが補間軸に設定される。この場合には、ステップ２０６では、図５において、ρ軸を挟んでｙ軸方向に上下２画素ずつが選択されて補間対象の１６画素が抽出される。また、ステップ２０７では、第１方向の補間処理がρ軸に沿って行われ、ステップ２０８の第２方向の補間処理がｙ軸に沿って行われる。あるいは、反対に、第１方向の補間処理をｙ軸に沿って行い、第２方向の補間処理をρ軸に沿って行うようにしてもよい。なお、ｘ軸とρ軸の角度を算出する代わりに、ｙ軸とρ軸の角度を算出して、ρ軸と組み合わせて使用する補間軸を決定するようにしてもよい。

このように、ρ軸との角度が４５度以上となるｘ軸あるいはｙ軸を第２の補間軸として設定し、垂直に近い２軸のそれぞれに沿って補間処理を行うことにより、補間精度を向上させることができる。

また、上述した本実施形態の説明では、ステップ２０６において補間対象の１６画素を抽出する際に、エッジ方向Ｅに沿った直線をρ軸に設定したが、非直線のρ軸を設定するようにしてもよい。この変形例は、後述する第２の実施形態にも適用することができる。例えば、以下に示す関数Ｈ１（ｘ、ｙ）〜Ｈ３（ｘ、ｙ）のいずれかによって表される曲線をρ軸として設定するようにしてもよい。

Ｈ１（ｘ，ｙ）＝（ａｘ²＋ｂｘ＋ｃ）（ｄｙ²＋ｅｙ＋ｆ）
Ｈ２（ｘ，ｙ）＝ａｘ²＋ｂｙ²＋ｃｘ＋ｄｙ＋ｅｘｙ＋ｆ
Ｈ３（ｘ，ｙ）＝ａｘ⁴＋ｂｙ⁴＋ｃｘ²ｙ²＋ｄｘ²ｙ＋ｅｘｙ²
＋ｆｘｙ＋ｇｘ＋ｈｙ＋ｆ
図１７は、非直線のρ軸を設定した場合の補間対象画素抽出の概要を示す図である。図１７に示すように、補間位置においてエッジ方向の直線と接するように非直線のρ軸が設定され、このρ軸を挟んで左右２画素ずつ合計１６画素（ｂ２〜ｂ５、ｃ２〜ｃ５、ｄ２〜ｄ５、ｅ１〜ｅ４）が補間対象画素として抽出される。

〔第２の実施形態〕
上述した第１の実施形態では、ρ軸に沿ってｎ×ｎ個の補間対象画素を抽出した後（図５）、ｘ軸方向に画素位置をずらす画素位置調整を行ったが（図６）、画素位置調整を行わずにそのまま第１方向および第２方向に沿った補間処理を行うようにしてもよい。

図１８は、第２の実施形態の補間処理の概要を示す図である。補間処理全体の動作手順は図２に示したものと同じである。ステップ２０６の補間対象の１６画素の抽出動作までは上述した第１の実施形態と同じ要領で行われる。

次に、第１方向補間部３０は、図１８に示すように、ｘ軸に沿って配置された４画素の画素値を用いることにより、これらの４画素を通るｘ軸方向の直線と、補間画素ｐを通るエッジ方向Ｅの直線との交点に対応する仮想的な補間画素ｗ１〜ｗ４の画素値を補間処理によって算出する（ステップ２０７）。また、第２方向補間部３２は、ρ軸方向に沿って配置された仮想的な補間画素ｗ１〜ｗ４の画素値を用いることにより、最終的な補間画素ｐの画素値を補間処理によって算出する（ステップ２０８）。

このように、本実施形態の画像処理装置では、画像に含まれるエッジの向きを検出してその方向に合わせて補間処理を行うことにより、補間位置に対してエッジの向きに存在する画素の影響を直接反映させた補間処理を行うことができ、画像の倍率を変更する際に生じる画質の劣化を防止することができる。特に、ｘ軸に沿った画素位置をそのまま用いることにより、エッジ方向に沿って配置された各画素の影響をより正確に補間処理に反映させることが可能となる。

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。例えば、上述した実施形態では、入力画像を拡大して表示等を行う場合について説明したが、動作原理自体は画像の拡大だけでなく縮小についても同様であるため、画像の縮小についても本発明を適用し、画質の劣化を防止することができる。

また、上述した実施形態では、補間位置を包囲する４つの画素の画素値に基づいて画像の濃度勾配およびエッジ方向を算出したが、より多くの数の画素（例えば１６画素）の画素値を用いて濃度勾配やエッジ方向を算出するようにしてもよい。

第１の実施形態の画像処理装置の構成を示す図である。 本実実施形態の画像処理装置による補間処理の動作手順を示す流れ図である。 濃度勾配算出およびエッジ方向推定の概要を示す図である。 補間位置決定の概要を示す図である。 補間対象画素抽出の概要を示す図である。 第１方向に沿った補間処理に先立って行われる画素位置調整の概要を示す図である。 画素位置調整を行う際の補間画素ｐの算出方法の概要を示す図である。 画素位置調整を行う際の補間画素ｐの算出方法の概要を示す図である。 画素位置調整後に行われる第１方向に沿った補間処理の概要を示す図である。 補間画素の画素値算出に用いられる標本化関数を示す図である。 第１方向に沿った補間処理の後に行われる第２方向に沿った補間処理の概要を示す図である。 本実施形態の画像処理装置による補間処理によって得られた画像を示す図である。 バイキュービック法を用いた補間処理によって得られた画像を示す例である。 変形例の第１方向に沿った補間処理の概要を示す図である。 変形例の第１方向に沿った補間処理の後に行われる第２方向に沿った補間処理の概要を示す図である。 エッジ方向に応じて補間軸を可変設定する変形例の画像処理装置による補間処理の動作手順を示す流れ図である。 非直線のρ軸を設定した場合の補間対象画素抽出の概要を示す図である。 第２の実施形態の補間処理の概要を示す図である。

符号の説明

１０ 画像入力部
１２ 画像データ格納部
２０ 補間処理部
２２ 補間領域決定部
２４ エッジ方向算出部
２６ 補間位置決定部
２８ 補間対象画素決定部
３０ 第１方向補間部
３２ 第２方向補間部
４０ 倍率指定部
５０ 出力処理部
５２ 表示装置
５４ プリンタ

Claims (39)

1. 画像の入力を行う画像入力手段と、
   前記画像入力手段によって入力された画像に含まれるエッジの方向を検出するエッジ方向検出手段と、
   前記画像入力手段によって入力された画像に対して、前記エッジ方向検出手段によって検出されたエッジの向きに補間処理を行う補間処理手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１において、
   前記画像入力手段によって入力された画像は、互いに直交する水平軸および垂直軸に沿って配置された複数の画素によって構成されており、
   前記エッジ方向検出手段は、補間位置を包囲する４つの画素の画素値に基づいてエッジの方向を検出することを特徴とする画像処理装置。
3. 請求項２において、
   前記エッジ方向検出手段は、前記補間位置を包囲する４つの画素の画素値に基づいて、これら４つの画素に対応する画像の濃度勾配を算出し、濃度勾配に対して垂直な向きをエッジの方向として推定することを特徴とする画像処理装置。
4. 請求項１〜３のいずれかにおいて、
   前記画像入力手段によって入力された画像に対して拡大／縮小の倍率を指定する倍率指定手段をさらに備え、
   前記補間処理手段は、前記倍率指定手段によって指定された倍率に応じた補間位置を決定する補間位置決定手段を有することを特徴とする画像処理装置。
5. 請求項４において、
   前記補間処理手段は、補間位置の周囲であって、前記エッジ方向検出手段によって検出されたエッジの向きに沿って配置された所定個数の画素を補間対象画素として抽出する補間対象画素決定手段を有することを特徴とする画像処理装置。
6. 請求項５において、
   前記補間対象画素決定手段は、前記エッジ方向検出手段によって検出されたエッジの向きを有する第１の補間軸を設定し、この第１の補間軸を挟んで所定範囲内に位置する所定個の画素を前記補間対象画素として抽出することを特徴とする画像処理装置。
7. 請求項６において、
   前記第１の補間軸は、エッジの向きに一致した直線形状を有することを特徴とする画像処理装置。
8. 請求項６において、
   前記第１の補間軸は、補間位置においてエッジの向きに一致した直線に接する非直線形状を有することを特徴とする画像処理装置。
9. 請求項６〜８のいずれかにおいて、
   水平軸および垂直軸のいずれか一方が第２の補間軸として用いられ、
   前記補間処理手段は、前記第１および第２の補間軸のいずれか一方の補間軸に沿って第１の補間処理を行うことにより仮想的な複数の補間位置における画素値を算出し、この第１の補間処理によって得られた複数の補間位置に対応する画素値を用いて、前記補間位置決定手段によって決定された補間位置に対応する補間値をいずれか他方の補間軸に沿って算出することを特徴とする画像処理装置。
10. 請求項９において、
    前記補間対象画素決定手段は、前記エッジ検出手段によって検出されたエッジの向きに基づいて、前記水平軸および前記垂直軸のいずれを前記第２の補間軸として用いるかを決定することを特徴とする画像処理装置。
11. 請求項１０において、
    前記補間対象画素決定手段は、前記第１の補間軸との角度が４５度以上となる前記水平軸あるいは前記垂直軸を前記第２の補間軸として設定することを特徴とする画像処理装置。
12. 請求項９〜１１のいずれかにおいて、
    前記補間処理手段は、前記第１および第２の補間軸に沿って格子状に配置されるように前記第２の補間軸に沿って前記所定個の画素の画素位置を調整した後に補間処理を行うことを特徴とする画像処理装置。
13. 請求項１〜１２のいずれかにおいて、
    前記補間処理手段による補間処理は、隣接する画素の間隔をｔとしたときに、
    φ（ｔ）＝−１．７５｜ｔ｜²＋１．０ （｜ｔ｜≦０．５）
    １．２５｜ｔ｜²−３．０｜ｔ｜＋１．７５ （０．５＜｜ｔ｜≦１．０）
    ０．７５｜ｔ｜²−２．０｜ｔ｜＋１．２５ （１．０＜｜ｔ｜≦１．５）
    −０．２５｜ｔ｜²＋｜ｔ｜−１．０ （１．５＜｜ｔ｜≦２．０）
    ０ （２．０＜｜ｔ｜）
    で表される標本化関数φ（ｔ）を用いて行われることを特徴とする画像処理装置。
14. 画像の入力を行う画像入力ステップと、
    前記画像入力ステップにおいて入力された画像に含まれるエッジの方向を検出するエッジ方向検出ステップと、
    前記画像入力ステップにおいて入力された画像に対して、前記エッジ方向検出ステップにおいて検出されたエッジの向きに補間処理を行う補間処理ステップと、
    を有することを特徴とする画像処理方法。
15. 請求項１４において、
    前記画像入力ステップにおいて入力された画像は、互いに直交する水平軸および垂直軸に沿って配置された複数の画素によって構成されており、
    前記エッジ方向検出ステップは、補間位置を包囲する４つの画素の画素値に基づいてエッジの方向を検出することを特徴とする画像処理方法。
16. 請求項１５において、
    前記エッジ方向検出ステップは、前記補間位置を包囲する４つの画素の画素値に基づいて、これら４つの画素に対応する画像の濃度勾配を算出し、濃度勾配に対して垂直な向きをエッジの方向として推定することを特徴とする画像処理方法。
17. 請求項１４〜１６のいずれかにおいて、
    前記画像入力ステップにおいて入力された画像に対して拡大／縮小の倍率を指定する倍率指定ステップをさらに備え、
    前記補間処理ステップは、前記倍率指定ステップにおいて指定された倍率に応じた補間位置を決定する補間位置決定ステップを有することを特徴とする画像処理方法。
18. 請求項１７において、
    前記補間処理ステップは、補間位置の周囲であって、前記エッジ方向検出ステップによって検出されたエッジの向きに沿って配置された所定個数の画素を補間対象画素として抽出する補間対象画素決定ステップを有することを特徴とする画像処理方法。
19. 請求項１８において、
    前記補間対象画素決定ステップは、前記エッジ方向検出ステップにおいて検出されたエッジの向きを有する第１の補間軸を設定し、この第１の補間軸を挟んで所定範囲内に位置する所定個の画素を前記補間対象画素として抽出することを特徴とする画像処理方法。
20. 請求項１９において、
    前記第１の補間軸は、エッジの向きに一致した直線形状を有することを特徴とする画像処理方法。
21. 請求項１９において、
    前記第１の補間軸は、補間位置においてエッジの向きに一致した直線に接する非直線形状を有することを特徴とする画像処理方法。
22. 請求項１９〜２１のいずれかにおいて、
    水平軸および垂直軸のいずれか一方が第２の補間軸として用いられ、
    前記補間処理ステップは、前記第１および第２の補間軸のいずれか一方の補間軸に沿って第１の補間処理を行うことにより仮想的な複数の補間位置における画素値を算出し、この第１の補間処理によって得られた複数の補間位置に対応する画素値を用いて、前記補間位置決定手段によって決定された補間位置に対応する補間値をいずれか他方の補間軸に沿って算出することを特徴とする画像処理方法。
23. 請求項２２において、
    前記補間対象画素決定ステップは、前記エッジ検出ステップにおいて検出されたエッジの向きに基づいて、前記水平軸および前記垂直軸のいずれを前記第２の補間軸として用いるかを決定することを特徴とする画像処理方法。
24. 請求項２３において、
    前記補間対象画素決定ステップは、前記第１の補間軸との角度が４５度以上となる前記水平軸あるいは前記垂直軸を前記第２の補間軸として設定することを特徴とする画像処理方法。
25. 請求項２２〜２４のいずれかにおいて、
    前記補間処理ステップは、前記第１および第２の補間軸に沿って格子状に配置されるように前記第２の補間軸に沿って前記所定個の画素の画素位置を調整した後に補間処理を行うことを特徴とする画像処理方法。
26. 請求項１４〜２５のいずれかにおいて、
    前記補間処理ステップにおける補間処理は、隣接する画素の間隔をｔとしたときに、
    φ（ｔ）＝−１．７５｜ｔ｜²＋１．０ （｜ｔ｜≦０．５）
    １．２５｜ｔ｜²−３．０｜ｔ｜＋１．７５ （０．５＜｜ｔ｜≦１．０）
    ０．７５｜ｔ｜²−２．０｜ｔ｜＋１．２５ （１．０＜｜ｔ｜≦１．５）
    −０．２５｜ｔ｜²＋｜ｔ｜−１．０ （１．５＜｜ｔ｜≦２．０）
    ０ （２．０＜｜ｔ｜）
    で表される標本化関数φ（ｔ）を用いて行われることを特徴とする画像処理方法。
27. コンピュータを、
    画像の入力を行う画像入力手段と、
    前記画像入力手段によって入力された画像に含まれるエッジの方向を検出するエッジ方向検出手段と、
    前記画像入力手段によって入力された画像に対して、前記エッジ方向検出手段によって検出されたエッジの向きに補間処理を行う補間処理手段と、
    して機能させるための画像処理プログラム。
28. 請求項２７において、
    前記画像入力手段によって入力された画像は、互いに直交する水平軸および垂直軸に沿って配置された複数の画素によって構成されており、
    前記エッジ方向検出手段は、補間位置を包囲する４つの画素の画素値に基づいてエッジの方向を検出することを特徴とする画像処理プログラム。
29. 請求項２８において、
    前記エッジ方向検出手段は、前記補間位置を包囲する４つの画素の画素値に基づいて、これら４つの画素に対応する画像の濃度勾配を算出し、濃度勾配に対して垂直な向きをエッジの方向として推定することを特徴とする画像処理プログラム。
30. 請求項２７〜２９のいずれかにおいて、
    コンピュータを、さらに、前記画像入力手段によって入力された画像に対して拡大／縮小の倍率を指定する倍率指定手段として機能させ、
    前記補間処理手段は、前記倍率指定手段によって指定された倍率に応じた補間位置を決定する補間位置決定手段を有することを特徴とする画像処理プログラム。
31. 請求項３０において、
    前記補間処理手段は、補間位置の周囲であって、前記エッジ方向検出手段によって検出されたエッジの向きに沿って配置された所定個数の画素を補間対象画素として抽出する補間対象画素決定手段を有することを特徴とする画像処理プログラム。
32. 請求項３１において、
    前記補間対象画素決定手段は、前記エッジ方向検出手段によって検出されたエッジの向きを有する第１の補間軸を設定し、この第１の補間軸を挟んで所定範囲内に位置する所定個の画素を前記補間対象画素として抽出することを特徴とする画像処理プログラム。
33. 請求項３２において、
    前記第１の補間軸は、エッジの向きに一致した直線形状を有することを特徴とする画像処理プログラム。
34. 請求項３２において、
    前記第１の補間軸は、補間位置においてエッジの向きに一致した直線に接する非直線形状を有することを特徴とする画像処理プログラム。
35. 請求項３２〜３４のいずれかにおいて、
    水平軸および垂直軸のいずれか一方が第２の補間軸として用いられ、
    前記補間処理手段は、前記第１および第２の補間軸のいずれか一方の補間軸に沿って第１の補間処理を行うことにより仮想的な複数の補間位置における画素値を算出し、この第１の補間処理によって得られた複数の補間位置に対応する画素値を用いて、前記補間位置決定手段によって決定された補間位置に対応する補間値をいずれか他方の補間軸に沿って算出することを特徴とする画像処理プログラム。
36. 請求項３４において、
    前記補間対象画素決定手段は、前記エッジ検出手段によって検出されたエッジの向きに基づいて、前記水平軸および前記垂直軸のいずれを前記第２の補間軸として用いるかを決定することを特徴とする画像処理プログラム。
37. 請求項３６において、
    前記補間対象画素決定手段は、前記第１の補間軸との角度が４５度以上となる前記水平軸あるいは前記垂直軸を前記第２の補間軸として設定することを特徴とする画像処理プログラム。
38. 請求項３５〜３７のいずれかにおいて、
    前記補間処理手段は、前記第１および第２の補間軸に沿って格子状に配置されるように前記第２の補間軸に沿って前記所定個の画素の画素位置を調整した後に補間処理を行うことを特徴とする画像処理プログラム。
39. 請求項２７〜３８のいずれかにおいて、
    前記補間処理手段による補間処理は、隣接する画素の間隔をｔとしたときに、
    φ（ｔ）＝−１．７５｜ｔ｜²＋１．０ （｜ｔ｜≦０．５）
    １．２５｜ｔ｜²−３．０｜ｔ｜＋１．７５ （０．５＜｜ｔ｜≦１．０）
    ０．７５｜ｔ｜²−２．０｜ｔ｜＋１．２５ （１．０＜｜ｔ｜≦１．５）
    −０．２５｜ｔ｜²＋｜ｔ｜−１．０ （１．５＜｜ｔ｜≦２．０）
    ０ （２．０＜｜ｔ｜）
    で表される標本化関数φ（ｔ）を用いて行われることを特徴とする画像処理プログラム。

Images