JP2003016442A - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

Abstract

(57)【要約】 【課題】 少ない計算処理で効果的且つ簡単に画像の解
像度を変更できるようにする。 【解決手段】 ステップＳ２１において、入力された画
像データが画像モードであるか否かが判定され、画像モ
ードであると判定された場合、ステップＳ２２におい
て、１次元垂直イメージリフレッシュ処理が実行され
る。ステップＳ２３において、１次元水平イメージリフ
レッシュ処理が実行される。ステップＳ２４において、
高速垂直アップサンプリング処理が実行される。ステッ
プＳ２５において、高速水平アップサンプリング処理が
実行される。これにより、アップサンプリング処理の前
に、イメージリフレッシュ処理が実行されるので、１次
元垂直イメージリフレッシュ処理、および、１次元水平
イメージリフレッシュ処理の処理対象となる画素数を抑
制することができ、計算処理量を低減させることができ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像処理装置お
よび方法、並びに記録媒体に関し、特に、静止画および
動画像など様々なソースに適用でき、そして人間の視覚
系にアピールする方法で鮮明で自然なエッジとテクスチ
ャを再描画し、高画質な高解像度画像を得ることができ
るようにした画像処理装置および方法、並びに記録媒体
に関する。

【０００２】

【従来の技術】デジタル画像に基づく機器(デジタルカ
メラやカメラ一体型ビデオテープレコーダなど)の使用
機会が多くなるにつれ、いわゆるデジタルズーム処理の
必要性が高まってきた。それに伴い、デジタル画像の解
像度を上げるための様々な方法が開発されてきた。従来
の主な手法として、以下の３つの手法が存在する。第１
の手法は、最近隣画素をそのまま用いた補間方法(0次補
間(zero-order-hold interpolation))であり、特にハー
ドウェアの観点からみて簡単な補間法である。第２の手
法は、最近隣２画素の平均値を計算し、垂直方向と水平
方向に新しい画素を挿入する双線形補間方法(bilinear
interpolation)であり、隣接画素の補間にはかなり良い
手法だと考えられている。第３の手法は、ノイズにも強
く、モザイクパターンが出現しない、B-スプライン(B-s
pline)補間法である。

【０００３】

【発明が解決しようとする課題】しかしながら、第１の
方法は、特に高倍率で効果が少なく、拡大された画像に
は、有名な「モザイクパターン」というノイズが出てし
まう。そして、エッジが大幅に破壊され、非常に目障り
なジャギーが出現してしまう。第２の方法は、画像全体
がぼやけてしまうという欠点があり、画像の解像度は改
善されない。加えて、高倍率の際にモザイク現象がたく
さん出てしまう。第３の方法は、画像はかなりぼやけて
しまい、それにもかかわらず相対的に見るとハードウェ
アは複雑になってしまう。

【０００４】本発明は、このような状況に鑑みてなされ
たものであり、少ない計算処理で、効果的かつ簡単に、
コンピュータグラフィックスから写真までの範囲に及ぶ
様々なタイプの静止画および動画像の解像度を変更する
ことができるようにするものである。

【０００５】

【課題を解決するための手段】本発明の画像処理装置
は、原画像の中心画素エネルギを計算するエネルギ計算
手段と、エネルギ計算手段により計算された中心画素エ
ネルギに基づいて、エッジを強調するエッジ強調手段
と、エネルギ計算手段により計算された中心画素エネル
ギに基づいて、テクスチャを強調するテクスチャ強調手
段と、エッジ強調手段により強調されたエッジの方向を
検出する方向検出手段と、方向検出手段により検出され
たエッジの方向に基づいて、原画像の画素から新たな画
素を補間する補間手段とを備えることを特徴とする。

【０００６】前記エネルギ計算手段には、原画像の所定
の画素の水平方向、および、垂直方向の中心画素エネル
ギを、画素の近傍に存在する近傍画素の画素値より計算
させるようにすることができる。

【０００７】前記エネルギ計算手段により使用された近
傍画素のうち、所定の画素を中心として、垂直方向、ま
たは、水平方向に配列された近傍画素の画素値の、最大
値、および、最小値を検出する最大値最小値検出手段
と、中心画素エネルギと、最小値、および、最小値より
も大きく最大値よりも小さい所定の閾値とを比較する第
１の比較手段とをさらに設けるようにさせることがで
き、第１の比較手段の第１の比較結果により、中心画素
エネルギが、最小値以上で、かつ、閾値未満の場合、テ
クスチャ強調手段には、所定の画素をテクスチャ領域に
属するものとみなすようにさせ、フィルタ処理を施させ
ることによりテクスチャを強調させるようにすることが
できる。

【０００８】前記フィルタ処理は、所定のフィルタの係
数を、対応する画素に乗算し、その積を加算する1次元
フィルタ処理とするようにさせることができる。

【０００９】前記所定のフィルタの係数は、中心画素エ
ネルギに対応する値とするようにさせることができる。

【００１０】前記フィルタ処理は、原画像の垂直方向と
水平方向のそれぞれの方向について行う処理とさせるこ
とができる。

【００１１】前記エネルギ計算手段により使用された近
傍画素のうち、所定の画素を中心として、垂直方向、ま
たは、水平方向に方向に配列された近傍画素の画素値
の、最大値、および、最小値を検出する最大値最小値検
出手段と、中心画素エネルギと、最小値よりも大きく最
大値よりも小さい所定の閾値、および、最大値とを比較
する第２の比較手段とをさらに設けるようにさせること
ができ、第２の比較手段の第２の比較結果により、中心
画素エネルギが、閾値以上で、かつ、最大値未満の場
合、エッジ強調手段には、所定の画素をエッジ領域に属
するものとみなすようにさせ、フィルタ処理を施させ、
さらに、クリッピング処理を施させることによりエッジ
を強調させるようにすることができる。

【００１２】前記フィルタ処理は、所定のフィルタの係
数を、対応する画素に乗算し、その積を加算する1次元
フィルタ処理とするようにさせることができる。

【００１３】前記所定のフィルタの係数は、中心画素エ
ネルギに対応する値とするようにさせることができる。

【００１４】前記フィルタ処理は、原画像の垂直方向と
水平方向のそれぞれの方向について行う処理とするよう
にさせることができる。

【００１５】前記フィルタ処理が施された画素の画素値
と、最大値、および、最小値を比較する第３の比較手段
を設けるようにさせることができ、クリッピング処理
は、第３の比較手段の第３の比較結果に対応して、フィ
ルタ処理が施された画素の画素値が、最大値よりも大き
い場合、フィルタ処理された画素の画素値を最大値に置
換する処理とさせることができ、フィルタ処理された画
素の画素値が、最小値よりも小さい場合、フィルタ処理
された画素の画素値を最小値に置換する処理とさせるよ
うにすることができる。

【００１６】前記補間手段には、検出されたエッジの方
向の２つの画素から新たな１つの画素を補間させるよう
にすることができる。

【００１７】前記補間手段には、エッジ検出手段により
エッジが検出されないとき、線形補間処理を行わせるよ
うにすることができる。

【００１８】前記補間手段により補間された画素の局所
的構造の整合性を判定する整合性判定手段をさらに設け
るようにさせることができ、整合性判定手段により整合
性がないと判定されたとき、補間手段には、線形補間処
理を行わせるようにすることができる。

【００１９】前記補間手段とエッジ強調手段の処理は、
値Ｚの値が２より大きい場合、値Ｚの値が２であるとき
の処理をＮ回行った後、値ｚの値が２以下であるときの
処理を１回行うようにさせることができる。

【００２０】本発明の画像処理方法は、原画像の中心画
素エネルギを計算するエネルギ計算ステップと、エネル
ギ計算ステップの処理で計算された中心画素エネルギに
基づいて、エッジを強調するエッジ強調ステップと、エ
ネルギ計算ステップの処理で計算された中心画素エネル
ギに基づいて、テクスチャを強調するテクスチャ強調ス
テップと、エッジ強調ステップの処理で強調されたエッ
ジの方向を検出する方向検出ステップと、方向検出ステ
ップの処理で検出されたエッジの方向に基づいて、原画
像の画素から新たな画素を補間する補間ステップとを含
むことを特徴とする。

【００２１】本発明の記録媒体のプログラムは、原画像
の中心画素エネルギの計算を制御するエネルギ計算制御
ステップと、エネルギ計算制御ステップの処理で計算さ
れた中心画素エネルギに基づいて、エッジの強調を制御
するエッジ強調制御ステップと、エネルギ計算制御ステ
ップの処理で計算された中心画素エネルギに基づいて、
テクスチャの強調を制御するテクスチャ強調制御ステッ
プと、エッジ強調制御ステップの処理で強調されたエッ
ジの方向の検出を制御する方向検出制御ステップと、方
向検出制御ステップの処理で検出されたエッジの方向に
基づいて、原画像の画素から新たな画素の補間を制御す
る補間制御ステップとを含むことを特徴とする。

【００２２】本発明のプログラムは、原画像の中心画素
エネルギの計算を制御するエネルギ計算制御ステップ
と、エネルギ計算制御ステップの処理で計算された中心
画素エネルギに基づいて、エッジの強調を制御するエッ
ジ強調制御ステップと、エネルギ計算制御ステップの処
理で計算された中心画素エネルギに基づいて、テクスチ
ャの強調を制御するテクスチャ強調制御ステップと、エ
ッジ強調制御ステップの処理で強調されたエッジの方向
の検出を制御する方向検出制御ステップと、方向検出制
御ステップの処理で検出されたエッジの方向に基づい
て、原画像の画素から新たな画素の補間を制御する補間
制御ステップとをコンピュータに実行させることを特徴
とする。

【００２３】本発明の画像処理装置および方法、並びに
プログラムにおいては、原画像の中心画素エネルギが計
算され、計算された中心画素エネルギに基づいて、エッ
ジが強調され、計算された中心画素エネルギに基づい
て、テクスチャが強調され、強調されたエッジの方向が
検出され、検出されたエッジの方向に基づいて、原画像
の画素から新たな画素が補間される。

【００２４】

【発明の実施の形態】図１は、本発明を適用した画像処
理装置の構成例を表している。この画像処理装置１０に
おいては、画像入力部１が処理対象とされる画像データ
を、記録媒体から読み取ったり、ネットワークを介して
伝送されてくるものを受信して入力し、画像処理部２に
出力している。画像処理部２は、画像入力部１より入力
された画像の解像度を変更し（拡大または縮小し）、画
像出力部３に出力している。画像出力部３は、画像処理
部２より供給された画像データを表示部に表示させた
り、記録媒体に記録するか、あるいは、伝送媒体を介し
て、他の装置に伝送する。

【００２５】画像処理部２には、エッジコネクタ処理部
１１が設けられている。このエッジコネクタ処理部１１
は、画像のエッジを太くする処理を実行する。すなわ
ち、小さいサイズの画像は、低解像度であり、信頼でき
る情報が少ないため、拡大するのが困難である。エッジ
が１画素と同じくらい細い（薄い）と、後述する高速垂
直アップサンプリング処理部１２，垂直アップサンプリ
ング処理部１３，高速水平アップサンプリング処理部１
４、または、水平アップサンプリング処理部１５におけ
るエッジ検出が困難になり、エッジ方向に沿った補間処
理を正確に行うことが困難になる。そこで原画像に前処
理を行い、エッジを検出し易くする。この画像情報を破
壊しない前処理は、例えばコンピュータのアイコンやワ
ードプロセッサのフォントなどの弱接続（loose connec
tion）を持つ画像に対して行われる。

【００２６】高速垂直アップサンプリング処理部１２と
垂直アップサンプリング処理部１３は、それぞれ原画像
の解像度を垂直方向にＺ倍する処理を行う。高速垂直ア
ップサンプリング処理部１２は、Ｚの値が１より大きく
２より小さい場合の処理を行い、垂直アップサンプリン
グ処理部１３は、Ｚの値が２である場合の処理を行う。

【００２７】高速水平アップサンプリング処理部１４と
水平アップサンプリング処理部１５は、それぞれ原画像
の解像度を水平方向にＺ倍する処理を行う。高速水平ア
ップサンプリング処理部１４は、Ｚの値が１より大きく
２より小さい場合の処理を行い、水平アップサンプリン
グ処理部１５は、Ｚの値が２である場合の処理を行う。

【００２８】線形縮小処理部１６は、原画像の解像度を
縮小する（（Z＜１）倍する）処理を行う。

【００２９】1次元垂直イメージリフレッシュ処理部１
７と1次元垂直イメージリフレッシュ処理部１８は、バ
ッファ１７ａ，１８ａを適宜利用しながら、それぞれ垂
直方向または水平方向に画像データを１次元のフィルタ
で処理し、エッジとテクスチャを視覚的に違和感なく強
調する。すなわち、記録媒体に画像データが記録される
場合、記録媒体の物理的な影響により高域成分が抑制さ
れて、画像中のエッジ部分とテクスチャ部分がぼけてし
まうといった現象が生じることがあるので、1次元垂直
イメージリフレッシュ処理部１７と1次元垂直イメージ
リフレッシュ処理部１８は、各画素の中心画素エネルギ
を求めて、対応するフィルタ処理を行うと共に、中心画
素エネルギの値からその画素がエッジ、または、テクス
チャのいずれに属しているかを判別し、エッジの場合に
ついては、さらに、フィルタ処理により生じてしまう歪
みを抑制するため、クリッピング処理を施す。

【００３０】また、1次元垂直イメージリフレッシュ処
理部１７と1次元垂直イメージリフレッシュ処理部１８
で使用するフィルタは、各々２種類のフィルタが用意さ
れており、必要に応じてユーザが任意に設定することが
できる。この２種類のフィルタのうち一方のフィルタ
は、周波数領域の特性を綿密に制御できるという特性が
あり、他方のフィルタは、前者のフィルタと比較すると
周波数領域の特性を綿密に制御することができないが、
処理量を軽減することができるというものである。これ
らのフィルタは、構成するフィルタの要素が異なると言
う他は同様であり、その処理も同様である。以下の説明
においては、前者のフィルタをＡタイプ、後者のフィル
タをＢタイプと称するものとする。

【００３１】次に、図２のフローチャートを参照して、
画像処理部２のズーム処理について説明する。最初にス
テップＳ１において、画像処理部２は、変数ｚに倍率Ｚ
の値を設定する。次にステップＳ２において、画像処理
部２は、変数ｚの値が２以上であるか否かを判定し、２
未満である場合には、ステップＳ３に進み、変数ｚの値
が１より大きく２より小さい値であるか否かが判定され
る。変数ｚの値が１より大きく２より小さい場合にはス
テップＳ４に進み、画像処理部２は、高速ズーム処理を
行う。この高速ズーム処理の詳細は、図３のフローチャ
ートを参照して後述する。その後、ステップＳ７におい
て、出力表示処理が実行される。

【００３２】ステップＳ３において変数ｚの値が１と２
の間の値ではないと判定された場合、ステップＳ５に進
み、その変数ｚの値は、０であるか否かが判定される。
その変数ｚの値が０でない場合には（変数ｚの値が１未
満である場合には）、ステップＳ６に進み、標準的な線
形縮小処理が実行される。その後、ステップＳ７におい
て、出力表示処理が実行される。すなわち、生成された
画像が、画像出力部３により、表示部に表示される。

【００３３】これに対してステップＳ５において、変数
ｚの値が０であると判定された場合、ステップＳ６にお
けるズーム処理を所定回数実行した結果、拡大処理は既
に完了しているため、ステップＳ７に進み、出力表示処
理が実行される。

【００３４】ステップＳ２において、変数ｚの値が２以
上であると判定された場合、ステップＳ８に進み、画像
処理部２は、ズーム処理を実行する。このズーム処理の
詳細は、図３７のフローチャートを参照して後述する。

【００３５】ステップＳ８の次にステップＳ９に進み、
画像処理部２は、変数ｚの値を２で除算する。その後、
処理はステップＳ２に戻り、それ以降の処理が繰り返し
実行される。

【００３６】すなわち、変数ｚの値が２以上である場合
には、ステップＳ８の処理が変数ｚの値が２より小さく
なるまで所定回数繰り返し行われる。そして、変数ｚの
値が２より小さくなった場合には、変数ｚの値が１と２
の間の値であるとき、ステップＳ４で高速ズーム処理が
行われ、変数ｚの値が１未満である場合には、ステップ
Ｓ６で標準的な線形縮小処理が行われる。この標準的な
線形縮小処理は、例えば、バイリニアフィルタを用いて
実現することができる。

【００３７】次に、図３のフローチャートを参照して、
ステップＳ４の高速ズーム処理について説明する。最初
にステップＳ２１において、画像処理部２は、ユーザよ
り設定されているモードが、画像モードであるか否かを
判定する。設定されているモードが画像モードでない場
合には（処理対象の画像が、エッジコネクタ処理を必要
とするアイコンやフォントなどの弱接続の画像である場
合には）、ステップＳ２６に進み、エッジコネクタ処理
が行われる。このエッジコネクタ処理の詳細は、図３３
と図３４を参照して後述するが、この処理で、弱接続の
画像が強接続の画像に前処理される。

【００３８】ステップＳ２１で設定されているモードが
画像モードであると判定された場合（処理対象の画像が
強接続の画像である場合）、およびステップＳ２６の処
理の後、ステップＳ２２に進み、画像処理部２は、１次
元垂直イメージリフレッシュ処理を実行する。

【００３９】ここで、図４のフローチャートを参照し
て、１次元垂直イメージリフレッシュ処理部１７の１次
元垂直イメージリフレッシュ処理について説明する。

【００４０】ステップＳ３１において、１次元垂直イメ
ージリフレッシュ処理部１７は、画像入力部１より入力
された画像データのうち、処理していない画素があるか
否かを判定し、処理していない画素があると判定された
場合、その処理は、ステップＳ３２に進む。

【００４１】ステップＳ３２において、１次元垂直イメ
ージリフレッシュ処理部１７は、未処理画素を検索し、
検索された未処理画素の垂直方向中心画素エネルギを算
出する。例えば、図５に示すような画像データが入力さ
れ、垂直方向のｙ＋１，ｙ，ｙ−１の各ラインに、画素
ａ乃至ｅ、画素ｆ乃至ｊ、および、画素ｋ乃至ｏが配置
されているものとするとき、画素ｈの近傍のＡエリア
（図中実線で囲まれた範囲）の垂直方向中心画素エネル
ギEV-hは、以下の式（１）により求められる。

【００４２】 EV-h＝｜（ｂ＋ｃ＋ｄ）−（ｌ＋ｍ＋ｎ）｜・・・（１）

【００４３】ここで、ｂ，ｃ，ｄ，ｌ，ｍ，およびｎ
は、画素ｂ，ｃ，ｄ，ｌ，ｍ，およびｎの画素値であ
る。すなわち、式（１）の垂直方向中心画素エネルギEV
は、未処理画素を中心とした上のラインと下のラインに
存在する画素値の和同士の差分の絶対値である。このた
め、相関のある画素同士が上下にある場合は、その画素
値の差分には、大きな差がないので、垂直方向中心画素
エネルギも小さくなり、逆に、相関のない画素同士が上
下にある場合、その画素値の差分には大きな差が現れる
ことが多く、結果として垂直方向中心画素エネルギも大
きくなる。

【００４４】１次元垂直イメージリフレッシュ処理部１
７は、未処理画素の垂直方向中心画素エネルギEV-hを上
記の式（１）を演算することにより求める。

【００４５】ステップＳ３３において、１次元垂直イメ
ージリフレッシュ処理部１７は、未処理画素を含めた上
下３個の画素の画素値を比較して最大値と最小値を求め
る。すなわち、例えば、図５に示すように、未処理画素
が画素ｈであった場合、それを含めた上下の画素ｃ，
ｈ，ｍ（図５中の点線で囲まれたＢエリア）の各画素値
を読出し、図６に示すように、その内の最大値（ｃ，
ｈ，ｍ）と最小値（ｃ，ｈ，ｍ）を求める。

【００４６】ステップＳ３４において、１次元垂直イメ
ージリフレッシュ処理部１７は、求められた垂直方向中
心画素エネルギEV-hが、最小値（ｃ，ｈ，ｍ）より大き
く、かつ、最大値（ｃ，ｈ，ｍ）未満であるか否かを判
定し、最小値（ｃ，ｈ，ｍ）より大きく、かつ、最大値
（ｃ，ｈ，ｍ）未満であると判定した場合、すなわち、
その画素がエッジか、または、テクスチャであると判定
した場合、その処理は、ステップＳ３５に進む。

【００４７】ステップＳ３５において、１次元垂直イメ
ージリフレッシュ処理部１７は、垂直１次元フィルタを
構成する係数αの値を計算する。係数αは、式（２）に
示すような計算により求められる。

【００４８】 α＝α0−（EV-h／EV-h-max）・・・（２）

【００４９】ここで、α0（１<α0≦２）は、ユーザに
より任意に設定される値であり、EV-h-Maxは、垂直方向
中心画素エネルギEV-hの最大値である。尚、ここで言う
垂直中心画素エネルギの最大値EV-h-maxは、最大値
（ｃ，ｈ，ｍ）とは、異なるものであり、算出され得る
最大値を示している。

【００５０】ステップＳ３６において、１次元垂直イメ
ージリフレッシュ処理部１７は、図５に示すBエリアの
画素ｃ，ｈ，ｍに、図６に示すような１次元垂直フィル
タ処理を施す。すなわち、１次元垂直フィルタは、（1/
2−α/2，α，1/2−α/2）（１<α≦２）といったもの
であり、例えば、フィルタが上述のタイプＡの場合、以
下の式（３）に示すような演算により、フィルタ処理さ
れた画素値ｈV-filterが求められる。

【００５１】 ｈV-filter＝ｃ×（1/2−α/2）＋ｈ×α＋ｍ×（1/2−α/2）・・・（３）

【００５２】ここで、係数αは、上述のステップＳ３５
の処理で求められた値であり、フィルタによるエッジ、
または、テクスチャの強調の程度を調節することができ
る。すなわち、係数αは、垂直方向中心画素エネルギEV
-hの値により動的に変化し、垂直方向中心画素エネルギ
EV-hが小さいと係数αは大きくなり、結果として、図６
に示す１次元垂直フィルタは、画素ｈに強く作用するこ
とになり、逆に、垂直方向中心画素エネルギEV-hが大き
いと係数αは小さくなり、結果として、図６に示す垂直
フィルタは、画素ｈに弱く作用することになる。

【００５３】ステップＳ３７において、１次元垂直イメ
ージリフレッシュ処理部１７は、図６に示すように、現
在処理している画素がエッジであるか、または、テクス
チャであるかの判別処理を行う。すなわち、垂直中心画
素エネルギEV-hは、テクスチャである場合、その値が最
小値（ｃ，ｈ，ｍ）に近い値をとり、エッジである場
合、その値が最大値（ｃ，ｈ，ｍ）に近い値をとる。そ
こで、最大値（ｃ，ｈ，ｍ）と最小値（ｃ，ｈ，ｍ）の
中間付近に閾値EV-sを設定し、閾値EV-sより垂直中心画
素エネルギEV-hが大きいとき、エッジであると判別し、
逆に、閾値EV-sより垂直中心画素エネルギEV-hが小さい
とき、テクスチャであると判別する。例えば、垂直中心
画素エネルギEV-hが閾値EV-sより大きいとき、１次元垂
直イメージリフレッシュ処理部１７は、注目する処理中
の画素が、エッジであると判別し（エッジの表示領域に
存在する画素であると判別し）、その処理は、ステップ
Ｓ３８に進む。

【００５４】ステップＳ３８において、１次元垂直イメ
ージリフレッシュ処理部１７は、図６に示すように、フ
ィルタ処理した画素値ｈV-filterと最大値（ｃ，ｈ，
ｍ）を比較し、フィルタ処理した画素値ｈV-filterが最
大値（ｃ，ｈ，ｍ）以上であるか否かを判定し、最大値
（ｃ，ｈ，ｍ）以上であると判定した場合、ステップＳ
３９において、１次元垂直イメージリフレッシュ処理部
１７は、画素値ｈV-filterを最大値（ｃ，ｈ，ｍ）に置
き換える。

【００５５】ステップＳ４０において、１次元垂直イメ
ージリフレッシュ処理部１７は、最大値（ｃ，ｈ，ｍ）
に置き換えられた画素値を画素ｈの画素値としてバッフ
ァ１７ａに記憶させ、その処理は、ステップＳ３１に戻
り、全ての画素に１次元垂直エッジ強調処理が施された
と判定されるまで同様の処理が繰り返される。

【００５６】ステップＳ３４において、垂直方向中心画
素エネルギEVが、最小値（ｃ，ｈ，ｍ）より大きく、か
つ、最大値（ｃ，ｈ，ｍ）未満ではないと判定された場
合、すなわち、その画素がエッジか、または、テクスチ
ャでではないと判定された場合、その処理は、ステップ
Ｓ４０に進み、１次元垂直イメージリフレッシュ処理部
１７は、画素ｈの画素値を、フィルタ処理することな
く、そのままバッファ１７ａに記憶させ、その処理は、
ステップＳ３１に戻り、それ以降の処理が繰り返され
る。また、ステップＳ３７において、垂直中心画素エネ
ルギEV-hが閾値EV-sより小さいとき、１次元垂直イメー
ジリフレッシュ処理部１７は、注目する処理中の画素
が、テクスチャであると判定し、その処理は、ステップ
Ｓ４０に進む。すなわち、テクスチャである場合、１次
元垂直イメージリフレッシュ処理部１７は、フィルタ処
理が施された画素値ｈV-filterを画素ｈの値としてバッ
ファ１７ａに記憶させる。

【００５７】ステップＳ３８において、フィルタ処理し
た画素値ｈV-filterが最大値（ｃ，ｈ，ｍ）以上ではな
いと判定した場合、ステップＳ４１において、１次元垂
直イメージリフレッシュ処理部１７は、フィルタ処理し
た画素値ｈV-filterと最小値（ｃ，ｈ，ｍ）を比較し、
フィルタ処理した画素値ｈV-filterが最小値（ｃ，ｈ，
ｍ）以下であるか否かを判定し、フィルタ処理した画素
値ｈV-filterが最小値（ｃ，ｈ，ｍ）以下であると判定
した場合、その処理は、ステップＳ４２に進む。

【００５８】ステップＳ４２において、１次元垂直イメ
ージリフレッシュ処理部１７は、画素値ｈV-filterを最
小値（ｃ，ｈ，ｍ）に置き換え、ステップＳ４０におい
て、最小値（ｃ，ｈ，ｍ）に置き換えられた画素値を、
画素ｈの画素値としてバッファ１７ａに記憶する。

【００５９】ステップＳ４１において、フィルタ処理し
た画素値ｈV-filterが最小値（ｃ，ｈ，ｍ）以下ではな
いと判定した場合、その処理は、ステップＳ４０に進
み、１次元垂直イメージリフレッシュ処理部１７は、フ
ィルタ処理された画素値ｈV-filterを、画素ｈの画素値
としてバッファ１７ａに記憶させ、その処理は、ステッ
プＳ３１に戻る。

【００６０】すなわち、ステップＳ３４の処理で、垂直
方向中心画素エネルギEV-hが、最小値（ｃ，ｈ，ｍ）よ
り大きく、かつ、最大値（ｃ，ｈ，ｍ）未満である場
合、図６に示すように、ステップＳ３３の処理で求めら
れた最大値（ｃ，ｈ，ｍ）、および、最小値（ｃ，ｈ，
ｍ）が、画素ｃ，ｈ，ｍの局所的な範囲の最大値と最小
値とみなされ、ステップＳ３６の処理でフィルタ処理し
て求められた画素値が、その最小値と最大値の範囲に含
まれたときは、さらに、ステップＳ３７の処理で、エッ
ジであるかテクスチャであるかが判定され、テクスチャ
として判定されると、フィルタ処理した画素値を、その
ままバッファ１７ａに記憶させ、エッジとして判定され
ると、最小値（ｃ，ｈ，ｍ）以下のときは画素値を最小
値に、最大値（ｃ，ｈ，ｍ）以上のときは画素値を最大
値にして（クリッピングして）、バッファ１７ａに記憶
させる。ステップＳ３４の処理で、垂直方向中心画素エ
ネルギEVが、最小値（ｃ，ｈ，ｍ）より大きく、かつ、
最大値（ｃ，ｈ，ｍ）未満ではない場合、エッジ、また
は、テクスチャではないと判定された場合、元の画素値
が、フィルタ処理されることもなく、そのままバッファ
１７ａに記憶される。

【００６１】尚、１次元垂直フィルタは、上述のように
２種類存在し、図６に示すＡタイプと、図７で示すよう
にＢタイプが存在する。すなわち、Ａタイプでは、式
（３）で示したような演算により、フィルタ処理がなさ
れるが、Ｂタイプでは、以下の式（４）に示すような演
算がされる。

【００６２】 ｈV-filter（TypeB） ＝ｃ×（1/4−α/2）＋ｈ×1/2＋α＋ｍ×（1/4−α/2）・・・（４）

【００６３】尚、係数αは、Aタイプと同様に、式
（２）により設定可能であり、その他の処理も同様であ
るので、その処理の説明は省略する。

【００６４】ここで、図３の処理の説明に戻る。

【００６５】ステップＳ２２の処理における、１次元垂
直イメージリフレッシュ処理が実行されると、続いてス
テップＳ２３において、１次元水平イメージリフレッシ
ュ処理が実行される。

【００６６】ここで、図８のフローチャートを参照し
て、１次元水平イメージリフレッシュ処理部１８の１次
元水平イメージリフレッシュ処理について説明する。

【００６７】ステップＳ５１において、１次元水平イメ
ージリフレッシュ処理部１８は、１次元垂直イメージリ
フレッシュ処理部１７により１次元垂直イメージリフレ
ッシュ処理された画像データのうち、処理していない画
素があるか否かを判定し、処理していない画素があると
判定された場合、その処理は、ステップＳ５２に進む。

【００６８】ステップＳ５２において、１次元水平イメ
ージリフレッシュ処理部１８は、未処理画素を検索し、
検索された未処理画素の垂直方向中心画素エネルギを算
出する。例えば、図９に示すような画像データが入力さ
れ、垂直方向のｙ＋１，ｙ，ｙ−１の各ラインに、画素
ａ乃至ｅ、画素ｆ乃至ｊ、および、画素ｋ乃至ｏが配置
されているものとするとき、画素ｈの近傍のＡエリア
（図中実線で囲まれた範囲）の水平方向中心画素エネル
ギEH-hは、以下の式により求められる。

【００６９】 EV-h＝｜（ｄ＋ｉ＋ｎ）−（ｂ＋ｇ＋ｌ）｜・・・（５）

【００７０】ここで、ｂ，ｃ，ｄ，ｌ，ｍ，およびｎ
は、画素ｂ，ｃ，ｄ，ｌ，ｍ，およびｎの画素値であ
る。すなわち、式（５）の水平方向中心画素エネルギEH
は、未処理画素を中心とした右のラインと左のラインに
存在する画素値の和同士の差分の絶対値である。このた
め、相関のある画素同士が左右にある場合は、その画素
値の差分には、大きな差がないので、水平方向中心画素
エネルギも小さくなり、逆に、相関のない画素同士が左
右にある場合、その画素値の差分には大きな差が現れる
ことが多く、結果として水平方向中心画素エネルギも大
きくなる。

【００７１】１次元水平イメージリフレッシュ処理部１
８は、未処理画素の水平方向中心画素エネルギEH-hを上
記の式（５）を演算することにより求める。

【００７２】ステップＳ５３において、１次元水平イメ
ージリフレッシュ処理部１８は、未処理画素を含めた左
右３個の画素の画素値を比較して最大値と最小値を求め
る。すなわち、例えば、図９に示すように、未処理画素
が画素ｈであった場合、それを含めた上下の画素ｇ，
ｈ，ｉ（図９中の点線で囲まれたＢエリア）の各画素値
を読出し、図１０に示すように、その内の最大値（ｇ，
ｈ，ｉ）と最小値（ｇ，ｈ，ｉ）を求める。

【００７３】ステップＳ５４において、１次元水平イメ
ージリフレッシュ処理部１８は、求められた水平方向中
心画素エネルギEHが、最小値（ｇ，ｈ，ｉ）より大き
く、かつ、最大値（ｇ，ｈ，ｉ）未満であるか否かを判
定し、最小値（ｇ，ｈ，ｉ）より大きく、かつ、最大値
（ｇ，ｈ，ｉ）未満であると判定した場合、すなわち、
その画素がエッジか、または、テクスチャであると判定
した場合、その処理は、ステップＳ５５に進む。

【００７４】ステップＳ５５において、１次元水平イメ
ージリフレッシュ処理部１８は、水平１次元フィルタを
構成する係数αの値を計算する。係数αは、上述の式
（２）と同様に、式（６）に示すような計算により求め
られる。

【００７５】 α＝α0−（EH-h／EH-h-max）・・・（６）

【００７６】ここで、α0（１<α0≦２）は、ユーザに
より任意に設定される値であり、EH-h-Maxは、水平方向
中心画素エネルギEH-hの最大値である。尚、ここで言う
水平中心画素エネルギの最大値EH-h-maxは、最大値
（ｇ，ｈ，ｉ）とは、異なるものであり、算出され得る
最大値を示している。

【００７７】ステップＳ５６において、１次元水平イメ
ージリフレッシュ処理部１８は、図９に示すBエリアの
画素ｇ，ｈ，ｉに、図１０に示すような１次元水平フィ
ルタ処理を施す。すなわち、１次元水平フィルタとして
は、（1/2−α/2，α，1/2−α/2）（１<α≦２）とい
ったものであり、例えば、フィルタが上述のタイプＡの
場合、以下の式（７）に示すような演算により、フィル
タ処理された画素値ｈH-filterが求められる。

【００７８】 ｈH-filter＝ｇ×（1/2−α/2）＋ｈ×α＋ｉ×（1/2−α/2）・・・（７）

【００７９】ここで、係数αは、上述のステップＳ５５
の処理で求められた値であり、フィルタによるエッジ、
または、テクスチャの強調の程度を調節することができ
る。すなわち、係数αは、水平方向中心画素エネルギEH
-hの値により動的に変化し、水平方向中心画素エネルギ
EV-hが小さいと係数αは大きくなり、結果として、図１
０に示す１次元水平フィルタは、画素ｈに強く作用する
ことになり、逆に、水平方向中心画素エネルギEH-hが大
きいと係数αは小さくなり、結果として、図１０に示す
垂直フィルタは、画素ｈに弱く作用することになる。

【００８０】ステップＳ５７において、１次元水平イメ
ージリフレッシュ処理部１８は、図１０に示すように、
現在処理している画素がエッジであるか、または、テク
スチャであるかを判定する。すなわち、水平中心画素エ
ネルギEH-hは、テクスチャである場合、その値が最小値
（ｇ，ｈ，ｉ）に近い値をとり、エッジである場合、そ
の値が最大値（ｇ，ｈ，ｉ）に近い値をとる。そこで、
最大値（ｇ，ｈ，ｉ）と最小値（ｇ，ｈ，ｉ）の中間付
近に閾値EH-sを設定し、閾値EH-sより水平中心画素エネ
ルギEH-hが大きいとき、エッジであると判別し、逆に、
閾値EH-sより水平中心画素エネルギEH-hが小さいとき、
テクスチャであると判別する。例えば、水平中心画素エ
ネルギEH-hが閾値EH-sより大きいとき、１次元水平イメ
ージリフレッシュ処理部１８は、注目する処理中の画素
が、エッジであると判定し（エッジの表示領域に存在す
る画素であると判別し）、その処理は、ステップＳ５８
に進む。

【００８１】ステップＳ５８において、１次元水平イメ
ージリフレッシュ処理部１８は、図１０に示すように、
フィルタ処理した画素値ｈH-filterと最大値（ｇ，ｈ，
ｉ）を比較し、フィルタ処理した画素値ｈH-filterが最
大値（ｇ，ｈ，ｉ）以上であるか否かを判定し、最大値
（ｇ，ｈ，ｉ）以上であると判定した場合、ステップＳ
５９において、１次元水平イメージリフレッシュ処理部
１８は、画素値ｈH-filterを最大値（ｇ，ｈ，ｉ）に置
き換える。

【００８２】ステップＳ６０において、１次元水平イメ
ージリフレッシュ処理部１８は、最大値（ｇ，ｈ，ｉ）
に置き換えられた画素値を画素ｈの画素値としてバッフ
ァ１８ａに記憶させ、その処理は、ステップＳ５１に戻
り、全ての画素に１次元垂直エッジ強調処理が施された
と判定されるまで同様の処理が繰り返される。

【００８３】ステップＳ５４において、水平方向中心画
素エネルギEHが、最小値（ｇ，ｈ，ｉ）より大きく、か
つ、最大値（ｇ，ｈ，ｉ）未満ではないと判定された場
合、すなわち、その画素がエッジか、または、テクスチ
ャでではないと判定された場合、その処理は、ステップ
Ｓ６０に進み、１次元水平イメージリフレッシュ処理部
１８は、画素ｈの画素値を、フィルタ処理することな
く、そのままバッファ１８ａに記憶させ、その処理は、
ステップＳ５１に戻り、それ以降の処理が繰り返され
る。また、ステップＳ５７において、水平中心画素エネ
ルギEH-hが閾値EH-sより小さいとき、１次元水平イメー
ジリフレッシュ処理部１８は、注目する処理中の画素
が、テクスチャであると判定し、その処理は、ステップ
Ｓ６０に進む。すなわち、テクスチャである場合、１次
元水平イメージリフレッシュ処理部１８は、フィルタ処
理が施された画素値ｈH-filterを画素ｈの値としてバッ
ファ１８ａに記憶させる。

【００８４】ステップＳ５８において、フィルタ処理し
た画素値ｈH-filterが最大値（ｇ，ｈ，ｉ）以上ではな
いと判定した場合、ステップＳ６１において、１次元水
平イメージリフレッシュ処理部１８は、フィルタ処理し
た画素値ｈH-filterと最小値（ｇ，ｈ，ｉ）を比較し、
フィルタ処理した画素値ｈH-filterが最小値（ｇ，ｈ，
ｉ）以下であるか否かを判定し、フィルタ処理した画素
値ｈH-filterが最小値（ｇ，ｈ，ｉ）以下であると判定
した場合、その処理は、ステップＳ６２に進む。

【００８５】ステップＳ６２において、１次元水平イメ
ージリフレッシュ処理部１８は、画素値ｈH-filterを最
小値（ｇ，ｈ，ｉ）に置き換え、ステップＳ６０におい
て、最小値（ｇ，ｈ，ｉ）に置き換えられた画素値を、
画素ｈの画素値としてバッファ１８ａに記憶する。

【００８６】ステップＳ６１において、フィルタ処理し
た画素値ｈH-filterが最小値（ｇ，ｈ，ｉ）以下ではな
いと判定した場合、その処理は、ステップＳ６０に進
み、１次元水平イメージリフレッシュ処理部１８は、フ
ィルタ処理された画素値ｈH-filterを、画素ｈの画素値
としてバッファ１８ａに記憶させ、その処理は、ステッ
プＳ５１に戻る。

【００８７】すなわち、ステップＳ５４の処理で、水平
方向中心画素エネルギEHが、最小値（ｇ，ｈ，ｉ）より
大きく、かつ、最大値（ｇ，ｈ，ｉ）未満である場合、
図１０に示すように、ステップＳ５３の処理で求められ
た最大値（ｇ，ｈ，ｉ）、および、最小値（ｇ，ｈ，
ｉ）が、画素ｇ，ｈ，ｉの局所的な範囲の最大値と最小
値とみなされ、ステップＳ５６の処理でフィルタ処理し
て求められた画素値が、その最小値と最大値の範囲に含
まれたときは、さらに、ステップＳ５７の処理で、エッ
ジであるかテクスチャであるかが判定され、テクスチャ
として判定されると、フィルタ処理した画素値を、その
ままバッファ１８ａに記憶させ、エッジとして判定され
ると、最小値（ｇ，ｈ，ｉ）以下のときは画素値を最小
値に、最大値（ｇ，ｈ，ｉ）以上のときは画素値を最大
値にして（クリッピングして）、バッファ１８ａに記憶
させる。ステップＳ５４の処理で、垂直方向中心画素エ
ネルギEHが、最小値（ｇ，ｈ，ｉ）より大きく、かつ、
最大値（ｇ，ｈ，ｉ）未満ではない場合、エッジ、また
は、テクスチャではないと判定されたとき、元の画素値
が、フィルタ処理されることもなく、そのままバッファ
１８ａに記憶される。

【００８８】尚、１次元水平フィルタは、上述のように
２種類存在し、図１０に示すＡタイプと、図１１で示す
ようにＢタイプが存在する。すなわち、Ａタイプでは、
式（７）で示したような演算により、フィルタ処理がな
されるが、Ｂタイプでは、以下の式（８）に示すような
演算がされる。

【００８９】 ｈH-filter（TypeB） ＝ｇ×（1/4−α/2）＋ｈ×1/2＋α＋ｉ×（1/4−α/2）・・・（８）

【００９０】ここで、αの設定は、Aタイプと同様に、
式（６）により設定可能であり、その他の処理も同様で
あるので、その処理の説明は省略する。

【００９１】ここで、図３の処理の説明に戻る。

【００９２】ステップＳ２３において、１次元水平イメ
ージリフレッシュ処理が実行されると、続いて、ステッ
プＳ２４において、高速垂直アップサンプリング処理を
実行する。この高速垂直アップサンプリング処理は、例
えば、図１２に示されるように、画像入力部１より入力
された原画像の画素数を垂直方向に拡大する処理を意味
する。この高速垂直アップサンプリング処理は、高速垂
直アップサンプリング処理部１２により実行される。

【００９３】高速垂直アップサンプリング処理の詳細
は、図１３のフローチャートに示されている。高速垂直
アップサンプリング処理部１２は、最初にステップＳ７
１において、Ｈバッファ３１（後述する図１５）と２Ｙ
バッファ４１（後述する図２１）を作成する。画像入力
部１より入力された原画像（I_image）のサイズが、In_
width×In_heightである場合、Ｈバッファ３１のサイズ
は、In_width×(alpha_Z×In_height)となる。ここで、
alpha_Zは、原画像を垂直方向に拡大する倍率を表し、
今の場合、高速垂直アップサンプリングであるので、そ
の値は１より大きく、２より小さい値である（ステップ
Ｓ３，Ｓ４）。

【００９４】２Ｙバッファ４１は、サイズがIn_width×
１とされる。この２Ｙバッファ４１には、補間された画
素が一次的に格納される。

【００９５】次に、ステップＳ７２において、高速垂直
アップサンプリング処理部１２は、ケース１乃至ケース
３に対応する処理を実行する。

【００９６】このケース１乃至ケース３の処理は、Ｈバ
ッファ３１のＹ行の補間データを生成する処理である。
Ｙ行の補間データが、ケース１乃至ケース３のいずれの
処理により生成されるかは、次のように決定される。

【００９７】すなわち、本実施の形態においては、原画
像I_imageを垂直方向に２倍に拡大した画像としての仮
想垂直２倍拡大画像2Y_imageが想定される。Ｈバッファ
３１に格納する画像は、原画像I_imageを垂直方向にalp
ha_Z倍した画像であるから、仮想垂直２倍拡大画像2Y_i
mageの行を2Y_lineとし、Ｈバッファ３１に格納する画
像の行をＹとすると、次の比例式が成立する。

【００９８】Y:2Y_line=alpha_Z:2・・・（９）

【００９９】この式を整理すると、次式が得られる。

【０１００】2Y_line＝Y×2/alpha_Z・・・（１０）

【０１０１】上記（１０）式より計算された値2Y_line
が整数且つ偶数である場合（2Y_line=2nであり、ｎが整
数である場合）、Ｙ行の補間データは、ケース１の処理
で生成される。値2Y_lineが整数且つ奇数である場合（2
Y_line=2n+1であり、ｎが整数である場合）、Ｙ行の補
間データは、ケース２の処理で生成される。その他の場
合、すなわち値2Y_lineが実数である場合、Ｙ行の補間
データは、ケース３の処理で生成される。

【０１０２】ケース１の場合、図１４のフローチャート
に示す処理が実行される。すなわち、ケース１の場合、
Ｈバッファ３１の行Ｙの値を、原画像I_image中の所定
の行の値（2Y_line/2=n）と対応させることができる。
このため、ステップＳ８１において、原画像I_imageの2
Y_line/2行をＨバッファ３１のＹ行にそのままコピーす
る処理が実行される。

【０１０３】図１５は、この場合の処理を模式的に表し
ている。すなわち、ケース１の場合、Ｈバッファ３１の
行Ｙの値が原画像I_imageの行ｎの値と等しいため、原
画像のｎ（=2Y_line/2）行がＨバッファ３１のＹ行にそ
のままコピーされる。

【０１０４】次に、図１６のフローチャートを参照し
て、ケース２の場合の処理について説明する。このケー
ス２の場合、(2n+1)/2の値は整数ではないので、Ｈバッ
ファ３１の行Ｙの値を、原画像I_image中の所定の行の
値に対応させることができない。しかしながら、仮想垂
直２倍拡大画像2Y_image中の所定の行(2n+1)とは、対応
させることができる。

【０１０５】そこで、この場合、ステップＳ９１におい
て、原画像I_image中の所定の範囲（Ｎ画素）の上行up_
lineと下行down_lineの画素を抽出する処理が実行され
る。Ｎの値は可変とされる。従って、上行up_lineの中
心座標は、(X+N/2,n)となり、下行down_lineの中心座標
は、(X+N/2,n+1)となる。

【０１０６】次にステップＳ９２において、局所エネル
ギE(N)が次式より計算される。

【０１０７】 E(N)=Σ（I=0，N-1）ABS（up_line(I)−down_line(N-I-1)）・・・（１１） 上記（１１）式の計算は、up_lineの個々の画素から対
角線上に位置するdown_lineの画素を減算し、その絶対
値のIが0からN-1までの和を積算することを意味する。

【０１０８】図１７は、局所エネルギE(N)の計算の例を
表している。同図に示されるように、上行up_lineの画
素と、下行down_lineの画素のうち、対角線上に位置す
る上の画素から下の画素の画素値が減算され、その差の
絶対値の和が局所エネルギE(N)とされる。図１７の例で
は、画素Ｙ0,0の値（３０）から、画素Ｙ1,4の値（２５
５）が減算される。また画素Ｙ0,1の画素値（１５０）
から、画素Ｙ1,3の画素値（２３０）が減算される。以
下同様に、画素Ｙ0,2の画素値（１５０）から画素Ｙ1,2
の画素値（２００）が減算され、画素Ｙ0,3の画素値
（２００）から画素Ｙ1,1の画素値（２００）が減算さ
れ、画素Ｙ0,4の画素値（２５５）から、画素Ｙ1,0の画
素値（３０）が減算される。そしてそれぞれの差分の絶
対値の和が局所エネルギとされる。

【０１０９】ステップＳ９３において、高速垂直アップ
サンプリング処理部１２は、局所エネルギE(N)が予め設
定されている所定の閾値Ｔより大きいか否かを判定す
る。局所エネルギE(N)が閾値Ｔと等しいか、それより小
さい場合、その領域は、エッジを含まない平坦な低エネ
ルギの領域と見なされる。この場合、潜在的エッジの方
向を計算する必要がない。このため、ステップＳ９９に
進み、高速垂直アップサンプリング処理部１２は、Ｈバ
ッファ３１中の座標（X+N/2,Y）の画素データとして、
隣接する上行中心画素up_line(N/2)と、隣接する下行中
心画素down_line(N/2)の平均値を演算し、Ｈバッファ３
１のその座標（X+N/2,Y）に格納する。すなわち、ステ
ップＳ９９においては、次の式に基づいて、標準的な線
形補間処理が行われる。

【０１１０】 H_buffer(X+N/2,Y)=0.5×(up_line(N/2)+down_line(N/2))・・・（１２）

【０１１１】ステップＳ９３において、局所エネルギE
(N)の値が閾値Ｔより大きいと判定された場合、その領
域は、潜在的エッジを含んだ高エネルギ領域と見なされ
る。このとき、ステップＳ９４において、エッジ方向を
試験的に計算する処理が実行される。具体的には、以下
に示す演算が、x=N-1からｘをデクリメントし、ｘが−
１より大きいとき行われる。

【０１１２】 Energy=ABS(up_line(N-x-1)−down_line(x))・・・（１３）

【０１１３】上記（１３）式で計算されたエネルギの値
のうち、最も小さいものが選択され、その２つの画素が
対応する対角線の方向が局所的なエッジの方向と見なさ
れる。

【０１１４】図１８は、この場合の具体的な例を表して
いる。この例においては、画素Ｙ0,0の画素値（３０）
と、画素Ｙ1,4の画素値（２５５）との差、画素Ｙ0,1の
画素値（１５０）と、画素Ｙ1,3の画素値（２３０）と
の差、画素Ｙ0,2の画素値（１５０）と、画素Ｙ1,2の画
素値（２００）との差、画素Ｙ0,3の画素値（２００）
と、画素Ｙ1,1の画素値（２００）との差、および画素
Ｙ0,4の画素値（２５５）と、画素Ｙ1,0の画素値（３
０）との差が、それぞれ演算される。そしてそれらの値
の絶対値のうち、最も小さい値（この例の場合、画素Ｙ
0,3と画素Ｙ1,1を結ぶ方向）が局所的なエッジ方向と見
なされる。

【０１１５】図１９は、Ｈバッファ３１に保持されてい
る上行up_lineの３画素と下行down_lineの３画素との差
から局所的なエッジ方向が推測される例を表している。
図１９の例においては、Ｎの値が３とされているが、こ
のＮの値としてより大きな値を用いることで、より正確
に、かつより多くの方向のエッジの検出が可能となる。

【０１１６】ステップＳ９４の処理で、エッジ方向が検
出された場合、さらにステップＳ９５において、その検
出されたエッジ方向の画素を用いて、補間処理が行われ
る（方向補間処理が行われる）。この方向補間処理は、
エッジ方向に対応する２つの画素の画素値に基づいて、
その間に位置する画素の画素値を補間することを意味す
る。例えば、図１８の例では、画素Ｙ0,3と画素Ｙ1,1の
画素値の平均値（２００）が、両者の間の画素の画素値
とされる。

【０１１７】これにより、全ての場合において、上行中
心画素と下行中心画素の平均値を新たな画素の画素値と
する標準的な線形補間処理（ステップＳ９９の処理）に
較べ、元の画像の鮮明さとコントラストを保存し、画像
のボケを抑制することが可能となる。

【０１１８】次に、ステップＳ９６に進み、高速垂直ア
ップサンプリング処理部１２は、構造コレクタ処理を実
行する。この構造コレクタ処理は、座標(X+N/2,Y)に補
間された画素と、その垂直の近傍画素、すなわち座標up
_line(N/2)と、座標down_line(N/2)との関係を解析する
ことで、更新された局所構造（ステップＳ９５の方向補
間処理で生成された画素とその上下の画素）の整合性を
チェックする処理である。

【０１１９】すなわち、この構造コレクタ処理では、上
行の中心画素から更新された画素を減算する処理が行わ
れ、さらに、更新された画素から下行の中心画素を減算
する処理が行われる。さらに、以上のようにして得られ
た２つの減算結果を乗算することで、垂直方向の変化を
表す値V(N/2)が計算される。すなわち、ステップＳ９６
においては、次の式で示す演算が行われる。

【０１２０】 V(N/2)= (up_line(N/2)−H-buffer(X+N/2,Y)) ×(H-buffer(X+N/2,Y)−down_line(N/2))・・・（１４）

【０１２１】次に、ステップＳ９７において、高速垂直
アップサンプリング処理部１２は、ステップＳ９６での
演算結果に基づいて、更新された局所構造の整合性があ
るか否かを判定する。この判定は、上記式（６）で演算
された値V(N/2)が正であるか否かに基づいて行われる。
値V(N/2)が正である場合には、整合性があると見なさ
れ、ステップＳ９８において、ステップＳ９５の方向補
間処理で生成された画素がＨバッファ３１の行Ｙに格納
される。またこの画素値は、ステップＳ７１の処理（図
１３）で生成された２Ｙバッファ４１（図２１）にも格
納される。

【０１２２】これに対して、ステップＳ９７において、
値V(N/2)が負であると判定された場合、整合性はないと
見なされる。すなわち、局所方向の識別が誤っており、
ステップＳ９５で生成された画素値は、適切でないと判
断される。この場合、局所エッジの方向は、識別不可能
と見なされ、ステップＳ９９に進み、ステップＳ９３に
おいて、局所エネルギE(N)の値が閾値Ｔより小さいと判
定された場合と同様に、式（４）を用いた標準的な線形
補間処理が行われる。すなわち、上行中心画素up_line
(N/2)と、下行中心画素down_line(N/2)との平均値が、
その間のＨバッファ３１の新しい画素(X+N/2,Y)の画素
値とされる。

【０１２３】図１６のケース２の処理を模式的に表す
と、図２０に示されるようになる。

【０１２４】すなわち、ステップＳ９２において、局所
エネルギが計算され、その値が閾値Ｔより小さい場合
（低エネルギの場合）には、ステップＳ９９において、
線形補間処理が実行される。これに対して、局所エネル
ギが閾値Ｔより大きい場合（高エネルギの場合）には、
ステップＳ９４において、エッジ方向計算処理が行われ
る。そしてステップＳ９５において、ステップＳ９４で
得られたエッジ方向に基づいて、方向補間処理が実行さ
れる。さらに、ステップＳ９６において、構造コレクタ
処理が行われ、整合性がある場合には、ステップＳ９５
の方向補間処理で生成された画素値がＨバッファ３１に
格納されるが、整合性がないと判定された場合には、ス
テップＳ９９において、線形補間処理が実行される。

【０１２５】図２１は、図１６のフローチャートで示さ
れるケース２の場合の処理を、原画像I_image、Ｈバッ
ファ３１、２Ｙバッファ４１、および仮想垂直２倍拡大
画像2Y_imageの関係から表している。Ｈバッファ３１の
Ｙ行が仮想垂直２倍拡大画像2Y_imageの所定の行2Y_lin
eと所定の関係にある場合には、原画像I_imageのｎ行
と、ｎ＋１行に基づいて、方向補間処理が行われ、得ら
れたデータは２Ｙバッファ４１に格納される。そして、
２Ｙバッファ４１に格納されたデータがＨバッファ３１
の行Ｙにコピー（格納）される。

【０１２６】次に、図２２のフローチャートを参照し
て、ケース３の処理について説明する。このケースは、
2n＜2Y_line＜2n+1、または、2n-1＜2Y_line＜2nの場
合、つまり、Ｈバッファ３１中の行Ｙの値が、仮想垂直
２倍拡大画像2Y_imageの行2Y_lineのいずれにも対応せ
ず、かつ、原画像I_imageのどの行とも対応しない場合
である。

【０１２７】この場合、ステップＳ１１１において、2Y
_lineの値が2nより大きく、且つ2n+1より小さいか否か
が判定される。2Y_lineの値が2nより大きく、且つ2n+1
より小さい場合、仮想垂直２倍拡大画像2Y_imageの2n+1
行と2n行から、Ｈバッファ３１のＹ行が生成される。

【０１２８】そこで、この場合、ステップＳ１１２にお
いて、高速垂直アップサンプリング処理部１２は、仮想
垂直２倍拡大画像2Y_imageの2n+1行を、隣接する上行2n
行と、下行2n+2行（原画像I_imageにおけるｎ行とn+1
行）を用いて、図１６のケース２のフローチャートに示
すステップＳ９１乃至ステップＳ９９の処理で計算す
る。ステップＳ１１２で計算された結果は、Ｈバッファ
３１における次のn+1行の計算に使用する可能性がある
ので、ステップＳ１１３において、２Ｙバッファ４１に
格納される。

【０１２９】さらに、ステップＳ１１４において、ステ
ップＳ１１２で計算された2n+1行（２Ｙバッファ４１に
記憶されている値）と、仮想垂直２倍拡大画像2Y_image
の2n行（原画像I_imageのｎ行）から、Ｈバッファ３１
のＹ行が次式から演算され、Ｈバッファ３１のＹ行に記
憶される。

【０１３０】 H_buffer(X,Y) =（2Y_line−2n）×2Y-buffer(X)+(2n+1−2Y_line)×I_image(X,n) ・・・（１５）

【０１３１】このように、ステップＳ１１２乃至Ｓ１１
４の処理では、原画像I_imageを垂直方向に２倍に拡大
した画像を生成し、その画像と原画像I_imageとから、a
lpha_Z倍の画像を生成していることになる。

【０１３２】一方、ステップＳ１１１において、2Y_lin
eが2nより大きく、且つ2n+1より小さいと判定されなか
った場合（2Y_lineが2n-1より大きく、2nより小さいと
判定された場合）、仮想垂直２倍拡大画像2Y_imageの2n
-1行と2n行から、Ｈバッファ３１のＹ行が生成される。
この2n-1行は、Ｈバッファ３１中の前行を求める際に計
算され、２Ｙバッファ４１に既に格納されている場合が
ある。そこでステップＳ１１５において、2n-1行が２Ｙ
バッファ４１に既に格納されているか否かが判定され、
格納されている場合には、ステップＳ１１８において、
2n-1行のデータが２Ｙバッファ４１から取り出される。

【０１３３】これに対して、ステップＳ１１５におい
て、2n-1行のデータが２Ｙバッファ４１にまだ格納され
ていないと判定された場合、ステップＳ１１６に進み、
仮想垂直２倍拡大画像2Y_imageの2n-1行を、上行2n-2行
と下行2n行（原画像I_imageのn-1行とｎ行）を用い、図
１６のケース２のフローチャートのステップＳ９１乃至
ステップＳ９９の処理により計算する処理が実行され
る。ステップＳ１１６で計算された2n-1行の値は、ステ
ップＳ１１７において、Ｈバッファ３１における次のY+
1行の計算に使用する可能性があるので、２Ｙバッファ
４１に格納される。

【０１３４】ステップＳ１１７、またはステップＳ１１
８の処理の後、ステップＳ１１９に進み、得られた2n-1
行と、仮想垂直２倍拡大画像2Y_imageの2n行（原画像I_
imageのｎ行）からＨバッファ３１のＹ行が次式に従っ
て補間される。

【０１３５】 H-buffer(X,Y)= (2n−2Y_line)×2Y−buffer(X)+(2Y_line−(2n−1))×I_image(X,n) ・・・（１６）

【０１３６】この処理は、Ｘ＝０からIn_widthより小さ
い値である期間、Ｘの値をインクリメントしつつ行われ
る。

【０１３７】Ｈバッファ３１の個々の未知の行の各画素
を求めるため、（−１＜X＜In_width−N+1）と、（−１
＜Ｙ＜alpha_Z×In_height-1）の条件を満たす座標（X+
N/2,Y）で、同様の処理が繰り返し実行される。

【０１３８】このように、ケース３の処理においては、
仮想垂直２倍拡大画像2Y_image中の2n行と2n+1行、また
は2n-1行と2n行を用いて、重み付け補間が実行される。

【０１３９】以上の図２２のケース３に示す処理を模式
的に表すと、図２３に示すようになる。仮想垂直２倍拡
大画像2Y_imageの2Y_line行の値が2nより大きく、且つ2
n+1関係の場合とＨバッファ３１のＹ行とが所定の原画
像I_imageのｎ行とn+1行から方向補間処理により2n+1
行、または2n-1行のデータが生成され、２Ｙバッファ４
１に記憶される。そして、２Ｙバッファ４１に記憶され
た値と、仮想垂直２倍拡大画像2Y_imageの2n行のデータ
から、Ｈバッファ３１のＹ行のデータが重み付け補間さ
れる。

【０１４０】図３のフローチャートに戻って、以上のよ
うにして、ステップＳ２４の高速垂直アップサンプリン
グ処理が行われた後、ステップＳ２５に進み、高速水平
アップサンプリング処理が実行される。この高速水平ア
ップサンプリング処理は、高速水平アップサンプリング
処理部１４により実行される。高速水平アップサンプリ
ング処理は、図２４に示されるように、画素を水平方向
に補間する処理である。

【０１４１】図２５は、高速水平アップサンプリング処
理の詳細を表している。ステップＳ１３１で高速水平ア
ップサンプリング処理部１４は、Ｖバッファ５１（後述
する図２７）と２Ｘバッファ６１（後述する図３０）を
作成する。Ｖバッファ５１は、サイズが、（alpha_Z×I
n_width）×（alpha_Z×In_height）とされ、２Ｘバッ
ファ６１は、そのサイズが１×（alpha_Z×In_height）
とされる。２Ｘバッファ６１には、仮想水平２倍拡大画
像2X_imageのＸ座標（奇数座標）の一列のデータが格納
される。

【０１４２】ステップＳ１３２において、ケース１乃至
ケース３に対応する処理が実行される。ケース１乃至ケ
ース３のいずれの処理が実行されるかは、次式を演算す
ることにより判断される。

【０１４３】2X_column=X×2/alpha_Z・・・（１７）

【０１４４】上記演算により求められた2X_columnの値
が整数であり、且つ偶数である場合（2X_column=2nであ
り、ｎが整数である場合）、ケース１とされ、2X_colum
nが整数且つ奇数である場合（2X_column=2n+1であり、
ｎが整数である場合）、ケース２とされ、2X_columnが
実数である場合（その他の場合）、ケース３とされる。

【０１４５】ケース１の場合、図２６のフローチャート
に示す処理が実行される。このケースは、仮想水平２倍
拡大画像2X_imageにおける2X_column=2n列が、前もって
計算されたＨバッファ３１の2X_column/2=n列と対応す
る場合である。この場合、高速水平アップサンプリング
処理部１４は、ステップＳ１４１において、Ｈバッファ
３１の2X_column/2列をＶバッファの列Ｘにコピーす
る。

【０１４６】図２７は、このケース１の処理を概念的に
表している。仮想水平２倍拡大画像2X_imageにおける2n
列が、Ｖバッファ５１のｎ列と対応する場合、Ｈバッフ
ァ３１のｎ列が、Ｖバッファ５１の列Ｘにコピーされ
る。

【０１４７】図２８は、図２５のステップＳ１３３のケ
ース２のＶバッファ５１に対する処理のフローチャート
を示している。このケースは、Ｖバッファ５１中の列Ｘ
の値を、仮想水平２倍拡大画像2X_image中の所定の列
（2n+1）と対応させることができるが、Ｈバッファ３１
中の所定の列の値に対応させることはできない場合であ
る。

【０１４８】この場合、ステップＳ１５１において、Ｈ
バッファ３１中の所定の範囲（Ｎ画素）の左列left_col
umn、および右列right_columnが抽出される。左列left_
columnの中心座標は、（n，Y＋N/2）とされ、右列right
_columnの矩形の中心座標は、（n＋1,Y＋N/2）とされ
る。

【０１４９】次にステップＳ１５２において、局所エネ
ルギE(N)が、左列left_columnの個々の画素から、対角
線上に位置する右列right_columnの画素を減算し、その
絶対値の和を演算することで求められる。すなわち、こ
の処理では次式が演算される。

【０１５０】 E(N)=Σ（I=0,N-1）ABS(left_column(I)−right_column(N−I−1) ・・・（１８）

【０１５１】次にステップＳ１５３において、エネルギ
E(N)が予め設定された閾値Ｔより大きいか否かが判定さ
れる。エネルギE(N)が閾値Ｔと等しいか、それより小さ
い場合、その領域はエッジを含まない平坦な低エネルギ
領域と見なされる。この場合、潜在的なエッジの方向を
計算する必要がない。このためステップＳ１５９に進
み、標準的な線形補間処理が行われる。すなわち、次式
に示すように、隣接する左列の中心画素left_column(N/
2)と、隣接する右列の中心画素right_column(N/2)の平
均値から、新しい画素（X＋N/2,Y）の画素値が演算され
る(標準的な線形補間処理が行われる)。

【０１５２】 V-buffer(X+N/2,Y)＝ ０．５×(left_column(N/2)+right_column(N/2))・・・（１９）

【０１５３】ステップＳ１５３において、エネルギE(N)
が閾値Ｔより大きいと判定された場合、その領域は潜在
的にエッジを含んでいる高エネルギ領域と見なされる。
そこで、この場合、ステップＳ１５４に進み、次式にし
たがってエッジ方向計算処理が実行される。

【０１５４】 Energy=ABS（left_column(N−x−1)−right_column(x)）・・・（２０）

【０１５５】上記演算は、ｘ＝Ｎ−１からｘの値を順次
デクリメントし、ｘが−１より大きい間繰り返される。
具体的には、図２９に示されるように、左列の画素から
対角線上の右列の画素を減算する処理が、右列の上側か
ら実行される。

【０１５６】計算されたエネルギのうち、最も小さい値
に対応する画素の対角線の方向が局所的なエッジの方向
と判定される。図２９においては、N＝３とされている
が、このNの値をより大きい値とすることで、より多く
の方向の判定が可能となる。

【０１５７】ステップＳ１５４でエッジ方向が判定され
ると、ステップＳ１５５において、ステップＳ１５４で
判定されたエッジ方向の２つの画素の平均値を演算する
ことで、その間の画素が補間される（方向補間処理が実
行される）。これにより、標準的な線形補間による画像
のボケを防止し、元の画像の鮮明さとコントラストを保
存することが可能となる。

【０１５８】次に、ステップＳ１５６において、構造コ
レクタ処理が実行される。すなわちＶバッファ５１中の
座標（X，Y＋N/2）に補間された画素と、その垂直方向
の近傍画素である座標left_column(N/2)の画素、および
right_column(N/2)の画素との関係を解析することで局
所構造の整合性をチェックする処理が行われる。このた
め、次式に従って、補間された画素を左列の中心の画素
から減算し、右列の中心画素を補間された画素から減算
することで２つの減算結果を得、さらに２つの減算結果
を乗算することで、水平方向の変化を表す値H(N/2)が計
算される。

【０１５９】 H(N/2)＝ （left_line(N/2)−V-buffer(X＋N/2,Y)） ×（V-buffer(X+N/2,Y)−right_column(N/2)）・・・（２１）

【０１６０】ステップＳ１５７において、ステップＳ１
５６で演算された値H(N/2)に基づき、補間された局所構
造に整合性があるか否かが判定される。具体的には、値
H(N/2)が正であるか否かが判定される。値H(N/2)が正で
ある場合には、ステップＳ１５５の方向補間処理で求め
られた画素は正しい（整合性がある）ものとされ、ステ
ップＳ１５８において、Ｖバッファ５１の列Ｘに格納さ
れる。またこの値は、２Ｘバッファ６１にも格納され
る。

【０１６１】ステップＳ１５７において、値H(N/2)が負
であると判定された場合（整合性がない）、すなわち、
ステップＳ１５５の方向補間処理で生成された画素値は
適切でないと判定された場合、ステップＳ１５９に進
み、ステップＳ１５３でエネルギE(N)が閾値Ｔより判定
された場合と同様に、標準の線形補間処理が行われる。
また、その値は、２Ｘバッファ６１にも格納される。

【０１６２】図３０は、以上のケース２の処理を概念的
に表したものである。同図に示されるように、Ｖバッフ
ァ５１の列Ｘが、仮想水平２倍拡大画像2X_image中の所
定の列と所定の関係にある場合、Ｈバッファ３１のｎ列
と、ｎ＋１列から方向補間処理により生成されたデータ
が２Ｘバッファ６１に記憶され、それがＶバッファ５１
の列Ｘにコピーされる。

【０１６３】次に、図３１のフローチャートを参照し
て、図２５のステップＳ１３２におけるケース３のＶバ
ッファに対する処理について説明する。

【０１６４】このケースは、2n＜2X_column＜2n+1、ま
たは、2n-1＜2X_column＜2nのケースの場合、つまり、
Ｖバッファ５１中の列Ｘの値が、仮想水平２倍拡大画像
2X_imageの列2X_columnのいずれにも対応せず、かつ、
Ｈバッファ３１のどの列とも対応しない場合である。

【０１６５】この場合、ステップＳ１７１において、2X
_columnの値が2nより大きく、且つ2n+1より小さいか否
かが判定される。2X_columnの値が2nより大きく、且つ2
n+1より小さい場合、仮想水平２倍拡大画像2X_imageの2
n＋1列と2nから、Ｖバッファ５１のＸ列が生成される。

【０１６６】そこで、この場合、ステップＳ１７２にお
いて、高速水平アップサンプリング処理部１５は、仮想
水平２倍拡大画像2X_imageの2n+1列を、隣接する上列2n
列と、下列2n+2列（Ｈバッファ３１におけるｎ列とn+1
列）を用いて、図２８のケース２のフローチャートに示
すステップＳ１５１乃至ステップＳ１５９の処理で計算
する。ステップＳ１７２で計算された結果は、Ｖバッフ
ァ５１における次のn+1列の計算に使用する可能性があ
るので、ステップＳ１７３において、２Ｘバッファ６１
に格納される。

【０１６７】さらに、ステップＳ１７４において、ステ
ップＳ１７２で計算された2n+1列（２Ｘバッファ６１に
記憶されている値）と、仮想水平２倍拡大画像2X_image
の2n列（Ｈバッファ３１のｎ列）から、Ｖバッファ５１
のＸ列が次式から演算され、Ｖバッファ５１の列Ｘに記
憶される。

【０１６８】 V_buffer(Ｘ,Ｙ)= (2X_column-2n)×2X-buffer(Ｘ)+(2n+1-2X_column)×I_image(ｎ,Ｙ) ・・・（２２）

【０１６９】一方、ステップＳ１７１において、2X_col
umnが2nより大きく、且つ2n+1より小さいと判定されな
かった場合（2X_columnが2n-1より大きく、2nより小さ
いと判定された場合）、仮想水平２倍拡大画像2X_image
の2n-1列と2n列から、Ｖバッファ５１のＸ列が生成され
る。この2n-1列は、Ｖバッファ５１中の前列を求める際
に計算され、２Ｘバッファ６１に既に格納されている場
合がある。そこでステップＳ１７５において、2n-1列が
２Ｘバッファ６１に既に格納されているか否かが判定さ
れ、格納されている場合には、ステップＳ１７８におい
て、2n-1列が２Ｘバッファ６１から取り出される。

【０１７０】これに対して、ステップＳ１７５におい
て、2n-1列のデータが２Ｘバッファ６１にまだ格納され
ていないと判定された場合、ステップＳ１７６に進み、
仮想水平２倍拡大画像2X_imageの2n-1列を、上列2n-2列
と下列2n列（Ｈバッファ３１のn-1列とｎ列）を用い、
図２８のケース２のフローチャートのステップＳ１５１
乃至ステップＳ１５９の処理により計算する処理が実列
される。ステップＳ１７６で計算された2n-1列の値は、
ステップＳ１７７において、Ｖバッファ５１における次
のＸ+1列の計算に使用する可能性があるので、２Ｘバッ
ファ６１に格納される。

【０１７１】ステップＳ１７７、またはステップＳ１７
８の処理の後、ステップＳ１７９に進み、得られた2n-1
列と、仮想水平２倍拡大画像2X_imageの2n列（Ｈバッフ
ァ３１のｎ列）からＶバッファ５１のＸ列が次式に従っ
て補間される。

【０１７２】 Ｖ-buffer(Ｘ,Ｙ)= (2n−2X_column)×2X-buffer(Ｙ)+(2X_column−(2n-1))×I_image(ｎ,Ｙ) ・・・（２３）

【０１７３】この処理は、Ｙ＝０からIn_height×alpha
_Zより小さい値である期間、Ｙの値をインクリメントし
つつ行われる。

【０１７４】Ｖバッファ５１の個々の未知の列の各画素
を求めるため、（−１＜Ｙ＜alpha_Z×In_height−N+
1）と、（−１＜Ｙ＜alpha_Z×In_width−１）の条件を
満たす座標（X,Y+N/2）で、同様の処理が繰り返し実行
される。

【０１７５】このように、ケース３の処理においては、
仮想水平２倍拡大画像2X_image中の2n列と2n+1列、また
は2n-1列と2n列を用いて、重み付け補間が実行される。

【０１７６】以上の図３１のケース３に示す処理を模式
的に表すと、図３２に示すようになる。Ｖバッファ５１
中の列Ｘの値が、仮想水平２倍拡大画像2X_imageの列と
所定の関係にある場合、原画像I_imageのｎ列と、n+1列
から方向補間処理により2n+1列、または2n-1列のデータ
が生成され、２Ｘバッファ６１に記憶される。そして、
２Ｘバッファ６１に記憶された値と、仮想水平２倍拡大
画像2X_imageの2n列のデータから、Ｖバッファ５１のＸ
列のデータが重み付け補間される。

【０１７７】以上のようにして、ステップＳ２１におい
て、設定されているモードが、画像モードであると判定
された場合、ステップＳ２２乃至ステップＳ２５の処理
が行われるのであるが、ステップＳ２１において、設定
されているモードが画像モードではないと判定された場
合（コンピュータのアイコンやワードプロセッサのフォ
ントなどの弱接続の画像が処理される場合）、ステップ
Ｓ２２乃至ステップＳ２５の処理が行われる前に、ステ
ップＳ２６において、エッジコネクタ処理が実行され
る。図３３と図３４は、このエッジコネクタ処理の詳細
を表している。このエッジコネクタ処理は、エッジコネ
クタ処理部１１により実行される。

【０１７８】最初にステップＳ１９１において、所定の
画素（Ｘ，Ｙ）に対応して、２×２個の画素が切り出さ
れる。そしてステップＳ１９２とステップＳ１９３にお
いて、それぞれ右対角エネルギと、左対角エネルギが計
算される。右対角エネルギは、２×２個の画素のうち、
右上の画素から左下の画素を減算することで求められ、
左対角エネルギは、左上画素から右下画素を減算するこ
とで求められる。

【０１７９】例えば、画素（Ｘ，Ｙ）を図３５（Ａ）に
おける画素（ピクセル）０とした場合、右対角エネルギ
は、図３５（Ａ）に示されるように、ピクセル１からピ
クセル２の値を減算することで求められ、左対角エネル
ギは、図３５（Ｂ）に示されるように、ピクセル０から
ピクセル３の値を減算することにより求められる。

【０１８０】次に、ステップＳ１９４において、左対角
線上の画素値は、右対角線上の画素値より小さいか否か
が判定される。図３５の例の場合、ピクセル０とピクセ
ル３の画素値が、ピクセル１とピクセル２の画素値より
小さいか否かが判定される。

【０１８１】ステップＳ１９４において、左対角線上の
画素値が右対角線上の画素値より小さいと判定された場
合、ステップＳ１９５に進み、ステップＳ１９３で演算
された左対角エネルギは、予め設定されている所定の閾
値より小さいか否かが判定される。左対角エネルギが閾
値より小さい場合、ステップＳ１９６に進み、画素（ピ
クセル）２は、画素（ピクセル）１より小さいか否かが
判定される。画素２が画素１より小さい場合には、ステ
ップＳ１９７において、画素１を、画素０と画素３の平
均値とする処理が実行される。ステップＳ１９６におい
て、画素２が画素１より小さくない（等しいか大きいと
判定された場合）、ステップＳ１９８に進み、画素２
を、画素０と画素３の平均値とする処理が実行される。

【０１８２】図３６（Ａ）は、ステップＳ１８７の処理
の結果、画素１の値が画素０と画素３の平均値とされた
場合を表している。

【０１８３】ステップＳ１９５において、左対角エネル
ギが閾値と等しいか閾値より大きいと判定された場合、
ステップＳ１９６乃至ステップＳ１９８の処理はスキッ
プされる。

【０１８４】ステップＳ１９４において、左対角線上の
画素値が右対角線上の画素値より小さくないと判定され
た場合（等しいかより大きいと判定された場合）、ステ
ップＳ１９９に進み、ステップＳ１９２で演算された右
対角エネルギが、予め設定されている所定の閾値より小
さいか否かが判定される。右対角エネルギが閾値より小
さい場合には、ステップＳ２００に進み、画素３は、画
素０より小さいか否かが判定される。画素３が画素０よ
り小さい場合には、ステップＳ２０１において、画素０
を、画素１と画素２の平均値とする処理が行われる。ス
テップＳ２００において、画素３が画素０より小さくな
い（等しいかより大きい）と判定された場合、ステップ
Ｓ２０２に進み、画素３を、画素１と画素２の平均値と
する処理が実行される。

【０１８５】図３６（Ｂ）は、ステップＳ２０２におけ
る処理により、画素３が、画素１と画素２の平均値とさ
れた場合の例を示している。

【０１８６】ステップＳ１９９において、右対角エネル
ギが閾値より小さくないと判定された場合、ステップＳ
２００乃至ステップＳ２０２の処理はスキップされる。

【０１８７】アイコンやフォントなどの弱接続を有する
エッジを、以上のエッジコネクタ処理により厚くするこ
とで、エッジ構造を強くすることができる。これによ
り、図３５に示されるように、エッジが局所的に、たっ
た２つの対角線上にしか存在しない弱接続が存在する場
合に、図１６のステップＳ９４におけるエッジ方向計算
処理、或いは、図２８におけるステップＳ１５４のエッ
ジ方向計算処理などにより、エッジ方向を認識する際、
極端な誤解を引き起こしてしまい、結果的にエッジの連
続性を破壊してしまうようなことが抑制される。

【０１８８】次に、図２のステップＳ８のズーム処理に
ついて説明する。このズーム処理の詳細は、図３７のフ
ローチャートに示されている。図３７におけるステップ
Ｓ２１１乃至ステップＳ２１５の処理は、図３の高速ズ
ーム処理におけるステップＳ２１乃至ステップＳ２５の
処理と基本的に同様の処理となっている。

【０１８９】図３７のステップＳ２１６におけるエッジ
コネクタ処理、ステップＳ２１２における１次元垂直イ
メージリフレッシュ処理、およびステップＳ２１３にお
ける１次元水平イメージリフレッシュ処理は、それぞ
れ、図３のステップＳ２２の１次元垂直イメージリフレ
ッシュ処理、ステップＳ２３の１次元垂直エッジビルダ
処理、およびステップＳ１５の１次元水平イメージリフ
レッシュ処理と同様の処理であるので、その説明は省略
する。以下においては、ステップＳ２１４における垂直
アップサンプリング処理と、ステップＳ２１５における
水平アップサンプリング処理についてのみ説明する。

【０１９０】最初に図３８のフローチャートを参照し
て、ステップＳ２１４における垂直アップサンプリング
処理について説明する。この処理は、垂直アップサンプ
リング処理部１３により実行される。

【０１９１】最初にステップＳ２３１において、Ｈバッ
ファ３１が作成される。そのサイズは、In_width×(2×
In_height)とされる。次に、ステップＳ２３２におい
て、図３９に示されるように、原画像I_imageのＹ行を
Ｈバッファ３１の行２Ｙにコピーする処理が行われる。
Ｈバッファ３１の最後の行には、原画像I_imageの最後
の行がコピーされる。

【０１９２】次に、ステップＳ２３３において、原画像
I_image中の上行up_lineと下行down_lineのＮ画素を抽
出する処理が実行される。上行up_lineの中心座標は、
(X+N/2,n)となり、下行down_lineの中心座標は、(X+N/
2,n+1）となる。

【０１９３】次にステップＳ２３４において、局所エネ
ルギE(N)が次式より計算される。

【０１９４】 E(N)=Σ（I=0，N-1）ABS（up_line(I)−down_line(N-I-1)）・・・（２４）

【０１９５】上記（２４）式の計算は、up_lineの個々
の画素から対角線上に位置するdown_lineの画素を減算
し、その絶対値の和を積算することを意味する。

【０１９６】次に、ステップＳ２３５において、高速垂
直アップサンプリング処理部１３は局所エネルギE(N)が
予め設定されている所定の閾値Ｔより大きいか否かを判
定する。局所エネルギE(N)が閾値Ｔと等しいか、それよ
り小さい場合、その領域は、エッジを含まない平坦な低
エネルギの領域と見なされる。この場合、潜在的エッジ
の方向を計算する必要がない。このため、ステップＳ２
４１に進み、垂直アップサンプリング処理部１３は、Ｈ
バッファ３１中の座標（X+N/2,Y）の画素データとし
て、隣接する上行中心画素ab_line(N/2)と、隣接する下
行中心画素down_line(N/2)の平均値を演算し、Ｈバッフ
ァ３１のその座標（X+N/2,Y）に格納する。すなわち、
ステップＳ２４１においては、次の式に基づいて、標準
的な線形補間処理が行われる。

【０１９７】 H_buffer(X+N/2,Y)=0.5×(up_line(N/2)+down_line(N/2))・・・（２５）

【０１９８】ステップＳ２３５において、局所エネルギ
E(N)の値が閾値Ｔより大きいと判定された場合、その領
域は、潜在的エッジを含んだ高エネルギ領域と見なされ
る。このとき、ステップＳ２３６において、エッジ方向
を試験的に計算する処理が実行される。具体的には、以
下に示す演算が、x=N-1から−１より大きくなるまで行
われる。

【０１９９】 Energy=ABS(up_line(N-x-1)−down_line(x))・・・（２６）

【０２００】上記（２６）式で計算されたエネルギの値
のうち、最も小さいものが選択され、その２つの画素が
対応する対角線の方向が局所的なエッジの方向と見なさ
れる。

【０２０１】ステップＳ２３６の処理で、エッジ方向が
検出された場合、さらにステップＳ２３７において、そ
の検出されたエッジ方向の画素を用いて、補間処理が行
われる（方向補間処理が行われる）。この方向補間処理
は、エッジ方向に対応する２つの画素の画素値に基づい
て、その間に位置する画素の画素値を補間することを意
味する。

【０２０２】これにより、全ての場合において、上行中
心画素と下行中心画素の平均値を新たな画素の画素値と
する標準的な線形補間処理（ステップＳ２４１の処理）
に較べ、元の画像の鮮明さとコントラストを保存し、画
像のボケを抑制することが可能となる。

【０２０３】次に、ステップＳ２３８に進み、垂直アッ
プサンプリング処理部１３は、構造コレクタ処理を実行
する。この構造コレクタ処理は、座標(X+N/2,Y)に補間
された画素と、その垂直の近傍画素、すなわち座標up_l
ine(N/2)と、座標down_line(N/2)との関係を解析するこ
とで、更新された局所構造（ステップＳ２３７の方向補
間処理で生成された画素とその上下の画素）の整合性を
チェックする処理である。

【０２０４】すなわち、この構造コレクタ処理では、上
行の中心画素から更新された画素を減算する処理が行わ
れ、さらに、更新された画素から下行の中心画素を減算
する処理が行われる。さらに、以上のようにして得られ
た２つの減算結果を乗算することで、垂直方向の変化を
表す値V(N/2)が計算される。すなわち、ステップＳ２３
８においては、次の式で示す演算が行われる。

【０２０５】 V(N/2)= (up_line(N/2)−H-buffer(X+N/2,Y))×(H-buffer(X+N/2,Y)−down_line(N/2)) ・・・（２７）

【０２０６】次に、ステップＳ２３９において、垂直ア
ップサンプリング処理部１３は、ステップＳ２３８での
演算結果に基づいて、更新された局所構造の整合性があ
るか否かを判定する。この判定は、上記式（２７）で演
算された値V(N/2)が正であるか否かに基づいて行われ
る。値V(N/2)が正である場合には、整合性があると見な
され、ステップＳ２４０において、ステップＳ２３７の
方向補間処理で生成された画素がＨバッファ３１の行Ｙ
に格納される。

【０２０７】これに対して、ステップＳ２３９におい
て、値V(N/2)が負であると判定された場合、整合性はな
いと見なされる。すなわち、局所方向の識別が誤ってお
り、ステップＳ２３７で生成された画素値は、適切でな
いと判断される。この場合、局所エッジの方向は、識別
不可能と見なされ、ステップＳ２４１に進み、ステップ
Ｓ２３５において、局所エネルギE(N)の値が閾値Ｔより
小さいと判定された場合と同様に、式（２５）を用いた
標準的な線形補間処理が行われる。すなわち、上行中心
画素up_line(N/2)と、下行中心画素down_line(N/2)との
平均値が、その間のＨバッファ３１の新しい画素(X+N/
2,Y)の画素値とされる。

【０２０８】図４０は、図３７のステップＳ２１５にお
ける水平アップサンプリング処理の詳細を表している。
この処理は、水平アップサンプリング処理部１５により
実行される。

【０２０９】最初にステップＳ２６１において、Ｖバッ
ファ５１が作成される。そのサイズは、２×In_width×
２×In_heightとされる。ステップＳ２６２において、
Ｈバッファ３１のＸ列をＶバッファ５１の２Ｘ列にコピ
ーする処理が実行される。Ｘの値は−１より大きく、In
_widthより小さい値とされる。

【０２１０】ステップＳ２６３において、Ｈバッファ３
１中の左列left_column、および右列right_columnが抽
出される。左列left_columnの中心座標は、（ｎ，Y＋N/
2）とされ、右列right_columnの矩形の中心座標は、（n
＋1,Y＋N/2）とされる。

【０２１１】次にステップＳ２６４において、局所エネ
ルギE(N)が、左列left_columnの個々の画素から、対角
線上に位置する右列right_columnの画素を減算し、その
絶対値の和を演算することで求められる。すなわち、こ
の処理では次式が演算される。

【０２１２】 E(N)=Σ（I=0,N-1）ABS(left_column(I)−right_column(N-i-1)) ・・・（２８）

【０２１３】次にステップＳ２６５において、エネルギ
E(N)が予め設定された閾値Ｔより大きいか否かが判定さ
れる。エネルギE(N)が閾値Ｔと等しいか、それより小さ
い場合、その領域はエッジを含まない平坦な低エネルギ
領域と見なされる。この場合、潜在的なエッジの方向を
計算する必要がない。このためステップＳ２７１に進
み、標準的な線形補間処理が行われる。すなわち、次式
に示すように、隣接する左列の中心画素left_column(N/
2)と、隣接する右列の中心画素right_column(N/2)の平
均値から、新しい画素（X＋N/2,Y）の画素値が演算され
る。

【０２１４】 V-buffer(X+N/2,Y)＝０．５×(left_column(N/2)+right_column(N/2)) ・・・（２９）

【０２１５】ステップＳ２６５において、エネルギE(N)
が閾値Ｔより大きいと判定された場合、その領域は潜在
的にエッジを含んでいる高エネルギ領域と見なされる。
そこで、この場合、ステップＳ２６６に進み、次式にし
たがってエッジ方向計算処理が実行される。

【０２１６】 Energy=ABS（left_column(N−x−1)−right_column(x)）・・・（３０）

【０２１７】上記演算は、ｘ＝Ｎ−１からｘの値を順次
デクリメントし、ｘが−１より大きい間繰り返される。

【０２１８】計算されたエネルギのうち、最も小さい値
に対応する画素の対角線の方向が局所的なエッジの方向
と判定される。

【０２１９】ステップＳ２６６でエッジ方向が判定され
ると、ステップＳ２６７において、ステップＳ２６６で
判定されたエッジ方向の２つの画素の平均値を演算する
ことで、その間の画素が補間される（方向補間処理が実
行される）。これにより、標準的な線形補間による画像
のボケを防止し、元の画像の鮮明さとコントラストを保
存することが可能となる。

【０２２０】次に、ステップＳ２６８において、構造コ
レクタ処理が実行される。すなわち、Ｖバッファ５１中
の座標（Ｘ,Y＋N/2）に補間された画素と、その垂直方
向の近傍画素である座標left_column(N/2)の画素、およ
びright_column(N/2)の画素との関係を解析することで
局所構造の整合性をチェックする処理が行われる。この
ため、次式に従って、補間された画素を左列の中心の画
素から減算し、右列の中心画素を補間された画素から減
算することで２つの減算結果を得、さらに２つの減算結
果を乗算することで、水平方向の変化を表す値H(N/2)が
計算される。

【０２２１】 H(N/2)＝ （left_line(N/2)−V-buffer(X＋N/2,Y)） ×（V-buffer(X+N/2,Y)−right_column(N/2)）・・・（３１）

【０２２２】ステップＳ２６９において、ステップＳ２
６８で演算された値H(N/2)に基づき、補間された局所構
造に整合性があるか否かが判定される。具体的には、値
H(N/2)が正であるか否かが判定される。値H(N/2)が正で
ある場合には、ステップＳ２６７の方向補間処理で求め
られた画素は正しい（整合性がある）ものとされ、ステ
ップＳ２７０において、Ｖバッファ５１の行Ｘに格納さ
れる。

【０２２３】ステップＳ２６９において、値H(N/2)が負
である場合（整合性がない、すなわち、ステップＳ２６
７の方向補間処理で生成された画素値は適切でないと判
定された場合）、ステップＳ２７１に進み、ステップＳ
２６５でエネルギE(N)が閾値Ｔより判定された場合と同
様に、標準の線形補間処理が行われる。

【０２２４】図４１は、以上の図４０おける水平アップ
サンプリング処理の概念を表している。同図に示される
ように、Ｈバッファ３１のＸ列のデータが、Ｖバッファ
５１の２Ｘ列にコピーされる。そして、その間の列のデ
ータが補間される。

【０２２５】以上のようにして、画像の解像度を任意の
倍率で変更することができる。この場合、例えば、画像
を６倍に拡大するとき、ズーム処理を２回繰り返し、４
倍の画像を得た後、３／２倍の高速ズーム処理を行うこ
ともできるし、ズーム処理を３回繰り返し、８倍の画像
を得た後、３／４倍の線形縮小処理を行うこともでき
る。

【０２２６】また、図４，図８のフローチャートで説明
したように、１次元垂直イメージリフレッシュ処理、お
よび、１次元水平イメージリフレッシュ処理は、エッジ
とテクスチャを識別し、エッジに対しては、フィルタ処
理とクリッピング処理を施し、テクスチャに対しては、
フィルタ処理のみを施すと言ったように処理内容を分け
て、それぞれに対応した適切な処理を施すことが可能と
なる。

【０２２７】さらに、上述のように、図３、または、図
３７で示すように、高速ズーム処理、または、ズーム処
理において、垂直アップサンプリング処理、および、水
平アップサンプリング処理を行う前に、１次元垂直イメ
ージリフレッシュ処理、および、１次元水平イメージリ
フレッシュ処理を実行することにより、１次元垂直イメ
ージリフレッシュ処理、および、１次元水平イメージリ
フレッシュ処理は、画素数が拡大される前の原画像の画
素数での処理を実行するだけで済むため、図６，図７，
図１０，図１１で示す１次元垂直フィルタ、および、１
次元水平フィルタのフィルタタップ数を、拡大処理後の
画素数に対応させる必要がなく、その分計算処理量を低
減させることができ、処理の高速化を実現することが可
能となる。

【０２２８】また、１次元垂直フィルタ、および、１次
元水平フィルタの係数αが、垂直中心画素エネルギEV、
および、水平中心画素エネルギEHの値の変化に動的に対
応するため、エッジ、または、テクスチャへの強調処理
の強弱を適切に変化させることが可能となる。

【０２２９】図４２は、図１に示した機能ブロックを有
する画像処理装置１０のハードウェアの構成例を表して
いる。CPU（Central Processing Unit）１１１は、ROM
（Read Only Memory）１１２に記憶されているプログラ
ム、または記憶部１１８からRAM（Random Access Memor
y）１１３にロードされたプログラムに従って各種の処
理を実行する。RAM１１３にはまた、CPU１１１が各種の
処理を実行する上において必要なデータなども適宜記憶
される。

【０２３０】CPU１１１、ROM１１２、およびRAM１１３
は、バス１１４を介して相互に接続されている。このバ
ス１１４にはまた、入出力インタフェース１１５も接続
されている。

【０２３１】入出力インタフェース１１５には、キーボ
ード、マウスなどよりなる入力部１１６、CRT，LCDなど
よりなるディスプレイ、並びにスピーカなどよりなる出
力部１１７、ハードディスクなどより構成される記憶部
１１８、モデム、ターミナルアダプタなどより構成され
る通信部１１９が接続されている。通信部１１９は、イ
ンターネットなどに代表されるネットワークを介しての
通信処理を行う。

【０２３２】入出力インタフェース１１５には、また、
必要に応じてドライブ１２０が接続され、磁気ディスク
１３１、光ディスク１３２、光磁気ディスク１３３、或
いは半導体メモリ１３４などが適宜装着され、それらか
ら読み出されたコンピュータプログラムが、必要に応じ
て記憶部１１８にインストールされる。

【０２３３】上述した一連の処理は、ハードウェアによ
り実行させることもできるが、ソフトウエアにより実行
させることもできる。一連の処理をソフトウエアにより
実行させる場合には、そのソフトウエアを構成するプロ
グラムが、専用のハードウェアに組み込まれているコン
ピュータ、または、各種のプログラムをインストールす
ることで、各種の機能を実行することが可能な、例えば
汎用のパーソナルコンピュータなどに、ネットワークや
記録媒体からインストールされる。

【０２３４】この記録媒体は、図４２に示す装置では、
コンピュータとは別に、ユーザにプログラムを提供する
ために配布される、プログラムが記録されている磁気デ
ィスク１３１（フレキシブルディスクを含む）、光ディ
スク１３２（CD-ROM(CompactDisc-Read Only Memory),D
VD(Digital Versatile Disc)を含む）、光磁気ディスク
１３３（MD（Mini-Disc）を含む）、もしくは半導体メ
モリ１３４などよりなるパッケージメディアにより構成
されるだけでなく、装置に予め組み込まれた状態でユー
ザに提供される、プログラムが記録されているROM１１
２や、記憶部１１８に含まれるハードディスクなどで構
成される。

【０２３５】なお、本明細書において、記録媒体に記録
されるプログラムを記述するステップは、記載された順
序に沿って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。

【０２３６】また、本明細書において、システムとは、
複数の装置により構成される装置全体を表すものであ
る。

【０２３７】

【発明の効果】以上の如く、本発明の画像処理装置およ
び方法、並びにプログラムによれば、原画像の中心画素
エネルギを計算し、計算した中心画素エネルギに基づい
て、エッジを強調し、計算した中心画素エネルギに基づ
いて、テクスチャを強調し、強調したエッジの方向を検
出し、検出したエッジの方向に基づいて、原画像の画素
から新たな画素を補間するようにしたので、少ない計算
処理で、効果的且つ簡単に画像の解像度を変更すること
が可能となる。

【図面の簡単な説明】

【図１】本発明を適用した画像処理装置の構成例を示す
ブロック図である。

【図２】図１の画像処理装置のズーム処理を説明するフ
ローチャートである。

【図３】図２のステップＳ４における高速ズーム処理を
説明するフローチャートである。

【図４】図３のステップＳ２２における１次元垂直イメ
ージリフレッシュ処理を説明するフローチャートであ
る。

【図５】図３のステップＳ２２における１次元垂直イメ
ージリフレッシュ処理を説明する図である。

【図６】図３のステップＳ２２における１次元垂直イメ
ージリフレッシュ処理を説明する図である。

【図７】図３のステップＳ２２における１次元垂直イメ
ージリフレッシュ処理を説明する図である。

【図８】図３のステップＳ２３における１次元水平イメ
ージリフレッシュ処理を説明するフローチャートであ
る。

【図９】図３のステップＳ２３における１次元水平イメ
ージリフレッシュ処理を説明する図である。

【図１０】図３のステップＳ２３における１次元水平イ
メージリフレッシュ処理を説明する図である。

【図１１】図３のステップＳ２３における１次元水平イ
メージリフレッシュ処理を説明する図である。

【図１２】高速垂直アップサンプリング処理を説明する
図である。

【図１３】図３のステップＳ２４における高速垂直アッ
プサンプリング処理の詳細を説明するフローチャートで
ある。

【図１４】図１３のステップＳ７２におけるケース１の
処理を説明するフローチャートである。

【図１５】図１４のケース１の処理を説明する図であ
る。

【図１６】図１３のステップＳ７２におけるケース２の
処理を説明するフローチャートである。

【図１７】図８のステップＳ９２における局所エネルギ
の計算を説明する図である。

【図１８】図８のステップＳ９４におけるエッジ方向計
算処理を説明する図である。

【図１９】図８のステップＳ９４におけるエッジ方向計
算処理を説明する図である。

【図２０】図１６のケース２の処理を説明する図であ
る。

【図２１】図１６のケース２の処理を説明する図であ
る。

【図２２】図１３のステップＳ７２におけるケース３の
処理を説明するフローチャートである。

【図２３】図２２におけるケース３の処理を説明する図
である。

【図２４】図３のステップＳ２４における高速垂直アッ
プサンプリングを説明する図である。

【図２５】図３のステップＳ２４における高速垂直アッ
プサンプリング処理の詳細を説明するフローチャートで
ある。

【図２６】図２５のステップＳ１３２におけるケース１
の処理を説明するフローチャートである。

【図２７】図２５のケース１の処理を説明する図であ
る。

【図２８】図２５のステップＳ１３２におけるケース２
の処理を説明するフローチャートである。

【図２９】図２８のケース２の処理を説明する図であ
る。

【図３０】図２８のケース２の処理を説明する図であ
る。

【図３１】図２５のステップＳ１３２におけるケース３
の処理を説明するフローチャートである。

【図３２】図３１のケース３の処理を説明する図であ
る。

【図３３】図３のステップＳ２６におけるエッジコネク
タ処理の詳細を説明するフローチャートである。

【図３４】図３のステップＳ２６におけるエッジコネク
タ処理の詳細を説明するフローチャートである。

【図３５】図３３のステップＳ１９２とステップＳ１９
３における右対角エネルギと左対角エネルギを説明する
図である。

【図３６】図３３のステップＳ１９７と図３４のステッ
プＳ２０２における処理を説明する図である。

【図３７】図２のステップＳ８におけるズーム処理を説
明するフローチャートである。

【図３８】図３７におけるステップＳ２１４の垂直アッ
プサンプリング処理の詳細を説明するフローチャートで
ある。

【図３９】図３８の垂直アップサンプリング処理を説明
する図である。

【図４０】図３７のステップＳ２１５における水平アッ
プサンプリング処理を説明するフローチャートである。

【図４１】図４０の水平アップサンプリング処理を説明
する図である。

【図４２】図１の画像処理装置のハードウェアの構成例
を示すブロック図である。

【符号の説明】

１ 画像入力部， ２ 画像処理部， ３ 画像出力
部， １０ 画像処理装置， １１ エッジコネクタ処
理部， １２ 高速垂直アップサンプリング処理部，
１３ 垂直アップサンプリング処理部， １４ 高速水
平アップサンプリング処理部， １５ 水平アップサン
プリング処理部， １６ 線形縮小処理部， １７ １
次元垂直イメージリフレッシュ処理部，１７ａ バッフ
ァ， １８１次元水平エッジビルダ処理部， １８ａ
バッファ

フロントページの続き Ｆターム(参考） 5B057 AA20 BA02 BA30 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CD09 CE03 CH09 5C023 AA02 AA07 AA37 BA01 DA02 DA03 DA04 DA08 EA03 EA05 EA08 EA10 EA12 5C076 AA21 AA22 AA27 AA31 BA05 BA06 BB22 BB25 CB01 5C077 LL05 MP07 PP03 PP20 PP43 PP59 PQ08 PQ18 PQ20 RR11 RR18 RR19

Claims (18)

【特許請求の範囲】
1. 【請求項１】 空間解像度を垂直方向と水平方向にそれ
   ぞれＺ倍することにより原画像の解像度を変換する画像
   処理装置において、 前記原画像の中心画素エネルギを計算するエネルギ計算
   手段と、 前記エネルギ計算手段により計算された前記中心画素エ
   ネルギに基づいて、エッジを強調するエッジ強調手段
   と、 前記エネルギ計算手段により計算された前記中心画素エ
   ネルギに基づいて、テクスチャを強調するテクスチャ強
   調手段と、 前記エッジ強調手段により強調された前記エッジの方向
   を検出する方向検出手段と、 前記方向検出手段により検出された前記エッジの方向に
   基づいて、原画像の画素から新たな画素を補間する補間
   手段とを備えることを特徴とする画像処理装置。
2. 【請求項２】 前記エネルギ計算手段は、前記原画像の
   所定の画素の水平方向、および、垂直方向の中心画素エ
   ネルギを、前記画素の近傍に存在する近傍画素の画素値
   より計算することを特徴とする請求項１に記載の画像処
   理装置。
3. 【請求項３】 前記エネルギ計算手段により使用された
   前記近傍画素のうち、前記所定の画素を中心として、垂
   直方向、または、水平方向に配列された前記近傍画素の
   画素値の、最大値、および、最小値を検出する最大値最
   小値検出手段と、 前記中心画素エネルギと、前記最小値、および、前記最
   小値よりも大きく前記最大値よりも小さい所定の閾値と
   を比較する第１の比較手段とをさらに備え、 前記第１の比較手段の第１の比較結果により、前記中心
   画素エネルギが、前記最小値以上で、かつ、前記閾値未
   満の場合、前記テクスチャ強調手段は、前記所定の画素
   をテクスチャ領域に属するものとみなし、フィルタ処理
   を施すことによりテクスチャを強調することを特徴とす
   る請求項２に記載の画像処理装置。
4. 【請求項４】 前記フィルタ処理は、所定のフィルタの
   係数を、対応する画素に乗算し、その積を加算する1次
   元フィルタ処理であることを特徴とする請求項３に記載
   の画像処理装置。
5. 【請求項５】 前記所定のフィルタの係数は、前記中心
   画素エネルギに対応する値であることを特徴とする請求
   項４に記載の画像処理装置。
6. 【請求項６】 前記フィルタ処理は、前記原画像の垂直
   方向と水平方向のそれぞれの方向について行う処理であ
   ることを特徴とする請求項３に記載の画像処理装置。
7. 【請求項７】 前記エネルギ計算手段により使用された
   前記近傍画素のうち、前記所定の画素を中心として、垂
   直方向、または、水平方向に方向に配列された前記近傍
   画素の画素値の、最大値、および、最小値を検出する最
   大値最小値検出手段と、 前記中心画素エネルギと、前記最小値よりも大きく前記
   最大値よりも小さい所定の閾値、および、前記最大値と
   を比較する第２の比較手段とをさらに備え、 前記第２の比較手段の第２の比較結果により、前記中心
   画素エネルギが、前記閾値以上で、かつ、前記最大値未
   満の場合、前記エッジ強調手段は、前記所定の画素をエ
   ッジ領域に属するものとみなし、フィルタ処理を施し、
   さらに、クリッピング処理を施すことによりエッジを強
   調することを特徴とする請求項２に記載の画像処理装
   置。
8. 【請求項８】 前記フィルタ処理は、所定のフィルタの
   係数を、対応する画素に乗算し、その積を加算する1次
   元フィルタ処理であることを特徴とする請求項７に記載
   の画像処理装置。
9. 【請求項９】 前記所定のフィルタの係数は、前記中心
   画素エネルギに対応する値であることを特徴とする請求
   項８に記載の画像処理装置。
10. 【請求項１０】 前記フィルタ処理は、前記原画像の垂
    直方向と水平方向のそれぞれの方向について行う処理で
    あることを特徴とする請求項７に記載の画像処理装置。
11. 【請求項１１】 前記フィルタ処理が施された画素の画
    素値と、前記最大値、および、前記最小値を比較する第
    ３の比較手段を備え、 前記クリッピング処理は、前記第３の比較手段の第３の
    比較結果に対応して、前記フィルタ処理が施された画素
    の画素値が、前記最大値よりも大きい場合、前記フィル
    タ処理された画素の画素値を最大値に置換する処理であ
    り、前記フィルタ処理された画素の画素値が、前記最小
    値よりも小さい場合、前記フィルタ処理された画素の画
    素値を最小値に置換する処理であることを特徴とする請
    求項７に記載の画像処理装置。
12. 【請求項１２】 前記補間手段は、検出された前記エッ
    ジの方向の２つの画素から新たな１つの画素を補間する
    ことを特徴とする請求項１に記載の画像処理装置。
13. 【請求項１３】 前記補間手段は、前記エッジの領域に
    属さない画素に対して、線形補間処理を行うことを特徴
    とする請求項１に記載の画像処理装置。
14. 【請求項１４】 前記補間手段により補間された画素の
    局所的構造の整合性を判定する整合性判定手段をさらに
    備え、 前記整合性判定手段により整合性がないと判定されたと
    き、前記補間手段は、線形補間処理を行うことを特徴と
    する請求項１に記載の画像処理装置。
15. 【請求項１５】 前記補間手段と前記エッジ強調手段の
    処理は、前記値Ｚの値が２より大きい場合、前記値Ｚの
    値が２であるときの処理をＮ回行った後、前記値ｚの値
    が２以下であるときの処理を１回行うことを特徴とする
    請求項１に記載の画像処理装置。
16. 【請求項１６】 空間解像度を垂直方向と水平方向にそ
    れぞれＺ倍することにより原画像の解像度を変換する画
    像処理装置の画像処理方法において、 前記原画像の中心画素エネルギを計算するエネルギ計算
    ステップと、 前記エネルギ計算ステップの処理で計算された前記中心
    画素エネルギに基づいて、エッジを強調するエッジ強調
    ステップと、 前記エネルギ計算ステップの処理で計算された前記中心
    画素エネルギに基づいて、テクスチャを強調するテクス
    チャ強調ステップと、 前記エッジ強調ステップの処理で強調された前記エッジ
    の方向を検出する方向検出ステップと、 前記方向検出ステップの処理で検出された前記エッジの
    方向に基づいて、原画像の画素から新たな画素を補間す
    る補間ステップとを含むことを特徴とする画像処理方
    法。
17. 【請求項１７】 空間解像度を垂直方向と水平方向にそ
    れぞれＺ倍することにより原画像の解像度を変換する画
    像処理装置を制御するプログラムであって、 前記原画像の中心画素エネルギの計算を制御するエネル
    ギ計算制御ステップと、 前記エネルギ計算制御ステップの処理で計算された前記
    中心画素エネルギに基づいて、エッジの強調を制御する
    エッジ強調制御ステップと、 前記エネルギ計算制御ステップの処理で計算された前記
    中心画素エネルギに基づいて、テクスチャの強調を制御
    するテクスチャ強調制御ステップと、 前記エッジ強調制御ステップの処理で強調された前記エ
    ッジの方向の検出を制御する方向検出制御ステップと、 前記方向検出制御ステップの処理で検出された前記エッ
    ジの方向に基づいて、原画像の画素から新たな画素の補
    間を制御する補間制御ステップとを含むことを特徴とす
    るコンピュータが読み取り可能なプログラムが記録され
    ている記録媒体。
18. 【請求項１８】 空間解像度を垂直方向と水平方向にそ
    れぞれＺ倍することにより原画像の解像度を変換する画
    像処理装置を制御するコンピュータに、 前記原画像の中心画素エネルギの計算を制御するエネル
    ギ計算制御ステップと、 前記エネルギ計算制御ステップの処理で計算された前記
    中心画素エネルギに基づいて、エッジの強調を制御する
    エッジ強調制御ステップと、 前記エネルギ計算制御ステップの処理で計算された前記
    中心画素エネルギに基づいて、テクスチャの強調を制御
    するテクスチャ強調制御ステップと、 前記エッジ強調制御ステップの処理で強調された前記エ
    ッジの方向の検出を制御する方向検出制御ステップと、 前記方向検出制御ステップの処理で検出された前記エッ
    ジの方向に基づいて、原画像の画素から新たな画素の補
    間を制御する補間制御ステップとを実行させるプログラ
    ム。