JP2000209432A - 画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 高画質を維持しつつエッジの鮮鋭度を改善す
ることができる画像処理方法を提供する。 【解決手段】拡大画像中の注目画素ｐ１に対し、原画像
における注目画素ｐ１に対応する位置を中心とした所定
の対応領域ＲＡ内の各画素をそれぞれ中心画素とする。
拡大画像における注目画素ｐ１の周辺の３×３画素の対
象領域ＯＡ内の各画素と、原画像における中心画素の周
辺の３×３画素の比較領域ＣＡ内の各画素との相関度を
求める。相関度は原画像における中心画素を対応領域Ｒ
Ａ内で順に異なるものとしながら、それぞれ求める。そ
して、比較領域ＣＡにおいて、対象領域ＯＡとの相関度
が最も高い中心画素を最大相関画素として求め、原画像
における最大相関画素の階調値を拡大画像の注目画素の
階調値と合成する。これにより、拡大画像のエッジが鮮
鋭化される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、第１画像に対応
した画像内容を有しかつ前記第１画像に対して相対的に
高倍率の画像である第２画像のエッジを鮮鋭化する画像
処理方法に関する。

【０００２】

【従来の技術】従来から、画像の拡大方法としては「バ
イリニア補間法」および「バイキュービック補間法」が
多く用いられる。「バイリニア補間法」とは、原画像の
対応するの周辺の最隣接画素の画像データ（階調値）を
注目画素からの距離に応じた重み付けで加重平均して拡
大画像に反映させる補間方法である。また「バイキュー
ビック補間法」では「バイリニア補間法」で最隣接の画
素の画像データの加重平均を用いていたのに対して、さ
らにその外側、すなわち、２番目の隣接範囲内の画素の
画像データまで加重平均して拡大画像に反映させる方法
である。

【０００３】図１０は５×５画素の原画像における各画
素の階調値を示す図である。そして、図１１は図１０の
原画像を「バイリニア補間法」を用いて３倍に拡大した
拡大画像の各画素の階調値を示す図であり、図１２は図
１１の拡大画像を視覚的に表わした図である。ただし、
図１２は後の実施の形態における結果画像（図７）と比
較するため、図１１の枠Ｆ内のみを表わした。

【０００４】

【発明が解決しようとする課題】ところで、図１０に示
すように原画像には階調値が「０」の画素と「９９」の
画素が隣接する、急峻なエッジ部分が存在する。これに
対応する図１１の拡大画像の領域では、階調値が
「０」，「１１」，「４４」，「９９」のように緩やか
に変化するエッジ画像となっている。このため、図１２
に示すように、拡大画像はボケた様に見え、画質が劣化
している。

【０００５】また、通常、エッジ部分のボケを改善する
ために、ＵＳＭ（アンシャープマスク）アパーチャーを
用いたエッジ強調処理が行われる。図１３は図１１およ
び図１２の拡大画像にＵＳＭアパーチャーを用いたエッ
ジ強調処理を行った場合の各画素の階調値を示す図であ
り、図１４は図１３の画像を視覚的に表わした図であ
る。ただし、図１４も後の実施の形態における結果画像
（図７）と比較するため、図１３の枠Ｆ内のみを表わし
た。

【０００６】このように、拡大画像にＵＳＭアパーチャ
ーを用いたエッジ強調処理を行うと、図１３および図１
４に示すように、拡大処理で発生した「ジャギー」が強
調され、画質が劣化している。また、本来のエッジの周
辺に、太い輪郭部が発生し、画質劣化の原因となってい
る。

【０００７】さらに、拡大処理によるものでなく、光学
的にピントがボケた画像の場合にはジャギーは発生しな
いが、図１３および図１４の画像と同様にエッジの周辺
に太い輪郭部が発生し、画質劣化の原因となっていた。

【０００８】この発明は、従来技術における上述の問題
の克服を意図しており、高画質を維持しつつエッジの鮮
鋭度を改善することができる画像処理方法を提供するこ
とを目的とする。

【０００９】

【課題を解決するための手段】上記の目的を達成するた
め、請求項１の発明は、第１画像に対応した画像内容を
有しかつ第１画像に対して相対的に高倍率の画像である
第２画像のエッジを鮮鋭化する画像処理方法であって、
第２画像中から注目画素を選択し、当該注目画素および
その周辺の画像からなる対象画素群を特定する工程と、
第１画像から中心画素を選択し、当該中心画素およびそ
の周辺の画像からなる比較画素群を特定する工程と、対
象画像群と比較画素群との画像データの相関度を求める
相関度算出工程と、第１画像の所定の範囲から中心画素
を順次に選択しつつ相関度算出工程を繰り返し、それに
よって複数の相関度を求める第１繰り返し工程と、複数
の相関度のうちで最大の相関度を示す比較画素群に対応
した中心画素を最大相関画素として選択する選択工程
と、第１画像のうちの最大相関画素の画像データに基づ
いて補正情報を得る補正情報取得工程と、得られた補正
情報を第２画像の注目画素の画像データに合成する合成
工程と、第２画像中の各画素を個別に注目画素として、
前記各工程を繰返し行う第２繰り返し工程と、を備えて
いる。

【００１０】また、請求項２の発明は、請求項１に記載
の画像処理方法であって、補正情報が、第１画像の最大
相関画素の画像データである。

【００１１】また、請求項３の発明は、請求項１または
請求項２に記載の画像処理方法であって、補正情報が、
第１画像のエッジ成分のうち最大相関画素に対応するも
のである。

【００１２】また、請求項４の発明は、請求項１ないし
請求項３のいずれかに記載の画像処理方法であって、相
関度算出工程が、対象画素群と比較画素群とについて、
互いに対応する画素どうしの階調値の差分の絶対値を、
中心画素からの距離に応じた重み付けで加重加算した値
をもとに相関度を求めるものである。

【００１３】また、請求項５の発明は、請求項１ないし
請求項４のいずれかに記載の画像処理方法であって、第
１繰り返し工程において、第１画像において注目画素に
対応する位置の近傍の画素群から中心画素が順次に選択
される。

【００１４】また、請求項６の発明は、請求項１ないし
請求項５のいずれかに記載の画像処理方法であって、合
成工程において、最大相関画素の近傍または注目画素の
近傍の濃度に応じて、合成の合成比率又は合成加算量が
異なるものである。

【００１５】さらに、請求項７の発明は、請求項１ない
し請求項５のいずれかに記載の画像処理方法であって、
合成工程において、最大相関画素付近の濃度コントラス
ト、または注目画素付近の濃度コントラストに応じて、
合成の合成比率又は合成加算量が異なるものである。

【００１６】

【発明の実施の形態】以下、この発明の実施の形態を図
面に基づいて説明する。

【００１７】＜１．第１の実施の形態＞図１はこの発明
の画像処理方法を実現する第１の実施の形態である画像
処理装置１の機能ブロック図である。以下、図１を用い
てこの画像処理装置１について説明していく。

【００１８】この画像処理装置１は以下に示す各部が互
いにバスラインＢＬで接続された装置である。以下、各
部について順に説明していく。画像入力Ｉ／Ｆ１１は、
図示しない外部の画像編集レイアウト装置により作成さ
れた編集済みの原画像データを受け取るインターフェイ
スであり、受け取った原画像データは一時的に画像メモ
リ１２に保存される。指示入力部１３は図示しないタッ
チパネル、キーボードやマウス等を備えており、作業者
による画像処理の指示入力が行われる。そして、その指
示により画像拡大処理部１４により原画像データを拡大
して拡大画像データを得る拡大処理を行ったり、さらに
はＵＳＭ処理部１５、階調分布比較部１６、高相関画素
検出部１７、補正データ抽出部１８および画像合成部１
９の連携によりこの発明の画像処理（鮮鋭化処理）が施
される。なお、この画像処理の詳細は後述する。また、
上記において画像拡大処理部１４、ＵＳＭ処理部１５、
階調分布比較部１６、高相関画素検出部１７、補正デー
タ抽出部１８および画像合成部１９は図示しないＣＰＵ
によりソフトウエア的に実現される。

【００１９】そして、得られた画像処理後の画像データ
は図示しないディスプレイ装置等を備えた画像表示部２
０に表示されたり、外部装置への出力のためのインター
フェイスである画像出力Ｉ／Ｆ２１を介して外部の保存
媒体やネットワーク等へ出力される。

【００２０】つぎに、第１の実施の形態における画像処
理、より詳細にはエッジ鮮鋭化処理について説明する。
第１の実施の形態では、拡大画像（「第２画像」に相
当）の各画素について、それらの画素およびその周辺の
画素が原画像（「第１画像」に相当）と最も近似してい
る（最も相関度の高い）部分を求め、その部分の原画像
の画像データを拡大画像に合成することによって、拡大
画像のエッジを鮮鋭化する。

【００２１】図２は第１の実施の形態における画像処理
（エッジ鮮鋭化処理）の手順を示すフローチャートであ
る。以下、図２を基に第１の実施の形態における画像処
理の手順について説明する。なお、予め原画像は画像入
力Ｉ／Ｆ１１を通じて読み込まれ、画像メモリに保存さ
れているものとする。

【００２２】まず、原画像を画像メモリ１２に保存する
（ステップＳ１）。なお、この原画像は以下、参照用画
像として用いられる。

【００２３】つぎに、画像拡大処理部１４において、原
画像に対して拡大処理を行い拡大画像を生成し、画像メ
モリ１２に保存する（ステップＳ２）。なお、この拡大
処理の方法としてはバイキュービック法、バイリニア法
等の公知の方法を用いることができる。

【００２４】つぎに、階調分布比較部１６において、拡
大画像から選択された対象領域ＯＡ内の各画素（対象画
素群）の画像データ（階調値）と、それに対応する原画
像の対応領域ＲＡの各画素を中心画素とした各比較領域
ＣＡ内の各画素（比較画素群）の画像データ（階調値）
とを、画像メモリ１２からそれぞれ読み出し、互いに対
応させて比較し、相関度を求める（ステップＳ３）。

【００２５】図３は第１の実施の形態における拡大画像
の注目画素および周辺画素ならびに原画像の中心画素群
および周辺画素について説明するための図である。以
下、図３を用いて詳細に説明する。

【００２６】まず、拡大画像から選択された任意の画素
に注目する。そして、その注目画素の周辺に存在する画
素を周辺画素とし、注目画素とその周辺の画素とからな
る所定の範囲を対象領域ＯＡとする。第１の実施の形態
ではこの対象領域ＯＡを３×３画素（注目画素に対して
上下左右斜めそれぞれに±１画素）のマトリクス領域と
している。

【００２７】また、原画像においては拡大画像の注目画
素に対応する位置である対応位置、すなわち、拡大処理
の際に参照した画素もしくはその位置に最も近い画素位
置を中心とした所定範囲を対応領域ＲＡとしている。第
１の実施の形態では対応位置を中心とした３×３画素の
範囲を対応領域ＲＡとしている。図３の例の場合には、
拡大画像の注目画素ｐ１に対して原画像の対応位置の画
素が画素ｑ１であり、画素ｑ１とそれに対して上下左右
斜めそれぞれに±１画素を含む３×３画素の範囲を対応
領域ＲＡとしている。なお、中心画素を拡大画像の注目
画素に対応する位置もしくはそれに最も近い位置の画素
としたのは、倍率によっては必ずしも拡大画像の画素と
完全に対応する画素が原画像中に存在するとは限らない
ためである。

【００２８】そして、この対応領域ＲＡ内の各画素をそ
れぞれ中心画素とし、それら各中心画素の周辺におい
て、上記の拡大画像における対象領域ＯＡと同様の画素
範囲、第１の実施の形態では中心画素に対して上下左右
斜めそれぞれに±１画素を周辺画素とし、中心画素およ
び周辺画素群からなる３×３画素の範囲を比較領域ＣＡ
とする。

【００２９】図４は不一致指数の算出方法を示す模式図
である。図示のように第１の実施の形態では、対応領域
ＲＡ内の各画素を順に中心画素としながら、拡大画像の
対象領域ＯＡ内の各画素（注目画素および周辺画素群）
と、それらに対応する原画像の比較領域ＣＡの各画素
（中心画素および周辺画素群）との画像データ（階調
値）の差分の絶対値を求める。これにより、対応する画
素の数（第１の実施の形態では９個）の差分の絶対値が
求まる。そして得られた差分の絶対値を重みをつけて加
重加算する。これを数式で示すと次式となる。

【００３０】

【数１】

【００３１】ここで、比較領域ＣＡの画素数をＮ（ここ
ではＮ＝９）、中心画素群の各中心画素の位置を示す数
をｊ（第１の実施の形態ではｊ＝１〜９）、各画素位置
をｉ（第１の実施の形態ではｉ＝１〜９）、不一致指数
をＣj、原画像および拡大画像の画素位置ｉの画像デー
タ（階調値）をそれぞれＯＧiおよびＥＧi、重み付け係
数をＫiと表わした。

【００３２】図５は重み付け係数Ｋiの分布を示す模式
図である。第１の実施の形態では、注目画素（中心画
素）を周辺画素に対して重視するために、重み付け係数
Ｋiを注目画素（中心画素）からの距離に応じて変化さ
せている。より詳細には距離に応じて減少するものとし
ている。

【００３３】図５中の各小矩形は対象領域ＯＡ（比較領
域ＣＡ）内の画素位置を表わし、中心が注目画素（中心
画素）、その周りの画素が周辺画素を意味している。第
１の実施の形態における、各画素の差分の絶対値に対し
て用いる重み付け係数は図５（ａ）に示す各画素におけ
る重み付け、すなわち、この例では注目画素（ｉ＝５）
は重み付け係数Ｋ5＝４、周辺画素のうち、注目画素の
上下左右の画素は重み付け係数Ｋi＝１、その他の画素
は重み付け係数Ｋi＝０としている。

【００３４】このような重み付け係数Ｋiを用いて数１
の式を計算すると、その注目画素の周辺と中心画素の周
辺との不一致指数が得られる。この不一致指数は、その
注目画素近傍の拡大画像と中心画素近傍の原画像とが近
似している程度、すなわち相関度を表わす数値で、不一
致指数が小さいほど相関度が高いことになる。そして、
原画像における中心画素を注目画素から±１画素ずつず
らした対応領域ＲＡ内の全ての画素を中心としてそれぞ
れ不一致指数（以下、総称する場合は「不一致指数群」
という）を求める。

【００３５】なお、ここでは対象領域ＯＡのサイズ（し
たがって比較領域ＣＡのサイズ）を３×３画素とした
が、５×５画素等その他の大きさとしてもよく、また、
重み付け係数Ｋiも任意であり、例えば、注目画素の階
調を重視しない場合には全ての重み付け係数Ｋiを同じ
値Ｋi＝１、すなわち、単純加算したりしてもよい。

【００３６】以上の処理を図３により具体的に説明す
る。図３の例では拡大画像の画素ｐ１〜ｐ９に対応する
原画像中の画素は画素ｑ１〜ｑ９であり、拡大画像の画
素ｐ１を注目画素とした場合を示している。そして原画
像における中心画素が画素ｑ１である場合には、その周
辺３×３画素、すなわち画素ｑ１〜ｑ９が対応領域ＲＡ
となる。また、原画像における中心画素を画素ｑ９とし
た場合には画素ｑ１，ｑ２，ｑ４，ｑ１０〜ｑ１４が対
応領域ＲＡとなる。

【００３７】このようにして、それら各画素ｑ１〜ｑ９
を中心画素とした比較領域ＣＡの各画素と拡大画像にお
ける画素ｐ１を注目画素とした対象領域ＯＡの各画素と
の画像データを用いて不一致指数をそれぞれ求める。す
るとそれにより図４に示すように拡大画像中の１個の注
目画素ｐ１に対して９個（３×３個）の不一致指数Ｃ1
〜Ｃ9が求められることになる。

【００３８】つぎに、高相関画素検出部１７において、
階調分布比較部１６で得られた不一致指数群において相
関度が最大の原画像での画素位置である最大相関画素を
求める（ステップＳ４）。すなわち、得られた不一致指
数群（図４の例では不一致指数Ｃ1〜Ｃ9）のうち、最小
の不一致指数を示した原画像の中心画素を最大相関画素
とする。

【００３９】つぎに、補正データ抽出部１８において、
補正データを抽出する（ステップＳ５）。第１の実施の
形態では鮮鋭度を補正するための補正データとして最大
相関画素の画像データを用いている。具体的には画像メ
モリ１２から原画像の最大相関画素の画像データを補正
データとして読み出すのである。

【００４０】最後に、画像合成部１９において、拡大画
像に補正データを合成する（ステップＳ６）。より詳細
には、拡大画像の注目画素の画像データと補正データと
を所定の比率で加重平均する。

【００４１】ただし、第１の実施の形態では最大相関画
素の階調値を参照し、その画素の濃度が所定の濃度閾値
を越えるか否かで加重の比率を異なるものとしている。
一般にＣＣＤ等の画像素子で読み取った画像においては
人間の目の感度特性に濃度値を変換するためＬＯＧ変換
と呼ばれる濃度変換が行われている。そのため、画像の
濃度が所定の濃度以上（所定濃度より濃い）の画素では
ノイズが目立ちやすくなる。そこで、そのような画素に
ついてはエッジを強調しないでむしろ拡大画像をそのま
まとした方がノイズを強調しないので画質が良好に保た
れる。そこで第１の実施の形態では、拡大画像の注目画
素の画像データと補正データとの合成比率を１：０、す
なわち、拡大画像の注目画素の画像データをそのままと
している。逆に、拡大画像の濃度が所定の濃度閾値以下
（所定濃度より薄い）の画素では拡大画像の注目画素の
画像データと補正データ、すなわち、最大相関画素の画
像データとの合成比率を０：１、すなわち、拡大画像の
注目画素の画像データを最大相関画素の画像データで置
換している。

【００４２】ここで、補正データの合成として上記のよ
うな置換を行っている理由は以下の通りである。図１０
に示すように原画像におけるエッジ部分には急峻な階調
の変化が生じているのに対して、図１１〜図１４に示す
ように拡大画像ではエッジ部分の階調の変化がなだらか
になっている。これは、拡大画像のエッジ部分には原画
像におけるエッジの両側の階調以外に、それらの中間的
な階調の画像データが発生してしまっているためであ
る。そこで、上記のように原画像における相関が最も高
い画素の階調を拡大画像と置換して再現することで、上
記の拡大画像のエッジ部分における中間的な階調を有す
る画素を本来のエッジ部分の、より近い画像の側の階調
に戻して、より原画像のエッジに近い画像を再現してい
る。なお、エッジ部分以外では原画像と拡大画像とは注
目画素近辺でほとんど同じ階調を有していると考えられ
るので、このような合成（置換）を行っても画像として
はあまり変化しないものとなっている。

【００４３】なお、あまりエッジを強調しすぎないよう
にするためには、例えば、拡大画像の注目画素の画像デ
ータと補正データとの合成比率（加算の際の重み付け）
を、濃度が所定の濃度閾値以上の場合は２：１とし、濃
度閾値以下の場合は１：２とするなど、両データの重み
付けの差を小さくすればよい。このように、２種の合成
比率は任意の値とすることができる。また、濃度閾値も
当然ながら任意の値とすることができ、さらには、濃度
閾値を複数設けて、複数に分けられた濃度範囲を設け、
各濃度範囲で異なる合成比率を設定したテーブルを用い
たり、濃度値に一対一に対応した合成比率の関数を用い
たりすることもできる。また、オペレーターが手動で変
化させられるものとしてもよい。ただし、傾向としては
高濃度側ではノイズやムラを強調しないために原画像の
比率より拡大画像の比率を大きくし、逆に低濃度側では
その逆にしてエッジを強調する方がよい。

【００４４】さらに、この装置では濃度を濃度閾値と比
較する対象を最大相関画素としたが、拡大画像の注目画
素を対象としてもよい。

【００４５】つぎに、拡大画像の全画素を順次に注目画
素として選択してステップＳ３〜Ｓ６の処理が終了した
か否かの判定を行う（ステップＳ７）。そして、終了し
ていなければ拡大画像における次の画素を注目画素とし
てステップＳ３に戻り、以下、拡大画像の全画素（正確
には拡大画像の端縁部の画素には周辺画素が存在しない
ため、それらの画素以外の全画素）を順に注目画素とし
てステップＳ３〜Ｓ７の処理を繰返す。そして、全画素
についてそれらの処理が終了すると、画像処理を終了す
る。そして、場合によっては得られた画像データを画像
表示部２０に表示したり、画像出力Ｉ／Ｆ１１を通じて
外部の保存媒体やネットワークに出力する。

【００４６】図６は図１０の原画像を第１の実施の形態
における画像処理方法を用いて３倍に拡大し、エッジ鮮
鋭化を行った画像の各画素の階調値を示す図であり、図
７は図６の画像を視覚的に表わした図である。ただし、
対応領域ＲＡのサイズは３×３画素とし、不一致指数を
求める際の重み付け係数Ｋiは全てＫi＝１とし、さら
に、濃度により合成比率を異なるものとはしていない。

【００４７】図６および図７に示すように、エッジの両
側において階調値が「０」の画素と「９９」の画素が隣
接する、急峻な画像となっており、中間の階調が存在す
るボケや太い輪郭部は生じていない。なお、図６に示し
た枠Ｆの外側の画素は周辺画素が一部存在しないためエ
ッジ鮮鋭化処理を行わなかった。そのため、図７にはそ
れらの画素は表示していない。

【００４８】以上説明したように、第１の実施の形態に
よれば、拡大画像中の注目画素およびその周辺画素から
なる対象領域ＯＡの画像と、注目画素にほぼ対応する原
画像における注目位置近傍の画素である中心画素および
その周辺画素からなる比較領域ＣＡの画像との相関度
を、対応領域ＲＡ内の各画素で中心画素を交代させつつ
求めていき、得られた複数の相関度のうちで最大の相関
度を示す原画像における中心画素を最大相関画素として
選択し、得られた最大相関画素の画像データに基づいて
得た補正データを拡大画像の注目画素の画像データに合
成する処理を拡大画像中の全ての画素を個別に注目画素
として繰返し行うため、相対的に低倍率の原画像のエッ
ジ画像を拡大画像に反映させることができ、したがっ
て、拡大画像について高画質を維持しつつエッジの鮮鋭
度を改善することができる。

【００４９】また、補正データが原画像の最大相関画素
の画像データであるため、原画像は拡大画像に対して相
対的に低倍率であるので、エッジが急峻であり、そのエ
ッジをそのまま拡大画像に合成するため、急峻なエッジ
を拡大画像にも再現でき、よりエッジの鮮鋭度を改善で
きる。

【００５０】また、拡大画像中の注目画素および当該注
目画素の周辺における複数の周辺画素と、原画像中にお
ける中心画素および当該中心画素の周辺における複数の
周辺画素と、について互いに対応する画素どうしの階調
値の差分の絶対値を、中心画素からの距離に応じた重み
付けで加重加算して不一致指数を求めるため、注目画素
と中心画素との相関を重視した不一致指数（したがって
相関度）を求めることができ、原画像中において的確な
最大相関画素を求めることができ、したがって、的確な
エッジ鮮鋭化を行うことができる。

【００５１】また、原画像の対応領域ＲＡが、原画像に
おける注目画素に対応する画素の近傍の領域であるた
め、拡大画像の注目画素と相関度の高い画素のみを対象
として最大相関画素を求めるので、処理時間を短縮でき
る。

【００５２】さらに、最大相関画素の画素の濃度に応じ
て拡大画像データと補正データとの合成比率が異なるも
のとするため、高濃度の画像におけるノイズの強調を防
止できる。

【００５３】＜２．第２の実施の形態＞第２の実施の形
態の画像処理装置１は、第１の実施の形態における図１
に示した装置構成とほぼ同様の装置構成を有している
が、一部の処理部での処理が第１の実施の形態と異なっ
ている。図８はこの発明の第２の実施の形態である画像
処理（エッジ鮮鋭化処理）のフローチャートである。以
下、図８を用いて第２の実施の形態におけるエッジ鮮鋭
化処理について説明する。

【００５４】まず、ステップＳ１１およびＳ１２におけ
る処理工程は第１の実施の形態のステップＳ１およびＳ
２と同様である。

【００５５】つぎに、ＵＳＭ処理部１５において、原画
像からエッジ成分データを抽出する（ステップＳ１
３）。具体的には、公知のＵＳＭアパーチャーを用いて
得られるＵＳＭ信号をエッジ成分データとして抽出す
る。なお、得られたエッジ成分データは後に補正データ
として使用する。

【００５６】つぎのステップＳ１４およびＳ１５はそれ
ぞれ第１の実施の形態のステップＳ３およびＳ４と同様
である。これにより第１の実施の形態と同様にして最大
相関画素が求まる。

【００５７】つぎに、補正データ抽出部１８において、
ステップＳ１３で求めておいた原画像の各画素のエッジ
成分データのうちから、ステップＳ１５で求まった最大
相関画素に対応するデータを補正データとして抽出する
（ステップＳ１６）。第１の実施の形態では補正データ
として最大相関画素の画像データをそのまま補正データ
としていたが、第２の実施の形態では原画像データその
ものを合成するのではなく、そのエッジ成分、すなわち
高周波成分のみを補正データとして拡大画像に合成す
る。これにより原画像の低周波成分を合成しないため、
最大相関画素の画像データをそのまま用いて合成する場
合に比べて、より効果的にエッジを鮮鋭化することがで
きる。

【００５８】つぎに、画像合成部１９において、拡大画
像の注目画素の階調値に抽出した補正データを合成する
（ステップＳ１７）。図９は濃度コントラスト値算出の
際に参照する周辺画素の位置を示す図である。図示のよ
うに、ステップＳ１７では、まず最大相関画素の上下に
位置する画素ｐａとｐｂとの階調値の差分の絶対値、お
よび左右に位置する画素ｐｃとｐｄとの階調値の差分の
絶対値を求め、それらの和を濃度コントラストを表わす
濃度コントラスト値として求める。

【００５９】そして、濃度コントラスト値が所定の閾値
を越えるか否かで合成加算量（エッジ成分データに乗じ
る係数）を異なるものとする。より詳細には、拡大画像
の濃度コントラスト値が所定のコントラスト閾値以下の
場合は、拡大画像の注目画素に対する補正データの合成
加算量を「０」、すなわち、拡大画像の注目画素の画像
データをそのままとしている。逆に、拡大画像の濃度コ
ントラスト値が所定のコントラスト閾値以上では拡大画
像の注目画素に対する補正データの合成加算量を「１」
としている。

【００６０】また、コントラスト閾値の上下で合成加算
量を異ならせている理由は以下の通りである。すなわ
ち、濃度コントラストが小さい平坦な画像でエッジを強
調するとノイズやムラが目立ち易く画質劣化の原因とな
る。また、ＪＰＥＧ圧縮画像を解凍処理した場合にブロ
ック歪みと呼ばれる矩形状の濃度のギャップが現れる画
質劣化が見られる。これらの画質劣化を避けるために
は、濃度コントラストが小さい画像におけるエッジ成分
と捉えられる部分はあまり鮮鋭化しない方がよい。その
ため、上記のように合成加算量を変えているのである。

【００６１】また、エッジを強調しすぎないためには第
１の実施の形態と同様に、拡大画像の注目画素に対する
補正データの合成加算量（加算の際の重み付け）を、濃
度コントラストがコントラスト閾値以上の場合は０．５
とし、コントラスト閾値以下の場合は０．２とするな
ど、両データの重み付けの差を小さくすればよい。この
ように、２種の合成加算量は任意の値とすることができ
る。また、コントラスト閾値も任意の値とすることがで
き、さらには、複数のコントラスト閾値により濃度コン
トラストの範囲を複数設け、各濃度コントラスト範囲で
異なる合成加算量を設定したテーブルを用いたり、濃度
コントラスト値に一対一に対応した合成加算量の関数を
用いたりすることもできる。また、オペレーターが手動
で変化させられるものとしてもよい。ただし、傾向とし
ては濃度コントラスト値が小さい側ではノイズや歪みを
強調しないために補正データの合成加算量を小さくし、
逆に濃度コントラスト値が大きい側ではその逆にしてエ
ッジを強調する方がよい。

【００６２】さらに、この装置では濃度コントラスト値
を濃度閾値と比較する対象を最大相関画素としたが、拡
大画像の注目画素を対象としてもよい。

【００６３】そして、ステップＳ１８で第１の実施の形
態のステップＳ７と同様の判定を行い、第１の実施の形
態と同様にステップＳ１４〜Ｓ１７の処理を拡大画像の
全画素について行うと、第２の実施の形態における画像
処理を終了する。

【００６４】以上説明したように、第２の実施の形態に
よれば、第１の実施の形態と同様に、拡大画像について
高画質を維持しつつエッジの鮮鋭度を改善することがで
きるとともに、的確なエッジ鮮鋭化を行うことができ、
さらに、処理時間を短縮できる。

【００６５】また、補正データが原画像の最大相関画素
のエッジ成分であるため、原画像の低周波成分を合成し
ないことにより、最大相関画素の画像データをそのまま
用いて合成する場合に比べて、より効果的にエッジを鮮
鋭化することができる。

【００６６】また、原画像における最大相関画素近傍の
画素の濃度コントラストに応じて拡大画像データと補正
データとの合成加算量が異なるため、コントラストのな
い平坦な画像の部分で目立つノイズやムラ、およびＪＰ
ＥＧ圧縮画像を解凍した際などに発生する画像歪みなど
が強調されるのを防止できる。

【００６７】＜３．その他の実施の形態＞第１および第
２の実施の形態では拡大画像のエッジを鮮鋭化する画像
処理を行ったが、実際の画像処理としては原画像そのも
のを鮮鋭化したい場合が少なくない。そこで、そのよう
な場合には第１および第２の実施の形態のエッジ鮮鋭化
方法を用いてエッジを鮮鋭化することができる。具体的
には、原画像を縮小処理して縮小画像を得て、その縮小
画像を第１および第２の実施の形態における原画像とみ
なし、また、基になった原画像を逆に第１および第２の
実施の形態における拡大画像とみなし、それら画像につ
いて第１の実施の形態と同様の処理を施すことによって
エッジの鮮鋭化処理を行うというものである。すなわ
ち、縮小画像をこの発明の第１画像とし、原画像をこの
発明の第２画像とするということである。これは、画像
は縮小処理を行うとエッジが鮮鋭化されることを原理的
に用いている。そして、この方法によっても急峻なエッ
ジを有する画像に変換することができる。

【００６８】また、逆に、第１および第２の実施の形態
においては拡大画像のエッジを鮮鋭化する際に原画像を
参照用画像として用いたが、原画像がすでにエッジがボ
ケた画像であった場合には、原画像を縮小処理し、得ら
れた縮小画像を参照用画像として第１および第２の実施
の形態のエッジ鮮鋭化処理を行うこともできる。すなわ
ち、縮小画像をこの発明の第１画像とし、拡大画像をこ
の発明の第２画像とするということである。これも、上
記と同様、画像は縮小処理を行うとエッジが鮮鋭化され
ることを原理的に用いている。これによりエッジを鮮鋭
化することができる。

【００６９】＜４．変形例＞上記第１および第２の実施
の形態において画像処理装置１およびそれによる画像処
理（エッジ鮮鋭化処理）の例を示したが、この発明はこ
れに限られるものではない。

【００７０】たとえば、上記第１および第２の実施の形
態では、原画像における対応領域ＲＡを３×３画素等、
拡大画像の注目画素近傍の画素領域としたが、より大き
な領域、例えば原画像の全画素を対象領域としてもよ
い。

【００７１】また、上記第１の実施の形態では、最大相
関画素のみの濃度を濃度閾値と比較するものとしたが、
その近傍の濃度平均や拡大画像の注目画素またはその近
傍の画素の濃度平均を濃度閾値と比較するものとしても
よい。

【００７２】また、上記第２の実施の形態では、最大相
関画素近傍の画素の濃度コントラスト値をコントラスト
閾値と比較したが、拡大画像の注目画素近傍の画素の濃
度コントラスト値を求めてコントラスト閾値と比較する
ものとしてもよい。

【００７３】さらに、上記各実施の形態においては原画
像および拡大画像の色については言及しなかったが、カ
ラー画像に対しては、各色成分ごとに上記各実施の形態
を実行することによりエッジを鮮鋭化することができ
る。

【００７４】さらに、各画素の色成分の加重平均値から
グレー成分を求め、グレー成分で各画素の画像データの
比較をすることで、色ズレの少いエッジの鮮鋭化処理が
できる。

【００７５】

【発明の効果】以上説明したように、請求項１ないし請
求項７の発明によれば、第１画像に対応した画像内容を
有しかつ第１画像に対して相対的に高倍率の画像である
第２画像中から注目画素を選択し、その注目画素および
その周辺の画像からなる対象画素群を特定する一方、第
１画像から中心画素を選択し、中心画素およびその周辺
の画像からなる比較画素群を特定し、対象画像群と比較
画素群との画像データの相関度を求める。この工程を第
１画像の所定の範囲から中心画素を順次に選択しつつ繰
り返し、それによって複数の相関度を求め、そのうちで
最大の相関度を示す比較画素群に対応した中心画素を最
大相関画素として選択し、第１画像のうちの最大相関画
素の画像データに基づいて補正情報を得て、その補正情
報を第２画像の注目画素の画像データに合成する。そし
て、第２画像中の各画素を個別に注目画素として、これ
ら各工程を繰返し行うため、相対的に低倍率の第１画像
のエッジ画像を第２画像に反映させることができ、した
がって、第２画像について高画質を維持しつつエッジの
鮮鋭度を改善することができる。

【００７６】また、特に請求項２の発明によれば、補正
情報が第１画像の最大相関画素の画像データであるた
め、第１画像は第２画像に対して相対的に低倍率である
ためエッジが急峻であり、そのエッジをそのまま第２画
像に合成するため、急峻なエッジを第２画像にも再現で
き、よりエッジの鮮鋭度を改善できる。

【００７７】また、特に請求項３の発明によれば、補正
情報が第１画像のエッジ成分のうち最大相関画素に対応
するものであるため、原画像の低周波成分を合成しない
ことにより、最大相関画素の画像データをそのまま用い
て合成する場合に比べて、より効果的にエッジを鮮鋭化
することができる。

【００７８】また、特に請求項４の発明によれば、相関
度算出工程が、対象画素群と比較画素群とについて、互
いに対応する画素どうしの階調値の差分の絶対値を、中
心画素からの距離に応じた重み付けで加重加算した値を
もとに相関度を求めるものであるため、注目画素と中心
画素との相関を重視した相関度を求めることができ、原
画像中において的確な最大相関画素を求めることがで
き、したがって的確なエッジ鮮鋭化を行うことができ
る。

【００７９】また、特に請求項５の発明によれば、第１
繰り返し工程においては、第１画像において注目画素に
対応する位置の近傍の画素群から中心画素が順次に選択
されるため、拡大画像の注目画素と相関度の高い部分か
ら最大相関画素を求めるので、処理時間を短縮できる。

【００８０】また、特に請求項６の発明によれば、最大
相関画素の近傍または注目画素の近傍の濃度に応じて、
合成比率が異なるものであるため、高濃度の画像におけ
るノイズの強調を防止できる。

【００８１】さらに、特に請求項７の発明によれば、最
大相関画素付近の濃度コントラスト、または注目画素付
近の濃度コントラストに応じて、合成比率が異なるもの
であるため、コントラストのない平坦な画像の部分で目
立つノイズやムラ、およびＪＰＥＧ圧縮画像を解凍した
際などに発生する画像歪みなどが強調されるのを防止で
きる。

【図面の簡単な説明】

【図１】この発明の画像処理方法を実現する第１の実施
の形態である画像処理装置の機能ブロック図である。

【図２】第１の実施の形態における画像処理の手順を示
すフローチャートである。

【図３】第１の実施の形態における拡大画像の注目画素
および周辺画素ならびに原画像の中心画素群および周辺
画素について説明するための図である。

【図４】不一致指数の算出方法を示す模式図である。

【図５】重み付け係数Ｋiの分布を示す模式図である。

【図６】図１０の原画像を第１の実施の形態における画
像処理方法を用いて３倍に拡大し、エッジ鮮鋭化を行っ
た画像の各画素の階調値を示す図である。

【図７】図６の画像を視覚的に表わした図である。

【図８】この発明の第２の実施の形態である画像処理の
フローチャートである。

【図９】濃度コントラスト値算出の際に参照する周辺画
素の位置を示す図である。

【図１０】５×５画素の原画像における各画素の階調値
を示す図である。

【図１１】図１０の原画像を「バイリニア補間法」を用
いて３倍に拡大した拡大画像の各画素の階調値を示す図
である。

【図１２】図１１の拡大画像を視覚的に表わした図であ
る。

【図１３】図１１および図１２の拡大画像にＵＳＭアパ
ーチャーを用いたエッジ強調処理を行った場合の各画素
の階調値を示す図である。

【図１４】図１３の画像を視覚的に表わした図である。

【符号の説明】 １ 画像処理装置 １４ 画像拡大処理部 １５ 処理部 １６ 階調分布比較部 １７ 高相関画素検出部 １８ 補正データ抽出部 １９ 画像合成部 ＣＡ 比較領域 ＯＡ 対象領域 ＲＡ 対応領域 Ｃ1〜Ｃ9 不一致指数 ｐ１ 注目画素 ｐ２〜ｐ９，ｑ１〜ｑ１４ 画素

フロントページの続き Ｆターム(参考） 5B057 CA08 CA12 CA16 CB08 CB12 CB16 CC03 CD06 CE03 CE08 CH08 CH11 DA08 DA17 DB02 DB09 DC16 DC23 DC34 DC36 5C076 AA13 AA21 AA31 BA06 BB25 5C077 LL19 PP16 PP20 PP23 PP43 PP46 PP47 PP54 PP58 PP65 PP68 PQ08 PQ12 PQ18 PQ19 PQ20 PQ22 RR14 RR19

Claims (7)

【特許請求の範囲】
1. 【請求項１】 第１画像に対応した画像内容を有しかつ
   前記第１画像に対して相対的に高倍率の画像である第２
   画像のエッジを鮮鋭化する画像処理方法であって、 前記第２画像中から注目画素を選択し、当該注目画素お
   よびその周辺の画像からなる対象画素群を特定する工程
   と、 前記第１画像から中心画素を選択し、当該中心画素およ
   びその周辺の画像からなる比較画素群を特定する工程
   と、 前記対象画像群と前記比較画素群との画像データの相関
   度を求める相関度算出工程と、 前記第１画像の所定の範囲から前記中心画素を順次に選
   択しつつ前記相関度算出工程を繰り返し、それによって
   複数の相関度を求める第１繰り返し工程と、 前記複数の相関度のうちで最大の相関度を示す比較画素
   群に対応した中心画素を最大相関画素として選択する選
   択工程と、 前記第１画像のうちの前記最大相関画素の画像データに
   基づいて補正情報を得る補正情報取得工程と、 得られた補正情報を前記第２画像の前記注目画素の画像
   データに合成する合成工程と、 前記第２画像中の各画素を個別に注目画素として、前記
   各工程を繰返し行う第２繰り返し工程と、 を備えることを特徴とする画像処理方法。
2. 【請求項２】 請求項１に記載の画像処理方法であっ
   て、 前記補正情報が、前記第１画像の前記最大相関画素の画
   像データであることを特徴とする画像処理方法。
3. 【請求項３】 請求項１または請求項２に記載の画像処
   理方法であって、 前記補正情報が、前記第１画像のエッジ成分のうち前記
   最大相関画素に対応するものであることを特徴とする画
   像処理方法。
4. 【請求項４】 請求項１ないし請求項３のいずれかに記
   載の画像処理方法であって、 前記相関度算出工程が、 前記対象画素群と前記比較画素群とについて、互いに対
   応する画素どうしの階調値の差分の絶対値を、前記中心
   画素からの距離に応じた重み付けで加重加算した値をも
   とに相関度を求めるものであることを特徴とする画像処
   理方法。
5. 【請求項５】 請求項１ないし請求項４のいずれかに記
   載の画像処理方法であって、 前記第１繰り返し工程において、 前記第１画像において前記注目画素に対応する位置の近
   傍の画素群から前記中心画素が順次に選択されることを
   特徴とする画像処理方法。
6. 【請求項６】 請求項１ないし請求項５のいずれかに記
   載の画像処理方法であって、 前記合成工程において、 前記最大相関画素の近傍または前記注目画素の近傍の濃
   度に応じて、前記合成の合成比率又は合成加算量が異な
   るものであることを特徴とする画像処理方法。
7. 【請求項７】 請求項１ないし請求項５のいずれかに記
   載の画像処理方法であって、 前記合成工程において、 前記最大相関画素付近の濃度コントラスト、または前記
   注目画素付近の濃度コントラストに応じて、前記合成の
   合成比率又は合成加算量が異なるものであることを特徴
   とする画像処理方法。