JP2008167461A - エッジ強調処理装置、出力装置、エッジ強調処理方法およびコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】簡易な手法で画像のシャープさを判定して、自動的に最適なエッジの強調処理を行う。
【解決手段】エッジ強調処理の中枢をなすコンピュータ本体はステップＳ１１０にて隣接する画素間のデータの差分値からベクトル化しつつその変化度合いであるエッジ量を求め、ステップＳ１２０，Ｓ１３０にてエッジ量の大きい画像のみ選択して積算し、平均値を求めることにより、画像の変化度合いの大きい画素に着目して当該画像のシャープ度合いを求めることになり、このようにして求めた画像のシャープ度合いに基づいてエッジ強調度Ｅenhanceを決定して自動的に最適な強調度でエッジ強調処理を実行する。
【選択図】図６

Description

本発明は、エッジ強調処理装置、エッジ強調処理方法およびエッジ強調処理プログラムを記録した媒体に関する。

従来より、写真などの画像データに対してエッジ部分を強調する画像処理ソフトウェアが知られている。これらにおいてはコンピュータに画像データを読み込み、試行錯誤でエッジの強調程度を変えて変換し、変換結果を作業者が画面上で目視して確認し、適当な強調具合となるように調整している。

また、特許文献１には高周波帯域フィルタで画像のエッジ領域の高周波成分を求め、その平均値で画像のシャープさを判断してエッジ強調パラメータを調整している。
特開平６−６８２５２号公報

上述した従来の画像処理装置においては、次のような課題があった。
前者のものでは、作業者の目視による確認が必要であるため、自動的に適当な強調具合を設定することができない。

また、後者のものでは高周波帯域フィルタを使用して高周波成分を得るので、処理が複雑になってしまう。
本発明は、上記課題にかんがみてなされたもので、より簡易な手法で画像のシャープさを判定して自動的に最適なエッジの強調処理を行なうことが可能なエッジ強調処理装置、エッジ強調処理方法およびエッジ強調処理プログラムを記録した媒体の提供を目的とする。

上記目的を達成するため、請求項１にかかる発明は、画像をドットマトリクス状の画素で多階調表現した画像データを取得する画像データ取得手段と、各画素ごとに変化度合いを周囲の画素との輝度の差あるいは輝度の代替値の差をベクトル値として算出し、当該ベクトル値の大きい画素について同ベクトル値を集計する集計処理手段と、この集計処理結果に基づいて画像のシャープ度合いを判定しつつエッジの強調要素を決定するエッジ強調要素決定手段と、この決定された強調要素に基づいて各画素のエッジを強調処理するエッジ強調手段とを具備する構成としてある。

上記のように構成した請求項１にかかる発明においては、画像データ取得手段が画像をドットマトリクス状の画素で多階調表現した画像データを取得すると、集計処理手段は各画素ごとに変化度合いを周囲の画素との輝度の差あるいは輝度の代替値の差をベクトル値として算出し、当該ベクトル値の大きい画素について同ベクトル値を集計する。一方、エッジ強調要素決定手段はこの集計処理結果に基づいて画像のシャープ度合いを判定しつつエッジの強調要素を決定し、エッジ強調手段はこの決定された強調要素に基づいて各画素のエッジを強調処理する。

すなわち、画像がシャープであればさほど強調程度を上げる必要はないという前提のもと、画像のシャープさを各画素の変化度合いから算出するにあたり、周囲の画素との輝度の差あるいは輝度の代替値の差をベクトル値として算出し、そのベクトル値から算出するようにしている。むろん、このように画素単位での画像の変化度合いが求められる前提として画像データがドットマトリクス状の画素からなるものであることが必要である。

一方、写したい対象物を被写体と呼び、それ以外を背景と呼ぶとすると、作業者は被写体だけのシャープさに基づいてエッジ強調を考慮するのであり、背景については殆ど考慮しない。この場合、被写体の方が背景よりもシャープに写っているのが通常であり、上記変化度合いの大きい画素についての集計結果を基礎として決定すると、このような被写体に注目したのと同じ条件で判定されることになる。

集計処理手段は各画素ごとに周囲の画素との輝度の差あるいは輝度の代替値の差をベクトル値として算出する。縦横のドットマトリクス状の画素となっている場合、隣接画素は八つ存在することになるが、評価としては必ずしも全ての画素と比較しなければならないわけではない。例えば、請求項２にかかる発明は、請求項１に記載のエッジ強調処理装置において、上記集計処理手段は、各画素ごとに周囲の画素との輝度の差あるいは輝度の代替値の差をベクトル値として算出するにあたり互いに直線方向の並びにない複数の画素の輝度の差あるいは輝度の代替値の差でベクトル化する構成としてある。

上記のように構成した請求項２にかかる発明においては、直線方向の並びにない複数の画素の輝度の差あるいは輝度の代替値の差をベクトル値として算出することになり、直線方向に並び合う画素が二つずつあるので少なくともベクトル化する際に考慮すべき画素数は半数以下となる。すなわち、画素が互いに隣接する以上、直線方向に並び合うベクトル要素は互いに打ち消し合うことになっているので評価を省略したとしてもさして影響は出ない。

また、集計処理手段は各画素でのベクトル値を画像のシャープさを判定するために集計するが、集計手法は各種のものを採用可能であり、その一例として、請求項３にかかる発明は、請求項１または請求項２のいずれかに記載のエッジ強調処理装置において、上記集計処理手段は、上記ベクトル値が大きいものほど重み付けを上げて集計する構成としてある。
上記のように構成した請求項３にかかる発明においては、上記集計処理手段が変化度合いを集計するにあたり、上記ベクトル値が大きいものほど重み付けを上げている。むろん、変化度合いの小さいものほど重み付けを小さくして集計することも含まれる。そして、いずれの場合においても被写体のようなシャープな部分が大きく考慮された上で画像のシャープ度合いが判定されることになる。

また、集計は統計的な意味での代表値であれば良く、平均値であったり、メジアンであったりするなど、特に限定されるものではない。
また、この例では重み付けを変えることにより実質的に変化度合いが大きい画素について集計するようにしているが、これに限られるものではない。その一例として、請求項４にかかる発明は、請求項１〜請求項３のいずれかに記載のエッジ強調処理装置において、上記集計処理手段は、上記ベクトル値が大きい輪郭画素について集計する構成としてある。

上記のように構成した請求項４にかかる発明においては、上記ベクトル値が大きい輪郭画素について上記集計処理手段が上記変化度合いを集計する。すなわち、輪郭画素以外の画素については考慮せず、輪郭画素だけでの集計を行い、その結果に基づいて当該画像のシャープ度合いを判断することになる。従って、シャープ度の甘い背景などは面積などが大きくても輪郭との判断がなされない限りは画像のシャープ度合いとして考慮されない。

エッジ強調要素は必ずしも強調程度だけに限られるものではなく、強調処理を行う上での各種の制御条件を含むものであり、その一例として、請求項５にかかる発明は、請求項１〜請求項４のいずれかに記載のエッジ強調処理装置において、上記エッジ強調要素決定手段は、上記集計結果に基づいて上記ベクトル値が所定のしきい値以上のものだけを強調処理の対象とするようにする強調画素選別条件を決定する構成としてある。

上記のように構成した請求項５にかかる発明においては、上記ベクトル値が所定のしきい値以上となるものだけを対象として強調処理するように、上記エッジ強調要素決定手段が上記集計結果に基づいて強調画素選別条件を決定する。すなわち、強調程度とは別個に一定のしきい値を越えるような画素だけに強調処理が行われるようにしており、本来エッジでもないようなところに強調処理が施されてしまわないようにしている。

集計結果に基づいてしきい値を設定するにあたり、エッジでもないような画素がエッジ強調されないように同しきい値を設定することになるが、具体的には各種の基準を採用可能である。その一例として、請求項６にかかる発明は、請求項５に記載のエッジ強調処理装置において、上記エッジ強調要素決定手段は、上記ベクトル値の大きい画素が占める割合いに基づいて上記しきい値を決定する構成としてある。

上記のように構成した請求項６にかかる発明においては、強調画素選別条件を決定するにあたり、上記エッジ強調要素決定手段は上記ベクトル値の大きい画素が占める割合いを求め、同割合いに基づいて上記しきい値を決定する。すなわち、画像全体において変化度合いの大きい画素が多ければしきい値を低くして多くの画素が強調処理されるようにするし、画像全体において変化度合いの大きい画素が少なければしきい値を高くしてエッジでない画素が強調処理されにくくなるようにしている。

強調程度を決定するにあたり、上述したようなベクトル値だけに基づく必要はなく、他の要因を考慮することも可能である。その一例として、請求項７にかかる発明は、請求項１〜請求項６のいずれかに記載のエッジ強調処理装置において、上記エッジ強調要素決定手段は、上記画像データの画像の大きさを検知して大きいものほど強調程度を大きくするように強調要素を決定する構成としてある。

上記のように構成した請求項７にかかる発明においては、上記エッジ強調要素決定手段がエッジの強調要素を決定するにあたり、上記画像データの画像の大きさを検知し、大きいものほど強調程度を大きくするようにしている。人が画像などを識別しようとするときには、大きな画像であれば離れて見ることが多いので、等価的に小さい画像と同じ印象を与えるようにするために強調レベルを上げる必要があるからである。
なお、画像が大きくなるにつれてエッジの強調程度を強めていくことにより、画質を向上させうるという意味では、画像のシャープさを各画素のベクトル値から算出しなければならないわけではない。従って、請求項１１にかかる発明は、画像をドットマトリクス状の画素で多階調表現した画像データを取得する画像データ取得手段と、エッジの強調程度を取得するエッジ強調程度取得手段と、上記画像データの画像の大きさを検知して大きいものほど上記強調程度を大きくするように修正するエッジ強調程度修正手段と、この修正された強調程度に基づいて各画素のエッジを強調処理する修正強調程度対応エッジ強調手段とを具備する構成としてある。

上記のように構成した請求項１０にかかる発明においては、エッジ強調程度取得手段にてエッジの強調程度を取得し、この強調程度に基づいて各画素のエッジを強調処理するにあたり、エッジ強調程度修正手段が画像の大きさを検知し、大きいものほど上記強調程度を大きくするように修正する。そして、修正された強調程度に基づいて修正強調程度対応エッジ強調手段が各画素のエッジを強調処理することになる。

一方、エッジ強調手段が実行するエッジ強調処理自体は、決定された強調要素に基づいて行われるものであれば良く、具体的な手法は特に限定されるものではない。その一例として、請求項８にかかる発明は、請求項１〜請求項７のいずれかに記載のエッジ強調処理装置において、上記エッジ強調手段は、複数の異なる大きさのアンシャープマスクを備えており、アンシャープマスクの大きさを変えて異なるエッジ強調程度に対応する構成としてある。

上記のように構成した請求項８にかかる発明においては、複数の異なる大きさのアンシャープマスクを備えているので、異なるエッジ強調程度に対応してアンシャープマスクの大きさを変え、強調処理を施す。アンシャープマスクは大きくなるほど周縁の画素の要素を引き込んで画像をなまらせることになるが、エッジ強調処理ではなまらせた成分を減算することになるのでエッジ強調を増長するように作用する。

画像のシャープさを各画素の変化度合いから算出するにあたり、周囲の画素との輝度の差あるいは輝度の代替値の差をベクトル値として算出する手法は、必ずしも実体のある装置に限られる必要もなく、その一例として、請求項９にかかる発明は、画像をドットマトリクス状の画素で多階調表現した画像データに対してエッジ強調処理を行うエッジ強調処理方法であって、各画素ごとに変化度合いを周囲の画素との輝度の差あるいは輝度の代替値の差をベクトル値として算出し、当該ベクトル値の大きい画素について同ベクトル値を集計する工程と、この集計処理結果に基づいて画像のシャープ度合いを判定しつつエッジの強調要素を決定する工程と、この決定された強調要素に基づいて各画素のエッジを強調処理する工程とを具備する構成としてある。

すなわち、必ずしも実体のある装置に限らず、その方法としても有効であることに相違はない。
ところで、上述したように画像のシャープ度合いを判断してエッジ強調処理を行なうエッジ強調処理装置は単独で存在する場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としては各種の態様を含むものである。また、ハードウェアで実現されたり、ソフトウェアで実現されるなど、適宜、変更可能である。

発明の思想の具現化例としてエッジ強調処理装置を制御するソフトウェアとなる場合には、かかるソフトウェアを記録した記録媒体上においても当然に存在し、利用されるといわざるをえない。
その一例として、請求項１０にかかる発明は、画像をドットマトリクス状の画素で多階調表現した画像データに対してコンピュータにてエッジ強調処理を行うエッジ強調処理プログラムを記録した媒体であって、各画素ごとに変化度合いを周囲の画素との輝度の差あるいは輝度の代替値の差をベクトル値として算出し、当該ベクトル値の大きい画素について同ベクトル値を集計するステップと、この集計処理結果に基づいて画像のシャープ度合いを判定しつつエッジの強調要素を決定するステップと、この決定された強調要素に基づいて各画素のエッジを強調処理するステップとを具備する構成としてある。

むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。その他、供給方法として通信回線を利用して行う場合でも本発明が利用されていることには変わりないし、半導体チップに書き込まれたようなものであっても同様である。

さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものはなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。

以上説明したように本発明は、各画素ごとに周囲の画素との輝度の差あるいは輝度の代替値の差をベクトル値として算出してエッジの強調要素を決定するようにしているため、簡易な構成でエッジの強調処理を自動化することが可能なエッジ強調処理装置を提供することができる。

また、請求項２にかかる発明によれば、各画素毎のベクトルを少ない演算処理で取得することができるようになる。
さらに、請求項３にかかる発明によれば、重み付けを変えることによって各画素の影響度を調整し、最適なエッジ強調要素を決定可能となる。
さらに、請求項４にかかる発明によれば、画像の変化度合いの大きな輪郭部分だけで画像のシャープ度合いを判定するため、背景の大きさなどの影響を受けることなく最適なエッジ強調程度を設定可能となる。

さらに、請求項５にかかる発明によれば、エッジでない部分を強調処理しないようにすることにより、画質を向上させることができる。
さらに、請求項６にかかる発明によれば、画像全体での変化度合いの大きい画素の割合いに基づいてしきい値を設定するため、画像全体でシャープであればしきい値を下げてより多くの画素をエッジ強調処理して画質を向上できるし、画像全体があまりシャープでなければしきい値を上げてエッジ強調処理されにくくすることによりエッジでない画素までエッジ強調されてしまうことを防止できる。

さらに、請求項７や請求項１１にかかる発明によれば、エッジ強調処理の効果の表れやすさに対応する画像の大きさも基準とすることにより、より最適なエッジ強調処理の強調程度を設定することができる。
さらに、請求項８にかかる発明によれば、アンシャープマスクの大きさを変更して比較的容易にエッジ強調程度を調整することができる。
さらに、請求項９にかかる発明によれば、同様の効果を奏することが可能なエッジ強調処理方法を提供することができ、請求項１０にかかる発明によれば、エッジ強調処理プログラムを記録した媒体を提供することができる。

以下、図面にもとづいて本発明の実施形態を説明する。
図１は、本発明の一実施形態にかかるエッジ強調処理装置を適用した画像処理システムをブロック図により示しており、図２は具体的ハードウェア構成例を概略ブロック図により示している。
図１において、画像入力装置１０は写真などをドットマトリクス状の画素として表した画像データを画像処理装置２０へ出力し、同画像処理装置２０は所定の強調度でエッジ強調処理する画像処理を実行する。同画像処理装置２０は同エッジ強調処理した画像データを画像出力装置３０へ出力し、画像出力装置３０はエッジ強調処理された画像をドットマトリクス状の画素で出力する。ここにおいて、画像処理装置２０が出力する画像データはシャープさの鈍い画像のエッジを強調することによりシャープな感じとなるように修正された画像データであり、画像入力装置１０から画像データを取得する画像データ取得手段と、各画素ごとに輝度の階調値に基づくベクトルの変化度合いを算出して集計する集計処理手段と、この集計処理結果に基づいてエッジの強調要素を決定するエッジ強調要素決定手段と、この決定された強調要素に基づいて各画素のエッジを強調処理して画像出力装置３０へ出力するエッジ強調手段とを備えている。

画像入力装置１０の具体例は図２におけるスキャナ１１やデジタルスチルカメラ１２あるいはビデオカメラ１４などが該当し、画像処理装置２０の具体例はコンピュータ２１とハードディスク２２とキーボード２３とＣＤ−ＲＯＭドライブ２４とフロッピーディスクドライブ２５とモデム２６などからなるコンピュータシステムが該当し、画像出力装置３０の具体例はプリンタ３１やディスプレイ３２等が該当する。本実施形態の場合、画像処理としてエッジ強調処理を行うため、画像データとしては写真などの実写データなどが好適である。なお、モデム２６については公衆通信回線に接続され、外部のネットワークに同公衆通信回線を介して接続し、ソフトウェアやデータをダウンロードして導入可能となっている。

本実施形態においては、画像入力装置１０としてのスキャナ１１やデジタルスチルカメラ１２が画像データとしてＲＧＢ（緑、青、赤）の階調データを出力するとともに、画像出力装置３０としてのプリンタ３１は階調データとしてＣＭＹ（シアン、マゼンダ、イエロー）あるいはこれに黒を加えたＣＭＹＫの二値データを入力として必要とするし、ディスプレイ３２はＲＧＢの階調データを入力として必要する。一方、コンピュータ本体２１内ではオペレーティングシステム２１ａが稼働しており、プリンタ３１やディスプレイ３２に対応したプリンタドライバ２１ｂやディスプレイドライバ２１ｃが組み込まれている。また、画像処理アプリケーション２１ｄはオペレーティングシステム２１ａにて処理の実行を制御され、必要に応じてプリンタドライバ２１ｂやディスプレイドライバ２１ｃと連携して所定の画像処理を実行する。従って、画像処理装置２０としてのこのコンピュータ本体２１の具体的役割は、ＲＧＢの階調データを入力して最適な強調度でエッジ強調処理を施したＲＧＢの階調データを作成し、ディスプレイドライバ２１ｃを介してディスプレイ３２に表示させるとともに、プリンタドライバ２１ｂを介してＣＭＹの二値データに変換してプリンタ３１に印刷させることになる。

このように、本実施形態においては、画像の入出力装置の間にコンピュータシステムを組み込んでエッジ強調処理を行うようにしているが、必ずしもかかるコンピュータシステムを必要とするわけではなく、画像データに対してエッジ強調処理を行うシステムであればよい。例えば、図３に示すようにデジタルスチルカメラ１２ａ内にエッジ強調する意味での画像処理装置を組み込み、変換した画像データを用いてディスプレイ３２ａに表示させたりプリンタ３１ａに印字させるようなシステムであっても良い。また、図４に示すように、コンピュータシステムを介することなく画像データを入力して印刷するプリンタ３１ｂにおいては、スキャナ１１ｂやデジタルスチルカメラ１２ｂあるいはモデム２６ｂ等を介して入力される画像データを自動的にエッジ強調するように構成することも可能である。

エッジ強調処理は、具体的には上記コンピュータ本体２１内にて図５に示すフローチャートに対応した画像処理プログラムで行っている。同フローチャートにおいて、ステップＳ１００では画像のシャープ度合いを判定するために各画素のエッジ量を算出して集計し、ステップＳ２００では同集計結果に基づいてエッジ強調要素を決定し、ステップＳ３００では同強調要素に応じてエッジ強調処理を実行する。

まず、ステップＳ１００では画像のシャープ度合いを判定するためにエッジ量を集計することにする。この集計処理のより詳細なフローを図６に示している。
画像データがドットマトリクス状の画素から構成されるものとすると、各画素ごとに上述したＲＧＢの輝度を表す多階調データで表されており、画像のエッジ部分では隣接する画素間での同データの差分は大きくなる。この差分は輝度勾配であり、これをエッジ量と呼ぶことにし、図７に示すようにして画像を構成する各画素について走査しながらエッジ量を集計する。

ステップＳ１１０では各画素でのエッジ量を判定する。図８に示すようなＸＹ直交座標を考察する場合、画像の変化度合いのベクトルはＸ軸方向成分とＹ軸方向成分とをそれぞれ求めれば演算可能となる。ドットマトリクス状の画素からなるディジタル画像においては、図９に示すように縦軸方向と横軸方向に画素が隣接しており、その明るさをｆ（ｘ，ｙ）で表すものとする。この場合、ｆ（ｘ，ｙ）はＲＧＢの各輝度であるＲ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）であったり、あるいは全体の輝度Ｙ（ｘ，ｙ）であってもよい、なお、ＲＧＢの各輝度であるＲ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）と全体の輝度Ｙ（ｘ，ｙ）との関係は、厳密には色変換テーブルなどを参照しなければ変換不能であるが、簡易のために次の（１）式の対応関係を利用することにしている。

Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ …（１）
図９に示すものにおいて、Ｘ方向の差分値ｆｘとＹ方向の差分値ｆｙは、
ｆｘ＝ｆ（ｘ＋１，ｙ）−ｆ（ｘ，ｙ） …（２）
ｆｙ＝ｆ（ｘ，ｙ＋１）−ｆ（ｘ，ｙ） …（３）
のように表される。従って、これらを成分とするベクトルの大きさ｜ｇ（ｘ，ｙ）｜がベクトル値であり、
｜ｇ（ｘ，ｙ）｜＝（ｆｘ**２＋ｆｙ**２）**（１／２）
…（４）
のように表される。むろん、エッジ量はこの｜ｇ（ｘ，ｙ）｜で表される。なお、本来、画素は図１０に示すように縦横に升目状に配置されており、中央の画素に注目すると八つの隣接画素がある。従って、同様にそれぞれの隣接する画素との画像データの差分をベクトルで表し、このベクトルの和を画像の変化度合いと判断しても良い。むろん、比較する画素の数は少ないほど演算量が少ないと言える。また、少なくとも直線方向に並ぶ隣接画素については対象画素が移動していくときに相互に反対に作用することになるので、省略することも有用である。さらに、最も演算量を少なくするには単に横並びの画素間でのみ輝度の差を算出するようにしても良い。以上の演算では、輝度を利用するようにしているが、簡易な演算式を用いることも含めて輝度の代替値であっても実質的に同様と言えることはいうまでもない。

以上のようにして各画素についてエッジ量が求められるとしても、全画素のエッジ量を求めて平均化するだけでは画像のシャープ度合いは求められない。図１１と図１２は飛行中の飛行機の写真を示している。背景の空については画像の変化度合いが大きくないことは容易に分かるが、中央の被写体である飛行機自体が同じ程度のシャープさで写っているとした場合、平均化すれば同じシャープさの飛行機が写っていながら背景を含めて画像の大きな図１２に示すものの方がシャープでないことになる。従って、画像のシャープ度合いという意味では平均化は好適ではない。

このような状況の下、本実施形態においては、全画像のエッジ量を平均化するのではなく、画像の中の輪郭部分がどれくらいシャープであるかを判断すべく、輪郭部分だけのエッジ量を平均化することとした。図１３は全画素についてエッジ量を集計したと仮定した場合のヒストグラムを示しており、しきい値を越えるエッジ量の画素だけが集計対象となることを示している。より具体的には、ステップＳ１２０にてエッジ量をあるしきい値と比較することにより、その画素が輪郭部分であるか否かを判定し、輪郭部分である場合にのみ、ステップＳ１３０にて同エッジ量を積算するとともに、輪郭部分の画素数を加算する。

このような画素毎の判定を全画素について行うため、ステップＳ１４０では図７に示したように処理の対象画素を移動させ、ステップＳ１５０にて全画素についての判定が終了したと判断されるまで繰り返す。
以上のようにしてエッジ量の集計処理を行ったら、ステップＳ２００にてエッジ強調要素決定処理を行う。図１４はこのエッジ強調要素決定処理のより詳細なフローを示している。
先ず、ステップＳ２１０ではエッジ画素の割合を計算する。ステップＳ１３０では輪郭画素数（ｅｄｇｅ＿ｐｉｘｅｌ）を積算しており、全画素数（ｔｏｔａｌ＿ｐｉｘｅｌ）との割合（ｅｄｇｅ＿ｒａｔｅ）を計算する。
ｅｄｇｅ＿ｒａｔｅ＝ｅｄｇｅ＿ｐｉｘｅｌ／ｔｏｔａｌ＿ｐｉｘｅｌ
この割合（ｅｄｇｅ＿ｒａｔｅ）が「１」に近いほどエッジ画素の多い画像であると言える。図１１と図１２に示す画像においては同じシャープさの飛行機が写っている一方、背景の画素数は異なる。背景の画素ではぼけた感じとなっているのは否めないが、敢えてシャープでなければならない理由もない。すなわち、このような背景画素についてはエッジの強調処理は行われない方が好ましいのである。そのようなものとしては青空のグラデーション部分であるとかポートレートの肌色部分などが該当する。

本実施形態においては、上記割合を利用してエッジ強調処理の対象画素とする判定に使用するしきい値ＳＴをステップＳ２２０にて次のようにして求めている。
ＳＴ＝Ｋ／ｅｄｇｅ＿ｒａｔｅ
なお、ここで「Ｋ」は定数である。図１５はエッジ量の分布としきい値ＳＴの対応関係を示している。同図（ａ）では全体的にエッジ量が大きい場合であり、輪郭が素数が多いと判断される結果、しきい値ＳＴ０は小さくなる。また、同図（ｃ）は全体的にエッジ量が小さい場合であり、しきい値ＳＴ２は大きめとなる。なお、同図（ｂ）はその中間の場合のしきい値ＳＴ１を示している。すなわち、シャープな画素が少ない場合にしきい値ＳＴが高めに設定され、エッジでない画素であるか否かを判定する際により多めに判定するように調整でき、これによって肌色部分などのノイズまで強調してしまわないようにすることができる。

次に、ステップＳ２３０では積算されたエッジ量を輪郭部分の画素数で除算することにより、輪郭部分だけのエッジ量を平均化する。すなわち、この画像のシャープ度合いＳＬは、輪郭部分の画素数をＥ（Ｉ）ｐｉｘとすると、

のようにして演算することができる。この場合、ＳＬの値が小さい画像ほどシャープネスの度合いが低い（見た目にぼけた）と判断できるし、ＳＬの値が大きい画像ほどシャープネスの度合いが高い（見た目にはっきりとしたもの）と判断できる。

一方、画像のシャープさは感覚的なものであるため、実験的に得られた最適なシャープ度合いの画像データについて同様にしてシャープ度合いＳＬを求め、その値を理想のシャープ度合いＳＬｏｐｔと設定するとともに、エッジ強調度Ｅenhance は、
Ｅenhance ＝ＫＳ・（ＳＬｏｐｔ−ＳＬ）**（１／２）…（６）
として求める。ここにおいて、係数ＫＳは画像の大きさに基づいて変化するものであり、画像データが図７に示したように、縦横方向にそれぞれｈｅｉｇｈｔドットとｗｉｄｔｈドットからなる場合、
ＫＳ＝ｍｉｎ（ｈｅｉｇｈｔ，ｗｉｄｔｈ）／Ａ …（７）
のようにして求めている。ここにおいて、ｍｉｎ（ｈｅｉｇｈｔ，ｗｉｄｔｈ）はｈｅｉｇｈｔドットとｗｉｄｔｈドットのうちのいずれか小さい方を指し、Ａは定数で「７６８」としている。むろん、これらは実験結果から得られたものであり、適宜変更可能であることはいうまでもない。ただし、基本的には画像が大きいものほど強調度を大きくするということで良好な結果を得られている。

以上のようにしてエッジ強調度Ｅenhance としきい値ＳＴを求めたら、ステップＳ３００にて全画素についてエッジ強調処理を実行する。図１７はこのエッジ強調処理のより詳細なフローを示している。この場合も処理対象画素を決めておき、処理対象画素を図７に示すように全画素について走査して処理を進めていく。
ただし、ステップＳ３１０では上述したしきい値ＳＴと各画素のエッジ量とを比較してエッジ強調処理対象の画素であるか否かを判定し、同しきい値よりも大きい場合にはエッジ強調処理対象の画素であると判定してステップＳ３２０にて各画素毎にエッジ強調処理をする。

ステップＳ３２０はエッジ強調演算であるが、強調前の各画素の輝度Ｙに対して強調後の輝度Ｙ’は、
Ｙ’＝Ｙ＋Ｅenhance ・（Ｙ−Ｙunsharp ） …（８）
として演算される。ここで、Ｙunsharp は各画素の画像データに対してアンシャープマスク処理を施したものであり、ここでアンシャープマスク処理について説明する。図１８〜図２０は三つの大きさの異なるアンシャープマスク４０（４１〜４３）を示している。このアンシャープマスク４０は、中央の「１００」の値をマトリクス状の画像データにおける処理対象画素Ｙ（ｘ，ｙ）の重み付けとし、その周縁画素に対して同マスクの升目における数値に対応した重み付けをして積算するのに利用される。今、図１９に示すアンシャープマスク４２を利用するのであれば、

なる演算式に基づいて積算する。（９）式において、「６３２」とは重み付け係数の合計値であり、むろんサイズの異なる三つのアンシャープマスク４１〜４３においては、それぞれ「３９６」、「６３２」「２５１６」というような値となる。また、Ｍｉｊはアンシャープマスクの升目に記載されている重み係数であり、Ｙ（ｘ，ｙ）は各画素の画像データである。なお、ｉｊについては異なる縦横サイズの三つのアンシャープマスク４１〜４３に対して横列と縦列の座標値で示している。

（８）式に基づいて演算されるエッジ強調演算の意味するところは次のようになる。Ｙunsharp （ｘ，ｙ）は注目画素に対して周縁画素の重み付けを低くして加算したものであるから、いわゆる「なまった（アンシャープ）」画像データとしていることになる。このようにしてなまらせたものはいわゆるローパスフィルタをかけたものと同様の意味あいを持つ。従って、「Ｙ（ｘ，ｙ）−Ｙunsharp（ｘ，ｙ）」とは本来の全成分から低周波成分を引いたことになってハイパスフィルタをかけたものと同様の意味あいを持つ。そして、ハイパスフィルタを通過したこの高周波成分に対してエッジ強調度Ｅenhance を乗算して「Ｙ（ｘ，ｙ）」に加えれば同エッジ強調度Ｅenhance に比例して高周波成分を増したことになり、エッジが強調される結果となる。

一方、エッジの強調度合いは、アンシャープマスクの大きさによっても変化する。縦横の升目数の異なる三つのアンシャープマスク４１〜４３であれば、大きなマスクほど注目画素の近隣の画素に対する重み付けが大きく、遠くの画素にいたるまでの距離の中で徐々に重み付けが減っていっている。これは言い換えればよりローパスフィルタとしての性格が強くなり、（８）式に従って高周波成分を生成しやすくなるからである。

従って、エッジ強調度Ｅenhance が大きければ大きなサイズのアンシャープマスク４３を利用すればよいし、エッジ強調度Ｅenhance が小さければ小さなサイズのアンシャープマスク４１を利用すればよいし、中間的な画素数であれば中間サイズのアンシャープマスク４２を利用すればよくなる。
アンシャープマスク４０は図からも明らかなように、中央部にて最も重み付けが大きく、周縁に向かうにつれて徐々に重み付けの数値が小さくなっている。この変化具合は必ずしも固定的なものではなく、適宜変更可能である。むろん、その名称の如何も問わないし、サイズについても例示的なものにすぎず、「６×６」の升目数であっても良いし、「８×８」の升目数であっても良い。

ただし、（９）式の演算は、処理対象画素の周囲の画素に対して、採用するアンシャープマスク４０の升目数だけ乗算演算と加算演算が必要になり、処理量としては多大になるから、これを低減する。適当なサイズのアンシャープマスク４０を選択した場合に必ずしも全ての升目についての演算が必要ともいえない。図１９に示す「７×７」のアンシャープマスク４２において最外周の升目の重み付けは「０」あるいは「１」であり、「０」については重み付けの乗算が無意味であるし、「１」の重み付けは升目の全合計値の「６３２」と比較すれば非常にわずかな重みしか持たないといえる。

このような状況から本実施形態においては、「７×７」のアンシャープマスク４２の全升目について演算するのではなく、二重線に囲まれた内側の「５×５」のアンシャープマスク４４を使用する。このアンシャープマスク４４は「７×７」のアンシャープマスク４２の最外周を省略するものであり、同様のことは図２０に示す「１３×１３」のアンシャープマスク４３の最外周を省略するものとしてもよい。「７×７」のアンシャープマスク４２の場合は、処理対象画素の回りに「４８（＝７×７−１）」個の画素があり、これだけの乗算と加算が必要である。しかしながら、実質的に同じ演算結果となる「５×５」のアンシャープマスク４４においては「２４（＝５×５−１）」回の演算となり、演算量は半減する。「１３×１３」のアンシャープマスク４３の場合は「１６８（＝１３×１３−１）」回から「１２０（＝１１×１１−１）」回へと減少する。

この他、エッジ強調が必要になる状況を考えるといわゆる画像のエッジ部分であるから、隣接する画素同士の間で画像データが大きく異なる場所に限られる。このような状況から隣接する画素との間で画像データの差が大きな場合に演算するようにしてもよい。このようにすれば、殆どのエッジ部分でない画像データ部分でアンシャープマスクの演算を行う必要がなくなり、処理が激減する。
ところで、これまでは理解の簡易のために各画素の輝度と呼んで説明したが、実際には各画素はＲＧＢの階調データを有しており、輝度Ｙは（１）式に示すように、ＲＧＢの階調データの単純な重み付け加算で変換している。

強調後の輝度Ｙ’と強調前の輝度Ｙから、
ｄｅｌｔａ＝Ｙ−Ｙ’ …（１０）
と置き換えれば、変換後のＲ’Ｇ’Ｂ’は、
Ｒ’＝Ｒ＋ｄｅｌｔａ
Ｇ’＝Ｇ＋ｄｅｌｔａ
Ｂ’＝Ｂ＋ｄｅｌｔａ …（１１）
のように演算可能となる。このようにすれば乗算と加算は１／３となるので、全体の処理時間としても５０〜７０％程度の減少が可能となる。また、変換結果は色ノイズの強調がなくなり、画質が向上した。なお、輝度Ｙを求めるときに必ずしも（１）式のように厳格な重み付けを行う必要もない。例えば、（１２）式のように単純な平均値でもさほど大きな誤差は出ない。

Ｙ＝（Ｒ＋Ｇ＋Ｂ）／３ …（１２）
さらに簡易にするならば、（１）式において最も輝度Ｙに対する貢献値の大きいＧ成分だけで輝度Ｙとみなしてしまっても必ずしも大きな誤差は出ない。
以上のように、ステップＳ１１０〜Ｓ１５０の部分は画像のシャープ度合いを判定するためにエッジ量を集計するので集計処理手段を構成するし、ステップＳ２１０〜Ｓ２５０ではエッジ強調処理の強調程度や強調処理対象となる画素を判定するためのしきい値を設定するのでエッジ強調要素決定手段を構成するし、ステップＳ３１０〜Ｓ３４０ではエッジ強調処理対象の画素についてエッジ強調演算をするのでエッジ強調処理手段を構成することになる。むろん、エッジ強調処理を行う上で前提となる画像データを取得するハードウェア及びソフトウェア上の処理が画像データ取得手段を構成する。

一方、これまでは輪郭画素か否かでエッジ量を集計するか否かを決定していたが、これはエッジ量の高い画素に着目している一例に過ぎず、いわゆる重み付けの手法でエッジ量の高い画素に着目して画像全体のシャープ度合いを判断することも可能である。上述した例ではステップＳ１２０にて輪郭画素であると判断された場合にのみステップＳ１３０にてエッジ量とが素数を集計しているが、図２１に示すようにエッジ量が大きいものほど重み付けを大きくして全画素について集計するようにしても良い。このように重み付けして積算された画素数でエッジ量を除算すれば、エッジ量の低い画素は着目度を低く、エッジ量の高い画素には着目度を高くした結果が得られる。

むろん、この場合における具体的な重み付けの手法などは適宜変更可能であるし、このようにしてエッジ量の高い画素に着目しつつも、輪郭画素か否かの判定を行って輪郭画素数を別個に集計するようにしても構わない。
次に、上記構成からなる本実施形態の動作を順を追って説明する。
写真画像をスキャナ１１で読み込み、プリンタ３１にて印刷する場合を想定する。すると、まず、コンピュータ本体２１にてオペレーティングシステム２１ａが稼働しているもとで、画像処理アプリケーション２１ｄを起動させ、スキャナ１１に対して写真の読み取りを開始させる。
読み取られた画像データが同オペレーティングシステム２１ａを介してアプリケーション２１ｄに取り込まれたら、処理対象画素を設定してから、ステップＳ１１０にて（２）式〜（４）式に基づいてエッジ量を判定し、ステップＳ１２０では同エッジ量に基づいて当該処理対象画素が輪郭部分であるか否かを判定する。そして、輪郭部分である場合にのみそのエッジ量を積算するとともに輪郭部分の画素数を加算する。

以上の処理をステップＳ１４０にて処理対象画素を移動させながらステップＳ１５０にて全画素について実行したと判断されるまで繰り返す。そして、全画素について実行し終えたら、ステップｓ２１０では輪郭画素の割合を算出してステップＳ２２０でエッジ強調処理対象の判定に使用するしきい値を計算するし、ステップＳ２３０では積算されたエッジ量と画素数から輪郭画素についてのエッジ量の平均値を演算し、ステップＳ２４０では画像データに基づく画像の大きさに基づいて（６）式と（７）式とからエッジ強調度Ｅenhance を演算する。

次に、ステップＳ３１０〜Ｓ３４０の間で画像データの各画素について先程と同様に処理対象画素を移動させながら各画像データについて実際のエッジ強調処理を実行する。この場合、上述したようにエッジ強調度Ｅenhance に応じてアンシャープマスク４１〜４３を選択してもよい。また、各種の演算減量手法に基づいて演算を省略すれば処理速度が向上する。
この後、エッジ強調された画像データをディスプレイドライバ２１ｃを介してディスプレイ３２に表示し、良好であればプリンタドライバ２１ｂを介してプリンタ３１にて印刷させる。すなわち、同プリンタドライバ２１ｂはエッジ強調されたＲＧＢの階調データを入力し、所定の解像度変換を経てプリンタ３１の印字ヘッド領域に対応したラスタライズを行なうとともに、ラスタライズデータをＲＧＢからＣＭＹＫへ色変換し、その後でＣＭＹＫの階調データから二値データへ変換してプリンタ３１へ出力する。

以上の処理により、スキャナ１１を介して読み込まれた写真の画像データは自動的に最適なエッジ強調を施されてディスプレイ３２に表示された後、プリンタ３１にて印刷される。
このように、エッジ強調処理の中枢をなすコンピュータ本体２１はステップＳ１１０にて隣接する画素間のデータの差分値からベクトル化しつつその変化度合いであるエッジ量を求め、ステップＳ１２０，Ｓ１３０にてエッジ量の大きい画像のみ選択して積算し、ステップＳ２３０にて平均値を求めることにより、画像の変化度合いの大きい画素に着目して当該画像のシャープ度合いを求めることになり、このようにして求めた画像のシャープ度合いに基づいてエッジ強調度Ｅenhance を決定して自動的に最適な強調度でエッジ強調処理を実行する。

本発明の一実施形態にかかるエッジ強調処理装置を適用した画像処理システムのブロック図である。 同エッジ強調処理装置の具体的ハードウェアのブロック図である。 本発明のエッジ強調処理装置の他の適用例を示す概略ブロック図である。 本発明のエッジ強調処理装置の他の適用例を示す概略ブロック図である。 本発明のエッジ強調処理装置におけるメインルーチンのフローチャートである。 画像のエッジ量集計処理のフローチャートである。 画像データの大きさと処理対象画素を移動させていく状態を示す図である。 画像の変化度合いを直交座標の各成分値で表す場合の説明図である。 画像の変化度合いを縦軸方向と横軸方向の隣接画素における差分値で求める場合の説明図である。 隣接する全画素間で画像の変化度合いを求める場合の説明図である。 背景が少ない場合の画像データの一例を示す図である。 背景が多い場合の画像データの一例を示す図である。 輪郭画素として集計対象となる画素を示す図である。 エッジ強調要素判定処理のフローチャートである。 エッジ量の分布としきい値の対応関係を示す図である。 画像の大きさと適用度との対応関係を示す図である。 エッジ強調処理のフローチャートである。 最小サイズのアンシャープマスクを示す図である。 中サイズのアンシャープマスクを示す図である。 最大サイズのアンシャープマスクを示す図である。 エッジ量に重み付けして積算する際のエッジ量と重み付けの対応関係を示す図である。

符号の説明

１０…画像入力装置
２０…画像処理装置
２１…コンピュータ
２１ａ…オペレーティングシステム
２１ｂ…プリンタドライバ
２１ｃ…ディスプレイドライバ
２１ｄ…画像処理アプリケーション
２２…ハードディスク
２３…キーボード
２４…ＣＤ−ＲＯＭドライブ
２５…フロッピーディスクドライブ
２６…モデム
３０…画像出力装置
４０…アンシャープマスク
４１〜４４…アンシャープマスク

Claims (11)

1. 画像をドットマトリクス状の画素で多階調表現した画像データを取得する画像データ取得手段と、
   各画素ごとに変化度合いを周囲の画素との輝度の差あるいは輝度の代替値の差をベクトル値として算出し、当該ベクトル値の大きい画素について同ベクトル値を集計する集計処理手段と、
   この集計処理結果に基づいて画像のシャープ度合いを判定しつつエッジの強調要素を決定するエッジ強調要素決定手段と、
   この決定された強調要素に基づいて各画素のエッジを強調処理するエッジ強調手段とを具備することを特徴とするエッジ強調処理装置。
2. 上記請求項１に記載のエッジ強調処理装置において、上記集計処理手段は、各画素ごとに周囲の画素との輝度の差あるいは輝度の代替値の差をベクトル値として算出するにあたり互いに直線方向の並びにない複数の画素の輝度の差あるいは輝度の代替値の差でベクトル化することを特徴とするエッジ強調処理装置。
3. 上記請求項１または請求項２のいずれかに記載のエッジ強調処理装置において、上記集計処理手段は、上記ベクトル値が大きいものほど重み付けを上げて集計することを特徴とするエッジ強調処理装置。
4. 上記請求項１〜請求項３のいずれかに記載のエッジ強調処理装置において、上記集計処理手段は、上記ベクトル値が大きい輪郭画素について集計することを特徴とするエッジ強調処理装置。
5. 上記請求項１〜請求項４のいずれかに記載のエッジ強調処理装置において、上記エッジ強調要素決定手段は、上記集計結果に基づいて上記ベクトル値が所定のしきい値以上のものだけを強調処理の対象とするようにする強調画素選別条件を決定することを特徴とするエッジ強調処理装置。
6. 上記請求項１〜請求項５のいずれかに記載のエッジ強調処理装置において、上記エッジ強調要素決定手段は、上記ベクトル値の大きい画素が占める割合いに基づいて上記しきい値を決定することを特徴とするエッジ強調処理装置。
7. 上記請求項１〜請求項６のいずれかに記載のエッジ強調処理装置において、上記エッジ強調要素決定手段は、上記画像データの画像の大きさを検知して大きいものほど強調程度を大きくするように強調要素を決定することを特徴とするエッジ強調処理装置。
8. 上記請求項１〜請求項７のいずれかに記載のエッジ強調処理装置において、上記エッジ強調手段は、複数の異なる大きさのアンシャープマスクを備えており、アンシャープマスクの大きさを変えて異なるエッジ強調程度に対応することを特徴とするエッジ強調処理装置。
9. 画像をドットマトリクス状の画素で多階調表現した画像データに対してエッジ強調処理を行うエッジ強調処理方法であって、各画素ごとに変化度合いを周囲の画素との輝度の差あるいは輝度の代替値の差をベクトル値として算出し、当該ベクトル値の大きい画素について同ベクトル値を集計する工程と、この集計処理結果に基づいて画像のシャープ度合いを判定しつつエッジの強調要素を決定する工程と、この決定された強調要素に基づいて各画素のエッジを強調処理する工程とを具備することを特徴とするエッジ強調処理方法。
10. 画像をドットマトリクス状の画素で多階調表現した画像データに対してコンピュータにてエッジ強調処理を行うエッジ強調処理プログラムを記録した媒体であって、各画素ごとに変化度合いを周囲の画素との輝度の差あるいは輝度の代替値の差をベクトル値として算出し、当該ベクトル値の大きい画素について同ベクトル値を集計するステップと、この集計処理結果に基づいて画像のシャープ度合いを判定しつつエッジの強調要素を決定するステップと、この決定された強調要素に基づいて各画素のエッジを強調処理するステップとを具備することを特徴とするエッジ強調処理プログラムを記録した媒体。
11. 画像をドットマトリクス状の画素で多階調表現した画像データを取得する画像データ取得手段と、
    エッジの強調程度を取得するエッジ強調程度取得手段と、
    上記画像データの画像の大きさを検知して大きいものほど上記強調程度を大きくするように修正するエッジ強調程度修正手段と、
    この修正された強調程度に基づいて各画素のエッジを強調処理する修正強調程度対応エッジ強調手段とを具備することを特徴とするエッジ強調処理装置。

Images