JP2007527567A - 領域エッジのシャープネス補正を伴う画像シャープニング - Google Patents

Abstract

品質を改善するためのシステム及び方法を説明する。この方法はエッジマップ（７０５）を用いて、画素がエッジにどの位近いか又はエッジの強度の少なくとも一方を基にして、拘束をかけたコンボリューション（７１２）により色をスムージングする。

Description

関連出願

本願は、Mikheev，Domingo，Sukegawa，Kawasakiの７月２日付米国特許出願番号第６０／４８３，９００号、発明の名称「Image Sharpening with Region Edge Sharpness Correction」、及びMikheev，Domingo，Sukegawa，Kawasakiの２００３年７月２日付米国特許出願第６０／４８３，９２５号、発明の名称「Image Sharpening with Region Edge Sharpness Correction」に基づく優先権を主張する。これら両出願の内容は、その全体が本願に明確に組み込まれている。

本発明の側面は画像の処理に関する。より詳細に言えば、本発明の側面は、領域エッジシャープネス、その認知された幾何学的形状及び領域エッジコントラストの少なくとも１つを補正する画像シャープニング法に関する。更に、これらの画像シャープニング法は、シャープニングすべき画像が従来のスケーリング法を用いて以前に拡大されていた画像であるような用途に適している。

デジタルイメージ処理は、消費者がフィルムに基づいたカメラをデジタルのものに置き換えるに従って、ますます普及してきている。また、美術家はより伝統的な手による描画や線描によるものよりむしろ、デジタルキャンバスを用いて画面上の作品を創作している。デジタル画像を得るための普及している別の方法は、既存の美術作品をスキャニングしてデジタル表現又はデジタル形式にすることによるものである。デジタル媒体によって、できることにフレキシビリティが得られつつ、画像の解像度（解像度は本願明細書においてデジタル画像の画素の合計数を言うものとする）により制限され、かつこれは一般に画像を生成するのに使用されていた媒体の品質（例えば、使用されるデジタルカメラやスキャナの解像度）に関連づけられる。最も一般的なグラフィカルツールによって、デジタル画像のコントラスト又はブライトネスのような認知された品質を改善しようとするフィルタの組が提供される。デジタル画像の認知された品質を改善するための別の周知の方法は、シャープニングフィルタである。このようなフィルタは、ぼやけた画像のシャープネスを改善するために使用される。画像の解像度を増す別の方法には、新しい画素を生成することにより、より大きなサイズに画像をスケーリングすることによるものがある。

多分、シャープニングフィルタの最も一般的な使い方は、拡大された画像のポストプロセシングフィルタとしてのものである。画像拡大処理は一般に、ユーザが認知した情報の量を維持しようとしつつ、既存の情報から新しい情報を作り出す何らかの人為的な方法に関わるものである。画像を拡大するための一般的な方法には、各画素を多数の同一の画素で置き換えることが含まれる。例えば、倍率が４の場合、各画素を１６個の画素で置き換える。別のより高度な拡大方法が可能であり、通常は隣接する画素の色情報を処理して新しいものを作り出すことに関わる。これらの方法は一般に補間法と呼ばれており、その最も普及しているものがバイリニア即ち双一次及びバイキュービック即ち双三次補間法である。

補間アルゴリズムの１つの問題は、特に領域エッジの周囲にぼやけが見える画像を生成する傾向があることであり、それは、隣接する画素の組みを混ぜ合わせる傾向があるからである。シャープニングフィルタは一般的に使用される解決策である。最も一般的な画像処理ツールにおいて見ることができる「アンシャープマスク」と呼ばれるような高度なシャープニング方法は、画像の全体的なぼやけを改善し、かつ所定のエッジの周囲のコントラストを増す傾向があるのに対し、エッジジオメトリを改善したり、元の画像に現れるギザギザ即ちジャギーを効果的に取り除くことはない。従って、ぼやけやジャギーを生じたエッジを有する画像に良好に働く画像シャープニングの新しい方法が必要である。

本発明の側面は、上述した１つ又は複数の問題を目的とし、それにより改善された画像シャープニング方法を提供し、それにより、より良い結果画像を作成することにある。本発明の側面は、画像のエッジを決定することである。次に、好適な実施例として、従来得られたエッジ情報を用いて、画像の色の透過性重みマップ及び信頼性重みマップを作ることができる。最後に、エッジ境界に関する制約されたコンボリューションを実行し、結果画像を作成する。本発明のこれらの側面及び他の側面を以下に詳細に記載する。

本発明の側面は、ぼやけ及びジャギーを有する画像のシャープニングに関する。以下の説明は、読みやすくするために複数の部分、即ち画像シャープニングの概説、画像シャープニング処理、各実施例の詳細な説明、用語、エッジ拘束コンボリューション、コンボリューション、基底重み、スムージングによるエッジ検出、透過性重み計算、信頼性マップの生成、透過性及び信頼性との積、及び追加処理に分割されている。

画像シャープニングの概説
ぼやけたりジャギーを生じたエッジを有する画像は、シャープニングフィルタを用いることにより強調することができる。高度なシャープニングアルゴリズムは、画像のぼやけの一部分を取り除くが、画像のギザギザ即ちジャギーを取り除くことはない。これは特に、シャープニングフィルタが、バイキュービック即ち双三次又はバイリニア即ち双一次のような補間法に基づく標準的な画像スケーリングアルゴリズムを用いて先に拡大されている画像について適用する場合に明らかである。図１Ａは、バイリニア補間法で８００％に拡大された線の画像を示している。この線はぼやけているだけでなく、明らかにギザギザのエッジを含んでいる。図１Ｂは、この問題を解決する一般的な方法を示しており、アンシャープマスクフィルタを適用して画像のシャープネスを改善している。画像全体のシャープネスが改善されかつぼやけが部分的に取り除かれているが、エッジは依然としてギザギザになっている。図１Ｃは、画像のぼやけだけでなく、ジャギーを生じたエッジも取り除くシャープネスアルゴリズムの結果の一例を示している。図１Ｃは、図１Ａの画像から本発明の１つ又は複数の側面に従って生成したものである。

本発明の少なくともいくつかの側面は、画像のぼやけを取り除くと共に、ジャギーを生じたエッジを補正することにより、画像全体のシャープネスを強化しようとするものである。本発明の側面は、エッジ検出、信頼性マップ及び透過性重み、並びにエッジ検出からの領域エッジ拘束に基づくコンボリューションの様々な組み合わせを用いて、これを達成することができる。

ぼやけ、ピクセレーション／又はジャギーを生じたエッジを維持しかつ補正する画像シャープネスは、本発明の１つ又は複数の側面を用いて達成することができる。以下は、４つの主な点をまとめたものである。本発明の側面は、以下の点の全部を用いなくても実行できることがわかる。

Ｉ．画像のエッジマップを作成して、該画像のどの領域においていくつかの画素の色を復帰させる必要があるかを決定する。更に、スムージングプロセスをエッジマップの作成前に適用する場合には、前記画像がピクセレーションを有しかつ／又はジャギーを生じたエッジを有する場合でさえ、非常に精細でスムーズなエッジを得ることができる。図２は、ピクセレーションを有するエッジから得られたスムーズなエッジを示している。

II．エッジにぼやけやジャギーを生じた画像の品質を改善するためには、各画素の色が、画像のエッジ情報に関するその位置により決定される所定の重みに関して重み付けされる場合に周囲の画素の色を組み合わせることによりぼやけた画素を再生成できるように、エッジ領域（エッジ又はエッジの付近）になる画素にコンボリューションを適用することができる。図４Ａ及び図４Ｂは、エッジ付近のぼやけた領域における画素の例、及びコンボリューションをどのように適用してその画素の色をそれに隣接する画素にエッジ情報を用いることにより再生するかを示している。

III．エッジ情報の或る実施例では、参照画素の色の再構成画素の色への影響（例えば、コンボリューションにおいて）を決定する場合に、その決定には、前記参照画素が画像の領域エッジの前記再構成画素の反対側に位置するかどうかが含まれる。これは、色が境界で大きく変化するという特徴をエッジが有するからである。この情報をコンボリューションを用いる場合、ぼやけノイズを抑制することができる。

IV．エッジ情報の或る実施例では、画像の領域エッジの参照画素の色の確実性を決定する場合に、その画素のエッジまでの距離が、ジャギーノイズを有する参照色情報の境界の位置がスムージングしたエッジ情報の位置に対応しないことから、別の要素である。エッジ線と同じ側にある参照画素でさえ、エッジに近い場合には、異なる色を有する可能性が高い。参照画素の色の信頼性が低くなると、画像の領域エッジにより近くなる。別言すれば、参照画素の色の正確さの信頼性は、最も近い領域エッジまでの距離の単調に減少する関数である。この情報をコンボリューションに用いた場合、ぼやけ及びジャギーノイズを抑制することができる。

画像シャープニングプロセス
図２は、画像２０１が非常にジャギー及びピクセレーションを生じたエッジ２０３を有する場合の実施例を示している。スムージングプロセスを適用して、前記画像へのピクセレーションノイズを取り除くことができる。次に、一般的なエッジ検出プロセスを適用することができる。図２は、本明細書中に記載する１つ又は複数のプロセスに従うことによって得ることができるスムーズな結果エッジ２０２を示している。

図４Ａ及び図４Ｂは、コンボリューションをどのように適用して、エッジに隣接するぼやけた領域の画素の色を再構成できるかを示している。ここで、図４Ａのエッジ領域４０２に隣接する画像４０１の画素Ａは、周囲の開口４０３からの画素の色値を用いて、図４Ｂに示すように画素Ａの結果色を決定する。

図５は、３つの画素Ａ、Ｂ、Ｃを有する画像５０１を示している。再構成する画素Ａが開口５０２の中心に位置し、画素Ａと参照色を有する画素Ｂとの間にエッジ５０３（直線）が存在する。画素Ａと同じエッジ側にある領域５０４は、高い透過性を有する（画素を画素Ａから遮断するエッジが無い）ということができる。しかしながら、エッジ５０３の画素Ａとは反対側にある領域５０５は、透過性が低いと言うことができる。同様に、透過性の重みは、画素Ａを中心とする開口内の各画素について定義することができる。その場合、画素Ｃの透過性重みは大きくなるのに対し、画素Ｂの透過性重みは低くなる。従って、画素Ａにコンボリューションを適用するとき、画素Ｂの重みは低く、かつその色は、画素Ａについて再生される新しい色への影響が低いことになる。他方、画素Ｃの色は重みが大きく、かつその色は画素Ａの新しい色により大きな影響を与えることになる。

図６Ａは、ジャギーを生じたエッジ６０２と理想的に先鋭な下側のエッジ６０３とを有する画像６０１を示している。同図からわかるように、エッジに近いいくつかの画素は、ギザギザのエッジがエッジ６０３を繰り返し横切っているので、間違った色を有する。従って、ギザギザのエッジ６０２に近い画素の参照色は、実際には高い精度をもって決定することができない。図６Ｂは、再生成する画素Ａを中心とする開口６０４がある画像を示している。参照画素Ｂはエッジに近い領域内にあり、かつ従ってその参照色は高い精度で決定することができない。この場合、その画素Ｂの色は信頼性が低い。他方、参照画素Ｃはエッジ６０３から十分に遠い領域内にあり、かつ従ってその参照色は高い信頼性をもって受け入れることができる。画素Ａにコンボリューションを適用してその色を再構成する場合、参照画素Ｂは、（画素Ｂは信頼性の重みが低くなることから）画素Ａの新しい色に与える影響を、（高い信頼性重みを有することになる）参照画素Ｃよりも少なくすべきである。

図７は、本発明の側面に従って領域エッジを維持しつつ画像をシャープニングするための方法を示している。元画像７０１を処理する。まず、ステップ７０２でエッジマップを作成する。サブステップ７０３及び７０４がステップ７０２内に示されている。スムージングフィルタをステップ７０３で適用する。次に、ステップ７０４で、エッジ検出７０４を実行し、その結果エッジマップ７０５を得る。

次に、拘束されたマスクの生成をステップ７０６で実行する。まず、ステップ７０７で信頼性マップを生成し、その結果信頼性マップ７０８を得る。また、エッジマップ７０５を用いて、ステップ７１０で各画素の透過性のレベルを決定する。透過性決定７１０は、拘束されたマスクの設定７１１において信頼性マップ７０８及びコンボリューションの基底重み７０９と組み合わされる。コンボリューションの基底重みは（以下に記載するように）、所定の画素からの距離に基づく画素に適用される重みである。コンボリューションの基底重みによって、より近い画素は所定の画素の色により大きな影響を与え、より遠い画素は画素の色に与える影響が少ない。

最後に、拘束されたマスクの設定７１１を最初の元画像７０１と組み合わせて、拘束されたコンボリューション７１２での色を引用し、結果画像７１３を生成する。このシステムは、ステップ７１０まで繰り返し戻って、全画素についてコンボリューションを決定する。

各実施例の詳細な説明
用語
エッジ領域：所定のエッジ検出プロセスを用いた後に特定の画像から抽出したエッジ。特に、非常に薄くかつスムーズなエッジを得るエッジ検出プロセスが有用である。これを実行する１つの方法は、エッジ検出アルゴリズムが適用される前にスムージングプロセスを適用することによるものである。図３Ａは、画像のエッジ領域の実施例を示している。図３Ｂ及び図３Ｄは、ぼやけたギザギザのエッジを有する画像と、スムージング及びエッジ検出プロセスを適用した後に得られる結果エッジ領域（ライン画素がエッジ領域内にあるのに対し、黒い画素はそうでない）を示している。

ブロック領域：この領域は、エッジから所定の距離内にある画素の組として定義される。エッジからの距離は、エッジの「影響半径」と称する。ブロック領域内の画素は、以下に記載する拘束されたコンボリューションにより改善される画素である。一般に、「影響半径」は、エッジからジャギーを生じた全ての画素がブロック領域内に含まれるように十分大きく選択すべきである。図３Ａは、画像のブロック領域の実施例を示している。図３Ｅは、画像のエッジ領域及びその対応するブロック領域を示している。

フリー領域：この領域は、エッジ領域及びブロック領域のいずれにも無い全ての画素を含む。図３Ａは、図３Ｅ（フリー領域の画素は画像内でグレーである）と同様にフリー領域の実施例を示している。フリー領域内の画素には拘束されたコンボリューションが適用されていないが、それはこれらの画素が補正を必要としないからである。

画像データ：画像Ｉの寸法をｎ，ｍとする。前記画像の各画素は、０≦ｘ＜ｎ及び０≦ｙ＜ｍとした場合に、ｐ_ｘ，ｙ＝（ｘ，ｙ）で示される（ｐはｐ_ｘ，ｙの省略形である）。

画像の開口：画像Ｉ及び画素

としたとき、半径Ｒの円形開口

は、中心の画素ｐ_０（ＡはＡ_ｐ０，Ｒの省略形である）から最大Ｒのユークリッド距離にある画素の組である。

エッジマップ：特定の画像Ｉについて、エッジマップＥ_σは、前記画像の各画素の重みの組を有する。パラメータσは、ジャギー及び／又はピクセレーションノイズを取り除くスムージングのレベル（ガウスフィルタの標準偏差）を示す。特定の画素ｐ∈Ｉについて、そのエッジマップＥ_σの重みはｅ_σ（ｐ）で表される。（ＥはＥ_σの省略形であり、かつｅ（ｐ）はｅ_σ（ｐ）の省略形である。）

エッジ拘束コンボリューション
エッジ拘束コンボリューションは、どの新しい色値を各画素に適用すべきかを決定する。

エッジ拘束コンボリューションは、元画像におけるエッジ強度情報の検出及び検出したエッジ情報に基づくコンボリューションの各過程を含んでいる。

ｗ_Ｅがエッジ情報を作るとき、コンボリューションは、

で表され、ここでｐ_０は元の又は／及び結果の画像における座標（ｘ_０，ｙ_０）の画素を表す。

は結果画像の目的画素ｐ_０の色値を示し、

は元画像の周囲の画素ｐ_０の画素ｐ_ｉ，ｊの色値を表し、Ｒはコンボリューションマスクの半径を表し、ｐ_ｉ，ｊはコンボリューションマスク内の座標（ｘ_０＋ｉ，ｙ_０＋ｊ），

を有する画素を表し、ｗ_Ｅ（ｐ_ｉ，ｊ）は画像の重みエッジ情報を表し、ｗ_Ｒ（ｐ_ｉ，ｊ）はコンボリューションにおける元画像の画素の基底重みを表し、

はｗ_Ｒ（ｐ_ｉ，ｊ）及びｗ_Ｅ（ｐ_ｉ，ｊ）のノルムを表す。

エッジ拘束コンボリューションは、ブロック領域内の画素についてのみ適用することができる。画素がフリー領域に属する場合には、拘束コンボリューションを、考慮されている画素までの距離が増加するにつれて重みが減少する画素の色を平均化する通常のコンボリューションに置き換えることができる。

コンボリューションの基底の重み
コンボリューションに基づいた重みについては、多くの選択をすることができる。使用可能な関数の１つは、あらゆる

について次のように定義される基底線形重みｗ_Ｒ（ｐ）である。

図１０Ａ及び図１０Ｂは、上述したように定義されるコンボリューションに基づいた重みの幾何学的解釈を示している。

コンボリューション基底重みについて使用可能な別の関数は、あらゆる

について次のように定義される基底の双線形重みｗ_Ｒ（ｐ）である。

コンボリューション基底重みについて使用可能な更に別の関数は、あらゆる

について次のように定義される基底の半球形重みｗ_Ｒ（ｐ）である。

コンボリューション基底重みについて使用可能な更に別の関数は、あらゆる

について次のように定義される基底ガウス重みｗ_Ｒ（ｐ）である。

コンボリューション基底重みについて使用可能な別の関数は、あらゆる

について次のように定義される基底ジンク重みｗ_Ｒ（ｐ）である。

コンボリューション基底重みについて使用可能な別の関数は、あらゆる

について次のように定義される基底双三次重みｗ_Ｒ（ｐ）である。

これらの方法のいずれかを単独又は組合せて用いて、コンボリューション基底重みを決定し得ることが分かる。

スムージングを伴うエッジ検出
様々なエッジ検出方法を用いることができる。しかしながら、最高の品質を達成するためには、ぼやけた又はギザギザのエッジを有する画像についてスムージングプロセスを適用すべきである。スムージングは一般にエッジ検出の前に行われるが、その後に実行することもできる。エッジは、そのプロセスを適用した結果として、きちんとした連続的なものとなる。スムージングマスクのサイズは、ピクセレーションのレベルを考慮して決定すべきである。特に、スムージングマスクはジャギーを有するエッジ内に存在する全画素に届くようにすべきである。様々なスムージングプロセスが同業者において知られている。

スムージングを実行した後、エッジ検出プロセスを行う。このプロセスは、スムージングプロセスにより生成された画像を入力として取り入れ、かつ画像の重み付けしたエッジマップを生成する。重み付けしたエッジマップは、入力画像の各画素について０と１との間の重みを含んでおり、１に最も近い場合にはエッジがより強くなり、０は画素がエッジでもそれに近くもないことを意味している。エッジ強度情報を最初に探す。次に、エッジ強度情報から稜線を抽出する。このエッジ線情報はエッジマップと呼ばれる。このステップは、中でも公知のキャニーエッジ検出のようなあらゆるエッジ検出アルゴリズムを用いて実行することができる。

図３Ｂは、エッジがぼやけかつジャギーを生じた画像を示している。図３Ｄは、スムージングステップ及びエッジ検出プロセスを適用した後に生成したエッジマップを示している。

透過性重みの計算
拘束されたコンボリューションを用いて画素の色を復活させる際に、一般に計算されている画素の色からエッジの反対側にある画素の色を考慮に入れることは避けるべきである。従って、その色が計算されている画素からエッジの反対側にある画素には低い重みが与えられるべきである。この考え方は、透過性重みの定義で表現される。拘束されたコンボリューションにおける画素の値の処理は、透過性レベルの重み、即ちそれらがエッジの同じ側又は反対側にあるかどうかということに基づいている。

エッジ情報の或る実施例では、透過性重みτ（ｐ_ｉ，ｊ）が、

で表され、ここでｐ_０が（ｘ_０，ｙ_０）を中心とするコンボリューションにより再生成される画素を表し、ｐ_ｉ，ｊがその重みを計算している座標（ｘ_０＋ｉ，ｙ_０＋ｊ）の画素を表し

が画素ｐ_０から画素ｐ_ｉ，ｊまでの直線上に位置する全ての画素を表し、ｅ（ｐ）が画素ｐにおけるエッジ強度を表し、ｆ（）がその値を０と１との間としかつあらゆる２つのｐ_０及びｐ_ｉ，ｊについて連続的でｐに関して単調に増加する関数を表す。

透過性のレベルは、画素の領域エッジまでの距離、画素の開口の中心までの距離、又はこれらに類似するものを含む別の要素を基にすることができる。

最大エッジ強度を有する画素において最大値を有する、矩形関数として表される透過性重みの関数の一例として、前記重みは、

として表すことができ、ここで

は画素ｐ_０から画素ｐ_ｉ，ｊまでの直線上に位置するすべての画素を表し、ｅ（ｐ）は画素ｐにおける０と１との間のエッジ強度を表し、ｐ_ｅ⊆ｐは最大エッジ強度を有する画素を表し、かつその０と１とのエッジ強度をｅ（ｐ_ｅ）で表し、

が画素ｐ_０とｐ_ｉ，ｊとの間の計量距離を表し、

が画素ｐ_０と画素ｐ_ｅとの間の計量距離を表し、かつＲがコンボリューションマスクの半径を表す。

図８Ａ及び図８Ｂは、本発明の側面による上記色の幾何学的解釈を示している。画像８０１において、エッジ８０２の画素ｐ_０に近い側には、開口８０３内の画素が１の透過性を有する。反対側では、透過性がエッジ強度（ここでは１−ｅ（ｐ_ｅ）である）により決定される。これが図８Ｂに図示されている。これは、より一般的な形体で交互に１−ｅ（ｐ_ｍｋ）又は１−ｅ（ｐ_ｎｋ）と表すことができる。

別の実施例では、透過性のレベルを、閾値より大きいエッジ強度を有する最も直近の画素に変位点を有する矩形関数に関連させることができる。この重みは、

として表すことができる。この式において、

は、コンボリューションにより再生成される各中心画素ｐ_０からその重みが画像に与えられる画素ｐ_ｉ，ｊまでの閾値より大きいエッジ強度を有する最も直近の画素を表し、ｅ（ｐ_ｅ）が画素ｐ_ｅにおける０と１との間からなるエッジ強度を表し、

が画素ｐ_０から画素ｐ_ｉ，ｊまでの距離を表し、

が画素ｐ_０から画素ｐ_ｅまでの距離を表し、かつＲがコンボリューションマスクの半径を表す。

別の実施例では、透過性のレベルを、画素の領域エッジまでの距離、画素の開口の中心までの距離、又はこれに類似するものを含む別の要素を基にすることができる。この重みは、

で表すことができる。ここで、

は（ｘ，ｙ）の座標でコンボリューションにより再生成される画素ｐ_０から重みを与える画素ｐ_ｉ，ｊまでの距離を表し、

は各画素ｐ_０から、ｐ_０からの閾値よりも大きいエッジ強度を有する直近の画素である画素ｐ_ｅ、又は画素ｐ_０からｐ_ｉ，ｊまでの直線上の最大エッジ強度を有する画素ｐ_ｅまでの距離を表し、かつＲはコンボリューションマスクの半径を表す。

図１８は、上述したように定義される透過性重みの幾何学的解釈を示している。この方法は、図８Ｂのそれよりも簡単な方法を提供する。透過性重みは、閾値よりも大きいエッジ強度又は最大エッジ強度を有する直近の画素を基にすることができる。

更に別の実施例では、透過性のレベルを、領域エッジまでの画素の距離、開口の中止までの画素の距離、又はこれらに類似するものを含む他の要素を基にすることができる。複数のエッジ線については、それを超えて重みが徐々に減少する場合に、重みを

として表すことができる。

図１９は、上述したように定義される透過性重みの幾何学的解釈を示している。図１９は、２つのエッジがある場合の実施例を示している。当然ながら半径Ｒ内に３つ以上のエッジが存在する場合がある。そのような場合には、上記式が異なるエッジ強度を扱い、かつ透過性を低下させる。

更に、これらの透過性重みは単独又は組み合わせて用いることができる。

信頼性マップの生成
生成されたエッジマップを用いて、画像内の有効な色を表す画素の確率を表す信頼性マップを構成することができる。色の変動は、特にピクセレーション、ぼやけ及びジャギーを生じたエッジを有する画像について、色のエッジ近傍で非常に強い。従って、画素の信頼性は一般に、領域エッジに近付くほど減少する。

このため、それらの画素について信頼性の無い色情報が、シャープニングプロセスを適用する際に新しい色の画素の計算に大きく影響する場合がある。このピクセレーションノイズにより影響される虞がある領域を低信頼性領域と言う。低信頼性領域の範囲は、所謂信頼性半径により決定される。コンボリューションを適用して画素の色を再構成する際には、低信頼性領域内の画素に低い重みを与えるべきである。

エッジ情報の或る実施例では、信頼性重みυ（ｐ_ｉ，ｊ）が

で表され、ここで、ｐ_ｉ，ｊが重みを計算している座標（ｘ_０＋ｉ，ｙ_０＋ｊ）の画素を表し、ｐ（ｒ_ｃ）が前記画像の画素ｐ_ｉ，ｊから距離ｒ_ｃにあるエッジ強度ｅ（ｐ（ｒ_ｃ））が０でない画素を表し、かつｆ’（）が、０と１の間の値を有し、特定の画素ｐ_ｉ，ｊについて連続的でｅ（ｐ（ｒ_ｃ））が単調に増加する関数を表す。

上記式は、どのように元画像の各画素の信頼性を計算するかを示している。信頼性重みの計算及び従って信頼性マップの作成が、後で行われて各画素の新しい色を作るコンボリューションから独立していることに気付くことが重要である。

信頼性重みの関数の実施例が、線形関数を用いて定義され、かつその重みが

で表され、ここで、

がその重みを計算している座標（ｘ_０＋ｉ，ｙ_０＋ｊ）における画素から０と１との間の０でない重み強度ｅ（ｐ（ｒ_ｃ））を有する画素ｐ（ｒ_ｃ）までの距離を表し、かつＲ_ｃがエッジの影響の半径を表す。

図９Ａ及び図９Ｂは、上述した信頼性重みの式の幾何学的解釈を示している。図９Ａにおいて各画素Ｐ_ｉ，ｊについて、その信頼性重みがそのエッジ（画素ｐ_ｅにより定義される）までの接近度により決定される。図９Ｂでは、画素の色の信頼性が、それに隣接する領域エッジの強度に反比例している。エッジが無い（エッジ強度＝０）の場合、前記システムは画素の色値に高い信頼性を有する。強いエッジ（エッジ強度＝１）の場合、信頼性は０に低下する。

信頼性重みυ（ｐ_ｉ，ｊ）は、様々な式を用いることによって係数を変更することができる。信頼性の一般的な式は次のように定義される。

Ｆ_ｃ（ｐ）の信頼性係数は、単調に減少する。その場合、各部分に見て様々な多項式関数で示すことができる。いくつかの実施例が、式要素が列挙される関数Ｆ_ｃ（ｐ）、ｆ_ｃ（ｐ）及びｐ＝（ｉ，ｊ）に続く。

信頼性重みの関数の別の実施例では、エッジ強度の増幅が示される。エッジ強度の増幅は、エッジが弱い場合及び／又は画素の色の混合が起こるべきでないところで起こっている場合に用いることができる。エッジ強度の増幅は、エッジに隣接する画素の他の画素への影響を防止するようにエッジの強度を強くする。信頼性重みの基本的な式では、ｅ（ｐ_ｅ）が簡単な用途として係数αにより増幅される。しかしながら、この関数の値は、α×ｅ（ｐ_ｅ）が１を超える場合に０にされる。この重みは、

で表すことができる。図１４Ａは、点ｐ_ｅにおいて係数αを使用するエッジ強度増幅の幾何学的解釈を示している。

拘束されたコンボリューションの効果は、エッジに近すぎるこの重みを低くすることによって強調することができる。これは、図１３に示す様々な関数さえ適用することができる。図１３は、上述したように定義される信頼性重みの関数の幾何学的解釈を示している。

信頼性重みの関数の別の実施例では、バイリニア即ち双一次を使用することができる。バイリニアの利点は、図１４Ａに示すように複雑な関数よりも計算が速いことである。バイリニア関数は、

で表すことができる。図１４Ｂは、上述したように定義される信頼性重みの関数の幾何学的解釈を示している。

信頼性重みの関数の別の実施例では、簡単な形での信頼性重みを用いることができる。この場合、前記関数は、

で表すことができる。例えば、このβは一定の［０，１］又は１−ｅ（ｐ_ｅ）である。

出力がその結果において幾分厄介になることに注意すべきである。図１５は、上述したように定義される信頼性重みの関数の幾何学的解釈を示している。

信頼性重みの関数の別の実施例では、半球関数を用いることができる。

図１６は、上述したように定義される信頼性重みの関数の幾何学的解釈を示している。

信頼性重みの関数の別の実施例では、上位関数の軸の上の平行移動を用いることができる。現在まで、全ての信頼性関数がｅ（ｐ_ｅ）に比例して低下したにも拘わらず、ｅ（ｐ_ｅ）に対応して上部及び下部においても平行に移動することが効果的である。別言すれば、これは次のように定義される。

ここで、ｇ（ｐ_ｉ，ｊ）は線形、バイリニア、半球形又はそれ以外である。

図１７Ａ及び図１７Ｂは、上述したように定義される信頼性重みの関数の幾何学的解釈を示している。

別の実施例では、エッジの重みが、

で表すことができる。ここで、

は、（ｘ＋ｉ，ｙ＋ｊ）の座標において重みが与えられる画素ｐ_ｉ，ｊから閾値よりも大きいエッジ強度を有する直近のエッジ画素ｐ（ｒ_ｃ）までの距離を表し、かつＲ_ｃはエッジの影響の半径を表す。

更に別の実施例では、エッジの重みが、

で表すことができる。ここで、

は、（ｘ＋ｉ，ｙ＋ｊ）の座標において重みが与えられる画素ｐ_ｉ，ｊからエッジ画素ｐ（ｒ_ｃ）までの距離を表し、ｅ（ｐ（ｒ_ｃ））は、画素ｐ（ｒ_ｃ）における０と１との間からなるエッジ強度を示し、Ｒ_ｃはエッジの影響の半径を示す。

更に、これらの信頼性重みは単独で又は組み合わせて用いることができる。

透過性と信頼性との積
エッジ情報の別の用途は、２つの関数の積である。前者は、エッジ情報を用いて、その色が計算されている画素からエッジの反対側にある画素に低い重みを与える重みエッジ情報関数を計算することを特定している。後者は、エッジ情報を用いて、エッジに近い画素に低い重みを与え、かつあらゆるエッジから遠い位置にある画素に高い重みを与える重みエッジ情報関数を計算すべきであることを特定している。

このステップでは、元画像、信頼性係数マップ及び透過性係数を入力として取り入れ、全ての入力パラメータを組み合わせてエッジシャープネス画像を作り出す各画素へのコンボリューションを実行する。

上記定義を前提として、元画像の各画素ｐ_０について、ConstrainedMask_Aを開口Ａ_ｐ０，Ｒ及びＰ_ｉ，ｊ∈Ａに対応するものとして定義する。

従って、新しい色及び拘束されたコンボリューションは次のように定義することができる。

画素ｐ_０について新しい色が一旦決定されると、このプロセスを画像内の他の画素について繰り返すことができる。

追加プロセス
上記プロセスを用いて、画像を先鋭化しかつギザギザのエッジを減らすことができる。以下に上述したものと共に又はそれに変えて使用することができる追加のプロセスを示す。

元画像は、図７における画像７０１として示されるように用いることができる。別の実施例では、図１１に示すように、アップサンプリングプロセス１１０１を図１１に示すように用いることができる。アップサンプリングプロセス１１０１は、拡大プロセスについて用いる場合に効果的である。これは、元の画像のエッジの品質をこのようにして維持する。

別の方法では、アップサンプリングをエッジ情報及び色情報の処理毎に別個に実行することができる。ここでは、品質をより改善することができる。

図１２は、更に別の方法を示している。別々にしたアップサンプリングプロセスに従う方法では、アップサンプリングプロセス１１０１及びスムージングプロセス７０３が参照色情報により共有される。アップサンプリング及びスムージングで処理される画像に関し、色情報はその形が良好であるにもかかわらず変えることができる。従って、元の色に戻すプロセスをそれ以上に実行することができる。自然色の画像を２５６色のインデックスカラーのような限定された色の組に従って変更する変換のようなものである。拡大されかつスムージングされた画像の各画素の色は、全ての元の画像が有する色で変更される。元の色に回復することによって、新しい色がアップサンプルした画像に導入されることが防止される。様々な元の色への回復プロセス１２０１を用いることができる。例えば、元の画素から様々な方向（放射状又は基本方位）に色を検討して、画素を他の画素に見られる元の色の１つに制限することができる。各画素について色のヒストグラム及びそれに類似するものを作成しかつ引用することを含む別の方法を用いることができる。

或る別の方法では、信頼性マップを前もって作らない。むしろ、エッジ拘束コンボリューションにおいて信頼係数を次々に準備する。

本明細書に記載される様々な関数の作業の大部分は、エッジに沿って行われる。この場合、ギザギザのエッジは、エッジ線から所定の距離の範囲の位置にある画素の色に影響を与える。これが、エッジ拘束コンボリューションの半径及び信頼性関数の半径が加えられる距離である。エッジ線から一定の距離を超えた元画像の部分がフリー領域と呼ばれる。エッジ拘束コンボリューションは、この距離を超えてスムージングフィルタとなる。エッジからこの距離を一旦超えると、エッジ拘束コンボリューションを実行する別のアルゴリズムを抑制して、処理時間を節約することができる。別の実施例では、コンボリューションの半径を縮めて処理を最小にすることができる。

更に別の方法では、信頼性マップを図２０に示すような信頼性マップ２００２で置き換えることができる。この場合、信頼性係数マップ２００２（エッジ強度反転マップとも称する）をエッジ強度反転マッピングプロセス２００１により作成する。信頼性係数の生成に変えてエッジ強度反転マップを用いた場合には、プロセスの高速化を実現することができる。これは、エッジ強度反転マップがエッジ検出ステップ７０４から決定されるからである。別の効果は、結果画像７１３がより自然になることである。

これらの様々な信頼性係数の生成を同時に全ての色に適用することができ、又は各色に別個に適用する（例えば、ＲＧＢ系における各コンポーネントに別個に適用し、又はコンポーネントビデオストリームの輝度率に適用する）ことができる。

図２１Ａ〜図２１Ｂは、通常の信頼性マップ及びエッジ強度反転マップの様々な実施例を示している。図２１Ａは通常の信頼性マップを示している。図２１Ｂは、エッジ検出ステップ７０４に基づいて色の変化を決定することにより作成されるエッジ強度反転マップを示している。

図２２Ａは元画像を示している。図２２Ｂはエッジ強度マップを示している。図２２Ｃはエッジ強度反転マップを示している。図２２Ａにおいて変化する色の強い領域は、図２２Ｂにおいて参照色の信頼性が低い領域となる。

図２３は、本発明の側面による様々な位置における画像処理の実施例を示している。元画像が画像２３０１として示されている。元画像のグレースケールバージョンが２３０２として示されている。スムージングしたバージョンが２３０３として示されている。エッジ強度マップから得られた画像が画像２３０４として示されている。エッジ（又はライン）マップ２３０５が次に示されている。これらの結果が信頼性重みマップ２３０６となる。信頼性重みマップ２３０６は、エッジ拘束コンボリューションステップ２３１０において透過性重み２３０７及び基底重み２３０８並びにおそらくは色参照情報２３０９と組み合わされる。その結果が、エッジのギザギザが少なくかつより生きた色を有する画像２３１１である。

本発明の側面について上述した。別の方法を用いて同じ結果を達成することができる。本発明の技術的範囲は請求項に記載されるとおりである。

Ａ図はぼやけ及びジャギーを生じた元画像を示し、Ｂ図は従来のシャープニングの結果画像を示し、Ｃ図は本発明の側面によるフィルタリング後の画像を示している。 ピクセレーション及びジャギーを持ったエッジ及びスムージング後の実施例を示す図である。 Ａ〜Ｅ図は、本発明の側面による画像のエッジ領域、ブロック領域及びフリー領域の実施例を示す図である。 Ａ図及びＢ図は、本発明の側面に従ってエッジ拘束コンボリューションを遮断された画素に適用した実施例を示す図である。 本発明の側面による透過性の重み概念を説明する図である。 Ａ図及びＢ図は、本発明の側面に従って画素のエッジに関する相対的な位置による様々な影響の実施例を示す図である。 本発明の側面によるシャープネスアルゴリズムのフロー図である。 Ａ図及びＢ図は、本発明の側面による透過性の重み計算を示す図である。 Ａ図及びＢ図は、本発明の側面による信頼性の重み計算を示す図である。 Ａ図及びＢ図は、本発明の側面によるコンボリューションの基底重み関数を示す図である。 本発明の側面に従って画像をシャープニングする別の方法を示す図である。 本発明の側面に従って画像をシャープニングする別の方法を示す図である。 本発明の側面に従って画像をシャープニングする別の方法を示す図である。 本発明の側面に従って画像をシャープニングする別の方法を示す図である。 本発明の側面に従って画像をシャープニングする別の方法を示す図である。 本発明の側面に従って画像をシャープニングする別の方法を示す図である。 本発明の側面に従って画像をシャープニングする別の方法を示す図である。 本発明の側面に従って画像をシャープニングする別の方法を示す図である。 本発明の側面に従って画像をシャープニングする別の方法を示す図である。 本発明の側面に従ってエッジ強度反転マップを用いる任意の手法を示す図である。 本発明の側面に従ってエッジ強度反転マップを用いる任意の手法を示す図である。 Ａ図乃至Ｃ図は本発明の側面に従ってエッジ強度反転マップを用いる任意の手法を示す図である。 代表的な画像に関する本発明のある側面を示すフロー図である。

Claims (41)

1. エッジ情報を用いたコンボリューションの過程からなる画像の処理方法。
2. 前記コンボリューションが、
   

   

   で表され、ここでｐ_ｘ，ｙが画像の座標（ｘ，ｙ）の画素を表し、
   

   

   が前記画素ｐ_ｘ，ｙにおける結果画像の色を表し、Ｒがコンボリューションマスクの半径を表し、ｐ_ｉ，ｊが前記マスクの座標
   

   

   の画素を表し、
   

   

   がｐ_{ｘ＋ｉ，ｙ＋ｊ}の画素の元画像の色を表し、ｗ_Ｒ（ｐ_ｉ，ｊ）が前記コンボリューションの各参照色の重みを表し、
   

   

   がエッジ情報の重みを表し、かつ
   

   

   がｗ_Ｒ（ｐ_ｉ，ｊ）及び
   

   

   のノルムを表す請求項１に記載の方法。
3. 前記エッジ情報が、その色を計算中である前記画素からエッジの反対側にある各画素に低い重みを与える請求項１に記載の方法。
4. 前記エッジ情報が、
   

   

   で表され、ここで、ｐ_ｘ，ｙが座標（_ｘ，ｙ）のコンボリューションにより再生成される画素を表し、ｐ_{ｘ＋ｉ，ｙ＋ｊ}が座標（_{ｘ＋ｉ，ｙ＋ｊ}）の重みを与える画素を表し、
   

   

   が画素ｐ_ｘ，ｙから画素ｐ_{ｘ＋ｉ，ｙ＋ｊ}までの線のセグメント上の全画素を表し、ｅ（ｐ）が画素ｐにおけるエッジ強度を表し、かつｆ（）が中心画素ｐ_ｘ，ｙから画素ｐ_{ｘ＋ｉ，ｙ＋ｊ}までの単調に増加する距離とｅ（ｐ）を関連させる関数を表し、かつ前記関数が０と１との間の値に帰する請求項１に記載の方法。
5. 前記エッジ情報の前記重みが、最大エッジ強度を有する画素にノットを有する矩形関数であり、かつ前記重みが
   

   

   で表され、ここで、
   

   

   が画素ｐ_０から画素ｐ_ｉ，ｊまでの直線上に位置するあらゆる画素を表し、ｅ（ｐ）が画素ｐにおける０と１間のエッジ強度を表し、
   

   

   が最大エッジ強度を有する画素を表し、かつその０と１との間のエッジ強度をｅ（ｐ_ｅ）が表し、
   

   

   が画素ｐ_０と画素ｐ_ｉ，ｊとの間の計量距離を表し、
   

   

   が画素ｐ_０と画素ｐ_ｅとの間の計量距離を表し、かつＲが前記コンボリューションマスクの半径を表す請求項１に記載の方法。
6. 前記エッジ情報が、周囲のエッジ画素に近い各画素に低い重みを与える請求１に記載の方法。
7. 前記エッジ情報が、
   

   

   で表され、ここで、ｐ_{ｘ＋ｉ，ｙ＋ｊ}が座標（ｘ＋ｉ，ｙ＋ｊ）の重みを与える画素を表し、ｐ（ｒ_ｃ）が画像の画素ｐ_{ｘ＋ｉ，ｙ＋ｊ}からの距離ｒ_ｃであるエッジ画素を表し、ｅ（ｐ（ｒ_ｃ））が画素ｐ（ｒ_ｃ）における０と１との間のエッジ強度を表し、ｆ’（）がｅ（ｐ（ｒ_ｃ））を単調に増加する距離ｒ_ｃに関連させる関数を表し、かつ前記関数が０と１との間に帰する請求項１に記載の方法。
8. 前記エッジ情報の前記重みが、影響を与えるエッジ画素からの距離である線形関数であり、前記重みが、
   

   

   で表され、
   

   

   が座標（ｘ＋ｉ，ｙ＋ｊ）において重みを与える画素ｐ_{ｘ＋ｉ，ｙ＋ｊ}からエッジ画素ｐ（ｒ_ｃ）までの距離を表し、ｅ（ｐ（ｒ_ｃ））が画素ｐ（ｒ_ｃ）における０と１との間のエッジ強度を表し、かつＲ_ｃがエッジの影響の半径を表す請求項１に記載の方法。
9. 前記エッジ情報が、その色を計算中である前記画素からエッジの反対側にある各画素に低い重みを与え、かつ周囲のエッジ画素に近い各画素に低い重みを与える請求項１に記載の方法。
10. 前記エッジ情報が、
    

    

    で表され、ここで、ｐ_ｘ，ｙが座標（ｘ，ｙ）のコンボリューションにより再生成される画素を表し、ｐ_{ｘ＋ｉ，ｙ＋ｊ}が座標（ｘ，ｙ）の重みが与えられる画素であり、
    

    

    が線ｐ_ｘ，ｙ乃至ｐ_{ｘ＋ｉ，ｙ＋ｊ}のセグメント上の全画素であり、ｅ（ｐ）が画素ｐにおける０と１との間のエッジ強度を表し、ｐ_ｒが画像の画素ｐ_{ｘ＋ｉ，ｙ＋ｊ}から画素ｐ_ｒまでの距離ｒであるエッジ画素を表し、ｆ（）が中心画素ｐ_ｘ，ｙから画素ｐまでの単調に増加する距離にｅ（ｐ）を関連させる関数を表し、かつ前記関数が０と１との間に帰すると共に、ｆ’（）がｅ（ｐ_ｒ）を単調に増加する距離ｒに関連させる関数であり、かつ該関数が０と１との間の値を有する請求項９に記載の方法。
11. エッジ情報の検出の前にスムージング過程に更に有する請求項１に記載の方法。
12. エッジ情報の検出の前にスムージング過程を更に有する請求項９に記載の方法。
13. 画像のスケーリングに使用する請求項１に記載の方法。
14. 画像のスケーリングに使用する請求項９に記載の方法。
15. 前記エッジ情報が、それが反映される前にある増幅レベルで増幅される請求項１乃至８、１１、１３のいずれかに記載の方法。
16. 前記エッジ情報が、それが反映される前にある増幅レベルで増幅される請求項９、１０、１２、１４のいずれかに記載の方法。
17. 周囲のエッジ画素に近い各画素に低い重みを与える前記エッジ情報が、前記コンボリューションの前にマップデータとして準備される請求項１に記載の方法。
18. エッジ情報を用いたコンボリューションの過程からなり、画像を処理するためのコンピュータ実行可能なプログラムを記憶させた読み取り可能な媒体。
19. 前記コンボリューションが、
    

    

    で表され、ここでｐ_ｘ，ｙが画像の座標（ｘ，ｙ）の画素を表し、
    

    

    が前記画素ｐ_ｘ，ｙにおける結果画像の色を表し、Ｒがコンボリューションマスクの半径を表し、ｐ_ｉ，ｊが前記マスクの座標
    

    

    の画素を表し、
    

    

    がｐ_{ｘ＋ｉ，ｙ＋ｊ}の画素の元画像の色を表し、ｗ_Ｒ（ｐ_ｉ，ｊ）が前記コンボリューションの各参照色の重みを表し、
    

    

    がエッジ情報の重みを表し、かつ
    

    

    がｗ_Ｒ（ｐ_ｉ，ｊ）及び
    

    

    のノルムを表す請求項１８に記載のコンピュータ読み取り可能な媒体。
20. 前記エッジ情報が、その色を計算中である前記画素からエッジの反対側にある各画素に低い重みを与える請求項１８に記載のコンピュータ読み取り可能な媒体。
21. 前記エッジ情報が、
    

    

    で表され、ここで、ｐ_ｘ，ｙが座標（_ｘ，ｙ）のコンボリューションにより再生成される画素を表し、ｐ_{ｘ＋ｉ，ｙ＋ｊ}が座標（_{ｘ＋ｉ，ｙ＋ｊ}）の重みを与える画素を表し、
    

    

    が画素ｐ_ｘ，ｙから画素ｐ_{ｘ＋ｉ，ｙ＋ｊ}までの線のセグメント上の全画素を表し、ｅ（ｐ）が画素ｐにおけるエッジ強度を表し、かつｆ（）が中心画素ｐ_ｘ，ｙから画素ｐ_{ｘ＋ｉ，ｙ＋ｊ}までの単調に増加する距離とｅ（ｐ）を関連させる関数を表し、かつ前記関数が０と１との間の値に帰する請求項１８に記載のコンピュータ読み取り可能な媒体。
22. 前記エッジ情報の前記重みが、最大エッジ強度を有する画素にノットを有する矩形関数であり、かつ前記重みが
    

    

    で表され、ここで、
    

    

    が画素ｐ_０から画素ｐ_ｉ，ｊまでの直線上に位置するあらゆる画素を表し、ｅ（ｐ）が画素ｐにおける０と１間のエッジ強度を表し、
    

    

    が最大エッジ強度を有する画素を表し、かつその０と１との間のエッジ強度をｅ（ｐ_ｅ）が表し、
    

    

    が画素ｐ_０と画素ｐ_ｉ，ｊとの間の計量距離を表し、
    

    

    が画素ｐ_０と画素ｐ_ｅとの間の計量距離を表し、かつＲが前記コンボリューションマスクの半径を表す請求項１８に記載のコンピュータ読み取り可能な媒体。
23. 前記エッジ情報が周囲のエッジ画素に近い各画素に低い重みを与える請求項１８に記載のコンピュータ読み取り可能な媒体。
24. 前記エッジ情報が、
    

    

    で表され、ここで、ｐ_{ｘ＋ｉ，ｙ＋ｊ}が座標（ｘ＋ｉ，ｙ＋ｊ）の重みを与える画素を表し、ｐ（ｒ_ｃ）が画像の画素ｐ_{ｘ＋ｉ，ｙ＋ｊ}からの距離ｒ_ｃであるエッジ画素を表し、ｅ（ｐ（ｒ_ｃ））が画素ｐ（ｒ_ｃ）における０と１との間のエッジ強度を表し、ｆ’（）がｅ（ｐ（ｒ_ｃ））を単調に増加する距離ｒ_ｃに関連させる関数を表し、かつ前記関数が０と１との間に帰する 請求項１８に記載のコンピュータ読み取り可能な媒体。
25. 前記エッジ情報の前記重みが、影響を与えるエッジ画素からの距離である線形関数であり、前記重みが、
    

    

    で表され、
    

    

    が座標（ｘ＋ｉ，ｙ＋ｊ）において重みを与える画素ｐ_{ｘ＋ｉ，ｙ＋ｊ}からエッジ画素ｐ（ｒ_ｃ）までの距離を表し、ｅ（ｐ（ｒ_ｃ））が画素ｐ（ｒ_ｃ）における０と１との間のエッジ強度を表し、かつＲ_ｃがエッジの影響の半径を表す請求項１８に記載のコンピュータ読み取り可能な媒体。
26. 前記エッジ情報が、その色を計算中である前記画素からエッジの反対側にある各画素に低い重みを与え、かつ周囲のエッジ画素に近い各画素に低い重みを与える請求項１８に記載のコンピュータ読み取り可能な媒体。
27. 前記エッジ情報が、
    

    

    で表され、ここで、ｐ_ｘ，ｙが座標（ｘ，ｙ）のコンボリューションにより再生成される画素を表し、ｐ_{ｘ＋ｉ，ｙ＋ｊ}が座標（ｘ，ｙ）の重みが与えられる画素であり、
    

    

    が線ｐ_ｘ，ｙ乃至ｐ_{ｘ＋ｉ，ｙ＋ｊ}のセグメント上の全画素であり、ｅ（ｐ）が画素ｐにおける０と１との間のエッジ強度を表し、ｐ_ｒが画像の画素ｐ_{ｘ＋ｉ，ｙ＋ｊ}から画素ｐ_ｒまでの距離ｒであるエッジ画素を表し、ｆ（）が中心画素ｐ_ｘ，ｙから画素ｐまでの単調に増加する距離にｅ（ｐ）を関連させる関数を表し、かつ前記関数が０と１との間に帰すると共に、ｆ’（）がｅ（ｐ_ｒ）を単調に増加する距離ｒに関連させる関数であり、かつ該関数が０と１との間の値を有する請求項２６に記載のコンピュータ読み取り可能な媒体。
28. 前記プログラムが更に、エッジ情報の検出の前にスムージング過程を有する請求項１８に記載のコンピュータ読み取り可能な媒体。
29. 前記プログラムが更に、エッジ情報の検出の前にスムージング過程を有する請求項２６に記載のコンピュータ読み取り可能な媒体。
30. 前記プログラムが画像のスケーリングに使用される請求項１８に記載のコンピュータ読み取り可能な媒体。
31. 前記プログラムが画像のスケーリングに用いられる請求項２６に記載のコンピュータ読み取り可能な媒体。
32. 前記エッジ情報が、それが反映される前にある増幅値で増幅される請求項１８に記載のコンピュータ読み取り可能な媒体。
33. 前記エッジ情報が、それが反映される前にある増幅値で増幅される請求項２６に記載のコンピュータ読み取り可能な媒体。
34. 周囲のエッジ画素に近い各画素に低い重みを与える前記エッジ情報が、前記コンボリューションの前にマップデータとして準備される請求項１８に記載のコンピュータ読み取り可能な媒体。
35. 受け取った画像を処理するプロセッサであって、前記プロセッサが画像を受け取るための入力と、処理した画像を出力するための出力とを有し、前記プロセッサが前記画像からエッジマップの生成、前記エッジマップから拘束されたマスクの生成、前記拘束されたマスクに基づく拘束されたコンボリューション、及び前記拘束されたコンボリューションに基づく前記画像の処理の各過程を実行するプロセッサ。
36. 前記エッジマップの生成が、前記画像の少なくとも一部分のスムージング、前記スムージング画像からエッジマップの生成、及び前記拘束されたコンボリューションに基づく前記画像の処理の各過程を実行する請求項３５に記載のプロセッサ。
37. 前記拘束されたマスクの生成過程が、その色が計算されている画素からエッジの反対側にある各画素に低い重みを与えて前記画像を処理する請求項３５に記載のプロセッサ。
38. 前記拘束されたマスク生成過程が、周囲のエッジ画素に近い各画素に低い重みを与えて前記画像を処理する請求項３５に記載のプロセッサ。
39. 受け取った画像を処理するプロセッサであって、前記プロセッサが画像を受け取るための入力と、処理した画像を出力するための出力とを有し、前記プロセッサが前記画像からエッジマップの生成、前記エッジマップから拘束されたマスクの生成、前記拘束されたマスクに基づく拘束されたコンボリューション、及び前記拘束されたコンボリューションに基づく前記画像の処理の各過程を実行し、
    前記拘束されたマスクの生成過程が、その色が計算されている画素からエッジの反対側にある各画素に低い重みを与えて前記画像を処理し、
    前記拘束されたマスク生成過程が、周囲のエッジ画素に近い各画素に低い重みを与えて前記画像を処理するプロセッサ。
40. 画像を受け取るための入力を有する前記プロセッサが、画像をアップサンプルする過程、画像をアップサンプルした画像に置き換える過程、前記拘束されたコンボリューションに基づいて前記画像を処理する過程を実行する請求項３５に記載のプロセッサ。
41. 画像を受け取るための入力を有する前記プロセッサが、画像をアップサンプルする過程、画像をアップサンプルした画像に置き換える過程、前記拘束されたコンボリューションに基づいて前記画像を処理する過程を実行する請求項３９に記載のプロセッサ。

Images