JP2005092493A - エッジ検出装置および方法並びにプログラム - Google Patents

Abstract

【課題】 画像を構成する画素間に存在するエッジを精度よく検出できるようにする。
【解決手段】 画像データＳ０により表される画像上において、補間画素の近傍の１６画素上に設定された４画素からなる６つの画素列において、画素間の差分の絶対値を求め、これに基づいて中央の２つの画素間にエッジが存在するか否かを判定する。エッジが存在する場合、４画素内におけるエッジが存在する位置に基づいて４画素内のエッジパターンを分類する。そして、エッジの有無およびエッジパターンに応じて補間演算を行って補間画素の画素値を算出し、拡大された画像を表す画像データＳ１を得る。
【選択図】 図１

Description

本発明は、例えば画像データにより表される画像を拡大縮小するに際し、画像を構成する画素間に存在するエッジを検出するエッジ検出装置および方法並びにエッジ検出方法をコンピュータに実行させるためのプログラムに関するものである。

従来より、写真フイルムに記録された画像を光電的に読み取ることにより得られた画像データあるいはデジタルカメラやカメラ付き携帯電話等の撮像装置により被写体を撮像することにより得られた画像データを、それを再生するモニタのサイズに適合するように拡大縮小することが行われている。とくにカメラ付き携帯電話により被写体を撮像することにより得られた画像データを電子メールとして送信する際に、送信先の携帯電話が有する液晶モニタのサイズに応じて画像データを拡大縮小するサービスも提供されている。

このような画像データの拡大縮小は、画像データにより表される画像を構成する画素の間に拡大率に応じて新たな画素を補間することにより行われる。このように新たな画素を補間する方法としては、線形補間法、最近傍法、バイリニア法およびバイキュービック法等の各種方法が知られている。

しかしながら、単一の方法のみを用いて画像データを拡大縮小した場合、画像に含まれるエッジ部分にボケやシャギーが発生するという問題がある。このため、画像に含まれるエッジ成分を検出し、エッジ部分と非エッジ部分とで異なる処理により補間演算を行う方法が提案されている（特許文献１参照）。

特許文献１に記載された方法等において画像からエッジを検出するためには、ソーベルフィルタやラプラシアンフィルタが一般的に用いられる。このようなソーベルフィルタやラプラシアンフィルタは、最短３タップの奇数タップ数を有し、フィルタリングにより注目画素がエッジであるか否かを判定することにより、エッジを検出することができる。

一方、画像上の隣接する２×２に並んだ４つの画素について、隣接した画素２つずつの画素値の差分の絶対値を算出して差分の絶対値の最大値とその次の最大値を算出し、算出結果を利用して４つの画素内におけるエッジ位置、さらにはエッジ形状を推定して、４つの画素内における補間画素の画素値を算出するデータ補間方法も提案されている（特許文献２参照）。

この方法によれば、エッジの形状に応じて補間演算に用いる画素を選択しているため、モザイク現象が生じないように補間を行うことができる。
特開２００２−３１９０２０号公報 特開平６−２９１９８８号公報

ところで、画像を拡大縮小する場合には、画素間に新たな画素を補間するため、画像に含まれる画素ではなく、画素の間にエッジがあるか否かを判定する必要がある。しかしながら、上述したラプラシアンフィルタのように奇数タップ数のフィルタを用いてエッジを検出する場合、画像中の注目画素そのものがエッジであるかどうかを判定することができるのみであり、画素間にエッジが存在するかどうかを判定することはできない。

また、上記特許文献２に記載された方法は、画像上の隣接する２×２に並んだ４つの画素内におけるエッジの位置を推定してはいるものの、エッジ隣接する４つの画素のみしか利用していないため精度よくエッジの位置を検出することは困難である。

本発明は上記事情に鑑みなされたものであり、画像を構成する画素間に存在するエッジを精度よく検出できるようにすることを目的とする。

また、本発明は、エッジ形状を精度よく分類できるようにすることを他の目的とする。

本発明による第１のエッジ検出装置は、画像上の直列に隣接する４以上の偶数の複数画素に含まれる互いに隣接する２つの画素からなる画素ペアに対してそれぞれ差分フィルタによるフィルタリング処理を施して前記各画素ペアの差分を得るフィルタリング手段と、
前記直列に隣接する複数画素のうちの中央の２つの画素からなる画素ペアの差分の絶対値が、全ての画素ペアの差分の絶対値の最大値であるか否かを判定し、該判定が肯定された場合に、前記中央の２つの画素の間にエッジが存在すると判定する判定手段とを備えたことを特徴とするものである。

「差分フィルタ」とは、隣接する２つの画素の単純な差分を求めるフィルタのみならず、重み付け差分を求めることが可能なフィルタをも含む。具体的には、タップ数が偶数のフィルタ、例えばフィルタ値が（−１，１）の２タップのフィルタを用いることができる。

本発明による第２のエッジ検出装置は、画像上の直列に隣接する４以上の偶数の複数画素に含まれる互いに隣接する２つの画素からなる画素ペアに対してそれぞれ差分フィルタによるフィルタリング処理を施して前記各画素ペアの差分を得るフィルタリング手段と、
前記直列に隣接する複数画素のうちの中央の２つの画素からなる画素ペアの差分の絶対値が所定のしきい値以上であるか否かを判定し、該判定が肯定された場合に、前記中央の２つの画素の間にエッジが存在すると判定する判定手段とを備えたことを特徴とするものである。

なお、本発明による第２のエッジ検出装置においては、前記判定手段を、前記判定が否定された場合、前記中央の２つの画素からなる画素ペアの差分の絶対値が、前記所定のしきい値よりも小さいしきい値以上であり、かつ前記中央の２つの画素からなる画素ペアの差分の絶対値が全ての画素ペアの差分の絶対値の最大値であるか否かを判定し、該判定が肯定された場合に、前記中央の２つの画素の間にエッジが存在すると判定する手段としてもよい。

また、本発明による第１および第２のエッジ検出装置においては、画像上の隣接する２×２に並んだ４つの画素について、互いに隣接する２つの画素からなる６つの対象画素ペアの間にエッジが存在するか否かを判定するに際し、
前記判定手段を、前記対象画素ペアのそれぞれに関して対称に直列に両方向に隣接する、該対象画素ペアを構成する２つの画素を含む４以上の偶数の複数画素を、前記画像上の直列に隣接する４以上の偶数の複数画素とし、前記対象画素ペアを構成する２つの画素を前記中央の２つの画素として、前記対象画素ペアのそれぞれを構成する２つの画素の間にエッジが存在するか否かを判定する手段としてもよい。

この場合において、いずれかの前記対象画素ペアの間にエッジが検出された場合、エッジが検出された位置に基づいて、前記４つの画素内におけるエッジパターンを分類するエッジパターン分類手段をさらに備えるようにしてもよい。

本発明による第１のエッジ検出方法は、画像上の直列に隣接する４以上の偶数の複数画素に含まれる互いに隣接する２つの画素からなる画素ペアに対してそれぞれ差分フィルタによるフィルタリング処理を施して前記各画素ペアの差分を得、
前記直列に隣接する複数画素のうちの中央の２つの画素からなる画素ペアの差分の絶対値が、全ての画素ペアの差分の絶対値の最大値であるか否かを判定し、該判定が肯定された場合に、前記中央の２つの画素の間にエッジが存在すると判定することを特徴とするものである。

本発明による第２のエッジ検出方法は、画像上の直列に隣接する４以上の偶数の複数画素に含まれる互いに隣接する２つの画素からなる画素ペアに対してそれぞれ差分フィルタによるフィルタリング処理を施して前記各画素ペアの差分を得、
前記直列に隣接する複数画素のうちの中央の２つの画素からなる画素ペアの差分の絶対値が所定のしきい値以上であるか否かを判定し、該判定が肯定された場合に、前記中央の２つの画素の間にエッジが存在すると判定することを特徴とするものである。

なお、本発明による第１および第２のエッジ検出方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明の第１のエッジ検出装置および方法によれば、画像上の直列に隣接する４以上の偶数の複数画素に含まれる互いに隣接する２つの画素からなる画素ペアに対してそれぞれ差分フィルタによるフィルタリング処理が施されて各画素ペアの差分が得られ、直列に隣接する複数画素のうちの中央の２つの画素からなる画素ペアの差分の絶対値が、全ての画素ペアの差分の絶対値の最大値であるか否かが判定される。ここで、複数の画素ペアの差分の絶対値のうち、差分の絶対値が最大となる画素ペアについては、その画素ペアを構成する２つの画素の間にエッジが存在すると見なすことができる。したがって、画像の画素上ではなく、画素の間に存在するエッジを検出することができる。また、差分を算出しているのみであるため、簡易な演算により高速にエッジが存在するか否かを判定することができる。

本発明の第２のエッジ検出装置および方法によれば、画像上の直列に隣接する４以上の偶数の複数画素に含まれる互いに隣接する２つの画素からなる画素ペアに対してそれぞれ差分フィルタによるフィルタリング処理が施されて各画素ペアの差分が得られ、直列に隣接する複数画素のうちの中央の２つの画素からなる画素ペアの差分の絶対値が所定のしきい値以上であるか否かが判定される。ここで、隣接する２つの画素の画素値の差分の絶対値が大きい場合は、そこにエッジが存在すると見なすことができる。したがって、中央の２つの画素からなる画素ペアの差分の絶対値が所定のしきい値以上であるか否かを判定することにより、画像の画素上ではなく、画素の間に存在するエッジを検出することができる。また、差分を算出しているのみであるため、簡易な演算により高速にエッジが存在するか否かを判定することができる。

また、本発明の第２のエッジ検出装置および方法においてエッジが存在しないと判定された場合に、中央の２つの画素からなる画素ペアの差分の絶対値が所定のしきい値よりも小さいしきい値以上であり、かつ中央の２つの画素からなる画素ペアの差分の絶対値が全ての画素ペアの差分の絶対値の最大値であるか否かを判定し、この判定が肯定された場合に、中央の２つの画素の間にエッジが存在すると判定することにより、エッジであるのにエッジでないと判定されてしまうことを防止して、より精度よく画素の間にエッジが存在するか否かを判定することができる。

また、画像上の隣接する２×２に並んだ４つの画素について、互いに隣接する２つの画素からなる６つの対象画素ペアの間にエッジが存在するか否かを判定するに際し、対象画素ペアのそれぞれに関して対称に直列に両方向に隣接する、対象画素ペアを構成する２つの画素を含む４以上の偶数の複数画素を、上記第１および第２のエッジ検出装置および方法における「画像上の直列に隣接する４以上の偶数の複数画素」とし、対象画素ペアを構成する２つの画素を「中央の２つの画素」として、対象画素ペアのそれぞれを構成する２つの画素の間にエッジが存在するか否かを判定することにより、画像上の隣接する２×２に並んだ４つの画素における６つの対象画素ペアの間に存在するエッジを精度よく検出することができる。

また、対象画素ペアの間にエッジが検出された場合に、エッジが検出された位置に基づいて、４つの画素内におけるエッジパターンを分類することにより、精度よくエッジのパターンを分類することができる。

以下、本発明の実施形態について説明する。図１は本発明の実施形態によるエッジ検出装置を適用した画像拡大縮小装置の構成を示す概略ブロック図である。図１に示すように、本発明の実施形態による画像拡大縮小装置は、画像データＳ０および画像データＳ０の拡大率Ｋの入力を受け付ける入力部１、フィルタリング部２、判定部３、エッジパターン分類部４、補間画素の画素値を算出する補間演算部５、並びに入力部１、フィルタリング部２、判定部３、エッジパターン分類部４および補間演算部５の動作を制御する制御部６を備える。

ここで、画像データＳ０により表される画像（以下画像についても同様に参照符号Ｓ０を用いる）は、図２に示すように２次元状に画素が並んで構成されてなるものであり、本実施形態においては、図２に示すようにｘ方向およびｙ方向を定めるものとする。

フィルタリング部２は、画像Ｓ０上における拡大縮小により補間される画素（以下補間画素Ｐとする）の近傍に位置する４×４の１６画素について、まず中央の２×２の４つの画素のうちの２つの画素を通る６つの画素列を設定する。図３は設定された画素列を示す図である。図３に示すように補間点Ｐの近傍に位置する１６画素Ｐ（ｉ，ｊ）（ｉ，ｊ＝−１〜２）について、黒丸で示した画素Ｐ（０，０）、Ｐ（１，０）、Ｐ（１，１）、Ｐ（０，１）のうちの２つの画素を通る全ての組み合わせについての６つの画素列Ｌ１〜Ｌ６を設定する。

すなわち、画素Ｐ（−１，０）、Ｐ（０，０）、Ｐ（１，０）、Ｐ（２，０）からなる画素列Ｌ１、画素Ｐ（１，−１）、Ｐ（１，０）、Ｐ（１，１）、Ｐ（１，２）からなる画素列Ｌ２、画素Ｐ（−１，１）、Ｐ（０，１）、Ｐ（１，１）、Ｐ（２，１）からなる画素列Ｌ３、画素Ｐ（０，−１）、Ｐ（０，０）、Ｐ（０，１）、Ｐ（０，２）からなる画素列Ｌ４、画素Ｐ（２，−１）、Ｐ（１，０）、Ｐ（０，１）、Ｐ（−１，２）からなる画素列Ｌ５、および画素Ｐ（−１，−１）、Ｐ（０，０）、Ｐ（１，１）、Ｐ（２，２）からなる画素列Ｌ６を設定する。なお、画素列Ｌ１，Ｌ３はｘ方向に並ぶ４つの画素からなり、画素列Ｌ２，Ｌ４はｙ方向に並ぶ４つの画素からなる。画素列Ｌ５は右上から左下に並ぶ４つの画素からなり、画素列Ｌ６は左上から右下に並ぶ４つの画素からなる。

そして、フィルタリング部２は画素列Ｌ１〜Ｌ６のそれぞれについて、隣接する２つの画素からなる３つの画素ペアに対して差分フィルタによるフィルタリング処理を施して３つの差分値を算出する。図４はフィルタリング部２において行われるフィルタリング処理を説明するための図、図５は差分フィルタを示す図である。フィルタリング部２は、画素列Ｌ１〜Ｌ６のそれぞれを構成する４つの画素（Ｐ１〜Ｐ４とする）について、互いに隣接する２つの画素からなる３つの画素ペアＰ１，Ｐ２、画素ペアＰ２，Ｐ３および画素ペアＰ３，Ｐ４に対して図５に示す差分フィルタによるフィルタリング処理を施して、画素ペアＰ１，Ｐ２、画素ペアＰ２，Ｐ３および画素ペアＰ３，Ｐ４の画素値の差分ｄ１，ｄ２，ｄ３を算出する。

判定部３は、画素列Ｌ１〜Ｌ６のそれぞれについて中央の画素ペアＰ２，Ｐ３の差分ｄ２の絶対値｜ｄ２｜が所定のしきい値Ｔｈ１以上であるか否かの第１の判定を行い、第１の判定が肯定されると画素Ｐ２，Ｐ３の間にエッジが存在すると判定し、判定結果をエッジパターン分類部４に出力する。

第１の判定が否定されると、判定部３は、画素列Ｌ１〜Ｌ６のそれぞれについて中央の画素ペアＰ２，Ｐ３の差分ｄ２の絶対値｜ｄ２｜がしきい値Ｔｈ１よりも小さいしきい値Ｔｈ２以上であり、かつ差分ｄ２の絶対値｜ｄ２｜が差分ｄ１〜ｄ３の絶対値｜ｄ１｜〜｜ｄ３｜のうちの最大値であるか否かの第２の判定を行う。そして、第２の判定が肯定されると画素Ｐ２，Ｐ３の間にエッジが存在すると判定し、判定結果をエッジパターン分類部４に出力する。なお、第２の判定が否定されると、画素Ｐ２，Ｐ３の間にエッジが存在しないと判定し、判定結果をエッジパターン分類部４に出力する。

エッジパターン分類部４は、判定部３の判定結果に基づいて、画素Ｐ（０，０）、Ｐ（１，０）、Ｐ（１，１）、Ｐ（０，１）内のいずれの画素の間にエッジが存在するかを判定する。すなわち、図６に示すように画素Ｐ（０，０）とＰ（１，０）の間ｅ１、画素Ｐ（１，０）とＰ（１，１）の間ｅ２、画素Ｐ（１，１）とＰ（０，１）の間ｅ３、画素Ｐ（０，１）とＰ（０，０）の間ｅ４、画素Ｐ（１，０）とＰ（０，１）の間ｅ５および画素Ｐ（０，０）とＰ（１，１）の間ｅ６にエッジが存在するか否かを判定する。

ここで、エッジパターン分類部４は、画素列Ｌ１にエッジが存在すると判定された場合には間ｅ１にエッジが存在すると判定し、画素列Ｌ２にエッジが存在すると判定された場合には間ｅ２にエッジが存在すると判定し、画素列Ｌ３にエッジが存在すると判定された場合には間ｅ３にエッジが存在すると判定し、画素列Ｌ４にエッジが存在すると判定された場合には間ｅ４にエッジが存在すると判定し、画素列Ｌ５にエッジが存在すると判定された場合には間ｅ５にエッジが存在すると判定し、画素列Ｌ６にエッジが存在すると判定された場合には間ｅ６にエッジが存在すると判定する。

そして、エッジパターン分類部４は、エッジが存在する画素間の中点を結ぶ直線に応じてエッジパターンを分類する。図７から図９は、エッジが存在する位置に応じたエッジパターンを示す図である。図７から図９に示すように、エッジが存在する位置に応じてエッジパターンはパターン０〜パターン８の９種類のパターンに分類される。

なお、間ｅ１，ｅ２，ｅ３，ｅ４にエッジが存在する場合、および間ｅ１，ｅ２，ｅ３，ｅ４，ｅ５，ｅ６にエッジが存在する場合は、エッジパターンはパターン７であるのかパターン８であるのかが分からない。このため、エッジパターン分類部４は、間ｅ１，ｅ２，ｅ３，ｅ４にエッジが存在する場合、および間ｅ１，ｅ２，ｅ３，ｅ４，ｅ５，ｅ６にエッジが存在する場合には、さらに画素Ｐ（０，０）と画素Ｐ（１，１）の画素値の差分の絶対値ｄ１１および画素（０，１）と画素（１，０）の画素値の差分の絶対値｜ｄ１２｜を算出し、｜ｄ１１｜＜｜ｄ１２｜の場合にはエッジパターンをパターン７に分類し、｜ｄ１１｜≧｜ｄ１２｜の場合にはエッジパターンをパターン８に分類する。

そしてエッジパターン分類部４は、エッジパターンの分類結果を補間演算部５に出力する。

補間演算部５は、エッジパターン分類部４が分類したエッジパターンの分類結果を参照して、補間画素Ｐに隣接する４つの画素内にエッジが存在すると判定された場合と、エッジが存在しないと判定された場合とで、それぞれ異なる演算により補間画素Ｐの画素値を算出する。具体的には、エッジでないと判定された場合はバイキュービック法を用いて補間画素Ｐの画素値を算出する。

ここで、バイキュービック法は３次補間の一手法であり、補間画素Ｐの近傍の１６画素を用いて補間画素Ｐの画素値を求める方法である。以下、バイキュービック法について説明する。

図１０はバイキュービック法を説明するための図である。図１０に示すように点Ｐを補間画素Ｐの位置とした場合、図１０中黒丸で示される画素は第１次近傍、白丸で示される画素は第２次近傍と称される。第１次近傍および第２次近傍のそれぞれについて、下記の式（１）に示すようにｘ方向およびｙ方向それぞれに独立に距離ｄｘ，ｄｙ（式（１）においては単にｄと示す）に対して重みＷｘ，Ｗｙを求め、最終的にその画素に対する重みＷ＝ＷｘＷｙを得る。

例えば、図１０における（−１，−１）の画素（第２次近傍）に対して、重みＷｘ，Ｗｙ，Ｗを求めると、

となる。

そして、Ｗ（ｉ，ｊ）を画素（ｉ，ｊ）の重み、ｆ（ｉ，ｊ）を画素（ｉ，ｊ）の画素値とすると、補間画素Ｐの画素値ｆ′（Ｐ）は、

により算出することができる。

一方、エッジが存在すると判定された場合には、補間画素Ｐに隣接する４つの画素以外の他の４つの画素内のエッジパターンに応じて補間画素Ｐの画素値を求める。すなわち、４つの画素Ｐ（−１，−１）、Ｐ（０，−１）、Ｐ（０，０）、Ｐ（−１，０）内のエッジパターン、４つの画素Ｐ（０，−１）、Ｐ（１，−１）、Ｐ（１，０）、Ｐ（０，０）内のエッジパターン、４つの画素Ｐ（１，−１）、Ｐ（２，−１）、Ｐ（２，０）、Ｐ（１，０）内のエッジパターン、４つの画素Ｐ（−１，０）、Ｐ（０，０）、Ｐ（０，１）、Ｐ（−１，１）内のエッジパターン、４つの画素Ｐ（１，０）、Ｐ（２，０）、Ｐ（２，１）、Ｐ（１，１）内のエッジパターン、４つの画素Ｐ（−１，１）、Ｐ（０，１）、Ｐ（０，２）、Ｐ（−１，２）内のエッジパターン、４つの画素Ｐ（０，１）、Ｐ（１，１）、Ｐ（１，２）、Ｐ（０，２）内のエッジパターン、および４つの画素Ｐ（１，１）、Ｐ（２，１）、Ｐ（２，２）、Ｐ（１，２）内のエッジパターンを参照して、補間画素Ｐの近傍に位置する４×４の１６画素内のエッジパターンを求める。

ここで、補間画素Ｐに隣接する４つの画素内のエッジパターンがパターン４、４つの画素Ｐ（−１，−１）、Ｐ（０，−１）、Ｐ（０，０）、Ｐ（−１，０）内のエッジパターンがパターン０、４つの画素Ｐ（０，−１）、Ｐ（１，−１）、Ｐ（１，０）、Ｐ（０，０）内のエッジパターンがパターン５、４つの画素Ｐ（１，−１）、Ｐ（２，−１）、Ｐ（２，０）、Ｐ（１，０）内のエッジパターンがパターン０、４つの画素Ｐ（−１，０）、Ｐ（０，０）、Ｐ（０，１）、Ｐ（−１，１）内のエッジパターンがパターン２、４つの画素Ｐ（１，０）、Ｐ（２，０）、Ｐ（２，１）、Ｐ（１，１）内のエッジパターンがパターン０、４つの画素Ｐ（−１，１）、Ｐ（０，１）、Ｐ（０，２）、Ｐ（−１，２）内のエッジパターンがパターン４、４つの画素Ｐ（０，１）、Ｐ（１，１）、Ｐ（１，２）、Ｐ（０，２）内のエッジパターンがパターン０、および４つの画素Ｐ（１，１）、Ｐ（２，１）、Ｐ（２，２）、Ｐ（１，２）内のエッジパターンがパターン０である場合、１６画素内のエッジパターンは図１１の波線に示すものとなる。図１１に示すように１６画素内の領域はエッジにより２つの領域Ａ１，Ａ２に分割される。なお、領域Ａ２を斜線で示す。

補間演算部５は、１６画素内のエッジパターンに基づいて、補間画素Ｐがエッジを挟んでいずれの側に存在するかによって、補間演算に使用する画素を決定する。例えば、図１１に示すように補間画素Ｐが領域Ａ１側に存在する場合には、領域Ａ１側の画素Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４，Ｐ１５（図１１において△で示す）のみを使用して補間画素Ｐの画素値を求める。逆に補間画素が領域Ａ２側に存在する場合には、領域Ａ２側の画素（図１１において○で示す）のみを使用して補間画素Ｐの画素値を求める。

図１２は、直列に並ぶ４つの画素のうち中央の２つの画素の間にエッジが存在する場合の画素値のプロファイルを示す図である。なお、図１２において、水平方向が画素が並ぶ方向であり、垂直方向が画素値の大きさを示す方向である。中央の２つの画素Ｐ２２，Ｐ２３の間にエッジが存在すると判定された場合、その２つの画素にさらにそれぞれ隣接する２つの画素Ｐ２１，Ｐ２４を加えた直列に隣接する４つの画素Ｐ２１〜Ｐ２４の画素値のプロファイルは図１２に示すものとなる。

この場合、画素が並ぶ方向において画素Ｐ２２，Ｐ２３間の距離を二等分する中線Ｍ（一点鎖線参照）を定め、中線Ｍの右側に補間画素（Ｐ０１とする）が存在する場合には、画素Ｐ２３，Ｐ２４を結ぶ直線の延長線上の値を補間画素Ｐ０１の画素値とする。また、中線Ｍの左側に補間画素（Ｐ０２とする）が存在する場合には、画素Ｐ２１，Ｐ２２を結ぶ直線の延長線上の値を補間画素Ｐ０２の画素値とする。

本実施形態においては、このような補間演算を２次元に適用することにより、補間画素Ｐの画素値を求める。具体的には、図１３に示すように、画素位置をｘ座標およびｙ座標、画素値をｚ座標とする３次元空間において、領域Ａ１側における画素Ｐ１１，Ｐ１２，Ｐ１３（図１１参照）の画素値Ｐｔ１１，Ｐｔ１２，Ｐｔ１３を通る平面Ａ１０を設定する。なお、平面Ａ１０において辺Ａ１２，Ａ１３はエッジの位置に対応する。そして、平面Ａ１０上における補間画素Ｐのｘ座標およびｙ座標に対応するｚ座標の値を、補間画素Ｐの画素値として求める。

なお、補間画素Ｐの画素値の算出方法としてはこれに限定されるものではなく、補間画素Ｐに近い位置の画素ほど重みを大きくする補間演算を適用することもできる。具体的には、画素Ｐ１２の重みＷ１２を最も大きくするように、各画素Ｐ１１〜Ｐ１５に対する重みＷ１１〜Ｗ１５を設定し、各画素Ｐ１１〜Ｐ１５の画素値Ｐｔ１１〜Ｐｔ１５に対して下記の式（６）に示す演算を施すことにより、補間画素Ｐの画素値（ここではＰｔとする）を算出すればよい。

ここで、以降の説明において、エッジが存在すると判定された場合の演算を第１の補間演算、エッジが存在しないと判定された場合の演算を第２の補間演算と称する。

次いで、本実施形態において行われる処理について説明する。図１４は本実施形態において行われる処理を示すフローチャートである。なお、本実施形態においては、補間画素Ｐは、画像Ｓ０の画素の間に存在するものとする。まず、入力部１が拡大する画像データＳ０および画像データＳ０の拡大率Ｋの入力を受け付ける（ステップＳ１）。そして、拡大率Ｋに応じた最初の補間画素Ｐ（例えば拡大された画像データＳ１により表される画像（以下画像についても同様に参照符号Ｓ１を用いる）上左上に位置する画素）について、フィルタリング部２がその補間画素Ｐの近傍に位置する１６画素について、画素列Ｌ１〜Ｌ６を設定し、画素列Ｌ１〜Ｌ６のそれぞれにおける隣接する２つの画素からなる３つの画素ペアに対して差分フィルタによるフィルタリング処理を施して３つの差分を算出する（ステップＳ２）。

次いで、判定部３が画素列Ｌ１〜Ｌ６のそれぞれについて中央の画素ペアの差分の絶対値｜ｄ２｜が所定のしきい値Ｔｈ１以上であるか否かの第１の判定を行う（ステップＳ３）。ステップＳ３が否定されると、差分の絶対値｜ｄ２｜が所定のしきい値Ｔｈ２以上であり、かつ差分の絶対値｜ｄ２｜が最大値であるか否かの第２の判定を行う（ステップＳ４）。

ステップＳ３およびステップＳ４が肯定されると、画素列Ｌ１〜Ｌ６の中央の２つの画素間にエッジが存在するものとして画素間にエッジが存在する旨の判定結果をエッジパターン分類部４へ出力する（ステップＳ５）。ステップＳ４が否定されると、判定部３は、画素間にエッジが存在しない旨の判定結果をエッジパターン分類部４へ出力する（ステップＳ６）。

エッジパターン分類部４は、判定部３の判定結果が入力されると、その判定結果に基づいてエッジパターンを分類し（ステップＳ７）、分類結果を補間演算部５に出力する。

補間演算部５は、エッジパターン分類部４が分類したエッジパターンの分類結果に基づいて、エッジパターンが図７に示すパターン０であるか否かを判定することにより、補間画素Ｐに隣接する４つの画素内にエッジが存在するか否かを判定する（ステップＳ８）。ステップＳ８が肯定されると、補間演算部５は上記第１の補間演算により補間画素Ｐの画素値を算出する（ステップＳ９）。一方、ステップＳ８が否定されると、補間演算部５は上記第２の補間演算により補間画素Ｐの画素値を算出する（ステップＳ１０）。

そして、制御部６が全ての補間画素Ｐについて画素値を算出したか否かを判定し（ステップＳ１１）、ステップＳ１１が否定されると、画素値を算出する補間画素Ｐを次の補間画素Ｐに設定し（ステップＳ１２）、ステップＳ２に戻る。

ステップＳ１１が肯定されると、補間画素Ｐからなる拡大された画像データＳ１を出力し（ステップＳ１３）、処理を終了する。

このように本実施形態においては、補間画素Ｐに隣接する４×４画素に並んだ１６画素に対して４つの直列に並ぶ画素からなる画素列Ｌ１〜Ｌ６を設定し各画素列Ｌ１〜Ｌ６において中央の２つの画素の間にエッジがあるか否かを判定するに際し、中央の２つの画素間の差分の絶対値がしきい値Ｔｈ１以上である場合にそこにエッジが存在すると見なすようにしたため、画像Ｓ０の画素上ではなく、画素の間に存在するエッジを検出することができる。また、差分を算出しているのみであるため、簡易な演算により高速にエッジが存在するか否かを判定することができる。

また、この判定でエッジが存在しないと判定された場合に、さらに中央の２つの画素間の差分の絶対値がしきい値Ｔｈ１よりも小さいしきい値Ｔｈ２以上であり、かつ４つの画素間の差分の絶対値のうちの最大値である場合にそこにエッジが存在すると見なすようにしたため、エッジであるのにエッジでないと判定されてしまうことを防止して、より精度よく画素の間に存在するエッジを検出することができる。

また、このようなエッジが存在するか否かの判定結果に基づいて、補間画素Ｐの近傍の２×２画素に並んだ４つの画素内にエッジが存在するか否かを判定しているため、画像上の隣接する２×２に並んだ４つの画素間に存在するエッジを精度よく検出することができる。

また、４つの画素内にエッジが存在すると判定された場合に、エッジが検出された位置に基づいて、４つの画素内におけるエッジパターンを分類することにより、精度よくエッジのパターンを分類することができる。

ここで、図１５に示すサンプル画像において従来のラプラシアンフィルタを用いてエッジを検出した場合、ラプラシアンフィルタは注目画素がエッジであるか否かを判定するものであるため、図１６に示すように顔の輪郭を表すエッジを検出できるものの、検出された線は非常に太くなる。これに対して、本実施形態によりエッジを検出した場合、画素間にどのような向きのエッジが存在するかを検出することができるため、図１７に示すようにエッジを非常に細い線により表すことができる。したがって、エッジとエッジでない部分とを明確に区分することができるため、補間画素Ｐの画素値を精度よく算出することができる。

なお、上記実施形態においては、各画素列Ｌ１〜Ｌ６において中央の２つの画素の間にエッジが存在するか否かを判定するに際し、第１の判定が否定された場合には、さらに第２の判定を行うことによりエッジが存在するか否かを判定しているが、第１の判定が否定された場合に第２の判定を行うことなく、そこにはエッジは存在しないものと判定してもよい。また、各画素列Ｌ１〜Ｌ６において４つの画素間において算出される３つの差分の絶対値を比較し、中央の２つの画素の差分の絶対値が最大値である場合に、そこにエッジが存在すると判定するようにしてもよい。

また、上記実施形態においては、４画素内にエッジが存在しないと判定された場合、バイキュービック法を用いて補間画素Ｐ近傍の１６画素の画素値から補間画素Ｐの画素値を算出しているが、補間画素Ｐ近傍の９画素あるいは４画素の画素値から補間画素Ｐの画素値を算出してもよい。また、バイキュービック法のみならず、線形補間法、最近傍法およびバイリニア法等を用いて補間画素Ｐの画素値を算出してもよい。

また、上記実施形態においては、補間画素Ｐの近傍の４×４の１６画素を用いて補間画素Ｐの近傍の４画素における隣接する２つの画素間にエッジが存在するか否かの判定、および補間画素Ｐの近傍の４画素内のエッジパターンの分類を行っているが、６×６の３６画素あるいはそれ以上の一辺の画素数が偶数となるような数の画素を用いて、エッジが存在するか否かの判定およびエッジパターンの分類を行うようにしてもよい。

本発明の実施形態によるエッジ検出装置を適用した画像拡大縮小装置の構成を示す概略ブロック図 画像データにより表される画像の画素配列を示す図 補間画素の近傍に位置する１６画素について中央の４つの画素のうちの２つの画素を通る画素列を示す図 フィルタリング部において行われるフィルタリング処理を説明するための図 差分フィルタの例を示す図 画素間に存在するエッジの位置を説明するための図 エッジが存在する位置に応じたエッジパターンを示す図（その１） エッジが存在する位置に応じたエッジパターンを示す図（その２） エッジが存在する位置に応じたエッジパターンを示す図（その３） バイキュービック法を説明するための図 １６画素内のエッジパターンの例を示す図 補間画素の画素値の算出を説明するための図（１次元） 補間画素の画素値の算出を説明するための図（２次元） 本実施形態において行われる処理を示すフローチャート サンプル画像を示す図 ラプラシアンフィルタを用いてのエッジの検出結果を示す図 本発明による手法を用いてのエッジの検出結果を示す図

符号の説明

１ 入力部
２ フィルタリング部
３ 判定部
４ エッジパターン分類部
５ 補間演算部
６ 制御部

Claims (9)

1. 画像上の直列に隣接する４以上の偶数の複数画素に含まれる互いに隣接する２つの画素からなる画素ペアに対してそれぞれ差分フィルタによるフィルタリング処理を施して前記各画素ペアの差分を得るフィルタリング手段と、
   前記直列に隣接する複数画素のうちの中央の２つの画素からなる画素ペアの差分の絶対値が、全ての画素ペアの差分の絶対値の最大値であるか否かを判定し、該判定が肯定された場合に、前記中央の２つの画素の間にエッジが存在すると判定する判定手段とを備えたことを特徴とするエッジ検出装置。
2. 画像上の直列に隣接する４以上の偶数の複数画素に含まれる互いに隣接する２つの画素からなる画素ペアに対してそれぞれ差分フィルタによるフィルタリング処理を施して前記各画素ペアの差分を得るフィルタリング手段と、
   前記直列に隣接する複数画素のうちの中央の２つの画素からなる画素ペアの差分の絶対値が所定のしきい値以上であるか否かを判定し、該判定が肯定された場合に、前記中央の２つの画素の間にエッジが存在すると判定する判定手段とを備えたことを特徴とするエッジ検出装置。
3. 前記判定手段は、前記判定が否定された場合、前記中央の２つの画素からなる画素ペアの差分の絶対値が、前記所定のしきい値よりも小さいしきい値以上であり、かつ前記中央の２つの画素からなる画素ペアの差分の絶対値が全ての画素ペアの差分の絶対値の最大値であるか否かを判定し、該判定が肯定された場合に、前記中央の２つの画素の間にエッジが存在すると判定する手段であることを特徴とする請求項２記載のエッジ検出装置。
4. 画像上の隣接する２×２に並んだ４つの画素について、互いに隣接する２つの画素からなる６つの対象画素ペアの間にエッジが存在するか否かを判定するに際し、
   前記判定手段は、前記対象画素ペアのそれぞれに関して対称に直列に両方向に隣接する、該対象画素ペアを構成する２つの画素を含む４以上の偶数の複数画素を、前記画像上の直列に隣接する４以上の偶数の複数画素とし、前記対象画素ペアを構成する２つの画素を前記中央の２つの画素として、前記対象画素ペアのそれぞれを構成する２つの画素の間にエッジが存在するか否かを判定する手段であることを特徴とする請求項１から３のいずれか１項記載のエッジ検出装置。
5. いずれかの前記対象画素ペアの間にエッジが検出された場合、エッジが検出された位置に基づいて、前記４つの画素内におけるエッジパターンを分類するエッジパターン分類手段をさらに備えたことを特徴とする請求項４記載のエッジ検出装置。
6. 画像上の直列に隣接する４以上の偶数の複数画素に含まれる互いに隣接する２つの画素からなる画素ペアに対してそれぞれ差分フィルタによるフィルタリング処理を施して前記各画素ペアの差分を得、
   前記直列に隣接する複数画素のうちの中央の２つの画素からなる画素ペアの差分の絶対値が、全ての画素ペアの差分の絶対値の最大値であるか否かを判定し、該判定が肯定された場合に、前記中央の２つの画素の間にエッジが存在すると判定することを特徴とするエッジ検出方法。
7. 画像上の直列に隣接する４以上の偶数の複数画素に含まれる互いに隣接する２つの画素からなる画素ペアに対してそれぞれ差分フィルタによるフィルタリング処理を施して前記各画素ペアの差分を得、
   前記直列に隣接する複数画素のうちの中央の２つの画素からなる画素ペアの差分の絶対値が所定のしきい値以上であるか否かを判定し、該判定が肯定された場合に、前記中央の２つの画素の間にエッジが存在すると判定することを特徴とするエッジ検出方法。
8. 画像上の直列に隣接する４以上の偶数の複数画素に含まれる互いに隣接する２つの画素からなる画素ペアに対してそれぞれ差分フィルタによるフィルタリング処理を施して前記各画素ペアの差分を得る手順と、
   前記直列に隣接する複数画素のうちの中央の２つの画素からなる画素ペアの差分の絶対値が、全ての画素ペアの差分の絶対値の最大値であるか否かを判定し、該判定が肯定された場合に、前記中央の２つの画素の間にエッジが存在すると判定する手順とを有することを特徴とするエッジ検出方法をコンピュータに実行させるためのプログラム。
9. 画像上の直列に隣接する４以上の偶数の複数画素に含まれる互いに隣接する２つの画素からなる画素ペアに対してそれぞれ差分フィルタによるフィルタリング処理を施して前記各画素ペアの差分を得る手順と、
   前記直列に隣接する複数画素のうちの中央の２つの画素からなる画素ペアの差分の絶対値が所定のしきい値以上であるか否かを判定し、該判定が肯定された場合に、前記中央の２つの画素の間にエッジが存在すると判定する手順とを有することを特徴とするエッジ検出方法をコンピュータに実行させるためのプログラム。

Images