JP2012234507A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】より簡単かつ確実に画像のジャギーを低減させる。
【解決手段】順相候補位置選択部は、入力画像の対象位置から２ラインだけ離れた位置にある水平ラインまたは垂直ライン上の画素を、対象位置の画素とジャギーの位相が同じである画素の候補である順相候補画素とする。逆相候補位置選択部は、入力画像における対象位置と順相候補画素との間の画素を逆相候補画素とする。重み値算出部は、対象位置近傍の画像と、順相候補画素近傍の画像との相似度に基づいて重み値を算出する。重み付き期待値算出部は、重み値を用いた複数の逆相候補画素の重み付き加算をすることで、入力画像におけるジャギーの位相のみが反転した逆相画像を生成する。本技術は、画像処理装置に適用することができる。
【選択図】図１

Description

本技術は画像処理装置および方法、並びにプログラムに関し、特に、より簡単かつ確実に画像のジャギーを低減させることができるようにした画像処理装置および方法、並びにプログラムに関する。

従来、画像を拡大させたり、画素を間引いて画像を縮小させたりすると、画像にジャギーが発生することが知られている。

このようなジャギーを低減させる方法として、画像拡大時に拡大フィルタを適切に選択する方法（例えば、特許文献１参照）や、画像拡大後に方向選択平滑化によってジャギーを低減させる方法（例えば、特許文献２および特許文献３参照）など、局所オペレータを利用する方法が提案されている。

また、重ね合わせ超解像処理を利用する方法（例えば、特許文献４参照）や、画像拡大時に水平方向にブロックマッチング探索を行い、補間画素を決定する方法（例えば、特許文献５参照）により、ジャギーを低減させることも提案されている。

特開２０１０−６７２７２号公報 特開２０１０−５５４１０号公報 特開２００８−１６６８７２号公報 特開２００９−７０１２３号公報 特許第４３４３２５５号公報

しかしながら、上述した技術では、簡単かつ確実に画像上に生じたジャギーを低減させることは困難であった。

例えば、局所オペレータを利用する方法では、浅い角度や急峻な角度のエッジのジャギーには対応することができず、超解像処理では、ジャギーの低減に位相のずれた複数フレームの画像が必要となる。

また、ブロックマッチングを利用する方法では、対象画素を中心に対象な位置にある画像同士の相関が低い場合には、適切にジャギーを低減させることができず、急峻な角度に対するジャギーも低減させることができなかった。さらに、ブロックマッチングを利用する方法は、画像の拡大時には有効であるが、拡大後の画像のジャギーを低減させることはできなかった。

本技術は、このような状況に鑑みてなされたものであり、より簡単かつ確実に画像のジャギーを低減させることができるようにするものである。

本技術の第１の側面の画像処理装置は、入力画像上の対象位置とは異なる位置を、ジャギーが前記対象位置と同じ位相となる位置の候補である順相候補位置として選択する順相候補位置選択部と、前記入力画像上の前記対象位置とは異なる位置を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置として選択する逆相候補位置選択部と、前記対象位置の画像と、前記順相候補位置の画像との第１の相似度に基づく重み値を算出する重み値算出部と、前記重み値と前記逆相候補位置の画素とに基づいて、重み付き期待値を算出する重み付き期待値算出部とを備える。

前記逆相候補位置選択部には、前記対象位置と前記順相候補位置とを結ぶ線分の中点位置を前記逆相候補位置として選択させることができる。

前記順相候補位置選択部には、前記対象位置を含む水平ラインから２ライン離れた水平ライン上の位置、または前記対象位置を含む垂直ラインから２ライン離れた垂直ライン上の位置を、前記順相候補位置として選択させることができる。

画像処理装置には、前記対象位置の上下左右に隣接する位置を近傍位置として選択する近傍位置選択部と、前記対象位置の画像と、前記近傍位置の画像との第２の相似度に基づいて、前記第１の相似度の下限値を算出する下限値算出部とをさらに設け、前記重み値算出部には、前記下限値を用いて前記第１の相似度に閾値処理を行わせて、前記重み値を算出させることができる。

本技術の第１の側面の画像処理方法またはプログラムは、入力画像上の対象位置とは異なる位置を、ジャギーが前記対象位置と同じ位相となる位置の候補である順相候補位置として選択し、前記入力画像上の前記対象位置とは異なる位置を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置として選択し、前記対象位置の画像と、前記順相候補位置の画像との相似度に基づく重み値を算出し、前記重み値と前記逆相候補位置の画素とに基づいて、重み付き期待値を算出するステップを含む。

本技術の第１の側面においては、入力画像上の対象位置とは異なる位置が、ジャギーが前記対象位置と同じ位相となる位置の候補である順相候補位置として選択され、前記入力画像上の前記対象位置とは異なる位置が、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置として選択され、前記対象位置の画像と、前記順相候補位置の画像との相似度に基づく重み値が算出され、前記重み値と前記逆相候補位置の画素とに基づいて、重み付き期待値が算出される。

本技術の第２の側面の画像処理装置は、入力画像上の対象位置とは異なる位置を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置として選択する逆相候補位置選択部と、前記入力画像を平滑化して平滑化画像を生成する平滑化部と、前記平滑化画像上の前記対象位置の画像と、前記平滑化画像上の前記逆相候補位置の画像との第１の相似度に基づく重み値を算出する重み値算出部と、前記入力画像上の前記逆相候補位置の画素と前記重み値とに基づいて、重み付き期待値を算出する重み付き期待値算出部とを備える。

前記逆相候補位置選択部には、前記入力画像上の前記対象位置を含む水平ラインから１ライン離れた水平ライン上の位置、または前記入力画像上の前記対象位置を含む垂直ラインから１ライン離れた垂直ライン上の位置を、前記逆相候補位置として選択させることができる。

画像処理装置には、前記平滑化画像上の前記対象位置の上下左右に隣接する位置を近傍位置として選択する近傍位置選択部と、前記平滑化画像上の前記対象位置の画像と、前記平滑化画像上の前記近傍位置の画像の第２の相似度に基づいて、前記第１の相似度の下限値を算出する下限値算出部とをさらに設け、前記重み値算出部には、前記下限値を用いて前記第１の相似度に閾値処理を行わせて、前記重み値を算出させることができる。

本技術の第２の側面の画像処理方法またはプログラムは、入力画像上の対象位置とは異なる位置を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置として選択し、前記入力画像を平滑化して平滑化画像を生成し、前記平滑化画像上の前記対象位置の画像と、前記平滑化画像上の前記逆相候補位置の画像との相似度に基づく重み値を算出し、前記入力画像上の前記逆相候補位置の画素と前記重み値とに基づいて、重み付き期待値を算出するステップを含む。

本技術の第２の側面においては、入力画像上の対象位置とは異なる位置が、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置として選択され、前記入力画像が平滑化されて平滑化画像が生成され、前記平滑化画像上の前記対象位置の画像と、前記平滑化画像上の前記逆相候補位置の画像との相似度に基づく重み値が算出され、前記入力画像上の前記逆相候補位置の画素と前記重み値とに基づいて、重み付き期待値が算出される。

本技術の第３の側面は、入力画像上の対象位置とは異なる位置を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置として選択する逆相候補位置選択部と、前記対象位置の画像と前記逆相候補位置の画像との第１の角相似度に基づく重み値を算出する重み値算出部と、前記逆相候補位置の画素と前記重み値とに基づいて、重み付き期待値を算出する重み付き期待値算出部とを備える画像処理装置である。

前記逆相候補位置選択部は、前記入力画像上の前記対象位置を含む水平ラインから１ライン離れた水平ライン上の位置、または前記入力画像上の前記対象位置を含む垂直ラインから１ライン離れた垂直ライン上の位置を、前記逆相候補位置として選択することができる。

前記対象位置の画像と前記逆相候補位置の画像とを用いてジャギーが低減された画像を生成する仮処理を行う仮ジャギー低減部と、前記仮ジャギー低減部により生成された、前記ジャギーが低減された画像を用いて、前記ジャギーが低減された画像のエッジ方向を推定するエッジ方向推定部と、前記エッジ方向推定部により推定された前記エッジ方向と、前記対象位置を基準とする前記逆相候補位置の相対座標との平行の度合いを判定する平行判定部と、前記平行判定部により判定された、前記エッジ方向と前記相対座標との平行の度合いに基づいて、前記対象位置の画像と前記逆相候補位置の画像との角相似度を算出する角相似度演算部とをさらに備え、前記重み値算出部は、前記角相似度演算部により算出された前記角相似度を用いて前記重み値を算出することができる。

対象位置の上下左右に近傍の位置を選択する近傍位置選択部と、対象位置の画像と近傍位置の画像との角相似度に基づく角相似度下限値を算出する下限値算出部とをさらに備え、前記重み値算出部は、前記下限値算出部により算出された角相似度下限値によって角相似度にしきい値処理を行うことができる。

本技術の第３の側面は、また、入力画像上の対象位置とは異なる位置を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置として選択する逆相候補位置選択部と、前記対象位置の画像と、前記逆相候補位置の画像との角相似度に基づく重み値を算出する重み値算出部と、前記逆相候補位置の画素と前記重み値とに基づいて、重み付き期待値を算出する重み付き期待値算出部とを備える画像処理装置の画像処理方法であって、前記逆相候補位置選択部が前記逆相候補位置を選択し、前記重み値算出部が前記重み値を算出し、前記重み付き期待値算出部が前記重み付き期待値を算出するステップを含む画像処理方法またはプログラムである。

本技術の第３の側面においては、入力画像上の対象位置とは異なる位置が、ジャギーが対象位置と逆相となる位置の候補である逆相候補位置として選択され、対象位置の画像と、逆相候補位置の画像との角相似度に基づく重み値が算出され、逆相候補位置の画素と重み値とに基づいて、重み付き期待値が算出される。

本技術の第４の側面は、入力画像上の対象位置とは異なる2点を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置対として、対象位置に対して点対象に選択する逆相候補位置対選択部と、前記逆相候補位置対となる2点間の画像の相似度に基づく重み値を算出する重み値算出部と、前記入力画像上の前記逆相候補位置の画素と前記重み値とに基づいて、重み付き期待値を算出する重み付き期待値算出部とを備える画像処理装置である。

対象位置の上下に隣接する位置の組、若しくは、対象位置の左右隣接する位置の組を、近傍位置対として選択する近傍位置対選択部と、前記対象位置の画像と、前記近傍位置対の各画像との相似度に基づいて相似度下限値を算出する相似度下限値算出部とを備え、前記重み値算出部は、前記相似度下限値算出部により算出された各相似度下限値によって、前記逆相候補位置対となる2点間の画像の相似度にしきい値処理を行うことができる。

本技術の第４の側面はまた、入力画像上の対象位置とは異なる2点を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置対として、対象位置に対して点対象に選択する逆相候補位置対選択部と、前記逆相候補位置対となる2点間の画像の相似度に基づく重み値を算出する重み値算出部と、前記入力画像上の前記逆相候補位置の画素と前記重み値とに基づいて、重み付き期待値を算出する重み付き期待値算出部とを備える画像処理装置の画像処理方法であって、前記逆相候補位置対選択部が前記逆相候補位置対を選択し、前記重み値算出部が前記重み値を算出し、前記重み付き期待値算出部が前記重み付き期待値を算出するステップを含む画像処理方法である。

本技術の第４の側面においては、入力画像上の対象位置とは異なる2点が、ジャギーが対象位置と逆相となる位置の候補である逆相候補位置対として、対象位置に対して点対象に選択され、逆相候補位置対となる2点間の画像の相似度に基づく重み値が算出され、入力画像上の逆相候補位置の画素と重み値とに基づいて、重み付き期待値が算出される。

本技術によれば、より簡単かつ確実に画像のジャギーを低減させることができる。

画像処理装置の一実施の形態の構成例を示す図である。 ジャギー低減処理を説明するフローチャートである。 順相候補画素と逆相候補画素の位置について説明する図である。 順相候補画素と逆相候補画素の位置について説明する図である。 画像処理装置の他の構成例を示す図である。 ジャギー低減処理を説明するフローチャートである。 近傍画素の位置について説明する図である。 画像処理装置の他の構成例を示す図である。 ジャギー低減処理を説明するフローチャートである。 逆相候補画素の位置について説明する図である。 画像処理装置の他の構成例を示す図である。 ジャギー低減処理を説明するフローチャートである。 近傍画素の位置について説明する図である。 画像処理装置の他の構成例を示す図である。 逆相画像推定部の構成例を示す図である。 ジャギー低減処理を説明するフローチャートである。 入力画像を用いた重み値算出処理を説明するフローチャートである。 平滑化画像を用いた重み値算出処理を説明するフローチャートである。 画像処理装置の他の構成例を示す図である。 ジャギー低減処理を説明するフローチャートである。 画像処理装置の主な構成例を示すブロック図である。 逆相画像推定部の主な構成例を示すブロック図である。 角相似度算出部の主な構成例を示すブロック図であ ジャギー低減処理の流れの例を説明するフローチャートである。 逆相画像推定処理の流れの例を説明するフローチャートである。 角相似度算出処理の流れの例を説明するフローチャートである。 仮ジャギー低減処理の様子の例を示す図である。 sobelフィルタベースの方向推定の様子の例を説明する図である。 gradMinベースの方向推定の水平方向探索の様子の例を説明する図である。 gradMinベースの方向推定の垂直方向探索の様子の例を説明する図である。 仮ジャギー低減ブロックの例を示す図である。 相対座標の算出と、平行判定の様子の例を説明する図である。 gainとoffsetについて説明する図である。 補正の様子を示す図である。 逆相画像推定部の主な構成例を示すブロック図である。 逆相画像推定部４０１により実行される逆相画像推定処理について説明するフローチャートである。 画像処理装置の他の構成例を示すブロック図である。 逆相画像推定部５０１の主な構成例を示すブロック図である。 ジャギー低減処理の流れの例を説明するフローチャートである。 逆相画像推定処理の流れの例を説明するフローチャートである。 逆相画像推定部の、さらに他の構成例を示すブロック図である。 逆相画像推定処理について説明するフローチャートである。 逆相候補位置対の選択の様子の例を示す図である。 逆相画像推定部の主な構成例を示すブロック図である。 逆相画像推定処理について説明するフローチャートである。 近傍位置対の選択の様子の例を説明する図である。 逆相画像推定部８０１の主な構成例を示すブロック図である。 逆相画像推定処理について説明するフローチャートである。 コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
［画像処理装置の構成例］
図１は、本技術を適用した画像処理装置の一実施の形態の構成例を示す図である。

この画像処理装置１１は、例えば、画像の印刷や表示を行なう場合などに、画像を拡大させたり、画素の間引きなどにより画像を縮小させたりするときに発生するジャギーを低減させるものである。すなわち、画像処理装置１１は、供給された入力画像を、入力画像上のジャギーが低減された出力画像に変換して出力するものである。

画像処理装置１１は、逆相画像推定部２１および平均部２２から構成される。逆相画像推定部２１は、供給された入力画像に基づいて、入力画像におけるジャギー成分の位相のみが反転された逆相画像を生成し、平均部２２に供給する。

逆相画像推定部２１は、対象位置選択部３１、順相候補位置選択部３２、逆相候補位置選択部３３、相似度算出部３４、重み値算出部３５、および重み付き期待値算出部３６を備えている。

対象位置選択部３１は、供給された入力画像の画素位置を順番に対象位置として選択し、選択された位置にある画素（以下、対象画素とも称する）を中心とする所定の領域内の各画素を相似度算出部３４に供給する。なお、以下、対象画素を中心とする所定の領域を、対象ブロックとも称することとする。

順相候補位置選択部３２は、供給された入力画像上において、対象位置に対して所定の位置関係にあるいくつかの位置を順相候補位置として選択する。順相候補位置選択部３２は、順相候補位置ごとに、順相候補位置にある画素（以下、順相候補画素とも称する）を中心とする所定の領域内の各画素を相似度算出部３４に供給する。

なお、以下、順相候補画素を中心とする所定の領域を、順相候補ブロックとも称する。順相候補ブロックは、対象ブロックと同じ大きさであり、かつ対象ブロックとジャギーが同じ位相となる領域（画像）の候補となる領域である。

逆相候補位置選択部３３は、供給された入力画像上において、対象位置と順相候補位置との間にある位置を逆相候補位置として選択し、逆相候補位置にある画素（以下、逆相候補画素とも称する）を重み付き期待値算出部３６に供給する。この逆相候補画素は、対象画素とジャギーが逆の位相となる画素の候補となる画素である。

相似度算出部３４は、対象位置選択部３１から供給された対象ブロックと、順相候補位置選択部３２から供給された順相候補ブロックとの相似度を算出し、重み値算出部３５に供給する。相似度算出部３４では、１つの対象位置に対して選択された、複数の順相候補位置（順相候補ブロック）ごとに相似度が算出される。重み値算出部３５は、相似度算出部３４から供給された相似度に基づいて重み値を算出し、重み付き期待値算出部３６に供給する。

重み付き期待値算出部３６は、逆相候補位置選択部３３からの逆相候補画素と、重み値算出部３５からの重み値とに基づいて、対象位置に対する重み付き期待値を算出することで逆相画像を生成し、平均部２２に供給する。

また、平均部２２は、重み付き期待値算出部３６から供給された逆相画像と、供給された入力画像との平均画像を求めることで出力画像を生成し、出力する。

［ジャギー低減処理の説明］
ところで、画像処理装置１１に入力画像が供給され、入力画像に対するジャギーの低減が指示されると、画像処理装置１１はジャギー低減処理を行って出力画像を生成する。以下、図２のフローチャートを参照して、画像処理装置１１によるジャギー低減処理について説明する。

ステップＳ１１において、対象位置選択部３１は、供給された入力画像上の１つの画素位置を対象位置として選択する。例えば、入力画像上の各画素位置がラスタ順に順次、選択されていく。対象位置選択部３１は、選択した対象位置を中心とする対象ブロックを入力画像から抽出し、相似度算出部３４に供給する。

ステップＳ１２において、順相候補位置選択部３２は、入力画像における対象位置に対する順相候補位置を選択し、供給された入力画像から順相候補位置を中心とする順相候補ブロックを抽出して相似度算出部３４に供給する。

ステップＳ１３において、逆相候補位置選択部３３は、入力画像上において対象位置と順相候補位置とを結ぶ線分の中点となる画素位置を逆相候補位置として選択し、供給された入力画像から逆相候補画素を抽出して重み付き期待値算出部３６に供給する。

例えば、図３に示すように、入力画像上の所定の位置にある画素ＧＯ１１（以下、対象画素ＧＯ１１と称する）が対象画素として選択されたとする。図３の例では、入力画像上の図中、斜線部分の領域が所定の被写体の領域であり、対象画素ＧＯ１１は、この斜線部分の領域のエッジ部分に位置している。

このとき、入力画像にける図中、横方向をｘ方向（水平方向）とし、縦方向をｙ方向（垂直方向）とすると、順相候補位置選択部３２は、対象画素ＧＯ１１から図中、上下左右に２ライン（２画素）だけ離れたラインを順相画素探査ラインとする。すなわち、対象画素ＧＯ１１を含む水平ラインから２ラインだけ離れた水平ラインと、対象画素ＧＯ１１を含む垂直ラインから２ラインだけ離れた垂直ラインとが、順相画素探査ラインとされる。

図３の例では、対象画素ＧＯ１１から図中、上側および下側に２ラインだけ離れた水平方向のラインが、順相画素探査ラインＬＰ１１および順相画素探査ラインＬＰ１２とされている。また、対象画素ＧＯ１１から図中、左側および右側に２ラインだけ離れた垂直方向のラインが、順相画素探査ラインＬＰ１３および順相画素探査ラインＬＰ１４とされている。

そして、順相候補位置選択部３２は、これらの順相画素探査ラインＬＰ１１乃至順相画素探査ラインＬＰ１４上の所定の範囲内にある各画素を、順次、順相候補画素として選択する。したがって、１つの対象画素ＧＯ１１に対して、予め定められた数だけ順相候補画素が選択されることになる。図３の例では、順相画素探査ラインＬＰ１１上にある画素ＧＰ１１（以下、順相候補画素ＧＰ１１と称する）が順相候補画素として選択されている。

１つの対象画素ＧＯ１１に対しては、原理的に順相位置となりうる位置は限定されている。そのため、対象画素ＧＯ１１から２ラインだけ離れた水平ラインと垂直ラインを順相画素探査ラインとし、この順相画素探査ライン上の所定範囲を順相候補画素の探査範囲とすることで、探査範囲を狭め、演算量を低減させることができる。

このようにして順相候補画素が選択されると、逆相候補位置選択部３３は、対象画素ＧＯ１１と、順相画素探査ラインＬＰ１１乃至順相画素探査ラインＬＰ１４とから定まる範囲を探査範囲として、逆相候補画素を選択する。すなわち、逆相候補画素の探査範囲は、対象画素ＧＯ１１と、順相画素探査ラインＬＰ１１乃至順相画素探査ラインＬＰ１４のそれぞれとの中間に位置する水平または垂直なラインである逆相画素探査ラインＬＲ１１乃至逆相画素探査ラインＬＲ１４となる。

具体的には、例えば逆相候補位置選択部３３は、選択された順相候補画素ＧＰ１１と対象画素ＧＯ１１とを結ぶ線分の中点の位置にある画素ＧＲ１１（以下、逆相候補画素ＧＲ１１と称する）を、逆相候補画素として選択する。

ここで図４に示すように、順相候補画素ＧＰ１１と対象画素ＧＯ１１を結ぶ直線がｘ方向となす角度をθとし、対象画素ＧＯ１１の位置にｘｙ座標系の原点があるとすると、順相候補画素ＧＰ１１と対象画素ＧＯ１１を結ぶ直線は、ｙ＝ｘ×tanθで表される。また、対象画素ＧＯ１１と順相候補画素ＧＰ１１とのｙ方向（垂直方向）の距離は２（２画素）である。

したがって、対象画素ＧＯ１１と逆相候補画素ＧＲ１１とを結ぶ矢印τのｙ成分であるτｙは、τｙ＝（１／sinθ）×sinθ＝１となり、矢印τのｘ成分であるτｘは、τｘ＝（１／sinθ）×cosθ＝cotθとなる。この計算結果から、逆相候補画素ＧＲ１１の位置は、対象画素ＧＯ１１からｘ方向にcotθ、ｙ方向に１だけ離れた位置であると特定することができる。

以上のようにして選択された順相候補画素は、対象画素とジャギーが同じ位相（ジャギー順相）となる順相画素の候補である。順相画素近傍の領域の画像は、対象画素近傍の領域の画像と全く同じ画像であるので相似度が高くなる。

これに対して逆相候補画素は、対象画素とジャギーが逆の位相（ジャギー逆相）となる逆相画素の候補である。逆相画素近傍の領域の画像は、対象画素近傍の領域の画像と類似しているが、それらの画像は異なる画像であるため、対象画素と逆相候補画素との相似度から逆相画素を検出することは困難である。

逆相画像推定部２１では、入力画像におけるジャギー成分のみが逆相となる逆相画像が生成されるが、そのためには対象画素に対する逆相画素の画素値が必要となる。ところが、対象画素に対する逆相画素を直接検出することは困難である。

そこで、逆相候補位置選択部３３は、逆相画素は対象画素と順相画素の中間位置に存在するという特性を利用して、順相候補画素と対象画素との中間位置を逆相候補画素として抽出する。このように、順相候補画素に基づいて逆相候補画素を特定することで、対象画素に対してジャギー逆相となる画素の候補を容易に得ることができる。

図２のフローチャートの説明に戻り、ステップＳ１４において、相似度算出部３４は、対象位置選択部３１から供給された対象ブロックと、順相候補位置選択部３２から供給された順相候補ブロックとの相似度を算出し、重み値算出部３５に供給する。

例えば、相似度算出部３４は次式（１）を計算することで相似度を算出する。

なお、式（１）において、ｋおよびσは所定の定数であり、Ｄ２は次式（２）により示される関数である。

式（２）において、ｐは対象ブロック内の画素の位置を示しており、Ｉ（ｐ）は、その画素の画素値を示している。また、△ｐは、対象ブロックから順相候補ブロックまでの距離を示しており、Ωは対象ブロックに属す画素集合を示している。さらに、ＮΩは、対象ブロックに属す画素の数を示している。

式（２）により示されるＤ２は、対象ブロック内の画素と、その画素と同じ位置にある順相候補ブロック内の画素との差分の二乗の平均値である。したがって、対象ブロックと順相候補ブロックとの相似度が高いほど、式（１）の計算で得られる相似度の値は大きくなる。このようにして得られた相似度は、対象画素に対する逆相候補画素の逆相画素らしさ、つまり逆相位置の確からしさを示しているということができる。

相似度算出部３４は、複数の順相候補画素（順相候補ブロック）ごとに相似度を算出すると、それらの相似度を重み値算出部３５に供給する。

ステップＳ１５において、重み値算出部３５は、相似度算出部３４から供給された相似度ごとに、相似度に基づいて重み値を算出し、重み付き期待値算出部３６に供給する。

例えば、重み値算出部３５は、所定の範囲内で単調増加する関数に相似度を入力し、得られた値を重み値とする。なお、重み値は、相似度が大きいほど重み値が大きくなるように定められてもよく、例えば相似度がそのまま重み値とされてもよい。

ステップＳ１６において、重み付き期待値算出部３６は、逆相候補位置選択部３３からの逆相候補画素と、重み値算出部３５からの重み値とに基づいて、対象位置に対する重み付き期待値を算出する。

すなわち、重み付き期待値算出部３６は、１つの対象画素に対して選択された各順相候補画素の重み値を、それらの順相候補画素に対応する逆相候補画素の画素値に乗算し、重み値が乗算された画素値の総和を正規化することで、重み付き期待値を算出する。このようにして算出された重み付き期待値が、対象画素と同じ位置にある逆相画像の画素の画素値とされる。

ステップＳ１７において、画像処理装置１１は、入力画像上の全ての画素を対象画素として選択したか否かを判定する。

ステップＳ１７において、まだ全ての画素を選択していないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。すなわち、入力画像上の次の画素が対象位置にある対象画素として選択され、その対象画素と同じ位置にある逆相画像の画素の画素値が求められる。

これに対して、ステップＳ１７において全ての画素を選択したと判定された場合、重み付き期待値算出部３６は、ステップＳ１１乃至ステップＳ１６の処理で得られた逆相画像を平均部２２に供給し、処理はステップＳ１８に進む。

ステップＳ１８において、平均部２２は、重み付き期待値算出部３６からの逆相画像と、供給された入力画像とに基づいて出力画像を生成し、出力する。

例えば、逆相画像と入力画像の同じ位置にある画素の画素値の平均値が、それらの画素と同じ位置にある出力画像の画素の画素値とされる。このように、逆相画像と入力画像の平均画像を出力画像とすることで、入力画像からジャギー成分が除去された出力画像が得られる。出力画像が生成されると、ジャギー低減処理は終了する。

以上のようにして画像処理装置１１は、対象画素に対して上下左右の各方向に２ラインだけ離れた水平ラインまたは垂直ラインを探査範囲とし、順相候補画素を選択する。そして、画像処理装置１１は、対象画素近傍の領域と順相候補画素近傍の領域との相似度から重み値を算出し、対象画素と順相候補画素との位置関係から定まる逆相候補画素の画素値を、算出した重み値で重み付き加算して正規化することで、逆相画像を生成する。

このように、対象画素と順相候補画素の相似度に応じて、各逆相候補画素を重み付き加算することで、より簡単かつ確実に画像上に生じたジャギーを低減させることができる。

対象画素と順相候補画素の相似度を算出する処理は、対象画素と同じジャギー位相（順相）の画素、つまり順相画素をブロックマッチングにより探索することと等しい。したがって、画像処理装置１１による処理は、ブロックマッチングを利用してジャギーを低減させる処理であるともいうことができる。

ブロックマッチングを利用して画素補間を行なう従来の技術では、対象画素のジャギー位相が考慮されないので、間違った補間がされてしまう恐れがある。これに対し、画像処理装置１１では、ブロックマッチングにより順相画素を探索することで、入力画像の補正信号となるジャギー位相が逆転した逆相画像を簡単かつ確実に得ることができる。つまり、対象画素に対する適切な補正信号を探索することができる。

また、画像処理装置１１による処理は、ブロックマッチングを利用した処理であるので、局所オペレータが対応できない角度のジャギーも低減でき、入力画像のフレーム内で処理が完結するため、ジャギーの低減に複数フレームの画像を必要としない。

さらに、画像処理装置１１では、ブロックマッチングによる順相画素の探索は、対象画素の上下方向に位置する２つの水平ラインと、対象画素の左右方向に位置する２つの垂直ラインを探査範囲として行なわれる。

例えば、入力画像が所定の画像を２倍に拡大して得られた画像である場合、原理上、対象画素から上下左右に２ラインだけ離れた水平ラインおよび垂直ラインの所定範囲を順相画素の探査範囲とすることで、あらゆる角度のジャギーに対応可能である。

一方、ブロックマッチングを利用して画素補間を行なう従来の技術では、水平２ラインのみが探査範囲とされるため、順相画素を確実に探索することができない場合があった。しかも、それらの２つの水平ラインは互いに独立なラインではないため、エッジ端のような部分では、適切にジャギーを低減することができない。

〈第２の実施の形態〉
［画像処理装置の構成例］
なお、以上においては、相似度から重み値が算出されると説明したが、相似度の下限値を求め、重み値の算出時に下限値による閾値処理が行われるようにすることで、対象画素と全く異なる順相候補画素が重み付き期待値の算出から除外されるようにしてもよい。

そのような場合、画像処理装は、例えば図５に示すように構成される。なお、図５において、図１における場合と対応する部分には同一の符号を付してあり、その説明は省略する。

図５の画像処理装置６１は、逆相画像推定部７１および平均部２２から構成される。

逆相画像推定部７１は、供給された入力画像から逆相画像を生成し、平均部２２に供給する。逆相画像推定部７１は、対象位置選択部３１、順相候補位置選択部３２、逆相候補位置選択部３３、相似度算出部３４、重み付き期待値算出部３６、近傍位置選択部８１、相似度算出部８２、相似度下限値算出部８３、および重み値算出部８４を備えている。

近傍位置選択部８１は、入力画像上において、処理対象となっている対象位置の上下左右に隣接する４つの画素位置を近傍位置として選択し、各近傍位置にある画素を中心とする対象ブロックと同じ大きさの領域を近傍ブロックとして相似度算出部８２に供給する。なお、以下、入力画像上の近傍位置にある画素を近傍画素とも称する。

相似度算出部８２は、対象位置選択部３１から供給された対象ブロックと、近傍位置選択部８１から供給された近傍ブロックとの相似度を算出し、相似度下限値算出部８３に供給する。相似度算出部８２では、１つの対象位置に対して選択された、４つの近傍位置ごとに相似度が算出される。

相似度下限値算出部８３は、相似度算出部８２から供給された４つの相似度に基づいて、相似度の１つの下限値を算出し、重み値算出部８４に供給する。重み値算出部８４は、相似度算出部３４からの相似度と、相似度下限値算出部８３からの下限値とに基づいて、重み値を算出し、重み付き期待値算出部３６に供給する。

［ジャギー低減処理の説明］
次に、図６のフローチャートを参照して、画像処理装置６１によるジャギー低減処理について説明する。なお、ステップＳ４１およびステップＳ４２の処理は、図２のステップＳ１１およびステップＳ１２の処理と同様であるため、その説明は省略する。但し、ステップＳ４１では、対象位置選択部３１は、選択された対象位置を中心とする対象ブロックを、相似度算出部３４および相似度算出部８２に供給する。

ステップＳ４３において、近傍位置選択部８１は、入力画像上の対象位置の上下左右に隣接する４つの近傍画素の位置を近傍位置として選択し、各近傍画素を中心とする近傍ブロックを相似度算出部８２に供給する。

例えば、図７に示すように、対象画素ＧＯ１１の図中、上下左右のそれぞれに隣接する画素である近傍画素ＧＫ１１乃至近傍画素ＧＫ１４が選択される。そして、これらの近傍画素ＧＫ１１乃至近傍画素ＧＫ１４のそれぞれを中心とする近傍ブロックが、相似度算出部８２に供給される。

なお、図７において、図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

このようにして選択された各近傍ブロックは、対象ブロックの領域の画像と類似しているが、対象ブロックの画像とは異なる画像であり、対象位置に対する順相候補ブロックとして選択されるのに不適切な領域である。そのため、このような不適切な領域を順相候補ブロックとして、順相候補ブロックに対応する逆相候補画素を用いて重み付き期待値を算出すると、正しく逆相画像を得ることができず、かえって出力画像の画質が劣化してしまうことがある。

そこで、画像処理装置６１は、このような近傍ブロックの相似度を算出して相似度の下限値を求める。そして、画像処理装置６１は、相似度が求めた下限値以下となる順相候補ブロックは不適切なブロックであるとして、その順相候補ブロックに対応する逆相候補画素が、重み付き期待値の算出から実質的に排除されるようにする。

図６のフローチャートの説明に戻り、近傍ブロックが抽出されて相似度算出部８２に供給されると、処理はステップＳ４３からステップＳ４４に進む。そして、その後、ステップＳ４４およびステップＳ４５の処理が行なわれる。

すなわち、ステップＳ４４で各順相候補位置に対する逆相候補位置が選択されて逆相候補画素が逆相候補位置選択部３３から重み付き期待値算出部３６に供給される。そして、ステップＳ４５で、各順相候補ブロックと対象ブロックとの相似度が算出され、各順相候補位置の相似度が相似度算出部３４から重み値算出部８４に供給される。

なお、ステップＳ４４およびステップＳ４５の処理は、図２のステップＳ１３およびステップＳ１４の処理と同様であるので、その説明は省略する。

ステップＳ４６において、相似度算出部８２は、対象位置選択部３１から供給された対象ブロックと、近傍位置選択部８１から供給された近傍ブロックとの相似度を算出し、相似度下限値算出部８３に供給する。例えば、上述した式（１）と同様の計算が行なわれて、各近傍ブロックの相似度が算出される。

ステップＳ４７において、相似度下限値算出部８３は、相似度算出部８２から供給された各近傍ブロックの相似度に基づいて相似度の下限値を算出し、重み値算出部８４に供給する。例えば、下限値は、４つの相似度の最大値、最小値、または期待値などとされる。なお、下限値の算出は、４つの近傍ブロックの相似度を反映させることが本質であり、それらの相似度から代表値を得ることのできる演算であれば、どのような方法で下限値が算出されるようにしてもよい。

ステップＳ４８において、重み値算出部８４は、相似度算出部３４からの各順相候補ブロックの相似度と、相似度下限値算出部８３からの下限値とに基づいて、相似度ごとに重み値を算出し、重み付き期待値算出部３６に供給する。

例えば、重み値算出部８４は次式（３）の演算を行なうことで重み値を算出する。

すなわち、相似度が下限値よりも大きい場合、相似度と下限値の差が重み値とされ、相似度が下限値以下である場合、重み値は０とされる。換言すれば、相似度が下限値により閾値処理されて重み値が算出される。

重み値が算出されると、その後、ステップＳ４９乃至ステップＳ５１の処理が行なわれてジャギー低減処理は終了するが、これらの処理は図２のステップＳ１６乃至ステップＳ１８の処理と同様であるため、その説明は省略する。

以上のようにして、画像処理装置６１は、逆相画像の生成時において、対象位置の上下左右（水平方向および垂直方向）に隣接する各近傍画素を中心とする近傍ブロックの相似度を求め、これらの相似度から下限値を算出する。そして、画像処理装置６１は、得られた下限値に基づいて不適切な逆相候補画素の重み値を０とし、実質的に重み付き期待値の算出に用いられないようにする。

このようにして相似度の下限値を決定することで、そもそも全く異なる画像を補正信号として選択するような失敗を回避することができる。これにより、入力画像に対するジャギー低減処理において、入力画像の細かい振幅の模様がつぶれてしまうような副作用を抑えることができ、より高品質な出力画像を得ることができる。

〈第３の実施の形態〉
［画像処理装置の構成例］
なお、以上においては、対象位置と順相候補位置との相似度に基づいて逆相候補画素の重み値を算出すると説明したが、逆相候補画素を中心とするブロックに基づいて、重み値を算出するようにしてもよい。

そのような場合、画像処理装置は例えば図８に示すように構成される。

図８の画像処理装置１１１は、平滑化部１２１、逆相画像推定部１２２、および平均部２２から構成される。なお、図８において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

平滑化部１２１は、供給された入力画像を平滑化し、その結果得られた平滑化画像を逆相画像推定部１２２に供給する。

逆相画像推定部１２２は、平滑化部１２１からの平滑化画像と、供給された入力画像とに基づいて逆相画像を生成し、平均部２２に供給する。逆相画像推定部１２２は、対象位置選択部１３１、逆相候補位置選択部１３２、逆相候補位置選択部１３３、相似度算出部１３４、重み値算出部１３５、および重み付き期待値算出部１３６を備えている。

対象位置選択部１３１は、平滑化部１２１からの平滑化画像上の画素位置を順次、対象位置として選択し、対象位置にある画素を中心とする対象ブロックを相似度算出部１３４に供給する。逆相候補位置選択部１３２は、平滑化部１２１からの平滑化画像上において、対象位置と所定の位置関係にあるいくつかの位置を逆相候補位置として選択し、逆相候補位置を中心とする所定の領域を逆相候補ブロックとして相似度算出部１３４に供給する。ここで、逆相候補ブロックは、対象ブロックと同じ大きさのブロックである。

逆相候補位置選択部１３３は、供給された入力画像における、逆相候補位置選択部１３２により選択された逆相候補位置にある画素を逆相候補画素として重み付き期待値算出部１３６に供給する。なお、以下、逆相候補位置選択部１３２により選択された平滑化画像上の逆相候補画素を、適宜、平滑逆相候補画素とも称し、逆相候補位置選択部１３３により選択された入力画像上の逆相候補画素を、適宜、入力逆相候補画素とも称する。

相似度算出部１３４は、対象位置選択部１３１からの対象ブロックと、逆相候補位置選択部１３２からの逆相候補ブロックとの相似度を算出し、重み値算出部１３５に供給する。重み値算出部１３５は、相似度算出部１３４から供給された相似度に基づいて重み値を算出し、重み付き期待値算出部１３６に供給する。重み付き期待値算出部１３６は、逆相候補位置選択部１３３からの逆相候補画素と、重み値算出部１３５からの重み値とに基づいて、対象位置の重み付き期待値を算出することで、逆相画像を生成する。

［ジャギー低減処理の説明］
次に、図９のフローチャートを参照して、画像処理装置１１１によるジャギー低減処理について説明する。

ステップＳ８１において、平滑化部１２１は、供給された入力画像に対して低周波フィルタを用いたフィルタ処理等を行なうことで入力画像を平滑化し、その結果得られた平滑化画像を対象位置選択部１３１および逆相候補位置選択部１３２に供給する。

入力画像を平滑化することは、入力画像から低周波成分を抽出することであるから、平滑化画像は、入力画像の低周波成分の画像であるということができる。

ステップＳ８２において、対象位置選択部１３１は、平滑化部１２１からの平滑化画像上の１つの画素位置を対象位置として選択し、対象ブロックを相似度算出部１３４に供給する。例えば、平滑化画像上の各画素位置がラスタ順に順次、選択されていく。

ステップＳ８３において、逆相候補位置選択部１３２は、平滑化部１２１からの平滑化画像における対象位置に対する逆相候補位置を選択し、供給された平滑化画像から逆相候補位置を中心とする逆相候補ブロックを抽出して相似度算出部１３４に供給する。ここで、逆相候補ブロックは、対象ブロックと同じ大きさのブロックである。

また、逆相候補位置選択部１３３は、入力画像上の平滑逆相候補画素と同じ位置にある画素を入力逆相候補画素として選択し、入力逆相候補画素を重み付き期待値算出部１３６に供給する。つまり、入力画像と平滑化画像の同じ位置が逆相候補位置として選択される。

例えば、図１０に示すように、平滑化画像上の所定の位置にある画素ＧＯ２１（以下、対象画素ＧＯ２１と称する）が対象画素として選択されたとする。なお、図１０において、横方向および縦方向はｘ方向およびｙ方向を示している。

逆相候補位置選択部１３２は、対象画素ＧＯ２１から図中、上下左右に１ライン（１画素）だけ離れたラインを逆相画素探査ラインとする。すなわち、対象画素ＧＯ２１を含む水平ラインから１ラインだけ離れた水平ラインと、対象画素ＧＯ２１を含む垂直ラインから１ラインだけ離れた垂直ラインとが、逆相画素探査ラインとされる。

図１０の例では、対象画素ＧＯ２１から図中、上側および下側に１ラインだけ離れた水平方向のラインが、逆相画素探査ラインＬＲ２１および逆相画素探査ラインＬＲ２２とされている。また、対象画素ＧＯ２１から図中、左側および右側に１ラインだけ離れた垂直方向のラインが、逆相画素探査ラインＬＲ２３および逆相画素探査ラインＬＲ２４とされている。

逆相候補位置選択部１３２は、これらの逆相画素探査ラインＬＲ２１乃至逆相画素探査ラインＬＲ２４上の所定の範囲内にある各画素を、順次、逆相候補画素として選択する。したがって、１つの対象画素ＧＯ２１に対して、予め定められた数だけ逆相候補画素が選択されることになる。図１０の例では、逆相画素探査ラインＬＲ２１上にある画素ＧＲ２１が逆相候補画素として選択されている。

図９のフローチャートの説明に戻り、逆相候補位置が選択されると、処理はステップＳ８３からステップＳ８４に進む。そして、その後、ステップＳ８４乃至ステップＳ８８の処理が行なわれてジャギー低減処理は終了するが、これらの処理は図２のステップＳ１４乃至ステップＳ１８の処理と同様であるため、その説明は省略する。

但し、ステップＳ８４では、上述した式（１）および式（２）と同様の計算が行なわれ、逆相候補ブロックと対象ブロックとの相似度が算出される。

以上のようにして、画像処理装置１１１は、平滑化画像上の対象ブロックと逆相候補ブロックとの相似度を求め、相似度から求まる重み値を用いて重み付き期待値を算出する。

このように平滑化画像を用いれば、対象位置近傍の画像と逆相候補位置近傍の画像との相似度から、それらの画像が同じ模様の画像であるかを判定し、適切な逆相画像を得ることができる。すなわち、入力画像上の逆相候補位置近傍の画像は、本来、対象位置に対してジャギー位相が反転しているので相似度が正しく得られない。しかし、入力画像の低周波成分を抽出し、ジャギーを低減させた状態で逆相候補位置における相似度を算出すれば、得られた相似度から、入力画像上の逆相候補位置近傍の画像が、入力画像の対象位置近傍の画像とジャギー位相が逆転した画像であるかを、より確実に特定することができる。

〈第４の実施の形態〉
［画像処理装置の構成例］
また、図８に示したように、逆相候補ブロックと対象ブロックとの相似度から、各逆相候補画素の重み値を算出する場合においても、相似度の下限値を用いて重み値の算出を行なうようにしてもよい。

そのような場合、画像処理装置は、例えば図１１に示すように構成される。

すなわち、図１１の画像処理装置１６１は、平滑化部１２１、逆相画像推定部１７１、および平均部２２から構成される。なお、図１１において、図８における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

逆相画像推定部１７１は、平滑化部１２１からの平滑化画像と、供給された入力画像とに基づいて逆相画像を生成し、平均部２２に供給する。逆相画像推定部１７１は、対象位置選択部１３１、逆相候補位置選択部１３２、逆相候補位置選択部１３３、相似度算出部１３４、重み付き期待値算出部１３６、近傍位置選択部１８１、相似度算出部１８２、相似度下限値算出部１８３、および重み値算出部１８４を備えている。

ここで、近傍位置選択部１８１乃至重み値算出部１８４は、図５の近傍位置選択部８１乃至重み値算出部８４と同様の処理を行なう。但し、近傍位置選択部１８１乃至重み値算出部１８４では、平滑化画像上の対象位置に隣接する近傍位置の近傍ブロックが抽出され、この近傍ブロックと対象ブロックとの相似度が算出される。

［ジャギー低減処理の説明］
次に、図１２のフローチャートを参照して、画像処理装置１６１によるジャギー低減処理について説明する。なお、ステップＳ１１１乃至ステップＳ１１３の処理は、図９のステップＳ８１乃至ステップＳ８３の処理と同様であるため、その説明は省略する。

但し、ステップＳ１１１では、平滑化部１２１は、平滑化画像を対象位置選択部１３１、逆相候補位置選択部１３２、および近傍位置選択部１８１に供給する。また、ステップＳ１１２では、対象位置選択部１３１は、対象ブロックを相似度算出部１３４および相似度算出部１８２に供給する。

ステップＳ１１４において、近傍位置選択部１８１は、平滑化部１２１から供給された平滑化画像上の対象位置の上下左右に隣接する４つの近傍画素の位置を近傍位置として選択し、各近傍画素を中心とする近傍ブロックを相似度算出部１８２に供給する。

例えば、図１３に示すように、平滑化画像における対象画素ＧＯ２１の図中、上下左右のそれぞれに隣接する画素である近傍画素ＧＫ２１乃至近傍画素ＧＫ２４が選択される。そして、これらの近傍画素ＧＫ２１乃至近傍画素ＧＫ２４のそれぞれを中心とする近傍ブロックが、相似度算出部１８２に供給される。

なお、図１３において、図１０における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１２のフローチャートの説明に戻り、近傍ブロックが抽出されて相似度算出部１８２に供給されると、処理はステップＳ１１４からステップＳ１１５に進む。そして、ステップＳ１１５において、各逆相候補ブロックと対象ブロックとの相似度が算出され、得られた相似度が相似度算出部１３４から重み値算出部１８４に供給される。なお、ステップＳ１１５の処理は、図９のステップＳ８４の処理と同様であるので、その説明は省略する。

ステップＳ１１６において、相似度算出部１８２は、対象位置選択部１３１から供給された対象ブロックと、近傍位置選択部１８１から供給された近傍ブロックとの相似度を算出し、相似度下限値算出部１８３に供給する。例えば、上述した式（１）および式（２）と同様の計算が行なわれて、各近傍ブロックの相似度が算出される。

ステップＳ１１７において、相似度下限値算出部１８３は、相似度算出部１８２から供給された各近傍ブロックの相似度に基づいて相似度の下限値を算出し、重み値算出部１８４に供給する。なお、ステップＳ１１７では、図６のステップＳ４７と同様の処理が行なわれる。

ステップＳ１１８において、重み値算出部１８４は、相似度算出部１３４からの各逆相候補ブロックの相似度と、相似度下限値算出部１８３からの下限値とに基づいて、相似度ごとに重み値を算出し、重み付き期待値算出部１３６に供給する。例えば、重み値算出部１８４は上述した式（３）の演算を行なうことで重み値を算出する。

重み値が算出されると、その後、ステップＳ１１９乃至ステップＳ１２１の処理が行なわれてジャギー低減処理は終了するが、これらの処理は図９のステップＳ８６乃至ステップＳ８８の処理と同様であるため、その説明は省略する。

以上のようにして、画像処理装置１６１は、対象位置の上下左右（水平方向および垂直方向）に隣接する各近傍画素を中心とする近傍ブロックの相似度を求め、これらの相似度から下限値を算出する。そして、画像処理装置１６１は、得られた下限値に基づいて不適切な逆相候補画素の重み値を０とする。このようにして相似度の下限値を決定することで、より高品質な出力画像を得ることができる。

〈第５の実施の形態〉
［画像処理装置の構成例］
さらに、画像処理装置において、順相候補ブロックから得られた重み値と、逆相候補ブロックから得られた重み値とから、逆相候補画素の最終的な重み値を算出するようにしてもよい。そのような場合、画像処理装置は例えば図１４に示すように構成される。

図１４の画像処理装置２１１は、平滑化部１２１、逆相画像推定部２２１、および平均部２２から構成される。なお、図１４において、図１１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

逆相画像推定部２２１は、平滑化部１２１からの平滑化画像と、供給された入力画像とに基づいて入力画像上の各逆相候補画素の重み値を算出して、重み値と逆相候補画素とから重み付き期待値を算出することで逆相画像を生成し、平均部２２に供給する。

［逆相画像推定部の構成例］
また、図１４の逆相画像推定部２２１は、より詳細には例えば図１５に示すように構成される。なお、図１５において、図５または図１１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

逆相画像推定部２２１は、対象位置選択部３１、順相候補位置選択部３２、逆相候補位置選択部３３、相似度算出部３４、近傍位置選択部８１、相似度算出部８２、相似度下限値算出部８３、重み値算出部８４、対象位置選択部１３１、逆相候補位置選択部１３２、相似度算出部１３４、近傍位置選択部１８１、相似度算出部１８２、相似度下限値算出部１８３、重み値算出部１８４、および重み付き期待値算出部２３１を備えている。

対象位置選択部３１、順相候補位置選択部３２、相似度算出部３４、近傍位置選択部８１、相似度算出部８２、相似度下限値算出部８３、および重み値算出部８４は、図５の画像処理装置６１におけるそれらのブロックと同様の処理を行なう。すなわち、順相候補ブロックが用いられて各逆相候補画素の重み値が算出される。重み値算出部８４は、算出した重み値を重み付き期待値算出部２３１に供給する。

また、対象位置選択部１３１、逆相候補位置選択部１３２、相似度算出部１３４、近傍位置選択部１８１、相似度算出部１８２、相似度下限値算出部１８３、および重み値算出部１８４は、図１１の画像処理装置１６１におけるそれらのブロックと同様の処理を行なう。すなわち、逆相候補ブロックが用いられて各逆相候補画素の重み値が算出される。重み値算出部１８４は、算出した重み値を重み付き期待値算出部２３１に供給する。

重み付き期待値算出部２３１は、重み値算出部８４からの重み値と、重み値算出部１８４からの重み値とに基づいて最終的な重み値を算出し、最終的な重み値と、逆相候補位置選択部３３からの逆相候補画素とに基づいて重み付き期待値を算出する。重み付き期待値算出部２３１は、重み付き期待値の算出により得られた逆相画像を平均部２２に供給する。

［ジャギー低減処理の説明］
次に、図１６のフローチャートを参照して、画像処理装置２１１によるジャギー低減処理について説明する。

ステップＳ１５１において、平滑化部１２１は供給された入力画像を平滑化し、得られた平滑化画像を対象位置選択部１３１、逆相候補位置選択部１３２、および近傍位置選択部１８１に供給する。

ステップＳ１５２において、逆相画像推定部２２１は、入力画像を用いた重み値算出処理を行い、得られた重み値を重み付き期待値算出部２３１に供給する。そして、ステップＳ１５３において、逆相画像推定部２２１は、平滑化画像を用いた重み値算出処理を行い、得られた重み値を重み付き期待値算出部２３１に供給する。

なお、入力画像を用いた重み値算出処理、および平滑化画像を用いた重み値算出処理の詳細は後述する。

ステップＳ１５４において、逆相候補位置選択部３３は、供給された入力画像から逆相候補位置を選択し、入力画像上の逆相候補位置にある逆相候補画素を重み付き期待値算出部２３１に供給する。例えば、逆相候補画素として、対象位置選択部３１により選択された対象画素と、順相候補位置選択部３２により選択された順相候補画素とを結ぶ線分の中点の位置にある入力画像上の画素が逆相候補画素として選択される。

ステップＳ１５５において、重み付き期待値算出部２３１は、重み値算出部８４からの重み値、重み値算出部１８４からの重み値、および逆相候補位置選択部３３からの逆相候補画素に基づいて重み付き期待値を算出する。

例えば、重み付き期待値算出部２３１は、重み値算出部８４からの重み値と、重み値算出部１８４からの重み値との積を求め、得られた値を最終的な重み値とする。そして、重み付き期待値算出部２３１は、最終的な重み値と逆相候補画素とから、図２のステップＳ１６と同様の処理を行なって、対象位置の重み付き期待値を算出する。このようにして算出された重み付き期待値が、対象画素と同じ位置にある逆相画像の画素の画素値とされる。

重み付き期待値が算出されると、その後、ステップＳ１５６およびステップＳ１５７の処理が行なわれてジャギー低減処理は終了するが、これらの処理は図２のステップＳ１７およびステップＳ１８の処理と同様であるので、その説明は省略する。

このようにして画像処理装置２１１は、順相候補ブロックを用いて得られた重み値と、逆相候補ブロックを用いて得られた重み値とから最終的な重み値を算出し、最終的な重み値を用いて逆相画像を生成する。このように、２つの重み値から最終的な重み値を算出することで、より適切な重み値を得ることができ、より確実に画像のジャギーを低減させることができる。

［入力画像を用いた重み値算出処理の説明］
続いて、図１７のフローチャートを参照して、図１６のステップＳ１５２の処理に対応する入力画像を用いた重み値算出処理について説明する。

なお、ステップＳ１８１乃至ステップＳ１８３の処理は、図６のステップＳ４１乃至ステップＳ４３の処理と同様であるので、その説明は省略する。

ステップＳ１８４において、相似度算出部３４は、対象位置選択部３１からの対象ブロックと、順相候補位置選択部３２からの順相候補ブロックとに基づいて、順相候補ブロックと対象ブロックとの相似度を算出し、重み値算出部８４に供給する。例えば、上述した式（１）の計算が行なわれて相似度が算出される。

ステップＳ１８５において、相似度算出部８２は、対象位置選択部３１から供給された対象ブロックと、近傍位置選択部８１から供給された近傍ブロックとの相似度を算出し、相似度下限値算出部８３に供給する。例えば、上述した式（１）と同様の計算が行なわれて、各近傍ブロックの相似度が算出される。

近傍ブロックの相似度が算出されると、その後、ステップＳ１８６およびステップＳ１８７の処理が行なわれて、入力画像を用いた重み値算出処理は終了するが、これらの処理は図６のステップＳ４７およびステップＳ４８の処理と同様であるので、その説明は省略する。

重み値算出部８４が算出した重み値を重み付き期待値算出部２３１に供給すると、入力画像を用いた重み値算出処理は終了し、その後、処理は図１６のステップＳ１５３に進む。

［平滑化画像を用いた重み値算出処理の説明］
さらに、図１８のフローチャートを参照して、図１６のステップＳ１５３の処理に対応する平滑化画像を用いた重み値算出処理について説明する。

なお、ステップＳ２１１乃至ステップＳ２１３の処理は、図１２のステップＳ１１２乃至ステップＳ１１４の処理と同様であるので、その説明は省略する。

但し、ステップＳ２１１では、対象位置選択部１３１により、対象位置選択部３１によって選択された対象位置と同じ位置にある平滑化画像上の位置が対象位置として選択される。また、ステップＳ２１２では、逆相候補位置選択部１３２により、逆相候補位置選択部３３によって選択された逆相候補位置と同じ位置にある平滑化画像上の位置が逆相候補位置として選択される。

ステップＳ２１４において、相似度算出部１３４は、対象位置選択部１３１からの対象ブロックと、逆相候補位置選択部１３２からの逆相候補ブロックとに基づいて、逆相候補ブロックと対象ブロックとの相似度を算出し、重み値算出部１８４に供給する。例えば、上述した式（１）と同様の計算が行なわれて相似度が算出される。

ステップＳ２１５において、相似度算出部１８２は、対象位置選択部１３１から供給された対象ブロックと、近傍位置選択部１８１から供給された近傍ブロックとの相似度を算出し、相似度下限値算出部１８３に供給する。例えば、上述した式（１）と同様の計算が行なわれて、各近傍ブロックの相似度が算出される。

近傍ブロックの相似度が算出されると、その後、ステップＳ２１６およびステップＳ２１７の処理が行なわれて、平滑化画像を用いた重み値算出処理は終了するが、これらの処理は図１２のステップＳ１１７およびステップＳ１１８の処理と同様であるので、その説明は省略する。

重み値算出部１８４が算出した重み値を重み付き期待値算出部２３１に供給すると、平滑化画像を用いた重み値算出処理は終了し、その後、処理は図１６のステップＳ１５４に進む。

以上のようにして、順相候補ブロックや逆相候補ブロック、近傍ブロックなどが用いられて、重み値が算出される。

〈第６の実施の形態〉
［画像処理装置の構成例］
さらに、入力画像がＲ，Ｇ，Ｂの各色の画像からなる場合に、輝度画像に対してジャギーの低減を行なった後、ジャギーの低減された輝度画像の高周波成分をＲ，Ｇ，Ｂの各色の画像に反映させるようにしてもよい。

そのような場合、画像処理装置は、例えば図１９に示すように構成される。

図１９の画像処理装置２６１は、平滑化部１２１、逆相画像推定部２２１、平均部２２、輝度算出部２７１、平滑化部２７２、平滑化部２７３、および高周波推定部２７４から構成される。なお、図１９において、図１４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

画像処理装置２６１では、入力画像としてＲ，Ｇ，Ｂの各色の画像（以下、Ｒ画像，Ｇ画像，Ｂ画像とも称する）が輝度算出部２７１および平滑化部２７２に供給される。

輝度算出部２７１は、供給された入力画像としてのＲ画像、Ｇ画像、およびＢ画像に基づいて、入力画像の各画素の輝度値を示す輝度画像を生成し、平滑化部１２１、逆相画像推定部２２１、および平均部２２に供給する。

平滑化部２７２は、供給されたＲ画像、Ｇ画像、およびＢ画像を平滑化し、高周波推定部２７４に供給する。平均部２２は、輝度算出部２７１からの輝度画像と、逆相画像推定部２２１からの逆相画像との平均画像を求めて補正輝度画像とし、平滑化部２７３および高周波推定部２７４に供給する。

平滑化部２７３は、平均部２２からの補正輝度画像を平滑化して高周波推定部２７４に供給する。高周波推定部２７４は、平均部２２からの補正輝度画像、平滑化部２７３からの平滑化された補正輝度画像、および平滑化部２７２からの入力画像に基づいて、Ｒ，Ｇ，Ｂの各色成分の画像からなる出力画像を生成し、出力する。

［ジャギー低減処理の説明］
次に、図２０のフローチャートを参照して、画像処理装置２６１によるジャギー低減処理について説明する。

ステップＳ２４１において、輝度算出部２７１は、供給された入力画像としてのＲ画像、Ｇ画像、およびＢ画像に基づいて輝度画像を生成し、平滑化部１２１、逆相画像推定部２２１、および平均部２２に供給する。

ステップＳ２４２において、平滑化部１２１は、輝度算出部２７１から供給された輝度画像を平滑化し、その結果得られた平滑化画像を逆相画像推定部２２１に供給する。

平滑化画像が生成されると、その後、ステップＳ２４３乃至ステップＳ２４７の処理が行なわれるが、これらの処理は図１６のステップＳ１５２乃至ステップＳ１５６の処理と同様であるのでその説明は省略する。但し、これらの処理では、入力画像に代えて輝度画像が処理に用いられる。

ステップＳ２４７において、全ての画素を選択したと判定されると、逆相画像推定部２２１から平均部２２には逆相画像が供給されて、処理はステップＳ２４８に進む。

ステップＳ２４８において、平均部２２は、逆相画像推定部２２１からの逆相画像と、輝度算出部２７１からの輝度画像とに基づいて補正輝度画像を生成し、平滑化部２７３および高周波推定部２７４に供給する。

ステップＳ２４９において、平滑化部２７３は、平均部２２からの補正輝度画像を平滑化して高周波推定部２７４に供給する。このような平滑化により、補正輝度画像の低周波成分が得られる。

ステップＳ２５０において、平滑化部２７２は、供給された入力画像としてのＲ画像、Ｇ画像、およびＢ画像を平滑化し、高周波推定部２７４に供給する。このような平滑化により、入力画像の低周波成分が得られる。

ステップＳ２５１において、高周波推定部２７４は、平均部２２からの補正輝度画像、平滑化部２７３からの平滑化された補正輝度画像、および平滑化部２７２からの入力画像に基づいて出力画像を生成し、出力する。

例えば、高周波推定部２７４は、平均部２２からの補正輝度画像を、平滑化部２７３からの補正輝度画像で画素ごとに除算し、その結果得られた値を平滑化部２７２からの入力画像としてのＲ画像、Ｇ画像、およびＢ画像に乗算する。このようにして得られたＲ画像、Ｇ画像、Ｂ画像の各色成分からなる画像が出力画像とされる。この出力画像は、入力画像の色を保存しつつ、入力画像の高周波成分が、ジャギーの低減された補正輝度画像に置き換えられた画像である。出力画像が生成されると、ジャギー低減処理は終了する。

以上のように、画像処理装置２６１は、入力画像から輝度画像を生成して、輝度画像の逆相画像を生成する。そして、画像処理装置２６１は、得られた逆相画像を用いて入力画像のジャギーを低減させる。このように、入力画像がいくつかの色成分の画像からなる場合に、輝度画像から逆相画像を生成することでも、入力画像から簡単かつ確実にジャギーを低減させることができる。

なお、この実施の形態では、輝度画像の逆相画像を生成する場合を例として説明したが、Ｒ、Ｇ、Ｂの各色の画像のそれぞれの逆相画像を生成し、各色の画像のジャギーを低減させるようにしてもよい。

また、上述した本技術は、撮像装置において画素間引きや画素加算した撮像結果を出力する場合に発生するジャギーの低減にも利用することができる。

〈第７の実施の形態〉
［画像処理装置の構成例］
以上に説明した相似度の代わりに角相似度を用いるようにしてもよい。図２１は、その場合の画像処理装置の主な構成例を示すブロック図である。

図２１に示される画像処理装置３００は、上述した各実施の形態の画像処理装置と同様の装置であり、供給された入力画像を、入力画像上のジャギーが低減された出力画像に変換して出力する。

画像処理装置３００は、逆相画像推定部３０１および平均部２２を有する。逆相画像推定部３０１は、供給された入力画像に基づいて、入力画像におけるジャギー成分の位相のみが反転された逆相画像を生成し、平均部２２に供給する。

［逆相画像推定部の構成例］
図２２は、逆相画像推定部３０１の主な構成例を示すブロック図である。図２２に示されるように、逆相画像推定部３０１は、対象位置選択部３１１、逆相候補位置選択部３１２、角相似度算出部３１３、重み値算出部３１４、および重み付き期待値算出部３６を備えている。

対象位置選択部３１１は、対象位置選択部３１と同様に、供給された入力画像の画素位置を順番に対象位置として選択する。対象位置選択部３１１は、選択された対象画素の座標（以下、対象位置座標とも称する）、および、その対象画素を中心とする対象ブロックを角相似度算出部３１３に供給する。

逆相候補位置選択部３１２は、逆相候補位置選択部１３２と同様に、対象位置と所定の位置関係にあるいくつかの位置を逆相候補位置として選択する。ただし、逆相候補位置選択部３１２は、供給された入力画像において、逆相候補位置を選択する。逆相候補位置選択部３１２は、選択された逆相候補位置の座標（以下、逆相候補位置座標とも称する）、および、その逆相候補位置を中心とする所定の領域（以下、逆相候補ブロックとも称する）を角相似度算出部３１３に供給する。ここで、逆相候補ブロックは、対象ブロックと同じ大きさのブロックである。なお、逆相候補位置選択部３１２は、逆相候補ブロックを重み付き期待値算出部３６にも供給する。

角相似度算出部３１３は、対象位置選択部３１１から供給された対象位置座標および対象ブロック、並びに、逆相候補位置選択部３１２から供給された逆相候補位置座標および逆相候補ブロックとを用いて角相似度を算出し、重み値算出部３１４に供給する。

角相似度は、対象ブロックにおけるジャギーの影響の無い真のエッジ方向と対象位置から見た逆相候補位置の方向との相似度である。

重み値算出部３１４は、角相似度算出部３１３から供給された角相似度に基づいて重み値を算出し、重み付き期待値算出部３６に供給する。重み付き期待値算出部３６は、逆相候補位置選択部３１２からの逆相候補ブロックと、重み値算出部３１４からの重み値とに基づいて、対象位置に対する重み付き期待値を算出することで逆相画像を生成し、平均部２２に供給する。

［角相似度算出部の構成例］
図２３は、角相似度算出部３１３の主な構成例を示すブロック図である。図２３に示されるように、角相似度算出部３１３は、仮ジャギー低減部３２１、エッジ方向推定部３２２、演算部３２３、平行判定部３２４、および角相似度演算部３２５を有する。

仮ジャギー低減部３２１は、対象位置選択部３１１から供給される対象ブロックと、逆相候補位置選択部３１２から供給される逆相候補ブロックとを用いて、ジャギーを簡易的に低減させる仮の処理を行う。仮ジャギー低減部３２１は、仮の処理により、ジャギーを簡易的に低減させた画像（以下、仮ジャギー低減ブロックとも称する）をエッジ方向推定部３２２に供給する。

エッジ方向推定部３２２は、仮ジャギー低減部３２１から供給された仮ジャギー低減ブロックにおけるエッジの方向を推定し、そのエッジ方向に関する情報を平行判定部３２４に供給する。

演算部３２３は、逆相候補位置座標から対象位置座標を減算し、対象位置を基準とする逆相候補位置の相対座標を算出し、その相対座標を平行判定部３２４に供給する。

平行判定部３２４は、エッジ方向推定部３２２から供給されるエッジ方向と、演算部３２３から供給される相対座標とを用いて、仮ジャギー低減ブロック（対象ブロック）におけるエッジ方向と、対象位置からみた逆相候補位置の方向とがどの程度平行であるかを判定する。より具体的には、平行判定部３２４は、そのエッジ方向と逆相候補位置の相対方向とがなす角の大きさを示すパラメータＤＡを算出する。平行判定部３２４は、算出したパラメータＤＡを角相似度演算部３２５に供給する。

角相似度演算部３２５は、平行判定部３２４から供給されたパラメータＤＡを用いて、角相似度を求める演算を行う。角相似度演算部３２５は、算出した角相似度を重み値算出部３１４（図２２）に供給する。

［ジャギー低減処理の流れ］
図２４のフローチャートを参照して、図２１の画像処理装置３００によるジャギー低減処理の流れの例を説明する。

ジャギー低減処理が開始されると、ステップＳ３０１において、逆相画像推定部３０１は、入力画像から逆相画像を推定する。ステップＳ３０２において、平均部２２は、ステップＳ３０１において推定された逆相画像と、入力画像とに基づいて出力画像を生成する。例えば、逆相画像と入力画像の同じ位置にある画素の画素値の平均値が、それらの画素と同じ位置にある出力画像の画素の画素値とされる。このように、逆相画像と入力画像の平均画像を出力画像とすることで、入力画像からジャギー成分が除去された出力画像が得られる。出力画像が生成されると、ジャギー低減処理は終了する。

［逆相画像推定処理の流れ］
図２５のフローチャートを参照して、図２４のステップＳ３０１において実行される逆相画像推定処理の流れの例を説明する。

逆相画像推定処理が開始されると、ステップＳ３２１において、対象位置選択部３１１は、対象位置選択部１３１の場合と同様に、入力画像上の１つの画素位置を対象位置として選択する。例えば、入力画像上の各画素位置がラスタ順に順次、選択されていく。対象位置選択部３１１は、選択した対象位置の座標（対象位置座標）を求め、さらに、対象位置を中心とする対象ブロックを抽出する。

ステップＳ３２２において、逆相候補位置選択部３１２は、入力画像における対象位置に対する逆相候補位置を選択する。逆相候補位置選択部３１２は、例えば、図１０を参照して説明した逆相候補位置選択部１３２の場合と同様に、対象画素ＧＯ２１から図中、上下左右に１ライン（１画素）だけ離れたラインを逆相画素探査ラインとする。逆相候補位置選択部１３２は、これらのライン（逆相画素探査ラインＬＲ２１乃至逆相画素探査ラインＬＲ２４）上の所定の範囲内にある各画素を、順次、逆相候補画素として選択する。

逆相候補位置選択部３１２は、選択した逆相候補位置の座標（逆相候補位置座標）を求め、さらに、逆相候補位置を中心とする逆相候補ブロックを抽出する。ここで、逆相候補ブロックは、対象ブロックと同じ大きさのブロックである。

ステップＳ３２３において、角相似度算出部３１３は、ステップＳ３２１の処理により得られた対象位置座標および対象ブロック、並びに、ステップＳ３２２の処理により得られた逆相候補位置座標および逆相候補ブロックを用いて、対象ブロックにおけるエッジ方向と、対象位置を基準とした逆相候補位置の方向との相似度である角相似度を算出する。

ステップＳ３２４において、重み値算出部３１４は、ステップＳ３２３の処理により得られた角相似度に基づいて重み値を算出する。例えば、重み値算出部３１４は、所定の範囲内で単調増加する関数に角相似度を入力し、得られた値を重み値とする。

例えば、重み値算出部３１４は、以下の式（４）の演算を行うことで重み値を算出する。

［重み値］＝

・・・（４）

なお、重み値は、角相似度が大きいほど重み値が大きくなるように定められてもよく、例えば角相似度がそのまま重み値とされてもよい。

ステップＳ３２５において、重み付き期待値算出部３６は、ステップＳ３２２の処理により得られた逆相候補ブロックと、ステップＳ３２４の処理により得られた重み値とに基づいて、対象位置に対する重み付き期待値を算出する。

すなわち、重み付き期待値算出部３６は、１つの対象画素に対して選択された各逆相候補画素の重み値を、その逆相候補ブロックの各画素値に乗算し、重み値が乗算された画素値の総和を正規化することで、重み付き期待値を算出する。このようにして算出された重み付き期待値が、対象画素と同じ位置にある逆相画像の画素の画素値とされる。

ステップＳ３２６において、対象位置選択部３１１は、入力画像上の全ての画素を対象画素として選択したか否かを判定する。未処理の画素が存在すると判定された場合、対象位置選択部３１１は、処理をステップＳ３２１に戻し、それ以降の処理を繰り返す。すなわち、入力画像上の次の画素が対象位置にある対象画素として選択され、その対象画素と同じ位置にある逆相画像の画素の画素値が求められる。

これに対して、ステップＳ３２６において全ての画素を選択したと判定された場合、対象位置選択部３１１は、逆相画像推定処理を終了し、処理を図２４に戻す。

［角相似度算出処理の流れ］
次に、図２６のフローチャートを参照して、図２５のステップＳ３２３において実行される角相似度算出処理の流れの例を説明する。

角相似度算出処理が開始されると、ステップＳ３４１において、仮ジャギー低減部３２１は、仮ジャギー低減処理を行い、逆相候補ブロックと対象ブロックとから、仮ジャギー低減ブロックを求める。

逆相候補ブロックと対象ブロックの対応する画素位置において、どちらか一方の画素値のみが有効である場合、仮ジャギー低減部３２１は、その有効な画素値を選択し、仮ジャギー低減ブロックの画素値とする。また、どちらの画素値も有効である場合、仮ジャギー低減部３２１は、両者の加算平均を求め、仮ジャギー低減ブロックの画素値とする。

図２７に仮ジャギー低減処理の様子の例を示す。例えば、図２７Ａにおいて、逆相候補ブロック３３１の白地の画素（c01,c10,c12,c21）が有効画素であり、斜線模様の画素（c00,c02,c11,c20,c22）が有効でない画素であるとする。また、対象ブロック３３２の白地の画素（t00,t02,t11,t20,t22）が有効画素であり、斜線模様の画素（t01,t10,t12,t21）が有効でない画素であるとする。

このような場合、仮ジャギー低減部３２１は、各画素位置において、有効画素である方の画素値（有効な画素値）を選択し、仮ジャギー低減ブロックの画素値とする。したがって、仮ジャギー低減ブロック３３３の画素値は、t00、c01、t02、c10、t11、c12、t20、c21、およびt22により構成される。

また、例えば、図２７Ｂに示されるように、逆相候補ブロック３４１の全ての画素（c00乃至c22）が有効画素であり、対象ブロック３４２の全ての画素（t00乃至t22）も有効画素であるとする。

このような場合、仮ジャギー低減部３２１は、各画素位置において、以下の式（５）のように両者の加算平均aTijを算出し、仮ジャギー低減ブロックの画素値とする。

・・・（５）

したがって、仮ジャギー低減ブロック３４３の画素値は、aT00、aT01、aT02、aT10、aT11、aT12、aT20、aT21、およびaT22により構成される。

他の実施の形態において上述した、画素位置毎の差分を用いた相似度算出部では、逆相候補位置画像と対象位置画像の対応する画素位置に有効画素がそろっていなければ差分計算することができなかった。これに対して、本手法の場合、仮ジャギー低減処理結果である仮ジャギー低減ブロックにローカルな方向判定に十分な画素がそろっていればよい。したがって、必ずしも仮ジャギー低減ブロックの全ての画素位置が有効である必要は無い。

図２６に戻り、ステップＳ３４２において、エッジ方向推定部３２２は、ステップＳ３４１の処理により得られた仮ジャギー低減ブロックのエッジ方向を推定する。

エッジ方向推定部３２２はエッジの大まかな向きを推定する。推定方法は任意であるが、例えば、sobelフィルタベースの方向推定やgradMinベースの方向推定などが考えられる。

sobelフィルタベースの方向推定について説明する。図２８は、sobelフィルタベースの方向推定の様子の例を説明する図である。図２８Ａに示されるように、３画素×３画素の仮ジャギー低減ブロックにおいて、白地部分と斜線模様の部分との境界であるエッジ３５１が存在するとする。このエッジ３５１と、ｘ軸の正の方向とがなす角をθとすると、tanθの予測値eTanθは以下の式（６）のように表すことができる。

eTanθ＝−gradH／gradV ・・・（６）

gradVは、図２８Ｂに示される例のように、仮ジャギー低減ブロック３４３に対して水平方向のエッジ判定に用いられるsobelフィルタ３５２を適応した結果（仮ジャギー低減ブロック３４３の各画素値に、sobelフィルタ３５２の、その画素位置の係数を乗算した結果の和）である。また、gradHは、図２８Ｂに示される例のように、仮ジャギー低減ブロック３４３に対して垂直方向のエッジ判定に用いられるsobelフィルタ３５３を適応した結果（仮ジャギー低減ブロック３４３の各画素値に、sobelフィルタ３５３の、その画素位置の係数を乗算した結果の和）である。

このように、エッジ方向推定部３２２は、sobelフィルタを用いることにより、エッジ方向の推定を容易に行うことができる。

次に、gradMinベースの方向推定について説明する。gradMinベースの方向推定は、仮ジャギー低減ブロックにおいて、中心の画素とその周辺の画素との差分絶対値和の加重平均を方向毎に求め、その加重平均が最小の方向をエッジ方向と推定する方法である。

gradMinベースの方向推定の場合、エッジ方向推定部３２２は、エッジ方向のより詳細な探索をより容易に行うことができるように、エッジ方向の探索を水平方向と垂直方向に分けて行う。

図２９は、gradMinベースの方向推定の水平方向探索の様子の例を説明する図である。図２９Ａに示されるように、仮ジャギー低減ブロックにおいて、白地部分と斜線模様の部分との境界であるエッジ３５１が存在するとする。エッジ方向推定部３２２は、このエッジ３５１と、ｘ軸の正の方向とがなす角をθとすると、tanθの予測値eTanθを以下のように推定する。

図２９Ａに示されるように、y方向に±1した水平ライン上を探索する場合、エッジ方向推定部３２２は、−π/4≦θ≦π/4または、3π/4≦θ≦5π/4を想定している。エッジ方向推定部３２２が浅い角度のエッジを検知することができるように、仮ジャギー低減ブロックは、図２９Ｂに示されるように横長にしておくのが望ましい。

仮ジャギー低減ブロックが図２９Ｂに示される例のような場合、エッジ方向推定部３２２は、処理対象位置を画素aT14とし、各方向のgradを、画素aT14を通る両矢印に沿った差分絶対値和の加重平均とする。また、gradMinをgrad0乃至grad8の最小値とする。

仮ジャギー低減ブロックにおいて、エッジに平行な方向に高周波が存在しないと仮定すると、エッジ方向推定部３２２は、画素aT14におけるエッジの方向を、gradMinの値をとる両矢印の方向と推定することができる。よってtanθの推定値eTanθは、以下のように求めることができる。

図２９Ｂの例の場合、エッジ方向推定部３２２が、各両矢印方向のgrad（grad0乃至grad8）を以下の式（７）乃至式（１５）のように算出する。

grad0＝(|aT00−aT14|＋|aT14−aT28|)/2√(17) ・・・（７）
grad1＝(|aT01−aT14|＋|aT14−aT27|)/2√(10) ・・・（８）
grad2＝(|aT02−aT14|＋|aT14−aT26|)/2√(5) ・・・（９）
grad3＝(|aT03−aT14|＋|aT14−aT25|)/2√(2) ・・・（１０）
grad4＝(|aT04−aT14|＋|aT14−aT24|)/2 ・・・（１１）
grad5＝(|aT05−aT14|＋|aT14−aT23|)/2√(2) ・・・（１２）
grad6＝(|aT06−aT14|＋|aT14−aT22|)/2√(5) ・・・（１３）
grad7＝(|aT07−aT14|＋|aT14−aT21|)/2√(10) ・・・（１４）
grad8＝(|aT08−aT14|＋|aT14−aT20|)/2√(17) ・・・（１５）

エッジ方向推定部３２２は、このように算出した各gradからその最小値gradMinを求め、そのgradに対応する方向（θ）を特定し、eTanθを求める。

例えば、gradMin＝grad0の場合、エッジ方向推定部３２２は、eTanθ＝1/4と推定する。また、gradMin＝grad1の場合、エッジ方向推定部３２２は、eTanθ＝1/3と推定する。さらに、gradMin＝grad2の場合、エッジ方向推定部３２２は、eTanθ＝1/2と推定する。また、gradMin＝grad3の場合、エッジ方向推定部３２２は、eTanθ＝1と推定する。さらに、gradMin＝grad4の場合、エッジ方向推定部３２２は、eTanθは無限大と推定する。また、gradMin＝grad5の場合、エッジ方向推定部３２２は、eTanθ＝-1と推定する。さらに、gradMin＝grad6の場合、エッジ方向推定部３２２は、eTanθ＝-1/2と推定する。また、gradMin＝grad7の場合、エッジ方向推定部３２２は、eTanθ＝-1/3と推定する。さらに、gradMin＝grad8の場合、エッジ方向推定部３２２は、eTanθ＝-1/4と推定する。

図３０は、gradMinベースの方向推定の垂直方向探索の様子の例を説明する図である。図３０Ａは、仮ジャギー低減ブロックのエッジ方向の例を説明する図であり、図２９Ａと同様の例である。

図３０Ａに示されるように、x方向に±1した垂直ライン上を探索する場合、エッジ方向推定部３２２は、π/4≦θ≦3π/4または、5π/4≦θ≦7π/4を想定している。エッジ方向推定部３２２が深い角度のエッジを検知することができるように、仮ジャギー低減ブロックは、図３０Ｂに示されるように縦長にしておくのが望ましい。

仮ジャギー低減ブロックが図３０Ｂに示される例のような場合、エッジ方向推定部３２２は、処理対象位置を画素aT41とし、各方向のgradを、画素aT41を通る両矢印に沿った差分絶対値和の加重平均とする。

水平方向の探索の場合と同様に、エッジに平行な方向に高周波が存在しないと仮定すると、エッジ方向推定部３２２は、画素aT41におけるエッジの方向を、gradMinの値をとる両矢印の方向と推定することができる。

図３０Ｂの例の場合、エッジ方向推定部３２２が、各両矢印方向のgrad（grad0乃至grad8）を以下の式（１６）乃至式（２４）のように算出する。

grad0＝(|aT00−aT41|＋|aT41−aT82|)/2√(17) ・・・（１６）
grad1＝(|aT10−aT41|＋|aT41−aT72|)/2√(10) ・・・（１７）
grad2＝(|aT20−aT41|＋|aT41−aT62|)/2√(5) ・・・（１８）
grad3＝(|aT30−aT41|＋|aT41−aT52|)/2√(2) ・・・（１９）
grad4＝(|aT40−aT41|＋|aT41−aT42|)/2 ・・・（２０）
grad5＝(|aT50−aT41|＋|aT41−aT32|)/2√(2) ・・・（２１）
grad6＝(|aT60−aT41|＋|aT41−aT22|)/2√(5) ・・・（２２）
grad7＝(|aT70−aT41|＋|aT41−aT12|)/2√(10) ・・・（２３）
grad8＝(|aT80−aT41|＋|aT41−aT02|)/2√(17) ・・・（２４）

エッジ方向推定部３２２は、このように算出した各gradからその最小値gradMinを求め、そのgradに対応する方向（θ）を特定し、eTanθを求める。

例えば、gradMin＝grad0の場合、エッジ方向推定部３２２は、eTanθ＝4と推定する。また、gradMin＝grad1の場合、エッジ方向推定部３２２は、eTanθ＝3と推定する。さらに、gradMin＝grad2の場合、エッジ方向推定部３２２は、eTanθ＝2と推定する。また、gradMin＝grad3の場合、エッジ方向推定部３２２は、eTanθ＝1と推定する。さらに、gradMin＝grad4の場合、エッジ方向推定部３２２は、eTanθ＝0と推定する。また、gradMin＝grad5の場合、エッジ方向推定部３２２は、eTanθ＝-1と推定する。さらに、gradMin＝grad6の場合、エッジ方向推定部３２２は、eTanθ＝-2と推定する。また、gradMin＝grad7の場合、エッジ方向推定部３２２は、eTanθ＝-3と推定する。さらに、gradMin＝grad8の場合、エッジ方向推定部３２２は、eTanθ＝-4と推定する。

以上のようなgradMinベースの方向推定方法を、より一般化して説明する。図３１は、仮ジャギー低減ブロックの例を示す図である。図３１に示されるように、対称位置座標を(x,y)とし、位置(x,y)における仮ジャギー低減ブロックの画素値をpreAntiI(x,y)とすると、座標（lx,ly）に向かう方向のgrad(lx,ly)は、以下の、式（２５）のように算出される。

・・・（２５）

上述したようにy方向に±1した水平ライン上を探索する場合、エッジ方向推定部３２２は、以下の式（２６）のように、gradMinを算出する。

・・・（２６）

また、x方向に±1した垂直ライン上を探索する場合、エッジ方向推定部３２２は、以下の式（２７）のように、gradMinを算出する。

・・・（２７）

エッジ方向推定部３２２は、tanθの予測値eTanθを、gradMinを与える(lx.ly)に対して、以下の式（２８）のように求めることができる。

eTanθ＝ly／lx ・・・（２８）

このように、エッジ方向推定部３２２は、gradMinを推定することにより、エッジ方向の推定をより詳細に行うことができる。

なお、対象画素に対して逆相候補位置を水平or垂直どちらに探索するかで、仮ジャギー低減ブロックのアスペクト比を変えることにより、エッジ方向推定部３２２は、より詳細なエッジ方向の推定をより容易に行うことができる。

なお、その場合、仮ジャギー低減部３２１が、水平方向探索用の横長の仮ジャギー低減ブロックと、垂直方向探索用の縦長の仮ジャギー低減ブロックの両方を生成し、その両方をエッジ方向推定部３２２に供給するようにしてもよい。また、仮ジャギー低減部３２１が、大きな（多画素の）仮ジャギー低減ブロックを生成し、エッジ方向推定部３２２が、その大きな仮ジャギー低減ブロックの一部を、水平方向探索用のアスペクト比、垂直方向探索用のアスペクト比でそれぞれ抽出し、利用するようにしてもよい。

図２６に戻り、ステップＳ３４３において、演算部３２３は、対象位置座標と逆相候補位置座標から、対象画素を基準とする逆相候補画素の相対座標を算出する。

図３２は、相対座標の算出と、平行判定の様子の例を説明する図である。

図３２Ａに示される例において、画素pt(tx,ty)が対象画素であり、画素pc(cx,cy)が逆相候補画素であるとする。この場合、演算部３２３は、対象画素を基準とする逆相候補画素の相対座標（dx,dy）を、以下の式（２９）のように算出する。

・・・（２９）

図２６に戻り、ステップＳ３４４において、平行判定部３２４は、ステップＳ３４２の処理により推定されたエッジ方向と、ステップＳ３４３の処理により算出された相対座標が示す、対象画素を基準とする逆相候補画素の方向とが、どの程度平行に近いかを判定する。

正しい逆相画素位置ブロックによる仮ジャギー低減ブロックではジャギーの無い綺麗なエッジ画像となるので、仮ジャギー低減ブロックのエッジ方向は、対象画像位置のジャギーの影響のないエッジ方向となる。このため、相対座標の方向と仮ジャギー低減画像のエッジ方向は平行となるはすである。そこで相対座標の位置ベクトルと仮ジャギー低減画像のエッジ方向と垂直な方向のなす角Φをもって、相似度判定を行う。

図３２Ａにおいて、ベクトル３６１（dx,dy）は、ステップＳ３４３の処理により算出された相対座標を表す位置ベクトルである。また、ステップＳ３４２の処理により推定されるエッジ方向は、図３２Ｂに示されるように、そのエッジ方向に平行なベクトル３６３(1,eTanθ)によって表される。

平行判定部３２４は、このベクトル３６１とベクトル３６３の方向の関係（２つのベクトルがなす角）を求める。ただし、演算量を低減するために、平行判定部３２４は、実際に角度を計算するのではなく、cosを求める。また、平行付近の角度の判定における感度を向上させるために、平行判定部３２４は、図３２Ｃに示されるように、ベクトル３６１とベクトル３６３のなす角の代わりに、ベクトル３６１と垂直なベクトル３６２（dy,-dx）と、ベクトル３６３とがなす角Φのcosを求める。

以下の式（３０）に示されるように、ベクトル３６１とベクトル３６３が平行である場合、ベクトル３６２は、ベクトル３６３に対して垂直になる。

・・・（３０）

平行で判定(三角関数の極値付近で相似度を判定)するよりも、垂直で判定(三角関数の変曲点付近で判定)する方が、感度を高くすることができる。平行判定部３２４は、cosΦを以下の式（３１）のように算出する。

・・・（３１）

なお、平行判定部３２４が、ベクトル３６１とベクトル３６３のなす角のcosを求める（エッジと平行な向きとで平行の判定を行う）ようにしてももちろんよい。

平行判定部３２４は、さらに、このcosΦを、対象画素と逆相候補画素との距離に応じてgainとoffsetを用いて補正し、パラメータＤＡを算出する。

まず、平行判定部３２４は、変数dTanを以下の式（３２）のように算出する。

・・・（３２）

そして、平行判定部３２４は、以下の式（３３）に示されるように、この変数dTanに応じてgainとoffsetの値を決定し、そのgainとoffsetを用いてcosΦを補正することにより、パラメータＤＡを算出する。

・・・（３３）

図３３は、このgainとoffsetについて説明する図である。図３３Ａおよび図３３Ｂにおいて、各点線は、ブロックマッチングを行う離散的な位置を示す。また、以下において、説明の簡略化のために、0≦θ≦π/4とする。

逆相候補位置を格子点で探す際、図３３Ａや図３３Ｂの例のように、エッジが隣接する逆相候補位置の中点を通る時に、x方向誤差が最大となる。このような点に対して、y方向誤差は図３３Ｂに示されるように0.5tanθとかけるので、θに対して誤差は単調増加となる。

よって、平行判定部３２４は、dTanが大きい場合（エッジの角度がπ/4に近い場合）には、角相似度判定が甘くなるように、offsetを大きくし、gainを小さくする。これに対して、dTanが小さい場合（エッジの角度が0に近い場合）、平行判定部３２４は、角相似度判定が厳しくなるようにoffsetを小さく、gainを大きく設定する。これにより効果的に角相似度の判定を行うことができる。

なお、この補正の方法は任意であり、上述した以外の方法であっても良い。また、この補正を省略するようにしてもよい。

図２６に戻り、ステップＳ３４５において、角相似度演算部３２５は、ステップＳ３４４の処理により算出されたパラメータＤＡを用いて、対象ブロックと逆相候補ブロックとの角相似度を算出する。

角相似度演算部３２５は、例えば、以下の式（３４）のように、パラメータＤＡから角相似度を算出する。

・・・（３４）

なお、ＴＨｓは任意の定数である。この式（３４）をグラフ化したものを図３４に示す。図３４のグラフに示されるように、この角相似度の値は、パラメータＤＡの値がより小さくなる程、より大きくなる。

このようにすることにより、後述する角相似度に下限値を用いる手法も、上述した他の実施の形態の場合と同様の方法で、容易に適用することができる。

なお、角相似度は、ＤＡの増加に対して減少すればよく、その関数は、上述した式（３４）以外であっても良い。例えば、図３４に示されるグラフの場合、角相似度変動部分（０≦ＤＡ≦ＴＨｓ）が直線となっているが、これに限らず、曲線となるようにしてもよい。

図２６に戻り、ステップＳ３４５の処理が終了すると、角相似度演算部３２５は、角相似度算出処理を終了し、処理を図２５に戻す。

以上のように各処理を行うことにより、逆相画像推定部３０１は、対象位置近傍の画像と逆相候補位置近傍の画像との角相似度から、それらの画像が同じ模様の画像であるかを判定し、適切な逆相画像を得ることができる。また、その際、逆相画像推定部３０１は、対象ブロックと逆相候補ブロックを用いて簡易的にジャギーを低減させ、仮ジャギー低減ブロックを生成し、その仮ジャギー低減ブロックを用いて角相似度を算出する。したがって、逆相画像推定部３０１は、平滑化画像を生成する必要なく、角相似度を算出し、得られた角相似度から、入力画像上の逆相候補位置近傍の画像が、入力画像の対象位置近傍の画像とジャギー位相が逆転した画像であるかを、より確実に特定することができる。

〈第８の実施の形態〉
［画像処理装置の構成例］
なお、以上においては、角相似度から重み値が算出されると説明したが、第１の実施の形態に対する第２の実施の形態の場合と同様に、角相似度の下限値を求め、重み値の算出時に下限値による閾値処理が行われるようにすることで、対象画素と全く異なる逆相候補画素が重み付き期待値の算出から除外されるようにしてもよい。

そのような場合、図２１の画像処理装置３００は、逆相画像推定部３０１の代わりに、例えば図３５に示されるような逆相画像推定部４０１を有する。図３５は、この場合の逆相画像推定部の主な構成例を示すブロック図である。

図３５に示されるように、逆相画像推定部４０１は、対象位置選択部３１１、逆相候補位置選択部３１２、近傍位置選択部８１、角相似度算出部３１３、角相似度算出部４１１、角相似度下限値算出部４１２、重み値算出部４１３、および、重み付き期待値算出部３６を有する。

近傍位置選択部８１は、入力画像上において、処理対象となっている対象位置の上下左右に隣接する４つの画素位置を近傍位置として選択する。近傍位置選択部８１は、その選択した各近傍位置にある画素の座標（近傍位置座標）、並びに、各近傍位置にある画素を中心とする対象ブロックと同じ大きさの領域を近傍ブロックとして角相似度算出部４１１に供給する。なお、以下、入力画像上の近傍位置にある画素を近傍画素とも称する。

角相似度算出部４１１は、角相似度算出部３１３と同様の構成を有し、同様の処理を行う処理部である。ただし、角相似度算出部４１１は、逆相候補位置選択部３１２から供給された逆相候補位置座標および逆相候補ブロックの代わりに、近傍位置選択部８１から供給された近傍位置座標および近傍ブロックを用いて角相似度を算出する。つまり、角相似度算出部４１１は、対象ブロックと近傍ブロックとの角相似度を、各近傍ブロックについて算出する。また、角相似度算出部４１１は、算出した各角相似度を、重み値算出部３１４ではなく、角相似度下限値算出部４１２に供給する。

角相似度下限値算出部４１２は、角相似度算出部４１１から供給された４つの角相似度に基づいて、角相似度の１つの下限値を算出し、重み値算出部４１３に供給する。重み値算出部４１３は、相似度算出部３４からの相似度と、相似度下限値算出部８３からの下限値とに基づいて、重み値を算出し、重み付き期待値算出部３６に供給する。

重み値算出部４１３は、角相似度算出部３１１から供給された角相似度と、角相似度下限値算出部４１２から供給された下限値とに基づいて、重み値を算出し、重み付き期待値算出部３６に供給する。

［逆相画像推定処理の流れ］
この場合も、ジャギー低減処理は、図２４のフローチャートを参照して説明した、第７の実施の形態の場合と同様に実行される。ただし、ステップＳ３０１の逆相画像の推定は、逆相画像推定部４０１（図３５）が実行する。

図３６のフローチャートを参照して、図２４のステップＳ３０１において逆相画像推定部４０１により実行される逆相画像推定処理について説明する。

逆相画像推定処理が開始されると、ステップＳ４０１において、対象位置選択部３１１は、ステップＳ３２１の場合と同様に、入力画像上の１つの画素位置を対象位置として選択する。

ステップＳ４０２において、近傍位置選択部８１は、第２の実施の形態（ステップＳ４３）の場合と同様に、入力画像上の対象位置の上下左右に隣接する４つの近傍画素の位置を近傍位置として選択する。

このようにして選択された各近傍ブロックは、対象ブロックの領域の画像と類似しているが、対象ブロックの画像とは異なる画像であり、対象位置に対する逆相候補ブロックとして選択されるのに不適切な領域である。そのため、このような不適切な領域を逆相候補ブロックとして重み付き期待値を算出すると、正しく逆相画像を得ることができず、かえって出力画像の画質が劣化してしまうことがある。

そこで、逆相画像推定部４０１は、このような各近傍ブロックの角相似度を算出して角相似度の下限値を求める。そして、逆相画像推定部４０１は、角相似度が求めた下限値以下となる逆相候補ブロックが不適切なブロックであるとして、その逆相候補ブロックに対応する逆相候補画素が、重み付き期待値の算出から実質的に排除されるようにする。

ステップＳ４０３において、逆相候補位置選択部３１２は、ステップＳ３２２の場合と同様に、入力画像における対象位置に対する逆相候補位置を選択する。

ステップＳ４０４において、角相似度算出部３１３は、逆相候補位置の角相似度、つまり、対象ブロックと逆相候補ブロックとの角相似度を算出する。この処理は、図２６のフローチャートを参照して説明した場合と同様である。

ステップＳ４０５において、角相似度算出部４１１は、近傍位置の角相似度、つまり、対象ブロックと近傍ブロックとの角相似度を算出する。この処理も、逆相候補ブロックおよび逆相候補位置座標の代わりに、近傍ブロックおよび近傍位置座標が用いられること以外、図２６のフローチャートを参照して説明した場合と同様である。

ステップＳ４０６において、角相似度下限値算出部４１２は、角相似度算出部４１１から供給された各近傍ブロックの角相似度に基づいて角相似度の下限値を算出し、重み値算出部４１３に供給する。例えば、下限値は、４つの角相似度の最大値、最小値、または期待値などとされる。なお、下限値の算出は、４つの近傍ブロックの角相似度を反映させることが本質であり、それらの角相似度から代表値を得ることのできる演算であれば、どのような方法で下限値が算出されるようにしてもよい。

ステップＳ４０７において、重み値算出部４１３は、角相似度算出部３１３から供給される各逆相候補ブロックの角相似度と、角相似度下限値算出部４１２からの下限値とに基づいて、角相似度ごとに重み値を、例えば式（４）のように算出し、重み付き期待値算出部３６に供給する。

すなわち、角相似度が下限値よりも大きい場合、角相似度と下限値の差が重み値とされ、角相似度が下限値以下である場合、重み値は０とされる。換言すれば、角相似度が下限値により閾値処理されて重み値が算出される。

重み値が算出されると、その後、ステップＳ４０８およびステップＳ４０９の各処理が、図２５のステップＳ３２５およびステップＳ３２６の各処理と同様に実行される。

以上のようにして、逆相画像推定部４０１は、逆相画像の生成時において、対象位置の上下左右（水平方向および垂直方向）に隣接する各近傍画素を中心とする近傍ブロックの角相似度を求め、これらの角相似度から下限値を算出する。そして、逆相画像推定部４０１は、得られた下限値に基づいて不適切な逆相候補画素の重み値を０とし、実質的に重み付き期待値の算出に用いられないようにする。

このようにして角相似度の下限値を決定することで、画像処理装置３００は、そもそも全く異なる画像を補正信号として選択するような失敗を回避することができる。これにより、画像処理装置３００は、入力画像に対するジャギー低減処理において、入力画像の細かい振幅の模様がつぶれてしまうような副作用を抑えることができ、より高品質な出力画像を得ることができる。

〈第９の実施の形態〉
［画像処理装置の構成例］
なお、第７の実施の形態において説明した角相似度を用いる方法と、第３の実施の形態において説明した相似度を用いる方法との両方を用いるようにしてもよい。

図３７は、画像処理装置の他の構成例を示すブロック図である。図３７に示される画像処理装置５００は、基本的に、図２１を参照して説明した画像処理装置３００と同様の装置であり、供給された入力画像を、入力画像上のジャギーが低減された出力画像に変換して出力する。

図３７に示されるように、画像処理装置５００は、平滑化部１２１、逆相画像推定部５０１、および平均部２２を有する。

平滑化部１２１は、入力画像を平滑化し、その結果得られた平滑化画像を逆相画像推定部５０１に供給する。

逆相画像推定部５０１は、平滑化部１２１から供給された平滑化画像と、入力画像とに基づいて逆相画像を生成し、平均部２２に供給する。

［逆相画像推定部］
図３８は、逆相画像推定部５０１の主な構成例を示すブロック図である。図３８に示されるように、逆相画像推定部５０１は、対象位置選択部５１１、逆相候補位置選択部５１２、逆相候補位置選択部１３３、相似度算出部１３４、角相似度算出部３１３、重み値算出部５１４、および重み付き期待値算出部１３６を備えている。

対象位置選択部５１１は、平滑化部１２１から供給される平滑化画像上の画素位置を順次、対象位置として選択する。対象位置選択部５１１は、選択した対象位置の座標である対象位置座標と、平滑化画像上の、選択した対象位置を中心とする所定の領域である対象平滑化ブロックとを、角相似度算出部３１３に供給する。また、対象位置選択部５１１は、対象平滑化ブロックを、相似度算出部１３４にも供給する。

逆相候補位置選択部５１２は、平滑化部１２１から供給される平滑化画像上において、対象位置と所定の位置関係にあるいくつかの位置を逆相候補位置として選択する。逆相候補位置選択部５１２は、選択した逆相候補位置の座標である逆相候補位置座標と、平滑化画像上の、選択した逆相候補位置を中心とする所定の領域である逆相候補平滑化ブロックとを、角相似度算出部３１３に供給する。また、逆相候補位置選択部５１２は、逆相候補平滑化ブロックを、相似度算出部１３４にも供給する。ここで、逆相候補平滑化ブロックは、対象平滑化ブロックと同じ大きさのブロックである。

逆相候補位置選択部１３３は、入力画像における、逆相候補位置選択部５１２により選択された逆相候補位置にある画素を逆相候補画素として重み付き期待値算出部１３６に供給する。なお、以下、逆相候補位置選択部５１２により選択された平滑化画像上の逆相候補画素を、適宜、平滑逆相候補画素とも称し、逆相候補位置選択部１３３により選択された入力画像上の逆相候補画素を、適宜、入力逆相候補画素とも称する。

相似度算出部１３４は、対象位置選択部５１１から供給される対象平滑化ブロックと、逆相候補位置選択部５１２から供給される逆相候補平滑化ブロックとの相似度を、第３の実施の形態において説明したように算出し、得られた相似度を重み値算出部５１４に供給する。

角相似度算出部３１３は、対象位置選択部５１１から供給される対象位置座標および対象平滑化ブロック、並びに、逆相候補位置選択部５１２から供給される逆相候補位置座標および逆相候補平滑化ブロックを用いて、対象平滑化ブロックと、逆相候補平滑化ブロックとの角相似度を、第７の実施の形態において説明したように算出し、得られた角相似度を重み値算出部５１４に供給する。

重み値算出部５１４は、相似度算出部１３４から供給された相似度、および、角相似度算出部３１３から供給された角相似度に基づいて重み値を算出し、重み付き期待値算出部１３６に供給する。なお、この重み値の算出方法は任意である。例えば、重み値算出部５１４が、相似度および角相似度の両方を用いて１つの重み値を求めるようにしてもよい。また、例えば、重み値算出部５１４が、第３の実施の形態において説明したのと同様の方法で相似度から重み値を求め、さらに、第７の実施の形態において説明したのと同様の方法で角相似度から重み値を求め、それらの重み同士の積等を最終的な重み値として求めるようにてもよい。もちろん、これらの方法以外の方法を適用するようにしてもよい。

重み付き期待値算出部１３６は、逆相候補位置選択部１３３から供給される逆相候補画素と、重み値算出部５１４から供給される重み値とに基づいて、対象位置の重み付き期待値を算出することで、逆相画像を生成する。

［ジャギー低減処理の流れ］
次に、図３９のフローチャートを参照して、画像処理装置５００によるジャギー低減処理について説明する。

ジャギー低減処理が開始されると、ステップＳ５０１において、平滑化部１２１は、供給された入力画像に対して低周波フィルタを用いたフィルタ処理等を行うことで入力画像を平滑化し、平滑化画像を得る。入力画像を平滑化することは、入力画像から低周波成分を抽出することであるから、平滑化画像は、入力画像の低周波成分の画像であるということができる。

ステップＳ５０２において、逆相画像推定部５０１は、入力画像およびステップＳ５０１の処理により得られた平滑化画像を用いて逆相画像を推定する。

ステップＳ５０３において、平均部２２は、ステップＳ３０２の処理（図２４）の場合と同様に、ステップＳ５０２の処理により得られた逆相画像を用いて出力画像を生成する。

出力画像が生成されると、ジャギー低減処理が終了する。

［逆相画像推定処理の流れ］
次に、図４０のフローチャートを参照して、図３９のステップＳ５０２において実行される逆相画像推定処理の流れの例を説明する。

逆相画像推定処理が開始されると、ステップＳ５２１において、対象位置選択部５１１は、平滑化画像上において、対象位置選択部３１１の場合と同様に、１つの画素位置を対象位置として選択する。例えば、平滑化画像上の各画素位置がラスタ順に順次、選択されていく。対象位置選択部５１１は、選択した対象位置の座標（対象位置座標）を求め、さらに、対象位置を中心とする対象平滑化ブロックを抽出する。

ステップＳ５２２において、逆相候補位置選択部１３３は、入力画像における対象位置に対する逆相候補位置を選択する。

ステップＳ５２３において、逆相候補位置選択部５１２は、平滑化画像上において、逆相候補位置選択部３１２の場合と同様に、ステップＳ５２１において選択された対象位置に対する逆相候補位置を選択する。逆相候補位置選択部５１２は、選択した逆相候補位置の座標（逆相候補位置座標）を求め、さらに、逆相候補位置を中心とする逆相候補平滑化ブロックを抽出する。

ステップＳ５２４において、角相似度算出部３１３は、ステップＳ３２３（図２５）の場合と同様に、ステップＳ５２１の処理により得られた対象平滑化ブロックと、ステップＳ５２３の処理により得られた逆相候補平滑化ブロックとの角相似度を算出する。この処理は、対象ブロックの代わりに対象平滑化ブロックが用いられ、逆相候補ブロックの代わりに逆相候補平滑化ブロックが用いられること以外、図２６のフローチャートを参照して説明した場合と同様である。

ステップＳ５２５において、相似度算出部１３４は、ステップＳ５２１の処理により得られた対象平滑化ブロックと、ステップＳ５２３の処理により得られた逆相候補平滑化ブロックとの相似度を算出する。

ステップＳ５２６において、重み値算出部５１４は、ステップＳ５２４の処理により得られた角相似度と、ステップＳ５２５の処理により得られた相似度とを用いて重み値を算出する。

ステップＳ５２７において、重み付き期待値算出部１３６は、ステップＳ５２２の処理により得られた逆相候補ブロックと、ステップＳ５２６の処理により得られた重み値とに基づいて、対象位置に対する重み付き期待値を算出する。

すなわち、重み付き期待値算出部１３６は、１つの対象画素に対して選択された各逆相候補画素の重み値を、その逆相候補ブロックの各画素値に乗算し、重み値が乗算された画素値の総和を正規化することで、重み付き期待値を算出する。このようにして算出された重み付き期待値が、対象画素と同じ位置にある逆相画像の画素の画素値とされる。

ステップＳ５２８において、対象位置選択部５１１は、入力画像上の全ての画素を対象画素として選択したか否かを判定する。未処理の画素が存在すると判定された場合、対象位置選択部５１１は、処理をステップＳ５２１に戻し、それ以降の処理を繰り返す。すなわち、平滑化画像上の次の画素が対象位置にある対象画素として選択され、その対象画素と同じ位置にある逆相画像の画素の画素値が求められる。

これに対して、ステップＳ５２８において全ての画素を選択したと判定された場合、対象位置選択部５１１は、逆相画像推定処理を終了し、処理を図３９に戻す。

以上のようにして、画像処理装置５００は、平滑化画像上の対象平滑化ブロックと逆相候補平滑化ブロックとの相似度および角相似度を求め、相似度および角相似度から求まる重み値を用いて重み付き期待値を算出する。

例えば、暗い平坦な対象ブロックと、非常にコントラストの強いエッジの逆相候補ブロック組み合わせでは、第７の実施の形態において説明した方法の場合、仮ジャギー画像が、強いエッジと同じ向きのエッジ画像になってしまうので、画像処理装置３００は、角相似度の判定を間違い易くなる可能性があった。そこで、上述したように、相似度（平滑化後の差分なので、低周波信号で比較していることになる）と組み合わせることでこのような問題を解決することができる。

なお、換言するに、平滑化の強い逆相候補平滑化ブロックによる相似度判定では、間違った逆相候補も似ていると誤判定してしまうことがある。逆に平滑化を弱めると、ジャギーが残ってしまい、正しい候補でも似ていないと判定してしまう恐れがあった。角相似度と組み合わせることでこの問題を解決することができる。

また、角相似度計算と、平滑化とを組み合わせることで、画像処理装置５００は、ノイズが大きい画像でもロバストに動作するようにすることができる。

つまり、画像処理装置５００は、より確実に適切な逆相画像を得ることができる。したがって、画像処理装置５００は、供給された入力画像を、入力画像上のジャギーが低減された出力画像に、より確実に変換して出力することができる。

〈第１０の実施の形態〉
［逆相画像推定部］
また、逆相候補位置同士で算出した相似度を用いて逆相画像を生成するようにしてもよい。

その場合の画像処理装置の構成は、図２１を参照して説明した場合と同様である。ただし、画像処理装置３００は、逆相画像推定部３０１の代わりに、図４１の逆相画像推定部６０１を有する。

図４１は、逆相画像推定部の、さらに他の構成例を示すブロック図である。図４１に示される逆相画像推定部６０１は、逆相画像推定部３０１と同様の処理部であり、供給された入力画像に基づいて、入力画像におけるジャギー成分の位相のみが反転された逆相画像を生成し、平均部２２に供給する。

図４１に示されるように、逆相画像推定部６０１は、逆相候補位置対選択部６１１、相似度算出部６１２、重み値算出部３５、および重み付き期待値算出部６１３を有する。

逆相候補位置対選択部６１１は、入力画像上の画素位置を順次、対象位置として選択し、その選択された対象位置が属する水平または垂直ラインから１ライン離れた水平または垂直ライン上で逆相候補位置を選択する。その際、逆相候補位置対選択部６１１は、対象位置を基準として互いに点対称の位置に存在する２つの逆相候補位置を、逆相候補位置対としてセットで選択する。以下において、説明の便宜上、この逆相候補位置対の一方の逆相候補位置を、逆相候補位置ａと称し、他方を逆相候補位置ｂと称する。

逆相候補位置対選択部６１１は、選択した逆相候補位置対のそれぞれについて、逆相候補位置を中心とする所定の領域である逆相候補ブロックを抽出する。つまり、逆相候補位置対選択部６１１は、逆相候補位置ａを中心とする逆相候補ブロックａと、逆相候補位置ｂを中心とする逆相候補ブロックｂとを抽出する。逆相候補位置対選択部６１１は、抽出した逆相候補ブロックａおよび逆相候補ブロックｂを、相似度算出部６１２、および重み付き期待値算出部６１３に供給する。

相似度算出部６１２は、相似度算出部３４（図１）が対象ブロックと順相候補ブロックとの相似度を算出するのと同様の方法で、逆相候補ブロックａおよび逆相候補ブロックｂの相似度を算出する。相似度算出部６１２は、算出した相似度を重み値算出部３５に供給する。

重み値算出部３５は、相似度算出部６１２から供給された相似度に基づいて重み値を算出し、重み付き期待値算出部６１３に供給する。

重み付き期待値算出部６１３は、逆相候補位置対選択部６１１から供給される逆相候補ブロックａおよび逆相候補ブロックｂ、並びに、重み値算出部３５から供給される重み値とに基づいて、対象位置に対する重み付き期待値を算出することで逆相画像を生成し、平均部２２に供給する。

［逆相画像推定処理の流れ］
この場合も、ジャギー低減処理は、図２４のフローチャートを参照して説明した、第７の実施の形態の場合と同様に実行される。ただし、ステップＳ３０１の逆相画像の推定は、逆相画像推定部６０１（図４１）が実行する。

図４２のフローチャートを参照して、図２４のステップＳ３０１において逆相画像推定部６０１により実行される逆相画像推定処理について説明する。

逆相画像推定処理が開始されると、ステップＳ６０１において、逆相候補位置対選択部６１１は、ステップＳ３２１の場合と同様に、入力画像上の１つの画素位置を対象位置として選択し、さらに、その対象位置が属する水平または垂直ラインから１ライン離れた水平または垂直ライン上に位置し、かつ、対象位置を基準として互いに点対称の位置に存在する２つの逆相候補位置を、逆相候補位置対としてセットで選択する。

図４３は、逆相候補位置対の選択の様子の例を示す図である。図４３の場合、逆相候補位置対選択部６１１は、対象位置として画素６２１を選択すると、例えば、その対象位置が属する水平ラインから１ライン離れた水平ライン上に位置する画素６２２を逆相候補位置ａとして選択する。さらに、逆相候補位置対選択部６１１は、画素６２１を基準として画素６２２の点対称の位置に存在する画素６２３を逆相候補位置ｂとして選択する。つまり、この場合、画素６２２および画素６２３が逆相候補位置対である。

逆相候補位置対選択部６１１は、このように選択した逆相候補位置対の逆相候補ブロックａおよび逆相候補ブロックｂを抽出する。

ステップＳ６０２において、相似度算出部６１２は、ステップＳ６０１の処理により得られた逆相候補ブロックａおよび逆相候補ブロックｂの相似度を算出する。

ステップＳ６０３において、重み値算出部３５は、ステップＳ６０２において算出された相似度を用いて重み値を算出する。

ステップＳ６０４において、重み付き期待値算出部６１３は、ステップＳ６０１の処理により得られた逆相候補ブロックａおよび逆相候補ブロックｂと、ステップＳ６０３の処理により得られた重み値とに基づいて、対象位置に対する重み付き期待値を算出する。つまり、重み付き期待値算出部６１３は、１つの対象画素に対して選択された各逆相候補画素の重み値を、その逆相候補ブロックの各画素値に乗算し、重み値が乗算された画素値の総和を正規化することで、重み付き期待値を算出する。このようにして算出された重み付き期待値が、対象画素と同じ位置にある逆相画像の画素の画素値とされる。

ステップＳ６０５において、逆相候補位置対選択部６１１は、入力画像上の全ての画素を対象画素として、逆相候補位置対を選択したか否かを判定する。未処理の画素が存在すると判定された場合、逆相候補位置対選択部６１１は、処理をステップＳ６０１に戻し、それ以降の処理を繰り返す。すなわち、入力画像上の次の画素が対象位置にある対象画素として逆相候補位置対が選択され、その逆相候補位置対を用いて重み付き期待値が算出される。

これに対して、ステップＳ６０５において全ての画素を処理したと判定された場合、逆相候補位置対選択部６１１は、逆相画像推定処理を終了し、処理を図２４に戻す。

このようにすることにより、逆相画像推定部６０１は、互いが、対象位置を基準とする点対称の位置に存在する逆相画像位置対の逆相候補ブロック同士の相似度を求めることができる。したがって、逆相画像推定部６０１は、第２の実施の形態において説明した逆相画像推定部１２２と同様に、相似度から重み値を算出し、さらに、重み付き期待値を算出し、逆相画像を生成することができる。

ただし、逆相画像推定部６０１の場合、ジャギーの位相が揃った逆相候補ブロック同士を比較し、それらの相似度を算出するので、平滑化によってジャギーの影響を抑える必要がない。従って、平滑化部を設ける必要がないので、この逆相画像推定部６０１を適用した画像処理装置３００は、より容易に出力画像を得ることができる。

〈第１１の実施の形態〉
［逆相画像推定部］
なお、第１０の実施の形態において説明した方法を、第２の実施の形態において説明した、相似度の下限値を求め、重み値の算出時に下限値による閾値処理が行われる方法と併用するようにしてもよい。

そのような場合、図２１の画像処理装置３００は、逆相画像推定部３０１の代わりに、例えば図４４に示されるような逆相画像推定部７０１を有する。図４４は、この場合の逆相画像推定部の主な構成例を示すブロック図である。

図４４に示されるように、逆相画像推定部７０１は、対象位置選択部３１、逆相候補位置対選択部６１１、相似度算出部６１２、近傍位置対選択部７１１、相似度算出部７１２、相似度算出部７１３、相似度算出部７１４、相似度下限値算出部７１５、相似度下限値算出部７１６、および重み値算出部７１７を有する。

対象位置選択部３１は、入力画像上の画素位置を順次、対象位置として選択する。対象位置選択部３１は、入力画像から、選択した対象位置を中心とする対象ブロックを抽出し、相似度算出部７１３および相似度算出部７１４に供給する。

逆相候補位置対選択部６１１は、入力画像上において、対象位置と所定の位置関係にあり、かつ、互いに対象位置を基準とする点対称の位置に存在する逆相候補位置対を選択する。逆相候補位置対選択部６１１は、選択した逆相候補位置対のそれぞれを中心とする逆相候補ブロックａと逆相候補ブロックｂとを入力画像から抽出し、相似度算出部６１２および重み付き期待値算出部６１３に供給する。

相似度算出部６１２は、逆相候補位置対選択部６１１から供給される逆相候補ブロックａと逆相候補ブロックｂの相似度を算出し、重み値算出部７１７に供給する。

重み付き期待値算出部６１３は、逆相候補位置対選択部６１１から供給される逆相候補ブロックａおよび逆相候補ブロックｂ、並びに、重み値算出部７１７から供給される重み値とに基づいて、対象位置に対する重み付き期待値を算出することで逆相画像を生成し、平均部２２に供給する。

近傍位置対選択部７１１は、入力画像上において、処理対象となっている対象位置の上下左右に隣接する４つの画素位置の内、上下に隣接する画素位置の対、または、左右に隣接する画素位置の対を近傍位置対として選択する。近傍位置対選択部７１１は、その選択した近傍位置対のそれぞれを中心とする近傍ブロックａおよび近傍ブロックｂとを入力画像から抽出する。なお、この近傍ブロックａおよび近傍ブロックｂは、それぞれ、対象位置選択部３１により抽出される対象ブロックと同じ大きさである。

近傍位置対選択部７１１は、近傍ブロックａを相似度算出部７１２および相似度算出部７１３に供給し、近傍ブロックｂを相似度算出部７１２および相似度算出部７１４に供給する。

相似度算出部７１２は、近傍位置対選択部７１１から供給される近傍ブロックａおよび近傍ブロックｂの相似度を算出し、相似度下限値算出部７１５に供給する。

相似度算出部７１３は、近傍位置対選択部７１１から供給される近傍ブロックａと、対象位置選択部３１から供給される対象ブロックとの相似度を算出し、相似度下限値算出部７１６に供給する。

相似度算出部７１４は、近傍位置対選択部７１１から供給される近傍ブロックｂと、対象位置選択部３１から供給される対象ブロックとの相似度を算出し、相似度下限値算出部７１６に供給する。

相似度下限値算出部７１５は、相似度算出部７１２から供給された２つの相似度（対象画素の上下に隣接する近傍位置対の相似度、および、対象画素の左右に隣接する近傍位置対の相似度）に基づいて、相似度の１つの下限値を算出し、重み値算出部７１７に供給する。

相似度下限値算出部７１６は、相似度算出部７１３から供給された２つの相似度（対象画素の上下に隣接する近傍位置対の近傍ブロックａと対象ブロックとの相似度、および、対象画素の左右に隣接する近傍位置対の近傍ブロックａと対象ブロックとの相似度）と、相似度算出部７１４から供給された２つの相似度（対象画素の上下に隣接する近傍位置対の近傍ブロックｂと対象ブロックとの相似度、および、対象画素の左右に隣接する近傍位置対の近傍ブロックｂと対象ブロックとの相似度）とに基づいて、相似度の１つの下限値を算出し、重み値算出部７１７に供給する。

重み値算出部７１７は、相似度算出部６１２から供給された相似度、相似度下限値算出部７１５から供給された下限値、および、相似度下限値算出部７１６から供給された下限値に基づいて、重み値を算出し、重み付き期待値算出部６１３に供給する。

［逆相画像推定処理の流れ］
この場合も、ジャギー低減処理は、図２４のフローチャートを参照して説明した、第７の実施の形態の場合と同様に実行される。ただし、ステップＳ３０１の逆相画像の推定は、逆相画像推定部７０１（図４４）が実行する。

図４５のフローチャートを参照して、図２４のステップＳ３０１において逆相画像推定部７０１により実行される逆相画像推定処理について説明する。

逆相画像推定処理が開始されると、ステップＳ７０１において、対象位置選択部３１は、ステップＳ３２１の場合と同様に、入力画像上の１つの画素位置を対象位置として選択する。

ステップＳ７０２において、近傍位置対選択部７１１は、入力画像上の対象位置の上下左右に隣接する４つの近傍画素の位置の内、上下に隣接する画素位置の対、または、左右に隣接する画素位置の対を近傍位置対として選択する。

図４６は、近傍位置対の選択の様子の例を説明する図である。図４６の例において、画素７３１が対象位置に選択され、画素７３２および画素７３３が逆相候補位置対として選択されるとする。近傍位置対選択部７１１は、対象位置の上下に隣接する画素７３４および画素７３５を近傍位置対として選択する。また、近傍位置対選択部７１１は、対象位置の左右に隣接する画素７３６および画素７３７を近傍位置対として選択する。

ステップＳ７０３において、逆相候補位置対選択部６１１は、逆相候補位置対を選択する。図４６の例の場合、対象位置を基準として点対称の位置に存在する画素７３２および画素７３３を逆相候補位置対として選択する。

ステップＳ７０４において、相似度算出部７１３は、対象位置の画像（対象ブロック）と、近傍位置ａの画像（近傍ブロックａ）との相似度を算出する。

ステップＳ７０５において、相似度算出部７１４は、対象位置の画像（対象ブロック）と、近傍位置ｂの画像（近傍ブロックｂ）との相似度を算出する。

ステップＳ７０６において、相似度下限値算出部７１６は、ステップＳ７０４において算出された、対象ブロックと近傍ブロックａとの相似度、および、ステップＳ７０５において算出された、対象ブロックと近傍ブロックｂとの相似度に基づく相似度下限値を算出する。

ステップＳ７０７において、相似度算出部７１２は、ステップＳ７０２において算出された近傍ブロックａと近傍ブロックｂとの相似度を算出する。

ステップＳ７０８において、相似度下限値算出部７１５は、近傍位置対の画像の相似度（近傍ブロックａと近傍ブロックｂとの相似度）に基づく相似度下限値を算出する。

ステップＳ７０９において、相似度算出部６１２は、逆相候補位置ａの画像と逆相候補位置ｂの画像との相似度（逆相候補ブロックａと逆相候補ブロックｂとの相似度）を算出する。

ステップＳ７１０において、重み値算出部７１７は、ステップＳ７０６において算出された相似度下限値、ステップＳ７０８において算出された相似度下限値、および、ステップＳ７０９において算出された相似度を用いて、重み値を算出する。

ステップＳ７１１において、重み付き期待値算出部６１３は、逆相候補ブロックａおよび逆相候補ブロックｂと、重み値とに基づいて、対象位置の重み付き期待値を算出することで、逆相画像を生成する。

ステップＳ７１２において、対象位置選択部３１は、入力画像上の全ての画素を対象画素として選択したか否かを判定する。未処理の画素が存在すると判定された場合、対象位置選択部３１は、処理をステップＳ７０１に戻し、それ以降の処理を繰り返す。

これに対して、ステップＳ７１２において全ての画素を選択したと判定された場合、対象位置選択部３１は、逆相画像推定処理を終了し、処理を図３９に戻す。

以上のようにして、画像処理装置３００は、第１０の実施の形態において説明した方法を、第２の実施の形態において説明した、相似度の下限値を求め、重み値の算出時に下限値による閾値処理が行われる方法と併用することができる。これにより、画像処理装置３００は、より多様な画像に対して、より確実に適切な逆相画像を得ることができる。したがって、画像処理装置３００は、供給された入力画像を、入力画像上のジャギーが低減された出力画像に、より確実に変換して出力することができる。

〈第１２の実施の形態〉
［画像処理装置の構成例］
なお、第１０の実施の形態において説明した方法と、第３の実施の形態において説明した方法との両方を用いるようにしてもよい。つまり、平滑化画像を利用するようにしてもよい。その場合、図３７を参照して説明した画像処理装置５００は、逆相画像推定部５０１の代わりに、逆相画像推定部８０１を有する。

［逆相画像推定部］
図４７は、逆相画像推定部８０１の主な構成例を示すブロック図である。図４７に示されるように、逆相画像推定部８０１は、対象位置選択部１３１、逆相候補位置対選択部６１１、逆相候補位置対選択部８１１、相似度算出部８１２、相似度算出部８１３、相似度算出部８１４、重み値算出部８１５、重み値算出部８１６、および重み付き期待値算出部８１７を有する。

対象位置選択部１３１は、平滑化画像において対象位置を選択し、選択した対象位置を中心とする対象平滑化ブロックを抽出する。対象位置選択部１３１は、抽出した対象平滑化ブロックを相似度算出部８１３および相似度算出部８１４に供給する。

逆相候補位置対選択部６１１は、第１０の実施の形態や第１１の実施の形態の場合と同様に、入力画像から、対象位置に対応する逆相候補位置対を選択する。逆相候補位置対選択部６１１は、選択した逆相候補位置対のそれぞれを中心とする逆相候補ブロックａおよび逆相候補ブロックｂを抽出し、重み付き期待値算出部８１７に供給する。

逆相候補位置対選択部８１１は、平滑化画像から、逆相候補位置対選択部６１１と同様の方法で、対象位置に対応する逆相候補位置対を選択する。逆相候補位置対選択部８１１は、平滑化画像から、選択した逆相候補位置対のそれぞれを中心とする逆相候補平滑化ブロックａおよび逆相候補平滑化ブロックｂを抽出する。逆相候補位置対選択部８１１は、逆相候補平滑化ブロックａを、相似度算出部８１２および相似度算出部８１３に供給する。また、逆相候補位置対選択部８１１は、逆相候補平滑化ブロックｂを、相似度算出部８１２および相似度算出部８１４に供給する。

相似度算出部８１２は、逆相候補位置対選択部８１１から供給される逆相候補平滑化ブロックａと逆相候補平滑化ブロックｂとの相似度を算出する。相似度算出部８１２は、算出した相似度を重み値算出部８１５および重み値算出部８１６に供給する。

相似度算出部８１３は、逆相候補位置対選択部８１１から供給される逆相候補平滑化ブロックａと、対象位置選択部１３１から供給される対象平滑化ブロックとの相似度を算出する。相似度算出部８１３は、算出した相似度を重み値算出部８１５に供給する。

相似度算出部８１４は、逆相候補位置対選択部８１１から供給される逆相候補平滑化ブロックｂと、対象位置選択部１３１から供給される対象平滑化ブロックとの相似度を算出する。相似度算出部８１４は、算出した相似度を重み値算出部８１６に供給する。

重み値算出部８１５は、相似度算出部８１２から供給された相似度、および、相似度算出部８１３から供給された相似度に基づいて重み値を算出し、重み付き期待値算出部８１７に供給する。なお、この重み値の算出方法は任意である。

重み値算出部８１６は、相似度算出部８１２から供給された相似度、および、相似度算出部８１４から供給された相似度に基づいて重み値を算出し、重み付き期待値算出部８１７に供給する。なお、この重み値の算出方法は任意である。

重み付き期待値算出部８１７は、逆相候補位置対選択部６１１から供給される逆相候補位置対の各逆相候補ブロックと、重み値算出部８１５および重み値算出部８１６から供給される重み値とに基づいて、対象位置の重み付き期待値を算出することで、逆相画像を生成する。

［逆相画像推定処理の流れ］
この場合も、ジャギー低減処理は、図３９のフローチャートを参照して説明した、第９の実施の形態の場合と同様に実行される。ただし、ステップＳ５０２の逆相画像の推定は、逆相画像推定部８０１（図４７）が実行する。

図４８のフローチャートを参照して、図３９のステップＳ５０２において逆相画像推定部８０１により実行される逆相画像推定処理について説明する。

逆相画像推定処理が開始されると、ステップＳ８０１において、対象位置選択部１３１は、平滑化画像上において、対象位置選択部３１１の場合と同様に、１つの画素位置を対象位置として選択する。例えば、平滑化画像上の各画素位置がラスタ順に順次、選択されていく。対象位置選択部１３１は、選択した対象位置を中心とする対象平滑化ブロックを抽出する。

ステップＳ８０２において、逆相候補位置対選択部８１１は、平滑化画像上において、逆相候補位置対選択部６１１の場合と同様に、ステップＳ８０１において選択された対象位置に対する逆相候補位置対を選択する。逆相候補位置選択部８０２は、選択した逆相候補位置対のそれぞれを中心とする逆相候補平滑化ブロックａおよび逆相候補平滑化ブロックｂを抽出する。

ステップＳ８０３において、逆相候補位置対選択部６１１は、入力画像から逆相候補ブロックａおよび逆相候補ブロックｂを抽出する。

ステップＳ８０４において、相似度算出部８１２は、平滑化逆相候補位置対の画像（逆相候補平滑化ブロックａおよび逆相候補平滑化ブロックｂ）の相似度を算出する。

ステップＳ８０５において、相似度算出部８１３は、対象位置の画像（対象平滑化ブロック）と、平滑化逆相候補位置ａの画像（逆相候補平滑化ブロックａ）との相似度を算出する。

ステップＳ８０６において、相似度算出部８１４は、対象位置の画像（対象平滑化ブロック）と、平滑化逆相候補位置ｂの画像（逆相候補平滑化ブロックｂ）との相似度を算出する。

ステップＳ８０７において、重み値算出部８１５は、ステップＳ８０４において算出された、平滑化逆相候補位置対の画像（逆相候補平滑化ブロックａおよび逆相候補平滑化ブロックｂ）の相似度と、ステップＳ８０５において算出された、対象位置の画像（対象平滑化ブロック）と、平滑化逆相候補位置ａの画像（逆相候補平滑化ブロックａ）との相似度とに基づく重み値を算出する。

ステップＳ８０８において、重み値算出部８１６は、ステップＳ８０４において算出された、平滑化逆相候補位置対の画像（逆相候補平滑化ブロックａおよび逆相候補平滑化ブロックｂ）の相似度と、ステップＳ８０５において算出された、対象位置の画像（対象平滑化ブロック）と、平滑化逆相候補位置ｂの画像（逆相候補平滑化ブロックｂ）との相似度とに基づく重み値を算出する。

ステップＳ８０９において、重み付き期待値算出部８１７は、ステップＳ８０３において入力画像から得られた逆相候補位置対の画像（逆相候補ブロックａおよび逆相候補ブロックｂ）、ステップＳ８０７において得られた重み値、並びに、ステップＳ８０８において得られた重み値を用いて、重み付き期待値を算出する。このようにして算出された重み付き期待値が、対象画素と同じ位置にある逆相画像の画素の画素値とされる。

ステップＳ８１０において、対象位置選択部１３１は、入力画像上の全ての画素を対象画素として選択したか否かを判定する。未処理の画素が存在すると判定された場合、対象位置選択部１３１は、処理をステップＳ８０１に戻し、それ以降の処理を繰り返す。

これに対して、ステップＳ８１０において全ての画素を選択したと判定された場合、対象位置選択部８１０は、逆相画像推定処理を終了し、処理を図３９に戻す。

例えば、対象位置に対して点対象な図形では、第１０の実施の形態において説明した方法の場合、逆相候補同士の相似度が大きくなってしまうので、画像処理装置３００は、相似度の判定を間違い易くなる可能性があった。そこで、上述したように、平滑化後の画像で対象位置と逆相候補位置での相似度（平滑化後の差分なので、低周波信号で比較していることになる）と組み合わせることでこのような問題を解決することができる。

なお、換言するに、平滑化の強い逆相候補平滑化ブロックによる相似度判定では、間違った逆相候補も似ていると誤判定してしまうことがある。逆に平滑化を弱めると、ジャギーが残ってしまい、正しい候補でも似ていないと判定してしまう恐れがあった。逆相候補位置対同士による相似度と組み合わせることでこの問題を解決することができる。

また、逆相候補位置対同士による相似度計算と、平滑化とを組み合わせることで、画像処理装置５００は、ノイズが大きい画像でもロバストに動作するようにすることができる。

つまり、画像処理装置５００は、より確実に適切な逆相画像を得ることができる。したがって、画像処理装置５００は、供給された入力画像を、入力画像上のジャギーが低減された出力画像に、より確実に変換して出力することができる。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図４９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。

バス９０４には、さらに、入出力インターフェース９１０が接続されている。入出力インターフェース９１０には、キーボード、マウス、マイクロホンなどよりなる入力部９１１、ディスプレイ、スピーカなどよりなる出力部９１２、ハードディスクや不揮発性のメモリなどよりなる記録部９１３、ネットワークインターフェースなどよりなる通信部９１４、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９２１を駆動するドライブ９１５が接続されている。

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記録部９１３に記録されているプログラムを、入出力インターフェース９１０及びバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア９２１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インターフェース９１０を介して、記録部９１３にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９１４で受信し、記録部９１３にインストールすることができる。その他、プログラムは、ROM９０２や記録部９１３に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

さらに、本技術は、以下の構成とすることも可能である。

［１］
入力画像上の対象位置とは異なる位置を、ジャギーが前記対象位置と同じ位相となる位置の候補である順相候補位置として選択する順相候補位置選択部と、
前記入力画像上の前記対象位置とは異なる位置を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置として選択する逆相候補位置選択部と、
前記対象位置の画像と、前記順相候補位置の画像との第１の相似度に基づく重み値を算出する重み値算出部と、
前記重み値と前記逆相候補位置の画素とに基づいて、重み付き期待値を算出する重み付き期待値算出部と
を備える画像処理装置。
［２］
前記逆相候補位置選択部は、前記対象位置と前記順相候補位置とを結ぶ線分の中点位置を前記逆相候補位置として選択する
［１］に記載の画像処理装置。
［３］
前記順相候補位置選択部は、前記対象位置を含む水平ラインから２ライン離れた水平ライン上の位置、または前記対象位置を含む垂直ラインから２ライン離れた垂直ライン上の位置を、前記順相候補位置として選択する
［１］または［２］に記載の画像処理装置。
［４］
前記対象位置の上下左右に隣接する位置を近傍位置として選択する近傍位置選択部と、
前記対象位置の画像と、前記近傍位置の画像との第２の相似度に基づいて、前記第１の相似度の下限値を算出する下限値算出部と
をさらに備え、
前記重み値算出部は、前記下限値を用いて前記第１の相似度に閾値処理を行って、前記重み値を算出する
［１］乃至［３］の何れかに記載の画像処理装置。
［５］
入力画像上の対象位置とは異なる位置を、ジャギーが前記対象位置と同じ位相となる位置の候補である順相候補位置として選択する順相候補位置選択部と、
前記入力画像上の前記対象位置とは異なる位置を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置として選択する逆相候補位置選択部と、
前記対象位置の画像と、前記順相候補位置の画像との相似度に基づく重み値を算出する重み値算出部と、
前記重み値と前記逆相候補位置の画素とに基づいて、重み付き期待値を算出する重み付き期待値算出部と
を備える画像処理装置の画像処理方法であって、
前記順相候補位置選択部が前記順相候補位置を選択し、
前記逆相候補位置選択部が前記逆相候補位置を選択し、
前記重み値算出部が前記重み値を算出し、
前記重み付き期待値算出部が前記重み付き期待値を算出する
ステップを含む画像処理方法。
［６］
入力画像上の対象位置とは異なる位置を、ジャギーが前記対象位置と同じ位相となる位置の候補である順相候補位置として選択し、
前記入力画像上の前記対象位置とは異なる位置を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置として選択し、
前記対象位置の画像と、前記順相候補位置の画像との相似度に基づく重み値を算出し、
前記重み値と前記逆相候補位置の画素とに基づいて、重み付き期待値を算出する
ステップを含む処理をコンピュータに実行させるプログラム。
［７］
入力画像上の対象位置とは異なる位置を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置として選択する逆相候補位置選択部と、
前記入力画像を平滑化して平滑化画像を生成する平滑化部と、
前記平滑化画像上の前記対象位置の画像と、前記平滑化画像上の前記逆相候補位置の画像との第１の相似度に基づく重み値を算出する重み値算出部と、
前記入力画像上の前記逆相候補位置の画素と前記重み値とに基づいて、重み付き期待値を算出する重み付き期待値算出部と
を備える画像処理装置。
［８］
前記逆相候補位置選択部は、前記入力画像上の前記対象位置を含む水平ラインから１ライン離れた水平ライン上の位置、または前記入力画像上の前記対象位置を含む垂直ラインから１ライン離れた垂直ライン上の位置を、前記逆相候補位置として選択する
［７］に記載の画像処理装置。
［９］
前記平滑化画像上の前記対象位置の上下左右に隣接する位置を近傍位置として選択する近傍位置選択部と、
前記平滑化画像上の前記対象位置の画像と、前記平滑化画像上の前記近傍位置の画像の第２の相似度に基づいて、前記第１の相似度の下限値を算出する下限値算出部と
をさらに備え、
前記重み値算出部は、前記下限値を用いて前記第１の相似度に閾値処理を行って、前記重み値を算出する
［７］または［８］に記載の画像処理装置。
［１０］
入力画像上の対象位置とは異なる位置を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置として選択する逆相候補位置選択部と、
前記入力画像を平滑化して平滑化画像を生成する平滑化部と、
前記平滑化画像上の前記対象位置の画像と、前記平滑化画像上の前記逆相候補位置の画像との相似度に基づく重み値を算出する重み値算出部と、
前記入力画像上の前記逆相候補位置の画素と前記重み値とに基づいて、重み付き期待値を算出する重み付き期待値算出部と
を備える画像処理装置の画像処理方法であって、
前記逆相候補位置選択部が前記逆相候補位置を選択し、
前記平滑化部が前記平滑化画像を生成し、
前記重み値算出部が前記重み値を算出し、
前記重み付き期待値算出部が前記重み付き期待値を算出する
ステップを含む画像処理方法。
［１１］
入力画像上の対象位置とは異なる位置を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置として選択し、
前記入力画像を平滑化して平滑化画像を生成し、
前記平滑化画像上の前記対象位置の画像と、前記平滑化画像上の前記逆相候補位置の画像との相似度に基づく重み値を算出し、
前記入力画像上の前記逆相候補位置の画素と前記重み値とに基づいて、重み付き期待値を算出する
ステップを含む処理をコンピュータに実行させるプログラム。
［１２］
入力画像上の対象位置とは異なる位置を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置として選択する逆相候補位置選択部と、
前記対象位置の画像と前記逆相候補位置の画像との角相似度に基づく重み値を算出する重み値算出部と、
前記逆相候補位置の画素と前記重み値とに基づいて、重み付き期待値を算出する重み付き期待値算出部と
を備える画像処理装置。
［１３］
前記逆相候補位置選択部は、前記入力画像上の前記対象位置を含む水平ラインから１ライン離れた水平ライン上の位置、または前記入力画像上の前記対象位置を含む垂直ラインから１ライン離れた垂直ライン上の位置を、前記逆相候補位置として選択する
［１２］に記載の画像処理装置。
［１４］
前記対象位置の画像と前記逆相候補位置の画像とを用いてジャギーが低減された画像を生成する仮処理を行う仮ジャギー低減部と、
前記仮ジャギー低減部により生成された、前記ジャギーが低減された画像を用いて、前記ジャギーが低減された画像のエッジ方向を推定するエッジ方向推定部と、
前記エッジ方向推定部により推定された前記エッジ方向と、前記対象位置を基準とする前記逆相候補位置の相対座標との平行の度合いを判定する平行判定部と、
前記平行判定部により判定された、前記エッジ方向と前記相対座標との平行の度合いに基づいて、前記対象位置の画像と前記逆相候補位置の画像との角相似度を算出する角相似度演算部と
をさらに備え、
前記重み値算出部は、前記角相似度演算部により算出された前記角相似度を用いて前記重み値を算出する
［１２］記載の画像処理装置。
［１５］
対象位置の上下左右に近傍の位置を選択する近傍位置選択部と、
対象位置の画像と近傍位置の画像との角相似度に基づく角相似度下限値を算出する下限値算出部と
をさらに備え、
前記重み値算出部は、前記下限値算出部により算出された角相似度下限値によって角相似度にしきい値処理を行う
［１２］に記載の画像処理装置。
［１６］
入力画像上の対象位置とは異なる位置を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置として選択する逆相候補位置選択部と、
前記対象位置の画像と、前記逆相候補位置の画像との角相似度に基づく重み値を算出する重み値算出部と、
前記逆相候補位置の画素と前記重み値とに基づいて、重み付き期待値を算出する重み付き期待値算出部と
を備える画像処理装置の画像処理方法であって、
前記逆相候補位置選択部が前記逆相候補位置を選択し、
前記重み値算出部が前記重み値を算出し、
前記重み付き期待値算出部が前記重み付き期待値を算出する
ステップを含む画像処理方法。
［１７］
入力画像上の対象位置とは異なる位置を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置として選択し、
前記対象位置の画像と、前記逆相候補位置の画像との角相似度に基づく重み値を算出し、
前記逆相候補位置の画素と前記重み値とに基づいて、重み付き期待値を算出する
ステップを含む処理をコンピュータに実行させるプログラム。
［１８］
入力画像上の対象位置とは異なる2点を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置対として、対象位置に対して点対象に選択する逆相候補位置対選択部と、
前記逆相候補位置対となる2点間の画像の相似度に基づく重み値を算出する重み値算出部と、
前記入力画像上の前記逆相候補位置の画素と前記重み値とに基づいて、重み付き期待値を算出する重み付き期待値算出部と
を備える画像処理装置。
［１９］
対象位置の上下に隣接する位置の組、若しくは、対象位置の左右に隣接する位置の組を、近傍位置対として選択する近傍位置対選択部と、
前記対象位置の画像と、前記近傍位置対の各画像との相似度に基づいて相似度下限値を算出する相似度下限値算出部とを備え、
前記重み値算出部は、前記相似度下限値算出部により算出された各相似度下限値によって、前記逆相候補位置対となる2点間の画像の相似度にしきい値処理を行う
［１８］に記載の画像処理装置。
［２０］
入力画像上の対象位置とは異なる2点を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置対として、対象位置に対して点対象に選択する逆相候補位置対選択部と、
前記逆相候補位置対となる2点間の画像の相似度に基づく重み値を算出する重み値算出部と、
前記入力画像上の前記逆相候補位置の画素と前記重み値とに基づいて、重み付き期待値を算出する重み付き期待値算出部と
を備える画像処理装置の画像処理方法であって、
前記逆相候補位置対選択部が前記逆相候補位置対を選択し、
前記重み値算出部が前記重み値を算出し、
前記重み付き期待値算出部が前記重み付き期待値を算出する
ステップを含む画像処理方法。

１１ 画像処理装置， ３１ 対象位置選択部， ３２ 順相候補位置選択部， ３３ 逆相候補位置選択部， ３４ 相似度算出部， ３６ 重み付き期待値算出部， ８１ 近傍位置選択部， ８２ 相似度算出部， ８３ 相似度下限値算出部， ８４ 重み値算出部， １３１ 対象位置選択部， １３２ 逆相候補位置選択部， １３３ 逆相候補位置選択部， １３４ 相似度算出部， １３５ 重み値算出部， １３６ 重み付き期待値算出部， １８１ 近傍位置選択部， １８２ 相似度算出部， １８３ 相似度下限値算出部， １８４ 重み値算出部

Claims (20)

1. 入力画像上の対象位置とは異なる位置を、ジャギーが前記対象位置と同じ位相となる位置の候補である順相候補位置として選択する順相候補位置選択部と、
   前記入力画像上の前記対象位置とは異なる位置を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置として選択する逆相候補位置選択部と、
   前記対象位置の画像と、前記順相候補位置の画像との第１の相似度に基づく重み値を算出する重み値算出部と、
   前記重み値と前記逆相候補位置の画素とに基づいて、重み付き期待値を算出する重み付き期待値算出部と
   を備える画像処理装置。
2. 前記逆相候補位置選択部は、前記対象位置と前記順相候補位置とを結ぶ線分の中点位置を前記逆相候補位置として選択する
   請求項１に記載の画像処理装置。
3. 前記順相候補位置選択部は、前記対象位置を含む水平ラインから２ライン離れた水平ライン上の位置、または前記対象位置を含む垂直ラインから２ライン離れた垂直ライン上の位置を、前記順相候補位置として選択する
   請求項２に記載の画像処理装置。
4. 前記対象位置の上下左右に隣接する位置を近傍位置として選択する近傍位置選択部と、
   前記対象位置の画像と、前記近傍位置の画像との第２の相似度に基づいて、前記第１の相似度の下限値を算出する下限値算出部と
   をさらに備え、
   前記重み値算出部は、前記下限値を用いて前記第１の相似度に閾値処理を行って、前記重み値を算出する
   請求項３に記載の画像処理装置。
5. 入力画像上の対象位置とは異なる位置を、ジャギーが前記対象位置と同じ位相となる位置の候補である順相候補位置として選択する順相候補位置選択部と、
   前記入力画像上の前記対象位置とは異なる位置を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置として選択する逆相候補位置選択部と、
   前記対象位置の画像と、前記順相候補位置の画像との相似度に基づく重み値を算出する重み値算出部と、
   前記重み値と前記逆相候補位置の画素とに基づいて、重み付き期待値を算出する重み付き期待値算出部と
   を備える画像処理装置の画像処理方法であって、
   前記順相候補位置選択部が前記順相候補位置を選択し、
   前記逆相候補位置選択部が前記逆相候補位置を選択し、
   前記重み値算出部が前記重み値を算出し、
   前記重み付き期待値算出部が前記重み付き期待値を算出する
   ステップを含む画像処理方法。
6. 入力画像上の対象位置とは異なる位置を、ジャギーが前記対象位置と同じ位相となる位置の候補である順相候補位置として選択し、
   前記入力画像上の前記対象位置とは異なる位置を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置として選択し、
   前記対象位置の画像と、前記順相候補位置の画像との相似度に基づく重み値を算出し、
   前記重み値と前記逆相候補位置の画素とに基づいて、重み付き期待値を算出する
   ステップを含む処理をコンピュータに実行させるプログラム。
7. 入力画像上の対象位置とは異なる位置を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置として選択する逆相候補位置選択部と、
   前記入力画像を平滑化して平滑化画像を生成する平滑化部と、
   前記平滑化画像上の前記対象位置の画像と、前記平滑化画像上の前記逆相候補位置の画像との第１の相似度に基づく重み値を算出する重み値算出部と、
   前記入力画像上の前記逆相候補位置の画素と前記重み値とに基づいて、重み付き期待値を算出する重み付き期待値算出部と
   を備える画像処理装置。
8. 前記逆相候補位置選択部は、前記入力画像上の前記対象位置を含む水平ラインから１ライン離れた水平ライン上の位置、または前記入力画像上の前記対象位置を含む垂直ラインから１ライン離れた垂直ライン上の位置を、前記逆相候補位置として選択する
   請求項７に記載の画像処理装置。
9. 前記平滑化画像上の前記対象位置の上下左右に隣接する位置を近傍位置として選択する近傍位置選択部と、
   前記平滑化画像上の前記対象位置の画像と、前記平滑化画像上の前記近傍位置の画像の第２の相似度に基づいて、前記第１の相似度の下限値を算出する下限値算出部と
   をさらに備え、
   前記重み値算出部は、前記下限値を用いて前記第１の相似度に閾値処理を行って、前記重み値を算出する
   請求項８に記載の画像処理装置。
10. 入力画像上の対象位置とは異なる位置を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置として選択する逆相候補位置選択部と、
    前記入力画像を平滑化して平滑化画像を生成する平滑化部と、
    前記平滑化画像上の前記対象位置の画像と、前記平滑化画像上の前記逆相候補位置の画像との相似度に基づく重み値を算出する重み値算出部と、
    前記入力画像上の前記逆相候補位置の画素と前記重み値とに基づいて、重み付き期待値を算出する重み付き期待値算出部と
    を備える画像処理装置の画像処理方法であって、
    前記逆相候補位置選択部が前記逆相候補位置を選択し、
    前記平滑化部が前記平滑化画像を生成し、
    前記重み値算出部が前記重み値を算出し、
    前記重み付き期待値算出部が前記重み付き期待値を算出する
    ステップを含む画像処理方法。
11. 入力画像上の対象位置とは異なる位置を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置として選択し、
    前記入力画像を平滑化して平滑化画像を生成し、
    前記平滑化画像上の前記対象位置の画像と、前記平滑化画像上の前記逆相候補位置の画像との相似度に基づく重み値を算出し、
    前記入力画像上の前記逆相候補位置の画素と前記重み値とに基づいて、重み付き期待値を算出する
    ステップを含む処理をコンピュータに実行させるプログラム。
12. 入力画像上の対象位置とは異なる位置を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置として選択する逆相候補位置選択部と、
    前記対象位置の画像と前記逆相候補位置の画像との角相似度に基づく重み値を算出する重み値算出部と、
    前記逆相候補位置の画素と前記重み値とに基づいて、重み付き期待値を算出する重み付き期待値算出部と
    を備える画像処理装置。
13. 前記逆相候補位置選択部は、前記入力画像上の前記対象位置を含む水平ラインから１ライン離れた水平ライン上の位置、または前記入力画像上の前記対象位置を含む垂直ラインから１ライン離れた垂直ライン上の位置を、前記逆相候補位置として選択する
    請求項１２に記載の画像処理装置。
14. 前記対象位置の画像と前記逆相候補位置の画像とを用いてジャギーが低減された画像を生成する仮処理を行う仮ジャギー低減部と、
    前記仮ジャギー低減部により生成された、前記ジャギーが低減された画像を用いて、前記ジャギーが低減された画像のエッジ方向を推定するエッジ方向推定部と、
    前記エッジ方向推定部により推定された前記エッジ方向と、前記対象位置を基準とする前記逆相候補位置の相対座標との平行の度合いを判定する平行判定部と、
    前記平行判定部により判定された、前記エッジ方向と前記相対座標との平行の度合いに基づいて、前記対象位置の画像と前記逆相候補位置の画像との角相似度を算出する角相似度演算部と
    をさらに備え、
    前記重み値算出部は、前記角相似度演算部により算出された前記角相似度を用いて前記重み値を算出する
    請求項１２に記載の画像処理装置。
15. 対象位置の上下左右に近傍の位置を選択する近傍位置選択部と、
    対象位置の画像と近傍位置の画像との角相似度に基づく角相似度下限値を算出する下限値算出部と
    をさらに備え、
    前記重み値算出部は、前記下限値算出部により算出された角相似度下限値によって角相似度にしきい値処理を行う
    請求項１２に記載の画像処理装置。
16. 入力画像上の対象位置とは異なる位置を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置として選択する逆相候補位置選択部と、
    前記対象位置の画像と前記逆相候補位置の画像との角相似度に基づく重み値を算出する重み値算出部と、
    前記逆相候補位置の画素と前記重み値とに基づいて、重み付き期待値を算出する重み付き期待値算出部と
    を備える画像処理装置の画像処理方法であって、
    前記逆相候補位置選択部が前記逆相候補位置を選択し、
    前記重み値算出部が前記重み値を算出し、
    前記重み付き期待値算出部が前記重み付き期待値を算出する
    ステップを含む画像処理方法。
17. 入力画像上の対象位置とは異なる位置を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置として選択し、
    前記対象位置の画像と前記逆相候補位置の画像との角相似度に基づく重み値を算出し、
    前記逆相候補位置の画素と前記重み値とに基づいて、重み付き期待値を算出する
    ステップを含む処理をコンピュータに実行させるプログラム。
18. 入力画像上の対象位置とは異なる2点を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置対として、対象位置に対して点対象に選択する逆相候補位置対選択部と、
    前記逆相候補位置対となる2点間の画像の相似度に基づく重み値を算出する重み値算出部と、
    前記入力画像上の前記逆相候補位置の画素と前記重み値とに基づいて、重み付き期待値を算出する重み付き期待値算出部と
    を備える画像処理装置。
19. 対象位置の上下に隣接する位置の組、若しくは、対象位置の左右隣接する位置の組を、近傍位置対として選択する近傍位置対選択部と、
    前記対象位置の画像と、前記近傍位置対の各画像との相似度に基づいて相似度下限値を算出する相似度下限値算出部とを備え、
    前記重み値算出部は、前記相似度下限値算出部により算出された各相似度下限値によって、前記逆相候補位置対となる2点間の画像の相似度にしきい値処理を行う
    請求項１８に記載の画像処理装置。
20. 入力画像上の対象位置とは異なる2点を、ジャギーが前記対象位置と逆相となる位置の候補である逆相候補位置対として、対象位置に対して点対象に選択する逆相候補位置対選択部と、
    前記逆相候補位置対となる2点間の画像の相似度に基づく重み値を算出する重み値算出部と、
    前記入力画像上の前記逆相候補位置の画素と前記重み値とに基づいて、重み付き期待値を算出する重み付き期待値算出部と
    を備える画像処理装置の画像処理方法であって、
    前記逆相候補位置対選択部が前記逆相候補位置対を選択し、
    前記重み値算出部が前記重み値を算出し、
    前記重み付き期待値算出部が前記重み付き期待値を算出する
    ステップを含む画像処理方法。

Images