JP2014123173A - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】 学習等の事前準備が必要なく、処理量も少ない手法が要望されていた。
【解決手段】 入力画像の高周波成分を抽出し、その抽出された入力画像の高周波成分から入力画像におけるエッジの有無を判定し、エッジがある場合はエッジ位置を推定する。その推定したエッジ位置に対応する、入力画像を拡大した拡大画像におけるエッジ位置を求める。そして、入力画像の高周波成分のエッジの位置と拡大画像のエッジ位置が重なる位置における、入力画像の高周波成分の画素値を用いて拡大画像のエッジ周辺の各画素位置における画素値を求める。その後、エッジ周辺の高周波成分の補間された画素値と拡大画像の画素の画素値を合成する。
【選択図】 図２

Description

本開示は、画像処理方法及び画像処理装置に関し、特に入力された任意の画像の解像度を高めて超解像の画像を生成する超解像技術を利用した画像処理装置、撮像装置及び画像処理方法に係わる。

従来、低解像の画像の解像度を高め、通常の拡大方法では復元できない情報を復元する超解像技術として、画像に含まれる高周波成分を用いて超解像処理を行う方法がある（特許文献１参照。）。特許文献１に記載された方法は、超解像処理を行うための準備段階として、事前に高解像画像から低解像画像を作成してデータを学習し、変換関係を規定する補間フィルタ係数を求めておく必要がある（学習ステップ）。そして、この学習ステップで得られた補間フィルタ係数を用いて、任意の低解像の入力画像から高解像の出力画像を得る（復元ステップ）。

また、画像に含まれる高周波成分を用いて超解像処理を行う他の方法として、拡大画像において高周波成分を適用する画素位置を推定するためにマッチング処理（ブロックマッチング）を用いる技術がある（特許文献２参照。）。

特開２０１１−１７１８４３号公報 特表２０１１−５２４７１４号公報

ところで、特許文献１に記載の技術では、事前に補間フィルタ係数の学習を行う必要がある。この学習には大量の画像を用意する必要があり、また学習がない方法に比べて開発に時間がかかる。すなわち学習を行う方法を採用することは開発コストの増大につながってしまう。

また、特許文献２に記載の技術ではマッチング処理を用いているが、一般的に、マッチング処理には多大なデータ処理量が必要とされるため、ハードウェアのコストが高くなるか、演算速度（クロック周波数）を上げるために消費電力が大きくなってしまう。

このように、従来の超解像技術では、予め学習が必要、データ処理量が多いなどの不都合が多かった。

以上の状況から、学習等の事前準備が必要なく、データ処理量も少ない手法が要望されていた。

本開示の一側面では、入力画像の高周波成分を抽出し、その抽出された入力画像の高周波成分から入力画像におけるエッジの有無を判定し、エッジがある場合はエッジ位置を推定する。その推定したエッジ位置に対応する、入力画像を拡大した拡大画像におけるエッジ位置を求める。そして、入力画像の高周波成分のエッジの位置と拡大画像のエッジ位置が重なる位置における、入力画像の高周波成分の画素値を用いて拡大画像のエッジ周辺の各画素位置における画素値を求める。その後、エッジ周辺の高周波成分の補間された画素値と拡大画像の画素の画素値を合成する。
上記入力画像の高周波成分の画素値を用いて拡大画像のエッジ周辺の各画素位置における画素値を求める際に、入力画像の高周波成分の画素値に代えて、入力画像の高周波成分以外の成分も含んだ画素値を用いてもよい。

本開示の一側面によれば、超解像処理の過程で一般的なフィルタ演算や座標計算を組み合わせてエッジ位置を推定している。

本開示の少なくとも一つの実施形態によれば、従来の超解像技術と同様に画像の高周波成分を使いながらも、エッジ位置の推定に一般的なフィルタ演算や座標計算を組み合わせて演算処理量を増大しない方法を採用し、超解像拡大を実現している。それゆえ、学習等の事前準備が必要なく、かつデータ処理量も少なくてすむ。

本開示の第１の実施形態に係る撮像装置の全体構成例を示すブロック図である。 画像処理部内の垂直超解像処理部の内部構成例を示すブロック図である。 画像処理部内の水平超解像処理部の内部構成例を示すブロック図である。 垂直ＨＰＦを通過後の高周波画像の画素位置と垂直スケーラを通過後の拡大高周波画像の画素位置の関係を示す概略図である。 水平ＨＰＦ通過後の高周波画像の画素位置と水平スケーラ通過後の拡大高周波画像の画素位置の関係を示す概略図である。 エッジがない場合の２画素の画素値の関係を示す説明図である。 エッジがある場合の２画素の画素値の関係を示す説明図である。 エッジがあると判定された場合の座標変換処理の説明図である。 図２に示す垂直超解像処理部の各部における信号の波形を示す図である。 図２に示す垂直超解像処理部による垂直方向の超解像処理例を示すフローチャートである。 図１０に示す超解像処理の説明に用いる図である。 本開示の第２の実施形態に係る画像処理部の内部構成例を示すブロック図である。 拡大前の画像の画素位置と拡大後の画像の画素位置との関係を示す概略図である。 隣接する２辺で画素値の符号の変化がある場合の説明図である。 向かい合った２辺で画素値の符号の変化がある場合の説明図である。 すべての辺で画素値の符号の変化がある場合の説明図である。 図１２に示す画像処理部による超解像処理例を示すフローチャートである。 コンピュータのハードウェアの構成例を示すブロック図である。

以下、本開示を実施するための形態（以下、実施形態という）の例について説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。説明は以下の順序で行う。
１．第１の実施形態（画像処理部：画像の高域成分から超解像成分を生成し、その超解像成分を拡大画像に合成した例）
２．第２の実施形態（画像処理部：２次元画像を２次元のまま処理した例）
３．その他

＜１．第１の実施形態＞
本開示の第１の実施形態では、入力画像（入力画像信号）の高周波成分からエッジ周辺の超解像成分を生成し、入力画像を拡大した画像に超解像成分を合成する処理を、まず画像の縦方向（垂直方向）に適用した後に横方向（水平方向）に適用する例を説明する。ここでは、グレイスケール画像を２倍拡大（解像度４倍）する場合を例にとり説明を行う。この方法は入力画像がカラー画像である場合や、２倍以外（１．５倍や３倍など）の拡大率の場合にも適用可能である。

［撮像装置の全体構成例］
図１は、本開示の第１の実施形態に係る撮像装置の全体構成例を示すブロック図である。
図１に示す撮像装置１は、画像処理装置をデジタルスチルカメラに適用した例であり、少なくとも撮像部２と画像処理部３を備える。

撮像部２は、光学素子を介して入射された像光を電気信号に変換して画像処理部３へ出力する。撮像部２には、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Devices）イメージセンサを用いることができる。

画像処理部３は、入力された任意の画像の解像度を高めてより高い解像度を持つ超解像の画像（以下、超解像画像と称す）を生成する。画像処理部３は、垂直超解像処理部１０と水平超解像処理部２０を備える。画像処理部３では、入力画像に対してまず垂直超解像処理部１０による垂直方向の超解像処理を施し、その結果に対して水平超解像処理部２０による水平方向の超解像処理を施し、最終的な超解像画像を得る。

画像処理部３から出力された超解像拡大画像の画像信号は、図示しない表示装置に適した信号フォーマットに変換されて該表示装置へ出力される。あるいは、超解像拡大画像の画像信号に圧縮処理がなされて記録媒体に記録される。

［画像処理部内（超解像処理部）の構成例］
以下、画像処理部３内の垂直超解像処理部１０及び水平超解像処理部２０の内部構成例について説明する。

図２は、画像処理部３内の垂直超解像処理部１０の内部構成例を示すブロック図である。
垂直超解像処理部１０は、垂直ハイパスフィルタ（以下、垂直ＨＰＦと称す）１１と、垂直スケーラ１２と、エッジ判定部１３と、座標変換部１４と、高周波補間部１５と、垂直スケーラ１６と、合成部１７とを備えている。

図３は、画像処理部３内の水平超解像処理部２０の内部構成例を示すブロック図である。
水平超解像処理部２０は、水平ハイパスフィルタ（以下、水平ＨＰＦと称す）２１と、水平スケーラ２２と、エッジ判定部２３と、座標変換部２４と、高周波補間部２５と、水平スケーラ２６と、合成部２７とを備えている。これらの処理ブロックは、垂直超解像処理部１０内の対応する処理ブロックと同様の機能を有する。水平超解像処理部２０は、垂直超解像処理部１０で行う処理を画像の水平方向で繰り返すだけであるので、垂直超解像処理部１０について詳細に説明し、水平超解像処理部２０については詳細な説明は割愛する。

以下、垂直超解像処理部１０内の各処理ブロックについて説明する。
垂直ＨＰＦ１１は、本発明のハイパスフィルタの一例であり、所定の周波数以上の周波数帯域で信号を通過させる。この例では、垂直ＨＰＦ１１は、入力された画像（画像信号）の垂直方向の画素に適用され、画像の垂直方向における高周波成分、すなわち注目画素の画素値とその下（又は上）の隣接画素の画素値が大きく変化している箇所を抽出する。以下、ＨＰＦから出力される入力画像の高周波成分を高周波画像ということがある。

垂直スケーラ１２は、本発明の第２の拡大処理部の一例であり、垂直ＨＰＦ１１の後段に配置され、垂直ＨＰＦ１１から出力された高周波画像を垂直方向に所定の倍率で拡大するスケーリング処理を行う。このスケーリング処理により、画像の垂直方向の解像度が目的（この例では２倍）の解像度に変換される。以下、垂直スケーラ１２で拡大された高周波画像を拡大高周波画像ともいう。

図４は、垂直ＨＰＦ１１を通過後の高周波画像の画素位置と垂直スケーラ１２を通過後の拡大高周波画像の画素位置の関係を示す概略図である。
垂直スケーラ１２は、入力画像の画素３１（黒丸）に基づいてその上下に２つの画素３２−１，３２−２（白丸）を設定する。すなわち、垂直スケーラ１２により、画像の垂直方向の画素数が２倍に変換される。なお、上述したとおり、垂直スケーラ１２は、設定に応じて２倍以外の拡大率の場合にも適用可能である。

なお、図５は、水平ＨＰＦ２１通過後の高周波画像の画素位置と水平スケーラ２２通過後の拡大高周波画像の画素位置の関係を示す概略図である。
水平スケーラ２２は、入力画像の画素３１（黒丸）に基づいてその左右に２つの画素３３−１，３３−２（白丸）を設定する。すなわち、水平スケーラ２２により、画像の水平方向の画素数が２倍に変換される。なお、上述したとおり、水平スケーラ２２は、垂直スケーラ１２と同様に２倍以外の拡大率の場合にも適用可能である。

図２の説明に戻る。エッジ判定部１３は、垂直スケーラ１２の後段に配置され、入力される画像に対し画素ごとにエッジの有無を判定する。ここでは、垂直スケーラ１２でスケーリング処理された拡大高周波画像における注目画素とその隣接画素との間にエッジが存在するか否かを判定し、エッジが存在するのであればエッジ位置の推定を行う。エッジ判定部１３は、注目画素と隣接画素の画素値が同じ符号の場合はエッジが存在しないと判定し、異なる符号の場合にはエッジが存在すると判定する。

以下、図６及び図７を参照してエッジの有無の判定方法及びエッジ位置の推定方法を説明する。図６は、エッジがない場合の２画素の画素値の関係を示す説明図である。図７は、エッジがある場合の２画素の画素値の関係を示す説明図である。

図６に示すように、ある画素４１での画素値がａ（ａ＞０）、隣接する画素４２での画素値がｂ（ｂ＞０）の場合、エッジ判定部１３は、画素４１と画素４２の画素値は同じ符号のためこれらの画素の間にはエッジがないと判定する。

また、図７に示すように、ある画素４３での画素値が−ａ（ａ＞０）、隣接する画素４４での画素値がｂ（ｂ＞０）の場合、エッジ判定部１３は、画素４３と画素４４の画素値は符号が異なるので、これらの画素の間にエッジがあると判定する。画素４３の画素値の符号が＋、画素４４の画素値の符号が−の場合も同様にエッジがあると判定される。

エッジ判定部１３は、エッジがあると判定した場合、エッジ位置の推定を行う。図７において、画素４３と画素４４を直線でつないだときに、その直線と画素値０を示す線分との交点をエッジ位置４５と推定する。画素間の距離が１だとすると、図７における画素４３（注目画素）からエッジ位置４５までの距離ｃは、以下の式で求められる。
ｃ＝ａ／（ａ＋ｂ）

なお、エッジ位置の推定処理は画素間の補間問題に他ならず、上記の方法（バイリニア補間）以外の方法、例えばバイキュービック補間、スプライン補間などにより実現してもよい。

図２の説明に戻る。座標変換部１４は、エッジ判定部１３によってエッジがあると判定された場合、エッジ判定部１３で推定したエッジ位置に対応する、拡大画像におけるエッジ位置を求める。すなわち、拡大前の高周波画像におけるエッジ周辺部の画素の座標を、推定されたエッジ位置を基準にして変換する処理を行う。ここでは、拡大前の高周波画像のエッジ位置と拡大後の高周波画像のエッジ位置を重ねた状態で、拡大前の高周波画像の画素を、拡大後の高周波画像の画素位置に合わせて変換する処理を行う。

以下、座標変換部１４による座標変換処理について図８を用いて説明する。
黒丸で表した拡大前の高周波画像の画素位置５１−１と画素位置５１−２との距離を２、白丸で表した拡大後の高周波画像の画素位置５２−１と画素位置５２−２との距離を１とする。グレー丸で表した画素位置５３−１，５３−２は、拡大前の高周波画像の画素間距離（＝２）が拡大後の高周波画像の画素間距離（＝１）と同じになるように、エッジ位置５４を中心に拡大前の高周波画像の画素位置５１−１，５１−２の間隔を縮めたものである。

ここで、拡大後の高周波画像の画素間距離を１とし、拡大後の高周波画像の画素位置５２−１から距離ｃの位置にエッジがあると推定された場合を想定する。この場合、拡大前の高周波画像の画素位置５１−１（５１−２）と拡大後の高周波画像の画素位置５２−１（５２−２）との距離が０．５０であることを利用して、座標変換後の画素位置５３−１（５３−２）と拡大後の高周波画像の画素位置５２−１（５２−２）との距離ｄは、以下の式で求められる。ただし、ｅはエッジ位置５４から拡大前の高周波画像の画素位置５１−１までの距離である。
ｅ＝ｃ＋０．５０
ｄ＝ｅ−（ｅ／２）−c
＝０．２５−（ｃ／２）

以降の説明において、拡大前の高周波画像の画素位置５１−１，５１−２を特に区別しない場合、画素位置５１と総称する。また、拡大後の高周波画像の画素位置５２−１，５２−２を特に区別しない場合、画素位置５２と総称する。さらに、座標変換後の画素位置５３−１，５３−２を特に区別しない場合、画素位置５３と総称する。

高周波補間部１５は、エッジ判定部１３によってエッジがあると判定された場合、垂直ＨＰＦ１１から出力される高周波画像を利用して、入力画像を拡大した画像（拡大画像）の画素位置における高周波成分の補間処理を行う。ここでは、エッジ判定部１３で計算された拡大前の高周波画像の座標変換後の画素と拡大後の高周波画像の画素との位置関係を用いて、拡大後の画像の画素位置における画素値が拡大前の高周波画像の画素値に基づいて補間される。この補間処理の結果を拡大画像の画素の超解像成分とする。この補間処理は、エッジ周辺部すなわちエッジ位置の上下Ｎピクセルにおいて行われる（Ｎは任意の自然数）。この結果がエッジ周辺における超解像画像となる。このとき、例えば推定したエッジ位置から拡大画像の画素までの距離に応じて求められた超解像成分に重みをかけてもよい。なお、エッジがないと判定された場合、高周波補間部１５は、その画素の超解像成分を０とする。

垂直スケーラ１６は、本発明の第１の拡大処理部の一例であり、エッジ抽出の目的とは別に、入力された画像を垂直方向に目的の倍率で拡大するスケーリング処理を行う。以下、垂直スケーラ１６で拡大された画像を拡大画像ともいう。垂直スケーラ１６により、画像の垂直方向の画素数が２倍に変換される。なお、上述したとおり、設定に応じて２倍以外の拡大率の場合にも適用可能である。この拡大には従来の拡大処理を用いて行ってもよいし、本開示以外の超解像処理を用いて行ってもよい。

合成部１７は、高周波補間部１５で生成された超解像画像と、垂直スケーラ１６で生成された拡大画像を足し合わせる。このときに超解像画像の各画素値に任意のゲインをかけたものを用いたり、フィルタ処理を行ったものを用いたりしてもよい。

図９は、垂直超解像処理部１０の各部における信号の波形を示す図である。
Ｐ１は垂直超解像処理部１０に入力される画像の信号の波形例、Ｐ２は垂直ＨＰＦ１１から出力される信号の波形例、Ｐ３は垂直スケーラ１２から出力される信号の波形例である。また、Ｐ４は高周波補間部１５から出力される信号の波形例、そしてＰ５は垂直スケーラ１６から出力される拡大画像の信号の波形例である。各波形上の白丸は画素を表している。

信号Ｐ２は、垂直ＨＰＦ１１において信号Ｐ１から高周波成分として取り出された信号である。
信号Ｐ３は、垂直スケーラ１２において信号Ｐ２から生成されたものであり、信号Ｐ２の２倍にあたる画素数の情報が含まれる。この信号Ｐ３からエッジ判定部１３において入力画像のエッジ位置Ｅ１が推定される。
エッジ位置Ｅ１を中心に信号Ｐ２を（２倍拡大の場合）１／２に圧縮した信号をＰ２’としたとき、座標変換部１４において信号Ｐ３の画素位置と信号Ｐ２’の画素位置の距離Ｄ１が計算される。
この距離Ｄ１に基づいて、信号Ｐ３の画素位置における信号Ｐ２’の画素値が補間により求められ信号Ｐ４が生成される。
最後に、合成部１７において入力画像の高周波成分の信号Ｐ４と拡大画像の信号Ｐ５が合成される。

［超解像処理部の動作例］
次に、画像処理部３内の超解像処理部の動作を説明する。ここでは、垂直超解像処理部１０の動作を例に説明する。

図１０は、垂直超解像処理部１０による垂直方向の超解像処理例を示すフローチャートである。図１１は、図１０に示す超解像処理の説明に用いる図である。図１１の例では、垂直方向の画素密度を２倍にして表現することにより、画像の垂直方向の２倍拡大を表現している。

超解像処理が開始されると、まず画像処理部３の垂直超解像処理部１０に入力された画像に対して、垂直ＨＰＦ１１が入力画像の垂直方向についてハイパスフィルタ処理を行い、高周波画像を出力する（ステップＳ１）。入力画像は、例えば図１１に示すような等間隔の画素位置５１に配置された画素で構成される画像５５に相当する。

次に、垂直スケーラ１２において、垂直ＨＰＦ１１から出力された高周波成分（高周波画像）を垂直方向に拡大するスケーリング処理を行い（図４参照）、拡大高周波画像を生成する（ステップＳ２）。拡大高周波画像は、例えば図１１に示すような画像５５の垂直方向が２倍に拡大された、画素位置５２に配置された画素で構成される画像５６に相当する。

そして、エッジ判定部１３において、垂直スケーラ１２から出力された拡大高周波画像の画素ごとにエッジの有無の判定とエッジ位置の推定を行う（ステップＳ３）。ここで、エッジがある場合（図７参照）はステップＳ４に進み、エッジがない場合（図６参照）はステップＳ６に進む。

ステップＳ３の判定処理においてエッジがあると判定された場合、座標変換部１４は、エッジ判定部１３で推定されたエッジ位置を基準にして、拡大前の高周波画像におけるエッジ周辺部の画素の座標を変換する処理を行う（図８参照）（ステップＳ４）。エッジ周辺部は、例えば図１１に示すような拡大前の画像５５の画素位置５１の座標変換後の画素位置５３に配置された画素で構成されるエッジ周辺部５７に相当する。

続いて、高周波補間部１５において、座標変換部１４から出力された座標変換結果に基づき、垂直ＨＰＦ１１から出力された高周波画像の画素値を用いて、垂直スケーラ１６から出力される拡大画像の画素位置における高周波成分の補間処理を行う（ステップＳ５）。

ステップＳ３の判定処理においてエッジがないと判定された場合、座標変換処理及び高周波補間処理を行わず、拡大画像の該当する画素位置における超解像成分をゼロとする（ステップＳ６）。

上記ステップＳ５又はステップＳ６の処理を行う一方、垂直スケーラ１６において、入力画像を垂直方向に拡大するスケーリング処理を行い、拡大画像を生成する（ステップＳ７）。

そして、合成部１７において、高周波補間部１５で生成された超解像成分と、垂直スケーラ１６で生成された拡大画像を合成する処理が行われる（ステップＳ８）。超解像成分と拡大画像が合成された超解像拡大画像は、例えば図１１に示すようなエッジ周辺部５７の画素位置５３の画素の画素値によって、エッジ周辺部５７の画素位置５２´の画素値で補正された画素で構成される画像５８に相当する。

拡大画像の全画素について合成処理が完了したら超解像処理を終了し、拡大画像の全画素の合成処理が完了していない場合は他の画素の合成処理を継続する。合成部１７は、高周波補間部１５で生成された超解像成分と、垂直スケーラ１６で生成された拡大画像を合成した垂直超解像画像を、水平超解像処理部２０に出力する。

水平超解像処理部２０に入力された垂直超解像画像は、水平超解像処理部２０において水平超解像処理が施され、垂直方向及び水平方向ともに超解像拡大された超解像画像が出力される。

以上のように構成される第１の実施形態によれば、従来の超解像技術と同様に画像の高周波成分を使いながらも、エッジ位置の推定に一般的なフィルタ演算や座標計算を組み合わせて演算処理量を増大しない方法を採用している。そのため、本実施形態は、従来手法に比べてデータ処理量が少なく、低コストのハードウェアで画像の超解像拡大を実現できる。また、データ処理量が抑えられるので、ハードウェアの消費電力を抑えられる。
さらに、本実施形態は、事前学習等を必要としないため開発の手間及びコストを低減することができる。

なお、本例では、垂直超解像処理部１０で入力画像の垂直方向に超解像処理を行った後に、水平超解像処理部２０で入力画像の水平方向に超解像処理を行ったが、水平超解像処理を行ってから垂直超解像処理を行った場合にも同様の効果を得られる。

＜２．第２の実施形態＞
以下、本開示の第２の実施形態を説明する。第２の実施形態においても、入力画像（入力画像信号）の高周波成分からエッジ周辺の超解像成分を生成し、入力画像を拡大した画像に超解像成分を合成する。ただし、第２の実施形態では、第１の実施形態と違い２次元画像を２次元のまま処理する方法をとる。なお、説明は第１の実施形態と同様に、グレイスケール画像を２倍拡大（解像度４倍）する場合を例にとり行うが、２倍以外の拡大率の場合にも適用可能である。

［画像処理装置内の構成例］
図１２は、本開示の第２の実施形態に係る画像処理部の内部構成例を示すブロック図である。
図１２に示す画像処理部３Ａは、ハイパスフィルタ（以下、ＨＰＦと称す）６１と、エッジ判定部６２と、座標変換部６３と、入力画像補間部６４と、スケーラ６５と、合成部６６とを備えている。画像処理部３Ａは、撮像装置１（図１）の画像処理部３と類似の機能を備え、入力された画像の垂直方向及び水平方向の超解像処理を行う。ただし、画像処理部３Ａは、画像処理部３と比較してＨＰＦ処理後のスケーラによる画像の拡大機能がない。

ＨＰＦ６１は、本発明のハイパスフィルタの一例であり、垂直ＨＰＦ１１及び水平ＨＰＦ２１と同様に、所定の周波数以上の周波数帯域で信号を通過させる。ここでは、ＨＰＦ６１は、入力された画像（画像信号）の垂直方向及び水平方向における高周波成分、すなわち注目画素の画素値とその垂直方向及び水平方向の隣接画素の画素値が大きく変化している箇所を抽出する。

エッジ判定部６２は、ＨＰＦ６１の後段に配置され、エッジ判定部１３と同様、入力される画像に対し画素ごとにエッジの有無を判定する。エッジ判定部６２は、ＨＰＦ６１から出力された高周波画像における注目画素とその垂直方向及び水平方向の隣接画素との間にエッジが存在するか否かを判定し、エッジが存在するのであればエッジ位置の推定を行う。ここではエッジ判定部６２は、ある注目画素とその右・下・右下の４画素に着目し、注目画素とそれらの画素間にエッジがあるか否かの判断を行う。

以下、図１３〜図１６を参照してエッジの有無の判定方法及びエッジ位置の推定方法を説明する。

図１３は、拡大前の画像の画素位置と拡大後の画像の画素位置との関係を示す概略図である。ここでは、入力画像を垂直方向及び水平方向に２倍拡大した例である。
拡大前の画像の画素７１（黒丸）に対し、各方向で２倍拡大後はその周囲（右上、右下、左下、左上）に４つの画素７２（白丸）が設定される。

ＨＰＦ６１から出力される高周波画像の４点の画素の画素値の符号に変化がある場合にエッジがあると判定し、４点すべての画素値の符号が同じ場合はエッジがないと判定する。まず、４点の画素位置を結ぶ各辺において第１の実施形態と同様の方法（図６，図７）を用いて、画素値の符号が変化する位置を求める。本実施形態の場合、２次元画像に対して超解像処理をしているのでエッジ位置は２次元の座標で表される。エッジがある場合は、次の３通りに分類できる。

図１４は、隣接する２辺で画素値の符号の変化がある場合の説明図である。
この例は、４つの画素７１−１〜７１−４を結ぶ４辺のうち、画素７１−１と画素７１−２を結ぶ辺と、画素７１−１と画素７１−４を結ぶ辺において、画素値の符号が変化している。
図１５は、向かい合った２辺で画素値の符号の変化がある場合の説明図である。
この例は、４つの画素７１−１〜７１−４を結ぶ４辺のうち、画素７１−１と画素７１−２を結ぶ辺と、画素７１−３と画素７１−４を結ぶ辺において、画素値の符号が変化している。
図１６は、４辺すべての辺で画素値の符号の変化がある場合の説明図である。
この例は、４つの画素７１−１〜７１−４を結ぶ４辺のうち、すべての辺において、画素値の符号が変化している。

このうち、２辺で画素値に符号の変化がある場合（図１４、図１５）は、それぞれの辺で求めた２つのエッジ位置の座標（図中▲）を平均したものを最終的なエッジ位置７３，７４の座標（図中◆）とする。
また、４辺すべての辺で画素値に符号の変化がある場合（図１６）は、すべての辺で求めた４つのエッジ位置の座標（図中▲）を平均したものを最終的なエッジ位置７５の座標（図中◆）とする。

なお、本実施形態においても、エッジ位置の推定処理は画素間の補間問題に他ならず、上記の方法（バイリニア補間）以外の方法、例えばバイキュービック補間、スプライン補間などにより実現してもよい。

図１２の説明に戻る。座標変換部６３は、エッジ判定部６２によってエッジがあると判定された場合、画素の座標変換処理を行う。座標変換処理は、画像の水平方向及び垂直方向のそれぞれの画素の座標について、第１の実施形態と同様の方法（図８）により行われる。すなわち、拡大前の画像の画素間距離が拡大後の画像の画素間距離と同じになるように、エッジ位置を中心に拡大前の画像の画素位置の間隔を縮め、その座標を求める。その結果を利用して、拡大前の画像の座標変換後の画素と拡大後の画像の画素との距離を求める。

入力画像補間部６４は、本発明の補間部の一例であり、エッジ判定部６２によってエッジがあると判定された場合、入力画像に対し補間処理を施し超解像画像を生成する。ここでは、エッジ判定部６２で計算された拡大前の画像の座標変換後の画素と拡大後の画像の画素との位置関係を用いて、拡大後の画像の画素位置における画素値が拡大前の画像の画素値に基づいて補間される。この補間処理は、エッジ周辺部すなわちエッジ位置の上下Ｎピクセル及び左右Ｍピクセルにおいて行われる（Ｎ，Ｍは任意の自然数）。この結果がエッジ周辺における超解像画像となる。なお、エッジがないと判定された場合、入力画像補間部６４は、後述するスケーラ６５で求められた拡大画像の画素値を超解像画像として採用する。

スケーラ６５は、本発明の第１の拡大処理部の一例であり、エッジ抽出の目的とは別に、入力された画像を垂直方向及び水平方向に目的の倍率で拡大するスケーリング処理を行う。ここでは、入力画像を垂直方向及び水平方向に２倍に拡大して画素数を４倍に変換する。なお、上述したとおり、設定に応じて２倍以外の拡大率の場合にも適用可能である。この拡大には従来の拡大処理を用いて行ってもよいし、本開示以外の超解像処理を用いて行ってもよい。

合成部６６は、入力画像補間部６４で生成された超解像画像と、垂直スケーラ１６で生成された拡大画像を合成する。このときにエッジ周辺では超解像画像と拡大画像のブレンドを行うことになるが、ＨＰＦ６１で求められた入力画像の高周波成分の画素の画素値（高周波成分量）に応じて超解像画像（超解像画素値）と拡大画像（拡大画素値）のブレンド比率を変更する。このようにすることで、拡大画像と超解像画像を合成したときに、そのつなぎ目を滑らかにつなぐことができる。例えば、合成処理後の合成画素値を以下のように計算する。

合成画素値＝α×超解像画素値＋（１−α）×拡大画素値
ただし、α＝｜高周波成分量｜／｜最大高周波成分量｜
最大高周波成分量は、拡大画像のエッジ周辺部に含まれる画素の画素値のうち最大値

ブレンド方法は、上記のように高周波成分の定義域全域を使わないで定義域の一部だけを使い、その範囲外ではブレンド比率を決める係数αを１もしくは０に設定してもよい。すなわち、最大高周波成分量に対する高周波成分量の大きさに基づいてαを決定するのではなく、高周波成分量がある設定値以上ならば係数αを１にし、高周波成分量がある設定値未満ならば係数αをゼロにする。
また、ブレンド比率を高周波成分量に対して非線形に変化させるなど様々な方法が考えられる。例えば高周波成分量が大きい画素により重みをかけたりするなど、上記の計算式に限られない。

［画像処理部の動作例］
次に、図１７のフローチャートを参照して画像処理部３Ａの超解像処理例を説明する。
超解像処理が開始されると、まずスケーラ６５において、画像処理部３Ａに入力された画像を垂直方向及び水平方向に拡大するスケーリング処理を行い、拡大画像を生成する（ステップＳ１１）。このときに拡大前の画像の画素位置と拡大後の画像の画素位置との関係は、図１３に示される。この拡大画像は、最後に超解像画像と合成するときに用いられる。

次に、ＨＰＦ６１において、入力画像についてハイパスフィルタ処理を行い、高周波画像を出力する（ステップＳ１２）。

そして、エッジ判定部６２において、ＨＰＦ６１から出力された高周波画像の画素ごとにエッジの有無の判定とエッジ位置の推定を行う（ステップＳ１３）。ここで、エッジがある場合（図１４〜図１６参照）はステップＳ１４に進み、エッジがない場合はステップＳ１６に進む。

ステップＳ１３の判定処理においてエッジがあると判定された場合、座標変換部６３は、エッジ判定部６２で推定されたエッジ位置を基準にして、拡大前の入力画像におけるエッジ周辺部の画素の座標を変換する処理を行う（ステップＳ１４）。

続いて、入力画像補間部６４において、座標変換部６３から出力された座標変換結果に基づき、入力画像の画素値を用いて、スケーラ６５から出力される拡大画像の画素位置における画素値の補間処理を行う（ステップＳ１５）。

ステップＳ１３の判定処理においてエッジがないと判定された場合、座標変換処理及び入力画像補間処理を行わず、スケーラ６５で求められた拡大画像の画素値を超解像画像の画素値として採用する。
（ステップＳ１６）。

上記ステップＳ１５又はステップＳ１６の処理が終了後、高周波補間処理が行われる（ステップＳ１７）。

そして、合成部６６において、入力画像補間部６４で生成された超解像成分と、スケーラ６５で生成された拡大画像を合成する処理が行われる（ステップＳ１８）。

拡大画像の全画素について合成処理が完了したら超解像処理を終了し、拡大画像の全画素の合成処理が完了していない場合は他の画素の合成処理を継続する。

図１７の例では、ステップＳ１１においてスケーラ６５による入力画像の拡大を行うと説明したが、この入力画像の拡大処理は超解像画像との合成処理が行われるステップＳ１８の前に行えばよい。

以上のように構成される第２の実施形態では、第１の実施形態と異なり、入力画像補間部６４において高周波成分以外の成分も含んだ超解像画像を生成し、これを合成画像と合成して超解像拡大画像を生成している。
この第２の実施形態においても、第１の実施形態と同様に、一般的なフィルタ演算や座標計算を組み合わせることにより画像の超解像拡大を実現できる。そのため、本実施形態は、従来手法に比べてデータ処理量が少なく、低コストのハードウェアで画像の超解像拡大を実現できる。また、データ処理量が抑えられるので、ハードウェアの消費電力を抑えられる。
さらに、本実施形態は、事前学習等を必要としないため開発の手間及びコストを低減することができる。

また、本実施形態では、第１の実施形態の構成と比較してＨＰＦ処理後のスケーラによる画像の拡大機能を有していないので、より簡素な構成で同様の効果が得られている。

なお、上記の第２の実施形態では、エッジ抽出を目的とするスケーラ（例えば、垂直スケーラ１２）を設けていないが、エッジ抽出を目的とするスケーラをもうけてもよい。この場合、エッジ位置をより正確に求めることができる。

＜３．その他＞
上述した第１の実施形態は、エッジ判定部１３は、垂直ＨＰＦ１１により抽出された入力画像の高周波成分を垂直スケーラ１２で拡大した画像を用いてエッジ位置を推定する例を説明したがこれに限られない。例えば、垂直スケーラで入力画像を拡大した後にＨＰＦにより抽出した高周波成分を用いてエッジ位置を推定する構成としてもよい。

また、上述した各実施の形態において、撮像部２と画像処理部３との間に欠陥補正等を行う補正処理手段を設け、補正処理を施した画像データを画像処理部３に入力するようにしてもよい。あるいは、スケーラで入力画像を拡大する時に、同時にボケ補正を行うようにしてもよい。このようにＨＰＦでハイパスフィルタ処理を行う前に画質向上の処理を行うことにより、より正確にエッジの有無の判定及び位置の推定を行うことができる。

上述した各実施の形態において、入力画像もしくは入力画像の高周波成分を最終的に生成するサイズより小さいが、入力画像よりも大きいサイズに拡大してから超解像成分の生成を行ってもよい。例えば、第１の実施形態では垂直スケーラ１２，１６ともに拡大率を２倍としたが、垂直スケーラ１２の拡大率を２倍未満とする。
このように、超解像として拡大する部分の倍率は小さ目にしておいて、目的の倍率までの残りの倍率は従来の拡大手法で行うようにしてもよい。例えば、入力画像を４倍拡大するのに、超解像で２倍に拡大し、従来の拡大手法で２倍に拡大する。これにより、入力画像を拡大する倍率が大きすぎる場合に不自然な画像になることなく、自然な超解像拡大画像が得られる。

また、入力画像から生成した超解像成分にフィルタをかけてから拡大画像との合成を行うようにしてもよい。例えば、超解像で４倍拡大までの成分（超解像成分）を生成して、その成分から２倍までの成分を抜き出すようなフィルタをかける構成としてもよい。

また、入力画像の画素ごとのエッジらしさに応じて拡大倍率やフィルタ成分を適応的に変更してもよい。すなわち、入力画像から部分的に超解像で拡大する分量を、エッジらしさを基に適応的に変更してもよい。
エッジらしさは、例えば高周波成分がゼロをまたぐ（つまりエッジがある）ときに、ゼロをまたぐ前後の信号の値の差分が大きい場合によりエッジらしいとするなどで求められる。求めたエッジらしさから、例えばよりエッジらしい部分ではより大きな倍率で超解像を行い、そうでない部分はより小さな倍率で超解像を行う。

また、第２の実施形態では、最大高周波成分量に対する高周波成分量の大きさに基づいてブレンド比率を決める係数αを決定するようにしたが、この方法を第１の実施形態に応用することができる。例えば、第１の実施形態に応用した場合、拡大画像と超解像成分を合成した後の合成画素値を以下のように計算する。
合成画素値＝α×超解像画素値＋拡大画素値
このような計算式としたのは、第２の実施形態で入力画像補間部６４から出力され拡大画像と合成される超解像画像には高周波成分以外の周波数成分も含まれるからである。第１の実施形態で高周波補間部１５から出力される超解像画像には高周波成分のみが含まれる。

また、第２の実施形態では２次元画像を２次元のまま超解像処理したが、第１の実施形態と同じように、入力画像の垂直方向及び水平方向の一方の超解像処理を行った後に他方の超解像処理を行うことは可能である。

なお、本開示は以下のような構成も取ることができる。
（１）
入力画像の高周波成分を抽出するハイパスフィルタと、
前記ハイパスフィルタで抽出された前記入力画像の高周波成分から前記入力画像におけるエッジの有無を判定し、エッジがある場合はエッジ位置を推定するエッジ判定部と、
前記エッジ判定部で推定した前記エッジ位置に対応する、前記入力画像を拡大した拡大画像におけるエッジ位置を求める座標変換部と、
前記入力画像の高周波成分のエッジの位置と前記拡大画像のエッジ位置が重なる位置における、前記入力画像の高周波成分の画素値を用いて前記拡大画像のエッジ周辺の各画素位置における画素値を求める補間部と、
前記入力画像を目的の拡大率で拡大して前記拡大画像を生成する第１の拡大処理部と、
前記エッジ周辺の高周波成分の補間された画素値と前記拡大画像の画素の画素値を合成する合成部と、
を有する画像処理装置。
（２）
前記エッジ判定部は、前記ハイパスフィルタで抽出された前記入力画像の高周波成分に含まれる相互に隣接する画素の画素値の符号が相違する箇所からエッジ位置を求める
前記（１）に記載の画像処理装置。
（３）
画像を所定の拡大率で拡大する第２の拡大処理部、を更に備え、
前記エッジ判定部は、前記ハイパスフィルタにより抽出された前記画像の高周波成分を前記第２の拡大処理部で拡大した画像を用いてエッジ位置を推定する、もしくは、前記第２の拡大処理部で前記入力画像を拡大した後に前記ハイパスフィルタにより抽出した高周波成分を用いてエッジ位置を推定する
前記（１）又は（２）に記載の画像処理装置。
（４）
撮像部と、
前記撮像部から供給された入力画像の高周波成分を抽出するハイパスフィルタと、
前記ハイパスフィルタで抽出された前記入力画像の高周波成分から前記入力画像におけるエッジ位置を推定するエッジ判定部と、
前記エッジ判定部で推定した前記エッジ位置に対応する、拡大画像におけるエッジ位置を求める座標変換部と、
前記入力画像の高周波成分のエッジの位置と前記拡大画像のエッジ位置を重ねたときの、前記入力画像の高周波成分の画素値を用いて前記拡大画像のエッジ周辺の各画素位置における画素値を求める補間部と、
前記入力画像を目的の拡大率で拡大して前記拡大画像を生成する第１の拡大処理部と、
前記エッジ周辺の高周波成分の補間された画素値と前記拡大画像の画素の画素値を合成する合成部と、を備える画像処理部
を有する撮像装置。
（５）
入力画像の高周波成分を抽出することと、
前記抽出された前記入力画像の高周波成分から前記入力画像におけるエッジの有無を判定し、エッジがある場合はエッジ位置を推定することと、
推定した前記エッジ位置に対応する、前記入力画像を拡大した拡大画像におけるエッジ位置を求めることと、
前記入力画像の高周波成分のエッジの位置と前記拡大画像のエッジ位置が重なる位置における、前記入力画像の高周波成分の画素値を用いて前記拡大画像のエッジ周辺の各画素位置における画素値を求めることと、
前記エッジ周辺の高周波成分の補間された画素値と前記拡大画像の画素の画素値を合成すること、
を含む画像処理方法。
（６）
入力画像の高周波成分を抽出するハイパスフィルタと、
前記ハイパスフィルタで抽出された前記入力画像の高周波成分から前記入力画像におけるエッジの有無を判定し、エッジがある場合はエッジ位置を推定するエッジ判定部と、
前記エッジ判定部で推定した前記エッジ位置に対応する、前記入力画像を拡大した拡大画像におけるエッジ位置を求める座標変換部と、
前記入力画像の高周波成分のエッジの位置と前記拡大画像のエッジ位置が重なる位置における、前記入力画像の画素値を用いて前記拡大画像のエッジ周辺の各画素位置における画素値を求める補間部と、
前記入力画像を目的の拡大率で拡大して前記拡大画像を生成する第１の拡大処理部と、
前記エッジ周辺の補間された画素値と前記拡大画像の画素の画素値を合成する合成部と、
を有する画像処理装置。
（７）
前記エッジ判定部は、前記ハイパスフィルタで抽出された前記入力画像の高周波成分に含まれる相互に隣接する画素の画素値の符号が相違する箇所からエッジ位置を求める
前記（６）に記載の画像処理装置。
（８）
画像を所定の拡大率で拡大する第２の拡大処理部、を更に備え、
前記エッジ判定部は、前記ハイパスフィルタにより抽出された前記画像の高周波成分を前記第２の拡大処理部で拡大した画像を用いてエッジ位置を推定する、もしくは、前記第２の拡大処理部で前記入力画像を拡大した後に前記ハイパスフィルタにより抽出した高周波成分を用いてエッジ位置を推定する
前記（６）又は（７）に記載の画像処理装置。
（９）
撮像部と、
前記撮像部から供給された入力画像の高周波成分を抽出するハイパスフィルタと、
前記ハイパスフィルタで抽出された前記入力画像の高周波成分から前記入力画像におけるエッジ位置を推定するエッジ判定部と、
前記エッジ判定部で推定した前記エッジ位置に対応する、拡大画像におけるエッジ位置を求める座標変換部と、
前記入力画像の高周波成分のエッジの位置と前記拡大画像のエッジ位置を重ねたときの、前記入力画像の画素値を用いて前記拡大画像のエッジ周辺の各画素位置における画素値を求める補間部と、
前記入力画像を目的の拡大率で拡大して前記拡大画像を生成する第１の拡大処理部と、
前記エッジ周辺の補間された画素値と前記拡大画像の画素の画素値を合成する合成部と、を備える画像処理部
を有する撮像装置。
（１０）
入力画像の高周波成分を抽出することと、
前記抽出された前記入力画像の高周波成分から前記入力画像におけるエッジの有無を判定し、エッジがある場合はエッジ位置を推定することと、
推定した前記エッジ位置に対応する、前記入力画像を拡大した拡大画像におけるエッジ位置を求めることと、
前記入力画像の高周波成分のエッジの位置と前記拡大画像のエッジ位置が重なる位置における、前記入力画像の画素値を用いて前記拡大画像のエッジ周辺の各画素位置における画素値を求めることと、
前記入力画像を目的の拡大率で拡大して前記拡大画像を生成する第１の拡大処理部と、
前記エッジ周辺の補間された画素値と前記拡大画像の画素の画素値を合成すること、
を含む画像処理方法。

さらに、以上において説明したように、撮像装置の例として挙げたデジタルスチルカメラは、静止画像を超解像拡大する画像処理を行う。このような画像処理を行うブロックを実装する装置として、デジタルスチルカメラだけでなく他の装置にも適用することが可能である。例えば、そのような装置として、所定のフレーム周期で複数のフレーム画像から構成される動画像を生成するデジタルスチルカメラなどの撮像装置に適用できる。これらの撮像装置は、監視カメラや医用カメラなどにも応用可能である。さらに、画像を加工したり、編集したりする装置やコンピュータプログラムにも応用することができる。また、プリンタ、ディスプレイなどの表示装置等への適用も考えられる。

［コンピュータのハードウェアの構成例］
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、ＣＰＵ１０１，ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２，ＲＡＭ１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インターフェース１０５が接続されている。入出力インターフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記録部１０８、ネットワークインターフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。

以上のように構成されるコンピュータでは、ＣＰＵ１０１が、例えば、記録部１０８に記録されているプログラムを、入出力インターフェース１０５及びバス１０４を介して、ＲＡＭ１０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インターフェース１０５を介して、記録部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記録部１０８にインストールすることができる。その他、プログラムは、ＲＯＭ１０２や記録部１０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

また、本明細書において、時系列的な処理を記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）をも含むものである。

１…撮像装置、２…撮像部、３，３Ａ…画像処理部、１０…垂直超解像処理部、２０…水平超解像処理部、１１…垂直ＨＰＦ、１２…垂直スケーラ、１３…エッジ判定部、１４…座標変換部、１５…高周波補間部、１６…垂直スケーラ、１７…合成部、２１…水平ＨＰＦ、２２…水平スケーラ、２３…エッジ判定部、２４…座標変換部、２５…高周波補間部、２６…水平スケーラ、２７…合成部、５１，５１−１，５１−２…拡大前画像の画素位置、５２，５２−１，５２−２…拡大後画像の画素位置、５３，５３−１，５３−２…座標変換処理後の画素位置、５４…エッジ位置、５５…拡大前画像、５６…拡大後画像、５７…座標変換処理後の画像、５８…超解像拡大画像、６１…ＨＰＦ、６２…エッジ判定部、６３…座標変換部、６４…入力画像補間部、６５…スケーラ、６６…合成部、７１，７１−１〜７１−４…拡大前画像の画素、７２…拡大後画像の画素、７３…重心、１００…コンピュータ

Claims (10)

1. 入力画像の高周波成分を抽出するハイパスフィルタと、
   前記ハイパスフィルタで抽出された前記入力画像の高周波成分から前記入力画像におけるエッジの有無を判定し、エッジがある場合はエッジ位置を推定するエッジ判定部と、
   前記エッジ判定部で推定した前記エッジ位置に対応する、前記入力画像を拡大した拡大画像におけるエッジ位置を求める座標変換部と、
   前記入力画像の高周波成分のエッジの位置と前記拡大画像のエッジ位置が重なる位置における、前記入力画像の高周波成分の画素値を用いて前記拡大画像のエッジ周辺の各画素位置における画素値を求める補間部と、
   前記入力画像を目的の拡大率で拡大して前記拡大画像を生成する第１の拡大処理部と、
   前記エッジ周辺の高周波成分の補間された画素値と前記拡大画像の画素の画素値を合成する合成部と、
   を有する画像処理装置。
2. 前記エッジ判定部は、前記ハイパスフィルタで抽出された前記入力画像の高周波成分に含まれる相互に隣接する画素の画素値の符号が相違する箇所からエッジ位置を求める
   請求項１に記載の画像処理装置。
3. 画像を所定の拡大率で拡大する第２の拡大処理部、を更に備え、
   前記エッジ判定部は、前記ハイパスフィルタにより抽出された前記画像の高周波成分を前記第２の拡大処理部で拡大した画像を用いてエッジ位置を推定する、もしくは、前記第２の拡大処理部で前記入力画像を拡大した後に前記ハイパスフィルタにより抽出した高周波成分を用いてエッジ位置を推定する
   請求項２に記載の画像処理装置。
4. 撮像部と、
   前記撮像部から供給された入力画像の高周波成分を抽出するハイパスフィルタと、
   前記ハイパスフィルタで抽出された前記入力画像の高周波成分から前記入力画像におけるエッジ位置を推定するエッジ判定部と、
   前記エッジ判定部で推定した前記エッジ位置に対応する、拡大画像におけるエッジ位置を求める座標変換部と、
   前記入力画像の高周波成分のエッジの位置と前記拡大画像のエッジ位置を重ねたときの、前記入力画像の高周波成分の画素値を用いて前記拡大画像のエッジ周辺の各画素位置における画素値を求める補間部と、
   前記入力画像を目的の拡大率で拡大して前記拡大画像を生成する第１の拡大処理部と、
   前記エッジ周辺の高周波成分の補間された画素値と前記拡大画像の画素の画素値を合成する合成部と、を備える画像処理部
   を有する撮像装置。
5. 入力画像の高周波成分を抽出することと、
   前記抽出された前記入力画像の高周波成分から前記入力画像におけるエッジの有無を判定し、エッジがある場合はエッジ位置を推定することと、
   推定した前記エッジ位置に対応する、前記入力画像を拡大した拡大画像におけるエッジ位置を求めることと、
   前記入力画像の高周波成分のエッジの位置と前記拡大画像のエッジ位置が重なる位置における、前記入力画像の高周波成分の画素値を用いて前記拡大画像のエッジ周辺の各画素位置における画素値を求めることと、
   前記エッジ周辺の高周波成分の補間された画素値と前記拡大画像の画素の画素値を合成すること、
   を含む画像処理方法。
6. 入力画像の高周波成分を抽出するハイパスフィルタと、
   前記ハイパスフィルタで抽出された前記入力画像の高周波成分から前記入力画像におけるエッジの有無を判定し、エッジがある場合はエッジ位置を推定するエッジ判定部と、
   前記エッジ判定部で推定した前記エッジ位置に対応する、前記入力画像を拡大した拡大画像におけるエッジ位置を求める座標変換部と、
   前記入力画像の高周波成分のエッジの位置と前記拡大画像のエッジ位置が重なる位置における、前記入力画像の画素値を用いて前記拡大画像のエッジ周辺の各画素位置における画素値を求める補間部と、
   前記入力画像を目的の拡大率で拡大して前記拡大画像を生成する第１の拡大処理部と、
   前記エッジ周辺の補間された画素値と前記拡大画像の画素の画素値を合成する合成部と、
   を有する画像処理装置。
7. 前記エッジ判定部は、前記ハイパスフィルタで抽出された前記入力画像の高周波成分に含まれる相互に隣接する画素の画素値の符号が相違する箇所からエッジ位置を求める
   請求項６に記載の画像処理装置。
8. 画像を所定の拡大率で拡大する第２の拡大処理部、を更に備え、
   前記エッジ判定部は、前記ハイパスフィルタにより抽出された前記画像の高周波成分を前記第２の拡大処理部で拡大した画像を用いてエッジ位置を推定する、もしくは、前記第２の拡大処理部で前記入力画像を拡大した後に前記ハイパスフィルタにより抽出した高周波成分を用いてエッジ位置を推定する
   請求項７に記載の画像処理装置。
9. 撮像部と、
   前記撮像部から供給された入力画像の高周波成分を抽出するハイパスフィルタと、
   前記ハイパスフィルタで抽出された前記入力画像の高周波成分から前記入力画像におけるエッジ位置を推定するエッジ判定部と、
   前記エッジ判定部で推定した前記エッジ位置に対応する、拡大画像におけるエッジ位置を求める座標変換部と、
   前記入力画像の高周波成分のエッジの位置と前記拡大画像のエッジ位置を重ねたときの、前記入力画像の画素値を用いて前記拡大画像のエッジ周辺の各画素位置における画素値を求める補間部と、
   前記入力画像を目的の拡大率で拡大して前記拡大画像を生成する第１の拡大処理部と、
   前記エッジ周辺の補間された画素値と前記拡大画像の画素の画素値を合成する合成部と、を備える画像処理部
   を有する撮像装置。
10. 入力画像の高周波成分を抽出することと、
    前記抽出された前記入力画像の高周波成分から前記入力画像におけるエッジの有無を判定し、エッジがある場合はエッジ位置を推定することと、
    推定した前記エッジ位置に対応する、前記入力画像を拡大した拡大画像におけるエッジ位置を求めることと、
    前記入力画像の高周波成分のエッジの位置と前記拡大画像のエッジ位置が重なる位置における、前記入力画像の画素値を用いて前記拡大画像のエッジ周辺の各画素位置における画素値を求めることと、
    前記入力画像を目的の拡大率で拡大して前記拡大画像を生成する第１の拡大処理部と、
    前記エッジ周辺の補間された画素値と前記拡大画像の画素の画素値を合成すること、
    を含む画像処理方法。

Images