JP2021090104A - 画像処置装置および画像処置方法、並びに撮像装置 - Google Patents

Abstract

【課題】ベイヤ配列を有した画像データを画像処理する画像処理装置。【解決手段】本発明の一形態の画像処理部（１２５）は、ベイヤ配列の画像データの注目画素付近における斜め方向を含む複数の方向に対するエッジの方向性を定量化した方向性データのうちの最大値が、ノイズ量算出部（２２２）が算出する近傍画素のノイズ量を含む閾値を超えるか否かに応じて、異なる方法にて色補間をおこなう色補間部（２３０）を備える。【選択図】図２

Description

本発明は画像処理装置および画像処置方法に関し、特に、ベイヤ配列を備えた撮像装置に設けられる画像処理装置および画像処置方法、並びに撮像装置に関する。

従来、例えばディジタルカメラやビデオカメラなどで用いられているＣＣＤやＣＭＯＳなどの固体撮像素子からは、一般に、光の明るさに関する情報のみが出力される。したがって、固体撮像素子が１つである単板式カメラでは、色情報を得るために、ＣＣＤに含まれる１画素毎に１つの色成分のみを通過させる色フィルタがＣＣＤの前に被せられ、動作時に各画素部から対応する色成分をそれぞれ出力するように構成されている。例えば原色フィルタの場合、色成分の種類は３原色のＲ（赤）、Ｇ（緑）およびＢ（青）の３種類である。これらの色フィルタの各色成分の配列には、いくつかの種類が提案されている。その代表的なものとして、ベイヤ配列が挙げられる。このベイヤ配列は、輝度信号に寄与する割合が大きいＧが市松状に配置され、残りの箇所にＲおよびＢが市松状に配置されている。このようなベイヤ配列などの色フィルタが被せられたＣＣＤから信号出力された時点では、画素毎にＲＧＢの色成分の中で１色分の色情報しか得られていない。そこで、画像処理部によって、画素毎に残り２色分の情報を周辺画素の色信号値から推定して算出することにより、残りの色情報を得るという補間処理が行われている。

上記の補間処理の例として、特許文献１に開示された技術が挙げられる。

特許文献１では、ガンマ補正後のベイヤデータを取得するデータ補間部を備えた画像処理装置が開示されている。データ補間部では、二次元状でマトリクス状に配列された各画素部に対してそれぞれ、注目画素付近におけるエッジ（輝度値が急激に変化する部分）の有無およびエッジの方向性が、注目画素とその近傍画素の色信号を用いた演算処理によって検出される。そして、データ補間部は、このエッジの有無および検出されたエッジの方向性に応じたデータ補間処理をおこない、画素毎にＲＧＢ信号を出力する。

注目画素付近におけるエッジを求めて補間処理をおこなう技術については、ほかにも特許文献２に開示されているものがある。

特開２００８−１２５１３２号公報（２００８年５月２９日公開） 特開２００９−６５６７１号公報（２００９年３月２６日公開）

上述の従来技術には、いずれも課題がある。例えば、特許文献１に開示された補間処理では、エッジ検出処理において、注目画素付近にエッジがなく輝度勾配がなだらかな平坦部分であるか否かを判定する際に、閾値で判定する技術が開示される。具体的には、エッジ検出成分の最大値（エッジと交差する方向）と閾値を比較してエッジ成分が閾値よりも小さければ平坦部分としている。しかしながら、イメージセンサからの出力データは、平坦部分であってもショットノイズ等が含まれている。ショットノイズは、同一フレーム内でも輝度が高い部分と低い部分とではノイズ量が異なる。そのため、輝度平均が高いと、ショットノイズが閾値を超える。そのため、平坦部分をエッジ部分として誤検出する虞がある。

また、特許文献２に開示された補間処理では、エッジの方向性データ算出の為に７×７ピクセルの参照画素領域内で勾配計算を行っている。これを実現するためには７行分のラインメモリ（＝ラインバッファとも呼ばれる）が必要である。また、対角線方向の勾配計算において、計算式の末尾に７による除算が存在しているが、２のべき乗以外の除算はビットシフトで計算することが出来ない。そのため、対角線方向の勾配計算のために除算回路が別途必要になり、回路規模が大きくなる。

本発明の一態様は、従前よりも平坦部分とエッジ部分とを正確に判別して精度よく色補間処理をおこなう画像処理装置および画像処理方法、並びに撮像装置を実現することを目的とする。

上記の課題を解決するために、本発明の一態様に係る画像処置装置は、ベイヤ配列の画像データの注目画素および近傍画素におけるエッジの方向性を複数の方向毎に定量化した方向性データを用いて、エッジ方向を検出する方向検出部と、前記方向間で前記方向性データに差が有るか否かを判定する判定部と、前記近傍画素のノイズ量を算出するノイズ量算出部と、前記差が有ると判定された前記方向性データの最大値と、前記ノイズ量を含む閾値とを比較する比較部と、前記比較部の比較結果に応じて、（ｉ）前記最大値が前記閾値より大きい場合は前記注目画素に対して前記エッジ方向を用いた色補間をおこない、（ｉｉ）前記最大値が前記閾値以下である場合は前記注目画素に対して前記（ｉ）の色補間とは異なる色補間をおこなう色補間部と、を備えている。

上記の課題を解決するために、本発明の一態様に係る撮像装置は、上述の画像処理装置と、ベイヤ配列を有したカラーフィルタを有した撮像素子とを備えている。

上記の課題を解決するために、本発明の一態様に係る画像処理方法は、ベイヤ配列の画像データの注目画素および近傍画素におけるエッジの方向性を複数の方向毎に定量化した方向性データを用いて、エッジ方向を検出する方向検出ステップと、前記方向間で前記方向性データに差が有るか否かを判定する判定ステップと、前記近傍画素のノイズ量を算出するノイズ量算出ステップと、前記差が有ると判定された前記方向性データの最大値と、前記ノイズ量を含む閾値とを比較する比較ステップと、前記比較ステップの比較結果に応じて、（ｉ）前記最大値が前記閾値より大きい場合は前記注目画素に対して前記エッジ方向を用いた色補間をおこない、（ｉｉ）前記最大値が前記閾値以下である場合は前記注目画素に対して前記（ｉ）の色補間とは異なる色補間をおこなう色補間ステップと、を含む。

本発明の一態様によれば、従前よりも精度よく色補間処理をおこなうことが可能な画像処理装置および画像処理方法、並びに撮像装置を実現することができる。

本発明の一実施形態に係る撮像装置の主要構成を示す図である。 図１に示す撮像装置の構成要素である画像処理部の詳細な構成を示すブロック図である。 ２次元的に示したベイヤデータを示しており、本明細書において用いている水平方向、垂直方向、右斜め上方向および左斜め上方向という文言について説明する図である。 エッジの方向に関して定義を説明する図である。 図２に示す画像処理部に設けられた仮判定部の基本的な仮判定方法を説明する図である。 図２に示す画像処理部に設けられたノイズ量算出部によっておこなわれるノイズ量の算出方法を説明する図である。 図２に示す画像処理部に設けられたエッジ判定部においておこなわれる判定において用いられる閾値について説明する図である。 図２に示す画像処理部に設けられたエッジ判定部においておこなわれる判定手順について説明する図である。 図２に示す画像処理部に設けられたノイズ量算出部によっておこなわれるノイズ量の算出方法を説明する図である。 エッジ方向が、右斜め上方向である場合の、図２に示す画像処理部に設けられた色補間部においておこなわれる色補間処理を概念的に示す図である。 図２に示す画像処理部に設けられたエッジ決定部によって決定（確定）されたエッジ方向が、左斜め上方向である場合（エッジ検出においてＤ_ＮＥが最も小さい）について説明する図である。 図２に示す画像処理部に設けられた色補間部２３０がおこなう勾配法について説明する図である。 図２に示す画像処理部に設けられた色補間部２３０がおこなう色相関法について説明する図である。 図２に示す画像処理部の動作フロー（画像処理フロー）を示すフローチャートである。 図１４に示す動作フローの一部についての詳細なフロー図である。 図１４に示す動作フローの一部についての詳細なフロー図である。 本発明の他の実施形態に係る撮像装置の構成要素である画像処理部の動作フローを示すフローチャートである。 図１７に示す動作フローの一部について説明する図である。 図１７に示す動作フローの一部について説明する図である。 図１７に示す動作フローの一部について説明する図である。

以下、本発明の一実施形態について、図１から図１６を用いて説明する。

（１）撮像装置
図１は、本実施形態の撮像装置１の主要構成を示す図である。図１を用いて、撮像装置１の主要構成を説明する。なお、本実施形態に係る撮像装置１の構成例は、特許文献１の撮像装置の概略構成図と同じである。このことは、画像処理部１２５における信号処理が特許文献１とは異なるが、本明細書に記載の技術は一般的な撮像装置に適用可能であることを意味している。

撮像装置１は、撮像光学系１００（結像光学系）と、アクチュエータ系１１０と、被写体照明用の電子フラッシュ１１５と、ＡＦ（オートフォーカス）補助光源１１６と、制御部１２０と、表示部１３１と、操作部１３２と、フラッシュメモリ１３３とを備えている。

撮像光学系１００は、第１レンズ群１０１と、絞り兼用シャッタ１０２と、第２レンズ群１０３と、第３レンズ群１０５と、光学的ローパスフィルタ１０６と、撮像素子１０７とを有する。撮像光学系１００の先端に配置された第１レンズ群１０１は、レンズ鏡筒にて光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとしての機能をもつ。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を有する。第３レンズ群１０５は、光軸方向の進退により焦点調節を行うフォーカスレンズである。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、例えば２次元ＣＭＯＳ（相補型金属酸化膜半導体）フォトセンサ（フォトダイオード部）と周辺回路からなる固体撮像素子であり、撮像光学系１００の結像面に配置される。

アクチュエータ系１１０は、ズームアクチュエータ１１１と、絞りシャッタアクチュエータ１１２と、フォーカスアクチュエータ１１４とを有する。ズームアクチュエータ１１１は、不図示のカム筒を回動することで、第１レンズ群１０１および第２レンズ群１０３を光軸方向に移動させて変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節動作を行う。

電子フラッシュ１１５は、撮影時に使用し、キセノン管を用いた閃光照明装置または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。

ＡＦ補助光源１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影する。これにより、低輝度の被写体または低コントラストの被写体に対する焦点検出能力が向上する。

制御部１２０には、中央演算処理装置であるＣＰＵ１２１のほか、以下で説明する各種構成が具備される。

ＣＰＵ１２１は、種々の制御を司る制御中枢機能をもつ。ＣＰＵ１２１は、演算部、ＲＯＭ（リード・オンリ・メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、Ａ（アナログ）／Ｄ（デジタル）コンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。ＣＰＵ１２１はＲＯＭに記憶された所定のプログラムに従って、撮像装置１内の各種構成を駆動し、ＡＦ制御、撮像処理、画像処理、記録処理等の一連の動作を実行する。ＣＰＵ１２１は本実施形態の欠陥画素検出、欠陥画素補正の制御を行う。

電子フラッシュ制御部１２２は、制御部１２０に具備され、ＣＰＵ１２１の制御指令に従い、撮影動作に同期して電子フラッシュ１１５を点灯制御する回路である。

補助光源駆動部１２３は、制御部１２０に具備され、ＣＰＵ１２１の制御指令に従い、焦点検出動作に同期してＡＦ補助光源１１６を点灯制御する回路である。

撮像素子駆動部１２４は、制御部１２０に具備され、撮像素子１０７の撮像動作を制御するとともに、撮像素子１０７から取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する回路である。

画像処理部１２５（画像処理装置）は、制御部１２０に具備され、ＣＰＵ１２１の制御指令に従い、撮像素子１０７により取得した画像のガンマ補正、拡大縮小、ＪＰＥＧ（Joint Photographic Experts Group）圧縮等の処理を行う回路である。また、画像処理部１２５は、撮像素子１０７により取得した撮像画像の生成処理を行う。撮像画像の画像信号は記録処理や表示処理が行われる。また、この画像処理部１２５において、後述する色補間処理を含む画像処理がおこなわれる。

フォーカス駆動部１２６は、制御部１２０に具備され、ＣＰＵ１２１の制御指令に従い、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う回路である。

絞りシャッタ駆動部１２８は、制御部１２０に具備され、ＣＰＵ１２１の制御指令に従い、絞りシャッタアクチュエータ１１２を駆動し、絞り兼用シャッタ１０２の開口径を制御する回路である。

ズーム駆動部１２９は、制御部１２０に具備され、ＣＰＵ１２１の制御指令に従い、撮影者のズーム操作指示に応じてズームアクチュエータ１１１を駆動する回路である。

以上が、本実施形態における制御部１２０の構成である。

表示部１３１は、ＬＣＤ（液晶表示装置）等の表示デバイスを有し、撮像装置１の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。

操作部１３２は、操作スイッチとして、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を備え、操作指示信号をＣＰＵ１２１に出力する。

フラッシュメモリ１３３は、撮像装置１に着脱可能な記録媒体であり、撮影済み画像データ等を記録する。

（２）画像処理部
上述のように本実施形態の撮像装置１は、被写体を撮像可能とする撮像素子１０７と、撮像素子１０７からの撮像データをＡ／Ｄ編換するＡ／Ｄ変換部（不図示）と、このＡ／Ｄ変換部からのデジタル信号を各種信号処理する画像処理装置としての画像処理部１２５とを有している。

撮像素子１０７は、被写体光が所定のカラーフィルタを通ってフォトダイオード部に入射され、フォトダイオード部によって各画素に対応する色の大きさを表すアナログ電気信号に光電変換されて出力される。なお、この場合のカラーフィルタは、ＲＧＢの３原色でベイヤ配列とする。

Ａ／Ｄ変換部は、撮像素子１０７から出力されるアナログ電気信号がデジタル信号(以下、ベイヤデータという)に変換されて出力される。

画像処理部１２５は、Ａ／Ｄ変換部から出力されるベイヤデータ（画像データ）が入力される。そして、後述する各種処理が施されるほか、図示しないが、ホワイトバランス、ガンマ補正等の各種画像処理が施された後に、画素部毎にＲＧＢデータが全て揃った画像データを出力する。

以下、図２を用いて画像処理部１２５を説明する。

（２．１）画像処理部の構成
図２は、図１に示す撮像装置１の構成要素である画像処理部１２５の詳細な構成を示すブロック図である。

画像処理部１２５は、色補間方向として用いるエッジ方向を決定して、決定したエッジ方向を用いて色補間をおこなう処理をおこなう。そのために、画像処理部１２５は、エッジ方向を決定するエッジ予備決定部２１０およびエッジ決定部２２０と、色補間をおこなう色補間部２３０とを有している。より詳細には、エッジ予備決定部２１０においてエッジ方向を予備的に決定（仮決定）して、エッジ決定部２２０においてエッジ方向を決定（確定）し、色補間部２３０において色補間をおこなう。

ここで、色補間をおこなう際には、エッジ（画像内において輝度値が急激に変化する部分）に沿う方向のデータを用いて補間をおこなうほうが良い結果が出る。反対に、エッジと交差する方向のデータを用いて色補間をおこなうと、偽色が発生する場合がある。エッジが無い領域であれば周囲画素のデータを使用して色補間をおこなうことができる。また、ベイヤ配列の場合、輝度成分への寄与率が、Ｇ画素はＲ，Ｂ画素の２倍大きい。そのため、第一にＲ，Ｂ画素上におけるＧ画素を補間する。従って、エッジ予備決定部２１０およびエッジ決定部２２０は、注目画素がＲ，Ｂ画素の場合に動作するものとする。

＜エッジ予備決定部＞
エッジ予備決定部２１０は、エッジ方向を予備的に決定する。

エッジ予備決定部２１０は、図２に示すように、方向性データ算出部２１１と、方向検出部２１２とを有している。

方向性データ算出部２１１は、エッジ成分値（方向性データ）を算出する。ここでいう「方向性データ」は、対象となるベイヤデータ（画像データ）の各画素に対して、少なくとも斜め方向を含む指定方向（複数の方向）と注目画素付近における実際のエッジ方向との近似度が大きいほど値が小さくなるデータである。要するに、方向性データは、ベイヤ配列の画像データの注目画素および近傍画素におけるエッジの方向性を複数の方向毎に定量化したデータである。方向性データ算出部２１１は、予め決められた複数の指定方向のそれぞれに対して、この方向性データを算出する。以下、頭文字Ｄを付して説明しているものが、方向性データである。

方向性データ算出部２１１は、詳細な算出処理は後述するが、以下に定義される方向性データＤ_Ｈ、Ｄ_Ｖ、Ｄ_ＮＥ、Ｄ_ＮＷを算出する。
Ｄ_Ｈ：水平方向に対して交差するエッジの有無を検出するための指標である水平方向の勾配成分の分析結果
Ｄ_Ｖ：垂直方向に対して交差するエッジの有無を検出するための指標である垂直方向の勾配成分の分析結果
Ｄ_ＮＥ：右斜め上方向に対して交差するエッジの有無を検出するための指標である右斜め上方向の勾配成分の分析結果
Ｄ_ＮＷ：左斜め上方向に対して交差するエッジの有無を検出するための指標である左斜め上方向の勾配成分の分析結果。

なお、ここで用いている「水平方向」および「垂直方向」という用語については、図１の撮像素子１０７の固体撮像素子のフォトダイオード配列の水平方向および垂直方向に対応する。すなわち、図３に示す２次元的に示したベイヤデータ３００１_{ｂａｙｅｒ}において、Ｒ_２２を注目画素として定め、紙面左右方向が「水平方向」に相当し、紙面上下方向が「垂直方向」に相当する。同様に、図３に示す２次元的に示したベイヤデータ３００２_{ｂａｙｅｒ}において、ここで用いている「右斜め上方向」が紙面右斜め上方向に相当し、「左斜め上方向」が紙面左斜め上方向に相当する。

方向性データ算出部２１１は、具体的には、５（行）×５（列）ピクセルの参照画素領域内で勾配計算をおこなう。従って、ラインメモリは５行分必要である。ベイヤ配列において注目画素がＲの場合、最近接の垂直・水平方向にＧの画素データ、対角線方向にＢの画素データが存在する。方向性データは、各方向に対する勾配分析を行うことによって求める。勾配量が大きい場合は、その方向に交差するエッジが存在することを示し、勾配量が小さいあるいはゼロの場合は、エッジに沿う方向であるか、エッジが存在しない平坦部分であることを意味する。

注目画素がＲの場合の勾配分析は、下記の式（１）にて求める。本実施形態では、対角線の分析を加減算とビットシフト処理のみで可能である。なお、注目画素がＢの場合は、数式および文中のＲとＢを読み替えるだけで同じ方法を用いて求めることができる。

上記の式（１）において、水平方向の勾配成分（Ｄ_Ｈ）は、注目画素の最近接の水平方向のＧ画素同士の絶対値差分と、注目画素と最近接水平方向のＲ画素の絶対差分（左側・右側）と、最近接のＢ画素の水平方向同士の絶対差分（上側・下側）とを加算したものとする。Ｂ画素の絶対差分値は後述の対角線方向のデータ成分を考慮して、２で除算する。

上記の式（１）において、垂直方向の勾配成分（Ｄ_Ｖ）は、注目画素の最近接垂直方向のＧ画素同士の絶対差分と、注目画素と最近接垂直方向のＲ画素の絶対差分（上側・下側）と、最近接のＢ画素の垂直方向同士の絶対差分（左側・右側）と、を加算したものとする。Ｂ画素の絶対差分値は後述の対角線方向のデータ成分を考慮して、２で除算する。

上記の式（１）において、右斜め上方向の勾配成分（Ｄ_ＮＥ）は、注目画素の最近接の右斜め上方向のＧ画素同士の絶対差分と、注目画素と最近接右斜め上方向のＲ画素の絶対差分（右上・左下）と、最近接のＢ画素の右斜め上方向の絶対差分と、を加算したものとする。

上記の式（１）において、左斜め上方向の勾配成分（Ｄ_ＮＷ）は、注目画素の最近接の左斜め上方向のＧ画素同士の絶対差分と、注目画素と最近接左斜め上方向のＲ画素の絶対差分（左上・右下）と、最近接のＢ画素の左斜め上方向の絶対差分と、を加算したものとする。

なお、対角線方向の勾配計算については、注目画素の対角線方向にＧ画素が存在せず、最近接のＧ画素で代用して計算することになるため、水平・垂直方向に比べると精度が悪くなる。そのため、エッジ検出の精度が悪くなる可能性があるため、対角線方向の勾配分析結果であるＤ_ＮＥ、Ｄ_ＮＷについては係数Ａを乗算する。これにより、対角線方向のエッジ検出精度を制御する。係数Ａを大きくするほどエッジが対角線方向に交差する方向に存在することを意味するため、水平・垂直方向に沿って色の補間がおこなわれることになる。

以上の手順によって、方向性データ算出部２１１が各方向の方向性データ（Ｄ_Ｈ、Ｄ_Ｖ、Ｄ_ＮＥ、Ｄ_ＮＷ）を算出する。

方向検出部２１２は、方向性データ算出部２１１が算出した方向性データ（Ｄ_Ｈ、Ｄ_Ｖ、Ｄ_ＮＥ、Ｄ_ＮＷ）を取得して、注目画素およびその近傍画素（注目画素を通る付近画素）（以下、これらを纏めて注目画素付近と称する）におけるエッジの有無およびエッジ方向を検出する。先述のように色補間方向はエッジ方向（エッジに沿う方向）でおこなうと良好な結果を得ることができる。そのため、方向検出部２１２は、各方向性データから、いずれの方向がエッジに沿う方向であるのかを特定する。エッジに沿う方向は、すなわち勾配成分が小さい方向である。要するに、方向検出部２１２は、Ｄ_Ｈ、Ｄ_Ｖ、Ｄ_ＮＥ、Ｄ_ＮＷのうちの最小値を示す方向性データを特定（選択）する。詳細は後述する。なお、各方向性データの取得は、図１に示すＣＰＵ１２１からおこなってもよいし、あるいは方向性データ算出部２１１からおこなってもよい。

ここで、図４に示す３行×３列の画素領域内で、「エッジ方向（エッジに沿う方向）」を説明する。ここでは、画素の取り得る値を０〜２５５（８ｂｉｔ階調）として説明する。図４の左側の画素領域Ａでは、最も左側に位置する１列目の３画素（Ｌ_００、Ｌ_１０、Ｌ_２０）が画素値「０」であり、２列目および３列目の計６画素（Ｌ_０１、Ｌ_１１、Ｌ_２１、Ｌ_０２、Ｌ_１２、Ｌ_２２）が画素値「２５５」であると仮定する。この画素領域Ａでは、１列目の３画素（Ｌ_００、Ｌ_１０、Ｌ_２０）と、２列目の３画素（Ｌ_０１、Ｌ_１１、Ｌ_２１）との間にエッジがある。すなわち、画素領域Ａでは、図示するように紙面上下方向に沿った方向が「エッジ方向（エッジに沿う方向）」である。反対に、紙面左右方向に沿った方向がエッジと交差する方向である。一方、図４の右側の画素領域Ｂでは、方向の定義が画素領域Ａとは逆である。すなわち、図４の右側の画素領域Ｂでは、最も上側に位置する１行目の３画素（Ｌ_００、Ｌ_０１、Ｌ_０２）が画素値「０」であり、２行目および３行目の計６画素（Ｌ_１０、Ｌ_１１、Ｌ_１２、Ｌ_２０、Ｌ_２１、Ｌ_２２）が画素値「２５５」であると仮定する。この画素領域Ｂでは、１行目の３画素（Ｌ_００、Ｌ_０１、Ｌ_０２）と、２行目の３画素（Ｌ_０１、Ｌ_１１、Ｌ_２１）との間にエッジがある。すなわち、画素領域Ｂでは、図示するように紙面左右方向に沿った方向が「エッジ方向（エッジに沿う方向）」であり、紙面上下方向に沿った方向がエッジと交差する方向である。

以上のように、エッジ予備決定部２１０によってエッジ方向が求められるが、後述する理由から、本実施形態では、更に以下に説明するエッジ決定部２２０を備えて、先に求めたエッジ方向を後段の色補間部２３０による色補間処理に用いることの適否を判定する。

＜エッジ決定部＞
エッジ決定部２２０は、エッジ予備決定部２１０によって予備的に決定したエッジ方向について、後段の色補間部２３０による色補間処理に用いることの適否を判定する。そのために、エッジ決定部２２０は、図２に示すように、仮判定部２２１（判定部）と、ノイズ量算出部２２２と、エッジ判定部２２３（比較部）とを有している。

仮判定部２２１は、注目画素付近が平坦部分であるかエッジ部分であるかを仮判定する。なお、後述するエッジ判定部２２３においてエッジ部分であるか否かを確定させるため、この仮判定部２２１における判定結果を仮の判定結果とみなす。

仮判定部２２１は、一例として、エッジ予備決定部２１０の演算結果である各方向の方向性データを取得し、これら方向性データのうちの最大値と最小値とが等しい場合、注目画素付近を平坦部分と仮判定する。なお、先述のとおり、最大値を示す方向性データに対応する方向は、エッジと交差する方向とみなすことができ、最小値を示す方向性データに対応する方向は、エッジに沿う方向とみなすことができる。ここで、最大値は、最小値と同様に、先のエッジ予備決定部２１０によって特定されていてもよい。

図５を用いて、仮判定部２２１の基本的な仮判定方法を説明する。なお、図５では、説明の便宜上、３行×３列の画素領域を用い、画素の取り得る値を０〜２５５（８ｂｉｔ階調）として説明する。

図５に示す画素領域の縦（垂直）方向にエッジがあるａ）の例において、各方向の方向性データは下記のように絶対値差分によって求められる。
Ｄ_Ｖ＝｜Ｌ_０１−Ｌ_２１｜＝０
Ｄ_Ｈ＝｜Ｌ_１０−Ｌ_１２｜＝２５５
Ｄ_ＮＥ＝｜Ｌ_０２−Ｌ_２０｜＝２５５
Ｄ_ＮＷ＝｜Ｌ_００−Ｌ_２２｜＝２５５
このとき、Ｄ_Ｖが最も小さいため、画素領域の縦（垂直）方向に沿ってエッジが存在する、すなわちエッジ方向は縦（垂直）方向である、とみなすことができる。ａ）の例では、Ｄ_Ｈ＝Ｄ_ＮＥ＝Ｄ_ＮＷであるため、エッジに交差する方向はこの３つのうちのどれを用いても構わない。図５に示すａ）〜ｃ）に示すエッジが含まれている例では、最小値を示す方向性データと最大値を示す方向性データとが必ず存在する。

一方で、図５のｄ）〜ｆ）に示す例では、上記の計算式では最小値を示す方向性データと最大値を示す方向性データとを見出せない。しかしながら、後述するように参照画素領域を５行×５列の領域へ拡張したり、注目画素（中央部）との差分を考慮したりすることにより、図５のｄ）〜ｆ）に示す例であってもエッジ方向（つまり、エッジが含まれていること）を検出することが可能である。

また、図５に示すｇ）、ｈ）の例が示す平坦部分の場合、各方向の方向性データは下記の様に求まる。
Ｄ_Ｖ＝｜Ｌ_０１−Ｌ_２１｜＝０
Ｄ_Ｈ＝｜Ｌ_１０−Ｌ_１２｜＝０
Ｄ_ＮＥ＝｜Ｌ_０２−Ｌ_２０｜＝０
Ｄ_ＮＷ＝｜Ｌ_００−Ｌ_２２｜＝０
このとき、全ての方向性データは同一の値を示しており、差が無いことがわかる。このように、方向によって方向性データに差が無い、換言すれば方向性データの最小値と最大値が同一である場合は平坦部分であると判定することができる。

なお、平坦部分であると判定された場合には、後述するように周辺画素のデータを使用して色補間をおこなう。

このように仮判定部２２１では、注目画素付近がエッジ部分であるか否かを仮判定することができる。

ところで、図１の撮像素子１０７からの出力データは、平坦部分であっても何らかのノイズが含まれている。例えば、平坦部分である箇所において検出される値には、ショットノイズの値が含まれる場合がある。この場合、注目画素付近が本来は平坦部分であっても、算出される方向性データの最大値と最小値が等しくならないことがあり、エッジ部分であると誤判定される虞がある。エッジ部分と誤判定されてデモザイク処理がおこなわれると、ノイズ成分が強調される虞がある。

そこで、そのような誤判定を抑制するべく、本実施形態では、近傍画素のノイズ量と予め定めた判定パラメータとを加えた値と、方向性データの最大値と、を比較する。これにより、注目画素付近が（真に）エッジ部分であるか否かを確定する。そして、注目画素付近がエッジ部分であると確定された場合は、後述するようなエッジ方向を色補間方向として用いる色補間処理にてエッジ成分を残しつつデモザイクを行う。一方、注目画素付近が平坦部分であると確定された場合は、例えば平均値フィルタ等の低周波通過フィルタ（ＬＰＦ）手法でノイズ成分を抑制するデモザイクを行ってもよい。本実施形態では、上述のノイズ量の算出を図２に示すノイズ量算出部２２２がおこない、上述の比較を図２に示すエッジ判定部２２３がおこなう。

ノイズ量算出部２２２は、近傍画素のノイズ量ＶＡＲを算出する。

具体的には、ノイズ量算出部２２２は、近傍画素のノイズ量を、例えば以下の式（２）の平均偏差を用いて求める。

平均偏差は、参照画素の平均値と各画素との絶対値差分の平均値であることから、方向性データとの比較が容易である。なぜなら方向性データも平均値は使用していないが、ある画素とある画素との絶対差分値を使用しているからである。

なお、ノイズ量をデータのバラつき量とした場合、統計学においてよく使用されるのは、下記の式（３）に示す標準偏差および分散である。

しかしながら、上記の標準偏差および分散は、２乗演算や平方根演算があり計算量が多くなる。そこで、本実施形態では、標準偏差および分散を用いるのではなく、上記式（２）にある平均偏差を用いてノイズ量を求める。

ノイズ量算出部２２２による近傍画素のノイズ量の算出手順について、以下に一例を挙げて説明する。ちなみに、近傍画素のノイズ量は、先に求めた最小値が算出された方向性データに対応する方向（エッジに沿う方向）で求める。これは、エッジに交差する方向では、エッジ成分量が含まれており、誤判定の原因となるためである。

（Ｄ_Ｈが最小である場合）
以下では、注目画素がＲである場合を例に取った図６を用いて、最小値が算出された方向性データに対応する方向が水平方向である場合（すなわちＤ_Ｈが最小）のノイズ量を求める一例を説明する。

図６には、ノイズ量を算出する際に参照する画像領域（中心に位置するＲ２２が注目画素）（Ｆ）を示している。

ノイズ量算出部２２２は、まず、参照画像（Ｆ）のうちの図６の（Ｐ１）に示す画素を用いて、各行の輝度の平均値（Ｂ１_ＡＶＥ、Ｇ２_ＡＶＥ、Ｒ２_ＡＶＥ、Ｂ３_ＡＶＥ）を下記の各式（４）に基づいて求める。

また、ノイズ量算出部２２２は、下記の各式（５）に基づき、輝度の平均値（Ｂ１_ＡＶＥ、Ｇ２_ＡＶＥ、Ｒ２_ＡＶＥ、Ｂ３_ＡＶＥ）と各同色画素の輝度との絶対値差分を画素数にて除算して得られる各行のノイズ値（Ｂ１_ｖａｒ、Ｇ２_ｖａｒ、Ｒ２_ｖａｒ、Ｂ３_ｖａｒ）を全て加算したノイズ量Ｈ_ｖａｒを求める。

（Ｄ_Ｖが最小である場合）
また、図６に示す参照画素（Ｆ）において、最小値が算出された方向性データに対応する方向が垂直方向である場合（すなわちＤ_Ｖが最小）のノイズ量を求める場合についても、以下に説明する。

ノイズ量算出部２２２は、参照画像（Ｆ）のうちの図６の（Ｐ２）に示す画素を用いて、各行の輝度の平均値（Ｂ１_ＡＶＥ、Ｇ２_ＡＶＥ、Ｒ２_ＡＶＥ、Ｂ３_ＡＶＥ）を下記の各式（６）に基づいて求める。

また、ノイズ量算出部２２２は、下記の各式（７）に基づき、輝度の平均値（Ｂ１_ＡＶＥ、Ｇ２_ＡＶＥ、Ｒ２_ＡＶＥ、Ｂ３_ＡＶＥ）と各同色画素の輝度との絶対値差分を画素数にて除算して得られる各行のノイズ値（Ｂ１_ｖａｒ、Ｇ２_ｖａｒ、Ｒ２_ｖａｒ、Ｂ３_ｖａｒ）を全て加算したノイズ量Ｖ_ｖａｒを求める。

（Ｄ_ＮＥが最小である場合）
また、図６に示す参照画素（Ｆ）において、最小値が算出された方向性データに対応する方向が右斜め上方向である場合（すなわちＤ_ＮＥが最小）のノイズ量を求める場合についても、以下に説明する。

ノイズ量算出部２２２は、参照画像（Ｆ）のうちの図６の（Ｐ３）に示す画素を用いて、右斜め上方向に配列している各列の輝度の平均値（Ｇ１_ＡＶＥ、Ｂ２_ＡＶＥ、Ｒ２_ＡＶＥ、Ｇ３_ＡＶＥ）を下記の各式（８）に基づいて求める。

また、ノイズ量算出部２２２は、下記の各式（９）に基づき、輝度の平均値（Ｇ１_ＡＶＥ、Ｂ２_ＡＶＥ、Ｒ２_ＡＶＥ、Ｇ３_ＡＶＥ）と各同色画素の輝度との絶対値差分を画素数にて除算して得られる各行のノイズ値（Ｇ１_ｖａｒ、Ｂ２_ｖａｒ、Ｒ２_ｖａｒ、Ｇ３_ｖａｒ）を全て加算したノイズ量ＮＥ_ｖａｒを求める。

（Ｄ_ＮＷが最小である場合）
また、図６に示す参照画素（Ｆ）において、最小値が算出されたエッジ方向性データに対応する方向が左斜め上方向である場合（すなわちＤ_ＮＷが最小）のノイズ量を求める場合についても、以下に説明する。

ノイズ量算出部２２２は、参照画像（Ｆ）のうちの図６の（Ｐ４）に示す画素を用いて、右斜め上方向に配列している各列の輝度の平均値（Ｇ１_ＡＶＥ、Ｂ２_ＡＶＥ、Ｒ２_ＡＶＥ、Ｇ３_ＡＶＥ）を下記の各式（１０）に基づいて求める。

また、ノイズ量算出部２２２は、下記の各式（１１）に基づき、輝度の平均値（Ｇ１_ＡＶＥ、Ｂ２_ＡＶＥ、Ｒ２_ＡＶＥ、Ｇ３_ＡＶＥ）と各同色画素の輝度との絶対値差分を画素数にて除算して得られる各行のノイズ値（Ｇ１_ｖａｒ、Ｂ２_ｖａｒ、Ｒ２_ｖａｒ、Ｇ３_ｖａｒ）を全て加算したノイズ量ＮＷ_ｖａｒを求める。

以上の算出手順により、ノイズ量算出部２２２は近傍画素のノイズ量ＶＡＲ（つまり先述のＨ_ｖａｒ、Ｖ_ｖａｒ、ＮＥ_ｖａｒおよびＮＷ_ｖａｒのうちの何れか）を算出する。

エッジ判定部２２３は、ノイズ量算出部２２２が算出した近傍画素のノイズ量ＶＡＲと予め定めた判定パラメータαとを加えた値と、方向性データの最大値と、を比較し、注目画素付近がエッジ部分か平坦部分かを判定する。

具体的には、エッジ判定部２２３は、次の関係式；
方向性データの最大値＞ＶＡＲ＋α
を満たすか否かを判定する。そして、当該関係式を満たす場合は注目画素付近をエッジ部分と判定（確定）し、当該関係式を満たさない場合は注目画素付近を平坦部分と判定（確定）する。

一例として、最大値を算出した方向性データに対応する方向（エッジ方向と交差する方向）が垂直である場合（すなわちＤ_Ｖが最大）、エッジ判定部２２３は、次の関係式；
Ｄ_Ｖ＞Ｈ_ｖａｒ＋α
を満たすか否かを判定する。そして、満たす場合は注目画素をエッジ部分と判定し、満たさない場合は注目画素を平坦部分と判定する。

ここで、判定パラメータαは、ノイズ量とエッジ成分を区別する為の閾値である。ノイズの無い理想的な平坦画像であれば判定パラメータαはゼロでよい。しかし、先に述べた通り、図１の撮像素子１０７から出力される画像データは平坦部分であってもノイズが含まれており、判定パラメータαがゼロの場合は、本来は平坦部分である画素をエッジ部分と誤検出してしまう。そこで、エッジ判定部２２３は、ノイズ量ＶＡＲと判定パラメータαとを加えた値を用いる。判定パラメータαについては後述する。

要するに、エッジ判定部２２３は、ノイズ量ＶＡＲと判定パラメータαとの加算値を、判定の閾値として用いる。そして、本実施形態では、ノイズ量ＶＡＲを常に求める構成となっている。

これを、図７に示すイメージ図を用いて説明すれば、本実施形態では、エッジに沿う方向（つまりエッジと交差しない方向）のノイズ量ＶＡＲを求め、これに判定パラメータαを加えた値を、閾値（＝ＶＡＲ＋α）とする。ここで、先述した例えばショットノイズのようなノイズが画像にある場合、画面内の輝度平均値の高低によってノイズ量が異なる。これについて、本実施形態では、ノイズ量ＶＡＲを常に（一例として１ピクセル毎）求める構成となっており、閾値には、ノイズ量ＶＡＲの変化が反映される。また、ノイズ量ＶＡＲのみならず、判定パラメータαを加算している。以上のことから、エッジ判定部２２３による判定をおこなうことにより、本来は平坦部分である画素をエッジ部分であると誤検出してしまうことが無い。

以下に、具体例に基づいてエッジ判定部２２３の判定手順について説明する。なお、以下では、簡単の為、エッジ部分であってノイズが無い場合と、平坦部分であってノイズが無い場合と、平坦部分であってノイズがある場合とについて説明する。なお、以下の各事例において、エッジ判定部２２３による判定に至るまでの内容は、先述のエッジ予備決定部２１０（方向性データ算出部２１１および方向検出部２１２）、仮判定部２２１およびノイズ量算出部２２２によっておこなうものとする。

（事例１：エッジ部分であってノイズが無い場合）
図８は、図の上段に参照画像Ｆ´を示している。この参照画像Ｆ´において、各画素には、画素を識別する符号とともに、括弧内に輝度値を示している。この参照画像Ｆ´では、紙面右上に相当する領域にエッジが有る。要するに、平坦部分の輝度値が３２であり、輝度値が３２から６４へ変化するエッジ領域がある。

まず、下記の式（１２）に基づいてエッジ方向成分を求める。このとき、Ｄ_ＶおよびＤ_Ｈを求める際に用いる参照画素Ｐ（Ｄ_Ｖ、Ｄ_Ｈ）を図８の下段左側に示しており、Ｄ_ＮＷおよびＤ_ＮＥを求める際に用いる参照画素Ｐ（Ｄ_ＮＷ、Ｄ_ＮＥ）を図８の下段右側に示している。

上記より、注目画素（参照画像Ｆ´の中心にある画素Ｒ_２２）から見て、エッジと交差する方向は、最大値Ｄ_ＭＡＸである垂直方向または右斜め上方向であることがわかる。一方、エッジに沿う方向は、最小値Ｄ_ＭＩＮである水平方向または左斜め上方向であることがわかる。

次に、各方向のノイズ量（Ｈ_ｖａｒ、Ｖ_ｖａｒ、ＮＥ_ｖａｒ、ＮＷ_ｖａｒ）を求める。図９には、Ｈ_ｖａｒを求める際に用いる参照画素Ｐ（Ｈ_ｖａｒ）、Ｖ_ｖａｒを求める際に用いる参照画素Ｐ（Ｖ_ｖａｒ）、ＮＥ_ｖａｒを求める際に用いる参照画素Ｐ（ＮＥ_ｖａｒ）、ＮＷ_ｖａｒを求める際に用いる参照画素Ｐ（ＮＷ_ｖａｒ）を示す。

各方向のノイズ量（Ｈ_ｖａｒ、Ｖ_ｖａｒ、ＮＥ_ｖａｒ、ＮＷ_ｖａｒ）は、次の通りとなる。
Ｈ_ｖａｒ＝１６
Ｖ_ｖａｒ＝４４
ＮＥ_ｖａｒ＝４４
ＮＷ_ｖａｒ＝１６
例えば、エッジと交差する方向であるＤ_ＭＡＸと、エッジに沿う方向Ｄ_ＭＩＮに対応する方向のノイズ量Ｈ_ｖａｒ（またはＮＷ_ｖａｒ）とを比較する。
Ｄ_ＭＡＸ＞Ｈ_ｖａｒ＋α？
ここでαは、ノイズ量とエッジとを区別するための閾値である。本事例のようにノイズが無く、コントラストの高い画像であれば、α＝０で問題無いが、後述するように平坦部分にノイズ成分が含まれるような場合は、α＞０を設定することにより、ノイズ量とエッジ成分を区別することができる。

本事例では、Ｄ_ＭＡＸ＝８０、Ｈ_ｖａｒ＝１６であり、α＝０とした場合に、上記の不等式を満たすため、エッジ判定部２２３によって、注目画素Ｒ_２２がエッジ部分であると判定される。

（事例２：平坦部分であってノイズが無い場合）
図示しないが、参照領域内の各画素が同一の輝度値を取る（つまり平坦部分である）場合は、全ての方向について方向性データがゼロであり、全ての方向のノイズ量もゼロである。そのため、先述の不等式が成立せず、エッジ判定部２２３によって、注目画素Ｒ_２２が平坦部分であると判定される。

（事例３：平坦部分であってノイズを含む場合）
本事例は、Ｒ＝Ｇ＝Ｂ＝３２の画像に極少量のノイズを印加した例である。方向性データおよびノイズ量をそれぞれ求めると下記の結果が得られる。
Ｄ_Ｈ＝１
Ｄ_Ｖ＝５
Ｄ_ＮＥ＝５
Ｄ_ＮＷ＝１
Ｄ_ＭＡＸ＝Ｄ_Ｖ or Ｄ_ＮＷ
Ｄ_ＭＩＮ＝Ｄ_Ｈ or Ｄ_ＮＥ
Ｈ_ｖａｒ＝１
Ｖ_ｖａｒ＝２．７５
ＮＥ_ｖａｒ＝２．７５
ＮＷ_ｖａｒ＝１
Ｄ_ＭＡＸ（エッジに交差する方向）の値は５、エッジに沿う方向のノイズ量Ｈ_ｖａｒ＝１である。ここで、仮にα＝０とすると、上述の不等式が成立してしまう。そこで、例えば、α＝４とする。α＝４と設定すれば、上述の不等式が成立しなくなるため、エッジ判定部２２３によって、注目画素Ｒ_２２が平坦部分であると判定される。

（判定パラメータα）
αの値を大きくすればするほど、エッジ部分であると判定する値の領域が小さくなる。そのため、ノイズによる誤判定を増やさない程度に判定パラメータの値を小さく設定する。

αは、例えば図１の撮像素子１０７において画像を取得した時に目でぎりぎり判断可能なストライプ画像を用意し、輝度値の高い画像と、低い画像を取得し、それらの画像からエッジ量とノイズ量を求め、エッジ部分か平坦部分かを判別できる最適な値を実験的に求めると良い。なお、αは凡そ、撮像素子毎に決まった値となる。
判定パラメータαは、１以上の値である。

以上の各構成を備えたエッジ決定部２２０によれば、近傍画素のノイズ量と予め定めた判定パラメータとを加えた値と、注目画素のエッジ方向成分値と、を比較することで、注目画素がエッジ部分か平坦部分かを判定する。先述の特許文献１では、エッジ方向性データの最大値（＝エッジと交差する方向）を、ある閾値と比較することでエッジの有無を判定しているため、先述のような誤判定を生じる虞がある。一方、本実施形態では、エッジ判定の毎に、平均偏差を用いてノイズ量を求めて、そのノイズ量に基づいてエッジの有無およびエッジ方向を判定する。これにより、本実施形態では、先述のような誤判定を招来しない。

すなわち、本実施形態によれば、エッジおよびそのエッジ方向を正確に求めることができる。

＜色補間部＞
色補間部２３０は、ベイヤデータの色補間をおこなう。

なお、エッジ方向を用いた色補間処理は、特に、注目画素がＲまたはＢ画素であり、注目画素の対角線方向のＧ画素のデータを補間する場合に用いられるのが好ましい。従って、以下では、注目画素がＲ・Ｂ画素である場合のＧ画素データの補間のみを説明する。Ｇ画素上のＲ・Ｂ、Ｒ画素上のＢ、Ｂ画素上のＲの補間については、後述する従来例を適用すれば良い。

色補間部２３０では、注目画素がＲまたはＢ画素である場合の、エッジ方向を用いたＧ画素データの補間を、下記の手順で行う。なお、注目画素がＢの場合は、数式・文中のＲをＢに読み替えて同じ方法により求めることができる。

先述のエッジ決定部２２０によってエッジ部分であると決定（確定）された注目画素付近に関して、左記のエッジ予備決定部２１０において求めたエッジ方向が右斜め上方向である場合（Ｄ_ＮＥが最も小さい）について、図１０を用いて説明する。

（エッジ方向が右斜め上方向であるケースの色補間処理）
図１０は、エッジ方向が右斜め上方向である場合の色補間処理を概念的に示す図である。

色補間部２３０は、右斜め上方向のＧ成分ｇ_ＮＥを求める第１ステップと、注目画素のＧ成分Ｇ_２２を求める第２ステップとをおこなう。以下、これらのステップについて、図１０に示す参照画像（Ｒ_２２が注目画素であり、Ｄ_ＮＥが最も小さい）を参照して説明する。

まず、第１ステップとして、右斜め上方向のＧ成分ｇ_ＮＥを求める。このｇ_ＮＥを求めるにあたっては、局所領域における色の低周波成分の色相関は一定であるという仮定を用いる。

第１ステップでは、以下の式（１３）に基づいて、注目画素の最近接Ｇ成分の平均値（低周波成分）ｇ_ＡＶＥを求める。また、下記の式（１３）に基づいて、注目画素の最近接Ｂ成分のうちの注目画素の右斜め上方向に存在しているＢ成分を除く、つまり左斜め上方向に存在しているＢ成分の平均値（低周波成分）ｂ_ＡＶＥを求める。また、注目画素の右斜め上方向に存在しているＢ成分の平均値を求めて、これを注目画素のＢ成分ｂ_２２と推定する。そして、先述の仮定に基づけば、ｇ_ＡＶＥとｂ_ＡＶＥとの差分値は、求めたい右斜め上方向のＧ成分ｇ_ＮＥと求めたｂ_２２との差分値と同じであることから、下記の式（１３）に基づいて、右斜め上方向のＧ成分ｇ_ＮＥを、ｂ_２２と、ｇ_ＡＶＥとｂ_ＡＶＥとの差分値と、を加算して求める。

ところで、本来なら、上で求めたｇ_ＮＥをそのまま注目画素のＧ成分Ｇ_２２としても良いが、エッジ検出と同様、斜め方向のＧ成分は精度が悪い。そこで、色補間部２３０では、第１ステップに続いて、精度を担保するための第２ステップをおこなう。

第２ステップでは、下記の式（１４）に基づき、上で求めたｇ_ＮＥに、水平＝垂直方向を選択した場合に求められるＧ成分（ｇ_Ｖ、ｇ_Ｈ）の平均値ｇ_ＶＨを加算し、その平均を求める。なお、水平＝垂直方向である場合の水平方向のＧ成分ｇ_Ｈおよび垂直方向のＧ成分ｇ_Ｖは、後述の式に基づいて求めることができる。

第２ステップによれば、注目画素のＧ成分Ｇ_２２を精度よく補間することができる。

（エッジ方向が左斜め上方向であるケースの色補間処理）
先述のエッジ決定部２２０によってエッジ部分であると決定（確定）された注目画素付近に関して、左記のエッジ予備決定部２１０において求めたエッジ方向が左斜め上方向である場合（Ｄ_ＮＷが最も小さい）について、図１１を用いて説明する。

先述のエッジ方向が右斜め上方向である場合と同様、色補間部２３０は、２つのステップを含む色補間処理をおこなう。

具体的には、色補間部２３０は、左斜め上方向のＧ成分ｇ_ＮＷを求める第１ステップと、注目画素のＧ成分Ｇ_２２を求める第２ステップとをおこなう。以下、これらのステップについて、図１１に示す参照画像（Ｒ_２２が注目画素であり、Ｄ_ＮＷが最も小さい）を参照して説明するが、先述のエッジ方向が右斜め上方向である場合と異なる点のみを説明する。

異なる点は、第１ステップにおける注目画素のＢ成分ｂ_２２の推定に用いる画素と、ｂ_ＡＶＥの算出に用いる画素である。エッジ方向が左斜め上方向である場合には、注目画素の左斜め上方向に存在しているＢ成分の平均値を求めて、これを注目画素のＢ成分ｂ_２２と推定する（下記の式（１５）に基づく）。また、Ｂ成分の平均値（低周波成分）ｂ_ＡＶＥの算出に注目画素の右斜め上方向に存在している画素を用いる。これらを除いては先述と同じであり、先述の仮定を用いて、左斜め上方向のＧ成分ｇ_ＮＷを下記の式のように求める。

なお、本ケースでも先述と同様に第２ステップによって、下記の式（１６）に基づき、上で求めたｇ_ＮＷに、水平方向および垂直方向を選択した場合に求められる、Ｇ成分（ｇ_Ｖ、ｇ_Ｈ）の平均値ｇ_ＶＨを加算し、その平均を求める。

これにより、注目画素のＧ成分Ｇ_２２を精度よく補間することができる。

（エッジ方向が垂直方向であるケースの色補間処理）
先述のエッジ決定部２２０によってエッジ部分であると決定（確定）された注目画素付近に関して、左記のエッジ予備決定部２１０において求めたエッジ方向が垂直方向である場合（Ｄ_Ｖが最も小さい）は、色補間部２３０は、下記の式（１７）に基づいて、垂直方向のＧ成分ｇ_Ｖを求めることができる。

本ケースの場合には、先述の斜め方向のようにＧ成分の精度が悪いということは無い。従って、本ケースでは、求めたｇ_Ｖを、注目画素のＧ成分Ｇ_２２とすることで補間する。

（エッジ方向が水平方向であるケースの色補間処理）
先述のエッジ決定部２２０によってエッジ部分であると決定（確定）された注目画素付近に関して、左記のエッジ予備決定部２１０において求めたエッジ方向が水平方向である場合（Ｄ_Ｈが最も小さい）は、色補間部２３０は、下記の式（１８）に基づいて、垂直方向のＧ成分ｇ_Ｈを求めることができる。

本ケースの場合も、先述の斜め方向のようにＧ成分の精度が悪いということは無い。従って、本ケースでは、求めたｇ_Ｈを、注目画素のＧ成分Ｇ_２２とすることで補間する。

（エッジ方向が水平方向および垂直方向、または右斜め上方向および左斜め上方向であるケースの色補間処理）
先述のエッジ決定部２２０によってエッジ部分であると決定（確定）された注目画素付近に関して、左記のエッジ予備決定部２１０において求めたエッジ方向が水平方向および垂直方向である場合（Ｄ_Ｈ＝Ｄ_Ｖ且つ最も小さい）、あるいは右斜め上方向および左斜め上方向である場合（Ｄ_ＮＥ＝Ｄ_ＮＷ且つ最も小さい）は、色補間部２３０は、下記の式（１９）に基づいて、水平方向および垂直方向を選択した場合に求められる、Ｇ成分（ｇ_Ｖ、ｇ_Ｈ）の平均値ｇ_ＶＨを求める。

本ケースの場合も、先述の斜め方向のようにＧ成分の精度が悪いということは無い。従って、求めたｇ_ＶＨを、注目画素のＧ成分Ｇ_２２とすることで補間する。

なお、先述のエッジ決定部２２０によって決定（確定）されたエッジ方向が、水平方向および垂直方向、あるいは右斜め上方向および左斜め上方向である場合は、平坦部分として処理してもよい。その場合は、参照画像内の全てのＧ画素を使用した平均値フィルタを適用して色補間をおこなってもよい。
＜色補間部（Ｇ画素上のＲ・Ｂ、Ｒ画素上のＢ、Ｂ画素上のＲの補間）＞
Ｇ画素上のＲ・Ｂ、Ｒ画素上のＢ、Ｂ画素上のＲの補間については、一般的な勾配法を適用すれば良い。あるいは、一般的な色相関法を用いても補間することができ、一般的な勾配法よりも良い結果が得られる。ただし、一般的な色相関法の場合、Ｇ画素データを記憶する必要があるため、回路規模は増える。以下、これら勾配法および色相関法について説明する。

（勾配法）
図１２は、勾配法を用いて注目画素がＲ_２２である場合のＢ_２２の補間方法を説明するための参照画像８０００_{ｂａｙｅｒ}と、勾配法を用いて注目画素がＧ_２２である場のＲ_２２およびＢ_２２の補間方法を説明するための参照画像８００１_{ｂａｙｅｒ}とである。

参照画像８０００_{ｂａｙｅｒ}を用いてＢ_２２を求めるにあたっては、色補間部２３０は、予備計算として絶対値差分を、下記の式に基づいて求める。
Ｂ_ＮＷ＝｜Ｂ_１１−Ｂ_３３｜
Ｂ_ＮＥ＝｜Ｂ_１３−Ｂ_３１｜
そして、Ｂ_ＮＥ＝Ｂ_ＮＷであれば、次の式；
Ｂ_２２＝（Ｂ_１１＋Ｂ_１３＋Ｂ_３１＋Ｂ_３３）／４
でＢ_２２が求められ、Ｂ_ＮＥ＜Ｂ_ＮＷであれば、次の式；
Ｂ_２２＝（Ｂ_１３＋Ｂ_３１）／２
でＢ_２２が求められ、Ｂ_ＮＥ＞Ｂ_ＮＷであれば、次の式；
Ｂ_２２＝（Ｂ_１１＋Ｂ_３３）／２
でＢ_２２が求められる。なお、注目画素がＢ_２２の場合は、以上の説明においてＲとＢを読み替えることによりＲ_２２を求めることができる。

次に、注目画素がＧ_２２である場合には、参照画像８００１_{ｂａｙｅｒ}を用いて、次のように補間することができる。
Ｂ_２２＝（Ｂ_１２＋Ｂ_３２）／２
Ｒ_２２＝（Ｒ_２１＋Ｒ_２３）／２
なお、Ｒ画素が左右にあるＧ画素を一般にＧ_Ｒ、Ｂ画素が左右にあるＧ画素をＧ_Ｂと記述することがあり、参照画像８００１_{ｂａｙｅｒ}はＧ_Ｒの例である。Ｇ_Ｂの場合は、上の式のＲとＢを入れ替えれば良い。

（色相関法）
図１３は、色相関法を用いて注目画素がＲ_２２である場合のＢ_２２の補間方法を説明するための参照画像９０００_{ｂａｙｅｒ}と、色相関法を用いて注目画素がＧ_２２である場のＲ_２２およびＢ_２２の補間方法を説明するための参照画像９００１_{ｂａｙｅｒ}とである。

本実施形態の手順で行けば、Ｒ，Ｂ画素位置のＧ成分は既に補間されていることになる。そのため、Ｂ_２２を求めるにあたっては、色補間部２３０は、予備計算として、ＢとＧの平均値を、次のように求める。
Ｂ_ＡＶＥ＝（Ｂ_１１＋Ｂ_１３＋Ｂ_３１＋Ｂ_３３）／４
Ｇ_ＡＶＥ＝（Ｇ_１１＋Ｇ_１３＋Ｇ_３１＋Ｇ_３３）／４
そして、色相関に基づき、Ｂ_２２を求める。
Ｂ_２２＝Ｇ_２２＋（Ｂ_ＡＶＥ−Ｇ_ＡＶＥ）
なお、この例では、Ｂ_ＡＶＥ−Ｇ_ＡＶＥのように相関差を用いているが、下記のように相関比を用いても良い。
Ｂ_２２＝Ｇ_２２×（Ｂ_ＡＶＥ／Ｇ_ＡＶＥ）
なお、以上の説明では平均値（ＡＶＥ）としているが、本来の意図は低周波成分を求めることにある。

次に、Ｇ_２２を用いてＢ_２２を求める。この場合にも、本実施形態の手順で行けば、Ｒ，Ｂ画素位置のＧ成分は既に補間されていることになる。そのため、Ｂ_２２を求めるにあたっては、色補間部２３０は、予備計算として、ＢとＧの平均値を、次のように求める。
Ｂ_ＡＶＥ＝（Ｂ_１２＋Ｂ_３２）／２
Ｇ_ＡＶＥ＝（Ｇ_１２＋Ｇ_３２）／２
そして、色相関に基づき、Ｂ_２２を求める。
Ｂ_２２＝Ｇ_２２＋（Ｂ_ＡＶＥ−Ｇ_ＡＶＥ）
次に、Ｇ_２２を用いてＲ_２２を求めるにあたって、色補間部２３０は、予備計算として、ＲとＧの平均値を、次のように求める。
Ｂ_ＡＶＥ＝（Ｂ_２１＋Ｂ_２３）／２
Ｇ_ＡＶＥ＝（Ｇ_２１＋Ｇ_２３）／２
そして、色相関に基づき、Ｒ_２２を求める。
Ｒ_２２＝Ｇ_２２＋（Ｒ_ＡＶＥ−Ｇ_ＡＶＥ）
以上の方法で色補間をおこなうことができる。

（２．２）画像処理部の動作処理（画像処理方法）
図１４は、画像処理部１２５の動作フロー（画像処理フロー）を示すフローチャートである。図１４を用いて、画像処理部１２５による画像処理方法（色補間方法）を説明する。

画像処理部１２５にベイヤデータが入力されると、画像処理動作を開始し、ステップＳ１として、エッジ予備決定部２１０の方向性データ算出部２１１が、取得したベイヤデータを用いて、方向性データ（Ｄ_Ｈ、Ｄ_Ｖ、Ｄ_ＮＥ、Ｄ_ＮＷ）を算出する。算出方法は、先述の通りである。

次に、ステップＳ２（方向検出ステップ）として、エッジ予備決定部２１０の方向検出部２１２が、ステップＳ１にて算出された各方向性データ（Ｄ_Ｈ、Ｄ_Ｖ、Ｄ_ＮＥ、Ｄ_ＮＷ）を取得して、注目画素付近におけるエッジの有無およびエッジ方向を検出する。ステップＳ２では、方向検出部２１２が、Ｄ_Ｈ、Ｄ_Ｖ、Ｄ_ＮＥ、Ｄ_ＮＷのうちの最小値を示す方向（エッジに沿う方向）を特定（選択）する。

ステップＳ２については、図１５を用いて更に詳述する。

ステップＳ２は、まず、ステップＳ２１として、注目画素がＲ画素またはＢ画素であるかを判定する。ステップＳ２１における判定の結果、注目画素がＲ画素でもＢ画素でもなければ、処理を終了する（ステップＳ２１におけるＮｏ）。要するに、本実施形態では、Ｇ画素に対しては、エッジ方向の検出をおこなわないため、注目画素がＧの場合は、処理を終了する。一方、注目画素がＲ画素またはＢ画素であれば、ステップＳ２２およびステップＳ２３に移行する。

ステップＳ２２では、水平・垂直方向の比較を行う。ステップＳ２３では、対角線方向の比較を行う。ここで、例えば、水平方向を０、垂直方向を１、対角線右斜め上方向を２、対角線左斜め上方向を３、水平方向成分＝垂直方向成分の時を４、対角線方向成分右斜め上方向＝左斜め上方向成分の時を５とするインデックス番号を定義する。ステップＳ２２では、水平方向成分と垂直方向成分とを比較し、水平方向成分が小さければ、仮の記憶変数ＤｉｒＶＨに０を、垂直方向成分が小さければ１を、等しければ４を格納する。また、仮の記憶変数ＤＶＨに選択した方向成分を格納する。

ステップＳ２３では、ステップＳ２２と同様に、対角線右斜め上方向成分と左斜め上方向成分とを比較し、右斜め上方向成分が小さければ２を、左斜め上方向成分が小さければ３を、等しければ５を格納する。また、仮の記憶変数ＤＮＮにそれぞれ選択した方向成分を格納する。

ステップＳ２４では、エッジ方向を決定する。具体的には、ステップＳ２４では、ステップＳ２２の水平・垂直方向比較結果ＤＶＨと、ステップＳ２３対角線方向比較結果ＤＮＮとを比較する。比較の結果、水平・垂直方向成分ＤＶＨが小さければ、ＤｉｒＶＨに格納している方向をエッジ方向として選択（予備的に決定）する。対角線方向成分ＤＮＮが小さければ、ＤｉｒＮＮに格納している方向をエッジ方向として選択（予備的に決定）する。ＤＶＨとＤＮＮが等しい場合は、例えばＤｉｒＶＨに格納している方向を、エッジ方向として選択（予備的に決定）する。この場合、方向性データに複数の最小値が存在するため、平坦部分と判断しても良い。

ステップＳ２において方向検出部２１２がエッジ方向を（予備的に）決定すると、ステップＳ３に移行する。

ステップＳ３（判定ステップ）では、エッジ決定部２２０の仮判定部２２１が、注目画素付近が平坦部分であるかエッジ部分であるかを仮判定する。ステップＳ３における仮判定処理は、ステップＳ１およびステップＳ２によって得られる演算結果に基づいて仮判定する。具体的な仮判定方法は、先述の通りであるが、図１６に基づいて説明すれば、以下の通りである。

ステップＳ３では、まずステップＳ３１として、各方向の方向性データ（Ｄ_Ｖ、Ｄ_Ｈ、Ｄ_ＮＥ、Ｄ_ＮＷ）が算出される。そして、続くステップＳ３２において、算出された方向性データの中に最小値、最大値があるかを判定する。最小値、最大値がある場合（ステップＳ３２においてＹｅｓ）は、エッジ部と仮判定され（ステップＳ３３）、図１４のステップＳ４に移行する。一方、ステップＳ３において注目画素付近が平坦部分であると仮判定された場合には、後述のステップＳ６Ｂの色補間ステップに移行する。

ステップＳ４（ノイズ量算出ステップ）では、ノイズ量算出部２２２が、近傍画素のノイズ量ＶＡＲを算出する。先述のように、ステップＳ４における近傍画素のノイズ量は、ステップＳ２において求めたエッジ方向に沿って求める。具体的なノイズ量算出方法は、先述の通りである。ノイズ量算出部２２２が近傍画素のノイズ量ＶＡＲを算出すると、ステップＳ５に移行する。

なお、ステップＳ１およびステップＳ２における方向性データの算出およびエッジ方向の検出処理と、ステップＳ４における垂直・水平・対角線方向のノイズ量の算出処理とを並列に求めてもよい。これにより、エッジ方向の検出が終わった直後に最小値の方向のノイズ量と方向性データの最大値とを比較することができ、演算時間を短縮できる。

ステップＳ５（比較ステップ）では、ステップＳ４において算出した近傍画素のノイズ量ＶＡＲと予め定めた判定パラメータαとを加えた値と、ステップＳ１において算出した方向性データの最大値と、を比較する。この比較処理は、エッジ判定部２２３においておこなう。ステップＳ５では、先述のように、以下の関係式；
エッジ方向性データの最大値＞ＶＡＲ＋α
を満たすか否かを判定する。そして、当該関係式を満たす場合は注目画素付近をエッジ部分と判定（確定）し、当該関係式を満たさない場合は、エッジ部分と仮判定されていた注目画素付近を平坦部分と判定（確定）する。

ステップＳ５において注目画素付近がエッジ部分であると確定した場合には、ステップＳ６Ａの色補間ステップに移行する。注目画素付近が平坦部分であると確定した場合には、後述のステップＳ６Ｂの色補間ステップに移行する。

ステップＳ６Ａでは、色補間部２３０が、ステップＳ２において求めたエッジ方向を用いて注目画素の色補間処理をおこなう。ステップＳ６Ａでは、ステップＳ２のステップＳ２４において選択された補間方向を用いる。すなわち、ステップＳ６Ａでは、エッジ方向成分が最も小さい方向を用いて補間をおこなう。補間方法としては、先述の通りである。

一方、ステップＳ６Ｂでは、色補間部２３０が、参照画像内の全てのＧ画素を使用した平均値フィルタ等の低周波通過フィルタ（ＬＰＦ）手法でノイズ成分を抑制するようにして、注目画素の色補間をおこなう。

ステップＳ６ＡまたはステップＳ６Ｂにおいて色補間が完了すると、他の注目画素における色補間が完了していれば処理を終了する（ステップＳ７）。色補間がおこなわれていない画素があればステップＳ１に戻って、当該画素の色補間をおこなう。色補間をおこなうべき全ての画素に対して色補間が完了したら、処理を終了する。

（３）効果
本実施形態によれば、従前よりも精度よく色補間処理をおこなうことが可能となる。

特許文献１においては、エッジの有無を判定する際、エッジ方向性データの最大値（＝エッジと交差する方向）を、ある閾値と比較し、閾値よりも小さければ平坦部分としている。しかしながら、イメージセンサからの出力データは、平坦部分であってもショットノイズ等が含まれている。ショットノイズは、同一フレーム内でも輝度が高い部分と低い部分とではノイズ量が異なる。そのため、輝度平均が高いと、ショットノイズが閾値を超える。そのため、平坦部分をエッジ部分として誤検出する虞がある。故に、同一フレーム内においても、輝度平均値に対して適切に閾値を変更する必要がある。

これに対し、本実施形態では、エッジ部分と仮判定された注目画素付近について、近傍画素のノイズ量を算出し、ノイズ量とパラメータとの加算値と、方向性データの最大値とを比較する。比較の結果、方向性データの最大値が、当該加算値よりも大きければ、注目画素付近をエッジ部分と確定する。一方で、当該加算値以下であれば、先にエッジ有りと仮判定されていた注目画素付近を平坦部分と見直す。これにより、先述したような誤判定に伴う誤った色補間処理がおこなわれる虞がない。そのため、精度よく色補間をおこない、高画質の画像を生成することに寄与することができる。

また、特許文献２においてもエッジの方向性データを算出する。その算出方法は、７×７ピクセルの参照画素領域内で勾配計算を行っている。これを実現するためには７行分のラインメモリ（ラインバッファとも呼ばれる）が必要である。また、対角線方向の勾配計算では、計算式の末尾に７による除算が存在している。２のべき乗以外の除算はビットシフトで計算出来ないため、対角線方向の勾配計算には除算回路が別途必要になり、回路規模が大きくなる。

これに対し、本実施形態では、先述のように、エッジの方向性データ算出は、５×５ピクセルの参照画素領域内で勾配計算をおこなう。従ってラインメモリは５行分で済む。また、対角線の分析も加減算とビットシフト処理のみで可能である。したがって、従前よりも、回路規模が過大となることを抑えることが可能である。

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

本実施形態と、先述した実施形態１との違いは、仮判定において平坦部と判定された場合のそれ以降の処理にある。要するに、画像処理部１２５による画像処理方法の動作フロー（画像処理フロー）が、実施形態１のそれと相違する。以下、本実施形態について、図１７を用いて説明する。

図１７は、本実施形態の画像処理部１２５による画像処理方法の動作フローを示すフローチャートである。

ステップＳ１〜ステップＳ３までは、実施形態１において説明しているため、説明を省略する。

上述の実施形態１では、ステップＳ３において注目画素付近が平坦部分であると仮判定された場合には、ステップＳ６Ｂの色補間ステップに移行する。これに対して、本実施形態では、ステップＳ３において注目画素付近が平坦部分であると判定される（図１７におけるステップＳ３Ａ）と、条件を変えて、再度、平坦部であるか否かが判定される。これが、図１７におけるステップＳ３Ｂである。

また、上述の実施形態１では、ステップＳ３においてエッジ部分であるか仮判定する際に参照する画像領域が３行×３列の大きさである一方で、続くステップＳ４のノイズ量算出処理では、５行×５列の画像領域に基づいて算出をおこなっている。これに対して、本実施形態では、ステップＳ３Ａにおいて３行×３列の画像領域を用いてエッジ部である仮判定された場合については、参照領域を５行×５列に広げることなく、３行×３列の画像領域においてノイズ量を演算する。

以下では、まず、本実施形態の仮判定ステップに関して、詳細を説明する。

図１７のステップＳ３Ａは、実施形態１のステップＳ３に相当する。ステップＳ３Ａでは、仮判定部２２１が図５に示す３行×３列の画素領域を用いてエッジが有るか否かを仮判定する。図５に示す画素領域の縦（垂直）方向にエッジがあるａ）の例において、各方向の方向性データは下記のように絶対値差分によって求められる。
Ｄ_Ｖ＝｜Ｌ_０１−Ｌ_２１｜＝０
Ｄ_Ｈ＝｜Ｌ_１０−Ｌ_１２｜＝２５５
Ｄ_ＮＥ＝｜Ｌ_０２−Ｌ_２０｜＝２５５
Ｄ_ＮＷ＝｜Ｌ_００−Ｌ_２２｜＝２５５
このとき、Ｄ_Ｖが最も小さいため、画素領域の縦（垂直）方向に沿ってエッジが存在する、すなわちエッジ方向は縦（垂直）方向である、とみなすことができる。

一方、図５のｄ）、ｅ）、ｆ）、ｇ）およびｈ）に示す例の場合は、方向性データの最小値と最大値が同一である。そのため、ステップＳ３Ａでは、平坦部分であると仮判定される。平坦部分であると仮判定された場合には、ステップＳ３Ｂに移行する。

ステップＳ３Ｂでは、図５に示す３行×３列の画素領域を用いて、以下の演算
Ｄ_Ｖ（１）＝｜２Ｌ_１１−Ｌ_０１−Ｌ_２１｜
Ｄ_Ｈ（１）＝｜２Ｌ_１１−Ｌ_１０−Ｌ_１２｜
Ｄ_{ＮＥ（１）}＝｜２Ｌ_１１−Ｌ_０２−Ｌ_２０｜
Ｄ_{ＮＷ（１）}＝｜２Ｌ_１１−Ｌ_００−Ｌ_２２｜
をおこなう。

続いて、ステップＳ３Ｃにおいて、ステップＳ３Ｂの演算結果で、Ｄ_Ｖ（１）＝Ｄ_{Ｈ（１）、}Ｄ_{ＮＥ（１）}＝Ｄ_{ＮＷ（１）}が、いずれか一方、もしくは両方ともを満たすか否かを判定する。成り立たない場合（ステップＳ３ＣにおいてＮｏ）は、ステップＳ３Ｄに移行する。

ステップＳ３Ｄでは、参照する画像領域の大きさを５行×５列に拡張して、ステップＳ３Ｅに移行する。

ステップＳ３Ｅでは、実施形態１において説明した式（１）に基づいてエッジ方向の推定をおこなう。このとき、５行×５列における注目画素との差分による方向成分計算は、図１８に示す画素を用いて以下の演算；
Ｄ_Ｖ（２）＝｜２Ｌ_２２−Ｌ_０２−Ｌ_４２｜
Ｄ_Ｈ（２）＝｜２Ｌ_２２−Ｌ_２０−Ｌ_２４｜
Ｄ_{ＮＥ（２）}＝｜２Ｌ_２２−Ｌ_０４−Ｌ_４０｜
Ｄ_{ＮＷ（２）}＝｜２Ｌ_２２−Ｌ_００−Ｌ_４４｜
によって求められる。図５のｄ）に示す例において、画像領域を５×５に拡張したものを図１９に示すと、この演算を用いることにより、
Ｄ_Ｖ（２）＝０
Ｄ_Ｈ（２）＝Ｄ_{ＮＥ（２）}＝Ｄ_{ＮＷ（２）}＝５１０
となり、Ｄ_Ｖ（２）が最小であるため、エッジに沿う方向は垂直方向であると検出することができる。

ステップＳ３Ｇでは、実施形態１のステップＳ３と同様に、エッジ部であるか否かを仮判定する。エッジ部であると仮判定された場合は、ステップＳ４に移行する。一方、平坦部であると判定された場合は、ステップＳ６Ｂに移行する。

一方、ステップＳ３Ｃにおいて、Ｄ_Ｖ（１）＝Ｄ_Ｈ（１）、且つ、Ｄ_{ＮＥ（１）}＝Ｄ_{ＮＷ（１）}の場合は（ステップ３ＣにおいてＹｅｓ）、平坦部として、以降、実施形態１と同様に処理する。

ここで、ステップＳ３Ａにおいて、何れかの方向性データに最小値が存在し、図５のａ）、ｂ）およびｃ）に示すようにエッジ部であると仮判定された場合には、ステップＳ４Ａに移行する。

ステップＳ４Ａでは、実施形態１のステップＳ４がノイズ量の演算に５行×５列の画像領域を用いているのに対して、３行×３列の画像領域を用いて演算する。図２０に３行×３列の画像領域を示す。この図２０に基づいて、ステップＳ４Ａを説明する。なお、図２０の３行×３列の画像領域は、注目画素Ｌ_１１がＲで、注目画素Ｌ_１１の上下左右に隣接しているＬ_０１、Ｌ_１０、Ｌ_１２およびＬ_２１がＧで、注目画素Ｌ_１１に対して斜め方向に隣接しているＬ_００、Ｌ_０２、Ｌ_２０およびＬ_２２がＢである。この図２０の画像領域において、例えば、エッジに沿う方向が垂直方向(Ｄ_Ｖが最も小さい)である場合、ノイズ量算出部２２２は、各行の輝度の平均値（Ｂ１_ＡＶＥ、Ｇ２_ＡＶＥ、Ｂ３_ＡＶＥ）を下記の各式；
Ｂ１_ＡＶＥ＝（Ｌ_００＋Ｌ_２０）／２
Ｇ２_ＡＶＥ＝（Ｌ_０１＋Ｌ_２１）／２
Ｂ３_ＡＶＥ＝（Ｌ_０２＋Ｌ_２２）／２
に基づいて求める。また、ノイズ量算出部２２２は、下記の各式に基づき、輝度の平均値（Ｂ１_ＡＶＥ、Ｇ２_ＡＶＥ、Ｂ３_ＡＶＥ）と各同色画素の輝度との絶対値差分を画素数にて除算して得られる各行のノイズ値（Ｂ１_ｖａｒ、Ｇ２_ｖａｒ、Ｂ３_ｖａｒ）を全て加算したノイズ量Ｖ_ｖａｒを求める。
Ｂ１_ｖａｒ＝（｜Ｌ_００−Ｂ１_ＡＶＥ｜＋｜Ｌ_２０−Ｂ１_ＡＶＥ｜）／２
Ｇ２_ｖａｒ＝（｜Ｌ_０１−Ｇ２_ＡＶＥ｜＋｜Ｌ_２１−Ｇ２_ＡＶＥ｜）／２
Ｂ３_ｖａｒ＝（｜Ｌ_０２−Ｂ３_ＡＶＥ｜＋｜Ｌ_２２−Ｂ３_ＡＶＥ｜）／２
Ｖ_ｖａｒ＝Ｂ１_ｖａｒ＋Ｇ２_ｖａｒ＋Ｂ３_ｖａｒ
また、エッジに沿う方向が水平方向（Ｄ_Ｈが最も小さい）である場合、ノイズ量算出部２２２は、各行の輝度の平均値（Ｂ１_ＡＶＥ、Ｇ２_ＡＶＥ、Ｂ３_ＡＶＥ）を下記の各式；
Ｂ１_ＡＶＥ＝（Ｌ_００＋Ｌ_０２）／２
Ｇ２_ＡＶＥ＝（Ｌ_１０＋Ｌ_１２）／２
Ｂ３_ＡＶＥ＝（Ｌ_２０＋Ｌ_２２）／２
に基づいて求める。また、ノイズ量算出部２２２は、下記の各式に基づき、輝度の平均値（Ｂ１_ＡＶＥ、Ｇ２_ＡＶＥ、Ｂ３_ＡＶＥ）と各同色画素の輝度との絶対値差分を画素数にて除算して得られる各行のノイズ値（Ｂ１_ｖａｒ、Ｇ２_ｖａｒ、Ｂ３_ｖａｒ）を全て加算したノイズ量Ｈ_ｖａｒを求める。
Ｂ１_ｖａｒ＝（｜Ｌ_００−Ｂ１_ＡＶＥ｜＋｜Ｌ_０２−Ｂ１_ＡＶＥ｜）／２
Ｇ２_ｖａｒ＝（｜Ｌ_１０−Ｇ２_ＡＶＥ｜＋｜Ｌ_１２−Ｇ２_ＡＶＥ｜）／２
Ｂ３_ｖａｒ＝（｜Ｌ_２０−Ｂ３_ＡＶＥ｜＋｜Ｌ_２２−Ｂ３_ＡＶＥ｜）／２
Ｈ_ｖａｒ＝Ｂ１_ｖａｒ＋Ｇ２_ｖａｒ＋Ｂ３_ｖａｒ
また、エッジに沿う方向が右斜め上方向（Ｄ_ＮＥが最も小さい）である場合、ノイズ量算出部２２２は、各行の輝度の平均値（Ｇ１_ＡＶＥ、Ｂ２_ＡＶＥ、Ｇ３_ＡＶＥ）を下記の各式；
Ｇ１_ＡＶＥ＝（Ｌ_０１＋Ｌ_１０）／２
Ｂ２_ＡＶＥ＝（Ｌ_０２＋Ｌ_２０）／２
Ｇ３_ＡＶＥ＝（Ｌ_１２＋Ｌ_２１）／２
に基づいて求める。また、ノイズ量算出部２２２は、下記の各式に基づき、輝度の平均値（Ｇ１_ＡＶＥ、Ｂ２_ＡＶＥ、Ｇ３_ＡＶＥ）と各同色画素の輝度との絶対値差分を画素数にて除算して得られる各行のノイズ値（Ｇ１_ｖａｒ、Ｂ２_ｖａｒ、Ｇ３_ｖａｒ）を全て加算したノイズ量ＮＥ_ｖａｒを求める。
Ｇ１_ｖａｒ＝（｜Ｌ_０１−Ｇ１_ＡＶＥ｜＋｜Ｌ_１０−Ｇ１_ＡＶＥ｜）／２
Ｂ２_ｖａｒ＝（｜Ｌ_０２−Ｂ２_ＡＶＥ｜＋｜Ｌ_２０−Ｂ２_ＡＶＥ｜）／２
Ｇ３_ｖａｒ＝（｜Ｌ_１２−Ｇ３_ＡＶＥ｜＋｜Ｌ_２１−Ｇ３_ＡＶＥ｜）／２
ＮＥ_ｖａｒ＝Ｇ１_ｖａｒ＋Ｂ２_ｖａｒ＋Ｇ３_ｖａｒ
また、エッジに沿う方向が左斜め上方向（Ｄ_ＮＷが最も小さい）である場合、ノイズ量算出部２２２は、各行の輝度の平均値（Ｇ１_ＡＶＥ、Ｂ２_ＡＶＥ、Ｇ３_ＡＶＥ）を下記の各式；
Ｇ１_ＡＶＥ＝（Ｌ_０１＋Ｌ_１２）／２
Ｂ２_ＡＶＥ＝（Ｌ_００＋Ｌ_２２）／２
Ｇ３_ＡＶＥ＝（Ｌ_１０＋Ｌ_２１）／２
に基づいて求める。また、ノイズ量算出部２２２は、下記の各式に基づき、輝度の平均値（Ｇ１_ＡＶＥ、Ｂ２_ＡＶＥ、Ｇ３_ＡＶＥ）と各同色画素の輝度との絶対値差分を画素数にて除算して得られる各行のノイズ値（Ｇ１_ｖａｒ、Ｂ２_ｖａｒ、Ｇ３_ｖａｒ）を全て加算したノイズ量ＮＷ_ｖａｒを求める。

以上の算出手順により、ノイズ量算出部２２２は近傍画素のノイズ量ＶＡＲ（つまり先述のＨ_ｖａｒ、Ｖ_ｖａｒ、ＮＥ_ｖａｒおよびＮＷ_ｖａｒのうちの何れか）を算出する。

一方、ステップＳ３Ｇにおいてエッジ部であると仮判定された場合には、実施形態１のステップＳ４以降の処理をおこなう。

ステップＳ５では、実施形態１と同じく、エッジ判定部２２３が、ノイズ量算出部２２２が算出した近傍画素のノイズ量ＶＡＲと予め定めた判定パラメータαとを加えた値と、方向性データの最大値と、を比較し、注目画素付近がエッジ部分か平坦部分かを判定する。以降、実施形態１と同様に処理する。

本実施形態では、上述のように、ノイズ量の演算において参照領域を５×５に広げることなく、エッジの仮判定をおこなう際の画像領域である３×３の画像領域で演算が終了する。そのため、実施形態１に比べて、演算量を低減することができる。画素数が多くなるにつれて、低画素時代には１ピクセル幅で線だったものが、高解像度化によって複数ピクセルで表現されることが多くなっている。つまり、図５のｄ）〜ｆ）のケースが減っている。従って、高解像の場合、図５のａ）〜ｃ）のケースが多くなり、本実施形態において演算量が減少することは有意なことである。またこれに伴い、消費電力の削減に寄与すると言える。

〔ソフトウェアによる実現例〕
撮像装置１の制御ブロック（特に制御部１２０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、撮像装置１は、各機能を実現するソフトウェアであるプログラム（画像処理プログラム）の命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る画像処理装置（画像処理部１２５）は、ベイヤ配列の画像データの注目画素および近傍画素におけるエッジの方向性を複数の方向毎に定量化した方向性データを用いて、エッジ方向を検出する方向検出部２１２と、前記方向間で前記方向性データに差が有るか否かを判定する判定部（仮判定部２２１）と、前記近傍画素のノイズ量を算出するノイズ量算出部２２２と、前記差が有ると判定された前記方向性データの最大値と、前記ノイズ量を含む閾値とを比較する比較部（エッジ判定部２２３）と、前記比較部（エッジ判定部２２３）の比較結果に応じて、（ｉ）前記最大値が前記閾値より大きい場合は前記注目画素に対して前記エッジ方向を用いた色補間をおこない、（ｉｉ）前記最大値が前記閾値以下である場合は前記注目画素に対して前記（ｉ）の色補間とは異なる色補間をおこなう色補間部２３０と、を備えている。

前記の構成によれば、従前よりも精度よく色補間処理をおこなうことが可能となる。

具体的には、前記の構成によれば、判定部（仮判定部２２１）において方向性データに基づいて差が有る（つまり、エッジ部分である）と判定した場合であっても、この判定の適否を、ノイズ量算出部２２２および比較部（エッジ判定部２２３）によって確認する。例えばショットノイズ等が含まれている場合、方向性データに基づいた判定だけでは、平坦部分をエッジ部分と判定してしまう。しかしながら、前記確認をおこなうことにより、方向性データに基づいた判定でエッジ部分と判定している場合であっても、近傍画素のノイズ量を含む閾値以下であればエッジ部分とせず、その場合はエッジ方向を用いた色補間をおこなわない。エッジ方向を用いた色補間を、ショットノイズを含む平坦部分に適用してしまうと、ショットノイズが残ったまま色補間がおこなわれるため、望ましくない。よって、本態様１の構成のようにノイズ量を算出して、そのノイズ量を含む閾値との比較結果に応じた色補間をおこなうことにより、精度よく色補間をおこない、高画質の画像データを生成することに寄与することができる。

本発明の態様２に係る画像処理装置（画像処理部１２５）は、上記態様１において、前記ノイズ量算出部２２２が、前記方向間で前記方向性データに差が有ると判定された場合の最小値を示す方向性データに対応する方向に沿って、前記近傍画素のノイズ量を算出する。

上記の構成によれば、ノイズ量を、前記方向性データに差が有る場合の最大値を示す方向性データに対応する方向に沿って算出する場合に比べて、精度よくノイズ量を算出することができる。

本発明の態様３に係る画像処理装置（画像処理部１２５）は、上記態様１または２において、前記ノイズ量算出部２２２が、前記方向間で前記方向性データに差が有ると判定された場合の最小値を示す方向性データに対応する方向の前記ノイズ量を、前記注目画素および近傍画素の輝度値の平均偏差によって算出する。

上記の構成によれば、ノイズ量を、標準偏差および分散によって算出する場合に比べて、簡易な計算によって求めることができる。

本発明の態様４に係る画像処理装置（画像処理部１２５）は、上記態様１から３において、前記比較部（エッジ判定部２２３）が、前記ノイズ量と、予め定めた判定パラメータとを加えた値を、前記閾値として用いる。

上記の構成によれば、エッジ部分であるか否かを精度よく判別することができる。

本発明の態様５に係る画像処理装置（画像処理部１２５）は、上記態様１から４において、前記色補間部２３０が、前記注目画素が赤（Ｒ）または青（Ｂ）画素である場合に、前記（ｉ）の色補間として、当該注目画素の緑（Ｇ）画素データの対角線方向の色補間をおこない、前記（ｉｉ）の色補間として、前記近傍画素内の全ての緑（Ｇ）画素を使用した平均値フィルタを用いて当該注目画素の緑（Ｇ）画素データの色補間をおこなう。

本発明の態様６に係る撮像装置１は、上記態様１から５の画像処理装置（画像処理部１２５）と、ベイヤ配列を有したカラーフィルタを有した撮像素子１０７とを備えている。

本発明の態様７に係る画像処理方法は、ベイヤ配列の画像データの注目画素および近傍画素におけるエッジの方向性を複数の方向毎に定量化した方向性データを用いて、エッジ方向を検出する方向検出ステップと、前記方向間で前記方向性データに差が有るか否かを判定する判定ステップと、前記近傍画素のノイズ量を算出するノイズ量算出ステップと、前記差が有ると判定された前記方向性データの最大値と、前記ノイズ量を含む閾値とを比較する比較ステップと、前記比較ステップの比較結果に応じて、（ｉ）前記最大値が前記閾値より大きい場合は前記注目画素に対して前記エッジ方向を用いた色補間をおこない、（ｉｉ）前記最大値が前記閾値以下である場合は前記注目画素に対して前記（ｉ）の色補間とは異なる色補間をおこなう色補間ステップと、を含む。

前記の構成によれば、従前よりも精度よく色補間処理をおこなうことが可能となる。

具体的には、前記の構成によれば、判定ステップにおいて方向性データに基づいて差が有る（つまり、エッジ部分である）と判定した場合であっても、この判定の適否を、ノイズ量算出ステップおよび比較ステップによって確認する。例えばショットノイズ等が含まれている場合、方向性データに基づいた判定だけでは、平坦部分をエッジ部分と判定してしまう。しかしながら、前記確認をおこなうことにより、方向性データに基づいた判定でエッジ部分と判定している場合であっても、近傍画素のノイズ量を含む閾値以下であればエッジ部分とせず、その場合はエッジ方向を用いた色補間をおこなわない。エッジ方向を用いた色補間を、ショットノイズを含む平坦部分に適用してしまうと、ショットノイズが残ったまま色補間がおこなわれるため、望ましくない。よって、本態様６のようにノイズ量を算出して、そのノイズ量を含む閾値との比較結果に応じた色補間をおこなうことにより、精度よく色補間をおこない、高画質の画像データを生成することに寄与することができる。

また、本発明の一態様に係る画像処理装置（画像処理部１２５）は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各部（ソフトウェア要素）として動作させることにより上記画像処理装置をコンピュータにて実現させるが画像処理装置の画像処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。

１ 撮像装置
１０７ 撮像素子
１２０ 制御部
１２１ ＣＰＵ
１２４ 撮像素子駆動部
１２５ 画像処理部（画像処理装置）
２１０ エッジ予備決定部
２１１ 方向性データ算出部
２１２ 方向検出部
２２０ エッジ決定部
２２１ 仮判定部（判定部）
２２２ ノイズ量算出部
２２３ エッジ判定部（比較部）
２３０ 色補間部

Claims (9)

1. ベイヤ配列の画像データの注目画素および近傍画素におけるエッジの方向性を複数の方向毎に定量化した方向性データを用いて、エッジ方向を検出する方向検出部と、
   前記方向間で前記方向性データに差が有るか否かを判定する判定部と、
   前記近傍画素のノイズ量を算出するノイズ量算出部と、
   前記差が有ると判定された前記方向性データの最大値と、前記ノイズ量を含む閾値とを比較する比較部と、
   前記比較部の比較結果に応じて、（ｉ）前記最大値が前記閾値より大きい場合は前記注目画素に対して前記エッジ方向を用いた色補間をおこない、（ｉｉ）前記最大値が前記閾値以下である場合は前記注目画素に対して前記（ｉ）の色補間とは異なる色補間をおこなう色補間部と、
   を備えている、画像処理装置。
2. 前記ノイズ量算出部は、前記方向間で前記方向性データに差が有ると判定された場合の最小値を示す方向性データに対応する方向に沿って、前記近傍画素のノイズ量を算出する、請求項１に記載の画像処理装置。
3. 前記ノイズ量算出部は、前記方向間で前記方向性データに差が有ると判定された場合の最小値を示す方向性データに対応する方向の前記ノイズ量を、前記注目画素および近傍画素の輝度値の平均偏差によって算出する、請求項１または２に記載の画像処理装置。
4. 前記比較部は、前記ノイズ量と、予め定めた判定パラメータとを加えた値を、前記閾値として用いる、請求項１から３の何れか１項に記載の画像処理装置。
5. 前記色補間部は、前記注目画素が赤（Ｒ）または青（Ｂ）画素である場合に、前記（ｉ）の色補間として、当該注目画素の緑（Ｇ）画素データの対角線方向の色補間をおこない、前記（ｉｉ）の色補間として、前記近傍画素内の全ての緑（Ｇ）画素を使用した平均値フィルタを用いて当該注目画素の緑（Ｇ）画素データの色補間をおこなう、請求項１から４の何れか１項に記載の画像処理装置。
6. 請求項１から５の何れか１項に記載の画像処理装置と、
   ベイヤ配列を有したカラーフィルタを有した撮像素子と、
   を備えている撮像装置。
7. ベイヤ配列の画像データの注目画素および近傍画素におけるエッジの方向性を複数の方向毎に定量化した方向性データを用いて、エッジ方向を検出する方向検出ステップと、
   前記方向間で前記方向性データに差が有るか否かを判定する判定ステップと、
   前記近傍画素のノイズ量を算出するノイズ量算出ステップと、
   前記差が有ると判定された前記方向性データの最大値と、前記ノイズ量を含む閾値とを比較する比較ステップと、
   前記比較ステップの比較結果に応じて、（ｉ）前記最大値が前記閾値より大きい場合は前記注目画素に対して前記エッジ方向を用いた色補間をおこない、（ｉｉ）前記最大値が前記閾値以下である場合は前記注目画素に対して前記（ｉ）の色補間とは異なる色補間をおこなう色補間ステップと、
   を含む、画像処理方法。
8. 請求項１から５の何れか１項に記載の画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、前記方向検出部、前記判定部、前記ノイズ量算出部、前記比較部および上記色補間部としてコンピュータを機能させるための画像処理プログラム。
9. 請求項８に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images