JP2004007165A - 画像処理方法、画像処理プログラム、画像処理装置 - Google Patents
画像処理方法、画像処理プログラム、画像処理装置 Download PDFInfo
- Publication number
- JP2004007165A JP2004007165A JP2002159229A JP2002159229A JP2004007165A JP 2004007165 A JP2004007165 A JP 2004007165A JP 2002159229 A JP2002159229 A JP 2002159229A JP 2002159229 A JP2002159229 A JP 2002159229A JP 2004007165 A JP2004007165 A JP 2004007165A
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- pixel
- image processing
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【課題】デルタ配列等の三角格子状のカラーフィルタ等で得られた画像データに基づき、高精細に補間処理した画像データや高精細に他の表色系に変換した画像データを出力する画像処理方法、画像処理プログラム、画像処理装置を提供すること。
【解決手段】ＲＧＢの色成分からなるデルタ配列の画像データを取得し、デルタ配列の三角格子状の画素位置で補間処理を行い、補間処理された三角格子状の画素位置の画像データを出力する。補間処理にあたって、周辺に存在する補間対象色成分を有する画素について、１画素ピッチ離れた第１隣接画素のみならず２画素ピッチ離れた第２隣接画素の色情報も使用して補間する。
【選択図】 図２２
【解決手段】ＲＧＢの色成分からなるデルタ配列の画像データを取得し、デルタ配列の三角格子状の画素位置で補間処理を行い、補間処理された三角格子状の画素位置の画像データを出力する。補間処理にあたって、周辺に存在する補間対象色成分を有する画素について、１画素ピッチ離れた第１隣接画素のみならず２画素ピッチ離れた第２隣接画素の色情報も使用して補間する。
【選択図】 図２２
Description
【０００１】
【発明の属する技術分野】
本発明は、デルタ配列のカラーフィルタで得られる画像データを処理する画像処理方法、画像処理プログラム、画像処理装置に関する。
【０００２】
【従来の技術】
電子カメラは、ＣＣＤなどの撮像素子により被写体を撮像する。この撮像素子において、ＲＧＢ（赤緑青）の３色のカラーフィルタを図２４（ａ）に示すように配列したベイア配列が知られている。また、図２４（ｂ）に示すように配列したデルタ配列も知られている。さらに、図２４（ｃ）に示すように配列したハニカム配列も知られている。ベイア配列で得られる画像データについては、例えば、米国特許５，５５２，８２７号、米国特許５，６２９，７３４号、特開２００１−２４５３１４号公報などのように、各種の画像処理方法が提案されている。
【０００３】
一方、デルタ配列で得られる画像データについては、特開平８−３４０４５５号公報、米国特許５，８０５，２１７号などで画像処理方法が提案されている。
【０００４】
【発明が解決しようとする課題】
しかし、米国特許５，８０５，２１７号では、デルタ配列固有の特性に応じた画像処理がなされていない。また、特開平８−３４０４５５号公報では、簡単な画像復元方法しか提案されていない。また、ベイア配列で提案されている各種の画像処理方法は、必ずしも、そのままデルタ配列に適用できない。
【０００５】
本発明は、デルタ配列等の三角格子状のカラーフィルタ等で得られた画像データに基づき、高精細に補間処理した画像データや高精細に他の表色系に変換した画像データを出力する画像処理方法、画像処理プログラム、画像処理装置を提供する。
【０００６】
【課題を解決するための手段】
請求項１の発明は、画像処理方法に適用され、第１〜第ｎ色成分（ｎ≧２）で表され、１つの画素に１つの色成分の色情報を有する複数の画素が三角格子状に配置された第１の画像を取得する画像取得手順と、取得した第１の画像の色情報を用いて、第１色成分が欠落する画素に第１色成分を補間する補間手順と、第１の画像の色情報と補間された色情報とに基づき、第２の画像を出力する出力手順とを備え、補間手順は、第１の画像の補間対象画素に対して、第１色成分が２番目に近接する画素を含む領域の色情報を用いて、第１色成分の平均情報を求め、補間を行うものである。
請求項２の発明は、請求項１に記載の画像処理方法において、少なくとも３方向に対する類似性の強弱を判定する類似性判定手順をさらに備え、補間手順は、類似性判定手順で判定された類似性の強さに応じて第１色成分の平均情報を求めるものである。
請求項３の発明は、画像処理方法に適用され、複数の色成分で表され、１つの画素に１つの色成分の色情報を有する複数の画素が三角格子状に配置された第１の画像を取得する画像取得手順と、取得した第１の画像の色情報を零以上の可変な係数値で加重加算することによって、第１の画像の色情報と異なる色成分の色情報を生成する色情報生成手順と、生成された色情報を使用して第２の画像を出力する出力手順を備え、色情報生成手順は、第１の画像の処理対象画素に対して、該画素の色成分と異なる色成分が２番目に近接する画素を含む領域内の色情報を加重加算するものである。
請求項４の発明は、請求項３に記載の画像処理方法において、少なくとも３方向に対する類似性の強弱を判定する類似性判定手順をさらに備え、色情報生成手順は、類似性判定手順で判定された類似性の強さに応じて加重加算の係数値を可変にするものである。
請求項５の発明は、請求項３または４に記載の画像処理方法において、第１の画像が第１〜第３の色成分で表され、第１の画像の第１色成分を有する画素が処理対象画素の場合、色情報生成手順は、処理対象画素、及び第２色成分が２番目に近接する画素、及び第３色成分が２番目に近接する画素を含む領域内の色情報を加重加算するものである。
請求項６の発明は、請求項３〜５のいずれか１項に記載の画像処理方法において、色情報生成手順後出力手順前に、色情報生成手順で生成された第１の画像の色情報と異なる色成分の色情報を、予め決められた固定のフィルタ係数からなるフィルタ処理により、補正する補正手順をさらに備えるものである。
請求項７の発明は、請求項６に記載の画像処理方法において、フィルタ係数の中に、正および負の値を含むものである。
請求項８の発明は、画像処理方法に適用され、第１〜第ｎ色成分（ｎ≧２）で表され、１つの画素に１つの色成分の色情報を有する複数の画素が三角格子状に配置された第１の画像を取得する画像取得手順と、第１の画像の色情報を用いて、第１色成分と第２色成分の間の色差成分の色情報を生成する色差生成手順と、生成された色差成分の色情報を使用して第２の画像を出力する出力手順を備え、色差生成手順は、第１の画像の第１色成分を有する画素に対して、少なくとも第２色成分が２番目に近接する画素の色情報を用いて、色差成分の色情報を生成するものである。
請求項９の発明は、請求項８に記載の画像処理方法において、色差生成手順は、第１の画像の第１色成分を有する処理対象画素に対して、１）該画素の第１色成分の色情報と２）該画素に対して第２色成分が２番目に近接する画素を含む領域内における第２色成分の色情報の平均情報とに基づいて色差成分の色情報を生成するものである。
請求項１０の発明は、請求項８または９に記載の画像処理方法において、色差生成手順は、さらに、処理対象画素に関する第２色成分の曲率情報に基づいて、色差成分の色情報を生成するものである。
請求項１１の発明は、請求項８〜１０のいずれか１項に記載の画像処理方法において、少なくとも３方向に対する類似性の強弱を判定する類似性判定手順をさらに備え、色差生成手順は、類似性の強さに応じて色差成分の色情報を生成するものである。
請求項１２の発明は、請求項１〜１１のいずれか１項に記載の画像処理方法において、出力手順は、第１の画像と同じ画素位置に、第２画像を出力するものである。
請求項１３の発明は、請求項１〜１２のいずれか１項に記載の画像処理方法の手順をコンピュータに実行させるための画像処理プログラムとするものである。
請求項１４の発明は、請求項１３の画像処理プログラムを記録したコンピュータ読みとり可能な記録媒体とするものである。
請求項１５の発明は、請求項１４の画像処理プログラムを搭載した画像処理装置とするものである。
【０００７】
【発明の実施の形態】
−第１の実施の形態−
（電子カメラの構成）
図１は、第１の実施の形態における電子カメラの機能ブロック図である。電子カメラ１は、Ａ／Ｄ変換部１０、画像処理部１１、制御部１２、メモリ１３、圧縮／伸長部１４、表示画像生成部１５を備える。また、メモリカード（カード状のリムーバブルメモリ）１６とのインタフェースをとるメモリカード用インタフェース部１７および所定のケーブルや無線伝送路を介してＰＣ（パーソナルコンピュータ）１８等の外部装置とのインタフェースをとる外部インタフェース部１９を備える。これらの各ブロックはバス２９を介して相互に接続される。画像処理部１１は、例えば、画像処理専用の１チップ・マイクロプロセッサで構成される。
【０００８】
電子カメラ１は、さらに、撮影光学系２０、撮像素子２１、アナログ信号処理部２２、タイミング制御部２３を備える。撮像素子２１には撮影光学系２０で取得された被写体の光学像が結像し、撮像素子２１の出力はアナログ信号処理部２２に接続される。アナログ信号処理部２２の出力は、Ａ／Ｄ変換部１０に接続される。タイミング制御部２３には制御部１２の出力が接続され、タイミング制御部２３の出力は、撮像素子２１、アナログ信号処理部２２、Ａ／Ｄ変換部１０、画像処理部１１に接続される。撮像素子２１は例えばＣＣＤなどで構成される。
【０００９】
電子カメラ１は、さらに、レリーズボタンやモード切り換え用の選択ボタン等に相当する操作部２４およびモニタ２５を備える。操作部２４の出力は制御部１２に接続され、モニタ２５には表示画像生成部１５の出力が接続される。
【００１０】
なお、ＰＣ１８には、モニタ２６やプリンタ２７等が接続されており、ＣＤ−ＲＯＭ２８に記録されたアプリケーションプログラムが予めインストールされている。また、ＰＣ１８は、不図示のＣＰＵ、メモリ、ハードディスクの他に、メモリカード１６とのインタフェースをとるメモリカード用インタフェース部（不図示）や所定のケーブルや無線伝送路を介して電子カメラ１等の外部装置とのインタフェースをとる外部インタフェース部（不図示）を備える。
【００１１】
図１のような構成の電子カメラ１において、操作部２４を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、制御部１２は、タイミング制御部２３を介して、撮像素子２１、アナログ信号処理部２２、Ａ／Ｄ変換部１０に対するタイミング制御を行う。撮像素子２１は、光学像に対応する画像信号を生成する。その画像信号は、アナログ信号処理部２２で所定の信号処理が行われ、Ａ／Ｄ変換部１０でディジタル化され、画像データとして、画像処理部１１に供給される。
【００１２】
本実施の形態の電子カメラ１では、撮像素子２１において、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタがデルタ配列（後述）されているので、画像処理部１１に供給される画像データはＲＧＢ表色系で示される。画像データを構成する各々の画素には、ＲＧＢの何れか１つの色成分の色情報が存在する。
【００１３】
画像処理部１１は、このような画像データに対し、後述する画像データ変換処理を行う他に、階調変換や輪郭強調などの画像処理を行う。このような画像処理が完了した画像データは、必要に応じて、圧縮／伸長部１４で所定の圧縮処理が施され、メモリカード用インタフェース部１７を介してメモリカード１６に記録される。
【００１４】
なお、画像処理が完了した画像データは、圧縮処理を施さずにメモリカード１６に記録したり、ＰＣ１８側のモニタ２６やプリンタ２７で採用されている表色系に変換して、外部インタフェース部１９を介してＰＣ１８に供給しても良い。また、操作部２４を介し、操作者によって再生モードが選択されると、メモリカード１６に記録されている画像データは、メモリカード用インタフェース部１７を介して読み出されて圧縮／伸長部１２で伸長処理が施され、表示画像生成部１５を介してモニタ２５に表示される。
【００１５】
なお、伸長処理が施された画像データは、モニタ２５に表示せず、ＰＣ１８側のモニタ２６やプリンタ２７で採用されている表色系に変換して、外部インタフェース部１９を介してＰＣ１８に供給しても良い。
【００１６】
（画像処理）
次に、デルタ配列で得られた画像データについて、三角格子上で補間処理し、コンピュータ上の取り扱いが容易な正方格子データに復元する処理について説明する。図２５は、これらの処理の概念を示す図である。三角格子とは、撮像素子の画素が１行ごとに１／２画素ずれて配列された並びを言う。隣接する各画素の中心を結ぶと三角形を形成する並びである。画素の中心点を格子点と言ってもよい。図２４（ｂ）のデルタ配列は、三角格子状に配列されたものである。図２４（ｂ）のような配列で得られる画像は、画素が三角配置された画像と言ってもよい。正方格子とは、撮像素子の画素が１行ごとにずれないで配列された並びを言う。隣接する各画素の中心を結ぶと四角形を形成する並びである。図２４（ａ）のベイア配列は正方格子状に配列されたものである。図２４（ａ）のような配列で得られる画像は、画素が矩形（四角）配置された画像と言ってもよい。
【００１７】
また、後述するように、デルタ配列の画像データを１行おきに１／２画素ずらす処理をすると、正方格子データが生成される。三角格子上で補間処理をするとは、デルタ配列で得られた画像データの状態で補間処理をすることを言う。すなわち、デルタ配列の画素位置に欠落する色成分の色情報を補間することを言う。
【００１８】
図２は、画像処理部１１が行う画像処理の概要を示すフローチャートである。ステップＳ１では、デルタ配列の撮像素子２１で得られた画像を入力する。ステップＳ２において、類似度の算出を行う。ステップＳ３では、ステップＳ２で得られた類似度に基づき類似性を判定する。ステップＳ４では、ステップＳ３で得られた類似性の判定結果に基づいて、各画素において欠落する色成分の補間値を算出する。ステップＳ５では、得られたＲＧＢカラー画像を出力する。ステップＳ５で出力されるＲＧＢカラー画像は三角格子上で得られた画像データである。
【００１９】
次に、ステップＳ６で、三角格子上で得られた画像データに対して１次元変位処理を行う。１次元変位処理は、後述するように、１行おきの画像データに対して行う。ステップＳ７で、１次元変位処理を行った画像データと行わなかった画像データを合わせて正方格子画像データを出力する。ステップＳ１〜Ｓ５は、三角格子上での補間処理であり、ステップＳ６、Ｓ７は正方化処理である。以下、これらの処理の詳細について説明する。
【００２０】
−三角格子上補間処理−
以下の説明では、代表してＲ画素位置での補間処理について説明する。図３は、デルタ配列の撮像素子２１により得られた画素の位置関係を示す図である。撮像素子２１の画素は１行ごとに１／２画素ずれて配置され、カラーフィルターはＲＧＢの色成分が１：１：１の割合で各画素上に配列されている。すなわち、均等に色配分されている。参考に、ベイア配列のカラーフィルタはＲＧＢが１：２：１の割合で配列されている（図２４（ａ））。
【００２１】
Ｒ成分の色情報を有する画素をＲ画素、Ｂ成分の色情報を有する画素をＢ画素、Ｇ成分の色情報を有する画素をＧ画素と言う。撮像素子２１で得られた画像データは、各画素に１つの色成分の色情報しか有しない。補間処理は、各画素に欠落する他の色成分の色情報を計算により求める処理である。以下、Ｒ画素位置にＧ、Ｂ成分の色情報を補間する場合について説明する。
【００２２】
図３において、Ｒ画素である処理対象画素（補間対象画素）をＲｃｔｒと呼ぶ。また、画素Ｒｃｔｒの周辺に存在する各画素位置を角度を用いて表現する。例えば、６０度方向に存在するＢ画素をＢ０６０、Ｇ画素をＧ０６０と表現する。ただし、この角度は厳密な角度ではなく近似的なものである。また、０度−１８０度を結ぶ方向を０度方向、１２０度−３００度を結ぶ方向を１２０度方向、２４０度−６０度を結ぶ方向を２４０度方向、３０度−２１０度を結ぶ方向を３０度方向、１５０度−３３０度を結ぶ方向を１５０度方向、２７０度−９０度を結ぶ方向を２７０度方向と呼ぶことにする。
【００２３】
１．類似度の算出
０度、１２０度、２４０度方向の類似度Ｃ０００、Ｃ１２０、Ｃ２４０を算出する。第１の実施の形態では、式（１）（２）（３）に示すように、異なる色成分間で構成される異色間類似度を求める。
Ｃ０００ ＝ ｛｜Ｇ０００−Ｒｃｔｒ｜＋｜Ｂ１８０−Ｒｃｔｒ｜＋｜（Ｇ０００＋Ｂ１８０）／２−Ｒｃｔｒ｜｝／３ ．．．（１）
Ｃ１２０ ＝ ｛｜Ｇ１２０−Ｒｃｔｒ｜＋｜Ｂ３００−Ｒｃｔｒ｜＋｜（Ｇ１２０＋Ｂ３００）／２−Ｒｃｔｒ｜｝／３ ．．．（２）
Ｃ２４０ ＝ ｛｜Ｇ２４０−Ｒｃｔｒ｜＋｜Ｂ０６０−Ｒｃｔｒ｜＋｜（Ｇ２４０＋Ｂ０６０）／２−Ｒｃｔｒ｜｝／３ ．．．（３）
このように隣接画素間で定義される異色間類似度は、デルタ配列の三角格子で規定されるナイキスト周波数の画像構造を空間的に解像させる能力を持つ。
【００２４】
次に、類似度の周辺加算を行って周辺画素との連続性を考慮することにより、類似度の精度を上げる。ここでは各画素について求めた上記類似度を、Ｒ位置について図４に示す係数を使用して周辺加算を行う。周辺加算を行った類似度を小文字で表記する。［］は、処理対象画素から見たデルタ配列上の画素位置を表す。式（４）は０度方向の類似度の周辺加算を示す。
１２０度方向のｃ１２０、２４０度方向のｃ２４０も同様にして求める。
【００２５】
２．類似性判定
上述した類似度は値が小さいほど大きな類似性を示すので、各方向の類似性の強弱を、類似度の逆数比で連続的に変化するように判定する。すなわち（１／ｃ０００）：（１／ｃ１２０）：（１／ｃ２４０）で判定する。具体的には、次の加重係数を演算する。
【００２６】
各方向の類似性を１で規格化された加重係数ｗ０００、ｗ１２０、ｗ２４０として表すと、
ｗ０００＝（ｃ１２０＊ｃ２４０＋Ｔｈ）／（ｃ１２０＊ｃ２４０＋ｃ２４０＊ｃ０００＋ｃ０００＊ｃ１２０＋３＊Ｔｈ） ．．．（５）
ｗ１２０＝（ｃ２４０＊ｃ０００＋Ｔｈ）／（ｃ１２０＊ｃ２４０＋ｃ２４０＊ｃ０００＋ｃ０００＊ｃ１２０＋３＊Ｔｈ） ．．．（６）
ｗ２４０＝（ｃ０００＊ｃ１２０＋Ｔｈ）／（ｃ１２０＊ｃ２４０＋ｃ２４０＊ｃ０００＋ｃ０００＊ｃ１２０＋３＊Ｔｈ） ．．．（７）
により求まる。ただし、閾値Ｔｈは発散を防ぐための項で正の値をとる。通常Ｔｈ＝１とすればよいが、高感度撮影画像などノイズの多い画像に対してはこの閾値を上げるとよい。加重係数ｗ０００、ｗ１２０、ｗ２４０は、類似性の強弱に応じた値となる。
【００２７】
ベイア配列では、米国特許５，５５２，８２７号、米国特許５，６２９，７３４号、特開２００１−２４５３１４号に示されるように、Ｇ補間における方向判定法として、加重係数による連続的判定法と閾値判定による離散的判定法の２通りがある。ベイア配列では、最隣接Ｇ成分が補間対象画素に対して４方向と密に存在するため、連続的判定法と離散的判定法のどちらを使用してもおおよそ問題なく使える。しかし、最隣接Ｇ成分が０度方向、１２０度方向、２４０度方向の３方向にしか存在しないデルタ配列においては加重係数による連続的な方向判定が重要となる。最隣接Ｇ成分とは、補間対象画素と辺を接する画素でＧ成分を有するものである。図３では、Ｇ０００，Ｇ１２０，Ｇ２４０である。
【００２８】
３．補間値算出
Ｇ成分、Ｂ成分の補間値を上記加重係数を用いて算出する。補間値は、平均情報と曲率情報の２つの項からなる。
＜平均情報＞
Ｇａｖｅ ＝ ｗ０００＊Ｇａｖｅ０００＋ｗ１２０＊Ｇａｖｅ１２０＋ｗ２４０＊Ｇａｖｅ２４０ ．．．（８）
Ｂａｖｅ ＝ ｗ０００＊Ｂａｖｅ０００＋ｗ１２０＊Ｂａｖｅ１２０＋ｗ２４０＊Ｂａｖｅ２４０ ．．．（９）
ここで、
Ｇａｖｅ０００ ＝ （２＊Ｇ０００＋Ｇ１８０）／３ ．．．（１０）
Ｂａｖｅ０００ ＝ （２＊Ｂ１８０＋Ｂ０００）／３ ．．．（１１）
Ｇａｖｅ１２０ ＝ （２＊Ｇ１２０＋Ｇ３００）／３ ．．．（１２）
Ｂａｖｅ１２０ ＝ （２＊Ｂ３００＋Ｂ１２０）／３ ．．．（１３）
Ｇａｖｅ２４０ ＝ （２＊Ｇ２４０＋Ｇ０６０）／３ ．．．（１４）
Ｂａｖｅ２４０ ＝ （２＊Ｂ０６０＋Ｂ２４０）／３ ．．．（１５）
である。
＜曲率情報＞
ｄＲ ＝ （６＊Ｒｃｔｒ−Ｒ０３０−Ｒ０９０−Ｒ１５０−Ｒ２１０−Ｒ２７０−Ｒ３３０）／１２ ．．．（１６）
＜補間値＞
Ｇｃｔｒ ＝ Ｇａｖｅ＋ｄＲ ．．．（１７）
Ｂｃｔｒ ＝ Ｂａｖｅ＋ｄＲ ．．．（１８）
【００２９】
通常、ベイア配列のＧ補間においては、最隣接Ｇ成分を用いて平均情報を求める。しかし、デルタ配列の場合は同様にすると縦線や３０度方向、１５０度方向の境界線がブツブツになる問題が生じることが実験的に判明した。これは、例えば縦線境界の場合、加重係数がｗ０００≒０、ｗ１２０≒ｗ２４０≒０．５になっていると想定され、２方向間で平均処理を行う部分に相当する。しかしながら、最隣接画素平均だけでは、縦線に沿ってある点では左側の２点平均をとり、次の隣の斜め右上あるいは右下の点では右側の２点平均をとることになってしまうためと考えられる。
【００３０】
そこで、第２隣接画素まで考慮して補間対象画素からの距離比に応じた平均処理を行うと、例えば縦線の場合、常に右側と左側の両方から平均をとるので、縦線、３０度方向、１５０度方向の境界線のブツブツが劇的に改善する。故に、式（１０）〜（１５）に示すように、第２隣接画素まで含む平均処理を行う。これにより、３０度、１５０度、２７０度方向の空間解像力が向上する。例えば、式（１０）において、Ｇ０００が最隣接画素あるいは第１隣接画素であり、Ｇ１８０が第２隣接画素である。式（１２）において、Ｇ１２０が最隣接画素あるいは第１隣接画素であり、Ｇ３００が第２隣接画素である。他の式も同様である。第１隣接画素は約１画素ピッチ離れた画素であり、第２隣接画素は約２画素ピッチ離れた画素と言える。ＲｃｔｒとＧ１２０は約１画素ピッチ離れており、ＲｃｔｒとＧ３００は約２画素ピッチ離れていると言える。図２２は、隣接画素について定義する図である。ｃｅｎｔｅｒは処理対象画素であり、ｎｅａｒｅｓｔは最近接あるいは最隣接あるいは第１隣接画素であり、２ｎｄは第２隣接画素である。
【００３１】
また、ベイア配列補間の従来技術において、曲率情報ｄＲに相当する項は平均情報と同じ方向性を考慮して算出するのが普通である。しかしながら、デルタ配列においては、平均情報の方向性（０度、１２０度、２４０度方向）と抽出可能な曲率情報の方向性（３０度、１５０度、２７０度方向）が一致していない。このような場合、３０度方向と１５０度方向の曲率情報を平均して０度方向の曲率情報を定義し、ベイア配列と同様に曲率情報の方向性を考慮して補間値を算出することも可能であるが、曲率情報は方向性を考慮せずに一律に抽出するほうが効果が大きいことが実験的に判明した。従って、本実施の形態では、方向性のない曲率情報で方向性を考慮した平均情報を補正する。これにより、あらゆる方向の高周波領域まで階調鮮明性を向上させることが可能となる。
【００３２】
曲率情報ｄＲを求める式（１６）は、図５に示す係数値が使用される。式（１６）は、補間対象画素Ｒｃｔｒと周辺画素の差分とその反対側の周辺画素と補間対象画素Ｒｃｔｒの差分とを求めさらにそれらの差分を求めている。従って、２次微分演算により求められている。
【００３３】
また、曲率情報ｄＲとは、ある色成分の色情報の変化する度合いを示す情報である。ある色成分の色情報の値をプロットして曲線で表した場合、その曲線の曲がりの変化、曲がり具合を示す情報である。すなわち、色成分の色情報の変化の凹凸に関する構造情報が反映された量である。本実施の形態では、Ｒ画素位置の曲率情報ｄＲは、補間対象画素のＲｃｔｒと周辺のＲ画素の色情報を使用して求める。Ｇ画素位置の場合はＧ成分、Ｂ画素位置の場合はＢ成分の色情報を使用する。
【００３４】
以上のようにして、「Ｒ画素位置におけるＧ、Ｂ成分の補間処理」を行うことができた。「Ｇ画素位置におけるＢ、Ｒ成分の補間処理」は、「Ｒ画素位置におけるＧ、Ｂ成分の補間処理」の記号をＲをＧに、ＧをＢに、ＢをＲに循環的に置き換えて全く同様の処理を行えばよい。また、「Ｂ位置におけるＲ、Ｇ成分の補間処理」は、「Ｇ位置におけるＢ、Ｒ成分の補間処理」の記号をＧをＢに、ＢをＲに、ＲをＧに循環的に置き換えて全く同様の処理を行えばよい。すなわち、各補間処理において同一の演算ルーチン（サブルーチン）を使用することが可能である。
【００３５】
以上のようにして復元された画像は、空間方向に関してデルタ配列が持つ限界解像性能を全て引き出すことができる。すなわち、周波数空間（ｋ空間）で見ると、図６に示すように、デルタ配列が持つ六角形の無彩色再現領域を全て解像する。また、階調方向に関しても鮮明な画像が得られる。特に無彩色部の多い画像に対しては極めて有効な手法である。
【００３６】
−正方化処理−
次に、上述のように三角格子上で補間処理された画像データを、コンピューター上の取り扱いが容易な正方格子データに復元する処理について説明する。行単位で１／２画素ずつずれた単板撮像素子のデータを、３色揃った正方格子データに復元する従来技術として、デルタ配列については特開平８−３４０４５５号公報、ハニカム配列については特開平２００１−１０３２９５号公報、特開平２０００−１９４３８６号公報等がある。
【００３７】
特開平８−３４０４５５号公報では、三角格子と異なる画素位置に復元データを生成したり、三角格子より倍の画素密度を持つ仮想正方格子に復元データを生成したりする例を示している。また、三角格子と半分の行は同じ画素位置に復元して、残りの半分の行は三角格子と１／２画素ずれた画素位置に復元する例も示している。しかし、これは直接正方格子位置で補間処理を実現し、三角格子の隣接画素との距離が変わると別々の補間処理を適用するものである。一方、特開平２００１−１０３２９５号公報では２次元のキュービック補間により正方化し、特開平２０００−１９４３８６号公報では仮想的な倍密正方格子データを生成している。
【００３８】
このように色々なやり方が存在するが、本第１の実施の形態では、デルタ配列の性能を最大限に維持する方式を示す。
【００３９】
本第１の実施の形態では、上述したように、まず、デルタ配列と同じ画素位置に三角格子のまま補間データを復元している。これにより、デルタ配列が持つ空間周波数の限界解像性能を引き出すことができる。また、色差補正処理やエッジ強調処理も三角配置のままで行うとその効果が等方的にうまく作用する。従って、いったん三角格子上で画像復元し、各画素にＲＧＢ値を生成する。
【００４０】
次に、三角格子上で生成された画像データを正方化変換する。三角格子の解像性能を保持するには、できるだけ元のデータを残すことが重要であることが実験的に判明した。したがって、一行置きに半分の行だけ１／２画素ずらす変位処理を行い、残り半分の行は処理せず三角配置が持つ縦線のナイキスト解像を維持させる。変位処理は、処理対象行の一次元内でキュービック補間により自己推定させると、正方格子のナイキスト周波数の影響は多少受けるものの、ほとんど問題なく三角格子の縦線解像度が維持できることが実験により確認された。
【００４１】
すなわち、偶数行について、以下の式（１９）の処理を行い、その後、式（２０）の代入処理を行う。これにより、［ｘ，ｙ］の画素位置のＲ成分の色情報を求める。
Ｒ［ｘ，ｙ］ ＝ ｔｍｐ＿Ｒ［ｘ．ｙ］ ．．．（２０）
Ｇ成分、Ｂ成分についても同様にして求める。式（１９）の処理を、キュービック変位処理と言う。また、１次元方向の位置を変位処理しているので１次元変位処理とも言う。図７は、式（１９）で使用する係数値を示す図である。上記キュービックによる１次元変位処理は正および負の係数値からなる１次元フィルタをかける処理と言える。
【００４２】
上述したような画像復元方法は、三角配置の限界解像度を最大限に維持できるだけでなく、三角格子上の画像復元処理は全ての画素で同一の処理ルーチンを使うことが可能で、最後に半分の行だけ単純な一次元処理を施すだけで済むので、データ量の増加を伴わず、従来技術に比べより簡略なアルゴリズムを達成することができる。特にハードウェアで実現する場合にはその効果は大きい。
【００４３】
−第２の実施の形態−
第１の実施の形態では、異色間類似度を求めて類似性を判定するものであったが、第２の実施の形態では同色間類似度を求めて類似性を判定する。第２の実施の形態は、彩色部を多く含む画像に対して有効である。第２の実施の形態の電子カメラ１の構成は、第１の実施の形態の図１と同様であるのでその説明を省略する。画像処理について、第１の実施の形態と異なる部分を中心に説明する。特に記載がなければ第１の実施の形態と同様とする。
【００４４】
（画像処理）
−三角格子上補間処理−
１．類似度の算出
０度、１２０度、２４０度方向の類似度Ｃ０００、Ｃ１２０、Ｃ２４０を算出する。第２の実施の形態では、式（２０）（２１）（２２）に示すように、同じ色成分間で構成される同色間類似度を求める。３画素ピッチ離れた画素間の演算が行われる。図８は、式（２０）（２１）（２２）で使用する画素位置を示す図である。
Ｃ０００ ＝ ｛（｜Ｒ０００−Ｒｃｔｒ｜＋｜Ｒ１８０−Ｒｃｔｒ｜）／２＋｜Ｇ０００−Ｇ１８０｜＋｜Ｂ０００−Ｂ１８０｜｝／３ ．．．（２０）
Ｃ１２０ ＝ ｛（｜Ｒ１２０−Ｒｃｔｒ｜＋｜Ｒ３００−Ｒｃｔｒ｜）／２＋｜Ｇ１２０−Ｇ３００｜＋｜Ｂ１２０−Ｂ３００｜｝／３ ．．．（２１）
Ｃ２４０ ＝ ｛（｜Ｒ２４０−Ｒｃｔｒ｜＋｜Ｒ０６０−Ｒｃｔｒ｜）／２＋｜Ｇ２４０−Ｇ０６０｜＋｜Ｂ２４０−Ｂ０６０｜｝／３ ．．．（２２）
このように定義される同色間類似度は、彩色部における０度方向の横線や１２０度方向、２４０度方向の画像構造を空間的に解像させる能力を持ち、また色収差のある系に対しても影響を受けることなく画像構造を判別する能力を有する。
【００４５】
次に、第１の実施の形態と同様にして、類似度の周辺加算を行う。
【００４６】
２．類似性判定
第１の実施の形態と同様である。
【００４７】
３．補間値算出
Ｇ成分、Ｂ成分の補間値を算出する。補間値は、平均情報と曲率情報の２つの項からなる。
＜平均情報＞：第１の実施の形態と同様である。
＜曲率情報＞
ｄＲ ＝ （６＊Ｒｃｔｒ−Ｒ０３０−Ｒ０９０−Ｒ１５０−Ｒ２１０−Ｒ２７０−Ｒ３３０）／１２ ．．．（２３）
ｄＧ ＝ （（Ｇ０００＋Ｇ１２０＋Ｇ２４０）−（Ｇ０６０＋Ｇ１８０＋Ｇ３００））／６ ．．．（２４）
ｄＢ ＝ （（Ｂ０６０＋Ｂ１８０＋Ｂ３００）−（Ｂ０００＋Ｂ１２０＋Ｂ２４０））／６ ．．．（２５）
＜補間値＞
Ｇｃｔｒ ＝ Ｇａｖｅ＋（ｄＲ＋ｄＧ＋ｄＢ）／３ ．．．（２６）
Ｂｃｔｒ ＝ Ｂａｖｅ＋（ｄＲ＋ｄＧ＋ｄＢ）／３ ．．．（２７）
【００４８】
第２の実施の形態では、第１の実施の形態と異なり３色の曲率情報で平均情報を補正している。これは、従来技術の特開２００１−２４５３１４号公報に開示されているように、彩色部や色収差を含む画像においてｄＲのみによる過補正を防ぎつつ、階調方向の鮮明性を保つためである。ただし、特開２００１−２４５３１４号公報はベイア配列に関するものである。このように３色の曲率情報を使用する場合でも、ベイア配列の場合と違って、第１の実施の形態と同様に、ＲＧＢ３成分とも方向性のない曲率情報による補正が、最もあらゆる方向に対して階調鮮明性を上げる効果が高いことが実験により判明した。また、デルタ配列がＲ：Ｇ：Ｂ＝１：１：１からなるので、３成分の曲率情報を１：１：１で用いるのがよいことも分かった。図９は、式（２３）（２４）（２５）で使用する係数値を図示したものである。
【００４９】
以上のようにして、「Ｒ画素位置におけるＧ、Ｂ成分の補間処理」を行うことができた。「Ｇ画素位置におけるＢ、Ｒ成分の補間処理」、「Ｂ位置におけるＲ、Ｇ成分の補間処理」も、第１の実施の形態と同様に、ＲＧＢをそれぞれ循環的に置きかえることによって求める。正方化処理も、第１の実施の形態と同様に行うことができる。
【００５０】
以上のように、第２の実施の形態の復元処理は、彩色部を含む画像に対しても色境界を判別して解像させることができ、かつ階調方向の過補正を引き起こすことなく鮮明な画像を得ることができる。また、色収差を含むような系に対しても強い。
【００５１】
−第３の実施の形態−
ベイア配列で得られる画像データの画像処理においては通常、補間処理後に画像に残っている偽色を低減するためにＲＧＢ信号を、輝度と色差からなるＹＣｂＣｒに変換し、Ｃｂ、Ｃｒ面で色差ローパスフィルタを掛けたり、色差メディアンフィルタを掛けたりして偽色を除去し、ＲＧＢ表色系に戻す事後処理が行われる。また、光学ローパスフィルタ等による鮮明度の低下を補うために、輝度成分Ｙ面にエッジ強調処理を施したりする。デルタ配列の場合も、全く同様の事後処理を適応してもよい。
【００５２】
しかし、第３の実施の形態では、デルタ配列に適した事後処理の方法を示す。第３の実施の形態の電子カメラ１の構成は、第１の実施の形態の図１と同様であるのでその説明を省略する。
【００５３】
図１０は、第３の実施の形態において、画像処理部１１が行う画像処理の概要を示すフローチャートである。第１の実施の形態と同様に三角格子上で補間処理が行われるものとする。図１０は、補間処理後のＲＧＢカラー画像を入力するところからスタートする。すなわち、第１の実施の形態の図２のステップＳ１〜Ｓ５が終了し、その後、図１０のフローチャートが開始する。
【００５４】
ステップＳ１１では、補間処理後のＲＧＢカラー画像データを入力する。ステップＳ１２において、ＲＧＢ表色系から本第３の実施の形態特有のＹＣｒＣｇＣｂ表色系に変換する。ステップＳ１３では、色差面（ＣｒＣｇＣｂ面）に対してローパスフィルタ処理を行う。ステップＳ１４では、輝度面（Ｙ面）に対してエッジ強調処理を行う。ステップＳ１５では、色差面の偽色が除去された段階で、ＹＣｒＣｇＣｂ表色系を元のＲＧＢ表色系に戻す変換をする。ステップＳ１６において、得られたＲＧＢカラー画像データを出力する。ステップＳ１６で出力されるＲＧＢカラー画像データは三角格子上で得られた画像データである。
【００５５】
三角格子上で得られた画像データに対して正方化処理をする場合は、第１の実施の形態と同様に、図２のステップＳ６、Ｓ７の処理を行う。以下、上述のステップＳ１２〜１５の処理の詳細について説明する。
【００５６】
１．表色系変換
ＲＧＢ表色系からＹＣｒＣｇＣｂ表色系に変換する。ただし、ＹＣｒＣｇＣｂ表色系は、式（２８）〜（３１）で表されるものとして定義する。
Ｙ［ｉ，ｊ］ ＝ （Ｒ［ｉ，ｊ］＋Ｇ［ｉ，ｊ］＋Ｂ［ｉ，ｊ］）／３ ．．．（２８）
Ｃｒ［ｉ，ｊ］ ＝ Ｒ［ｉ，ｊ］−Ｙ［ｉ，ｊ］ ．．．（２９）
Ｃｇ［ｉ，ｊ］ ＝ Ｇ［ｉ，ｊ］−Ｙ［ｉ，ｊ］ ．．．（３０）
Ｃｂ［ｉ，ｊ］ ＝ Ｂ［ｉ，ｊ］−Ｙ［ｉ，ｊ］ ．．．（３１）
【００５７】
サーキュラーゾーンプレートを撮像して三角格子上で補間処理した後、式（２８）のように、Ｙ面生成においてＲＧＢを均等に扱う変換を行うと、図６の六角形の角の部分を中心に発生するような色モアレが、完全に輝度面Ｙからは消え去るようになる。その結果、全ての偽色要素を色差成分Ｃｒ，Ｃｇ，Ｃｂに含ませることができる。そして、従来扱われている２種類の色差成分ではなく、第３の実施の形態では３種類の色差成分を用意して扱っているので、デルタ配列固有の全ての偽色要素を取り出すことができる。
【００５８】
２．色差補正
ここでは、色差補正の処理として色差面に対して式（３２）によりローパス処理を行う例を示す。三角格子（三角配置）上で色差ローパスフィルタを掛けるとその偽色低減効果は全方向に対して相性よく得られる。また、三角格子上のメディアンフィルタ処理でもよい。ここで［］は、図２２に示すように、処理対象画素から見た三角格子上の画素位置を表すものとする。図１１は、式（３２）に使用する係数値を図示するものである。なお、ローパスフィルタはここに示すものに留まらず、他のものを用いてもよい。図１２、図１３に他のローパスフィルタの例を示す。
ｔｍｐ＿Ｃｇ， ｔｍｐ＿Ｃｂについても同様に処理する。
＜代入処理＞
Ｃｒ［ｉ，ｊ］ ＝ ｔｍｐ＿Ｃｒ［ｉ，ｊ］ ．．．（３３）
Ｃｇ［ｉ，ｊ］ ＝ ｔｍｐ＿Ｃｇ［ｉ，ｊ］ ．．．（３４）
Ｃｂ［ｉ，ｊ］ ＝ ｔｍｐ＿Ｃｂ［ｉ，ｊ］ ．．．（３５）
【００５９】
３．エッジ強調処理
次に、輝度面Ｙに対するエッジ強調処理が必要であれば、三角格子上で以下の処理を行う。
＜バンドパス処理＞
三角格子上のラプラシアン処理によりエッジ抽出する。図１４は、式（３６）のラプラシアン処理に使用する係数値を図示するものである。なお、ラプラシアンはここに示すものに留まらず、他のものを用いてもよい。図１５、図１６に他のラプラシアンの例を示す。
＜エッジ強調処理＞
Ｙ［ｃｅｎｔｅｒ］＝Ｙ［ｃｅｎｔｅｒ］＋Ｋ＊ＹＨ［ｃｅｎｔｅｒ］ ．．．（３７）
ここで、Ｋは零以上の値で、エッジ強調の加減を調整するパラメータである。
【００６０】
４．表色系変換
前述した通り色差補正処理がなされ、色差面の偽色が除去された段階で、元のＲＧＢ表色系に戻す。
Ｒ［ｉ，ｊ］＝Ｃｒ［ｉ，ｊ］＋Ｙ［ｉ，ｊ］ ．．．（３８）
Ｇ［ｉ，ｊ］＝Ｃｇ［ｉ，ｊ］＋Ｙ［ｉ，ｊ］ ．．．（３９）
Ｂ［ｉ，ｊ］＝Ｃｂ［ｉ，ｊ］＋Ｙ［ｉ，ｊ］ ．．．（４０）
【００６１】
このように、輝度解像をＲ：Ｇ：Ｂ＝１：１：１の比で生成したＹ成分に待避させ、３種類の均等に扱った色差成分Ｃｒ，Ｃｇ，Ｃｂを導入することにより、極めて偽色抑制能力の高い色差補正が可能となる。また、色差補正処理や輝度補正処理を三角格子上で行うことにより、デルタ配列の方向性に適した補正処理が可能となる。
【００６２】
−第４の実施の形態−
第１の実施の形態では、三角格子上において、各画素に欠落する色成分の色情報を補間する処理について説明した。第４の実施の形態では、第１の実施の形態のＲＧＢ面内における補間処理とは異なる系統の画像復元処理の例を示す。これは、デルタ配列から、ＲＧＢ面内の補間処理を介さずに直接輝度成分と色差成分を作る方式である。思想的に第３の実施の形態で示した１つの輝度面と３つの色差面に分離することの有用性を引き継ぎ、輝度面には無彩色の輝度解像力を最大限に引き出す役割を担当させ、３つの色差面には３原色の色解像力を最大限に引き出す役割を担当させている。
【００６３】
第４の実施の形態の電子カメラ１の構成は、第１の実施の形態の図１と同様であるのでその説明を省略する。
【００６４】
（画像処理）
図１７は、デルタ配列のデルタ面から、直接、輝度面（Ｙ）と３つの色差面（Ｃｇｂ，Ｃｂｒ，Ｃｒｇ）を生成し、その後、元のＲＧＢの表色系に変換する概念を示す図である。図１８は、第４の実施の形態において、画像処理部１１が行う画像処理の概要を示すフローチャートである。
【００６５】
ステップＳ２１では、デルタ配列の撮像素子２１で得られた画像を入力する。ステップＳ２２において、類似度の算出を行う。ステップＳ２３では、ステップＳ２２で得られた類似度に基づき類似性を判定する。ステップＳ２４では、ステップＳ２３で得られた類似性の判定結果とステップＳ２１で得られたデルタ配列の画像データに基づき輝度面（Ｙ０面）を生成する。ステップＳ２５では、ステップＳ２４で得られた輝度面（Ｙ０面）に対して補正処理を行う。
【００６６】
一方、ステップＳ２６では、ステップＳ２３で得られた類似性の判定結果とステップＳ２１で得られたデルタ配列の画像データに基づき、色差成分Ｃｇｂ，Ｃｂｒ，Ｃｒｇを生成する。ステップＳ２６では、まだ、すべての画素においてすべての色差成分Ｃｇｂ，Ｃｂｒ，Ｃｒｇが生成されてはいない。ステップＳ２７で、生成されていない色差成分を周辺の色差成分に基づき補間処理をする。その結果、Ｃｇｂ，Ｃｂｒ，Ｃｒｇの色差面が完成する。
【００６７】
ステップＳ２８では、生成されたＹ，Ｃｇｂ，Ｃｂｒ，Ｃｒｇの表色系からＲＧＢ表色系に変換する。ステップＳ２９で、変換されたＲＧＢカラー画像データを出力する。ステップＳ２１〜ステップＳ２９は、すべて三角格子上での処理である。従って、ステップＳ２９で出力されるＲＧＢカラー画像データは、三角格子の画像データである。以下、これらの処理の詳細について説明する。なお、正方化処理が必要な場合は、第１の実施の形態の図２のステップＳ６、Ｓ７と同様の処理を行う。
【００６８】
１．類似度の算出
まず、類似度の算出を行う。ここでは、任意の方式で求められる類似度でよい。ただし、できるだけ正確なものを利用するものとする。例えば、第１の実施の形態で示した異色間類似度や、第２の実施の形態で示した同色間類似度や、それらを組み合わせて用いたもの、あるいは色指標等によって異色間類似度と同色間類似度を切り替えて用いたものでもよい。
【００６９】
２．類似性判定
第１の実施の形態と同様にして判定する。
【００７０】
３．復元値算出
１）輝度成分生成
まず、デルタ面を方向類似性に応じて変化する正の係数で常にＲ：Ｇ：Ｂ＝１：１：１となるように加重加算して輝度面を生成する。その加重加算の範囲は第１の実施の形態と同様の理由によって、Ｇ成分とＢ成分は第２隣接画素までとる。すなわち、第１の実施の形態の式（１０）〜式（１５）の定義式を用いてもう一度、式（８）（９）を書き直すと式（４１）（４２）のようになる。
＜Ｇ＞２ｎｄ ＝ Ｇａｖｅ ＝ ｗ０００＊Ｇａｖｅ０００＋ｗ１２０＊Ｇａｖｅ１２０＋ｗ２４０＊Ｇａｖｅ２４０ ．．．（４１）
＜Ｂ＞２ｎｄ ＝ Ｂａｖｅ ＝ ｗ０００＊Ｂａｖｅ０００＋ｗ１２０＊Ｂａｖｅ１２０＋ｗ２４０＊Ｂａｖｅ２４０ ．．．（４２）
これらと中心のＲ成分を用いて、式（４３）により輝度成分Ｙ０を生成する。
Ｙ０＝Ｒｃｔｒ＋＜Ｇ＞２ｎｄ＋＜Ｂ＞２ｎｄ ．．．（４３）
【００７１】
このようにして生成される輝度成分は、正の方向加重係数を用いて常に一定の色成分比で中心画素を含みながら生成されるので、極めて階調鮮明性の潜在能力が高く、空間解像力の高い画像が得られ、かつ色収差に影響されずに極めて滑らかに周辺画素と連結する画像が得られる。例えば、無彩色のサーキュラーゾーンプレートに対して、異色間類似度を類似度として採用した場合、第１の実施の形態と同様に空間解像度は図６の限界解像まで達する。
【００７２】
２）輝度成分補正
上述した輝度面は正の係数のみを用いて生成されているので、そこに含まれている階調鮮明性の潜在能力を引き出すために、ラプラシアンによる補正処理を行う。輝度面Ｙ０は、方向性を考慮して周辺画素と極めて滑らかに連結するように作られているので、補正処理は新たに方向性に応じて計算しなければならないような補正項の算出は不要で、固定バンドパスフィルタによる単一処理でよい。三角配置におけるラプラシアンの取り方は、第３の実施の形態の図１４〜図１６に示すようにいくつかの方法が可能である。しかし、若干なりとも最適度を上げるならば、輝度面Ｙ０が０度、１２０度、２４０度方向のＧ，Ｂ成分を集めてしか生成しえないので、その間隙の方向を埋め合わせるために、ここではそれとは独立な３０度、１５０度、２７０度方向の図１５のラプラシアンで補正する場合を示す（式（４４））。補正された輝度成分をＹとする。
【００７３】
＜補正処理＞
Ｙ［ｃｅｎｔｅｒ］＝Ｙ［ｃｅｎｔｅｒ］＋ｋ＊ＹＨ［ｃｅｎｔｅｒ］ ．．．（４５）
ここで、ｋは正の値で通常１とする。ただし、１より大きい値に設定することで、第３の実施の形態に示したようなエッジ強調処理をここで兼ね備えることもできる。
【００７４】
３）色差成分生成
３つの色差面は第３の実施の形態の定義と異なり、輝度面Ｙとは独立にデルタ面から直接生成する。３つの色差成分Ｃｇｂ，Ｃｂｒ，Ｃｒｇを求める。ただし、Ｃｇｂ＝Ｇ−Ｂ、Ｃｂｒ＝Ｂ−Ｒ、Ｃｒｇ＝Ｒ−Ｇと定義する。
【００７５】
まず、Ｒ位置においてＣｒｇとＣｂｒを求める。中心画素のＲ成分と周辺画素のＧ成分もしくはＢ成分との差分値を方向性を考慮しながら算出する。
Ｃｒｇ＝Ｒｃｔｒ−｛＜Ｇ＞２ｎｄ＋ｄＧ｝ ．．．（４６）
Ｃｂｒ＝｛＜Ｂ＞２ｎｄ＋ｄＢ｝−Ｒｃｔｒ ．．．（４７）
ここに、ｄＧ，ｄＢは、第２の実施の形態の式（２４）（２５）で定義されたものと同じで、＜Ｇ＞２ｎｄ，＜Ｂ＞２ｎｄは式（４１）（４２）と同じである。色差成分の生成においても第１の実施の形態と同様に、第２隣接画素までを含む平均情報を算出し、輝度成分との整合性をとることにより、３０度、１５０度、２７０度方向の解像力を上げている。また、ｄＧとｄＢは必ずしも必要な訳ではないが、色解像力と色鮮やかさを上げる効果があるので付加している。
【００７６】
Ｇ位置における色差成分Ｃｇｂ，Ｃｒｇ、およびＢ位置における色差成分Ｃｂｒ，Ｃｇｂも同様にして求める。この時点でＲ位置にはＣｒｇ，Ｃｂｒ成分が、その最隣接画素にはＣｇｂ成分が求まっている。図１９は、その様子を示す図である。
【００７７】
次に、Ｒ位置周辺画素のＣｇｂ成分を用いて式（４８）よりＲ位置にＣｇｂ成分を求める（補間処理）。このとき、Ｒ位置で求まっている方向判定結果を用いて算出する。
【００７８】
以上のようにして、全ての画素にＹＣｇｂＣｂｒＣｒｇの４成分が求まる。必要に応じて、色差面Ｃｇｂ，Ｃｂｒ，Ｃｒｇに対しては第３の実施の形態と同様の色差ローパスフィルタ等の補正処理を行って、偽色抑制を図ってもよい。
【００７９】
４）表色系変換
各画素に生成されたＹＣｇｂＣｂｒＣｒｇをＲＧＢ表色系に変換する。Ｙ＝（Ｒ＋Ｇ＋Ｂ）／３， Ｃｇｂ＝Ｇ−Ｂ， Ｃｂｒ＝Ｂ−Ｒ， Ｃｒｇ＝Ｒ−Ｇは独立な４式ではなく、Ｃｇｂ＋Ｃｂｒ＋Ｃｒｇ＝０の関係を満たす。すなわち、４対３変換なので変換方法は一意的ではないが、色モアレを抑制し、輝度解像度と色解像度を最高にするため、Ｒ，Ｇ，Ｂそれぞれの変換式に全てのＹ，Ｃｇｂ，Ｃｂｒ，Ｃｒｇ成分が含まれるようにし、相互のモアレ相殺効果を利用する。こうしてＹ，Ｃｇｂ，Ｃｂｒ，Ｃｒｇ各面がそれぞれに役割分担して生成されてきた最高性能の全てを、Ｒ，Ｇ，Ｂの各々に反映させることができる。
Ｒ［ｉ，ｊ］＝（９＊Ｙ［ｉ，ｊ］＋Ｃｇｂ［ｉ，ｊ］−２＊Ｃｂｒ［ｉ，ｊ］＋４＊Ｃｒｇ［ｉ，ｊ］）／９ ．．．（４９）
Ｇ［ｉ，ｊ］＝（９＊Ｙ［ｉ，ｊ］＋４＊Ｃｇｂ［ｉ，ｊ］＋Ｃｂｒ［ｉ，ｊ］−２＊Ｃｒｇ［ｉ，ｊ］）／９ ．．．（５０）
Ｂ［ｉ，ｊ］＝（９＊Ｙ［ｉ，ｊ］−２＊Ｃｇｂ［ｉ，ｊ］＋４＊Ｃｂｒ［ｉ，ｊ］＋Ｃｒｇ［ｉ，ｊ］）／９ ．．．（５１）
【００８０】
以上説明したように、第４の実施の形態の画像復元方法は、極めて階調鮮明性が高く、空間方向にも優れた輝度解像性能と色解像性能を同時に達成しつつ、色収差に対しても強いという効果を発揮する。正方化処理が必要な場合は、第１の実施の形態と同様に行うことができる。
【００８１】
−第５の実施の形態−
第２の実施の形態では、同色間類似度を求めて類似性を判定した。このとき、０度、１２０度、２４０度方向の類似度のみを求めるものであった。しかし、第５の実施の形態では、３０度、１５０度、２７０度方向の類似度も求めるようにしたものである。第５の実施の形態の電子カメラ１の構成は、第１の実施の形態の図１と同様であるのでその説明を省略する。
【００８２】
Ｒ画素位置にＧ、Ｂ成分を補間する場合を中心に述べる。また、第２の実施の形態の図８を参照する。Ｒ画素位置においてＧ成分の最隣接画素は隣接して０度、１２０度、２４０度を指す位置に３つあり、第２隣接画素は２画素分離れた６０度、１８０度、３００度を指す位置に３つある。Ｂ成分も同様に、最隣接画素は隣接して６０度、１８０度、３００度を指す位置に３つあり、第２隣接画素は２画素分離れた０度、１２０度、２４０度を指す位置に３つある。また、Ｒ成分の最隣接画素は２画素分離れた３０度、９０度、１５０度、２１０度、２７０度、３３０度を指す位置に６つあり、第２隣接画素は３画素分離れた０度、６０度、１２０度、１８０度、２４０度、３００度を指す位置に６つある。
【００８３】
１．類似度の算出
１）３画素間隔同色間類似度の算出
０度、１２０度、２４０度方向の類似度Ｃ０００、Ｃ１２０、Ｃ２４０を算出する。これらの方向の同じ色成分間で構成される同色間類似度は、３画素間隔より短く定義することができない。
Ｃ０００ ＝ ｛（｜Ｒ０００−Ｒｃｔｒ｜＋｜Ｒ１８０−Ｒｃｔｒ｜）／２＋｜Ｇ０００−Ｇ１８０｜＋｜Ｂ０００−Ｂ１８０｜｝／３ ．．．（５２）
Ｃ１２０ ＝ ｛（｜Ｒ１２０−Ｒｃｔｒ｜＋｜Ｒ３００−Ｒｃｔｒ｜）／２＋｜Ｇ１２０−Ｇ３００｜＋｜Ｂ１２０−Ｂ３００｜｝／３ ．．．（５３）
Ｃ２４０ ＝ ｛（｜Ｒ２４０−Ｒｃｔｒ｜＋｜Ｒ０６０−Ｒｃｔｒ｜）／２＋｜Ｇ２４０−Ｇ０６０｜＋｜Ｂ２４０−Ｂ０６０｜｝／３ ．．．（５４）
【００８４】
このように定義される同色間類似度は、Ｒ画素位置に欠落するＧ成分とＢ成分が存在する方向と一致する方向性を調べているので、彩色部における０度方向の横線や１２０度方向、２４０度方向の画像構造を空間的に解像させる能力を持つと考えられる。しかし、ベイア配列における２画素間隔の同色間類似度と違って、３画素間隔と極めて離れた画素間の情報であることに注意を要する。
【００８５】
２）２画素間隔同色間類似度の算出
次に、３０度、１５０度、２７０度方向の類似度Ｃ０３０、Ｃ１５０、Ｃ２７０を算出する。これらの方向の同色間類似度は、０度、１２０度、２４０度方向と異なりより短い２画素間隔で定義することができる。
Ｃ０３０ ＝ ｛（｜Ｒ０３０−Ｒｃｔｒ｜＋｜Ｒ２１０−Ｒｃｔｒ｜）／２＋｜Ｇ２４０−Ｇ０００｜＋｜Ｂ０６０−Ｂ１８０｜｝／３ ．．．（５５）
Ｃ１５０ ＝ ｛（｜Ｒ１５０−Ｒｃｔｒ｜＋｜Ｒ３３０−Ｒｃｔｒ｜）／２＋｜Ｇ０００−Ｇ１２０｜＋｜Ｂ１８０−Ｂ３００｜｝／３ ．．．（５６）
Ｃ２７０ ＝ ｛（｜Ｒ２７０−Ｒｃｔｒ｜＋｜Ｒ０９０−Ｒｃｔｒ｜）／２＋｜Ｇ１２０−Ｇ２４０｜＋｜Ｂ３００−Ｂ０６０｜｝／３ ．．．（５７）
ただし、Ｒ画素位置に欠落するＧ成分とＢ成分が存在する方向と一致しない方向の類似性を調べているので、これらを有効に活用するにはテクニックを要する。
【００８６】
３）類似度の周辺加算
更に、上述した類似度の各々について周辺加算を行って周辺画素との連続性を考慮することにより、類似度の精度を上げる。ここでは各画素について求めた上記６つの類似度それぞれに対し、Ｒ画素位置について周辺加算を行う。周辺加算を行った類似度を小文字で表記する。ただし、［］は、処理対象画素から見たデルタ配列上の画素位置を表すものとする。式（５８）は第１の実施の形態の式（４）と同様である。
ｃ１２０， ｃ２４０， ｃ０３０， ｃ１５０， ｃ２７０も同様にして求める。
ここに、上述した類似度の方位関係を図２６に示す。
【００８７】
２．類似性判定
上述した類似度は値が小さいほどその方向に対して大きな類似性を示す。ただし、類似性を判定して意味があるのは、処理対象画素に存在しないＧ成分とＢ成分が存在する方向、すなわち０度、１２０度、２４０度方向であり、３０度、１５０度、２７０度方向の類似性が判定できてもあまり意味がない。そこで、まず考えられるのは、０度、１２０度、２４０度方向の類似性の強弱を、０度、１２０度、２４０度方向の類似度を用いて、その逆数比で連続的に判定することである。すなわち（１／ｃ０００）：（１／ｃ１２０）：（１／ｃ２４０）で判定する。
【００８８】
例えば、類似度ｃ０００は有彩色の横線を解像する能力を有するので、図２０のデルタ配列のＲＧＢ各色成分の周波数再現域のｋｙ軸方向を限界解像まで伸ばすことができる。すなわち、このような判定方法は、有彩色の画像に対して、図２０の６角形の頂点の限界解像まで色解像度を引き伸ばすことができる。しかしながら、３画素間隔という長距離間の類似度であるため、その間の角度となると折り返し周波数成分の影響を受けて方向性を判別することができず、特に３０度、１５０度、２７０度方向に対しては最もその悪影響が生じ、図２０の６角形の各辺の中点付近がえぐれるような色解像力しか発揮することができない。
【００８９】
そこで、このような長距離相関の悪影響を防ぐため、短距離相関の類似度ｃ０３０，ｃ１５０，ｃ２７０を有効活用する。ただし、逆数をとるだけでは３０度、１５０度、２７０度方向の類似性が判別できるようになるだけなので、それを０度、１２０度、２４０度方向の類似性に変換するために、逆数ではなく類似度の値自体が３０度、１５０度、２７０度方向に直交する方向、すなわち１２０度、２４０度、０度方向の類似性を表しているものと解釈する。故に０度、１２０度、２４０度方向の類似性を以下の比率で判定する。
（ｃ２７０／ｃ０００）：（ｃ０３０／ｃ１２０）：（ｃ１５０／ｃ２４０）
【００９０】
０度、１２０度、２４０度方向の類似性を１で規格化された加重係数ｗ０００，ｗ１２０，ｗ２４０として表すと、
により求まる。ただし、定数Ｔｈは発散を防ぐための項で正の値をとる。通常Ｔｈ＝１とすればよいが、高感度撮影画像などノイズの多い画像に対してはこの閾値を上げるとよい。
【００９１】
なお、０度方向と２７０度方向、１２０度方向と３０度方向、２４０度方向と１５０度方向は直交した関係である。この直交した関係を０度方向⊥２７０度方向、１２０度方向⊥３０度方向、２４０度方向⊥１５０度方向と表す。
【００９２】
こうして６方向の類似度を用いて連続的に判定された類似性は、有彩色画像に対して図２０の六角形の全てを正確に再現する空間解像力を有する。また、この同色間類似度による空間解像力は、同じ色成分間で類似性を見ているため、光学系に含まれる色収差の影響を受けずに常に達成することができる。
【００９３】
３．補間値算出
補間値は、第２の実施の形態と同様にして求める。
【００９４】
以上のようにして、第５の実施の形態では如何なる画像に対してもデルタ配列が元来有する各ＲＧＢ単色の空間色解像力を全て引き出すことができる。また、階調方向に鮮明な画像復元が可能で、色収差を含む系に対しても強い性能を発揮する。
【００９５】
なお、第５の実施の形態の類似度の算出および類似性の判定を第４の実施の形態の類似度の算出および類似性の判定にも適用できる。このような画像復元方法は、極めて階調鮮明性が高く、空間方向にも優れた輝度解像性能と色解像性能を同時に達成しつつ、色収差に対しても強いという効果を発揮する。特に、鮮明な階調を達成しつつデルタ配列の最高の色解像性能を導き出すことができる。通常の画像処理では、階調鮮明性を上げようとエッジ強調処理を行ったりして、その分色解像力が落ちて色褪せたり、立体感が損なわれたりしてしまうトレードオフが生じるが、この場合、４成分の復元値を導入することによりこの相反する課題を同時に解決することができるようになる。
【００９６】
−第６の実施の形態−
ベイア配列においては通常、補間処理後に画像に残っている偽色を低減するためにＲＧＢ信号を、輝度と色差からなるＹＣｂＣｒに変換し、Ｃｂ、Ｃｒ面で色差ローパスフィルタを掛けたり、色差メディアンフィルタを掛けたりして偽色を除去し、ＲＧＢ表色系に戻す事後処理が行われる。デルタ配列の場合も、完全に光学ローパスフィルタでナイキスト周波数を落とせなければ、見栄えを良くするため適度な偽色低減処理を必要とする。第６の実施の形態では、デルタ配列の優れた特徴である色解像性能をできるだけ損なわないような事後処理の方法を示す。第６の実施の形態の電子カメラ１の構成は、第１の実施の形態の図１と同様であるのでその説明を省略する。
【００９７】
図２１は、第６の実施の形態において、画像処理部１１が行う画像処理の概要を示すフローチャートである。第１、２、４、５の実施の形態と同様に三角格子上で補間処理が行われるものとする。図２１は、補間処理後のＲＧＢカラー画像を入力するところからスタートする。例えば、第１の実施の形態の図２のステップＳ１〜Ｓ５が終了し、その後、図２１のフローチャートが開始する。
【００９８】
ステップＳ３１では、補間処理後のＲＧＢカラー画像データを入力する。ステップＳ３２において、ＲＧＢ表色系から本第６の実施の形態特有のＹＣｇｂＣｂｒＣｒｇ表色系に変換する。ステップＳ３３では、色判定用画像を生成する。ステップＳ３４では、ステップＳ３３で生成した色判定用画像を使用して色指標を算出する。ステップＳ３５では、ステップＳ３４の色指標に基づき低彩度か高彩度かの色判定を行う。
【００９９】
ステップＳ３６において、ステップＳ３５の色判定結果に基づき、使用するローパスフィルタを切り換えて色差補正を行う。補正の対象となる色差データはステップＳ３２で生成されたものである。ステップＳ３７では、色差面の偽色が除去された段階で、ＹＣｇｂＣｂｒＣｒｇ表色系を元のＲＧＢ表色系に戻す変換をする。ステップＳ３８において、得られたＲＧＢカラー画像データを出力する。ステップＳ３８で出力されるＲＧＢカラー画像データは三角格子上で得られた画像データである。
【０１００】
三角格子上で得られた画像データに対して正方化処理をする場合は、第１の実施の形態と同様に、図２のステップＳ６、Ｓ７の処理を行う。以下、上述のステップＳ３２〜３７の処理の詳細について説明する。
【０１０１】
１．表色系変換
ＲＧＢ表色系からＹＣｇｂＣｂｒＣｒｇ表色系に変換する。ただし、ＹＣｇｂＣｂｒＣｒｇ表色系は次の式（６２）〜（６５）で定義される。
Ｙ［ｉ，ｊ］ ＝ （Ｒ［ｉ，ｊ］＋Ｇ［ｉ，ｊ］＋Ｂ［ｉ，ｊ］）／３ ．．．（６２）
Ｃｇｂ［ｉ，ｊ］ ＝ Ｇ［ｉ，ｊ］−Ｂ［ｉ，ｊ］ ．．．（６３）
Ｃｂｒ［ｉ，ｊ］ ＝ Ｂ［ｉ，ｊ］−Ｒ［ｉ，ｊ］ ．．．（６４）
Ｃｒｇ［ｉ，ｊ］ ＝ Ｒ［ｉ，ｊ］−Ｇ［ｉ，ｊ］ ．．．（６５）
このようにＲＧＢを均等に扱う変換を行うと、例えばサーキュラーゾーンプレートで、図６の六角形の角の部分を中心に発生するような色モアレが、完全に輝度面Ｙからは消え去り、全ての偽色要素を色差成分Ｃｇｂ，Ｃｂｒ，Ｃｒｇに含ませることができる。
【０１０２】
２．色評価
１）色判定用画像の生成
無彩色部に於ける偽色をできるだけ彩色部と区別して色評価するために、全面に強力な色差ローパスフィルタをかけて偽色を一旦低減する。ただし、これは一時的な色判定用画像なので、実際の画像には影響を与えない。
ＴＣｂｒ， ＴＣｒｇについても同様に求める。
【０１０３】
２）色指標の算出
次に、偽色の低減された色判定用画像を用いて色指標Ｃｄｉｆｆを算出し、画素単位の色評価を行う。
Ｃｄｉｆｆ［ｉ，ｊ］＝（｜Ｃｇｂ［ｉ，ｊ］｜＋｜Ｃｂｒ［ｉ，ｊ］｜＋｜Ｃｒｇ［ｉ，ｊ］｜）／３ ．．．（６７）
【０１０４】
３）色判定
上記連続的色指標Ｃｄｉｆｆを閾値判定し、離散的な色指標ＢＷに変換する。
ｉｆ Ｃｄｉｆｆ［ｉ，ｊ］≦Ｔｈ ｔｈｅｎ ＢＷ［ｉ，ｊ］＝’ａ’（低彩度部）
ｅｌｓｅ ｔｈｅｎ ＢＷ［ｉ，ｊ］＝’ｃ’（高彩度部）
ここで閾値Ｔｈは２５６階調の場合３０程度に設定するのがよい。
【０１０５】
３．適応的色差補正
色判定により画像を２つの領域に分割することができたので、無彩色部の偽色は強力に消す一方、彩色部の色解像はできるだけ温存する色差補正処理を加える。ここでは式（６８）および式（６９）のローパス処理を行うが、メディアンフィルタ処理を用いてもよい。［］は、処理対象画素から見た三角格子上の画素位置を表すものとする。式（６８）のローパスフィルタは、第３の実施の形態の図１１に示す係数値を使用し、式（６９）のローパスフィルタは図１３に示す係数値を使用する。
【０１０６】
ｔｍｐ＿Ｃｂｒ， ｔｍｐ＿Ｃｒｇについても同様に求める。
ｔｍｐ＿Ｃｂｒ， ｔｍｐ＿Ｃｒｇについても同様に求める。
【０１０７】
＜代入処理＞
Ｃｇｂ［ｉ，ｊ］ ＝ ｔｍｐ＿Ｃｇｂ［ｉ，ｊ］
Ｃｂｒ［ｉ，ｊ］ ＝ ｔｍｐ＿Ｃｂｒ［ｉ，ｊ］
Ｃｒｇ［ｉ，ｊ］ ＝ ｔｍｐ＿Ｃｒｇ［ｉ，ｊ］
【０１０８】
４．表色系変換処理
色差面の偽色が除去された段階で、第４の実施の形態と同様の式（７０）〜（７２）を用いて元のＲＧＢ表色系に戻す。
Ｒ［ｉ，ｊ］＝（９＊Ｙ［ｉ，ｊ］＋Ｃｇｂ［ｉ，ｊ］−２＊Ｃｂｒ［ｉ，ｊ］＋４＊Ｃｒｇ［ｉ，ｊ］）／９ ．．．（７０）
Ｇ［ｉ，ｊ］＝（９＊Ｙ［ｉ，ｊ］＋４＊Ｃｇｂ［ｉ，ｊ］＋Ｃｂｒ［ｉ，ｊ］−２＊Ｃｒｇ［ｉ，ｊ］）／９ ．．．（７１）
Ｂ［ｉ，ｊ］＝（９＊Ｙ［ｉ，ｊ］−２＊Ｃｇｂ［ｉ，ｊ］＋４＊Ｃｂｒ［ｉ，ｊ］＋Ｃｒｇ［ｉ，ｊ］）／９ ．．．（７２）
【０１０９】
このようにして第６の実施の形態では、デルタ配列が持つ色解像性能をできるだけ保持した形で、画像全体としての偽色低減が可能となる。尚、第４の実施の形態で生成された画像データにこの事後処理を取り入れる場合は、既にＹＣｇｂＣｂｒＣｒｇ表色系の状態になっているので、初めの表色系変換は不要で、最後の表色系変換を行う前に上記２．３．の処理を付け加えればよいだけである。
【０１１０】
なお、第１〜第６の実施の形態に記載した画像復元方法は、デルタ配列の入力画像が撮像素子出力の線形階調のままでも、ガンマ補正された階調のものでも、どのような階調特性のものでも適用できる。８ビットでガンマ補正が既にかかってしまっている入力画像に対しては対処のしようがないが、今日のデジタルスチルカメラの撮像信号は、１２ビットの線形階調出力といったものが一般的になっており、このような場合に適した画像復元処理（第１や第２の実施の形態のようなＲＧＢ方式も第４の実施の形態のようなＹＣＣＣ方式も含む）と階調処理の関係をここに示す。図２７は、その処理を示すフローチャートである。
１）線形階調デルタ配列データ入力（ステップＳ４１）
２）ガンマ補正処理（ステップＳ４２）
３）画像復元処理（ステップＳ４３）
４）逆ガンマ補正処理（ステップＳ４４）
５）ユーザーガンマ補正処理（ステップＳ４５）
【０１１１】
ユーザーガンマ補正処理は、線形階調からディスプレイ出力に適した８ビット階調に変換する処理、すなわち、画像のダイナミックレンジを出力表示機器の範囲内に圧縮する処理である。これとは独立に、一旦あるガンマ空間に階調を変換して、第１の実施の形態〜第６の実施の形態に相当する画像復元処理を行うと、より優れた復元結果が得られる。この階調変換方法として以下のようなものがある。
＜ガンマ補正処理＞
入力信号ｘ（０≦ｘ≦ｘｍａｘ）、出力信号ｙ（０≦ｘ≦ｙｍａｘ）、入力画像はデルタ面
ｙ＝ｙｍａｘ√（ｘ／ｘｍａｘ）
入力信号が１２ビットの場合はｘｍａｘ＝４０９５で、出力信号は例えば１６ビットのｙｍａｘ＝６５５３５に設定するとよい。
＜逆ガンマ補正処理＞
入力信号ｙ（０≦ｘ≦ｙｍａｘ）、出力信号ｘ（０≦ｘ≦ｘｍａｘ）、入力画像はＲＧＢ面
ｘ＝ｘｍａｘ（ｙ／ｙｍａｘ）２
【０１１２】
このように平方根型のガンマ空間で画像復元処理を行うと、画像復元処理のテクニックとは別の観点から次のような利点が同時に得られる。
１）色境界部の鮮明化が可能（例えば、赤白境界の色にじみ抑制や、黒縁発生の抑制等）
２）輝点（極めて明るい部分）周辺の偽色抑制が可能
３）方向判定精度が向上
【０１１３】
１）と２）は画像復元処理のＲＧＢ方式では「補間値算出部」、Ｙ方式では「復元値算出部」が関与して生み出される効果である。また、３）は画像復元処理の「類似度算出部」と「類似性判定部」が関与して生み出される効果である。つまり、入力信号ｘには量子論的揺らぎの誤差ｄｘ＝ｋ√ｘ（ｋはＩＳＯ感度で決まる定数）が含まれており、平方根のガンマ空間に変換すると誤差伝搬則によりこの誤差が全階調０≦ｙ≦ｙｍａｘに渡って均一の誤差ｄｙ＝ｃｏｎｓｔａｎｔで扱えるようになるため、方向判定精度が向上する。この技術はデルタ配列に限らずベイア配列やその他諸々のフィルタ配列の補間処理にも応用することができる。上記実施の形態においては、デルタ配列は元々ベイア配列よりも単色の色解像性能が高いため、この階調変換処理を画像復元処理の前後に入れることで、更に優れた色鮮明性を生み出すことが可能となる。
【０１１４】
上記第１の実施の形態では、三角格子上で補間処理された画像データを正方化処理をする例を示した。また、他の実施の形態でも、正方化処理が必要な場合はその処理を行う旨示した。しかし、三角格子上で補間処理や表色系変換された画像データそのものをそのまま使用するようにしてもよい。
【０１１５】
上記第３の実施の形態では、第１の実施の形態と同様に生成されたＲＧＢカラー画像データに補正処理を行う例を示したが、必ずしもこの内容に限定する必要はない。他の実施の形態で生成されたＲＧＢカラー画像データに対しても同様に適用できる。このように、上記第１〜第６の実施の形態では、それぞれ適宜組み合わせることが可能である。すなわち、上記第１〜第６の実施の形態では、類似の方向性判定処理、補間処理あるいは色差面直接生成処理、補正等の後処理、正方化処理などを記載しているが、各実施の形態の各処理を適宜組み合わせて最適な画像処理方法、処理装置を実現することができる。
【０１１６】
上記実施の形態では、単板式の撮像素子を前提にした説明を行ったが、この内容に限定する必要はない。本発明は、２板式の撮像素子においても適用できる。２板式であれば、例えば、各画素において欠落する色成分は１つとなるが、この欠落する１つの色成分の補間処理に上記実施の形態の内容を適用することができ、必要であれば正方化処理も同様にできる。また、第４の実施の形態の、デルタ配列から補間処理を介さずに直接輝度成分と色差成分を作る方式においても、同様に２板式の撮像素子にも適用できる。
【０１１７】
上記実施の形態では、類似性の判定に各種の計算式を示したが、必ずしも実施の形態に示した内容に限定する必要はない。他の、適切な計算式により類似性を判定するようにしてもよい。また、輝度情報の計算においても各種の計算式を示したが、必ずしも実施の形態に示した内容に限定する必要はない。他の、適切な計算式により輝度情報を生成するようにしてもよい。
【０１１８】
上記実施の形態では、色差補正等でローパスフィルタ、エッジ強調でバンドパスフィルタの例を示したが、必ずしも実施の形態で示した内容に限定する必要はない。他の構成のローパスフィルタやバンドパスフィルタであってもよい。
【０１１９】
上記実施の形態では、電子カメラの例で示したが、必ずしもこの内容に限定する必要はない。動画を撮像するビデオカメラや、撮像素子つきパーソナルコンピュータや携帯電話などであってもよい。すなわち、撮像素子によりカラー画像データを生成するあらゆる装置に適用できる。
【０１２０】
パーソナルコンピュータなどに適用する場合、上述した処理に関するプログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図２３はその様子を示す図である。パーソナルコンピュータ１００は、ＣＤ−ＲＯＭ１０４を介してプログラムの提供を受ける。また、パーソナルコンピュータ１００は通信回線１０１との接続機能を有する。コンピュータ１０２は上記プログラムを提供するサーバーコンピュータであり、ハードディスク１０３などの記録媒体にプログラムを格納する。通信回線１０１は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ１０２はハードディスク１０３を使用してプログラムを読み出し、通信回線１０１を介してプログラムをパーソナルコンピュータ１００に送信する。すなわち、プログラムをデータ信号として搬送波にのせて、通信回線１０１を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。
【０１２１】
【発明の効果】
本発明は、第１色成分が欠落する画素に第１色成分を補間するときに、補間対象画素に対して第１色成分が２番目に近接する画素を含む領域の色情報を用いて補間を行っているので、例えば、図３の３０度方向、１５０度方向、２７０度方向（縦線）の境界線の画像が劇的に向上する。すなわち、３０度、１５０度、２７０度方向の空間解像力が向上する。
【図面の簡単な説明】
【図１】第１の実施の形態における電子カメラの機能ブロック図である。
【図２】第１の実施の形態において、画像処理部が行う画像処理の概要を示すフローチャートである。
【図３】デルタ配列の撮像素子により得られた画素の位置関係を示す図である。
【図４】周辺加算に使用する係数を示す図である。
【図５】曲率情報ｄＲを求めるときに使用する係数値を示す図である。
【図６】デルタ配列の無彩色の空間周波数再現領域を示す図である。
【図７】１次元変位処理に使用する係数値を示す図である。
【図８】第２の実施の形態の演算で使用する画素位置を示す図である。
【図９】曲率情報ｄＲ、ｄＧ、ｄＢを求めるときに使用する係数値を示す図である。
【図１０】第３の実施の形態において、画像処理部が行う画像処理の概要を示すフローチャートである。
【図１１】ローパスフィルタの係数値を示す図である。
【図１２】他のローパスフィルタの係数値を示す図である。
【図１３】他のローパスフィルタの係数値を示す図である。
【図１４】ラプラシアンの係数値を示す図である。
【図１５】他のラプラシアンの係数値を示す図である。
【図１６】他のラプラシアンの係数値を示す図である。
【図１７】デルタ配列のデルタ面から、直接、輝度面（Ｙ）と３つの色差面（Ｃｇｂ，Ｃｂｒ，Ｃｒｇ）を生成し、その後、元のＲＧＢの表色系に変換する概念を示す図である。
【図１８】第４の実施の形態において、画像処理部が行う画像処理の概要を示すフローチャートである。
【図１９】Ｒ位置にはＣｒｇ，Ｃｂｒ成分がその最隣接画素にはＣｇｂ成分が求まっている様子を示す図である。
【図２０】デルタ配列のＲＧＢ各色成分の空間周波数再現領域を示す図である。
【図２１】第６の実施の形態において、画像処理部が行う画像処理の概要を示すフローチャートである。
【図２２】隣接画素について定義する図である。
【図２３】プログラムを、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供する様子を示す図である。
【図２４】ＲＧＢカラーフィルタのベイア配列、デルタ配列、ハニカム配列を示す図である。
【図２５】デルタ配列で得られた画像データについて、三角格子上で補間処理し、正方格子データに復元する処理の概念を示す図である。
【図２６】第５の実施の形態において、類似度の方位関係を示す図である。
【図２７】画像復元処理と階調処理を示すフローチャートである。
【符号の説明】
１ 電子カメラ
１０ Ａ／Ｄ変換部
１１ 画像処理部
１２ 制御部
１３ メモリ
１４ 圧縮／伸長部
１５ 表示画像生成部
１６ メモリカード
１７ メモリカード用インタフェース部
１８ ＰＣ（パーソナルコンピュータ）
１９ 外部インタフェース部
２０ 撮影光学系
２１ 撮像素子
２２ アナログ信号処理部
２３ タイミング制御部
２４ 操作部
２５、２６ モニタ
２７ プリンタ
２８ ＣＤ−ＲＯＭ
【発明の属する技術分野】
本発明は、デルタ配列のカラーフィルタで得られる画像データを処理する画像処理方法、画像処理プログラム、画像処理装置に関する。
【０００２】
【従来の技術】
電子カメラは、ＣＣＤなどの撮像素子により被写体を撮像する。この撮像素子において、ＲＧＢ（赤緑青）の３色のカラーフィルタを図２４（ａ）に示すように配列したベイア配列が知られている。また、図２４（ｂ）に示すように配列したデルタ配列も知られている。さらに、図２４（ｃ）に示すように配列したハニカム配列も知られている。ベイア配列で得られる画像データについては、例えば、米国特許５，５５２，８２７号、米国特許５，６２９，７３４号、特開２００１−２４５３１４号公報などのように、各種の画像処理方法が提案されている。
【０００３】
一方、デルタ配列で得られる画像データについては、特開平８−３４０４５５号公報、米国特許５，８０５，２１７号などで画像処理方法が提案されている。
【０００４】
【発明が解決しようとする課題】
しかし、米国特許５，８０５，２１７号では、デルタ配列固有の特性に応じた画像処理がなされていない。また、特開平８−３４０４５５号公報では、簡単な画像復元方法しか提案されていない。また、ベイア配列で提案されている各種の画像処理方法は、必ずしも、そのままデルタ配列に適用できない。
【０００５】
本発明は、デルタ配列等の三角格子状のカラーフィルタ等で得られた画像データに基づき、高精細に補間処理した画像データや高精細に他の表色系に変換した画像データを出力する画像処理方法、画像処理プログラム、画像処理装置を提供する。
【０００６】
【課題を解決するための手段】
請求項１の発明は、画像処理方法に適用され、第１〜第ｎ色成分（ｎ≧２）で表され、１つの画素に１つの色成分の色情報を有する複数の画素が三角格子状に配置された第１の画像を取得する画像取得手順と、取得した第１の画像の色情報を用いて、第１色成分が欠落する画素に第１色成分を補間する補間手順と、第１の画像の色情報と補間された色情報とに基づき、第２の画像を出力する出力手順とを備え、補間手順は、第１の画像の補間対象画素に対して、第１色成分が２番目に近接する画素を含む領域の色情報を用いて、第１色成分の平均情報を求め、補間を行うものである。
請求項２の発明は、請求項１に記載の画像処理方法において、少なくとも３方向に対する類似性の強弱を判定する類似性判定手順をさらに備え、補間手順は、類似性判定手順で判定された類似性の強さに応じて第１色成分の平均情報を求めるものである。
請求項３の発明は、画像処理方法に適用され、複数の色成分で表され、１つの画素に１つの色成分の色情報を有する複数の画素が三角格子状に配置された第１の画像を取得する画像取得手順と、取得した第１の画像の色情報を零以上の可変な係数値で加重加算することによって、第１の画像の色情報と異なる色成分の色情報を生成する色情報生成手順と、生成された色情報を使用して第２の画像を出力する出力手順を備え、色情報生成手順は、第１の画像の処理対象画素に対して、該画素の色成分と異なる色成分が２番目に近接する画素を含む領域内の色情報を加重加算するものである。
請求項４の発明は、請求項３に記載の画像処理方法において、少なくとも３方向に対する類似性の強弱を判定する類似性判定手順をさらに備え、色情報生成手順は、類似性判定手順で判定された類似性の強さに応じて加重加算の係数値を可変にするものである。
請求項５の発明は、請求項３または４に記載の画像処理方法において、第１の画像が第１〜第３の色成分で表され、第１の画像の第１色成分を有する画素が処理対象画素の場合、色情報生成手順は、処理対象画素、及び第２色成分が２番目に近接する画素、及び第３色成分が２番目に近接する画素を含む領域内の色情報を加重加算するものである。
請求項６の発明は、請求項３〜５のいずれか１項に記載の画像処理方法において、色情報生成手順後出力手順前に、色情報生成手順で生成された第１の画像の色情報と異なる色成分の色情報を、予め決められた固定のフィルタ係数からなるフィルタ処理により、補正する補正手順をさらに備えるものである。
請求項７の発明は、請求項６に記載の画像処理方法において、フィルタ係数の中に、正および負の値を含むものである。
請求項８の発明は、画像処理方法に適用され、第１〜第ｎ色成分（ｎ≧２）で表され、１つの画素に１つの色成分の色情報を有する複数の画素が三角格子状に配置された第１の画像を取得する画像取得手順と、第１の画像の色情報を用いて、第１色成分と第２色成分の間の色差成分の色情報を生成する色差生成手順と、生成された色差成分の色情報を使用して第２の画像を出力する出力手順を備え、色差生成手順は、第１の画像の第１色成分を有する画素に対して、少なくとも第２色成分が２番目に近接する画素の色情報を用いて、色差成分の色情報を生成するものである。
請求項９の発明は、請求項８に記載の画像処理方法において、色差生成手順は、第１の画像の第１色成分を有する処理対象画素に対して、１）該画素の第１色成分の色情報と２）該画素に対して第２色成分が２番目に近接する画素を含む領域内における第２色成分の色情報の平均情報とに基づいて色差成分の色情報を生成するものである。
請求項１０の発明は、請求項８または９に記載の画像処理方法において、色差生成手順は、さらに、処理対象画素に関する第２色成分の曲率情報に基づいて、色差成分の色情報を生成するものである。
請求項１１の発明は、請求項８〜１０のいずれか１項に記載の画像処理方法において、少なくとも３方向に対する類似性の強弱を判定する類似性判定手順をさらに備え、色差生成手順は、類似性の強さに応じて色差成分の色情報を生成するものである。
請求項１２の発明は、請求項１〜１１のいずれか１項に記載の画像処理方法において、出力手順は、第１の画像と同じ画素位置に、第２画像を出力するものである。
請求項１３の発明は、請求項１〜１２のいずれか１項に記載の画像処理方法の手順をコンピュータに実行させるための画像処理プログラムとするものである。
請求項１４の発明は、請求項１３の画像処理プログラムを記録したコンピュータ読みとり可能な記録媒体とするものである。
請求項１５の発明は、請求項１４の画像処理プログラムを搭載した画像処理装置とするものである。
【０００７】
【発明の実施の形態】
−第１の実施の形態−
（電子カメラの構成）
図１は、第１の実施の形態における電子カメラの機能ブロック図である。電子カメラ１は、Ａ／Ｄ変換部１０、画像処理部１１、制御部１２、メモリ１３、圧縮／伸長部１４、表示画像生成部１５を備える。また、メモリカード（カード状のリムーバブルメモリ）１６とのインタフェースをとるメモリカード用インタフェース部１７および所定のケーブルや無線伝送路を介してＰＣ（パーソナルコンピュータ）１８等の外部装置とのインタフェースをとる外部インタフェース部１９を備える。これらの各ブロックはバス２９を介して相互に接続される。画像処理部１１は、例えば、画像処理専用の１チップ・マイクロプロセッサで構成される。
【０００８】
電子カメラ１は、さらに、撮影光学系２０、撮像素子２１、アナログ信号処理部２２、タイミング制御部２３を備える。撮像素子２１には撮影光学系２０で取得された被写体の光学像が結像し、撮像素子２１の出力はアナログ信号処理部２２に接続される。アナログ信号処理部２２の出力は、Ａ／Ｄ変換部１０に接続される。タイミング制御部２３には制御部１２の出力が接続され、タイミング制御部２３の出力は、撮像素子２１、アナログ信号処理部２２、Ａ／Ｄ変換部１０、画像処理部１１に接続される。撮像素子２１は例えばＣＣＤなどで構成される。
【０００９】
電子カメラ１は、さらに、レリーズボタンやモード切り換え用の選択ボタン等に相当する操作部２４およびモニタ２５を備える。操作部２４の出力は制御部１２に接続され、モニタ２５には表示画像生成部１５の出力が接続される。
【００１０】
なお、ＰＣ１８には、モニタ２６やプリンタ２７等が接続されており、ＣＤ−ＲＯＭ２８に記録されたアプリケーションプログラムが予めインストールされている。また、ＰＣ１８は、不図示のＣＰＵ、メモリ、ハードディスクの他に、メモリカード１６とのインタフェースをとるメモリカード用インタフェース部（不図示）や所定のケーブルや無線伝送路を介して電子カメラ１等の外部装置とのインタフェースをとる外部インタフェース部（不図示）を備える。
【００１１】
図１のような構成の電子カメラ１において、操作部２４を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、制御部１２は、タイミング制御部２３を介して、撮像素子２１、アナログ信号処理部２２、Ａ／Ｄ変換部１０に対するタイミング制御を行う。撮像素子２１は、光学像に対応する画像信号を生成する。その画像信号は、アナログ信号処理部２２で所定の信号処理が行われ、Ａ／Ｄ変換部１０でディジタル化され、画像データとして、画像処理部１１に供給される。
【００１２】
本実施の形態の電子カメラ１では、撮像素子２１において、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタがデルタ配列（後述）されているので、画像処理部１１に供給される画像データはＲＧＢ表色系で示される。画像データを構成する各々の画素には、ＲＧＢの何れか１つの色成分の色情報が存在する。
【００１３】
画像処理部１１は、このような画像データに対し、後述する画像データ変換処理を行う他に、階調変換や輪郭強調などの画像処理を行う。このような画像処理が完了した画像データは、必要に応じて、圧縮／伸長部１４で所定の圧縮処理が施され、メモリカード用インタフェース部１７を介してメモリカード１６に記録される。
【００１４】
なお、画像処理が完了した画像データは、圧縮処理を施さずにメモリカード１６に記録したり、ＰＣ１８側のモニタ２６やプリンタ２７で採用されている表色系に変換して、外部インタフェース部１９を介してＰＣ１８に供給しても良い。また、操作部２４を介し、操作者によって再生モードが選択されると、メモリカード１６に記録されている画像データは、メモリカード用インタフェース部１７を介して読み出されて圧縮／伸長部１２で伸長処理が施され、表示画像生成部１５を介してモニタ２５に表示される。
【００１５】
なお、伸長処理が施された画像データは、モニタ２５に表示せず、ＰＣ１８側のモニタ２６やプリンタ２７で採用されている表色系に変換して、外部インタフェース部１９を介してＰＣ１８に供給しても良い。
【００１６】
（画像処理）
次に、デルタ配列で得られた画像データについて、三角格子上で補間処理し、コンピュータ上の取り扱いが容易な正方格子データに復元する処理について説明する。図２５は、これらの処理の概念を示す図である。三角格子とは、撮像素子の画素が１行ごとに１／２画素ずれて配列された並びを言う。隣接する各画素の中心を結ぶと三角形を形成する並びである。画素の中心点を格子点と言ってもよい。図２４（ｂ）のデルタ配列は、三角格子状に配列されたものである。図２４（ｂ）のような配列で得られる画像は、画素が三角配置された画像と言ってもよい。正方格子とは、撮像素子の画素が１行ごとにずれないで配列された並びを言う。隣接する各画素の中心を結ぶと四角形を形成する並びである。図２４（ａ）のベイア配列は正方格子状に配列されたものである。図２４（ａ）のような配列で得られる画像は、画素が矩形（四角）配置された画像と言ってもよい。
【００１７】
また、後述するように、デルタ配列の画像データを１行おきに１／２画素ずらす処理をすると、正方格子データが生成される。三角格子上で補間処理をするとは、デルタ配列で得られた画像データの状態で補間処理をすることを言う。すなわち、デルタ配列の画素位置に欠落する色成分の色情報を補間することを言う。
【００１８】
図２は、画像処理部１１が行う画像処理の概要を示すフローチャートである。ステップＳ１では、デルタ配列の撮像素子２１で得られた画像を入力する。ステップＳ２において、類似度の算出を行う。ステップＳ３では、ステップＳ２で得られた類似度に基づき類似性を判定する。ステップＳ４では、ステップＳ３で得られた類似性の判定結果に基づいて、各画素において欠落する色成分の補間値を算出する。ステップＳ５では、得られたＲＧＢカラー画像を出力する。ステップＳ５で出力されるＲＧＢカラー画像は三角格子上で得られた画像データである。
【００１９】
次に、ステップＳ６で、三角格子上で得られた画像データに対して１次元変位処理を行う。１次元変位処理は、後述するように、１行おきの画像データに対して行う。ステップＳ７で、１次元変位処理を行った画像データと行わなかった画像データを合わせて正方格子画像データを出力する。ステップＳ１〜Ｓ５は、三角格子上での補間処理であり、ステップＳ６、Ｓ７は正方化処理である。以下、これらの処理の詳細について説明する。
【００２０】
−三角格子上補間処理−
以下の説明では、代表してＲ画素位置での補間処理について説明する。図３は、デルタ配列の撮像素子２１により得られた画素の位置関係を示す図である。撮像素子２１の画素は１行ごとに１／２画素ずれて配置され、カラーフィルターはＲＧＢの色成分が１：１：１の割合で各画素上に配列されている。すなわち、均等に色配分されている。参考に、ベイア配列のカラーフィルタはＲＧＢが１：２：１の割合で配列されている（図２４（ａ））。
【００２１】
Ｒ成分の色情報を有する画素をＲ画素、Ｂ成分の色情報を有する画素をＢ画素、Ｇ成分の色情報を有する画素をＧ画素と言う。撮像素子２１で得られた画像データは、各画素に１つの色成分の色情報しか有しない。補間処理は、各画素に欠落する他の色成分の色情報を計算により求める処理である。以下、Ｒ画素位置にＧ、Ｂ成分の色情報を補間する場合について説明する。
【００２２】
図３において、Ｒ画素である処理対象画素（補間対象画素）をＲｃｔｒと呼ぶ。また、画素Ｒｃｔｒの周辺に存在する各画素位置を角度を用いて表現する。例えば、６０度方向に存在するＢ画素をＢ０６０、Ｇ画素をＧ０６０と表現する。ただし、この角度は厳密な角度ではなく近似的なものである。また、０度−１８０度を結ぶ方向を０度方向、１２０度−３００度を結ぶ方向を１２０度方向、２４０度−６０度を結ぶ方向を２４０度方向、３０度−２１０度を結ぶ方向を３０度方向、１５０度−３３０度を結ぶ方向を１５０度方向、２７０度−９０度を結ぶ方向を２７０度方向と呼ぶことにする。
【００２３】
１．類似度の算出
０度、１２０度、２４０度方向の類似度Ｃ０００、Ｃ１２０、Ｃ２４０を算出する。第１の実施の形態では、式（１）（２）（３）に示すように、異なる色成分間で構成される異色間類似度を求める。
Ｃ０００ ＝ ｛｜Ｇ０００−Ｒｃｔｒ｜＋｜Ｂ１８０−Ｒｃｔｒ｜＋｜（Ｇ０００＋Ｂ１８０）／２−Ｒｃｔｒ｜｝／３ ．．．（１）
Ｃ１２０ ＝ ｛｜Ｇ１２０−Ｒｃｔｒ｜＋｜Ｂ３００−Ｒｃｔｒ｜＋｜（Ｇ１２０＋Ｂ３００）／２−Ｒｃｔｒ｜｝／３ ．．．（２）
Ｃ２４０ ＝ ｛｜Ｇ２４０−Ｒｃｔｒ｜＋｜Ｂ０６０−Ｒｃｔｒ｜＋｜（Ｇ２４０＋Ｂ０６０）／２−Ｒｃｔｒ｜｝／３ ．．．（３）
このように隣接画素間で定義される異色間類似度は、デルタ配列の三角格子で規定されるナイキスト周波数の画像構造を空間的に解像させる能力を持つ。
【００２４】
次に、類似度の周辺加算を行って周辺画素との連続性を考慮することにより、類似度の精度を上げる。ここでは各画素について求めた上記類似度を、Ｒ位置について図４に示す係数を使用して周辺加算を行う。周辺加算を行った類似度を小文字で表記する。［］は、処理対象画素から見たデルタ配列上の画素位置を表す。式（４）は０度方向の類似度の周辺加算を示す。
【００２５】
２．類似性判定
上述した類似度は値が小さいほど大きな類似性を示すので、各方向の類似性の強弱を、類似度の逆数比で連続的に変化するように判定する。すなわち（１／ｃ０００）：（１／ｃ１２０）：（１／ｃ２４０）で判定する。具体的には、次の加重係数を演算する。
【００２６】
各方向の類似性を１で規格化された加重係数ｗ０００、ｗ１２０、ｗ２４０として表すと、
ｗ０００＝（ｃ１２０＊ｃ２４０＋Ｔｈ）／（ｃ１２０＊ｃ２４０＋ｃ２４０＊ｃ０００＋ｃ０００＊ｃ１２０＋３＊Ｔｈ） ．．．（５）
ｗ１２０＝（ｃ２４０＊ｃ０００＋Ｔｈ）／（ｃ１２０＊ｃ２４０＋ｃ２４０＊ｃ０００＋ｃ０００＊ｃ１２０＋３＊Ｔｈ） ．．．（６）
ｗ２４０＝（ｃ０００＊ｃ１２０＋Ｔｈ）／（ｃ１２０＊ｃ２４０＋ｃ２４０＊ｃ０００＋ｃ０００＊ｃ１２０＋３＊Ｔｈ） ．．．（７）
により求まる。ただし、閾値Ｔｈは発散を防ぐための項で正の値をとる。通常Ｔｈ＝１とすればよいが、高感度撮影画像などノイズの多い画像に対してはこの閾値を上げるとよい。加重係数ｗ０００、ｗ１２０、ｗ２４０は、類似性の強弱に応じた値となる。
【００２７】
ベイア配列では、米国特許５，５５２，８２７号、米国特許５，６２９，７３４号、特開２００１−２４５３１４号に示されるように、Ｇ補間における方向判定法として、加重係数による連続的判定法と閾値判定による離散的判定法の２通りがある。ベイア配列では、最隣接Ｇ成分が補間対象画素に対して４方向と密に存在するため、連続的判定法と離散的判定法のどちらを使用してもおおよそ問題なく使える。しかし、最隣接Ｇ成分が０度方向、１２０度方向、２４０度方向の３方向にしか存在しないデルタ配列においては加重係数による連続的な方向判定が重要となる。最隣接Ｇ成分とは、補間対象画素と辺を接する画素でＧ成分を有するものである。図３では、Ｇ０００，Ｇ１２０，Ｇ２４０である。
【００２８】
３．補間値算出
Ｇ成分、Ｂ成分の補間値を上記加重係数を用いて算出する。補間値は、平均情報と曲率情報の２つの項からなる。
＜平均情報＞
Ｇａｖｅ ＝ ｗ０００＊Ｇａｖｅ０００＋ｗ１２０＊Ｇａｖｅ１２０＋ｗ２４０＊Ｇａｖｅ２４０ ．．．（８）
Ｂａｖｅ ＝ ｗ０００＊Ｂａｖｅ０００＋ｗ１２０＊Ｂａｖｅ１２０＋ｗ２４０＊Ｂａｖｅ２４０ ．．．（９）
ここで、
Ｇａｖｅ０００ ＝ （２＊Ｇ０００＋Ｇ１８０）／３ ．．．（１０）
Ｂａｖｅ０００ ＝ （２＊Ｂ１８０＋Ｂ０００）／３ ．．．（１１）
Ｇａｖｅ１２０ ＝ （２＊Ｇ１２０＋Ｇ３００）／３ ．．．（１２）
Ｂａｖｅ１２０ ＝ （２＊Ｂ３００＋Ｂ１２０）／３ ．．．（１３）
Ｇａｖｅ２４０ ＝ （２＊Ｇ２４０＋Ｇ０６０）／３ ．．．（１４）
Ｂａｖｅ２４０ ＝ （２＊Ｂ０６０＋Ｂ２４０）／３ ．．．（１５）
である。
＜曲率情報＞
ｄＲ ＝ （６＊Ｒｃｔｒ−Ｒ０３０−Ｒ０９０−Ｒ１５０−Ｒ２１０−Ｒ２７０−Ｒ３３０）／１２ ．．．（１６）
＜補間値＞
Ｇｃｔｒ ＝ Ｇａｖｅ＋ｄＲ ．．．（１７）
Ｂｃｔｒ ＝ Ｂａｖｅ＋ｄＲ ．．．（１８）
【００２９】
通常、ベイア配列のＧ補間においては、最隣接Ｇ成分を用いて平均情報を求める。しかし、デルタ配列の場合は同様にすると縦線や３０度方向、１５０度方向の境界線がブツブツになる問題が生じることが実験的に判明した。これは、例えば縦線境界の場合、加重係数がｗ０００≒０、ｗ１２０≒ｗ２４０≒０．５になっていると想定され、２方向間で平均処理を行う部分に相当する。しかしながら、最隣接画素平均だけでは、縦線に沿ってある点では左側の２点平均をとり、次の隣の斜め右上あるいは右下の点では右側の２点平均をとることになってしまうためと考えられる。
【００３０】
そこで、第２隣接画素まで考慮して補間対象画素からの距離比に応じた平均処理を行うと、例えば縦線の場合、常に右側と左側の両方から平均をとるので、縦線、３０度方向、１５０度方向の境界線のブツブツが劇的に改善する。故に、式（１０）〜（１５）に示すように、第２隣接画素まで含む平均処理を行う。これにより、３０度、１５０度、２７０度方向の空間解像力が向上する。例えば、式（１０）において、Ｇ０００が最隣接画素あるいは第１隣接画素であり、Ｇ１８０が第２隣接画素である。式（１２）において、Ｇ１２０が最隣接画素あるいは第１隣接画素であり、Ｇ３００が第２隣接画素である。他の式も同様である。第１隣接画素は約１画素ピッチ離れた画素であり、第２隣接画素は約２画素ピッチ離れた画素と言える。ＲｃｔｒとＧ１２０は約１画素ピッチ離れており、ＲｃｔｒとＧ３００は約２画素ピッチ離れていると言える。図２２は、隣接画素について定義する図である。ｃｅｎｔｅｒは処理対象画素であり、ｎｅａｒｅｓｔは最近接あるいは最隣接あるいは第１隣接画素であり、２ｎｄは第２隣接画素である。
【００３１】
また、ベイア配列補間の従来技術において、曲率情報ｄＲに相当する項は平均情報と同じ方向性を考慮して算出するのが普通である。しかしながら、デルタ配列においては、平均情報の方向性（０度、１２０度、２４０度方向）と抽出可能な曲率情報の方向性（３０度、１５０度、２７０度方向）が一致していない。このような場合、３０度方向と１５０度方向の曲率情報を平均して０度方向の曲率情報を定義し、ベイア配列と同様に曲率情報の方向性を考慮して補間値を算出することも可能であるが、曲率情報は方向性を考慮せずに一律に抽出するほうが効果が大きいことが実験的に判明した。従って、本実施の形態では、方向性のない曲率情報で方向性を考慮した平均情報を補正する。これにより、あらゆる方向の高周波領域まで階調鮮明性を向上させることが可能となる。
【００３２】
曲率情報ｄＲを求める式（１６）は、図５に示す係数値が使用される。式（１６）は、補間対象画素Ｒｃｔｒと周辺画素の差分とその反対側の周辺画素と補間対象画素Ｒｃｔｒの差分とを求めさらにそれらの差分を求めている。従って、２次微分演算により求められている。
【００３３】
また、曲率情報ｄＲとは、ある色成分の色情報の変化する度合いを示す情報である。ある色成分の色情報の値をプロットして曲線で表した場合、その曲線の曲がりの変化、曲がり具合を示す情報である。すなわち、色成分の色情報の変化の凹凸に関する構造情報が反映された量である。本実施の形態では、Ｒ画素位置の曲率情報ｄＲは、補間対象画素のＲｃｔｒと周辺のＲ画素の色情報を使用して求める。Ｇ画素位置の場合はＧ成分、Ｂ画素位置の場合はＢ成分の色情報を使用する。
【００３４】
以上のようにして、「Ｒ画素位置におけるＧ、Ｂ成分の補間処理」を行うことができた。「Ｇ画素位置におけるＢ、Ｒ成分の補間処理」は、「Ｒ画素位置におけるＧ、Ｂ成分の補間処理」の記号をＲをＧに、ＧをＢに、ＢをＲに循環的に置き換えて全く同様の処理を行えばよい。また、「Ｂ位置におけるＲ、Ｇ成分の補間処理」は、「Ｇ位置におけるＢ、Ｒ成分の補間処理」の記号をＧをＢに、ＢをＲに、ＲをＧに循環的に置き換えて全く同様の処理を行えばよい。すなわち、各補間処理において同一の演算ルーチン（サブルーチン）を使用することが可能である。
【００３５】
以上のようにして復元された画像は、空間方向に関してデルタ配列が持つ限界解像性能を全て引き出すことができる。すなわち、周波数空間（ｋ空間）で見ると、図６に示すように、デルタ配列が持つ六角形の無彩色再現領域を全て解像する。また、階調方向に関しても鮮明な画像が得られる。特に無彩色部の多い画像に対しては極めて有効な手法である。
【００３６】
−正方化処理−
次に、上述のように三角格子上で補間処理された画像データを、コンピューター上の取り扱いが容易な正方格子データに復元する処理について説明する。行単位で１／２画素ずつずれた単板撮像素子のデータを、３色揃った正方格子データに復元する従来技術として、デルタ配列については特開平８−３４０４５５号公報、ハニカム配列については特開平２００１−１０３２９５号公報、特開平２０００−１９４３８６号公報等がある。
【００３７】
特開平８−３４０４５５号公報では、三角格子と異なる画素位置に復元データを生成したり、三角格子より倍の画素密度を持つ仮想正方格子に復元データを生成したりする例を示している。また、三角格子と半分の行は同じ画素位置に復元して、残りの半分の行は三角格子と１／２画素ずれた画素位置に復元する例も示している。しかし、これは直接正方格子位置で補間処理を実現し、三角格子の隣接画素との距離が変わると別々の補間処理を適用するものである。一方、特開平２００１−１０３２９５号公報では２次元のキュービック補間により正方化し、特開平２０００−１９４３８６号公報では仮想的な倍密正方格子データを生成している。
【００３８】
このように色々なやり方が存在するが、本第１の実施の形態では、デルタ配列の性能を最大限に維持する方式を示す。
【００３９】
本第１の実施の形態では、上述したように、まず、デルタ配列と同じ画素位置に三角格子のまま補間データを復元している。これにより、デルタ配列が持つ空間周波数の限界解像性能を引き出すことができる。また、色差補正処理やエッジ強調処理も三角配置のままで行うとその効果が等方的にうまく作用する。従って、いったん三角格子上で画像復元し、各画素にＲＧＢ値を生成する。
【００４０】
次に、三角格子上で生成された画像データを正方化変換する。三角格子の解像性能を保持するには、できるだけ元のデータを残すことが重要であることが実験的に判明した。したがって、一行置きに半分の行だけ１／２画素ずらす変位処理を行い、残り半分の行は処理せず三角配置が持つ縦線のナイキスト解像を維持させる。変位処理は、処理対象行の一次元内でキュービック補間により自己推定させると、正方格子のナイキスト周波数の影響は多少受けるものの、ほとんど問題なく三角格子の縦線解像度が維持できることが実験により確認された。
【００４１】
すなわち、偶数行について、以下の式（１９）の処理を行い、その後、式（２０）の代入処理を行う。これにより、［ｘ，ｙ］の画素位置のＲ成分の色情報を求める。
Ｇ成分、Ｂ成分についても同様にして求める。式（１９）の処理を、キュービック変位処理と言う。また、１次元方向の位置を変位処理しているので１次元変位処理とも言う。図７は、式（１９）で使用する係数値を示す図である。上記キュービックによる１次元変位処理は正および負の係数値からなる１次元フィルタをかける処理と言える。
【００４２】
上述したような画像復元方法は、三角配置の限界解像度を最大限に維持できるだけでなく、三角格子上の画像復元処理は全ての画素で同一の処理ルーチンを使うことが可能で、最後に半分の行だけ単純な一次元処理を施すだけで済むので、データ量の増加を伴わず、従来技術に比べより簡略なアルゴリズムを達成することができる。特にハードウェアで実現する場合にはその効果は大きい。
【００４３】
−第２の実施の形態−
第１の実施の形態では、異色間類似度を求めて類似性を判定するものであったが、第２の実施の形態では同色間類似度を求めて類似性を判定する。第２の実施の形態は、彩色部を多く含む画像に対して有効である。第２の実施の形態の電子カメラ１の構成は、第１の実施の形態の図１と同様であるのでその説明を省略する。画像処理について、第１の実施の形態と異なる部分を中心に説明する。特に記載がなければ第１の実施の形態と同様とする。
【００４４】
（画像処理）
−三角格子上補間処理−
１．類似度の算出
０度、１２０度、２４０度方向の類似度Ｃ０００、Ｃ１２０、Ｃ２４０を算出する。第２の実施の形態では、式（２０）（２１）（２２）に示すように、同じ色成分間で構成される同色間類似度を求める。３画素ピッチ離れた画素間の演算が行われる。図８は、式（２０）（２１）（２２）で使用する画素位置を示す図である。
Ｃ０００ ＝ ｛（｜Ｒ０００−Ｒｃｔｒ｜＋｜Ｒ１８０−Ｒｃｔｒ｜）／２＋｜Ｇ０００−Ｇ１８０｜＋｜Ｂ０００−Ｂ１８０｜｝／３ ．．．（２０）
Ｃ１２０ ＝ ｛（｜Ｒ１２０−Ｒｃｔｒ｜＋｜Ｒ３００−Ｒｃｔｒ｜）／２＋｜Ｇ１２０−Ｇ３００｜＋｜Ｂ１２０−Ｂ３００｜｝／３ ．．．（２１）
Ｃ２４０ ＝ ｛（｜Ｒ２４０−Ｒｃｔｒ｜＋｜Ｒ０６０−Ｒｃｔｒ｜）／２＋｜Ｇ２４０−Ｇ０６０｜＋｜Ｂ２４０−Ｂ０６０｜｝／３ ．．．（２２）
このように定義される同色間類似度は、彩色部における０度方向の横線や１２０度方向、２４０度方向の画像構造を空間的に解像させる能力を持ち、また色収差のある系に対しても影響を受けることなく画像構造を判別する能力を有する。
【００４５】
次に、第１の実施の形態と同様にして、類似度の周辺加算を行う。
【００４６】
２．類似性判定
第１の実施の形態と同様である。
【００４７】
３．補間値算出
Ｇ成分、Ｂ成分の補間値を算出する。補間値は、平均情報と曲率情報の２つの項からなる。
＜平均情報＞：第１の実施の形態と同様である。
＜曲率情報＞
ｄＲ ＝ （６＊Ｒｃｔｒ−Ｒ０３０−Ｒ０９０−Ｒ１５０−Ｒ２１０−Ｒ２７０−Ｒ３３０）／１２ ．．．（２３）
ｄＧ ＝ （（Ｇ０００＋Ｇ１２０＋Ｇ２４０）−（Ｇ０６０＋Ｇ１８０＋Ｇ３００））／６ ．．．（２４）
ｄＢ ＝ （（Ｂ０６０＋Ｂ１８０＋Ｂ３００）−（Ｂ０００＋Ｂ１２０＋Ｂ２４０））／６ ．．．（２５）
＜補間値＞
Ｇｃｔｒ ＝ Ｇａｖｅ＋（ｄＲ＋ｄＧ＋ｄＢ）／３ ．．．（２６）
Ｂｃｔｒ ＝ Ｂａｖｅ＋（ｄＲ＋ｄＧ＋ｄＢ）／３ ．．．（２７）
【００４８】
第２の実施の形態では、第１の実施の形態と異なり３色の曲率情報で平均情報を補正している。これは、従来技術の特開２００１−２４５３１４号公報に開示されているように、彩色部や色収差を含む画像においてｄＲのみによる過補正を防ぎつつ、階調方向の鮮明性を保つためである。ただし、特開２００１−２４５３１４号公報はベイア配列に関するものである。このように３色の曲率情報を使用する場合でも、ベイア配列の場合と違って、第１の実施の形態と同様に、ＲＧＢ３成分とも方向性のない曲率情報による補正が、最もあらゆる方向に対して階調鮮明性を上げる効果が高いことが実験により判明した。また、デルタ配列がＲ：Ｇ：Ｂ＝１：１：１からなるので、３成分の曲率情報を１：１：１で用いるのがよいことも分かった。図９は、式（２３）（２４）（２５）で使用する係数値を図示したものである。
【００４９】
以上のようにして、「Ｒ画素位置におけるＧ、Ｂ成分の補間処理」を行うことができた。「Ｇ画素位置におけるＢ、Ｒ成分の補間処理」、「Ｂ位置におけるＲ、Ｇ成分の補間処理」も、第１の実施の形態と同様に、ＲＧＢをそれぞれ循環的に置きかえることによって求める。正方化処理も、第１の実施の形態と同様に行うことができる。
【００５０】
以上のように、第２の実施の形態の復元処理は、彩色部を含む画像に対しても色境界を判別して解像させることができ、かつ階調方向の過補正を引き起こすことなく鮮明な画像を得ることができる。また、色収差を含むような系に対しても強い。
【００５１】
−第３の実施の形態−
ベイア配列で得られる画像データの画像処理においては通常、補間処理後に画像に残っている偽色を低減するためにＲＧＢ信号を、輝度と色差からなるＹＣｂＣｒに変換し、Ｃｂ、Ｃｒ面で色差ローパスフィルタを掛けたり、色差メディアンフィルタを掛けたりして偽色を除去し、ＲＧＢ表色系に戻す事後処理が行われる。また、光学ローパスフィルタ等による鮮明度の低下を補うために、輝度成分Ｙ面にエッジ強調処理を施したりする。デルタ配列の場合も、全く同様の事後処理を適応してもよい。
【００５２】
しかし、第３の実施の形態では、デルタ配列に適した事後処理の方法を示す。第３の実施の形態の電子カメラ１の構成は、第１の実施の形態の図１と同様であるのでその説明を省略する。
【００５３】
図１０は、第３の実施の形態において、画像処理部１１が行う画像処理の概要を示すフローチャートである。第１の実施の形態と同様に三角格子上で補間処理が行われるものとする。図１０は、補間処理後のＲＧＢカラー画像を入力するところからスタートする。すなわち、第１の実施の形態の図２のステップＳ１〜Ｓ５が終了し、その後、図１０のフローチャートが開始する。
【００５４】
ステップＳ１１では、補間処理後のＲＧＢカラー画像データを入力する。ステップＳ１２において、ＲＧＢ表色系から本第３の実施の形態特有のＹＣｒＣｇＣｂ表色系に変換する。ステップＳ１３では、色差面（ＣｒＣｇＣｂ面）に対してローパスフィルタ処理を行う。ステップＳ１４では、輝度面（Ｙ面）に対してエッジ強調処理を行う。ステップＳ１５では、色差面の偽色が除去された段階で、ＹＣｒＣｇＣｂ表色系を元のＲＧＢ表色系に戻す変換をする。ステップＳ１６において、得られたＲＧＢカラー画像データを出力する。ステップＳ１６で出力されるＲＧＢカラー画像データは三角格子上で得られた画像データである。
【００５５】
三角格子上で得られた画像データに対して正方化処理をする場合は、第１の実施の形態と同様に、図２のステップＳ６、Ｓ７の処理を行う。以下、上述のステップＳ１２〜１５の処理の詳細について説明する。
【００５６】
１．表色系変換
ＲＧＢ表色系からＹＣｒＣｇＣｂ表色系に変換する。ただし、ＹＣｒＣｇＣｂ表色系は、式（２８）〜（３１）で表されるものとして定義する。
Ｙ［ｉ，ｊ］ ＝ （Ｒ［ｉ，ｊ］＋Ｇ［ｉ，ｊ］＋Ｂ［ｉ，ｊ］）／３ ．．．（２８）
Ｃｒ［ｉ，ｊ］ ＝ Ｒ［ｉ，ｊ］−Ｙ［ｉ，ｊ］ ．．．（２９）
Ｃｇ［ｉ，ｊ］ ＝ Ｇ［ｉ，ｊ］−Ｙ［ｉ，ｊ］ ．．．（３０）
Ｃｂ［ｉ，ｊ］ ＝ Ｂ［ｉ，ｊ］−Ｙ［ｉ，ｊ］ ．．．（３１）
【００５７】
サーキュラーゾーンプレートを撮像して三角格子上で補間処理した後、式（２８）のように、Ｙ面生成においてＲＧＢを均等に扱う変換を行うと、図６の六角形の角の部分を中心に発生するような色モアレが、完全に輝度面Ｙからは消え去るようになる。その結果、全ての偽色要素を色差成分Ｃｒ，Ｃｇ，Ｃｂに含ませることができる。そして、従来扱われている２種類の色差成分ではなく、第３の実施の形態では３種類の色差成分を用意して扱っているので、デルタ配列固有の全ての偽色要素を取り出すことができる。
【００５８】
２．色差補正
ここでは、色差補正の処理として色差面に対して式（３２）によりローパス処理を行う例を示す。三角格子（三角配置）上で色差ローパスフィルタを掛けるとその偽色低減効果は全方向に対して相性よく得られる。また、三角格子上のメディアンフィルタ処理でもよい。ここで［］は、図２２に示すように、処理対象画素から見た三角格子上の画素位置を表すものとする。図１１は、式（３２）に使用する係数値を図示するものである。なお、ローパスフィルタはここに示すものに留まらず、他のものを用いてもよい。図１２、図１３に他のローパスフィルタの例を示す。
＜代入処理＞
Ｃｒ［ｉ，ｊ］ ＝ ｔｍｐ＿Ｃｒ［ｉ，ｊ］ ．．．（３３）
Ｃｇ［ｉ，ｊ］ ＝ ｔｍｐ＿Ｃｇ［ｉ，ｊ］ ．．．（３４）
Ｃｂ［ｉ，ｊ］ ＝ ｔｍｐ＿Ｃｂ［ｉ，ｊ］ ．．．（３５）
【００５９】
３．エッジ強調処理
次に、輝度面Ｙに対するエッジ強調処理が必要であれば、三角格子上で以下の処理を行う。
＜バンドパス処理＞
三角格子上のラプラシアン処理によりエッジ抽出する。図１４は、式（３６）のラプラシアン処理に使用する係数値を図示するものである。なお、ラプラシアンはここに示すものに留まらず、他のものを用いてもよい。図１５、図１６に他のラプラシアンの例を示す。
Ｙ［ｃｅｎｔｅｒ］＝Ｙ［ｃｅｎｔｅｒ］＋Ｋ＊ＹＨ［ｃｅｎｔｅｒ］ ．．．（３７）
ここで、Ｋは零以上の値で、エッジ強調の加減を調整するパラメータである。
【００６０】
４．表色系変換
前述した通り色差補正処理がなされ、色差面の偽色が除去された段階で、元のＲＧＢ表色系に戻す。
Ｒ［ｉ，ｊ］＝Ｃｒ［ｉ，ｊ］＋Ｙ［ｉ，ｊ］ ．．．（３８）
Ｇ［ｉ，ｊ］＝Ｃｇ［ｉ，ｊ］＋Ｙ［ｉ，ｊ］ ．．．（３９）
Ｂ［ｉ，ｊ］＝Ｃｂ［ｉ，ｊ］＋Ｙ［ｉ，ｊ］ ．．．（４０）
【００６１】
このように、輝度解像をＲ：Ｇ：Ｂ＝１：１：１の比で生成したＹ成分に待避させ、３種類の均等に扱った色差成分Ｃｒ，Ｃｇ，Ｃｂを導入することにより、極めて偽色抑制能力の高い色差補正が可能となる。また、色差補正処理や輝度補正処理を三角格子上で行うことにより、デルタ配列の方向性に適した補正処理が可能となる。
【００６２】
−第４の実施の形態−
第１の実施の形態では、三角格子上において、各画素に欠落する色成分の色情報を補間する処理について説明した。第４の実施の形態では、第１の実施の形態のＲＧＢ面内における補間処理とは異なる系統の画像復元処理の例を示す。これは、デルタ配列から、ＲＧＢ面内の補間処理を介さずに直接輝度成分と色差成分を作る方式である。思想的に第３の実施の形態で示した１つの輝度面と３つの色差面に分離することの有用性を引き継ぎ、輝度面には無彩色の輝度解像力を最大限に引き出す役割を担当させ、３つの色差面には３原色の色解像力を最大限に引き出す役割を担当させている。
【００６３】
第４の実施の形態の電子カメラ１の構成は、第１の実施の形態の図１と同様であるのでその説明を省略する。
【００６４】
（画像処理）
図１７は、デルタ配列のデルタ面から、直接、輝度面（Ｙ）と３つの色差面（Ｃｇｂ，Ｃｂｒ，Ｃｒｇ）を生成し、その後、元のＲＧＢの表色系に変換する概念を示す図である。図１８は、第４の実施の形態において、画像処理部１１が行う画像処理の概要を示すフローチャートである。
【００６５】
ステップＳ２１では、デルタ配列の撮像素子２１で得られた画像を入力する。ステップＳ２２において、類似度の算出を行う。ステップＳ２３では、ステップＳ２２で得られた類似度に基づき類似性を判定する。ステップＳ２４では、ステップＳ２３で得られた類似性の判定結果とステップＳ２１で得られたデルタ配列の画像データに基づき輝度面（Ｙ０面）を生成する。ステップＳ２５では、ステップＳ２４で得られた輝度面（Ｙ０面）に対して補正処理を行う。
【００６６】
一方、ステップＳ２６では、ステップＳ２３で得られた類似性の判定結果とステップＳ２１で得られたデルタ配列の画像データに基づき、色差成分Ｃｇｂ，Ｃｂｒ，Ｃｒｇを生成する。ステップＳ２６では、まだ、すべての画素においてすべての色差成分Ｃｇｂ，Ｃｂｒ，Ｃｒｇが生成されてはいない。ステップＳ２７で、生成されていない色差成分を周辺の色差成分に基づき補間処理をする。その結果、Ｃｇｂ，Ｃｂｒ，Ｃｒｇの色差面が完成する。
【００６７】
ステップＳ２８では、生成されたＹ，Ｃｇｂ，Ｃｂｒ，Ｃｒｇの表色系からＲＧＢ表色系に変換する。ステップＳ２９で、変換されたＲＧＢカラー画像データを出力する。ステップＳ２１〜ステップＳ２９は、すべて三角格子上での処理である。従って、ステップＳ２９で出力されるＲＧＢカラー画像データは、三角格子の画像データである。以下、これらの処理の詳細について説明する。なお、正方化処理が必要な場合は、第１の実施の形態の図２のステップＳ６、Ｓ７と同様の処理を行う。
【００６８】
１．類似度の算出
まず、類似度の算出を行う。ここでは、任意の方式で求められる類似度でよい。ただし、できるだけ正確なものを利用するものとする。例えば、第１の実施の形態で示した異色間類似度や、第２の実施の形態で示した同色間類似度や、それらを組み合わせて用いたもの、あるいは色指標等によって異色間類似度と同色間類似度を切り替えて用いたものでもよい。
【００６９】
２．類似性判定
第１の実施の形態と同様にして判定する。
【００７０】
３．復元値算出
１）輝度成分生成
まず、デルタ面を方向類似性に応じて変化する正の係数で常にＲ：Ｇ：Ｂ＝１：１：１となるように加重加算して輝度面を生成する。その加重加算の範囲は第１の実施の形態と同様の理由によって、Ｇ成分とＢ成分は第２隣接画素までとる。すなわち、第１の実施の形態の式（１０）〜式（１５）の定義式を用いてもう一度、式（８）（９）を書き直すと式（４１）（４２）のようになる。
＜Ｇ＞２ｎｄ ＝ Ｇａｖｅ ＝ ｗ０００＊Ｇａｖｅ０００＋ｗ１２０＊Ｇａｖｅ１２０＋ｗ２４０＊Ｇａｖｅ２４０ ．．．（４１）
＜Ｂ＞２ｎｄ ＝ Ｂａｖｅ ＝ ｗ０００＊Ｂａｖｅ０００＋ｗ１２０＊Ｂａｖｅ１２０＋ｗ２４０＊Ｂａｖｅ２４０ ．．．（４２）
これらと中心のＲ成分を用いて、式（４３）により輝度成分Ｙ０を生成する。
Ｙ０＝Ｒｃｔｒ＋＜Ｇ＞２ｎｄ＋＜Ｂ＞２ｎｄ ．．．（４３）
【００７１】
このようにして生成される輝度成分は、正の方向加重係数を用いて常に一定の色成分比で中心画素を含みながら生成されるので、極めて階調鮮明性の潜在能力が高く、空間解像力の高い画像が得られ、かつ色収差に影響されずに極めて滑らかに周辺画素と連結する画像が得られる。例えば、無彩色のサーキュラーゾーンプレートに対して、異色間類似度を類似度として採用した場合、第１の実施の形態と同様に空間解像度は図６の限界解像まで達する。
【００７２】
２）輝度成分補正
上述した輝度面は正の係数のみを用いて生成されているので、そこに含まれている階調鮮明性の潜在能力を引き出すために、ラプラシアンによる補正処理を行う。輝度面Ｙ０は、方向性を考慮して周辺画素と極めて滑らかに連結するように作られているので、補正処理は新たに方向性に応じて計算しなければならないような補正項の算出は不要で、固定バンドパスフィルタによる単一処理でよい。三角配置におけるラプラシアンの取り方は、第３の実施の形態の図１４〜図１６に示すようにいくつかの方法が可能である。しかし、若干なりとも最適度を上げるならば、輝度面Ｙ０が０度、１２０度、２４０度方向のＧ，Ｂ成分を集めてしか生成しえないので、その間隙の方向を埋め合わせるために、ここではそれとは独立な３０度、１５０度、２７０度方向の図１５のラプラシアンで補正する場合を示す（式（４４））。補正された輝度成分をＹとする。
【００７３】
Ｙ［ｃｅｎｔｅｒ］＝Ｙ［ｃｅｎｔｅｒ］＋ｋ＊ＹＨ［ｃｅｎｔｅｒ］ ．．．（４５）
ここで、ｋは正の値で通常１とする。ただし、１より大きい値に設定することで、第３の実施の形態に示したようなエッジ強調処理をここで兼ね備えることもできる。
【００７４】
３）色差成分生成
３つの色差面は第３の実施の形態の定義と異なり、輝度面Ｙとは独立にデルタ面から直接生成する。３つの色差成分Ｃｇｂ，Ｃｂｒ，Ｃｒｇを求める。ただし、Ｃｇｂ＝Ｇ−Ｂ、Ｃｂｒ＝Ｂ−Ｒ、Ｃｒｇ＝Ｒ−Ｇと定義する。
【００７５】
まず、Ｒ位置においてＣｒｇとＣｂｒを求める。中心画素のＲ成分と周辺画素のＧ成分もしくはＢ成分との差分値を方向性を考慮しながら算出する。
Ｃｒｇ＝Ｒｃｔｒ−｛＜Ｇ＞２ｎｄ＋ｄＧ｝ ．．．（４６）
Ｃｂｒ＝｛＜Ｂ＞２ｎｄ＋ｄＢ｝−Ｒｃｔｒ ．．．（４７）
ここに、ｄＧ，ｄＢは、第２の実施の形態の式（２４）（２５）で定義されたものと同じで、＜Ｇ＞２ｎｄ，＜Ｂ＞２ｎｄは式（４１）（４２）と同じである。色差成分の生成においても第１の実施の形態と同様に、第２隣接画素までを含む平均情報を算出し、輝度成分との整合性をとることにより、３０度、１５０度、２７０度方向の解像力を上げている。また、ｄＧとｄＢは必ずしも必要な訳ではないが、色解像力と色鮮やかさを上げる効果があるので付加している。
【００７６】
Ｇ位置における色差成分Ｃｇｂ，Ｃｒｇ、およびＢ位置における色差成分Ｃｂｒ，Ｃｇｂも同様にして求める。この時点でＲ位置にはＣｒｇ，Ｃｂｒ成分が、その最隣接画素にはＣｇｂ成分が求まっている。図１９は、その様子を示す図である。
【００７７】
次に、Ｒ位置周辺画素のＣｇｂ成分を用いて式（４８）よりＲ位置にＣｇｂ成分を求める（補間処理）。このとき、Ｒ位置で求まっている方向判定結果を用いて算出する。
以上のようにして、全ての画素にＹＣｇｂＣｂｒＣｒｇの４成分が求まる。必要に応じて、色差面Ｃｇｂ，Ｃｂｒ，Ｃｒｇに対しては第３の実施の形態と同様の色差ローパスフィルタ等の補正処理を行って、偽色抑制を図ってもよい。
【００７９】
４）表色系変換
各画素に生成されたＹＣｇｂＣｂｒＣｒｇをＲＧＢ表色系に変換する。Ｙ＝（Ｒ＋Ｇ＋Ｂ）／３， Ｃｇｂ＝Ｇ−Ｂ， Ｃｂｒ＝Ｂ−Ｒ， Ｃｒｇ＝Ｒ−Ｇは独立な４式ではなく、Ｃｇｂ＋Ｃｂｒ＋Ｃｒｇ＝０の関係を満たす。すなわち、４対３変換なので変換方法は一意的ではないが、色モアレを抑制し、輝度解像度と色解像度を最高にするため、Ｒ，Ｇ，Ｂそれぞれの変換式に全てのＹ，Ｃｇｂ，Ｃｂｒ，Ｃｒｇ成分が含まれるようにし、相互のモアレ相殺効果を利用する。こうしてＹ，Ｃｇｂ，Ｃｂｒ，Ｃｒｇ各面がそれぞれに役割分担して生成されてきた最高性能の全てを、Ｒ，Ｇ，Ｂの各々に反映させることができる。
Ｒ［ｉ，ｊ］＝（９＊Ｙ［ｉ，ｊ］＋Ｃｇｂ［ｉ，ｊ］−２＊Ｃｂｒ［ｉ，ｊ］＋４＊Ｃｒｇ［ｉ，ｊ］）／９ ．．．（４９）
Ｇ［ｉ，ｊ］＝（９＊Ｙ［ｉ，ｊ］＋４＊Ｃｇｂ［ｉ，ｊ］＋Ｃｂｒ［ｉ，ｊ］−２＊Ｃｒｇ［ｉ，ｊ］）／９ ．．．（５０）
Ｂ［ｉ，ｊ］＝（９＊Ｙ［ｉ，ｊ］−２＊Ｃｇｂ［ｉ，ｊ］＋４＊Ｃｂｒ［ｉ，ｊ］＋Ｃｒｇ［ｉ，ｊ］）／９ ．．．（５１）
【００８０】
以上説明したように、第４の実施の形態の画像復元方法は、極めて階調鮮明性が高く、空間方向にも優れた輝度解像性能と色解像性能を同時に達成しつつ、色収差に対しても強いという効果を発揮する。正方化処理が必要な場合は、第１の実施の形態と同様に行うことができる。
【００８１】
−第５の実施の形態−
第２の実施の形態では、同色間類似度を求めて類似性を判定した。このとき、０度、１２０度、２４０度方向の類似度のみを求めるものであった。しかし、第５の実施の形態では、３０度、１５０度、２７０度方向の類似度も求めるようにしたものである。第５の実施の形態の電子カメラ１の構成は、第１の実施の形態の図１と同様であるのでその説明を省略する。
【００８２】
Ｒ画素位置にＧ、Ｂ成分を補間する場合を中心に述べる。また、第２の実施の形態の図８を参照する。Ｒ画素位置においてＧ成分の最隣接画素は隣接して０度、１２０度、２４０度を指す位置に３つあり、第２隣接画素は２画素分離れた６０度、１８０度、３００度を指す位置に３つある。Ｂ成分も同様に、最隣接画素は隣接して６０度、１８０度、３００度を指す位置に３つあり、第２隣接画素は２画素分離れた０度、１２０度、２４０度を指す位置に３つある。また、Ｒ成分の最隣接画素は２画素分離れた３０度、９０度、１５０度、２１０度、２７０度、３３０度を指す位置に６つあり、第２隣接画素は３画素分離れた０度、６０度、１２０度、１８０度、２４０度、３００度を指す位置に６つある。
【００８３】
１．類似度の算出
１）３画素間隔同色間類似度の算出
０度、１２０度、２４０度方向の類似度Ｃ０００、Ｃ１２０、Ｃ２４０を算出する。これらの方向の同じ色成分間で構成される同色間類似度は、３画素間隔より短く定義することができない。
Ｃ０００ ＝ ｛（｜Ｒ０００−Ｒｃｔｒ｜＋｜Ｒ１８０−Ｒｃｔｒ｜）／２＋｜Ｇ０００−Ｇ１８０｜＋｜Ｂ０００−Ｂ１８０｜｝／３ ．．．（５２）
Ｃ１２０ ＝ ｛（｜Ｒ１２０−Ｒｃｔｒ｜＋｜Ｒ３００−Ｒｃｔｒ｜）／２＋｜Ｇ１２０−Ｇ３００｜＋｜Ｂ１２０−Ｂ３００｜｝／３ ．．．（５３）
Ｃ２４０ ＝ ｛（｜Ｒ２４０−Ｒｃｔｒ｜＋｜Ｒ０６０−Ｒｃｔｒ｜）／２＋｜Ｇ２４０−Ｇ０６０｜＋｜Ｂ２４０−Ｂ０６０｜｝／３ ．．．（５４）
【００８４】
このように定義される同色間類似度は、Ｒ画素位置に欠落するＧ成分とＢ成分が存在する方向と一致する方向性を調べているので、彩色部における０度方向の横線や１２０度方向、２４０度方向の画像構造を空間的に解像させる能力を持つと考えられる。しかし、ベイア配列における２画素間隔の同色間類似度と違って、３画素間隔と極めて離れた画素間の情報であることに注意を要する。
【００８５】
２）２画素間隔同色間類似度の算出
次に、３０度、１５０度、２７０度方向の類似度Ｃ０３０、Ｃ１５０、Ｃ２７０を算出する。これらの方向の同色間類似度は、０度、１２０度、２４０度方向と異なりより短い２画素間隔で定義することができる。
Ｃ０３０ ＝ ｛（｜Ｒ０３０−Ｒｃｔｒ｜＋｜Ｒ２１０−Ｒｃｔｒ｜）／２＋｜Ｇ２４０−Ｇ０００｜＋｜Ｂ０６０−Ｂ１８０｜｝／３ ．．．（５５）
Ｃ１５０ ＝ ｛（｜Ｒ１５０−Ｒｃｔｒ｜＋｜Ｒ３３０−Ｒｃｔｒ｜）／２＋｜Ｇ０００−Ｇ１２０｜＋｜Ｂ１８０−Ｂ３００｜｝／３ ．．．（５６）
Ｃ２７０ ＝ ｛（｜Ｒ２７０−Ｒｃｔｒ｜＋｜Ｒ０９０−Ｒｃｔｒ｜）／２＋｜Ｇ１２０−Ｇ２４０｜＋｜Ｂ３００−Ｂ０６０｜｝／３ ．．．（５７）
ただし、Ｒ画素位置に欠落するＧ成分とＢ成分が存在する方向と一致しない方向の類似性を調べているので、これらを有効に活用するにはテクニックを要する。
【００８６】
３）類似度の周辺加算
更に、上述した類似度の各々について周辺加算を行って周辺画素との連続性を考慮することにより、類似度の精度を上げる。ここでは各画素について求めた上記６つの類似度それぞれに対し、Ｒ画素位置について周辺加算を行う。周辺加算を行った類似度を小文字で表記する。ただし、［］は、処理対象画素から見たデルタ配列上の画素位置を表すものとする。式（５８）は第１の実施の形態の式（４）と同様である。
ここに、上述した類似度の方位関係を図２６に示す。
【００８７】
２．類似性判定
上述した類似度は値が小さいほどその方向に対して大きな類似性を示す。ただし、類似性を判定して意味があるのは、処理対象画素に存在しないＧ成分とＢ成分が存在する方向、すなわち０度、１２０度、２４０度方向であり、３０度、１５０度、２７０度方向の類似性が判定できてもあまり意味がない。そこで、まず考えられるのは、０度、１２０度、２４０度方向の類似性の強弱を、０度、１２０度、２４０度方向の類似度を用いて、その逆数比で連続的に判定することである。すなわち（１／ｃ０００）：（１／ｃ１２０）：（１／ｃ２４０）で判定する。
【００８８】
例えば、類似度ｃ０００は有彩色の横線を解像する能力を有するので、図２０のデルタ配列のＲＧＢ各色成分の周波数再現域のｋｙ軸方向を限界解像まで伸ばすことができる。すなわち、このような判定方法は、有彩色の画像に対して、図２０の６角形の頂点の限界解像まで色解像度を引き伸ばすことができる。しかしながら、３画素間隔という長距離間の類似度であるため、その間の角度となると折り返し周波数成分の影響を受けて方向性を判別することができず、特に３０度、１５０度、２７０度方向に対しては最もその悪影響が生じ、図２０の６角形の各辺の中点付近がえぐれるような色解像力しか発揮することができない。
【００８９】
そこで、このような長距離相関の悪影響を防ぐため、短距離相関の類似度ｃ０３０，ｃ１５０，ｃ２７０を有効活用する。ただし、逆数をとるだけでは３０度、１５０度、２７０度方向の類似性が判別できるようになるだけなので、それを０度、１２０度、２４０度方向の類似性に変換するために、逆数ではなく類似度の値自体が３０度、１５０度、２７０度方向に直交する方向、すなわち１２０度、２４０度、０度方向の類似性を表しているものと解釈する。故に０度、１２０度、２４０度方向の類似性を以下の比率で判定する。
（ｃ２７０／ｃ０００）：（ｃ０３０／ｃ１２０）：（ｃ１５０／ｃ２４０）
【００９０】
０度、１２０度、２４０度方向の類似性を１で規格化された加重係数ｗ０００，ｗ１２０，ｗ２４０として表すと、
【００９１】
なお、０度方向と２７０度方向、１２０度方向と３０度方向、２４０度方向と１５０度方向は直交した関係である。この直交した関係を０度方向⊥２７０度方向、１２０度方向⊥３０度方向、２４０度方向⊥１５０度方向と表す。
【００９２】
こうして６方向の類似度を用いて連続的に判定された類似性は、有彩色画像に対して図２０の六角形の全てを正確に再現する空間解像力を有する。また、この同色間類似度による空間解像力は、同じ色成分間で類似性を見ているため、光学系に含まれる色収差の影響を受けずに常に達成することができる。
【００９３】
３．補間値算出
補間値は、第２の実施の形態と同様にして求める。
【００９４】
以上のようにして、第５の実施の形態では如何なる画像に対してもデルタ配列が元来有する各ＲＧＢ単色の空間色解像力を全て引き出すことができる。また、階調方向に鮮明な画像復元が可能で、色収差を含む系に対しても強い性能を発揮する。
【００９５】
なお、第５の実施の形態の類似度の算出および類似性の判定を第４の実施の形態の類似度の算出および類似性の判定にも適用できる。このような画像復元方法は、極めて階調鮮明性が高く、空間方向にも優れた輝度解像性能と色解像性能を同時に達成しつつ、色収差に対しても強いという効果を発揮する。特に、鮮明な階調を達成しつつデルタ配列の最高の色解像性能を導き出すことができる。通常の画像処理では、階調鮮明性を上げようとエッジ強調処理を行ったりして、その分色解像力が落ちて色褪せたり、立体感が損なわれたりしてしまうトレードオフが生じるが、この場合、４成分の復元値を導入することによりこの相反する課題を同時に解決することができるようになる。
【００９６】
−第６の実施の形態−
ベイア配列においては通常、補間処理後に画像に残っている偽色を低減するためにＲＧＢ信号を、輝度と色差からなるＹＣｂＣｒに変換し、Ｃｂ、Ｃｒ面で色差ローパスフィルタを掛けたり、色差メディアンフィルタを掛けたりして偽色を除去し、ＲＧＢ表色系に戻す事後処理が行われる。デルタ配列の場合も、完全に光学ローパスフィルタでナイキスト周波数を落とせなければ、見栄えを良くするため適度な偽色低減処理を必要とする。第６の実施の形態では、デルタ配列の優れた特徴である色解像性能をできるだけ損なわないような事後処理の方法を示す。第６の実施の形態の電子カメラ１の構成は、第１の実施の形態の図１と同様であるのでその説明を省略する。
【００９７】
図２１は、第６の実施の形態において、画像処理部１１が行う画像処理の概要を示すフローチャートである。第１、２、４、５の実施の形態と同様に三角格子上で補間処理が行われるものとする。図２１は、補間処理後のＲＧＢカラー画像を入力するところからスタートする。例えば、第１の実施の形態の図２のステップＳ１〜Ｓ５が終了し、その後、図２１のフローチャートが開始する。
【００９８】
ステップＳ３１では、補間処理後のＲＧＢカラー画像データを入力する。ステップＳ３２において、ＲＧＢ表色系から本第６の実施の形態特有のＹＣｇｂＣｂｒＣｒｇ表色系に変換する。ステップＳ３３では、色判定用画像を生成する。ステップＳ３４では、ステップＳ３３で生成した色判定用画像を使用して色指標を算出する。ステップＳ３５では、ステップＳ３４の色指標に基づき低彩度か高彩度かの色判定を行う。
【００９９】
ステップＳ３６において、ステップＳ３５の色判定結果に基づき、使用するローパスフィルタを切り換えて色差補正を行う。補正の対象となる色差データはステップＳ３２で生成されたものである。ステップＳ３７では、色差面の偽色が除去された段階で、ＹＣｇｂＣｂｒＣｒｇ表色系を元のＲＧＢ表色系に戻す変換をする。ステップＳ３８において、得られたＲＧＢカラー画像データを出力する。ステップＳ３８で出力されるＲＧＢカラー画像データは三角格子上で得られた画像データである。
【０１００】
三角格子上で得られた画像データに対して正方化処理をする場合は、第１の実施の形態と同様に、図２のステップＳ６、Ｓ７の処理を行う。以下、上述のステップＳ３２〜３７の処理の詳細について説明する。
【０１０１】
１．表色系変換
ＲＧＢ表色系からＹＣｇｂＣｂｒＣｒｇ表色系に変換する。ただし、ＹＣｇｂＣｂｒＣｒｇ表色系は次の式（６２）〜（６５）で定義される。
Ｙ［ｉ，ｊ］ ＝ （Ｒ［ｉ，ｊ］＋Ｇ［ｉ，ｊ］＋Ｂ［ｉ，ｊ］）／３ ．．．（６２）
Ｃｇｂ［ｉ，ｊ］ ＝ Ｇ［ｉ，ｊ］−Ｂ［ｉ，ｊ］ ．．．（６３）
Ｃｂｒ［ｉ，ｊ］ ＝ Ｂ［ｉ，ｊ］−Ｒ［ｉ，ｊ］ ．．．（６４）
Ｃｒｇ［ｉ，ｊ］ ＝ Ｒ［ｉ，ｊ］−Ｇ［ｉ，ｊ］ ．．．（６５）
このようにＲＧＢを均等に扱う変換を行うと、例えばサーキュラーゾーンプレートで、図６の六角形の角の部分を中心に発生するような色モアレが、完全に輝度面Ｙからは消え去り、全ての偽色要素を色差成分Ｃｇｂ，Ｃｂｒ，Ｃｒｇに含ませることができる。
【０１０２】
２．色評価
１）色判定用画像の生成
無彩色部に於ける偽色をできるだけ彩色部と区別して色評価するために、全面に強力な色差ローパスフィルタをかけて偽色を一旦低減する。ただし、これは一時的な色判定用画像なので、実際の画像には影響を与えない。
【０１０３】
２）色指標の算出
次に、偽色の低減された色判定用画像を用いて色指標Ｃｄｉｆｆを算出し、画素単位の色評価を行う。
Ｃｄｉｆｆ［ｉ，ｊ］＝（｜Ｃｇｂ［ｉ，ｊ］｜＋｜Ｃｂｒ［ｉ，ｊ］｜＋｜Ｃｒｇ［ｉ，ｊ］｜）／３ ．．．（６７）
【０１０４】
３）色判定
上記連続的色指標Ｃｄｉｆｆを閾値判定し、離散的な色指標ＢＷに変換する。
ｉｆ Ｃｄｉｆｆ［ｉ，ｊ］≦Ｔｈ ｔｈｅｎ ＢＷ［ｉ，ｊ］＝’ａ’（低彩度部）
ｅｌｓｅ ｔｈｅｎ ＢＷ［ｉ，ｊ］＝’ｃ’（高彩度部）
ここで閾値Ｔｈは２５６階調の場合３０程度に設定するのがよい。
【０１０５】
３．適応的色差補正
色判定により画像を２つの領域に分割することができたので、無彩色部の偽色は強力に消す一方、彩色部の色解像はできるだけ温存する色差補正処理を加える。ここでは式（６８）および式（６９）のローパス処理を行うが、メディアンフィルタ処理を用いてもよい。［］は、処理対象画素から見た三角格子上の画素位置を表すものとする。式（６８）のローパスフィルタは、第３の実施の形態の図１１に示す係数値を使用し、式（６９）のローパスフィルタは図１３に示す係数値を使用する。
【０１０６】
【０１０７】
＜代入処理＞
Ｃｇｂ［ｉ，ｊ］ ＝ ｔｍｐ＿Ｃｇｂ［ｉ，ｊ］
Ｃｂｒ［ｉ，ｊ］ ＝ ｔｍｐ＿Ｃｂｒ［ｉ，ｊ］
Ｃｒｇ［ｉ，ｊ］ ＝ ｔｍｐ＿Ｃｒｇ［ｉ，ｊ］
【０１０８】
４．表色系変換処理
色差面の偽色が除去された段階で、第４の実施の形態と同様の式（７０）〜（７２）を用いて元のＲＧＢ表色系に戻す。
Ｒ［ｉ，ｊ］＝（９＊Ｙ［ｉ，ｊ］＋Ｃｇｂ［ｉ，ｊ］−２＊Ｃｂｒ［ｉ，ｊ］＋４＊Ｃｒｇ［ｉ，ｊ］）／９ ．．．（７０）
Ｇ［ｉ，ｊ］＝（９＊Ｙ［ｉ，ｊ］＋４＊Ｃｇｂ［ｉ，ｊ］＋Ｃｂｒ［ｉ，ｊ］−２＊Ｃｒｇ［ｉ，ｊ］）／９ ．．．（７１）
Ｂ［ｉ，ｊ］＝（９＊Ｙ［ｉ，ｊ］−２＊Ｃｇｂ［ｉ，ｊ］＋４＊Ｃｂｒ［ｉ，ｊ］＋Ｃｒｇ［ｉ，ｊ］）／９ ．．．（７２）
【０１０９】
このようにして第６の実施の形態では、デルタ配列が持つ色解像性能をできるだけ保持した形で、画像全体としての偽色低減が可能となる。尚、第４の実施の形態で生成された画像データにこの事後処理を取り入れる場合は、既にＹＣｇｂＣｂｒＣｒｇ表色系の状態になっているので、初めの表色系変換は不要で、最後の表色系変換を行う前に上記２．３．の処理を付け加えればよいだけである。
【０１１０】
なお、第１〜第６の実施の形態に記載した画像復元方法は、デルタ配列の入力画像が撮像素子出力の線形階調のままでも、ガンマ補正された階調のものでも、どのような階調特性のものでも適用できる。８ビットでガンマ補正が既にかかってしまっている入力画像に対しては対処のしようがないが、今日のデジタルスチルカメラの撮像信号は、１２ビットの線形階調出力といったものが一般的になっており、このような場合に適した画像復元処理（第１や第２の実施の形態のようなＲＧＢ方式も第４の実施の形態のようなＹＣＣＣ方式も含む）と階調処理の関係をここに示す。図２７は、その処理を示すフローチャートである。
１）線形階調デルタ配列データ入力（ステップＳ４１）
２）ガンマ補正処理（ステップＳ４２）
３）画像復元処理（ステップＳ４３）
４）逆ガンマ補正処理（ステップＳ４４）
５）ユーザーガンマ補正処理（ステップＳ４５）
【０１１１】
ユーザーガンマ補正処理は、線形階調からディスプレイ出力に適した８ビット階調に変換する処理、すなわち、画像のダイナミックレンジを出力表示機器の範囲内に圧縮する処理である。これとは独立に、一旦あるガンマ空間に階調を変換して、第１の実施の形態〜第６の実施の形態に相当する画像復元処理を行うと、より優れた復元結果が得られる。この階調変換方法として以下のようなものがある。
＜ガンマ補正処理＞
入力信号ｘ（０≦ｘ≦ｘｍａｘ）、出力信号ｙ（０≦ｘ≦ｙｍａｘ）、入力画像はデルタ面
ｙ＝ｙｍａｘ√（ｘ／ｘｍａｘ）
入力信号が１２ビットの場合はｘｍａｘ＝４０９５で、出力信号は例えば１６ビットのｙｍａｘ＝６５５３５に設定するとよい。
＜逆ガンマ補正処理＞
入力信号ｙ（０≦ｘ≦ｙｍａｘ）、出力信号ｘ（０≦ｘ≦ｘｍａｘ）、入力画像はＲＧＢ面
ｘ＝ｘｍａｘ（ｙ／ｙｍａｘ）２
【０１１２】
このように平方根型のガンマ空間で画像復元処理を行うと、画像復元処理のテクニックとは別の観点から次のような利点が同時に得られる。
１）色境界部の鮮明化が可能（例えば、赤白境界の色にじみ抑制や、黒縁発生の抑制等）
２）輝点（極めて明るい部分）周辺の偽色抑制が可能
３）方向判定精度が向上
【０１１３】
１）と２）は画像復元処理のＲＧＢ方式では「補間値算出部」、Ｙ方式では「復元値算出部」が関与して生み出される効果である。また、３）は画像復元処理の「類似度算出部」と「類似性判定部」が関与して生み出される効果である。つまり、入力信号ｘには量子論的揺らぎの誤差ｄｘ＝ｋ√ｘ（ｋはＩＳＯ感度で決まる定数）が含まれており、平方根のガンマ空間に変換すると誤差伝搬則によりこの誤差が全階調０≦ｙ≦ｙｍａｘに渡って均一の誤差ｄｙ＝ｃｏｎｓｔａｎｔで扱えるようになるため、方向判定精度が向上する。この技術はデルタ配列に限らずベイア配列やその他諸々のフィルタ配列の補間処理にも応用することができる。上記実施の形態においては、デルタ配列は元々ベイア配列よりも単色の色解像性能が高いため、この階調変換処理を画像復元処理の前後に入れることで、更に優れた色鮮明性を生み出すことが可能となる。
【０１１４】
上記第１の実施の形態では、三角格子上で補間処理された画像データを正方化処理をする例を示した。また、他の実施の形態でも、正方化処理が必要な場合はその処理を行う旨示した。しかし、三角格子上で補間処理や表色系変換された画像データそのものをそのまま使用するようにしてもよい。
【０１１５】
上記第３の実施の形態では、第１の実施の形態と同様に生成されたＲＧＢカラー画像データに補正処理を行う例を示したが、必ずしもこの内容に限定する必要はない。他の実施の形態で生成されたＲＧＢカラー画像データに対しても同様に適用できる。このように、上記第１〜第６の実施の形態では、それぞれ適宜組み合わせることが可能である。すなわち、上記第１〜第６の実施の形態では、類似の方向性判定処理、補間処理あるいは色差面直接生成処理、補正等の後処理、正方化処理などを記載しているが、各実施の形態の各処理を適宜組み合わせて最適な画像処理方法、処理装置を実現することができる。
【０１１６】
上記実施の形態では、単板式の撮像素子を前提にした説明を行ったが、この内容に限定する必要はない。本発明は、２板式の撮像素子においても適用できる。２板式であれば、例えば、各画素において欠落する色成分は１つとなるが、この欠落する１つの色成分の補間処理に上記実施の形態の内容を適用することができ、必要であれば正方化処理も同様にできる。また、第４の実施の形態の、デルタ配列から補間処理を介さずに直接輝度成分と色差成分を作る方式においても、同様に２板式の撮像素子にも適用できる。
【０１１７】
上記実施の形態では、類似性の判定に各種の計算式を示したが、必ずしも実施の形態に示した内容に限定する必要はない。他の、適切な計算式により類似性を判定するようにしてもよい。また、輝度情報の計算においても各種の計算式を示したが、必ずしも実施の形態に示した内容に限定する必要はない。他の、適切な計算式により輝度情報を生成するようにしてもよい。
【０１１８】
上記実施の形態では、色差補正等でローパスフィルタ、エッジ強調でバンドパスフィルタの例を示したが、必ずしも実施の形態で示した内容に限定する必要はない。他の構成のローパスフィルタやバンドパスフィルタであってもよい。
【０１１９】
上記実施の形態では、電子カメラの例で示したが、必ずしもこの内容に限定する必要はない。動画を撮像するビデオカメラや、撮像素子つきパーソナルコンピュータや携帯電話などであってもよい。すなわち、撮像素子によりカラー画像データを生成するあらゆる装置に適用できる。
【０１２０】
パーソナルコンピュータなどに適用する場合、上述した処理に関するプログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図２３はその様子を示す図である。パーソナルコンピュータ１００は、ＣＤ−ＲＯＭ１０４を介してプログラムの提供を受ける。また、パーソナルコンピュータ１００は通信回線１０１との接続機能を有する。コンピュータ１０２は上記プログラムを提供するサーバーコンピュータであり、ハードディスク１０３などの記録媒体にプログラムを格納する。通信回線１０１は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ１０２はハードディスク１０３を使用してプログラムを読み出し、通信回線１０１を介してプログラムをパーソナルコンピュータ１００に送信する。すなわち、プログラムをデータ信号として搬送波にのせて、通信回線１０１を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。
【０１２１】
【発明の効果】
本発明は、第１色成分が欠落する画素に第１色成分を補間するときに、補間対象画素に対して第１色成分が２番目に近接する画素を含む領域の色情報を用いて補間を行っているので、例えば、図３の３０度方向、１５０度方向、２７０度方向（縦線）の境界線の画像が劇的に向上する。すなわち、３０度、１５０度、２７０度方向の空間解像力が向上する。
【図面の簡単な説明】
【図１】第１の実施の形態における電子カメラの機能ブロック図である。
【図２】第１の実施の形態において、画像処理部が行う画像処理の概要を示すフローチャートである。
【図３】デルタ配列の撮像素子により得られた画素の位置関係を示す図である。
【図４】周辺加算に使用する係数を示す図である。
【図５】曲率情報ｄＲを求めるときに使用する係数値を示す図である。
【図６】デルタ配列の無彩色の空間周波数再現領域を示す図である。
【図７】１次元変位処理に使用する係数値を示す図である。
【図８】第２の実施の形態の演算で使用する画素位置を示す図である。
【図９】曲率情報ｄＲ、ｄＧ、ｄＢを求めるときに使用する係数値を示す図である。
【図１０】第３の実施の形態において、画像処理部が行う画像処理の概要を示すフローチャートである。
【図１１】ローパスフィルタの係数値を示す図である。
【図１２】他のローパスフィルタの係数値を示す図である。
【図１３】他のローパスフィルタの係数値を示す図である。
【図１４】ラプラシアンの係数値を示す図である。
【図１５】他のラプラシアンの係数値を示す図である。
【図１６】他のラプラシアンの係数値を示す図である。
【図１７】デルタ配列のデルタ面から、直接、輝度面（Ｙ）と３つの色差面（Ｃｇｂ，Ｃｂｒ，Ｃｒｇ）を生成し、その後、元のＲＧＢの表色系に変換する概念を示す図である。
【図１８】第４の実施の形態において、画像処理部が行う画像処理の概要を示すフローチャートである。
【図１９】Ｒ位置にはＣｒｇ，Ｃｂｒ成分がその最隣接画素にはＣｇｂ成分が求まっている様子を示す図である。
【図２０】デルタ配列のＲＧＢ各色成分の空間周波数再現領域を示す図である。
【図２１】第６の実施の形態において、画像処理部が行う画像処理の概要を示すフローチャートである。
【図２２】隣接画素について定義する図である。
【図２３】プログラムを、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供する様子を示す図である。
【図２４】ＲＧＢカラーフィルタのベイア配列、デルタ配列、ハニカム配列を示す図である。
【図２５】デルタ配列で得られた画像データについて、三角格子上で補間処理し、正方格子データに復元する処理の概念を示す図である。
【図２６】第５の実施の形態において、類似度の方位関係を示す図である。
【図２７】画像復元処理と階調処理を示すフローチャートである。
【符号の説明】
１ 電子カメラ
１０ Ａ／Ｄ変換部
１１ 画像処理部
１２ 制御部
１３ メモリ
１４ 圧縮／伸長部
１５ 表示画像生成部
１６ メモリカード
１７ メモリカード用インタフェース部
１８ ＰＣ（パーソナルコンピュータ）
１９ 外部インタフェース部
２０ 撮影光学系
２１ 撮像素子
２２ アナログ信号処理部
２３ タイミング制御部
２４ 操作部
２５、２６ モニタ
２７ プリンタ
２８ ＣＤ−ＲＯＭ
Claims (15)
- 第１〜第ｎ色成分（ｎ≧２）で表され、１つの画素に１つの色成分の色情報を有する複数の画素が三角格子状に配置された第１の画像を取得する画像取得手順と、
前記取得した第１の画像の色情報を用いて、第１色成分が欠落する画素に第１色成分を補間する補間手順と、
前記第１の画像の色情報と前記補間された色情報とに基づき、第２の画像を出力する出力手順とを備える画像処理方法であって、
前記補間手順は、前記第１の画像の補間対象画素に対して、第１色成分が２番目に近接する画素を含む領域の色情報を用いて、第１色成分の平均情報を求め、前記補間を行うことを特徴とする画像処理方法。 - 請求項１に記載の画像処理方法において、
少なくとも３方向に対する類似性の強弱を判定する類似性判定手順をさらに備え、
前記補間手順は、前記類似性判定手順で判定された類似性の強さに応じて前記第１色成分の平均情報を求めることを特徴とする画像処理方法。 - 複数の色成分で表され、１つの画素に１つの色成分の色情報を有する複数の画素が三角格子状に配置された第１の画像を取得する画像取得手順と、
前記取得した第１の画像の色情報を零以上の可変な係数値で加重加算することによって、前記第１の画像の色情報と異なる色成分の色情報を生成する色情報生成手順と、
前記生成された色情報を使用して第２の画像を出力する出力手順を備える画像処理方法であって、
前記色情報生成手順は、前記第１の画像の処理対象画素に対して、該画素の色成分と異なる色成分が２番目に近接する画素を含む領域内の色情報を加重加算することを特徴とする画像処理方法。 - 請求項３に記載の画像処理方法において、
少なくとも３方向に対する類似性の強弱を判定する類似性判定手順をさらに備え、
前記色情報生成手順は、前記類似性判定手順で判定された類似性の強さに応じて前記加重加算の係数値を可変にすることを特徴とする画像処理方法。 - 請求項３または４に記載の画像処理方法において、
第１の画像が第１〜第３の色成分で表され、前記第１の画像の第１色成分を有する画素が処理対象画素の場合、
前記色情報生成手順は、前記処理対象画素、及び第２色成分が２番目に近接する画素、及び第３色成分が２番目に近接する画素を含む領域内の色情報を加重加算することを特徴とする画像処理方法。 - 請求項３〜５のいずれか１項に記載の画像処理方法において、
前記色情報生成手順後前記出力手順前に、前記色情報生成手順で生成された前記第１の画像の色情報と異なる色成分の色情報を、予め決められた固定のフィルタ係数からなるフィルタ処理により、補正する補正手順をさらに備えることを特徴とする画像処理方法。 - 請求項６に記載の画像処理方法において、
前記フィルタ係数の中に、正および負の値を含むことを特徴とする画像処理方法。 - 第１〜第ｎ色成分（ｎ≧２）で表され、１つの画素に１つの色成分の色情報を有する複数の画素が三角格子状に配置された第１の画像を取得する画像取得手順と、
前記第１の画像の色情報を用いて、第１色成分と第２色成分の間の色差成分の色情報を生成する色差生成手順と、
前記生成された色差成分の色情報を使用して第２の画像を出力する出力手順を備える画像処理方法であって、
前記色差生成手順は、前記第１の画像の第１色成分を有する画素に対して、少なくとも第２色成分が２番目に近接する画素の色情報を用いて、前記色差成分の色情報を生成することを特徴とする画像処理方法。 - 請求項８に記載の画像処理方法において、
前記色差生成手順は、前記第１の画像の第１色成分を有する処理対象画素に対して、
１）該画素の第１色成分の色情報と
２）該画素に対して第２色成分が２番目に近接する画素を含む領域内における第２色成分の色情報の平均情報と
に基づいて前記色差成分の色情報を生成することを特徴とする画像処理方法。 - 請求項８または９に記載の画像処理方法において、
前記色差生成手順は、さらに、処理対象画素に関する第２色成分の曲率情報に基づいて、前記色差成分の色情報を生成することを特徴とする画像処理方法。 - 請求項８〜１０のいずれか１項に記載の画像処理方法において、
少なくとも３方向に対する類似性の強弱を判定する類似性判定手順をさらに備え、
前記色差生成手順は、前記類似性の強さに応じて前記色差成分の色情報を生成することを特徴とする画像処理方法。 - 請求項１〜１１のいずれか１項に記載の画像処理方法において、
前記出力手順は、前記第１の画像と同じ画素位置に、前記第２画像を出力することを特徴とする画像処理方法。 - 請求項１〜１２のいずれか１項に記載の画像処理方法の手順をコンピュータに実行させるための画像処理プログラム。
- 請求項１３の画像処理プログラムを記録したコンピュータ読みとり可能な記録媒体。
- 請求項１４の画像処理プログラムを搭載した画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002159229A JP4239484B2 (ja) | 2002-05-31 | 2002-05-31 | 画像処理方法、画像処理プログラム、画像処理装置 |
| PCT/JP2003/006388 WO2003101119A1 (fr) | 2002-05-24 | 2003-05-22 | Procede de traitement d'images, programme de traitement d'images et processeur d'images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002159229A JP4239484B2 (ja) | 2002-05-31 | 2002-05-31 | 画像処理方法、画像処理プログラム、画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004007165A true JP2004007165A (ja) | 2004-01-08 |
| JP4239484B2 JP4239484B2 (ja) | 2009-03-18 |
Family
ID=30429085
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002159229A Expired - Lifetime JP4239484B2 (ja) | 2002-05-24 | 2002-05-31 | 画像処理方法、画像処理プログラム、画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4239484B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860330A (zh) * | 2020-07-21 | 2020-10-30 | 陕西工业职业技术学院 | 基于多特征融合和卷积神经网络的苹果叶部病害识别方法 |
-
2002
- 2002-05-31 JP JP2002159229A patent/JP4239484B2/ja not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860330A (zh) * | 2020-07-21 | 2020-10-30 | 陕西工业职业技术学院 | 基于多特征融合和卷积神经网络的苹果叶部病害识别方法 |
| CN111860330B (zh) * | 2020-07-21 | 2023-08-11 | 陕西工业职业技术学院 | 基于多特征融合和卷积神经网络的苹果叶部病害识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4239484B2 (ja) | 2009-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5045421B2 (ja) | 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム | |
| KR101703354B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 기록 매체 | |
| US7667738B2 (en) | Image processing device for detecting chromatic difference of magnification from raw data, image processing program, and electronic camera | |
| JP4352371B2 (ja) | 適応モザイク減少法を実装するディジタル画像処理方法 | |
| EP1395041B1 (en) | Colour correction of images | |
| JP4910699B2 (ja) | 画像処理装置 | |
| JP5574615B2 (ja) | 画像処理装置、その制御方法、及びプログラム | |
| JP5672776B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| EP1367837A1 (en) | Image processing method, image processing program, and image processor | |
| US8320714B2 (en) | Image processing apparatus, computer-readable recording medium for recording image processing program, and image processing method | |
| WO2005112470A1 (ja) | 画像処理装置および画像処理プログラム | |
| JP4321064B2 (ja) | 画像処理装置および画像処理プログラム | |
| JP4329542B2 (ja) | 画素の類似度判定を行う画像処理装置、および画像処理プログラム | |
| JP4239483B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| JP4196055B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| JP4239480B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| JP3730063B2 (ja) | 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置 | |
| JP4239484B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| JP4122082B2 (ja) | 信号処理装置およびその処理方法 | |
| JP2012100215A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| JP2013165482A (ja) | 画像処理装置、画像処理プログラム、および撮像装置 | |
| JP2004064227A (ja) | 映像信号処理装置 | |
| WO2003101119A1 (fr) | Procede de traitement d'images, programme de traitement d'images et processeur d'images | |
| JP2011055280A (ja) | 画像処理装置および画像処理方法並びに電子カメラ | |
| JP2014131175A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050425 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080909 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081107 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20081107 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081202 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081215 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4239484 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150109 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150109 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150109 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |