JP2008141658A - 電子カメラおよび画像処理装置 - Google Patents

Abstract

【課題】 分割露光で製造された固体撮像素子による撮影画像において、露光領域の境界をより目立ちにくくする手段を提供する。
【解決手段】 電子カメラは、固体撮像素子と、色補間部とを備える。固体撮像素子は、半導体層、カラーフィルタ層およびマイクロレンズ層の少なくとも１つが複数回の露光で分割形成されるとともに、被写体の光束から撮影画像のデータを生成する。色補間部は、色成分が空間的にサンプリングされた状態で入力された撮影画像のデータに対して色補間処理を施す。この色補間部は、少なくとも２つの異なる方向で撮影画像の類似度の強弱を判定する類似度判定部と、固体撮像素子の露光領域の境界部において、境界部を跨ぐ方向の類似度を強める重み付け処理を行う類似度補正部と、類似度の強い方向にある画素の色成分に基づいて、撮影画像のデータの色補間を実行する補間処理部と、を含む。
【選択図】 図１

Description

本発明は、分割露光で製造された固体撮像素子を用いる電子カメラおよび画像処理装置に関する。

電子カメラに使用される固体撮像素子は、露光装置の構成や製造コストの観点から１回の露光で製造可能な大きさには自ずと限界が生じうる。そのため、大型の固体撮像素子を低コストで製造するための手法として、複数回の露光による分割露光で１つの固体撮像素子を製造する技術が公知である。ところで、固体撮像素子を分割露光で製造した場合には、分割露光による各々の露光領域毎に露光ズレや各露光の線幅誤差等に起因する出力レベルのばらつきが発生する。そして、上記の固体撮像素子で撮影された画像における各露光領域の境界には、各露光領域の感度特性に起因する段差状の筋が現れる。

そのため、分割露光で製造した固体撮像素子を用いる電子カメラでは、予め取得した露光領域間の感度差に基づいて露光領域間での信号レベルの差を補正する補正手段を備えたものも提案されている。なお、上記の補正手段の一例として特許文献１を示す。
特開２００４−１１２４２３号公報

しかし、上記従来技術の補正手段を備えた電子カメラにおいても、現実には露光領域間での信号レベルの補正残りが生じる箇所もあり、補正後の画像上で露光領域の境界がなお目立ってしまう場合がある点で改善の余地があった。
本発明は上記従来技術の課題を解決するものである。本発明の目的は、分割露光で製造された固体撮像素子による撮影画像において、露光領域の境界部分をより目立ちにくくする手段を提供することである。

第１の発明の電子カメラは、固体撮像素子と、色補間部とを備える。固体撮像素子は、半導体層、カラーフィルタ層およびマイクロレンズ層の少なくとも１つが複数回の露光で分割形成されるとともに、被写体の光束から撮影画像のデータを生成する。色補間部は、色成分が空間的にサンプリングされた状態で入力された撮影画像のデータに対して色補間処理を施す。この色補間部は、少なくとも２つの異なる方向で撮影画像の類似度の強弱を判定する類似度判定部と、固体撮像素子の露光領域の境界部において、境界部を跨ぐ方向の類似度を強める重み付け処理を行う類似度補正部と、類似度の強い方向にある画素の色成分に基づいて、撮影画像のデータの色補間を実行する補間処理部と、を含む。

第２の発明は、第１の発明において、撮影画像のデータに対し、露光領域の境界部で生じる信号レベルの差を減少させる補正を行う信号処理部を電子カメラがさらに備える。
第３の発明の電子カメラは、固体撮像素子と、信号処理部と、画像処理部とを備える。固体撮像素子は、半導体層、カラーフィルタ層およびマイクロレンズ層の少なくとも１つが複数回の露光で分割形成されるとともに、被写体の光束から撮影画像のデータを生成する。信号処理部は、撮影画像のデータに対し、露光領域の境界部で生じる信号レベルの差を減少させる補正を行う。画像処理部は、撮影画像の少なくとも露光領域の境界部に平滑化処理を施す。

第４の発明の電子カメラは、固体撮像素子と、信号処理部と、画像処理部とを備える。固体撮像素子は、半導体層、カラーフィルタ層およびマイクロレンズ層の少なくとも１つが複数回の露光で分割形成されるとともに、被写体の光束から撮影画像のデータを生成する。信号処理部は、撮影画像のデータに対し、露光領域の境界部で生じる信号レベルの差を減少させる補正を行う。画像処理部は、撮影画像の少なくとも露光領域の境界部を含む所定領域にランダムノイズを付加する。

なお、上記の各電子カメラの構成を、固体撮像素子を含まない画像処理装置として表現したものも本発明の具体的態様として有効である。

本発明によれば、固体撮像素子における各露光領域の境界が目立ちにくい良好な撮影画像を得ることことができる。

（第１実施形態の説明）
図１は第１実施形態の電子カメラシステムの構成を示すブロック図である。ここで、第１実施形態では、一眼レフレックス型のレンズ交換可能な電子カメラシステムの例を説明する。
電子カメラシステムは、レンズユニット１１と電子カメラ本体１２とで構成されている。レンズユニット１１および電子カメラ本体１２には、雌雄の関係をなす一対のマウント１３，１４がそれぞれ設けられている。レンズユニット１１は上記のマウント１３，１４をバヨネット機構等で結合させることで、電子カメラ本体１２に対して交換可能に接続される。また、上記のマウント１３，１４にはそれぞれ電気接点（不図示）が設けられている。電子カメラ本体１２とレンズユニット１１との接続時には、上記の電気接点間の接触によって両者の電気的な接続が確立するようになっている。

レンズユニット１１には、撮影光学系１５および絞り１６が内蔵されている。レンズユニット１１の各種情報（レンズユニット１１の撮影光学系１５の焦点距離、射出瞳位置、絞り１６の絞り値など）はレンズ側のマウント１３を介して電子カメラ本体１２に入力される。なお、図１に示すレンズユニット１１は一般的なレンズユニットの構成の一例にすぎず、例えば、アオリ撮影用の撮影機構を有するシフトレンズのユニット（不図示）などを電子カメラ本体１２に装着することもできる。

電子カメラ本体１２は、上述のマウント１４と、固体撮像素子１７と、アナログ信号処理部１８と、デジタル信号処理部１９と、バッファメモリ２０と、画像処理部２１と、タイミングジェネレータ（ＴＧ）２２と、記録Ｉ／Ｆ２３と、ＲＯＭ２４と、レリーズ釦２５と、ＣＰＵ２６およびバス２７とを有している。なお、デジタル信号処理部１９、バッファメモリ２０、画像処理部２１、記録Ｉ／Ｆ２３およびＣＰＵ２６は、バス２７を介してそれぞれ接続されている。

固体撮像素子１７は、複数の受光素子をマトリックス状に配列した受光面を有している。そして、固体撮像素子１７は、レンズユニット１１を通過した光束を受光素子で光電変換して被写体を撮影する。この固体撮像素子１７の出力はアナログ信号処理部１８に接続されている。なお、第１実施形態の固体撮像素子１７は、電荷順次転送方式（ＣＣＤ等）またはＸＹアドレス方式（ＣＭＯＳ等）のいずれの構成であってもよい。

図２に固体撮像素子１７の一部断面を模式的に示す。固体撮像素子１７の受光素子３１は半導体基板の上に形成されている。また、固体撮像素子１７には、受光素子３１以外への入射光を遮るための遮光膜３４が形成されている。また、各々の受光素子３１の上には、カラーフィルタ３２およびマイクロレンズ３３がオンチップで配置されている。この固体撮像素子１７において、受光素子３１や遮光膜３４などを含む半導体層、カラーフィルタ層（３２）およびマイクロレンズ層（３３）は、それぞれ半導体露光装置による露光工程によって製造される。特に第１実施形態では、固体撮像素子１７の半導体層、カラーフィルタ層およびマイクロレンズ層は、それぞれ複数回の露光による分割露光で形成される。より具体的には、図３に示すように、固体撮像素子１７の受光面は左、中央、右の３つの露光領域に分割され、各々の層が少なくとも３回の露光工程で形成されている。

ここで、固体撮像素子１７の各受光素子３１には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のいずれかのカラーフィルタ３２が公知のベイヤー配列にしたがって配置されている。そのため、固体撮像素子１７の各受光素子３１は、カラーフィルタ３２での色分解によってカラーフィルタ３２の色に対応する画像信号をそれぞれ出力する。例えば、緑色のカラーフィルタ３２に対応する受光素子３１は、出力値が緑色に関する明るさを示す画像信号を出力する。

アナログ信号処理部１８は、ＣＤＳ回路、ゲイン回路、Ａ／Ｄ変換回路などを有するアナログフロントエンド回路である。ＣＤＳ回路は、相関二重サンプリングによって撮像素子の出力のノイズ成分を低減する。ゲイン回路は入力信号の利得を増幅して出力する。このゲイン回路では、ＩＳＯ感度に相当する撮像感度の調整を行うことができる。Ａ／Ｄ変換回路は撮像素子の出力信号のＡ／Ｄ変換を行う。このＡ／Ｄ変換回路の出力はデジタル信号処理部１９に接続されている。なお、図１では、アナログ信号処理部１８における個々の回路の図示は省略する。

デジタル信号処理部１９は、固体撮像素子１７から順次入力されるデジタル画像信号に対して、欠陥画素補正、黒レベル調整などの画像処理を施す。また、デジタル信号処理部１９は、ＲＯＭ２４に記録された補正値のデータに基づいて、固体撮像素子１７の露光領域の境界部で生じる信号レベルの差を減少させる出力補正を実行する。
バッファメモリ２０は、画像処理部２１による画像処理の前後で撮影画像のデータなどを一時的に記録する。

画像処理部２１は、バッファリングされた１フレーム分のデジタル画像信号に対して、各種の画像処理（色補間、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を施して撮影画像のデータを生成する。ここで、画像処理部２１は、上記の色補間処理のプロセッサとして、類似度判定部２１ａ、類似度補正部２１ｂおよび補間処理部２１ｃを有している（類似度判定部２１ａ、類似度補正部２１ｂ、補間処理部２１ｃの各機能については後述する）。

また、画像処理部２１は、撮影画像のデータに対して平滑化処理やランダムノイズの付加処理を実行することもできる。なお、画像処理部２１は、撮影画像のデータの圧縮伸長処理を実行することもできる。
ＴＧ２２はＣＰＵ２６に接続されている。このＴＧ２２は、ＣＰＵ２６の指示により、固体撮像素子１７、アナログ信号処理部１８、デジタル信号処理部１９および画像処理部２１に対して各種動作に必要となる駆動信号をそれぞれ供給する（なお、図１では画像処理部２１への信号線の図示は省略する）。

記録Ｉ／Ｆ２３には記録媒体２８を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ２３は、コネクタに接続された記録媒体２８に対してデータの書き込み／読み込みを実行する。上記の記録媒体２８は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記録媒体２８の一例としてメモリカードを図示する。

ＲＯＭ２４には、固体撮像素子１７の各露光領域ごとの感度特性に基づく信号レベルの補正値がテーブル化されて記録されている。このＲＯＭ２４の補正値は、電子カメラ本体１２の検査工程において、撮影画像の解析結果に基づいて電子カメラ毎に個別に調整される。また、上記の補正値群は、各々の露光領域の境界において信号レベルの差を最小化するように各々の補正値が設定されている。なお、上記の補正値のテーブルは、記録するデータ量を抑制するために、画面垂直方向にサンプリングされた状態で補正値を記録してもよい。この場合、サンプリングされて記録されている補正値間の補正値は、この記録されている補正値から近似等して算出する。

レリーズ釦２５は、半押し操作による撮影前のＡＦ動作開始の指示入力と、全押し操作による撮影時の露光開始の指示入力とをユーザーから受け付ける。なお、レリーズ釦２５の出力はＣＰＵ２６に接続されている。
ＣＰＵ２６は、電子カメラシステムの統括的な制御を行うプロセッサである。ＣＰＵ２６は、所定のシーケンスプログラムに従って電子カメラシステムの動作を制御するとともに、撮影に必要となる各種演算（ＡＦ、ＡＥ、オートホワイトバランスなど）を実行する。

次に、第１実施形態における撮影時の信号処理の流れを説明する。
電子カメラ本体１２のＣＰＵ２６は、レリーズ釦２５の全押し操作をユーザーから受け付けると、固体撮像素子１７を駆動させて被写体の撮影を実行する。ここで、第１実施形態では、例えば均一色の被写体を撮影した場合にも、固体撮像素子１７の各露光領域ごとの感度特性によって、露光領域の境界を跨いで隣接する画素間で信号レベルに差が生じうる。

なお、固体撮像素子１７の各受光素子３１はカラーフィルタ３２によって画素毎に１つの色しか得ることができないため、色補間前のＲＡＷデータでは色成分が空間的にサンプリングされた状態となっている。
そして、固体撮像素子１７から出力された画像信号は、アナログ信号処理部１８でＡ／Ｄ変換された後にデジタル信号処理部１９に順次入力される。デジタル信号処理部１９は、画像信号に対して、露光領域の境界部で生じる信号レベルの差を減少させる出力補正を実行する。なお、デジタル信号処理部１９から出力された画像信号は、１フレーム分のデータが揃うまでバッファメモリ２０に一時的に記録される。

上記の出力補正では、ＣＰＵ２６はＲＯＭ２４に記録された補正値のテーブルを読み出すとともに、画面垂直方向にサンプリングされた状態の補正値から、撮影画像の各行ごとの補正値を補間する。そして、デジタル信号処理部１９は、ＣＰＵ２６による補間後の補正値のデータに基づいて、撮影画像のデータのうち、少なくとも露光領域の境界部に対応する画素の信号レベルを補正する。これにより、露光領域の境界を跨いだ画素間の信号レベルの差が小さくなる。そのため、補正後の撮影画像では露光領域の境界部に現れる段差状の筋がある程度まで抑制される。

その後、画像処理部２１は、バッファリングされた撮影画像のデータに対して、色補間処理を含む各種の画像処理を施して記録用画像のデータを生成する。なお、画像処理後の記録用画像データは、ＣＰＵ２６によって記録媒体２８に記録される。
ここで、上記の色補間処理では、周囲の画素から得られる色情報を利用することで、画像処理部２１は全画素で全ての色（ＲＧＢ）が揃った状態にデータを補間する。以下、図４の流れ図を参照しつつ、第１実施形態での画像処理部２１の行う色補間処理を説明する。

ステップ１０１：類似度判定部２１ａは、所定の注目画素について、少なくとも２つの異なる方向（第１実施形態では縦横方向）で画像の類似度の値をそれぞれ取得する。ここで、類似度とは、注目画素を含む局所領域内の色成分の色情報を使用して、注目画素と周辺画素との類似性の度合いを数値化したものである。また、色情報とは、各色画素に対応するデジタル化された信号レベルの値をいう。一例として、色情報は、１バイト２５６階調で表される。

具体的には、類似度判定部２１ａは、Ｒ画素およびＢ画素において類似度を算出する。第１実施形態では、類似度判定部２１ａは、注目画素［ｉ，ｊ］に対する縦方向の類似度Ｃｖ［ｉ，ｊ］を式（１）により求める。同様に、類似度判定部２１ａは、注目画素［ｉ，ｊ］に対する横方向の類似度Ｃｈ［ｉ，ｊ］を式（２）により求める。なお、類似度Ｃｖ［ｉ，ｊ］、Ｃｈ［ｉ，ｊ］は、いずれも値が小さいほど類似性が強いものとする。

Ｃｖ［ｉ，ｊ］＝｛（｜Ｇ［ｉ，ｊ−１］−Ｚ［ｉ，ｊ］｜＋｜Ｇ［ｉ，ｊ＋１］−Ｚ［ｉ，ｊ］｜）／２−｜Ｇ［ｉ，ｊ−１］−Ｇ［ｉ，ｊ＋１］１｜｝／２ ・・・（１）
Ｃｈ［ｉ，ｊ］＝｛（｜Ｇ［ｉ−１，ｊ］−Ｚ［ｉ，ｊ］｜＋｜Ｇ［ｉ＋１，ｊ］−Ｚ［ｉ，ｊ］｜）／２−｜Ｇ［ｉ−１，ｊ］−Ｇ［ｉ＋１，ｊ］｝／２ ・・・（２）
ここで、上式（１）、（２）において、Ｇ［ｘ，ｙ］はＧ画素の色情報を示す。Ｒ［ｘ，ｙ］はＲ画素の色情報を示す。Ｂ［ｘ，ｙ］はＢ画素の色情報を示す。さらに、Ｒ画素の色情報あるいはＢ画素の色情報を代表してＺ［ｘ，ｙ］とする。

ステップ１０２：類似度補正部２１ｂは、固体撮像素子１７の露光領域の境界部において、境界部を跨ぐ方向の類似度を強める重み付け処理を行う。第１実施形態では、露光領域の境界部に対応する画素に関し、上記のＣｈ［ｉ，ｊ］の値から所定値を減算することで、露光領域の境界を跨ぐ横方向の類似度を強める重み付けを行う。
ステップ１０３：類似度判定部２１ａは、類似度補正部２１ｂによる補正後に、Ｃｖ［ｉ，ｊ］、Ｃｈ［ｉ，ｊ］を使用して注目画素の類似性を判定する。まず、類似度判定部２１ａは、式（３）を満足するか否かを判定する。縦横の類似度間の差分が閾値Ｔｈ１以下であれば、縦方向に類似性が強いのか、横方向に類似性が強いのか判定することはできない。そのため、条件（３）を満足する場合には、類似度判定部２１ａは、注目画素［ｉ，ｊ］での縦横類似性を不明として方向指標ＨＶ［ｉ，ｊ］＝０をセットする。

｜Ｃｖ［ｉ，ｊ］−Ｃｈ［ｉ，ｊ］｜≦Ｔｈ１ ・・・（３）
ここで、上式（３）のＴｈ１は所定の閾値である。一例として、２５６階調のときはＴｈ１は１０前後の値に設定される。なお、画像のノイズが多いときはＴｈ１の値を高めに設定することが好ましい。
一方、式（３）を満足しない場合（縦横どちらかの方向の類似性が判定できる場合）には、類似度判定部２１ａは式（４）の関係を満足するか否かを判定する。式（４）を満足するときは、縦方向に類似性が強いとして方向指標ＨＶ［ｉ，ｊ］＝１をセットする。式（４）を満足しない場合は横方向に類似性が強いとして方向指標ＨＶ［ｉ，ｊ］＝−１をセットする。

Ｃｖ［ｉ，ｊ］＜Ｃｈ［ｉ，ｊ］ ・・・（４）
ステップ１０４：補間処理部２１ｃは、上記の類似度による方向判定の結果に基づいて、撮影画像のデータにおける各色成分の色情報を使用してＣｒ、Ｃｂ面の生成を行う。すなわち、補間処理部２１ｃは、すべての画素において色差情報Ｃｒ、Ｃｂを生成する。
ここで、Ｃｒ面の生成処理の一例を具体的に説明する。なお、Ｃｂ面の生成処理については、Ｃｒ面の場合とほぼ同様の手順で行われるので説明を省略する。

第１に、補間処理部２１ｃは、各々のＲ画素で色差情報Ｃｒを求める。このとき、補間処理部２１ｃは、上記の方向指標ＨＶ［ｉ，ｊ］によって異なる式を使用する。ＨＶ［ｉ，ｊ］＝１のときは、式（５）を使用してＣｒ［ｉ，ｊ］を求める。また、ＨＶ［ｉ，ｊ］＝−１のときは、式（６）を使用してＣｒ［ｉ，ｊ］を求める。また、ＨＶ［ｉ，ｊ］＝０のときは、式（７）を使用してＣｒ［ｉ，ｊ］を求める。

Ｃｒ［ｉ，ｊ］＝Ｒ［ｉ，ｊ］−（Ｇ［ｉ，ｊ−１］−Ｇ［ｉ，ｊ＋１］）／２ ・・・（５）
Ｃｒ［ｉ，ｊ］＝Ｒ［ｉ，ｊ］−（Ｇ［ｉ−１，ｊ］−Ｇ［ｉ＋１，ｊ］）／２ ・・・（６）
Ｃｒ［ｉ，ｊ］＝Ｒ［ｉ，ｊ］−（Ｇ［ｉ，ｊ−１］−Ｇ［ｉ，ｊ＋１］＋Ｇ［ｉ−１，ｊ］＋Ｇ［ｉ＋１，ｊ］）／４ ・・・（７）
第２に、補間処理部２１ｃは、上記のＲ画素の色差情報Ｃｒを使用して、Ｂ画素およびＧ画素の色差情報Ｃｒを補間処理によって求める。このとき、補間処理部２１ｃは、Ｂ画素に対応する画素については式（８）を使用して色差情報Ｃｒを求める。また、Ｇｒ画素（横方向にＲ画素が隣接するＧ画素）に対応する画素については式（９）を使用して色差情報Ｃｒを求める。また、Ｇｂ画素（縦方向にＲ画素が隣接するＧ画素）に対応する画素については式（１０）を使用して色差情報Ｃｒを求める。

Ｃｒ［ｉ，ｊ］＝（Ｃｒ［ｉ−１，ｊ−１］−Ｃｒ［ｉ−１，ｊ＋１］−Ｃｒ［ｉ−１，ｊ−１］＋Ｃｒ［ｉ−１，ｊ−１］）／４ ・・・（８）
Ｃｒ［ｉ，ｊ］＝（Ｃｒ［ｉ−１，ｊ］＋Ｃｒ［ｉ＋１，ｊ］）／２ ・・・（９）
Ｃｒ［ｉ，ｊ］＝（Ｃｒ［ｉ，ｊ−１］＋Ｃｒ［ｉ，ｊ＋１］）／２ ・・・（１０）
ステップ１０５：補間処理部２１ｃは、色勾配を指標として区別するときに偽色の境界が色境界と誤認定されないように仮色差補正を行う。この仮色差補正は、例えばローパス処理やメディアン処理などによって行われる。

ステップ１０６：補間処理部２１ｃは、色差情報Ｃｒ、Ｃｂを使用して色勾配解析を行い、色勾配の大きさに応じて、色差補正処理をするか否かを切り替える（適応的色差補正）。具体的には、補間処理部２１ｃは、色勾配の小さい部分では色差情報Ｃｒ、Ｃｂに対する色差補正処理を行う一方で、色勾配の大きな色境界部では元の色差情報をそのまま使用する。

ステップ１０７：補間処理部２１ｃは、上記の類似度による方向判定の結果に基づいて、撮影画像のデータにおけるＧ面の生成を行う。すなわち、補間処理部２１ｃは、Ｒ画素およびＢ画素におけるＧ成分の色情報をそれぞれ演算する。このとき、補間処理部２１ｃは、上記の方向指標ＨＶ［ｉ，ｊ］によって異なる式を使用する。ＨＶ［ｉ，ｊ］＝１のときは、式（１１）を使用してＧｏｕｔ［ｉ，ｊ］を求める。また、ＨＶ［ｉ，ｊ］＝−１のときは、式（１２）を使用してＧｏｕｔ［ｉ，ｊ］を求める。また、ＨＶ［ｉ，ｊ］＝０のときは、式（１３）を使用してＧｏｕｔ［ｉ，ｊ］を求める。

Ｇｏｕｔ［ｉ，ｊ］＝（Ｇ［ｉ，ｊ−１］＋Ｇ［ｉ，ｊ−１］）／２＋（２＊Ｚ［ｉ，ｊ］−Ｚ［ｉ，ｊ−２］−Ｚ［ｉ，ｊ＋２］）／４ ・・・（１１）
Ｇｏｕｔ［ｉ，ｊ］＝（Ｇ［ｉ−１，ｊ］＋Ｇ［ｉ＋１，ｊ］）／２＋（２＊Ｚ［ｉ，ｊ］−Ｚ［ｉ−２，ｊ］−Ｚ［ｉ＋２，ｊ］）／４ ・・・（１２）
Ｇｏｕｔ［ｉ，ｊ］＝（Ｇ［ｉ，ｊ−１］＋Ｇ［ｉ，ｊ＋１］−Ｇ［ｉ−１，ｊ］＋Ｇ［ｉ＋１，ｊ］）／４＋（４＊Ｚ［ｉ，ｊ］−Ｚ［ｉ，ｊ−２］−Ｚ［ｉ，ｊ＋２］−Ｚ［ｉ−２，ｊ］−Ｚ［ｉ−２，ｊ］）／８ ・・・（１３）
ここで、Ｒ画素ではＺ＝Ｒとなり、Ｂ画素ではＺ＝Ｂとなる。なお、ベイヤ面上のＧ画素では、Ｇｏｕｔ［ｉ，ｊ］にベイヤ信号の値をそのまま代入する。

ステップ１０８：補間処理部２１ｃは、適切な偽色除去の加えられたＣｒ，Ｃｂ面と、Ｇ面との３つの色情報から、撮影画像のデータをＲＧＢ表色系へ変換する。具体的には、補間処理部２１ｃは、式（１４）、式（１５）に基づいて撮影画像のデータをＲＧＢ表色系へ変換する。
Ｒｏｕｔ［ｉ，ｊ］＝Ｃｒ［ｉ，ｊ］−Ｇｏｕｔ［ｉ，ｊ］ ・・・（１４）
Ｂｏｕｔ［ｉ，ｊ］＝Ｃｂ［ｉ，ｊ］＋Ｇｏｕｔ［ｉ，ｊ］ ・・・（１５）
ここで、第１実施形態の色補間処理の効果として、色補間処理で必然的に生じる偽色の発生を最小限に抑えた高品質な補間画像を提供できる。しかも、第１実施形態では露光領域の境界部の画素に対して、境界部を跨ぐ方向に類似度を強める重み付けを行ってから色補間処理を行う（Ｓ１０２）。そのため、デジタル信号処理部１９の出力補正の誤差（補正値の補間の誤差、補正値の丸め誤差など）や、記録用画像の被写体に応じて変化する高周波成分の影響によって、色補間処理前の画像では境界部に補正残りが生じうるが、第１実施形態では上記の類似度を考慮した色補正処理によって境界部に現れる段差状の筋がほぼ完全に解消されることとなる。したがって、第１実施形態では、各露光領域の境界が目立ちにくい良好な撮影画像を得ることができる。

（第１実施形態の変形例）
ここで、上記第１実施形態では、露光領域の境界部に対応する画素の信号レベル差をデジタル信号処理部１９で補正した後に、画像処理部２１で色補間処理を行う例を説明した。しかし、デジタル信号処理部１９において露光領域の境界部に対応する画素の信号レベルの差を補正することなく、撮影画像のデータに対して上記の色補間処理を行うようにしてもよい。

（第２実施形態の説明）
次に、第２実施形態の画像処理の概要を説明する。ここで、以下の実施形態では、電子カメラシステムの構成は、図１に示す第１実施形態の構成と共通するので重複説明を省略する。また、以下の実施形態では、撮影時の一連の信号処理において画像処理部２１に入力されるまでの処理は第１実施形態と共通であるので重複説明を省略する。

第２実施形態の電子カメラシステムでは、露光領域の境界部に対応する画素の信号レベルの差をデジタル信号処理部１９で補正した後、画像処理部２１において撮影画像のデータに対してローパスフィルタによる平滑化処理を施す。ここで、画像処理部２１は、図５に示すように、撮影画像のうちの露光領域の境界部に対応する部分のみを対象として平滑化処理を施してもよく、撮影画像の全体を対象として平滑化処理を行うようにしてもよい。この第２実施形態の構成では、各露光領域の境界における補正残りの分が平滑化処理で除去されるので、各露光領域の境界が目立ちにくい良好な撮影画像を得ることができる。

（第３実施形態の説明）
次に、第３実施形態の画像処理の概要を説明する。第３実施形態の電子カメラシステムでは、露光領域の境界部に対応する画素の信号レベルの差をデジタル信号処理部１９で補正した後、画像処理部２１において撮影画像のデータに対してランダムノイズを付加する。ここで、画像処理部２１は、撮影画像の全範囲に対してランダムノイズを付加してもよく、露光領域の境界部を含む撮影画像の所定領域においてランダムノイズを付加してもよい。また、ランダムノイズを付加する画像データは、ＲＧＢの各色成分のデータに付加してもよく、輝度成分または色差成分のデータの少なくともいずれかに付加してもよい。この第３実施形態の構成では、各露光領域の境界における段差状の筋が、ランダムノイズの付加により人間の視覚特性上目立ちにくくなるので、比較的良好な撮影画像を得ることができる。

（実施形態の補足事項）
（１）第１実施形態の色補間処理はあくまで一例であって、例えば、縦横方向に加えて、斜め方向の類似性を考慮してもよい。また、第２実施形態および第３実施形態での色補間処理は、第１実施形態の構成に限定されることなく公知の色補間処理のいずれによってもよい。

（２）上記実施形態において、ＣＰＵ２６はレンズユニット１１の状態に応じて画像処理の内容を変化させるようにしてもよい。例えば、ＣＰＵ２６は、レンズユニット１１のレンズの種類、射出瞳位置、焦点距離、絞り値に応じて、デジタル信号処理部１９または画像処理部２１での補正のオン／オフの切替や、補正のパラメータの変更を行うようにしてもよい。

（３）上記実施形態では、レンズ交換可能な電子カメラシステムの例を説明したが、電子カメラ本体に撮影レンズが一体化された電子カメラシステムにおいても同様に適用できる。また、上記実施形態では、レリーズ時の記録用画像の静止画撮影の例をもとに説明したが、動画撮影時においても同様の補正を行うことが可能である。
なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態は、あらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

第１実施形態の電子カメラの構成を示すブロック図 固体撮像素子の一部断面を示す模式図 固体撮像素子の受光面における露光領域の分割状態を示す図 第１実施形態での画像処理部の行う色補間処理を説明する流れ図 撮影画像における平滑化処理の範囲の一例を示す図

符号の説明

１２…電子カメラ本体、１７…固体撮像素子、１９…デジタル信号処理部、２１…画像処理部、２１ａ…類似度判定部、２１ｂ…類似度補正部、２１ｃ…補間処理部、２４…ＲＯＭ、２６…ＣＰＵ、３１…受光素子、３２…カラーフィルタ、３３…マイクロレンズ

Claims (7)

1. 半導体層、カラーフィルタ層およびマイクロレンズ層の少なくとも１つが複数回の露光で分割形成されるとともに、被写体の光束から撮影画像のデータを生成する固体撮像素子と、
   色成分が空間的にサンプリングされた状態で入力された前記撮影画像のデータに対して色補間処理を施す色補間部と、を備え、
   前記色補間部は、少なくとも２つの異なる方向で前記撮影画像の類似度の強弱を判定する類似度判定部と、前記固体撮像素子の露光領域の境界部において、前記境界部を跨ぐ方向の前記類似度を強める重み付け処理を行う類似度補正部と、前記類似度の強い方向にある画素の色成分に基づいて、前記撮影画像のデータの色補間を実行する補間処理部と、を含むことを特徴とする電子カメラ。
2. 請求項１に記載の電子カメラにおいて、
   前記撮影画像のデータに対し、前記露光領域の境界部で生じる信号レベルの差を減少させる補正を行う信号処理部をさらに備えることを特徴とする電子カメラ。
3. 半導体層、カラーフィルタ層およびマイクロレンズ層の少なくとも１つが複数回の露光で分割形成されるとともに、被写体の光束から撮影画像のデータを生成する固体撮像素子と、
   前記撮影画像のデータに対し、前記露光領域の境界部で生じる信号レベルの差を減少させる補正を行う信号処理部と、
   前記撮影画像の少なくとも前記露光領域の境界部に平滑化処理を施す画像処理部と、
   を備えることを特徴とする電子カメラ。
4. 半導体層、カラーフィルタ層およびマイクロレンズ層の少なくとも１つが複数回の露光で分割形成されるとともに、被写体の光束から撮影画像のデータを生成する固体撮像素子と、
   前記撮影画像のデータに対し、前記露光領域の境界部で生じる信号レベルの差を減少させる補正を行う信号処理部と、
   前記撮影画像の少なくとも前記露光領域の境界部を含む所定領域にランダムノイズを付加する画像処理部と、
   を備えることを特徴とする電子カメラ。
5. 半導体層、カラーフィルタ層およびマイクロレンズ層の少なくとも１つが複数回の露光で分割形成される固体撮像素子と接続される画像処理装置であって、
   前記固体撮像素子によって生成されるとともに、色成分が空間的にサンプリングされた状態で入力された撮影画像のデータに対して色補間処理を施す色補間部を備え、
   前記色補間部は、少なくとも２つの異なる方向で前記撮影画像の類似度の強弱を判定する類似度判定部と、前記固体撮像素子の露光領域の境界部において、前記境界部を跨ぐ方向の前記類似度を強める重み付け処理を行う類似度補正部と、前記類似度の強い方向にある画素の色成分に基づいて、前記撮影画像のデータの色補間を実行する補間処理部と、を含むことを特徴とする画像処理装置。
6. 半導体層、カラーフィルタ層およびマイクロレンズ層の少なくとも１つが複数回の露光で分割形成される固体撮像素子と接続される画像処理装置であって、
   前記固体撮像素子によって生成された撮影画像のデータに対し、前記露光領域の境界部で生じる信号レベルの差を減少させる補正を行う信号処理部と、
   前記撮影画像の少なくとも前記露光領域の境界部に平滑化処理を施す画像処理部と、
   を備えることを特徴とする画像処理装置。
7. 半導体層、カラーフィルタ層およびマイクロレンズ層の少なくとも１つが複数回の露光で分割形成される固体撮像素子と接続される画像処理装置であって、
   前記固体撮像素子によって生成された撮影画像のデータに対し、前記露光領域の境界部で生じる信号レベルの差を減少させる補正を行う信号処理部と、
   前記撮影画像の少なくとも前記露光領域の境界部を含む所定領域にランダムノイズを付加する画像処理部と、
   を備えることを特徴とする画像処理装置。
   
   

Images