JP2008042749A - 電子カメラ、および画像処理プログラム - Google Patents

Abstract

【課題】 チャネル間の走査方向の違いに基づいて、尾引状ノイズを的確に除去する。
【解決手段】 本発明の電子カメラは、撮像部、バッファ部、およびレベル補正部を備える。撮像部は、撮像面の色配列に従って光電変換された画像信号の内、同色信号を複数チャネルに分け、チャネル別に異なる走査方向に読み出す。バッファ部は、撮像部からチャネル別に出力される同色信号を取り込み、チャネル間における走査順の違いを揃えて近傍の同色信号を得る。レベル補正部は、バッファ部から得た近傍の同色信号をチャネル間で比較することにより、高輝度箇所から尾引状に生じるレベル差を画像信号から抑制する。
【選択図】 図６

Description

本発明は、電子カメラ、および画像処理プログラムに関する。

従来の電子カメラにおいて、撮像域内に過度な高輝度被写体が存在すると、画像信号に尾引状ノイズが現れることが知られていた。この尾引状の異常レベルを推定できれば、画像信号中から尾引状ノイズを除去することが可能になる。
特許文献１には、この尾引状の異常レベルを推定するため、高周波成分を除去するなどの手順が開示されている。
特開２００６−２４９８５号公報（請求項３など）

上述した従来技術は、尾引状の異常レベルを画像信号から推定する上で、優れた手法である。しかしながら、画像信号から推定された尾引状の異常レベルが、ノイズに依るものか、画像本来のグラデーションに依るものかを誤りなく識別することが不可能であった。そのため、従来技術では、尾引状に変化する画像本来のグラデーションまで除去してしまうという問題点があった。
本発明は、このような問題点に鑑みて、尾引状ノイズを的確に除去する技術を提供することを目的とする。

《１》 本発明の電子カメラは、撮像部、バッファ部、およびレベル補正部を備える。
撮像部は、撮像面の色配列に従って光電変換された画像信号の内、同色信号を複数チャネルに分け、チャネル別に異なる走査方向に読み出す。
バッファ部は、撮像部からチャネル別に出力される同色信号を取り込み、チャネル間における走査順の違いを揃えて近傍の同色信号を得る。
レベル補正部は、バッファ部から得た近傍の同色信号をチャネル間で比較することにより、高輝度箇所から尾引状に生じるチャネル間のレベル差を画像信号から抑制する。
《２》 なお好ましくは、レベル補正部は、一方のチャネルの走査後方に生じる尾引状の異常レベルを、別のチャネルにおける走査前方の正常レベルに近づけることにより、高輝度箇所から尾引状に生じるチャネル間のレベル差を抑制する。
《３》 また好ましくは、レベル補正部は、画像信号の信号レベルまたは測光情報に基づいて高輝度箇所を検出して尾引状ノイズの発生領域を求める。レベル補正部は、この発生領域に範囲限定してレベル差を抑制する。
《４》 なお好ましくは、レベル補正部は、撮像部の撮像感度から尾引状ノイズの尾引幅を推定する。レベル補正部は、この尾引幅に範囲限定してレベル差を抑制する。
《５》 本発明の画像処理プログラムは、コンピュータを、画像入力部、およびレベル補正部として機能させるためのプログラムである。
この画像入力部は、撮像面の色配列に従って光電変換された画像信号の内、同色信号を複数チャネルに分け、チャネル別に異なる走査方向に読み出す電子カメラで生成される画像信号を取り込む。
レベル補正部は、画像入力部から得た近傍の同色信号をチャネル間で比較することにより、高輝度箇所から尾引状に生じるチャネル間のレベル差を抽出する。レベル補正部は、抽出したレベル差を抑制する。

本発明では、同色信号をチャネル別に異なる走査方向に読み出すといった、特殊な走査パターンの画像信号を扱う。このような画像信号では、チャネル間における走査方向の違いを反映して、尾引状ノイズが特異な形で現れる。すなわち、一方のチャネルを通った同色信号には、高輝度箇所から走査後方に向かう尾引状ノイズが現れる。しかし、この尾引状ノイズに近い別チャネルでは、尾引状ノイズの生じる走査方向が異なるため、尾引状ノイズが少ないか、あるいは現れない。
なお、このような特殊な画像信号であっても、画像本来のグラデーションは、走査方向の影響を殆ど受けないため、チャネル間において同様のグラデーションを示す。
このように、本発明では、チャネルごとに走査方向を変えることによって、尾引状ノイズと画像本来のグラデーションとの現れ方に差異を生じさせる。その上で、近傍の同色信号をチャネル間比較してレベル差を検出する。このとき、同相分のグラデーションはチャネル間のレベル差から同相除去されるため、主として尾引状ノイズを含むレベル差を検出することができる。このレベル差を画像信号中から抑制することによって、画像本来のグラデーションの消失を防止しつつ、尾引状ノイズを的確に除去することが可能になる。

《第１実施形態》
［装置の構成説明］
図１は、電子カメラ１１の構成を示すブロック図である。
図１において、電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３の撮像面が配置される。撮像面のカラーフィルタの色配列に従って生成された各色の画像信号は、４つのチャネルＣＨ１〜ＣＨ４を介してパラレルに走査出力される。４つのチャネルＣＨ１〜ＣＨ４の走査出力は、ＣＤＳ（相関二重サンプリング）回路１４ａ〜１４ｄ、可変ゲインアンプ１５ａ〜１５ｄ、およびＡ／Ｄ変換回路１６ａ〜１６ｄをパラレルに通過した後、バッファ部１７に入力される。

バッファ部１７は、Ａ／Ｄ変換回路１６ａ〜１６ｄからチャネル別に出力される各色の信号をラインバッファに取り込み、チャネルＣＨ１〜ＣＨ４の走査順の違いを並び替えて近傍する同色信号を揃え、レベル補正部１８に出力する。
レベル補正部１８は、バッファ部１７から得た近傍の同色信号をチャネル間で比較することで、被写体の高輝度箇所から生じるレベル差を抽出する。レベル補正部１８は、抽出したチャネル間のレベル差を画像信号中から低減することにより、尾引状ノイズの発生を抑制する。なお、このレベル補正部１８内には、補正情報テーブル１８ａが格納される。

レベル補正部１８で処理された走査出力は、信号処理部１９で所定の画像信号処理が施された後、記録部２０に記録される。
なお、電子カメラ１１には、システム制御用の制御部２１が搭載される。この制御部２１は、可変ゲインアンプ１５ａ〜１５ｄのゲイン設定（撮像感度）、レベル補正部１８、信号処理部１９、撮像素子１３、および記録部２０を制御する。

また、電子カメラ１１には、被写界を分割測光するための分割測光部２２が設けられる。例えば、一眼レフタイプの電子カメラ１１では、分割測光部２２をファインダ光学系側に設けて、ＴＴＬ測光を行うことが好ましい。また例えば、コンパクトタイプの電子カメラ１１では、分割測光部２２が、撮像素子１３からモニタ画像を取得し、そのモニタ画像から分割測光結果を求めることが好ましい。その他、外光式の分割測光部２２を設けてもよい。

［チャネルＣＨ１〜ＣＨ４の説明］
上述した撮像素子１３は、１画面分の画像信号を、奇数行からなる１フィールド目と、偶数行からなる２フィールド目に分けて読み出す。
図２は、この１フィールド目においてチャネルＣＨ１〜ＣＨ４から読み出される画像信号を示す図である。
この図２［Ａ］に示すように、チャネルＣＨ１からは、１，５，９・・列目に位置するＲ色の同色信号Ｒ１が、左向きの水平走査（副走査）と、上向きの垂直走査（主走査）を介して読み出される。
また、図２［Ｂ］に示すように、チャネルＣＨ２からは、３，７，１１・・列目に位置するＲ色の同色信号Ｒ２が、左向きの水平走査（副走査）と、下向きの垂直走査（主走査）を介して読み出される。
一方、図２［Ｃ］に示すように、チャネルＣＨ３からは、２，６，１０・・列目に位置するＧ色の同色信号Ｇ１が、右向きの水平走査（副走査）と、上向きの垂直走査（主走査）を介して読み出される。
また、図２［Ｄ］に示すように、チャネルＣＨ４からは、４，８，１２・・列目に位置するＧ色の同色信号Ｇ２が、右向きの水平走査（副走査）と、下向きの垂直走査（主走査）を介して読み出される。

図３は、２フィールド目においてチャネルＣＨ１〜ＣＨ４から読み出される画像信号を示す図である。
この図３［Ａ］に示すように、チャネルＣＨ１からは、２，６，１０・・列目に位置するＢ色の同色信号Ｂ１が、左向きの水平走査（副走査）と、上向きの垂直走査（主走査）を介して読み出される。
また、図３［Ｂ］に示すように、チャネルＣＨ２からは、４，８，１２・・列目に位置するＢ色の同色信号Ｂ２が、左向きの水平走査（副走査）と、下向きの垂直走査（主走査）を介して読み出される。
一方、図３［Ｃ］に示すように、チャネルＣＨ３からは、１，５，９・・列目に位置するＧ色の同色信号Ｇ３が、右向きの水平走査（副走査）と、上向きの垂直走査（主走査）を介して読み出される。
また、図３［Ｄ］に示すように、チャネルＣＨ４からは、３，７，１１・・列目に位置するＧ色の同色信号Ｇ４が、右向きの水平走査（副走査）と、下向きの垂直走査（主走査）を介して読み出される。

［尾引状ノイズについて］
一般に、撮像域内に過度な高輝度被写体が存在すると、その高輝度被写体を起点として、画像の主走査方向の逆向き（走査後方）に尾引状ノイズが現れる。一般的な撮像素子であれば、主走査方向が単一方向のため、この尾引状ノイズは高輝度被写体の片側に揃って発生する。
しかしながら、撮像素子１３は、上述したように同色信号を複数チャネルに分け、チャネル別に異なる主走査方向に読み出す。図４は、この主走査方向の違いを、撮像面の画素位置ごとに矢印で示した図である。すなわち、撮像素子１３では、撮像面の２画素列おきに主走査方向が１８０度入れ替わる。
図５は、この主走査方向の入れ替わりに伴う尾引状ノイズの発生状況を示す説明図である。高輝度被写体の画面上方には、信号Ｒ２，Ｇ２，Ｇ４，Ｂ２の画素列に尾引状ノイズが現れる。一方、高輝度被写体の画面下方には、信号Ｒ１，Ｇ１，Ｇ３，Ｂ１の画素列に尾引状ノイズが現れる。

［尾引状ノイズの除去処理について］
図６は、第１実施形態における尾引状ノイズの除去処理の流れを説明する図である。以下、図６に示すステップ番号に沿って、この動作を説明する。

ステップＳ１： 制御部２１は、分割測光部２２から被写界の分割測光結果を取り込む。

ステップＳ２： 制御部２１は、分割測光結果から、被写界内の高輝度部の輝度、その周辺輝度、撮像感度（可変ゲインアンプ１５ａ〜１５ｄのゲイン設定）を求める。制御部２１は、このように求めた被写界情報を、レベル補正部１８に伝達する。
レベル補正部１８内の補正情報テーブル１８ａには、図７，図８，図９に示すような、被写界情報と尾引状ノイズの尾引幅との対応関係が、実測データなどに基づいて記録されている。
レベル補正部１８は、分光測光結果などの被写界情報を、補正情報テーブル１８ａに照会することにより、尾引状ノイズの発生位置およびその尾引幅を求める。
さらに、レベル補正部１８は、図５に示した尾引状ノイズの発生規則に従って、尾引状ノイズの発生画素列の特定、およびその尾引きの発生方向を求める。

ステップＳ３： 制御部２１は、ユーザーのレリーズ操作などの対応して、撮像素子１３などを制御し、撮影動作を行う。

ステップＳ４： チャネルＣＨ１〜ＣＨ４ごとに並行処理される画像信号は、走査順が異なるために、近傍する同色信号（Ｒ１とＲ２，Ｇ１とＧ２，Ｂ１とＢ２，Ｇ３とＧ４）でありながら出力タイミングが異なる。そのため、このままでは、レベル補正部１８において近傍の同色信号を比較処理することができない。
バッファ部１７は、このチャネル別の同色信号（Ｒ１とＲ２，Ｇ１とＧ２，Ｂ１とＢ２，Ｇ３とＧ４）を内部のラインバッファに取り込むことで走査順の違いを揃え、近傍の同色信号を順次出力する。

ステップＳ５： レベル補正部１８は、バッファ部１７から出力される同色信号の画素位置が、ステップＳ２で推定した尾引状ノイズの発生領域に該当するか否かを判定する。
発生領域に該当しなければ、レベル補正部１８はステップＳ９に動作を移行する。
一方、発生領域に該当する場合、レベル補正部１８はステップＳ６に動作を移行する。

ステップＳ６： レベル補正部１８は、発生領域に位置する同色信号と、その近傍の別チャネルの同色信号とのレベル差を求める。
図１０は、このレベル差の求め方の一例を説明する図である。この図１０では、尾引状ノイズの発生領域に該当する同色信号Ｒ１と、その左右両側に位置する別チャネルの同色信号Ｒ２の平均値との差分からレベル差を求めている。
なお、処理を簡略化する場合には、同色信号Ｒ１とその左右いずれかの同色信号Ｒ２との差分を求めて、レベル差としてもよい。

ステップＳ７： レベル補正部１８は、求めたレベル差を尾引状ノイズの発生方向に平滑化して高域除去し、尾引状ノイズに該当する低域変動成分を抽出する。
図１１は、この平滑化処理の一例を示す図である。
ステップＳ６で求めたレベル差には、図１１［Ａ］に示すように、尾引状ノイズの他に、近傍間の画像情報の差異に起因する尾引方向の高域変動が含まれる。レベル補正部１８は、これらのレベル差を、ステップＳ２で求めた尾引幅に渡って平均化することで高域変動を除き、尾引状ノイズの平均信号レベルを求める。
レベル補正部１８は、この平均信号レベルおよび尾引幅を、予め定めておいた尾引状ノイズの波形（三角波形や指数関数波形など）に当てはめることにより、図１１［Ｂ］に示すような整形後のレベル差（尾引状ノイズに該当する低域変動成分）を求める。

ステップＳ８： レベル補正部１８は、発生領域の同色信号から、ステップＳ７で求めた整形後のレベル差を減算する。

ステップＳ９： レベル補正部１８は、ステップＳ２で求めた尾引状ノイズの発生領域について、処理を全て完了したか否かを判断する。
発生領域の処理がまだ残っている場合、レベル補正部１８はステップＳ４に動作を戻す。
発生領域の処理が全て完了した場合、レベル補正部１８はステップＳ１０に動作を移行する。

ステップＳ１０： 信号処理部１９は、レベル補正部１８で処理された画像信号に、色補間処理、階調変換処理、輪郭強調処理、彩度調整処理、色座標変換処理、および画像圧縮処理などを施す。これらの信号処理を完了した画像信号は、記録部２０によって記録媒体に保存される。

［第１実施形態の効果など］
以上説明したように、第１実施形態では、近傍の同色信号をチャネル間比較してレベル差を抽出する。さらに、このレベル差を尾引状ノイズの発生方向に平滑化することによって、尾引状ノイズとは無関係の高域変動成分を抑制し、尾引状ノイズのみを正確に抽出する。このように抽出された尾引状ノイズを、尾引状ノイズの発生画素列から減算する。この処理によって、一方のチャネルの走査後方に生じる尾引状の異常レベルを、別チャネルにおける走査前方の正常レベルに近づけることが可能になる。その結果、画像信号中の尾引状ノイズを正確に除去することが可能になる。

この場合、両チャネルに含まれる同相のグラデーションは、チャネル間のレベル差に含まれないため、レベル差の抑制処理によって画像本来のグラデーションが消失するおそれは少ない。

なお、第１実施形態では、分割測光結果から高輝度箇所を検出することで、尾引状ノイズの発生領域を求め、その発生領域に範囲限定して尾引状ノイズを除去する。この動作により、尾引状ノイズと無関係な領域への処理を防止することができる。

さらに、第１実施形態では、撮像感度を用いることで、尾引状ノイズの尾引幅を正確に推定する。その結果、尾引状ノイズの発生領域を一段と正確に求めることが可能になり、尾引状ノイズをより確実に除去することが可能になる。

《第２実施形態》
第２実施形態は、コンピュータ上において画像信号から尾引状ノイズを除去する実施形態である。
図１２は、コンピュータ（画像処理プログラム）の動作を示す流れ図である。以下、図１２に示すステップ番号に沿って、この動作を説明する。

ステップＳ２１： コンピュータは、画像信号を取り込む。コンピュータは、画像信号の付随情報（Exif情報など）に基づいて、画像信号を撮影した電子カメラについて情報を取得する。コンピュータは、この電子カメラの情報に基づいて、画像信号の画素単位の主走査方向を判断する。

ステップＳ２２： コンピュータは、画像信号の信号レベルと、走査方向のデータとに基づいて、尾引状ノイズの発生領域を推定する。
具体的には、高輝度（飽和輝度など）を示す高輝度部とその周辺輝度との輝度差を求め、その輝度差が、予め定められた閾値を超える境界ラインを求める。
次に、この境界ラインを起点として高輝度部の外側に向かう尾引状ノイズの尾引幅を、撮像感度、高輝度部の輝度値、周辺輝度値、輝度差、または主走査方向などから推定する。このような尾引幅の推定は、予め実験的に求めた対応テーブルを参照することによって簡易に行うことが好ましい。
このように求めた尾引幅の範囲内において、主走査方向の逆向き（走査後方）が高輝度部の外側に向かう画素群を尾引状ノイズの発生領域と推定する。

ステップＳ２３〜Ｓ２７： 第１実施形態のステップＳ５〜Ｓ９と同じ。
上述した動作により、第２実施形態においても、第１実施形態と同様の効果を得ることができる。

《実施形態の補足事項》
なお、上述した実施形態では、バッファ部１７（ラインバッファ）を用いて、ほぼリアルタイムに走査順の違いを揃えている。しかしながら、これに限定されるものではない。例えば、フィールド単位またはフレーム単位の画像メモリを用いて、走査順の違いを２次元的に揃えてもよい。

また、上述した実施形態では、図１０に示すように、フィールド単位に尾引状ノイズの除去処理を実施している。しかしながら、これに限定されるものではない。例えば、フレーム単位に尾引状ノイズの除去処理を実施してもよい。この場合、Ｇ色信号については、より近傍の同色信号をチャネル間比較できるため、より正確な尾引状ノイズの除去が可能になる。

なお、上述した実施形態では、ベイヤー配列の画像信号について説明した。しかしながら、これに限定されるものではない。本発明を、その他の色配列を有する単板式の画像信号に適用してもよい。さらに、本発明を、多板式の画像信号や色補間後の画像信号に適用することも可能である。

また、上述した実施形態では、同色信号のチャネル間比較によってレベル差を求め、そのレベル差から尾引状ノイズに該当する成分を求めて画像信号中の尾引状ノイズを除去している。しかしながら、これに限定されるものではない。例えば、同色信号のチャネル間比較において最小値、最大値、平均値、中間値、または代表値などを求める演算を行い、同色信号を演算結果に置き換えることにより、同色信号のチャネル間のレベル差を抑制してもよい。

なお、上述した第１実施形態では、分割測光結果に基づいて、尾引状ノイズの発生領域を推定している。しかしながら、これに限定されるものではない。例えば、画像信号の信号レベルに基づいて高輝度箇所を検出して尾引状ノイズの発生領域を推定してもよい。

また、上述した第２実施形態では、画像信号の信号レベルに基づいて、尾引状ノイズの発生領域を推定している。しかしながら、これに限定されるものではない。例えば、画像信号を撮影した際の分割測光結果に基づいて高輝度箇所を検出して尾引状ノイズの発生領域を推定してもよい。

以上説明したように、本発明は、電子カメラや画像処理プログラムなどに利用可能な技術である。

電子カメラ１１の構成を示すブロック図である。 １フィールド目におけるチャネルＣＨ１〜ＣＨ４の走査順を示す図である。 ２フィールド目におけるチャネルＣＨ１〜ＣＨ４の走査順を示す図である。 主走査方向の違いを、撮像面の画素単位に示した図である。 尾引状ノイズの発生規則を示す説明図である。 第１実施形態における尾引状ノイズの除去処理の流れを説明する図である。 補正情報テーブル１８ａのデータ例を示す図である。 補正情報テーブル１８ａのデータ例を示す図である。 補正情報テーブル１８ａのデータ例を示す図である。 チャネル間のレベル差算出を示す図である。 レベル差の平滑化処理の一例を示す図である。 コンピュータ（画像処理プログラム）の動作を示す流れ図である。

符号の説明

１１…電子カメラ，１２…撮影レンズ，１３…撮像素子，１４ａ〜１４ｄ…ＣＤＳ回路，１５ａ〜１５ｄ…可変ゲインアンプ，１６ａ〜１６ｄ…Ａ／Ｄ変換回路，１７…バッファ部，１８…レベル補正部，１８ａ…補正情報テーブル，１９…信号処理部，２０…記録部，２１…制御部，２２…分割測光部

Claims (5)

1. 撮像面の色配列に従って光電変換された画像信号の内、同色信号を複数チャネルに分け、チャネル別に異なる走査方向に読み出す撮像部と、
   前記撮像部からチャネル別に出力される前記同色信号を取り込み、前記チャネル間における走査順の違いを揃えて近傍の同色信号を得るバッファ部と、
   前記バッファ部から得た近傍の同色信号を前記チャネル間で比較することにより、高輝度箇所から尾引状に生じる前記チャネル間のレベル差を前記画像信号から抑制するレベル補正部と
   を備えたことを特徴とする電子カメラ。
2. 請求項１に記載の電子カメラにおいて、
   前記レベル補正部は、一方の前記チャネルの走査後方に生じる尾引状の異常レベルを、別の前記チャネルにおける走査前方の正常レベルに近づけることにより、前記レベル差を抑制する
   ことを特徴とする電子カメラ。
3. 請求項１または請求項２に記載の電子カメラにおいて、
   前記レベル補正部は、前記画像信号の信号レベルまたは測光情報に基づいて前記高輝度箇所を検出して尾引状ノイズの発生領域を求め、前記発生領域に範囲限定して前記レベル差を抑制する
   ことを特徴とする電子カメラ。
4. 請求項３に記載の電子カメラにおいて、
   前記レベル補正部は、前記撮像部の撮像感度から前記尾引状ノイズの尾引幅を推定し、前記尾引幅に範囲限定して前記レベル差を抑制する
   ことを特徴とする電子カメラ。
5. 撮像面の色配列に従って光電変換された画像信号の内、同色信号を複数チャネルに分け、チャネル別に異なる走査方向に読み出す電子カメラで生成される画像信号を処理するための画像処理プログラムであって、
   コンピュータを、
   前記画像信号を取り込む画像入力部と、
   前記画像入力部から得た近傍の同色信号を前記チャネル間で比較することにより、高輝度箇所から生じる前記チャネル間のレベル差を抑制するレベル補正部と
   して機能させるための画像処理プログラム。
   

Images