JP2006303774A

JP2006303774A - 撮像装置

Info

Publication number: JP2006303774A
Application number: JP2005120928A
Authority: JP
Inventors: Kazuhiro Haneda; 和寛羽田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2005-04-19
Filing date: 2005-04-19
Publication date: 2006-11-02

Abstract

【課題】撮像した光に含まれる偏向成分の影響を低減し、ホワイトバランスや色再現の劣化のない画像を、感度の低下を招くことなく撮像することができる撮像装置を提供する。
【解決手段】レベル検出部は、２つの緑の画像信号の輝度レベルを画素単位で検出し、検出結果をレベル補正制御部へ出力する。レベル補正制御部は、検出された輝度レベルの差に基づいて、対象画素の画像信号の輝度レベルを補正するか否かを判定し、判定結果および輝度レベルの情報をレベル補正部へ出力する。レベル補正制御部によって、輝度レベルを補正すると判定された場合、レベル補正部は、対象画素の緑の画像信号の輝度レベルを補正し、画像信号をノイズ低減部へ出力する。ノイズ低減部は、レベル補正部から出力された画像信号のノイズ低減処理を行い、処理後の画像信号を合成部へ出力する。合成部は、２つの画像信号を平均化した信号を生成する。
【選択図】図１

Description

本発明は、撮像光学系によって集光された光を、４つのチャンネルに色分解する色分解プリズムを備えた４板式の撮像装置に関する。

従来、ビームスプリッターを含む撮像光学系を用いた撮像装置として、４板式の撮像光学系を用いた撮像装置がある（例えば特許文献１参照）。色分解プリズムによって、被写体像が赤、緑、青の各色の像に分解され、さらに緑色像が、ビームスプリッターによって２つの光学像に分解され、４つの撮像素子によって、各々の光が光電変換され、４つの輝度信号が生成される。４つの撮像素子は、被写体像を基準として、各々の撮像素子の画素位置を空間的にずらす画素ずらしを行ってプリズムに固着されている。４つの輝度信号を合成することによって、より高精細度の画像を生成することができる。
特開平７―２５０３３２号公報

しかし、ビームスプリッターを含む撮像光学系を用いた撮像装置では、偏向した光を撮像した場合、ビームスプリッターで光が所望の分光比で分割されないという問題があった。特許文献１に記載の４板式の撮像装置のように、ビームスプリッターによって緑光を透過光と反射光の２つに分解する撮像装置においては、光の分割比を１：１とするようなビームスプリッターを用いても、撮像した光に偏向成分が含まれる場合、２つの緑光の分割比が均等にならずに変動してしまい、緑光を撮像した２つの撮像素子の出力レベルが揃わないため、それらを合成しても良好な画像が得られないという欠点が生じる。

また、一般的な撮影技法として、水面やガラス等の反射を取り除いたり、青空や樹葉の色彩の鮮やかさを強調したりするため、直線偏向タイプのPLフィルター等の偏向フィルターを、ビームスプリッターを含む撮像光学系を用いた撮像装置に装着して使用する場合がある。このような撮像装置にビームスプリッターを装着し、偏光成分を含む被写体を撮影すると、ビームスプリッターによって分割された２つの緑光の分割比が２倍以上に変動してしまうことがある。

また、偏向フィルターを回転させると、撮像した光の偏向成分が変化するため、それに連動して、２つの緑光の分割比も変動してしまう。２つの緑光の分割比が均等でないと、緑光を撮像して生成した２つの輝度信号には、当然レベル差が生じる。レベル差のある輝度信号を含む２つの緑画像同士を合成して緑の画像を生成すると、偏向光の大小に依存して、緑信号の輝度レベルが増減してしまう。この現象は、偏向フィルターを装着しない場合よりも、偏向フィルターを装着した場合の方がより顕著になる。これによって、１画面内で部分的に緑信号の輝度レベルが変動し、ホワイトバランスの崩れや色再現の悪化が画像ムラとして生じたり、緑の輝度レベルが支配的である撮像装置の感度を低下させたり等の悪影響を及ぼすという問題が生じる。

本発明は、上述した問題点に鑑みてなされたものであって、撮像した光に含まれる偏向成分の影響を低減し、ホワイトバランスや色再現の劣化のない画像を、感度の低下を招くことなく撮像することができる撮像装置を提供することを目的とする。

本発明は、上記の課題を解決するためになされたもので、請求項１に記載の発明は、被写体からの光を集光するレンズと、該レンズによって集光された光を、ダイクロイックミラーおよびビームスプリッターを用いて、１チャンネルの赤、第１のチャンネルの緑、第２のチャンネルの緑、１チャンネルの青の４つのチャンネルに色分解する色分解プリズムと、該色分解プリズムによって４つのチャンネルに分解された光によって形成される被写体像を光電変換する、前記被写体像に対して相互にずらした位置に画素が配列された４つの撮像素子とを備えた撮像装置において、前記第１のチャンネルの緑を光電変換する前記撮像素子、および前記第２のチャンネルの緑を光電変換する前記撮像素子から出力された画像信号の輝度レベルを検出する輝度レベル検出手段と、該輝度レベル検出手段によって検出された前記輝度レベルに基づいて、前記第１のチャンネルの緑の画像信号と前記第２のチャンネルの緑の画像信号のうち、少なくとも一方の画像信号の輝度レベルを補正する輝度レベル補正手段と、前記輝度レベル補正手段から出力された前記第１のチャンネルの緑の画像信号と前記第２のチャンネルの緑の画像信号を合成して、１つのチャンネルの緑の画像信号とする信号合成手段とを有することを特徴とする撮像装置である。

請求項２に記載の発明は、請求項１に記載の撮像装置において、前記輝度レベル補正手段は、前記第１のチャンネルの緑と前記第２のチャンネルの緑の前記画像信号において、対応する画素毎に輝度レベルを比較して、前記輝度レベルを補正することを特徴とする。

請求項３に記載の発明は、請求項１または請求項２に記載の撮像装置において、前記輝度レベル補正手段は、前記第１のチャンネルの緑と前記第２のチャンネルの緑の前記画像信号の輝度レベルを比較して、両者の輝度レベルを同じレベルに補正することを特徴とする。

請求項４に記載の発明は、請求項３に記載の撮像装置において、前記輝度レベル補正手段は、前記第１のチャンネルの緑と前記第２のチャンネルの緑の前記画像信号の輝度レベルを比較して、輝度レベルの小さい方のチャンネルの前記画像信号を増幅して、輝度レベルの大きい方のチャンネルの前記画像信号と同じレベルに補正することを特徴とする。

請求項５に記載の発明は、請求項１〜請求項４のいずれかの項に記載の撮像装置において、前記輝度レベル補正手段によって補正された前記画像信号のノイズ低減処理を行うノイズ低減手段をさらに有することを特徴とする。

請求項６に記載の発明は、請求項５に記載の撮像装置において、前記ノイズ低減手段は、前記ノイズ低減処理を行う対象画素と水平方向に隣接する２画素、および前記対象画素と垂直方向に隣接する２画素の合計４画素の前記画像信号と前記対象画素の前記画像信号とを用いて輝度レベルの加算平均処理を行うことを特徴とする。

本発明によれば、２つのチャンネルの緑の画像信号の輝度レベルを検出し、検出した輝度レベルに基づいて、２つのチャンネルの緑の画像信号のうち、少なくとも一方の輝度レベルを補正し、２つのチャンネルの緑の画像信号を合成し、１つのチャンネルの緑の画像信号とするようにしたので、撮像した光に含まれる偏向成分の影響を低減し、ホワイトバランスや色再現の劣化の無い画像を、感度の低下を招くことなく撮像することができるという効果が得られる。

以下、図面を参照し、本発明を実施するための最良の形態について説明する。図１は、本発明の一実施形態による撮像装置が備える４板式の撮像光学系の構成を示している。図１において、レンズ１は、図示せぬ被写体からの光を集光する。レンズ１によって集光された光は色分解プリズム２に入射する。色分解プリズム２はダイクロイックミラーおよびビームスプリッターを備えている。色分解プリズム２に入射された光は、ダイクロイックミラーによって赤（Ｒ）、緑（Ｇ）、青（Ｂ）の成分に色分解される。

色分解された光のうち緑成分の光は、色分解プリズム２に含まれるビームスプリッターによって、透過光と反射光の２つの緑成分の光（Ｇ１）、（Ｇ２）に分解される。本実施形態ではビームスプリッターによる２つの緑光の分割比は１：１であるものとする。被写体像を形成する、分解された赤（１チャンネルの赤）、緑（第１のチャンネルの緑および第２のチャンネルの緑）、および青（１チャンネルの青）の光は、それぞれ対応したＲ用の撮像素子３Ａ、Ｇ１用の撮像素子３Ｂ、Ｇ２用の撮像素子３Ｃ、Ｂ用の撮像素子３Ｄに入射する。

撮像素子３Ａ、３Ｂ、３Ｃ、３Ｄは、入射された光を、光電変換によって電気信号に変換する。撮像素子３Ａ、３Ｂ、３Ｃ、３Ｄの画素は、図３（ａ）、（ｂ）、（ｃ）、（ｄ）に示されるように、水平方向の画素ピッチがPx、垂直方向の画素ピッチがPyの画素配列で構成されている。各撮像素子は、図３（ｅ）に示されるように、同一の被写体像に対して、各撮像素子間で相対的に画素が、水平方向に１／２Pxピッチ、または／および垂直方向に１／２Pyピッチずらされた位置に配列されるように、各撮像素子の撮像位置がずらされて、色分解プリズム２に対して固着されている。

図３（ｅ）に示される画素配列で被写体からの光を撮像し、画像を生成することによって、画素ずらしを行わない場合よりも、水平・垂直の両方向でより高精細な画像を得ることができる。なお、４つの撮像素子の空間的位置をずらして構成される図３（ｅ）の配列は１例であり、空間的な画素の位置や配列はこれに限定されるものではない。本実施形態では図３（ｅ）に示されるパターンの画素配列を例として、信号処理の内容を説明する。

図２は、本実施形態による撮像装置の機能構成を示している。図２において、偏向フィルター１２はPLフィルター等の偏向フィルターであり、主に水面やガラス等の反射を取り除いたり、青空や樹葉の色彩の鮮やかさを強調したりする場合に用いられる。偏向フィルター１２を透過した光はレンズ１によって集光され、色分解プリズム２に入射する。色分解プリズム２は、前述したように、入射された光をＲ、Ｇ１、Ｇ２、Ｂの４つの色に色分解する。色分解プリズム２によって色分解された光は、各色に対応した撮像素子３Ａ、３Ｂ、３Ｃ、３Ｄに入射し、電気信号に変換される。信号処理部４は撮像素子３Ａ、３Ｂ、３Ｃ、３Ｄから出力された画像信号に対してノイズ除去等の適正なアナログ処理を行い、図示しないA／D変換機によりデジタル信号に変換する。

補間部５は、信号処理部４によって処理されたＲ，Ｇ１，Ｇ２，Ｂの４つの画像信号に対して、図３（ｅ）で示されるベイヤー配列の画像となるように、画素の配列変換を行った後、ベイヤー配列の画像の各画素の色情報を補間する処理を行う。具体的にはＲ、Ｇ１、Ｇ２、Ｂの各画像において、隣接する画素の信号から推測して得られた値をその画素と画素の間の信号とする補間処理が行われる。そして、補間処理によって、図４（ａ）、（ｂ）、（ｃ）、（ｄ）で示される４つの画像に対応した画像信号が生成される。

レベル検出部６は補間部５の出力信号のうち、図４（ｂ）および（ｃ）で示されるＧ１，Ｇ２の２つの信号の輝度レベルを画素単位で検出し、検出結果をレベル補正制御部１１へ出力する。入射した光に偏向成分が含まれている場合、Ｇ１およびＧ２の信号において、同じ撮像位置にある２つの画素に対応する信号の輝度レベルの差は、偏向フィルター１２として、特に直線偏向タイプの偏向フィルターが装着された場合に大きくなる。

レベル補正制御部１１は、レベル検出部６、レベル補正部７、およびノイズ低減部８を制御する。まず、レベル補正制御部１１は、レベル検出部６によって検出されたＧ１，Ｇ２の画像信号の輝度レベルの差に基づいて、対象画素の画像信号の輝度レベルを補正するか否かを判定する。例えば、輝度レベルの差が所定値以上であった場合には、レベル補正制御部１１は、輝度レベルの補正を行うと判定し、輝度レベルの差が所定値未満であった場合には、レベル補正制御部１１は、輝度レベルの補正を行わないと判定する。輝度レベルの差を検出することによって、対象画素の信号が、偏向光によって影響を受けているか否かが分かる。レベル補正制御部１１は判定結果および輝度レベルの情報をレベル補正部７へ出力する。

レベル補正部７は、レベル補正制御部１１による判定の結果に基づいた処理を行う。レベル補正制御部１１によって、輝度レベルを補正すると判定された場合、レベル補正部７は、Ｇ１およびＧ２の対象画素の画像信号を用いて、輝度レベルの補正を行い、画像信号をノイズ低減部８へ出力する。また、レベル補正制御部１１によって、輝度レベルを補正しないと判定された場合、レベル補正部７は輝度レベルを補正せずに、Ｇ１およびＧ２の対象画素の画像信号をノイズ低減部８へ出力する。

この輝度レベルの補正の際、レベル補正部７は、レベル検出部６によって検出された２つの画像信号の輝度レベルを比較し、輝度レベルの小さい画素の信号レベルを増幅して、輝度レベルの大きい画素の信号レベルに揃える。また、レベル補正部７は、輝度レベルの補正の際の情報（例えば増幅前の輝度レベルと増幅後の輝度レベルの比である増幅率等）をレベル補正制御部１１へ出力する。なお、輝度レベルの補正の方法はこれに限定されず、例えば輝度レベルの大きい画素の信号レベルを、輝度レベルの小さい画素の信号レベルに揃えるようにしたり、両者の信号レベルをそれらの間のレベル（平均レベル等）に揃えるようにしたりしてもよい。

輝度レベルの小さい画素では、信号を増幅することにより、ノイズ成分も増幅されてしまうため、増幅した画素の信号に対してはノイズ低減処理が行われる。レベル補正制御部１１は、ノイズ低減部８に対して、対象画素の画像信号のノイズ低減処理を行うか否かを指示する情報をノイズ低減部８へ出力する。レベル補正制御部１１によって、ノイズ低減処理を行うことが指示された場合に、ノイズ低減部８は、レベル補正部７から出力された画像信号のノイズ低減処理を行い、処理後の画像信号を合成部９へ出力する。また、レベル補正制御部１１によって、ノイズ低減処理を行わないことが指示された場合に、ノイズ低減部８は、レベル補正部７から出力された画像信号をそのまま合成部９へ出力する。

ノイズ低減処理は、例えば周辺画素を用いて加算平均化処理を行うローパスフィルター処理であり、増幅率が大きくなるに伴って信号の高周波成分を大きく減衰させるような、ローパス効果の大きいローパスフィルター処理が行われる。具体的には図５（ａ）および（ｂ）に示されるように、ノイズ低減処理の対象画素と水平方向に隣接する２画素と、対象画素と垂直方向に隣接する２画素との合計４画素の画像信号と対象画素の画像信号とを用いて、加算平均処理が行われる。

図５（ａ）および（ｂ）において、画素中に記載された数値は、加算平均処理に用いられる係数を示している。例えば、図５（ａ）においては、ノイズ低減処理の対象画素の画像信号の輝度レベルが５／９倍され、その周辺４画素の画像信号の輝度レベルがそれぞれ１／９倍されて加算される。加算平均処理で使われる係数は、複数種類の中からノイズの増幅率（すなわち輝度レベルの補正の際の信号の増幅率）に応じて、レベル補正制御部１１が選択し、切り替えを行う。このノイズ低減処理によって、輝度レベルの小さい画素の信号レベルと輝度レベルの大きい画素の信号レベルを揃えるために、輝度レベルの小さい画素の信号レベルを増幅した場合でも、増幅した信号におけるノイズ成分の増幅を抑えることができる。そして、偏向光を撮像して２つの輝度レベルに予期しないレベル差が生じたときでも、上記のようにレベル差を補正すると共に、ノイズによる画質劣化を最小限にすることが可能となる。

合成部９にはノイズ低減部８によって輝度レベルが揃えられたＧ１およびＧ２の信号が入力される。合成部９は、それらを平均化したＧ信号を生成し、画像処理部１０へ出力する。画像処理部１０は、Ｒ、Ｇ、Ｂの画像信号を用いて、ホワイトバランスを調整したり、階調特性を表示系に最適化させるための補正を行ったり、色や輪郭を強調したりといった、画像の見栄えを向上させるための各種画像処理を行う。

なお、本実施形態では、直線偏向タイプ等の偏向フィルターが撮像装置に装着されているが、偏向フィルターが装着されていなくてもよい。偏向フィルターが装着されていない場合でも、偏向成分を含んだ光を撮像したときには、前述した課題を解決することができる。

上述したように、本実施形態による撮像装置は、２つのチャンネルの緑の画像信号の輝度レベルを検出し、検出した輝度レベルに基づいて、２つのチャンネルの緑の画像信号のうち、少なくとも一方の輝度レベルを補正し、２つのチャンネルの緑の画像信号を合成し、１つのチャンネルの緑の画像信号とする。これによって、２つの緑の画像信号の輝度レベルが等しくなるので、撮像した光に含まれる偏向成分の影響による輝度レベルの変動を低減することができる。したがって、偏向光が含まれる被写体像を撮像したり、偏向フィルターを使用して被写体像を撮像したりした場合においても、ホワイトバランスや色再現の劣化の無い画像を、感度の低下を招くことなく撮像することができる。

また、本実施形態による撮像装置は、補正を行った画像信号のノイズ低減処理を行っている。これによって、画像信号の輝度レベルを補正するため、輝度レベルを増幅した場合でも、増幅した画像信号に含まれるノイズ成分の増幅を抑え、ノイズによる画質劣化を最小限にすることができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明の一実施形態による撮像装置が備える４板式の撮像光学系の構成を示す構成図である。同実施形態による撮像装置の機能構成を示すブロック図である。同実施形態による撮像装置が備える４つの撮像素子の撮像位置の関係を示す参考図である。同実施形態において、ベイヤー配列画像に対して、補間処理を行った後の画像を示す参考図である。同実施形態におけるノイズ低減処理を説明するための参考図である。

符号の説明

１・・・レンズ、２・・・プリズム、３Ａ，３Ｂ，３Ｃ，３Ｄ・・・撮像素子、４・・・信号処理部、５・・・補間部、６・・・レベル検出部、７・・・レベル補正部、８・・・ノイズ低減部、９・・・合成部、１０・・・画像処理部、１１・・・レベル補正制御部、１２・・・偏向フィルター

Claims

被写体からの光を集光するレンズと、
該レンズによって集光された光を、ダイクロイックミラーおよびビームスプリッターを用いて、１チャンネルの赤、第１のチャンネルの緑、第２のチャンネルの緑、１チャンネルの青の４つのチャンネルに色分解する色分解プリズムと、
該色分解プリズムによって４つのチャンネルに分解された光によって形成される被写体像を光電変換する、前記被写体像に対して相互にずらした位置に画素が配列された４つの撮像素子と、
を備えた撮像装置において、
前記第１のチャンネルの緑を光電変換する前記撮像素子、および前記第２のチャンネルの緑を光電変換する前記撮像素子から出力された画像信号の輝度レベルを検出する輝度レベル検出手段と、
該輝度レベル検出手段によって検出された前記輝度レベルに基づいて、前記第１のチャンネルの緑の画像信号と前記第２のチャンネルの緑の画像信号のうち、少なくとも一方の画像信号の輝度レベルを補正する輝度レベル補正手段と、
前記輝度レベル補正手段から出力された前記第１のチャンネルの緑の画像信号と前記第２のチャンネルの緑の画像信号を合成して、１つのチャンネルの緑の画像信号とする信号合成手段と、
を有することを特徴とする撮像装置。
前記輝度レベル補正手段は、前記第１のチャンネルの緑と前記第２のチャンネルの緑の前記画像信号において、対応する画素毎に輝度レベルを比較して、前記輝度レベルを補正することを特徴とする請求項１に記載の撮像装置。
前記輝度レベル補正手段は、前記第１のチャンネルの緑と前記第２のチャンネルの緑の前記画像信号の輝度レベルを比較して、両者の輝度レベルを同じレベルに補正することを特徴とする請求項１または請求項２に記載の撮像装置。
前記輝度レベル補正手段は、前記第１のチャンネルの緑と前記第２のチャンネルの緑の前記画像信号の輝度レベルを比較して、輝度レベルの小さい方のチャンネルの前記画像信号を増幅して、輝度レベルの大きい方のチャンネルの前記画像信号と同じレベルに補正することを特徴とする請求項３に記載の撮像装置。
前記輝度レベル補正手段によって補正された前記画像信号のノイズ低減処理を行うノイズ低減手段をさらに有することを特徴とする請求項１〜請求項４のいずれかの項に記載の撮像装置。
前記ノイズ低減手段は、前記ノイズ低減処理を行う対象画素と水平方向に隣接する２画素、および前記対象画素と垂直方向に隣接する２画素の合計４画素の前記画像信号と前記対象画素の前記画像信号とを用いて輝度レベルの加算平均処理を行うことを特徴とする請求項５に記載の撮像装置。