JP2005167896A - 画像信号処理装置及び画像信号処理方法 - Google Patents

Abstract

【課題】レンズの色収差が大きい場合に、被写体には色の変化が無いにも関わらず、色収差により色の変化が発生してしまい、解像度が劣化してしまう。
【解決手段】第１のアパーチャ補正信号生成手段１５、１６、１９、２０は、複数の色信号の全てに対して演算を施して、アパーチャ補正信号を生成する。第２のアパーチャ補正信号生成手段１７、１８、２１、２２は、複数の色信号のうちのいずれかに対して演算を施して、第２のアパーチャ補正信号を生成する。色収差量取得手段２８は、レンズ３４の色収差量を検出または推定する。適応加算手段２７は、第１のアパーチャ補正信号と第２のアパーチャ補正信号とを、色収差量取得手段２８で取得された色収差量に応じた割合で加算する。さらに、加算手段２５は、輝度信号に、適応加算手段２７で得られた信号を加算する。
【選択図】図１

Description

本発明は、ディジタルスチルカメラやムービー等に用いられる画像信号処理装置及び画像信号処理方法に関する。さらに具体的には、水平方向の第１ラインにはレッド、グリーンの順で色フィルタが交互配列され、第２ラインにはグリーン、ブルーの順で色フィルタが交互配列される水平２画素、垂直２画素繰り返しの原色フィルタ配列を備えた撮像素子で得られる信号から高精細な輝度信号を生成する画像信号処理装置及び画像信号処理方法に関する。

ディジタルスチルカメラやムービーなどにおいては、ＣＣＤ（Ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）等の撮像素子が用いられている。撮像素子の表面には、カラー化のために画素毎に所定の繰り返しパターンを持つ色フィルタが装着されている。この色フィルタとしては様々なものが知られているが、広く使用されているものの１つに、図２に示すような水平方向の第１ラインにはレッド、グリーンの順で色フィルタが交互配列され、第２ラインにはグリーン、ブルーの順で色フィルタが交互配列される水平２画素、垂直２画素繰り返しの原色フィルタ配列がある。以下、このフィルタ配列を原色ベイヤー配列と呼ぶ。

原色ベイヤ−配列の色フィルタを備えた撮像素子出力から輝度信号を生成する方法としては、例えば縦２×横２のレッド、グリーン、ブルー信号を加算する方法があるが、この方法では色が変化しているエッジ部で偽信号が発生するという課題があった。

別の方法としては、輝度の低周波成分は縦４×横４程度の比較的広い範囲でのＲＧＢ各信号の加重平均化処理即ちローパスフィルタ処理により得る一方で、Ｇ信号の存在しない画素位置におけるＧ信号を、周囲のＧ信号の相関を見て補間することで得て、前記補間されたＧ信号の高域成分をＲＧＢ信号のローパスフィルタ処理により求めた低周波成分に加算することで、高解像な輝度信号を得る方法が知られている（例えば、特許文献１、２参照。）。

この方法では、ＲＧＢ全て使用した場合に発生する色エッジにおける偽信号はローパスフィルタ処理により抑圧されるため、色エッジにおける偽信号の無い輝度信号が得られる一方で、高域成分がＧ信号のみにより生成されることになるため、特に斜め方向のサンプリング間隔が、撮像素子の斜め方向の画素ピッチの２倍になってしまい、斜め方向の解像度が劣化するという課題があった。

これらの課題の解決する方法として、色エッジで適応的にローパスフィルタ処理を行う方法がある。図７は、色エッジで適応的にローパスフィルタ処理を行う輝度信号生成装置のブロック図である。以下、本装置について簡単に説明する。

撮像素子１０は、図２に示すような原色ベイヤー配列色フィルタを表面に備えたＣＣＤであり、被写体からの入射光を光電変換して各色信号として出力する。撮像素子１０の出力はＡ／Ｄ変換手段１１でデジタル信号に変換され、適応フィルタ処理部１２へ入力される。適応フィルタ処理部１２は輝度変化検出処理部３１と色変化検出処理部３２と適応ＬＰＦ処理部３０で構成されており、Ａ／Ｄ変換手段１１の出力はそれぞれに入力される。図８は輝度変化検出処理部において為されるフィルタ処理のタップ係数を示した図であり、図中の四角がＣＣＤの１画素に対応しており、図示した縦４×横４画素の中心位置が処理中の画素位置である。（ａ）は、処理中の画素位置の左上、右下にＧ信号が存在する場合のフィルタ係数であり、（ｂ）は処理中の画素位置の右上、左下にＧ信号が存在する場合のフィルタ係数である。（ａ），（ｂ）のフィルタ処理により、処理中の画素位置における輝度の高周波成分の、Ｒ，Ｂ信号に起因する成分を検出している。

図９は色変化検出部３２において為されるフィルタ処理のタップ係数を示した図であり、図示した縦４×横８画素の中心位置が処理中の画素位置である。（ａ），（ｃ）は処理中の画素位置の左上、右下にＧ信号が存在する場合のフィルタ係数であり、（ｂ），（ｄ）は、は処理中の画素位置の右上、左下にＧ信号が存在する場合のフィルタ係数である。（ａ），（ｃ）又は（ｂ），（ｄ）のフィルタ処理結果のうち、絶対値の大きい信号の絶対値が色変化検出手段から出力される。

図１０は適応ＬＰＦ処理部３０において為されるフィルタ処理の係数を示したものである。適応ＬＰＦ処理部３０では、輝度変化検出処理部３１の出力ｉｎと色変化検出処理部３２の出力ｔｈに従って、フィルタ処理の係数が変化する。

即ち、２×ｔｈ＜｜ｉｎ｜である場合は、図１０（ａ）のフィルタ処理が為され、｜ｉｎ｜＜＝ｔｈの場合には、図１０（ｄ）又は（ｅ）のフィルタ処理が為される。（ｄ）は処理中の画素位置の左上、右下にＧ信号が存在する場合のフィルタ処理係数であり、（ｅ）は処理中の画素の右上、左下にＧ信号が存在する場合のフィルタ係数である。色の変化が無い部分では、２×ｔｈ＜｜ｉｎ｜となり、Ｒ、Ｂ信号に対してローパスフィルタ処理の為されない高解像な信号が出力され、色の変化が有る部分では、｜ｉｎ｜＜＝ｔｈとなり、Ｒ，Ｂ信号に対してローパスフィルタ処理が為され、色エッジでの偽輝度信号が抑圧された信号が出力される。

以上の動作により、図７の方法では、色の変化が無い部分では縦２×横２のレッド、グリーン、ブルー信号の加算により輝度信号を生成し、色の変化のある部分では、偽信号の原因となっているＲ，Ｂ信号について、縦４×横４の範囲での適応ローパスフィルタ処理を行うことにより偽信号の発生を抑えている。

この方法は、色の変化の無い部分では、ＲＧＢ信号全て使用するため、斜め方向にも高解像な画像を得ることが出来る。
特開２０００−１６５８９２号公報 特開２０００−１６５８９３号公報

しかし、図７の方法では、特に、レンズの色収差が大きい場合に、被写体には色の変化が無いにも関わらず、色収差により色の変化が発生してしまい、解像度が劣化してしまうという課題があった。

これらの課題を解決するために、本発明（請求項１）の画像信号処理装置は、撮像素子、輝度信号生成手段、第１のアパーチャ補正信号生成手段、第２のアパーチャ補正信号生成手段、色収差量取得手段、適応加算手段および加算手段を備える。

ここで、撮像素子は、複数の色フィルタを有するカラーフィルタを備え、レンズを通過した入射光を光電変換して、複数の色フィルタのそれぞれに対応する複数の色信号を生成する。輝度信号生成手段は、生成された色信号から輝度信号を生成する。第１のアパーチャ補正信号生成手段は、複数の色信号の全てに対して演算を施して、第１のアパーチャ補正信号を生成する。第２のアパーチャ補正信号生成手段は、複数の色信号のうちのいずれかに対して演算を施して、第２のアパーチャ補正信号を生成する。色収差量取得手段は、レンズの色収差量を検出または推定する。適応加算手段は、第１のアパーチャ補正信号と第２のアパーチャ補正信号とを、色収差量取得手段で取得された色収差量に応じた割合で加算する。さらに、加算手段は、輝度信号に、適応加算手段で得られた信号を加算する。

また、本発明（請求項２）の画像信号処理装置は、請求項１記載の画像信号処理装置において、カラーフィルタは原色ベイヤー配列のフィルタであり、第２のアパーチャ補正信号生成手段は、グリーン信号に対して演算を施すことを特徴とする。

本発明の画像信号処理装置及び画像信号処理方法は、色収差の発生状況に応じて輝度の高周波成分の生成方法を変えるため、色収差による解像度劣化を最小に抑えつつ、偽信号の発生の少ない高解像な画像を得ることが出来る。

（実施の形態）
本発明の実施の形態にかかる画像信号処理装置は、第１のアパーチャ補正信号と第２のアパーチャ補正信号とを、レンズの色収差量に応じた割合で加算する。そして、さらにそれを輝度信号に加算することにより、色収差による解像度の低下を抑制しつつ、高解像度化を図るものである。ここで、第１のアパーチャ補正信号は、撮像素子１０で生成した複数の色信号の全てに対して演算処理を施すことにより、生成される信号である。これに対して、第２のアパーチャ補正信号は、撮像素子１０で生成した複数の色信号のうちのいずれかに対して演算処理を施すことにより、生成される信号である。以下、本発明の実施の形態にかかる画像信号処理装置について、図１〜図６を用いて説明する。

図１は、本発明の実施の形態にかかる画像信号処理装置の構成を示すブロック図である。撮像素子１０は、複数の色フィルタを有するカラーフィルタを備える。撮像素子１０は、レンズを通過した入射光を光電変換する。撮像素子１０は、複数の色フィルタのそれぞれに対応する複数の色信号を生成する。１１はＡ／Ｄ変換手段である。適応フィルタ手段１２は、輝度信号生成手段を構成する。適応フィルタ手段１２は、撮像素子１０で生成された色信号から輝度信号を生成する。

また、１３はＧ信号抽出手段、１４はローパスフィルタ手段である。また、１５は水平方向ハイパスフィルタ、１６は垂直方向ハイパスフィルタ、１９、２０はゲイン調整手段、２３は加算手段であり、第１のアパーチャ補正信号生成手段を構成する。また、１７は水平方向ハイパスフィルタ、１８は垂直方向ハイパスフィルタ、２１、２２はゲイン調整手段、２４は加算手段であり、第２のアパーチャ補正信号生成手段を構成する。これらの構成による第２のアパーチャ補正信号生成手段は、撮像素子１０で生成された複数の色信号のうちのいずれかに対して（本実施の形態ではＧ信号に対して）演算を施して、第２のアパーチャ補正信号を生成する。また、４０は同期信号発生手段、４１は撮像素子駆動手段、２９は座標演算手段、３４はズームレンズ、３３はレンズ駆動手段である。また、４２はマイコンであり、システム全体の動作を制御する。また、２８は収差量演算手段であり、マイコンと供に色収差量取得手段を構成する。収差量演算手段２８は、ズームレンズ３４を含むレンズの色収差量を取得する。

以下、本実施例の動作を説明する。なお、以下の説明において色収差と記したものは倍率色収差を示す。ズームレンズ３４を通過した光は撮像素子１０へ入射され、光電変換される。撮像素子１０は表面に図２に示す配列の原色ベイヤー配列色フィルタを備えており、フィルタの色に応じたレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）の色信号を水平１ラインづつ出力する。撮像素子１０の出力信号はＡ／Ｄ変換器２にてデジタル化され、適応フィルタ手段１２及びＧ信号抽出手段１２に入力される。

適応フィルタ手段１２は、図７で示した従来例と同様の構成になっており、ＲＧＢ全ての信号を用いた輝度信号が生成され、水平ハイパスフィルタ手段１５、垂直ハイパスフィルタ手段１６へ出力される。

水平ハイパスフィルタ手段１５では、水平方向の高周波成分が抜き出され、出力される。
垂直ハイパスフィルタ手段１６では、垂直方向の高周波成分が抜き出され、出力される。水平ハイパスフィルタ手段１５、垂直フィルタ手段１６の出力は、ゲイン調整手段１９、２０でそれぞれゲイン調整された後、加算手段２３にて加算され、適応加算手段２７へ出力される。

Ｇ信号抽出手段１３では、入力されたＲＧＢ信号のうち、Ｇ信号以外を０で置き換えて、ローパスフィルタ手段１４へ出力する。ローパスフィルタ手段１４は入力された画素信号のうち、縦２×横２画素の範囲の信号の加算平均値を演算し、出力する。

図３はローパスフィルタ手段１４の出力において、ＣＣＤ出力信号に対して為されているフィルタ処理の係数を示した図であり、処理中の画素位置の右上、左下の画素がＧ信号の場合は（ａ）、処理中の画素位置の左上、右下の画素がＧ信号の場合は（ｂ）のフィルタ処理が為される。ローパスフィルタ手段１４の出力は、水平ハイパスフィルタ手段１７、垂直ハイパスフィルタ手段１８へ入力される。水平ハイパスフィルタ手段１７では、水平方向の高周波成分が抜き出され、出力される。垂直ハイパスフィルタ手段１８では、垂直方向の高周波成分が抜き出され、出力される。水平ハイパスフィルタ手段１７、垂直フィルタ手段１８の出力は、ゲイン調整手段２１、２２でそれぞれゲイン調整された後、加算手段２４にて加算され、適応加算手段２７へ出力される。

同期信号生成手段４０では、撮像素子の動作の基準となる水平同期信号、垂直同期信号が生成され、撮像素子駆動手段４１、座標演算手段２９へ出力される。撮像素子駆動手段４１は水平同期信号、垂直同期信号に基づいて、撮像素子の駆動信号を生成し、撮像素子を駆動している。

座標演算手段２９は水平同期信号、垂直同期信号を基に、処理中の画素の座標を演算する。例えば、水平同期信号でリセットされ、システムクロックをカウントするカウンタにより、水平方向の座標を演算し、垂直同期信号でリセットされ、水平同期信号の立ち上がりエッジをカウントするカウンタによって、垂直方向の座標を演算する。

また、マイコン４２はレンズ駆動手段３３を介してズームレンズ３４を制御し、ズーム倍率の調整を行う一方で、ズーム倍率に対応した収差量を示す情報を内部又は外部の参照可能なメモリに保持しており、現在のズーム位置に応じて発生している収差の大きさを示す情報を収差量演算手段２８へ出力する。

図５は、マイコンが参照するズーム倍率に対応した収差量を示す情報の例であり、横軸がズーム倍率、縦軸が収差の大きさを示す情報である。通常、ズームレンズで発生する色収差は、ワイド端からテレ端までの間の何処かで最小となり、その倍率から離れる程大きくなるのが一般的であり、その場合図５のような形状になる。収差量演算手段２８は、座標情報及び、収差の大きさを示す情報を基に、現在処理中の画素位置の収差量を演算する。

図４は収差量演算手段２８における入出力信号の関係を示す図であり、例えば（数１）の様に演算される。

ｋ ＝ ＭＩＮ（ｒ×ｄ，１）；
ｒ ＝ ＳＱＲＴ（（ｘ−ＣＸ）〜２＋（ｙ−ＣＹ）＾２） （数１）
ただし、ＭＩＮ（ａ，ｂ）はａとｂの小さい方を選択する関数であり、ＳＱＲＴ（ａ）はａの平方根の絶対値を演算する関数とする。

また、ＣＸ、ＣＹはレンズの光軸の中心に対応する座標である。また、ｒは、光軸中心からの距離を示す情報である。

以上の演算により、収差量演算手段２８の出力ｋにはレンズの光軸の中心から離れる程大きな値となり、また、収差が大きく現れるズーム倍率であるほど大きな値が得られる。
適応加算手段２７は、加算手段２３の出力ａと加算手段２４の出力ｂと収差量演算手段２８の出力ｋが入力され、（数２）の演算を行う。

ｏｕｔ ＝ ａ×（１−ｋ） ＋ ｂ×ｋ （数２）
適応加算手段２７の出力は、加算手段２５に入力され、適応フィルタ手段１２の出力信号に加算された後、輝度信号出力端子４３へ出力される。

以上の動作により、色収差が小さい部分では、ＲＧＢ全て使用して生成された高周波成分が使用されるため、斜め方向にも解像度の高い輝度信号が得られる。また、色収差が大きい部分では、Ｇ信号のみを使用して生成された高周波成分が使用されるため、色収差に起因するノイズの影響の少ない輝度信号が得られる。

なお、本実施例においては、ＲＧＢ全て使用して輝度信号を生成する手段として、図７に示した適応フィルタ手段を用いたが、例えば処理中の画素位置の周辺縦４ｘ横４画素程度に、図６に示すような係数の加重平均演算即ちローパスフィルタ処理を行って生成してもよい。その場合、色エッジ部で多少のノイズが発生するが、処理が容易なため、ローコスト又は高速な処理が可能になる。

また、本実施例においては、Ｇ信号のみを使用して生成するアパーチャ補正信号生成手段の入力信号を、図３に示す様な、処理中の画素位置周辺の縦２×横２画素内のＧ信号の加算平均により生成したが、Ｇ信号の相関を見てＧ信号が無い位置の内挿演算を行って生成しても良い。その場合は、特に水平・垂直方向に解像度の高い信号が得られる。

また、本実施例においては、ズーム倍率や座標情報から収差量を演算したが、撮像素子出力信号から収差量を推定するようにしても良い。収差量を推定する場合は、たとえばＧ信号とＲ信号の画素相関を、一方の信号をごくわずかずつシフトさせながらとり、これら信号間の相互相関関数を計算し、この相互相関の最大値を与えるシフト量を収差量として検出する。これらの方法で撮像素子出力信号から検出した収差量から得た信号で、収差量演算手段２８の出力結果を代用しても構わない。これらの方法によると、収差量は例えば水平・垂直方向の画素数単位で得られるので、水平方向の収差量ｄｘ、垂直方向の収差量ｄｙとすると、収差量演算手段２８の出力ｋは例えば（数３）の演算で得られる信号で代用出来る。

ｋ ＝ ＭＩＮ（ＳＱＲＴ（ｄｘ×ｄｘ＋ｄｙ×ｄｙ），１）； （数３）

本発明の画像信号処理装置及び画像信号処理方法は、色収差による解像度劣化を最小に抑えつつ、偽信号の発生の少ない高解像な画像を得ることが出来るので、高解像度のデジタルカメラ等に適用できる。

本発明にかかる画像信号処理装置の実施の形態の構成を示すブロック図 実施の形態における撮像素子１０が備える色フィルタ配列を示す図 実施の形態におけるローパスフィルタ手段１４において為されているフィルタ処理のタップ係数を示す図 実施の形態における収差量演算部２８における信号の入出力関係を示した図 レンズのズーム倍率と色収差の大きさ関係の例を示した図 実施の形態における輝度信号生成手段のフィルタ処理のタップ係数の別の例を示した図 従来の画像信号処理装置の構成を示すブロック図 従来の画像信号処理装置の輝度変化検出手段３１におけるフィルタ処理のタップ係数を示す図 従来の画像信号処理装置の色変化検出手段３２におけるフィルタ処理のタップ係数を示す図 従来の画像信号処理装置のにおけるフィルタ処理のタップ係数を示す図

符号の説明

１０ 撮像素子
１１ Ａ／Ｄ変換手段
１２ 適応フィルタ手段
１３ Ｇ信号抽出手段
１４ ローパスフィルタ手段
１５、１７ 水平方向ハイパスフィルタ手段
１６、１８ 垂直方向ハイパスフィルタ手段
１９，２０、２１、２２ ゲイン調整手段
２３、２４、２５ 加算手段
２７ 適応加算手段
２８ 収差量演算手段
２９ 座標演算手段
３３ レンズ駆動手段
３４ ズームレンズ
４０ 同期信号発生手段
４１ 撮像素子駆動手段
４２ マイコン

Claims (4)

1. 複数の色フィルタを有するカラーフィルタを備え、レンズを通過した入射光を光電変換して、前記複数の色フィルタのそれぞれに対応する複数の色信号を生成する撮像素子と、
   前記生成された色信号から輝度信号を生成する輝度信号生成手段と、
   前記複数の色信号の全てに対して演算を施して、第１のアパーチャ補正信号を生成する第１のアパーチャ補正信号生成手段と、
   前記複数の色信号のうちのいずれかに対して演算を施して、第２のアパーチャ補正信号を生成する第２のアパーチャ補正信号生成手段と、
   前記レンズの色収差量を検出または推定する色収差量取得手段と、
   前記第１のアパーチャ補正信号と前記第２のアパーチャ補正信号とを、前記色収差量取得手段で取得された色収差量に応じた割合で加算する適応加算手段と、
   前記輝度信号に、前記適応加算工程で得られた信号を加算する加算手段と、
   を備える画像信号処理装置。
2. 前記カラーフィルタは原色ベイヤー配列のフィルタであり、前記第２のアパーチャ補正信号生成手段は、グリーン信号に対して演算を施すこと、を特徴とする請求項１に記載の画像信号処理装置。
3. 複数の色フィルタを有するカラーフィルタを備える撮像素子が、レンズを通過した入射光を光電変換して、前記複数の色フィルタのそれぞれに対応する複数の色信号を生成する第１のステップと、
   前記生成された色信号から輝度信号を生成する第２のステップと、
   前記複数の色信号の全てに対して演算を施して、第１のアパーチャ補正信号を生成する第３のステップと、
   前記複数の色信号のうちのいずれかに対して演算を施して、第２のアパーチャ補正信号を生成する第４のステップと、
   前記レンズの色収差量を検出または推定する第５のステップと、
   前記第１のアパーチャ補正信号と前記第２のアパーチャ補正信号とを、前記第５のステップで取得された色収差量に応じた割合で加算する第６のステップと、
   前記輝度信号に、前記第６のステップで得られた信号を加算する第７のステップと、
   を備える画像信号処理方法。
4. 前記カラーフィルタは原色ベイヤ−配列のフィルタであり、前記第３のステップにおいて、グリーン信号に対して演算を施すこと、を特徴とする請求項３に記載の画像信号処理方法。

Images