JP2020129755A - 画像処理装及び方法、及び撮像装置 - Google Patents

Abstract

【課題】 ダイナミックレンジ拡大合成を行う場合に、画像信号と、適切な瞳分割信号を得ること【解決手段】 撮像素子から出力される、複数の異なるゲインで増幅した複数の画像信号を、第１の係数を用いてダイナミックレンジ拡大合成すると共に、前記撮像素子から出力される、瞳分割された部分信号を用いて前記複数の異なるゲインで増幅した複数の第１の信号を、第２の係数を用いてダイナミックレンジ拡大合成する合成手段と、前記合成された第１の信号を、該合成された第１の信号に対応する前記合成された画像信号から減算することにより、第２の信号を求める処理手段と、を有し、前記合成手段は、前記第２の係数を、前記第１の係数に基づいて決める。【選択図】 図７

Description

本発明は画像処理装及び方法、及び撮像装置に関する。

近年、撮像素子では画素で光電変換された画像信号をただ出力するだけでなく、例えばダイナミックレンジの拡大や、被写体までの距離情報を出力する技術が提案されている。特許文献１では、撮像素子の列ごとに設けられた増幅回路の入力容量を切り替える機能を持ち、信号レベルに応じてゲインを切り替える技術が提案されている。特許文献１のようなゲインを切り替える構成により、低ゲインの信号と高ゲインの信号の画像信号を出力し、後段の画像処理でそれぞれを合成することで、高ダイナミックレンジ且つ、低ノイズな画像信号を作り出すことが可能となる。

一方、撮像素子から一対の視差を有する画像を読み出して、位相差検出方式の焦点検出を行う、いわゆる撮像面位相差方式の焦点検出方法（撮像面位相差ＡＦ）が提案されている。撮像面位相差ＡＦに利用可能な信号を出力する撮像装置の一例として、２次元に配列したマイクロレンズアレイを構成する各マイクロレンズに対して、１対の光電変換部を設けたものがある。特許文献２には、１つのマイクロレンズを介して光が入射される１対の光電変換部が出力する信号の加算／非加算を、１対の光電変換部毎に任意に行うことのできる撮像装置が提案されている。

特開２００５−１７５５１７号公報 特開２００１−８３４０７号公報

ここで、特許文献２に記載された位相差検出用の画像信号に、特許文献１に記載されたダイナミックレンジ拡大用の高ゲイン及び低ゲインをかけて読み出すことを考えると、次のような問題が発生し得る。すなわち、長秒露光や高温環境下において、暗電流成分の増加や、配線抵抗の変動などの要因により、異なるゲインをかけた画像信号間で黒レベルに差が発生し、オフセットがずれてしまうことがある。このようにオフセットがずれた状態でダイナミックレンジ拡大合成（ＨＤＲ合成）された画像データと位相差検出用信号を用いた場合、像面位相差ＡＦを適切に実施することができない。

本発明は上記問題点を鑑みてなされたものであり、ダイナミックレンジ拡大合成を行う場合に、画像信号と、適切な瞳分割信号を得られるようにすることを目的とする。

上記目的を達成するために、本発明の画像処理装置は、撮像素子から出力される、複数の異なるゲインで増幅した複数の画像信号を、第１の係数を用いてダイナミックレンジ拡大合成すると共に、前記撮像素子から出力される、瞳分割された部分信号を用いて前記複数の異なるゲインで増幅した複数の第１の信号を、第２の係数を用いてダイナミックレンジ拡大合成する合成手段と、前記合成された第１の信号を、該合成された第１の信号に対応する前記合成された画像信号から減算することにより、第２の信号を求める処理手段と、を有し、前記合成手段は、前記第２の係数を、前記第１の係数に基づいて決める。

本発明によれば、ダイナミックレンジ拡大合成を行う場合に、画像信号と、適切な瞳分割信号を得ることができる。

本発明の第１の実施形態に係る撮像システムの構成を示すブロック図。 本発明の実施形態に係る撮像素子の概略構成を示す図。 （ａ）撮像素子の単位画素からＡＤ回路群までの詳細を示す図、（ｂ）列アンプの構成を示す回路図。 本発明の実施形態に係る位相差検出用の部分信号と、ダイナミックレンジ拡大用の画像信号を読み出すときの列アンプの制御を示すタイミングチャート。 第１の実施形態に係るＨＤＲ合成処理の概念を示す図。 第１の実施形態を適応しない場合の問題点を説明するための図。 第１の実施形態を適応した場合のＨＤＲ合成部の入力輝度と出力輝度の一例を示す図。 第１の実施形態に係る撮像システムの動作を示すフローチャート。 第２の実施形態に係る撮像素子から出力される信号の読み出しの概念を説明する図。 第２の実施形態に係る撮像システムの動作を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでするものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴うち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

＜第１の実施形態＞
まず、本発明の第１の実施形態について説明する。図１は、第１の実施形態に係る撮像システムのブロック図であり、主に、本体１１と、本体１１に着脱可能な交換レンズ１２から構成される。

交換レンズ１２は、複数のレンズ群からなる撮影レンズであり、フォーカスレンズ、ズームレンズ、シフトレンズを内部に備える他、絞りを含む。交換レンズ１２は、後述するフォーカス制御部１９からの電気信号によって焦点距離を変更することが可能である。

本体１１は、撮像素子１３、画像処理部１４、ＨＤＲ合成部１５、位相差検出部１６、映像出力部１７、ＣＰＵ１８、フォーカス制御部１９、バス２０を含む。交換レンズ１２や映像出力部１７の接続部分は、本体１１の表面に露出している。

撮像素子１３は、複数の光電変換素子を有する画素が複数、二次元状に配列された構成を有する。撮像素子１３は、交換レンズ１２により結像された被写体の光学像を各画素で光電変換し、さらに後述するＡ／Ｄ変換部によってアナログ・デジタル変換して、画像信号（ＲＡＷ画像データ）を出力する。なお、撮像素子１３の詳細構成及び動作は図２から図４を参照して後述するが、撮像素子１３は、異なるゲイン（低ゲインと高ゲイン）がかけられた２種類の画像信号及び画像信号に対応する２種類の位相差検出用の信号（以下、「位相差検出信号」と呼ぶ。）をＲＡＷ画像データとして出力する。

画像処理部１４は、撮像素子１３に起因するレベル差を補正する。例えば、オプティカルブラック（ＯＢ）領域の画素を用いて、有効領域の画素のレベルを補正する他、欠陥画素に対してその周囲の画素を用いた補正を行う。また、周辺光量落ちに対する補正、色補正、輪郭強調、ノイズ除去、ガンマ補正、ゲインなどの各処理を行う。画像処理部１４は、撮像素子１３から出力されたＲＡＷ画像データに対してこれらの処理を行い、補正した画像データを各部へ出力する。

ＨＤＲ合成部１５は、画像処理部１４で処理された低ゲインと高ゲインの２つの画像信号を、明るさに応じた比率でダイナミックレンジ拡大合成（ＨＤＲ合成）を行う。ＨＤＲ合成部１５は、低ゲインと高ゲインの２つの位相差検出信号についても、明るさに応じた比率でＨＤＲ合成する。なお、本実施形態におけるＨＤＲ合成部１５による処理についての詳細は、図５を参照して後述する。

位相差検出部１６は、ＨＤＲ合成部１５でＨＤＲ合成された画像信号と位相差検出信号とからデフォーカス量を算出して、ＣＰＵ１８へ出力する。ＣＰＵ１８は、位相差検出部１６により求められたデフォーカス量に応じて、フォーカス制御部１９を介して交換レンズ１２を制御することで、焦点調節を行う。

映像出力部１７は、ＨＤＲ合成部１５で合成された画像信号を撮像システム１０の外部に出力する。ＣＰＵ１８は、上述した焦点調節の他、制御用ソフトウェアに従って撮像システム１０の各部を制御する。

以上で説明した各構成要素は、各構成要素間の制御信号やデータ信号のための伝送路である内部バス２０と接続されている。

次に、撮像素子１３の構成及び読み出し方法について説明する。図２（ａ）は、本発明の実施形態に係る撮像素子１３の構成例を示す図である。

画素領域１００には、光電変換用のフォトダイオードなどで形成されている複数の単位画素１０１が行列状に配置されている。単位画素１０１は位相差検出のために、後述する１つのマイクロレンズ１１１に対して光電変換部Ａ及び光電変換部Ｂで構成されており、光電変換部Ａ及び光電変換部Ｂから得られる画像信号の位相差を求めることで焦点を検出することができる。

図２（ｂ）は、単位画素１０１の断面を示す概念図であり、１つのマイクロレンズ１１１の下に、それぞれがフォトダイオードを有する２つの光電変換部Ａ及び光電変換部Ｂが構成されていることを示している。また、各単位画素１０１にはカラーフィルタ１１２が備えられている。一般的には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色のいずれかが各画素に対応するベイヤー配列のＲＧＢ原色カラーフィルタであることが多いが、必ずしもこの限りではない。

垂直走査回路１０２は画素領域１００の光電変換部Ａ及び光電変換部Ｂにそれぞれ蓄積された画素信号を、順次読み出しするためのタイミング制御を行う。一般的に、画素信号は上部の行から下部の行にかけて、行単位で順次読み出される。本実施形態では、各単位画素１０１から、垂直走査回路１０２では光電変換部Ａの信号である位相差検出信号（Ａ信号）と、光電変換部Ａと光電変換部Ｂの信号を加算した加算信号（Ａ＋Ｂ信号）を読み出す制御を行う。このように読み出すことで、Ａ＋Ｂ信号はそのまま画像信号として用いることができると共に、Ａ＋Ｂ信号からＡ信号を減算することでＢ信号を取得して、一対の位相差検出信号を得、撮像面位相差方式の焦点検出（撮像面位相差ＡＦ）を行うことができる。ただし、撮像面位相差ＡＦを行わない場合には、Ａ＋Ｂ信号のみを読み出すこともできる。

列アンプ群１０３は、画素領域１００の各列に対して構成された、複数の列アンプから成り、画素領域１００から読み出された信号を電気的に増幅するために用いられる。列アンプ群１０３で信号を増幅することにより、後段のＡＤ回路群１０４で発生するノイズに対して、画素の信号レベルを増幅し、等価的にＳ／Ｎ比を改善させることができる。なお、列アンプ群１０３は、複数のゲインを用いて信号を増幅可能であり、本実施形態では異なるゲインで増幅された信号をＨＤＲ合成部１５で合成することで、ダイナミックレンジを拡大する。なお、ＨＤＲ合成部１５における処理については、詳細に後述する。また、各列アンプの詳細な構成については、図３（ｂ）を参照して後述する。

ＡＤ回路群１０４は、画素領域１００の各列に対して構成された、複数のＡＤ回路から成り、列アンプ群１０３により増幅された信号をデジタル信号に変換する。デジタル信号に変換された画素信号は、水平転送回路１０５により順次読み出されて、信号処理部１０６に入力される。信号処理部１０６はデジタル的に信号処理を行う回路であり、デジタル処理でＦＰＮ補正などのオフセット補正を行う他に、シフト演算や乗算を行うことで、簡易にゲイン演算を行うことができる。各処理を行った後、撮像素子１３の外部に出力される。

メモリ１０７は、画素領域１００から読み出され、列アンプ群１０３、ＡＤ回路群１０４、信号処理部１０６により処理された、Ａ信号やＡ＋Ｂ信号などを一時的に保持しておく機能を持つ。

なお、図２（ｂ）に示す例では、各単位画素１０１において、１つのマイクロレンズ１１１に対して２つの光電変換部Ａ及び光電変換部Ｂを有する構成としているが、光電変換部の数は２つに限定されず、それ以上であってもよい。また、瞳分割方向も水平方向であっても垂直方向であっても良いし、混在していても構わない。また、マイクロレンズ１１１に対して受光部の開口位置が異なる画素を複数有するようにしてもよい。つまり、結果としてＡ信号とＢ信号といった一対の位相差検出信号が得られる構成であればよい。また、本発明は全ての画素が複数の光電変換部を有する構成に限らず、撮像素子１３を構成する通常画素内に、図２（ｂ）に示すような画素を離散的に設ける構成であってもよい。また、同じ撮像素子１３内において互いに異なる分割方法で分割された複数種類の画素が含まれてもよい。

次に、単位画素１０１からＡＤ回路群１０４までの回路構成及び信号の流れについて、図３（ａ）を用いて説明する。図２（ｂ）の光電変換部Ａに対応する光電変換素子１１０１と、図２（ｂ）の光電変換部Ｂに対応する光電変換素子１１０２は、マイクロレンズを共有しており、光電変換を行って光を電荷に変換する。転送スイッチ１１０３は光電変換素子１１０１で発生した電荷を後段の回路に転送し、転送スイッチ１１０４は光電変換素子１１０２で発生した電荷を後段の回路に転送する。電荷保持部１１０５は、転送スイッチ１１０３，１１０４がＯＮとなっている時に光電変換素子１１０１及び光電変換素子１１０２から転送された電荷を一時的に保持する。従って、電荷保持部１１０５は、光電変換素子１１０１もしくは光電変換素子１１０２のどちらかの電荷のみ、または、光電変換素子１１０１と光電変換素子１１０２の両方の電荷を加算したものを保持することが可能である。画素アンプ１１０６は、電荷保持部１１０５に保持された電荷を電圧信号に変換し、垂直出力線１１１３を通して、後段の列アンプ１０３ｉへ送信する。電流制御部１１０７は、垂直出力線１１１３の電流を制御する。

上述したように、図２に示す列アンプ群１０３は、各列毎に構成された複数の列アンプ１０３ｉから成り、各垂直出力線１１１３に出力された信号を増幅して後段のＡＤ回路群１０４に出力する。ＡＤ回路群１０４を構成する各ＡＤ回路１０４ｉは、同じ列の列アンプ１０３ｉから出力されたアナログ信号をデジタル信号に変換する。

ＡＤ回路１０４ｉにおいて、Ａ／Ｄ変換部１１０９で変換されたデジタル信号は、メモリ１１１０、メモリ１１１１に一時的に保持する。メモリ１１１０は、光電変換素子１１０１もしくは光電変換素子１１０２から読み出された画素信号と、読み出し回路部（便宜的に電荷保持部１１０５からＡ／Ｄ変換部１１０９までの回路を指す。）のノイズ信号とを保持する。一方、メモリ１１１１は読み出し回路部のノイズ信号を保持する。そして、減算部１１１２によりメモリ１１１０に保持されたデータからメモリ１１１１に保持されたデータを減算したものが、画素信号として水平転送回路１０５へ出力される。

図３（ｂ）は、列アンプ１０３ｉの構成を示す図である。列アンプ１０３ｉは、オペアンプ２０７と、入力側のコンデンサ２０２，２０３と、フィードバックコンデンサ２０５，２０６により反転増幅回路になっている。また、各スイッチ２００，２０１，２０４により、コンデンサ２０２，２０３，２０５の接続を切り替えることができる。

まず、単位画素１０１から入力された信号は、スイッチ２００，２０１をＯＮにしてコンデンサ２０２，２０３に蓄積される。そして、適正露光の画像信号の場合には、スイッチ２０１とスイッチ２０４をＯＦＦし、スイッチ２００をＯＮすることで、画像信号に高ゲインをかけて読み出す。次に、高輝度部分の画像信号を読み出す場合には、スイッチ２００をＯＦＦし、スイッチ２０１及びスイッチ２０４をＯＮすることで、画像信号に低ゲインをかけて読み出す。このように、各スイッチによりコンデンサの容量を切り替えることにより、異なるゲインをかけて画像信号を読み出すことができる。このようにして読み出した画像信号を合成することで、ダイナミックレンジを拡大することを想定している。

図４は、位相差検出用の部分信号と、ダイナミックレンジ拡大用の画像信号を読み出すときの列アンプ１０３ｉの制御を示すタイミングチャートである。

まず、時刻ｔ１からｔ４の間、スイッチ２００をＯＮし、スイッチ２０１及びスイッチ２０４をＯＦＦすることで、列アンプ１０３ｉのゲインを高ゲインに設定する。この状態で、時刻ｔ２で転送スイッチ１１０３をＯＮし、Ａ信号を読み出す。このとき、時刻ｔ２からｔ４の期間内で、高ゲインで読み出したＡ信号（以下、「高ゲインＡ信号」と呼ぶ。）が、ＡＤ回路１０４ｉにおいてＡ／Ｄ変換される。

次に、時刻ｔ４からｔ５の間、スイッチ２００をＯＦＦし、スイッチ２０１及びスイッチ２０４をＯＮすることで、列アンプ１０３ｉのゲインを低ゲインに設定する。このとき、時刻ｔ４からｔ５の期間内で、低ゲインで読み出したＡ信号（以下、「低ゲインＡ信号」と呼ぶ。）が、ＡＤ回路１０４ｉにおいてＡ／Ｄ変換される。

時刻ｔ５からｔ８の間、再びスイッチ２００をＯＮし、スイッチ２０１及びスイッチ２０４をＯＦＦすることで、列アンプ１０３ｉのゲインを高ゲインに設定する。この状態で、時刻ｔ６で転送スイッチ１１０４をＯＮし、Ｂ信号を読み出す。Ａ信号とＢ信号は電荷保持部１１０５で加算され、Ａ＋Ｂ信号として出力される。このとき、時刻ｔ６からｔ８の期間内で、高ゲインで読み出したＡ＋Ｂ信号（以下、「高ゲインＡ＋Ｂ信号」と呼ぶ。）が、ＡＤ回路１０４ｉにおいてＡ／Ｄ変換される。

時刻ｔ８からｔ９の間、スイッチ２００をＯＦＦし、スイッチ２０１及びスイッチ２０４をＯＮすることで、列アンプ１０３ｉのゲインを低ゲインに設定する。このとき、時刻ｔ８からｔ９の期間内で、低ゲインで読み出したＡ＋Ｂ信号（以下、「低ゲインＡ＋Ｂ信号」と呼ぶ。）が、ＡＤ回路１０４ｉにおいてＡ／Ｄ変換される。

ＨＤＲ合成部１５では、上述した様にして撮像素子１３から得られる高ゲインＡ信号、低ゲインＡ信号、高ゲインＡ＋Ｂ信号、低ゲインＡ＋Ｂ信号を用いて、後述するようにしてＨＤＲ合成を行う。そして、ダイナミックレンジを拡大したＨＤＲ−Ａ信号及びＨＤＲ−（Ａ＋Ｂ）信号を生成する。

位相差検出部１６では、ＨＤＲ合成部１５により得られるＨＤＲ−Ａ信号及びＨＤＲ−（Ａ＋Ｂ）信号から各単位画素１０１のＨＤＲ−Ｂ信号を取得する。そして、各単位画素１０１のＨＤＲ−Ａ信号を集めてＡ像信号を生成し、各単位画素１０１のＨＤＲ−Ｂ信号を集めてＢ像信号を生成する。そして、Ａ像信号とＢ像信号の相関演算を行い、デフォーカス量や各種信頼性などの情報を算出する。デフォーカス量としては、Ａ像信号、Ｂ像信号のズレに基づき、像面でのデフォーカス量を算出する。デフォーカス量は正負の値を持っており、デフォーカス量が正の値であるか負の値であるかによって、前ピンか後ピンかがわかる。また、デフォーカス量の絶対値によって、合焦までの度合いが分かり、デフォーカス量の絶対値が０付近の所定値以内であれば合焦と判断する。そして、位相差検出部１６は、算出したデフォーカス量に基づいて、前ピンか後ピンかの情報をＣＰＵ１８などに出力する。また、デフォーカス量の絶対値に基づいて、合焦の度合い（ピントのズレの度合い）である合焦度合い情報をＣＰＵ１８などに出力する。前ピンか後ピンかの情報は、デフォーカス量が所定値を超える場合に出力し、デフォーカス量の絶対値が所定値以内である場合には、合焦であるという情報を出力する。

図５は、ＨＤＲ合成部１５に入力される画像信号（高ゲインＡ＋Ｂ信号及び低ゲインＡ＋Ｂ信号）の入力輝度に応じたＨＤＲ合成処理の概念を表したグラフである。図５（ａ）は、高ゲインＡ＋Ｂ信号のオフセットが、低ゲインＡ＋Ｂ信号のオフセットよりも高い場合のグラフを、また、図５（ｂ）は、高ゲインＡ＋Ｂ信号のオフセットが、低ゲインＡ＋Ｂ信号のオフセットよりも低い場合のグラフを示している。

本実施形態においては、ＨＤＲ合成部１５は入力された各画素の高ゲインＡ＋Ｂ信号及び低ゲインＡ＋Ｂ信号の輝度に応じて動作を実施する。高ゲインＡ＋Ｂ信号及び低ゲインＡ＋Ｂ信号は、同じＡ＋Ｂ信号に対して異なるゲインをかけて得ているため、高ゲインＡ＋Ｂ信号及び低ゲインＡ＋Ｂ信号に対応する輝度は等しい。そこで、輝度に応じた異なる重み付けにより、高ゲインＡ＋Ｂ信号及び低ゲインＡ＋Ｂ信号をＨＤＲ合成する。

Ａ＋Ｂ信号の輝度が図５に示す予め決められた合成範囲に入っている場合には、入力された高ゲインＡ＋Ｂ信号に重み付け係数（１−α）を、低ゲインＡ＋Ｂ信号に係数αをかけた後、加算して出力する。この時、αの値は、合成範囲内の最低輝度でαが０、最高輝度でαが１として合成範囲内の輝度に応じて０〜１間でリニアに変化させる。一方、輝度が合成範囲より低い場合には、α＝０として高ゲインＡ＋Ｂ信号に係数（１−α）を、低ゲインＡ＋Ｂ信号に係数αをかけた後、加算して出力する。即ち、高ゲインＡ＋Ｂ信号が出力される。また、輝度が合成範囲より高い場合には、α＝１として高ゲインＡ＋Ｂ信号に係数（１−α）を、低ゲインＡ＋Ｂ信号に係数αをかけた後、加算して出力する。即ち、低ゲインＡ＋Ｂ信号が出力される。

ここで、高ゲインＡ信号及び低ゲインＡ信号に対しても、図５に示す様な特性でＨＤＲ合成を行うことも考えられる。しかしながら、図５に示す様に低ゲインＡ＋Ｂ信号と高ゲインＡ＋Ｂ信号間にオフセットにズレが生じている場合、合成範囲と合成範囲でない部分とで入力輝度と出力輝度の直線性が確保できないことによる問題が発生する。以下に、高ゲインの信号のオフセットが、低ゲインの信号のオフセットよりも高い場合を例に取って、この問題について説明する。

例えば、図６に示すように、ある単位画素におけるＡ信号と（Ａ＋Ｂ）信号に対応する輝度が、合成範囲内にある場合、入力信号の輝度をそれぞれＡin、（Ａ＋Ｂ）inとすると、出力信号は、ＨＤＲ−Ａ信号とＨＤＲ−（Ａ＋Ｂ）信号となる。ここで、Ｂ信号に相当する入力信号の輝度差ΔＢin（＝（Ａ＋Ｂ）in−Ａin）に対して、ＨＤＲ合成後のＨＤＲ−Ｂ信号は、（ＨＤＲ−（Ａ＋Ｂ）信号）−（ＨＤＲ−Ａ信号）から得られる。これを便宜上、ΔＢ１outと呼ぶ。

一方、ある画素におけるＡ信号と（Ａ＋Ｂ）信号にそれぞれ対応する輝度Ａ’in、（Ａ＋Ｂ）’inが、合成範囲より高く、Ｂ信号に相当する入力信号の輝度差が、上述した輝度差ΔＢinと同じであるとする。この場合、ＨＤＲ合成後のＨＤＲ−Ｂ信号は（ＨＤＲ−（Ａ＋Ｂ）'信号）−（ＨＤＲ−Ａ'信号）となる。これを便宜上、ΔＢ２outと呼ぶ。このように、同じ輝度差ΔＢinに対するＨＤＲ−Ｂ信号は同じ値になるはずであるところ、ΔＢ２outとΔＢ１outに示す様に異なる値となってしまう。

各画素のＡ信号と（Ａ＋Ｂ）信号の輝度が両方共、合成範囲外にある場合、Ａ信号と（Ａ＋Ｂ）信号に対して同じ重み付けによりＨＤＲ合成後の信号が生成される。これに対し、いずれか一方でも合成範囲内にある場合、Ａ信号に対する重み付けと、（Ａ＋Ｂ）信号に対する重み付けが異なるために、異なる値となる。このように、同じＢ信号に対して、異なるＨＤＲ−Ｂ信号が得られた場合と、正しく相関量を検出することができないため、正しいデフォーカス量を得ることができない。

そこで、本実施形態では、Ａ信号に対応する輝度は同じ単位画素のＡ＋Ｂ信号に対応する輝度よりも低いが、Ａ信号をＨＤＲ合成する際に、同じ単位画素から出力されたＡ＋Ｂ信号をＨＤＲ合成する時に用いた同じ係数αを用いて、ＨＤＲ合成を行う。図７は、このＨＤＲ合成処理について説明する図である。

図７に示す様に、高ゲインＡ信号と低ゲインＡ信号のＨＤＲ合成に、同じ単位画素の高ゲインＡ＋Ｂ信号と低ゲインＡ＋Ｂ信号のＨＤＲ合成に用いた係数αを用いることにより、合成範囲内における傾きが、合成範囲外における傾きと同じになる。従って、同じＢ信号に対して、同じΔＢ２outとΔＢ１out、即ち、同じＨＤＲ−Ｂ信号を得ることができる。

次に図８を用いて、第１の実施形態に係る撮像素子１３からの信号の読み出しから像面位相差ＡＦまでの動作について説明する。

まず、Ｓ１００において、撮像素子１３は交換レンズ１２により結像された被写体光学像を各画素で光電変換し、上述した様に、Ａ信号及びＡ＋Ｂ信号を出力する。Ａ信号及びＡ＋Ｂ信号は、列アンプ群１０３により異なるゲインをかけられた後、ＡＤ回路群１０４によってアナログ・デジタル変換されて、高ゲインＡ信号、低ゲインＡ信号、高ゲインＡ＋Ｂ信号、低ゲインＡ＋Ｂ信号が出力される。

次のＳ１０１において、画像処理部１４は高ゲインＡ＋Ｂ信号と、低ゲインＡ＋Ｂ信号に有効領域の画素のレベル補正、欠陥画素に対して周囲画素を用いた補正、周辺光量落ちに対する補正、色補正、輪郭強調、ノイズ除去、ガンマ補正を行う。そして、低ゲインＡ＋Ｂ信号と低ゲインＡ信号にゲイン補正をかけて、高ゲインＡ＋Ｂ信号と高ゲインＡ信号にゲインを合わせ、Ｓ１０２へ進む。

Ｓ１０２において、ＨＤＲ合成部１５は画像処理部１４で処理された低ゲインＡ＋Ｂ信号の輝度に応じて、各単位画素毎にＨＤＲ合成に使用する係数αを求め、Ｓ１０３へ進む。

Ｓ１０３において、ＨＤＲ合成部１５は、低ゲインＡ＋Ｂ信号に係数αをかけ、高ゲインＡ＋Ｂ信号に係数（１−α）をかけて加算して合成する。同様に、低ゲインＡ信号及び高ゲインＡ信号に対して、同じ画素の低ゲインＡ＋Ｂ信号及び高ゲインＡ＋Ｂ信号のＨＤＲ合成に用いた係数αの値を使って、低ゲインＡ信号に係数αをかけ、高ゲインＡ信号に係数（１−α）をかけて加算して合成する。その後、Ｓ１０４へ進む。

Ｓ１０４において、位相差検出部１６は、合成されたＨＤＲ−（Ａ＋Ｂ）信号からＨＤＲ−Ａ信号を減算してＨＤＲ−Ｂ信号を算出し、Ｓ１０５へ進む。

Ｓ１０５において、位相差検出部１６は、ＨＤＲ−Ａ信号とＨＤＲ−Ｂ信号との位相差を求めて像面でのデフォーカス量を算出し、Ｓ１０６へ進む。

Ｓ１０６において、ＣＰＵ１８は、算出されたデフォーカス量から合焦状態であるかどうかを判断し、合焦状態である場合には処理を終了し、合焦状態でない場合にはＳ１０７へ進む。

Ｓ１０７において、フォーカス制御部１９は、デフォーカス量に応じて交換レンズ１２の焦点距離を変更し、Ｓ１００へ戻って上記処理を繰り返す。

上記の通り本第１の実施形態によれば、位相差検出用の信号である低ゲインＡ信号と高ゲインＡ信号が、同じ画素の撮像用の低ゲインＡ＋Ｂ信号と高ゲインＡ＋Ｂ信号と同じ係数αでＨＤＲ合成される。これにより、低ゲインと高ゲイン間のオフセットずれの影響を受けることなく、適切なＢ信号を得ることができる。これにより、正しくデフォーカス量を算出できるため、適切に撮像面位相差ＡＦを実施することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。なお、第２の実施形態における撮像システムの構成は、図１に示すものと同様であるが、撮像素子１３からの信号の読み出し方と、ＨＤＲ合成部１５及び位相差検出部１６における処理が第１の実施形態異なる。従って、以下、差異について説明する。

上述した第１の実施形態では、撮像素子１３の各単位画素からＡ＋Ｂ信号とＡ信号とを出力していた。これに対し、第２の実施形態では、撮像素子１３から、８画素分の撮像用のＡ＋Ｂ信号に対して、１つのＡ信号を出力する。

図９は、撮像素子１３から出力されるＡ＋Ｂ信号とＡ信号の読み出しの概念を表した図である。図９（ａ）は、第１の実施形態において撮像素子１３から出力される信号の概念を示しており、各単位画素からＡ＋Ｂ信号とＡ信号が出力される。これに対し、図９（ｂ）は、第２の実施形態において撮像素子１３から出力される信号の概念を表しており、８画素分のＡ＋Ｂ信号に対して１つのＡ信号が出力される。本第２の実施形態では、Ａ信号は、８画素分のＡ＋Ｂ信号に対応する８画素分のＡ信号を加算平均した値とする。なお、各単位画素から出力されるＡ信号と区別するために、第２の実施形態におけるＡ信号を、以下、Ａ’信号と記す。

なお、本発明は、加算平均に限られるものでは無く、間引き読み出しとしても良く、また、画素数は８画素に限られるものでもない。例えば、３×３の９画素分のＡ＋Ｂ信号に対して１つのＡ’信号を出力する場合、中央の単位画素のＡ信号を、第２の実施形態におけるＡ’信号とすることが考えられる。また、１つのＡ’信号に対応させる画素数は、撮像素子１３から出力される画像のフレームレートや、１フレーム期間に出力される総画素数に応じて変化させても良い。

ＨＤＲ合成部１５では、Ａ＋Ｂ信号の合成に使用する係数αと、Ａ’信号の合成に使用する係数α’を算出する。係数α’は８画素分の高ゲインＡ＋Ｂ信号と低ゲインＡ＋Ｂ信号をＨＤＲ合成するために算出される８つの係数αの平均値であり、当該８画素に対応する高ゲインＡ’信号と低ゲインＡ’信号を、係数α’を使用してＨＤＲ合成する。

次に図１０を用いて第２の実施形態に係る撮像素子１３からの信号の読み出しから像面位相差ＡＦまでの動作について説明する。なお、図１０において、図８のフローチャートと同様の処理には同じ参照番号を付して、適宜説明を省略する。

まず、Ｓ２００において、交換レンズ１２により結像された被写体光学像を各画素で光電変換し、上述した様にして、Ａ信号及びＡ＋Ｂ信号を出力する。そして、８画素分のＡ信号の平均値であるＡ’信号を求める。求めたＡ’信号及びＡ＋Ｂ信号は、列アンプ群１０３により異なるゲインをかけられた後、ＡＤ回路群１０４によってアナログ・デジタル変換されて、各画素の高ゲインＡ＋Ｂ信号及び低ゲインＡ＋Ｂ信号と、高ゲインＡ’信号と、低ゲインＡ’信号が出力される。次のＳ１０１では、図８を参照して上述した処理を行う。

Ｓ２０２において、ＨＤＲ合成部１５は、画像処理部１４で処理された８画素のＡ＋Ｂ信号の輝度に応じて、ＨＤＲ合成に使用する係数αを画素毎に算出する。更に、８画素毎の８つの係数αの平均値である係数α’を算出し、Ｓ２０３へ進む。

Ｓ２０３において、ＨＤＲ合成部１５は、各単位画素の低ゲインＡ＋Ｂ信号に、Ｓ２０２で求めた係数αをかけ、高ゲインＡ＋Ｂ信号に係数（１−α）をかけて加算して合成する。一方、低ゲインＡ’信号及び高ゲインＡ’信号に対しては、対応する８画素の係数αから得られた係数α’を使って、低ゲインＡ’信号に係数α’をかけ、高ゲインＡ’信号に係数（１−α’）をかけて加算して合成する。その後、Ｓ２０４へ進む。

Ｓ２０４において、位相差検出部１６は、合成されたＨＤＲ−Ａ’信号を、対応する８画素のＨＤＲ−（Ａ＋Ｂ）信号からそれぞれ減算し、８画素分のＨＤＲ−Ｂ信号を算出し、Ｓ１０５へ進む。以下、第１の実施形態で説明した処理を行う。

上記の通り本第２の実施形態によれば、位相差検出用の信号である低ゲインＡ’信号と高ゲインＡ’信号が、対応する複数の単位画素において低ゲインＡ＋Ｂ信号と高ゲインＡ＋Ｂ信号の合成に使用する係数αの平均値である係数α’を用いてＨＤＲ合成される。これにより、複数のＡ＋Ｂ信号に対して、１つのＡ’信号を出力する場合においても、低ゲインと高ゲイン間のオフセットずれの影響を受けることなく、適切なＢ信号を得ることができる。これにより、正しくデフォーカス量を算出することができるため、適切に像面位相差ＡＦを実施することができる。

さらに、本実施形態で係数α’は対応する画素の係数αの単純平均値としたが、色ごとの輝度感度に応じて重み付けした平均値としても良い。

また、上述した例では、Ａ信号から得られたＡ像信号とＢ信号から得られたＢ像信号を焦点検出に利用する場合について説明したが、Ａ像信号とＢ像信号の用途はこれに限られるものでは無い。例えば、立体視用の視差を有する一対の信号の生成等、他の用途に用いることも可能である。

＜他の実施形態＞
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０：撮像システム、１１：本体、１２：交換レンズ、１３：撮像素子、１４：画像処理部、１５：ＨＤＲ合成部、１６：位相差検出部、１７：映像出力部、１０８：ＣＰＵ、１９：フォーカス制御部、２０：バス

Claims (14)

1. 撮像素子から出力される、複数の異なるゲインで増幅した複数の画像信号を、第１の係数を用いてダイナミックレンジ拡大合成すると共に、前記撮像素子から出力される、瞳分割された部分信号を用いて前記複数の異なるゲインで増幅した複数の第１の信号を、第２の係数を用いてダイナミックレンジ拡大合成する合成手段と、
   前記合成された第１の信号を、該合成された第１の信号に対応する前記合成された画像信号から減算することにより、第２の信号を求める処理手段と、を有し、
   前記合成手段は、前記第２の係数を、前記第１の係数に基づいて決めることを特徴とする画像処理装置。
2. 前記合成手段は、前記第１の係数を、前記複数の画像信号に対応する輝度に応じて決めることを特徴とする請求項１に記載の画像処理装置。
3. 前記合成手段は、予め決められた輝度の範囲において、前記第１の係数を輝度の低い方から高い方に向かって０から１にリニアに変化させ、前記範囲よりも輝度が低い領域において、前記第１の係数を０とし、前記範囲よりも輝度が高い領域において、前記第１の係数を１とすることを特徴とする請求項２に記載の画像処理装置。
4. 前記合成手段は、前記撮像素子の同じ画素に対応する前記複数の画像信号と前記複数の第１の信号の、ダイナミックレンジ拡大合成に用いる前記第１の係数と前記第２の係数を同じ値とすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記複数の第１の信号は、前記撮像素子の複数の画素ごとに出力され、前記合成手段は、前記複数の画素それぞれに対応する前記複数の画像信号のダイナミックレンジ拡大合成に用いる複数の前記第１の係数の平均値を、前記第２の係数とすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 前記複数の第１の信号は、前記撮像素子の各画素に対応する前記部分信号を前記複数の画素ごとに加算平均した信号を前記複数の異なるゲインで増幅した信号であることを特徴とする請求項５に記載の画像処理装置。
7. 前記複数の第１の信号は、前記撮像素子の複数の画素ごとに１つの画素に対応する前記部分信号を前記複数の異なるゲインで増幅した信号であることを特徴とする請求項５に記載の画像処理装置。
8. 前記第１の係数をαとした場合に、前記合成手段は、第１のゲインで増幅された前記画像信号に（１−α）を乗じ、前記第１のゲインよりも小さい第２のゲインで増幅された前記画像信号にαを乗じて加算することにより、前記ダイナミックレンジ拡大合成を行うことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記合成された第１の信号と、前記第２の信号とを用いて求めた位相差に基づいて、合焦状態を検出する検出手段を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記合成された第１の信号と、前記第２の信号とを用いて、立体視用の一対の信号を生成する生成手段を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
11. 複数の異なるゲインで増幅した複数の画像信号と、瞳分割された部分信号を用いて前記複数の異なるゲインで増幅した複数の第１の信号を出力する撮像素子と、
    請求項１乃至１０のいずれか１項に記載の画像処理装置と
    を有することを特徴とする撮像装置。
12. 合成手段が、撮像素子から出力される、複数の異なるゲインで増幅した複数の画像信号を、ダイナミックレンジ拡大合成するために用いる第１の係数と、前記撮像素子から出力される、瞳分割された部分信号を用いて前記複数の異なるゲインで増幅した複数の第１の信号を、ダイナミックレンジ拡大合成するために用いる第２の係数とを決める工程と、
    前記合成手段が、前記複数の画像信号を前記第１の係数を用いてダイナミックレンジ拡大合成する第１の合成工程と、
    前記合成手段が、前記複数の第１の信号を前記第２の係数を用いてダイナミックレンジ拡大合成する第２の合成工程と、
    処理手段が、前記合成された第１の信号を、該合成された第１の信号に対応する前記合成された画像信号から減算することにより、第２の信号を求める処理工程と、
    を有することを特徴とする画像処理方法。
13. コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
14. 請求項１３に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images