JP2020178186A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】光電変換部の出力に基づく信号を複数のゲインで増幅可能な撮像装置におけるゲイン設定に応じて、Ｓ／Ｎ比がより良好な画像を取得する。【解決手段】撮像装置１００が備える撮像素子１０２は、行列状に配列されるとともに、光電変換により信号電圧を生成する画素部を有する。撮像素子１０２の列アンプは、光電変換された信号電圧に対して、複数のゲインで増幅可能である。撮像素子制御部１０８は撮像素子１０２の駆動制御を行い、ゲイン設定を行うことができる。画像合成部１０４はゲインの異なる複数の画像信号を用いて画像合成を行う。撮像素子１０２により列アンプの増幅率を変更して複数のゲインで画像信号を出力する場合、撮像素子制御部１０８は複数のゲインのうち、第１のゲインよりも小さい第２のゲインの値を変更し、第１のゲインの値を変更しない制御を行う。【選択図】図１

Description

本発明は、画素信号を複数のゲインで増幅して読出すことが可能な撮像素子の動作制御および信号処理の技術に関する。

固体撮像素子を備える撮像装置には、２次元配列された画素部で光電変換された映像信号を出力する以外に、ダイナミックレンジ（以下、ＤＲとも記す）の拡大処理を行い、また撮像装置から被写体までの距離情報を出力可能な装置がある。特許文献１に開示の装置は、単位画素の出力信号に対して列回路内にある増幅部のゲインを切り替え、出力信号がクリップしないようなゲインを決定し、映像信号のＤＲを向上させることが可能である。特許文献１の図１３には、アンプの入力容量を２つ持ち、ゲイン設定部にて入力信号レベルを判定し、その判定結果に応じたゲインに変更することで、２種類のゲインを得る回路が開示されている。また、特許文献２に開示の装置は、単位画素からの出力信号に対して列回路を２つ有しており、列回路内にある増幅部のゲインが異なるので、２種類のゲインで映像信号を出力可能である。

特開２００５−１７５５１７号公報 特開２０１５−１２８２５３号公報

特許文献１には、ゲイン設定部における入力信号レベルの判定と、その判定結果に応じたゲインの設定方法について記載されている。しかし、一方のゲインは、入力信号レベルの判定のために最もゲインの低い値に設定しなければならない。また、特許文献２では複数の列回路により、ゲインの異なる映像信号を出力可能であるが、ゲインの決定方法に関しては言及されていない。
本発明は、光電変換部の出力に基づく信号を複数のゲインで増幅可能な撮像装置におけるゲイン設定に応じて、Ｓ／Ｎ比（信号対ノイズ比）がより良好な画像を取得することを目的とする。

本発明の実施形態の撮像装置は、光電変換部を有する画素部と、前記光電変換部の出力に基づく信号を複数のゲインで増幅する増幅手段と、前記増幅手段のゲインを制御する制御手段と、前記増幅手段により増幅された、前記ゲインの異なる複数の信号を処理して画像を生成する生成手段と、を備え、前記制御手段は、前記複数のゲインのうち、第１のゲインよりも小さい第２のゲインの値を変更し、前記第１のゲインの値を変更しない制御を行う。

本発明の撮像装置によれば、光電変換部の出力に基づく信号を複数のゲインで増幅可能な撮像装置におけるゲイン設定に応じて、Ｓ／Ｎ比がより良好な画像を取得することができる。

実施形態の撮像装置の構成を示すブロック図である。 固体撮像素子の内部構成を模式的に示す図である。 実施形態における１つの列アンプの構成を示す回路図である。 第１および第２実施形態における画像合成を説明するブロック図である。 入力光量とＡＤ変換後の出力コードとの関係を示す図である。 入力光量とＡＤ変換後の出力コードとの関係について別例を示す図である。

以下、本発明の各実施形態について図面を参照しながら説明する。本発明はデジタル一眼レフカメラやデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に適用可能である。

［第１実施形態］
図１は、本発明の実施形態に係る撮像装置１００の一般的な構成を示すブロック図である。光学レンズ部１０１は、被写体からの光を取り込んで撮像素子１０２の受光面上に結像させる。光学レンズ部１０１は撮像装置１００の本体部に装着可能な交換レンズユニット、または本体部に組み込まれたレンズ部であり、撮像光学系を構成するレンズ、絞り等の光学部材を有する。

撮像素子１０２は光学レンズ部１０１から入射光を受光し、光電変換によって電気信号を出力する。代表例として、ＣＣＤ（電荷結合素子）型イメージセンサや、ＣＭＯＳ（相補型金属酸化膜半導体）型イメージセンサ等が挙げられる。撮像素子１０２には、アナログ映像信号を出力する第１のタイプと、撮像素子１０２の内部でＡＤ（アナログ・デジタル）変換処理を行ってデジタル映像信号を出力する第２のタイプがある。第２のタイプには、ＬＶＤＳ（Ｌｏｗ ｖｏｌｔａｇｅ ｄｉｆｆｅｒｅｎｔｉａｌ ｓｉｇｎａｌｉｎｇ）等によりデジタルデータを出力する形態がある。撮像素子１０２の構成については図２を用いて後述する。

画像取得部１０３は、撮像素子１０２から出力された映像信号のキャプチャを行い、各種処理を行う回路部を備える。画像取得部１０３は、撮像素子１０２における固定パターンノイズの除去や、黒レベルクランプ処理等を行う。画像取得部１０３はまた、映像信号の記録に使用する画像信号と、撮像素子１０２の制御のための評価用信号とに分離する処理を行う。画像取得部１０３には処理に必要となる設定値を記憶するための内部記憶回路が含まれる。

画像合成部１０４は画像取得部１０３の出力を取得し、撮像素子１０２の出力に基づく信号から、任意の合成方法を用いてＨＤＲ（高ダイナミックレンジ）画像を生成する。例えば、所定の画像部分（通常画）については高ゲインで取得された画像を用い、明るく白飛びしている画像部分については低ゲインで取得された画像を用いて合成を行う方法がある。合成後に暗部の信号に用いられる通常画としては、暗部のランダムノイズが抑えられていることが好ましい。

信号処理部１０５は画像合成部１０４の出力を取得し、画素加算やノイズリダクション、ガンマ補正、ニー補正、デジタルゲイン処理、キズ補正等の各種画像処理を行う。信号処理部１０５には補正および画像処理に必要となる設定値を記憶するための内部記憶回路が含まれる。

信号記録部１０６は、信号処理部１０５が処理した映像信号を取得して記憶装置または記憶媒体に記録する。例えば撮像装置１００の本体部に装着可能なメモリデバイスが使用される。

露出制御部１０７は、画像取得部１０３から取得した映像信号情報に基づいて最適露光量を算出する。位相差情報を出力可能な撮像素子１０２の場合、露出制御部１０７は撮像素子１０２の出力から位相差を計算することができる。露出制御部１０７が焦点調節制御の機能を有する場合には、位相差に基づく相関演算により撮像光学系に係るデフォーカス量を算出して、光学レンズ部１０１内のフォーカスレンズを駆動することで焦点調節が可能である。また、露出制御部１０７は撮像素子制御部１０８の動作を決定して制御信号を伝達する。撮像素子制御部１０８は露出制御部１０７からの制御信号にしたがって撮像素子１０２の動作制御を行う。

図２を参照して、撮像素子１０２の構成を説明する。図２は撮像素子１０２の一例を示すブロック図である。タイミング・パルス制御部２０１は、撮像素子１０２の各構成部に動作クロックを供給し、また各構成部にタイミング信号を供給することにより、撮像素子１０２の動作を制御する。垂直走査回路２０２は、画素部２０３から画素信号電圧を、１フレーム中に順次読出すタイミング制御を行う。一般的に、映像信号は１フレーム中に画素部２０３における上部の行から下部の行にかけて、行単位で順次読出される。本実施形態では、画素部２０３から位相差情報を出力するかどうかを選択することができる。

画素部２０３は、多数の単位画素が２次元に配置された構成である。各単位画素は単数または複数の光電変換部を有しており、入射光量に応じて光電変換を行って電圧を出力する。フォトダイオード等の光電変換素子が用いられる。画素部２０３は通常の映像とともに位相差情報を取得して出力することもできる。例えば、１つのマイクロレンズに対してフォトダイオードが２つに分割された構造が挙げられる。画素部２０３は光電変換素子の他にフローティングディフュージョン部への電荷転送を行うトランジスタや、増幅トランジスタ等を備えるが、回路構成については公知であるので詳細な説明を省略する。

列アンプ２０４は、画素部２０３から列ごとに読出された信号を電気的に増幅する。列アンプ２０４で信号を増幅することにより、後段の列ＡＤＣ２０５で発生するノイズに対して画素信号を増幅し、等価的にＳ／Ｎ比を改善することができる。また列アンプ２０４においては、タイミング・パルス制御部２０１からの信号によって、アンプゲインを変更可能である。撮像素子１０２は、ＨＤＲ画像生成用として、列アンプ２０４のアンプゲインを変更して２種類のゲインで信号を出力することが可能である。つまり列アンプ２０４は、光電変換部から出力された、ある時刻の信号に対して２つのゲインを乗算した信号を出力することができるので、データ量は増えるものの、同時性を有する２つのゲインの異なる画像信号を取得できる。列アンプ２０４の構成については後述する。

列ＡＤＣ（アナログ・デジタル変換部）２０５は、列アンプ２０４からアナログ信号を取得してデジタル信号に変換する。デジタル信号は水平転送回路２０６により順次読出される。水平転送回路２０６の出力は信号処理回路２０７に入力される。

信号処理回路２０７はデジタル信号処理を行う回路である。信号処理回路２０７はデジタル処理で、一定量のオフセット値の付加を行うほかに、シフト演算や乗算を行うことで簡易にゲイン演算を行うことができる。また、画素部２０３において意図的に遮光された画素領域を有する場合には、当該画素領域を利用したデジタル処理での黒レベルクランプ動作を行ってもよい。

外部出力回路２０８は信号処理回路２０７から信号を取得して出力処理を行う。外部出力回路２０８はシリアライザー機能を有し、信号処理回路２０７からの多ビットの入力パラレル信号をシリアル信号に変換する。また外部出力回路２０８は、このシリアル信号を、例えばＬＶＤＳ信号等に変換して、外部デバイスに画像情報を出力する。

次に、ＨＤＲ画像生成時の撮像素子１０２の動作と、画像合成部１０４について詳述する。本実施形態の撮像素子１０２は、ＨＤＲ画像を生成するために列アンプ２０４のゲインを変更して信号を出力することができる。図３を参照して、ＨＤＲ画像生成時の列アンプ部の回路例を説明する。図３は、列アンプ２０４のある１列を抜き出して示す回路図である。容量部をＣと表記し、スイッチ素子（トランジスタ等）をＳＷと表記し、オペアンプをＯＰと表記する。

ＯＰ３０５には入力容量と帰還容量が接続されている。ＯＰ３０５の非反転入力端子には基準電源の電圧が印加され、反転入力端子には入力容量であるＣ３０３とＣ３０４が接続されている。ＳＷ３０１とＣ３０３との直列回路と、ＳＷ３０２とＣ３０４との直列回路は並列に接続されており、ＳＷ３０１およびＳ３０２が画素部２０３と接続されている。

Ｃ３０６とＣ３０８は帰還容量である。Ｃ３０６は、ＳＷ３０７とＣ３０８との直列回路に対して並列に設けられている。ＳＷ３０７のＯＮによってＣ３０６とＣ３０８とが接続される。列アンプの増幅率は、Ｃ３０３，Ｃ３０４の静電容量と、Ｃ３０６，Ｃ３０８の静電容量によって決定され、「入力容量／帰還容量」から算出される。本実施形態の列アンプは２つの入力容量を有する。ＳＷ３０１をＯＮとし、かつＳＷ３０２とＳ３０７をＯＦＦとして、入力容量Ｃ３０３と、帰還容量Ｃ３０６との静電容量比に対応する第１のゲインを乗算した信号を列ＡＤＣ２０５へ出力可能である。また、ＳＷ３０１をＯＦＦとし、かつＳＷ３０２とＳＷ３０７をＯＮとして、入力容量Ｃ３０４と、帰還容量Ｃ３０６およびＣ３０８の合成容量との静電容量比に対応する第２のゲインを乗算した信号を列ＡＤＣ２０５へ出力可能である。このように、入力容量と帰還容量との組み合わせに応じた列アンプの増幅率に対応する複数のゲインが決定される。ゲインの異なる信号に基づく複数の画像信号を出力することができる。なお、必要に応じて図３の入力容量と帰還容量を増やせば、組み合わせの数をさらに大きくすることができる。

図４（Ａ）は、露出補正部４０１および画像合成部４０２を示すブロック図である。撮像素子１０２から出力された２種類のゲインが乗算された信号に基づく２枚の画像については、高ゲインの画像であるＨｉｇｈ Ｇａｉｎ画像をＨ画像と表記し、低ゲインの画像であるＬｏｗ Ｇａｉｎ画像をＬ画像と表記する。Ｈ画像とＬ画像は露出補正部４０１によって補正された後に、画像合成部４０２が１枚の合成画像を生成する。

露出補正部４０１はＨ画像およびＬ画像の各信号を取得して露出補正を行い、Ｈ画像のゲインとＬ画像のゲインとを同一にする。これは後段の画像合成部４０２が１枚の画像に合成した場合、入力信号に対してリニアな特性の出力信号にするためである。

図５は、入力光量とＡＤ変換後の出力コードとの関係を表すグラフである。横軸は、Ｈ画像とＬ画像についての入力光量を表し、単位はカンデラ（ｃｄ）である。縦軸はＡＤ変換後の出力コードを表す。ＨｉｇｈはＨ画像のグラフ（太線）を示し、ＬｏｗはＬ画像のグラフ（細線）を示す。

図５（Ａ）は、Ｈ画像とＬ画像とで画像の明るさが異なる状態を示している。これは露出補正前の状態であり、２つの画像をそのまま合成することはできない。そのため、露出補正部４０１はＨ画像とＬ画像との間で明るさを合わせるためにゲイン乗算処理を行う。図５（Ｂ）は、Ｈ画像の明るさをＬ画像の明るさに合わせる例を示す。Ｈ画像の露出補正を行って、明るさをＬ画像に合わせた画像であるＨｉｇｈ Ｇａｉｎ２画像を、Ｈ２画像と表記する（図５：Ｈｉｇｈ２参照）。この場合、露出補正に用いるゲイン値は１より小さい。一方で、Ｌ画像の明るさをＨ画像の明るさに合わせることも可能である。その場合に用いるゲイン値は１より大きい。

図５（Ｃ）は画像合成後のグラフを示す。画像合成部４０２はＨ２画像とＬ画像との合成処理を実行する。入力光量が小さい画像部分ではＨ２画像が使用され、入力光量が大きい画像部分ではＬ画像が使用されて、画像合成が行われる。Ｈ画像については列アンプ（図３）、すなわちアナログ増幅回路が用いられるので、ノイズ成分がＬ画像よりも小さい。よって合成画像のＳ／Ｎ比が向上する。

次に図６を参照して、撮影者の指示にしたがってゲインが、図５に示したＨ画像とＬ画像との関係に対して２倍に変更されたときの入力光量とＡＤ変換後の出力コードの関係について説明する。図６における横軸と縦軸の設定は図５と同じである。

図６（Ａ）は、Ｌ画像に係るＧａｉｎ１を、列アンプ（図３）により２倍にし（Ｇａｉｎ２）、画像全体の明るさに対応する、撮像装置のゲインを２倍にしたときのグラフを表している。図６（Ｂ）は、Ｈ画像の明るさをＬ画像の明るさに合わせる例を示す。Ｌ画像に係る列アンプ２０４のゲインを２倍した画像をＬ２画像（図６：Ｇａｉｎ２参照）と表記する。列アンプ２０４のゲインは撮像素子制御部１０８から撮像素子１０２への制御信号によって決定される。

露出補正部４０１はＨ画像の明るさをＬ２画像の明るさに合わせるようにゲイン乗算処理を行う。この場合のゲイン値は、図５に示した例に比べて大きくなる（一方、Ｌ２画像の明るさをＨ画像の明るさに合わせる場合にはゲインが相対的に小さくなる）。そのため、図６（Ｃ）を示す画像合成後のグラフにおいて、出力コード全体に占めるＨ画像（Ｈｉｇｈ２参照）の割合が図５（Ｃ）の例よりも大きくなる。

本実施形態では、Ｌ画像に係る列アンプのゲインによらず、Ｈ画像に係る列アンプのゲイン（高ゲイン）を一定の値に設定する。図６（Ｃ）に示すように、被写体の明るい画像部分ではＬ画像が用いられる。暗い画像部分では列アンプの高ゲイン（一定値）で増幅された信号に基づくＨ２画像が用られる。このように第１のゲイン（高ゲイン）よりも小さい第２のゲイン（低ゲイン）の値は変更され、第１のゲインの値は変更されない。

本実施形態によれば、撮像装置のゲイン設定が変わった場合でも合成画像のＳ／Ｎ比を高く保つことができる。なお、ゲインの異なる２枚の画像の合成に関するアルゴリズムについては任意でよく、本実施形態に限定されるものではない。

［第２実施形態］
次に本発明の第２実施形態を説明する。本実施形態では第１実施形態との相違点を主に説明し、同様の事項については既に使用した符号や記号を用いることで、それらの詳細な説明を省略する。第１実施形態で述べたように、画像の明るさはＬ画像によって決定される。撮影者が撮像装置に対するゲイン設定値を高くしていくと、Ｌ画像についてもＨ画像と同じかまたは同程度のゲインで信号が出力されることになる。その場合、図４（Ｂ）に示す画像加算部４０３を用いて画像信号を出力する処理が行われる。なお、同程度とは２つのゲイン値の差分が閾値以下であることを意味する。

露出補正部４０１は２枚のＨ画像であるＨｉｇｈ Ｇａｉｎ１とＨｉｇｈ Ｇａｉｎ２の各信号を取得し、２枚のＨ画像の明るさを微調整する。これは、図３に示す入力容量Ｃ３０３とＣ３０４との間の微小なばらつきを除去または低減するためである。２枚のＨ画像の明るさを合わせる調整後に、画像加算部４０３は２枚のＨ画像の信号を画素単位で加算する。２枚のＨ画像を加算することで、列アンプ２０４で発生するノイズ成分を抑圧することができる。

本実施形態において、２つのゲイン値の差分が閾値より大きい場合には第１実施形態と同様に画像合成部１０４が画像合成処理を行う。また、Ｌ画像に係る列アンプ２０４のゲインが大きくなり、Ｈ画像と同じかまたは同程度のゲインになった場合、画像合成から画像加算に切り替わる。画像加算部４０３によって画素単位で信号を加算することで、更なるＳ／Ｎ比の向上が可能である。

前記実施形態によれは、光電変換部の出力に基づく信号ごとに複数のゲインで増幅が可能な撮像装置において、被写体によらず、指定のゲイン（撮影者の意図したゲイン設定値等）に応じてＳ／Ｎ比がより良好な画像を取得することができる。なお、前記実施形態では列アンプの増幅率を制御することによりゲインの変更を行う方法を示した。この他には、画素部のＦＤ（フローティングディフュージョン）部への付加容量の接続と非接続を制御することによりゲインの変更を行う方法がある。

１０２・・・撮像素子
１０３・・・画像取得部
１０４・・・画像合成部
１０５・・・信号処理部
１０７・・・露出制御部
１０８・・・撮像素子制御部

Claims (7)

1. 光電変換部を有する画素部と、
   前記光電変換部の出力に基づく信号を複数のゲインで増幅する増幅手段と、
   前記増幅手段のゲインを制御する制御手段と、
   前記増幅手段により増幅された、前記ゲインの異なる複数の信号を処理して画像を生成する生成手段と、を備え、
   前記制御手段は、前記複数のゲインのうち、第１のゲインよりも小さい第２のゲインの値を変更し、前記第１のゲインの値を変更しない制御を行う
   ことを特徴とする撮像装置。
2. 前記生成手段は、
   前記第１のゲインが乗算された第１の画像信号と前記第２のゲインが乗算された第２の画像信号とを取得して露出補正を行う補正手段と、
   前記補正手段により補正された複数の画像信号から合成画像の信号を生成する合成手段と、を備える
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記生成手段は、前記補正手段により補正された前記第１および第２の画像信号を画素単位で加算する加算手段を備える
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記第１のゲインの値と、変更された前記第２のゲインの値との差が閾値より大きい場合、前記合成手段は前記合成画像の信号を生成する
   ことを特徴とする請求項２または請求項３に記載の撮像装置。
5. 前記第１のゲインの値と、変更された前記第２のゲインの値との差が閾値以下である場合、前記加算手段は加算により画像信号を生成する
   ことを特徴とする請求項３に記載の撮像装置。
6. 撮像素子は、前記画素部の列ごとに信号を増幅する前記増幅手段を備え、
   前記撮像素子は、前記制御手段により決定された前記第１および第２のゲインでそれぞれ増幅された複数の信号を出力する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 光電変換部を有する画素部を備える撮像装置にて実行される制御方法であって、
   前記光電変換部の出力に基づく信号を増幅する増幅手段のゲインを制御する制御工程と、
   前記増幅手段によって前記信号を複数のゲインで増幅する増幅工程と、
   前記増幅手段により増幅された、前記ゲインの異なる複数の信号を処理して画像を生成する生成工程と、を有し、
   前記制御工程では、前記複数のゲインのうち、第１のゲインよりも小さい第２のゲインの値を変更し、前記第１のゲインの値を変更しない制御が行われる
   ことを特徴とする撮像装置の制御方法。
   
   
   

Images