JP2023124784A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】同時に撮影した複数の画像のノイズ低減を精度良く行うことができる撮像装置を提供することである。【課題手段】複数の画素が配置された画素部と、画素部を露光して得られた第１の画像信号を複数の異なるゲインで増幅し、複数の異なるゲインでそれぞれ増幅された複数の画像を取得する第１の取得部と、複数の異なるゲインに対応した補正用画像を取得する第２の取得部と、複数の画像を、複数の画像を増幅したそれぞれのゲインに対応した補正用画像を用いて補正する補正部とを備える。【選択図】 図６

Description

本発明は、撮像装置及びその制御方法に関する。

近年、撮像装置では、ＨＤＲ撮影と呼ばれる、露出の異なる画像を複数撮影して合成処理を行うことにより、１枚撮影よりもダイナミックレンジの広い静止画や動画を撮影する機能が広く提案されている。

例えば特許文献１には、同一の画素の信号を複数の列回路によって異なるゲインで同時に処理することで、露出の異なる複数の画像を同時に撮影して合成用の画像を得る技術が開示されている。

特開２０１５－１２８２５３号公報

しかしながら、上記の特許文献１に開示されているような、露出の異なる複数の画像を同時に撮影する場合も、露光時間が長くなると、暗電流をはじめとするノイズが発生する。このノイズを精度良く低減する方法が要望されている。

本発明は上述した課題に鑑みてなされたものであり、その目的は、同時に撮影した複数の画像のノイズ低減を精度良く行うことができる撮像装置を提供することである。

本発明に係わる撮像装置は、複数の画素が配置された画素部と、前記画素部を露光して得られた第１の画像信号を複数の異なるゲインで増幅し、該複数の異なるゲインでそれぞれ増幅された複数の画像を取得する第１の取得手段と、前記複数の異なるゲインに対応した補正用画像を取得する第２の取得手段と、前記複数の画像を、該複数の画像を増幅したそれぞれのゲインに対応した前記補正用画像を用いて補正する補正手段と、を備えることを特徴とする。

本発明によれば、同時に撮影した複数の画像のノイズ低減を精度良く行うことが可能となる。

本発明の第１の実施形態の撮像装置の概略構成を示すブロック図。 撮像素子のブロック図 撮像素子の各単位画素の回路構成を示す図。 列回路の回路構成を示す回路図。 １枚撮影でのノイズ低減処理の動作を示すフローチャート。 第１の実施形態におけるＨＤＲ撮影を行う場合のノイズ低減処理の動作を示すフローチャート。 第２の実施形態におけるＨＤＲ撮影を行う場合のノイズ低減処理の動作を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１の実施形態）
図１は、本発明の撮像装置の第１の実施形態である撮像装置１００の概略構成を示すブロック図である。

図１において、撮影レンズ１０１は、撮像装置１００の本体部に装着可能な交換レンズユニット、または本体部に組み込まれたレンズ部であり、フォーカスレンズやズームレンズ等、複数のレンズ群、及び、絞り機構などから構成される。

撮像素子１０２は、複数の画素を有するＣＭＯＳイメージセンサであって、２つの駆動方法で駆動することが可能である。１つは、撮影レンズ１０１により結像された被写体の光学像に対し、各画素で光電変換を行って入射光量に応じた電荷を生成し、各画素の信号を同一のゲインで増幅した画像信号を出力する駆動方法である。またもう１つは、各画素の信号を複数種類のゲインで増幅した複数の画像信号を出力する駆動方法である。

また、撮像素子１０２は、ローリングシャッターをはじめとする、各画素への入射光量を調節する電子シャッター機能を有しており、露光時間を制御することが可能である。また、入射光を完全に遮るための物理幕機構を有している。

画像取得部１０３は、撮像素子１０２から出力された画像信号を取得し、取得した画像信号を一時的に保持すると共に、取得した画像信号を用いて測光を行う。

画像合成部１０４は、画像取得部１０３に一時的に保持されている撮像素子１０２の出力に基づく画像信号から、任意の合成方法を用いてＨＤＲ（高ダイナミックレンジ）画像を生成する。例えば、所定の信号レベル以下の画像部分については高いゲイン量の画像信号を用い、所定の信号レベルを超えた画像部分（明るく白飛びしている画像）については低いゲイン量の画像信号を用い、それらを合成する方法がある。なお、合成後の画像の暗部の信号に用いられる通常画像としては、暗部のランダムノイズが抑えられていることが好ましい。また、ＨＤＲ撮影を行わない場合には、画像取得部１０３に保持された画像信号をそのまま出力する。

画像処理部１０５は、画像取得部１０３に保存されている画像や画像合成部１０４から出力された画像信号に対して、ノイズ低減処理、ガンマ処理、色信号処理、露出補正処理などの各種信号処理を行って、処理した画像信号を出力する。

画像記録部１０６は、画像処理部１０５によって処理された画像信号を記憶装置または記憶媒体に記録する。記憶装置または記憶媒体としては、例えば、撮像装置１００の本体部に装着可能なメモリデバイスが使用される。

操作部１０７を操作することにより、ユーザーは撮像装置１００に対する種々の指示を入力することができる。操作部１０７は、レリーズボタンやモード切り換えダイヤル、ズーム操作レバー等の操作部材やタッチパネルなどを含む。操作部１０７を介したユーザー入力は、システム制御部１１０に通知される。ユーザーが操作部１０７を操作して、ＨＤＲ撮影の設定を撮像装置１００に入力するＨＤＲ撮影設定のフローチャートは、図１のブロック図を一通り説明した後に説明する。

記憶部１０８は、ユーザーが撮像装置１００に指示をした内容を記憶する記憶部であり、電気的に消去・記録可能な不揮発性メモリで構成される。また、記憶部１０８は、システム制御部１１０が撮像装置１００全体を制御するためのプログラムも記憶している。

表示部１０９は、撮影画像や撮影時の情報、及び操作部１０７による操作用のユーザーインターフェース等を表示することができ、例えば、ＴＦＴ－ＬＣＤ等で構成される。表示部１０９がタッチパネルで構成され、操作部１０７で操作可能なユーザーからの入力が、表示部１０９で入力可能であってもよい。もしくは、視線入力機能を備えたＥＶＦ（電子ビューファインダ）等で構成され、操作部１０７で操作可能なユーザーからの入力が、表示部１０９で入力可能であってもよい。

システム制御部１１０は、画像取得部１０３に保持された画像信号や測光結果、及び、操作部１０７を介したユーザーからの入力に基づいて、撮像素子制御部１１１やレンズ制御部１１２を制御する。

撮像素子制御部１１１は、システム制御部１１０からの制御信号に従って、撮像素子１０２の駆動制御を行う。レンズ制御部１１２は、システム制御部１１１からの制御信号に従って、撮影レンズ１０１の駆動制御を行う。

図２は、本実施形態における撮像素子１０２の構成を示すブロック図である。

画素領域（画素部）２０８は、複数の単位画素２００が行列状に配置されて構成されている。本実施形態では、説明を分かりやすくするために、水平方向にｎ画素、垂直方向に４画素並ぶ構成で示しているが、通常は、水平方向、垂直方向に多数の画素が配置されている。

単位画素２００には、複数色のカラーフィルタのうちのいずれか１色のフィルタが設けられており、カラーフィルタの色に応じた映像信号が取得される。図２においては、赤色カラーフィルタをＲ画素、緑色カラーフィルタをＧ画素、青色カラーフィルタをＢ画素として、それぞれＲＧＢで表記している。このように３色のカラーフィルタをそれぞれ有する各画素がベイヤー配列に従って配置されている。

垂直走査回路２０３から各行の画素に共通の駆動信号線２０２を通じて駆動パルスが送出される。なお、駆動信号線２０２は、説明を分かりやすくするために、各行毎に１本ずつ図示されているが、各行毎に複数の駆動信号線が配置されていてもよい。

同じ列の単位画素２００のうち奇数行の画素は列出力線２０１に接続されている。また、偶数行の画素は列出力線２１１に接続されている。スイッチ２０９がＯＦＦの場合は、奇数行の画素からの画像信号は列出力線２０１を介して列回路２０４にのみ入力される。スイッチ２０９がＯＮの場合は、列回路２０４と列回路２１０にそれぞれ入力される。

偶数行の画素も同様に、スイッチ２０９がＯＦＦの場合は、列出力線２１１を介して列回路２１０にのみ入力される。スイッチ２０９がＯＮの場合は、列回路２０４と列回路２１０にそれぞれ入力される。

スイッチ２０９がＯＦＦの場合は、偶数行と奇数行を同時に読み出すことができ、ＯＮの場合は、偶数行と奇数行が順次読み出される。そのため、スイッチ２０９がＯＦＦ→ＯＮになると、読み出し完了時間は長くなる。本実施形態では、１枚撮影の場合はスイッチ２０９をＯＦＦにして使用し、ＨＤＲ撮影のために２枚の画像を取得する場合は、スイッチ２０９をＯＮに切り替えて使用する。

列回路２０４および列回路２１０は列回路信号線２０５を介して垂直走査回路２０３と接続されており、撮像素子制御部１１１の指示に応じて、各画素からの信号にゲインを掛ける処理を行う。スイッチ２０９がＯＦＦの場合は、列回路２０４と列回路２１０には、同一のゲインが設定される。一方、スイッチ２０９がＯＮの場合は、列回路２０４と列回路２１０にはそれぞれ異なるゲインが設定される。

本実施形態では、１枚撮影を行う場合は、スイッチ２０９をＯＦＦにして列回路２０４と列回路２１０に同じゲインを設定し、偶数行と奇数行で同一のゲインで増幅された出力信号が得られるように制御する。また、ＨＤＲ撮影を行う場合は、スイッチ２０９をＯＮにして列回路２０４と列回路２１０にＨＤＲ撮影に必要な異なるゲインを設定し、偶数行、奇数行それぞれで複数の異なるゲインで増幅された出力信号が得られるように制御する。なお、列回路２０４と列回路２１０は、それぞれ入力された画素信号のＡ／Ｄ変換処理も行う。

列回路２０４および列回路２１０で処理された信号は、水平転送回路２０７に出力される。水平転送回路２０７は、画像取得部１０３へと画像信号を出力する。

図３は、撮像素子１０２の各単位画素２００の回路構成を示す図である。図３には、画素領域２０８を構成する複数の単位画素２００の１つが矩形の点線によって代表的に示されている。

列出力線２０１は、電流源７００および列回路２０４に接続されると共に、同じ１列に配置された複数の単位画素２００（垂直画素列）と接続され、画素信号を伝送する。

駆動信号線２０２は、図２の垂直走査回路２０３に接続されると共に、同じ１行に配置された複数の単位画素２００（水平画素列）と接続される。垂直走査回路２０３が駆動信号線２０２を介して、同じ１行の単位画素２００を同時に駆動制御することにより、各単位画素２００からの信号の読み出しおよびリセットが実行される。それぞれの駆動信号線２０２は、後述する転送制御線ｐＴＸ、ＦＤ拡張制御線ｐＦＤｅｘｔ、リセット制御線ｐＲＳ、および選択制御線ｐＳＥＬを含んでいる。

光電変換素子（光電変換部）ＰＤは、入射光を電荷に変換すると共に、変換された電荷を蓄積するフォトダイオードである。光電変換素子ＰＤは、ＰＮ接合のＰ側が接地されると共に、ＰＮ接合のＮ側が転送トランジスタ（転送スイッチ）ＴＸのソースに接続されている。

転送トランジスタＴＸは、ゲートが転送制御線ｐＴＸに接続され、ドレインがＦＤ（フローティングディフュージョン）容量ＣＦＤに接続される。転送トランジスタＴＸは、光電変換素子ＰＤからＦＤ容量ＣＦＤへ電荷を転送する。

ＦＤ容量ＣＦＤ（電荷電圧変換部）は、一方が接地されており、光電変換素子ＰＤから転送された電荷を電圧に変換する際に電荷を蓄積する。以下、転送トランジスタＴＸのドレインとＦＤ容量ＣＦＤの他方側（非接地側）の接続点をＦＤノード７０１と称する。

ＦＤ拡張トランジスタ（ＦＤ拡張部）ＦＤｅｘｔは、ゲートがＦＤ拡張制御線ｐＦＤｅｘｔに接続され、ソースがＦＤ容量ＣＦＤに接続され、ドレインがリセットトランジスタ（リセットスイッチ）Ｔ２に接続されるＭＯＳ型トランジスタである。リセットトランジスタＴ２は、ゲートがリセット制御線ｐＲＳに接続され、ドレインが電源電圧Ｖｄｄに接続され、ソースがＦＤ拡張トランジスタＦＤｅｘｔに接続される。

ＦＤ拡張トランジスタＦＤｅｘｔおよびリセットトランジスタＴ２が共にオン状態に設定されることによって、ＦＤノード７０１の電位が電源電圧Ｖｄｄにリセットされる。一方、ＦＤ拡張トランジスタＦＤｅｘｔおよびリセットトランジスタＴ２が共にオフ状態である場合には、ＦＤ容量ＣＦＤにおいて光電変換素子ＰＤから転送された電荷が電圧に変換される。

ＦＤ拡張トランジスタＦＤｅｘｔがオン状態であってリセットトランジスタＴ２がオフ状態である場合には、ＦＤ拡張トランジスタＦＤｅｘｔが、電荷を保持可能な蓄積部（すなわち、蓄積容量）として機能する。この蓄積容量を、以下、ＦＤ拡張容量Ｃｅｘと称する。

この場合、ＦＤ拡張トランジスタＦＤｅｘｔの蓄積容量およびＦＤ容量ＣＦＤは基板に対して並列に接地されているので、ＦＤノード７０１から見た容量は、ＦＤ容量ＣＦＤにＦＤ拡張容量Ｃｅｘを加算した容量ＣＦＤａｄｄとなる。したがって、ＦＤノード７０１において、ＦＤ容量ＣＦＤとＦＤ拡張容量Ｃｅｘとを加算した加算容量ＣＦＤａｄｄを用いて、光電変換素子ＰＤから転送された電荷が電圧に変換される。

駆動トランジスタ（増幅部）Ｔｄｒｖは、画素内アンプを構成するトランジスタであって、ゲートがＦＤ容量ＣＦＤに接続され、ドレインが電源電圧Ｖｄｄに接続され、ソースが選択トランジスタＳＥＬのドレインに接続されている。したがって、駆動トランジスタＴｄｒｖは、ＦＤ容量ＣＦＤの蓄積電荷に応じた電圧を出力する。

選択トランジスタＳＥＬは、ゲートが選択制御線ｐＳＥＬに接続され、ソースが列出力線２０１に接続されている。選択トランジスタＳＥＬは、駆動トランジスタＴｄｒｖの出力を、単位画素２００の出力信号（画素信号）として列出力線２０１に出力する。

電流源７００は、列出力線２０１が接続されている列の単位画素２００の駆動トランジスタＴｄｒｖと共に、画素内アンプとして機能するソースフォロア回路を構成している。本実施形態においては、駆動トランジスタＴｄｒｖおよび電流源７００以外のトランジスタは、スイッチとして働き、ゲートに接続された制御線の信号がＨｉｇｈの時に導通し（ＯＮ状態になり）、Ｌｏｗの時に遮断する（ＯＦＦ状態になる）ものとする。

図４は列回路２０４の回路構成を示す回路図である。列回路２１０の回路構成も列回路２０４の回路構成と同じであるため、以下では、それらを代表して列回路２０４の構成について説明する。

列回路２０４は列アンプ８００、比較器８０１、カウンタ回路８０２、ラッチ回路８０３、および演算回路８０４を備えている。ランプ信号生成部８０６（以下ＲＡＭＰ）は時間に対して変化するランプ信号を生成する回路である。列アンプ８００は、列出力線２０１に出力された単位画素２００の出力信号（画素信号）を増幅する増幅器である。

比較器８０１は、ランプ信号生成部８０６により生成されるランプ信号と列アンプ８００の出力を比較し、時間変化するランプ信号と画素出力が一致したタイミングで反転信号を出力する。

カウンタ回路８０２は、接続されているカウンタ制御線ｐＣＮＴから供給されるクロックに基づいてカウント動作を行う。カウンタ回路８０２は、比較器８０１が画素信号とランプ信号の比較を開始したタイミングからカウント動作を開始し、比較器８０１の出力が反転したタイミングでのカウント値を出力する。

ラッチ回路８０３は、カウンタ回路８０２が出力するカウント値を一時的に保持すると共に、接続されているラッチ制御線ｐＬＴＣを介した制御に基づいて保持しているカウント値を出力する。

演算回路８０４は、接続されている演算制御線ｐＣＡＬを介した制御に基づいて、ラッチ回路８０３が出力するカウント値を画素のデジタル信号として記憶する。加えて、演算回路８０４は記憶している画素のデジタル信号を出力する。これらの比較器８０１、カウンタ回路８０２、ラッチ回路８０３、演算回路８０４、ＲＡＭＰ８０６によりＡ／Ｄ変換器が構成される。

ここで、列回路２０４におけるゲイン設定について説明する。列回路２１０についても同様である。列回路２０４の列アンプ８００は、列出力線２０１に出力された単位画素２００の出力信号（画素信号）を複数の異なるゲインで増幅することができる。列アンプ８００は、設定されたゲインで画素信号を増幅し、増幅された画素信号が比較器８０１に入力される。

なお、列アンプ８００に限らず、後段のＡ／Ｄ変換器でランプ信号の時間変化を変更することにより、画素信号のＡ／Ｄ変換時に異なるゲインで増幅してもよい。すなわち、ランプ信号の時間変化が遅ければ比較器８０１の出力の反転が遅れ、カウント値が増加する。ランプ信号の時間変化の速度は単位画素２００の出力信号の増幅率に相当するので、これをＲＡＭＰゲインと称し、時間変化の程度を変えることでＲＡＭＰゲインを切り替えることができる。

図５は、撮像装置１００における１枚撮影でのノイズ低減処理の動作を示すフローチャートである。操作部１０７からの撮影要求により撮影が開始される。このフローチャートの動作は、システム制御部１１０が、記憶部１０８に記憶されたプログラムを実行することにより実現される。

ステップＳ３０１において、システム制御部１１０は、撮像素子１０２への露光制御を行う。具体的には、システム制御部１１０は、レンズ制御部１１２を通じて撮像レンズ１０１の絞り機構を制御し、光量の調整を行う。また、撮像素子制御部１１１を通じて撮像素子１０２の電子シャッター機構を制御して、撮影素子１０２に必要な電荷を生成させる。露光時間の制御には、操作部１０７から指定されるなどして、記憶部１０８に記憶されている露光時間設定を用いる。

ステップＳ３０２において、システム制御部１１０は、撮像素子制御部１１１を通じて撮像素子１０２から各画素の出力信号に同一ゲインを掛けた画像信号を出力する駆動を行うよう制御する。ゲイン量の制御には、操作部１０７などから指定されるなどして、記憶部１０８に記憶されているゲイン設定が用いられる。出力された画像は、画像取得部１０３に保持される。

ステップＳ３０３において、システム制御部１１０は、画像取得部１０３に一時保存された画像信号に対してノイズ低減処理が必要か否かの要否判断を行う。ノイズ低減処理の要否は、記憶部１０８に記憶されている撮影の露光時間設定が一定時間以上である場合にＹＥＳ、一定時間未満である場合にＮＯとして判断される。この他にも、画像取得部１０３に一時保存された画像について、画像処理部１０５でノイズレベルを検出し、その結果に応じて判断するなど、目的に応じて判断の方法を切り替えてもよい。

ステップＳ３０４において、システム制御部１１０は、ノイズ低減処理に必要な補正用画像の読み出しを行う。具体的には、システム制御部１１０は、撮像素子制御部１１１を通じて撮像素子１０２の物理幕を閉じることで、撮影レンズ１０１からの入射光を遮る（遮光する）。そして、記憶部１０８に記憶されている、ステップＳ３０１で用いられた露光時間設定、およびステップＳ３０２で用いられたゲイン設定を用いて、撮像素子１０２から非露光の状態の画像を取得する。

補正用画像の取得方法としては、上記した非露光の画像を撮影して取得する方法の他にも、撮像素子１０２の単位画素２００から電荷転送をせず、その後段の列回路２０４からの読み出し動作を繰り返して非露光相当の画像を読み出す方法も考えられる。また、あらかじめ記憶部１０８に保存しておいた画像を読み出してきて、画像取得部１０３に展開する方法なども考えられる。

ステップＳ３０５において、システム制御部１１０は、ステップＳ３０２で画像取得部１０３に一時保存された露光画像および、ステップＳ３０４で画像取得部１０３に一時保存された補正用画像を入力として、画像処理部１０５を用いてノイズ低減処理を行う。ノイズ低減処理としては、露光画像から補正用画像を減算することで、露光画像中のノイズ成分を除去する方法などが挙げられる。

ノイズ低減処理が施された露光画像は、必要に応じて画像処理部１０５で視覚化のための画像処理を施すなどして画像記録部１０６に保存される。

１枚撮影では以上の様にノイズ低減処理を行う。

次に、本実施形態における、ＨＤＲ撮影でのノイズ低減処理の制御方法について説明する。

図６は、撮像装置１００におけるＨＤＲ撮影を行う場合のノイズ低減処理の動作を示すフローチャートである。操作部１０７からの撮影要求により撮影が開始される。このフローチャートの動作は、システム制御部１１０が、記憶部１０８に記憶されたプログラムを実行することにより実現される。

ステップＳ４０１において、システム制御部１１０は、ステップＳ３０１と同様の処理を行い、撮像素子１０２への露光制御を行う。

ステップＳ４０２およびステップＳ４０３において、システム制御部１１０は、撮像素子制御部１１１を通じて撮像素子１０２から１回の露光（単一露光）で得られる各画素の出力信号に複数の異なるゲインをかけた画像信号が出力される駆動を行うように制御する。

ステップＳ４０２では第１のゲインをかけた露光画像１、ステップＳ４０３では第２のゲインをかけた露光画像２を読み出す。露光画像１、露光画像２のそれぞれのゲイン量（第１のゲイン、第２のゲイン）の制御には、操作部１０７などから指定されるなどして、記憶部１０８に記憶されているゲイン設定が用いられる。

露光画像１の画像信号は列回路２０４において第１のゲインで増幅され、また露光画像２の画像信号は列回路２１０において第２のゲインで増幅されたのち、それぞれ水平転送回路２０７に転送される。

本実施形態では、２パターンのゲイン設定の画像信号をそれぞれ保持する場合を例に挙げている。ステップＳ４０２は、画像取得部１０３に露光画像１が一時記憶されたタイミングで終了し、ステップＳ４０３は、画像取得部１０３に露光画像２が一時記憶されたタイミングで終了する。

ステップＳ４０４において、システム制御部１１０は、画像取得部１０３に一時保存された画像信号に対してＳ３０３と同様の方法でノイズ低減処理が必要か否かの要否判断を行う。

ステップＳ４０５およびステップＳ４０６において、システム制御部１１０は、ノイズ低減処理に必要な補正用画像の読み出しを行う。具体的には、システム制御部１１０は、撮像素子制御部１１１を通じて撮像素子１０２の物理幕を閉じることで、撮影レンズ１０１からの入射光を遮る。システム制御部１１０は、撮像素子制御部１１１を通じて撮像素子１０２から１回の蓄積で得られる各画素の出力信号に複数の異なるゲインをかけた画像信号が出力される駆動を行うよう制御する。

ステップＳ４０５では、システム制御部１１０は、記憶部１０８に記憶されているステップＳ４０２での読み出しと同様の露光時間設定（露光設定）とゲイン設定で補正用画像１を取得する。取得された補正用画像１は画像取得部１０３に一時保存される。
ステップＳ４０６では、記憶部１０８に記憶されているステップＳ４０３での読み出しと同様の露光時間設定とゲイン設定で補正用画像２を取得する。取得された補正用画像２は画像取得部１０３に一時保存される。

ステップＳ４０７では、システム制御部１１０は、ステップＳ４０２で画像取得部１０３に一時保存された露光画像１および、ステップＳ４０５で画像取得部１０３に一時保存された補正用画像１を入力として、画像処理部１０５を用いてノイズ低減処理を行う。ノイズ低減処理は、ステップＳ３０５で挙げた手法と同様の手法を用いる。ノイズ低減処理が施された露光画像１は、画像取得部１０３に一時保存される。

ステップＳ４０８では、システム制御部１１０は、ステップＳ４０３で画像取得部１０３に一時保存された露光画像２および、ステップＳ４０６で画像取得部１０３に一時保存された補正用画像２を入力として、画像処理部１０５を用いてノイズ低減処理を行う。ノイズ低減処理は、ステップＳ３０５で挙げた手法と同様の手法を用いる。ノイズ低減処理が施された露光画像２は画像取得部１０３に一時保存される。

ステップＳ４０９では、システム制御部１１０は、ステップＳ４０７で画像取得部１０３に一時保存されたノイズ低減処理が施された露光画像１と、ステップＳ４０８で画像取得部１０３に一時保存されたノイズ低減処理を施された露光画像２の２枚の画像を入力として、画像合成部１０４を用いて前述した方法でＨＤＲ画像の合成処理を行う。そして、１枚のＨＤＲ画像を出力する。

合成処理が行われたＨＤＲ画像は、必要に応じて画像処理部１０５で視覚化のための画像処理を施すなどして、画像記録部１０６により、記憶装置または記憶媒体に保存される。

第１の実施形態のＨＤＲ撮影では、以上の様に異なるゲインの露光画像それぞれに対してノイズ低減処理を行い、ノイズ低減処理を行った露光画像を合成することで、ノイズ低減されたＨＤＲ画像を得る。

なお本実施形態では、各ゲインに対応する補正用画像を撮像素子から読み出すものとして説明したが、本発明はこれに限定されるものではない。例えば、補正用画像１のみを撮像素子から読み出し、補正用画像２は補正用画像１から２つの露光画像のゲイン比を元に算出するようにしてもよい。

（第２の実施形態）
以下、本発明の第２の実施形態における、ＨＤＲ撮影でのノイズ低減処理の制御について説明する。なお、本実施形態では、撮像装置の構成は、第１の実施形態における撮像装置１００の構成と同様である。

図７は、撮像装置１００におけるＨＤＲ撮影を行う際のノイズ低減処理の動作を示すフローチャートである。操作部１０７からの撮影要求により撮影が開始される。このフローチャートの動作は、システム制御部１１０が、記憶部１０８に記憶されたプログラムを実行することにより実現される。

ステップＳ５０１において、システム制御部１１０は、ステップＳ３０１と同様の処理を行い、撮像素子１０２への露光制御を行う。

ステップＳ５０２およびステップＳ５０３において、システム制御部１１０は、撮像素子制御部１１１を通じて撮像素子１０２から１回の露光（単一露光）で得られる各画素の出力信号に複数の異なるゲインをかけた画像信号が出力される駆動を行うよう制御する。

ステップＳ５０２では第１のゲインをかけた露光画像１、ステップＳ５０３では第２のゲインをかけた露光画像２を読み出す。露光画像１、露光画像２のそれぞれのゲイン量（第１のゲイン、第２のゲイン）の制御には、操作部１０７などから指定されるなどして、記憶部１０８に記憶されているゲイン設定が用いられる。

露光画像１の画像信号は列回路２０４において第１のゲインで増幅され、また露光画像２の画像信号は列回路２１０において第２のゲインで増幅されたのち、それぞれ水平転送回路２０７に転送される。

本実施形態では、２パターンのゲイン設定の画像信号をそれぞれ保持する場合を例に挙げている。ステップＳ５０２は、画像取得部１０３に露光画像１が一時記憶されたタイミングで終了し、ステップＳ５０３は、画像取得部１０３に露光画像２が一時記憶されたタイミングで終了する。

ステップＳ５０４において、システム制御部１１０は、画像取得部１０３に一時保存された画像信号に対してノイズ低減処理が必要か否かの要否判断を行う。具体的には、記憶部１０８に記憶されている露光時間設定、および２パターンのゲイン設定を参照して、露光画像１もしくは露光画像２のいずれかに対してノイズ低減処理が必要かを判断する。

本実施形態では、ＨＤＲ撮影のために露光画像１よりも高いゲイン設定を露光画像２に対して用いることで露出差をつける。同一露光時間でも、より低いゲイン量で増幅して読み出しを行う方が画像内のノイズ成分が強調されないため、ノイズが目立ち難い。そのため、記憶部１０８のステップＳ５０１で用いられた露光時間設定、および、ステップＳ５０２、ステップＳ５０３で用いられたゲイン設定を閾値にノイズ低減の要否判断を行う。

以下、要否判断の一例について説明する。例えば、単位画素２００の露光時間設定が１秒以上の場合は、露光画像１、露光画像２の両方にノイズ低減処理が必要であると判断する。また、露光時間が１秒未満でも、列回路２０４および列回路２１０のゲイン設定可能範囲がＩＳＯ１００～１２８００である場合、ＩＳＯ感度６４００以上のゲイン設定の露出画像に対してはノイズ低減処理が必要であると判断する。

ただし、ここで説明した閾値の設定方法や判断方法はこの方法に限定されるものではなく、他の方法を用いてもよいことは言うまでもない。また、上記の方法の他にも、画像取得部１０３に一時保存された画像信号に対してＳ３０３と同様の方法でノイズの検出処理を行い、ノイズ低減処理が必要か否かの要否判断を行うなどの方法も考えられる。

本実施形態では、例えば、露光画像１のノイズ低減処理は不要、露光画像２のノイズ低減処理は必要と判断し、ステップＳ５０５へと進む。ステップＳ５０４での判断結果は記憶部１０８に記憶される。なお、ステップＳ５０４で、露光画像１及び露光画像２のどちらもノイズ低減処理が不要である場合は、ステップＳ５０７へと進む。

ステップＳ５０５およびステップＳ５０６において、システム制御部１１０は、ノイズ低減処理に必要な補正用画像の読み出しを行う。具体的には、システム制御部１１０は、撮像素子制御部１１１を通じて撮像素子１０２の物理幕を閉じることで、撮影レンズ１０１からの入射光を遮る。システム制御部１１０は、撮像素子制御部１１１を通じて撮像素子１０２から１回の蓄積で得られる各画素の出力信号に複数の異なるゲインをかけた画像信号が出力される駆動を行うよう制御する。

ステップＳ５０５では、システム制御部１１０は、記憶部１０８に記憶されているステップＳ５０２での読み出しと同様の露光時間設定とゲイン設定で補正用画像１を取得する。取得された補正用画像１は画像取得部１０３に一時保存される。なお、本実施形態では、ステップＳ５０４で露光画像１のノイズ低減処理が不要と判断されているため、補正用画像１は画像取得部１０３に保存しなくてもよい。

ステップＳ５０６では、記憶部１０８に記憶されているステップＳ５０３での読み出しと同様の露光時間設定とゲイン設定で補正用画像２を取得する。取得された補正用画像２は画像取得部１０３に一時保存される。

ステップＳ５０７では、システム制御部１１０は、ステップＳ５０４で求めた露光画像１のノイズ低減処理の要否の判断結果を記憶部１０８から参照して、ステップＳ５０８でノイズ低減処理を行うか否かを判断する。本実施形態では、前述の通りノイズ低減処理が不要との判断であるため、ステップＳ５０９へと進む。

ステップＳ５０８では、システム制御部１１０は、ステップＳ５０２で画像取得部１０３に一時保存された露光画像１および、ステップＳ５０５で画像取得部１０３に一時保存された補正用画像１を入力として、画像処理部１０５を用いてノイズ低減処理を行う。

ノイズ低減処理は、ステップＳ３０５で挙げた手法と同様の手法を用いる。ノイズ低減処理が施された露光画像１は、画像取得部１０３に一時保存される。なお、本実施形態では、ステップＳ５０８はスキップされる例を挙げているため、このステップの処理は行われない。

ステップＳ５０９では、システム制御部１１０は、ステップＳ５０４で求めた露光画像２のノイズ低減処理の要否の判断結果を記憶部１０８から参照して、ステップＳ５１０でノイズ低減処理を行うか否かを判断する。本実施形態では、前述の通りノイズ低減処理が必要との判断であるため、ステップＳ５１０へと進む。

ステップＳ５１０では、システム制御部１１０は、ステップＳ５０３で画像取得部１０３に一時保存された露光画像２および、ステップＳ５０６で画像取得部１０３に一時保存された補正用画像２を入力として、画像処理部１０５を用いてノイズ低減処理を行う。ノイズ低減処理は、ステップＳ３０５で挙げた手法と同様の手法を用いる。ノイズ低減処理が施された露光画像２は、画像取得部１０３に一時保存される。

ステップＳ５１１では、システム制御部１１０は、露光画像１と露光画像２を入力として、画像合成部１０４を用いて前述した方法でＨＤＲ画像の合成処理を行い、１枚のＨＤＲ画像を出力する。本実施形態では、ステップＳ５０２で画像取得部１０３に一時保存されたノイズ低減処理が施されていない露光画像１と、ステップＳ５１０で画像取得部１０３に一時保存されたノイズ低減処理が施された露光画像２の２枚の画像でＨＤＲ画像の合成処理を行う。

なお、ステップＳ５０４において、露光画像１及び露光画像２のどちらもノイズ低減処理が不要であると判断された場合は、ステップＳ５０２で画像取得部１０３に一時保存されたノイズ低減処理が施されていない露光画像１と、ステップＳ５０３で画像取得部１０３に一時保存されたノイズ低減処理が施されていない露光画像２の２枚の画像でＨＤＲ画像の合成処理を行う。

第２の実施形態のＨＤＲ撮影では、以上の様に、異なるゲインの露光画像それぞれに対してノイズ低減処理の要否判断を行い、ノイズ低減処理が必要な場合には、ノイズ低減処理を行った露光画像同士、もしくはいずれか一方にノイズ低減処理を行った画像同士を合成する。これにより、画像内の必要な箇所にのみノイズ低減処理が成されたＨＤＲ画像を得ることが可能となる。長秒露光や高いゲイン量設定など、画面内のノイズが目立ちやすい撮影がなされた箇所に対してのみノイズ低減処理がなされた画像でＨＤＲ合成が行われるため、より良好なＨＤＲ画像を得ることが可能となる。

なお、第１及び第２の実施形態では、ＨＤＲ撮影する際に、列回路２０４および列回路２１０において、列アンプ８００のゲインでゲイン差をつける例を示したが、ＲＡＭＰ８０６でゲイン差をつけてもよい。また、画素のＦＤ容量を異ならせることにより、ゲイン差をつけた画素信号を読み出してもよい。

本明細書の開示は、以下の撮像装置、方法、プログラムおよび記憶媒体を含む。

（項目１）
複数の画素が配置された画素部と、
前記画素部を露光して得られた第１の画像信号を複数の異なるゲインで増幅し、該複数の異なるゲインでそれぞれ増幅された複数の画像を取得する第１の取得手段と、
前記複数の異なるゲインに対応した補正用画像を取得する第２の取得手段と、
前記複数の画像を、該複数の画像を増幅したそれぞれのゲインに対応した前記補正用画像を用いて補正する補正手段と、
を備えることを特徴とする撮像装置。

（項目２）
前記第２の取得手段は、前記画素部を露光しない状態で得られる画像信号に相当する第２の画像信号を用いて、前記複数の異なるゲインに対応した補正用画像を取得することを特徴とする項目１に記載の撮像装置。

（項目３）
前記第１の画像信号と前記第２の画像信号は、それぞれ同じ露光設定で得られた画像信号であることを特徴とする項目２に記載の撮像装置。

（項目４）
前記第２の画像信号は、前記画素部を遮光した状態で得られた画像信号であることを特徴とする項目２または３に記載の撮像装置。

（項目５）
前記第２の画像信号は、前記画素部から電荷の転送をせずに、その後段の回路からの信号の読み出し動作を繰り返して得られた画像信号であることを特徴とする項目２または３に記載の撮像装置。

（項目６）
前記第２の取得手段は、前記第２の画像信号を、前記複数の異なるゲインでそれぞれ増幅することにより、前記複数の異なるゲインに対応した補正用画像を取得することを特徴とする項目２乃至５のいずれか１項目に記載の撮像装置。

（項目７）
前記第２の取得手段は、前記複数の異なるゲインに対応した補正用画像の少なくとも１つを、他の補正用画像に基づいて生成することを特徴とする項目１乃至６のいずれか１項目に記載の撮像装置。

（項目８）
前記第２の取得手段は、前記補正用画像の少なくとも１つを、該補正用画像と前記他の補正用画像のゲインの比に基づいて、前記他の補正用画像から算出することを特徴とする項目７に記載の撮像装置。

（項目９）
前記複数の異なるゲインに対応した補正用画像は、あらかじめ保存されていた画像であることを特徴とする項目１に記載の撮像装置。

（項目１０）
前記複数の画像に対して、前記補正用画像を用いた補正を行うか否かを判断する判断手段をさらに備えることを特徴とする項目１乃至９のいずれか１項目に記載の撮像装置。

（項目１１）
前記判断手段は、前記補正用画像を用いた補正を行うか否かの判断を、前記複数の画像のそれぞれに対して行うことを特徴とする項目１０に記載の撮像装置。

（項目１２）
複数の画素が配置された画素部を備える撮像装置を制御する方法であって、
前記画素部を露光して得られた第１の画像信号を複数の異なるゲインで増幅し、該複数の異なるゲインでそれぞれ増幅された複数の画像を取得する第１の取得工程と、
前記複数の異なるゲインに対応した補正用画像を取得する第２の取得工程と、
前記複数の画像を、該複数の画像を増幅したそれぞれのゲインに対応した前記補正用画像を用いて補正する補正工程と、
を有することを特徴とする撮像装置の制御方法。

（項目１３）
項目１２に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。

（項目１４）
項目１２に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：撮像装置、１０１：撮影レンズ、１０２：撮像素子、１０３：画像取得部、１０４：画像合成部、１０５：画像処理部、１０６：画像記録部、１０７：操作部、１０８： 記憶部、１０９：表示部、１１０：システム制御部、１１１：撮像素子制御部、１１２：レンズ制御部

Claims (14)

1. 複数の画素が配置された画素部と、
   前記画素部を露光して得られた第１の画像信号を複数の異なるゲインで増幅し、該複数の異なるゲインでそれぞれ増幅された複数の画像を取得する第１の取得手段と、
   前記複数の異なるゲインに対応した補正用画像を取得する第２の取得手段と、
   前記複数の画像を、該複数の画像を増幅したそれぞれのゲインに対応した前記補正用画像を用いて補正する補正手段と、
   を備えることを特徴とする撮像装置。
2. 前記第２の取得手段は、前記画素部を露光しない状態で得られる画像信号に相当する第２の画像信号を用いて、前記複数の異なるゲインに対応した補正用画像を取得することを特徴とする請求項１に記載の撮像装置。
3. 前記第１の画像信号と前記第２の画像信号は、それぞれ同じ露光設定で得られた画像信号であることを特徴とする請求項２に記載の撮像装置。
4. 前記第２の画像信号は、前記画素部を遮光した状態で得られた画像信号であることを特徴とする請求項２に記載の撮像装置。
5. 前記第２の画像信号は、前記画素部から電荷の転送をせずに、その後段の回路からの信号の読み出し動作を繰り返して得られた画像信号であることを特徴とする請求項２に記載の撮像装置。
6. 前記第２の取得手段は、前記第２の画像信号を、前記複数の異なるゲインでそれぞれ増幅することにより、前記複数の異なるゲインに対応した補正用画像を取得することを特徴とする請求項２に記載の撮像装置。
7. 前記第２の取得手段は、前記複数の異なるゲインに対応した補正用画像の少なくとも１つを、他の補正用画像に基づいて生成することを特徴とする請求項１に記載の撮像装置。
8. 前記第２の取得手段は、前記補正用画像の少なくとも１つを、該補正用画像と前記他の補正用画像のゲインの比に基づいて、前記他の補正用画像から算出することを特徴とする請求項７に記載の撮像装置。
9. 前記複数の異なるゲインに対応した補正用画像は、あらかじめ保存されていた画像であることを特徴とする請求項１に記載の撮像装置。
10. 前記複数の画像に対して、前記補正用画像を用いた補正を行うか否かを判断する判断手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
11. 前記判断手段は、前記補正用画像を用いた補正を行うか否かの判断を、前記複数の画像のそれぞれに対して行うことを特徴とする請求項１０に記載の撮像装置。
12. 複数の画素が配置された画素部を備える撮像装置を制御する方法であって、
    前記画素部を露光して得られた第１の画像信号を複数の異なるゲインで増幅し、該複数の異なるゲインでそれぞれ増幅された複数の画像を取得する第１の取得工程と、
    前記複数の異なるゲインに対応した補正用画像を取得する第２の取得工程と、
    前記複数の画像を、該複数の画像を増幅したそれぞれのゲインに対応した前記補正用画像を用いて補正する補正工程と、
    を有することを特徴とする撮像装置の制御方法。
13. 請求項１２に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
14. 請求項１２に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images