JP2023124784A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents
撮像装置及びその制御方法、プログラム、記憶媒体 Download PDFInfo
- Publication number
- JP2023124784A JP2023124784A JP2022159717A JP2022159717A JP2023124784A JP 2023124784 A JP2023124784 A JP 2023124784A JP 2022159717 A JP2022159717 A JP 2022159717A JP 2022159717 A JP2022159717 A JP 2022159717A JP 2023124784 A JP2023124784 A JP 2023124784A
- Authority
- JP
- Japan
- Prior art keywords
- image
- correction
- images
- different gains
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims description 49
- 238000012937 correction Methods 0.000 claims abstract description 69
- 238000012545 processing Methods 0.000 description 79
- 230000009467 reduction Effects 0.000 description 58
- 238000012546 transfer Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 7
- 239000003990 capacitor Substances 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000002194 synthesizing effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000011946 reduction process Methods 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000005375 photometry Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 101100243022 Mus musculus Pcnt gene Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】同時に撮影した複数の画像のノイズ低減を精度良く行うことができる撮像装置を提供することである。【課題手段】複数の画素が配置された画素部と、画素部を露光して得られた第1の画像信号を複数の異なるゲインで増幅し、複数の異なるゲインでそれぞれ増幅された複数の画像を取得する第1の取得部と、複数の異なるゲインに対応した補正用画像を取得する第2の取得部と、複数の画像を、複数の画像を増幅したそれぞれのゲインに対応した補正用画像を用いて補正する補正部とを備える。【選択図】 図6
Description
本発明は、撮像装置及びその制御方法に関する。
近年、撮像装置では、HDR撮影と呼ばれる、露出の異なる画像を複数撮影して合成処理を行うことにより、1枚撮影よりもダイナミックレンジの広い静止画や動画を撮影する機能が広く提案されている。
例えば特許文献1には、同一の画素の信号を複数の列回路によって異なるゲインで同時に処理することで、露出の異なる複数の画像を同時に撮影して合成用の画像を得る技術が開示されている。
しかしながら、上記の特許文献1に開示されているような、露出の異なる複数の画像を同時に撮影する場合も、露光時間が長くなると、暗電流をはじめとするノイズが発生する。このノイズを精度良く低減する方法が要望されている。
本発明は上述した課題に鑑みてなされたものであり、その目的は、同時に撮影した複数の画像のノイズ低減を精度良く行うことができる撮像装置を提供することである。
本発明に係わる撮像装置は、複数の画素が配置された画素部と、前記画素部を露光して得られた第1の画像信号を複数の異なるゲインで増幅し、該複数の異なるゲインでそれぞれ増幅された複数の画像を取得する第1の取得手段と、前記複数の異なるゲインに対応した補正用画像を取得する第2の取得手段と、前記複数の画像を、該複数の画像を増幅したそれぞれのゲインに対応した前記補正用画像を用いて補正する補正手段と、を備えることを特徴とする。
本発明によれば、同時に撮影した複数の画像のノイズ低減を精度良く行うことが可能となる。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
(第1の実施形態)
図1は、本発明の撮像装置の第1の実施形態である撮像装置100の概略構成を示すブロック図である。
図1は、本発明の撮像装置の第1の実施形態である撮像装置100の概略構成を示すブロック図である。
図1において、撮影レンズ101は、撮像装置100の本体部に装着可能な交換レンズユニット、または本体部に組み込まれたレンズ部であり、フォーカスレンズやズームレンズ等、複数のレンズ群、及び、絞り機構などから構成される。
撮像素子102は、複数の画素を有するCMOSイメージセンサであって、2つの駆動方法で駆動することが可能である。1つは、撮影レンズ101により結像された被写体の光学像に対し、各画素で光電変換を行って入射光量に応じた電荷を生成し、各画素の信号を同一のゲインで増幅した画像信号を出力する駆動方法である。またもう1つは、各画素の信号を複数種類のゲインで増幅した複数の画像信号を出力する駆動方法である。
また、撮像素子102は、ローリングシャッターをはじめとする、各画素への入射光量を調節する電子シャッター機能を有しており、露光時間を制御することが可能である。また、入射光を完全に遮るための物理幕機構を有している。
画像取得部103は、撮像素子102から出力された画像信号を取得し、取得した画像信号を一時的に保持すると共に、取得した画像信号を用いて測光を行う。
画像合成部104は、画像取得部103に一時的に保持されている撮像素子102の出力に基づく画像信号から、任意の合成方法を用いてHDR(高ダイナミックレンジ)画像を生成する。例えば、所定の信号レベル以下の画像部分については高いゲイン量の画像信号を用い、所定の信号レベルを超えた画像部分(明るく白飛びしている画像)については低いゲイン量の画像信号を用い、それらを合成する方法がある。なお、合成後の画像の暗部の信号に用いられる通常画像としては、暗部のランダムノイズが抑えられていることが好ましい。また、HDR撮影を行わない場合には、画像取得部103に保持された画像信号をそのまま出力する。
画像処理部105は、画像取得部103に保存されている画像や画像合成部104から出力された画像信号に対して、ノイズ低減処理、ガンマ処理、色信号処理、露出補正処理などの各種信号処理を行って、処理した画像信号を出力する。
画像記録部106は、画像処理部105によって処理された画像信号を記憶装置または記憶媒体に記録する。記憶装置または記憶媒体としては、例えば、撮像装置100の本体部に装着可能なメモリデバイスが使用される。
操作部107を操作することにより、ユーザーは撮像装置100に対する種々の指示を入力することができる。操作部107は、レリーズボタンやモード切り換えダイヤル、ズーム操作レバー等の操作部材やタッチパネルなどを含む。操作部107を介したユーザー入力は、システム制御部110に通知される。ユーザーが操作部107を操作して、HDR撮影の設定を撮像装置100に入力するHDR撮影設定のフローチャートは、図1のブロック図を一通り説明した後に説明する。
記憶部108は、ユーザーが撮像装置100に指示をした内容を記憶する記憶部であり、電気的に消去・記録可能な不揮発性メモリで構成される。また、記憶部108は、システム制御部110が撮像装置100全体を制御するためのプログラムも記憶している。
表示部109は、撮影画像や撮影時の情報、及び操作部107による操作用のユーザーインターフェース等を表示することができ、例えば、TFT-LCD等で構成される。表示部109がタッチパネルで構成され、操作部107で操作可能なユーザーからの入力が、表示部109で入力可能であってもよい。もしくは、視線入力機能を備えたEVF(電子ビューファインダ)等で構成され、操作部107で操作可能なユーザーからの入力が、表示部109で入力可能であってもよい。
システム制御部110は、画像取得部103に保持された画像信号や測光結果、及び、操作部107を介したユーザーからの入力に基づいて、撮像素子制御部111やレンズ制御部112を制御する。
撮像素子制御部111は、システム制御部110からの制御信号に従って、撮像素子102の駆動制御を行う。レンズ制御部112は、システム制御部111からの制御信号に従って、撮影レンズ101の駆動制御を行う。
図2は、本実施形態における撮像素子102の構成を示すブロック図である。
画素領域(画素部)208は、複数の単位画素200が行列状に配置されて構成されている。本実施形態では、説明を分かりやすくするために、水平方向にn画素、垂直方向に4画素並ぶ構成で示しているが、通常は、水平方向、垂直方向に多数の画素が配置されている。
単位画素200には、複数色のカラーフィルタのうちのいずれか1色のフィルタが設けられており、カラーフィルタの色に応じた映像信号が取得される。図2においては、赤色カラーフィルタをR画素、緑色カラーフィルタをG画素、青色カラーフィルタをB画素として、それぞれRGBで表記している。このように3色のカラーフィルタをそれぞれ有する各画素がベイヤー配列に従って配置されている。
垂直走査回路203から各行の画素に共通の駆動信号線202を通じて駆動パルスが送出される。なお、駆動信号線202は、説明を分かりやすくするために、各行毎に1本ずつ図示されているが、各行毎に複数の駆動信号線が配置されていてもよい。
同じ列の単位画素200のうち奇数行の画素は列出力線201に接続されている。また、偶数行の画素は列出力線211に接続されている。スイッチ209がOFFの場合は、奇数行の画素からの画像信号は列出力線201を介して列回路204にのみ入力される。スイッチ209がONの場合は、列回路204と列回路210にそれぞれ入力される。
偶数行の画素も同様に、スイッチ209がOFFの場合は、列出力線211を介して列回路210にのみ入力される。スイッチ209がONの場合は、列回路204と列回路210にそれぞれ入力される。
スイッチ209がOFFの場合は、偶数行と奇数行を同時に読み出すことができ、ONの場合は、偶数行と奇数行が順次読み出される。そのため、スイッチ209がOFF→ONになると、読み出し完了時間は長くなる。本実施形態では、1枚撮影の場合はスイッチ209をOFFにして使用し、HDR撮影のために2枚の画像を取得する場合は、スイッチ209をONに切り替えて使用する。
列回路204および列回路210は列回路信号線205を介して垂直走査回路203と接続されており、撮像素子制御部111の指示に応じて、各画素からの信号にゲインを掛ける処理を行う。スイッチ209がOFFの場合は、列回路204と列回路210には、同一のゲインが設定される。一方、スイッチ209がONの場合は、列回路204と列回路210にはそれぞれ異なるゲインが設定される。
本実施形態では、1枚撮影を行う場合は、スイッチ209をOFFにして列回路204と列回路210に同じゲインを設定し、偶数行と奇数行で同一のゲインで増幅された出力信号が得られるように制御する。また、HDR撮影を行う場合は、スイッチ209をONにして列回路204と列回路210にHDR撮影に必要な異なるゲインを設定し、偶数行、奇数行それぞれで複数の異なるゲインで増幅された出力信号が得られるように制御する。なお、列回路204と列回路210は、それぞれ入力された画素信号のA/D変換処理も行う。
列回路204および列回路210で処理された信号は、水平転送回路207に出力される。水平転送回路207は、画像取得部103へと画像信号を出力する。
図3は、撮像素子102の各単位画素200の回路構成を示す図である。図3には、画素領域208を構成する複数の単位画素200の1つが矩形の点線によって代表的に示されている。
列出力線201は、電流源700および列回路204に接続されると共に、同じ1列に配置された複数の単位画素200(垂直画素列)と接続され、画素信号を伝送する。
駆動信号線202は、図2の垂直走査回路203に接続されると共に、同じ1行に配置された複数の単位画素200(水平画素列)と接続される。垂直走査回路203が駆動信号線202を介して、同じ1行の単位画素200を同時に駆動制御することにより、各単位画素200からの信号の読み出しおよびリセットが実行される。それぞれの駆動信号線202は、後述する転送制御線pTX、FD拡張制御線pFDext、リセット制御線pRS、および選択制御線pSELを含んでいる。
光電変換素子(光電変換部)PDは、入射光を電荷に変換すると共に、変換された電荷を蓄積するフォトダイオードである。光電変換素子PDは、PN接合のP側が接地されると共に、PN接合のN側が転送トランジスタ(転送スイッチ)TXのソースに接続されている。
転送トランジスタTXは、ゲートが転送制御線pTXに接続され、ドレインがFD(フローティングディフュージョン)容量CFDに接続される。転送トランジスタTXは、光電変換素子PDからFD容量CFDへ電荷を転送する。
FD容量CFD(電荷電圧変換部)は、一方が接地されており、光電変換素子PDから転送された電荷を電圧に変換する際に電荷を蓄積する。以下、転送トランジスタTXのドレインとFD容量CFDの他方側(非接地側)の接続点をFDノード701と称する。
FD拡張トランジスタ(FD拡張部)FDextは、ゲートがFD拡張制御線pFDextに接続され、ソースがFD容量CFDに接続され、ドレインがリセットトランジスタ(リセットスイッチ)T2に接続されるMOS型トランジスタである。リセットトランジスタT2は、ゲートがリセット制御線pRSに接続され、ドレインが電源電圧Vddに接続され、ソースがFD拡張トランジスタFDextに接続される。
FD拡張トランジスタFDextおよびリセットトランジスタT2が共にオン状態に設定されることによって、FDノード701の電位が電源電圧Vddにリセットされる。一方、FD拡張トランジスタFDextおよびリセットトランジスタT2が共にオフ状態である場合には、FD容量CFDにおいて光電変換素子PDから転送された電荷が電圧に変換される。
FD拡張トランジスタFDextがオン状態であってリセットトランジスタT2がオフ状態である場合には、FD拡張トランジスタFDextが、電荷を保持可能な蓄積部(すなわち、蓄積容量)として機能する。この蓄積容量を、以下、FD拡張容量Cexと称する。
この場合、FD拡張トランジスタFDextの蓄積容量およびFD容量CFDは基板に対して並列に接地されているので、FDノード701から見た容量は、FD容量CFDにFD拡張容量Cexを加算した容量CFDaddとなる。したがって、FDノード701において、FD容量CFDとFD拡張容量Cexとを加算した加算容量CFDaddを用いて、光電変換素子PDから転送された電荷が電圧に変換される。
駆動トランジスタ(増幅部)Tdrvは、画素内アンプを構成するトランジスタであって、ゲートがFD容量CFDに接続され、ドレインが電源電圧Vddに接続され、ソースが選択トランジスタSELのドレインに接続されている。したがって、駆動トランジスタTdrvは、FD容量CFDの蓄積電荷に応じた電圧を出力する。
選択トランジスタSELは、ゲートが選択制御線pSELに接続され、ソースが列出力線201に接続されている。選択トランジスタSELは、駆動トランジスタTdrvの出力を、単位画素200の出力信号(画素信号)として列出力線201に出力する。
電流源700は、列出力線201が接続されている列の単位画素200の駆動トランジスタTdrvと共に、画素内アンプとして機能するソースフォロア回路を構成している。本実施形態においては、駆動トランジスタTdrvおよび電流源700以外のトランジスタは、スイッチとして働き、ゲートに接続された制御線の信号がHighの時に導通し(ON状態になり)、Lowの時に遮断する(OFF状態になる)ものとする。
図4は列回路204の回路構成を示す回路図である。列回路210の回路構成も列回路204の回路構成と同じであるため、以下では、それらを代表して列回路204の構成について説明する。
列回路204は列アンプ800、比較器801、カウンタ回路802、ラッチ回路803、および演算回路804を備えている。ランプ信号生成部806(以下RAMP)は時間に対して変化するランプ信号を生成する回路である。列アンプ800は、列出力線201に出力された単位画素200の出力信号(画素信号)を増幅する増幅器である。
比較器801は、ランプ信号生成部806により生成されるランプ信号と列アンプ800の出力を比較し、時間変化するランプ信号と画素出力が一致したタイミングで反転信号を出力する。
カウンタ回路802は、接続されているカウンタ制御線pCNTから供給されるクロックに基づいてカウント動作を行う。カウンタ回路802は、比較器801が画素信号とランプ信号の比較を開始したタイミングからカウント動作を開始し、比較器801の出力が反転したタイミングでのカウント値を出力する。
ラッチ回路803は、カウンタ回路802が出力するカウント値を一時的に保持すると共に、接続されているラッチ制御線pLTCを介した制御に基づいて保持しているカウント値を出力する。
演算回路804は、接続されている演算制御線pCALを介した制御に基づいて、ラッチ回路803が出力するカウント値を画素のデジタル信号として記憶する。加えて、演算回路804は記憶している画素のデジタル信号を出力する。これらの比較器801、カウンタ回路802、ラッチ回路803、演算回路804、RAMP806によりA/D変換器が構成される。
ここで、列回路204におけるゲイン設定について説明する。列回路210についても同様である。列回路204の列アンプ800は、列出力線201に出力された単位画素200の出力信号(画素信号)を複数の異なるゲインで増幅することができる。列アンプ800は、設定されたゲインで画素信号を増幅し、増幅された画素信号が比較器801に入力される。
なお、列アンプ800に限らず、後段のA/D変換器でランプ信号の時間変化を変更することにより、画素信号のA/D変換時に異なるゲインで増幅してもよい。すなわち、ランプ信号の時間変化が遅ければ比較器801の出力の反転が遅れ、カウント値が増加する。ランプ信号の時間変化の速度は単位画素200の出力信号の増幅率に相当するので、これをRAMPゲインと称し、時間変化の程度を変えることでRAMPゲインを切り替えることができる。
図5は、撮像装置100における1枚撮影でのノイズ低減処理の動作を示すフローチャートである。操作部107からの撮影要求により撮影が開始される。このフローチャートの動作は、システム制御部110が、記憶部108に記憶されたプログラムを実行することにより実現される。
ステップS301において、システム制御部110は、撮像素子102への露光制御を行う。具体的には、システム制御部110は、レンズ制御部112を通じて撮像レンズ101の絞り機構を制御し、光量の調整を行う。また、撮像素子制御部111を通じて撮像素子102の電子シャッター機構を制御して、撮影素子102に必要な電荷を生成させる。露光時間の制御には、操作部107から指定されるなどして、記憶部108に記憶されている露光時間設定を用いる。
ステップS302において、システム制御部110は、撮像素子制御部111を通じて撮像素子102から各画素の出力信号に同一ゲインを掛けた画像信号を出力する駆動を行うよう制御する。ゲイン量の制御には、操作部107などから指定されるなどして、記憶部108に記憶されているゲイン設定が用いられる。出力された画像は、画像取得部103に保持される。
ステップS303において、システム制御部110は、画像取得部103に一時保存された画像信号に対してノイズ低減処理が必要か否かの要否判断を行う。ノイズ低減処理の要否は、記憶部108に記憶されている撮影の露光時間設定が一定時間以上である場合にYES、一定時間未満である場合にNOとして判断される。この他にも、画像取得部103に一時保存された画像について、画像処理部105でノイズレベルを検出し、その結果に応じて判断するなど、目的に応じて判断の方法を切り替えてもよい。
ステップS304において、システム制御部110は、ノイズ低減処理に必要な補正用画像の読み出しを行う。具体的には、システム制御部110は、撮像素子制御部111を通じて撮像素子102の物理幕を閉じることで、撮影レンズ101からの入射光を遮る(遮光する)。そして、記憶部108に記憶されている、ステップS301で用いられた露光時間設定、およびステップS302で用いられたゲイン設定を用いて、撮像素子102から非露光の状態の画像を取得する。
補正用画像の取得方法としては、上記した非露光の画像を撮影して取得する方法の他にも、撮像素子102の単位画素200から電荷転送をせず、その後段の列回路204からの読み出し動作を繰り返して非露光相当の画像を読み出す方法も考えられる。また、あらかじめ記憶部108に保存しておいた画像を読み出してきて、画像取得部103に展開する方法なども考えられる。
ステップS305において、システム制御部110は、ステップS302で画像取得部103に一時保存された露光画像および、ステップS304で画像取得部103に一時保存された補正用画像を入力として、画像処理部105を用いてノイズ低減処理を行う。ノイズ低減処理としては、露光画像から補正用画像を減算することで、露光画像中のノイズ成分を除去する方法などが挙げられる。
ノイズ低減処理が施された露光画像は、必要に応じて画像処理部105で視覚化のための画像処理を施すなどして画像記録部106に保存される。
1枚撮影では以上の様にノイズ低減処理を行う。
次に、本実施形態における、HDR撮影でのノイズ低減処理の制御方法について説明する。
図6は、撮像装置100におけるHDR撮影を行う場合のノイズ低減処理の動作を示すフローチャートである。操作部107からの撮影要求により撮影が開始される。このフローチャートの動作は、システム制御部110が、記憶部108に記憶されたプログラムを実行することにより実現される。
ステップS401において、システム制御部110は、ステップS301と同様の処理を行い、撮像素子102への露光制御を行う。
ステップS402およびステップS403において、システム制御部110は、撮像素子制御部111を通じて撮像素子102から1回の露光(単一露光)で得られる各画素の出力信号に複数の異なるゲインをかけた画像信号が出力される駆動を行うように制御する。
ステップS402では第1のゲインをかけた露光画像1、ステップS403では第2のゲインをかけた露光画像2を読み出す。露光画像1、露光画像2のそれぞれのゲイン量(第1のゲイン、第2のゲイン)の制御には、操作部107などから指定されるなどして、記憶部108に記憶されているゲイン設定が用いられる。
露光画像1の画像信号は列回路204において第1のゲインで増幅され、また露光画像2の画像信号は列回路210において第2のゲインで増幅されたのち、それぞれ水平転送回路207に転送される。
本実施形態では、2パターンのゲイン設定の画像信号をそれぞれ保持する場合を例に挙げている。ステップS402は、画像取得部103に露光画像1が一時記憶されたタイミングで終了し、ステップS403は、画像取得部103に露光画像2が一時記憶されたタイミングで終了する。
ステップS404において、システム制御部110は、画像取得部103に一時保存された画像信号に対してS303と同様の方法でノイズ低減処理が必要か否かの要否判断を行う。
ステップS405およびステップS406において、システム制御部110は、ノイズ低減処理に必要な補正用画像の読み出しを行う。具体的には、システム制御部110は、撮像素子制御部111を通じて撮像素子102の物理幕を閉じることで、撮影レンズ101からの入射光を遮る。システム制御部110は、撮像素子制御部111を通じて撮像素子102から1回の蓄積で得られる各画素の出力信号に複数の異なるゲインをかけた画像信号が出力される駆動を行うよう制御する。
ステップS405では、システム制御部110は、記憶部108に記憶されているステップS402での読み出しと同様の露光時間設定(露光設定)とゲイン設定で補正用画像1を取得する。取得された補正用画像1は画像取得部103に一時保存される。
ステップS406では、記憶部108に記憶されているステップS403での読み出しと同様の露光時間設定とゲイン設定で補正用画像2を取得する。取得された補正用画像2は画像取得部103に一時保存される。
ステップS406では、記憶部108に記憶されているステップS403での読み出しと同様の露光時間設定とゲイン設定で補正用画像2を取得する。取得された補正用画像2は画像取得部103に一時保存される。
ステップS407では、システム制御部110は、ステップS402で画像取得部103に一時保存された露光画像1および、ステップS405で画像取得部103に一時保存された補正用画像1を入力として、画像処理部105を用いてノイズ低減処理を行う。ノイズ低減処理は、ステップS305で挙げた手法と同様の手法を用いる。ノイズ低減処理が施された露光画像1は、画像取得部103に一時保存される。
ステップS408では、システム制御部110は、ステップS403で画像取得部103に一時保存された露光画像2および、ステップS406で画像取得部103に一時保存された補正用画像2を入力として、画像処理部105を用いてノイズ低減処理を行う。ノイズ低減処理は、ステップS305で挙げた手法と同様の手法を用いる。ノイズ低減処理が施された露光画像2は画像取得部103に一時保存される。
ステップS409では、システム制御部110は、ステップS407で画像取得部103に一時保存されたノイズ低減処理が施された露光画像1と、ステップS408で画像取得部103に一時保存されたノイズ低減処理を施された露光画像2の2枚の画像を入力として、画像合成部104を用いて前述した方法でHDR画像の合成処理を行う。そして、1枚のHDR画像を出力する。
合成処理が行われたHDR画像は、必要に応じて画像処理部105で視覚化のための画像処理を施すなどして、画像記録部106により、記憶装置または記憶媒体に保存される。
第1の実施形態のHDR撮影では、以上の様に異なるゲインの露光画像それぞれに対してノイズ低減処理を行い、ノイズ低減処理を行った露光画像を合成することで、ノイズ低減されたHDR画像を得る。
なお本実施形態では、各ゲインに対応する補正用画像を撮像素子から読み出すものとして説明したが、本発明はこれに限定されるものではない。例えば、補正用画像1のみを撮像素子から読み出し、補正用画像2は補正用画像1から2つの露光画像のゲイン比を元に算出するようにしてもよい。
(第2の実施形態)
以下、本発明の第2の実施形態における、HDR撮影でのノイズ低減処理の制御について説明する。なお、本実施形態では、撮像装置の構成は、第1の実施形態における撮像装置100の構成と同様である。
以下、本発明の第2の実施形態における、HDR撮影でのノイズ低減処理の制御について説明する。なお、本実施形態では、撮像装置の構成は、第1の実施形態における撮像装置100の構成と同様である。
図7は、撮像装置100におけるHDR撮影を行う際のノイズ低減処理の動作を示すフローチャートである。操作部107からの撮影要求により撮影が開始される。このフローチャートの動作は、システム制御部110が、記憶部108に記憶されたプログラムを実行することにより実現される。
ステップS501において、システム制御部110は、ステップS301と同様の処理を行い、撮像素子102への露光制御を行う。
ステップS502およびステップS503において、システム制御部110は、撮像素子制御部111を通じて撮像素子102から1回の露光(単一露光)で得られる各画素の出力信号に複数の異なるゲインをかけた画像信号が出力される駆動を行うよう制御する。
ステップS502では第1のゲインをかけた露光画像1、ステップS503では第2のゲインをかけた露光画像2を読み出す。露光画像1、露光画像2のそれぞれのゲイン量(第1のゲイン、第2のゲイン)の制御には、操作部107などから指定されるなどして、記憶部108に記憶されているゲイン設定が用いられる。
露光画像1の画像信号は列回路204において第1のゲインで増幅され、また露光画像2の画像信号は列回路210において第2のゲインで増幅されたのち、それぞれ水平転送回路207に転送される。
本実施形態では、2パターンのゲイン設定の画像信号をそれぞれ保持する場合を例に挙げている。ステップS502は、画像取得部103に露光画像1が一時記憶されたタイミングで終了し、ステップS503は、画像取得部103に露光画像2が一時記憶されたタイミングで終了する。
ステップS504において、システム制御部110は、画像取得部103に一時保存された画像信号に対してノイズ低減処理が必要か否かの要否判断を行う。具体的には、記憶部108に記憶されている露光時間設定、および2パターンのゲイン設定を参照して、露光画像1もしくは露光画像2のいずれかに対してノイズ低減処理が必要かを判断する。
本実施形態では、HDR撮影のために露光画像1よりも高いゲイン設定を露光画像2に対して用いることで露出差をつける。同一露光時間でも、より低いゲイン量で増幅して読み出しを行う方が画像内のノイズ成分が強調されないため、ノイズが目立ち難い。そのため、記憶部108のステップS501で用いられた露光時間設定、および、ステップS502、ステップS503で用いられたゲイン設定を閾値にノイズ低減の要否判断を行う。
以下、要否判断の一例について説明する。例えば、単位画素200の露光時間設定が1秒以上の場合は、露光画像1、露光画像2の両方にノイズ低減処理が必要であると判断する。また、露光時間が1秒未満でも、列回路204および列回路210のゲイン設定可能範囲がISO100~12800である場合、ISO感度6400以上のゲイン設定の露出画像に対してはノイズ低減処理が必要であると判断する。
ただし、ここで説明した閾値の設定方法や判断方法はこの方法に限定されるものではなく、他の方法を用いてもよいことは言うまでもない。また、上記の方法の他にも、画像取得部103に一時保存された画像信号に対してS303と同様の方法でノイズの検出処理を行い、ノイズ低減処理が必要か否かの要否判断を行うなどの方法も考えられる。
本実施形態では、例えば、露光画像1のノイズ低減処理は不要、露光画像2のノイズ低減処理は必要と判断し、ステップS505へと進む。ステップS504での判断結果は記憶部108に記憶される。なお、ステップS504で、露光画像1及び露光画像2のどちらもノイズ低減処理が不要である場合は、ステップS507へと進む。
ステップS505およびステップS506において、システム制御部110は、ノイズ低減処理に必要な補正用画像の読み出しを行う。具体的には、システム制御部110は、撮像素子制御部111を通じて撮像素子102の物理幕を閉じることで、撮影レンズ101からの入射光を遮る。システム制御部110は、撮像素子制御部111を通じて撮像素子102から1回の蓄積で得られる各画素の出力信号に複数の異なるゲインをかけた画像信号が出力される駆動を行うよう制御する。
ステップS505では、システム制御部110は、記憶部108に記憶されているステップS502での読み出しと同様の露光時間設定とゲイン設定で補正用画像1を取得する。取得された補正用画像1は画像取得部103に一時保存される。なお、本実施形態では、ステップS504で露光画像1のノイズ低減処理が不要と判断されているため、補正用画像1は画像取得部103に保存しなくてもよい。
ステップS506では、記憶部108に記憶されているステップS503での読み出しと同様の露光時間設定とゲイン設定で補正用画像2を取得する。取得された補正用画像2は画像取得部103に一時保存される。
ステップS507では、システム制御部110は、ステップS504で求めた露光画像1のノイズ低減処理の要否の判断結果を記憶部108から参照して、ステップS508でノイズ低減処理を行うか否かを判断する。本実施形態では、前述の通りノイズ低減処理が不要との判断であるため、ステップS509へと進む。
ステップS508では、システム制御部110は、ステップS502で画像取得部103に一時保存された露光画像1および、ステップS505で画像取得部103に一時保存された補正用画像1を入力として、画像処理部105を用いてノイズ低減処理を行う。
ノイズ低減処理は、ステップS305で挙げた手法と同様の手法を用いる。ノイズ低減処理が施された露光画像1は、画像取得部103に一時保存される。なお、本実施形態では、ステップS508はスキップされる例を挙げているため、このステップの処理は行われない。
ステップS509では、システム制御部110は、ステップS504で求めた露光画像2のノイズ低減処理の要否の判断結果を記憶部108から参照して、ステップS510でノイズ低減処理を行うか否かを判断する。本実施形態では、前述の通りノイズ低減処理が必要との判断であるため、ステップS510へと進む。
ステップS510では、システム制御部110は、ステップS503で画像取得部103に一時保存された露光画像2および、ステップS506で画像取得部103に一時保存された補正用画像2を入力として、画像処理部105を用いてノイズ低減処理を行う。ノイズ低減処理は、ステップS305で挙げた手法と同様の手法を用いる。ノイズ低減処理が施された露光画像2は、画像取得部103に一時保存される。
ステップS511では、システム制御部110は、露光画像1と露光画像2を入力として、画像合成部104を用いて前述した方法でHDR画像の合成処理を行い、1枚のHDR画像を出力する。本実施形態では、ステップS502で画像取得部103に一時保存されたノイズ低減処理が施されていない露光画像1と、ステップS510で画像取得部103に一時保存されたノイズ低減処理が施された露光画像2の2枚の画像でHDR画像の合成処理を行う。
なお、ステップS504において、露光画像1及び露光画像2のどちらもノイズ低減処理が不要であると判断された場合は、ステップS502で画像取得部103に一時保存されたノイズ低減処理が施されていない露光画像1と、ステップS503で画像取得部103に一時保存されたノイズ低減処理が施されていない露光画像2の2枚の画像でHDR画像の合成処理を行う。
第2の実施形態のHDR撮影では、以上の様に、異なるゲインの露光画像それぞれに対してノイズ低減処理の要否判断を行い、ノイズ低減処理が必要な場合には、ノイズ低減処理を行った露光画像同士、もしくはいずれか一方にノイズ低減処理を行った画像同士を合成する。これにより、画像内の必要な箇所にのみノイズ低減処理が成されたHDR画像を得ることが可能となる。長秒露光や高いゲイン量設定など、画面内のノイズが目立ちやすい撮影がなされた箇所に対してのみノイズ低減処理がなされた画像でHDR合成が行われるため、より良好なHDR画像を得ることが可能となる。
なお、第1及び第2の実施形態では、HDR撮影する際に、列回路204および列回路210において、列アンプ800のゲインでゲイン差をつける例を示したが、RAMP806でゲイン差をつけてもよい。また、画素のFD容量を異ならせることにより、ゲイン差をつけた画素信号を読み出してもよい。
本明細書の開示は、以下の撮像装置、方法、プログラムおよび記憶媒体を含む。
(項目1)
複数の画素が配置された画素部と、
前記画素部を露光して得られた第1の画像信号を複数の異なるゲインで増幅し、該複数の異なるゲインでそれぞれ増幅された複数の画像を取得する第1の取得手段と、
前記複数の異なるゲインに対応した補正用画像を取得する第2の取得手段と、
前記複数の画像を、該複数の画像を増幅したそれぞれのゲインに対応した前記補正用画像を用いて補正する補正手段と、
を備えることを特徴とする撮像装置。
複数の画素が配置された画素部と、
前記画素部を露光して得られた第1の画像信号を複数の異なるゲインで増幅し、該複数の異なるゲインでそれぞれ増幅された複数の画像を取得する第1の取得手段と、
前記複数の異なるゲインに対応した補正用画像を取得する第2の取得手段と、
前記複数の画像を、該複数の画像を増幅したそれぞれのゲインに対応した前記補正用画像を用いて補正する補正手段と、
を備えることを特徴とする撮像装置。
(項目2)
前記第2の取得手段は、前記画素部を露光しない状態で得られる画像信号に相当する第2の画像信号を用いて、前記複数の異なるゲインに対応した補正用画像を取得することを特徴とする項目1に記載の撮像装置。
前記第2の取得手段は、前記画素部を露光しない状態で得られる画像信号に相当する第2の画像信号を用いて、前記複数の異なるゲインに対応した補正用画像を取得することを特徴とする項目1に記載の撮像装置。
(項目3)
前記第1の画像信号と前記第2の画像信号は、それぞれ同じ露光設定で得られた画像信号であることを特徴とする項目2に記載の撮像装置。
前記第1の画像信号と前記第2の画像信号は、それぞれ同じ露光設定で得られた画像信号であることを特徴とする項目2に記載の撮像装置。
(項目4)
前記第2の画像信号は、前記画素部を遮光した状態で得られた画像信号であることを特徴とする項目2または3に記載の撮像装置。
前記第2の画像信号は、前記画素部を遮光した状態で得られた画像信号であることを特徴とする項目2または3に記載の撮像装置。
(項目5)
前記第2の画像信号は、前記画素部から電荷の転送をせずに、その後段の回路からの信号の読み出し動作を繰り返して得られた画像信号であることを特徴とする項目2または3に記載の撮像装置。
前記第2の画像信号は、前記画素部から電荷の転送をせずに、その後段の回路からの信号の読み出し動作を繰り返して得られた画像信号であることを特徴とする項目2または3に記載の撮像装置。
(項目6)
前記第2の取得手段は、前記第2の画像信号を、前記複数の異なるゲインでそれぞれ増幅することにより、前記複数の異なるゲインに対応した補正用画像を取得することを特徴とする項目2乃至5のいずれか1項目に記載の撮像装置。
前記第2の取得手段は、前記第2の画像信号を、前記複数の異なるゲインでそれぞれ増幅することにより、前記複数の異なるゲインに対応した補正用画像を取得することを特徴とする項目2乃至5のいずれか1項目に記載の撮像装置。
(項目7)
前記第2の取得手段は、前記複数の異なるゲインに対応した補正用画像の少なくとも1つを、他の補正用画像に基づいて生成することを特徴とする項目1乃至6のいずれか1項目に記載の撮像装置。
前記第2の取得手段は、前記複数の異なるゲインに対応した補正用画像の少なくとも1つを、他の補正用画像に基づいて生成することを特徴とする項目1乃至6のいずれか1項目に記載の撮像装置。
(項目8)
前記第2の取得手段は、前記補正用画像の少なくとも1つを、該補正用画像と前記他の補正用画像のゲインの比に基づいて、前記他の補正用画像から算出することを特徴とする項目7に記載の撮像装置。
前記第2の取得手段は、前記補正用画像の少なくとも1つを、該補正用画像と前記他の補正用画像のゲインの比に基づいて、前記他の補正用画像から算出することを特徴とする項目7に記載の撮像装置。
(項目9)
前記複数の異なるゲインに対応した補正用画像は、あらかじめ保存されていた画像であることを特徴とする項目1に記載の撮像装置。
前記複数の異なるゲインに対応した補正用画像は、あらかじめ保存されていた画像であることを特徴とする項目1に記載の撮像装置。
(項目10)
前記複数の画像に対して、前記補正用画像を用いた補正を行うか否かを判断する判断手段をさらに備えることを特徴とする項目1乃至9のいずれか1項目に記載の撮像装置。
前記複数の画像に対して、前記補正用画像を用いた補正を行うか否かを判断する判断手段をさらに備えることを特徴とする項目1乃至9のいずれか1項目に記載の撮像装置。
(項目11)
前記判断手段は、前記補正用画像を用いた補正を行うか否かの判断を、前記複数の画像のそれぞれに対して行うことを特徴とする項目10に記載の撮像装置。
前記判断手段は、前記補正用画像を用いた補正を行うか否かの判断を、前記複数の画像のそれぞれに対して行うことを特徴とする項目10に記載の撮像装置。
(項目12)
複数の画素が配置された画素部を備える撮像装置を制御する方法であって、
前記画素部を露光して得られた第1の画像信号を複数の異なるゲインで増幅し、該複数の異なるゲインでそれぞれ増幅された複数の画像を取得する第1の取得工程と、
前記複数の異なるゲインに対応した補正用画像を取得する第2の取得工程と、
前記複数の画像を、該複数の画像を増幅したそれぞれのゲインに対応した前記補正用画像を用いて補正する補正工程と、
を有することを特徴とする撮像装置の制御方法。
複数の画素が配置された画素部を備える撮像装置を制御する方法であって、
前記画素部を露光して得られた第1の画像信号を複数の異なるゲインで増幅し、該複数の異なるゲインでそれぞれ増幅された複数の画像を取得する第1の取得工程と、
前記複数の異なるゲインに対応した補正用画像を取得する第2の取得工程と、
前記複数の画像を、該複数の画像を増幅したそれぞれのゲインに対応した前記補正用画像を用いて補正する補正工程と、
を有することを特徴とする撮像装置の制御方法。
(項目13)
項目12に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
項目12に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
(項目14)
項目12に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
項目12に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
(他の実施形態)
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
100:撮像装置、101:撮影レンズ、102:撮像素子、103:画像取得部、104:画像合成部、105:画像処理部、106:画像記録部、107:操作部、108: 記憶部、109:表示部、110:システム制御部、111:撮像素子制御部、112:レンズ制御部
Claims (14)
- 複数の画素が配置された画素部と、
前記画素部を露光して得られた第1の画像信号を複数の異なるゲインで増幅し、該複数の異なるゲインでそれぞれ増幅された複数の画像を取得する第1の取得手段と、
前記複数の異なるゲインに対応した補正用画像を取得する第2の取得手段と、
前記複数の画像を、該複数の画像を増幅したそれぞれのゲインに対応した前記補正用画像を用いて補正する補正手段と、
を備えることを特徴とする撮像装置。 - 前記第2の取得手段は、前記画素部を露光しない状態で得られる画像信号に相当する第2の画像信号を用いて、前記複数の異なるゲインに対応した補正用画像を取得することを特徴とする請求項1に記載の撮像装置。
- 前記第1の画像信号と前記第2の画像信号は、それぞれ同じ露光設定で得られた画像信号であることを特徴とする請求項2に記載の撮像装置。
- 前記第2の画像信号は、前記画素部を遮光した状態で得られた画像信号であることを特徴とする請求項2に記載の撮像装置。
- 前記第2の画像信号は、前記画素部から電荷の転送をせずに、その後段の回路からの信号の読み出し動作を繰り返して得られた画像信号であることを特徴とする請求項2に記載の撮像装置。
- 前記第2の取得手段は、前記第2の画像信号を、前記複数の異なるゲインでそれぞれ増幅することにより、前記複数の異なるゲインに対応した補正用画像を取得することを特徴とする請求項2に記載の撮像装置。
- 前記第2の取得手段は、前記複数の異なるゲインに対応した補正用画像の少なくとも1つを、他の補正用画像に基づいて生成することを特徴とする請求項1に記載の撮像装置。
- 前記第2の取得手段は、前記補正用画像の少なくとも1つを、該補正用画像と前記他の補正用画像のゲインの比に基づいて、前記他の補正用画像から算出することを特徴とする請求項7に記載の撮像装置。
- 前記複数の異なるゲインに対応した補正用画像は、あらかじめ保存されていた画像であることを特徴とする請求項1に記載の撮像装置。
- 前記複数の画像に対して、前記補正用画像を用いた補正を行うか否かを判断する判断手段をさらに備えることを特徴とする請求項1に記載の撮像装置。
- 前記判断手段は、前記補正用画像を用いた補正を行うか否かの判断を、前記複数の画像のそれぞれに対して行うことを特徴とする請求項10に記載の撮像装置。
- 複数の画素が配置された画素部を備える撮像装置を制御する方法であって、
前記画素部を露光して得られた第1の画像信号を複数の異なるゲインで増幅し、該複数の異なるゲインでそれぞれ増幅された複数の画像を取得する第1の取得工程と、
前記複数の異なるゲインに対応した補正用画像を取得する第2の取得工程と、
前記複数の画像を、該複数の画像を増幅したそれぞれのゲインに対応した前記補正用画像を用いて補正する補正工程と、
を有することを特徴とする撮像装置の制御方法。 - 請求項12に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
- 請求項12に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/048563 WO2023162469A1 (ja) | 2022-02-25 | 2022-12-28 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022028382 | 2022-02-25 | ||
JP2022028382 | 2022-02-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023124784A true JP2023124784A (ja) | 2023-09-06 |
Family
ID=87886110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022159717A Pending JP2023124784A (ja) | 2022-02-25 | 2022-10-03 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023124784A (ja) |
-
2022
- 2022-10-03 JP JP2022159717A patent/JP2023124784A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5226552B2 (ja) | 撮像装置 | |
JP5835996B2 (ja) | 撮像装置 | |
JP5946421B2 (ja) | 撮像装置及びその制御方法 | |
US20150312485A1 (en) | Image capturing apparatus and method for controlling image capturing apparatus | |
JP4745851B2 (ja) | 撮像装置 | |
US20180302561A1 (en) | Image capturing system and control method of image capturing system | |
KR20120080658A (ko) | 촬상장치 및 이미지 센서 | |
JP2013118520A (ja) | 撮像装置 | |
JP2018182481A (ja) | 撮像装置及び撮像装置の駆動方法 | |
JP2006157882A (ja) | 固体撮像装置 | |
JP2021022921A (ja) | 撮像素子、撮像装置、および制御方法 | |
JP4926654B2 (ja) | 撮像装置及び方法 | |
WO2023162469A1 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2020036073A (ja) | 撮像装置およびその制御方法 | |
JP6643101B2 (ja) | 撮像装置 | |
JP5058840B2 (ja) | 撮像装置 | |
JP2023124784A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
US20150085172A1 (en) | Image capturing apparatus and control method thereof | |
JP5127510B2 (ja) | 撮像装置、及び撮像装置の制御方法 | |
WO2023162483A1 (ja) | 撮像装置及びその制御方法 | |
JP2008118378A (ja) | 撮影装置及びその駆動方法 | |
JP2008042573A (ja) | 撮像装置及びその制御方法、撮像システム並びにプログラム | |
JP2007295429A (ja) | ディジタル・スチル・カメラおよびその制御方法 | |
JP2020057882A (ja) | 撮像装置 | |
JP2016039494A (ja) | 撮像装置及びその駆動方法 |