JP2018107730A

JP2018107730A - 撮像装置及びその制御方法

Info

Publication number: JP2018107730A
Application number: JP2016254452A
Authority: JP
Inventors: 直人末廣; Naoto Suehiro
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2016-12-27
Filing date: 2016-12-27
Publication date: 2018-07-05
Anticipated expiration: 2036-12-27
Also published as: JP6748979B2; WO2018124056A1

Abstract

【課題】暗電流の影響を低減する。
【解決手段】撮像装置１００は、非破壊読み出しが可能な撮像素子１０１と、光を撮像素子１０１に集光する撮像系１０６と、撮像系１０６の光を遮光する遮光部１０７と、撮像素子１０１で得られた本画像１２１から補正用画像１４１を差し引くことで補正後画像１４２を生成する補正部１０５とを備え、補正部１０５は、遮光状態の１回の露光により撮像素子１０１で得られ、それぞれ露光時間が異なる複数の遮光画像１３１を非破壊読み出しを用いて取得し、複数の遮光画像１３１の少なくとも一つを用いて補正用画像１４１を生成する。
【選択図】図１

Description

本開示は、撮像装置及びその制御方法に関する。

有機光電変換素子を用いた撮像素子として、特許文献１に記載の技術が知られている。

特開２００８−０４２１８０号公報

撮像装置において、暗電流に起因する黒レベルの変化を補正するための処理が行われている。具体的には、撮像装置は、本画像から、遮光状態で撮影した遮光画像を差し引くことで、暗電流の影響を低減する。

しかしながら、本画像の撮影時と遮光画像の撮影時とで、例えば温度が変化することにより暗電流量が変化する場合がある。この場合には、上記の補正により暗電流の影響を完全になくすことができない。

そこで、本開示は、暗電流量の影響を低減できる撮像装置又はその制御方法を提供することを目的とする。

本開示の一態様に係る撮像装置は、非破壊読み出しが可能な撮像素子と、光を前記撮像素子に集光する撮像系と、前記撮像系の光を遮光する遮光部と、前記撮像素子で得られた本画像から補正用画像を差し引くことで補正後画像を生成する補正部とを備え、前記補正部は、遮光状態の１回の露光により前記撮像素子で得られ、それぞれ露光時間が異なる複数の遮光画像を非破壊読み出しを用いて取得し、前記複数の遮光画像の少なくとも一つを用いて前記補正用画像を生成する。

本開示は、暗電流量の影響を低減できる撮像装置又はその制御方法を提供できる。

図１は、実施の形態１に係る撮像装置のブロック図である。図２Ａは、実施の形態１に係る撮像装置の外観例を示す図である。図２Ｂは、実施の形態１に係る撮像装置の外観例を示す図である。図３は、実施の形態１に係る撮像素子の構成を示す図である。図４は、実施の形態１に係る画素の構成を示す回路図である。図５は、実施の形態１に係る撮像装置の動作を示すフローチャートである。図６は、実施の形態１に係る撮像装置の動作を示す図である。図７は、実施の形態１に係る本画像の一例を示す図である。図８は、実施の形態１に係る複数の遮光画像の一例を示す図である。図９は、実施の形態１に係る補正後画像の算出処理を示す図である。図１０は、実施の形態２に係る撮像装置の動作を示すフローチャートである。図１１は、実施の形態２に係る撮像装置の動作を示す図である。図１２は、実施の形態２の変形例に係る撮像装置の動作を示すフローチャートである。図１３は、実施の形態２の変形例に係る撮像装置の動作を示す図である。図１４は、実施の形態３に係る撮像装置の動作を示すフローチャートである。図１５は、実施の形態３に係る撮像装置の動作を示す図である。図１６は、実施の形態３の変形例に係る撮像装置の動作を示すフローチャートである。図１７は、実施の形態３の変形例に係る撮像装置の動作を示す図である。

これによれば、温度変化等に起因して生じる、本露光時と遮光露光時との暗電流量の差を低減できる。よって、暗電流量の影響を低減し、補正後画像の画質を改善できる。

例えば、前記補正部は、前記複数の遮光画像のうち、当該遮光画像の画素値と、前記本画像に含まれる遮光領域の画素値との差が閾値未満の遮光画像から前記補正用画像を生成してもよい。

これによれば、本画像と暗電流量の差が少ない遮光画像を用いて補正用画像を生成できるので、本画像と補正用画像との暗電流量の差を低減できる。

例えば、前記補正部は、前記差が前記閾値未満になるまで、前記非破壊読み出しを繰り返し、前記差が前記閾値未満になった遮光画像を前記補正用画像として選択してもよい。

これによれば、不必要な非破壊読み出しが行われることを抑制できる。

例えば、前記補正部は、読み出した前記遮光画像の画素値と、前記本画像に含まれる遮光領域の画素値との差が閾値未満になるまで、前記非破壊読み出しを繰り返し、前記差が前記閾値未満になった場合、破壊読み出しにより前記撮像素子から遮光画像を取得し、前記破壊読み出しにより取得された前記遮光画像を前記補正用画像として選択してもよい。

これによれば、暗電流量をより正確に示す補正用画像を得ることができるので、補正後画像の画質を向上できる。

例えば、前記補正部は、前記複数の遮光画像のうち、前記差が前記閾値未満の複数の遮光画像を加算平均することで前記補正用画像を生成してもよい。

これによれば、例えば、信号読み出し経路等において発生するランダムノイズを低減することができる。

例えば、前記補正部は、前記差が前記閾値未満になるまで、第１間隔で前記非破壊読み出しを繰り返し、前記差が前記閾値未満になった場合、前記第１間隔より短い第２間隔で前記非破壊読み出しを繰り返し、前記第２間隔での前記破壊読み出しにより取得された複数の遮光画像を加算平均することで前記補正用画像を生成してもよい。

これによれば、本画像との暗電流量の差が少ない複数の遮光画像を用いて補正用画像を生成できるので、本画像と補正用画像との暗電流量の差を低減できる。

例えば、前記補正部は、前記複数の遮光画像のうち、当該遮光画像の前記遮光領域の画素値と、前記本画像に含まれる前記遮光領域の画素値との前記差が前記閾値未満の遮光画像から前記補正用画像を生成してもよい。

これによれば、これにより、暗電流量が類似する遮光画像を精度よく選択できる。

例えば、前記撮像素子は、有機センサであってもよい。

本開示の一態様に係る制御方法は、非破壊読み出しが可能な撮像素子と、光を前記撮像素子に集光する撮像系と、前記撮像系の光を遮光する遮光部とを備える撮像装置の制御方法であって、前記撮像素子で得られた本画像から補正用画像を差し引くことで補正後画像を生成する補正ステップを含み、前記補正ステップでは、遮光状態の１回の露光により前記撮像素子で得られ、それぞれ露光時間が異なる複数の遮光画像を非破壊読み出しを用いて取得し、前記複数の遮光画像の少なくとも一つを用いて前記補正用画像を生成する。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

以下、本開示の実施の形態について、図面を参照しながら説明する。以下に説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。したがって、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態等は、一例であって本開示を限定する主旨ではない。よって、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

なお、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する。

（実施の形態１）
［撮像装置の構成］
まず、本開示の実施の形態に係る撮像装置の構成を説明する。図１は、本実施の形態に係る撮像装置１００の構成を示すブロック図である。また、図２Ａ及び図２Ｂは、撮像装置１００の外観の例を示す図である。例えば、図２Ａ及び図２Ｂに示すように、撮像装置１００は、デジタルスチルカメラ又はデジタルビデオカメラ等のカメラである。

図１に示す撮像装置１００は、撮像素子１０１と、制御部１０２と、表示部１０３と、記憶部１０４と、撮像系１０６と、遮光部１０７とを備える。撮像素子１０１は、入射光を電気信号（画像）に変換し、得られた電気信号を出力する固体撮像素子（固体撮像装置）であり、例えば、有機光電変換素子を用いた有機センサである。

制御部１０２は、撮像素子１０１の制御を行う。また、制御部１０２は、撮像素子１０１で得られた画像に対して各種信号処理を施し、得られた画像を表示部１０３に表示したり、記憶部１０４に記憶したりする。なお、制御部１０２から出力された画像は、図示しない入出力インタフェースを介して撮像装置１００の外部に出力されてもよい。

また、制御部１０２は、撮像素子１０１で得られた画像を補正する補正部１０５を備える。

撮像系１０６は、例えば、１又は複数のレンズを含み、撮像装置１００の外部からの光を撮像素子１０１に集光する。

遮光部１０７は、例えば、メカシャッタであり、撮像系１０６の光を遮光する。

［撮像素子の構成］
次に、撮像素子１０１の構成を説明する。図３は、撮像素子１０１の構成を示すブロック図である。

図３に示す撮像素子１０１は、行列状に配置された複数の画素（単位画素セル）２０１と、垂直走査部２０２と、カラム信号処理部２０３と、水平読み出し部２０４と、行毎に設けられている複数のリセット制御線２０５と、行毎に設けられている複数のアドレス制御線２０６と、列毎に設けられている複数の垂直信号線２０７と、水平出力端子２０８とを備える。

複数の画素２０１の各々は、入射光に応じた信号を、対応する列に設けられている垂直信号線２０７に出力する。

垂直走査部２０２は、複数のリセット制御線２０５を介して複数の画素２０１をリセットする。また、垂直走査部２０２は、複数のアドレス制御線２０６を介して、複数の画素２０１を行単位で順次選択する。

カラム信号処理部２０３は、複数の垂直信号線２０７に出力された信号に信号処理を行い、当該信号処理により得られた複数の信号を水平読み出し部２０４へ出力する。例えば、カラム信号処理部２０３は、相関二重サンプリングに代表される雑音抑圧信号処理及び、アナログ／デジタル変換処理等を行う。

水平読み出し部２０４は、複数のカラム信号処理部２０３で信号処理された後の複数の信号を順次水平出力端子２０８に出力する。

以下、画素２０１の構成を説明する。図４は、画素２０１の構成を示す回路図である。

図４に示すように画素２０１は、光電変換部２１１と、電荷蓄積部２１２と、リセットトランジスタ２１３と、増幅トランジスタ２１４（ソースフォロアトランジスタ）と、選択トランジスタ２１５とを備える。

光電変換部２１１は、入射光を光電変換することにより信号電荷を生成する。光電変換部２１１の一端には電圧Ｖｏｅが印加されている。具体的には、光電変換部２１１は、有機材料で構成される光電変換層を含む。なお、この光電変換層は、有機材料で構成される層と無機材料で構成される層とを含んでもよい。

電荷蓄積部２１２は、光電変換部２１１に接続されており、光電変換部２１１で生成された信号電荷を蓄積する。なお、電荷蓄積部２１２は、専用の容量素子ではなく、配線容量等の寄生容量で構成されてもよい。

リセットトランジスタ２１３は、信号電荷の電位をリセットするために用いられる。リセットトランジスタ２１３のゲートはリセット制御線２０５に接続されており、ソースは電荷蓄積部２１２に接続されており、ドレインにはリセット電圧Ｖｒｅｓｅｔが印加される。

なお、ドレイン及びソースの定義は、一般的に回路動作に依存するものであり、素子構造からは特定できない場合が多い。本実施の形態では、便宜的にソース及びドレインの一方をソースと呼び、ソース及びドレインの他方をドレインと呼ぶが、本実施の形態におけるドレインをソース、ソースをドレインと置き換えてもよい。

増幅トランジスタ２１４は、電荷蓄積部２１２の電圧を増幅することで、当該電圧に応じた信号を垂直信号線２０７へ出力する。増幅トランジスタ２１４のゲートは電荷蓄積部２１２に接続されており、ドレインに電源電圧Ｖｄｄまたは接地電圧Ｖｓｓが印加される。

選択トランジスタ２１５は、増幅トランジスタ２１４と直列に接続されており、増幅トランジスタ２１４が増幅した信号を垂直信号線２０７に出力するか否かを切り替える。選択トランジスタ２１５のゲートはアドレス制御線２０６に接続されており、ドレインは増幅トランジスタ２１４のソースに接続されており、ソースは垂直信号線２０７に接続されている。

また、例えば、電圧Ｖｏｅ、リセット電圧Ｖｒｅｓｅｔ及び電源電圧Ｖｄｄは、全画素２０１で共通に用いられる電圧である。

また、有機センサの特徴として、非破壊読み出しと、電子ＮＤ（ＮｅｕｔｒａｌＤｅｎｓｉｔｙ）制御とがある。非破壊読み出しとは、露光期間中に画像データを読み出し、引き続き露光を継続する処理である。従来の読み出し（以下、破壊読み出しと呼ぶ）では、読み出しを行う際には露光を終了する必要があった。つまり、１回の露光により１枚の画像しか得ることができなかった。これに対して、非破壊読み出しを用いることで、露光期間中に、その時刻までに露光された画像データを読み出し、引き続き露光を継続することができる。これにより、１回の露光で露光時間の異なる複数の画像を得ることができる。

また、電子ＮＤ制御とは、電気的に撮像素子の透過率を制御する処理である。ここで透過率とは、入射光のうち電気信号に変換される光の割合を意味する。つまり、透過率を０％に設定することで、電気的に遮光を実現できる。具体的には、図４に示す電圧Ｖｏｅが制御されることで透過率が制御される。これにより、メカシャッタを用いることなく、電気的に露光を終了させることができる。

なお、撮像素子１０１は、メカッシャを備え、電子ＮＤ制御とメカシャッタによる遮光とを併用してもよいし、メカシャッタによる遮光のみが用いられてもよい。

また、ここでは、撮像素子１０１が有機センサである例を述べるが、撮像素子１０１は、非破壊読み出し、又は電子ＮＤ制御を実現できればよく、有機センサ以外であってもよい。つまり、光電変換部２１１に含まれる光電変換層は無機材料で構成されてもよい。例えば、光電変換層はアモルファスシリコン又はカルコパイライト系半導体等で構成されてもよい。

［撮像装置の動作］
次に、本実施の形態に係る撮像装置１００の動作を説明する。図５は、撮像装置１００の動作の流れを示すフローチャートである。図６は、撮像装置１００の動作を説明するための図である。例えば、この動作は、夜空又は夜景などを長秒露光する際に用いられる。

図５に示すように、撮像装置１００は、まず、本画像１２１を撮影する（Ｓ１０１）。具体的には、図６に示すように、時刻ｔ１から通常の露光が行われ、その後、破壊読み出しにより本画像１２１が読み出される。

次に、撮像装置１００は、時刻ｔ２において、補正用画像１４１を生成するための遮光露光を開始する（Ｓ１０２）。具体的には、遮光露光とは、遮光状態において露光を行うことであり、例えば、上述した電子ＮＤ制御、又は、メカシャッタにより遮光が行われる。また、このような遮光状態において撮影された遮光画像１３１は、暗電流量に相当する画素値（輝度値）を示す。

次に、撮像装置１００は、この遮光露光期間中に予め定められた回数の非破壊読み出しを行うことで、複数の遮光画像１３１を生成する（Ｓ１０３）。具体的には、撮像装置１００は、露光開始後、所定の時間Ｔ３が経過した後、予め定められた周期Ｔ４で非破壊読み出しを繰り返し行う。

また、遮光露光の露光時間Ｔ２は、予め定められており、例えば、本露光時間Ｔ１より長い。

図７は、本画像１２１の一例を示す図である。図８は、複数の遮光画像１３１の一例を示す図である。図７に示すように、本画像１２１は、入射光に応じた電気信号を出力するための有効領域１２２と、常に遮光されているＯＢ（オプティカル・ブラック）領域（遮光領域とも呼ぶ）１２３とを含む。同様に、遮光画像１３１も、有効領域１３２とＯＢ領域１３３とを含む。また、複数の遮光画像１３１は、互いに露光時間が異なるため暗電流量（黒レベル）を示す輝度値が異なる。

次に、撮像装置１００は、複数の遮光画像１３１から、本画像１２１に含まれるＯＢ領域１２３の画素値（輝度値）と、ＯＢ領域１３３の画素値が近い遮光画像１３１を、補正用画像１４１として選択する（Ｓ１０４）。つまり、撮像装置１００は、複数の遮光画像１３１のうち、当該遮光画像１３１の画素値と、本画像１２１に含まれるＯＢ領域１２３の画素値との差が、予め定められた閾値未満の遮光画像１３１を選択する。例えば、撮像装置１００は、当該差が最も小さい遮光画像１３１を選択する。

また、この差は、例えば、ＯＢ領域１２３の複数の画素値の平均値と、ＯＢ領域１３３の複数の画素値の平均値との差である。なお、平均値の代わりに、最大値、最小値又は中央値等が用いられてもよい。また、比較に用いられる領域は、ＯＢ領域全体であってもよいし、ＯＢ領域の一部のみが用いられてもよいし、ＯＢ領域に含まれる特定の一画素が用いられてもよい。なお、比較に用いられる領域は同一の領域であることが好ましい。

次に、撮像装置１００は、図９に示すように、本画像１２１から補正用画像１４１を差し引くことで補正後画像１４２を生成する（Ｓ１０５）。具体的には、本画像１２１の各画素の画素値から補正用画像１４１の同位置の画素の画素値が減算される。これにより、長秒露光時等における暗電流の影響が低減される。

また、長秒露光時等においては、本露光時と遮光露光時とにおいて環境（例えば温度）が変化する場合がある。これにより、本露光と遮光露光との露光時間を同一にした場合でも、検出される暗電流量が異なる場合がある。一方で、本実施の形態のように、非破壊読み出しにより得られた互いに露光時間の異なる複数の遮光画像１３１から、ＯＢ領域の画素値が近い遮光画像１３１を補正用画像１４１として選択することで、本露光時と遮光露光時の暗電流量に差が生じることを抑制できる。

なお、図６において、非破壊読み出しの周期Ｔ４が一定である例を示しているが一定でなくてもよい。例えば、露光時間が本露光の露光時間Ｔ１に近づく時刻における非破壊読み出しの間隔を短くしてもよい。

また、図６では、所定時間経過後に、非破壊読み出しを行っているが、露光開始から周期的に非破壊読み出しを行ってもよい。

また、図６では、複数の遮光画像１３１の全てが非破壊読み出しにより得られているが、最後の１回の読み出しは破壊読み出しであってもよい。

以上のように、本実施の形態に係る撮像装置１００は、非破壊読み出しが可能な撮像素子１０１と、光を撮像素子１０１に集光する撮像系１０６と、撮像系１０６の光を遮光する遮光部１０７と、撮像素子１０１で得られた本画像１２１から補正用画像１４１を差し引くことで補正後画像１４２を生成する補正部１０５とを備える。補正部１０５は、遮光状態の１回の露光により撮像素子１０１で得られ、それぞれ露光時間が異なる複数の遮光画像１３１を非破壊読み出しを用いて取得し、複数の遮光画像１３１の少なくとも一つを用いて補正用画像１４１を生成する。

これにより、温度変化等に起因して生じる、本露光時と遮光露光時との暗電流量の差を低減できる。よって、暗電流の影響を低減できるので、補正後画像１４２の画質を改善できる。

なお、撮像系１０６の光を遮光する機能は、メカッシャを用いた手法に限らず、電子ＮＤ制御等の他の機構を用いた手法であってもよい。つまり、撮像系１０６の光を遮光する遮光部とは、図１に示す遮光部１０７（メカシャッタ等）に限らず、電子ＮＤ制御等を行うための機構であってもよい。

また、補正部１０５は、複数の遮光画像１３１のうち、当該遮光画像１３１の画素値と、本画像１２１に含まれる遮光領域（ＯＢ領域１２３）の画素値との差が閾値未満の遮光画像１３１から補正用画像１４１を生成する。これにより、本画像１２１と暗電流量の差が少ない遮光画像１３１を用いて補正用画像１４１を生成できるので、本画像１２１と補正用画像１４１との暗電流量の差を低減できる。

また、補正部１０５は、複数の遮光画像１３１のうち、当該遮光画像１３１の遮光領域（ＯＢ領域１３３）の画素値と、本画像１２１に含まれる遮光領域（ＯＢ領域１２３）の画素値との差が閾値未満の遮光画像から補正用画像１４１を生成する。つまり、同じ領域の画素値が比較される。これにより、暗電流量が類似する遮光画像１３１を精度よく選択できる。

（実施の形態２）
本実施の形態では、上記実施の形態１の変形例について説明する。なお、以下では、先の実施の形態との相違点を主に説明し、重複する説明は省略する。

実施の形態１では、遮光露光の露光期間Ｔ２及び非破壊読み出しされる遮光画像１３１の数が予め定められている例を述べた。本実施の形態では、動的に遮光画像１３１の暗電流量を判定し、本画像１２１と暗電流量が類似する遮光画像１３１が得られたタイミングで露光を終了する。これにより、実施の形態１に比べ、不必要な非破壊読み出しが行われることを抑制できる。

図１０は、本実施の形態に係る撮像装置１００の動作の流れを示すフローチャートである。図１１は、この動作を説明するための図である。まず、撮像装置１００は、実施の形態１と同様に、本画像１２１を撮影し、時刻ｔ２において遮光露光を開始する（Ｓ１１２）。

次に、撮像装置１００は、遮光露光期間中に非破壊読み出しを行う（Ｓ１１３）。次に、撮像装置１００は、非破壊読み出しにより得られた遮光画像１３１のＯＢ領域１３３の画素値と、本画像１２１のＯＢ領域１２３の画素値とが近いかを判定する（Ｓ１１４）。具体的には、撮像装置１００は、遮光画像１３１のＯＢ領域１３３の画素値と、本画像１２１のＯＢ領域１２３の画素値との差が予め定められた閾値未満かを判定する。

当該差が閾値未満でない場合には（Ｓ１１４でＮｏ）、再度、非破壊読み出しが行われ（Ｓ１１３）、同様の判定処理が再度行われる（Ｓ１１４）。

一方、当該差が閾値未満の場合には（Ｓ１１４でＹｅｓ）、撮像装置１００は、遮光露光を終了するとともに（Ｓ１１５）、最後に非破壊読み出しにより読み出した遮光画像１３１を補正用画像１４１として選択する（Ｓ１１６）。例えば、図１１に示す例では、時刻ｔ３において、上記差が閾値未満と判定され、この遮光画像１３１が補正用画像１４１として選択される。

次に、撮像装置１００は、本画像１２１から補正用画像１４１を差し引くことで補正後画像１４２を生成する（Ｓ１１７）。

このように、補正部１０５は、遮光画像１３１の画素値と、本画像１２１に含まれるＯＢ領域１２３の画素値との差が閾値未満になるまで、非破壊読み出しを繰り返し、当該差が閾値未満になった遮光画像１３１を補正用画像１４１として選択する。

これにより、実施の形態１に比べ、不必要な非破壊読み出しが行われることを抑制できる。

なお、撮像装置１００は、上記差が閾値未満になった場合に、破壊読み出しを行い、得られた画像を補正用画像１４１として用いてもよい。図１２は、この場合の撮像装置１００の動作を示すフローチャートである。図１３は、この動作を説明するための図である。

図１２に示す処理は、図１０に示す処理に対して、ステップＳ１１６の代わりにステップＳ１１６Ａを含む。つまり、撮像装置１００は、上記差が閾値未満の場合には（Ｓ１１４でＹｅｓ）、遮光露光を終了するとともに（Ｓ１１５）、破壊読み出しにより補正用画像１４１を取得する（Ｓ１１６Ａ）。

例えば、図１３に示す例では、時刻ｔ３において、上記差が閾値未満と判定される。その後、撮像装置１００は、破壊読み出しにより補正用画像１４１を取得する。なお、図１３では、判定の直後に破壊読み出しが行われているが、直後でなくてもよい。

このように、補正部１０５は、遮光画像１３１の画素値と、本画像１２１に含まれるＯＢ領域１２３の画素値との差が閾値未満になるまで、非破壊読み出しを繰り返し、当該差が閾値未満になった場合、破壊読み出しにより撮像素子１０１から遮光画像を取得し、当該破壊読み出しにより取得された遮光画像を補正用画像１４１として選択する。

ここで、一般に、非破壊読み出しでは、破壊読み出し時に行われるノイズ除去処理等の一部の処理が行われない。つまり、破壊読み出しで得られた画像は、非破壊読み出しで得られた画像よりも画質が高い。よって、非破壊読み出しで得られた画像を判定処理のみに用い、破壊読み出しで得られた画像を補正用画像１４１として用いることで、暗電流量をより正確に示す補正用画像１４１を得ることができる。これにより、補正後画像１４２の画質も向上できる。

（実施の形態３）
本実施の形態では、上記実施の形態１及び２の変形例について説明する。実施の形態１及び２では、非破壊読み出し又は破壊読み出しで得られた１枚の遮光画像１３１をそのまま補正用画像１４１として用いる例を述べた。本実施の形態では、複数の遮光画像１３１を用いて補正用画像１４１を生成する例について説明する。

図１４は、実施の形態１の変形例の動作を示すフローチャートである。図１４に示す処理は、図５に示す処理に対して、ステップＳ１０４の代わりにステップＳ１０４Ａを含む。図１５は、この動作を説明するための図である。

ステップＳ１０４Ａでは、撮像装置１００は、非破壊読み出しで得られた複数の遮光画像１３１から、本画像１２１に含まれるＯＢ領域１２３の画素値と、ＯＢ領域１３３の画素値が近い複数の遮光画像１３１を用いて補正用画像１４１を生成する（Ｓ１０４Ａ）。

例えば、撮像装置１００は、複数の遮光画像１３１のうち、当該遮光画像１３１の画素値と、本画像１２１に含まれるＯＢ領域１２３の画素値との差が、予め定められた閾値未満の複数の遮光画像１３１を用いて、補正用画像１４１を生成する。例えば、補正部１０５は、複数の遮光画像１３１のうち、上記差が閾値未満の複数の遮光画像１３１を加算平均することで補正用画像１４１を生成する。

例えば、図１５に示す例では、時刻ｔ３及びｔ４において読み出された遮光画像１３１に対して、上記差が閾値未満と判定される。そしてこの２枚の遮光画像１３１を用いて補正用画像１４１が生成される。

このように、加算平均を行うことで、例えば、信号読み出し経路において発生するランダムノイズを低減することができる。なお、複数の画像を用いてランダムノイズを低減する方法は、加算平均に限らない。例えば、ランダムノイズが発生している画素の画素値は、他の複数の画像の同一位置の画素の画素値から離れた値となる。よって、撮像装置１００は、このような画像間の各画素の画素値のばらつきに基づき、各画像の各画素にランダムノイズが発生しているか否かを判定し、ランダムノイズが発生していない画素のみを組み合わせて補正用画像１４１を生成してもよい。または、撮像装置１００は、ランダムノイズが発生している画素を除いた複数の遮光画像１３１の加算平均により補正用画像１４１を生成してもよい。

また、実施の形態１の変形例と同様に、複数の遮光画像１３１には、破壊読み出しされた画像が含まれてもよい。

次に、実施の形態２に対して同様の変形例を適用した場合について説明する。図１６は、この場合の撮像装置１００の動作を示すフローチャートである。図１７は、この動作を説明するための図である。

図１６に示す処理は、図１２に示す処理に対して、ステップＳ１１６Ａの代わりにステップＳ１１６Ｂ及びＳ１１６Ｃを含む。

撮像装置１００は、上記差が閾値未満の場合には（Ｓ１１４でＹｅｓ）、遮光露光を終了するとともに（Ｓ１１５）、連続的に非破壊読み出しを行った後、破壊読み出しを行うことで、複数の遮光画像１３１を取得する（Ｓ１１６Ｂ）。次に、撮像装置１００は、ステップＳ１１６Ｂで得られた複数の遮光画像１３１を用いて補正用画像１４１を生成する。なお、補正用画像１４１を生成方法は、例えば、上記ステップＳ１０４Ａと同様である。

また、図１５に示すように、上記差が閾値未満であると判定された後（時刻ｔ３以降）の非破壊読み出しの間隔Ｔ５は、それ以前の非破壊読み出しの間隔Ｔ４より短い。つまり、補正部１０５は、上記差が閾値未満になるまで、第１間隔Ｔ４で非破壊読み出しを繰り返し、上記差が閾値未満になった場合、第１間隔より短い第２間隔Ｔ５で非破壊読み出しを繰り返し、第２間隔Ｔ５での破壊読み出しにより取得された複数の遮光画像１３１を加算平均することで補正用画像１４１を生成してもよい。

これにより、本画像１２１との暗電流量の差が少ない複数の遮光画像１３１を用いて補正用画像１４１を生成できるので、本画像１２１と補正用画像１４１との暗電流量の差を低減できる。

なお、図１７に示す例では、最後に破壊読み出しが行われているが行われなくてもよい。また、図１７に示す例では、露光終了後に連続した非破壊読み出しが行われているが、露光中に非破壊読み出しが行われてもよい。

以上、本開示の実施の形態に係る撮像装置について説明したが、本開示は、この実施の形態に限定されるものではない。

例えば、上記実施の形態に係る撮像装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、本開示は、撮像装置により実行される制御方法として実現されてもよい。

また、上記回路図に示す回路構成は、一例であり、本開示は上記回路構成に限定されない。つまり、上記回路構成と同様に、本開示の特徴的な機能を実現できる回路も本開示に含まれる。また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

以上、一つまたは複数の態様に係る撮像装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

本開示は、デジタルスチルカメラ又はデジタルビデオカメラ等の撮像装置に適用できる。

１００撮像装置
１０１撮像素子
１０２制御部
１０３表示部
１０４記憶部
１０５補正部
１０６撮像系
１０７遮光部
１２１本画像
１２２、１３２有効領域
１２３、１３３ＯＢ領域
１３１遮光画像
１４１補正用画像
１４２補正後画像
２０１画素
２０２垂直走査部
２０３カラム信号処理部
２０４水平読み出し部
２０５リセット制御線
２０６アドレス制御線
２０７垂直信号線
２０８水平出力端子
２１１光電変換部
２１２電荷蓄積部
２１３リセットトランジスタ
２１４増幅トランジスタ
２１５選択トランジスタ

Claims

非破壊読み出しが可能な撮像素子と、
光を前記撮像素子に集光する撮像系と、
前記撮像系の光を遮光する遮光部と、
前記撮像素子で得られた本画像から補正用画像を差し引くことで補正後画像を生成する補正部とを備え、
前記補正部は、
遮光状態の１回の露光により前記撮像素子で得られ、それぞれ露光時間が異なる複数の遮光画像を非破壊読み出しを用いて取得し、
前記複数の遮光画像の少なくとも一つを用いて前記補正用画像を生成する
撮像装置。
前記補正部は、
前記複数の遮光画像のうち、当該遮光画像の画素値と、前記本画像に含まれる遮光領域の画素値との差が閾値未満の遮光画像から前記補正用画像を生成する
請求項１記載の撮像装置。
前記補正部は、
前記差が前記閾値未満になるまで、前記非破壊読み出しを繰り返し、
前記差が前記閾値未満になった遮光画像を前記補正用画像として選択する
請求項２記載の撮像装置。
前記補正部は、
読み出した前記遮光画像の画素値と、前記本画像に含まれる遮光領域の画素値との差が閾値未満になるまで、前記非破壊読み出しを繰り返し、
前記差が前記閾値未満になった場合、破壊読み出しにより前記撮像素子から遮光画像を取得し、
前記破壊読み出しにより取得された前記遮光画像を前記補正用画像として選択する
請求項１記載の撮像装置。
前記補正部は、
前記複数の遮光画像のうち、前記差が前記閾値未満の複数の遮光画像を加算平均することで前記補正用画像を生成する
請求項２記載の撮像装置。
前記補正部は、
前記差が前記閾値未満になるまで、第１間隔で前記非破壊読み出しを繰り返し、
前記差が前記閾値未満になった場合、前記第１間隔より短い第２間隔で前記非破壊読み出しを繰り返し、
前記第２間隔での前記破壊読み出しにより取得された複数の遮光画像を加算平均することで前記補正用画像を生成する
請求項５記載の撮像装置。
前記補正部は、
前記複数の遮光画像のうち、当該遮光画像の前記遮光領域の画素値と、前記本画像に含まれる前記遮光領域の画素値との前記差が前記閾値未満の遮光画像から前記補正用画像を生成する
請求項２記載の撮像装置。
前記撮像素子は、有機センサである
請求項１〜７のいずれか１項に記載の載の撮像装置。
非破壊読み出しが可能な撮像素子と、光を前記撮像素子に集光する撮像系と、前記撮像系の光を遮光する遮光部とを備える撮像装置の制御方法であって、
前記撮像素子で得られた本画像から補正用画像を差し引くことで補正後画像を生成する補正ステップを含み、
前記補正ステップでは、
遮光状態の１回の露光により前記撮像素子で得られ、それぞれ露光時間が異なる複数の遮光画像を非破壊読み出しを用いて取得し、
前記複数の遮光画像の少なくとも一つを用いて前記補正用画像を生成する
制御方法。