JP2018107733A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】画質の低下を抑制できる撮像装置を提供する。【解決手段】撮像装置１００は、非破壊読み出しが可能な撮像素子１０１と、非破壊読み出しを用いて、１回の露光により撮像素子１０１で得られた複数の画像を用いて補正後画像を生成する補正部１０５とを備える。例えば、補正部１０５は、露光を停止した後、非破壊読み出しを用いて前記複数の画像を取得してもよい。例えば、補正部１０５は、前記複数の画像を加算平均することで前記補正後画像を生成してもよい。【選択図】図１

Description

本発明は、撮像装置及びその制御方法に関する。

有機光電変換素子を用いた撮像素子として、特許文献１に記載の技術が知られている。

特開２００８−０４２１８０号公報

撮像装置において、ランダムノイズを低減するための処理が行われている。具体的には、撮像装置は、連続して複数の画像を撮影し、得られた複数の画像の加算平均を算出することで補正後画像をする。

しかしながら、この方法には、複数の画像の撮影時刻が厳密には異なるため、動きのある画像では画質が低下してしまうという課題がある。

そこで、本開示は、画質の低下を抑制できる撮像装置又はその制御方法を提供することを目的とする。

本開示の一態様に係る撮像装置は、非破壊読み出しが可能な撮像素子と、非破壊読み出しを用いて、１回の露光により前記撮像素子で得られた複数の画像を用いて補正後画像を生成する補正部とを備える。

本開示は、画質の低下を抑制できる撮像装置又はその制御方法を提供できる。

図１は、実施の形態に係る撮像装置のブロック図である。 図２Ａは、実施の形態に係る撮像装置の外観例を示す図である。 図２Ｂは、実施の形態に係る撮像装置の外観例を示す図である。 図３は、実施の形態に係る撮像素子の構成を示す図である。 図４は、実施の形態に係る画素の構成を示す回路図である。 図５は、実施の形態に係る撮像装置の動作を示すフローチャートである。 図６は、実施の形態に係る撮像装置の動作を示す図である。 図７は、実施の形態に係る撮像装置の動作の変形例を示す図である。

本開示の一態様に係る撮像装置は、非破壊読み出しが可能な撮像素子と、非破壊読み出しを用いて、１回の露光により前記撮像素子で得られた複数の画像を用いて補正後画像を生成する補正部とを備える。

これによれば、非破壊読み出しを用いて単一の露光により得られた複数の画像を用いることができるので、動きのある画像における画質の低下を抑制できる。

例えば、前記補正部は、露光を停止した後、前記非破壊読み出しを用いて前記複数の画像を取得してもよい。

これによれば、同一の露光時間で得られた複数の画像を用いることができるので、動きのある画像における画質の低下を抑制できる。

例えば、前記補正部は、前記複数の画像を加算平均することで前記補正後画像を生成してもよい。

例えば、前記補正部は、前記複数の画像の各々に含まれる各画素のノイズの有無を判定し、ノイズのない画素を用いて前記補正後画像を生成してもよい。

例えば、前記補正部は、前記複数の画像と、破壊読み出しにより取得した画像とを用いて前記補正後画像を生成してもよい。

例えば、前記撮像素子は、有機センサであってもよい。

本開示の一態様に係る制御方法は、非破壊読み出しが可能な撮像素子を備える撮像装置の制御方法であって、非破壊読み出しを用いて、１回の露光により前記撮像素子で得られた複数の画像を用いて補正後画像を生成する補正ステップを含む。

これによれば、非破壊読み出しを用いて単一の露光により得られた複数の画像を用いることができるので、動きのある画像における画質の低下を抑制できる。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

以下、本開示の実施の形態について、図面を参照しながら説明する。以下に説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。したがって、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態等は、一例であって本開示を限定する主旨ではない。よって、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

なお、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する。

（実施の形態）
［撮像装置の構成］
まず、本開示の実施の形態に係る撮像装置の構成を説明する。図１は、本実施の形態に係る撮像装置１００の構成を示すブロック図である。また、図２Ａ及び図２Ｂは、撮像装置１００の外観の例を示す図である。例えば、図２Ａ及び図２Ｂに示すように、撮像装置１００は、デジタルスチルカメラ又はデジタルビデオカメラ等のカメラである。

図１に示す撮像装置１００は、撮像素子１０１と、制御部１０２と、表示部１０３と、記憶部１０４とを備える。撮像素子１０１は、入射光を電気信号（画像）に変換し、得られた電気信号を出力する固体撮像素子（固体撮像装置）であり、例えば、有機光電変換素子を用いた有機センサである。

制御部１０２は、撮像素子１０１の制御を行う。また、制御部１０２は、撮像素子１０１で得られた画像に対して各種信号処理を施し、得られた画像を表示部１０３に表示したり、記憶部１０４に記憶したりする。なお、制御部１０２から出力された画像は、図示しない入出力インタフェースを介して撮像装置１００の外部に出力されてもよい。

また、制御部１０２は、撮像素子１０１で得られた画像を補正する補正部１０５を備える。

［撮像素子の構成］
次に、撮像素子１０１の構成を説明する。図３は、撮像素子１０１の構成を示すブロック図である。

図３に示す撮像素子１０１は、行列状に配置された複数の画素（単位画素セル）２０１と、垂直走査部２０２と、カラム信号処理部２０３と、水平読み出し部２０４と、行毎に設けられている複数のリセット制御線２０５と、行毎に設けられている複数のアドレス制御線２０６と、列毎に設けられている複数の垂直信号線２０７と、水平出力端子２０８とを備える。

複数の画素２０１の各々は、入射光に応じた信号を、対応する列に設けられている垂直信号線２０７に出力する。

垂直走査部２０２は、複数のリセット制御線２０５を介して複数の画素２０１をリセットする。また、垂直走査部２０２は、複数のアドレス制御線２０６を介して、複数の画素２０１を行単位で順次選択する。

カラム信号処理部２０３は、複数の垂直信号線２０７に出力された信号に信号処理を行い、当該信号処理により得られた複数の信号を水平読み出し部２０４へ出力する。例えば、カラム信号処理部２０３は、相関二重サンプリングに代表される雑音抑圧信号処理及び、アナログ／デジタル変換処理等を行う。

水平読み出し部２０４は、複数のカラム信号処理部２０３で信号処理された後の複数の信号を順次水平出力端子２０８に出力する。

以下、画素２０１の構成を説明する。図４は、画素２０１の構成を示す回路図である。

図４に示すように画素２０１は、光電変換部２１１と、電荷蓄積部２１２と、リセットトランジスタ２１３と、増幅トランジスタ２１４（ソースフォロアトランジスタ）と、選択トランジスタ２１５とを備える。

光電変換部２１１は、入射光を光電変換することにより信号電荷を生成する。光電変換部２１１の一端には電圧Ｖｏｅが印加されている。具体的には、光電変換部２１１は、有機材料で構成される光電変換層を含む。なお、この光電変換層は、有機材料で構成される層と無機材料で構成される層とを含んでもよい。

電荷蓄積部２１２は、光電変換部２１１に接続されており、光電変換部２１１で生成された信号電荷を蓄積する。なお、電荷蓄積部２１２は、専用の容量素子ではなく、配線容量等の寄生容量で構成されてもよい。

リセットトランジスタ２１３は、信号電荷の電位をリセットするために用いられる。リセットトランジスタ２１３のゲートはリセット制御線２０５に接続されており、ソースは電荷蓄積部２１２に接続されており、ドレインにはリセット電圧Ｖｒｅｓｅｔが印加される。

なお、ドレイン及びソースの定義は、一般的に回路動作に依存するものであり、素子構造からは特定できない場合が多い。本実施の形態では、便宜的にソース及びドレインの一方をソースと呼び、ソース及びドレインの他方をドレインと呼ぶが、本実施の形態におけるドレインをソース、ソースをドレインと置き換えてもよい。

増幅トランジスタ２１４は、電荷蓄積部２１２の電圧を増幅することで、当該電圧に応じた信号を垂直信号線２０７へ出力する。増幅トランジスタ２１４のゲートは電荷蓄積部２１２に接続されており、ドレインに電源電圧Ｖｄｄまたは接地電圧Ｖｓｓが印加される。

選択トランジスタ２１５は、増幅トランジスタ２１４と直列に接続されており、増幅トランジスタ２１４が増幅した信号を垂直信号線２０７に出力するか否かを切り替える。選択トランジスタ２１５のゲートはアドレス制御線２０６に接続されており、ドレインは増幅トランジスタ２１４のソースに接続されており、ソースは垂直信号線２０７に接続されている。

また、例えば、電圧Ｖｏｅ、リセット電圧Ｖｒｅｓｅｔ及び電源電圧Ｖｄｄは、全画素２０１で共通に用いられる電圧である。

また、有機センサの特徴として、非破壊読み出しと、電子ＮＤ（Ｎｅｕｔｒａｌ Ｄｅｎｓｉｔｙ）制御とがある。非破壊読み出しとは、露光期間中に画像データを読み出し、引き続き露光を継続する処理である。従来の読み出し（以下、破壊読み出しと呼ぶ）では、読み出しを行う際には露光を終了する必要があった。つまり、１回の露光により１枚の画像しか得ることができなかった。これに対して、非破壊読み出しを用いることで、露光期間中に、その時刻までに露光された画像データを読み出し、引き続き露光を継続することができる。これにより、１回の露光で露光時間の異なる複数の画像を得ることができる。

また、電子ＮＤ制御とは、電気的に撮像素子の透過率を制御する処理である。ここで透過率とは、入射光のうち電気信号に変換される光の割合を意味する。つまり、透過率を０％に設定することで、電気的に遮光を実現できる。具体的には、図４に示す電圧Ｖｏｅが制御されることで透過率が制御される。これにより、メカシャッタを用いることなく、電気的に露光を終了させることができる。

なお、撮像素子１０１は、メカッシャを備え、電子ＮＤ制御とメカシャッタによる遮光とを併用してもよいし、メカシャッタによる遮光のみが用いられてもよい。

また、ここでは、撮像素子１０１が有機センサである例を述べるが、撮像素子１０１は、非破壊読み出し、又は電子ＮＤ制御を実現できればよく、有機センサ以外であってもよい。つまり、光電変換部２１１に含まれる光電変換層は無機材料で構成されてもよい。例えば、光電変換層はアモルファスシリコン又はカルコパイライト系半導体等で構成されてもよい。

［撮像装置の動作］
次に、本実施の形態に係る撮像装置１００の動作を説明する。図５は、撮像装置１００の動作の流れを示すフローチャートである。図６は、撮像装置１００の動作を説明するための図である。

図５に示すように、撮像装置１００は、まず、露光を行う（Ｓ１０１）。具体的には、露光が開始された後、上述した電子ＮＤ制御、又は、メカシャッタにより遮光が行われることで露光が終了する。

次に、撮像装置１００は、予め定められた回数の非破壊読み出しを行い（Ｓ１０２）、その後、破壊読出しを行うことで画像を生成する（Ｓ１０３）。

次に、撮像装置１００は、ステップＳ１０２及びＳ１０３で得られた複数の画像を用いてランダムノイズを低減した補正後画像を生成する（Ｓ１０４）。ここで、ランダムノイズを低減するとは、各画素に含まれるランダムノイズに起因する輝度値の増減を減らすことを意味する。具体的には、撮像装置１００は、得られた複数の画像を加算平均することで補正後画像を生成する。

ここで、ランダムノイズとは、例えば、信号読み出し経路において発生するノイズであり、ノイズが発生する位置（画素）及びノイズの強さはランダムである。よって、予めランダムノイズを把握することはできないため、事前に把握したノイズ量等に基づき、補正を行うことはできない。一方で、複数の画像の加算平均を行うことで、ランダムノイズが発生している画素の画素値を、他の画像の正常な画素の画素値で平均化できるので、ランダムノイズの影響を低減できる。

なお、撮像装置１００は、加算平均の代わりに、複数の画像の各々に含まれる各画素のノイズの有無を判定し、ノイズのない画素を用いて補正後画像を生成してもよい。なお、ノイズが有るとは、ノイズが予め定められた値より多いことを意味し、ノイズが無いとは、ノイズが予め定められた値より少ないことを意味する。

ランダムノイズが発生している画素の画素値は、他の複数の画像の同一位置の画素の画素値から離れた値となる。よって、撮像装置１００は、このような画像間の各画素の画素値のばらつきに基づき、各画像の各画素にランダムノイズが発生しているか否かを判定し、ランダムノイズが発生していない画素のみを組み合わせて補正用画像を生成してもよい。

具体的には、撮像装置１００は、画素毎に、複数の画像に含まれる当該画素の画素値の平均値を算出し、当該平均値から予め定められた値以上離れた値の画素をランダムノイズが発生している画素と判定し、それ以外の画素をランダムノイズのない正常な画素と判定する。次に、撮像装置１００は、正常な画素を組み合わせることで補正後画像を生成する。例えば、撮像装置１００は、正常な画素の画素値の平均値を補正後画像の当該画素の画素値として用いてもよいし、正常な画素の画素値のうちいずれか一つを補正後画像の当該画素の画素値として用いてもよい。

または、撮像装置１００は、破壊読出しで得られた画像を基本画像として、当該基本画像に含まれるノイズが発生している画素の画素値を、非破壊読み出しで得られた画像の画素値又は平均値に置き換えてもよい。ここで、一般に、非破壊読み出しでは、破壊読み出し時に行われるノイズ除去処理等の一部の処理が行われない。つまり、破壊読み出しで得られた画像は、非破壊読み出しで得られた画像よりも画質が高い。よって、破壊読み出しで得られた画像を基本画像として用いることで、補正用画像の画質を向上できる。

なお、ここでは、露光期間の終了後に非破壊読み出しを行う例を述べたが、図７に示すように、露光期間中に非破壊読み出しを行ってもよい。

また、非破壊読み出しの回数は任意であり、図６及び図７に示す回数に限らない。また、破壊読み出しを行わず、非破壊読み出しのみが行われてもよい。

以上のように、本実施の形態に係る撮像装置１００は、非破壊読み出しが可能な撮像素子１０１と、非破壊読み出しを用いて、１回の露光により前記撮像素子で得られた複数の画像を用いて、ランダムノイズを低減した補正後画像を生成する補正部１０５とを備える。

これにより、撮像装置１００は、非破壊読み出しを用いて単一の露光により得られた複数の画像を用いることができるので、動きのある画像における画質の低下（例えば被写体のぼけ）を抑制できる。また、単一の露光により複数の画像を得ることができるので、複数回の露光を行う場合に比べ、撮影時間を短縮できる。

また、補正部１０５は、露光を停止した後、非破壊読み出しを用いて複数の画像を取得する。これにより、撮像装置１００は、同一の露光時間で得られた複数の画像を用いることができるので、動きのある画像における画質の低下をより抑制できる。

以上、本開示の実施の形態に係る撮像装置について説明したが、本開示は、この実施の形態に限定されるものではない。

例えば、上記実施の形態に係る撮像装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、本開示は、撮像装置により実行される制御方法として実現されてもよい。

また、上記回路図に示す回路構成は、一例であり、本開示は上記回路構成に限定されない。つまり、上記回路構成と同様に、本開示の特徴的な機能を実現できる回路も本開示に含まれる。また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

以上、一つまたは複数の態様に係る撮像装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

本開示は、デジタルスチルカメラ又はデジタルビデオカメラ等の撮像装置に適用できる。

１００ 撮像装置
１０１ 撮像素子
１０２ 制御部
１０３ 表示部
１０４ 記憶部
１０５ 補正部
２０１ 画素
２０２ 垂直走査部
２０３ カラム信号処理部
２０４ 水平読み出し部
２０５ リセット制御線
２０６ アドレス制御線
２０７ 垂直信号線
２０８ 水平出力端子
２１１ 光電変換部
２１２ 電荷蓄積部
２１３ リセットトランジスタ
２１４ 増幅トランジスタ
２１５ 選択トランジスタ

Claims (7)

1. 非破壊読み出しが可能な撮像素子と、
   非破壊読み出しを用いて、１回の露光により前記撮像素子で得られた複数の画像を用いて補正後画像を生成する補正部とを備える
   撮像装置。
2. 前記補正部は、露光を停止した後、前記非破壊読み出しを用いて前記複数の画像を取得する
   請求項１記載の撮像装置。
3. 前記補正部は、前記複数の画像を加算平均することで前記補正後画像を生成する
   請求項１又は２記載の撮像装置。
4. 前記補正部は、前記複数の画像の各々に含まれる各画素のノイズの有無を判定し、ノイズのない画素を用いて前記補正後画像を生成する
   請求項１又は２記載の撮像装置。
5. 前記補正部は、前記複数の画像と、破壊読み出しにより取得した画像とを用いて前記補正後画像を生成する
   請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記撮像素子は、有機センサである
   請求項１〜５のいずれか１項に記載の載の撮像装置。
7. 非破壊読み出しが可能な撮像素子を備える撮像装置の制御方法であって、
   非破壊読み出しを用いて、１回の露光により前記撮像素子で得られた複数の画像を用いて補正後画像を生成する補正ステップを含む
   制御方法。

Images