JP2022127306A - 撮像装置 - Google Patents

Abstract

【課題】画質の低下を抑制可能な撮像装置を提供する。
【解決手段】撮像装置は、光電変換により電荷を生成する光電変換部と前記光電変換部で生成された電荷を蓄積する蓄積部とを有する画素が、第１方向と前記第１方向とは異なる第２方向に複数設けられる領域を有する撮像部と、前記第１方向及び前記第２方向に設けられる複数の画素それぞれにおいて共に前記光電変換部で生成された電荷を前記蓄積部に転送させ、前記領域のうちの高輝度領域の位置に基づいて定められた順に前記複数の画素から前記蓄積部に蓄積された電荷に基づく信号を出力させる第１制御を行う制御部と、を備える。
【選択図】図１

Description

本発明は、撮像装置に関する。

ＰＬＳ（Parasitic Light Sensitivity：寄生受光感度）特性を改善するために、フォトダイオードが形成された第１の半導体基板とメモリ部が形成された第２の半導体基板との間の配線層に、遮光膜が設けられた撮像装置が知られている（特許文献１）。

国際公開第２０１９／１５０９８１号

第１の態様によると、撮像装置は、光電変換により電荷を生成する光電変換部と前記光電変換部で生成された電荷を蓄積する蓄積部とを有する画素が、第１方向と前記第１方向とは異なる第２方向に複数設けられる領域を有する撮像部と、前記第１方向及び前記第２方向に設けられる複数の画素それぞれにおいて共に前記光電変換部で生成された電荷を前記蓄積部に転送させ、前記領域のうちの高輝度領域の位置に基づいて定められた順に前記複数の画素から前記蓄積部に蓄積された電荷に基づく信号を出力させる第１制御を行う制御部と、を備える。

実施の形態に係る撮像装置の構成例を示す図である。 実施の形態に係る撮像素子の構成例を示す図である。 実施の形態に係る撮像素子の画素の構成例を示す図である。 実施の形態に係る撮像装置による第１の読み出し処理の一例を説明するための図である。 実施の形態に係る撮像装置による第１の読み出し処理の別の例を説明するための図である。 実施の形態に係る撮像装置による第１の読み出し処理の別の例を説明するための図である。 実施の形態に係る撮像装置による第２の読み出し処理の一例を説明するための図である。 実施の形態に係る撮像装置による第２の読み出し処理の別の例を説明するための図である。 実施の形態に係る撮像装置による第２の読み出し処理の別の例を説明するための図である。

（実施の形態）
図１は、実施の形態に係る撮像装置の一例であるカメラ１の構成例を示す図である。カメラ１は、撮影光学系（結像光学系）２、撮像素子３、制御部４、メモリ５、表示部６、及び操作部７を備える。撮影光学系２は、焦点調節レンズ（フォーカスレンズ）を含む複数のレンズ及び開口絞りを有し、撮像素子３に被写体像を結像する。なお、撮影光学系２は、カメラ１から着脱可能にしてもよい。

撮像素子３は、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等の撮像素子である。撮像素子３は、撮影光学系２を通過した光束を受光し、撮影光学系２により形成される被写体像を撮像する。撮像素子３には、光電変換部を有する複数の画素が二次元状（行方向及び列方向）に配置される。光電変換部は、フォトダイオード（ＰＤ）によって構成される。撮像素子３は、受光した光を光電変換して信号を生成し、生成した信号を制御部４に出力する。

撮像素子３では、画素に蓄積された電荷の排出（リセット動作）と、画素の光電変換部に入射した光を光電変換して生成された電荷を蓄積する動作（蓄積動作）と、蓄積部に電荷を転送する動作（転送動作）と、蓄積した電荷に基づく信号を画素から読み出す動作（読み出し動作）とが行われる。撮像素子３は、グローバルシャッタ機能を有し、二次元状に配置される複数の画素に共に電荷の蓄積動作を行わせ、複数の画素に共に電荷の転送動作を行わせる処理を行い得る。即ち、本実施の形態に係る撮像素子３は、全画素に同時に電荷の蓄積動作を行わせ、全画素に同時に電荷の転送動作を行わせる処理を行い得る。また、撮像素子３は、ローリングシャッタ機能も有し、電荷の蓄積動作が１行または複数行ずつ走査しながら行われる処理も行い得る。

メモリ５は、メモリカード等の記録媒体である。メモリ５には、画像データ、プログラム等が記録される。メモリ５へのデータの書き込み、及びメモリ５からのデータの読み出しは、制御部４によって制御される。表示部６は、画像データに基づく画像、絞り値等の撮影に関する情報、及びメニュー画面等を表示する。操作部７は、レリーズボタン、電源スイッチ、各種モードを切り替えるためのスイッチ等の各種設定スイッチ等を含み、それぞれの操作に基づく信号を制御部４へ出力する。

制御部４は、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ＡＳＩＣ等のデバイス、及びＲＯＭ、ＲＡＭ等のメモリを有する。制御部４は、メモリに格納されたプログラムを読み込んで実行し、カメラ１の各部を制御する。制御部４は、検出部４ａと、撮像制御部４ｂと、画像データ生成部４ｃとを有する。

検出部４ａは、撮像素子３から出力される画素の信号に基づいて高輝度領域の検出を行う。高輝度領域は、車のヘッドライト、街灯など、撮像素子３による撮像範囲における高輝度の被写体の領域である。検出部４ａにより検出される高輝度領域は、被写体から高輝度の光が入射する撮像素子３の領域であり、画像データによる画像のうちの高輝度の画像領域に対応する。

検出部４ａは、撮像素子３において画素が二次元状に設けられた領域（画素領域）のうち、被写体からの光の受光量が多い領域を、高輝度領域として検知する。検出部４ａは、例えば画素の信号の信号レベルが所定の基準レベル（閾値）を超える画素の領域を高輝度領域として判定（判断）し、高輝度領域に関する情報（領域情報）を生成する。領域情報には、高輝度領域の位置に関する情報、高輝度領域の移動方向（進行方向）に関する情報、高輝度領域の移動速度に関する情報等が含まれる。

撮像制御部４ｂは、撮像素子３を制御する信号を撮像素子３に供給して、撮像素子３の動作を制御する。撮像制御部４ｂは、静止画撮影を行う場合、動画撮影を行う場合、表示部６に被写体のスルー画像（ライブビュー画像）を表示する場合等に、撮像素子３に被写体像を撮像させて信号を出力させる。

撮像制御部４ｂは、撮像素子３を制御して、各画素において同時に電荷の蓄積動作を行った後に各画素の信号の読み出し動作を行う、グローバルシャッタ方式の蓄積および読み出し処理を行い得る。また、撮像制御部４ｂは、撮像素子３を制御して、電荷の蓄積動作と信号の読み出し動作とを行毎に走査しながら行う、ローリングシャッタ方式の蓄積および読み出し処理も行い得る。撮像制御部４ｂは、例えば、静止画撮影を行う場合にグローバルシャッタ方式の処理を実行し、ライブビュー画像の表示を行う場合にローリングシャッタ方式の処理を実行する。

撮像制御部４ｂは、撮像素子３の各画素からの信号の読み出し方法を選択（設定）する。撮像制御部４ｂは、撮像素子３を制御して、撮像素子３の画素を最上行から最下行へ又は最下行から最上行へ向かって行単位で列方向に順次選択して各画素の信号を読み出す処理（第１の読み出し処理）を行い得る。また、撮像制御部４ｂは、撮像素子３を制御して、撮像素子３の画素のうち特定の画素の信号を他の画素の信号よりも先に読み出す処理（第２の読み出し処理）も行い得る。また、後述するが、撮像制御部４ｂは、検出部４ａによる検出結果に基づいて、撮像素子３の各画素から信号を読み出す順序を制御する。

画像データ生成部４ｃは、撮像素子３から出力される信号に各種の画像処理を行って、画像データ（静止画像データ、動画像データ）を生成する。画像処理には、階調変換処理、色補間処理等の画像処理が含まれる。

図２は、実施の形態に係る撮像素子の構成例を示す図である。撮像素子３は、画素が二次元状（行方向及び列方向）に設けられた画素部（画素領域）１００と、読み出し制御部４０と、複数の処理部５０とを有する。図２においては、左上隅の画素を第１行第１列の画素１０（１，１）とし、右下隅の画素を第１２行第６列の画素１０（１２，６）として、１２行６列の計７２個の画素を図示している。なお、撮像素子３に配置される画素の数及び配置は、図示した例に限られない。

画素１０には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の異なる分光特性を有する３つのカラーフィルタ（色フィルタ）２０のいずれかが設けられる。画素１０には、入射した光のうち第１の波長域の光（赤（Ｒ）の光）を分光する分光特性を有するカラーフィルタ２０を有する画素（以下、Ｒ画素と称する）と、入射した光のうち第２の波長域の光（緑（Ｇ）の光）を分光する分光特性を有するカラーフィルタ２０を有する画素（以下、Ｇ画素と称する）と、入射した光のうち第３の波長域の光（青（Ｂ）の光）を分光する分光特性を有するカラーフィルタ２０を有する画素（以下、Ｂ画素と称する）とが含まれる。Ｒ画素１０と、Ｇ画素１０と、Ｂ画素１０とは、ベイヤー配列に従って配置されている。

撮像素子３は、図２に示すように、Ｒ画素１０とＧ画素１０とが左右方向、即ち行方向に交互に配置される画素群（第１の画素行）と、Ｇ画素１０とＢ画素１０とが行方向に交互に配置される画素群（第２の画素行）とを有する。第１の画素行と第２の画素行は、それぞれ、上下方向、即ち列方向に複数配置される。

撮像素子３では、水平方向（行方向）に配置された複数の画素１０毎に、垂直信号線２５が設けられる。垂直方向（列方向）に並んだ複数の画素の列である画素列に対して、垂直信号線２５が設けられるともいえる。複数の垂直信号線２５の各々に対して、電流源３０と処理部５０が設けられる。

読み出し制御部４０は、タイミングジェネレータ、論理回路（ＡＮＤ回路、ＯＲ回路等）、ラッチ回路、バッファ等の複数の回路により構成される。読み出し制御部４０は、撮像制御部４ｂによって制御され、後述する信号ＴＸ、信号ＲＳＴ、信号ＳＥＬなどの信号を各画素に供給して、各画素の動作を制御する。読み出し制御部４０は、画素の各トランジスタのゲートに信号を供給して、トランジスタをオン状態（接続状態、導通状態、短絡状態）又はオフ状態（切断状態、非導通状態、開放状態、遮断状態）とする。各画素の信号は、その画素に接続された垂直信号線２５に出力される。

電流源３０は、垂直信号線２５を介して各画素１０に接続される。電流源３０は、画素１０から信号を読み出すための電流を生成し、生成した電流を垂直信号線２５と各画素１０に供給する。

処理部５０は、アナログ／デジタル変換部（ＡＤ変換部）を含んで構成される。処理部５０は、各画素１０から垂直信号線２５を介して入力されるアナログ信号である画素の信号を、デジタル信号に変換する。なお、処理部５０は、垂直信号線２５を介して入力される画素の信号を所定のゲイン（増幅率）で増幅するアンプ部を有していてもよい。この場合、処理部５０は、アンプ部により増幅された画素の信号をデジタル信号に変換するようにしてもよい。

処理部５０は、デジタル信号に変換された画素の信号を、不図示の信号処理部に出力する。信号処理部は、入力された画素の信号に対して、相関二重サンプリング、信号量を補正する処理等の信号処理を行った後に、処理後の信号を制御部４に出力する。なお、画素の信号に対する相関二重サンプリング等の信号処理を、処理部５０において行うようにしてもよい。この場合、処理部５０は、デジタル信号に変換された画素の信号に対して、相関二重サンプリング等の信号処理を行った後に、処理後の信号を制御部４に出力するようにしてもよい。

図３は、実施の形態に係る撮像素子の画素の構成例を示す図である。画素１０は、光電変換部１１と、第１の転送部１２と、蓄積部１３と、第２の転送部１４と、フローティングディフュージョン（ＦＤ）１５と、排出部１６と、増幅部１７と、選択部１８とを有する。光電変換部１１は、フォトダイオードＰＤであり、入射した光を電荷に変換し、光電変換された電荷を蓄積する。

第１の転送部１２は、信号ＴＸ１により制御されるトランジスタＭ１から構成され、光電変換部１１と蓄積部１３とを電気的に接続又は切断する。第１の転送部１２は、光電変換部１１で光電変換された電荷を蓄積部１３に転送する。トランジスタＭ１は、転送トランジスタである。

蓄積部１３の容量Ｃ１は、蓄積部１３に転送された電荷を蓄積（保持）する容量である。蓄積部１３は、光電変換部１１で生成された電荷を蓄積する。蓄積部１３は、光電変換部１１で生成された電荷（信号電荷）を記憶するメモリ部１３ともいえる。

第２の転送部１４は、信号ＴＸ２により制御されるトランジスタＭ２から構成され、蓄積部１３とＦＤ１５とを電気的に接続又は切断する。第２の転送部１４は、蓄積部１３に蓄積された電荷をＦＤ１５に転送する。トランジスタＭ２は、転送トランジスタである。

ＦＤ１５の容量Ｃ２は、ＦＤ１５に転送された電荷を蓄積（保持）して、容量値で除算した電圧に変換する。ＦＤ１５は、第２の転送部１４により転送された電荷を蓄積する蓄積部１５である。

増幅部１７は、ゲート（端子）がＦＤ１５に接続されるトランジスタＭ４から構成され、ＦＤ１５の容量Ｃ２に蓄積された電荷による信号を増幅して出力する。トランジスタＭ４のドレイン（端子）及びソース（端子）は、それぞれ、電源線（電源電圧ＶＤＤ）、選択部１８に接続される。増幅部１７のソースは、選択部１８を介して垂直信号線２５に接続される。トランジスタＭ４は、増幅トランジスタである。増幅部１７と選択部１８とは、光電変換部１１により生成された電荷に基づく信号を生成し出力する出力部を構成する。

排出部１６は、信号ＲＳＴにより制御されるトランジスタＭ３から構成され、ＦＤ１５と蓄積部１３により蓄積された電荷をリセットする。排出部（リセット部）１６は、ＦＤ１５と蓄積部１３に蓄積された電荷を排出し、ＦＤ１５と蓄積部１３の電圧をリセットする。トランジスタＭ３は、リセットトランジスタである。画素１０に対するリセット動作では、第１の転送部１２、蓄積部１３、第２の転送部１４、ＦＤ１５、及び排出部１６を介して、光電変換部１１に蓄積された電荷が排出され、光電変換部１１、蓄積部１３、及びＦＤ１５の電圧がリセットされる。

選択部１８は、信号ＳＥＬにより制御されるトランジスタＭ５から構成され、増幅部１７と垂直信号線２５とを電気的に接続又は切断する。選択部１８のトランジスタＭ５は、オン状態の場合に、増幅部１７からの信号を垂直信号線２５に出力する。トランジスタＭ５は、選択トランジスタである。

読み出し制御部４０は、各画素１０に入力される信号ＴＸ１、信号ＴＸ２、信号ＲＳＴ等を制御することにより、各画素１０において電荷の蓄積が行われる期間を制御する。読み出し制御部４０は、撮像制御部４ｂによりグローバルシャッタ方式の処理が指示された場合、電荷の蓄積が行われる時間が全ての画素１０において同一になるように各画素１０を制御する。読み出し制御部４０は、全画素に対するリセット動作を一括で行って、各画素の光電変換部１１に蓄積された電荷を一斉に排出し、各画素の光電変換部１１の電圧をリセットする。全画素に対するリセット動作の後、各画素１０では、所定の期間（電荷蓄積期間）の間、電荷の蓄積動作が行われる。

読み出し制御部４０は、全画素のリセット動作後に所定の電荷蓄積期間（露光期間）が経過すると、各画素の第１の転送部１２を共にオン状態とし、光電変換部１１において電荷蓄積期間の間に蓄積された電荷を蓄積部１３に一斉に転送させる。各画素の光電変換部１１で生成された電荷は、各画素の蓄積部１３に一時的に蓄積される。各画素行の読み出し動作の期間では、蓄積部１３に蓄積された電荷がＦＤ１５に転送され、ＦＤ１５に蓄積された電荷量に応じた画素の信号が垂直信号線２５に出力される。このように、本実施の形態に係る撮像素子３は、グローバルシャッタ方式の動作を実行可能であり、カメラ１を、シャッタ機構を有しないメカシャッタレスのカメラとすることができる。

カメラでは、撮像素子において光電変換部から蓄積部への電荷の転送が行われた後も、被写体からの高輝度の光が光電変換部に入射し、光電変換部の電荷が飽和して蓄積部に電荷が漏れ込む場合が生じ得る。また、被写体からの光の一部が蓄積部に入射し、蓄積部において電荷が生じる場合もあり得る。特に、メカシャッタを有しないカメラにおいて撮像範囲に高輝度被写体が含まれる場合に、高輝度領域内の画素に高輝度の光が入射し続けて、蓄積部への電荷の混入が生じ易い傾向がある。蓄積部の周辺に遮光膜を設けた場合でも、遮光膜の隙間等から蓄積部に光が漏れ、電荷の混入が生じるおそれがある。撮像素子のＰＬＳ特性、被写体の輝度、および光が入射する期間等によって、蓄積部に混入する電荷量が変わり、画素から出力される信号の信号レベルが変化することになる。画素の信号のうち電荷の混入に起因する信号成分は、画素の信号にとってノイズ成分となる。

グローバルシャッタ方式による撮影において、全画素で同じタイミングで電荷の転送が行われた後に画素行を順次選択して画素の信号を読み出す場合、蓄積部に電荷が転送されてから画素の信号が読み出されるまでの間にも光電変換部及び蓄積部に光が入射し得る。このため、移動する高輝度被写体が撮影対象に含まれる場合、読み出し動作の走査が行われる間に高輝度被写体の移動に伴って高輝度領域の位置が変わり、高輝度領域に含まれた画素には高輝度の光が照射され画素の信号にノイズが混入してしまう。画素の信号を用いて生成される画像には、例えばスジ状のパターンが生じることになる。特に、撮像素子のＰＬＳ特性が十分ではない場合に、被写体の移動の軌跡に応じたスジ状のパターンが顕著に表れ易い。

本実施の形態に係る制御部４は、画素領域１００内の高輝度領域に関する領域情報に基づいて、高輝度領域の画素の信号を読み出すタイミングを調整する。制御部４の撮像制御部４ｂは、検出部４ａにより生成された領域情報が示す高輝度領域の位置及び移動方向に応じて信号読み出しの順序を決定し、決定した順序に従って各画素から信号が読み出されるように撮像素子３を制御する。

撮像制御部４ｂは、例えば、第１の読み出し処理を行う場合、高輝度領域の位置及び移動方向に基づき、撮像素子３の画素を最上行から最下行への方向に行毎に順次選択して各画素の信号を読み出す制御、又は、撮像素子３の画素を最下行から最上行への方向に行毎に順次選択して各画素の信号を読み出す制御に切り替える。この場合、撮像制御部４ｂは、時間的に早く高輝度領域の画素から信号を読み出すように、実行する信号の読み出し制御を決定する。また、撮像制御部４ｂは、第２の読み出し処理を行う場合、高輝度領域の位置に基づき、高輝度領域の画素の信号を他の低輝度領域の画素の信号よりも先に読み出す制御を行う。なお、撮像制御部４ｂは、撮像範囲に高輝度領域が無い場合、第１の読み出し処理を行うようにしてよい。

このように、本実施の形態に係るカメラ１では、領域情報に基づいて撮像素子３の各画素からの信号の読み出し方法が制御される。電荷の混入が生じ易い高輝度領域の位置および移動方向を考慮して、各画素から信号を読み出す順序を変更することができる。このため、全画素で同時に蓄積部１３に電荷が転送されてから高輝度領域の画素からの信号の読み出しが行われるまでの時間を短縮し、画素の信号にノイズが混入することを抑制することができる。撮像素子のＰＬＳ特性によらずに画像にスジ状のパターンが生じることを抑制することができ、画像の画質が低下することを抑制することが可能となる。

また、本実施の形態では、検出部４ａは、記録用の画像データを取得する撮像動作（以下、本撮像と称する）の前に、ライブビュー画像用の画像データを取得する撮像動作（以下、予備撮像と称する）により得られた画素の信号を用いて高輝度領域の検出を行う。撮像素子３は、撮像制御部４ｂにより予備撮像が指示されると、全画素１０のうちの一部の画素を選択して、一部の画素から信号を読み出す制御を行う。検出部４ａは、予備撮像によって撮像素子３から繰り返し出力される各画素の信号を用いて、高輝度領域の位置および高輝度領域の移動方向等を算出して領域情報を生成する。撮像制御部４ｂは、領域情報が表す高輝度領域の位置及び移動方向に基づいて定められた順に、各画素から信号が出力されるように撮像素子３を制御する。

このように、本実施の形態に係るカメラ１は、予備撮像を行って検出される高輝度領域に応じて各画素からの信号の読み出し順を変更する。このため、本撮像の直前の予備撮像によって検出される高輝度領域を考慮して、画素の信号の読み出し順を調整することができる。これにより、画素の信号へのノイズの混入を抑制し、画像の品質が低下することを効果的に防ぐことが可能となる。

図４は、実施の形態に係る撮像装置による第１の読み出し処理の一例を説明するための図である。図４（ａ）において、縦軸は、画素行を示し、横軸は、各画素行のリセット動作、転送動作、及び読み出し動作が行われるタイミング（時刻ｔ）を示す。図４（ａ）では、リセット動作、転送動作、及び読み出し動作が行われる画素行の遷移を模式的に示している。

図４（ｂ）は、撮像素子３の画素領域１００に形成される被写体像を模式的に示している。図４（ｂ）に示す例では、高輝度領域は、高輝度被写体の移動に伴い、画素領域１００の中心よりも下側（紙面下方向）の領域において左方向に移動し、実線７０ａで示す状態から点線７０ｂで示す状態に変化する。実線で示す高輝度領域７０ａは、電荷蓄積期間における高輝度領域を示している。点線で示す高輝度領域７０ｂは、左方向に移動後の高輝度領域であり、電荷蓄積期間において高輝度領域７０ａ内に位置した画素を含む画素行から信号読み出しが行われるときの高輝度領域を示している。

図４（ａ）に示す時刻ｔ１から時刻ｔ２までの予備撮像の期間において、撮像制御部４ｂは、ローリングシャッタ方式の蓄積および読み出し処理によって、撮像素子３に繰り返し被写体像を撮像させ、画素の信号を出力させる。図４（ａ）に示す例では、撮像素子３の読み出し制御部４０は、全画素１０のうちの特定の行や列の画素を間引いて一部の画素を選択し、読み出し対象となる一部の画素を最上行から最下行に向かって順次選択して、各画素の信号を読み出す。予備撮像の場合に読み出し動作が行われる画素行の総数が、予備撮像の後の本撮像の場合に読み出し動作が行われる画素行の総数よりも少なく、本撮像の場合よりも予備撮像の場合の方が、走査に要する時間が短くなっている。

画像データ生成部４ｃは、予備撮像によって撮像素子３から繰り返し出力される画素の信号を用いて、ライブビュー画像用の画像データを生成する。表示部６は、生成した画像データに基づいて、ライブビュー画像を表示する。

検出部４ａは、予備撮像の期間における複数回の撮像により得られた各画素の信号を用いて演算を行うことによって、高輝度領域の有無と高輝度領域の位置及び移動方向等を検出する。図４（ａ）、（ｂ）の場合、検出部４ａは、画素領域１００の中心よりも下側の領域において左方向に移動する高輝度領域を検出し、検出した高輝度領域の位置及び移動方向を示す領域情報を生成する。このように、制御部４は、間引き読み出しを行ってライブビュー画像の生成および高輝度領域の検出に用いる信号を効率的に得ることができ、高輝度領域の検出に要する時間を短縮することができる。また、予備撮像の場合の電荷蓄積期間（露光期間）は、本撮像の場合の電荷蓄積期間よりも短くなっている。検出部４ａは、本撮像の場合よりも短い電荷蓄積期間の間に光電変換された電荷量に応じた信号を用いて、高輝度領域の検出を行う。このため、光電変換部の電荷が飽和することを防ぎ、精度良く高輝度領域の検出を行うことができる。

時刻ｔ３から時刻ｔ５までの本撮像の期間において、撮像制御部４ｂは、撮像素子３を制御してグローバルシャッタ方式の蓄積および読み出し処理を行う。時刻ｔ３から時刻ｔ４までの期間は、全画素で同じタイミングでリセット動作が行われてから全画素で同じタイミングで光電変換部１１から蓄積部１３への電荷の転送動作が行われるまでの期間である。時刻ｔ３から時刻ｔ４までの期間は、蓄積動作が行われる電荷蓄積期間（露光期間）となる。

撮像制御部４ｂは、領域情報に基づき高輝度領域が画素領域１００の下半分の領域に位置することを把握すると、第１の読み出し処理において読み出し動作を最下行の画素から上方向に走査して行うことを決定する。読み出し制御部４０は、第１の読み出し処理が指示されると、時刻ｔ４から時刻ｔ５までの期間において、画素領域１００の最下行（図２では第１２行目）の画素から最上行（図２では第１行目）の画素まで順に選択し、画素の信号の読み出しを行う。これにより、全画素のうち、電荷の混入が生じ易い高輝度領域の画素を含む画素行からの信号の読み出し動作が比較的早く行われる。このため、全画素で同時に転送動作が行われてから高輝度領域の画素からの信号の読み出しが行われるまでの期間（図４（ａ）に示す期間Δｔ）を短縮し、画素の信号にノイズ成分が混入することを抑制することができる。

図４（ｃ）、（ｄ）は、図４（ａ）、（ｂ）に対する比較例であり、仮に、読み出し動作を最上行の画素から下方向に走査して行う場合を示している。図４（ｃ）に示す比較例の場合、図４（ａ）の場合と比較して、高輝度領域の画素の読み出し動作が行われるタイミングは遅くなり、上述した期間Δｔは長くなる。また、図４（ｄ）に示す高輝度領域７０ｃは、電荷蓄積期間において高輝度領域７０ａ内に位置した画素を含む画素行の読み出し動作を行うときの高輝度領域を示し、高輝度領域７０ｂよりも更に左に位置することになる。このため、比較例では、高輝度領域７０ａ外の多数の画素にも高輝度被写体からの光が入射してしまい、画素の信号へのノイズの混入が生じることになる。この場合、図４（ｄ）にハッチングで模式的に表したように、画素の信号を用いて生成される画像にスジ状のパターンが生じてしまう。

一方、本実施の形態に係る制御部４は、高輝度領域に関する領域情報に応じて撮像素子３を制御することにより、時間的に早く高輝度領域の画素から信号を読み出す。これにより、高輝度被写体からの光に起因して電荷の混入が生じることを抑制し、画素の信号にノイズが混入することを抑制できる。このため、画素の信号を用いて生成される画像に、スジ状のパターンが生じることを防ぐことができる。

図５は、実施の形態に係る撮像装置による第１の読み出し処理の別の例を説明するための図である。図５（ｂ）では、移動する被写体が、高輝度の光源の前を、実線８０ａで示す位置から点線８０ｂで示す位置に横切る場合を示している。高輝度光源による高輝度領域７５は、画素領域１００の中心よりも下側の領域に位置する。実線で示す領域８０ａは、電荷蓄積期間における移動被写体の像の領域を示し、点線で示す領域８０ｂは、左方向に移動後の移動被写体像の領域を示している。

図５（ａ）に示す時刻ｔ１から時刻ｔ２までの期間では、撮像制御部４ｂは、図４（ａ）の場合と同様に予備撮像を行う。検出部４ａは、撮像素子３から出力される信号を用いて高輝度領域を検出し、高輝度領域に関する領域情報を生成する。撮像制御部４ｂは、領域情報によって高輝度領域７５の位置を把握し、第１の読み出し処理において読み出し動作を最下行の画素から上方向に走査して行うことを決定する。読み出し制御部４０は、第１の読み出し処理が指示されると、時刻ｔ４から時刻ｔ５までの期間において、画素領域１００の最下行の画素から最上行の画素まで順に選択し、画素の信号の読み出しを行う。

図５（ｃ）、（ｄ）は、図５（ａ）、（ｂ）に対する比較例であり、仮に、読み出し動作を最上行の画素から下方向に走査して行う場合を示している。図５（ｃ）に示す比較例の場合、図５（ａ）の場合と比較して、全画素で同時に転送動作が行われてから高輝度領域７５内の画素を含む画素行からの信号の読み出しが行われるまでの期間Δｔは長くなる。また、領域８０ａ内に位置した画素を含む画素行の読み出し動作を行う際は、高輝度光源を隠していた移動被写体の移動によって、移動被写体像が点線８０ｂよりも更に左に位置する点線８０ｃで示す状態となり、高輝度領域７５が現れる。このため、比較例では、領域８０ａ内の画素に高輝度光源からの光が入射してしまい、画素の信号へのノイズの混入が生じることになる。この場合、図５（ｄ）にハッチングで模式的に表したように、画素の信号を用いて生成される画像のうち高輝度領域７５に対応する画像領域において、移動被写体像が透けたように高輝度光源の像が写ってしまう。

一方、本実施の形態では、制御部４は、高輝度領域に関する領域情報に応じて信号読み出しの順番を制御し、高輝度領域に位置する画素から時間的に早く信号を読み出す。このため、画素の信号にノイズが混入することを抑制でき、画像において高輝度光源が透けて見えることを生じることを防ぐことができる。

図６は、実施の形態に係る撮像装置による第１の読み出し処理の別の例を説明するための図である。図６（ａ）、（ｂ）は、高輝度領域が、画素領域１００の中心よりも上側の領域において左方向に移動し、実線７０ａで示す状態から点線７０ｂで示す状態に変化する場合の例を示している。図６（ａ）、（ｂ）の場合、制御部４は、領域情報が示す高輝度領域の位置に基づき、第１の読み出し処理において読み出し動作を最上行から下方向に走査して行うことを決定する。撮像素子３は、画素領域１００の最上行の画素から最上行の画素まで順に選択し、画素の信号の読み出しを行う。

図６（ｃ）、（ｄ）は、高輝度領域が、画素領域１００の中心よりも上側の領域において上方向に移動し、実線７０ａで示す状態から点線７０ｂで示す状態に変化する場合の例を示している。図６（ｃ）、（ｄ）の場合も、制御部４は、領域情報が示す高輝度領域の位置に基づき、第１の読み出し処理において読み出し動作が最上行から下方向に向かって順に行われるように撮像素子３を制御する。

図６（ｅ）、（ｆ）は、高輝度領域が、画素領域１００の中心よりも下側の領域において下方向に移動し、実線７０ａで示す状態から点線７０ｂで示す状態に変化する場合の例を示している。図６（ｅ）、（ｆ）の場合、制御部４は、高輝度領域の位置に基づき、第１の読み出し処理において読み出し動作を最下行から上方向に走査して行うことを決定する。撮像素子３は、画素領域１００の最下行の画素から最上行の画素まで順に選択し、画素の信号の読み出しを行う。

図７は、実施の形態に係る撮像装置による第２の読み出し処理の一例を説明するための図である。図７（ａ）、（ｂ）は、高輝度領域が、画素領域１００の中央の領域において左方向に移動し、実線７０ａで示す状態から点線７０ｂで示す状態に変化する場合の例を示している。撮像制御部４ｂは、検出部４ａにより生成される領域情報に基づき、高輝度領域が画素領域１００の中央の領域に位置することを把握する。

撮像制御部４ｂは、第２の読み出し処理において、全画素のうち、高輝度領域を含む中央領域９２の画素行の画素から先に信号を読み出した後に、残りの画素を順に選択して信号を読み出すことを決定する。第２の読み出し処理が指示されると、読み出し制御部４０は、時刻ｔ４から時刻ｔ５までの期間において、中央領域９２の画素行を最上行から最下行に向かって順に選択し、画素の信号の読み出しを行う。時刻ｔ５から時刻ｔ６までの期間において、読み出し制御部４０は、中央領域９２よりも上に位置する領域（上領域）９１の画素行を最上行から最下行に向かって順に選択し、画素の信号の読み出しを行う。時刻ｔ６から時刻ｔ７までの期間では、読み出し制御部４０は、中央領域よりも下に位置する領域（下領域）９３の画素行を最上行から最下行に向かって順に選択し、画素の信号の読み出しを行う。

なお、撮像制御部４ｂは、図７（ｃ）、（ｄ）に示す例のように、第２の読み出し処理において、高輝度領域を含む中央領域９２の画素行、下領域９３の画素行、上領域９１の画素行の順に、読み出し動作を行うように決定してもよい。この場合、時刻ｔ４から時刻ｔ５までの期間において、読み出し制御部４０は、中央領域９２内の画素行を最上行から最下行に向かって順に選択し、画素の信号の読み出しを行う。時刻ｔ５から時刻ｔ６までの期間において、読み出し制御部４０は、下領域９３内の画素行を最上行から最下行に向かって順に選択し、画素の信号の読み出しを行う。時刻ｔ６から時刻ｔ７までの期間では、読み出し制御部４０は、上領域９１内の画素行を最上行から最下行に向かって順に選択し、画素の信号の読み出しを行う。

このように、第２の読み出し処理では、全画素のうち、電荷の混入が生じ易い高輝度領域の画素を含む画素行の読み出し動作が、他の領域の画素行の読み出し動作よりも先に行われる。このため、全画素で同時に転送動作が行われてから高輝度領域の画素からの信号の読み出しが行われるまでの期間Δｔを短縮し、画素の信号にノイズが混入することを抑制することができる。

図８は、実施の形態に係る撮像装置による第２の読み出し処理の別の例を説明するための図である。図８（ａ）、（ｂ）は、高輝度領域が、画素領域１００の中央領域において上方向に移動し、実線７０ａで示す状態から点線７０ｂで示す状態に変化する場合の例を示している。撮像制御部４ｂは、領域情報によって高輝度領域の位置と高輝度領域の移動方向とを把握し、高輝度領域の位置及び移動方向に基づいて第２の読み出し処理における読み出し動作の走査方向を設定する。図８（ａ）、（ｂ）の場合、撮像制御部４ｂは、中央領域９２の最下行から上領域９１の最上行に向かって順に読み出し動作を行った後に、下領域９３の最上行から下領域９３の最下行に向かって順に読み出し動作を行うことを決定する。

読み出し制御部４０は、第２の読み出し処理が指示されると、時刻ｔ４から時刻ｔ５までの期間において、中央領域９２の画素行を最下行から最上行に向かって順に選択し、画素の信号の読み出しを行う。時刻ｔ５から時刻ｔ６までの期間において、読み出し制御部４０は、上領域９１の画素行を最下行から最上行に向かって順に選択し、画素の信号の読み出しを行う。時刻ｔ６から時刻ｔ７までの期間では、読み出し制御部４０は、下領域９３の画素行を最上行から最下行に向かって順に選択し、画素の信号の読み出しを行う。

図８（ｃ）、（ｄ）は、図８（ａ）、（ｂ）に対する比較例であり、高輝度領域の進行方向を考慮せずに読み出し動作を行う場合の一例を示している。この場合、図８（ｄ）に示す領域９５の画素行の信号読み出しが行われた後に、領域９４の画素行の信号読み出しが行われる。図８（ｃ）、（ｄ）に示す比較例の場合、図８（ａ）の場合と比較して、全画素で同時に転送動作が行われてから高輝度領域の移動先となる領域９４の画素行の読み出し動作が開始されるまでの期間は長くなる。領域９４の画素行の読み出し動作を行う際は、高輝度被写体の移動によって、被写体像が点線７０ｂよりも更に左上に位置する点線７０ｃで示す状態となる。このため、比較例では、多数の画素に高輝度被写体からの光が入射してしまい、画素の信号へのノイズの混入が生じてしまう。この場合、図８（ｄ）にハッチングで模式的に表したように、途中で途切れたような不自然なスジ状のパターンが画像に生じることになる。

一方、本実施の形態では、制御部４は、高輝度領域の移動方向を考慮して信号読み出しの順番を制御し、高輝度領域の移動先となる領域の画素から比較的早く信号を読み出す。これにより、画像においてスジ状のパターンが生じることを防ぐことができる。また、高輝度光源の前を横切る移動被写体が撮像範囲に含まれる場合についても、制御部４は、高輝度領域の位置及び移動被写体の移動方向を考慮して第２の読み出し処理を行うことにより、画像において高輝度光源が透けて見えることを防ぐことができる。

なお、図８（ｅ）、（ｆ）に示す例のように、撮像制御部４ｂは、撮像素子３を制御して、高輝度領域を含む中央領域９２の画素行の読み出し動作を行った後に、上領域９１の最上行から下領域９３の最下行まで順に読み出し動作を行うようにしてもよい。図８（ｅ）の場合、上領域９１と下領域９３とで同じ方向に走査しながら画素の信号の読み出しが行われる。このため、図８（ａ）の場合と比較して、画像データ生成部４ｃによる画像処理の際に画素の信号の並べかえに要する時間を短縮することができ、制御部４における信号処理の負担を軽減することができる。

図９は、実施の形態に係る撮像装置による第２の読み出し処理の別の例を説明するための図である。図９（ａ）、（ｂ）は、高輝度領域が、画素領域１００の中央領域において下方向に移動し、実線７０ａで示す状態から点線７０ｂで示す状態に変化する場合の例を示している。図９（ａ）、（ｂ）の場合、制御部４は、領域情報が示す高輝度領域の位置及び移動方向に基づき、第２の読み出し処理において読み出し動作を中央領域９２の最上行から下領域９３の最下行に走査して行った後に、読み出し動作を上領域９１の最上行から最下行に走査して行うことを決定する。撮像素子３は、定められた読み出し順序に従って、画素領域１００の画素行を順に選択し、画素の信号の読み出しを行う。

図９（ｃ）、（ｄ）は、高輝度領域が、画素領域１００の中央領域において上方向に移動し、実線７０ａで示す状態から点線７０ｂで示す状態に変化する場合の例を示している。図９（ｃ）、（ｄ）の場合、制御部４は、領域情報が示す高輝度領域の位置及び移動方向に基づいて撮像素子３を制御し、第２の読み出し処理において読み出し動作を中央領域９２の最下行から上領域９１の最上行に走査して行った後に、読み出し動作を下領域９３の最下行から最上行に走査して行う。

上述した実施の形態によれば、次の作用効果が得られる。
（１）撮像装置（カメラ１）は、光電変換により電荷を生成する光電変換部１１と光電変換部１１で生成された電荷を蓄積する蓄積部１３とを有する画素１０が、第１方向と第１方向とは異なる第２方向に複数設けられる領域（画素領域１００）を有する撮像部（撮像素子３）と、第１方向及び第２方向に設けられる複数の画素１０それぞれにおいて共に光電変換部１１で生成された電荷を蓄積部１３に転送させ、領域（画素領域１００）のうちの高輝度領域の位置に基づいて定められた順に複数の画素１０から蓄積部１３に蓄積された電荷に基づく信号を出力させる第１制御を行う制御部と、を備える。本実施の形態では、制御部４は、撮像素子３を制御し、高輝度領域の位置に基づいて定められた順に各画素から信号を出力させる。このため、制御部４は、高輝度領域を考慮して各画素から信号を読み出す順序を調整し、画素の信号にノイズが混入することを抑制することができる。これにより、画質の低下を抑制することができる。

（２）本実施の形態では、制御部４は、撮像素子３を制御して、移動する高輝度領域の位置及び移動方向に基づいて定められた順に、複数の画素から信号を出力させる。このため、制御部４は、高輝度領域の移動方向を考慮して各画素から信号を読み出す順序を調整することができ、画素の信号にノイズが混入することを抑制することができる。これにより、画質の低下を抑制することができる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
上述した実施の形態では、撮像素子３から出力される信号を用いて高輝度領域の検出を行う例について説明した。検出部４ａは、撮像素子３とは別のセンサ（例えば、自動焦点調節（ＡＦ）に必要な処理を行うセンサ、露光量決定用のセンサなど）からの信号を用いて、高輝度領域の検出を行うようにしてもよい。

（変形例２）
上述した実施の形態では、ライブビュー画像用の画像データを取得する予備撮像により得られた画素の信号を用いて高輝度領域の検出を行う例について説明した。検出部４ａは、フリッカー検出用の画像データを取得する予備撮像により得られた画素の信号を用いて高輝度領域の検出を行うようにしてもよい。フリッカー検出用の予備撮像では、ライブビュー画像用の予備撮像の場合よりも多くの行や列の画素を間引いて読み出し処理を行うことにより、高輝度領域の検出に要する時間を短縮することが可能となる。

（変形例３）
撮像制御部４ｂは、高輝度領域が検出された場合、第１の読み出し処理または第２の読み出し処理において、上述した間引き読み出しを行うようにしてもよいし、複数の画素の信号を加算して読み出すようにしても良い。また、撮像素子３が１つの画素列あたり２つの垂直信号線を有し、２行分の画素の信号の読み出しを同時に（並列に）行うようにしてもよい。読み出し動作が行われる期間を短縮することができ、上述したスジ状のパターンおよび画像の透けが生じることを効果的に回避することができる。

（変形例４）
上述した実施の形態では、予備撮像の際にローリングシャッタ方式の蓄積および読み出し処理を行う例について説明した。しかし、予備撮像の際にグローバルシャッタ方式の蓄積および読み出し処理を行うようにしてもよい。

（変形例５）
上述した実施の形態では、全画素のうちの一部の画素から信号を読み出して高輝度領域の検出を行う例について説明したが、全画素から信号を読み出して高輝度領域の検出を行うようにしてもよい。
グローバルシャッタ方式の動画撮像において、複数回の撮像により移動する高輝度領域を検出した場合、動画撮像中に高輝度領域の位置に合わせて画素行の走査方法を変えてもよい。

（変形例６）
上述した実施の形態および変形例では、光電変換部としてフォトダイオードを用いる例について説明した。しかし、光電変換部として光電変換膜（有機光電膜）を用いるようにしてもよい。

（変形例７）
画素１０に設けられるカラーフィルタは、原色系（ＲＧＢ）のカラーフィルタに限らず、例えば白（Ｗ）、補色系のシアン（Ｃｙ）、イエロー（Ｙｅ）、マゼンダ（Ｍｇ）のカラーフィルタでも構わない。配列もベイヤー配列に限らず、例えばＷ（白）を含む配列でも構わない。

（変形例８）
上述の実施の形態及び変形例で説明した撮像素子及び撮像装置は、カメラ、スマートフォン、タブレット、ＰＣに内蔵のカメラ、車載カメラ、無人航空機（ドローン、ラジコン機等）に搭載されるカメラ等に適用されてもよい。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１…撮像装置、３…撮像素子、４…制御部、４ａ…検出部、４ｂ…撮像制御部、４ｃ…画像データ生成部、１０…画素、１１…光電変換部、１３…蓄積部、１５…ＦＤ、４０…読み出し制御部、１００…画素領域

Claims (8)

1. 光電変換により電荷を生成する光電変換部と前記光電変換部で生成された電荷を蓄積する蓄積部とを有する画素が、第１方向と前記第１方向とは異なる第２方向に複数設けられる領域を有する撮像部と、
   前記第１方向及び前記第２方向に設けられる複数の画素それぞれにおいて共に前記光電変換部で生成された電荷を前記蓄積部に転送させ、前記領域のうちの高輝度領域の位置に基づいて定められた順に前記複数の画素から前記蓄積部に蓄積された電荷に基づく信号を出力させる第１制御を行う制御部と、
   を備える撮像装置。
2. 請求項１に記載の撮像装置において、
   前記撮像部から出力される前記信号に基づいて前記高輝度領域を検出する検出部を有し、
   前記制御部は、検出される前記高輝度領域の位置に基づいて、前記複数の画素からの前記信号の出力を制御する撮像装置。
3. 請求項２に記載の撮像装置において、
   前記制御部は、前記第１制御の前に、前記第１方向及び前記第２方向に設けられる複数の画素のうちの一部または全部の画素から前記信号を繰り返し出力させる第２制御を行い、
   前記検出部は、前記第２制御によって前記撮像部から出力される前記信号に基づいて前記高輝度領域を検出する撮像装置。
4. 請求項２または請求項３に記載の撮像装置において、
   前記検出部は、移動する前記高輝度領域を検出し、
   前記制御部は、移動する前記高輝度領域の位置に基づいて定められた順に、前記複数の画素から前記信号を出力させる撮像装置。
5. 請求項２から請求項４までのいずれか一項に記載の撮像装置において、
   前記制御部は、移動する前記高輝度領域の位置及び移動方向に基づいて定められた順に、前記複数の画素から前記信号を出力させる撮像装置。
6. 請求項１から請求項５までのいずれか一項に記載の撮像装置において、
   前記制御部は、前記第１制御において、前記第１方向に設けられた複数の前記画素ごとに前記信号を出力させる撮像装置。
7. 請求項１から請求項６までのいずれか一項に記載の撮像装置において、
   前記制御部は、前記高輝度領域の位置に基づいて、前記信号の読み出しを前記第１方向に設けられた複数の前記画素ごとに前記第２方向に順次行う制御と、前記信号の読み出しを前記第１方向に設けられた複数の前記画素ごとに前記第２方向とは反対の第３方向に順次行う制御とを切り替える撮像装置。
8. 請求項１から請求項７までのいずれか一項に記載の撮像装置において、
   前記制御部は、前記領域のうちの前記高輝度領域の画素の前記信号を、前記領域のうちの低輝度領域の画素の前記信号よりも先に出力させる撮像装置。

Images