JP2019186910A5

JP2019186910A5 - 撮像装置及びその制御方法

Info

Publication number: JP2019186910A5
Application number: JP2019021825A
Authority: JP
Filing date: 2019-02-08
Publication date: 2022-02-17
Anticipated expiration: 2039-02-08

Description

本発明は撮像装置及びその制御方法に関する。

上記目的を達成するために、本発明の撮像装置は、行列状に配置された複数のマイクロレンズと各マイクロレンズに対して構成された複数の光電変換部とを有する画素領域と、前記画素領域から出力される信号を少なくとも第１のゲインを含む複数の異なるゲインを用いて増幅可能な増幅手段と、前記複数の光電変換部の一部の信号である部分信号と、前記複数の光電変換部の信号を加算した加算信号とを読み出すように、前記画素領域を走査することが可能な走査手段と、を有する撮像素子と、前記撮像素子を制御する制御手段と、前記複数の異なるゲインを用いて増幅された前記加算信号を用いて、ダイナミックレンジを拡大する処理手段と、前記部分信号と前記加算信号とを用いて、位相差方式の焦点検出を行う焦点検出手段と、を有し、前記制御手段は、前記処理手段によりダイナミックレンジを拡大し、かつ、複数の異なるゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段による位相差方式の焦点検出を行う第１のモードが設定されている場合に、前記複数の異なるゲインを用いて前記部分信号および前記加算信号を増幅するように前記増幅手段を制御し、前記処理手段によりダイナミックレンジの拡大を行わず、かつ、前記第１のゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段による位相差方式の焦点検出を行う第２のモードが設定されている場合に、前記第１のゲインを用いて前記部分信号および前記加算信号を増幅するように前記増幅手段を制御し、前記処理手段によりダイナミックレンジを拡大し、かつ、前記焦点検出手段による位相差方式の焦点検出を行わない第３のモードが設定されている場合に、前記画素領域から、前記部分信号を読み出さないように前記走査手段を制御すると共に、前記複数の異なるゲインを用いて前記加算信号を増幅するように前記増幅手段を制御し、前記処理手段によりダイナミックレンジを拡大し、かつ、前記第１のゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段による位相差方式の焦点検出を行う第４のモードが設定されている場合に、前記第１のゲインを用いて前記部分信号を増幅し、前記複数の異なるゲインを用いて前記加算信号を増幅するように前記増幅手段を制御する。

また、上記以外にも被写体によってモードを変えてもよい。例えば図７（ａ）のダイナミックレンジ拡大用のモードであっても、撮影する被写体に高輝度被写体がなければ位相差検出用のモード（図６（ｂ））に変更し、静止画を取りつつ位相差検出を行ってもよい。

撮像素子４００は、図１で説明した撮像素子であり、撮像素子４００から出力された低ゲインＡ信号、高ゲインＡ信号、低ゲインＡ＋Ｂ信号、高ゲインＡ＋Ｂ信号は、分配器４０１に入力される。分配器４０１は、画像として使用する信号（低ゲインＡ＋Ｂ信号、高ゲインＡ＋Ｂ信号）と、位相差検出に使用する信号（低ゲインＡ信号、低ゲインＡ＋Ｂ信号、高ゲインＡ信号、高ゲインＡ＋Ｂ信号）とを分けて出力する。

高輝度部の位相差検出も必要な場合はＳ１０３に進む。そして、Ｓ１０３において高ゲインＡ信号、Ｓ１０４において高ゲインＡ＋Ｂ信号、Ｓ１０５において低ゲインＡ信号、Ｓ１０６において低ゲインＡ＋Ｂ信号をそれぞれ読み出す。そして、Ｓ１２４において、すべての行からの読み出しが終了したかどうかを判定し、終了していなければ、Ｓ１０３に戻って、読み出しを続行する。これは、図６（ａ）に示す読み出し順に相当する。

最後に、図１２（ｄ）は、Ｂ信号生成部４０８に入力される画像信号を示す図である。位相差検出処理にダイナミックレンジ拡大用の信号は必要ないため、高ゲインＡ信号が読み出されていないラインのダイナミックレンジ拡大用の画像信号である低ゲインＡ＋Ｂ信号及び高ゲインＡ＋Ｂ信号は、分配器４０１で間引かれて出力される。

一方、高ゲインＡ信号を選択しない場合、Ｓ３０３からＳ４０８に進み、Ｓ４０８において、被写体の動き量が所定値Ｔｈ３以上であるかどうかを判断する。所定値Ｔｈ３以上であれば、Ｓ３０５に進んで上下の画素の低ゲインＡ＋Ｂ信号から補間した上下補間データを選択する。Ｓ３０６で、画素補間処理部８０２は上下補間データの生成を行い、Ｓ４１０において、画像合成部４０２は、低ゲインＡ＋Ｂ信号を用いてダイナミックレンジ拡大の処理を行う。

＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、スキャナ、ビデオカメラなど）から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。

Claims

行列状に配置された複数のマイクロレンズと各マイクロレンズに対して構成された複数の光電変換部とを有する画素領域と、前記画素領域から出力される信号を少なくとも第１のゲインを含む複数の異なるゲインを用いて増幅可能な増幅手段と、前記複数の光電変換部の一部の信号である部分信号と、前記複数の光電変換部の信号を加算した加算信号とを読み出すように、前記画素領域を走査することが可能な走査手段と、を有する撮像素子と、
前記撮像素子を制御する制御手段と、
前記複数の異なるゲインを用いて増幅された前記加算信号を用いて、ダイナミックレンジを拡大する処理手段と、
前記部分信号と前記加算信号とを用いて、位相差方式の焦点検出を行う焦点検出手段と、を有し、
前記制御手段は、
前記処理手段によりダイナミックレンジを拡大し、かつ、複数の異なるゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段による位相差方式の焦点検出を行う第１のモードが設定されている場合に、前記複数の異なるゲインを用いて前記部分信号および前記加算信号を増幅するように前記増幅手段を制御し、
前記処理手段によりダイナミックレンジの拡大を行わず、かつ、前記第１のゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段による位相差方式の焦点検出を行う第２のモードが設定されている場合に、前記第１のゲインを用いて前記部分信号および前記加算信号を増幅するように前記増幅手段を制御し、
前記処理手段によりダイナミックレンジを拡大し、かつ、前記焦点検出手段による位相差方式の焦点検出を行わない第３のモードが設定されている場合に、前記画素領域から、前記部分信号を読み出さないように前記走査手段を制御すると共に、前記複数の異なるゲインを用いて前記加算信号を増幅するように前記増幅手段を制御し、
前記処理手段によりダイナミックレンジを拡大し、かつ、前記第１のゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段による位相差方式の焦点検出を行う第４のモードが設定されている場合に、前記第１のゲインを用いて前記部分信号を増幅し、前記複数の異なるゲインを用いて前記加算信号を増幅するように前記増幅手段を制御する
ことを特徴とする撮像装置。
前記第４のモードにおいて、前記制御手段は、
前記画素領域から、前記加算信号および前記部分信号を読み出す第１の行と、前記加算信号を読み出す第２の行とが交互になるように前記走査手段を制御すると共に、
前記第１のゲインを用いて前記第１の行から読み出した前記加算信号および前記部分信号を増幅し、前記複数の異なるゲインを用いて前記第２の行から読み出した前記加算信号を増幅するように前記増幅手段を制御する
ことを特徴とする請求項１に記載の撮像装置。
前記第１の行それぞれについて、隣接する前記第２の行から読み出され、前記第１のゲインを除くゲインを用いて増幅された前記加算信号を用いて、前記第１の行を補間する補間手段を更に有し、
前記処理手段は、前記第１の行から読み出され、前記第１のゲインを用いて増幅された前記加算信号と、前記補間手段により補間された信号とを用いて、前記第１の行のダイナミックレンジを拡大することを特徴とする請求項２に記載の撮像装置。
前記第１の行から読み出され、前記第１のゲインを用いて増幅された前記部分信号の輝度レベルが予め決められた閾値以下であって、且つ、前記焦点検出手段により検出された焦点状態が予め決められた焦点状態よりも合焦状態に近い場合には、前記処理手段は、前記第１の行から読み出され、前記第１のゲインを用いて増幅された前記加算信号と前記部分信号とを用いて、前記第１の行のダイナミックレンジを拡大することを特徴とする請求項３に記載の撮像装置。
被写体の動きを検出する動き検出手段を更に有し、
前記被写体の動きが予め決められた閾値以下である場合に、前記制御手段は、
前記画素領域から、前記加算信号および前記部分信号を読み出すように前記走査手段を制御すると共に、前記第１のゲインを用いて前記加算信号および前記部分信号を増幅するように前記増幅手段を制御する第１のフレームと、
前記画素領域から、前記加算信号を読み出すように前記走査手段を制御すると共に、前記複数の異なるゲインを用いて前記加算信号を増幅するように前記増幅手段を制御する第２のフレームと、
が交互になるようにし、
前記補間手段は、前記第１のフレームに隣接する前記第２のフレームで、前記第１のゲインを除くゲインで増幅した前記加算信号を用いて前記第１のフレームを補間し、
前記処理手段は、前記第１のゲインを用いて増幅した前記第１のフレームの前記加算信号と、前記補間手段により補間された信号とを用いて、前記第１のフレームのダイナミックレンジを拡大することを特徴とする請求項３または４に記載の撮像装置。
行列状に配置された複数のマイクロレンズと各マイクロレンズに対して構成された複数の光電変換部とを有する画素領域と、前記画素領域から出力される信号を少なくとも第１のゲインを含む複数の異なるゲインを用いて増幅可能な増幅手段と、前記複数の光電変換部の一部の信号である部分信号と、前記複数の光電変換部の信号を加算した加算信号とを読み出すように、前記画素領域を走査することが可能な走査手段と、を有する撮像素子を有する撮像装置の制御方法であって、
制御手段が、前記撮像素子を制御する制御工程と、
処理手段が、前記複数の異なるゲインを用いて増幅された前記加算信号を用いて、ダイナミックレンジを拡大するダイナミックレンジ拡大工程と、
焦点検出手段が、前記部分信号と前記加算信号とを用いて、位相差方式の焦点検出を行う焦点検出工程と、を有し、
前記制御工程では、
前記処理手段によりダイナミックレンジを拡大し、かつ、複数の異なるゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段による位相差方式の焦点検出を行う第１のモードが設定されている場合に、前記複数の異なるゲインを用いて前記部分信号および前記加算信号を増幅するように前記増幅手段を制御し、
前記処理手段によりダイナミックレンジの拡大を行わず、かつ、前記第１のゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段による位相差方式の焦点検出を行う第２のモードが設定されている場合に、前記第１のゲインを用いて前記部分信号および前記加算信号を増幅するように前記増幅手段を制御し、
前記処理手段によりダイナミックレンジを拡大し、かつ、前記焦点検出手段による位相差方式の焦点検出を行わない第３のモードが設定されている場合に、前記画素領域から、前記部分信号を読み出さないように前記走査手段を制御すると共に、前記複数の異なるゲインを用いて前記加算信号を増幅するように前記増幅手段を制御し、
前記処理手段によりダイナミックレンジを拡大し、かつ、前記第１のゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段による位相差方式の焦点検出を行う第４のモードが設定されている場合に、前記第１のゲインを用いて前記部分信号を増幅し、前記複数の異なるゲインを用いて前記加算信号を増幅するように前記増幅手段を制御する
ことを特徴とする制御方法。
行列状に配置された複数のマイクロレンズと各マイクロレンズに対して構成された複数の光電変換部とを有する画素領域と、前記画素領域から出力される信号を少なくとも第１のゲインを含む複数の異なるゲインを用いて増幅可能な増幅手段と、前記複数の光電変換部の一部の信号である部分信号と、前記複数の光電変換部の信号を加算した加算信号とを読み出すように、前記画素領域を走査する走査手段と、を有する撮像素子と、
前記撮像素子を制御する制御手段と、
前記複数の異なるゲインを用いて増幅された前記加算信号を用いて、ダイナミックレンジを拡大する処理手段と、
前記部分信号と前記加算信号とを用いて、位相差方式の焦点検出を行う焦点検出手段と、を有し、
前記制御手段は、
前記処理手段によりダイナミックレンジを拡大し、かつ、複数の異なるゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段による位相差方式の焦点検出を行う第１のモードが設定されている場合に、前記複数の異なるゲインを用いて前記部分信号および前記加算信号を増幅するように前記増幅手段を制御し、
前記処理手段によりダイナミックレンジの拡大を行わず、かつ、前記第１のゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段による位相差方式の焦点検出を行う第２のモードが設定されている場合に、前記第１のゲインを用いて前記部分信号および前記加算信号を増幅するように前記増幅手段を制御する
ことを特徴とする撮像装置。
行列状に配置された複数のマイクロレンズと各マイクロレンズに対して構成された複数の光電変換部とを有する画素領域と、前記画素領域から出力される信号を少なくとも第１のゲインを含む複数の異なるゲインを用いて増幅可能な増幅手段と、前記複数の光電変換部の一部の信号である部分信号と、前記複数の光電変換部の信号を加算した加算信号とを読み出すように、前記画素領域を走査する走査手段と、を有する撮像素子を有する撮像装置の制御方法であって、
制御手段が、前記撮像素子を制御する制御工程と、
処理手段が、前記複数の異なるゲインを用いて増幅された前記加算信号を用いて、ダイナミックレンジを拡大するダイナミックレンジ拡大工程と、
焦点検出手段が、前記部分信号と前記加算信号とを用いて、位相差方式の焦点検出を行う焦点検出工程と、を有し、
前記制御工程では、
前記処理手段によりダイナミックレンジを拡大し、かつ、複数の異なるゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段による位相差方式の焦点検出を行う第１のモードが設定されている場合に、前記複数の異なるゲインを用いて前記部分信号および前記加算信号を増幅するように前記増幅手段を制御し、
前記処理手段によりダイナミックレンジの拡大を行わず、かつ、前記第１のゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段による位相差方式の焦点検出を行う第２のモードが設定されている場合に、前記第１のゲインを用いて前記部分信号および前記加算信号を増幅するように前記増幅手段を制御する
ことを特徴とする制御方法。
行列状に配置された複数のマイクロレンズと各マイクロレンズに対して構成された複数の光電変換部とを有する画素領域と、前記画素領域から出力される信号を少なくとも第１のゲインを含む複数の異なるゲインを用いて増幅可能な増幅手段と、前記複数の光電変換部の一部の信号である部分信号と、前記複数の光電変換部の信号を加算した加算信号とを読み出すように、前記画素領域を走査することが可能な走査手段と、を有する撮像素子と、
前記撮像素子を制御する制御手段と、
前記複数の異なるゲインを用いて増幅された前記加算信号を用いて、ダイナミックレンジを拡大する処理手段と、
前記部分信号と前記加算信号とを用いて、位相差方式の焦点検出を行う焦点検出手段と、を有し、
前記制御手段は、
前記処理手段によりダイナミックレンジの拡大を行わず、かつ、前記第１のゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段による位相差方式の焦点検出を行う第１のモードが設定されている場合に、前記第１のゲインを用いて前記部分信号および前記加算信号を増幅するように前記増幅手段を制御し、
前記処理手段によりダイナミックレンジを拡大し、かつ、前記焦点検出手段による位相差方式の焦点検出を行わない第２のモードが設定されている場合に、前記画素領域から、前記部分信号を読み出さないように前記走査手段を制御すると共に、前記複数の異なるゲインを用いて前記加算信号を増幅するように前記増幅手段を制御する
ことを特徴とする撮像装置。
行列状に配置された複数のマイクロレンズと各マイクロレンズに対して構成された複数の光電変換部とを有する画素領域と、前記画素領域から出力される信号を少なくとも第１のゲインを含む複数の異なるゲインを用いて増幅可能な増幅手段と、前記複数の光電変換部の一部の信号である部分信号と、前記複数の光電変換部の信号を加算した加算信号とを読み出すように、前記画素領域を走査する走査手段と、を有する撮像素子を有する撮像装置の制御方法であって、
制御手段が、前記撮像素子を制御する制御工程と、
処理手段が、前記複数の異なるゲインを用いて増幅された前記加算信号を用いて、ダイナミックレンジを拡大するダイナミックレンジ拡大工程と、
焦点検出手段が、前記部分信号と前記加算信号とを用いて、位相差方式の焦点検出を行う焦点検出工程と、を有し、
前記制御工程では、
前記処理手段によりダイナミックレンジの拡大を行わず、かつ、前記第１のゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段による位相差方式の焦点検出を行う第１のモードが設定されている場合に、前記第１のゲインを用いて前記部分信号および前記加算信号を増幅するように前記増幅手段を制御し、
前記処理手段によりダイナミックレンジを拡大し、かつ、前記焦点検出手段による位相差方式の焦点検出を行わない第２のモードが設定されている場合に、前記画素領域から、前記部分信号を読み出さないように前記走査手段を制御すると共に、前記複数の異なるゲインを用いて前記加算信号を増幅するように前記増幅手段を制御する
ことを特徴とする制御方法。
コンピュータに、請求項６、８、１０のいずれか１項に記載の制御方法の各工程を実行させるためのプログラム。
請求項１１に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。