JP2016189557A - Imaging element, driving method for the same and electronic equipment - Google Patents
Imaging element, driving method for the same and electronic equipment Download PDFInfo
- Publication number
- JP2016189557A JP2016189557A JP2015068966A JP2015068966A JP2016189557A JP 2016189557 A JP2016189557 A JP 2016189557A JP 2015068966 A JP2015068966 A JP 2015068966A JP 2015068966 A JP2015068966 A JP 2015068966A JP 2016189557 A JP2016189557 A JP 2016189557A
- Authority
- JP
- Japan
- Prior art keywords
- charge
- pixel
- light
- period
- charge storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本技術は、撮像素子およびその駆動方法、並びに電子機器に関し、特に、時間ずれの少ない複数の画像信号を取得することができるようにする撮像素子およびその駆動方法、並びに電子機器に関する。 The present technology relates to an imaging device, a driving method thereof, and an electronic device, and more particularly, to an imaging device, a driving method thereof, and an electronic device that can acquire a plurality of image signals with little time shift.
例えば、監視カメラなどの撮像装置においては、赤外光で被写体を照らして撮像することで、認識性を向上させたものがある。例えば、特許文献１では、赤外LEDの点灯と消灯を１フレーム単位で繰り返し、１フレームおきに、カラー画像と、赤外光によってコントラストが鮮やかになったモノクロ画像が取得される。そして、カラー画像とモノクロ画像とを合成して、認識性を向上させた画像が生成される。
For example, some imaging devices such as surveillance cameras have improved recognition by illuminating a subject with infrared light. For example, in
しかしながら、光源種類の異なる画像をフレーム単位で切り替える場合には、フレーム単位の時間ずれが発生し、例えば、動被写体などに適応させることが困難であった。 However, when switching images of different light source types in units of frames, a time lag occurs in units of frames, and it has been difficult to adapt to moving subjects, for example.
本技術は、このような状況に鑑みてなされたものであり、時間ずれの少ない複数の画像信号を取得することができるようにするものである。 The present technology has been made in view of such a situation, and makes it possible to acquire a plurality of image signals with little time lag.
本技術の第１の側面の撮像素子は、入射した光を光電変換により電荷に変換して蓄積する光電変換部と、前記光電変換部から転送される電荷を蓄積する複数の電荷蓄積部とを有する画素が複数配置された画素領域と、所定の光源の発光パターンに応じて、前記光電変換部で生成された電荷を、前記複数の電荷蓄積部に順次転送することを１フレーム期間内に複数回繰り返すように、前記画素を駆動する駆動部とを備える。 The imaging device according to the first aspect of the present technology includes: a photoelectric conversion unit that converts incident light into charges by photoelectric conversion and stores the charge; and a plurality of charge storage units that store charges transferred from the photoelectric conversion unit. A plurality of pixels within one frame period sequentially transfer charges generated by the photoelectric conversion unit to the plurality of charge storage units in accordance with a pixel region in which a plurality of pixels are arranged and a light emission pattern of a predetermined light source. And a driving unit for driving the pixels so as to be repeated once.
本技術の第２の側面の撮像素子の駆動方法は、入射した光を光電変換により電荷に変換して蓄積する光電変換部と、前記光電変換部から転送される電荷を蓄積する複数の電荷蓄積部とを有する画素が複数配置された画素領域を備える撮像素子が、所定の光源の発光パターンに応じて、前記光電変換部で生成された電荷を、前記複数の電荷蓄積部に順次転送することを１フレーム期間内に複数回繰り返すように、前記画素を駆動する。 An image sensor driving method according to a second aspect of the present technology includes a photoelectric conversion unit that converts incident light into charges by photoelectric conversion and stores the charge, and a plurality of charge storages that store charges transferred from the photoelectric conversion unit. An image sensor including a pixel region in which a plurality of pixels having a unit are arranged sequentially transfers charges generated by the photoelectric conversion unit to the plurality of charge storage units according to a light emission pattern of a predetermined light source. The pixel is driven so that the above is repeated a plurality of times within one frame period.
本技術の第３の側面の電子機器は、入射した光を光電変換により電荷に変換して蓄積する光電変換部と、前記光電変換部から転送される電荷を蓄積する複数の電荷蓄積部とを有する画素が複数配置された画素領域と、所定の光源の発光パターンに応じて、前記光電変換部で生成された電荷を、前記複数の電荷蓄積部に順次転送することを１フレーム期間内に複数回繰り返すように、前記画素を駆動する駆動部とを有する撮像素子を備える。 The electronic device according to the third aspect of the present technology includes a photoelectric conversion unit that converts incident light into electric charge by photoelectric conversion and stores the charge, and a plurality of charge storage units that store electric charges transferred from the photoelectric conversion unit. A plurality of pixels within one frame period sequentially transfer charges generated by the photoelectric conversion unit to the plurality of charge storage units in accordance with a pixel region in which a plurality of pixels are arranged and a light emission pattern of a predetermined light source. An image sensor having a drive unit for driving the pixels is provided so as to be repeated once.
本技術の第１乃至第３の側面においては、入射した光を光電変換により電荷に変換して蓄積する光電変換部と、前記光電変換部から転送される電荷を蓄積する複数の電荷蓄積部とを有する画素が複数配置された画素領域において、所定の光源の発光パターンに応じて、前記光電変換部で生成された電荷を、前記複数の電荷蓄積部に順次転送することを１フレーム期間内に複数回繰り返すように、前記画素が駆動される。 In the first to third aspects of the present technology, a photoelectric conversion unit that converts incident light into charges by photoelectric conversion and accumulates, and a plurality of charge accumulation units that accumulate charges transferred from the photoelectric conversion unit; In a pixel region in which a plurality of pixels having a plurality of pixels are arranged, the charge generated by the photoelectric conversion unit is sequentially transferred to the plurality of charge storage units in one frame period in accordance with a light emission pattern of a predetermined light source. The pixel is driven to repeat a plurality of times.
撮像素子及び電子機器は、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。 The imaging device and the electronic device may be independent devices or may be a module incorporated in another device.
本技術の第１乃至第３の側面によれば、時間ずれの少ない複数の画像信号を取得することができる。 According to the first to third aspects of the present technology, it is possible to acquire a plurality of image signals with little time shift.
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。 Note that the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．撮像素子全体構成例
２．画素の詳細構成
３．第１の駆動制御（パルス光源対応制御）
４．第２の駆動制御（光通信対応制御）
５．第３の駆動制御（IR受光対応制御）
６．第４の駆動制御（偏光対応制御）
７．第５の駆動制御（RGB対応制御）
８．第６の駆動制御（配光パターン対応制御）
９．まとめ
１０．撮像装置への適用例
Hereinafter, modes for carrying out the present technology (hereinafter referred to as embodiments) will be described. The description will be given in the following order.
1. 1. Example of overall configuration of image sensor 2. Detailed configuration of pixel First drive control (control corresponding to pulsed light source)
4). Second drive control (control for optical communication)
5. Third drive control (control for IR light reception)
6). Fourth drive control (polarization support control)
7. Fifth drive control (RGB compatible control)
8). Sixth drive control (control for light distribution pattern)
9. Summary 10 Application example to imaging device
＜１．撮像素子全体構成例＞
図１は、本技術を適用した撮像素子の構成例を示すブロック図である。
<1. Example of overall image sensor configuration>
FIG. 1 is a block diagram illustrating a configuration example of an image sensor to which the present technology is applied.
図１に示すように、撮像素子１は、画素領域２、垂直駆動回路３、カラム信号処理回路４、水平駆動回路５、出力回路６、および制御回路７を備えて構成される。
As shown in FIG. 1, the
画素領域２は、図示しない光学系により集光される光を受光する受光面である。画素領域２には、複数の画素１１が行列状に配置されており、それぞれの画素１１は、水平信号線を介して行ごとに垂直駆動回路３に接続されるとともに、垂直信号線を介して列ごとにカラム信号処理回路４に接続される。複数の画素１１は、それぞれ受光する光の光量に応じたレベルの画素信号をそれぞれ出力し、それらの画素信号から、画素領域２に結像する被写体の画像が構築される。
The pixel region 2 is a light receiving surface that receives light collected by an optical system (not shown). In the pixel region 2, a plurality of
垂直駆動回路３は、画素領域２に配置される複数の画素１１の行ごとに順次、それぞれの画素１１を駆動（転送や、選択、リセットなど）するための駆動信号を、水平信号線を介して画素１１に供給する。
The vertical drive circuit 3 sequentially supplies a drive signal for driving (transferring, selecting, resetting, etc.) each
カラム信号処理回路４は、複数の画素１１から垂直信号線を介して出力される画素信号に対してCDS(Correlated Double Sampling：相関２重サンプリング)処理を施すことにより、画素信号のAD変換を行うとともにリセットノイズを除去する。
The column signal processing circuit 4 performs AD conversion of the pixel signal by performing CDS (Correlated Double Sampling) processing on the pixel signal output from the plurality of
水平駆動回路５は、画素領域２に配置される複数の画素１１の列ごとに順次、カラム信号処理回路４から画素信号をデータ出力信号線に出力させるための駆動信号を、カラム信号処理回路４に供給する。
The
出力回路６は、水平駆動回路５の駆動信号に従ったタイミングでカラム信号処理回路４からデータ出力信号線を介して供給される画素信号を増幅し、後段の信号処理回路に出力する。
The
制御回路７は、撮像素子１の内部の各ブロックの駆動を制御する。例えば、制御回路７は、各ブロックの駆動周期に従ったクロック信号を生成して、それぞれのブロックに供給する。
The control circuit 7 controls driving of each block inside the
このように構成される撮像素子１は、CDS処理とAD変換処理を行うカラム信号処理回路４が画素列ごとに配置されたカラムAD方式と呼ばれるCMOSイメージセンサである。
The
＜２．画素の詳細構成＞
次に、図２乃至図５を参照して、画素１１の詳細構成について説明する。
<2. Detailed configuration of pixel>
Next, the detailed configuration of the
図２は、画素１１の等価回路を示す図である。
FIG. 2 is a diagram illustrating an equivalent circuit of the
図２に示すように、画素１１は、PD２１、電荷読み出し経路２２−１乃至２２−３、および、アンチブルーミングゲート２３を備えて構成される。
As shown in FIG. 2, the
PD２１は、入射した光を光電変換により電荷に変換して蓄積する光電変換部である。PD２１は、アノード端子が接地されているとともに、カソード端子が電荷読み出し経路２２−１乃至２２−３それぞれを介して垂直信号線に接続されるとともに、アンチブルーミングゲート２３を介してドレインに接続されている。
The
電荷読み出し経路２２−１は、転送ゲート３１−１、電荷蓄積ゲート３２−１、読み出しゲート３３−１、FD部３４−１、蓄積容量３５−１、増幅トランジスタ３６−１、選択トランジスタ３７−１、およびリセットトランジスタ３８−１を備えて構成される。なお、電荷読み出し経路２２−２および２２−３は、電荷読み出し経路２２−１と同様に構成されており、その詳細な説明は省略する。 The charge readout path 22-1 includes a transfer gate 31-1, a charge accumulation gate 32-1, a readout gate 33-1, an FD unit 34-1, a storage capacitor 35-1, an amplification transistor 36-1, and a selection transistor 37-1. And a reset transistor 38-1. The charge readout paths 22-2 and 22-3 are configured in the same manner as the charge readout path 22-1 and will not be described in detail.
転送ゲート３１−１のゲート電極と電荷蓄積ゲート３２−１のゲート電極とは接続されており、転送ゲート３１−１および電荷蓄積ゲート３２−１は、ゲート電極に印加される転送パルスTG1に従って、同一のタイミングで駆動する。即ち、転送パルスTG1がオンになるタイミングで、PD２１に蓄積されている電荷が、転送ゲート３１−１を介して電荷蓄積ゲート３２−１に転送され、電荷蓄積ゲート３２−１で蓄積される。
The gate electrode of the transfer gate 31-1 and the gate electrode of the charge storage gate 32-1 are connected, and the transfer gate 31-1 and the charge storage gate 32-1 follow the transfer pulse TG1 applied to the gate electrode. Drive at the same timing. That is, at the timing when the transfer pulse TG1 is turned on, the charge accumulated in the
読み出しゲート３３−１は、ゲート電極に印加される読み出しパルスROG1に従って駆動し、読み出しパルスROG1がオンになるタイミングで、電荷蓄積ゲート３２−１に蓄積されている電荷がFD部３４−１に読み出される。 The read gate 33-1 is driven according to the read pulse ROG1 applied to the gate electrode, and the charge accumulated in the charge accumulation gate 32-1 is read to the FD unit 34-1 at the timing when the read pulse ROG1 is turned on. It is.
FD部３４−１は、増幅トランジスタ３６−１のゲート電極に接続された所定の蓄積容量３５−１を有する浮遊拡散領域であり、読み出しゲート３３−１を介して転送される電荷を蓄積容量３５−１に一時的に蓄積する。 The FD unit 34-1 is a floating diffusion region having a predetermined storage capacitor 35-1 connected to the gate electrode of the amplification transistor 36-1, and charges transferred via the read gate 33-1 are stored in the storage capacitor 35. Temporarily store in -1.
増幅トランジスタ３６−１は、FD部３４−１の蓄積容量３５−１に蓄積されている電荷に応じたレベル（即ち、FD部３４−１の電位）の画素信号を、選択トランジスタ３７−１を介して垂直信号線に出力する。つまり、FD部３４−１が増幅トランジスタ３６−１のゲート電極に接続される構成により、FD部３４−１は、PD２１から電荷蓄積ゲート３２−１に転送された電荷を、その電荷に応じたレベルの画素信号に変換する電荷電圧変換部として機能する。
The amplification transistor 36-1 outputs a pixel signal of a level corresponding to the charge accumulated in the storage capacitor 35-1 of the FD unit 34-1 (that is, the potential of the FD unit 34-1) to the selection transistor 37-1. To the vertical signal line. That is, with the configuration in which the FD unit 34-1 is connected to the gate electrode of the amplifying transistor 36-1, the FD unit 34-1 can transfer the charge transferred from the
選択トランジスタ３７−１は、垂直駆動回路３から供給される選択信号SEL1に従って駆動し、選択トランジスタ３７−１がオンになると、増幅トランジスタ３６−１から出力される画素信号が垂直信号線に出力可能な状態となる。 The selection transistor 37-1 is driven according to the selection signal SEL1 supplied from the vertical drive circuit 3. When the selection transistor 37-1 is turned on, the pixel signal output from the amplification transistor 36-1 can be output to the vertical signal line. It becomes a state.
リセットトランジスタ３８−１は、垂直駆動回路３から供給されるリセット信号RG1に従って駆動し、リセットトランジスタ３８−１がオンになると、FD部３４−１の蓄積容量３５−１に蓄積されている電荷がドレインに排出される。これにより、FD部３４−１の蓄積容量３５−１がリセットされる。 The reset transistor 38-1 is driven in accordance with the reset signal RG1 supplied from the vertical drive circuit 3. When the reset transistor 38-1 is turned on, the charge stored in the storage capacitor 35-1 of the FD unit 34-1 is changed. It is discharged to the drain. As a result, the storage capacitor 35-1 of the FD unit 34-1 is reset.
このように電荷読み出し経路２２−１は構成されており、PD２１から電荷蓄積ゲート３２−１に転送された電荷に応じた画素信号が、電荷読み出し経路２２−１を介して読み出される。同様に、電荷読み出し経路２２−２では、PD２１から電荷蓄積ゲート３２−２に転送された電荷に応じた画素信号が読み出され、電荷読み出し経路２２−３では、PD２１から電荷蓄積ゲート３２−３に転送された電荷に応じた画素信号が読み出される。
Thus, the charge readout path 22-1 is configured, and a pixel signal corresponding to the charge transferred from the
アンチブルーミングゲート２３は、ゲート電極に印加される排出パルスABGに従って駆動し、排出パルスABGがオンになるタイミングで、PD２１に蓄積されている電荷がドレインに排出されることにより、シャッタ制御が行われる。また、PD２１に非常に強い光が入射した場合に、PD２１からアンチブルーミングゲート２３を介して電荷が溢れ出るように、アンチブルーミングゲート２３の電位が設定されている。
The
図３は、図２に示した画素回路の平面的な構成例を示す図である。 FIG. 3 is a diagram illustrating a planar configuration example of the pixel circuit illustrated in FIG. 2.
図３に示すように、画素１１は、略正方形に形成されたPD２１の３辺に接続するように電荷読み出し経路２２−１乃至２２−３が形成され、残りの１辺に接続するようにアンチブルーミングゲート２３が形成されている。
As shown in FIG. 3, in the
電荷読み出し経路２２−１は、PD２１側から順に、転送ゲート３１−１、電荷蓄積ゲート３２−１、読み出しゲート３３−１、およびリセットトランジスタ３８−１が配置されている。なお、電荷読み出し経路２２−２および２２−３は、電荷読み出し経路２２−１と同様に構成されており、その詳細な説明は省略する。また、図３では、増幅トランジスタ３６および選択トランジスタ３７の図示は省略されている。
In the charge readout path 22-1, a transfer gate 31-1, a charge accumulation gate 32-1, a readout gate 33-1, and a reset transistor 38-1 are arranged in this order from the
転送ゲート３１−１および電荷蓄積ゲート３２−１は、共通のゲート電極４１−１を有して構成され、ゲート電極４１−１はPD２１に隣接するように配置されている。また、読み出しゲート３３−１を構成するゲート電極４２−１と、リセットトランジスタ３８−１を構成するゲート電極４３−１との間に、FD部３４に接続される貫通電極４４−１が配置されている。また、ゲート電極４３−１に対して貫通電極４４−１の反対側に、リセットトランジスタ３８−１のドレインに接続される貫通電極４５−１が配置されている。
The transfer gate 31-1 and the charge storage gate 32-1 are configured to have a common gate electrode 41-1, and the gate electrode 41-1 is disposed adjacent to the
アンチブルーミングゲート２３は、PD２１に隣接するようにゲート電極５１が配置され、ゲート電極５１に対してPD２１の反対側に、ドレインに接続される貫通電極５２が配置されている。
The
また、画素１１の受光面側には、電荷読み出し経路２２−１乃至２２−３およびアンチブルーミングゲート２３を遮光するように遮光膜６１が成膜されており、遮光膜６１には、PD２１に光を入射するための開口部６２が形成されている。
Further, a
このように、画素１１は、３方向に電荷読み出し経路２２−１乃至２２−３が配置され（3tap構造）、残りの１方向にアンチブルーミングゲート２３が配置される構成とすることができる。
Thus, the
次に、図４及び図５を参照して、画素１１の立体的な構成例についてさらに説明する。
Next, a three-dimensional configuration example of the
撮像素子１には、PD２１が形成される半導体基板に対して配線層などを積層する表面側から光を照射する表面照射型と、配線層などが形成された表面に対して反対側の裏面側から光を照射する裏面照射型の２種類がある。
The
図４は、撮像素子１を表面照射型とした場合の画素１１の概略構成を示す斜視図であり、図５は、撮像素子１を裏面照射型とした場合の画素１１の概略構成を示す斜視図である。
FIG. 4 is a perspective view showing a schematic configuration of the
撮像素子１を表面照射型とした場合、図４に示されるように、画素１１ごとにオンチップレンズ８１が設けられており、オンチップレンズ８１を介して入射する光は、PD２１が設けられる半導体基板の配線層側に積層された遮光膜６１の開口部６２を通過してPD２１に照射される。
When the
図示するように、PD２１に対して３方向に電荷蓄積部８２−１乃至８２−３が設けられ、残りの１方向にリセットドレイン８３が設けられている。電荷蓄積部８２−１乃至８２−３は、電荷蓄積ゲート３２−１乃至３２−３（図２参照）に対応し、PD２１から電荷蓄積部８２−１乃至８２−３に電荷が転送される。リセットドレイン８３は、アンチブルーミングゲート２３（図２参照）を介してPD２１の電荷を排出するのに利用される。
As illustrated, charge storage units 82-1 to 82-3 are provided in three directions with respect to the
このように撮像素子１を表面照射型とした場合の画素１１では、PD２１と電荷蓄積部８２−１乃至８２−３とが同一平面上に配置される構成となる。
Thus, in the
これに対して、撮像素子１を裏面照射型とした場合には、図５に示されるように、画素１１ごとにオンチップレンズ８１が設けられており、オンチップレンズ８１を介して入射する光がPD２１に照射される。PD２１の表面側（図５の下方を向く面側）に遮光膜６１が形成されており、この遮光膜６１によって、下方に配置された電荷蓄積部８２−１乃至８２−３およびリセットドレイン８３が遮光されている。
On the other hand, when the
図示するように、電荷蓄積部８２−１乃至８２−３およびリセットドレイン８３は、裏面側にPD２１が設けられる半導体基板の表面側に、平面的に見てPD２１と重なるように配置される。このように、撮像素子１を裏面照射型とした場合には、PD２１と電荷蓄積部８２−１乃至８２−３とが同一平面上に配置されることがないため、電荷蓄積部８２−１乃至８２−３の面積を、図４の表面照射型の画素１１と比較して、大きく設計することができる。
As shown in the figure, the charge storage units 82-1 to 82-3 and the
これにより、裏面照射型では、例えば、画素１１のサイズを、表面照射型よりも全体的に小さくすることができる。即ち、裏面側の多くの部分を電荷蓄積部８２−１乃至８２−３の配置に用いることができるので、画素１１の微細化を図ることができる。さらに、電荷蓄積部８２−１乃至８２−３の影響を受けることなくPD２１の開口率を広くすることができるので、受光感度を向上させることができる。
Thereby, in the back side illumination type, for example, the size of the
以上のように構成される画素１１は、垂直駆動回路３の駆動に従って、PD２１で生成された電荷を、電荷読み出し経路２２−１乃至２２−３を介して読み出すことができる。
The
より具体的には、画素１１は、１フレームの期間中にPD２１の電荷を、順次、電荷蓄積部８２−１乃至８２−３に転送して、電荷蓄積部８２−１乃至８２−３それぞれに、３つの異なる露光タイミングの電荷（画素信号）を蓄積することができる。電荷蓄積部８２−１乃至８２−３それぞれに蓄積された、露光タイミングの異なる電荷（画素信号）が、電荷読み出し経路２２−１乃至２２−３を介して読み出され、出力される。
More specifically, the
なお、以下の説明では、１フレーム期間内の所定期間中にPD２１で電荷を生成し、電荷読み出し経路２２−１の電荷蓄積部８２−１に転送する動作を、「第１読み出し経路の露光」のように称する場合がある。また、同一フレーム期間内の所定期間中にPD２１で電荷を生成し、電荷読み出し経路２２−２の電荷蓄積部８２−２に転送する動作を、「第２読み出し経路の露光」のように称する場合がある。同様に、同一フレーム期間内の所定期間中にPD２１で電荷を生成し、電荷読み出し経路２２−３の電荷蓄積部８２−３に転送する動作を、「第３読み出し経路の露光」のように称する場合がある。
In the following description, the operation of generating charges in the
なお、図２および図３に示したように、画素１１は、PD２１から転送される電荷を蓄積する電荷蓄積部８２−１乃至８２−３として、ゲート電極付き埋め込みチャネル型の構造の電荷蓄積ゲート３２−１乃至３２−３を採用している。しかし、電荷蓄積部８２の構造としては、例えば、フローティングディフュージョン型や仮想ゲート付き埋め込みチャネル型など、様々な構造を採用することができる。この場合、それらの電荷蓄積部８２の容量は、ＳＮＲ等に応じて適宜設定することができる。また、画素１１は、アンチブルーミングゲート２３を備えない構造としてもよい。さらに、近年微細化で多く利用されているFD共有構造を採用することが可能で、FD部３４以降の回路を共有することができる。即ち、FD部３４−１、FD部３４−２、FD部３４−３を１つに接続して、１つずつ設けられたリセットトランジスタ３８、増幅トランジスタ３６、および選択トランジスタ３７を、電荷読み出し経路２２−１乃至２２−３で共有する構造を採用することができる。
As shown in FIGS. 2 and 3, the
また、上述した例では、画素１１が、３つの電荷読み出し経路２２−１乃至２２−３を有し、３種類の異なる露光タイミングで得られた電荷を、電荷蓄積部８２−１乃至８２−３に蓄積できる構成として説明した。
In the above-described example, the
しかし、画素１１は、３つの電荷読み出し経路２２−１乃至２２−３のいずれか一つを省略し、２種類の異なる露光タイミングで得られた電荷を、異なる２つの電荷蓄積部８２に蓄積する構成とすることもできる。例えば、電荷読み出し経路２２−３が省略されたとすると、画素１１が２つの電荷読み出し経路２２−１及び２２−２を有し、２種類の異なる露光タイミングで得られた電荷を、対応する電荷蓄積部８２−１及び８２−２に蓄積できる構成とすることができる。
However, the
また、上述した例では、画素１１の形状が四角形の場合で、３つの電荷読み出し経路２２−１乃至２２−３を有する例を挙げたが、画素１１の形状は、ハニカム配列の六角形としてもよい。この場合、画素１１には、５つの電荷読み出し経路２２と１つのアンチブルーミングゲート２３を構成することができ、多角形化によって、任意の電荷読み出し経路２２を設けることができる。
In the above example, the
以下では、複数種類の電荷読み出し経路２２を有し、異なる露光タイミングで得られた電荷を、異なる電荷蓄積部８２にそれぞれ蓄積する構成とした画素１１の駆動方法とアプリケーション適用例について説明する。
Hereinafter, a driving method and application application example of the
＜３．第１の駆動制御（パルス光源対応制御）＞
図６は、撮像素子１による第１の駆動制御を説明する図である。
<3. First Drive Control (Control for Pulse Light Source)>
FIG. 6 is a diagram illustrating the first drive control by the
なお、図６は、画素１１が２つの電荷読み出し経路２２−１及び２２−２を有する場合の駆動制御例を示している。
FIG. 6 shows an example of drive control when the
近年、道路の信号機（交通信号機）は、LED光源を用いたものに置き換えられている。LED光源は、点灯と消灯を所定期間で繰り返すパルス光源（交流光源）である。ドライブレコーダなどの車載カメラなどにおいて、録画された動画像を見ると、人間の目では点灯して見える信号機が点滅（フリッカ）しているように録画されることが多い。これは、車載カメラの撮像タイミングが、LED光源の消灯時と一致した場合には、消灯されているように録画されることになるためである。 In recent years, road traffic lights (traffic traffic lights) have been replaced with those using LED light sources. The LED light source is a pulse light source (AC light source) that repeats turning on and off for a predetermined period. When a recorded moving image is viewed in an in-vehicle camera such as a drive recorder, the recorded signal is often recorded as if a traffic light that is lit by human eyes is blinking (flicker). This is because when the imaging timing of the in-vehicle camera coincides with when the LED light source is turned off, recording is performed as if the LED light source is turned off.
第１の駆動制御では、撮像素子１は、各画素１１において、第１読み出し経路の露光と、第２読み出し経路の露光を、１フレームの期間中に複数回繰り返す制御を行う。
In the first drive control, the
図６において、第１読み出し経路の１回の露光期間は、例えば、期間T1で示される。第１読み出し経路の１回の露光期間は、転送パルスTG1がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。 In FIG. 6, one exposure period of the first readout path is indicated by a period T1, for example. One exposure period of the first readout path is configured between the timing when the transfer pulse TG1 is turned on and the timing when the discharge pulse ABG is turned on immediately before.
また、第２読み出し経路の１回の露光期間は、例えば、期間T2で示される。第２読み出し経路の１回の露光期間は、転送パルスTG2がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。 In addition, one exposure period of the second readout path is indicated by a period T2, for example. One exposure period of the second readout path is configured between the timing when the transfer pulse TG2 is turned on and the timing when the discharge pulse ABG is turned on immediately before.
第１の駆動制御では、期間T1で示される第１読み出し経路の露光と、期間T2で示される第１読み出し経路の露光が、パルス光源の点灯周期に対して高速な周期で繰り返されている。 In the first drive control, the exposure of the first readout path indicated by the period T1 and the exposure of the first readout path indicated by the period T2 are repeated at a high speed with respect to the lighting period of the pulse light source.
例えば、図６に示されるように、撮像素子１が動画像を撮像する際のフレームレートを60fpsとすると、１フレーム当たりの時間は16.7msとなる。この16.7msの１フレーム期間に対して、第１読み出し経路の露光と第２読み出し経路の露光が、1/1000ないし1/10000程度の短い周期、換言すれば、数μsecないし数百μsec程度の時間間隔で行われる。
For example, as shown in FIG. 6, when the frame rate at which the
そして、撮像素子１は、１フレーム分の撮像が終了した後に、行ごとに順次、ローリング読み出しを行う。
Then, after the imaging for one frame is completed, the
第１読み出し経路の露光と第２読み出し経路の露光を、パルス光源の点灯周期に対して高速な周期で繰り返すことにより、パルス光源が点灯している期間中に、第１読み出し経路の露光と第２読み出し経路の露光が、所定回数が必ず含まれる状態となる。 By repeating the exposure of the first readout path and the exposure of the second readout path at a cycle that is faster than the lighting period of the pulse light source, the exposure and The exposure of the two readout paths is in a state that always includes a predetermined number of times.
従って、撮像素子１は、パルス光源の点灯を必ず撮像することができ、撮像画像のフリッカ現象を防止することができる。これにより、撮像素子１の後段で、例えば、複雑なフリッカ補正処理を行う必要がなくなり、後段の信号処理の負荷を軽減することができる。
Therefore, the
第１の電荷読み出し経路２２−１で得られた画素信号と、第２の電荷読み出し経路２２−２で得られた画素信号は、それらを加算して１つの撮像画像としてもよいし、それらの一方をフリッカレスの画像として用いても良い。 The pixel signal obtained by the first charge readout path 22-1 and the pixel signal obtained by the second charge readout path 22-2 may be added to form one captured image, One of them may be used as a flickerless image.
なお、上述した例は、パルス光源の点灯周波数に関係なく、高速な所定の周期で、各電荷読み出し経路２２における露光を行う例であるが、パルス光源の点灯周期が既知である場合には、パルス光源の点灯周期に同期させた周期で、各電荷読み出し経路２２における露光を行っても良い。 The above-described example is an example in which the exposure in each charge readout path 22 is performed at a high-speed predetermined cycle regardless of the lighting frequency of the pulse light source, but when the lighting cycle of the pulse light source is known, You may perform exposure in each charge read-out path | route 22 with the period synchronized with the lighting period of the pulse light source.
また、第１読み出し経路の露光期間T1と、第２読み出し経路の露光期間T2に時間差を設けて、例えば、第１読み出し経路から得られる画素信号を高感度信号、第２読み出し経路から得られる画素信号を低感度信号とし、ハイダイナミックレンジ合成を行ってもよい。この場合には、パルス光源の影響を受けにくい正確なハイダイナミックレンジ合成を行うことができる。 Further, by providing a time difference between the exposure period T1 of the first readout path and the exposure period T2 of the second readout path, for example, a pixel signal obtained from the first readout path is a high sensitivity signal, and a pixel obtained from the second readout path The signal may be a low sensitivity signal and high dynamic range synthesis may be performed. In this case, accurate high dynamic range synthesis that is not easily affected by the pulsed light source can be performed.
＜４．第２の駆動制御（光通信対応制御）＞
図７は、撮像素子１による第２の駆動制御を説明する図である。
<4. Second drive control (control for optical communication)>
FIG. 7 is a diagram for explaining the second drive control by the
なお、図７も、画素１１が２つの電荷読み出し経路２２−１及び２２−２を有する場合の駆動制御例を示している。図７以降においても、フレームレートは60fpsであるとし、１フレーム当たりの時間は16.7msとする。
FIG. 7 also shows an example of drive control in the case where the
安全運転を支援するシステムとして、例えば、信号機情報や規制情報、車両情報などを、車どうしでやり取りする車車間通信、車両と路側機等とでやりとりする路車間通信と呼ばれる通信方法がある。 As a system that supports safe driving, for example, there are communication methods called vehicle-to-vehicle communication in which traffic signal information, regulation information, vehicle information, and the like are exchanged between vehicles, and road-to-vehicle communication in which vehicles are exchanged between roadside devices and the like.
路車間通信の一つとして、例えば、交通信号機の、赤、青、黄の点灯期間の一部に、光のオンオフで所定の情報を伝送する光通信を行うことが考えられる。 As one of road-to-vehicle communication, for example, it is conceivable to perform optical communication in which predetermined information is transmitted by turning on / off light during a part of red, blue, and yellow lighting periods of a traffic signal.
そのような場合に、撮像素子１は、第２の駆動制御として、各画素１１において、第１読み出し経路の露光を、光通信の通信情報の受信用として実行し、第２読み出し経路の露光を、画像生成用として実行する制御を行う。
In such a case, as the second drive control, the
例えば、図７に示されるように、LED光源の点灯期間が、光通信を行うLED通信期間と、交通信号機としての動作を行う交通信号期間とに分かれている。LED通信期間では、LED光源は、１フレーム期間中、伝送される情報に応じてオン（点灯）またはオフ（消灯）となっている。 For example, as shown in FIG. 7, the lighting period of the LED light source is divided into an LED communication period in which optical communication is performed and a traffic signal period in which operation as a traffic signal device is performed. In the LED communication period, the LED light source is turned on (lit) or turned off (extinguished) in accordance with information transmitted during one frame period.
撮像素子１は、第１読み出し経路の露光をLED通信期間に同期して実行させ、第２読み出し経路の露光をLED通信期間以外の期間、即ち、交通信号期間に実行させる。なお、LED通信期間のタイミングは、撮像素子１において既知であるとする。
The
図７において、第１読み出し経路の１回の露光期間は、例えば、期間T3で示される。第１読み出し経路の露光の１回の露光時間は、転送パルスTG1がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。 In FIG. 7, one exposure period of the first readout path is indicated by a period T3, for example. The exposure time for one exposure of the first readout path is configured between the timing when the transfer pulse TG1 is turned on and the timing when the discharge pulse ABG is turned on immediately before that.
また、第２読み出し経路の１回の露光期間は、例えば、期間T4で示される。第２読み出し経路の露光の１回の露光期間は、転送パルスTG2がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。 In addition, one exposure period of the second readout path is indicated by a period T4, for example. One exposure period of the exposure on the second readout path is configured between the timing when the transfer pulse TG2 is turned on and the timing when the discharge pulse ABG is turned on immediately before that.
そして、第２の駆動制御においても、第１の駆動制御と同様に、期間T3のような第１読み出し経路の露光と、期間T4のような第１読み出し経路の露光が、１フレームの周期に対して高速な周期で繰り返されている。 Also in the second drive control, similarly to the first drive control, the exposure of the first readout path such as the period T3 and the exposure of the first readout path such as the period T4 are performed in a cycle of one frame. On the other hand, it is repeated at a high speed.
第１の電荷読み出し経路２２−１で得られた信号は、例えば、画素領域２に対応する２次元の光通信情報として、後段の画像処理部（例えば、図１９の画像処理部２１４）等で処理される。第２の電荷読み出し経路２２−２で得られた信号は、例えば、撮像画像用の信号として、後段の画像処理部で処理される。これにより、光通信と画像取得を両立することができる。
The signal obtained by the first charge readout path 22-1 is, for example, as two-dimensional optical communication information corresponding to the pixel region 2 by a subsequent image processing unit (for example, the
なお、図７では、交通信号期間中、LED光源が点灯している場合の例を示したが、図８に示されるように、LED光源が消灯している場合もある。 FIG. 7 shows an example in which the LED light source is turned on during the traffic signal period, but the LED light source may be turned off as shown in FIG.
図７及び図８の説明では、第２の駆動制御の適用事例として、交通信号機の、赤、青、黄の点灯期間の一部に、光のオンオフで所定の情報を伝送する光通信を行う場合の例について説明したが、第２の駆動制御の適用は、この事例に限定されるものではない。 In the description of FIG. 7 and FIG. 8, as an application example of the second drive control, optical communication is performed in which predetermined information is transmitted by turning on / off light during a part of the red, blue, and yellow lighting periods of the traffic signal. Although an example of the case has been described, application of the second drive control is not limited to this example.
＜５．第３の駆動制御（IR受光対応制御）＞
図９は、撮像素子１による第３の駆動制御を説明する図である。
<5. Third drive control (IR light reception control)>
FIG. 9 is a diagram for explaining the third drive control by the
なお、図９も、画素１１が２つの電荷読み出し経路２２−１及び２２−２を有する場合の駆動制御例を示している。
FIG. 9 also shows an example of drive control in the case where the
例えば、監視カメラなどの撮像装置においては、夜間などの低照度でも認識性を向上させるため、赤外光（以下、IRとも記述する）を発光して撮像する機能を備えるものがある。IR発光機能を備える監視カメラでは、夜間はIRを発光させて撮像するナイトモードが実行され、昼間はIRを発光せずに撮像するデイモードが実行される。 For example, some imaging devices such as surveillance cameras have a function of emitting infrared light (hereinafter also referred to as IR) to capture images in order to improve recognition even at low illuminance such as at night. In a surveillance camera having an IR light emission function, a night mode for capturing an image by emitting IR at night is executed, and a day mode for performing an image without emitting IR at night is executed.
撮像素子１は、IRを発光させて撮像するナイトモードにおいて、第３の駆動制御として、第１読み出し経路の露光をIR発光期間に同期して実行させ、第２読み出し経路の露光を、IR非発光期間に同期して実行させる。なお、IR発光期間のタイミングは、撮像素子１において既知であるとする。
In the night mode in which IR is emitted to capture an image, the
図９において、第１読み出し経路の１回の露光期間は、例えば、期間T5で示される。第１読み出し経路の１回の露光期間は、転送パルスTG1がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。 In FIG. 9, one exposure period of the first readout path is indicated by a period T5, for example. One exposure period of the first readout path is configured between the timing when the transfer pulse TG1 is turned on and the timing when the discharge pulse ABG is turned on immediately before.
また、第２読み出し経路の１回の露光期間は、例えば、期間T6で示される。第２読み出し経路の１回の露光期間は、転送パルスTG2がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。 Further, one exposure period of the second readout path is indicated by a period T6, for example. One exposure period of the second readout path is configured between the timing when the transfer pulse TG2 is turned on and the timing when the discharge pulse ABG is turned on immediately before.
第３の駆動制御においても、第１読み出し経路の露光と、第２読み出し経路の露光が、１フレームの周期に対して高速な周期で繰り返される。 Also in the third drive control, the exposure on the first readout path and the exposure on the second readout path are repeated at a high speed with respect to the period of one frame.
例えば、撮像素子１の画素領域２では、図１０に示されるように、R（赤色）のカラーフィルタを有するR画素、G（緑色）のカラーフィルタを有するG画素、B（青色）のカラーフィルタを有するB画素、及び、W（透明）のカラーフィルタを有するW画素からなる４画素の単位が規則的に配列されている。また、R画素、G画素、及びB画素において、IRが入射された場合には、IRはカットされず、PD２１で受光される。W（透明）のカラーフィルタは、全波長の光を透過させるカラーフィルタである。
For example, in the pixel region 2 of the
図１１は、撮像素子１の後段に配置された画像処理部（例えば、図１９の画像処理部２１４）において実行されるナイトモードの画像処理であり、第３の駆動制御により得られた画素信号から、輝度信号Yと色差信号CrおよびCbを生成する処理を示している。
FIG. 11 shows night-mode image processing executed in an image processing unit (for example, the
IR発光期間に同期して転送パルスTG1により電荷が転送される第１読み出し経路の露光では、図１１上段に示されるように、画素データR＋IR、画素データG+IR、画素データB+IR、及び、画素データW＋IRが得られる。画素データR＋IRは、Rの波長成分と赤外光成分を含む画素データであり、画素データG＋IRは、Gの波長成分と赤外光成分を含む画素データである。画素データB＋IRは、Bの波長成分と赤外光成分を含む画素データであり、画素データW＋IRは、R,G,B３色の波長成分と赤外光成分を含む画素データである。 In the exposure of the first readout path where charges are transferred by the transfer pulse TG1 in synchronization with the IR light emission period, as shown in the upper part of FIG. 11, pixel data R + IR, pixel data G + IR, pixel data B + IR, and Pixel data W + IR is obtained. The pixel data R + IR is pixel data including an R wavelength component and an infrared light component, and the pixel data G + IR is pixel data including a G wavelength component and an infrared light component. The pixel data B + IR is pixel data including a B wavelength component and an infrared light component, and the pixel data W + IR is pixel data including a wavelength component of R, G, and B colors and an infrared light component.
一方、IR非発光期間に同期して転送パルスTG2により電荷が転送される第２読み出し経路の露光では、図１１下段に示されるように、画素データR、画素データG、画素データB、及び、画素データWが得られる。画素データR、画素データG、画素データB、及び、画素データWは、それぞれ、赤外光成分を含まない、Rの波長成分、Gの波長成分、Bの波長成分、及び、R,G,B３色の波長成分からなる画素データである。 On the other hand, in the exposure of the second readout path where charges are transferred by the transfer pulse TG2 in synchronization with the IR non-emission period, as shown in the lower part of FIG. 11, pixel data R, pixel data G, pixel data B, and Pixel data W is obtained. Pixel data R, pixel data G, pixel data B, and pixel data W do not include an infrared light component, R wavelength component, G wavelength component, B wavelength component, and R, G, This is pixel data composed of wavelength components of B3 colors.
まず、画像処理部は、デモザイク処理により、自画素で得られる波長成分以外の波長成分の画素データを生成する。その結果、各画素１１に対して、第１の電荷読み出し経路２２−１の画素データに基づいた、画素データR＋IR、画素データG+IR、画素データB+IR、及び、画素データW＋IRと、第２の電荷読み出し経路２２−２の画素データに基づいた、画素データR、画素データG、画素データB、及び、画素データWが得られる。
First, the image processing unit generates pixel data of a wavelength component other than the wavelength component obtained by the own pixel by demosaic processing. As a result, for each
減算器１０１は、画素データR＋IRから画素データRを減算し、その結果得られる画素データIRを加算器１０５に供給する。減算器１０２は、画素データG＋IRから画素データGを減算し、その結果得られる画素データIRを加算器１０５に供給する。減算器１０３は、画素データB＋IRから画素データBを減算し、その結果得られる画素データIRを加算器１０５に供給する。減算器１０４は、画素データW＋IRから画素データWを減算し、その結果得られる画素データIRを加算器１０５に供給する。
The
加算器１０５は、減算器１０１乃至１０４それぞれから供給された画素データIRを加算し、その結果（画素データ4IR）を、加算器１０７に供給する。
The
YC分離部１０６は、画素データR、画素データG、及び、画素データBから、輝度信号Yと色差信号CrおよびCbを生成する。輝度信号Yと色差信号CrおよびCbは、例えば、ITU-R(International Telecommunication Union Radiocommunication Sector).BT.601の規格に基づいて、次式（１）乃至（３）により生成することができる。生成された輝度信号Yは、加算器１０７に供給される。
Y＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１４４×Ｂ・・・・（１）
Cb＝−０．１６８７３６×Ｒ−０．３３１２６４×Ｇ＋０．５×Ｂ・・・（２）
Cr＝０．５×Ｒ−０．４１８６８８×Ｇ−０．０８１３１２×Ｂ・・・（３）
The
Y = 0.299 × R + 0.587 × G + 0.144 × B (1)
Cb = −0.168736 × R−0.331264 × G + 0.5 × B (2)
Cr = 0.5 * R-0.418688 * G-0.081312 * B (3)
加算器１０７は、YC分離部１０６から供給された輝度信号Yと、加算器１０５から供給された赤外光成分の画素データ4IRとを加算し、高輝度の輝度信号Yを生成する。
The
以上のようにして、ナイトモードにおいて、第３の駆動制御により得られた画素信号から、高感度な画像を生成することができる。 As described above, a high-sensitivity image can be generated from the pixel signal obtained by the third drive control in the night mode.
図１２は、デイモードにおける駆動制御を示している。 FIG. 12 shows drive control in the day mode.
デイモードの駆動制御は、画素駆動に関しては、図９に示したナイトモードの駆動制御（第３の駆動制御）と同じである。デイモードでは、受光される太陽光にIRが含まれているので、IR発光が常時オフとされる点が、ナイトモードと異なる。 The day mode drive control is the same as the night mode drive control (third drive control) shown in FIG. The day mode is different from the night mode in that the IR emission is always off because the received sunlight contains IR.
図１３は、撮像素子１の後段に配置された画像処理部において実行されるデイモードの画像処理であり、第３の駆動制御により得られた画素信号から、輝度信号Yと色差信号CrおよびCbを生成する処理を示している。
FIG. 13 shows day-mode image processing executed in the image processing unit arranged in the subsequent stage of the
転送パルスTG1により電荷が転送される第１読み出し経路の露光では、図１３上段に示されるように、画素データR＋IR、画素データG+IR、画素データB+IR、及び、画素データW＋IRが得られる。 In the exposure of the first readout path where charges are transferred by the transfer pulse TG1, pixel data R + IR, pixel data G + IR, pixel data B + IR, and pixel data W + IR are obtained as shown in the upper part of FIG. .
また、転送パルスTG2により電荷が転送される第２読み出し経路の露光においても、図１３下段に示されるように、画素データR＋IR、画素データG+IR、画素データB+IR、及び、画素データW＋IRが得られる。 Also in the exposure of the second readout path where charges are transferred by the transfer pulse TG2, as shown in the lower part of FIG. 13, pixel data R + IR, pixel data G + IR, pixel data B + IR, and pixel data W + IR Is obtained.
画像処理部は、デモザイク処理により、自画素で得られる波長成分以外の波長成分の画素データを生成する。その結果、図１３に示されるように、各画素１１に対して、画素データR＋IR、画素データG+IR、画素データB+IR、及び、画素データW＋IRが得られる。
The image processing unit generates pixel data of wavelength components other than the wavelength component obtained by the own pixel by demosaic processing. As a result, as shown in FIG. 13, pixel data R + IR, pixel data G + IR, pixel data B + IR, and pixel data W + IR are obtained for each
加算器１２１は、画素データR＋IR、画素データG+IR、及び、画素データB+IRを加算して、その結果得られる画素データR+G+B+3IRを減算器１２２に供給する。減算器１２２は、画素データR+G+B+3IRから、画素データW＋IRを減算し、その結果（2IR）を、乗算器１２３及び加算器１２８に供給する。
The
乗算器１２３は、減算器１２２から供給された画素データ2IRを、0.5倍して、画素データIRを生成し、減算器１２４乃至１２６に供給する。
The
減算器１２４は、画素データR+IRから、乗算器１２３から供給された画素データIRを減算し、その結果（画素データR）を、YC分離部１２７に供給する。減算器１２５は、画素データG+IRから、乗算器１２３から供給された画素データIRを減算し、その結果（画素データG）を、YC分離部１２７に供給する。減算器１２６は、画素データB+IRから、乗算器１２３から供給された画素データIRを減算し、その結果（画素データB）を、YC分離部１２７に供給する。
The
YC分離部１０６は、例えば上述した式（１）乃至（３）により、画素データR、画素データG、及び、画素データBから、輝度信号Yと色差信号CrおよびCbを生成する。生成された輝度信号Yは、加算器１２８に供給される。
The
加算器１２８は、YC分離部１０６から供給された輝度信号Yと、減算器１２２から供給された赤外光成分の画素データ2IRとを加算し、高輝度の輝度信号Yを生成する。
The
デイモードにおいても、以上のようにして、高感度な画像を生成することができる。 Even in the day mode, a highly sensitive image can be generated as described above.
WRGBの色配列は、図１０に示した配列に限られず、例えば、WRGBの各色が2x2からなる４画素単位で形成され、4x4を繰り返し単位としたWRGB配列等でも構わない。換言すれば、Red・Green・Blueの３色に、３色を合わせた分光のWhiteを組み合わせた４色であれば、いかなる配列のものでもよい。 The WRGB color arrangement is not limited to the arrangement shown in FIG. 10, and for example, a WRGB arrangement in which each color of WRGB is formed in units of 4 pixels of 2 × 2 and 4 × 4 is a repeating unit may be used. In other words, any arrangement may be used as long as four colors are obtained by combining three colors of Red, Green, and Blue with spectral white that is a combination of the three colors.
次に、撮像素子１の画素領域２が、R画素、G画素、R画素、及びB画素の４画素の単位が規則的に配列されたベイヤ配列で構成される場合について説明する。
Next, a case where the pixel region 2 of the
撮像素子１の画素領域２がベイヤ配列で構成されている場合においても、駆動制御は、図９に示したナイトモードの駆動制御（第３の駆動制御）と同じである。
Even when the pixel region 2 of the
ただし、撮像素子１の画素領域２がベイヤ配列で構成されている場合には、ナイトモードとデイモードでIRカットフィルタ（IRCF）を機械的に脱着する機構（リムーバブル機構）が必要となる。撮像素子１の各画素１１は、デイモードにおいてはIRカットフィルタが挿入された状態で受光し、ナイトモードにおいてはIRカットフィルタがない状態で受光する。
However, when the pixel region 2 of the
なお、IR光源として波長帯域の狭いレーザーを用い、かつ、IRの透過帯域が狭いRGB+IRフィルタを用いることができれば、デイモードにおいてもわずかな退色で済むので、フィルタの機械的な脱着が不要に出来る可能性はある。 In addition, if a laser with a narrow wavelength band is used as the IR light source and an RGB + IR filter with a narrow IR transmission band can be used, slight fading is possible even in day mode, eliminating the need for mechanical desorption of the filter. There is a possibility that can be done.
図１４は、画素領域２がベイヤ配列で構成されている場合に、ナイトモードにおいて第３の駆動制御により得られた画素信号から、輝度信号Yと色差信号CrおよびCbを生成する処理を示している。 FIG. 14 shows a process of generating the luminance signal Y and the color difference signals Cr and Cb from the pixel signal obtained by the third drive control in the night mode when the pixel region 2 is configured in a Bayer array. Yes.
図１４の処理は、図１１と比較して明らかなように、図１１を参照して説明した処理と同様であるので、説明は省略する。 The process of FIG. 14 is the same as the process described with reference to FIG. 11, as will be apparent from the comparison with FIG.
また、デイモードの輝度信号Yと色差信号CrおよびCbを生成する処理は、IRカットフィルタが挿入された状態で、第１読み出し経路の露光と、第２読み出し経路の露光の２経路で受光される点以外は、一般的なCMOSセンサの受光と同様であるので、説明は省略する。 In addition, the process of generating the day mode luminance signal Y and the color difference signals Cr and Cb is received by two paths of exposure of the first readout path and exposure of the second readout path with the IR cut filter inserted. Except for this point, it is the same as the light reception of a general CMOS sensor, and the description is omitted.
＜６．第４の駆動制御（偏光対応制御）＞
図１５は、撮像素子１による第４の駆動制御を説明する図である。
<6. Fourth Drive Control (Polarization Control)>
FIG. 15 is a diagram for explaining the fourth drive control by the
なお、図１５も、画素１１が２つの電荷読み出し経路２２−１及び２２−２を有する場合の駆動制御例を示している。
FIG. 15 also shows an example of drive control in the case where the
第４の駆動制御は、異なる２種類の発光に同期して、第１読み出し経路の露光と第２読み出し経路の露光を行うように制御する。異なる２種類の発光として、偏光方向が異なるP波とS波の例について説明する。 In the fourth drive control, control is performed so that exposure on the first readout path and exposure on the second readout path are performed in synchronization with two different types of light emission. An example of P waves and S waves having different polarization directions will be described as two different types of light emission.
即ち、第４の駆動制御では、撮像素子１は、各画素１１において、第１読み出し経路の露光をP波の発光期間に同期して実行させ、第２読み出し経路の露光を、S波の発光期間に同期して実行させる。なお、P波及びS波の発光期間のタイミングは、撮像素子１において既知であるとする。
In other words, in the fourth drive control, the
図１５において、第１読み出し経路の１回の露光期間は、例えば、期間T7で示される。第１読み出し経路の１回の露光期間は、転送パルスTG1がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。 In FIG. 15, one exposure period of the first readout path is indicated by a period T7, for example. One exposure period of the first readout path is configured between the timing when the transfer pulse TG1 is turned on and the timing when the discharge pulse ABG is turned on immediately before.
また、第２読み出し経路の１回の露光期間は、例えば、期間T8で示される。第２読み出し経路の１回の露光期間は、転送パルスTG2がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。 In addition, one exposure period of the second readout path is indicated by a period T8, for example. One exposure period of the second readout path is configured between the timing when the transfer pulse TG2 is turned on and the timing when the discharge pulse ABG is turned on immediately before.
第４の駆動制御においても、第１読み出し経路の露光と、第２読み出し経路の露光が、１フレームの周期に対して高速な周期で繰り返される。 Also in the fourth drive control, the exposure on the first readout path and the exposure on the second readout path are repeated at a high cycle with respect to the cycle of one frame.
第１の電荷読み出し経路２２−１で得られた画像信号により、２次元のP波画像が得られる。第２の電荷読み出し経路２２−２で得られた画像信号により、２次元のS波画像が得られる。 A two-dimensional P-wave image is obtained by the image signal obtained by the first charge readout path 22-1. A two-dimensional S-wave image is obtained by the image signal obtained by the second charge readout path 22-2.
異なる偏光に対応する複数の画像信号は、例えば、ライティング（光照射方向）が異なる画像の生成や立体画像の生成などに利用できる。 A plurality of image signals corresponding to different polarizations can be used, for example, for generating an image with different lighting (light irradiation direction) or a stereoscopic image.
また、第４の駆動制御は、第１読み出し経路の露光と第２読み出し経路の露光を偏光光の種類で使い分けるアプリケーションの他、医療やヘルスケア等のアプリケーション、農業の作物管理等のアプリケーションなどにも適用できる。さらにまた、第４の駆動制御は、異なる波長帯域の光に対応して２種類の画像を取得する場合、例えば、生体内の状態を観察する近赤外光で撮像した画像と、可視光で撮像した画像を同時に取得する場合にも利用できる。 In addition, the fourth drive control is used for applications such as medical and health care, agricultural crop management, and the like, in addition to applications that use the exposure of the first readout path and the exposure of the second readout path depending on the type of polarized light. Is also applicable. Furthermore, the fourth drive control may be performed by using, for example, an image captured with near-infrared light for observing a state in a living body and visible light when acquiring two types of images corresponding to light of different wavelength bands. It can also be used when acquiring captured images simultaneously.
＜７．第５の駆動制御（RGB対応制御）＞
図１６は、撮像素子１による第５の駆動制御を説明する図である。
<7. Fifth drive control (RGB compatible control)>
FIG. 16 is a diagram for explaining the fifth drive control by the
上述した第４の駆動制御が、異なる２種類の発光に同期した時分割露光を行うものであるのに対して、第５の駆動制御は、異なる３種類の発光に同期した時分割露光の制御を行う。即ち、第５の駆動制御は、異なる３種類の発光に同期して、第１読み出し経路の露光、第２読み出し経路の露光、及び、第３読み出し経路の露光を行う。従って、図１６は、画素１１が３つの電荷読み出し経路２２−１乃至２２−３を有する場合の駆動制御の例を示している。異なる３種類の発光の例として、R,G,Bの異なる３種類の波長成分の光の例について説明する。
The fourth drive control described above performs time-division exposure synchronized with two different types of light emission, whereas the fifth drive control controls time-division exposure synchronized with three different types of light emission. I do. In other words, the fifth drive control performs exposure on the first readout path, exposure on the second readout path, and exposure on the third readout path in synchronization with three different types of light emission. Therefore, FIG. 16 shows an example of drive control in the case where the
第５の駆動制御では、撮像素子１は、各画素１１において、第１読み出し経路の露光をBlue LEDによる青色光の発光期間に同期して実行させ、第２読み出し経路の露光を、Green LEDによる緑色光の発光期間に同期して実行させ、第３読み出し経路の露光を、Red LEDによる赤色光の発光期間に同期して実行させる。なお、青色光、緑色光、及び赤色光の発光期間のタイミングは、撮像素子１において既知であるとする。
In the fifth drive control, the
図１６において、第１読み出し経路の１回の露光期間は、例えば、期間T10で示される。第１読み出し経路の１回の露光期間は、転送パルスTG1がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。 In FIG. 16, one exposure period of the first readout path is indicated by a period T10, for example. One exposure period of the first readout path is configured between the timing when the transfer pulse TG1 is turned on and the timing when the discharge pulse ABG is turned on immediately before.
また、第２読み出し経路の１回の露光期間は、例えば、期間T11で示される。第２読み出し経路の１回の露光期間は、転送パルスTG2がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。 Further, one exposure period of the second readout path is indicated by a period T11, for example. One exposure period of the second readout path is configured between the timing when the transfer pulse TG2 is turned on and the timing when the discharge pulse ABG is turned on immediately before.
さらに、第３読み出し経路の１回の露光期間は、例えば、期間T12で示される。第３読み出し経路の１回の露光期間は、転送パルスTG3がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。 Furthermore, one exposure period of the third readout path is indicated by a period T12, for example. One exposure period of the third readout path is configured between the timing when the transfer pulse TG3 is turned on and the timing when the discharge pulse ABG is turned on immediately before that.
第５の駆動制御においても、第１読み出し経路の露光乃至第３読み出し経路の露光それぞれが、１フレームの周期に対して高速な周期で繰り返される。 Also in the fifth drive control, each of the exposure of the first readout path to the exposure of the third readout path is repeated at a high speed with respect to the period of one frame.
第１の電荷読み出し経路２２−２で得られた画像信号により、B画像が得られる。第２の電荷読み出し経路２２−２で得られた画像信号により、G画像が得られる。第３の電荷読み出し経路２２−３で得られた画像信号により、R画像が得られる。 A B image is obtained by the image signal obtained by the first charge readout path 22-2. A G image is obtained by the image signal obtained by the second charge readout path 22-2. An R image is obtained by the image signal obtained by the third charge readout path 22-3.
人間の体内を撮像する内視鏡用の撮像装置では、例えば、表層血管等を強調表示する等の目的で、青色光、緑色光、または赤色光など、所定の波長成分のみを有する光源を照射した観察が行われる。一般的には、青色光、緑色光、及び赤色光の照射をフレーム単位で切り替えて、B画像、G画像、及びR画像が取得される。これに対して、撮像素子１の第５の駆動制御によれば、１フレームでB画像、G画像、及びR画像を同時に取得することができ、フレーム時間差のない画像が生成できる。また、各画素につき、B画素信号、G画素信号、及びR画素信号を取得することができるので、高解像度な画像を取得することができる。
In an imaging device for an endoscope that images the human body, for example, a light source having only a predetermined wavelength component such as blue light, green light, or red light is irradiated for the purpose of highlighting a surface blood vessel or the like. Observations made. In general, the B image, the G image, and the R image are acquired by switching the irradiation of blue light, green light, and red light in units of frames. On the other hand, according to the fifth drive control of the
上述したR,G,Bの異なる３種類の波長成分の光に対応した時分割露光制御は、夜間用の監視カメラにも適用できる。 The above-described time-division exposure control corresponding to light of three types of wavelength components having different R, G, and B can be applied to a night surveillance camera.
＜８．第６の駆動制御（配光パターン対応制御）＞
図１７は、撮像素子１による第６の駆動制御を説明する図である。
<8. Sixth Drive Control (Light Distribution Pattern Corresponding Control)>
FIG. 17 is a diagram illustrating sixth drive control by the
第６の駆動制御は、配光パターンが異なる３種類の発光に同期して、第１読み出し経路の露光、第２読み出し経路の露光、及び、第３読み出し経路の露光を行う。従って、図１７の例も、画素１１が３つの電荷読み出し経路２２−１乃至２２−３を有する場合の駆動制御例を示している。
The sixth drive control performs exposure on the first readout path, exposure on the second readout path, and exposure on the third readout path in synchronization with three types of light emission having different light distribution patterns. Therefore, the example of FIG. 17 also shows an example of drive control in the case where the
ここで、配光パターンとは、光の照射方向または照射エリアのことを意味する。配光パターンが異なる３種類の発光の例として、車のヘッドライト（前照灯）の発光の例について説明する。 Here, the light distribution pattern means an irradiation direction or an irradiation area of light. As an example of three types of light emission having different light distribution patterns, an example of light emission of a car headlight (headlight) will be described.
車のヘッドライトの発光には、いわゆる、ハイビームと、ロービームと呼ばれる光の照らし方がある。また近年では、ハイビームとロービーム以外の照らし方も研究されている。 There are so-called high beam and low beam illuminating methods for light emission of car headlights. In recent years, lighting methods other than high beam and low beam have been studied.
図１８は、車のヘッドライトにおける３種類の配光パターン（配光特性）の例を示している。 FIG. 18 shows an example of three types of light distribution patterns (light distribution characteristics) in a car headlight.
図１８Aは、いわゆるハイビームであり、ヘッドライトの照射範囲が上向きで、遠方を含む広角な範囲を照らす照らし方である。このような照らし方を、図１７では、Wide Highと記述している。 FIG. 18A shows a so-called high beam, which is an illumination method for illuminating a wide-angle range including a distant place where the irradiation range of the headlight is upward. Such illumination is described as Wide High in FIG.
図１８Bは、対向車がいる場合などに使われる、いわゆるロービームであり、ヘッドライトの照射範囲が下向きで、近距離下方の範囲を照らす照らし方である。このような照らし方を、図１７では、Wide Lowと記述している。 FIG. 18B is a so-called low beam used when there is an oncoming vehicle, etc., and is a way of illuminating the range below the short distance with the headlight irradiation range downward. Such illumination is described as Wide Low in FIG.
図１８Cは、ハイビームとロービームの中間的な照らし方であり、対向車方向の照射を抑制しつつ、できるだけ遠方を含む広角な範囲を照らす照らし方である。このような照らし方を、図１７では、Sprit Highと記述している。 FIG. 18C shows an intermediate illumination method between the high beam and the low beam, and the illumination method illuminates a wide-angle range including as far away as possible while suppressing irradiation in the oncoming vehicle direction. Such illumination is described as Split High in FIG.
例えば、車載カメラに搭載された撮像素子１による撮像として、図１７に示される第６の駆動制御が実行される。
For example, the sixth drive control shown in FIG. 17 is executed as imaging by the
具体的には、撮像素子１は、各画素１１において、第１読み出し経路の露光をWide Highの発光期間に同期して実行させ、第２読み出し経路の露光を、Sprit Highの発光期間に同期して実行させ、第３読み出し経路の露光を、Wide Lowの発光期間に同期して実行させる。なお、Wide High、Sprit High、及び、Wide Lowの発光タイミングは、撮像素子１において既知であるとする。
Specifically, the
図１７において、第１読み出し経路の１回の露光期間は、例えば、期間T13で示される。第１読み出し経路の１回の露光期間は、転送パルスTG1がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。 In FIG. 17, one exposure period of the first readout path is indicated by a period T13, for example. One exposure period of the first readout path is configured between the timing when the transfer pulse TG1 is turned on and the timing when the discharge pulse ABG is turned on immediately before.
また、第２読み出し経路の１回の露光期間は、例えば、期間T14で示される。第２読み出し経路の１回の露光期間は、転送パルスTG2がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。 Further, one exposure period of the second readout path is indicated by a period T14, for example. One exposure period of the second readout path is configured between the timing when the transfer pulse TG2 is turned on and the timing when the discharge pulse ABG is turned on immediately before.
さらに、第３読み出し経路の１回の露光期間は、例えば、期間T15で示される。第３読み出し経路の１回の露光期間は、転送パルスTG3がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。 Furthermore, one exposure period of the third readout path is indicated by a period T15, for example. One exposure period of the third readout path is configured between the timing when the transfer pulse TG3 is turned on and the timing when the discharge pulse ABG is turned on immediately before that.
第５の駆動制御においても、第１読み出し経路の露光乃至第３読み出し経路の露光それぞれが、１フレームの周期に対して高速な周期で繰り返される。 Also in the fifth drive control, each of the exposure of the first readout path to the exposure of the third readout path is repeated at a high speed with respect to the period of one frame.
Wide Highの配光パターンは、対向車や先行車のドライバにとっては眩しいため、長時間の発光は控えなければいけないが、人間が眩しいと感じない範囲で発光させることは可能である。撮像素子１は、Wide Highのタイミングで撮像することにより、遠方まで捉えた画像を生成することが可能となる。
The Wide High light distribution pattern is dazzling for drivers of oncoming vehicles and preceding vehicles, so it is necessary to refrain from light emission for a long time, but it is possible to emit light in a range where humans do not feel dazzling. The
また、撮像素子１は、第１読み出し経路の露光乃至第３読み出し経路の露光それぞれを独立して制御が可能であるため、第１の電荷読み出し経路２２−１乃至第３の電荷読み出し経路２２−３それぞれで得られた画像信号に対して、異なる最適な信号処理を実行することができる。
Further, since the
例えば、異なる配光パターンに対応した各画像では、画像の明るさが異なるので、Wide High、Sprit High、及び、Wide Lowそれぞれ画像信号に対して、異なるゲインを設定することができる。Wide High、Sprit High、及び、Wide Lowそれぞれによる画像では、Wide Lowによる画像が最も明るい画像となり、Wide Highによる画像が最も暗い画像となると考えられる。そのため、Wide Highによる画像信号に高いゲインを設定し、Wide Lowによる画像信号に低いゲインを設定し、Sprit Highによる画像信号に真ん中のゲインを設定し、その結果得られた画像を重ね合わせることで、近距離から遠方まで広範囲に捉えた画像を生成することができる。これにより、画像の認識精度を高めることができる。 For example, in each image corresponding to a different light distribution pattern, the brightness of the image is different, so that different gains can be set for the image signals of Wide High, Split High, and Wide Low, respectively. In the image by Wide High, Split High, and Wide Low, it is considered that the image by Wide Low is the brightest image, and the image by Wide High is the darkest image. Therefore, a high gain is set for the image signal due to Wide High, a low gain is set for the image signal due to Wide Low, the middle gain is set for the image signal due to Split High, and the resulting images are superimposed. An image captured in a wide range from a short distance to a long distance can be generated. Thereby, the recognition accuracy of an image can be improved.
＜９．まとめ＞
以上説明したように、図１の撮像素子１は、入射した光を光電変換により電荷に変換して蓄積するPD２１（光電変換部）と、PD２１から転送される電荷を蓄積する複数の電荷蓄積部８２とを有する画素１１が複数配置された画素領域２と、所定の光源の発光パターンに応じて、PD２１で生成された電荷を、複数の電荷蓄積部８２に順次転送することを１フレーム期間内に複数回繰り返すように、画素１１を駆動する垂直駆動回路３（駆動部）とを備える。
<9. Summary>
As described above, the
第１の駆動制御では、所定の光源の発光パターンは、例えば、LED光源の発光のオン及びオフの繰り返しであり、撮像素子１は、点灯の周期に対して高速な周期で、PD２１で生成された電荷を、電荷蓄積部８２−１及び８２−２に順次転送することを繰り返すように、各画素１１を駆動する。
In the first drive control, the light emission pattern of the predetermined light source is, for example, repetition of turning on and off the light emission of the LED light source, and the
あるいはまた、第１の駆動制御では、撮像素子１は、少なくとも１つの電荷蓄積部８２（例えば、電荷蓄積部８２−１）への電荷の転送をLED光源の発光のオン期間に同期させて、PD２１で生成された電荷を、電荷蓄積部８２−１及び８２−２に順次転送することを繰り返すように、各画素１１を駆動する。
Alternatively, in the first drive control, the
第２の駆動制御では、所定の光源の発光パターンは、例えば、LED光源の光通信の通信情報の信号区間（LED通信期間）と非信号区間（交通信号期間）の繰り返しであり、撮像素子１は、少なくとも１つの電荷蓄積部８２（例えば、電荷蓄積部８２−１）への電荷の転送をLED光源の光通信の通信情報の信号区間に同期させて、PD２１で生成された電荷を、電荷蓄積部８２−１及び８２−２に順次転送することを繰り返すように、各画素１１を駆動する。
In the second drive control, the light emission pattern of the predetermined light source is, for example, a repetition of a signal period (LED communication period) and a non-signal period (traffic signal period) of communication information of the LED light source in the optical communication. Is configured to synchronize the transfer of the charge to at least one charge storage unit 82 (for example, the charge storage unit 82-1) with the signal section of the communication information of the optical communication of the LED light source, and to convert the charge generated by the
第３の駆動制御では、所定の光源の発光パターンは、例えば、赤外光のオン及びオフの繰り返しであり、撮像素子１は、赤外光のオン期間及びオフ期間に同期させて、PD２１で生成された電荷を、電荷蓄積部８２−１及び８２−２に順次転送することを繰り返すように、各画素１１を駆動する。
In the third drive control, the light emission pattern of the predetermined light source is, for example, repetition of turning on and off infrared light, and the
第４の駆動制御では、所定の光源の発光パターンは、例えば、P波とS波のオン及びオフの繰り返しであり、撮像素子１は、P波とS波のオン期間に同期させて、PD２１で生成された電荷を、電荷蓄積部８２−１及び８２−２に順次転送することを繰り返すように、各画素１１を駆動する。
In the fourth drive control, the light emission pattern of the predetermined light source is, for example, repetition of ON and OFF of the P wave and the S wave, and the
第５の駆動制御では、所定の光源の発光パターンは、例えば、所定の波長帯域成分（例えば、R、G、またはBの波長帯域成分）を有する複数種類の光のオン及びオフの繰り返しであり、撮像素子１は、複数種類の光のオン期間に同期させて、PD２１で生成された電荷を、対応する電荷蓄積部８２に順次転送することを繰り返すように、各画素１１を駆動する。
In the fifth drive control, the light emission pattern of the predetermined light source is, for example, repetition of turning on and off a plurality of types of light having a predetermined wavelength band component (for example, R, G, or B wavelength band component). The
第６の駆動制御では、所定の光源の発光パターンは、例えば、所定の配光特性（例えば、Wide High、Sprit High、または、Wide Low）を有する光のオン及びオフの繰り返しであり、撮像素子１は、配光特性が異なる複数種類の光それぞれのオン期間に同期させて、PD２１で生成された電荷を、対応する電荷蓄積部８２に順次転送することを繰り返すように、各画素１１を駆動する。
In the sixth drive control, the light emission pattern of the predetermined light source is, for example, repetition of ON and OFF of light having a predetermined light distribution characteristic (for example, Wide High, Split High, or Wide Low). 1 drives each
即ち、撮像素子１は、第１読み出し経路の露光乃至第３読み出し経路の露光を時分割で制御することができ、複数の電荷読み出し経路２２に対応した複数の画像信号を取得することができる。撮像素子１は、第１読み出し経路の露光乃至第３読み出し経路の露光を、１フレームの周期に対して高速な周期で繰り返すので、複数の画像信号それぞれは、独立し、かつ、時間ずれの少ない画像信号となる。得られた複数の画像信号は、それぞれ独立の画像とすることもできるし、それらを合成処理して１枚の画像とすることもできる。
That is, the
上述した各実施の形態において、1フレーム内の読み出し繰り返し周期は一定間隔で表記しているが、発光タイミングと合わせて不規則にしてもよい。例えば、ローリング信号読み出しを行う直前の露光時間を多くするような対数間隔に露光時間を伸ばすような間隔とすることで、人間の目の対数応答に近い動体特性を得ることができる。また、フリッカは光源周波数と蓄積駆動周波数が整数倍になるような同期した場合に起きるので、意図的に、蓄積駆動周波数をランダムにすることで、よりフリッカが起きにくい状態を作り出すことができる。 In each of the above-described embodiments, the read repetition period in one frame is shown at a constant interval, but it may be made irregular along with the light emission timing. For example, a moving characteristic close to the logarithmic response of the human eye can be obtained by setting the interval to extend the exposure time to a logarithmic interval that increases the exposure time immediately before reading the rolling signal. Since flicker occurs when the light source frequency and the accumulation drive frequency are synchronized with each other by an integral multiple, intentionally making the accumulation drive frequency random makes it possible to create a state in which flicker is less likely to occur.
また各実施の形態において、露光シャッタ制御にアンチブルーミング制御機構を設けたが、露光シャッタ制御が不要な場合は、アンチブルーミングゲート２３とドレインは無くしてもよい。
In each embodiment, the anti-blooming control mechanism is provided for the exposure shutter control. However, when the exposure shutter control is unnecessary, the
＜１０．撮像装置への適用例＞
図１９は、例えば監視カメラなどとして利用される、IR発光機能を備える撮像装置の構成例を示すブロック図である。
<10. Application example to imaging device>
FIG. 19 is a block diagram illustrating a configuration example of an imaging apparatus having an IR light emission function that is used as, for example, a monitoring camera.
図１９の撮像装置２００は、撮像レンズ２１１、光学フィルタ２１２、撮像素子２１３、画像処理部２１４、記録部２１５、撮像制御部２１６、測光部２１７、及び、赤外光透光部２１８を備える。
19 includes an
撮像レンズ２１１は、被写体からの光を集光して光学フィルタ２１２を介して撮像素子２１３に導くレンズである。光学フィルタ２１２は、撮像レンズ２１１からの光のうち可視光および赤外光を透過して、撮像素子２１３の撮像面に結像させる。
The
撮像素子２１３は、光学フィルタ２１２を介して受光した光を電気信号に変換して、画像信号を生成し、画像処理部２１４に出力する。撮像素子２１３には、例えば、図１０に示したような、R画素、G画素、B画素、およびW画素の４画素を単位とする画素ユニットが二次元格子状に規則的に配置されている。撮像素子２１３は、これらの画素のそれぞれで光電変換したアナログの電気信号をAD（Analog to Digital）変換することにより、デジタルの画素信号を生成し、画像処理部２１４に供給する。この撮像素子２１３として、上述した撮像素子１が採用される。
The
画像処理部２１４は、撮像素子２１３から供給された画像信号を用いて所定の画像処理を行う。例えば、画像処理部２１４は、図１１や図１３を参照して説明したデモザイク処理、画素データR、画素データG、画素データB、及び、画素データWの各画素データから、高輝度な輝度信号Yと色差信号CrおよびCbを生成する処理などを行う。
The
記録部２１５は、画像処理部２１４から供給される動画または静止画を、ハードディスクや半導体メモリ等の記録媒体に記録する。
The
撮像制御部２１６は、撮像装置２００全体の動作を制御する。例えば、撮像制御部２１６は、測光部２１７から供給される測光量に基づいてデイモードとナイトモードを判定し、判定結果に対応した各種の制御信号を、撮像素子２１３、画像処理部２１４、及び、赤外光投光部２１８に供給する。
The imaging control unit 216 controls the operation of the
より具体的には、例えば、撮像制御部２１６は、判定されたモード（デイモードまたはナイトモード）に応じて、図１１で説明した処理と、図１３で説明した処理を切り替える処理切替制御信号を画像処理部２１４に供給する。撮像制御部２１６は、上述した第１乃至第６の駆動制御を切り替える撮像制御信号を撮像素子２１３に供給する。また例えば、撮像制御部２１６は、赤外光の発光を制御する発光制御信号を赤外光投光部２１８に供給する。
More specifically, for example, the imaging control unit 216 outputs a process switching control signal for switching between the process described in FIG. 11 and the process described in FIG. 13 according to the determined mode (day mode or night mode). This is supplied to the
測光部２１７は、撮像装置２００周辺の明るさを測光し、その結果としての測光量を撮像制御部２１６に供給する。赤外光投光部２１８は、撮像制御部２１６から供給された発光制御信号に基づいて、赤外光(IR)を被写体に照射する。
The
なお、撮像装置２００は、撮像素子２１３で生成された画像を表示する表示部をさらに備えてもよい。また、撮像装置２００は、外部インターフェースをさらに備え、その外部インターフェースを介して、画像データを外部の装置に出力したり、外部から、撮像装置２００の動作を制御するための各種の制御信号、例えば、LED光源の発光と同期をとるための同期信号などを入力させてもよい。
Note that the
また、図１９では、撮像レンズ２１１、光学フィルタ２１２、撮像素子２１３、画像処理部２１４、記録部２１５、赤外光投光部２１８、撮像制御部２１６、および、測光部２１７を同一の装置内に設ける構成としているが、これらを別々の装置に設ける構成としてもよい。例えば、撮像素子２１３などを撮像装置２００に設け、画像処理部２１４を情報処理装置等に設ける構成としてもよい。
In FIG. 19, the
上述したように、撮像素子２１３として、上述した撮像素子１を用いることで、１フレーム期間内で時間ずれの少ない、それぞれが独立した複数の画像信号を取得することができる。従って、ビデオカメラやデジタルスチルカメラ、さらには携帯電話機等のモバイル機器向けカメラモジュールなどの撮像装置２００においても、例えば、動被写体に強い（時間ずれを低減した）撮像画像を生成することができ、撮像画像の高画質化を図ることができる。
As described above, by using the above-described
本技術は、デジタルスチルカメラやビデオカメラ等の撮像装置や、撮像機能を有する携帯端末装置や、画像読取部に撮像素子を用いる複写機など、画像取込部（光電変換部）に撮像素子を用いる電子機器全般に対して適用可能である。撮像素子は、ワンチップとして形成された形態であってもよいし、撮像部と信号処理部または光学系とがまとめてパッケージングされた撮像機能を有するモジュール状の形態であってもよい。 This technology uses an imaging device in an image capturing unit (photoelectric conversion unit), such as an imaging device such as a digital still camera or a video camera, a portable terminal device having an imaging function, or a copying machine that uses an imaging device for an image reading unit. Applicable to all electronic devices used. The imaging element may be formed as a single chip, or may be in a module form having an imaging function in which an imaging unit and a signal processing unit or an optical system are packaged together.
＜イメージセンサの使用例＞
図２０は、上述した撮像素子１（イメージセンサ）を使用する使用例を示す図である。
<Examples of using image sensors>
FIG. 20 is a diagram illustrating a usage example in which the above-described imaging device 1 (image sensor) is used.
上述した撮像素子１は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
The
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
・ Devices for taking images for viewing, such as digital cameras and mobile devices with camera functions ・ For safe driving such as automatic stop and recognition of the driver's condition, Devices used for traffic, such as in-vehicle sensors that capture the back, surroundings, and interiors of vehicles, surveillance cameras that monitor traveling vehicles and roads, and ranging sensors that measure distances between vehicles, etc. Equipment used for home appliances such as TVs, refrigerators, air conditioners, etc. to take pictures and operate the equipment according to the gestures ・ Endoscopes, equipment that performs blood vessel photography by receiving infrared light, etc. Equipment used for medical and health care ・ Security equipment such as security surveillance cameras and personal authentication cameras ・ Skin measuring instrument for photographing skin and scalp photography Such as a microscope to do beauty Equipment used for sports-Equipment used for sports such as action cameras and wearable cameras for sports applications-Used for agriculture such as cameras for monitoring the condition of fields and crops apparatus
本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。 The present technology is not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。 For example, the form which combined all or one part of several embodiment mentioned above is employable.
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。 Note that the effects described in this specification are merely examples and are not limited, and there may be effects other than those described in this specification.
なお、本技術は以下のような構成も取ることができる。
（１）
入射した光を光電変換により電荷に変換して蓄積する光電変換部と、前記光電変換部から転送される電荷を蓄積する複数の電荷蓄積部とを有する画素が複数配置された画素領域と、
所定の光源の発光パターンに応じて、前記光電変換部で生成された電荷を、前記複数の電荷蓄積部に順次転送することを１フレーム期間内に複数回繰り返すように、前記画素を駆動する駆動部と
を備える撮像素子。
（２）
前記所定の光源の発光パターンは、発光のオン及びオフの繰り返しであり、
前記駆動部は、所定の周期で、前記複数の電荷蓄積部に順次転送することを１フレーム期間内に複数回繰り返すように、前記画素を駆動する
前記（１）に記載の撮像素子。
（３）
前記所定の光源の発光パターンは、発光のオン及びオフの繰り返しであり、
前記駆動部は、少なくとも１つの前記電荷蓄積部への前記電荷の転送を、前記発光のオン期間に同期させるように、前記画素を駆動する
前記（１）または（２）に記載の撮像素子。
（４）
前記駆動部は、他の１つの前記電荷蓄積部への前記電荷の転送を、前記発光のオフ期間に同期させるように、前記画素を駆動する
前記（３）に記載の撮像素子。
（５）
前記所定の光源は、赤外光を発光する光源である
前記（３）に記載の撮像素子。
（６）
前記所定の光源の発光パターンは、光通信の通信情報の信号区間と非信号区間の繰り返しであり、
前記駆動部は、少なくとも１つの前記電荷蓄積部への前記電荷の転送を、前記信号区間に同期させるように、前記画素を駆動する
前記（１）乃至（５）のいずれかに記載の撮像素子。
（７）
前記駆動部は、他の１つの前記電荷蓄積部への前記電荷の転送を、前記非信号区間に同期させるように、前記画素を駆動する
前記（６）に記載の撮像素子。
（８）
前記所定の光源の発光パターンは、偏光のオン及びオフの繰り返しであり、
前記駆動部は、少なくとも１つの前記電荷蓄積部への前記電荷の転送を、前記偏光のオン期間に同期させるように、前記画素を駆動する
前記（１）乃至（７）のいずれかに記載の撮像素子。
（９）
前記偏光として、P波とS波とがあり、
前記駆動部は、１つの前記電荷蓄積部への前記電荷の転送を前記P波のオン期間に同期させ、他の１つの前記電荷蓄積部への前記電荷の転送を前記S波のオン期間に同期させるように、前記画素を駆動する
前記（８）に記載の撮像素子。
（１０）
前記所定の光源の発光パターンは、所定の波長帯域成分を有する光のオン及びオフの繰り返しであり、
前記駆動部は、少なくとも１つの前記電荷蓄積部への前記電荷の転送を、前記所定の波長帯域成分を有する光のオン期間に同期させるように、前記画素を駆動する
前記（１）乃至（９）のいずれかに記載の撮像素子。
（１１）
前記所定の光源の発光パターンとして、R、G、またはBの波長帯域成分を有する３種類の光のオン及びオフの繰り返しがあり、
前記画素領域の前記画素は、３つの前記電荷蓄積部を有し、
前記駆動部は、前記R、G、またはBの波長帯域成分を有する光のオン期間に同期させて、前記光電変換部で生成された電荷を、対応する３つの前記電荷蓄積部へ順次転送するように、前記画素を駆動する
前記（１０）に記載の撮像素子。
（１２）
前記所定の光源の発光パターンは、所定の配光特性を有する光のオン及びオフの繰り返しであり、
前記駆動部は、少なくとも１つの前記電荷蓄積部への前記電荷の転送を、前記所定の配光特性を有する光のオン期間に同期させるように、前記画素を駆動する
前記（１）乃至（１１）のいずれかに記載の撮像素子。
（１３）
前記駆動部は、前記配光特性が異なる複数の光源それぞれのオン期間に同期させて、前記光電変換部で生成された電荷を、対応する前記電荷蓄積部へ順次転送するように、前記画素を駆動する
前記（１２）に記載の撮像素子。
（１４）
前記配光特性が異なる複数の光源により得られた画像信号には、異なるゲインが設定される
前記（１２）に記載の撮像素子。
（１５）
入射した光を光電変換により電荷に変換して蓄積する光電変換部と、前記光電変換部から転送される電荷を蓄積する複数の電荷蓄積部とを有する画素が複数配置された画素領域を備える撮像素子が、
所定の光源の発光パターンに応じて、前記光電変換部で生成された電荷を、前記複数の電荷蓄積部に順次転送することを１フレーム期間内に複数回繰り返すように、前記画素を駆動する
撮像素子の駆動方法。
（１６）
入射した光を光電変換により電荷に変換して蓄積する光電変換部と、前記光電変換部から転送される電荷を蓄積する複数の電荷蓄積部とを有する画素が複数配置された画素領域と、
所定の光源の発光パターンに応じて、前記光電変換部で生成された電荷を、前記複数の電荷蓄積部に順次転送することを１フレーム期間内に複数回繰り返すように、前記画素を駆動する駆動部と
を有する撮像素子
を備える電子機器。
In addition, this technique can also take the following structures.
(1)
A pixel region in which a plurality of pixels each having a photoelectric conversion unit that converts incident light into electric charge by photoelectric conversion and accumulates and a plurality of charge accumulation units that accumulate charges transferred from the photoelectric conversion unit;
Drive for driving the pixels so that the sequential transfer of the charges generated by the photoelectric conversion unit to the plurality of charge storage units is repeated a plurality of times within one frame period in accordance with a light emission pattern of a predetermined light source An image sensor comprising:
(2)
The light emission pattern of the predetermined light source is repetition of light emission on and off,
The imaging device according to (1), wherein the driving unit drives the pixels so that sequential transfer to the plurality of charge storage units is repeated a plurality of times within one frame period at a predetermined period.
(3)
The light emission pattern of the predetermined light source is repetition of light emission on and off,
The imaging device according to (1) or (2), wherein the driving unit drives the pixel so that transfer of the charge to at least one of the charge storage units is synchronized with an ON period of the light emission.
(4)
The imaging device according to (3), wherein the driving unit drives the pixel so that transfer of the charge to another one of the charge storage units is synchronized with an off period of the light emission.
(5)
The imaging device according to (3), wherein the predetermined light source is a light source that emits infrared light.
(6)
The light emission pattern of the predetermined light source is a repetition of a signal interval and a non-signal interval of communication information of optical communication,
The imaging device according to any one of (1) to (5), wherein the driving unit drives the pixel so that transfer of the charge to at least one of the charge storage units is synchronized with the signal period. .
(7)
The imaging device according to (6), wherein the driving unit drives the pixel so that transfer of the charge to another one of the charge storage units is synchronized with the non-signal period.
(8)
The light emission pattern of the predetermined light source is a repetition of polarization on and off,
The drive unit drives the pixel so as to synchronize transfer of the charge to at least one of the charge storage units with an on period of the polarized light. The device according to any one of (1) to (7), Image sensor.
(9)
As the polarized light, there are P wave and S wave,
The drive unit synchronizes the transfer of the charge to one of the charge storage units with the on period of the P wave, and transfers the charge to the other one of the charge storage units during the on period of the S wave. The imaging device according to (8), wherein the pixels are driven so as to be synchronized.
(10)
The light emission pattern of the predetermined light source is a repetition of ON and OFF of light having a predetermined wavelength band component,
The drive unit drives the pixel so as to synchronize the transfer of the charge to at least one of the charge storage units with an on period of light having the predetermined wavelength band component. ).
(11)
As the light emission pattern of the predetermined light source, there are repetition of ON and OFF of three types of light having R, G, or B wavelength band components,
The pixel in the pixel region has three charge storage units,
The drive unit sequentially transfers charges generated by the photoelectric conversion unit to the corresponding three charge storage units in synchronization with an ON period of light having the R, G, or B wavelength band components. The image sensor according to (10), wherein the pixel is driven as described above.
(12)
The light emission pattern of the predetermined light source is a repetition of ON and OFF of light having a predetermined light distribution characteristic,
The driving unit drives the pixel so as to synchronize the transfer of the charge to at least one of the charge storage units with an on period of light having the predetermined light distribution characteristic. ).
(13)
The driving unit synchronizes with an on period of each of a plurality of light sources having different light distribution characteristics, and sequentially transfers the charges generated by the photoelectric conversion unit to the corresponding charge storage unit. The imaging device according to (12), which is driven.
(14)
The image sensor according to (12), wherein different gains are set in image signals obtained by a plurality of light sources having different light distribution characteristics.
(15)
Imaging having a pixel region in which a plurality of pixels each having a photoelectric conversion unit that converts incident light into photoelectric charge and stores the charge and a plurality of charge storage units that store charges transferred from the photoelectric conversion unit are arranged The element is
The pixels are driven so that the sequential transfer of the charges generated by the photoelectric conversion unit to the plurality of charge storage units is repeated a plurality of times within one frame period in accordance with a light emission pattern of a predetermined light source. Device driving method.
(16)
A pixel region in which a plurality of pixels each having a photoelectric conversion unit that converts incident light into electric charge by photoelectric conversion and accumulates and a plurality of charge accumulation units that accumulate charges transferred from the photoelectric conversion unit;
Drive for driving the pixels so that the sequential transfer of the charges generated by the photoelectric conversion unit to the plurality of charge storage units is repeated a plurality of times within one frame period in accordance with a light emission pattern of a predetermined light source An electronic device comprising an imaging device having a portion.
１ 撮像素子， ２ 画素領域， ３ 垂直駆動回路， １１ 画素， ２１ PD， ２２−１乃至２２−３ 電荷読み出し経路， ３２−１乃至３２−３ 電荷蓄積ゲート， ８２−１乃至８２−３ 電荷蓄積部， ２００ 撮像装置， ２１３ 撮像素子， ２１４ 画像処理部， ２１６ 撮像制御部， ２１７ 測光部， ２１８ 赤外光投光部
DESCRIPTION OF
Claims (16)
所定の光源の発光パターンに応じて、前記光電変換部で生成された電荷を、前記複数の電荷蓄積部に順次転送することを１フレーム期間内に複数回繰り返すように、前記画素を駆動する駆動部と
を備える撮像素子。 A pixel region in which a plurality of pixels each having a photoelectric conversion unit that converts incident light into electric charge by photoelectric conversion and accumulates and a plurality of charge accumulation units that accumulate charges transferred from the photoelectric conversion unit;
Drive for driving the pixels so that the sequential transfer of the charges generated by the photoelectric conversion unit to the plurality of charge storage units is repeated a plurality of times within one frame period in accordance with a light emission pattern of a predetermined light source An image sensor comprising:
前記駆動部は、所定の周期で、前記複数の電荷蓄積部に順次転送することを１フレーム期間内に複数回繰り返すように、前記画素を駆動する
請求項１に記載の撮像素子。 The light emission pattern of the predetermined light source is repetition of light emission on and off,
The imaging device according to claim 1, wherein the driving unit drives the pixels so that sequential transfer to the plurality of charge storage units is repeated a plurality of times within one frame period at a predetermined cycle.
前記駆動部は、少なくとも１つの前記電荷蓄積部への前記電荷の転送を、前記発光のオン期間に同期させるように、前記画素を駆動する
請求項１に記載の撮像素子。 The light emission pattern of the predetermined light source is repetition of light emission on and off,
The imaging device according to claim 1, wherein the driving unit drives the pixel so that transfer of the charge to at least one of the charge storage units is synchronized with an on period of the light emission.
請求項３に記載の撮像素子。 The imaging device according to claim 3, wherein the driving unit drives the pixel so that transfer of the charge to another one of the charge storage units is synchronized with an off period of the light emission.
請求項３に記載の撮像素子。 The imaging device according to claim 3, wherein the predetermined light source is a light source that emits infrared light.
前記駆動部は、少なくとも１つの前記電荷蓄積部への前記電荷の転送を、前記信号区間に同期させるように、前記画素を駆動する
請求項１に記載の撮像素子。 The light emission pattern of the predetermined light source is a repetition of a signal interval and a non-signal interval of communication information of optical communication,
The imaging device according to claim 1, wherein the driving unit drives the pixel so that transfer of the charge to at least one of the charge storage units is synchronized with the signal period.
請求項６に記載の撮像素子。 The imaging device according to claim 6, wherein the driving unit drives the pixel so that the transfer of the charge to another one of the charge storage units is synchronized with the non-signal period.
前記駆動部は、少なくとも１つの前記電荷蓄積部への前記電荷の転送を、前記偏光のオン期間に同期させるように、前記画素を駆動する
請求項１に記載の撮像素子。 The light emission pattern of the predetermined light source is a repetition of polarization on and off,
The imaging device according to claim 1, wherein the driving unit drives the pixel so that transfer of the charge to at least one of the charge storage units is synchronized with an on period of the polarized light.
前記駆動部は、１つの前記電荷蓄積部への前記電荷の転送を前記P波のオン期間に同期させ、他の１つの前記電荷蓄積部への前記電荷の転送を前記S波のオン期間に同期させるように、前記画素を駆動する
請求項８に記載の撮像素子。 As the polarized light, there are P wave and S wave,
The drive unit synchronizes the transfer of the charge to one of the charge storage units with the on period of the P wave, and transfers the charge to the other one of the charge storage units during the on period of the S wave. The imaging device according to claim 8, wherein the pixel is driven so as to be synchronized.
前記駆動部は、少なくとも１つの前記電荷蓄積部への前記電荷の転送を、前記所定の波長帯域成分を有する光のオン期間に同期させるように、前記画素を駆動する
請求項１に記載の撮像素子。 The light emission pattern of the predetermined light source is a repetition of ON and OFF of light having a predetermined wavelength band component,
2. The imaging according to claim 1, wherein the driving unit drives the pixel so as to synchronize transfer of the charge to at least one of the charge storage units with an on period of light having the predetermined wavelength band component. element.
前記画素領域の前記画素は、３つの前記電荷蓄積部を有し、
前記駆動部は、前記R、G、またはBの波長帯域成分を有する光のオン期間に同期させて、前記光電変換部で生成された電荷を、対応する３つの前記電荷蓄積部へ順次転送するように、前記画素を駆動する
請求項１０に記載の撮像素子。 As the light emission pattern of the predetermined light source, there are repetition of ON and OFF of three types of light having R, G, or B wavelength band components,
The pixel in the pixel region has three charge storage units,
The drive unit sequentially transfers charges generated by the photoelectric conversion unit to the corresponding three charge storage units in synchronization with an ON period of light having the R, G, or B wavelength band components. The image sensor according to claim 10, wherein the pixel is driven as described above.
前記駆動部は、少なくとも１つの前記電荷蓄積部への前記電荷の転送を、前記所定の配光特性を有する光のオン期間に同期させるように、前記画素を駆動する
請求項１に記載の撮像素子。 The light emission pattern of the predetermined light source is a repetition of ON and OFF of light having a predetermined light distribution characteristic,
2. The imaging according to claim 1, wherein the driving unit drives the pixel so as to synchronize transfer of the charge to at least one of the charge storage units with an on period of light having the predetermined light distribution characteristic. element.
請求項１２に記載の撮像素子。 The driving unit synchronizes with an on period of each of a plurality of light sources having different light distribution characteristics, and sequentially transfers the charges generated by the photoelectric conversion unit to the corresponding charge storage unit. The imaging device according to claim 12 that is driven.
請求項１２に記載の撮像素子。 The image sensor according to claim 12, wherein different gains are set in image signals obtained by a plurality of light sources having different light distribution characteristics.
所定の光源の発光パターンに応じて、前記光電変換部で生成された電荷を、前記複数の電荷蓄積部に順次転送することを１フレーム期間内に複数回繰り返すように、前記画素を駆動する
撮像素子の駆動方法。 Imaging having a pixel region in which a plurality of pixels each having a photoelectric conversion unit that converts incident light into photoelectric charge and stores the charge and a plurality of charge storage units that store charges transferred from the photoelectric conversion unit are arranged The element is
The pixels are driven so that the sequential transfer of the charges generated by the photoelectric conversion unit to the plurality of charge storage units is repeated a plurality of times within one frame period in accordance with a light emission pattern of a predetermined light source. Device driving method.
所定の光源の発光パターンに応じて、前記光電変換部で生成された電荷を、前記複数の電荷蓄積部に順次転送することを１フレーム期間内に複数回繰り返すように、前記画素を駆動する駆動部と
を有する撮像素子
を備える電子機器。 A pixel region in which a plurality of pixels each having a photoelectric conversion unit that converts incident light into electric charge by photoelectric conversion and accumulates and a plurality of charge accumulation units that accumulate charges transferred from the photoelectric conversion unit;
Drive for driving the pixels so that the sequential transfer of the charges generated by the photoelectric conversion unit to the plurality of charge storage units is repeated a plurality of times within one frame period in accordance with a light emission pattern of a predetermined light source An electronic device comprising an imaging device having a portion.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015068966A JP2016189557A (en) | 2015-03-30 | 2015-03-30 | Imaging element, driving method for the same and electronic equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015068966A JP2016189557A (en) | 2015-03-30 | 2015-03-30 | Imaging element, driving method for the same and electronic equipment |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016189557A true JP2016189557A (en) | 2016-11-04 |
Family
ID=57240545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015068966A Pending JP2016189557A (en) | 2015-03-30 | 2015-03-30 | Imaging element, driving method for the same and electronic equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016189557A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018110389A1 (en) * | 2016-12-15 | 2018-06-21 | 株式会社小糸製作所 | Vehicle lighting system and vehicle |
| WO2020039780A1 (en) * | 2018-08-24 | 2020-02-27 | ソニー株式会社 | Image-capturing device and power supply control method |
| CN114175618A (en) * | 2019-08-01 | 2022-03-11 | 布鲁克曼科技株式会社 | Distance image capturing apparatus and distance image capturing method |
| JP7459739B2 (en) | 2020-09-17 | 2024-04-02 | 株式会社デンソー | solid-state image sensor |
-
2015
- 2015-03-30 JP JP2015068966A patent/JP2016189557A/en active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018110389A1 (en) * | 2016-12-15 | 2018-06-21 | 株式会社小糸製作所 | Vehicle lighting system and vehicle |
| CN110087946A (en) * | 2016-12-15 | 2019-08-02 | 株式会社小糸制作所 | Vehicle lighting system and vehicle |
| US10965878B2 (en) | 2016-12-15 | 2021-03-30 | Koito Manufacturing Co., Ltd. | Vehicle illumination system and vehicle |
| WO2020039780A1 (en) * | 2018-08-24 | 2020-02-27 | ソニー株式会社 | Image-capturing device and power supply control method |
| JP7384163B2 (en) | 2018-08-24 | 2023-11-21 | ソニーグループ株式会社 | Imaging device and power control method |
| CN114175618A (en) * | 2019-08-01 | 2022-03-11 | 布鲁克曼科技株式会社 | Distance image capturing apparatus and distance image capturing method |
| JP7459739B2 (en) | 2020-09-17 | 2024-04-02 | 株式会社デンソー | solid-state image sensor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11050955B2 (en) | Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus | |
| US20210361152A1 (en) | Continuous video in a light deficient environment | |
| JP6780745B2 (en) | Electronics | |
| US11252356B2 (en) | Imaging element, driving method, and electronic device | |
| US7948551B2 (en) | Field sequential color camera system | |
| TWI701819B (en) | Imaging element, driving method and electronic equipment | |
| JP5245022B1 (en) | Imaging device | |
| US10811447B2 (en) | Solid-state imaging device, driving method, and electronic equipment | |
| US7008374B2 (en) | Imaging apparatus which adjusts for dark noise and readout noise | |
| KR20210013295A (en) | Image pickup element and image pickup unit | |
| US11006055B2 (en) | Imaging device and method for driving the same, and imaging apparatus | |
| JP2023052894A (en) | Imaging element and imaging device | |
| JP2016189557A (en) | Imaging element, driving method for the same and electronic equipment | |
| JP2016143850A (en) | Solid-state imaging device and electronic apparatus | |
| US20180048836A1 (en) | Solid-state imaging device, driving method, and electronic apparatus | |
| TW202205847A (en) | Imaging element, and electronic instrument | |
| US8681263B2 (en) | Imager capturing an image with a rolling shutter using flicker detection | |
| US10602071B2 (en) | Imaging device and control method | |
| CN111183633B (en) | Solid-state image pickup element and electronic device | |
| TW202335486A (en) | Solid-state imaging device and electronic apparatus |