JP2017118191A - 撮像素子及びその駆動方法、並びに撮像装置 - Google Patents

撮像素子及びその駆動方法、並びに撮像装置 Download PDF

Info

Publication number
JP2017118191A
JP2017118191A JP2015248832A JP2015248832A JP2017118191A JP 2017118191 A JP2017118191 A JP 2017118191A JP 2015248832 A JP2015248832 A JP 2015248832A JP 2015248832 A JP2015248832 A JP 2015248832A JP 2017118191 A JP2017118191 A JP 2017118191A
Authority
JP
Japan
Prior art keywords
pixel
pixels
charge
unit
photoelectric conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015248832A
Other languages
English (en)
Inventor
寿伸 杉山
Hisanobu Sugiyama
寿伸 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2015248832A priority Critical patent/JP2017118191A/ja
Priority to PCT/JP2016/086465 priority patent/WO2017110481A1/ja
Priority to US16/061,813 priority patent/US11006055B2/en
Publication of JP2017118191A publication Critical patent/JP2017118191A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/148—Charge coupled imagers
    • H01L27/14831—Area CCD imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534—Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】時間ずれの少ない２種類の画像を生成する撮像素子及びその駆動方法、並びに撮像装置を提供する。【解決手段】撮像素子１３は、入射した光を光電変換により電荷に変換する光電変換部４１と、光電変換部から転送される電荷を蓄積する電荷蓄積部４３とを少なくとも有する画素３１が複数配置された画素アレイ２１を備える。画素アレイの少なくとも一部の画素は、光電変換部で生成された電荷を電荷蓄積部に転送する動作を、隣接する画素で異なるタイミングで行う。【選択図】図３

Description

本技術は、撮像素子及びその駆動方法、並びに撮像装置に関し、特に、時間ずれの少ない２種類の画像を生成することができるようにする撮像素子及びその駆動方法、並びに撮像装置に関する。
例えば、監視カメラなどの撮像装置においては、赤外光で被写体を照らして撮像することで、認識性を向上させたものがある。例えば、特許文献１では、赤外LEDの点灯と消灯を１フレーム単位で繰り返し、１フレームおきに、可視画像（カラー画像）と、赤外光によってコントラストが鮮やかになったIR画像（モノクロ画像）を取得して、可視画像とIR画像とを合成することにより、認識性を向上させた画像を生成する技術が開示されている。
特開２０１１−２３３９８３号公報
しかしながら、IR画像と可視画像をフレーム単位で切り替えて生成する方法では、フレーム単位の時間ずれが発生し、合成したときに画像ずれによるアーチファクトが発生する。
本技術は、このような状況に鑑みてなされたものであり、時間ずれの少ない２種類の画像を生成することができるようにするものである。
本技術の第１の側面の撮像素子は、入射した光を光電変換により電荷に変換する光電変換部と、前記光電変換部から転送される電荷を蓄積する電荷蓄積部とを少なくとも有する画素が複数配置された画素アレイを備え、前記画素アレイの少なくとも一部の画素は、前記光電変換部で生成された電荷を前記電荷蓄積部に転送する動作を、隣接する画素で異なるタイミングで行う。
本技術の第２の側面の撮像素子の駆動方法は、入射した光を光電変換により電荷に変換する光電変換部と、前記光電変換部から転送される電荷を蓄積する電荷蓄積部とを少なくとも有する画素が複数配置された画素アレイの少なくとも一部の画素が、前記光電変換部で生成された電荷を前記電荷蓄積部に転送する動作を、隣接する画素で異なるタイミングで行う。
本技術の第１及び第２の側面においては、入射した光を光電変換により電荷に変換する光電変換部と、前記光電変換部から転送される電荷を蓄積する電荷蓄積部とを少なくとも有する画素が複数配置された画素アレイの少なくとも一部の画素において、前記光電変換部で生成された電荷を前記電荷蓄積部に転送する動作が、隣接する画素で異なるタイミングで行われる。
本技術の第３の側面の撮像装置は、入射した光を光電変換により電荷に変換する光電変換部と、前記光電変換部から転送される電荷を蓄積する電荷蓄積部とを少なくとも有する画素が複数配置された画素アレイを備え、前記画素アレイの少なくとも一部の画素が、前記光電変換部で生成された電荷を前記電荷蓄積部に転送する動作を、隣接する画素で異なるタイミングで行う撮像素子と、前記撮像素子において第１のタイミングで得られた第１の画素信号から第１の画像を生成し、第２のタイミングで得られた第２の画素信号から第２の画像を生成する画像信号処理部とを備える。
本技術の第３の側面においては、入射した光を光電変換により電荷に変換する光電変換部と、前記光電変換部から転送される電荷を蓄積する電荷蓄積部とを少なくとも有する画素が複数配置された画素アレイの少なくとも一部の画素において、前記光電変換部で生成された電荷を前記電荷蓄積部に転送する動作が、隣接する画素で異なるタイミングで行われ、撮像素子において第１のタイミングで得られた第１の画素信号から第１の画像が生成され、第２のタイミングで得られた第２の画素信号から第２の画像が生成される。
撮像装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
本技術の第１乃至第３の側面によれば、時間ずれの少ない２種類の画像を生成することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した撮像装置の一実施の形態の構成例を示すブロック図である。 IRバンドパスフィルタの透過特性を示す図である。 CMOSセンサの概略構成例を示す図である。 画素アレイのフィルタ配列を示す図である。 画素アレイの駆動制御線の配線例を示す図である。 露光期間の制御タイミングを示すタイミングチャートである。 画素アレイの各画素の受光を説明する図である。 各画素の電荷の読み出し方法について説明する図である。 カメラDSP部の第１の構成例を示すブロック図である。 輝度合成部の詳細な構成例を示すブロック図である。 ゲイン変換部の処理を説明する図である。 カメラDSP部によるカラー画像生成処理を説明するフローチャートである。 撮像装置の第１の変形例を説明する図である。 撮像装置の第２の変形例を説明する図である。 撮像装置の第２の変形例の構成例を示すブロック図である。 撮像装置の第２の変形例の駆動を説明する図である。 撮像装置の第３の変形例を説明する図である。 撮像装置の第４の変形例を説明する図である。 撮像装置の第５の変形例を説明する図である。 第５の変形例の構成例を示すブロック図である。 撮像装置の第６の変形例を説明する図である。 カメラDSP部の第２の構成例を示すブロック図である。 第６の変形例において高周波補間部が出力する信号を説明する図である。 第６の変形例における画素駆動のその他の例を説明する図である。 第６の変形例における画素駆動のさらにその他の例を説明する図である。 撮像装置の第７の変形例を説明する図である。 その他のアプリケーション適用例を説明する図である。 その他のアプリケーション適用例を説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．撮像装置の構成例
２．CMOSイメージセンサの概略構成例
３．フィルタ配列例
４．TRX制御線及びOFG制御線の配線例
５．各画素の露光期間制御
６．電荷読み出し制御
７．カメラDSP部の構成例
８．カメラDSP部によるカラー画像生成処理
９．変形例
１０．その他のアプリケーション適用例
＜１．撮像装置の構成例＞
図１は、本技術を適用した撮像装置の一実施の形態の構成例を示している。
図１の撮像装置１０は、例えば監視カメラなどに用いられるものであり、赤外光を照射した状態で得られる赤外画像と、赤外光を照射していない低照度下で得られる可視画像に基づいてカラー画像を生成するものである。
撮像装置１０は、一般的なカメラと同様に構成される撮像系と、画像処理を実施する画像処理系と、撮像範囲に向けて赤外光を照射する投光系から構成される。
撮像装置１０の撮像系は、レンズ１１、IRバンドパスフィルタ１２、および、CMOSイメージセンサ１３（以下、CMOSセンサ１３と略称する）から成る。撮像系においては、レンズ１１が被写体の光学像をCMOSセンサ１３に集光し、レンズ１１とCMOSセンサ１３の間に配置されたIRバンドパスフィルタ１２が被写体の光学像から可視光成分および赤外光成分を抽出し、CMOSセンサ１３が入射光に基づく画像信号を生成して画像処理系に出力する。
図２は、IRバンドパスフィルタ１２の透過特性を示している。IRバンドパスフィルタ１２は、可視光に対応する波長400nmから650nmの領域と、投光系が照射する赤外光の波長に対応する領域（例えば、850nm±25nm）に対して高い透過率を有するデュアルバンドパスフィルタである。
なお、本明細書において、投光系が照射する赤外光を投光IRとも称し、太陽光等に含まれる赤外光など、投光系が照射する赤外光以外の赤外光を環境IRとも称する。
図１に戻り、撮像装置１０の画像処理系は、カメラDSP部１４とフレームメモリ１５から成る。カメラDSP部１４は、CMOSセンサ１３から供給される画像信号の信号処理を行う画像信号処理部である。
カメラDSP部１４は、例えば、CMOSセンサ１３から供給される画像信号に基づいて、投光IRオンのタイミングで露光された画素からIR照射画像を生成し、投光IRオフのタイミングで露光された画素から可視画像（IR非照射画像）を生成し、出力する。また、カメラDSP部１４は、CMOSセンサ１３の駆動（露光や読み出し）を制御するためのV同期信号を発生し、CMOSセンサ１３に出力する。さらにまた、カメラDSP部１４は、投光系を制御するためのドライバ信号（ON/OFF信号および強度調整信号）を発生し、IR駆動部１６に出力する。フレームメモリ１５は、CMOSセンサ１３から供給される画像信号の所定の信号処理（例えば、後述するノイズリダクション処理）のため、所定の画像信号を一時的に保持する。
撮像装置１０の投光系は、IR駆動部１６およびIR照射部１７から成る。投光系においては、IR駆動部１６が、カメラDSP部１４からの制御に従い、IR照射部１７から赤外光を照射させる。IR照射部１７は、IRバンドパスフィルタ１２の透過波長帯に対応する赤外光を撮像範囲に向けて照射する。なお、IR照射部１７は、撮像装置１０の筐体内に配置してもよいし、撮像装置１０の筐体外部に配置してもよい。
以上のように構成される撮像装置１０においては、IR照射部１７が、カメラDSP部１４が制御したタイミングで、投光IRをパルス照射する。CMOSセンサ１３は、投光IRのタイミングに同期して撮像を行う。カメラDSP部１４は、例えば、投光IRオンのタイミングで露光された画素からIR照射画像を生成し、投光IRオフのタイミングで露光された画素から可視画像（IR非照射画像）を生成する。そして、カメラDSP部１４は、IR照射画像の輝度情報と、可視画像の色差情報とを合成した合成画像を生成することにより、コントラストが鮮やかになったカラー画像を得ることができる。
＜２．CMOSイメージセンサの概略構成例＞
図３は、CMOSセンサ１３の概略構成例を示している。このCMOSセンサ１３は、画素アレイ２１、垂直信号線２２、アナログゲインアンプ２３、ADC２４、データバッファ２５、および垂直駆動回路２６を有する。画素アレイ２１には、複数の画素３１が行列状に２次元配置されている。
画素３１は、光電変換素子としてのフォトダイオード４１、第１転送トランジスタ４２、メモリ部４３、第２転送トランジスタ４４、FD(フローティングディフュージョン)４５、リセットトランジスタ４６、増幅トランジスタ４７、選択トランジスタ４８、及び排出トランジスタ４９を有する。
フォトダイオード４１は、受光量に応じた電荷（信号電荷）を生成し、蓄積する光電変換部である。フォトダイオード４１のアノード端子が接地されているとともに、カソード端子が第１転送トランジスタ４２を介してメモリ部４３に接続されている。また、フォトダイオード４１のカソード端子は、排出トランジスタ４９とも接続されている。
第１転送トランジスタ４２は、転送信号TRXによりオンされたとき、フォトダイオード４１で生成された電荷を読み出し、メモリ部４３に転送する。メモリ部４３は、FD４５に電荷を転送するまでの間、一時的に電荷を蓄積する電荷蓄積部である。第２転送トランジスタ４４は、転送信号TRGによりオンされたとき、メモリ部４３に蓄積されている電荷をFD４５に転送する。
FD４５は、メモリ部４３から読み出された電荷を信号として読み出すために一時的に保持する電荷保持部である。リセットトランジスタ４６は、リセット信号RSTによりオンされたとき、リセット電圧Vrstに接続することで、FD４５の電位をリセットする。
増幅トランジスタ４７は、FD４５の電位に応じた画素信号を出力する。すなわち、増幅トランジスタ４７はアナログゲインアンプ２３の負荷MOS（不図示）とソースフォロワ回路を構成し、FD４５に保持されている電荷に応じたレベルを示す画素信号が、増幅トランジスタ４７から選択トランジスタ４８を介してADC２４に出力される。
選択トランジスタ４８は、選択信号SELにより画素３１が選択されたときオンされ、画素３１の画素信号を、垂直信号線２２を介してADC２４に出力する。排出トランジスタ４９は、排出信号OFGによりオンされたとき、フォトダイオード４１に蓄積されている不要電荷を定電圧源Vddに排出する。転送信号TRX及びTRG、リセット信号RST、選択信号SEL、並び排出信号OFGは、垂直駆動回路２６によって制御され、各画素３１に供給される。
画素３１の動作の一例について簡単に説明する。
まず、露光開始前に、Highレベルの排出信号OFGが排出トランジスタ４９に供給されることにより排出トランジスタ４９がオンされ、フォトダイオード４１に蓄積されている電荷が定電圧源Vddに排出され、フォトダイオード４１がリセットされる。
フォトダイオード４１のリセット後、排出トランジスタ４９が、Lowレベルの排出信号OFGによりオフされると、全画素で露光が開始される。
予め定められた所定の露光時間が経過すると、画素アレイ２１の全画素において、転送信号TRXにより第１転送トランジスタ４２がオンされ、フォトダイオード４１に蓄積されていた電荷が、メモリ部４３に転送される。
第１転送トランジスタ４２がオフされた後、各画素３１のメモリ部４３に保持されている電荷が、行単位に、順次、ADC２４に読み出される。読み出し動作は、読出し行の画素３１の第２転送トランジスタ４４が転送信号TRGによりオンされ、メモリ部４３に保持されている電荷が、FD４５に転送される。そして、選択トランジスタ４８が選択信号SELによりオンされることで、FD４５に保持されている電荷に応じたレベルを示す信号が、増幅トランジスタ４７から選択トランジスタ４８を介してADC２４に出力される。
CMOSセンサ１３においては、画素アレイ２１の各画素３１の画素信号は、掃引開始行（1st-Line）から最終行(Last-Lien)に向かう掃引方向に従い、行毎に読み出される。
読み出された画素信号は、垂直信号線２２を介してアナログゲインアンプ２３に出力されて増幅され、ADC２４でデジタルの画素信号に変換されてデータバッファ２５に格納される。なお、アナログゲインアンプ２３におけるゲインは照明に応じて適応的に設定することが可能である。そして、画素アレイ２１を構成する全画素分の画素信号が画像信号として後段のカメラDSP部１４に出力される。
＜３．フィルタ配列例＞
図４は、画素アレイ２１の各画素３１においてフォトダイオード４１の上側に配置されているフィルタのフィルタ配列を示している。
画素アレイ２１のフィルタ配列は、図４に示されるようにWのフィルタを市松状に配置し、それ以外の画素位置に、R,G、またはBのフィルタを配置したRGBWフィルタとなっている。ここで、R,G,Bのフィルタは、それぞれ、R（Red）、G（Green）、またはB（Blue）の波長領域の光を通過させるカラーフィルタであり、Wのフィルタは、全波長領域の光を通過させるホワイトフィルタ（透明フィルタ）である。したがって、Wのフィルタが配置された画素３１は、IRバンドパスフィルタ１２を通過してきた、R,G,Bの各波長領域の光と、赤外領域の光を受光することができる。
なお、以下では、Wのフィルタを配置した画素３１をW画素とも称し、R,G,Bのフィルタを配置した画素３１を、R画素、G画素、B画素とも称する。また、R画素、G画素、B画素を特に区別する必要がなく、単にW画素と区別すればよい場合には、それらをRGB画素と総称する場合がある。
＜４．TRX制御線及びOFG制御線の配線例＞
図５は、画素アレイ２１内の各画素３１を駆動するための駆動制御線の配線例を示している。
なお、図５では、図が煩雑になるのを避けるため、各画素３１のフォトダイオード４１やトランジスタ等の符号の図示が省略されている。
TRX制御線５１は、画素３１の第１転送トランジスタ４２を制御する転送信号TRXを伝送する制御線である。画素アレイ２１には、各行に対して、TRX制御線５１−１と５１−２の２本のTRX制御線５１が配置されている。
画素アレイ２１の各行には、第１転送トランジスタ４２がTRX制御線５１−１に接続されている画素３１とTRX制御線５１−２に接続されている画素３１とが、交互に配置されている。TRX制御線５１−１を介して伝送する転送信号TRXを転送信号TRX_p、TRX制御線５１−２を介して伝送する転送信号TRXを転送信号TRX_nと区別して呼ぶことにすると、転送信号TRX_pによって制御される画素３１と、転送信号TRX_nによって制御される画素３１とが水平方向及び垂直方向で交互に配置されている。
OFG制御線５２は、画素３１の排出トランジスタ４９を制御する排出信号OFGを伝送する制御線である。画素アレイ２１には、各行に対して、OFG制御線５２−１と５２−２の２本のOFG制御線５２が配置されている。
画素アレイ２１の各行には、排出トランジスタ４９がOFG制御線５２−１に接続されている画素３１とOFG制御線５２−２に接続されている画素３１とが、交互に配置されている。OFG制御線５２−１を介して伝送する排出信号OFGを排出信号OFG_p、OFG制御線５２−２を介して伝送する排出信号OFGを排出信号OFG_nと区別して呼ぶことにすると、排出信号OFG_pによって制御される画素３１と、排出信号OFG_nによって制御される画素３１とが水平方向及び垂直方向で交互に配置されている。
図４を参照して説明した画素アレイ２１のフィルタ配列との関係では、転送信号TRX_p及び排出信号OFG_pによって制御される画素３１は、全て、W画素となっており、転送信号TRX_n及び排出信号OFG_nによって制御される画素３１は、RGB画素となっている。これにより、CMOSセンサ１３においては、W画素とRGB画素とで、異なる露光期間を設定することができる。
＜５．各画素の露光期間制御＞
図６は、画素アレイ２１内の各画素３１の露光期間の制御タイミングを示すタイミングチャートである。
IR照射部１７は、投光IRをパルス照射する。IR照射部１７は、１フレーム期間（例えば、1/30sec）に対して、IR照射期間（ON期間）とIR非照射期間（OFF期間）が同時であるとみなせる程度の高速周期でパルス照射を行う。例えば、IR照射部１７が100kHzの周期でパルス照射を行うとすると、１パルスは１０μsecとなり、IR照射期間とIR非照射期間が同時であると考えることができる。
CMOSセンサ１３の垂直駆動回路２６は、画素アレイ２１内のW画素を、投光IRを照射したタイミングで受光する投光IR受光画素とし、画素アレイ２１内のRGB画素を、投光IRを照射しないタイミングで受光する可視光受光画素となるように、各画素３１を駆動する。
具体的には、垂直駆動回路２６は、W画素については、露光期間をIR照射期間に対応させ、IR照射期間の開始直前に排出信号OFG_pをオンに設定して、それまでの蓄積電荷を排出し、IR照射期間の終了直前に転送信号TRX_pをオンに設定して、フォトダイオード４１が生成した電荷をメモリ部４３に転送する。W画素のメモリ部４３には、１フレーム期間において発生する複数のIR照射期間にフォトダイオード４１が生成した電荷が、蓄積される。W画素のメモリ部４３に蓄積された電荷は、IR照射画像の信号となる。図６に示される「（IR+VIS）電荷転送」は、赤外領域（IR）と可視光領域（VIS）の両方の入射光に対応する蓄積電荷が転送されることを表す。
一方、RGB画素については、垂直駆動回路２６は、W画素と逆相で動作させるように制御する。即ち、垂直駆動回路２６は、露光期間をIR非照射期間に対応させ、IR非照射期間の開始直前に排出信号OFG_nをオンに設定して、それまでの蓄積電荷を排出し、IR非照射期間の終了直前に転送信号TRX_nをオンに設定して、フォトダイオード４１が生成した電荷をメモリ部４３に転送する。RGB画素のメモリ部４３には、１フレーム期間において発生する複数のIR非照射期間にフォトダイオード４１が生成した電荷が、蓄積される。RGB画素のメモリ部４３に蓄積された電荷は、IR非照射画像の信号となる。図６に示される「VIS電荷転送」は、可視光領域（VIS）の入射光に対応する蓄積電荷が転送されることを表し、R画素であればRの波長光、G画素であればGの波長光、B画素であればBの波長光を光電変換した蓄積電荷となる。
以上のように、CMOSセンサ１３は、IR照射期間をW画素に割り当て、IR非照射期間をRGB画素に割り当てて、行方向に隣接する画素で異なるタイミングで露光及び電荷転送する動作を繰り返し行う。これより、図７に示されるように、W画素は、R,G,Bの可視光と投光IRを受光し、R画素は、Rの波長光を受光し、G画素は、Gの波長光を受光し、B画素は、Bの波長光を受光する。
＜６．電荷読み出し制御＞
次に、図８を参照して、画素アレイ２１の各画素に蓄積された電荷の読み出し方法について説明する。
図８は、画素アレイ２１の各画素３１の蓄積電荷の読み出しタイミングを示すタイミングチャートである。
１フレーム期間は、電荷をメモリ部４３へ転送して蓄積する電荷転送期間と、蓄積した電荷をADC２４に読み出す読み出し期間に分けられる。電荷転送期間では、図６を参照して説明した転送信号TRX_p及びTRX_nの制御により、W画素及びRGB画素が、それぞれのパルス照射タイミングに同期して、フォトダイオード４１による電荷の生成及びメモリ部４３への蓄積を行う。
そして、電荷転送期間の終了直前に、リセット信号RSTがHighレベルに設定されてリセットトランジスタ４６がオンされることによりFD４５の電位がリセットされた後、転送信号TRGがHighレベルに設定されて第２転送トランジスタ４４がオンされ、メモリ部４３に蓄積されていた電荷が、FD４５に転送される。このFD４５への電荷転送動作は、画素アレイ２１の全画素で同時に実行される。
その後、読み出し期間において、図３に示した掃引方向に従い、行ごとに順番に、各行のFD４５に保持されている電荷に応じたレベルを示す信号が、増幅トランジスタ４７から選択トランジスタ４８を介してADC２４に出力される。
以上の動作により、CMOSセンサ１３の画素アレイ２１では、全画素でほぼ同時とみなす露光動作を行うことができ、なおかつ、グローバルシャッタ機能が実現可能となる。
＜７．カメラDSP部の構成例＞
図９は、図６及び図８に示した駆動制御により得られた画像信号の信号処理を行うカメラDSP部１４の構成例（第１の構成例）を示している。
カメラDSP部１４は、タイミング制御部６１、AE制御部６２、及び3DNR部６３を有する。
タイミング制御部６１は、CMOSセンサ１３を駆動制御するためのV同期信号と、IR駆動部１６を制御するためのON/OFF信号を生成する。AE制御部６２は、CMOSセンサ１３におけるアナログゲインアンプ２３を制御するためのゲイン調整信号と、IR駆動部１６を制御するための強度信号を生成する。
3DNR部６３は、CMOSセンサ１３から入力される現フレームの画像の各画素とその周辺画素とのフィルタリング処理により２次元的にノイズを除去する2DNR処理と、CMOSセンサ１３から入力される現フレームの画像とフレームメモリ１５に保持されている過去フレーム（１フレーム期間以前）の3DNR処理済の画像との重み付け平均化を行う時間方向処理を組み合わせた3DNR処理を行う。なお、時間方向処理における現フレームの画像に対する重み付けの値は帰還率と称され、ここでの帰還率は、例えば、１／８、１／２などとされる。
3DNR部６３における3DNR処理済の現フレームの画像は、フレームメモリ１５に上書き記録される。
3DNR部６３より後段は、CMOSセンサ１３から供給された現フレームの画像の各画素のうち、W画素から得られた画素信号を処理する輝度信号処理系と、RGB画素から得られた画素信号を処理する可視画像処理系とに分かれる。
3DNR部６３より後段の輝度信号処理系は、高周波補間部６４と2DNR部６５を有する。
高周波補間部６４には、3DNR部６３で3DNR処理済の現フレームの画像のうち、W画素の信号（W+IR信号）が供給される。高周波補間部６４は、市松模様状に配置された各W画素の画素データから、RGB画素部分の画素データを補間処理により算出し、各画素の画素データが輝度情報YIRで構成されるIR照射画像を生成する。高周波補間部６４は、現フレームのIR照射画像の各画素の画素データ（輝度情報YIR）を、2DNR部６５および輝度合成部７０に出力する。
2DNR部６５は、IR照射画像の各画素の輝度情報YIRに二次元ノイズリダクション処理を行うことによりその低周波成分を抽出し、その結果得られる輝度情報YIR_NRを輝度合成部７０に出力する。
カメラDSP部１４の可視画像処理系は、デモザイク部６６、ホワイトバランス（WB）部６７、2DNR部６８、およびYCC変換部６９を有する。
デモザイク部６６には、3DNR部６３で3DNR処理済の現フレームの画像のうち、RGB画素の信号（R信号、G信号、B信号）が供給される。デモザイク部６６は、デモザイク処理を行うことにより、3DNR処理済の現フレームのRGB画素の画素データから、各画素それぞれがR，G，Bの色情報を有するRGBデータで構成される可視画像を生成してホワイトバランス部６７に出力する。
ホワイトバランス部６７は、可視画像の画像信号（RGBデータ）にホワイトバランス処理を行い、ホワイトバラン処理後の可視画像を2DNR部６８に出力する。2DNR部６８は、ホワイトバランス部６７から供給されるホワイトバラン処理後の可視画像に対して、例えば、εフィルタなどの広域フィルタを用いた二次元のノイズリダクション処理（2DNR処理）を行い、YCC変換部６９に出力する。
YCC変換部６９は、各画素がRGBデータで構成される2DNR処理後の可視画像を、各画素が輝度情報Ycと色差情報Cb，Crを有する可視画像（YCCデータ）に変換し、輝度情報Ycを輝度合成部７０に出力し、色差情報Cb，CrをRGB変換部７２に出力する。
カメラDSP部１４は、輝度信号処理系と可視画像処理系の出力から、視認性を向上させたカラー画像を生成するカラー画像生成系として、輝度合成部７０、γ補正部７１、およびRGB変換部７２を有する。
輝度合成部７０は、輝度信号処理系から供給されるIR照射画像の輝度情報YIRおよび輝度情報YIR_NR、並びに、可視画像処理系から供給される可視画像の輝度情報Ycを合成することにより、後段で生成するカラー画像の輝度信号としての輝度情報Ysymを算出する。
なお、輝度合成部７０を経ることなく、IR照射画像の輝度情報YIRをそのままカラー画像の輝度信号とした場合、赤外光の反射率と可視光の反射率が大きく異なる被写体では、輝度情報の違いにより色再現が劣化してしまう。例えば、赤外反射率の高い黒服（可視光の反射率が低い）などでは、IR照射画像の輝度情報YIRをそのまま輝度情報として使用してしまうと、出力画像では白服となってしまう。輝度合成部７０を設けたことにより、このような不具合を防ぐことができる。
図１０は、輝度合成部７０の詳細な構成例を示している。
輝度合成部７０は、除算部８１、ゲイン変換部８２、および乗算部８３から構成される。除算部８１は、可視画像の輝度情報YcとIR照射画像の輝度情報YIR_NRとの比率Yratio=Yc/YIR_NRを算出し、得られた比率Yratioをゲイン変換部８２に出力する。ゲイン変換部８２は、所定の関数（または保持する変換テーブル）に従い、比率YratioをYgainに変換して乗算部８３に出力する。
ここで、ゲイン変換部８２で用いられる関数について説明する。輝度合成部７０では、基本的には、この比率Yratioを元のIR照射画像の輝度情報YIRにかけ戻す（乗算する）ことにより、輝度情報YIRをYc信号で変調する処理を行う。しかしながら、単にかけ戻すだけでは画面全体が暗くなる傾向にあり、また、Ycによる変調度を調整することができない。そこで、ゲイン変換部８２では、非線形関数曲線を用いて比率YratioをYgainに変換する。
図１１のAは、ゲイン変換部８２で用いる非線形関数の一例として、ガンマカーブに類似した指数関数を示している。この場合、指数値αを選択することにより、変調の度合いを調整することが可能となる。例えばαの値を大きくするとYgainは全体的に１に近づき、変調度は弱くなる。反対に、αの値を小さくするとYgainは１から乖離し、変調の程度が大きくなる。
ただし、図１１のAに示されたような指数関数曲線では、Yratioの値が小さい領域で傾きが急峻となり、Yratioのわずかな差により、Ygainが大きく変動してしまい、ノイズを増幅してしまう原因となり得る。そこで、このような不具合を回避するため、図１１のBに示されるように、Yratioの小さい領域でYgainをクリップ（最小値を設定）する。なお、このような関数を用いる代わりに、予め作成した変換テーブルをゲイン変換部８２が保持するようにしてもよい。
図１０に戻り、乗算部８３は、IR照射画像の輝度情報YIRにYgainをかけ戻す（乗算する）ことにより、カラー画像の輝度信号としての輝度情報Ysymを算出して後段のγ補正部７１に出力する。
図９に戻り、γ補正部７１は、輝度合成部７０から供給される輝度情報Ysymにγ補正処理を行い、γ補正処理後の輝度情報YsymをRGB変換部７２に出力する。
RGB変換部７２は、YCC変換部６９から供給される可視画像の色差情報Cb，Crと、γ補正部７１から供給されるγ補正処理後の輝度情報Ysymに基づき、各画素がR，G，Bの色情報を有する１枚のカラー画像を生成して後段に出力する。RGB変換部７２によって生成されるカラー画像は、IR照射画像の輝度情報を用いたことにより、コントラストが鮮やかになったカラー画像である。
＜８．カメラDSP部によるカラー画像生成処理＞
次に、図１２のフローチャートを参照して、カメラDSP部１４によるカラー画像生成処理について説明する。このカラー画像生成処理は、例えば、現フレームの画像信号がCMOSセンサ１３から供給されたとき、実行される。
初めに、ステップＳ１において、3DNR部６３は、CMOSセンサ１３から供給された現フレームの画像に対して3DNR処理を行い、3DNR処理済の現フレームの画像をフレームメモリ１５に上書き記録する。また、3DNR部６３は、3DNR処理済の現フレームの画像のうち、W画素の画素信号を高周波補間部６４に出力し、RGB画素の画素信号をデモザイク部６６に出力する。
ステップＳ２において、高周波補間部６４は、3DNR部６３から供給されたW画素の画素信号を用いて高周波補間処理を行うことより、現フレームのIR照射画像を生成する。即ち、高周波補間部６４は、市松模様状に配置された各W画素の画素データから、RGB画素部分の画素データを補間処理により算出し、各画素の画素データが輝度情報YIRで構成されるIR照射画像を生成する。そして、高周波補間部６４は、現フレームのIR照射画像の各画素の画素データ（輝度情報YIR）を、2DNR部６５および輝度合成部７０に出力する。
ステップＳ３において、2DNR部６５は、IR照射画像の各画素の輝度情報YIRに二次元ノイズリダクション処理を行うことによりその低周波成分を抽出し、その結果得られる輝度情報YIR_NRを輝度合成部７０に出力する。
ステップＳ４において、デモザイク部６６は、デモザイク処理を行うことにより、現フレームの可視画像を生成する。即ち、デモザイク部６６は、3DNR処理済の現フレームのRGB画素の画素データから、各画素それぞれがR，G，Bの色情報を有するRGBデータで構成される可視画像を生成してホワイトバランス部６７に出力する。デモザイク処理では、例えば、４画素×４画素の領域を単位領域として、その単位領域内のR画素，G画素，B画素の色情報に基づいて、単位領域内の各画素のR，G，Bの色情報が生成される。
ステップＳ５において、ホワイトバランス部６７は、可視画像の画像信号（RGBデータ）にホワイトバランス処理を行い、ホワイトバラン処理後の可視画像を2DNR部６８に出力する。
ステップＳ６において、2DNR部６８は、ホワイトバランス処理後の可視画像（RGBデータ）に2DNR処理を行い、YCC変換部６９に出力する。
ステップＳ７において、YCC変換部６９は、RGBデータで構成される2DNR処理後の可視画像を、輝度情報Ycと色差情報Cb，CrとからなるYCCデータの可視画像に変換するYCC変換処理を行う。即ち、YCC変換部６９は、各画素がRGBデータで構成される2DNR処理後の可視画像を、各画素が輝度情報Ycと色差情報Cb，Crを有する可視画像に変換し、輝度情報Ycを輝度合成部７０に出力し、色差情報Cb，CrをRGB変換部７２に出力する。
上述したステップＳ２及びＳ３の処理は輝度信号処理系の処理であり、ステップＳ４乃至Ｓ７の処理は可視画像処理系の処理であるので、両者は並列に実行することができる。あるいは、ステップＳ２及びＳ３の処理の前に、ステップＳ４乃至Ｓ７の処理を実行してもよい。
ステップＳ８において、輝度合成部７０は、輝度信号処理系から供給されるIR照射画像の輝度情報YIRおよび輝度情報YIR_NR、並びに、可視画像処理系から供給される可視画像の輝度情報Ycを合成することにより、後段で生成するカラー画像の輝度信号としての輝度情報Ysymを算出して、γ補正部７１に出力する。
ステップＳ９において、γ補正部７１は、輝度合成部７０から供給された輝度情報Ysymにγ補正処理を行い、γ補正処理後の輝度情報YsymをRGB変換部７２に出力する。
ステップＳ１０において、RGB変換部７２は、γ補正部７１から供給されたγ補正処理後の輝度情報Ysymと、YCC変換部６９から供給された可視画像の色差情報Cb，Crとに基づき、各画素がR，G，Bの色情報を有する１枚のカラー画像を生成して後段に出力する。以上で、カラー画像生成処理が終了する。
以上説明したカラー画像生成処理によれば、１フレーム期間に取得された画像信号から、IR照射期間に対応したIR照射画像と、IR非照射期間に対応した可視画像が生成される。そして、IR照射画像から生成した輝度情報Ysymと、可視画像の色差情報Cb，Crを用いて、コントラストが鮮やかになったカラー画像を生成することができる。
撮像装置１０では、CMOSセンサ１３を、IR照射期間に同期してW画素を露光させ、IR非照射期間に同期してRGB画素を露光させるように駆動制御することにより、１フレームの画像信号から、IR照射画像と可視画像を生成することができる。したがって、１フレーム期間でIR照射画像と可視画像の両方を取得することができ、時間ずれの少ないIR照射画像と可視画像を生成することができる。
IR照射画像と可視画像の時間差がなくなるので、IR照射画像と可視画像を用いて合成するカラー画像において画像ずれによるアーチファクトが発生しない。また、IR照射画像と可視画像には時間差がないので、２つの画像の時間差を補償するためのフレームバッファが不要となり、システムコストが低減される。
＜９．変形例＞
次に、上述した実施の形態（以下、基本実施形態ともいう。）の変形例について説明する。
＜第１の変形例＞
初めに、図１３を参照して、撮像装置１０の第１の変形例について説明する。
図６及び図８を参照して説明した垂直駆動回路２６による駆動制御では、IR照射期間の露光期間と、IR非照射期間の露光期間が、同じに設定されていた。
しかしながら、カメラDSP部１４は、IR照射期間（ON期間）とIR非照射期間（OFF期間）のデューティ比を変更することができるので、図１３に示されるように、IR照射期間が短く、IR非照射期間が長くなるようにデューティ比を制御し、IR照射期間の露光期間を短く、IR非照射期間の露光期間を長くすることができる。例えば、監視カメラの夜間撮影などでは、投光IRを照射しない画像の感度が低くなるため、露光期間を長めに設定できることが望ましいが、IR照射期間とIR非照射期間のデューティ比を変更することで、これが実現できる。
なお、撮像装置１０の用途に応じて、IR照射期間が長く、IR非照射期間が短くなるようにデューティ比を制御し、IR照射期間の露光期間を長く、IR非照射期間の露光期間を短くしてもよい。
＜第２の変形例＞
次に、撮像装置１０の第２の変形例について説明する。
上述した基本実施形態では、図７にしたように、全てのW画素を、R,G,Bの可視光と投光IRを受光する投光IR受光画素に設定したが、図１４に示されるように、W画素の一部を、投光IR受光画素に設定することもできる。
図１４の例では、W画素、G画素、W画素、G画素、・・・の順で水平方向に並ぶ行のW画素では、IR非照射期間中に露光するようにして、R,G,Bの可視光が受光される。一方、B画素、W画素、R画素、W画素、・・・の順で水平方向に並ぶ行のW画素では、IR照射期間中に露光するようにして、R,G,Bの可視光と投光IRが受光される。
画素アレイ２１の各画素の受光をこのように制御することにより、カメラDSP部１４の可視画像処理系において、環境IRを分離した可視画像を生成することができる。
具体的には、図１４に示したように、W画素の一部をIR照射期間の露光画素、残りのW画素をIR非照射期間の露光画素とした場合、図１５に示されるように、IR照射期間に露光したW画素の信号（W+IR信号）は、輝度信号処理系の高周波補間部６４に供給され、IR非照射期間に露光したW画素の信号（W信号）は、RGB画素の信号（R信号、G信号、B信号）とともに、可視画像処理系のデモザイク部６６に供給される。
ここで、環境IRをirで表し、環境IRを含むW信号、R信号、G信号、及びB信号を、Wir,Rir,Gir,Birで表すと、Wir信号、Rir信号、Gir信号、及びBir信号は、Wir=R+G+B+ir，Rir=R+ir，Gir=G+ir，Bir=B+irと表される。
デモザイク部６６は、次式（１）乃至（４）の演算を行うことにより、環境IRを分離したR信号、B信号、G信号を生成することができる。
ir=(Rir+Gir+Bir-Wir)/2 ・・・・・・（１）
R=Rir-ir ・・・・・・（２）
G=Gir-ir ・・・・・・（３）
B=Bir-ir ・・・・・・（４）
従って、デモザイク部６６は、環境IRを分離したR信号、B信号、G信号を用いて、各画素それぞれがR，G，Bの色情報を有するRGBデータで構成される可視画像を生成することができる。
なお、W画素の一部を、投光IRを受光しない画素に割り当てたことにより、輝度信号処理系の高周波補間部６４に供給されるW画素の画素数は、基本実施形態よりも少なくなるため、IR照射画像の解像度は劣化する。
このIR照射画像の解像度の劣化に対しては、例えば、図１６に示されるように、投光IRを受光するW画素と、投光IRを受光しないW画素とを、例えば、フレーム毎に交替させることで、見かけ上の解像度を上げることができる。
CMOSセンサ１３は、図１６のAに示される駆動と、図１６のBに示される駆動を、フレーム毎に切り替える。図１６のA及びBにおいて右側に示される画素回路は、画素３１の第１転送トランジスタ４２のみを示している。
IR照射期間に同期して露光し、蓄積電荷を転送する動作を正相動作、IR非照射期間に同期して露光し、蓄積電荷を転送する動作を逆相動作と呼ぶことにすると、図１６のAは、G画素と同一行のW画素が逆相動作を行い、B画素及びR画素と同一行のW画素が正相動作を行う駆動を示している。図１６のBは、G画素と同一行のW画素が正相動作を行い、B画素及びR画素と同一行のW画素が逆相動作を行う駆動を示している。
W画素の一部を、投光IRを受光しない画素に割り当てたことによる解像度の劣化については、このような駆動により対処することができる。
なお、正相動作と逆相動作の切替えは、１フレーム毎で切り替えるのではなく、２フレーム毎に切り替えてもよい。即ち、正相動作と逆相動作の切替え単位は、１フレーム期間以上のフレーム単位とすることができる。
また、図１６の例は、画素アレイ２１の画素３１が電荷転送動作を行うタイミングを、投光IRのオンオフに合わせて第１または第２のタイミング（２種類のタイミング）のどちらかに割り当て、１フレーム毎に他方のタイミングに切り替える例であるが、例えば、後述するR,G,Bや３種類の赤外光波長のように、発光の種類が３種類以上である場合には、画素アレイ２１の画素３１が電荷転送動作を行うタイミングを、３種類以上のタイミングのいずれかに割り当て、１フレーム期間以上のフレーム単位で他のタイミングに順次切り替える動作とすることができる。
＜第３の変形例＞
次に、撮像装置１０の第３の変形例としての、画素アレイ２１のその他の駆動方法について説明する。
上述した例では、W画素の全部または一部を投光IR受光画素とし、RGB画素を可視光受光画素となるように駆動したが、シーン環境や使用用途などに応じて、図１７のAのように、全画素を投光IR受光画素としたり、図１７のBのように、全画素を可視光受光画素として動作させることも可能である。
例えば、撮像装置１０は、可視光が微弱なシーンでは、画素アレイ２１の全画素を、投光IR受光画素とし、可視光が十分にある環境では、全画素を可視光受光画素として動作させることができる。図１７に示される２種類の駆動と、基本実施形態の駆動は、例えば、撮像装置１０の動作モードによって、切替えられる。
＜第４の変形例＞
図１８は、撮像装置１０の第４の変形例としての画素アレイ２１のその他の駆動制御配線例を示している。
図５に示した基本実施形態の駆動制御配線例では、画素アレイ２１の１行に対してTRX制御線５１−１と５１−２の２本のTRX制御線５１が配置されていた。また、OFG制御線５２についても、画素アレイ２１の１行に対して、OFG制御線５２−１と５２−２の２本のOFG制御線５２が配置されていた。
これに対して、図１８に示される駆動制御配線例では、TRX制御線５１については、画素アレイ２１の１行に対して１本のTRX制御線５１が配置されている。より詳しくは、隣接する２行の一方の行に転送信号TRX_pを伝送するTRX制御線５１−１が配置され、他方の行に転送信号TRX_nを伝送するTRX制御線５１−２が配置されている。
OFG制御線５２についても同様に、画素アレイ２１の１行に対して１本のOFG制御線５２が配置されている。より詳しくは、隣接する２行の一方の行に排出信号OFG_pを伝送するOFG制御線５２−１が配置され、他方の行に排出信号OFG_nを伝送するOFG制御線５２−２が配置されている。
隣接する２行の各W画素の第１転送トランジスタ４２に、TRX制御線５１−１を介して転送信号TRX_pが共通に供給され、隣接する２行の各RGB画素の第１転送トランジスタ４２に、TRX制御線５１−２を介して転送信号TRX_nが共通に供給される。排出トランジスタ４９についても同様に、隣接する２行の各W画素の排出トランジスタ４９に、OFG制御線５２−１を介して排出信号OFG_pが共通に供給され、隣接する２行の各RGB画素の排出トランジスタ４９に、OFG制御線５２−２を介して排出信号OFG_nが共通に供給される。
なお、この駆動制御配線例では、W画素とRGB画素が、それぞれ２行単位で、IR照射期間に同期する正相動作、または、IR非照射期間に同期する逆相動作を行うため、図１４及び図１６に示したような、１行おきに正相動作と逆相動作が入れ替わる駆動はできないが、１行当たりの配線数を抑えることができる。画素アレイ２１の各W画素を投光IR受光画素と可視光受光画素に分けたい場合には、例えば、２行単位で投光IR受光画素と可視光受光画素を設定することができる。
＜第５の変形例＞
次に、撮像装置１０の第５の変形例について説明する。
上述した基本実施形態では、画素アレイ２１のフィルタ配列が、図４に示したように、市松状に配置したWのフィルタと、R,G、またはBのフィルタとからなるRGBWフィルタである場合について説明した。
画素アレイ２１のフィルタ配列は、RGBWフィルタに限られず、例えば、R,G,B、及びGの組合せを繰り返し配列するベイヤ配列を採用することもできる。フィルタ配列をベイヤ配列とした場合には、図１９に示されるように、繰り返し単位となるG画素、B画素、R画素、及びG画素の２画素×２画素の４画素のうち、１個のG画素を投光IR受光画素に割り当て、他の１個のG画素を可視光受光画素に割り当てる構成とすることができる。図１９の例では、G画素、B画素、G画素、B画素、・・・の順で水平方向に並ぶ行のG画素では、IR非照射期間に露光するようにして、Gの波長光が受光される。一方、R画素、G画素、R画素、G画素、・・・の順で水平方向に並ぶ行のG画素では、IR照射期間に露光するようにして、Gの波長光と投光IRが受光される。
この場合、図２０に示されるように、IR照射期間に露光したG画素の信号（G+IR信号）は、輝度信号処理系の高周波補間部６４に供給され、IR非照射期間に露光したG画素、R画素、及びB画素の信号（G信号、R信号、B信号）は、可視画像処理系のデモザイク部６６に供給される。
カメラDSP部１４における輝度信号処理系及び可視画像処理系の各ブロックの動作は、上述した基本実施形態と同様であるので、その説明は省略する。
なお、図１４を参照して説明したW画素の一部を投光IR受光画素に割り当てた場合と同様に、投光IR受光画素に割り当てたG画素の画素数は、基本実施形態よりも少なくなるため、IR照射画像の解像度は劣化する。この解像度の劣化に対しても、図１６で説明したように、G画素に対して、正相動作を行う行と逆相動作を行う行をフレーム単位で交互に入れ替えることにより、見かけ上の解像度を上げることができる。
また、画素アレイ２１のフィルタ配列がベイヤ配列である場合にも、図１７で説明したRGBWフィルタにおける場合と同様に、画素アレイ２１の全画素を、投光IR受光画素として動作させたり、可視光受光画素として動作させることができる。
＜第６の変形例＞
次に、撮像装置１０の第６の変形例について説明する。
上述した基本実施形態では、W画素を投光IR受光画素に設定し、RGB画素を可視光受光画素に設定したが、W画素、R画素、G画素、及びB画素のそれぞれが、投光IR受光画素と可視光受光画素を有するように、画素アレイ２１内の各画素３１を駆動することができる。
例えば、撮像装置１０は、図２１に示されるように、W画素、R画素、G画素、及びB画素のそれぞれについて、投光IR受光画素と可視光受光画素を設定することができる。
図２１では、４画素×４画素の１６画素の領域に対して、W画素、G画素、W画素、G画素の順で並ぶ２行のうちの、一方の一行の２個のG画素が投光IR受光画素に設定され、他方の一行の２個のG画素が可視光受光画素に設定される。また、これら２行のW画素については、全てが可視光受光画素に設定される。
また、図２１に示される４画素×４画素の１６画素の領域のうち、B画素及びR画素が１個ずつと２個のW画素が並ぶ２行のうちの、一方の一行のB画素とR画素が投光IR受光画素に設定され、他方の一行のB画素とR画素が可視光受光画素に設定される。また、これら２行のW画素については、全てが投光IR受光画素に設定される。
このようにIR照射期間またはIR非照射期間に同期して投光IR受光画素と可視光受光画素を設定することで、４画素×４画素の１６画素の領域において、W画素に対しては４個のIR信号が取得でき、G画素に対しては２個のIR信号が取得でき、R画素とB画素については１個のIR信号が取得できる。
＜カメラDSP部のその他の構成例＞
図２１に示したように、画素アレイ２１のW画素、R画素、G画素、及びB画素のそれぞれが、投光IR受光画素と可視光受光画素を有するように各画素３１が駆動された場合、カメラDSP部１４は、図２２に示されるように構成することができる。
即ち、図２２は、画素アレイ２１のW画素、R画素、G画素、及びB画素のそれぞれが、投光IR受光画素と可視光受光画素を有する場合のカメラDSP部１４の構成例（第２の構成例）を示している。
図２２に示されるカメラDSP部１４の構成を、図９に示したカメラDSP部１４の構成と比較すると、図２２では、3DNR部６３の後段にIR差分演算部１０１が新たに設けられるとともに、輝度合成部７０及びγ補正部７１が省略されている。
IR差分演算部１０１は、W画素、R画素、G画素、及びB画素のそれぞれについて、投光IR受光画素の信号から、可視光受光画素の信号を減算する信号処理を行い、投光IRのIR信号を算出して、高周波補間部６４に供給する。即ち、IR差分演算部１０１は、W画素、R画素、G画素、及びB画素のそれぞれについて、次式（５）乃至（８）の演算を行う。
IR =（W＋IR）-W ・・・・・・（５）
IR =（R＋IR）-R ・・・・・・（６）
IR =（G＋IR）-G ・・・・・・（７）
IR =（B＋IR）-B ・・・・・・（８）
また、IR差分演算部１０１は、投光IR受光画素については、式（５）乃至（８）で算出したIR信号を減算する次式（９）乃至（１２）の演算を行い、演算後の信号を、デモザイク部６６に供給する。一方、IR差分演算部１０１は、可視光受光画素については、各画素の信号をそのままデモザイク部６６に供給する。
W =（W＋IR）-IR ・・・・・・（９）
R =（R＋IR）-IR ・・・・・・（１０）
G =（G＋IR）-IR ・・・・・・（１１）
B =（B＋IR）-IR ・・・・・・（１２）
図２３のAは、画素アレイ２１の４画素×４画素の１６画素の領域において、IR差分演算部１０１から高周波補間部６４に出力される信号を示している。図２３のAにおいて、「IR」と書かれた画素は、IR信号を出力する画素であり、その他の画素は、IR信号を出力しない画素である。
図２３のBは、画素アレイ２１の４画素×４画素の１６画素の領域において、IR差分演算部１０１からデモザイク部６６に出力される信号を示している。図２３のBにおいて、「R」、「G」、「B」、及び「W」と書かれた画素は、それぞれ、R信号、G信号、B信号、及びW信号を出力する画素である。
高周波補間部６４は、IR差分演算部１０１から供給されるIR信号から、IR信号の出力がない画素のIR信号を補間処理により算出し、各画素の画素データが輝度情報YIRで構成されるIR照射画像を生成する。
2DNR部６５は、IR照射画像の各画素の輝度情報YIRに二次元ノイズリダクション処理を行うことによりその低周波成分を抽出し、その結果得られる輝度情報YIR_NRを、カメラDSP部１４の出力とする。
デモザイク部６６以降の可視画像処理系は、IR差分演算部１０１から供給されるG画素、R画素、B画素、及びW画素の各信号（G信号、R信号、B信号、W信号）から、各画素それぞれがR，G，Bの色情報を有するRGBデータで構成される可視画像を生成して、カメラDSP部１４の出力とする。カメラDSP部１４は、RGB変換部７２が出力するRGBデータを、カメラDSP部１４の出力としてもよいし、YCC変換部６９が出力するYCCデータを、カメラDSP部１４の出力としてもよい。
撮像装置１０の第６の変形例によれば、W画素、R画素、G画素、及びB画素のそれぞれが、投光IR受光画素と可視光受光画素を有するように駆動することで、投光IRによるIR照射画像と、可視画像（カラー画像）の両方を出力することができる。
また、第６の変形例によれば、デモザイク部６６には、図１５で説明した撮像装置１０の第２の変形例と同様に、R信号、G信号、B信号、及びW信号が供給されるから、上述した式（１）乃至（４）の演算を行うことにより、環境IRを分離したR信号、B信号、G信号を生成することができる。
第６の変形例の撮像装置１０の構成は、例えば、距離計測センサや虹彩認証センサなど、投光IRのみによる画像（IR照射画像）を生成したい場合に有用であり、本構成によれば、IR照射画像に加えて可視画像も同時に取得することができる。
なお、図２１に示した投光IR受光画素と可視光受光画素の配置では、図２３のAに示したようにIR信号を出力する画素位置に偏りが見られる。そこで、図１６を参照して説明したように、正相動作を行う画素と、逆相動作を行う画素をフレーム毎に交互に入れ替えることにより、IR照射画像の見かけ上の解像度を上げることができる。
各画素３１の画素トランジスタを制御する駆動制御線の配線例は、図５と図１８に示した配線例に限定されない。例えば、画素アレイ２１の各画素を個別に制御できるように配線してもよいし、従えば、R,G,B,W画素の所定の色の画素（例えば、G画素）についてのみ画素単位で制御できるようにしてもよい。例えば、同一行の各G画素において、正相動作と逆相動作を画素単位に制御できる場合には、図２４に示されるように、一行の隣接するG画素を投光IR受光画素と可視光受光画素に交互に割り当てることで、画素アレイ２１の４画素×４画素の１６画素の領域ごとに、W画素、R画素、G画素、及びB画素のいずれにおいても、投光IR受光画素と可視光受光画素を均等に配置することができる。
撮像装置１０の第６の変形例におけるIR照射画像と可視画像の両方を出力する構成のフィルタ配列は、RGBWフィルタに限定されない。例えば、フィルタ配列がベイヤ配列やRGB-IRフィルタである場合にも、IR照射画像と可視画像の両方を同時に出力することができる。
図２５のAは、フィルタ配列をベイヤ配列とした場合の、画素アレイ２１の４画素×４画素の１６画素の領域における投光IR受光画素と可視光受光画素の割り当て例を示している。
図２５のBは、フィルタ配列をRGB-IRフィルタとした場合の、画素アレイ２１の４画素×４画素の１６画素の領域における投光IR受光画素と可視光受光画素の割り当て例を示している。
RGB-IRフィルタは、ベイヤ配列の繰り返し単位であるG、B、R、及びGのフィルタ配列の１つのGのフィルタを、赤外光の波長領域だけを透過させる赤外フィルタに置き換えたフィルタ配列である。
RGB-IRフィルタのフィルタ配列において、投光IR受光画素に設定された赤外フィルタ画素は、投光IRと環境IRの両方を受光し（図２５のBでは、「IR＋ir」と図示）、可視光受光画素に設定された赤外フィルタ画素は、環境IRのみを受光する（図２５のBでは、「ir」と図示）。
なお、図２５のA及びBのいずれも、図２４における場合と同様に、同一フィルタを有する画素ごとに、投光IR受光画素と可視光受光画素を均等に配置した場合の投光IR受光画素と可視光受光画素の割り当て例を示している。
＜第７の変形例＞
次に、撮像装置１０の第７の変形例について説明する。
撮像装置１０の第７の変形例は、画素アレイ２１の各画素３１に蓄積された電荷の読み出し方法のその他の例である。
上述した基本実施形態では、蓄積電荷の読み出し方式は、図８などを参照して説明したように、１フレーム期間を電荷転送期間と読み出し期間に分離し、電荷転送期間後に全画素同時に読み出すグローバルシャッタ読み出し方式であった。しかし、撮像装置１０は、電荷転送動作と読み出し動作を行毎に所定時間ずつずらしたタイミングで動作させるフォーカルプレーン読み出し方式により、画素アレイ２１の各画素３１の蓄積電荷を読み出すこともできる。
図２６は、フォーカルプレーン読み出し方式による蓄積電荷を読み出し方法を示すタイミングチャートである。
フォーカルプレーン読み出し方式では、リセットトランジスタ４６と第２転送トランジスタ４４が同時にオンされることにより、メモリ部４３とFD４５の電位がリセットされる。リセットトランジスタ４６と第２転送トランジスタ４４が同時にオフされてから、第２転送トランジスタ４４が再びオンされ、メモリ部４３の蓄積電荷がFD４５に転送されるまでが露光期間となる。露光期間の長さは画素アレイ２１の全画素で同一であるが、露光期間が開始されるタイミング（即ち、メモリ部４３とFD４５の電位が同時リセットされるタイミング）が画素アレイ２１の各行で異なる。そのため、この読み出し方式では、フォーカルプレーン歪みが生じるが、この歪みが多少あっても問題にならない用途（例えば、監視用途）では、フォーカルプレーン読み出し方式が可能である。
フォーカルプレーン読み出し方式では、図２６に示されるように、読み出し期間を１フレーム期間とすることができるので、ADC２４において電圧が階段状に変化する参照信号と比較することにより画素信号をAD変換するAD変換期間を長く確保することができ、AD変換のビット数を大きい値（例えば、１２ビット）とすることができる。これにより、画素信号の読み出し精度を上げることができる。
＜１０．その他のアプリケーション適用例＞
以上説明したように、本技術を適用した撮像装置１０は、例えば、画素アレイ２１の全画素を、投光IRを照射したタイミング（IR照射期間）で受光する投光IR受光画素と、投光IRを照射しないタイミング（IR非照射期）で受光する可視光受光画素とに分離して、投光IR受光画素の画素信号から生成したIR照射画像と、可視光受光画素の画素信号から生成した可視画像（IR非照射画像）とを合成することにより、コントラストが鮮やかになったカラー画像を生成する。
上述した例では、画素アレイ２１の全画素を、投光IRの照射のオン及びオフで分離したが、その他の条件で分離して、各条件に対応する画素信号を取得する形態が採用できる。
例えば、図２７に示されるように、P波とS波の偏光方向が異なる２種類の光を時分割照射し、画素アレイ２１の全画素を、２種類の発光タイミングに応じて２種類に分離して、各偏光光の照射タイミングに同期して受光する形態とすることができる。
また、近年、道路の信号機（交通信号機）は、LED光源を用いたものに置き換えられている。LED光源は、点灯と消灯を所定期間で繰り返すパルス光源（交流光源）である。ドライブレコーダなどの車載カメラなどにおいて、録画された動画像を見ると、人間の目では点灯して見える信号機が点滅（フリッカ）しているように録画されることが多い。これは、車載カメラの撮像タイミングが、LED光源の消灯時と一致した場合には、消灯されているように録画されることになるためである。
画素アレイ２１の全画素を、第１のタイミングで受光する画素と、第２のタイミングで受光する画素とに分離して、それらの画素信号を合成することにより、LED光源の発光タイミングで露光する露光期間が必ず含まれることになり、撮像画像のフリッカ現象を防止することができる。
また、車のヘッドライトの発光には、いわゆる、ハイビームと、ロービームと呼ばれる光の配光パターンがある。配光パターンとは、光の照射方向及び照射エリアの少なくとも一方または両方のことを意味する。また近年では、ハイビームとロービーム以外の配光パターンによるヘッドライトの照らし方も研究されている。
図２８に示されるように、画素アレイ２１の全画素を、ハイビームとロービームのように、配光パターンに応じて２種類に分離して、各配光パターンの照射タイミングに同期して受光するように制御することができる。
あるいはまた、例えば、780nm、870nm、および940nmの波長の異なる３種類（２種類以上）の赤外光を時分割照射し、画素アレイ２１の全画素を、３種類の各波長に対応して３種類に分離して、各波長の赤外光の照射タイミングに同期して受光するように制御することもできる。
また、赤外光を３種類の波長に分けるのではなく、例えば、R,G,Bのように、可視光の３種類の波長の光を時分割照射し、画素アレイ２１の全画素を、３種類の各波長に対応して３種類に分離して、各波長の可視光の照射タイミングに同期して受光するように制御してもよい。
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図２９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
このコンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５およびバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、撮像装置１０は、上述した実施の形態とその変形例の全てまたは一部を組み合わせた形態、動作モードや設定信号等により、上述した実施の形態またはその変形例を切り替えたり、その全てまたは一部を入れ替えた構成や動作を採用することができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
（１）
入射した光を光電変換により電荷に変換する光電変換部と、前記光電変換部から転送される電荷を蓄積する電荷蓄積部とを少なくとも有する画素が複数配置された画素アレイを備え、
前記画素アレイの少なくとも一部の画素は、前記光電変換部で生成された電荷を前記電荷蓄積部に転送する動作を、隣接する画素で異なるタイミングで行う
撮像素子。
（２）
前記光電変換部で生成された電荷を前記電荷蓄積部に転送する動作は、所定の光源の発光パターンに応じたタイミングで１フレーム期間内に複数回繰り返し実行される
前記（１）に記載の撮像素子。
（３）
前記所定の光源の発光パターンは、発光のオン及びオフの繰り返しである
前記（２）に記載の撮像素子。
（４）
前記所定の光源は、赤外光である
前記（２）または（３）に記載の撮像素子。
（５）
前記発光のオン期間とオフ期間の長さが異なる
前記（２）乃至（４）のいずれかに記載の撮像素子。
（６）
前記画素アレイのフィルタ配列は、W、R、G、及びBのフィルタが所定の配列で配置されたRGBWフィルタである
前記（１）乃至（５）のいずれかに記載の撮像素子。
（７）
前記Wのフィルタが配置された前記画素と、前記R、G、またはBのフィルタが配置された前記画素とが、前記光電変換部で生成された電荷を前記電荷蓄積部に転送する動作を異なるタイミングで行う
前記（６）に記載の撮像素子。
（８）
前記Wのフィルタが配置された全ての前記画素は、赤外光の発光タイミングで前記電荷を転送する動作を行い、
前記R、G、またはBのフィルタが配置された全ての前記画素は、赤外光の非発光タイミングで前記電荷を転送する動作を行う
前記（６）または（７）に記載の撮像素子。
（９）
前記Wのフィルタが配置された一部の前記画素は、赤外光の発光タイミングで前記電荷を転送する動作を行い、
前記Wのフィルタが配置された残りの前記画素と、前記R、G、またはBのフィルタが配置された全ての前記画素は、赤外光の非発光タイミングで前記電荷を転送する動作を行う
前記（６）または（７）に記載の撮像素子。
（１０）
前記画素アレイのフィルタ配列は、ベイヤ配列であり、
繰り返し単位となる２画素×２画素の４画素のうち、１個のG画素が、赤外光の発光タイミングで前記電荷を転送する動作を行い、他の１個のG画素が、赤外光の非発光タイミングで前記電荷を転送する動作を行う
前記（１）乃至（５）のいずれかに記載の撮像素子。
（１１）
前記画素アレイには、１フレーム期間中の第１のタイミングで電荷転送動作を行う第１の画素と、１フレーム期間中の第２のタイミングで電荷転送動作を行う第２の画素が少なくとも存在し、前記第１の画素と前記第２の画素は、それぞれ、前記電荷転送動作を行う前記第１のタイミングと前記第２のタイミングを、１フレーム期間以上のフレーム単位で他のタイミングに切り替える
前記（１）乃至（１０）のいずれかに記載の撮像素子。
（１２）
前記画素アレイの全画素が、前記所定の光源の発光タイミングで前記電荷を転送する動作を行うモードと、前記所定の光源の非発光タイミングで前記電荷を転送する動作を行うモードも有する
前記（１）乃至（１１）のいずれかに記載の撮像素子。
（１３）
前記画素は、前記光電変換部と前記電荷蓄積部に加えて、
前記光電変換部が生成した電荷を排出する排出トランジスタと、
前記光電変換部が生成した電荷を前記電荷蓄積部に転送する転送トランジスタと
を有し、
前記画素アレイの各行には、前記転送トランジスタを制御する転送信号を伝送する第１及び第２の転送信号制御線と、前記排出トランジスタを制御する排出信号を伝送する第１及び第２の排出信号制御線が配置されており、
前記画素アレイの各行では、前記第１の転送信号制御線によって制御される画素と、前記第２の転送信号制御線によって制御される画素が交互に配置されており、前記第１の排出信号制御線によって制御される画素と、前記第２の排出信号制御線によって制御される画素が交互に配置されている
前記（１）乃至（１２）のいずれかに記載の撮像素子。
（１４）
前記画素は、前記光電変換部と前記電荷蓄積部に加えて、
前記光電変換部が生成した電荷を排出する排出トランジスタと、
前記光電変換部が生成した電荷を前記電荷蓄積部に転送する転送トランジスタと
を有し、
前記画素アレイの各行には、前記転送トランジスタを制御する転送信号を伝送する転送信号制御線と、前記排出トランジスタを制御する排出信号を伝送する排出信号制御線が配置されており、
前記転送信号制御線は、前記画素アレイの２行の前記画素の一部の前記転送トランジスタに接続され、前記排出信号制御線は、前記画素アレイの２行の前記画素の一部の前記排出トランジスタに接続されている
前記（１）乃至（１２）のいずれかに記載の撮像素子。
（１５）
前記画素アレイの各画素は、前記光電変換部で生成された電荷を前記電荷蓄積部に転送する動作を行う電荷転送期間と、前記電荷蓄積部に蓄積された電荷を読み出す読み出し期間を分けて、前記電荷転送期間については全画素同時に行う
前記（１）乃至（１４）のいずれかに記載の撮像素子。
（１６）
前記画素アレイの各画素は、前記光電変換部で生成された電荷を前記電荷蓄積部に転送する動作と、前記電荷蓄積部に蓄積された電荷を読み出す動作を行毎に所定時間ずらして実行する
前記（１）乃至（１４）のいずれかに記載の撮像素子。
（１７）
入射した光を光電変換により電荷に変換する光電変換部と、前記光電変換部から転送される電荷を蓄積する電荷蓄積部とを少なくとも有する画素が複数配置された画素アレイの少なくとも一部の画素が、前記光電変換部で生成された電荷を前記電荷蓄積部に転送する動作を、隣接する画素で異なるタイミングで行う
撮像素子の駆動方法。
（１８）
入射した光を光電変換により電荷に変換する光電変換部と、前記光電変換部から転送される電荷を蓄積する電荷蓄積部とを少なくとも有する画素が複数配置された画素アレイを備え、前記画素アレイの少なくとも一部の画素が、前記光電変換部で生成された電荷を前記電荷蓄積部に転送する動作を、隣接する画素で異なるタイミングで行う撮像素子と、
前記撮像素子において第１のタイミングで得られた第１の画素信号から第１の画像を生成し、第２のタイミングで得られた第２の画素信号から第２の画像を生成する画像信号処理部と
を備える撮像装置。
（１９）
前記撮像素子の前記画素アレイにおいて行方向に隣接する画素の少なくとも一部は、赤外光の発光のオンオフに応じた異なるタイミングで前記電荷を転送する動作を行い、
前記画像信号処理部は、赤外光を照射した前記第１のタイミングで得られた前記第１の画像の輝度情報と、赤外光を照射しない前記第２のタイミングで得られた前記第２の画像の色差情報とを合成した合成画像を生成して出力する
前記（１８）に記載の撮像装置。
（２０）
前記撮像素子の前記画素アレイにおいて行方向に隣接する画素の少なくとも一部は、赤外光の発光のオンオフに応じた異なるタイミングで前記電荷を転送する動作を行い、
前記画像信号処理部は、赤外光を照射した前記第１のタイミングで得られた前記第１の画像と、赤外光を照射しない前記第２のタイミングで得られた前記第２の画像を生成して出力する
前記（１８）に記載の撮像装置。
１０ 撮像装置， １３ CMOSイメージセンサ， １４ カメラDSP部， １７ IR照射部， ２１ 画素アレイ， ２６ 垂直駆動回路， ３１ 画素， ４１ フォトダイオード， ４２ 第１転送トランジスタ， ４３ メモリ部， ４４ 第２転送トランジスタ， ４５ FD， ４６ リセットトランジスタ， ４７ 増幅トランジスタ， ４８ 選択トランジスタ， ４９ 排出トランジスタ， ５１ TRX制御線， ５２ OFG制御線， ６３ 3DNR部， ６４ 高周波補間部， ６６ デモザイク部， ７０ 輝度合成部， ７２ RGB変換部， １０１ IR差分演算部， ２００ コンピュータ， ２０１ CPU， ２０２ ROM， ２０３ RAM， ２０６ 入力部， ２０７ 出力部， １２０８ 記憶部， ２０９ 通信部， ２１０ ドライブ

Claims (20)

  1. 入射した光を光電変換により電荷に変換する光電変換部と、前記光電変換部から転送される電荷を蓄積する電荷蓄積部とを少なくとも有する画素が複数配置された画素アレイを備え、
    前記画素アレイの少なくとも一部の画素は、前記光電変換部で生成された電荷を前記電荷蓄積部に転送する動作を、隣接する画素で異なるタイミングで行う
    撮像素子。
  2. 前記光電変換部で生成された電荷を前記電荷蓄積部に転送する動作は、所定の光源の発光パターンに応じたタイミングで１フレーム期間内に複数回繰り返し実行される
    請求項１に記載の撮像素子。
  3. 前記所定の光源の発光パターンは、発光のオン及びオフの繰り返しである
    請求項２に記載の撮像素子。
  4. 前記所定の光源は、赤外光である
    請求項２に記載の撮像素子。
  5. 前記発光のオン期間とオフ期間の長さが異なる
    請求項３に記載の撮像素子。
  6. 前記画素アレイのフィルタ配列は、W、R、G、及びBのフィルタが所定の配列で配置されたRGBWフィルタである
    請求項１に記載の撮像素子。
  7. 前記Wのフィルタが配置された前記画素と、前記R、G、またはBのフィルタが配置された前記画素とが、前記光電変換部で生成された電荷を前記電荷蓄積部に転送する動作を異なるタイミングで行う
    請求項６に記載の撮像素子。
  8. 前記Wのフィルタが配置された全ての前記画素は、赤外光の発光タイミングで前記電荷を転送する動作を行い、
    前記R、G、またはBのフィルタが配置された全ての前記画素は、赤外光の非発光タイミングで前記電荷を転送する動作を行う
    請求項６に記載の撮像素子。
  9. 前記Wのフィルタが配置された一部の前記画素は、赤外光の発光タイミングで前記電荷を転送する動作を行い、
    前記Wのフィルタが配置された残りの前記画素と、前記R、G、またはBのフィルタが配置された全ての前記画素は、赤外光の非発光タイミングで前記電荷を転送する動作を行う
    請求項６に記載の撮像素子。
  10. 前記画素アレイのフィルタ配列は、ベイヤ配列であり、
    繰り返し単位となる２画素×２画素の４画素のうち、１個のG画素が、赤外光の発光タイミングで前記電荷を転送する動作を行い、他の１個のG画素が、赤外光の非発光タイミングで前記電荷を転送する動作を行う
    請求項１に記載の撮像素子。
  11. 前記画素アレイには、１フレーム期間中の第１のタイミングで電荷転送動作を行う第１の画素と、１フレーム期間中の第２のタイミングで電荷転送動作を行う第２の画素が少なくとも存在し、前記第１の画素と前記第２の画素は、それぞれ、前記電荷転送動作を行う前記第１のタイミングと前記第２のタイミングを、１フレーム期間以上のフレーム単位で他のタイミングに切り替える
    請求項１に記載の撮像素子。
  12. 前記画素アレイの全画素が、前記所定の光源の発光タイミングで前記電荷を転送する動作を行うモードと、前記所定の光源の非発光タイミングで前記電荷を転送する動作を行うモードも有する
    請求項２に記載の撮像素子。
  13. 前記画素は、前記光電変換部と前記電荷蓄積部に加えて、
    前記光電変換部が生成した電荷を排出する排出トランジスタと、
    前記光電変換部が生成した電荷を前記電荷蓄積部に転送する転送トランジスタと
    を有し、
    前記画素アレイの各行には、前記転送トランジスタを制御する転送信号を伝送する第１及び第２の転送信号制御線と、前記排出トランジスタを制御する排出信号を伝送する第１及び第２の排出信号制御線が配置されており、
    前記画素アレイの各行では、前記第１の転送信号制御線によって制御される画素と、前記第２の転送信号制御線によって制御される画素が交互に配置されており、前記第１の排出信号制御線によって制御される画素と、前記第２の排出信号制御線によって制御される画素が交互に配置されている
    請求項１に記載の撮像素子。
  14. 前記画素は、前記光電変換部と前記電荷蓄積部に加えて、
    前記光電変換部が生成した電荷を排出する排出トランジスタと、
    前記光電変換部が生成した電荷を前記電荷蓄積部に転送する転送トランジスタと
    を有し、
    前記画素アレイの各行には、前記転送トランジスタを制御する転送信号を伝送する転送信号制御線と、前記排出トランジスタを制御する排出信号を伝送する排出信号制御線が配置されており、
    前記転送信号制御線は、前記画素アレイの２行の前記画素の一部の前記転送トランジスタに接続され、前記排出信号制御線は、前記画素アレイの２行の前記画素の一部の前記排出トランジスタに接続されている
    請求項１に記載の撮像素子。
  15. 前記画素アレイの各画素は、前記光電変換部で生成された電荷を前記電荷蓄積部に転送する動作を行う電荷転送期間と、前記電荷蓄積部に蓄積された電荷を読み出す読み出し期間を分けて、前記電荷転送期間については全画素同時に行う
    請求項１に記載の撮像素子。
  16. 前記画素アレイの各画素は、前記光電変換部で生成された電荷を前記電荷蓄積部に転送する動作と、前記電荷蓄積部に蓄積された電荷を読み出す動作を行毎に所定時間ずらして実行する
    請求項１に記載の撮像素子。
  17. 入射した光を光電変換により電荷に変換する光電変換部と、前記光電変換部から転送される電荷を蓄積する電荷蓄積部とを少なくとも有する画素が複数配置された画素アレイの少なくとも一部の画素が、前記光電変換部で生成された電荷を前記電荷蓄積部に転送する動作を、隣接する画素で異なるタイミングで行う
    撮像素子の駆動方法。
  18. 入射した光を光電変換により電荷に変換する光電変換部と、前記光電変換部から転送される電荷を蓄積する電荷蓄積部とを少なくとも有する画素が複数配置された画素アレイを備え、前記画素アレイの少なくとも一部の画素が、前記光電変換部で生成された電荷を前記電荷蓄積部に転送する動作を、隣接する画素で異なるタイミングで行う撮像素子と、
    前記撮像素子において第１のタイミングで得られた第１の画素信号から第１の画像を生成し、第２のタイミングで得られた第２の画素信号から第２の画像を生成する画像信号処理部と
    を備える撮像装置。
  19. 前記撮像素子の前記画素アレイにおいて行方向に隣接する画素の少なくとも一部は、赤外光の発光のオンオフに応じた異なるタイミングで前記電荷を転送する動作を行い、
    前記画像信号処理部は、赤外光を照射した前記第１のタイミングで得られた前記第１の画像の輝度情報と、赤外光を照射しない前記第２のタイミングで得られた前記第２の画像の色差情報とを合成した合成画像を生成して出力する
    請求項１８に記載の撮像装置。
  20. 前記撮像素子の前記画素アレイにおいて行方向に隣接する画素の少なくとも一部は、赤外光の発光のオンオフに応じた異なるタイミングで前記電荷を転送する動作を行い、
    前記画像信号処理部は、赤外光を照射した前記第１のタイミングで得られた前記第１の画像と、赤外光を照射しない前記第２のタイミングで得られた前記第２の画像を生成して出力する
    請求項１８に記載の撮像装置。
JP2015248832A 2015-12-21 2015-12-21 撮像素子及びその駆動方法、並びに撮像装置 Pending JP2017118191A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015248832A JP2017118191A (ja) 2015-12-21 2015-12-21 撮像素子及びその駆動方法、並びに撮像装置
PCT/JP2016/086465 WO2017110481A1 (ja) 2015-12-21 2016-12-08 撮像素子及びその駆動方法、並びに撮像装置
US16/061,813 US11006055B2 (en) 2015-12-21 2016-12-08 Imaging device and method for driving the same, and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015248832A JP2017118191A (ja) 2015-12-21 2015-12-21 撮像素子及びその駆動方法、並びに撮像装置

Publications (1)

Publication Number Publication Date
JP2017118191A true JP2017118191A (ja) 2017-06-29

Family

ID=59090021

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015248832A Pending JP2017118191A (ja) 2015-12-21 2015-12-21 撮像素子及びその駆動方法、並びに撮像装置

Country Status (3)

Country Link
US (1) US11006055B2 (ja)
JP (1) JP2017118191A (ja)
WO (1) WO2017110481A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210056396A (ko) * 2019-09-09 2021-05-18 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 센서, 카메라 모듈, 모바일 단말 및 이미지 수집 방법
WO2021246311A1 (ja) * 2020-06-05 2021-12-09 ソニーセミコンダクタソリューションズ株式会社 撮像装置および電子機器
JP2022547221A (ja) * 2019-09-09 2022-11-10 オッポ広東移動通信有限公司 画像キャプチャ方法、カメラアセンブリ及び移動端末
WO2023145782A1 (ja) * 2022-01-28 2023-08-03 国立大学法人静岡大学 固体撮像装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180295336A1 (en) * 2017-04-11 2018-10-11 Himax Imaging Limited IMAGING SYSTEM FOR SENSING 3D image
CN114008781A (zh) * 2019-09-30 2022-02-01 Oppo广东移动通信有限公司 图像传感器、摄像头组件及移动终端
WO2021062661A1 (zh) * 2019-09-30 2021-04-08 Oppo广东移动通信有限公司 图像传感器、摄像头组件及移动终端
CN112492228B (zh) * 2020-12-15 2022-04-29 维沃移动通信有限公司 曝光方法、摄像模组和电子设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7274393B2 (en) * 2003-02-28 2007-09-25 Intel Corporation Four-color mosaic pattern for depth and image capture
JP4665422B2 (ja) * 2004-04-02 2011-04-06 ソニー株式会社 撮像装置
KR101467509B1 (ko) * 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
JP4661922B2 (ja) * 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
JP5258551B2 (ja) * 2008-12-26 2013-08-07 キヤノン株式会社 固体撮像装置、その駆動方法及び撮像システム
US8405750B2 (en) * 2009-06-08 2013-03-26 Aptina Imaging Corporation Image sensors and image reconstruction methods for capturing high dynamic range images
JP5249136B2 (ja) 2009-06-11 2013-07-31 キヤノン株式会社 撮像装置
KR101605046B1 (ko) * 2009-07-29 2016-03-21 삼성전자주식회사 싱글 게이트 픽셀 및 싱글 게이트 픽셀 동작 방법
JP5143808B2 (ja) * 2009-10-08 2013-02-13 本田技研工業株式会社 撮像装置、撮像システム及び演算方法
JP5485004B2 (ja) * 2010-04-23 2014-05-07 パナソニック株式会社 撮像装置
JP2012257193A (ja) * 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP5850680B2 (ja) 2011-09-09 2016-02-03 キヤノン株式会社 撮像装置及びその制御方法
JP6308760B2 (ja) * 2012-12-20 2018-04-11 キヤノン株式会社 光電変換装置および光電変換装置を有する撮像装置
JP2014216734A (ja) * 2013-04-24 2014-11-17 日立マクセル株式会社 撮像装置及び撮像システム
JP6471953B2 (ja) * 2014-05-23 2019-02-20 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システム、及び撮像方法
CN106664378B (zh) * 2014-08-20 2020-05-19 松下知识产权经营株式会社 固体摄像装置以及相机
JP2016096430A (ja) * 2014-11-13 2016-05-26 パナソニックＩｐマネジメント株式会社 撮像装置及び撮像方法
JP6019167B1 (ja) * 2015-04-30 2016-11-02 パナソニック株式会社 内視鏡システム及び光源制御方法
JP2017005401A (ja) * 2015-06-08 2017-01-05 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム、並びに撮像装置
JP2017092898A (ja) * 2015-11-17 2017-05-25 ソニー株式会社 撮像装置、撮像方法、およびプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210056396A (ko) * 2019-09-09 2021-05-18 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 센서, 카메라 모듈, 모바일 단말 및 이미지 수집 방법
JP2022503764A (ja) * 2019-09-09 2022-01-12 オッポ広東移動通信有限公司 画像センサ、カメラモジュール、モバイル端末及び画像収集方法
JP7144604B2 (ja) 2019-09-09 2022-09-29 オッポ広東移動通信有限公司 画像センサ、カメラモジュール、モバイル端末及び画像収集方法
JP2022547221A (ja) * 2019-09-09 2022-11-10 オッポ広東移動通信有限公司 画像キャプチャ方法、カメラアセンブリ及び移動端末
KR102476968B1 (ko) * 2019-09-09 2022-12-12 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 센서, 카메라 모듈, 모바일 단말 및 이미지 수집 방법
JP7298020B2 (ja) 2019-09-09 2023-06-26 オッポ広東移動通信有限公司 画像キャプチャ方法、カメラアセンブリ及び移動端末
WO2021246311A1 (ja) * 2020-06-05 2021-12-09 ソニーセミコンダクタソリューションズ株式会社 撮像装置および電子機器
WO2023145782A1 (ja) * 2022-01-28 2023-08-03 国立大学法人静岡大学 固体撮像装置

Also Published As

Publication number Publication date
US20180367745A1 (en) 2018-12-20
WO2017110481A1 (ja) 2017-06-29
US11006055B2 (en) 2021-05-11

Similar Documents

Publication Publication Date Title
WO2017110481A1 (ja) 撮像素子及びその駆動方法、並びに撮像装置
US10244192B2 (en) Image capturing apparatus and driving method of image sensor
CN110036630B (zh) 固体摄像装置以及摄像装置、输送设备的反射镜
US11083367B2 (en) Continuous video in a light deficient environment
US10484653B2 (en) Imaging device, imaging method, and image processing device
US9357137B2 (en) Imaging apparatus, signal processing method, and program
US7446812B2 (en) Wide dynamic range operations for imaging
TWI722283B (zh) 多工高動態範圍影像
US10560642B2 (en) Image processing device, image processing method and imaging device
US10419685B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP2002330350A (ja) Ｘｙアドレス型固体撮像装置のフリッカノイズ低減方法
CN107547807B (zh) 用于减少空间闪烁伪影的装置和成像系统
US9538091B2 (en) Imaging apparatus, imaging signal processing circuit, imaging signal processing method, display apparatus, image signal processing circuit, and image signal processing method
WO2017077775A1 (ja) 固体撮像素子、撮像装置、及び、電子機器
US10416026B2 (en) Image processing apparatus for correcting pixel value based on difference between spectral sensitivity characteristic of pixel of interest and reference spectral sensitivity, image processing method, and computer-readable recording medium
WO2017104410A1 (ja) 撮像装置および方法
KR102620348B1 (ko) 픽셀 파라미터의 픽셀 단위 코딩을 사용하여 이미지 다이나믹 레인지를 확장하기 위한 방법 및 시스템
JP7204480B2 (ja) 撮像装置、撮像システム、移動体及び撮像装置の制御方法
JP2017038311A (ja) 固体撮像装置
WO2020049867A1 (ja) 撮像装置、および撮像素子
JP2011211497A (ja) 画像入力装置
JP2019140696A (ja) 固体撮像装置
WO2016203966A1 (ja) 撮像装置、撮像方法、並びにプログラム