JP2019110387A - 撮像装置及びその駆動方法 - Google Patents

撮像装置及びその駆動方法 Download PDF

Info

Publication number
JP2019110387A
JP2019110387A JP2017240694A JP2017240694A JP2019110387A JP 2019110387 A JP2019110387 A JP 2019110387A JP 2017240694 A JP2017240694 A JP 2017240694A JP 2017240694 A JP2017240694 A JP 2017240694A JP 2019110387 A JP2019110387 A JP 2019110387A
Authority
JP
Japan
Prior art keywords
imaging
area
pixel
unit
photoelectric conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017240694A
Other languages
English (en)
Other versions
JP6736539B2 (ja
Inventor
美子 鴫谷
Yoshiko Shigiya
美子 鴫谷
真太郎 竹中
Shintaro Takenaka
真太郎 竹中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017240694A priority Critical patent/JP6736539B2/ja
Priority to US16/213,277 priority patent/US10645316B2/en
Priority to EP18212181.4A priority patent/EP3499871A1/en
Priority to CN201811528631.5A priority patent/CN109936711A/zh
Publication of JP2019110387A publication Critical patent/JP2019110387A/ja
Application granted granted Critical
Publication of JP6736539B2 publication Critical patent/JP6736539B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/533Control of the integration time by using differing integration times for different sensor regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745Circuitry for generating timing or clock signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Abstract

【課題】複数の撮像領域において露光時間が異なる場合にも適正なオフセット補正が可能な撮像装置及び撮像装置の駆動方法を提供する。【解決手段】有効画素が配された第1及び第2の撮像領域と、オプティカルブラック画素が配された第1及び第2の参照領域と、を含む画素部と、複数の画素に対して、行の単位で、光電変換部のリセット動作と、光電変換部で生じた電荷を保持部へ転送する電荷転送を含み、光電変換部で生じた電荷に基づく画素信号の読み出し動作と、を行う走査部と、を有し、走査部は、リセット動作が終了するタイミングから電荷転送が終了するタイミングまでの期間が第1の長さである第1の条件で、第1の撮像領域及び第1の参照領域に配された画素を駆動し、リセット動作が終了するタイミングから電荷転送が終了するタイミングまでの期間が第2の長さである第2の条件で、第2の撮像領域及び第2の参照領域に配された画素を駆動する。【選択図】図3

Description

本発明は、撮像装置及びその駆動方法に関する。
撮像装置では、光が照射される画素群からなる有効画素領域に配された画素の出力値から遮光された画素群からなるオプティカルブラック領域に配された画素の出力値を差し引くことにより、熱や回路構造に起因するオフセット成分を低減することが行われている。オプティカルブラック領域は、通常、有効画素領域の周囲に配置されている。しかしながら、オプティカルブラック領域に配された画素の出力に重畳するオフセットやノイズの量との差は、オプティカルブラック領域から離れた場所に配された画素ほど大きくなることが知られている。
特許文献1には、撮像装置を光量計測に用いる場合に、光量計測用領域の近傍の有効画素領域を遮光領域とし、この遮光領域に配された画素の出力値からオフセットやノイズの量を算出する撮像装置が記載されている。このように構成することにより、光量計測用領域とオフセットやノイズの量を算出するための画素が配された領域との物理的な距離を近づけることができ、オフセット補正の精度を向上することができる。
特開2013−055387号公報
ところで、画素信号に重畳するオフセット値は、画素の露光時間が変化するとそれに応じて変化する。したがって、画素信号のオフセット補正を適正に行うためには、OB領域に配された画素の露光時間を、有効画素領域に配された画素の露光時間と同じにすることが望ましい。
しかしながら、特許文献1に記載の撮像装置では、複数の撮像領域において露光時間が異なる場合は考慮されていなかった。このため、露光時間が異なる複数の撮像領域を有する場合に、必ずしも適正なオフセット補正を行うことができなかった。
本発明の目的は、複数の撮像領域において露光時間が異なる場合にも適正なオフセット補正が可能な撮像装置及び撮像装置の駆動方法を提供することにある。
本発明の一観点によれば、複数の行に渡って配され、各々が、光電変換部と、前記光電変換部で生じた電荷を保持する保持部と、前記保持部が保持する電荷の量に基づく画素信号を出力する増幅部と、前記光電変換部をリセットするリセット部と、を含む複数の画素を有する画素部と、前記複数の画素に対して、前記行の単位で、前記画素の前記光電変換部のリセット動作と、前記光電変換部で生じた電荷を前記保持部へ転送する電荷転送を含み、前記光電変換部で生じた電荷に基づく画素信号の読み出し動作と、を行う走査部と、を有し、前記複数の画素は、光が前記光電変換部に入射する有効画素と、前記光電変換部が遮光されたオプティカルブラック画素と、を含み、前記画素部は、複数の前記有効画素がそれぞれに配された第1及び第2の撮像領域と、複数の前記オプティカルブラック画素がそれぞれに配された第1及び第2の参照領域と、を含み、前記走査部は、前記リセット動作が終了するタイミングから前記電荷転送が終了するタイミングまでの期間が第1の長さである第1の条件で、前記第1の撮像領域及び前記第1の参照領域に配された前記画素を駆動し、前記リセット動作が終了するタイミングから前記電荷転送が終了するタイミングまでの期間が前記第1の長さよりも長い第2の長さである第2の条件で、前記第2の撮像領域及び前記第2の参照領域に配された前記画素を駆動するように構成されている撮像装置が提供される。
また、本発明の他の一観点によれば、複数の行に渡って配され、各々が、光電変換部と、前記光電変換部で生じた電荷を保持する保持部と、前記保持部が保持する電荷の量に基づく画素信号を出力する増幅部と、前記光電変換部をリセットするリセット部と、を含む複数の画素が設けられた画素部を有し、前記複数の画素は、光が前記光電変換部に入射する有効画素と、前記光電変換部が遮光されたオプティカルブラック画素と、を含み、前記画素部は、複数の前記有効画素がそれぞれに配された第1及び第2の撮像領域と、複数の前記オプティカルブラック画素がそれぞれに配された第1及び第2の参照領域と、を含む、撮像装置の駆動方法であって、前記複数の画素に対して、前記行の単位で、前記画素の前記光電変換部のリセット動作と、前記光電変換部で生じた電荷を前記保持部へ転送する電荷転送を含み、前記光電変換部で生じた電荷に基づく画素信号の読み出し動作とを行う際に、前記第1の撮像領域及び前記第1の参照領域に配された前記画素を、前記リセット動作が終了するタイミングから前記電荷転送が終了するタイミングまでの期間が第1の長さである第1の条件で駆動し、前記第2の撮像領域及び前記第2の参照領域に配された前記画素を、前記リセット動作が終了するタイミングから前記電荷転送が終了するタイミングまでの期間が前記第1の長さよりも長い第2の長さである第2の条件で駆動する撮像装置の駆動方法が提供される。
本発明によれば、複数の撮像領域において露光時間が異なる場合に、適正なオフセット補正を行うことができる。
本発明の第1実施形態による撮像装置の概略構成を示すブロック図である。 本発明の第1実施形態による撮像装置における画素の構成例を示す回路図である。 本発明の第1実施形態による撮像装置における画素部の構成例を示すブロック図である。 本発明の第1実施形態による撮像装置の駆動方法を示すタイミングチャート(その1)である。 本発明の第1実施形態による撮像装置の駆動方法を示すタイミングチャート(その2)である。 本発明の第1実施形態による撮像装置における制御部及び垂直走査部の構成例を示すブロック図である。 本発明の第2実施形態による撮像装置における画素の構成例を示す回路図である。 本発明の第2実施形態による撮像装置の駆動方法を示すタイミングチャート(その1)である。 本発明の第2実施形態による撮像装置の駆動方法を示すタイミングチャート(その2)である。 本発明の第3実施形態による撮像装置における画素部の構成例を示すブロック図である。 本発明の第3実施形態による撮像装置の駆動方法を示すタイミングチャートである。 本発明の第4実施形態による撮像装置の駆動方法を示すタイミングチャートである。 本発明の第5実施形態による撮像装置における画素部の構成例を示すブロック図である。 本発明の第5実施形態による撮像装置の駆動方法を示すタイミングチャートである。 本発明の第6実施形態による撮像装置の駆動方法を示すタイミングチャートである。 第7実施形態による撮像システムの概略構成を示すブロック図である。 第8実施形態による撮像システム及び移動体の構成例を示す図である。
[第1実施形態]
本発明の第1実施形態による撮像装置及びその駆動方法について、図1乃至図6を用いて説明する。
はじめに、本実施形態による撮像装置の構造について、図1乃至図3を用いて説明する。図1は、本実施形態による撮像装置の概略構成を示すブロック図である。図2は、本実施形態による撮像装置における画素の構成例を示す回路図である。図3は、本実施形態による撮像装置における画素部の構成例を示すブロック図である。
本実施形態による撮像装置100は、図1に示すように、画素部10と、垂直走査部30と、列回路40と、水平走査部50と、信号出力部60と、制御部70と、CPU80と、を有している。
画素部10には、複数の行及び複数の列に渡って配された複数の画素Pが配されている。図1には、(n+1)行×(m+1)列の2次元状に配された画素P(0,0)〜画素P(n,m)を示している。ここで、画素P(X,Y)として、Xが行番号を表し、Yが列番号を表している。先頭行の行番号は0行目であり、先頭列の列番号は0列目であるものとする。なお、本明細書では、画素部10内の特定の位置に配された画素Pを示すときは「画素P(n,m)」のように行番号及び列番号とともに表記し、画素部10内の位置を特定しない場合には単に「画素P」と表記するものとする。
画素部10の各行には、第1の方向(図1においてX方向)に延在して、制御線20が配されている。制御線20は、第1の方向に並ぶ画素Pにそれぞれ接続され、これら画素Pに共通の信号線をなしている。本明細書では、制御線20の延在する第1の方向を、行方向と表記することがある。
また、画素部10の各列には、第1の方向と交差する第2の方向(図1においてY方向)に延在して、出力線22が配されている。出力線22は、第2の方向に並ぶ画素Pにそれぞれ接続され、これら画素Pに共通の信号線をなしている。本明細書では、出力線22の延在する第2の方向を、列方向と表記することがある。
各行の制御線20は、垂直走査部30に接続されている。また、各列の出力線22は、列回路40に接続されている。各列の列回路40には、水平走査部50と、信号出力部60とが接続されている。垂直走査部30、列回路40、水平走査部50には、制御部70が接続されている。制御部70には、CPU80が接続されている。
垂直走査部30は、画素P内の読み出し回路を駆動するための制御信号を、制御線20を介して画素Pに供給する回路部である。垂直走査部30は、制御部70からの信号を受けて動作し、画素部10のシャッタ走査と読み出し走査とを行う。なお、シャッタ走査とは、画素部10の一部又は全部の行の画素Pに対して、光電変換素子のリセットを行単位で順次行い、露光(電荷の蓄積)を開始する動作をいう。読み出し走査とは、画素部10の一部又は全部の行の画素Pから光電変換素子に蓄積された電荷に基づく信号を行単位で順次出力する動作をいう。
列回路40は、増幅回路、アナログ・デジタル変換(AD変換)回路、メモリ等を備える。列回路40は、画素Pから出力される画素信号を増幅し、AD変換を行い、デジタル画素信号としてメモリに保持する。
水平走査部50は、制御部70からの信号を受けて動作し、列回路40の各列のメモリに順次、制御信号を出力する。水平走査部50から制御信号を受信した列回路40は、対応する列のメモリに保持されたデジタル画素信号を信号出力部60へと出力する。
信号出力部60は、デジタル信号処理部、パラレル・シリアル変換回路、LVDS(Low Voltage Differential Signaling)回路等の外部インターフェース等を備える。信号出力部60は、列回路40から受信したデジタル画素信号に対してデジタル信号処理を実施し、シリアルデータとして撮像装置100の外部に出力する。
制御部70は、垂直走査部30、列回路40、水平走査部50等に、これらの動作やそのタイミングを制御する制御信号を供給するための回路部である。これら制御信号の少なくとも一部は、撮像装置100の外部から供給されてもよい。
CPU80は、制御部70を制御する。制御部70は、CPU80から同期信号などの制御信号や動作モードなどの設定信号を受けて動作する。CPU80は、撮像装置100が搭載される撮像システム内、すなわち撮像装置100の外部に設けられていてもよい。
なお、列回路40は、必ずしもAD変換の機能を備える必要はなく、例えば、撮像装置100の外部でAD変換を行うようにしてもよい。この場合、水平走査部50及び信号出力部60の構成は、アナログ信号の処理に適合するように適宜変更される。
図2は、画素Pの構成例を示す回路図である。図2に示す回路は、ローリングシャッタ駆動を適用する撮像装置に用いられる典型的な画素構成である。画素部10を構成する複数の画素Pの各々は、光電変換部PDと、転送トランジスタM1と、FDリセットトランジスタM2と、増幅トランジスタM3と、選択トランジスタM4と、を含む。なお、図2には一例として、第n行、第m列に配置された画素P(n,m)を示しているが、他の画素Pも同様である。
光電変換部PDは、光電変換素子、例えばフォトダイオードである。光電変換部PDを構成するフォトダイオードは、アノードが接地ノードに接続され、カソードが転送トランジスタM1のソースに接続されている。転送トランジスタM1のドレインは、FDリセットトランジスタM2のソース及び増幅トランジスタM3のゲートに接続されている。転送トランジスタM1のドレイン、FDリセットトランジスタM2のソース及び増幅トランジスタM3のゲートの接続ノードは、いわゆるフローティングディフュージョンFDである。フローティングディフュージョンFDは、容量成分を含み、電荷保持部として機能するとともに、この容量成分からなる電荷電圧変換部を構成する。FDリセットトランジスタM2のドレイン及び増幅トランジスタM3のドレインは、電源ノード(電圧VCC)に接続されている。増幅トランジスタM3のソースは、選択トランジスタM4のドレインに接続されている。選択トランジスタM4のソースは、出力線22に接続されている。出力線22には、図示しない電流源が接続されている。なお、トランジスタのソースとドレインの呼称は、トランジスタの導電型や着目する機能等に応じて異なることがあり、上述のソースとドレインとは逆の名称で呼ばれることもある。
図2に示す回路構成の場合、各行の制御線20は、転送ゲート信号線、FDリセット信号線、選択信号線を含む。
転送ゲート信号線は、対応する行に属する画素Pの転送トランジスタM1のゲートに接続されており、垂直走査部30から供給される制御信号PTXを転送トランジスタM1のゲートに供給する。例えば、画素P(n,m)には、第n行の転送ゲート信号線を介して制御信号PTX(n)が供給される。
FDリセット信号線は、対応する行に属する画素PのFDリセットトランジスタM2のゲートに接続されており、垂直走査部30から供給される制御信号PRESをFDリセットトランジスタM2のゲートに供給する。例えば、画素P(n,m)には、第n行のFDリセット信号線を介して制御信号PRES(n)が供給される。
選択信号線は、対応する行に属する画素Pの選択トランジスタM4のゲートに接続されており、垂直走査部30から供給される制御信号PSELを選択トランジスタM4のゲートに供給する。例えば、画素P(n,m)には、第n行の選択信号線を介して制御信号PSEL(n)が供給される。
画素Pの各トランジスタがNチャネルトランジスタで構成される場合、垂直走査部30からハイレベルの制御信号が供給されると対応するトランジスタがオンとなり、垂直走査部30からローレベルの制御信号が供給されると対応するトランジスタがオフとなる。ここでは、ハイレベルが論理値「1」に対応し、ローレベルが論理値「0」に対応するものとする。なお、画素Pの各トランジスタは、Pチャネルトランジスタで構成してもよい。画素Pの各トランジスタをPチャネルトランジスタで構成する場合、各トランジスタを駆動する制御信号の信号レベルはNチャネルトランジスタの場合とは逆になる。
被写体の光学像が画素部10に入射すると、各画素Pの光電変換部PDは、入射光をその光量に応じた量の電荷に変換(光電変換)するとともに、生じた電荷を蓄積する。転送トランジスタM1は、オンになることで光電変換部PDに蓄積された電荷をフローティングディフュージョンFDに転送する。
フローティングディフュージョンFDは、光電変換部PDから転送された電荷を保持するとともに、その容量成分による電荷電圧変換によって、光電変換部PDから転送された電荷の量に応じた電圧となる。増幅トランジスタM3は、ドレインに電圧VCCが供給され、ソースに選択トランジスタM4を介してバイアス電流が供給される構成となっており、ゲートを入力ノードとする増幅部(ソースフォロワ回路)を構成する。これにより増幅トランジスタM3は、フローティングディフュージョンFDの電圧に基づく画素信号(第m列の画素Pにおいては画素信号Vout(m))を、選択トランジスタM4を介して出力線22に出力する。
FDリセットトランジスタM2は、オンになることでフローティングディフュージョンFDを電圧VCCに応じた電圧にリセットする。また、FDリセットトランジスタM2と転送トランジスタM1とが同時にオンになることで、光電変換部PDを電圧VCCに応じた電圧にリセットすることができる。FDリセットトランジスタM2と転送トランジスタM1とは、光電変換部PDをリセットするリセット部を構成する。
画素部10は、図3に示すように、有効画素領域12a,12bと、オプティカルブラック領域(以下、「OB領域」と表記する)16と、を含む。有効画素領域12a,12bは、光電変換部PDを含み入射光量に応じた信号を出力しうる画素(有効画素)Pが配された領域である。OB領域16は、遮光膜で覆われた画素(オプティカルブラック画素(以下、「OB画素」と表記する))Pが配された領域である。
有効画素領域12aは、撮像領域14aを含む。有効画素領域12bは、撮像領域14bを含む。撮像領域14a,14bは、有効画素領域12a,12bの画素Pのうち、撮像画像を取得するために用いられる画素Pが配された領域である。撮像領域14a,14bは、有効画素領域12a,12bと同じであってもよいし、有効画素領域12a,12bより小さくてもよい。
OB領域16は、参照領域18a,18bを含む。参照領域18aは、撮像領域14aに配された画素Pから取得した画素信号に重畳するオフセット成分を算出するために用いられる画素Pが配された領域である。また、参照領域18bは、撮像領域14bに配された画素Pから取得した画素信号に重畳するオフセット成分を算出するために用いられる画素Pが配された領域である。
撮像領域14a,14b、参照領域18a,18bは、少なくとも1つの画素Pを含む。すなわち、これら領域の行方向(図3においてX方向)の最小単位は1列であり、列方向(図3においてY方向)の最小単位は1行である。典型的には、撮像領域14a,14b、参照領域18a,18bは、複数の行及び複数の列を含む。
有効画素領域12aと有効画素領域12bとは、画素部10内に、OB領域16を介して列方向に並べて配されている。換言すると、有効画素領域12aが設けられた行と有効画素領域12bが設けられた行とは異なっている。有効画素領域12aが設けられた列と有効画素領域12bが設けられた列とは、一部又は全部が重複していてもよい。
有効画素領域12a及び有効画素領域12bが設けられた領域以外の画素部10内の領域が、OB領域16である。図3に示す配置例では、OB領域16は、総ての列を含む行(図3において有効画素領域12aの上下に位置する行)と、総ての行を含む列(図3において有効画素領域12a,12bよりも左側に位置する列)とを含む。
参照領域18bは、有効画素領域12aと有効画素領域12aとの間のOB領域16に配されている。参照領域18aは、参照領域18bとの間に有効画素領域12aを挟むように、有効画素領域12aに対して列方向に隣接して配されている。すなわち、参照領域18a、有効画素領域12a、参照領域18b、有効画素領域12bは、列方向にこの順番で配されている。参照領域18a、有効画素領域12a、参照領域18b、有効画素領域12bは、異なる行に配されている。なお、参照領域18aは、有効画素領域12aに接していてもよい。また、参照領域18bは、有効画素領域12a及び/又は有効画素領域12bに接していてもよい。
また、参照領域18aは、撮像領域14aが配された列を少なくとも含むように配されている。また、参照領域18bは、撮像領域14bが配された列を少なくとも含むように配されている。一例では、参照領域18a、撮像領域14a、参照領域18b、撮像領域14bが配された列は、同じである。
図3において、撮像領域14aに配された画素Pの露光時間(露光時間1)と、撮像領域14bに配された画素Pの露光時間(露光時間2)とは、独立に制御される。参照領域18aに配された画素Pは、撮像領域14aに配された画素Pと同様の条件で制御される。また、参照領域18bに配された画素Pは、撮像領域14bに配された画素Pと同様の条件で制御される。なお、ここで言う同様の条件とは、光電変換部PDのリセット動作が終了するタイミングから、光電変換部PDからフローティングディフュージョンFDへの電荷転送が終了するタイミングまでの期間の長さが同じであることを意味する。この期間は、有効画素領域12a,12bに配された画素Pにあっては、露光時間に相当する。
このように、本実施形態による撮像装置の画素部10は、露光時間を独立して設定可能な複数の撮像領域14a,14bを含む。また、本実施形態による撮像装置の画素部10は、これら撮像領域14a,14bに関連付けられた複数の参照領域18a,18bを有している。撮像領域14aに配された画素Pと撮像領域14aに関連付けられた参照領域18aに配された画素Pとは、同様の条件で制御される。また、撮像領域14bに配された画素Pと撮像領域14bに関連付けられた参照領域18bに配された画素Pとは、同様の条件で制御される。
一般的に、OB領域に配されたOB画素は、熱や回路構造に起因して有効画素の画素信号に重畳するオフセット成分を算出するために用いられるものである。しかしながら、撮像領域14aと撮像領域14bとの間で露光時間の長さ、露光タイミングが異なるような場合、その露光時間の長さ、露光タイミングの違いに起因して画素信号に重畳するオフセット成分も異なることになる。そのため、撮像領域14aから取得した画素信号及び撮像領域14bから取得した画素信号に対して同じオフセット値を用いてオフセット補正行うと、少なくとも一方の画素信号に対してオフセット補正の精度が低下する。
このような観点から、本実施形態による撮像装置においては、画素部10のOB領域16に、撮像領域14aに関連付けられた参照領域18aと、撮像領域14aに関連付けられた参照領域18aとを配している。そして、垂直走査部30は、撮像領域14a及び参照領域18aに配された画素Pと、撮像領域14b及び参照領域18bに配された画素Pとを、異なる条件(露光時間の長さ)で制御する機能を備える。
このように構成することで、撮像領域14aから取得した画素信号に対して適正なオフセット値を、参照領域18aから取得した画素信号に基づいて算出することができる。また、撮像領域14bから取得した画素信号に対して適正なオフセット値を、参照領域18bから取得した画素信号に基づいて算出することができる。これにより、露光時間の異なる撮像領域14a,14bの両方に対して、より適正なオフセット補正を行うことができる。
また、画素特性は面内分布を有している場合があり、オフセット値を取得するために用いられるOB画素が配された参照領域は、撮像領域の近傍に配置されていることが望ましい。この点、本実施形態では、参照領域18bを、撮像領域14aと撮像領域14bとの間に配置し、撮像領域14bと参照領域18bとの物理的な距離を近くしている。これにより、撮像領域14bから取得した画素信号に対してより適正なオフセット値を算出することができる。
また、図1に示すように画素Pが2次元状に配されたエリアセンサを用いて位相差検出方式の焦点検出装置を構成する場合、複数の撮像領域の位置は光学系の構成によって固定される。具体的には、撮像装置に光を導く光学系として、瞳分割を行うセパレータレンズ(2次結像レンズ)が用いられる。この場合、セパレータレンズは図5に示した撮像領域の位置に光を導き、他の領域には光を導かない。このような場合、撮像領域の間の領域を遮光してOB領域とし、このOB領域を、オフセット値を取得するための参照領域として用いることができる。このように構成することで、撮像領域に挟まれない領域に配されるOB領域を削減することが可能となり、画素部10を小面積化し、ひいては撮像装置を小型化することができる。
次に、本実施形態による撮像装置の駆動方法について、図4乃至図6を用いて説明する。図4及び図5は、本実施形態による撮像装置の駆動方法を示すタイミングチャートである。図6は、本実施形態による撮像装置における制御部及び垂直走査部の構成例を示すブロック図である。
図4は、画素部10の各行におけるシャッタ動作及び読み出し動作の概略を示すタイミングチャートである。なお、図4には、第n行の動作を例示している。
シャッタ動作では、制御信号PRES(n)及び制御信号PTX(n)をハイレベルに制御し、転送トランジスタM1及びFDリセットトランジスタM2を同時にオンにする。これにより、光電変換部PDを転送トランジスタM1及びFDリセットトランジスタM2を介して電源ノードに接続し、光電変換部PDを電圧VCCに応じた電位にリセットする。この後に、制御信号PTX(n)をローレベルに制御して光電変換部PDのリセットを解除するタイミングが、光電変換部PDにおける電荷の蓄積期間の開始、すなわち露光開始の時刻となる。
読み出し動作では、制御信号PRES(n)をローレベルに、制御信号PSEL(n),PTX(n)をハイレベルに制御し、FDリセットトランジスタM2がオフの状態で、転送トランジスタM1及び選択トランジスタM4を同時にオンにする。これにより、光電変換部PDに蓄積されている電荷がフローティングディフュージョンFDへと転送される。この後に、制御信号PTX(n)をローレベルに制御してフローティングディフュージョンFDへの電荷の転送を終了するタイミングが、光電変換部PDにおける電荷の蓄積期間の終了、すなわち露光終了の時刻となる。
光電変換部PDからフローティングディフュージョンFDへと電荷が転送されることにより、フローティングディフュージョンFDは転送された電荷の量に応じた電位となる。これにより、増幅トランジスタM3は、フローティングディフュージョンFDの電位に応じた画素信号を、選択トランジスタM4を介して出力線22に出力する。このように、読み出し動作は、光電変換部PDで生じた電荷をフローティングディフュージョンFDへ転送する電荷転送を含み、光電変換部PDで生じた電荷に基づく画素信号の読み出しを行う動作である。
ローリングシャッタ駆動では、上述の1行の画素駆動を、画素部10の行を順次選択して行うことで、シャッタ走査及び読み出し走査を実行する。
図5は、画素部10の全体における動作の概略を示すタイミングチャートである。図5には、水平同期信号の入力ごとに1行分のデータの読み出しを行う駆動例を示している。
図5の上段には、水平同期信号、読み出し走査開始信号1、読み出し走査開始信号2、シャッタ走査開始信号1、シャッタ走査開始信号2のタイミングを示している。
読み出し走査開始信号1、読み出し走査開始信号2、シャッタ走査開始信号1、シャッタ走査開始信号2は、制御部70から垂直走査部30へと所定のタイミングで出力される制御信号である。読み出し走査開始信号1は、垂直走査部30に対して、露光時間が露光時間1に設定された行(撮像領域14a、参照領域18a)の読み出し走査の開始を指示する信号である。読み出し走査開始信号2は、垂直走査部30に対して、露光時間が露光時間2に設定された行(撮像領域14b、参照領域18b)の読み出し走査の開始を指示する信号である。シャッタ走査開始信号1は、垂直走査部30に対して、露光時間が露光時間1に設定された行(撮像領域14a、参照領域18a)のシャッタ走査の開始を指示する信号である。シャッタ走査開始信号2は、垂直走査部30に対して、露光時間が露光時間2に設定された行(撮像領域14b、参照領域18b)のシャッタ走査の開始を指示する信号である。
図5の下段には、上段に示した信号に対応した動作の概略を示している。「シャッタ走査」、「読み出し走査」として示される矩形のブロック群の各々が、図4で説明した「シャッタ動作」、「読み出し動作」に対応する。各行のシャッタ動作が行毎に順次行われる動作がシャッタ走査であり、各行の読み出し動作が行毎に順次行われる動作が読み出し走査であることを、視覚的に表している。
参照領域18a及び撮像領域14aの読み出し走査は、垂直走査部30が読み出し走査開始信号1を受信することに応じて開始される。また、参照領域18b及び撮像領域14bの読み出し走査は、垂直走査部30が読み出し走査開始信号2を受信することに応じて開始される。
図5の駆動例では、水平同期信号の間隔で規定される1水平期間の間に1行分の読み出し動作を行い、次の1水平期間の間に次の行の読み出し動作を行う場合を想定している。このようにして、参照領域18a、撮像領域14a、参照領域18b、撮像領域14bに属する行の画素Pの読み出し動作を、行毎に順次実行する。図5の駆動例では複数の行の読み出し動作を同時に行わないため、参照領域18a、撮像領域14a、参照領域18b及び撮像領域14bの各領域の読み出し走査が同じタイミングで行われることはない。
参照領域18a及び撮像領域14aのシャッタ走査は、垂直走査部30がシャッタ走査開始信号1を受信することに応じて開始される。制御部70からシャッタ走査開始信号1の出力されるタイミングは、制御部70から読み出し走査開始信号1の出力されるタイミングから露光時間1に相当する時間だけ遡ったタイミングに設定される。参照領域18b及び撮像領域14bのシャッタ走査は、垂直走査部30がシャッタ走査開始信号2を受信することに応じて開始される。制御部70からシャッタ走査開始信号2の出力されるタイミングは、制御部70から読み出し走査開始信号2の出力されるタイミングから露光時間2に相当する時間だけ遡ったタイミングに設定される。
読み出し動作の場合と同様、図5の駆動例では、1水平期間の間に1行分のシャッタ動作が行われ、次の1水平期間の間に次の行のシャッタ動作が行われる場合を想定している。このようにして、参照領域18a及び撮像領域14aのシャッタ動作と、参照領域18b及び撮像領域14bのシャッタ動作とを、行毎に順次実行する。また、垂直走査部30は、参照領域18a、撮像領域14aのシャッタ動作と、参照領域18b、撮像領域14bのシャッタ動作とを独立して制御している。これにより、本実施形態の撮像装置は、参照領域18a、撮像領域14aの露光時間の長さ、露光タイミングを、参照領域18b、撮像領域14bの露光時間の長さ、露光タイミングに対して独立して設定することができる。
図5に示す駆動例では、同様の条件で駆動される参照領域18aの行と撮像領域14aの行とが連続して走査される。また、同様の条件で駆動される参照領域18bの行と撮像領域14bの行とが連続して走査される。したがって、領域間における制御の切り替えを簡略化することができ、また、垂直走査部30の構成が複雑化することをも防止することができる。
なお、図5に示すタイミングチャートでは、参照領域18a及び撮像領域14aの読み出し走査を行った後、参照領域18b及び撮像領域14bの読み出し走査を行っているが、読み出し走査の順序は逆でもよい。この場合、シャッタ走査の開始タイミングは、各領域に設定された露光時間に応じて適宜変更すればよい。
また、図5に示すタイミングチャートでは1水平期間の間に1行のみを読み出す場合を示しているが、1水平期間の間に読み出す行数は必ずしも1行である必要はない。例えば、ある水平期間においてシャッタ行として選択される行数と読み出し行として選択される行数とを増やし、露光時間が一定になるように制御することで、1水平期間の間に複数行の読み出しを行うことが可能である。
このようにして取得した画素部10の読み出しデータは、図5に示すように、参照領域18aの出力値、撮像領域14aの出力値、参照領域18bの出力値、撮像領域14bの出力値の順番で行毎に出力される。
撮像領域14a,14bに配された画素Pの出力値から参照領域18a,18bに配された画素Pの出力値を差し引くオフセット補正処理は、撮像装置100の内部で行ってもよいし、撮像装置100の外部で行ってもよい。オフセット補正処理を撮像装置100の内部で行う場合、撮像装置100は、当該オフセット補正処理を行う信号処理部を更に有する。
図6は、図5に示す駆動を実現するための制御部70及び垂直走査部30の構成例を示すブロック図である。なお、図6に示す制御部70及び垂直走査部30の構成は、一例であって、これに限定されるものではない。
図6に示すように、制御部70は、レジスタ制御部72と、露光時間の設定領域の数に応じた数のタイミング制御部74と、を備える。ここでは、画素部10が露光時間1の撮像領域14aと露光時間2の撮像領域14bとを含む場合を想定し、制御部70が、露光時間1に対応するタイミング制御部74aと、露光時間2に対応するタイミング制御部74bとを備える構成例を説明する。
レジスタ制御部72は、画素部10内の撮像領域14a,14bの露光時間の設定などの情報を保持しており、保持する情報をタイミング制御部74a,74bへと出力する。
タイミング制御部74aは、レジスタ制御部72から供給される制御信号(露光時間設定1)と同期信号とに応じて、露光時間1に設定された領域において読み出し走査の開始を指示するタイミング信号(読み出し走査開始信号1)を生成する。また、タイミング制御部74aは、レジスタ制御部72から供給される制御信号(露光時間設定1)と同期信号とに応じて、露光時間1に設定された領域においてシャッタ走査の開始を指示するタイミング信号(シャッタ走査開始信号1)を生成する。ここでは、露光時間1に設定された領域は、参照領域18a及び撮像領域14aである。
同様に、タイミング制御部74bは、レジスタ制御部72から供給される制御信号(露光時間設定2)と同期信号とに応じて、露光時間2に設定された領域において読み出し走査の開始を指示するタイミング信号(読み出し走査開始信号2)を生成する。また、タイミング制御部74bは、レジスタ制御部72から供給される制御信号(露光時間設定2)と同期信号とに応じて、露光時間2に設定された領域においてシャッタ走査の開始を指示するタイミング信号(シャッタ走査開始信号2)を生成する。ここでは、露光時間2に設定された領域は、参照領域18b及び撮像領域14bである。
垂直走査部30は、露光時間の設定値の数に応じた数の垂直走査回路32を備える。ここでは、画素部10が露光時間1に設定された領域と露光時間2に設定された領域とを含む場合を想定し、垂直走査部30が、露光時間1に対応する垂直走査回路32aと、露光時間2に対応する垂直走査回路32bとを備える構成例を説明する。
垂直走査回路32aは、読み出し走査制御部34aと、シャッタ走査制御部36aと、を含む。読み出し走査制御部34aは、制御部70から読み出し走査開始信号(読み出し走査開始信号1)を受けて動作し、画素部10に読み出し走査制御信号(読み出し走査制御信号1)を出力する。シャッタ走査制御部36aは、制御部70からシャッタ走査開始信号(シャッタ走査開始信号1)を受けて動作し、画素部10にシャッタ走査制御信号(シャッタ走査制御信号1)を出力する。
同様に、垂直走査回路32bは、読み出し走査制御部34bと、シャッタ走査制御部36bと、を含む。読み出し走査制御部34bは、制御部70から読み出し走査開始信号(読み出し走査開始信号2)を受けて動作し、画素部10に読み出し走査制御信号(読み出し走査制御信号2)を出力する。シャッタ走査制御部36bは、制御部70からシャッタ走査開始信号(シャッタ走査開始信号2)を受けて動作し、画素部10にシャッタ走査制御信号(シャッタ走査制御信号2)を出力する。
露光時間1に対応する参照領域18a及び撮像領域14aの画素Pは、読み出し走査制御部34aから出力される読み出し走査制御信号1と、シャッタ走査制御部36aから出力されるシャッタ走査制御信号1によって制御される。また、露光時間2に対応する参照領域18b及び撮像領域14bの画素Pは、読み出し走査制御部34bから出力される読み出し走査制御信号2と、シャッタ走査制御部36bから出力されるシャッタ走査制御信号2によって制御される。読み出し走査制御信号1、シャッタ走査制御信号1、読み出し走査制御信号2、シャッタ走査制御信号2は、対応する行の制御信号PSEL,PRES,PTXにより構成される。
制御部70及び垂直走査部30をこのように構成することで、撮像領域14a及び参照領域18aに配された画素Pと撮像領域14b及び参照領域18bに配された画素Pとを異なる条件(露光時間)で制御し、図5に示す駆動を実現することができる。
このように、本実施形態によれば、複数の撮像領域において露光時間が異なる場合に、適正なオフセット補正を行うことができる。
[第2実施形態]
本発明の第2実施形態による撮像装置及びその駆動方法について、図7乃至図9を用いて説明する。図7は、本実施形態による撮像装置における画素の構成例を示す回路図である。図8及び図9は、本実施形態による撮像装置の駆動方法を示すタイミングチャートである。第1実施形態による撮像装置と同様の構成要素については同一の符号を付し、説明を省略し或いは簡潔にする。
本実施形態では、グローバルシャッタ機能を備えた撮像装置への本発明の適用例を説明する。本実施形態による撮像装置は、画素Pの回路構成が異なるほかは、基本的な構成は第1実施形態による撮像装置と同様である。例えば、画素部10における領域設定やそれによって得られる効果は、第1実施形態の場合と同様である。
本実施形態による撮像装置の画素Pは、図7に示すように、光電変換部PD、転送トランジスタM1、FDリセットトランジスタM2、増幅トランジスタM3及び選択トランジスタM4に加え、PDリセットトランジスタM5及び転送トランジスタM6を更に含む。図7に示す回路は、グローバルシャッタ駆動を適用する撮像装置に用いられる典型的な画素構成である。なお、図7には一例として、第n行、第m列に配置された画素P(n,m)を示しているが、他の画素Pも同様である。
光電変換部PDを構成するフォトダイオードは、アノードが接地ノードに接続され、カソードがPDリセットトランジスタM5のソース及び転送トランジスタM6のソースに接続されている。転送トランジスタM6のドレインは、転送トランジスタM1のソースに接続されている。転送トランジスタM6のドレインと転送トランジスタM1のソースとの接続ノードは、容量成分を含み、電荷保持部MEMとして機能する。図7にはこの容量成分を容量素子で表している。転送トランジスタM1のドレインは、FDリセットトランジスタM2のソース及び増幅トランジスタM3のゲートに接続されている。転送トランジスタM1のドレイン、FDリセットトランジスタM2のソース及び増幅トランジスタM3のゲートの接続ノードが、フローティングディフュージョンFDである。FDリセットトランジスタM2のドレイン、PDリセットトランジスタM5のドレイン及び増幅トランジスタM3のドレインは、電源ノード(電圧VCC)に接続されている。増幅トランジスタM3のソースは、選択トランジスタM4のドレインに接続されている。選択トランジスタM4のソースは、出力線22に接続されている。出力線22には、図示しない電流源が接続されている。
図7に示す回路構成の場合、各行の制御線20は、第1及び第2の転送ゲート信号線、FDリセット信号線、PDリセット信号線、選択信号線を含む。
第1の転送ゲート信号線は、対応する行に属する画素Pの転送トランジスタM1のゲートに接続されており、垂直走査部30から供給される制御信号PTXを転送トランジスタM1のゲートに供給する。例えば、画素P(n,m)には、第n行の第1の転送ゲート信号線を介して制御信号PTX(n)が供給される。
第2の転送ゲート信号線は、対応する行に属する画素Pの転送トランジスタM6のゲートに接続されており、垂直走査部30から供給される制御信号GSを転送トランジスタM6のゲートに供給する。なお、駆動条件(露光時間)が同じ画素Pを含む複数の行の第2の転送ゲート信号線には、共通の制御信号GSが供給される。
FDリセット信号線は、対応する行に属する画素PのFDリセットトランジスタM2のゲートに接続されており、垂直走査部30から供給される制御信号PRESをFDリセットトランジスタM2のゲートに供給する。例えば、画素P(n,mn)には、第n行のFDリセット信号線を介して制御信号PRES(n)が供給される。
PDリセット信号線は、対応する行に属する画素PのPDリセットトランジスタM5のゲートに接続されており、垂直走査部30から供給される制御信号OFDをPDリセットトランジスタM5のゲートに供給する。なお、駆動条件(露光時間)が同じ画素Pを含む複数の行のPDリセット信号線には、共通の制御信号OFDが供給される。
選択信号線は、対応する行に属する画素Pの選択トランジスタM4のゲートに接続されており、垂直走査部30から供給される制御信号PSELを選択トランジスタM4のゲートに供給する。例えば、画素P(n,m)には、第n行の選択信号線を介して制御信号PSEL(n)が供給される。
被写体の光学像が画素部10に入射すると、各画素Pの光電変換部PDは、入射光をその光量に応じた量の電荷に変換(光電変換)するとともに、生じた電荷を蓄積する。転送トランジスタM6は、オンになることで光電変換部PDに蓄積された電荷を電荷保持部MEMに転送する。なお、駆動条件(露光時間)が同じ画素Pを含む複数の行における光電変換部PDから電荷保持部MEMへの電荷の転送は、一括で行われる(一括メモリ転送動作)。転送トランジスタM1は、オンになることで電荷保持部MEMが保持する電荷をフローティングディフュージョンFDに転送する。
フローティングディフュージョンFDは、光電変換部PDから転送された電荷を保持するとともに、その容量成分による電荷電圧変換によって、光電変換部PDから転送された電荷の量に応じた電圧となる。増幅トランジスタM3は、ドレインに電圧VCCが供給され、ソースに選択トランジスタM4を介してバイアス電流が供給される構成となっており、ゲートを入力ノードとする増幅部(ソースフォロワ回路)を構成する。これにより増幅トランジスタM3は、フローティングディフュージョンFDの電圧に基づく画素信号(第m列の画素Pにおいては画素信号Vout(m))を、選択トランジスタM4を介して出力線22に出力する。
FDリセットトランジスタM2は、オンになることでフローティングディフュージョンFDを電圧VCCに応じた電圧にリセットする。PDリセットトランジスタM5は、オンになることで光電変換部PDを電圧VCCに応じた電圧にリセットする。PDリセットトランジスタM5は、光電変換部PDをリセットするリセット部を構成する。PDリセットトランジスタM5を備えることにより、電荷保持部MEMに電荷を保持したままの状態で光電変換部PDのリセットが可能となる。なお、駆動条件(露光時間)が同じ画素Pを含む複数の行における光電変換部PDのリセットは、一括で行われる(一括シャッタ動作)。
図8は、画素部10の各行におけるシャッタ動作及び読み出し動作の概略を示すタイミングチャートである。なお、図8には、第n行の動作を例示している。
グローバルシャッタ駆動におけるシャッタ動作では、複数の行の画素Pの光電変換部PDを同時にリセットする。ここで、複数の行は、例えば、露光時間が同じである画素Pが配された行である。例えば、画素部10が図3に示すような撮像領域14a,14b及び参照領域18a,18bを含む場合、撮像領域14aに属する行の画素Pの光電変換部PDと参照領域18aに属する行の画素Pの光電変換部PDとを同時にリセットする。また、撮像領域14bに属する行の画素Pの光電変換部PDと参照領域18bに属する行の画素Pの光電変換部PDとを同時にリセットする。総ての行の画素Pの光電変換部PDを同時にリセットするようにしてもよい。
複数の行の画素Pの光電変換部PDのリセットは、これら複数の行のPDリセット信号線に同一の制御信号OFDを供給することにより行う。制御信号OFDをハイレベルに制御してPDリセットトランジスタM5をオンにすることにより、PDリセットトランジスタM5を介して光電変換部PDを電源ノードに接続し、光電変換部PDを電圧VCCに応じた電位にリセットする。この後に、制御信号OFDをローレベルに制御して光電変換部PDのリセットを解除するタイミングが、光電変換部PDにおける電荷の蓄積期間の開始、すなわち露光開始の時刻となる。このようにして複数の行の画素Pの光電変換部PDを同時にリセットする動作を、一括シャッタ動作という。
グローバルシャッタ駆動における露光終了のタイミングは、光電変換部PDに蓄積されている電荷の電荷保持部MEMへの転送を終了するタイミングである。光電変換部PDから電荷保持部MEMへの電荷の転送は、同時に露光を開始した複数の行の第2転送ゲート信号線に同一の制御信号GSを供給することにより行う。制御信号GSをハイレベルに制御して転送トランジスタM6をオンにすることにより、光電変換部PDに蓄積されている電荷が電荷保持部MEMへと転送される。この後に、制御信号GSをローレベルに制御して光電変換部PDから電荷保持部MEMへの電荷の転送を終了するタイミングが、光電変換部PDにおける電荷の蓄積期間の終了、すなわち露光終了の時刻となる。このようにして複数の行の画素Pにおいて同時に光電変換部PDから電荷保持部MEMへの電荷の転送を行う動作を、一括メモリ転送動作という。
一括メモリ転送動作を行う画素Pでは、一括メモリ転送動作に先立ち、電荷保持部MEMをリセットしておく。一括メモリ転送動作の前に、一括メモリ転送動作が行われる複数の行の制御信号PRESと制御信号PTXとをハイレベルに制御し、FDリセットトランジスタM2及び転送トランジスタM1を同時にオンにする。これにより、電荷保持部MEMを転送トランジスタM1及びFDリセットトランジスタM2を介して電源ノードに接続し、電荷保持部MEMを電圧VCCに応じた電位にリセットする。このようにして複数の行の画素Pにおいて同時に電荷保持部MEMをリセットする動作を、一括メモリリセット動作という。
読み出し動作では、制御信号PRES(n)をローレベルに、制御信号PSEL(n),PTX(n)をハイレベルに制御し、FDリセットトランジスタM2がオフの状態で、転送トランジスタM1及び選択トランジスタM4を同時にオンにする。これにより、電荷保持部MEMに保持されている電荷がフローティングディフュージョンFDへと転送される。電荷保持部MEMからフローティングディフュージョンFDへと電荷が転送されることにより、フローティングディフュージョンFDは転送された電荷の量に応じた電位となる。これにより、増幅トランジスタM3は、フローティングディフュージョンFDの電位に応じた画素信号を、選択トランジスタM4を介して出力線22に出力する。グローバルシャッタ駆動における読み出し動作は、ローリングシャッタ駆動の場合と同様、行毎に順次行う。読み出し動作は、光電変換部PDで生じた電荷を電荷保持部MEMへ転送する電荷転送を含み、光電変換部PDで生じた電荷に基づく画素信号の読み出しを行う動作である。
このようにして、複数の行の画素Pにおける露光開始タイミングと露光終了タイミングとを同時にすることにより、グローバルシャッタ動作を実現することができる。
図9は、画素部10の全体における動作の概略を示すタイミングチャートである。図9には、水平同期信号の入力ごとに1行分のデータの読み出しを行う駆動例を示している。ここでは、第1実施形態と同様、画素部10が図3のようにレイアウトされている場合を想定する。
図9の上段には、水平同期信号、読み出し走査開始信号1、読み出し走査開始信号2、一括シャッタ制御信号1、一括シャッタ制御信号2、一括メモリ転送信号1、一括メモリ転送信号2のタイミングを示している。これら制御信号は、第1実施形態の場合と同様である。
図9の下段には、上段に示した信号に対応した動作の概略を示している。「一括シャッタ」、「一括メモリ転送」、「読み出し走査」として示される矩形のブロック群の各々が、図8で説明した「一括シャッタ動作」、「一括メモリ転送動作」、「読み出し動作」に対応する。
グローバルシャッタ駆動では、図9に示すように、露光時間が同一の領域に含まれる複数の行において、一括シャッタ動作により同時に露光が開始され、一括メモリ転送により同時に露光が終了する。すなわち、露光時間が露光時間1である参照領域18a及び撮像領域14aに含まれる複数の行において一括シャッタ動作及び一括メモリ転送が行われる。また、露光時間が露光時間1とは異なる露光時間2である参照領域18b及び撮像領域14bに含まれる複数の行において一括シャッタ動作及び一括メモリ転送が行われる。
読み出し走査は、一括メモリ転送の後に開始されるが、露光時間によらず行順次で行われる。なお、図9に示すタイミングチャートでは、参照領域18a及び撮像領域14aの読み出し走査を行った後、参照領域18b及び撮像領域14bの読み出し走査を行っているが、読み出し走査の順序は逆でもよい。
図9に示す駆動例では、同様の条件で駆動される参照領域18aの行と撮像領域14aの行とにおいて、シャッタ動作とメモリ転送動作とが一括で行われ、読み出し走査は連続して行われる。また、同様の条件で駆動される参照領域18bの行と撮像領域14bの行とにおいて、シャッタ動作とメモリ転送動作とが一括で行われ、読み出し走査は連続して行われる。したがって、領域間における制御の切り替えを簡略化することができ、また、垂直走査部30の構成が複雑化することをも防止することができる。制御部70及び垂直走査部30には、例えば第1実施形態で説明した図6に示す構成を適用可能である。
なお、図9に示すタイミングチャートでは1水平期間の間に1行のみを読み出す場合を示しているが、1水平期間の間に読み出す行数は必ずしも1行である必要はない。グローバルシャッタ駆動においては、ある水平期間において読み出し行として選択される行数を増やすだけでよく、一括シャッタ動作及び一括メモリ転送動作に影響することはない。
このように、本実施形態によれば、複数の撮像領域において露光時間が異なる場合に、適正なオフセット補正を行うことができる。
[第3実施形態]
本発明の第3実施形態による撮像装置及びその駆動方法について、図10及び図11を用いて説明する。図10は、本実施形態による撮像装置における画素部の構成例を示すブロック図である。図11は、本実施形態による撮像装置の駆動方法を示すタイミングチャートである。第1及び第2実施形態による撮像装置と同様の構成要素については同一の符号を付し、説明を省略し或いは簡潔にする。
本実施形態による撮像装置は、画素部10における領域設定が異なるほかは、基本的な構成は第1実施形態による撮像装置と同様である。例えば、画素Pは、図2に示す回路により構成される。本実施形態では、ローリングシャッタ駆動を行う撮像装置を想定している。
本実施形態による撮像装置の画素部10においては、参照領域18aが、有効画素領域12aの上部ではなく、図10に示すように、有効画素領域12aと参照領域18bとの間に配されている。すなわち、有効画素領域12a、参照領域18a、参照領域18b、有効画素領域12bは、列方向にこの順番で配されている。有効画素領域12a、参照領域18a、参照領域18b、有効画素領域12bは、異なる行に配されている。なお、参照領域18aは、有効画素領域12a及び/又は参照領域18bに接していてもよい。また、参照領域18bは、参照領域18a及び/又は有効画素領域12bに接していてもよい。
本実施形態による撮像装置における画素部10の領域設定においても、参照領域18aは撮像領域14aに隣接し、参照領域18bは撮像領域14bに隣接している。したがって、本実施形態においても、露光時間の異なる撮像領域14a,14bの各々に対して適正なオフセット値を取得することができる。
また、図1に示すように画素Pが2次元状に配されたエリアセンサを用いて焦点検出装置を構成する場合、複数の撮像領域の位置は光学系の構成によって固定され、撮像領域以外の領域には光が入射しない。このような場合、撮像領域の間の領域を遮光してOB領域とし、このOB領域を、オフセット値を取得するための参照領域として用いることができる。このように構成することで、撮像領域14a,14bの間に挟まれない上下の領域にOB領域を配置しなくてもよく、画素部10を小面積化し、ひいては撮像装置を小型化することができる。
図11は、画素部10の全体における動作の概略を示すタイミングチャートである。図11には、水平同期信号の入力ごとに1行分のデータの読み出しを行う駆動例を示している。図11の上段には、水平同期信号、読み出し走査開始信号1、読み出し走査開始信号2、シャッタ走査開始信号1、シャッタ走査開始信号2のタイミングを示している。これら制御信号は、第1実施形態の場合と同様である。図11の下段には、上段に示した信号に対応した動作の概略を示している。「シャッタ走査」、「読み出し走査」として示される矩形のブロック群の各々が、図4で説明した「シャッタ動作」、「読み出し動作」に対応する。
本実施形態の撮像装置では、図11に示すように、第1実施形態の撮像装置と同様のローリングシャッタ方式の駆動を行う。
図11の駆動例において、撮像領域14aは露光時間1で制御され、撮像領域14bは露光時間1とは独立した露光時間2で制御される。第1実施形態の場合と同様、撮像領域14aに対応する参照領域18aは、撮像領域14aと同様の条件(露光時間1に相当)で制御される。また、撮像領域14bに対応する参照領域18bは、撮像領域14bと同様の条件(露光時間2に相当)で制御される。
図11の駆動例では、露光時間の異なる領域ごとに、参照領域18から撮像領域14に向かうように、垂直走査の方向を制御している。すなわち、露光時間1に設定された参照領域18a及び撮像領域14aでは、行アドレスが小さくなる方向にシャッタ走査及び読み出し走査を行っている。また、露光時間2に設定された参照領域18b及び撮像領域14bでは、行アドレスが大きくなる方向にシャッタ走査及び読み出し走査を行っている。このように構成することで、露光時間の異なる領域ごとに、参照領域18のうち最後に読み出しが行われる行と撮像領域14のうち最初に読み出しが行われる行とを隣接させ、物理的な距離の違いによってオフセット誤差が生じるのを防止することができる。
なお、図11に示すタイミングチャートでは、参照領域18a及び撮像領域14aの読み出し走査を行った後、参照領域18b及び撮像領域14bの読み出し走査を行っているが、読み出し走査の順序は逆でもよい。
このように、本実施形態によれば、複数の撮像領域において露光時間が異なる場合に、適正なオフセット補正を行うことができる。
[第4実施形態]
本発明の第4実施形態による撮像装置及びその駆動方法について、図12を用いて説明する。図12は、本実施形態による撮像装置の駆動方法を示すタイミングチャートである。第1乃至第3実施形態による撮像装置と同様の構成要素については同一の符号を付し、説明を省略し或いは簡潔にする。
本実施形態による撮像装置は、画素部10における領域設定が異なるほかは、基本的な構成は第2実施形態による撮像装置と同様である。例えば、画素Pは、図7に示す回路により構成される。本実施形態では、グローバルシャッタ動作駆動を行う撮像装置を想定している。
本実施形態による撮像装置の画素部10は、第3実施形態と同様、参照領域18aが、有効画素領域12aの上部ではなく、有効画素領域12aと参照領域18bとの間に配されている(図10参照)。すなわち、有効画素領域12a、参照領域18a、参照領域18b、有効画素領域12bは、列方向にこの順番で配されている。有効画素領域12a、参照領域18a、参照領域18b、有効画素領域12bは、異なる行に配されている。
本実施形態による撮像装置における画素部10の領域設定においても、参照領域18aは撮像領域14aに隣接し、参照領域18bは撮像領域14bに隣接している。したがって、本実施形態においても、露光時間の異なる撮像領域14a,14bの各々に対して適正なオフセット値を取得することができる。
また、図1に示すように画素Pが2次元状に配されたエリアセンサを用いて焦点検出装置を構成する場合、複数の撮像領域の位置は光学系の構成によって固定され、撮像領域以外の領域には光が入射しない。このような場合、撮像領域の間の領域を遮光してOB領域とし、このOB領域を、オフセット値を取得するための参照領域として用いることができる。このように構成することで、撮像領域14a,14bの間に挟まれない上下の領域にOB領域を配置しなくてもよく、画素部10を小面積化し、ひいては撮像装置を小型化することができる。
図12は、画素部10の全体における動作の概略を示すタイミングチャートである。図12には、水平同期信号の入力ごとに1行分のデータの読み出しを行う駆動例を示している。図12の上段には、水平同期信号、読み出し走査開始信号1、読み出し走査開始信号2、一括シャッタ制御信号1、一括シャッタ制御信号2、一括メモリ転送信号1、一括メモリ転送信号2のタイミングを示している。これら制御信号は、第2実施形態の場合と同様である。図12の下段には、上段に示した信号に対応した動作の概略を示している。「一括シャッタ」、「一括メモリ転送」、「読み出し走査」として示される矩形のブロック群の各々が、図8で説明した「一括シャッタ動作」、「一括メモリ転送動作」、「読み出し動作」に対応する。
本実施形態の撮像装置では、図12に示すように、第2実施形態の撮像装置と同様のグローバルシャッタ方式の駆動を行う。
一括シャッタ動作及び一括メモリ転送動作は、第2実施形態の場合と同様、露光時間の異なる領域ごとに独立のタイミングで行う。また、読み出し走査は、物理的な距離の違いによってオフセット誤差が生じるのを防止するために、第3実施形態の場合と同様、露光時間1に設定された参照領域18a及び撮像領域14aでは行アドレスが小さくなる方向に読み出し走査を行う。また、露光時間2に設定された参照領域18b及び撮像領域14bでは、行アドレスが大きくなる方向に読み出し走査を行う。
なお、図12に示すタイミングチャートでは、参照領域18a及び撮像領域14aの読み出し走査を行った後、参照領域18b及び撮像領域14bの読み出し走査を行っているが、読み出し走査の順序は逆でもよい。
このように、本実施形態によれば、複数の撮像領域において露光時間が異なる場合に、適正なオフセット補正を行うことができる。
[第5実施形態]
本発明の第5実施形態による撮像装置及びその駆動方法について、図13及び図14を用いて説明する。図13は、本実施形態による撮像装置における画素部の構成例を示すブロック図である。図14は、本実施形態による撮像装置の駆動方法を示すタイミングチャートである。第1乃至第4実施形態による撮像装置と同様の構成要素については同一の符号を付し、説明を省略し或いは簡潔にする。
本実施形態による撮像装置は、画素部10における領域設定が異なるほかは、基本的な構成は第1実施形態による撮像装置と同様である。例えば、画素Pは、図2に示す回路により構成される。本実施形態では、ローリングシャッタ駆動を行う撮像装置を想定している。
本実施形態による撮像装置において、画素部10は、図13に示すように、有効画素領域12aに配された撮像領域14aと、有効画素領域12bに配された撮像領域14bと、OB領域16に配された参照領域18a,18b,18cと、を含む。図10に示す第3実施形態による撮像装置との違いは、OB領域16に参照領域18cが更に設けられていることである。参照領域18cは、参照領域18aとの間に有効画素領域12aを挟むように、有効画素領域12aに対して列方向に隣接して配置されている。すなわち、参照領域18c、有効画素領域12a、参照領域18a、参照領域18b、有効画素領域12bは、列方向にこの順番で配されている。参照領域18c、有効画素領域12a、参照領域18a、参照領域18b、有効画素領域12bは、異なる行に配されている。なお、参照領域18cは、有効画素領域12aに接していてもよい。
参照領域18a及び参照領域18cは、撮像領域14aに配された画素Pから取得した画素信号に重畳するオフセット成分を算出するために用いられる画素Pが配された領域である。また、参照領域18bは、撮像領域14bに配された画素Pから取得した画素信号に重畳するオフセット成分を算出するために用いられる画素Pが配された領域である。
図14は、画素部10の全体における動作の概略を示すタイミングチャートである。図14には、水平同期信号の入力ごとに1行分のデータの読み出しを行う駆動例を示している。図14の上段には、垂直同期信号、水平同期信号、読み出し走査開始信号1、読み出し走査開始信号2、シャッタ走査開始信号1、シャッタ走査開始信号2のタイミングを示している。これら制御信号は、第1実施形態の場合と同様である。図14の下段には、上段に示した信号に対応した動作の概略を示している。「シャッタ走査」、「読み出し走査」として示される矩形のブロック群の各々が、図4で説明した「シャッタ動作」、「読み出し動作」に対応する。
本実施形態の撮像装置では、図14に示すように、第1実施形態の撮像装置と同様のローリングシャッタ方式の駆動を行う。
図14の駆動例において、撮像領域14aは露光時間1で制御され、撮像領域14bは露光時間1とは独立した露光時間2で制御される。第1実施形態の場合と同様、撮像領域14aに対応する参照領域18a,18cは、撮像領域14aと同様の条件(露光時間1に相当)で制御される。また、撮像領域14bに対応する参照領域18bは、撮像領域14bと同様の条件(露光時間2に相当)で制御される。
第3実施形態で説明したようなシャッタ走査及び読み出し走査の方向を領域ごとに切り替える駆動ができない場合、参照領域18a及び撮像領域14aは、ともに行アドレスが大きくなる方向に走査することになる。しかしながら、参照領域18aの走査後に撮像領域14aの走査を行うと、参照領域18aのうち最後に走査される行と撮像領域14aのうち最初に走査される行とは隣接しなくなる。そのため、このような駆動を行うと、画素Pの配置場所の違いに起因したオフセット誤差が生じうる。
そこで、図14の駆動例では、参照領域18aを読み出した後、撮像領域14aの読み出しを開始する前に、参照領域18cの読み出しを行い、参照領域18cのうち最後に走査される行と撮像領域14aのうち最初に走査される行とが隣接するようにしている。このように構成することで、参照領域18aと撮像領域14aとの配置場所の違いに起因するオフセット誤差を低減することができる。参照領域18cは、オフセット誤差分を吸収するに足る画素数(行数)があればよい。
このように、本実施形態によれば、複数の撮像領域において露光時間が異なる場合に、適正なオフセット補正を行うことができる。
[第6実施形態]
本発明の第6実施形態による撮像装置及びその駆動方法について、図15を用いて説明する。図15は、本実施形態による撮像装置の駆動方法を示すタイミングチャートである。第1乃至第5実施形態による撮像装置と同様の構成要素については同一の符号を付し、説明を省略し或いは簡潔にする。
本実施形態による撮像装置は、画素部10における領域設定が異なるほかは、基本的な構成は第2実施形態による撮像装置と同様である。例えば、画素Pは、図7に示す回路により構成される。本実施形態では、グローバルシャッタ動作駆動を行う撮像装置を想定している。
本実施形態による撮像装置の画素部10は、第5実施形態と同様、参照領域18aとの間に有効画素領域12aを挟むように、有効画素領域12aに対して列方向に隣接して配置された参照領域18cを更に有している。すなわち、参照領域18c、有効画素領域12a、参照領域18a、参照領域18b、有効画素領域12bは、列方向にこの順番で配されている。参照領域18c、有効画素領域12a、参照領域18a、参照領域18b、有効画素領域12bは、異なる行に配されている。なお、参照領域18cは、有効画素領域12aに接していてもよい。
図15は、画素部10の全体における動作の概略を示すタイミングチャートである。図15には、水平同期信号の入力ごとに1行分のデータの読み出しを行う駆動例を示している。図15の上段には、水平同期信号、読み出し走査開始信号1、読み出し走査開始信号2、一括シャッタ制御信号1、一括シャッタ制御信号2、一括メモリ転送信号1、一括メモリ転送信号2のタイミングを示している。これら制御信号は、第2実施形態の場合と同様である。図15の下段には、上段に示した信号に対応した動作の概略を示している。「一括シャッタ」、「一括メモリ転送」、「読み出し走査」として示される矩形のブロック群の各々が、図8で説明した「一括シャッタ動作」、「一括メモリ転送動作」、「読み出し動作」に対応する。
本実施形態の撮像装置では、図15に示すように、第2実施形態の撮像装置と同様のグローバルシャッタ方式の駆動を行う。
一括シャッタ動作及び一括メモリ転送動作は、第2実施形態の場合と同様、露光時間の異なる領域ごとに独立のタイミングで行う。また、露光時間1に設定された参照領域18a,18c及び撮像領域14aの読み出し走査は、第5実施形態の場合と同様、参照領域18a、参照領域18c、撮像領域14aの順に行う。これにより、参照領域18cと撮像領域14aとの間の画素Pの配置場所の違いに起因するオフセット誤差が生じるのを防止することができる。また、露光時間1に設定された参照領域18a及び撮像領域14aの読み出し走査では、第5実施形態の場合と同様、行アドレスが大きくなる方向に走査を行う。
なお、図15に示すタイミングチャートでは、参照領域18a,18c及び撮像領域14aの読み出し走査を行った後、参照領域18b及び撮像領域14bの読み出し走査を行っているが、読み出し走査の順序は逆でもよい。
このように、本実施形態によれば、複数の撮像領域において露光時間が異なる場合に、適正なオフセット補正を行うことができる。
[第7実施形態]
本発明の第7実施形態による撮像システムについて、図16を用いて説明する。第1乃至第6実施形態による撮像装置と同様の構成要素には同一の符号を付し説明を省略し或いは簡潔にする。図16は、本実施形態による撮像システムの概略構成を示すブロック図である。
上記第1乃至第6実施形態で述べた撮像装置100は、種々の撮像システムに適用可能である。適用可能な撮像システムの例としては、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などが挙げられる。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールも、撮像システムに含まれる。図16には、これらのうちの一例として、デジタルスチルカメラのブロック図を例示している。
図16に例示した撮像システム200は、撮像装置201、被写体の光学像を撮像装置201に結像させるレンズ202、レンズ202を通過する光量を可変にするための絞り204、レンズ202の保護のためのバリア206を有する。レンズ202及び絞り204は、撮像装置201に光を集光する光学系である。撮像装置201は、第1乃至第6実施形態で説明した撮像装置100であって、レンズ202により結像された光学像を画像データに変換する。
撮像システム200は、また、撮像装置201より出力される出力信号の処理を行う信号処理部208を有する。信号処理部208は、撮像装置201が出力するアナログ信号をデジタル信号に変換するAD変換を行う。また、信号処理部208はその他、必要に応じて各種の補正、圧縮を行って画像データを出力する動作を行う。撮像領域14に配された画素Pの出力値から参照領域18に配された画素Pの出力値を差し引くオフセット補正処理は、信号処理部208において行ってもよい。信号処理部208の一部であるAD変換部は、撮像装置201が設けられた半導体基板に形成されていてもよいし、撮像装置201とは別の半導体基板に形成されていてもよい。また、撮像装置201と信号処理部208とが同一の半導体基板に形成されていてもよい。
撮像システム200は、さらに、画像データを一時的に記憶するためのメモリ部210、外部コンピュータ等と通信するための外部インターフェース部(外部I/F部)212を有する。さらに撮像システム200は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体214、記録媒体214に記録又は読み出しを行うための記録媒体制御インターフェース部(記録媒体制御I/F部)216を有する。なお、記録媒体214は、撮像システム200に内蔵されていてもよく、着脱可能であってもよい。
さらに撮像システム200は、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部218、撮像装置201と信号処理部208に各種タイミング信号を出力するタイミング発生部220を有する。ここで、タイミング信号などは外部から入力されてもよく、撮像システム200は少なくとも撮像装置201と、撮像装置201から出力された出力信号を処理する信号処理部208とを有すればよい。
撮像装置201は、撮像信号を信号処理部208に出力する。信号処理部208は、撮像装置201から出力される撮像信号に対して所定の信号処理を実施し、画像データを出力する。信号処理部208は、撮像信号を用いて、画像を生成する。
第1乃至第6実施形態による撮像装置100を適用することにより、ノイズの少ない良質な画像を取得しうる撮像システムを実現することができる。
[第8実施形態]
本発明の第8実施形態による撮像システム及び移動体について、図17を用いて説明する。図17は、本実施形態による撮像システム及び移動体の構成を示す図である。
図17(a)は、車載カメラに関する撮像システムの一例を示したものである。撮像システム300は、撮像装置310を有する。撮像装置310は、上記第1乃至第6実施形態のいずれかに記載の撮像装置100である。撮像システム300は、撮像装置310により取得された複数の画像データに対し、画像処理を行う画像処理部312と、撮像システム300により取得された複数の画像データから視差(視差画像の位相差)の算出を行う視差取得部314を有する。また、撮像システム300は、算出された視差に基づいて対象物までの距離を算出する距離取得部316と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部318と、を有する。ここで、視差取得部314や距離取得部316は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部318はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated circuit)等によって実現されてもよいし、これらの組合せによって実現されてもよい。
撮像システム300は車両情報取得装置320と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム300は、衝突判定部318での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ECU330が接続されている。また、撮像システム300は、衝突判定部318での判定結果に基づいて、ドライバーへ警報を発する警報装置340とも接続されている。例えば、衝突判定部318の判定結果として衝突可能性が高い場合、制御ECU330はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置340は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。
本実施形態では、車両の周囲、例えば前方又は後方を撮像システム300で撮像する。図17(b)に、車両前方(撮像範囲350)を撮像する場合の撮像システムを示した。車両情報取得装置320が、撮像システム300ないしは撮像装置310に指示を送る。このような構成により、測距の精度をより向上させることができる。
上記では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。さらに、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体(移動装置)に適用することができる。加えて、移動体に限らず、高度道路交通システム(ITS)等、広く物体認識を利用する機器に適用することができる。
[変形実施形態]
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、何れかの実施形態の一部の構成を、他の実施形態に追加した形態、或いは他の実施形態の一部の構成と置換した形態も本発明の実施形態である。
また、上記実施形態では、撮像領域14a,14bにおいて露光時間が異なる場合を説明したが、撮像領域14a,14bの露光時間は同じであってもよい。
また、上記実施形態では、露光時間の異なる撮像領域14の数を2つとしたが、露光時間の異なる撮像領域14の数は2つに限定されるものでなく、3つ以上でもよい。この場合、露光時間の異なる撮像領域の数に応じた露光時間設定と、それに対応して独立したタイミング制御部及び垂直走査回路とを設け、読み出し走査とシャッタ走査とを露光時間の異なる撮像領域ごとに制御すればよい。
また、上記実施形態に示した撮像システムは、本発明の撮像装置を適用しうる撮像システム例を示したものであり、本発明の固体撮像装置を適用可能な撮像システムは図16及び図17に示した構成に限定されるものではない。
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
P…画素
10…画素部
14a,14b…撮像領域
18a,18b,18c…参照領域
30…垂直走査部
100…撮像装置
本発明の一観点によれば、複数の行に渡って配され、各々が、光電変換部と、前記光電変換部で生じた電荷を保持する保持部と、前記保持部が保持する電荷の量に基づく画素信号を出力する増幅部と、前記光電変換部をリセットするリセット部と、を含む複数の画素を有する画素部と、前記複数の画素に対して、前記行の単位で、前記画素の前記光電変換部のリセット動作と、前記光電変換部で生じた電荷を前記保持部へ転送する電荷転送を含み、前記光電変換部で生じた電荷に基づく画素信号の読み出し動作と、を行う走査部と、を有し、前記複数の画素は、光が前記光電変換部に入射する有効画素と、前記有効画素が配された行とは別の行において前記有効画素よりも多く配され、前記光電変換部が遮光されたオプティカルブラック画素と、を含み、前記画素部は、複数の前記有効画素がそれぞれに配された第1及び第2の撮像領域と、複数の前記オプティカルブラック画素がそれぞれに配された第1及び第2の参照領域と、を含み、前記走査部は、前記リセット動作が終了するタイミングから前記電荷転送が終了するタイミングまでの期間が第1の長さである第1の条件で、前記第1の撮像領域及び前記第1の参照領域に配された前記画素を駆動し、前記リセット動作が終了するタイミングから前記電荷転送が終了するタイミングまでの期間が前記第1の長さよりも長い第2の長さである第2の条件で、前記第2の撮像領域及び前記第2の参照領域に配された前記画素を駆動するように構成されている撮像装置が提供される。
また、本発明の他の一観点によれば、複数の行に渡って配され、各々が、光電変換部と、前記光電変換部で生じた電荷を保持する保持部と、前記保持部が保持する電荷の量に基づく画素信号を出力する増幅部と、前記光電変換部をリセットするリセット部と、を含む複数の画素が設けられた画素部を有し、前記複数の画素は、光が前記光電変換部に入射する有効画素と、前記有効画素が配された行とは別の行において前記有効画素よりも多く配され、前記光電変換部が遮光されたオプティカルブラック画素と、を含み、前記画素部は、複数の前記有効画素がそれぞれに配された第1及び第2の撮像領域と、複数の前記オプティカルブラック画素がそれぞれに配された第1及び第2の参照領域と、を含む、撮像装置の駆動方法であって、前記複数の画素に対して、前記行の単位で、前記画素の前記光電変換部のリセット動作と、前記光電変換部で生じた電荷を前記保持部へ転送する電荷転送を含み、前記光電変換部で生じた電荷に基づく画素信号の読み出し動作とを行う際に、前記第1の撮像領域及び前記第1の参照領域に配された前記画素を、前記リセット動作が終了するタイミングから前記電荷転送が終了するタイミングまでの期間が第1の長さである第1の条件で駆動し、前記第2の撮像領域及び前記第2の参照領域に配された前記画素を、前記リセット動作が終了するタイミングから前記電荷転送が終了するタイミングまでの期間が前記第1の長さよりも長い第2の長さである第2の条件で駆動する撮像装置の駆動方法が提供される。

Claims (18)

  1. 複数の行に渡って配され、各々が、光電変換部と、前記光電変換部で生じた電荷を保持する保持部と、前記保持部が保持する電荷の量に基づく画素信号を出力する増幅部と、前記光電変換部をリセットするリセット部と、を含む複数の画素を有する画素部と、
    前記複数の画素に対して、前記行の単位で、前記画素の前記光電変換部のリセット動作と、前記光電変換部で生じた電荷を前記保持部へ転送する電荷転送を含み、前記光電変換部で生じた電荷に基づく画素信号の読み出し動作と、を行う走査部と、を有し、
    前記複数の画素は、光が前記光電変換部に入射する有効画素と、前記光電変換部が遮光されたオプティカルブラック画素と、を含み、
    前記画素部は、複数の前記有効画素がそれぞれに配された第1及び第2の撮像領域と、複数の前記オプティカルブラック画素がそれぞれに配された第1及び第2の参照領域と、を含み、
    前記走査部は、
    前記リセット動作が終了するタイミングから前記電荷転送が終了するタイミングまでの期間が第1の長さである第1の条件で、前記第1の撮像領域及び前記第1の参照領域に配された前記画素を駆動し、
    前記リセット動作が終了するタイミングから前記電荷転送が終了するタイミングまでの期間が前記第1の長さよりも長い第2の長さである第2の条件で、前記第2の撮像領域及び前記第2の参照領域に配された前記画素を駆動するように構成されている
    ことを特徴とする撮像装置。
  2. 前記第1の撮像領域と前記第2の撮像領域との間に前記第2の参照領域が配されており、前記第2の参照領域との間に前記第1の撮像領域を挟むように前記第1の参照領域が配されている
    ことを特徴とする請求項1記載の撮像装置。
  3. 前記画素部は、前記第1の撮像領域と前記第2の参照領域との間に配され、前記第1の条件で駆動される前記オプティカルブラック画素が配された第3の参照領域を更に有する
    ことを特徴とする請求項2記載の撮像装置。
  4. 前記走査部は、前記第3の参照領域に属する行の前記読み出し動作を行った後、前記第1の参照領域に属する行及び前記第1の撮像領域に属する行の前記読み出し動作を行うように構成されている
    ことを特徴とする請求項3記載の撮像装置。
  5. 前記第1の参照領域は前記第1の撮像領域と前記第2の撮像領域との間に配されており、前記第2の参照領域は前記第1の参照領域と前記第2の参照領域との間に配されている
    ことを特徴とする請求項1記載の撮像装置。
  6. 前記走査部は、
    前記第1の参照領域に属する行の前記読み出し動作を行った後、前記第1の撮像領域に属する行の前記読み出し動作を行い、
    前記第2の参照領域に属する行の前記読み出し動作を行った後、前記第2の撮像領域に属する行の前記読み出し動作を行うように構成されている
    ことを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
  7. 前記第1の参照領域に属する行のうち最後に前記読み出し動作を行う行と、前記第1の撮像領域に属する行のうち最初に前記読み出し動作を行う行とが隣接しており、
    前記第2の参照領域に属する行のうち最後に前記読み出し動作を行う行と、前記第2の撮像領域に属する行のうち最初に前記読み出し動作を行う行とが隣接している
    ことを特徴とする請求項6記載の撮像装置。
  8. 前記第1の参照領域及び前記第1の撮像領域と前記第2の参照領域及び前記第2の撮像領域との各々において、前記複数の行における前記リセット動作と前記電荷転送とを、行毎に順次行う
    ことを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。
  9. 前記保持部は、前記光電変換部から電荷が転送される第1の保持部と、前記第1の保持部から電荷が転送される第2の保持部と、を有し、
    前記増幅部は、前記第2の保持部が保持する電荷の量に基づく前記画素信号を出力し、
    前記電荷転送は、前記光電変換部から前記第1の保持部への電荷の転送であり、
    前記走査部は、
    前記第1の参照領域及び前記第1の撮像領域の前記リセット動作を、前記第1の参照領域及び前記第1の撮像領域に属する複数行で第1のタイミングに同時に行い、
    前記第2の参照領域及び前記第2の撮像領域の前記リセット動作を、前記第1の参照領域及び前記第1の撮像領域に属する複数行で第2のタイミングに同時に行い、
    前記第1の参照領域及び前記第1の撮像領域の前記電荷転送を、前記第1の参照領域及び前記第1の撮像領域に属する複数行で第3のタイミングに同時に行い、
    前記第2の参照領域及び前記第2の撮像領域の前記電荷転送を、前記第2の参照領域及び前記第2の撮像領域に属する複数行で第4のタイミングに同時に行う
    ことを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。
  10. 前記第1の撮像領域と前記第1の参照領域とが隣接し
    前記第2の撮像領域と前記第2の参照領域とが隣接している
    ことを特徴とする請求項1乃至9のいずれか1項に記載の撮像装置。
  11. 前記走査部は、前記第1の撮像領域及び前記第1の参照領域に配された前記画素を前記第1の条件で駆動する第1の走査回路と、前記第2の撮像領域及び前記第2の参照領域に配された前記画素を前記第2の条件で駆動する第2の走査回路と、を有する
    ことを特徴とする請求項1乃至10のいずれか1項に記載の撮像装置。
  12. 前記第1の撮像領域に配された前記画素の出力値から前記第1の参照領域に配された前記画素の出力値を差し引く補正処理と、前記第2の撮像領域に配された前記画素の出力値から前記第2の撮像領域に配された前記画素の出力値を差し引く補正処理と、を実行する信号処理部を更に有する
    ことを特徴とする請求項1乃至11のいずれか1項に記載の撮像装置。
  13. 複数の行に渡って配され、各々が、光電変換部と、前記光電変換部で生じた電荷を保持する保持部と、前記保持部が保持する電荷の量に基づく画素信号を出力する増幅部と、前記光電変換部をリセットするリセット部と、を含む複数の画素が設けられた画素部を有し、前記複数の画素は、光が前記光電変換部に入射する有効画素と、前記光電変換部が遮光されたオプティカルブラック画素と、を含み、前記画素部は、複数の前記有効画素がそれぞれに配された第1及び第2の撮像領域と、複数の前記オプティカルブラック画素がそれぞれに配された第1及び第2の参照領域と、を含む、撮像装置の駆動方法であって、
    前記複数の画素に対して、前記行の単位で、前記画素の前記光電変換部のリセット動作と、前記光電変換部で生じた電荷を前記保持部へ転送する電荷転送を含み、前記光電変換部で生じた電荷に基づく画素信号の読み出し動作とを行う際に、
    前記第1の撮像領域及び前記第1の参照領域に配された前記画素を、前記リセット動作が終了するタイミングから前記電荷転送が終了するタイミングまでの期間が第1の長さである第1の条件で駆動し、
    前記第2の撮像領域及び前記第2の参照領域に配された前記画素を、前記リセット動作が終了するタイミングから前記電荷転送が終了するタイミングまでの期間が前記第1の長さよりも長い第2の長さである第2の条件で駆動する
    ことを特徴とする撮像装置の駆動方法。
  14. 前記第1の参照領域に属する行の前記読み出し動作を行った後、前記第1の撮像領域に属する行の前記読み出し動作を行い、
    前記第2の参照領域に属する行の前記読み出し動作を行った後、前記第2の撮像領域に属する行の前記読み出し動作を行う
    ことを特徴とする請求項13記載の撮像装置の駆動方法。
  15. 前記第1の参照領域に属する行のうち最後に前記読み出し動作を行う行と、前記第1の撮像領域に属する行のうち最初に前記読み出し動作を行う行とが隣接しており、
    前記第2の参照領域に属する行のうち最後に前記読み出し動作を行う行と、前記第2の撮像領域に属する行のうち最初に前記読み出し動作を行う行とが隣接している
    ことを特徴とする請求項14記載の撮像装置の駆動方法。
  16. 請求項1乃至11のいずれか1項に記載の撮像装置と、
    前記撮像装置の前記画素から出力される信号を処理する信号処理部と
    を有することを特徴とする撮像システム。
  17. 前記信号処理部は、前記第1の撮像領域に配された前記画素の出力値から前記第1の参照領域に配された前記画素の出力値を差し引く補正処理と、前記第2の撮像領域に配された前記画素の出力値から前記第2の撮像領域に配された前記画素の出力値を差し引く補正処理と、を実行する
    ことを特徴とする請求項16記載の撮像システム。
  18. 移動体であって、
    請求項1乃至12のいずれか1項に記載の撮像装置と、
    前記撮像装置からの信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
    前記距離情報に基づいて前記移動体を制御する制御手段と
    を有することを特徴とする移動体。
JP2017240694A 2017-12-15 2017-12-15 撮像装置及びその駆動方法 Active JP6736539B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017240694A JP6736539B2 (ja) 2017-12-15 2017-12-15 撮像装置及びその駆動方法
US16/213,277 US10645316B2 (en) 2017-12-15 2018-12-07 Imaging device and method of driving imaging device
EP18212181.4A EP3499871A1 (en) 2017-12-15 2018-12-13 Imaging device and method of driving imaging device
CN201811528631.5A CN109936711A (zh) 2017-12-15 2018-12-14 成像设备和驱动成像设备的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017240694A JP6736539B2 (ja) 2017-12-15 2017-12-15 撮像装置及びその駆動方法

Publications (2)

Publication Number Publication Date
JP2019110387A true JP2019110387A (ja) 2019-07-04
JP6736539B2 JP6736539B2 (ja) 2020-08-05

Family

ID=64665256

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017240694A Active JP6736539B2 (ja) 2017-12-15 2017-12-15 撮像装置及びその駆動方法

Country Status (4)

Country Link
US (1) US10645316B2 (ja)
EP (1) EP3499871A1 (ja)
JP (1) JP6736539B2 (ja)
CN (1) CN109936711A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7385460B2 (ja) 2019-12-19 2023-11-22 キヤノン株式会社 撮像装置及びその制御方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019186804A (ja) * 2018-04-13 2019-10-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置および固体撮像素子の制御方法
WO2020202409A1 (ja) * 2019-03-29 2020-10-08 株式会社ニコン 撮像素子および撮像装置
CN110290335B (zh) * 2019-07-31 2021-09-21 王勇 一种帧频可达带宽极限速率的高速图像传感器
JP7389586B2 (ja) * 2019-08-28 2023-11-30 キヤノン株式会社 撮像装置及び撮像装置の駆動方法
JP2021093623A (ja) 2019-12-10 2021-06-17 キヤノン株式会社 光電変換装置および撮像装置
WO2021118611A1 (en) * 2019-12-10 2021-06-17 Gopro, Inc. Image sensor with variable exposure time and gain factor
JP7444664B2 (ja) 2020-03-24 2024-03-06 キヤノン株式会社 撮像装置及び撮像システム
CN112752088B (zh) * 2020-07-28 2023-03-28 腾讯科技(深圳)有限公司 深度图像生成方法及装置、参考图像生成方法、电子设备
JP2022046956A (ja) 2020-09-11 2022-03-24 キヤノン株式会社 光電変換装置及び撮像システム
JP2022051408A (ja) 2020-09-18 2022-03-31 キヤノン株式会社 光電変換装置、光電変換システム及び移動体
US11877077B2 (en) * 2020-12-17 2024-01-16 Semiconductor Components Industries, Llc Image sensor with black level correction
CN112702483B (zh) * 2020-12-22 2022-06-03 深圳市锐尔觅移动通信有限公司 感光芯片、摄像头模组与电子设备
JP2023042081A (ja) 2021-09-14 2023-03-27 キヤノン株式会社 光電変換装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005109370A (ja) * 2003-10-02 2005-04-21 Canon Inc 固体撮像装置
JP2009005329A (ja) * 2007-05-21 2009-01-08 Canon Inc 撮像装置及びその処理方法
JP2010021697A (ja) * 2008-07-09 2010-01-28 Sony Corp 撮像素子、カメラ、撮像素子の制御方法、並びにプログラム
JP2013172204A (ja) * 2012-02-17 2013-09-02 Canon Inc 光電変換装置の駆動方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186419A (ja) * 1999-12-24 2001-07-06 Nec Corp イメージセンサ及び画素読出し方法
US7956925B2 (en) 2004-11-02 2011-06-07 Panasonic Corporation Method for reading out signal charges from an image sensor having different exposure times
KR100597651B1 (ko) * 2005-01-24 2006-07-05 한국과학기술원 이미지 센서, 실제 이미지를 전기적 신호로 바꾸는 장치 및 그 방법
JP5100052B2 (ja) 2006-07-31 2012-12-19 キヤノン株式会社 固体撮像素子の駆動回路、方法及び撮像システム
US20080054320A1 (en) * 2006-08-31 2008-03-06 Micron Technology, Inc. Method, apparatus and system providing suppression of noise in a digital imager
US7999866B2 (en) 2007-05-21 2011-08-16 Canon Kabushiki Kaisha Imaging apparatus and processing method thereof
JP5053869B2 (ja) * 2008-01-10 2012-10-24 キヤノン株式会社 固体撮像装置、撮像システム、及び固体撮像装置の駆動方法
JP5111140B2 (ja) 2008-02-06 2012-12-26 キヤノン株式会社 固体撮像装置の駆動方法、固体撮像装置、及び撮像システム
JP5371463B2 (ja) 2008-02-28 2013-12-18 キヤノン株式会社 撮像装置、撮像システム、および、撮像装置の制御方法
JP4500862B2 (ja) 2008-04-11 2010-07-14 キヤノン株式会社 固体撮像装置の駆動方法
JP5272630B2 (ja) * 2008-10-03 2013-08-28 ソニー株式会社 固体撮像素子およびその駆動方法、並びにカメラシステム
JP5335356B2 (ja) * 2008-10-03 2013-11-06 キヤノン株式会社 信号処理装置、信号処理方法、及び撮像装置
JP5282543B2 (ja) * 2008-11-28 2013-09-04 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP5284132B2 (ja) 2009-02-06 2013-09-11 キヤノン株式会社 固体撮像装置、撮像システム、および撮像装置の駆動方法
US8462234B2 (en) * 2010-10-29 2013-06-11 Fujifilm Corporation Image pickup apparatus and dark current correction method therefor
JP5720213B2 (ja) 2010-12-03 2015-05-20 株式会社ニコン 撮像装置
JP2013055387A (ja) 2011-09-01 2013-03-21 Sony Corp イメージセンサ、光量計測方法及び顕微鏡システム
JP6041593B2 (ja) 2012-09-14 2016-12-14 キヤノン株式会社 固体撮像装置
EP3054671B1 (en) 2013-10-02 2018-12-19 Nikon Corporation Image pickup element and image pickup apparatus
JP6273126B2 (ja) 2013-11-14 2018-01-31 キヤノン株式会社 Ad変換器、固体撮像素子および撮像システム
JP6233188B2 (ja) 2013-12-12 2017-11-22 ソニー株式会社 固体撮像素子およびその製造方法、並びに電子機器
JP6405184B2 (ja) 2014-10-15 2018-10-17 キヤノン株式会社 固体撮像装置およびカメラ
JP6525727B2 (ja) * 2015-05-21 2019-06-05 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
JP6643101B2 (ja) 2016-01-21 2020-02-12 キヤノン株式会社 撮像装置
JP6711634B2 (ja) 2016-02-16 2020-06-17 キヤノン株式会社 撮像装置、撮像装置の駆動方法、及び撮像システム
JP6792361B2 (ja) * 2016-07-20 2020-11-25 キヤノン株式会社 撮像装置及びその制御方法
JP6904772B2 (ja) * 2017-04-26 2021-07-21 キヤノン株式会社 固体撮像装置及びその駆動方法
CN107357076A (zh) * 2017-08-16 2017-11-17 深圳市华星光电半导体显示技术有限公司 透反式液晶显示装置及其制作方法
JP7108421B2 (ja) * 2018-02-15 2022-07-28 キヤノン株式会社 撮像装置及び撮像システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005109370A (ja) * 2003-10-02 2005-04-21 Canon Inc 固体撮像装置
JP2009005329A (ja) * 2007-05-21 2009-01-08 Canon Inc 撮像装置及びその処理方法
JP2010021697A (ja) * 2008-07-09 2010-01-28 Sony Corp 撮像素子、カメラ、撮像素子の制御方法、並びにプログラム
JP2013172204A (ja) * 2012-02-17 2013-09-02 Canon Inc 光電変換装置の駆動方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7385460B2 (ja) 2019-12-19 2023-11-22 キヤノン株式会社 撮像装置及びその制御方法

Also Published As

Publication number Publication date
JP6736539B2 (ja) 2020-08-05
EP3499871A1 (en) 2019-06-19
CN109936711A (zh) 2019-06-25
US10645316B2 (en) 2020-05-05
US20190191112A1 (en) 2019-06-20

Similar Documents

Publication Publication Date Title
JP6736539B2 (ja) 撮像装置及びその駆動方法
JP7303682B2 (ja) 光電変換装置及び撮像システム
JP7374639B2 (ja) 光電変換装置及び撮像システム
US10110835B2 (en) Imaging apparatus, imaging system, and moving object
US11627264B2 (en) Photoelectric conversion device, imaging system, and movable object
US11070755B2 (en) Imaging device and signal processing device
US11303829B2 (en) Imaging device and drive method of imaging device
JP6806553B2 (ja) 撮像装置、撮像装置の駆動方法及び撮像システム
US10727259B2 (en) Imaging device, imaging system, and moving body
JP2017184185A (ja) 撮像装置、撮像システム、および、移動体
US10587831B2 (en) Solid-state imaging device, imaging system, and moving body
JP2021029017A (ja) 光電変換装置、撮像システム、移動体及び露光制御装置
JP7067907B2 (ja) 固体撮像装置及び信号処理装置
US11490041B2 (en) Photoelectric converter and imaging system
US10965896B2 (en) Photoelectric conversion device, moving body, and signal processing device
JP7299711B2 (ja) 光電変換装置及びその駆動方法
US11700467B2 (en) Photoelectric conversion device, photoelectric conversion system, and movable body
JP2019036770A (ja) 撮像装置及び撮像システム
US20220408036A1 (en) Photoelectric conversion apparatus, photoelectric conversion system, transport apparatus, and signal processing apparatus
JP2019097101A (ja) 固体撮像装置及び撮像システム
JP2023084272A (ja) 光電変換装置
JP2023023214A (ja) 光電変換装置
JP2023084647A (ja) 光電変換装置
CN116249025A (zh) 光电转换装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181030

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181030

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200715

R151 Written notification of patent or utility model registration

Ref document number: 6736539

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151