JP2013134173A - 測距システム及び測距方法 - Google Patents

測距システム及び測距方法 Download PDF

Info

Publication number
JP2013134173A
JP2013134173A JP2011285199A JP2011285199A JP2013134173A JP 2013134173 A JP2013134173 A JP 2013134173A JP 2011285199 A JP2011285199 A JP 2011285199A JP 2011285199 A JP2011285199 A JP 2011285199A JP 2013134173 A JP2013134173 A JP 2013134173A
Authority
JP
Japan
Prior art keywords
light
light receiving
receiving period
period
accumulated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011285199A
Other languages
English (en)
Other versions
JP5576851B2 (ja
Inventor
Tomoyuki Kamiyama
智幸 神山
Keisuke Koresumi
圭祐 是角
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2011285199A priority Critical patent/JP5576851B2/ja
Priority to US13/721,968 priority patent/US8797513B2/en
Publication of JP2013134173A publication Critical patent/JP2013134173A/ja
Application granted granted Critical
Publication of JP5576851B2 publication Critical patent/JP5576851B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4913Circuits for detection, sampling, integration or read-out
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4915Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications

Abstract

【課題】光電変換される光電子数の抑制しながら、測距精度を向上させる測距システム及び測距方法を提供する。
【解決手段】測距対象に対して照射されたパルス光の照射タイミングに対して予め決められた受光期間で、入射した光量に応じた光電子を発生して累積蓄積し、タイム・オブ・フライト法により測距対象までの距離を求める測距システムであって、固体撮像装置は、第1受光期間で入射した光の光量に応じた光電子を累積蓄積するとともに、第2受光期間で入射した光の光量に応じた光電子を累積蓄積し、第1受光期間は、固体撮像装置に入射する反射光の強度の立上り期間の一部の期間であり、第2受光期間は、固体撮像装置に入射する反射光の強度のピークから立下り期間を含む期間であり、演算部は、第2受光期間で累積蓄積された光電子情報を第1受光期間で累積蓄積された光電子情報で除算して光量比を求めることで、測距対象までの距離を求める。
【選択図】図9

Description

本発明は、測距センサとして機能する固体撮像装置を有する測距システム及び測距方法に関する。
従来から、イメージセンサの応用例として、測距対象への距離を非接触に測定する測距方法として、タイム・オブ・フライト(TOF)法を用いたものが知られている。TOF法を用いる場合においては、光電変換素子が受光した光電子(負電荷)を振り分けた後、該振り分けた光電子を読み出す技術が知られている。下記特許文献1には、LEDの発光波形は、立上り、立下りにおいて、急峻には変化せず、傾斜を持つという特性を利用し、パルス光の強度が変化する立上り期間で受光して蓄積した電荷と、パルス光の強度が一定となる期間で受光して蓄積した電荷とを用いて、距離を計測することが記載されている。
特開2004−294420号公報
しかしながら、上記特許文献1の技術では、測距対象が近距離にある場合は、照射した光が反射光として直ぐ戻ってくるため、反射光を受光する期間が長くなるとと同時に、近距離なので反射光の強度が強くなり、結果として光電変換される光電子数が大きくなる。一方、測距対象が遠距離にいる場合は、照射した光が反射光として戻ってくるまで時間がかかるため、反射光を受光する期間が短くなるとと同時に、測距対象までの距離が遠いので、測距対象に対する照射光強度が弱くなるため反射光の強度が弱くなり、結果として光電変換される光電子数が少なくなる。従って、近距離の測定対象を検出するために飽和を防ぐために光電子を保持する保持部においては大きな容量のキャパシタが必要となる一方、遠距離の測定対象を検出するためには検出感度向上させる必要がある等、読出し回路においては大きなダイナミックレンジが必要となる。
そこで本発明は、係る従来の問題点に鑑みてなされたものであり、距離検出に寄与しない光の受光を抑制しながら、測距精度を向上させる測距システム及び測距方法を提供することを目的とする。
本発明は、測距対象に対してパルス光を照射する照射装置と、前記照射装置が照射した前記パルス光の反射光を、該パルス光の照射タイミングに対して予め決められた受光期間で、入射した光の光量に応じた光電子を発生して累積蓄積する固体撮像装置と、前記固体撮像装置が累積蓄積した光電子情報を用いて、タイム・オブ・フライト法により前記測距対象までの距離を求める演算部と、を備える測距システムであって、前記受光期間は、第1受光期間と第2受光期間とを含み、前記固体撮像装置は、前記第1受光期間で入射した光の光量に応じて発生した光電子を累積蓄積するとともに、前記第2受光期間で入射した光の光量に応じて発生した光電子を累積蓄積し、前記第1受光期間は、前記固体撮像装置に入射する前記反射光の強度の立上り期間の一部の期間であり、前記第2受光期間は、前記固体撮像装置に入射する前記反射光の強度のピークから立下り期間を含む期間であり、前記演算部は、前記第2受光期間で累積蓄積された光電子情報を前記第1受光期間で累積蓄積された光電子情報で除算して光量比を求めることで、前記測距対象までの距離を求めることを特徴とする。
前記第1受光期間は、前記第2受光期間より短い。
前記測距対象までのそれぞれの距離に応じた前記光量比が記憶されたテーブルを有する。
前記固体撮像装置は、前記受光期間以外に、入射した光の光量に応じて発生した光電子を累積蓄積せずに、吐き捨てる。
前記照射装置は、前記パルス光を所定回数照射し、前記固体撮像装置は、各前記パルス光の照射タイミングに対して予め決められた前記第1受光期間、前記第2受光期間で入射した光の光量に応じて発生した光電子を、前記第1受光期間及び前記第2受光期間毎に加算して累積蓄積し、前記演算部は、加算して累積蓄積された前記第2受光期間の光電子情報を、加算して累積蓄積された前記第1受光期間の光電子情報で除算して前記光量比を求める。
前記受光期間は、前記第1受光期間と同じ長さであり、環境光のみを受光する第3受光期間と、前記第2受光期間と同じ長さであり、環境光のみを受光する第4受光期間とを更に有し、前記固体撮像装置は、更に、前記第3受光期間で入射した環境光のみの光量に応じて発生した光電子を累積蓄積するとともに、前記第4受光期間で入射した環境光のみの光量に応じて発生した光電子を累積蓄積し、前記演算部は、前記第2受光期間で累積蓄積された光電子情報から前記4受光期間で累積蓄積された光電子情報を減算した値を、前記第1受光期間で累積蓄積された光電子情報から前記第3受光期間で累積蓄積された光電子情報を減算した値で除算して前記光量比を求める。
前記照射装置は、前記パルス光を所定回数照射し、前記固体撮像装置は、各前記パルス光の照射タイミングに対して予め決められた前記第1受光期間、前記第2受光期間、前記第3受光期間、及び前記第4受光期間で入射した光の光量に応じて発生した光電子を、前記第1受光期間、前記第2受光期間、前記第3受光期間、及び前記第4受光期間毎に加算して累積蓄積し、前記演算部は、加算して累積蓄積された前記第2受光期間の光電子情報から加算して累積蓄積された前記第4受光期間の光電子情報を減算した値を、加算して累積蓄積された前記第1受光期間の光電子情報から加算して累積蓄積された前記第3受光期間の光電子情報を減算した値で、除算して前記光量比を求める。
該パルス光の照射タイミングに対して予め決められた受光期間は、予め決められた測距検知範囲に基づいて決められている。
異なる複数の前記測距検知範囲を有し、前記測距検知範囲毎に、前記パルス光に対して予め決められた前記受光期間の受光開始タイミングは異なり、前記測距検知範囲は、少なくとも1フレームの露光期間単位で切り換わり、前記1フレームの露光期間は、複数の第1受光期間及び第2受光期間を有する。
本発明は、測距対象に対してパルス光を照射する照射装置と、前記照射装置が照射した前記パルス光の反射光を、該パルス光の照射タイミングに対して予め決められた受光期間で、入射した光の光量に応じた光電子を発生して累積蓄積する固体撮像装置と、前記固体撮像装置が累積蓄積した光電子情報を用いて、タイム・オブ・フライト法により前記測距対象までの距離を求める演算部と、を備える測距システムを用いた測距方法であって、前記受光期間は、第1受光期間と第2受光期間とを含み、前記固体撮像装置は、前記第1受光期間で入射した光の光量に応じて発生した光電子を累積蓄積するとともに、前記第2受光期間で入射した光の光量に応じて発生した光電子を累積蓄積し、前記第1受光期間は、前記固体撮像装置に入射する前記反射光の強度の立上り期間の一部の期間であり、前記第2受光期間は、前記固体撮像装置に入射する前記反射光の強度のピークから立下り期間を含む期間であり、前記演算部は、前記第2受光期間で累積蓄積された光電子情報を前記第1受光期間で累積蓄積された光電子情報で除算して光量比を求めることで、前記測距対象までの距離を求めることを特徴とする。
本願発明によれば、固体撮像装置は、第1受光期間で入射した光の光量に応じて発生した光電子を累積蓄積するとともに、第2受光期間で入射した光の光量に応じて発生した光電子を累積蓄積し、前記第1受光期間は、前記固体撮像装置に入射する前記反射光の強度の立上り期間の一部の期間であり、前記第2受光期間は、前記固体撮像装置に入射する反射光の強度のピークから立下り期間を含む期間であり、演算部は、前記第2受光期間で累積蓄積された光電子情報を前記第1受光期間で累積蓄積された光電子情報で除算して光量比を求めることで、前記測距対象までの距離を求めるので、照射装置の光源や測距対象の反射率等に依存することなく、測距対象までの距離を求めることができ、また、距離に対する光量比の分解能が上がるので測距精度が向上する。
また、前記第1受光期間は、前記固体撮像装置に入射する前記反射光の強度の立上り期間の一部の期間であり、前記第2受光期間は、前記固体撮像装置に入射する反射光の強度のピークから立下り期間を含む期間であるので、測距対象が近距離にある場合は反射光を受光する期間が短くなるので、前記固体撮像装置が発生する光電子数を抑制することができる。
実施の形態にかかる固体撮像装置を有する測距システムの概略構成を示す図である。 図1の固体撮像装置の構成を示す図である。 図2に示す固体撮像装置を構成する単位画素の一部を示す一部平面図である。 図3のIV−IV線矢視断面構成図である。 光電子の転送時において、光電変換素子、光電子振分部、及び光電子排出部に供給される基本的な各種ゲート駆動信号電圧のタイミングチャートを示す図である。 図6Aは、タイミングa及びg時における光電変換素子、光電子振分部、及び光電子排出部のポテンシャル図、図6Bは、タイミングb及びh時における光電変換素子、光電子振分部、及び光電子排出部のポテンシャル図、図6Cは、タイミングc時における光電変換素子、光電子振分部、及び光電子排出部のポテンシャル図、図6Dは、タイミングd時における光電変換素子、光電子振分部、及び光電子排出部のポテンシャル図、図6Eは、タイミングe時における光電変換素子、光電子振分部、及び光電子排出部のポテンシャル図、図6Fは、タイミングf時における光電変換素子、光電子振分部、及び光電子排出部のポテンシャル図である。 単位画素の回路構成の一例を示す図である。 単位画素の受光期間を示すタイムチャートである。 図8の1サイクルにおける照射装置が照射する照射光の照射タイミングと、図8の1サイクルにおける単位画素に供給されるゲート駆動信号電圧のタイミングとを示すタイムチャートである。 測距対象までの距離の算出方法を説明する説明図である。 光量比と測距対象までの距離との関係を示すグラフである。 変形例2の1サイクルにおける照射装置が照射する照射光の照射タイミングと、該1サイクルにおける単位画素に供給されるゲート駆動信号電圧のタイミングとを示すタイムチャートである。
本発明に係る測距方法及び該測距方法を実現する測距システムについて、好適な実施の形態を掲げて添付の図面を参照しながら以下詳細に説明する。
図1は、実施の形態にかかる固体撮像装置を有する測距システム10の概略構成を示す図である。図1に示すように、測距システム10は、照射装置12、撮像部14、演算部16、制御部18、及び電源20を備える。
電源20は、測距システム10の各部に所定の電源電圧を供給するものであり、図1においては、簡単のため、電源20から各装置への電源線の表示を省略する。
照射装置12は、測距対象Wに対してパルス光Lpを照射するものであり、照射装置12は、制御部18の制御下で、パルス光Lpを出力する発光部(光源)24を有する。発光部24は、コンデンサと発光素子を有し、コンデンサが保持した電荷が発光ダイオードに供給されることで光を発光する。なお、制御部18、及び演算部16は、固体撮像素子上に形成してもよい。
発光部24は、赤外光を発光する。例えば、波長が870ナノメートル(nm)の赤外光を100ワット(W)の出力で照射可能である。発光部24は、パルス光Lpを100ナノ秒(ns)の出力時間(パルス幅)で出力可能である。
なお、発光部24は、リニアアレイ状の複数の発光点を有していてもよく、あるいは、マトリックス状に並べられた複数の発光点を有するものであってもよい。発光素子としてレーザダイオードや発光ダイオード(LED)等のその他の発光素子を用いてもよい。
この測距システム10では、照射装置12から照射されたパルス光Lpが測距対象Wで反射し、撮像部14に入射する。なお、説明の便宜のため、照射装置12から測距対象Wまでのパルス光Lpを照射光Leと、測距対象Wから撮像部14までのパルス光Lpを反射光Lrと呼ぶ。
撮像部14は、レンズ26と、固体撮像装置28とを有する。レンズ26を透過した反射光Lr及び環境光Lsは、固体撮像装置28に集光され、固体撮像装置28によって受光される。固体撮像装置28は、照射装置12が照射するパルス光Lp及び環境光Lsに対して感度を有する。演算部16は、固体撮像装置28が受光期間Pで取り込んだ光電子数Qの情報に基づいて測距対象Wまでの距離を算出する。
図2は、固体撮像装置28の構成を示す図である。固体撮像装置28は、マトリックス状に単位画素30が配置された画素アレイ32と、画素駆動回路(画素駆動部)34と、出力バッファ36と、A/D変換器38とを有する。
電源20は、画素アレイ32に対して正の電源電圧Vddを印加するとともに、リセット電圧Vrefを印加する。画素駆動回路34は、ゲート駆動回路42、垂直選択回路44、サンプルホールド回路46、及び、水平選択回路48を有し、ゲート駆動回路42は、各種ゲート駆動信号を出力することにより画素アレイ32の各単位画素30の光電子の発生(蓄積)、保持、転送、及び排出等を行う。垂直選択回路44は、マルチプレクサ(図示略)を有し、読み出しを行う単位画素30が属する行に対して選択的に、該単位画素30が保持した光電子数Qに対応する電圧信号QVを出力させる。水平選択回路48は、別のマルチプレクサ(図示略)を有し、読み出しを行う単位画素30が属する列を選択する。読み出された画素信号は、サンプルホールド回路46に一端保持された後、水平選択回路48を介して出力される。そして、出力バッファ36及びA/D変換器38を介して演算部16に出力される。ゲート駆動回路42、垂直選択回路44、サンプルホールド回路46、及び水平選択回路48は、制御部18の制御に従って駆動する。
図3は、図2に示す固体撮像装置28を構成する単位画素30の一部を示す一部平面図である。図4は、図3のIV−IV線矢視断面構成図である。なお、光電子振分部106a、106b、106c、106dの構成は、光電子振分部106aと同一であり、光電子排出部108bの構成は、光電子排出部108aの構成と同一であるので、光電子振分部106b、106c、106d及び光電子排出部108bの断面構成図は省略する。
単位画素30は、p型(第1導電型)半導体基板102上に形成された光電変換素子104と、4つの光電子振分部106a、106b、106c、106d(総称して、光電子振分部106と呼ぶ場合もある)と、2つの光電子排出部108a、108b(以下、総称して、光電子排出部108と呼ぶ場合もある)とを有する。光電変換素子104は、p型(第1導電型)半導体基板102上に絶縁体(図示略)を介して形成された電極(以下、フォトゲートと呼ぶ)110を有するフォトゲート構造を有している(図4参照)。光電変換素子104は、光を検知して、光電子(負電荷)を発生する(検知した光を光電子に変換する)。フォトゲート110には、光電変換素子104を駆動するゲート駆動信号電圧Saがゲート駆動回路42から印加される。
各光電子振分部106は、第1転送部112、光電子保持部114、第2転送部116、及び浮遊拡散層118をそれぞれ有する。第1転送部112は、光電変換素子104が発生した光電子を振り分けて光電子保持部114に転送するためのものであり、p型半導体基板102上に絶縁体(図示略)を介して形成された電極(以下、第1転送ゲートと呼ぶ)120を有するMOSダイオード構造を有している(図4参照)。第1転送ゲート120には、ゲート駆動回路42から第1転送部112を駆動するゲート駆動信号電圧Sbが入力される。
光電子保持部114は、光電変換素子104に対して第1転送部112を挟んで配置され、光電変換素子104が発生した光電子を一時的に保持するものであり、p型半導体基板102上に絶縁体(図示略)を介して形成された電極(以下、保持ゲートと呼ぶ)122を有するMOSダイオード構造を有している(図4参照)。保持ゲート122には、ゲート駆動回路42から光電子保持部114を駆動するゲート駆動信号電圧Scが入力される。
第2転送部116は、第1転送部112に対して、光電子保持部114を挟んで配置され、光電子保持部114で集積された光電子を転送するものであり、p型半導体基板102上に絶縁体(図示略)を介して形成された電極(以下、第2転送ゲートと呼ぶ)124を有するMOSダイオード構造を有している(図4参照)。第2転送ゲート124には、ゲート駆動回路42から第2転送部116を駆動するゲート駆動信号電圧Sdが印加される。
浮遊拡散層(FD;フローティングディフュージョン)118は、光電子保持部114に対して第2転送部116を挟んで配置され、光電子保持部114から転送されてくる光電子を電圧に変換させるために一時的に保持するものであり、p型半導体基板102上にn型(第2導電型)不純物が形成されたものである。
図3に示すように、4つの光電子振分部106は、光電変換素子104を挟んで水平方向(左右方向)に対称に2つずつ設けられており、上下に1つずつ設けられている。
図4に示すように、浮遊拡散層118には、浮遊拡散層118の電位を基準電位にリセットするリセット用トランジスタ(リセット部)126が接続されている。リセット用トランジスタ126のソースは浮遊拡散層118に接続され、ドレインには電源20からのリセット電圧Vrefが印加され、リセット用トランジスタ126のゲート(リセット用ゲート)127には、ゲート駆動回路42からリセット信号Rが供給される。ハイのリセット信号Rがリセット用ゲート127に供給されると、リセット用トランジスタ126がオンとなり、浮遊拡散層118に存在する光電子は排出され、浮遊拡散層118の電位が基準電位にリセットされる。
また、浮遊拡散層118には、浮遊拡散層118が保持した光電子数Qに応じた電圧信号QVを読み出すための信号読出用トランジスタ130が接続される。信号読出用トランジスタ130には、該信号読出用トランジスタ130によって読み出された電圧信号を信号読出線132に出力するかを選択するための選択用トランジスタ134が接続されている。信号読出用トランジスタ130のドレインは、電源20からの電源電圧Vddが印加され、信号読出用トランジスタ130のゲート(信号読出用ゲート)131は、浮遊拡散層118に接続され、ソースは、選択用トランジスタ134のドレインに接続される。選択用トランジスタ134のゲート(選択用ゲート)135に垂直選択回路44からハイの選択信号Ssが供給されると、選択用トランジスタ134がオンになり、浮遊拡散層118が保持した光電子数Qに対応する電圧信号QVが信号読出線132から読み出される。選択用トランジスタ134のソースには、信号読出線132が接続されている。
光電子排出部108は、第3転送部140と、拡散層142とを有する。第3転送部140は、光電変換素子104が発生した光電子を拡散層142に転送するためのものであり、p型半導体基板102上に前記絶縁体を介して形成された電極(第3転送ゲート)144を有するMOSダイオード構造を有している(図4参照)。
拡散層142は、光電変換素子104に対して第3転送部140を挟んで反対側に配置され、拡散層142には、電源20からの電源電圧Vddが印加されている。ゲート駆動回路42から第3転送ゲート144にゲート駆動信号電圧Seが入力されると、光電変換素子104が発生した光電子は、第3転送部140を介して拡散層142から排出される。図3に示すように、2つの光電子排出部108は、光電変換素子104を挟んで垂直方向(上下方向)に対称的に1つずつ設けられている。
図5は、光電子の転送時において、光電変換素子104、光電子振分部106a、及び光電子排出部108aに供給される基本的な各種ゲート駆動信号電圧のタイミングチャートを示す図であり、図6A〜図6Fは、図5のタイミングチャートに示すタイミングa〜タイミングhにおける光電変換素子104、光電子振分部106a、及び光電子排出部108aのポテンシャル図である。
図6Aは、タイミングa及びg時におけるポテンシャル図、図6Bは、タイミングb及びh時におけるポテンシャル図、図6Cは、タイミングc時におけるポテンシャル図、図6Dは、タイミングd時におけるポテンシャル図、図6Eは、タイミングe時におけるポテンシャル図、図6Fは、タイミングf時におけるポテンシャル図である。
1フレームの露光期間に突入し、光電変換素子104が発生した光電子を累積蓄積する最初の受光期間P前のタイミングaにおいては、フォトゲート110にハイのゲート駆動信号電圧Saが、第3転送ゲート144にハイのゲート駆動信号電圧Seが、第1転送ゲート120にローのゲート駆動信号電圧Sbが、保持ゲート122にハイのゲート駆動信号電圧Scが、第2転送ゲート124にハイのゲート駆動信号電圧Sdがそれぞれ印加された状態となる。これにより、タイミングaでは、図6Aに示すように、第3転送部140は、光電変換素子104が発生した光電子を拡散層142に転送するので、光電変換素子104の光電子を拡散層142から排出することができ、光電変換素子104には光電子が蓄積されない。また、タイミングaでは、図6Aに示すように、第2転送部116は、光電子保持部114に存在する光電子を浮遊拡散層118に転送するので、リセット用ゲート127にハイのリセット信号Rを印加することで、光電子保持部114及び浮遊拡散層118に存在する光電子を、リセット用トランジスタ126を介して排出することができる。
その後、タイミングbにおいては、保持ゲート122に印加するゲート駆動信号電圧Scがローになるので、図6Bに示すように、光電子保持部114に存在する光電子が全て浮遊拡散層118に転送される。このときも、リセット用ゲート127にハイのリセット信号Rを印加することで、光電子保持部114及び浮遊拡散層118に残存している光電子を全て排出することができる。なお、タイミングbにおいても、フォトゲート110及び第3転送ゲート144には、ハイのゲート駆動信号電圧Sa、Seが印加され続けているので、光電変換素子104が発生した光電子は、拡散層142から排出され続ける。
光電子保持部114及び浮遊拡散層118に残存している光電子を全て排出し、受光期間Pの直前のタイミングcでは、保持ゲート122に印加するゲート駆動信号電圧Scがハイになり、第2転送ゲート124に印加するゲート駆動信号電圧Sdがローになる。また、受光期間Pの直前のタイミングcでは、フォトゲート110に印加されるゲート駆動信号電圧Saは、ローになるので、図6Cに示すように、光電変換素子104に残存している全ての光電子は、拡散層142から排出される。
その後、受光期間P内のタイミングdでは、第3転送ゲート144に印加するゲート駆動信号電圧Seがローになり、第1転送ゲート120に印加するゲート駆動信号電圧Sbがハイになる。これにより、タイミングdでは、図6Dに示すように、第1転送部112は、光電変換素子104が発生した光電子を光電子保持部114に転送するので、受光期間Pにおいては、光電子保持部114は、光電変換素子104が発生した光電子を累積蓄積して保持することができる。なお、タイミングd時においても、保持ゲート122には、ハイのゲート駆動信号電圧Scが印加され続けているので、光電子保持部114のポテンシャルは低く保たれている。
受光期間Pの残存光電子転送期間内のタイミングeでは、フォトゲート110に印加するゲート駆動信号電圧Saがローになる。これにより、タイミングeでは、図6Eに示すように、光電変換素子104に残存している光電子を、全て光電子保持部114に転送することができる。
そして、受光期間P終了後(特に、残存光電子転送期間終了後)のタイミングfでは、フォトゲート110に印加するゲート駆動信号電圧Saがハイ、第3転送ゲート144に印加するゲート駆動信号電圧Seがハイになり、第1転送ゲート120に印加するゲート駆動信号電圧Sbがローになる。これにより、タイミングfでは、図6Fに示すように、フォトゲート110及び第3転送ゲート144には、ハイのゲート駆動信号電圧Sa、Seが印加されるので、光電変換素子104が発生した光電子は、拡散層142から排出される。また、タイミングf時においても、保持ゲート122には、ハイのゲート駆動信号電圧Scが印加され続けているので、光電子保持部114は、受光期間P中に光電変換素子104が発生した光電子を保持している。
1フレームの露光期間には、図示しないが複数の受光期間Pが存在し、図6C〜図6Fに示すような、動作が複数回繰り返される。従って、光電子保持部114は、複数の受光期間Pで光電変換素子104が発生した光電子を加算して保持することになる。
その後、読出し期間のタイミングgでは、フォトゲート110にハイのゲート駆動信号電圧Saが、第3転送ゲート144にハイのゲート駆動信号電圧Seが、第1転送ゲート120にローのゲート駆動信号電圧Sbが、保持ゲート122にハイのゲート駆動信号電圧Scが、第2転送ゲート124にハイのゲート駆動信号電圧Sdがそれぞれ印加された状態となる。これにより、タイミングgでは、図6Aに示すように、第2転送部116は、光電子保持部114に存在する光電子を浮遊拡散層118に転送することができる。このときは、リセット用ゲート127にはローのリセット信号Rが印加されているので、転送された光電子は排出されることなく、浮遊拡散層118に存在する。
その後、タイミングhでは、保持ゲート122に印加するゲート駆動信号電圧Scがローになるので、図6Bに示すように、光電子保持部114に存在する光電子が全て浮遊拡散層118に転送される。このときも、リセット用ゲート127にローのリセット信号Rが印加されているので、転送された光電子は排出されることなく、浮遊拡散層118に存在する。なお、タイミングg及びタイミングhでは、光電変換素子104が発生した光電子は拡散層142から排出される。
光電子保持部114が保持していた光電子を全て浮遊拡散層118に転送した後、選択用トランジスタの選択用ゲート135にハイの選択信号Ssが印加されると、浮遊拡散層118に存在する光電子数Qに対応する電圧信号QVが信号読出線132から読み出される。
なお、光電子振分部106b、106c、106dの光電子の転送方法に関しては、光電子振分部106aと同様であり、光電子排出部108bの光電子の排出方法に関しては、光電子排出部108aと同様であるので、説明を省略する。
図7は、単位画素30の回路構成の一例を示す図である。光電変換素子104が発生した光電子は、転送経路146a、146b、146c、146dを介して光電子振分部106a、106b、106c、106dの浮遊拡散層118に転送される。転送経路146a、146b、146c、146dは、図3で示した光電子振分部106a、106b、106c、106dの第1転送部112、光電子保持部114、第2転送部116により構成される。光電子振分部106a、106b、106c、106dの浮遊拡散層118には、1つのリセット用トランジスタ126のソースが接続されるとともに、1つの信号読出用ゲート131が接続される。なお、図7では、光電子排出部108の図示を省略している。
各浮遊拡散層118に、光電子振分部106a、106b、106c、106dの各光電子保持部114が保持した光電子が転送される前に、リセット用トランジスタ126がオンになることによって各浮遊拡散層118が基準電位にリセットされ、そのときの各浮遊拡散層118の電圧信号(以下、黒レベル)が読み出される。その後、光電子振分部106a、106b、106c、106dの光電子保持部114が保持した光電子が順次浮遊拡散層118に転送される。各浮遊拡散層118に転送され、各浮遊拡散層118に存在する光電子数Qが順次信号読出用トランジスタ130によって電圧信号(信号レベル)QVに変換されて、選択用トランジスタ134を介して信号読出線132から読み出される。
詳しくは、リセット用トランジスタ126をオンにすることで、各浮遊拡散層118の電位がリセットされ、黒レベルが読み出される。その後、光電子振分部106aの光電子保持部114が保持している光電子が浮遊拡散層118に転送され、浮遊拡散層118に存在する光電子数Qに応じた信号レベルQVが信号読出線132から読み出される。演算部16は、光電子振分部106aの光電子保持部114が保持した光電子数Qに対応する信号レベルQVから黒レベルを減算することで、リセットノイズを除去する。
次に、リセット用トランジスタ126をオンにすることで、各浮遊拡散層118の電位がリセットされ、黒レベルが読み出される。その後、光電子振分部106bの光電子保持部114が保持している光電子が浮遊拡散層118に転送され、浮遊拡散層118に存在する光電子数Qに応じた信号レベルQVが信号読出線132から読み出される。演算部16は、光電子振分部106bの光電子保持部114が保持した光電子数Qに対応する信号レベルQVから黒レベルを減算することで、リセットノイズを除去する。
そして、リセット用トランジスタ126をオンにすることで、各浮遊拡散層118の電位がリセットされ、黒レベルが読み出される。その後、光電子振分部106cの光電子保持部114が保持している光電子が浮遊拡散層118に転送され、浮遊拡散層118に存在する光電子数Qに応じた信号レベルQVが信号読出線132から読み出される。演算部16は、光電子振分部106cの光電子保持部114が保持した光電子数Qに対応する信号レベルQVから黒レベルを減算することでリセットノイズを除去する。
最後に、リセット用トランジスタ126をオンにすることで、各浮遊拡散層118の電位がリセットされ、黒レベルが読み出される。その後、光電子振分部106dの光電子保持部114が保持している光電子が浮遊拡散層118に転送され、浮遊拡散層118に存在する光電子数Qに応じた信号レベルQVが信号読出線132から読み出される。演算部16は、光電子振分部106dの光電子保持部114が保持した光電子数Qに対応する信号レベルQVから黒レベルを減算することで、リセットノイズを除去する。
図8は、単位画素30の受光期間Pを示すタイムチャートである。制御部18は、1フレームの露光期間中、所定の周期で照射装置12が照射光Leを照射するように発光信号を照射装置12に出力し、該照射装置12は、該送られてきた発光信号に従って所定の周期で照射光Leを照射する。単位画素30は、制御部18による制御のもと、各照射光Leの照射タイミングに応じて予め決められた受光期間P(第1受光期間P1〜第4受光期間P4)で光を受光する。
第1受光期間P1は、反射光Lr及び環境光Lsを同時に受光し、該受光した光に応じた光電子を累積蓄積する期間である。第2受光期間P2は、反射光Lr及び環境光Lsを受光し、該受光した光に応じた光電子を累積蓄積する期間であり、第2受光期間P2は、反射光Lrを受光しない(環境光Lsのみを受光する)期間があってもよい。第3受光期間P3及び第4受光期間P4は、環境光Lsのみを受光し、該受光した光に応じた光電子を累積蓄積する期間である。第1受光期間P1と第3受光期間P3との受光期間は同じ長さであり、第2受光期間P2と第4受光期間P4との受光期間は同じ長さである。また、第2受光期間P2及び第4受光期間P4は、第1受光期間P1及び第3受光期間P3より長い。この第1受光期間P1〜第4受光期間P4の受光開始タイミングは、測距検知範囲に基づいて決められており、測距検知範囲毎に、この第1受光期間P1〜第4受光期間P4の受光開始タイミングは異なる。特に、第2受光期間P2の受光開始タイミングが、測距検知範囲によって異なる。測距対象Wが近い場合は、照射光Leを照射してから反射光Lrが単位画素30に入射するまでの時間は短くなり、測距対象Wが遠い場合は、照射光Leを照射してから反射光Lrが単位画素30に入射するまでの時間は長くなるからである。測距検知範囲とは、距離を計測することができる範囲(例えば、5m先から20m先までの範囲)のことである。
1回の照射光Leの照射タイミングに応じて4つの受光期間P(P1〜P4)が定められており、これを1サイクルとし、1フレームの露光期間中にこのサイクルが所定回数(例えば、1000回)繰り返される。第1受光期間P1で発生した光電子は、光電子振分部106aの光電子保持部114に蓄積され、第2受光期間P2で発生した光電子は、光電子振分部106bの光電子保持部114に蓄積され、第3受光期間P3で発生した光電子は、光電子振分部106cの光電子保持部114に蓄積され、第4受光期間P4で発生した光電子は、光電子振分部106dの光電子保持部114に蓄積される。
この1サイクル毎に各受光期間P(第1受光期間P1〜第4受光期間P4)で発生した光電子は、各光電子振分部106に振り分けられるので、各光電子振分部106の光電子保持部114は、各サイクルの受光期間Pで発生した光電子を加算して保持することになる。つまり、光電子振分部106aの光電子保持部114は、各サイクルの第1受光期間P1で発生した光電子を加算して保持し、光電子振分部106bの光電子保持部114は、各サイクルの第2受光期間P2で発生した光電子を加算して保持する。また、光電子振分部106cの光電子保持部114は、各サイクルの第3受光期間P3で発生した光電子を加算して保持し、光電子振分部106dの光電子保持部114は、各サイクルの第4受光期間P4で発生した光電子を加算して保持する。
そして、1フレームの露光期間が終了して読出し期間に突入すると、各光電子振分部106の光電子保持部114が保持している光電子数Qに応じた電圧信号QVが読み出される。
図9は、図8の1サイクルにおける照射装置12が照射する照射光Leの照射タイミングと、図8の1サイクルにおける単位画素30に供給されるゲート駆動信号電圧のタイミングとを示すタイムチャートである。
照射装置12が制御部18からの発光信号に従って照射する照射光Leは、ランプ状(略三角形状)のパルス光であり、照射光Leの強度が増加する期間(以下、立上り期間)と照射光Leの強度が減少する期間(立下り期間)とを有する。従って、固体撮像装置28に入射する反射光Lrも、反射光Lrの強度が増加する期間と照射光Leの強度が減少する期間とを有する。制御部18から照射装置12にハイの発光信号が供給されている間は、照射光Leの強度は増加する。
第1受光期間P1は、測距検知範囲内にいる測距対象Wからの反射光Lrを受光する期間であって、反射光Lrの立上り期間の一部の期間である。また、第2受光期間P2は、測距検知範囲内にいる測距対象Wからの反射光Lrを受光する期間であって、反射光Lrの強度のピークから立下り期間を含む期間である。
固体撮像装置28の単位画素30は、第1受光期間P1〜第4受光期間P4で、光電変換素子104に入射した反射光Lrに応じた光電子を累積蓄積し、第1受光期間P1〜第4受光期間P4以外の期間で光電変換素子104が発生した光電子を排出する(捨てる)。
詳しくは、第3受光期間P3前は、光電変換素子104のフォトゲート110にハイのゲート駆動信号電圧Saが供給されるとともに、第3転送部140の第3転送ゲート144にハイのゲート駆動信号電圧Seが供給される。これにより、光電変換素子104が発生した光電子は、拡散層142から排出される。そして、第3受光期間P3の直前にフォトゲート110に供給されるハイのゲート駆動信号電圧Saがローになり、光電変換素子104に残存する光電子が全て拡散層142から排出される。
なお、このときは、光電子振分部106aの第1転送部112の第1転送ゲート120に供給されるゲート駆動信号電圧Sb(以下、Sb1という)、光電子振分部106bの第1転送部112の第1転送ゲート120に供給されるゲート駆動信号電圧Sb(以下、Sb2という)、光電子振分部106cの第1転送部112の第1転送ゲート120に供給されるゲート駆動信号電圧Sb(以下、Sb3という)、光電子振分部106dの第1転送部112の第1転送ゲート120に供給されるゲート駆動信号電圧Sb(以下、Sb4という)は、ローの状態である。
そして、第3受光期間P3が到来すると、第3転送ゲート144に供給されるゲート駆動信号電圧Seはローになるとともに、光電子振分部106cの第1転送ゲート120に供給されるゲート駆動信号電圧Sb3はハイになる。これにより、第3受光期間P3で光電変換素子104が発生した光電子は、光電子振分部106cの光電子保持部114に累積蓄積される。第3受光期間P3の残存光電子転送期間に入ると、フォトゲート110に供給されるゲート駆動信号電圧Saがローになる。これにより、光電変換素子104が発生した光電子は、光電子振分部106cの光電子保持部114に全て転送される。なお、光電子振分部106cの光電子保持部114の保持ゲート122には、ハイのゲート駆動信号電圧Scが供給されていることは言うまでもない。
その後、第4受光期間P4が到来すると、フォトゲート110に供給されるゲート駆動信号電圧Saがハイ、光電子振分部106cの第1転送ゲート120に供給されるゲート駆動信号電圧Sb3はロー、光電子振分部106dの第1転送ゲート120に供給されるゲート駆動信号電圧Sb4はハイになる。これにより、第4受光期間P4で光電変換素子104が発生した光電子は、光電子振分部106dの光電子保持部114に累積蓄積される。第4受光期間P4の残存光電子転送期間に入ると、フォトゲート110に供給されるゲート駆動信号電圧Saがローになる。これにより、光電変換素子104が発生した光電子は、光電子振分部106dの光電子保持部114に全て転送される。なお、光電子振分部106dの光電子保持部114の保持ゲート122には、ハイのゲート駆動信号電圧Scが供給されていることは言うまでもない。第4受光期間P4が終了すると、フォトゲート110に供給されるゲート駆動信号電圧Saがハイ、第3転送ゲート144に供給されるゲート駆動信号電圧Seがハイ、光電子振分部106dの第1転送ゲート120に供給されるゲート駆動信号電圧Sb4がローになる。これにより、光電変換素子104が発生した光電子は、拡散層142から排出される。そして、第1受光期間P1の直前にフォトゲート110に供給されるハイのゲート駆動信号電圧Saがローになり、光電変換素子104に残存する光電子が全て拡散層142から排出される。
第1受光期間P1が到来すると、第3転送ゲート144に供給されるゲート駆動信号電圧Seはローになるとともに、光電子振分部106aの第1転送ゲート120に供給されるゲート駆動信号電圧Sb1はハイになる。これにより、第1受光期間P1で光電変換素子104が発生した光電子は、光電子振分部106aの光電子保持部114に累積蓄積される。第1受光期間P1の残存光電子転送期間に入ると、フォトゲート110に供給されるゲート駆動信号電圧Saがローになる。これにより、光電変換素子104が発生した光電子は、光電子振分部106aの光電子保持部114に全て転送される。なお、光電子振分部106aの光電子保持部114の保持ゲート122には、ハイのゲート駆動信号電圧Scが供給されていることは言うまでもない。
第2受光期間P2が到来すると、フォトゲート110に供給されるゲート駆動信号電圧Saがハイ、光電子振分部106aの第1転送ゲート120に供給されるゲート駆動信号電圧Sb1はロー、光電子振分部106bの第1転送ゲート120に供給されるゲート駆動信号電圧Sb2はハイになる。これにより、第2受光期間P2で光電変換素子104が発生した光電子は、光電子振分部106bの光電子保持部114に累積蓄積される。第2受光期間P2の残存光電子転送期間に入ると、フォトゲート110に供給されるゲート駆動信号電圧Saがローになる。これにより、光電変換素子104が発生した光電子は、光電子振分部106bの光電子保持部114に全て転送される。なお、このときには、光電子振分部106bの光電子保持部114の保持ゲート122には、ハイのゲート駆動信号電圧Scが供給されていることは言うまでもない。第2受光期間P2が終了すると、フォトゲート110に供給されるゲート駆動信号電圧Saがハイ、第3転送ゲート144に供給されるゲート駆動信号電圧Seがハイ、光電子振分部106bの第1転送ゲート120に供給されるゲート駆動信号電圧Sb2がローになる。これにより、光電変換素子104が発生した光電子は、拡散層142から排出される。
次に、固体撮像装置28の各単位画素30から読み出した電圧信号(信号レベル、黒レベル)に基づいて、演算部16が測距対象Wの距離を算出する算出手法について説明する。
まず、演算部16は、測距対象Wの距離を算出する前に、各光電子振分部106の光電子保持部114から読み出した信号レベルQVから黒レベルを減算することで、リセットノイズが除去された電圧信号QV´を算出する。
以下、光電子振分部106aの光電子保持部114から浮遊拡散層118に転送された光電子数QをQa、浮遊拡散層118に存在する光電子数Qaに応じて読み出された電圧信号(信号レベル)QVをQVa、信号レベルQVaから黒レベルが減算された電圧信号QV´をQV´aとする。光電子振分部106bの光電子保持部114から浮遊拡散層に転送された光電子数QをQb、浮遊拡散層118に存在する光電子数Qbに応じて読み出された電圧信号(信号レベル)QVをQVb、信号レベルQVbから黒レベルが減算された電圧信号QV´をQV´bとする。
同様に、光電子振分部106cの光電子保持部114から浮遊拡散層118に転送された光電子数QをQc、浮遊拡散層118に存在する光電子数Qcに応じて読み出された電圧信号(信号レベル)QVをQVc、信号レベルQVcから黒レベルが減算された電圧信号QV´をQV´cとする。光電子振分部106dの光電子保持部114から浮遊拡散層118に転送された光電子数QをQd、浮遊拡散層118に存在する光電子数Qdに応じて読み出された電圧信号(信号レベル)QVをQVd、信号レベルQVdから黒レベルが減算された電圧信号QV´をQV´dとする。演算部16は、電圧信号QV´a、QV´b、QV´c、QV´dを用いて測距対象Wまでの距離を算出する。
図10は、測距対象Wまでの距離の算出方法を説明する説明図である。S1は、第1受光期間P1で単位画素30に入射した反射光Lrの光量を示し、S2は、第2受光期間P2で単位画素30に入射した反射光Lrの光量を示す。測距システム10から測距対象Wまでの距離が近くなるほど、反射光Lrが測距対象Wから戻ってくるタイミングが早くなるので、図10に示す反射光Lrは左に移動する。また、測距システム10から測距対象Wまでの距離が遠くなるほど、反射光Lrが測距対象Wから戻ってくるタイミングが遅くなるので、図10に示す反射光Lrは右に移動する。
従って、照射装置12の発光部24の発光強度の変動や測距対象Wの反射率等を考えなければ、第1受光期間P1で単位画素30に入射する反射光Lrの光量S1は、光が照射されて測距対象Wから戻ってくるまでの光の往復時間Δtによって変化し、f1(Δt)によって表すことができ、第2受光期間P2で単位画素30に入射する反射光Lrの光量S2も同様に、光の往復時間Δtによって変化し、f2(Δt)で表すことができる。
ここで、発光部24の発光強度の変動や測距対象Wの反射率等を考慮すると、第1受光期間P1で単位画素30に入射する反射光Lrの光量S1は、I×f1(Δt)で表すことができ、第2受光期間P2で単位画素30に入射する反射光Lrの光量S2は、I×f2(Δt)で表すことができる。なお、Iは、発光部24の発光強度の変動や測距対象Wの反射率等に基づく係数である。
従って、光量S2と光量S1との光量比(S2/S1)は、数1に示す関係式で表すことできる。
Figure 2013134173
この求められた光量比(S2/S1)は、発光部24の発光強度の変動や測距対象Wの反射率等に関係なく、光の往復時間Δtに依存した値となるため、光の往復時間Δtと光量比(S2/S1)との関係を記憶したテーブルを用いることで、光量比(S2/S1)に応じた光の往復時間Δtが分り、該光の往復時間Δtから測距対象Wまでの距離を求めることができる。このテーブルは演算部16に内蔵されてもよく、外部記録媒体に内蔵されていてもよい。
第1受光期間P1で単位画素30に入射した反射光Lrの光量S1は、第1受光期間P1に入射した反射光Lrによって単位画素30が発生した光電子数Qに応じた信号レベルQVから黒レベルを減算した電圧信号QV´に対応し、第2受光期間P2で単位画素30に入射した反射光Lrの光量S2は、第2受光期間P2に入射した反射光Lrによって単位画素30が発生した光電子数Qに応じた信号レベルQVから黒レベルを減算した電圧信号QV´に対応する。
ここで、光電子振分部106aの光電子保持部114から浮遊拡散層118に転送された光電子数Qaに応じて得られた電圧信号QV´aは、第1受光期間P1で得られた反射光Lr及び環境光Lsに応じた電圧信号なので、第3受光期間P3で得られた光電子数Qcに応じて得られた電圧信号QV´cを電圧信号QV´aから減算することで、第1受光期間P1の反射光Lrのみに応じた電圧信号を得ることができる。
また、光電子振分部106bの光電子保持部114から浮遊拡散層118に転送された光電子数Qbに応じて得られた電圧信号QV´bは、第2受光期間P2で得られた反射光Lr及び環境光Lsに応じた電圧信号なので、第4受光期間P4で得られた光電子数Qdに応じて得られた電圧信号QV´dを電圧信号QV´bから減算することで、第2受光期間P2の反射光Lrのみに応じた電圧信号を得ることができる。従って、光量S2と光量S1との比は、数2に示す関係式で表すことができる。
Figure 2013134173
演算部16は、得られた電圧信号QV´a、QV´b、QV´c、QV´dから数2を用いて、光量比(S2/S1)を求め、前記テーブルを用いて該求めた光量比(S2/S1)に応じた測距対象Wまでの距離を求めることができる。
照射装置12が照射する照射光Leは、ランプ状の波形を有し、つまり、照射光Leの強度の立上り期間と照射光Leの強度の立下り期間とを有し、第1受光期間P1は、立上り期間の一部の期間であり、第2受光期間P2は反射光Lrのピークから立下り期間を含む期間であるので、測距システム10から測距対象Wが近い位置(近距離)にいる場合は、固体撮像装置28の単位画素30に反射光Lrが入射するタイミングは早くなる。従って、測距対象Wが近距離の場合は、第1受光期間P1で入射する反射光Lrの光量S1は増加し、第2受光期間P2で入射する反射光Lrの光量S2は減少する。その結果、測距対象Wが近距離のときは、光量比(S2/S1)は、小さくなる。
逆に、測距システム10から測距対象Wが遠い位置(遠距離)にいる場合は、固体撮像装置28の単位画素30に反射光Lrが入射するタイミングは遅くなるので、第1受光期間P1に入射する反射光Lrの光量S1は減少し、第2受光期間P2に入射する反射光Lrの光量S2は増加する。その結果、測距対象Wが遠距離のときは、光量比(S2/S1)は、大きくなる。
図11は、光量比と測距対象Wまでの距離との関係を示すグラフである。実線は、本実施の形態の光量比と測距対象Wまでの距離との関係を示すグラフであり、破線は、照射装置12が照射する照射光Leを矩形波のパルス光としたときの、光量比と測距対象Wまでの距離との関係を示すグラフである。図11に示すように、照射光Leをランプ状にしたので、光量比(S2/S1)は、矩形波の場合に比べ、測距対象Wまでの距離が遠くなるほど、光量比は大きくなる。これにより、距離に対する分解能があがり、精度良く測距対象Wまでの距離を求めることができる。
また、第1受光期間P1は、第2受光期間P2より短いので、測距対象Wが近距離にいる場合であっても、第1受光期間P1で単位画素30に入射する光量S1を抑えることができるので、第1受光期間P1で発生する光電子数を抑えることができる。従って、光電子振分部106aの光電子保持部114の容量を大きくする必要はない。また、測距対象Wが近距離にいる場合は、第2受光期間P2で単位画素30に入射する光量S2は少ないので、第2受光期間P2で発生する光電子数は少なくなる。従って、光電子振分部106bの光電子保持部114の容量を大きくする必要がない。
測距対象Wが遠距離にいる場合は、単位画素30に入射する反射光Lrの強度は小さくなるので、第2受光期間P2で単位画素30に入射する反射光Lrの光量S2を抑えることができるので、第2受光期間P2で発生する光電子数を抑えることができる。従って、光電子振分部106bの光電子保持部114の容量を大きくする必要はない。
実施の形態は、以下のように変形してもよい。
(変形例1)上記実施の形態では、測距検知範囲を1つとし、該測距検知範囲に基づいて、照射光Leの照射タイミングに応じた第1受光期間P1〜第4受光期間P4の受光開始タイミングを予め決めるようにしたが、本変形例1では、測距検知範囲を複数用意し、第1受光期間P1〜第4受光期間P4の受光開始タイミングを測距検知範囲毎に予め決めるようにしてもよい。この測距検知範囲毎に、第1受光期間P1〜第4受光期間P4の受光開始タイミングが異なる。測距検知範囲は、少なくとも1フレームの露光期間単位で切り換わる。
例えば、測距検知範囲が1〜3まである場合は、1枚目のフレームの露光期間では、単位画素30は、測距検知範囲1に基づく照射光Leの照射タイミングに応じた第1受光期間P1〜第4受光期間P4で、入射した光に応じた光電子を累積蓄積し、演算部16は、第1受光期間P1〜第4受光期間P4で得られた光電子数を用いて測距検知範囲1に存在する測距対象Wまでの距離を求める。そして、2枚目のフレームの露光期間では、単位画素30は、測距検知範囲2に基づく照射光Leの照射タイミングに応じた第1受光期間P1〜第4受光期間P4で、入射した光に応じた光電子を累積蓄積し、演算部16は、第1受光期間P1〜第4受光期間P4で得られた光電子数を用いて測距検知範囲2に存在する測距対象Wまでの距離を求める。3枚目のフレームの露光期間では、単位画素30は、測距検知範囲3に基づく照射光Leの照射タイミングに応じた第1受光期間P1〜第4受光期間P4で、入射した光に応じた光電子を累積蓄積し、演算部16は、第1受光期間P1〜第4受光期間P4で得られた光電子数を用いて測距検知範囲3に存在する測距対象Wまでの距離を求める。これにより、距離を計測できる範囲を拡大することができる。
(変形例2)
上記実施の形態では、図9に示すように第1受光期間P1が終了すると同時に、第2受光期間P2に突入するようにしたが、図12に示すように、第1受光期間P1が終了した後、所定時間経過後に、第2受光期間P2に突入するようにしてもよい。この場合は、第1受光期間P1が終了した後、第2受光期間P2に突入するまでの所定時間は、フォトゲート110及び第3転送ゲート144にハイのゲート駆動信号電圧Sa、Seを印加することで、光電変換素子104が発生した光電子を、拡散層142から排出する。つまり、第1受光期間P1と第2受光期間P2との間に光電子の排出期間を設ける。
同様に、第3受光期間P3が終了すると同時に第4受光期間P4に突入するようにしたが、第3受光期間P3が終了した後、所定時間経過後に、第4受光期間P4に突入するようにしてもよい。この場合は、第3受光期間P3が終了した後、第4受光期間P4に突入するまでの所定時間は、フォトゲート110及び第3転送ゲート144にハイのゲート駆動信号電圧Sa、Seを印加することで、光電変換素子104が発生した光電子を、拡散層142から排出する。つまり、第3受光期間P3と第4受光期間P4との間に光電子の排出期間を設ける。なお、この各受光期間の間の光電子排出期間の最後に、フォトゲート110のゲート駆動信号電圧Saをローにして残存電子を排出してもよい。このように、受光期間Pの直前に排出期間を備えることで、各受光期間Pにおいて、排出動作と各受光動作とが同一のタイミングとなるため、各受光において排出後に受光させるという関係が同条件となり、検出精度が向上する。
(変形例3)
上記実施の形態では、第1受光期間P1で得られた電圧信号QV´aから第3受光期間P3で得られた電圧信号QV´cを減算し、第2受光期間P2で得られた電圧信号QV´bから第4受光期間P4で得られた電圧信号QV´dを減算するようにしたが、夜間等の環境光Lsが単位画素30に殆ど入射しない場合は、電圧信号QV´c、QV´dを0として扱うようにしてもよい。この場合は、第3受光期間P3及び第4受光期間P4で光電子を累積蓄積する必要はなく、第3受光期間P3及び第4受光期間P4で発生した光電子を拡散層142から排出してもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
10…測距システム 12…照射装置
14…撮像部 16…演算部
18…制御部 20…電源
28…固体撮像装置 30…単位画素
32…画素アレイ 34…画素駆動回路
42…ゲート駆動回路 102…p型半導体基板
104…光電変換素子
106、106a、106b、106c、106d…光電子振分部
108、108a、108b…光電子排出部
110…フォトゲート 112…第1転送部
114…光電子保持部 116…第2転送部
118…浮遊拡散層 120…第1転送ゲート
122…保持ゲート 124…第2転送ゲート
126…リセット用トランジスタ 127…リセット用ゲート
130…信号読出用トランジスタ 131…信号読出用ゲート
132…信号読出線 134…選択用トランジスタ
135…選択用ゲート 140…第3転送部
142…拡散層 144…第3転送ゲート
146a、146b、146c、146d…転送経路

Claims (10)

  1. 測距対象に対してパルス光を照射する照射装置と、
    前記照射装置が照射した前記パルス光の反射光を、該パルス光の照射タイミングに対して予め決められた受光期間で、入射した光の光量に応じた光電子を発生して累積蓄積する固体撮像装置と、
    前記固体撮像装置が累積蓄積した光電子情報を用いて、タイム・オブ・フライト法により前記測距対象までの距離を求める演算部と、
    を備える測距システムであって、
    前記受光期間は、第1受光期間と第2受光期間とを含み、
    前記固体撮像装置は、前記第1受光期間で入射した光の光量に応じて発生した光電子を累積蓄積するとともに、前記第2受光期間で入射した光の光量に応じて発生した光電子を累積蓄積し、
    前記第1受光期間は、前記固体撮像装置に入射する前記反射光の強度の立上り期間の一部の期間であり、前記第2受光期間は、前記固体撮像装置に入射する前記反射光の強度のピークから立下り期間を含む期間であり、
    前記演算部は、前記第2受光期間で累積蓄積された光電子情報を前記第1受光期間で累積蓄積された光電子情報で除算して光量比を求めることで、前記測距対象までの距離を求める
    ことを特徴とする測距システム。
  2. 請求項1に記載の測距システムであって、
    前記第1受光期間は、前記第2受光期間より短い
    ことを特徴とする測距システム。
  3. 請求項1又は2に記載の測距システムであって、
    前記測距対象までのそれぞれの距離に応じた前記光量比が記憶されたテーブルを有する
    ことを特徴とする測距システム。
  4. 請求項1〜3の何れか1項に記載の測距システムであって、
    前記固体撮像装置は、前記受光期間以外に、入射した光の光量に応じて発生した光電子を累積蓄積せずに、吐き捨てる
    ことを特徴とする測距システム。
  5. 請求項1〜4の何れか1項に記載の測距システムであって、
    前記照射装置は、前記パルス光を所定回数照射し、
    前記固体撮像装置は、各前記パルス光の照射タイミングに対して予め決められた前記第1受光期間、前記第2受光期間で入射した光の光量に応じて発生した光電子を、前記第1受光期間及び前記第2受光期間毎に加算して累積蓄積し、
    前記演算部は、加算して累積蓄積された前記第2受光期間の光電子情報を、加算して累積蓄積された前記第1受光期間の光電子情報で除算して前記光量比を求める
    ことを特徴とする測距システム。
  6. 請求項1〜4の何れか1項に記載の測距システムであって、
    前記受光期間は、前記第1受光期間と同じ長さであり、環境光のみを受光する第3受光期間と、前記第2受光期間と同じ長さであり、環境光のみを受光する第4受光期間とを更に有し、
    前記固体撮像装置は、更に、前記第3受光期間で入射した環境光のみの光量に応じて発生した光電子を累積蓄積するとともに、前記第4受光期間で入射した環境光のみの光量に応じて発生した光電子を累積蓄積し、
    前記演算部は、前記第2受光期間で累積蓄積された光電子情報から前記4受光期間で累積蓄積された光電子情報を減算した値を、前記第1受光期間で累積蓄積された光電子情報から前記第3受光期間で累積蓄積された光電子情報を減算した値で除算して前記光量比を求める
    ことを特徴とする測距システム。
  7. 請求項6に記載の測距システムであって、
    前記照射装置は、前記パルス光を所定回数照射し、
    前記固体撮像装置は、各前記パルス光の照射タイミングに対して予め決められた前記第1受光期間、前記第2受光期間、前記第3受光期間、及び前記第4受光期間で入射した光の光量に応じて発生した光電子を、前記第1受光期間、前記第2受光期間、前記第3受光期間、及び前記第4受光期間毎に加算して累積蓄積し、
    前記演算部は、加算して累積蓄積された前記第2受光期間の光電子情報から加算して累積蓄積された前記第4受光期間の光電子情報を減算した値を、加算して累積蓄積された前記第1受光期間の光電子情報から加算して累積蓄積された前記第3受光期間の光電子情報を減算した値で、除算して前記光量比を求める
    ことを特徴とする測距システム。
  8. 請求項1〜7の何れか1項に記載の測距システムであって、
    該パルス光の照射タイミングに対して予め決められた受光期間は、予め決められた測距検知範囲に基づいて決められている
    ことを特徴とする測距システム。
  9. 請求項8に記載の測距システムであって、
    異なる複数の前記測距検知範囲を有し、
    前記測距検知範囲毎に、前記パルス光に対して予め決められた前記受光期間の受光開始タイミングは異なり、
    前記測距検知範囲は、少なくとも1フレームの露光期間単位で切り換わり、
    前記1フレームの露光期間は、複数の第1受光期間及び第2受光期間を有する
    ことを特徴とする測距システム。
  10. 測距対象に対してパルス光を照射する照射装置と、
    前記照射装置が照射した前記パルス光の反射光を、該パルス光の照射タイミングに対して予め決められた受光期間で、入射した光の光量に応じた光電子を発生して累積蓄積する固体撮像装置と、
    前記固体撮像装置が累積蓄積した光電子情報を用いて、タイム・オブ・フライト法により前記測距対象までの距離を求める演算部と、
    を備える測距システムを用いた測距方法であって、
    前記受光期間は、第1受光期間と第2受光期間とを含み、
    前記固体撮像装置は、前記第1受光期間で入射した光の光量に応じて発生した光電子を累積蓄積するとともに、前記第2受光期間で入射した光の光量に応じて発生した光電子を累積蓄積し、
    前記第1受光期間は、前記固体撮像装置に入射する前記反射光の強度の立上り期間の一部の期間であり、前記第2受光期間は、前記固体撮像装置に入射する前記反射光の強度のピークから立下り期間を含む期間であり、
    前記演算部は、前記第2受光期間で累積蓄積された光電子情報を前記第1受光期間で累積蓄積された光電子情報で除算して光量比を求めることで、前記測距対象までの距離を求める
    ことを特徴とする測距方法。
JP2011285199A 2011-12-27 2011-12-27 測距システム及び測距方法 Expired - Fee Related JP5576851B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011285199A JP5576851B2 (ja) 2011-12-27 2011-12-27 測距システム及び測距方法
US13/721,968 US8797513B2 (en) 2011-12-27 2012-12-20 Distance measuring system and distance measuring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011285199A JP5576851B2 (ja) 2011-12-27 2011-12-27 測距システム及び測距方法

Publications (2)

Publication Number Publication Date
JP2013134173A true JP2013134173A (ja) 2013-07-08
JP5576851B2 JP5576851B2 (ja) 2014-08-20

Family

ID=48654221

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011285199A Expired - Fee Related JP5576851B2 (ja) 2011-12-27 2011-12-27 測距システム及び測距方法

Country Status (2)

Country Link
US (1) US8797513B2 (ja)
JP (1) JP5576851B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015128915A1 (ja) * 2014-02-28 2015-09-03 パナソニックIpマネジメント株式会社 測距装置及び測距方法
WO2017022219A1 (ja) * 2015-08-04 2017-02-09 パナソニックIpマネジメント株式会社 固体撮像装置の駆動方法
JP2017175107A (ja) * 2016-03-17 2017-09-28 パナソニックIpマネジメント株式会社 撮像装置
JP2018107356A (ja) * 2016-12-27 2018-07-05 キヤノン株式会社 撮像装置、撮像システム
WO2018155194A1 (ja) * 2017-02-21 2018-08-30 ソニーセミコンダクタソリューションズ株式会社 測距装置、および測距方法
US10739446B2 (en) 2016-01-25 2020-08-11 Ricoh Company, Ltd. Range-finding device
WO2020161932A1 (ja) * 2019-02-06 2020-08-13 富士ゼロックス株式会社 発光装置、光学装置および情報処理装置
US10775502B2 (en) 2016-11-10 2020-09-15 Ricoh Company, Ltd Distance-measuring apparatus, mobile object, robot, three-dimensional measuring device, surveillance camera, and distance-measuring method
WO2021145090A1 (ja) * 2020-01-17 2021-07-22 パナソニックIpマネジメント株式会社 測距装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6489320B2 (ja) * 2013-11-20 2019-03-27 パナソニックIpマネジメント株式会社 測距撮像システム
JP6406856B2 (ja) * 2014-04-07 2018-10-17 キヤノン株式会社 撮像装置及びその制御方法
JP6280002B2 (ja) 2014-08-22 2018-02-14 浜松ホトニクス株式会社 測距方法及び測距装置
WO2017085916A1 (ja) * 2015-11-16 2017-05-26 パナソニックIpマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
CN116097127A (zh) * 2020-09-16 2023-05-09 华为技术有限公司 使用飞行时间法测量距离的方法和测量距离的系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11508359A (ja) * 1995-06-22 1999-07-21 3ディブイ・システムズ・リミテッド 改善された光学測距カメラ
JP2001313958A (ja) * 2000-05-02 2001-11-09 Asahi Optical Co Ltd 3次元画像入力装置
WO2009105857A1 (en) * 2008-02-29 2009-09-03 Institut National D'optique Light-integrating rangefinding device and method
JP2010096730A (ja) * 2008-10-20 2010-04-30 Honda Motor Co Ltd 測距システム及び測距方法
JP2011064498A (ja) * 2009-09-15 2011-03-31 Honda Motor Co Ltd 測距装置、測距方法、及びそのプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
US7791715B1 (en) * 2006-10-02 2010-09-07 Canesta, Inc. Method and system for lossless dealiasing in time-of-flight (TOF) systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11508359A (ja) * 1995-06-22 1999-07-21 3ディブイ・システムズ・リミテッド 改善された光学測距カメラ
JP2001313958A (ja) * 2000-05-02 2001-11-09 Asahi Optical Co Ltd 3次元画像入力装置
WO2009105857A1 (en) * 2008-02-29 2009-09-03 Institut National D'optique Light-integrating rangefinding device and method
JP2010096730A (ja) * 2008-10-20 2010-04-30 Honda Motor Co Ltd 測距システム及び測距方法
JP2011064498A (ja) * 2009-09-15 2011-03-31 Honda Motor Co Ltd 測距装置、測距方法、及びそのプログラム

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9927516B2 (en) 2014-02-28 2018-03-27 Panasonic Intellectual Property Management Co., Ltd. Distance measuring apparatus and distance measuring method
WO2015128915A1 (ja) * 2014-02-28 2015-09-03 パナソニックIpマネジメント株式会社 測距装置及び測距方法
JPWO2015128915A1 (ja) * 2014-02-28 2017-03-30 パナソニックIpマネジメント株式会社 測距装置及び測距方法
US10928493B2 (en) 2015-08-04 2021-02-23 Panasonic Semiconductor Solutions Co., Ltd. Method for driving solid-state imaging device
JPWO2017022219A1 (ja) * 2015-08-04 2018-05-31 パナソニックIpマネジメント株式会社 固体撮像装置の駆動方法
CN107852470A (zh) * 2015-08-04 2018-03-27 松下知识产权经营株式会社 固体摄像装置的驱动方法
CN107852470B (zh) * 2015-08-04 2020-11-03 松下半导体解决方案株式会社 固体摄像装置的驱动方法
WO2017022219A1 (ja) * 2015-08-04 2017-02-09 パナソニックIpマネジメント株式会社 固体撮像装置の駆動方法
US10739446B2 (en) 2016-01-25 2020-08-11 Ricoh Company, Ltd. Range-finding device
JP2017175107A (ja) * 2016-03-17 2017-09-28 パナソニックIpマネジメント株式会社 撮像装置
US10775502B2 (en) 2016-11-10 2020-09-15 Ricoh Company, Ltd Distance-measuring apparatus, mobile object, robot, three-dimensional measuring device, surveillance camera, and distance-measuring method
JP2018107356A (ja) * 2016-12-27 2018-07-05 キヤノン株式会社 撮像装置、撮像システム
US10644049B2 (en) 2016-12-27 2020-05-05 Canon Kabushiki Kaisha Imaging device and imaging system
US11532656B2 (en) 2016-12-27 2022-12-20 Canon Kabushiki Kaisha Imaging device and imaging system
US11513200B2 (en) 2017-02-21 2022-11-29 Sony Semiconductor Solutions Corporation Distance measuring device and distance measuring method
WO2018155194A1 (ja) * 2017-02-21 2018-08-30 ソニーセミコンダクタソリューションズ株式会社 測距装置、および測距方法
JP2020126979A (ja) * 2019-02-06 2020-08-20 富士ゼロックス株式会社 発光装置、光学装置および情報処理装置
WO2020161932A1 (ja) * 2019-02-06 2020-08-13 富士ゼロックス株式会社 発光装置、光学装置および情報処理装置
JP7293697B2 (ja) 2019-02-06 2023-06-20 富士フイルムビジネスイノベーション株式会社 発光装置、光学装置および情報処理装置
WO2021145090A1 (ja) * 2020-01-17 2021-07-22 パナソニックIpマネジメント株式会社 測距装置

Also Published As

Publication number Publication date
JP5576851B2 (ja) 2014-08-20
US8797513B2 (en) 2014-08-05
US20130162973A1 (en) 2013-06-27

Similar Documents

Publication Publication Date Title
JP5576851B2 (ja) 測距システム及び測距方法
JP5635937B2 (ja) 固体撮像装置
US9025139B2 (en) Photoelectric conversion element, light receiving device, light receiving system, and distance measuring device
JP5675469B2 (ja) 測距システム
US8767189B2 (en) Solid state imaging device and distance image measurement device
US8947645B2 (en) Photoelectric conversion element, light receiving device, light receiving system, and distance measuring device
JP5675468B2 (ja) 測距システム
JP5518667B2 (ja) 距離センサ及び距離画像センサ
US8947646B2 (en) Photoelectric conversion element, light receiving device, light receiving system, and distance measuring device
US9018573B2 (en) Solid-state image sensing device with a change-over switch
JP5657456B2 (ja) 固体撮像装置
JP2010098260A (ja) 発光装置、受光システム及び撮像システム
JP6265346B2 (ja) 距離計測装置
JP6010425B2 (ja) 距離センサ及び距離画像センサ
JP2012083221A (ja) 距離センサ及び距離画像センサ
JP5657516B2 (ja) 画素駆動装置及び画素駆動方法
US9054014B2 (en) Unit pixel for accurately removing reset noise, solid-state image sensing device, and method for summing unit pixel signals
JP5932400B2 (ja) 距離センサ及び距離画像センサ
WO2022137685A1 (ja) 測距装置、測距方法および位相検出装置
US8569804B2 (en) Light receiving device
JP2012083219A (ja) 距離センサ及び距離画像センサ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140624

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140704

R150 Certificate of patent or registration of utility model

Ref document number: 5576851

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees