JP2006214998A - 測距装置 - Google Patents

測距装置 Download PDF

Info

Publication number
JP2006214998A
JP2006214998A JP2005030868A JP2005030868A JP2006214998A JP 2006214998 A JP2006214998 A JP 2006214998A JP 2005030868 A JP2005030868 A JP 2005030868A JP 2005030868 A JP2005030868 A JP 2005030868A JP 2006214998 A JP2006214998 A JP 2006214998A
Authority
JP
Japan
Prior art keywords
phase difference
function
light
section
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005030868A
Other languages
English (en)
Other versions
JP4715216B2 (ja
Inventor
Fumikazu Kurihara
史和 栗原
Yuji Takada
裕司 高田
Yusuke Hashimoto
裕介 橋本
Fumi Tsunesada
扶美 常定
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP2005030868A priority Critical patent/JP4715216B2/ja
Publication of JP2006214998A publication Critical patent/JP2006214998A/ja
Application granted granted Critical
Publication of JP4715216B2 publication Critical patent/JP4715216B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】計算過程において大きな値を用いることなく位相差を求めることにより処理負荷の軽減を可能とした測距装置を提供する。
【解決手段】発光源1は強度変調光を対象空間に投光し、光検出素子2は対象空間からの光を受光する。光検出素子2の受光出力は強度変調光における位相が90度異なるタイミングでサンプリング部3によりサンプリングされ4個の検出値が得られる。演算処理部6は、発光源1から投光した強度変調光と光検出素子2で受光した強度変調光との位相差に相当する値を求める。演算処理部6は、強度変調光の1周期を複数に区切った区間を設定するとともに4個の検出値の関係により位相差の存在する区間を判別する区間判別部7と、区間ごとに設定された区間関数で線形になる関数を近似し区間判別部7で判別した区間に応じた区間関数に検出値を代入して位相差に相当する値を求める演算部8とを備える。
【選択図】 図1

Description

本発明は、強度変調光を対象空間に投光するとともに対象空間からの光を受光し、投光した強度変調光と受光した光との位相差を求めることにより対象空間に存在する物体までの距離を求める測距装置に関するものである。
従来から、適宜の波形を有した変調信号を用いて変調した光(強度変調光)を発光源から対象空間に投光するとともに対象空間からの光を受光光量に応じた大きさの受光出力が得られる光検出素子により受光し、発光源を変調する変調信号と光検出素子の受光出力との関係により強度変調光の投光と受光との位相差を求め、この位相差を距離に換算する測距装置が提案されている(たとえば、特許文献1参照)。
変調信号の波形としてはたとえば正弦波を用い、変調信号において位相が互いに90度異なるタイミングで受光出力をサンプリングして得られる4個の検出値を検出値群に用いると、検出値群に含まれる検出値から投光と受光との位相差の正接を求めることができる。
たとえば、変調信号が図15(a)に示すように正弦波であって、光検出素子に入射する光の強さが図15(b)のように変化するとすれば、変調信号Sと光検出素子に入射する光の強さIとを、たとえば次のように表すことができる。
S=α・sinωt
I=A・sin(ωt+δ)+B
ただし、αは変調信号の振幅、Aは光検出素子に入射する光の振幅、Bは光検出素子に入射する光の極大値と極小値との平均値であって環境光の強さに振幅を加算した値になる。また、ωは角周波数、δは初期位相であり、投光と受光との位相差がθであるときには、δ=−θになる。受光出力のサンプリング期間を180度の期間とし、サンプリング期間において位相差θに変化がなく、投光から受光までの光の減衰率にも変化がないと仮定し、図15(c)〜(f)のように、変調信号における0〜180度の期間で得られる受光光量に対応した検出値をA0、90〜270度の検出値をA1、180〜360度の検出値をA2、270〜90(450)度の検出値をA3とすれば、次式が得られる。各検出値A0〜A3は、受光した光の強さを変調信号の各期間で積分した受光光量に相当する。
A0=A′・cosθ+B′
A1=A′・sinθ+B′
A2=−A′・cosθ+B′
A3=−A′・sinθ+B′
ただし、A′、B′は定数である。したがって、位相差θは検出値A0、A1、A2、A3を用いて次式のように表すことができる。
tanθ=(A3−A1)/(A2−A0)
位相差θ[rad]は物体までの光の往復時間に相当するから、距離L[m]は光束c[m/s]と変調信号の周波数f[Hz]とを用いて次式のように表すことができる。
L=(c/f)・(θ/4π)
すなわち、位相差θを求めると物体までの距離Lを求めることができる。言い換えると、上式を用いて距離Lを求めるには、検出値A0、A1、A2、A3から位相差θを求める演算が必要になる。
特開2004−356594号公報
ところで、検出値A0、A1、A2、A3から位相差θを求めるには、次式の演算が必要である。
θ=tan−1
ただし、S=(A3−A1)/(A2−A0)である。
tan−1xをテイラー展開してべき級数で表すと、次式のようになる。
tan−1x=x−(x/3)+(x/5)−(x/7)+(x/9)−…
上式の演算を必要精度を確保できる項まで計算することが要求され、たとえば5項目まで演算するとすれば、xの3乗、5乗、7乗、9乗の計算が必要となり、また2の指数ではない値での除算も必要となるから、計算の負荷が非常に大きくなる。さらに、指数の計算が必要となるから、精度を確保するためには浮動小数点演算が必要となる。つまり、演算処理の負荷が大きくなる。
一方、tanθの値と位相差θとをあらかじめ対応付けたデータテーブルを用意しておき、検出値A0、A1、A2、A3から求めたtanθをデータテーブルに照合することによって位相差θを求める構成も考えられるが、データテーブルを作成するために容量の大きな記憶部が必要になる。
本発明は上記事由に鑑みて為されたものであり、その目的は、区間関数を用いて近似演算を行うことにより、データテーブルのような記憶部を設ける必要がない上に、計算の負荷を軽減することができるようにし、もって距離を求めるための演算処理を容易かつ高速に行うことを可能とした測距装置を提供することにある。
請求項1の発明は、光の強度が変調された強度変調光を対象空間に投光する発光源と、対象空間からの光を受光し受光光量に応じた受光出力が得られる光検出素子と、光検出素子の受光出力を規定したタイミングでサンプリングすることにより複数個の検出値からなる検出値群を抽出するサンプリング部と、検出値群を所定の関数に代入することにより発光源から投光した強度変調光と光検出素子で受光した強度変調光との位相差に相当する値を求める演算処理部とを備え、演算処理部は、強度変調光の1周期を複数に区切った区間を設定するとともに検出値群である複数個の検出値の関係により位相差の存在する区間を判別する区間判別部と、前記関数を区間ごとに設定した複数個の区間関数で近似し区間判別部で判別した区間に対応する区間関数に検出値群を代入して位相差に一対一対応する関数値を求める演算部とを備えることを特徴とする。
この構成によれば、強度変調光の1周期を複数の区間に区切り、位相差がどの区間に存在するかを検出値群から判断し、さらに、検出値群を代入して目的とする値を求めるための関数を各区間ごとに設定した区間関数を用いて近似しているから、検出値群が示す情報を単独の関数で抽出すると複雑な演算が必要になったり計算過程において大きな値を扱うことが必要になる場合でも、比較的単純な形の区間関数を用いて近似演算を行うことにより、演算処理の負荷を軽減することができる。また、検出値群と位相差とを対応付けるためにデータテーブルを用いる必要がないから、データテーブルのための記憶領域が不要であり、また補間演算も不要である。
請求項2の発明では、請求項1の発明において、前記発光源は前記強度変調光の波形を正弦波とし、前記関数を前記位相差に関して線形である関数とし、前記演算処理部は前記検出値群として強度変調光における位相が等間隔で異なる3個以上の検出値を用い、前記演算部では、前記位相差に相当する値の正接と余接との少なくとも一方を用いた区間関数が設定されており、検出値群のうち位相が等間隔異なる各2個の検出値から求めた2個の差分の一方を他方で除することにより得られる前記正接と前記余接との少なくとも一方を区間関数に代入して前記関数の関数値を求めることを特徴とする。
請求項3の発明では、請求項1の発明において、前記発光源は前記強度変調光の波形を正弦波とし、前記関数を位相差に関して線形である関数とし、前記演算処理部は前記検出値群として強度変調光における位相が90度間隔で異なる4個の検出値を用い、前記演算部では、前記位相差に相当する値の正接と余接との少なくとも一方を用いた区間関数が設定されており、検出値群のうち位相が180度異なる各2個の検出値から求めた2個の差分の一方を他方で除することにより得られる前記正接と前記余接との少なくとも一方を区間関数に代入して前記関数の関数値を求めることを特徴とする。
請求項4の発明では、請求項1の発明において、前記発光源は前記強度変調光の波形を正弦波とし、前記関数を位相差に関して線形である関数とし、前記演算処理部は前記検出値群として強度変調光における位相が90度間隔で異なる3個の検出値を用い、前記演算部では、前記位相差に相当する値の正接と余接との少なくとも一方を用いた区間関数が設定されており、検出値群のうち位相が90度異なる各2個の検出値から求めた2個の差分の一方を他方で除することにより得られる前記正接と前記余接との少なくとも一方を区間関数に代入して前記関数の関数値を求めることを特徴とする。
請求項2ないし請求項4の発明の構成によれば、いずれも強度変調光における位相が等間隔で異なる3個以上の検出値を検出値群としているから、検出値同士の減算と除算とによって位相差に相当する値の正接および余接に相当する値を求めることができ、正接と余接との少なくとも一方を用いて区間関数を設定しているから、簡単な演算で位相差を求めることができる。しかも、線形である関数を区間関数によって近似するから、位相差の大きさによる精度や信頼性の変化がほとんど生じない。なお、位相差に相当する値とは、位相差自身を指す場合と、位相差を一定位相だけ偏移させた値を指す場合とがある。
請求項5の発明では、請求項2ないし請求項4の発明において、前記区間判別部は、検出値群のうち位相が等間隔異なる各2個の検出値から求めた2個の差分の符号と各差分の絶対値の大小とを用いて前記位相差の存在する区間を45度単位で判別し、前記演算部では、位相差に相当する値θに対して、0度から360度までの8区間における各区間関数を、それぞれtanθ、2−cotθ、2−cotθ、4+tanθ、4+tanθ、6−cotθ、6−cotθ、8+tanθと設定していることを特徴とする。
この構成によれば、検出値の減算と除算との簡単な演算で位相差に相当する値を求めることができる。しかも、簡単な区間関数を用いてほぼ線形な関数を近似することができる。
請求項6の発明では、請求項2ないし請求項4の発明において、前記区間判別部は、検出値群のうち位相が等間隔異なる各2個の検出値から求めた2個の差分の符号と各差分の絶対値の大小とを用いて前記位相差の存在する区間を45度単位で判別し、前記演算部では、位相差に相当する値θに対して、t=(1+tanθ)/(1−tanθ)、t=(1−tanθ)/(1+tanθ)とするとき、0度から360度までの8区間における各区間関数を、それぞれ(1+tanθ−t)/2、(3−cotθ−t)/2、(5−cotθ+t)/2、(7+tanθ+t)/2、(9+tanθ−t)/2、(11−cotθ−t)/2、(13−cotθ+t)/2、(15+tanθ+t)/2と設定していることを特徴とする。
この構成によれば、検出値の減算と除算との簡単な演算で位相差に相当する値を求めることができる。しかも、四則演算で表すことのできる簡単な区間関数を用いてほぼ線形な関数を近似することができる。とくに、請求項5で用いる区間関数よりも、さらに直線に近い近似が可能になるから、さらに信頼性の高い値を得ることが可能になる。
本発明の構成によれば、強度変調光の1周期を複数の区間に区切り、位相差がどの区間に存在するかを検出値群から判断し、さらに、検出値群を代入して目的とする値を求めるための関数を各区間ごとに設定した区間関数を用いて近似しているから、検出値群が示す情報を単独の関数で抽出すると複雑な演算が必要になったり計算過程において大きな値を扱うことが必要になる場合でも、比較的単純な形の区間関数を用いて近似演算を行うことにより、演算処理の負荷を軽減することができるという利点がある。また、検出値群と位相差とを対応付けるためにデータテーブルを用いる必要がないから、データテーブルのための記憶領域が不要であり、また補間演算も不要になる。
(実施形態1)
本実施形態では、図1に示すように、光検出素子2を1個だけ設ける場合について説明するが、複数個(たとえば、100×100個)の光検出素子2を平面格子の格子点上に配列してイメージセンサを構成する場合であっても、以下に説明する実施形態と同様の技術を採用することができる。
本実施形態の測距装置は、図1に示すように、対象空間に投光する発光源1を備え、発光源1から対象空間に投光され対象空間内の物体3により反射された光を受光する光検出素子2を備える。発光源1としては、たとえば複数個の発光ダイオードを平面上に配列したものを用いる。あるいはまた、半導体レーザと発散レンズとを組合せて発光源1に用いるようにしてもよい。発光源1はタイミング制御回路4から出力される変調信号により出力光量が変調される。つまり、発光源1からは変調信号により変調された強度変調光が対象空間に投光される。変調信号には正弦波を用い、変調信号の周波数はたとえば20MHzとする。
光検出素子2は受光光量に応じた受光出力を出力する。受光光量に応じた受光出力とは、受光出力が受光強度と受光時間との積に相当することを意味する。光検出素子2がフォトダイオードやフォトトランジスタのように電荷の蓄積機能を持たない構成である場合には、受光強度の瞬時値に対応した受光出力を出力することになり、またCCDイメージセンサのように電荷の蓄積機能を持つ構成である場合には、受光強度に応じて発生した電荷を受光時間に応じて蓄積した電荷量に相当する受光出力が得られる。
光検出素子2の出力はサンプリング部5に入力され、光検出素子2の受光出力が変調信号の位相に合わせたタイミングでサンプリングされる。サンプリング部5では、たとえば変調信号の位相における0〜φ度、90〜(90+φ)度、180〜(180+φ)度、270〜(270+φ)度のように、位相が90度ずつ異なる4個のサンプリング期間Psについてそれぞれ受光出力をサンプリングし、サンプリング期間Ps(図15参照)の積分値を検出値として出力する。φは適宜に設定することができ、たとえば180度に設定する。変調信号の異なる4位相に同期したサンプリング期間Psで得られた4個の検出値は、位相差θを求めるためのひとまとまりのデータであるから、これらの検出値を検出値群と呼ぶことにする。また、変調信号の位相に同期する上述の各サンプリング期間Psに得られた検出値をそれぞれA0、A1、A2、A3とする。
検出値群は、コンピュータにより構成した演算処理部6に入力される。本実施形態の演算処理部6では以下に説明する原理によって、強度変調光を発光源1により対象空間に投光してから光検出素子2により受光するまでの位相差に相当する値を求める。従来の技術として説明したように、検出値群を構成する4個の検出値A0、A1、A2、A3と位相差θとは理想的には次式の関係になる。
tanθ=(A3−A1)/(A2−A0)
ところで、位相差θが0〜45度の変域においてtanθの値域は0〜1であり、しかも位相差の変化に対して値はほぼ線形に変化する。一方、位相差θが45〜90度の変域においてtanθの値域は1〜無限大であるが、cotθの値域は1〜0であり、位相差の変化に対してほぼ線形に変化する。そこで、位相差θが45〜90度の変域においては値域が1〜2になるように2−cotθを用いると、位相差θが45〜90度の変域において値がほぼ線形に変化する。つまり、位相差θが0〜45度の区間ではtanθを用い、位相差θが45〜90度の区間では2−cotθを用いて関数を近似すれば、0〜90度の区間において値をほぼ線形に変化させることが可能になる。位相差θが他の値である場合も同様であって、位相差θが0〜360度である範囲を45度ずつの区間に区切り、各区間ごとに位相差θに対してほぼ線形に変化する区間関数を設定し、値が単調に増加する関数を、tanθまたはcotθを用いた区間関数の集合として設定する。
具体的には、位相差θが90〜135度、225〜270度、270〜315度の各区間ではcotθを含む区間関数を用い、位相差θが135〜180度、180〜225度、315〜360度の各区間ではtanθを含む区間関数を用いる。すなわち、位相差θが90〜135度の区間では2−cotθ、位相差θが225〜270度および270〜315度の区間では6−cotθ、位相差θが135〜180度および180〜225度の区間では4+tanθ、位相差θが315〜360度の区間では8+tanθを用いる。このように位相差θを45度単位の区間に区切り、各区間ごとにほぼ線形に変化する区間関数を割り当てることによって、図2に示すように、位相差θが0〜360度の変域を持つときに値域が0〜8になる単調増加関数を設定することができる。図2において直線イは近似させる関数値であり、曲線ロが区間関数から得られた近似値を表している。位相差θの単位をラジアンとすれば、区間ごとの区間関数は表1のようになる。表1では同じ区間関数を用いる隣接した2区間を1つにまとめて記載している。
Figure 2006214998
表1に示す関数を用いることによって、位相差θに一対一に対応するとともに位相差θにほぼ比例する値を求めることができ、しかも距離は位相差θに比例するから、表1に示す関数により得られた関数値を簡単な比例演算で距離に換算することが可能になる。つまり、表1で定義される関数をf(θ)とし、比例定数をkとすれば、距離はk・f(θ)という形で表すことができるから、tanθまたはcotθを求めることにより、距離を簡単に求めることができる。
ところで、cotθは1/tanθであるから、検出値A0、A1、A2、A3を用いてcotθを求めることができる。つまり、tanθは検出値A0、A1、A2、A3を用いて、たとえば、tanθ=(A3−A1)/(A2−A0)と表されるから、cotθは、cotθ=(A2−A0)/(A3−A1)になる。つまり、検出値A0、A1、A2、A3を用いて区間関数の関数値を求める際に、四則演算のみを行えばよく、演算処理が非常に簡単になる。
一方、表1で示した関数では位相差θの存在する区間ごとに異なる区間関数を用いるから、関数値を求めるには位相差θの存在する区間を決定する必要がある。具体的には(A2−A0)と(A3−A1)との符号および両者の絶対値の大小関係を用いる。たとえば、|A3−A1|が|A2−A0|よりも小さいのは、区間0≦θ<π/4、3π/4≦θ<5π/4、7π/4≦θ<2π(区間名1、4、5、8)のいずれかの場合であり、絶対値の大小関係が逆になるときには、区間がπ/4≦θ<3π/4、5π/4≦θ<7π/4(区間名2、3、6、7)のどちらかの場合である。さらに、(A2−A0)と(A3−A1)との符号について考察すると、(A2−A0)が正になる位相差θは、0<θ≦π/2、3π/2≦θ<2πの範囲、(A3−A1)が正になる位相差θは、0<θ<πの範囲であるから、これらの関係を組み合わせると、45度ずつの区間と、(A2−A0)と(A3−A1)との符号および絶対値の大小とは表2の関係になる。なお、表2ではA2−A0=Ax、A3−A1=Ayと置いている。
Figure 2006214998
なお、tanθ=Ay/Axであるから、区間1、4、5、8ではAx≠0でなければならず、一方、区間2、3、6、7ではcotθ=Ax/Ayを用いるからAy≠0でなければならない。
本実施形態の演算処理部6は、上述した原理に基づいて構成したものであって、演算処理部6に対してサンプリング部5から入力された検出値A0、A1、A2、A3の検出値群は、区間判別部7と演算部8とに入力される。区間判別部7は、検出値群について表2に示した関係を用いて区間を判別するものであって、位相差θが45度ずつに区分された8区間のうちのどの区間に属するかが判別される。一方、演算部8は、表1に示した5個の区間関数によって近似した関数を検出値群に適用することにより位相差θに相当する値を求めるものであって、区間判別部7により判別された区間に対応する区間関数を選択し、選択した区間関数を検出値群に適用する。
演算処理部6の処理手順をまとめると、図3のようになる。すなわち、サンプリング部5から4個の検出値A0、A1、A2、A3が入力されると(S1)、A3−A1の符号を求めるとともに(S2)、A2−A0の符号を求める(S3)。さらに、|A3−A1|と|A2−A0|との大小を判断する(S4)。この判断には、表2に示したように|A3−A1|−|A2−A0|の符号を判断する処理を用いてもよい。ステップS4の処理によって位相差θが8区間のうちのどの区間に存在するかを判別することができる。つまり、ステップS2〜S4の処理が区間判別部7に相当する。
次に、判別された区間に対応する区間関数を選択する(S5)。区間関数はあらかじめ演算部8に記憶されており、区間判別部7において区間が判別されると、当該区間に対応する区間関数が演算部8において用いられる。ステップS5において選択された区間関数には、検出値A0、A1、A2、A3が代入され、位相差θに相当する値が求められる(S6)。また、上述のように物体3までの距離は位相差θに比例し、表1に示した関数の閾値は0〜8であるから、発光源1から投光する光を変調する変調信号の周波数を18.75MHzとすれば、演算部8で求めた位相差θの値と物体3までの距離とがほぼ一致する。なお、区間関数は近似値であるから、この結果を用いた場合には若干の誤差を生じるが、その誤差が問題にならない程度の用途であれば、得られた値をそのまま用いることができる。また、上述の例では、区間関数として、tanθ、2−cotθ、4+tanθ、6−cotθ、8+tanθを用いているが、変調周波数に応じて適宜の係数を乗じるようにすれば、変調周波数が異なる場合でも、演算部8の出力値を距離に一致させることが可能になる。すなわち、変調周波数に応じた係数をρとし、ρ・tanθ、ρ(2−cotθ)などとすればよい。
上述の例では演算処理部6において4個の検出値A0、A1、A2、A3を用いて位相差θにほぼ比例する関数f(θ)の値を求めているが、光検出素子2に入射する光の強さIに含まれる未知数は、振幅Aと環境光による成分Bと位相差θとの3個であるから(図15参照)、3個の検出値から位相差θを求めることが可能である。そこで、3個の検出値A0、A1、A2を用いて位相差θを求める場合を例示する。
従来の技術として説明したように、検出値A0、A1、A2を次式で表すものとする。
A0=A′・cosθ+B′
A1=A′・sinθ+B′
A2=−A′・cosθ+B′
まず、これらの3式からA′、B′を消去して位相差θのみを変数とする数式を作成することを考える。B′は検出値A0、A1、A2のうち任意の2個の差を求めることにより消去でき、B′を消去した後の異なる2式の一方を他方で除算すればA′を消去することができる。
ここで、4個の検出値A0、A1、A2、A3から求めた位相差θの正接に相当する値を3個の検出値A0、A1、A2から求めることができれば、表1に示した関数f(θ)を用いることができる。位相差θの正接に相当する値を求める際には、上述のようにA′を除算により消去する必要があるから、正接を求めるには同位相での正弦と余弦との値が必要である。正弦と余弦とはそれぞれB′を消去するための減算により求めなければならず、かつ正弦と余弦とは同位相で求めなければならないから、正弦と余弦とを求める際の検出値A0、A1、A2の減算は、等位相間隔で行うことが必要である。検出値A0、A1、A2は3個しかないから4個の場合のように180度間隔で減算することはできない。そこで、本例では90度間隔で減算を行う。ただし、60度間隔や45度間隔の検出値を用いることも可能である。
位相が90度ずつ異なる検出値A0、A1、A2は2組あるから、次式の組合せで検出値A0、A1、A2の減算を行う。
A1−A0=A′(sinθ−cosθ)=A″・sin(θ−π/4)
A1−A2=A′(sinθ+cosθ)=A″・cos(θ−π/4)
ただし、A″=(1/2)1/2・A′である。つまり、検出値A0、A1、A2を用いることにより、位相差θに関して次式が得られる。
tan(θ−π/4)=(A1−A0)/(A1−A2)
ここで、Θ=θ−π/4とおけば、次式が得られる。
tanΘ=(A1−A0)/(A1−A2)
上式に用いているΘは、位相差θに対して45度だけ進相であるが、時間軸方向において偏移しているだけであり位相差の関数であるから位相差θと等価に扱い、以下では偏位相差Θと呼ぶ。表1における位相差θを偏位相差Θで読み替えれば、表1をそのまま用いることができる。
つまり、関数f(Θ)を8区間の区間関数で表すことができる。ただし、偏位相差Θの区間1〜7は真の位相差θの区間2〜8に対応し、偏位相差Θの区間8には真の位相差θでは対応する区間がない。また、偏位相差Θの区間1〜7で得られる区間関数の値は真の位相差θの区間2〜8の値と比較すると1だけ小さい。したがって、偏位相差Θを適用して得られた区間関数の値には1を加算し、真の位相差θに対応する関数f(θ)に代えてf(Θ)+1(=f(θ−π/4)+1)を用いる。つまり、偏位相差Θが0〜315度の範囲では関数f(Θ)+1が1〜8になり、真の位相差θが45〜360度である範囲における区間関数f(θ)と同じ値になる。
ただし、真の位相差θについて表1で設定した区間は0〜360度の範囲であり、偏位相差Θの区間8は真の位相差θでは360〜405度に相当するから、偏位相差Θの区間8は位相差θの範囲を逸脱している。もっとも、位相差θが360〜405度であることは、位相差θが0〜45度であることと等価である。一方、偏位相差Θを用いると区間関数f(θ)の区間1に対応する値は偏位相差Θの区間1〜8では得られない。そこで、偏位相差Θの区間8における区間関数が、区間1における区間関数に8を加えたものであることに着眼し、偏位相差Θが区間8であるときには区間関数の値から8を減算して1を加算する。つまり、偏位相差Θが区間8であるときには区間関数の値から7を減算する。
偏位相差Θに関する区間の分類には表2を用いる。ただし、位相差θは偏位相差Θに読み替え、Ax=A1−A2、Ay=A1−A0とする。
(実施形態2)
実施形態1では、区間判別部7で8区間を判別しているものの、演算部8では5個の区間関数を用いて演算している。したがって、各区間の中央付近では誤差がやや大きくなっている。本実施形態は、実施形態1で用いた区間関数よりも位相差θに対する直線性がよい区間関数を用いることにより、誤差を低減する例を説明する。すなわち、8区間についてそれぞれ異なる区間関数を適用する。各区間と区間関数とは、表3に示す関係になる。
Figure 2006214998
ただし、
=(1+tanθ)/(1−tanθ)
=(1−tanθ)/(1+tanθ)
である。表3に示す区間関数は、表1に示した各区間関数に対して原点と座標(360度,8)とを結ぶ直線を挟んで略対称になる区間関数を設定し、両者の平均を求めたものである。すなわち、表1に対して上記直線を挟んで対象になる区間関数は隣接する区間の区間関数を平行移動させることにより得られ表4のようになる。
Figure 2006214998
なお、tan(θ+π/4)=−cot(θ−π/4)=t、tan(θ−π/4)=−cot(θ+π/4)=−tであるから、表4における区間1〜9の区間関数は、それぞれ、1−t、1−t、3+t、3+t、5−t、5−t、7+t、7+tになる。言い換えると、表4の区間関数を用いると4種類の区間関数で近似が可能になる。
ところで、表1の区間関数および表4の区間関数は、いずれも区間の中央部において両端部よりも上記直線との差が大きくなる。これに対して、表1の区間関数と表4の区間関数との平均値を求めると、上記直線にほぼ一致する区間関数を設定することができる。たとえば、区間1について、区間関数の平均を求めると、(tanθ+1−t)/2になり、表3の区間1における区間関数が得られる。同様にして、各区間ごとに表1と表4との区間関数の平均を求めると表3の区間関数が得られる。したがって、表3に示す区間関数を用いることにより、区間の中央部での誤差が低減し、上記直線にほぼ一致させることが可能になる。たとえば、区間1では図4に示すように、近似させる関数値が直線イであるときに、表1の区間関数を用いると曲線ロのようになるが、表3の区間関数を用いると曲線ハのようになり、直線イとほぼ一致することがわかる。
また、tanθ=(A3−A1)/(A2−A0)であるから、
=(A2−A0)+(A3−A1)/(A2−A0)−(A3−A1)
=(A2−A0)−(A3−A1)/(A2−A0)+(A3−A1)
であって、表2と同様に、A2−A0=Ax、A3−A1=Ayと置けば、
=(Ax+Ay)/(Ax−Ay)
=(Ax−Ay)/(Ax+Ay)
になる。
すなわち、区間判別部7において区間の判別に用いる値Ax,Ayによってtとtとを表すことができ、さらに、tanθ=Ay/Axであるから、区間関数はAx,Ayにより表すことができる。したがって、図5のように、演算処理部6において区間判別部7および演算部8の前に、(A3−A1)と(A2−A0)との演算を行う前置演算部9を設け、区間判別部7での区間の判別および演算部8での区間関数を用いた近似値の演算とを、前置演算部9の演算結果を用いて行うようにすれば、検出値A0、A1、A2、A3をそのまま用いて演算する場合よりも演算量が低減される。前置演算部9は実施形態1の構成においても用いることができ、区間判別部7における区間の判別に用いるAx,Ayを用いて、演算部8におけるtanθ、cotθを表すようにしてもよい。また、本実施形態における区間関数を用いると、実施形態1で用いた区間関数の演算よりは演算量が増加するものの、検出値A0、A1、A2、A3の四則演算のみであるから、テイラー展開による演算に比較すれば演算量は非常に少なく演算処理の負荷が小さい上に、データテーブルを用いる場合のように多くの記憶領域を要したり補間演算を行ったりする必要もない。
表3における各区間関数において係数が1/2となっている(2で割っている)のは、単純に2つの区間関数の平均値を新たな区間関数にしたためであり、必ずしも1/2である必要はない。係数が1/2の場合には変調周波数が18.75MHzのときに物体3までの距離と演算部8の出力値とがほぼ一致する。それ以外の変調周波数の場合は、出力値を距離に変換するため、出力値に係数を掛ける演算が必要である。この場合には、使用する区間関数の係数を1/2ではなく、変調周波数を考慮した別の値として演算部8の出力値がそのまま距離の値になるように設定してもよい。
(実施形態3)
実施形態1、2では光検出素子2を1個だけ備える構成について説明したが、複数個の光検出素子2を平面格子の格子点上に配列したイメージセンサを用いる場合にも実施形態1、2において説明した技術を適用することができる。この種のイメージセンサは、CCDイメージセンサやCMOSイメージセンサなどとして知られており、光検出素子2において光を受光する受光期間と受光出力を取り出す取出期間とが外部信号により制御される。したがって、外部信号によるイメージセンサの受光期間および取出期間の制御により、イメージセンサの外部にサンプリング部を設けずに検出値A0、A1、A2、A3をイメージセンサの出力として得ることが可能である。つまり、実施形態1、2において説明したサンプリング部6に相当する機能はイメージセンサに内蔵されている。
イメージセンサでは、受光期間において光検出素子2で生成された電荷を取出期間において受光出力として取り出すから、受光期間には光に対する感度を上げ、取出期間には光に対する感度を下げることが望ましい。さらに、受光期間は、変調信号に対して90度ずつ位相がずれたタイミングで設定する必要があり、仮に変調信号の1周期内で4つの検出値A0、A1、A2、A3を得るように受光期間のタイミングを設定しているとすれば、各検出値A0、A1、A2、A3に対応する受光光量はごく少なくなり、大きな受光出力を得ることができなくなる。とくに、受光光量が少ないとイメージセンサの内部で発生するショットノイズによって受光出力のSN比が低下し、結果的に距離の測定精度が低下することになる。そこで、本実施形態では、各検出値A0、A1、A2、A3をそれぞれ変調信号の複数周期で集積した電荷に対応付ける構成を採用する。したがって、本実施形態で用いるイメージセンサ10は、図6のように、光検出素子2の感度を調節する感度調節部11と、光検出素子2で生成した電荷を所望の期間に亘って集積する電荷集積部12と、電荷集積部12に集積した電荷をイメージセンサ10から取り出す電荷取出部13とをを備える。
以下では、感度調節部11の具体的な構成として、光検出素子2とは別に電荷集積部12を設け光検出素子2で生成された電荷のうち電荷集積部12に与える電荷の割合を調節する技術と、光検出素子2に電荷集積部12を設け光検出素子2において実質的に電荷を生成する部位の面積(大きさ)を変化させることにより電荷集積部12に集積される電荷の量を調節する技術とを示す。感度調節部11を設け、所望の期間にのみ感度を高めるようにすれば、目的の期間の電荷のみを取り出すことになるから、実質的にサンプリングしたことになり、実施形態1、2におけるサンプリング部6の機能を感度調節部11により実現することができる。
光検出素子2とは別に設けた電荷集積部12に与える電荷の割合を調節するには、光検出素子2から電荷集積部12への電荷の通過率を調節する技術と、光検出素子2から電荷を廃棄する廃棄率を調節する技術と、通過率と廃棄率との両方を調節する技術とがある。
感度調節部11において通過率と廃棄率とを調節する技術では、図7に示すように、光検出素子2と電荷集積部12との間にゲート電極11aを設け、ゲート電極11aに印加する通過電圧を変化させることにより、光検出素子2から電荷集積部12への電荷の移動(つまり、通過率)を制御する。また、電荷廃棄部11cを設け、電荷廃棄部11cに付設した廃棄電極11bに印加する廃棄電圧を変化させることにより、光検出素子2から電荷廃棄部11cへの電荷の移動(つまり、廃棄率)を制御する。電荷集積部12は光検出素子2ごとに一対一に対応するように設け、電荷廃棄部11cは複数個の光検出素子2に共通させて一対多に対応するように設ける。図示例では、光検出素子2のすべての光検出素子2で1組の廃棄電極11bおよび電荷廃棄部11cを共用している。
感度を制御するには、光検出素子2からの電荷の廃棄を行わずに光検出素子2から電荷集積部12への通過率の制御のみを行うことが考えられるが、電荷の廃棄を行わなければ光検出素子2において電荷が暫時残留するから、光検出素子2で生成された電荷のうち不要な残留電荷が、利用する電荷(以下、信号電荷という)に雑音成分として混入する。したがって、本実施形態では、信号電荷への残留電荷の混入を防止するために、ゲート電極11aに印加する通過電圧だけでなく廃棄電極11bに印加する廃棄電圧を制御している。
ゲート電極11aと廃棄電極11bとを用いて感度を制御するには、ゲート電極11aに印加する通過電圧を一定電圧に保つことにより光検出素子2で生成された電荷を電荷集積部12に通過可能としておき、光検出素子2で生成された電荷のうち信号電荷に用いる電荷が生成される期間以外には光検出素子2から電荷廃棄部11cに電荷が移動するように廃棄電極11bに廃棄電圧を印加する。要するに、光検出素子2において信号電荷として用いる電荷が生成される期間にのみ電荷廃棄部11cへの電荷の廃棄を行わず、他の期間には電荷廃棄部11cに電荷を廃棄することにより、信号電荷として用いようとする期間に生成された電荷のみを電荷集積部12に集積する。
いま、図8(a)のような変調信号により発光源1から空間に照射される光の強度が変調されているとする。電荷集積部12には、変調信号の複数周期(数万〜数十万周期)において変調信号に同期する特定の区間の検出値A0、A1、A2、A3に相当する電荷を集積し、各区間の電荷の集積後に集積した電荷を取り出して次の区間の電荷を集積する。たとえば、検出値A0に相当する電荷を変調信号の数万周期について集積すると、この検出値A0に相当する信号電荷を一旦外部に取り出し、その後、検出値A1に相当する電荷を変調信号の数万周期について集積する。
図8は検出値A0に相当する電荷を集積している状態を示しており、図8(b)に示すようにゲート電極11aに印加する通過電圧を一定電圧に保っている。また、検出値A0に相当する電荷としては、変調信号の位相が0〜90度の区間において光検出素子2で生成された電荷を採用している。つまり、廃棄電極11bには、図8(c)のように変調信号の位相が90〜360度の区間において、光検出素子2で生成される電荷を不要電荷とするように廃棄電圧を印加する。この制御により、図8(d)のように所望の受光期間T0に対応した信号電荷を電荷集積部12に集積することができる。図8に示す処理は変調信号の数万〜数十万周期について行われ、この期間に電荷集積部12に得られた信号電荷は検出値A0に対応する受光出力として電荷取出部23を通して取り出される。電荷取出部23はCCDイメージセンサまたはCMOSイメージセンサにおける垂直転送レジスタおよび水平転送レジスタと同様の構成になる。
電荷取出部23から取り出された電荷は画像生成部24に画像信号として与えられ、画像生成部24では、実施形態1、2において説明した技術を用いて検出値A0、A1、A2、A3に相当する受光出力から対象空間内の物体3までの距離が算出される。物体3までの距離は光検出素子2ごとに求められるから、画像生成部24では各光検出素子2に対応した各方向における物体3までの距離を算出し、対象空間の三次元情報を求める。この三次元情報を用いると、対象空間の各方向に対応した画素の画素値が距離値である距離画像を生成することができる。
なお、上述の制御では、廃棄電極11bに廃棄電圧を印加している期間においてゲート電極11aにも一定電圧である通過電圧を印加しているが、廃棄電圧と通過電圧との大小関係を適宜に設定すれば、不要電荷を廃棄している期間には電荷集積部12に信号電荷をほとんど集積しないようにすることが可能である。また、変調信号の数万〜数十万周期について信号電荷を集積しているのは、集積する電荷量を多くすることによって高感度化するためであり、変調信号をたとえば20MHzと設定すれば、30フレーム/秒で信号電荷を取り出すとしても、数十万周期以上の集積が可能になる。
上述したように、廃棄電極11bを備えた電荷廃棄部11cを設け、光検出素子2で生成した電荷のうち信号電荷として利用しない不要電荷を電荷廃棄部11cに積極的に廃棄しているから、光検出素子2において電荷集積部12に信号電荷を与えていない期間に光検出素子2で生成される電荷はほとんどが不要電荷として廃棄されることになり、信号電荷への雑音成分の混入が大幅に抑制される。
上述の例では、ゲート電極11aに一定電圧である通過電圧を印加している期間に廃棄電極11bに廃棄電圧を印加する期間と印加しない期間とを設けることによって、廃棄電圧が印加されていない期間において光検出素子2に生成された電荷を信号電荷として用いているが、図9に示すように、ゲート電極11aに通過電圧を印加する期間と廃棄電極11bに廃棄電圧を印加する期間とが重複しないように制御してもよい。
図9は検出値A0に対応する信号電荷を集積する場合の動作を示している。図9(a)は発光源1から空間に照射される光の強度を変調する変調信号を示しており、ゲート電極11aには、図9(b)のように、検出値A0に対応するタイミングで通過電圧を印加する。ゲート電極11aに通過電圧を印加する期間は、変調信号の位相における0度から一定期間(図示例では0〜90度)に設定され、この期間において光検出素子2から電荷集積部12への電荷の移動が可能になる。一方、廃棄電極11bには、図9(c)のように、電荷集積部12に検出値A0に相当する信号電荷を集積する期間以外において廃棄電圧を印加し、信号電荷を集積する期間以外では光検出素子2で生成した電荷を不要電荷として電荷廃棄部11cに廃棄する。このような制御によって、図9(d)のように検出値A0に相当する信号電荷を取り出すことが可能になる。
図9に示す制御では、ゲート電極11aに通過電圧を印加している期間と廃棄電極11bに廃棄電圧を印加している期間とが異なるから、図8に示した制御例のように通過電圧と廃棄電圧との大小関係を考慮しなくとも通過電圧と廃棄電圧との大きさを独立して制御することができ、結果的に通過電圧および廃棄電圧の制御が容易になり、光検出素子2で受光した光量に対して信号電荷を取り込む割合である感度の制御が容易になるとともに、光検出素子2で生成された電荷のうち不要電荷として廃棄する割合の制御が容易になる。また、図9に示す制御例では、電荷集積部12に信号電荷を集積する期間はゲート電極11aに印加する通過電圧により規定されるから、廃棄電極11bに廃棄電圧を印加する期間を短縮することが可能であり、たとえば、ゲート電極11aに通過電圧を印加する直前の所定期間にのみ廃棄電極11bに廃棄電圧を印加することも可能である。
図9に示す制御を行えば、光検出素子2で生成した電荷を電荷集積部12に信号電荷として集積していない期間において光検出素子2で生成される電荷をほとんど不要電荷として廃棄するから、信号電荷への雑音成分の混入が大幅に抑制されることになる。
通過電圧と廃棄電圧との制御例としては、図10に示すように、廃棄電極11bに印加する廃棄電圧を一定電圧に保って光検出素子2で生成された電荷の一部をつねに廃棄する場合もある。図10の制御例では、ゲート電極11aに通過電圧を印加する期間と印加しない期間とを設け、通過電圧を印加する期間を電荷集積部12に信号電荷を集積する期間としている。
図10は検出値A0に相当する信号電荷を集積する場合の動作を示している。図10(a)は発光源1から空間に照射される光の強度を変調する変調信号を示しており、電荷集積部12に設けたゲート電極11aには、図10(b)のように、検出値A0に対応する期間に通過電圧が印加され、光検出素子2において生成された電荷を検出値A0に相当する信号電荷として電荷集積部12に集積する。つまり、ゲート電極11aに通過電圧を印加する期間は、変調信号の位相における0度から一定期間(図示例では0〜90度)に設定され、この期間において光検出素子2から電荷集積部12への電荷の移動が可能になる。一方、廃棄電極11bには、図10(c)のように、直流電圧である一定電圧の廃棄電圧がつねに印加され、光検出素子2で生成された電荷の一部をつねに不要電荷として電荷廃棄部11cに廃棄する。上述の制御では、信号電荷を電荷集積部12に集積する期間にのみゲート電極11aに通過電圧を印加しているから、図10(d)のように検出値A0に相当する信号電荷を取り出すことが可能になる。
図10に示す制御では、ゲート電極11aに通過電圧を印加しているか否かにかかわらず廃棄電極11bに一定電圧の廃棄電圧を印加しているから、光検出素子2において生成された電荷のうち電荷集積部12に信号電荷として集積されなかった不要電荷は、廃棄電荷として電荷廃棄部11cに廃棄される。ここで、光検出素子2で生成された電荷の一部を信号電荷として電荷集積部12に集積する期間においても光検出素子2から電荷廃棄部11cへの電荷の廃棄が継続しているから、信号電荷を電荷集積部12に適正に集積するために、通過電圧と廃棄電圧との大小関係を考慮する必要がある。ただし、廃棄電圧は一定電圧であって廃棄電極11bにつねに印加しているだけであるから、実際には通過電圧のみを制御すればよく、制御自体は容易である。
図7に示した感度調節部11を備える光検出素子2は、オーバーフロードレインを備えたCCDイメージセンサにより実現することができる。CCDイメージセンサにおける電荷の転送方式はどのようなものでもよく、インターライントランスファ(IT)方式、フレームトランスファ(FT)方式、フレームインターライントランスファ(FIT)方式のいずれであってもよい。
図11に縦型オーバーフロードレインを備えるインターライントランスファ方式のCCDイメージセンサの構成を示す。図示例は、光検出素子2となるフォトダイオード41を水平方向と垂直方向とに複数個ずつ(図では3×4個)配列した2次元イメージセンサであって、垂直方向に配列したフォトダイオード41の各列の右側方にCCDからなる垂直転送レジスタ42を備え、フォトダイオード41および垂直転送レジスタ42が配列された領域の下方にCCDからなる水平転送レジスタ43を備える。垂直転送レジスタ42は各フォトダイオード41ごとに2個ずつの転送電極42a,42bを備え、水平転送レジスタ43は各垂直転送レジスタ42ごとに2個ずつの転送電極43a,43bを備える。
フォトダイオード41と垂直転送レジスタ42と水平転送レジスタ43とは1枚の半導体基板40上に形成され、半導体基板40の主表面には、フォトダイオード41と垂直転送レジスタ42と水平転送レジスタ43との全体を囲む形でアルミニウム電極であるオーバーフロー電極44が、半導体基板40の全周に亘って絶縁膜を介さずに半導体基板40に直接接触するように設けられる。オーバーフロー電極44に半導体基板40に対して正極性になる適宜の廃棄電圧を印加すればフォトダイオード41で生成された電子(電荷)はオーバーフロー電極44を通して廃棄される。オーバーフロー電極44は、光検出素子2であるフォトダイオード41において生成した電荷のうち不要電荷を廃棄する際に廃棄電圧が印加されるから廃棄電極11bとして機能し、オーバーフロー電極44に廃棄電圧を印加する電源が光検出素子2で生成された電子(電荷)を廃棄する電荷廃棄部11cとして機能する。半導体基板40の表面はフォトダイオード41に対応する部位を除いて遮光膜46(図12参照)により覆われる。
図11に示したCCDイメージセンサについて、1個のフォトダイオード41に関連する部分を切り出して図12に示す。半導体基板40にはn形半導体を用い、半導体基板40の主表面にはフォトダイオード41と垂直転送レジスタ42とに跨る領域にp形半導体からなるウェル領域31を形成している。ウェル領域31は、フォトダイオード41に対応する領域に比較して垂直転送レジスタ42に対応する領域の厚み寸法が大きくなるように形成してある。ウェル領域31のうちフォトダイオード41に対応する領域にはn形半導体層32を重ねて設けてあり、ウェル領域31とn形半導体層32とのpn接合によってフォトダイオード41が形成される。フォトダイオード41の表面にはp形半導体からなる表面層33を積層してある。表面層33はフォトダイオード41で生成された電荷を垂直転送レジスタ42に移動させる際に、n形半導体層32の表面付近が電荷の通過経路にならないように制御する目的で設けてある。このような構造は、埋込フォトダイオードとして知られている。
ウェル領域31のうち垂直転送レジスタ42に対応する領域にはn形半導体からなる集積転送層34を重ねて設けてある。集積転送層34の表面と表面層33の表面とは略同一平面であって、集積転送層34の厚み寸法は表面層33の厚み寸法よりも大きくしてある。集積転送層34は、表面層33とは接触しているが、n形半導体層32との間には、表面層33と不純物濃度が等しいp形半導体からなる分離層35が介在する。集積転送層34の表面には、絶縁膜45を介して転送電極42a,42bが配置される。転送電極42a,42bは1個のフォトダイオード41に対して2個ずつ設けられ、垂直方向において2個の転送電極42a,42bのうちの一方は他方よりも広幅に形成される。具体的には、図13のように、1個のフォトダイオード41に対応する2個の転送電極42a,42bのうち狭幅の転送電極42bは平板状に形成されており、広幅の転送電極42aは、幅狭の転送電極42bと同一平面上に配列され一対の転送電極42bの間に配置される平板状の部分と、平板状の部分の垂直方向(図13の左右方向)における両端部からそれぞれ延長され転送電極42bの上に重複する湾曲した部分とを備える。ここに、絶縁膜45はSiOにより形成され、また転送電極42a,42bはポリシリコンにより形成され、各転送電極42a,42bは絶縁膜45を介して互いに絶縁されている。さらに、フォトダイオード41に光を入射させる部位を除いて光検出素子2の表面は遮光膜46により覆われる。ウェル領域31において垂直転送レジスタ42に対応する領域および集積転送層34は垂直転送レジスタ42の全長に亘って形成され、したがって、集積転送層34には広幅の転送電極42aと狭幅の転送電極42bとが交互に配列される。
上述した光検出素子2では、フォトダイオード41が光検出素子2に相当し、転送電極42aがゲート電極11aに相当し、オーバーフロー電極44が廃棄電極11bに相当し、垂直転送レジスタ42が電荷集積部12および電荷取出部23の一部として機能する。また、水平転送レジスタ43も電荷取出部23の一部になる。すなわち、フォトダイオード41に光が入射すれば電荷が生成され、フォトダイオード41で生成された電荷のうち垂直転送レジスタ42に信号電荷として引き渡される電荷の割合は転送電極42aに印加する通過電圧とオーバーフロー電極44に印加する廃棄電圧との関係によって決めることができる。転送電極42aに通過電圧を印加すると集積転送層34にポテンシャル井戸が形成され、通過電圧の制御によりポテンシャル井戸の深さを制御することができる。したがって、ポテンシャル井戸の深さおよび通過電圧を印加する時間とを制御すれば、フォトダイオード41から垂直転送レジスタ42に引き渡される電荷の割合を調節することができる。また、オーバーフロー電極44に印加する廃棄電圧を制御すれば、フォトダイオード41と半導体基板40との間の電位勾配を制御することができるから、電位勾配と廃棄電圧を印加する時間とを制御すれば、垂直転送レジスタ42に引き渡される電荷の割合を調節することができる。通過電圧と廃棄電圧とは図8ないし図10に示した制御例のように制御すればよい。
フォトダイオード41から垂直転送レジスタ42に引き渡された信号電荷は、上述した4区間の検出値A0,A1,A2,A3のうちの各1区間の検出値A0,A1,A2,A3に相当する信号電荷が集積されるたびに読み出される。たとえば、検出値A0に相当する信号電荷が各フォトダイオード41に対応して形成されるポテンシャル井戸に集積されると信号電荷を読み出し、次に検出値A1に相当する信号電荷がポテンシャル井戸に集積されると再び信号電荷を読み出すという動作を繰り返す。なお、各検出値A0,A1,A2,A3に相当する信号電荷を集積する期間は等しく設定しておく。
上述した制御例のうち、図8に示す制御例では、光検出素子2(フォトダイオード41)で生成された電荷(電子)を電荷集積部12(垂直転送レジスタ42)に対してつねに引き渡しているから、電荷集積部12に集積された電荷は必ずしも目的の検出値A0、A1、A2、A3が得られる期間に生成された電荷だけではなく、目的外の期間に生成された電荷も混入することになる。いま、感度調節部11において、検出値A0、A1、A2、A3に対応した電荷を生成する期間の感度をα、それ以外の期間の感度をβとし、光検出素子2は検出値に比例する電荷を生成するものとする。この条件では、検出値A0に対応した電荷を集積する電荷集積部12には、αA0+β(A1+A2+A3)+βAx(Axは検出値A0、A1、A2、A3が得られる期間以外の検出値)に比例する電荷が集積され、検出値A2に対応した電荷を集積する電荷集積部12には、αA2+β(A0+A1+A3)+βAxに比例する電荷が集積される。上述したように、位相差ψを求める際には(A2−A0)を求めており、(A2−A0)に相当する値を電荷集積部13に集積した電荷(受光出力)から求めると(α−β)(A2−A0)になり、同様にして(A3−A1)に相当する値は(α−β)(A3−A1)になるのであって、位相差ψ=(A2−A0)/(A3−A1)は電荷の混入の有無によらず理論上は同じ値になるのであって、電荷が混入しても求める位相差ψは同じ値になる。
上述した構成例では、CCDイメージセンサを光検出素子2に用い、光検出素子2とは別に設けた電荷集積部12に通過させる電荷の量と、電荷廃棄部11cに廃棄する電荷の量との少なくとも一方を制御することにより感度調節部11を構成する例を示したが、以下に示す構成例は、光検出素子2に電荷集積部12を設け、電荷集積部12の大きさを変化させることにより感度調節部11として機能させるものである。
以下に光検出素子2の具体例を説明する。図14に示す構成では、複数個(たとえば、100×100個)の光検出素子2を1枚の半導体基板上に形成してある。1個の光検出素子2は不純物を添加した半導体層21に酸化膜からなる絶縁膜22を介して複数個(図では5個)の制御電極23を配列した構成を有する。図示例では電極が並ぶ方向(左右方向)が垂直方向であり、光検出素子2で生成した電荷(本実施形態では、電子を用いる)を取り出す際には、垂直転送レジスタにより電荷を垂直方向に転送した後、水平転送レジスタを用いて水平方向に転送される。つまり、垂直転送レジスタと水平転送レジスタとにより電荷取出部23が構成される。垂直転送レジスタおよび水平転送レジスタの構成には、CCDイメージセンサにおけるインターライントランスファ(IT)方式、フレームトランスファ(FT)方式、フレームインターライントランスファ(FIT)方式と同様の構成を採用することができる。
すなわち、垂直方向に並ぶ各光検出素子2が一体に連続する半導体層21を共用するとともに半導体層21を垂直転送レジスタに用いれば、半導体層21が光検出素子2と電荷の転送経路とに兼用された構造になり、FT方式のCCDイメージセンサと同様にして電荷を垂直方向に転送することができ、また、光検出素子2から転送ゲートを介して垂直転送レジスタに電荷を転送すれば、IT方式またはFIT方式のCCDイメージセンサと同様にして電荷を転送することができる。
上述のように、半導体層21は不純物が添加してあり、半導体層21の主表面は酸化膜からなる絶縁膜22により覆われ、半導体層21に絶縁膜22を介して複数個の制御電極23を配置している。この光検出素子2はMIS素子として知られた構造であるが、1個の光検出素子2として機能する領域に複数個(図示例では5個)の制御電極23を備える点が通常のMIS素子とは異なる。絶縁膜22および制御電極23は発光源1から対象空間に照射される光と同波長の光が透過するように材料が選択され、絶縁膜22を通して半導体層21に光が入射すると、半導体層21の内部に電荷が生成される。図示例の半導体層21の導電形はn形であり、光の照射により生成される電荷として電子eを利用する。図10は1個の光検出素子2に対応する領域のみを示したものであり、半導体基板(図示せず)には上述したように図14の構造を持つ領域が複数個配列されるとともに電荷取出部23となる構造が設けられる。電荷取出部23として設ける垂直転送レジスタは、図14の左右方向に電荷を転送することを想定しているが、図14の面に直交する方向に電荷を転送する構成を採用することも可能である。また、電荷を図の左右方向に転送する場合には、制御電極23の左右方向の幅寸法を1μm程度に設定するのが望ましい。
この構造の光検出素子2では、制御電極23に正の制御電圧+Vを印加すると、半導体層21には制御電極23に対応する部位に電子eを集積するポテンシャル井戸(空乏層)24が形成される。つまり、半導体層21にポテンシャル井戸24を形成するように制御電極23に制御電圧を印加した状態で光が半導体層21に照射されると、ポテンシャル井戸24の近傍で生成された電子eの一部はポテンシャル井戸24に捕獲されてポテンシャル井戸24に集積され、残りの電子eは半導体層21の深部での再結合により消滅する。また、ポテンシャル井戸24から離れた場所で生成された電子eも半導体層21の深部での再結合により消滅する。
ポテンシャル井戸24は制御電圧を印加した制御電極23に対応する部位に形成されるから、制御電圧を印加する制御電極23の個数を変化させることによって、半導体層21の主表面に沿ったポテンシャル井戸24の面積(言い換えると、受光面において利用できる電荷を生成する領域の面積)を変化させることができる。つまり、制御電圧を印加する制御電極23の個数を変化させることは感度調節部11における感度の調節を意味する。たとえば、図14(a)のように3個の制御電極23に制御電圧+Vを印加する場合と、図14(b)のように1個の制御電極23に制御電圧+Vを印加する場合とでは、ポテンシャル井戸24が受光面に占める面積が変化するのであって、図14(a)の状態のほうがポテンシャル井戸24の面積が大きいから、図14(b)の状態に比較して同光量に対して利用できる電荷の割合が多くなり、実質的に光検出素子2の感度を高めたことになる。このように、光検出素子2および感度調節部11は半導体層21と絶縁膜22と制御電極23とにより構成されていると言える。ポテンシャル井戸24は光照射により生成された電荷を保持するから電荷集積部12として機能する。
上述したように、ポテンシャル井戸24から電荷を取り出すには、CCDイメージセンサと同様の技術を採用する。たとえば光検出素子2を垂直転送レジスタとして用いる場合は、ポテンシャル井戸24に電子eが集積された後に、電荷の集積時とは異なる印加パターンの制御電圧を制御電極23に印加することによってポテンシャル井戸24に集積された電子eを一方向(たとえば、図の右方向)に転送することができる。あるいはまた、光検出素子2とは別に設けた垂直転送レジスタに転送ゲートを介して光検出素子2から電荷を転送する構成を採用することもできる。垂直転送レジスタからは水平転送レジスタに電荷を引き渡し、水平転送レジスタを転送された電荷は、半導体基板に設けた図示しない電極から光検出素子2の外部に取り出される。
図14に示す構成における感度調節部11は、信号電荷を集積する領域(つまり、電荷集積部12)の大きさ(面積)を大小2段階に切り換えることにより光検出素子2の感度を高低2段階に切り換えるものであって、各検出値A0、A1、A2、A3のいずれかに対応する電荷を光検出素子2で生成しようとする期間にのみ高感度とし(電荷を生成する面積を大きくし)、他の期間には低感度にする。高感度にする期間と低感度にする期間とは、発光源1を駆動する変調信号に同期させて設定される。具体的には、変調信号に同期する特定の区間(特定位相の区間)において、電荷を生成する面積を大きくして光検出素子2で生成した電荷を集積し、上記特定区間以外の他の区間において、電荷を生成する面積を小さくして光検出素子2で生成した電荷を蓄積する。すなわち、光検出素子2において、電荷を集積する機能と蓄積する機能とが交互に実現される。ここで、集積とは電荷を集めることを意味し、蓄積とは電荷を保持することを意味する。言い換えると、図14に示す構成例では、光検出素子2に設けた電荷集積部12の大きさ(面積)を変化させることにより、電荷を集積する期間には光検出素子2で生成された電荷の集積率を大きくし、電荷を蓄積する期間には光検出素子2で生成された電荷の集積率を小さくするのである。
また、変調信号の複数周期に亘ってポテンシャル井戸24に電荷を集積した後に電荷取出部23を通して光検出素子2の外部に電荷を取り出すようにしている。変調信号の複数周期に亘って電荷を集積しているのは、変調信号の1周期内では光検出素子2が利用可能な電荷を生成する期間が短く(たとえば、変調信号の周波数を20MHzとすれば50nsの4分の1以下)、生成される電荷が少ないからである。つまり、変調信号の複数周期分の電荷を集積することにより、信号電荷(発光源1から照射された光に対応する電荷)と不要電荷(外光成分および光検出素子2の内部で発生するショットノイズに対応する電荷)との比を大きくとることができ、大きなSN比が得られる。
ところで、位相差ψを求めるのに必要な4区間の検出値A0、A1、A2、A3に対応する電荷を1個の光検出素子2で生成するとすれば、視線方向に関する分解能は高くなるが、1区間の検出値A0、A1、A2、A3について電荷を集積し受光出力を取り出した後に、次の区間の検出値A、A1、A2、A3について電荷を集積するという動作を繰り返すものであるから、各検出値A0、A1、A2、A3を求めた時刻の時間差が大きくなるから位相差ψの誤差が大きくなる可能性がある。一方、各検出値A0、A1、A2、A3に対応する電荷を4個の光検出素子2でそれぞれ生成するとすれば、各検出値A0、A1、A2、A3に対応する電荷を求める時間差は小さくなるが、4区間の電荷を求める視線方向にずれが生じ視線方向に関する分解能は低下する。そこで、2個の光検出素子2を用いることにより、変調信号の1周期内で検出値A0、A1、A2、A3に対応する電荷を2種類ずつ生成する構成を採用してもよい。つまり、2個の光検出素子2を組にして用い、組になる2個の光検出素子2に同じ視線方向からの光が入射するようにしてもよい。
この構成を採用することにより、視線方向の分解能を比較的高くし、かつ検出値A0、A1、A2、A3に対応する電荷を生成する時間差を少なくすることができる。つまり、検出値A0、A1、A2、A3に対応する電荷を生成する時間差を少なくしていることにより、対象空間の中で移動している物体3についても距離の検出精度を比較的高く保つことができる。なお、この構成では、1個の光検出素子2で4種類の検出値A0、A1、A2、A3に対応する電荷を生成する場合よりも視線方向の分解能が低下するが、視線方向の分解能については光検出素子2の小型化やイメージセンサへの光の入射経路に配置する受光光学系(図示せず)の設計によって向上させることが可能である。
以下に動作を具体的に説明する。図14に示した例では、1個の光検出素子2について5個の制御電極23を設けた例を示しているが、両側の2個の制御電極23は、光検出素子2で電荷(電子e)を生成している間に隣接する光検出素子2に電荷が流出するのを防止するための障壁を形成するものであって、2個の光検出素子2を組にして用いる場合には隣接する光検出素子2のポテンシャル井戸24の間には、いずれかの光検出素子2で障壁が形成されるから、各光検出素子2には3個ずつの制御電極23を設けるだけで足りることになる。この構成によって、光検出素子2の1個当たりの占有面積が小さくなり、2個の光検出素子2を組にして用いながらも視線方向の分解能の低下を抑制することが可能になる。
なお、太陽光や照明光のような外乱光の影響があるときには、発光源1から放射される光の波長のみを透過させる光学フィルタを光検出素子2の前に配置するのが望ましい。また、区間関数は、上述の例に制限されるものではなく、変調信号の波形や受光期間のタイミングなどにより適宜に設定することができる。
実施形態1を示すブロック図である。 同上の動作説明図である。 同上における演算処理部の処理手順を示す流れ図である。 同上の動作説明図である。 実施形態2に用いる演算処理部を示すブロック図である。 実施形態3を示すブロック図である。 同上における感度制御部の構成例を示すブロック図である。 同上の動作例を示す説明図である。 同上の他の動作例を示す説明図である。 同上のさらに他の動作例を示す説明図である。 同上に用いるイメージセンサの構成例を示す平面図である。 図10に示したイメージセンサの要部分解斜視図である。 図12のA−A線の断面図である。 同上に用いる光検出素子の他の構成例の要部の動作説明図である。 従来例の動作説明図である。
符号の説明
1 発光源
2 光検出素子
3 物体
4 タイミング制御回路
5 サンプリング部
6 演算処理部
7 区間判別部
8 演算部

Claims (6)

  1. 光の強度が変調された強度変調光を対象空間に投光する発光源と、対象空間からの光を受光し受光光量に応じた受光出力が得られる光検出素子と、光検出素子の受光出力を規定したタイミングでサンプリングすることにより複数個の検出値からなる検出値群を抽出するサンプリング部と、検出値群を所定の関数に代入することにより発光源から投光した強度変調光と光検出素子で受光した強度変調光との位相差に相当する値を求める演算処理部とを備え、演算処理部は、強度変調光の1周期を複数に区切った区間を設定するとともに検出値群である複数個の検出値の関係により位相差の存在する区間を判別する区間判別部と、前記関数を区間ごとに設定した複数個の区間関数で近似し区間判別部で判別した区間に対応する区間関数に検出値群を代入して位相差に一対一対応する関数値を求める演算部とを備えることを特徴とする測距装置。
  2. 前記発光源は前記強度変調光の波形を正弦波とし、前記関数を前記位相差に関して線形である関数とし、前記演算処理部は前記検出値群として強度変調光における位相が等間隔で異なる3個以上の検出値を用い、前記演算部では、前記位相差に相当する値の正接と余接との少なくとも一方を用いた区間関数が設定されており、検出値群のうち位相が等間隔異なる各2個の検出値から求めた2個の差分の一方を他方で除することにより得られる前記正接と前記余接との少なくとも一方を区間関数に代入して前記関数の関数値を求めることを特徴とする請求項1記載の測距装置。
  3. 前記発光源は前記強度変調光の波形を正弦波とし、前記関数を位相差に関して線形である関数とし、前記演算処理部は前記検出値群として強度変調光における位相が90度間隔で異なる4個の検出値を用い、前記演算部では、前記位相差に相当する値の正接と余接との少なくとも一方を用いた区間関数が設定されており、検出値群のうち位相が180度異なる各2個の検出値から求めた2個の差分の一方を他方で除することにより得られる前記正接と前記余接との少なくとも一方を区間関数に代入して前記関数の関数値を求めることを特徴とする請求項1記載の測距装置。
  4. 前記発光源は前記強度変調光の波形を正弦波とし、前記関数を位相差に関して線形である関数とし、前記演算処理部は前記検出値群として強度変調光における位相が90度間隔で異なる3個の検出値を用い、前記演算部では、前記位相差に相当する値の正接と余接との少なくとも一方を用いた区間関数が設定されており、検出値群のうち位相が90度異なる各2個の検出値から求めた2個の差分の一方を他方で除することにより得られる前記正接と前記余接との少なくとも一方を区間関数に代入して前記関数の関数値を求めることを特徴とする請求項1記載の測距装置。
  5. 前記区間判別部は、検出値群のうち位相が等間隔異なる各2個の検出値から求めた2個の差分の符号と各差分の絶対値の大小とを用いて前記位相差の存在する区間を45度単位で判別し、前記演算部では、位相差に相当する値θに対して、0度から360度までの8区間における各区間関数を、それぞれtanθ、2−cotθ、2−cotθ、4+tanθ、4+tanθ、6−cotθ、6−cotθ、8+tanθと設定していることを特徴とする請求項2ないし請求項4のいずれか1項に記載の測距装置。
  6. 前記区間判別部は、検出値群のうち位相が等間隔異なる各2個の検出値から求めた2個の差分の符号と各差分の絶対値の大小とを用いて前記位相差の存在する区間を45度単位で判別し、前記演算部では、位相差に相当する値θに対して、t=(1+tanθ)/(1−tanθ)、t=(1−tanθ)/(1+tanθ)とするとき、0度から360度までの8区間における各区間関数を、それぞれ(1+tanθ−t)/2、(3−cotθ−t)/2、(5−cotθ+t)/2、(7+tanθ+t)/2、(9+tanθ−t)/2、(11−cotθ−t)/2、(13−cotθ+t)/2、(15+tanθ+t)/2と設定していることを特徴とする請求項2ないし請求項4のいずれか1項に記載の測距装置。
JP2005030868A 2005-02-07 2005-02-07 測距装置 Expired - Fee Related JP4715216B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005030868A JP4715216B2 (ja) 2005-02-07 2005-02-07 測距装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005030868A JP4715216B2 (ja) 2005-02-07 2005-02-07 測距装置

Publications (2)

Publication Number Publication Date
JP2006214998A true JP2006214998A (ja) 2006-08-17
JP4715216B2 JP4715216B2 (ja) 2011-07-06

Family

ID=36978339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005030868A Expired - Fee Related JP4715216B2 (ja) 2005-02-07 2005-02-07 測距装置

Country Status (1)

Country Link
JP (1) JP4715216B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008164496A (ja) * 2006-12-28 2008-07-17 Toyota Central R&D Labs Inc 計測装置
JP2008249430A (ja) * 2007-03-29 2008-10-16 Nippon Hoso Kyokai <Nhk> 3次元情報検出方法及びその装置
JP2013102327A (ja) * 2011-11-08 2013-05-23 Yamaha Corp 偏角算定装置および音響処理装置
JP2013534639A (ja) * 2010-07-16 2013-09-05 マイクロソフト コーポレーション 飛行時間システムにおける3次元(3d)センサーの多相位相動的キャリブレーションのための方法及びシステム
WO2016031240A1 (ja) * 2014-08-29 2016-03-03 株式会社デンソー 光飛行型測距装置
US10571572B2 (en) 2017-11-27 2020-02-25 Microsoft Technology Licensing, Llc Time of flight camera
US10895925B2 (en) 2018-10-03 2021-01-19 Microsoft Technology Licensing, Llc Touch display alignment
US10901087B2 (en) 2018-01-15 2021-01-26 Microsoft Technology Licensing, Llc Time of flight camera
US10928489B2 (en) 2017-04-06 2021-02-23 Microsoft Technology Licensing, Llc Time of flight camera
US10942274B2 (en) 2018-04-11 2021-03-09 Microsoft Technology Licensing, Llc Time of flight and picture camera
US11079515B2 (en) 2019-12-18 2021-08-03 Microsoft Technology Licensing, Llc Micro lens time-of-flight sensor having micro lens heights that vary based on image height
US11435476B2 (en) 2018-10-12 2022-09-06 Microsoft Technology Licensing, Llc Time-of-flight RGB-IR image sensor

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2631422C1 (ru) * 2016-06-02 2017-09-22 Акционерное общество "Особое конструкторское бюро Московского энергетического института" Корреляционно-фазовый пеленгатор

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07301518A (ja) * 1994-04-30 1995-11-14 N F Keisoku Syst:Kk 距離測定装置
JPH0961526A (ja) * 1995-08-24 1997-03-07 Mitsubishi Heavy Ind Ltd 光波距離計測装置
JPH1020036A (ja) * 1996-06-28 1998-01-23 Toyota Central Res & Dev Lab Inc 距離測定方法および装置
JP2004356594A (ja) * 2003-05-30 2004-12-16 Matsushita Electric Works Ltd 強度変調光を用いた空間情報の検出装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07301518A (ja) * 1994-04-30 1995-11-14 N F Keisoku Syst:Kk 距離測定装置
JPH0961526A (ja) * 1995-08-24 1997-03-07 Mitsubishi Heavy Ind Ltd 光波距離計測装置
JPH1020036A (ja) * 1996-06-28 1998-01-23 Toyota Central Res & Dev Lab Inc 距離測定方法および装置
JP2004356594A (ja) * 2003-05-30 2004-12-16 Matsushita Electric Works Ltd 強度変調光を用いた空間情報の検出装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008164496A (ja) * 2006-12-28 2008-07-17 Toyota Central R&D Labs Inc 計測装置
JP2008249430A (ja) * 2007-03-29 2008-10-16 Nippon Hoso Kyokai <Nhk> 3次元情報検出方法及びその装置
JP2013534639A (ja) * 2010-07-16 2013-09-05 マイクロソフト コーポレーション 飛行時間システムにおける3次元(3d)センサーの多相位相動的キャリブレーションのための方法及びシステム
JP2013102327A (ja) * 2011-11-08 2013-05-23 Yamaha Corp 偏角算定装置および音響処理装置
WO2016031240A1 (ja) * 2014-08-29 2016-03-03 株式会社デンソー 光飛行型測距装置
JP2016050832A (ja) * 2014-08-29 2016-04-11 株式会社デンソー 光飛行型測距装置
US10928489B2 (en) 2017-04-06 2021-02-23 Microsoft Technology Licensing, Llc Time of flight camera
US10571572B2 (en) 2017-11-27 2020-02-25 Microsoft Technology Licensing, Llc Time of flight camera
US10901087B2 (en) 2018-01-15 2021-01-26 Microsoft Technology Licensing, Llc Time of flight camera
US10942274B2 (en) 2018-04-11 2021-03-09 Microsoft Technology Licensing, Llc Time of flight and picture camera
US10895925B2 (en) 2018-10-03 2021-01-19 Microsoft Technology Licensing, Llc Touch display alignment
US11435476B2 (en) 2018-10-12 2022-09-06 Microsoft Technology Licensing, Llc Time-of-flight RGB-IR image sensor
US11079515B2 (en) 2019-12-18 2021-08-03 Microsoft Technology Licensing, Llc Micro lens time-of-flight sensor having micro lens heights that vary based on image height

Also Published As

Publication number Publication date
JP4715216B2 (ja) 2011-07-06

Similar Documents

Publication Publication Date Title
JP4715216B2 (ja) 測距装置
JP3906818B2 (ja) 受光素子の感度制御方法、強度変調光を用いた空間情報の検出装置
JP4692159B2 (ja) ジェスチャースイッチ
KR102280089B1 (ko) 측거 장치 및 측거 장치의 구동 방법
US20090224139A1 (en) Drift Field Demodulation Pixel with Pinned Photo Diode
US10091492B2 (en) Imaging apparatuses and a time of flight imaging method
US20120153120A1 (en) Proximity sensor and associated method, computer readable medium and firmware
CN103869303A (zh) Tof距离传感器以及用于其操作的方法
US8754939B2 (en) Multistage demodulation pixel and method
JP2009008537A (ja) 距離画像装置及び撮像装置
JP4363296B2 (ja) 距離画像センサ
JP2006046959A (ja) 画像処理装置
JP2006084430A (ja) 距離画像センサ
JP4356672B2 (ja) 光検出素子、光検出素子の制御方法、空間情報検出装置
JP5889327B2 (ja) 信号を復調する方法およびシステム
JP4543904B2 (ja) 距離画像センサ
JP3906824B2 (ja) 強度変調光を用いた空間情報の検出装置
US11532663B2 (en) Demodulator with a carrier generating pinned photodiode
US11435452B2 (en) Pixel for time-of-flight applications
CN109863604B (zh) 具有相位敏感像素的图像传感器
JP4432744B2 (ja) 画像処理装置
JP4385384B2 (ja) 受光素子の感度制御方法、強度変調光を用いた空間情報の検出装置
JP4961035B2 (ja) ジェスチャースイッチ
JP4645177B2 (ja) 計測装置
JP2006190791A (ja) 光検出素子、光検出素子の制御方法、空間情報検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070718

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110222

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110314

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees