JP2015081780A - 距離測定システム及び補正用データの取得方法 - Google Patents

距離測定システム及び補正用データの取得方法 Download PDF

Info

Publication number
JP2015081780A
JP2015081780A JP2013218198A JP2013218198A JP2015081780A JP 2015081780 A JP2015081780 A JP 2015081780A JP 2013218198 A JP2013218198 A JP 2013218198A JP 2013218198 A JP2013218198 A JP 2013218198A JP 2015081780 A JP2015081780 A JP 2015081780A
Authority
JP
Japan
Prior art keywords
irradiation
control signal
distance
correction
timing control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013218198A
Other languages
English (en)
Other versions
JP6190690B2 (ja
Inventor
是角 圭祐
Keisuke Koresumi
圭祐 是角
智幸 神山
Tomoyuki Kamiyama
智幸 神山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2013218198A priority Critical patent/JP6190690B2/ja
Publication of JP2015081780A publication Critical patent/JP2015081780A/ja
Application granted granted Critical
Publication of JP6190690B2 publication Critical patent/JP6190690B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】距離を算出するために用いられる補正用データを取得する距離測定システム及び補正用データの取得方法を提供する。【解決手段】照射装置12によるパルス光Lpの照射タイミングを規定する基準照射タイミング制御信号と、照射タイミングに対して予め決められた固体撮像装置14による露光タイミングを規定する基準露光タイミング制御信号とを生成し、固体撮像装置14の露光によって得られた画像データと補正用データとを用いて測距対象Wまでの距離を演算する距離測定システム10であって、補正用データを取得するために、測距対象Wと固体撮像装置14との仮想距離の長さに応じて、基準露光タイミング制御信号に対して相対的に前記基準照射タイミング制御信号を遅延させた補正用照射タイミング制御信号及び補正用露光タイミング制御信号を生成する。【選択図】図1

Description

本発明は、TOFを用いて測距対象までの距離を算出に用いられる補正用データを取得する距離測定システム及び補正用データの取得方法に関する。
従来から、測距対象への距離を非接触に測定する方法として、タイム・オブ・フライト(TOF)法が知られている。即ち、照射装置が光を照射し、その光の反射光を照射タイミングと同期した予め決められたタイミングで撮像装置が露光し、それにより得られるタイミングと光電子数の情報に基づいて測距対象までの距離を算出する。
光は、1ナノ秒で約300mm進むため、測距を実現するためには、高い時間分解能で照射装置の照射タイミングと撮像装置の露光タイミングとを制御する必要がある。しかし、温度等の周辺環境によって、照射タイミングや受光タイミングを規定する制御信号を駆動、伝達する回路は特性変動する。また、経年変化による特性変動も生じる。これらの特性変動に影響されない測距を実現するには、補正処理が必要となる。
下記特許文献1には、これらの問題に対応するため、照射タイミングと露光タイミングとを規定する制御信号の位相を比較する位相比較器を有し、位相比較器の出力をフィードバックして照射タイミング及び露光タイミングを制御する手法が開示されている。
特許第4971744号公報
照射装置と撮像装置から構成される距離測定装置は、温度等の周辺環境により、照射装置の照射タイミングと撮像装置の露光タイミングとのズレの発生だけでなく、照射装置自身の発光強度変動や波形変動、撮像装置の感度変動が生じる。従って、上記特許文献1の手法では、タイミング以外の特性変動に対応が困難である。
そこで本発明は、タイミング以外での特性変動にも対応可能にするため、距離を算出するために用いられる補正用データを取得する距離測定システム及び補正用データの取得方法を提供することを目的とする。
本発明は、パルス光の照射タイミングを規定する基準照射タイミング制御信号と、前記照射タイミングに対して予め決められた露光タイミングを規定する基準露光タイミング制御信号とを生成する測定用制御信号生成部と、前記基準照射タイミング制御信号に従って、測距対象に対して前記パルス光を照射する照射装置と、前記基準露光タイミング制御信号に従って、前記パルス光を露光する固体撮像装置と、前記固体撮像装置が露光することで蓄積した光電子数の情報と補正用データとを用いて前記測距対象までの距離を演算する演算部と、を備える距離測定システムであって、前記補正用データを取得するために、予め決められた前記照射装置から前記測距対象と、前記測距対象から前記固体撮像装置を足した実距離より、仮想的に長い仮想距離の長さに応じて、前記基準露光タイミング制御信号に対して相対的に前記基準照射タイミング制御信号を遅延させた補正用照射タイミング制御信号及び補正用露光タイミング制御信号を生成する補正用制御信号生成部と、前記照射装置が前記補正用照射タイミング制御信号に従って照射し、前記固体撮像装置が前記補正用露光タイミング制御信号に従って露光することによって、固体撮像装置が蓄積した光電子数の情報を、前記仮想距離に相当する距離における前記補正用データとして記憶する記憶部と、を備えることを特徴とする。
本発明は、前記距離測定システムであって、複数回の照射と露光をする場合であって、前記補正用制御信号生成部は、前記仮想距離の長さに応じて、前記固体撮像装置の露光回数を減らすように前記補正用露光タイミング制御信号を生成することを特徴とする。
本発明は、前記距離測定システムであって、複数回の照射と露光をする場合であって、前記補正用制御信号生成部は、前記仮想距離の長さに応じて、前記照射装置の照射回数及び前記固体撮像装置の露光回数を減らすように前記補正用照射タイミング制御信号及び前記補正用露光タイミング制御信号を生成し、その後、減らした回数分だけ前記照射装置が前記パルス光を照射するようにダミー用照射タイミング制御信号を生成することを特徴とする。
本発明は、前記距離測定システムであって、前記仮想距離の長さに応じて、前記照射装置が照射する前記パルス光の光強度を減光させる第1減光手段を備えることを特徴とする。
本発明は、前記距離測定システムであって、前記第1減光手段は、前記照射装置から前記測距対象までの光路の間に設けられた減光フィルタ、スリット、又は拡散板であることを特徴とする。
本発明は、前記距離測定システムであって、前記固体撮像装置が露光する光の光強度を減光させる第2減光手段を備えることを特徴とする。
本発明は、前記距離測定システムであって、前記第2減光手段は、前記測距対象から前記固体撮像装置までの光路の間に設けられた絞り可変集光レンズであることを特徴とする。
本発明は、パルス光の照射タイミングを規定する基準照射タイミング制御信号と、前記照射タイミングに対して予め決められた露光タイミングを規定する基準露光タイミング制御信号とを生成する測定用制御信号生成部と、前記基準照射タイミング制御信号に従って、測距対象に対して前記パルス光を照射する照射装置と、前記基準露光タイミング制御信号に従って、前記パルス光を露光する固体撮像装置と、前記固体撮像装置が露光することで蓄積した光電子数の情報と補正用データとを用いて前記測距対象までの距離を演算する演算部と、を備える距離測定システムを用いた補正用データの取得方法であって、前記補正用データを取得するために、予め決められた前記照射装置から前記測距対象と、前記測距対象から前記固体撮像装置を足した実距離より、仮想的に長い仮想距離の長さに応じて、前記基準露光タイミング制御信号に対して相対的に前記基準照射タイミング制御信号を遅延させた補正用照射タイミング制御信号及び補正用露光タイミング制御信号を生成し、前記照射装置が前記補正用照射タイミング制御信号に従って照射し、前記固体撮像装置が前記補正用露光タイミング制御信号に従って露光することによって、固体撮像装置が蓄積した光電子数の情報を、前記仮想距離に相当する距離における前記補正用データとして取得することを特徴とする。
本願発明によれば、補正用照射タイミング制御信号及び補正用露光タイミング制御信号によって、仮想的に測距対象と固体撮像装置との距離(仮想距離)を変えることで、コストを抑え、簡易な手法で、タイミング以外での特性変動に対応できる補正用データを取得することができる。また、タイミング以外の特性変動に対応できる。
仮想距離の長さに応じて露光回数を減らす、又は、仮想距離の長さに応じて照射装置が照射するパルス光の光強度を減光させる第1減光手段を備えるので、固体撮像装置の露光により発生する光電子数を仮想距離の長さに応じて減らすことができる。
固体撮像装置が露光する光の光強度を減光させる第2減光手段を備えるので、測距対象の反射率を仮想的に変更することができる。
第1の実施の形態にかかる固体撮像装置を有する距離測定システムの概略構成を示す図である。 図1に示す制御部の機能ブロック図である。 基準照射タイミング制御信号及び基準露光タイミング制御信号と、基準照射タイミング制御信号に従って照射装置が照射した照射光と、基準露光タイミング制御信号に従った固体撮像装置の単位画素の露光とを示す図である。 基準照射タイミング制御信号及び基準露光タイミング制御信号と、補正用照射タイミング制御信号及び補正用露光タイミング制御信号との関係を示す図である。 固体撮像装置の構成を示す図である。 図5に示す固体撮像装置を構成する単位画素の一部を示す一部平面図である。 図6のVII−VII線矢視断面構成図である。 第2の実施の形態において、1枚の画像データを取得する1フレーム画像取得期間に、照射装置が照射するパルス光のタイムチャートの例を示す図である。 本変形例1において、2枚の画像データを取得する2フレーム画像取得期間に、照射装置が照射するパルス光のタイムチャートの例を示す図である。 本変形例2において、1枚の画像データを取得する1フレーム画像取得期間に、照射装置が照射するパルス光のタイムチャートの他の例を示す図である。 距離測定システムの温度特性を示す図である。 第4の実施の形態の構成の要部を示す図である。
本発明に係る補正用データの取得方法及び、該補正用データの取得方法を実現する距離測定システムについて、好適な実施の形態を掲げて添付の図面を参照しながら以下詳細に説明する。
[第1の実施の形態]
図1は、第1の実施の形態にかかる距離測定システム10の概略構成を示す図である。図1に示すように、距離測定システム10は、照射装置12、固体撮像装置14、演算部16、制御部18、温度センサ20a、20b、及び記憶部22を備える。
照射装置12は、測距対象Wに対してパルス光Lpを照射するものであり、照射装置12は、パルス光Lpを出力する発光部(光源)12aを有する。照射装置12は、図示しないスイッチを有し、前記スイッチがオンのときに前記発光部12aに電流が流れて光を発光する。照射装置12は、制御部18の制御に従ってパルス光Lpを照射する。
この距離測定システム10では、照射装置12から照射したパルス光Lpが測距対象Wで反射し、固体撮像装置14に入射する。なお、説明の便宜のため、照射装置12から測距対象Wまでのパルス光Lpを照射光Leと、測距対象Wから固体撮像装置14までのパルス光Lpを反射光Lrと呼ぶ。
固体撮像装置14は、制御部18の制御に従って反射光Lr及び環境光Lsを電子シャッタ方式によって露光する。固体撮像装置14は、照射装置12が投光するパルス光Lp及び環境光Lsに対して感度を有し、投光タイミングに同期したグローバル電子シャッタ方式で光を露光する。演算部16は、固体撮像装置14の各単位画素50(図5参照)が露光して蓄積した光電子数Qの情報等に基づいて測距対象Wまでの距離を算出する。なお、本実施の形態で、「露光」という場合は、入射した光が固体撮像装置14によって光電変換により光電子を生成し、その光電子数の情報が画素信号として読み出される光入射期間と定義する。つまり、光電変換はするが、それによって発生した光電子数の情報をリセットして、画素信号として読み出さない光入射期間は含まないと定義する。
制御部18は、照射装置12及び固体撮像装置14の駆動を制御する。温度センサ20aは、照射装置12の温度を検出し、温度センサ20bは、固体撮像装置14の温度を検出する。記憶部22は、後述する補正用データを記憶する。なお、照射装置12と測距対象Wまでの距離と、測距対象Wから固体撮像装置14までの距離とは、説明の簡略化のため同一と定義する。
図2は、制御部18の機能ブロック図である。制御部18は、基準クロック生成部32、測定用制御信号生成部34、及び補正用制御信号生成部36を備える。
基準クロック生成部32は、基準クロックを生成し、生成した基準クロックを測定用制御信号生成部34及び補正用制御信号生成部36に出力する。測定用制御信号生成部34は、基準クロックに基づいて、照射光Leの照射タイミングを規定する基準照射タイミング制御信号と、照射タイミングに対して予め決められた露光タイミングを規定する基準露光タイミング制御信号を生成する。測定用制御信号生成部34は、1枚の画像データを取得するのに必要な照射装置12の照射回数が記憶された測定用照射回数記憶部34aを有する。
照射装置12は、基準照射タイミング制御信号に従って照射光Leを照射する。固体撮像装置14の各単位画素50は、基準露光タイミング制御信号に従って反射光Lrを露光する。
図3は、基準照射タイミング制御信号及び基準露光タイミング制御信号と、基準照射タイミング制御信号に従って照射装置12が照射した照射光Leと、基準露光タイミング制御信号に従った固体撮像装置14の単位画素50の露光とを示す図である。
図3に示すように、基準照射タイミング制御信号に同期して、照射装置12は、光強度Eの照射光Leを照射する。反射光Lrは、固体撮像装置14と測距対象Wとの距離に応じて、照射光Leの照射タイミングに対して遅れて固体撮像装置14に入射する。この固体撮像装置14に入射する反射光Lrの光強度Rは、固体撮像装置14と測距対象Wとの距離や測距対象Wの反射率に応じて変動する。また、固体撮像装置14には、照射光Leの照射とは関係なく、周辺の環境光Lsも入射する。
固体撮像装置14の単位画素50は、照射光Leの1回の照射に対して4回露光を行うとすると、基準露光タイミング制御信号は、1つの照射タイミングに対して予め決められた4つの露光タイミングを規定する。4つの露光タイミングによって、第1露光期間P1、第2露光期間P2、第3露光期間P3、及び第4露光期間P4が決定される。
第3露光期間P3及び第4露光期間P4は、測距可能範囲の測距対象Wに反射して戻ってくる反射光Lrが入射しない一定時間(Tsense)であり、環境光Lsのみに応じた光電子を取得する期間である。
第1露光期間P1は、測距可能範囲の測距対象Wに反射して戻ってくる反射光が必ず入射する一定時間(Tsense)であり、反射光Lr及び環境光Lsに応じた光電子を取得する期間である。第2露光期間P2は、照射装置12が投光を完了するタイミングからの一定時間(Tsense)である。第2露光期間P2は、照射装置12から測距対象Wまでの距離と測距対象Wから撮像部までの距離とを光が往復する時間で且つ前記一定時間よりも短い時間の反射光Lrと、前記一定時間で常時入射している環境光Lsとに応じた光電子を取得する期間である。
第3露光期間P3に単位画素50で発生した光電子数QをQcで表し、第4露光期間P4に単位画素50で発生した光電子数QをQdで表す。また、第1露光期間P1に単位画素50で発生した光電子数QをQaで表し、第2露光期間P2に単位画素50で発生した光電子数QをQbで表す。
図3から、Qb−Qd∝R×Tdelay と、Qa−Qc∝R×Tsense、との関係式が成り立つ。Tdelayは、投光した光が測距対象Wに反射して戻ってくるまでの往復時間である。
上述した式から、
delay=Tsense×(Qb−Qd)/(Qa−Qc)・・(1)
の数式が導き出せ、測距対象Wまでの距離Zは、
Z=c×Tdelay/2=c×Tsense×(Qb−Qd)/(2×(Qa−Qc))・・(2)
の数式によって求めることができる。なお、cは光速を示す。
ここで、図3に示す基準照射タイミング制御信号及び基準露光タイミング制御信号を1組の測定用制御信号とし、この1組の測定用制御信号が測定用制御信号生成部34によって、所定照射回数(例えば、10回)生成される。この所定照射回数は、測定用照射回数記憶部34aに記憶されている。従って、照射装置12は、所定照射回数分照射光Leを照射し、固体撮像装置14の各単位画素50は、第1露光期間P1〜第4露光期間P4での露光を所定照射回数分行う。
固体撮像装置14の各単位画素50は、第1露光期間P1〜第4露光期間P4の露光で得られるそれぞれの光電子数Qa〜Qdを所定照射回数分蓄積する。この蓄積後の第1露光期間P1〜第4露光期間P4でそれぞれ得られた光電子数Qをそれぞれ、QA、QB、QC、QDとする。なお、固体撮像装置14の構成については後で詳細に説明する。
従って、数式(2)を以下のように変形することができ、光電子数QA、QB、QC、QDから測距対象Wまでの距離Zを求めることができる。
Z=c×Tsense×(QB−QD)/(2×(QA−QC))・・(3)
従って、第1露光期間P1〜第4露光期間P4での露光を所定照射回数行った後、固体撮像装置14から各単位画素50の光電子数QA、QB、QC、QDの情報(画素信号)が読み出される。演算部16は、読み出された全単位画素50の光電子数QA、QB、QC、QDの情報(画像データ)に基づいて、数式(3)を用いて単位画素50毎に測距対象Wまでの距離を計測することができる。なお、単位画素50の光電子数Qの情報を画素信号と呼び、固体撮像装置14の全単位画素50の画素信号をまとめて画像データと呼ぶ場合がある。
しかしながら、基準照射タイミング制御信号及び基準露光タイミング制御信号は、温度等の周辺環境の影響によって、理想の基準照射タイミング制御信号及び基準露光タイミング制御信号に対して変動してしまう。また、この周辺環境の影響によって、照射装置12が照射する照射光Leの光強度Eや波形も変動するとともに、固体撮像装置14の感度も変動する。
そのため、周辺環境が、演算部16が算出する距離に与える影響を補正するためには補正用データを取得する必要がある。具体的には、補正測定用の測距対象W(以下、補正用測距対象W´)から固体撮像装置14までの距離を測距可能範囲内で変更しながら、それぞれの距離における固体撮像装置14から得られる画像データ及び測定時の温度等を補正用データとして取得する必要がある。
補正用データを取得するため、補正用測距対象W´から固体撮像装置14までの実際の測距で想定する距離範囲のデータを取得するためには、広い計測環境が必要となる。また、空間容積の広い恒温槽のような計測環境を用意する場合には、補正装置が大型化し、且つ恒温槽内部の雰囲気が増大することにより、熱容量が増大するため、同じ熱量を供給した場合、温度変更に対して安定時間が長くなるので、補正コストが増大する。
従って、本実施の形態では、省スペースの計測環境で測定するために、補正用測距対象W´から固体撮像装置14までの距離(実距離)Zを変更することなく、補正用測距対象W´から固体撮像装置14までの距離を実距離より仮想的に長くする。
補正用測距対象W´から固体撮像装置14までの実距離が長くなる程、反射光Lrが固体撮像装置14に入射するタイミングは遅くなるので、照射装置12が照射する照射タイミング自体を遅らせることで、補正用測距対象W´から固体撮像装置14までの距離を仮想的に長くすることができる。
詳しくは、補正用制御信号生成部36は、補正用測距対象W´と固体撮像装置14との仮想距離に応じた遅延量で、基準露光タイミング制御信号に対して相対的に基準照射タイミング制御信号を遅延させた補正用照射タイミング制御信号及び補正用露光タイミング制御信号を生成する。つまり、図4に示すように、仮想距離に応じた遅延量で、基準露光タイミング制御信号で規定される露光タイミングに対して基準照射タイミング制御信号で規定される照射タイミングを相対的に遅らせた補正用照射タイミング制御信号及び補正用露光タイミング制御信号を生成する。これにより、予め決められた複数の実距離に相当する画素信号を仮想距離で取得することができる。補正用制御信号生成部36は、1枚の画像データを取得するのに必要な照射装置12の照射回数が記憶された補正用照射回数記憶部36aを有する。
仮想距離に応じた遅延量は、補正用測距対象W´と固体撮像装置14との仮想距離の長さが長い程多くなる。また、仮想距離が、補正用測距対象W´と固体撮像装置14との実距離と等しい場合は、遅延量は0となる。
この補正用照射露光タイミング制御信号は、基準照射タイミング制御信号と同様に、照射光Leの照射タイミングを規定する。また、補正用露光タイミング制御信号は、基準露光タイミング制御信号と同様に、1つの照射タイミングに対して予め決められた4つの露光タイミングを規定する。
図4に示す補正用照射タイミング制御信号及び補正用露光タイミング制御信号を1組の補正用制御信号とし、この1組の補正用制御信号が補正用制御信号生成部36によって所定照射回数(例えば、10回)生成される。この所定照射回数は、補正用照射回数記憶部36aに記憶されている。補正用データを取得する場合も、上述した測距(距離計測)動作と同様に、照射装置12は、照射光Leを所定照射回数分照射し、固体撮像装置14は、第1露光期間P1〜第4露光期間P4での露光を所定照射回数分行う。
そして、固体撮像装置14の各単位画素50は、第1露光期間P1〜第4露光期間P4での露光を所定照射回数行った後、固体撮像装置14から各単位画素50の光電子数QA、QB、QC、QDの情報(画素信号)が読み出される。演算部16は、読み出された画像データ(全単位画素50の光電子数QA、QB、QC、QDの情報)と、距離測定時に温度センサ20a、20bが検出した温度等の測定データと、仮想距離や露光の回数等の設定動作条件とを、補正用データとして記憶部22に記憶する。
補正用制御信号生成部36は、予め決められた複数の仮想距離毎に、仮想距離に応じた補正用照射タイミング信号及び補正用露光タイミング制御信号を所定照射回数生成する。これにより、単位画素50毎に、仮想距離毎の各単位画素50の画素信号を固体撮像装置14から読み出すことができる。演算部16は、仮想距離毎に、補正用データを記憶部22に記憶する。
なお、照射装置12及び固体撮像装置14には、測定用制御信号生成部34が生成した基準照射タイミング信号及び基準露光タイミング制御信号と、補正用制御信号生成部36が生成した補正用照射タイミング制御信号及び補正用露光タイミング制御信号とのうち、一方のみが入力される。
即ち、図2に示すように、測定用制御信号生成部34及び補正用制御信号生成部36は、スイッチSW1を介して照射装置12に接続されるとともに、スイッチSW2を介して固体撮像装置14に接続される。そして、測定用制御信号生成部34が生成した基準照射タイミング制御信号及び基準露光タイミング制御信号を照射装置12及び固体撮像装置14に出力する場合は、スイッチSW1及びスイッチSW2を端子T1に接続させる。これにより、基準照射タイミング制御信号及び基準露光タイミング制御信号が照射装置12及び固体撮像装置14に入力される。また、補正用制御信号生成部36が生成した補正用照射タイミング制御信号及び補正用露光タイミング制御信号を照射装置12及び固体撮像装置14に出力する場合は、スイッチSW1及びスイッチSW2を端子T2に接続させる。これにより、補正用照射タイミング制御信号及び補正用露光タイミング制御信号が照射装置12及び固体撮像装置14に入力される。
このとき、測定用制御信号生成部34が、照射装置12及び固体撮像装置14に基準照射タイミング信号及び基準露光タイミング制御信号を出力している場合は、補正用制御信号生成部36は、補正用照射タイミング制御信号及び補正用露光タイミング制御信号を生成しなくてよい。また、補正用制御信号生成部36が、照射装置12及び固体撮像装置14に補正用照射タイミング制御信号及び補正用露光タイミング制御信号を出力している場合は、測定用制御信号生成部34は、基準照射タイミング信号及び基準露光タイミング制御信号を生成しなくてよい。
ここで、画素に入射する反射光Lrの光強度は、補正用測距対象W´までの距離が長い程低下する。そのため、実際の測距動作時と条件を合わせるために、固体撮像装置14から補正用測距対象W´までの仮想距離を長くする程、固体撮像装置14に入射する反射光Lrの光強度Rを弱くする必要がある。しかしながら、補正用測距対象W´から固体撮像装置14までの距離を仮想的に長くしても、補正用測距対象W´から固体撮像装置14までの実際の距離は変わらないので、反射光Lrの光強度は変わらない。
そこで、本実施の形態では、距離測定システム10は、補正用測距対象W´と固体撮像装置14との実距離に対する仮想距離の長さが長い程、固体撮像装置14に入射する反射光Lrの光強度Rを多く減光させる第1減光手段42を設ける。この第1減光手段42は、照射装置12から補正用測距対象W´までの光路の間に設けられており、照射装置12の近傍に設けられている。第1減光手段42は、照射装置12から照射される照射光Leの光強度Eを減光することで、固体撮像装置14に入射する反射光Lrの光強度Rを減光させる。
本実施の形態では、第1減光手段42として、減光(ND)フィルタ、スリット板、及び拡散板の何れか1つを使用する。前記減光フィルタは、入射した光の光強度を減光させて出力するフィルタである。前記スリット板は、スリット(開口)が形成された板であり、スリットに入射した光のみが前記スリット板を通過するので、入射した光の強度を減光させることができる。前記拡散板は、光を拡散させるものであり、補正用測距対象W´及び固体撮像装置14に入射する光強度を低減させることができる。
前記減光フィルタを第1減光手段42として使用する場合は、予め決められた複数の仮想距離に応じた減光量の前記減光フィルタを複数用意する。そして、仮想距離の長さに応じて使用する前記減光フィルタを交換する。同様に、前記スリット板又は拡散板を第1減光手段42として使用する場合は、予め決められた複数の仮想距離に応じた減光量の前記スリット板又は前記拡散板を複数用意する。そして、仮想距離の長さに応じて使用する前記スリット板又は前記拡散板を交換する。なお、スリット幅の大きさを可変できる前記スリット板を用いる場合は、該スリット板のスリット幅を仮想距離に応じた減光量となる大きさに変える。
このように、第1減光手段42を設けることで、擬似的に補正用測距対象W´から固体撮像装置14に入射する反射光Lrの光強度Rを、実際の測距動作時と合わせることができる。つまり、実距離に相当する反射光Lrの光強度Rを仮想距離で実現できる。
また、実際に距離測定の対象となる測距対象Wは、外界に存在するあらゆる部材、材質、物質で形成されるため、単一の補正用測距対象W´の反射率で置き換えることができない。
このような場合を考慮して、測距対象Wの反射率を仮想的に変更するために、距離測定システム10は、固体撮像装置14が露光する光の光強度を低減する第2減光手段44を備えてもよい。第2減光手段44は、補正用測距対象W´から固体撮像装置14までの光路の間に設けられており、固体撮像装置14の近傍に設けられている。
実際に距離測定の対象となる測距対象Wの反射率が補正用測距対象W´の反射率に比べて低い場合は、第2減光手段44で光強度を減光する。本実施の形態では、第2減光手段44として、絞り可変集光レンズを用いてもよい。絞り可変集光レンズは、絞りの絞り値を変えることによって、透過する光強度を変更することができる。
図5は、固体撮像装置14の構成を示す図である。固体撮像装置14は、2次元の半導体表面に行列状に単位画素50を配置した画素アレイ52と、画素駆動回路54と、サンプルホールド回路56と、水平選択回路58と、A/D変換器60とを有する。
画素駆動回路54は、制御部18から出力される基準受光タイミング制御信号又は補正用受光タイミング制御信号に従ってゲート駆動信号を生成して画素アレイ52に出力する。画素アレイ52の各単位画素50は、ゲート駆動信号によって駆動し、各単位画素50の光電子の発生(蓄積)、保持、転送、及び排出等を行う。また、画素駆動回路54は、画素信号を出力する単位画素50の行を選択する。選択された行の単位画素50は、画素信号をサンプルホールド回路56に出力する。サンプルホールド回路56は、一時的に画素信号を保持する。水平選択回路58は、サンプルホールド回路56に保持された画素1行分の画素信号を時分割により逐次選択し、A/D変換器60に出力させる。演算部16は、A/D変換器60の出力に基づき単位画素50の画素信号に基づいて測距対象Wまでの算出を測定する。
図6は、図5に示す固体撮像装置14を構成する単位画素50の一部を示す一部平面図である。図7は、図6のVII−VII線矢視断面構成図である。単位画素50は、p型半導体基板102上に形成された光電変換素子104と、4つの光電子振分部106a、106b、106c、106d(総称して、光電子振分部106と呼ぶ場合もある)と、2つの光電子排出部108a、108b(以下、総称して、光電子排出部108と呼ぶ場合もある)とを有する。
光電変換素子104は、p型半導体基板102上に絶縁体(図示略)を介して形成された電極(以下、フォトゲートと呼ぶ)110を有する(図7参照)。光電変換素子104は、光を検知して光電子を生成する。画素駆動回路54は、光電変換素子104を駆動するゲート駆動信号電圧Saをフォトゲート110に印加する。なお、光電変換素子104は、p型半導体基板102に光が入射可能なMOS(Metal Oxide Semiconductor)構造により形成する。
各光電子振分部106は、第1転送部112、光電子保持部114、第2転送部116、及び電荷検出部118をそれぞれ有する。第1転送部112は、光電変換素子104で生成した光電子を振り分けて光電子保持部114に転送するためのものであり、p型半導体基板102上に絶縁体(図示略)を介して形成された電極(以下、第1転送ゲートと呼ぶ)120を有する(図7参照)。画素駆動回路54は、第1転送ゲート120に第1転送部112を駆動するゲート駆動信号電圧Sbを印加する。なお、第1転送部112、光電子保持部114、及び第2転送部116は、p型半導体基板102に光が入射し光電変換しないように遮光したMOS構造により形成する。
光電子保持部114は、光電変換素子104に対して第1転送部112を挟んで配置され、光電変換素子104が発生した光電子を一時的に保持するものであり、p型半導体基板102上に絶縁体(図示略)を介して形成された電極(以下、保持ゲートと呼ぶ)122を有する(図7参照)。画素駆動回路54は、保持ゲート122に、光電子保持部114を駆動するゲート駆動信号電圧Scを印加する。
第2転送部116は、第1転送部112に対して、光電子保持部114を挟んで配置し、光電子保持部114で累積蓄積して保持された光電子を転送するものであり、p型半導体基板102上に絶縁体(図示略)を介して形成された電極(以下、第2転送ゲートと呼ぶ)124を有する(図7参照)。画素駆動回路54は、第2転送ゲート124に、第2転送部116を駆動するゲート駆動信号電圧Sdを印加する。
電荷検出部(FD:Floating Diffusion)118は、光電子保持部114に対して第2転送部116を挟んで配置し、光電子保持部114から転送される光電子を一時的に保持するものであり、p型半導体基板102上にn型不純物をドープして形成されたN型拡散層である。
電荷検出部118は、図7に示すように、電荷検出部118の電位を基準電位にリセットするリセット用トランジスタ126を接続する。リセット用トランジスタ126は電荷検出部118とリセット電圧ノードVrefの間に接続し、ゲート127は、画素駆動回路54からリセット信号Reが印加される。リセット信号Reが“High”でリセット用トランジスタ126がオンとなり、電荷検出部118の電荷は排出され、電荷検出部118の電位は基準電位にリセットされる。
また、電荷検出部118には、電荷検出部118の電荷に応じた電圧信号(画素信号)を出力するための画素アンプトランジスタ130が接続される。画素アンプトランジスタ130と垂直信号線132の間には、選択用トランジスタ134が配置され、画素信号を垂直信号線132に出力するかを選択する。
第3転送部140は、光電変換素子104で生成した光電子を電源電圧に接続された光電子排出用N型拡散層142に転送するためのものであり、p型半導体基板102上に絶縁体(図示略)を介して形成された電極(第3転送ゲート)144を有する(図7参照)。
第3転送ゲート144のゲート駆動信号電圧Seに“High”を印加すると、第3転送ゲート144がオンとなり、光電変換素子104で生成した光電子は、第3転送部140を介して光電子排出用N型拡散層142に排出される。図6に示すように、2つの光電子排出部108は、光電変換素子104の短辺に平行で且つ中心を通る線に対して線対称的に1個ずつ配置する。
光電子振分部106aは、光電変換素子104が第1露光期間P1で露光した光電子を振り分けるものであり、光電子振分部106aの光電子保持部114は、第1露光期間P1で発生した光電子を保持する。光電子振分部106bは、光電変換素子104が第2露光期間P2で露光した光電子を振り分けるものであり、光電子振分部106bの光電子保持部114は、第2露光期間P2で発生した光電子を保持する。光電子振分部106cは、光電変換素子104が第3露光期間P3で露光した光電子を振り分けるものであり、光電子振分部106cの光電子保持部114は、第3露光期間P3で発生した光電子を保持する。光電子振分部106dは、光電変換素子104が第4露光期間P4で露光した光電子を振り分けるものであり、光電子振分部106dの光電子保持部114は、第4露光期間P4で発生した光電子を保持する。
従って、第1露光期間P1〜第4露光期間P4での露光が所定照射回数行われるまで、第1露光期間P1〜第4露光期間P4で発生した光電子は、光電子振分部106a〜106dの光電子保持部114で蓄積される。そして、第1露光期間P1〜第4露光期間P4での露光を所定照射回数行った後に、光電子振分部106a〜dの光電子保持部114に累積蓄積された光電子が電荷検出部118に転送される。そして、電荷検出部118に転送された光電子数QA、QB、QC、QDの情報(画素信号)が、電荷検出部118に選択用トランジスタ134を介して垂直信号線132から順次読み出される。
なお、第1露光期間P1〜第4露光期間P4以外の期間で、光電変換素子104で発生した光電子は、光電子排出用N型拡散層142から排出される。また、光電子振分部106a〜106dの光電子保持部114に蓄積された光電子を電荷検出部118に転送する前に、リセット用トランジスタ126をオンにして、電荷検出部118の電位を基準電位にリセットする。
このように、補正用照射タイミング制御信号及び補正用露光タイミング制御信号によって、仮想的に補正用測距対象W´と固体撮像装置14との距離(仮想距離)を変えることで、コストを抑え、簡易な手法で、タイミング以外での特性変動に対応できる各距離における補正用データを取得することができる。
仮想距離の長さに応じて照射装置12が照射する照射光Leの光強度Eを減光させる第1減光手段42を備えるので、固体撮像装置14の露光により発生する光電子数を仮想距離の長さに応じて減らすことができる。
固体撮像装置14が露光する光の光強度を低減させる第2減光手段44を備えるので、補正用測距対象W´の反射率を仮想的に変更することができる。
[第2の実施の形態]
上記第1の実施の形態では、第1減光手段42を用いて、仮想距離の長さに応じて固体撮像装置14に入射する反射光Lrの光強度Rを減光させたが、第2の実施の形態では、仮想距離の長さに応じて、固体撮像装置14の露光回数を減らすというものである。つまり、第2の実施の形態では、第1露光期間P1〜第4露光期間P4での露光を所定照射回数(例えば、10回)より少ない回数で行う。なお、上記第1の実施の形態と同一の構成については同一の符号を付す。
これにより、第2の実施の形態でも、第1減光手段42を用いた場合と同等の結果を得るというものである。つまり、第1減光手段42で減光されて固体撮像装置14に蓄積される光電子数Qと、固体撮像装置14の露光回数を減らすことで蓄積される光電子数Qとは略同じなる。
ここで、露光回数を減らすとともに照射回数も一緒に減らすと、実際の測距時に照射装置12の照射によって発生する熱量に対して、少ない熱量しか発生せず、正確な補正用データを得られなくなる。そこで、第2の実施の形態では、露光回数を所定照射回数より小さい回数とするが、照射装置12の照射回数は、所定照射回数と同一の回数とする。以下、第2の実施の形態の距離測定システム10について詳しく説明する。
図8は、第2の実施の形態において、1枚の画像データを取得する1フレーム画像取得期間に、照射装置12が照射する照射光Leのタイムチャートの一例を示す図である。図8の仮想距離d0は、補正用測距対象W´と固体撮像装置14との実距離と同一の長さとし、仮想距離d1〜d3は、補正用測距対象W´と固体撮像装置14との実距離よりも長い距離とする。また、仮想距離d1〜d3は、d1<d2<d3、の関係を有する。
仮想距離を仮想距離d0にした場合は、固体撮像装置14に入射する反射光Lrを減光させる必要はなく、仮想距離に応じた遅延量は0となるので、照射装置12による照射と、固体撮像装置14による露光及び読出しは、測距動作と同じ動作となる。
従って、補正用制御信号生成部36は、図4に示すような補正用照射タイミング制御信号及び補正用露光タイミング制御信号を1組の補正用制御信号として、所定照射回数(図8に示す例では、10回)分生成する。これにより、照射装置12は、所定照射回数(10回)分照射光Leを照射し、固体撮像装置14の各単位画素50は、第1露光期間P1〜第4露光期間P4での露光を、所定照射回数(10回)分行う。第1露光期間P1〜第4露光期間P4での露光が所定照射回数分行われると、固体撮像装置14の全単位画素50が蓄積した光電子数QA、QB、QC、QDの情報(画素データ)を読み出す。この読み出した画像データと温度センサ20a、20bが検出した温度といった測定データと、設定動作条件とを、仮想距離d0のときの補正用データとして記憶する。なお、所定照射回数は、上述したように補正用照射回数記憶部36aに記憶されている。
仮想距離を仮想距離d1にした場合は、仮想距離d1に応じた回数分露光回数を減らす必要がある。従って、補正用制御信号生成部36は、図4に示すような補正用照射タイミング制御信号及び補正用露光タイミング制御信号を1組の補正用制御信号として、仮想距離d1に応じた照射回数(図8に示す例では、8回)分生成する。これにより、照射装置12は、仮想距離d1に応じた照射回数(8回)分照射光Leを照射し、固体撮像装置14の各単位画素50は、第1露光期間P1〜第4露光期間P4での露光を仮想距離d1に応じた照射回数(8回)分行う。第1露光期間P1〜第4露光期間P4での露光が照射回数分行われると、固体撮像装置14の全単位画素50が蓄積した光電子数QA、QB、QC、QDの情報(画像データ)を読み出す。この読み出した画像データと温度センサ20a、20bが検出した温度といった測定データと、設定動作条件とを、仮想距離d1のときの補正用データとして記憶する。このとき、温度センサ20a、20bによって検出された温度も一緒に記憶される。補正用照射回数記憶部36aには、仮想距離d1〜d3に応じた照射回数が記憶されている。
なお、言うまでもないが、補正用制御信号生成部36は、仮想距離d1に応じた遅延量で、基準露光タイミング制御信号に対して相対的に基準照射タイミング制御信号を遅延させた補正用照射タイミング制御信号及び補正用露光タイミング制御信号を生成する。
また、仮想距離d1の場合は、照射装置12が照射する照射回数は、所定照射回数より小さくなる。そのため、照射装置12は、固体撮像装置14の画像データの読出しが終了した後、減らした回数(「所定照射回数」−「仮想距離d1に応じた照射回数」)分だけ、別途ダミー発光を行う(照射光Leを照射する)必要がある。このダミー発光とは、照射光Leは照射されるものの、この照射に対して第1露光期間P1〜第4露光期間P4での露光が固体撮像装置14によって行われない発光のこという。なお、このダミー発光も1フレーム画像取得期間内に行われる。
補正用制御信号生成部36は、ダミー発光の照射タイミングを規定するダミー用照射タイミング制御信号を、仮想距離d1に応じたダミー発光用の照射回数分生成する。これにより、照射装置12は、画像データの読出しの終了後に、減らした回数分(図8に示す例では2回)ダミー発光を行うことができる。補正用照射回数記憶部36aには、仮想距離d1〜d3に応じたダミー発光用の照射回数が記憶されている。仮想距離d1、d2、d3に応じたダミー発光用の照射回数は、「所定照射回数」−「仮想距離d1、d2、d3に応じた照射回数」である。
仮想距離を仮想距離d2にした場合は、仮想距離d2に応じた回数分露光回数を減らす必要がある。従って、補正用制御信号生成部36は、図4に示すような補正用照射タイミング制御信号及び補正用露光タイミング制御信号を1組の補正用制御信号として、仮想距離d2に応じた照射回数(図8に示す例では、6回)分生成する。これにより、照射装置12は、仮想距離d2に応じた照射回数(6回)分照射光Leを照射し、固体撮像装置14の各単位画素50は、第1露光期間P1〜第4露光期間P4での露光を仮想距離d2に応じた照射回数(6回)分行う。第1露光期間P1〜第4露光期間P4での露光が照射回数分行われると、固体撮像装置14の全単位画素50が蓄積した光電子数QA、QB、QC、QDの情報(画像データ)を読み出す。この読み出した画像データと温度センサ20a、20bが検出した温度といった測定データと、設定動作条件とを、仮想距離d2のときの補正用データとして記憶する。
なお、言うまでもないが、補正用制御信号生成部36は、仮想距離d2に応じた遅延量で、基準露光タイミング制御信号に対して相対的に基準照射タイミング制御信号を遅延させた補正用照射タイミング制御信号及び補正用露光タイミング制御信号を生成する。
また、仮想距離d2の場合は、照射装置12が照射する照射回数は、所定照射回数より小さくなる。そのため、照射装置12は、固体撮像装置14の画像データの読出しが終了した後、減らした回数(「所定照射回数」−「仮想距離d2に応じた照射回数」)分だけ、ダミー発光を行う必要がある。従って、補正用制御信号生成部36は、ダミー用照射タイミング制御信号を、仮想距離d2に応じたダミー発光用の照射回数分生成する。これにより、照射装置12は、1フレーム画像取得期間内であって、画像データの読出しの終了後に、減らした回数分(図8に示す例では4回)ダミー発光を行うことができる。
仮想距離を仮想距離d3にした場合は、仮想距離d3に応じた回数分露光回数を減らす必要がある。従って、補正用制御信号生成部36は、図4に示すような補正用照射タイミング制御信号及び補正用露光タイミング制御信号を1組の補正用制御信号として仮想距離d3に応じた照射回数(図8に示す例では、4回)分生成する。これにより、照射装置12は、仮想距離d3に応じた照射回数(4回)分照射光Leを照射し、固体撮像装置14の各単位画素50は、第1露光期間P1〜第4露光期間P4での露光を仮想距離d3に応じた照射回数(4回)分行う。第1露光期間P1〜第4露光期間P4での露光が照射回数分行われると、固体撮像装置14の全単位画素50が蓄積した光電子数QA、QB、QC、QDの情報(画像データ)を読み出す。この読み出した画像データと温度センサ20a、20bが検出した温度といった測定データと、設定動作条件とを、仮想距離d3のときの補正用データとして記憶される。
なお、言うまでもないが、補正用制御信号生成部36は、仮想距離d3に応じた遅延量で、基準露光タイミング制御信号に対して相対的に基準照射タイミング制御信号を遅延させた補正用照射タイミング制御信号及び補正用露光タイミング制御信号を生成する。
また、仮想距離d3の場合は、照射装置12が照射する照射回数は、所定照射回数より小さくなる。そのため、照射装置12は、固体撮像装置14の画像データの読出しが終了した後、減らした回数(「所定照射回数」−「仮想距離d3に応じた照射回数」)分だけ、ダミー発光を行う必要がある。従って、補正用制御信号生成部36は、ダミー用照射タイミング制御信号を、仮想距離d3に応じたダミー発光用の照射回数分生成する。これにより、照射装置12は、1フレーム画像取得期間内であって、画像データの読出しの終了後に、減らした回数分(図8に示す例では6回)ダミー発光を行う。
このように、仮想距離の長さに応じて露光回数を減らすので、擬似的に、固体撮像装置14に入射して露光される反射光Lrの光量を、実際に仮想距離に相当する距離に位置する補正用測距対象W´で反射し、固体撮像装置14に入射して露光される反射光Lrの光量と略同じにすることができる。また、露光回数を減らしても、照射装置12の照射回数は減らないので、本来の測距動作と補正用動作での照射装置及び固体撮像素子の発熱量を揃えることができる。
[第2の実施の形態の変形例]
なお、上記第2の実施の形態は、以下のように変形してもよい。
(変形例1)変形例1では、1枚目の画像データと2枚目の画像データとを取得するための照射回数を変えて、2フレーム画像取得期間に2枚の画像データを取得することで測距対象Wまでの距離を計測する測距動作で使用される補正用データの取得について説明する。この1枚目の画像データと2枚目の画像データとを取得するための照射回数を変えることで、比較的近い位置にある測距対象Wと比較的遠い位置にある測距対象Wまで距離を計測することでき、ダイナミックレンジを向上させることができる。
図9は、本変形例1において、2枚の画像データを取得する2フレーム画像取得期間に、照射装置12が照射する照射光Leのタイムチャートの例を示す図である。図8に示す例では、固体撮像装置14の全単位画素50の画素信号(画像データ)を1回読み出した後、ダミー発光を行うようにしたが、図9に示す例では、固体撮像装置14の全単位画素50の画素信号(画像データ)を2回読み出した後、ダミー発光を行う。
仮想距離を仮想距離d0にした場合は、固体撮像装置14に入射する反射光Lrを減光させる必要はなく、仮想距離に応じた遅延量は0となるので、照射装置12による照射と、固体撮像装置14による露光及び読出しは、測距動作と同じ動作となる。
仮想距離が仮想距離d0の場合は、補正用制御信号生成部36は、図4に示すような補正用照射タイミング制御信号及び補正用露光タイミング制御信号を1組の補正用制御信号として、第1フレーム用の所定照射回数(図9に示す例では5回)分生成する。これにより、照射装置12は、5回照射光Leを照射し、固体撮像装置14の各単位画素50は、第1露光期間P1〜第4露光期間P4での露光を5回行う。第1露光期間P1〜第4露光期間P4での露光が5回行われると、固体撮像装置14の全単位画素が蓄積した光電子数QA、QB、QC、QDの情報(画像データ)を読み出す。この読み出した画像データと温度センサ20a、20bが検出した温度といった測定データと、設定動作条件とを、仮想距離d0のときの第1フレーム用の補正用データとして記憶される。なお、第1フレーム用の所定照射回数は、補正用照射回数記憶部36aに記憶されている。
その後、補正用制御信号生成部36は、図4に示すような補正用照射タイミング制御信号及び補正用露光タイミング制御信号を1組の補正用制御信号として、第2フレーム用の所定照射回数(図9に示す例では10回)分生成する。これにより、照射装置12は、10回照射光Leを照射し、固体撮像装置14の各単位画素50は、第1露光期間P1〜第4露光期間P4での露光を10回行う。第1露光期間P1〜第4露光期間P4での露光が10回行われると、固体撮像装置14の全単位画素50が蓄積した光電子数QA、QB、QC、QDの情報(画像データ)を読み出す。この読み出した画像データと温度センサ20a、20bが検出した温度といった測定データと、設定動作条件とを、仮想距離d0のときの第2フレーム用の補正用データとして記憶される。なお、第2フレーム用の所定照射回数は、補正用照射回数記憶部36aに記憶されている。
仮想距離が仮想距離d1、d2、又はd3に変更されると、補正用制御信号生成部36は、図4に示すような補正用照射タイミング制御信号及び補正用露光タイミング制御信号を1組の補正用制御信号として、仮想距離d1、d2、又はd3に応じた第1フレーム用の照射回数分生成する。これにより、照射装置12は、仮想距離d1、d2、又はd3に応じた第1フレーム用の照射回数分照射光Leを照射し、固体撮像装置14の各単位画素50は、第1露光期間P1〜第4露光期間P4での露光を、仮想距離d1、d2、又はd3に応じた第1フレーム用の照射回数分行う。第1露光期間P1〜第4露光期間P4での露光が、仮想距離d1、d2、又はd3に応じた第1フレーム用の照射回数分行われると、固体撮像装置14の全単位画素50が蓄積した光電子数QA、QB、QC、QDの情報(画像データ)を読み出す。この読み出した画像データと温度センサ20a、20bが検出した温度といった測定データと、設定動作条件とを、仮想距離d1、d2、又はd3のときの第1フレーム用の補正用データとして記憶される。
なお、仮想距離d1、d2、d3に応じた第1フレーム用の照射回数は、補正用照射回数記憶部36aに記憶されており、第1フレーム用の所定照射回数(5回)より小さい。図9に示す例では、第1フレーム用の照射回数は、仮想距離d1の場合は4回に、仮想距離d2の場合は3回に、仮想距離d3の場合は2回に設定されている。
その後、補正用制御信号生成部36は、図4に示すような補正用照射タイミング制御信号及び補正用露光タイミング制御信号を1組の補正用制御信号として、仮想距離d1、d2、又はd3に応じた第2フレーム用の照射回数分生成する。これにより、照射装置12は、仮想距離d1、d2、又はd3に応じた第2フレーム用の照射回数分照射光Leを照射し、固体撮像装置14の各単位画素50は、第1露光期間P1〜第4露光期間P4での露光を、仮想距離d1、d2、又はd3に応じた第2フレーム用の照射回数分行う。第1露光期間P1〜第4露光期間P4での露光が、仮想距離d1、d2、又はd3に応じた第2フレーム用の照射回数分行われると、固体撮像装置14の全単位画素50が蓄積した光電子数QA、QB、QC、QDの情報(画像データ)を読み出す。この読み出した画像データと温度センサ20a、20bが検出した温度といった測定データと、設定動作条件とを、仮想距離d1、d2、又はd3のときの第2フレーム用の補正用データとして記憶される。
なお、仮想距離d1、d2、d3に応じた第2フレーム用の照射回数は、補正用照射回数記憶部36aに記憶されており、第2フレーム用の所定照射回数(10回)より小さい。図9に示す例では、第2フレーム用の照射回数は、仮想距離d1の場合は8回に、仮想距離d2の場合は6回に、仮想距離d3の場合は4回に設定されている。
また、仮想距離d1、d2、又はd3に応じて、第1フレーム用及び第2フレーム用の照射回数の和が第1フレーム用及び第2フレーム用の所定照射回数の和(15回)より小さくなる。そのため、照射装置12は、2枚目の画像データの読出しが終了した後、減らした回数分(「仮想距離d1、d2、又はd3に応じた第1フレーム用及び第2フレーム用の所定照射回数の和」−「仮想距離d1、d2、又はd3に応じた第1フレーム用及び第2フレーム用の照射回数の和」)だけ、ダミー発光を行う必要がある。従って、補正用制御信号生成部36は、ダミー用照射タイミング制御信号を、仮想距離d1、d2、又はd3に応じたダミー発光用の照射回数分生成する。これにより、照射装置12は、2枚の画像データの読出し終了後に、減らした回数分ダミー発光を行うことができる。
仮想距離d1、d2、d3に応じたダミー発光用の照射回数は、補正用照射回数記憶部36aに記憶されている。仮想距離d1、d2、d3に応じたダミー発光用の照射回数は、「仮想距離d1、d2、d3に応じた第1フレーム用及び第2フレーム用の所定照射回数の和」−「仮想距離d1、d2、d3に応じた第1フレーム用及び第2フレーム用の照射回数の和」である。図9に示す例では、ダミー発光用の照射回数は、仮想距離d1の場合は3回に、仮想距離d2の場合は6回に、仮想距離d3の場合は9回に設定されている。
このように、仮想距離の長さに応じて露光回数を減らすので、擬似的に、固体撮像装置14に入射して露光される反射光Lrの光量を、実際に仮想距離に相当する距離に位置する補正用測距対象W´で反射し、固体撮像装置14に入射して露光される反射光Lrの光量と略同じにすることができる。また、露光回数を減らしても、照射装置12の照射回数は減らないので、本来の測距動作と補正用動作での照射装置及び固体撮像素子の発熱量を揃えることができる。なお、露光回数を減らすようにしたが、露光回数を減らさずに、第1減光手段42を設けるようにしてもよい。
(変形例2)本変形例2では、シーケンス処理に、照射装置12の照射と固体撮像装置による露光及び読出しとが一体不可分に組み込まれていて照射装置12の照射のみを行うことが不能な測距動作で使用される補正用データの取得について説明する。
図10は、本変形例2において、1枚の画像データを取得する1フレーム画像取得期間に、照射装置12が照射する照射光Leのタイムチャートの一例を示す図である。
図10においては、仮想距離を仮想距離d0にした場合は、固体撮像装置14に入射する反射光Lrを減光させる必要はなく、仮想距離に応じた遅延量は0となるので、照射装置12による照射と、固体撮像装置14による露光及び読出しは、測距動作と同じ動作となる。
仮想距離が仮想距離d0の場合は、補正用制御信号生成部36は、図4に示すような補正用照射タイミング制御信号及び補正用露光タイミング制御信号を1組の補正用制御信号として、第1フレーム用の所定照射回数(10回)分生成する。これにより、照射装置12は、10回照射光Leを照射し、固体撮像装置14の各単位画素50は、第1露光期間P1〜第4露光期間P4での露光を10回行う。第1露光期間P1〜第4露光期間P4での露光が10回行われると、固体撮像装置14の全単位画素50が蓄積した光電子数QA、QB、QC、QDの情報(画像データ)を読み出す。この読み出した画像データと温度センサ20a、20bが検出した温度といった測定データと、設定動作条件とを、仮想距離d0のときの第1フレーム用の補正用データとして記憶される。なお、第1フレーム用の所定照射回数は、補正用照射回数記憶部36aに記憶されている。
その後、補正用制御信号生成部36は、図4に示すような補正用照射タイミング制御信号及び補正用露光タイミング制御信号を1組の補正用制御信号として、第2フレーム用の所定照射回数(1回)分生成する。これにより、照射装置12は、1回照射光Leを照射し、固体撮像装置14の各単位画素50は、第1露光期間P1〜第4露光期間P4での露光を1回行う。第1露光期間P1〜第4露光期間P4での露光が1回行われると、固体撮像装置14の全単位画素50が蓄積した光電子数QA、QB、QC、QDの情報(画像データ)が読み出されるが破棄される。従って、照射装置12による第2フレームにおける照射は、結果的にダミー発光となる。なお、第2フレーム用の所定照射回数は、補正用照射回数記憶部36aに記憶されている。
仮想距離がd1、d2、又はd3に変更されると、補正用制御信号生成部36は、図4に示すような補正用照射タイミング制御信号及び補正用露光タイミング制御信号を1組の補正用制御信号として、仮想距離d1、d2、又はd3に応じた第1フレーム用の照射回数分生成する。これにより、照射装置12は、仮想距離d1、d2、又はd3に応じた第1フレーム用の照射回数分照射光Leを照射し、固体撮像装置14の各単位画素50は、第1露光期間P1〜第4露光期間P4での露光を、仮想距離d1、d2、又はd3に応じた第1フレーム用の照射回数分行う。第1露光期間P1〜第4露光期間P4での露光が、仮想距離d1、d2、又はd3に応じた第1フレーム用の照射回数分行われると、固体撮像装置14の全単位画素50が蓄積した光電子数QA、QB、QC、QDの情報(画像データ)を読み出す。この読み出した画像データと温度センサ20a、20bが検出した温度といった測定データと、設定動作条件とを、仮想距離d1、d2、又はd3のときの第1フレーム用の補正用データとして記憶される。
なお、仮想距離d1、d2、d3に応じた第1フレーム用の照射回数は、補正用照射回数記憶部36aに記憶されており、第1フレーム用の所定照射回数(10回)より小さい。図10に示す例では、第1フレーム用の照射回数は仮想距離d1の場合は8回に、仮想距離d2の場合は6回に、仮想距離d3の場合は4回に設定されている。
ここで、仮想距離d1、d2、又はd3に応じた第1フレーム用の照射回数は第1フレーム用の所定照射回数より小さくなる。そのため、照射装置12は、1枚目の画像データを読み出した後、第2フレーム用の所定照射回数(図10に示す例では1回)に対して、減らした回数だけ多くした回数分照射光Leを照射する必要がある。つまり、照射装置12は、「第2フレーム用の所定照射回数(1回)」+「第1フレーム用の所定照射回数(10回)」−「仮想距離d1、d2、又はd3に応じた第1フレーム用の照射回数」で表される回数分、照射光Leを照射する必要がある。
そのため、補正用照射回数記憶部36aには、仮想距離d1、d2、d3に応じた第2フレーム用の照射回数が記憶されている。仮想距離d1、d2、d3に応じた第2フレーム用の照射回数は、「第2フレーム用の所定照射回数(1回)」+「第1フレーム用の所定照射回数(10回)」−「仮想距離d1、d2、d3に応じた第1フレーム用の照射回数」である。図10に示す例では、第2フレーム用の照射回数は、仮想距離d1の場合は3回、仮想距離d2の場合は5回、仮想距離d3の場合は7回に設定されている。
従って、1枚目の画像データが読み出されると、補正用制御信号生成部36は、図4に示すような補正用照射タイミング制御信号及び補正用露光タイミング制御信号を1組の補正用制御信号として、仮想距離d1、d2、又はd3に応じた第2フレーム用の照射回数分生成する。これにより、照射装置12は、仮想距離d1、d2、又はd3に応じた第2フレーム用の照射回数分照射光Leを照射し、固体撮像装置14の各単位画素50は、第1露光期間P1〜第4露光期間P4での露光を、仮想距離d1、d2、又はd3に応じた第2フレーム用の照射回数分回行う。第1露光期間P1〜第4露光期間P4での露光が、仮想距離d1、d2、又はd3に応じた第2フレーム用の照射回数分行われると、固体撮像装置14の全単位画素50が蓄積した光電子数QA、QB、QC、QDの情報(画像データ)が読み出されるが破棄される。従って、照射装置12による第2フレームにおける照射はダミー発光となる。
このように、仮想距離の長さに応じて露光回数を減らすので、擬似的に、固体撮像装置14に入射して露光される反射光Lrの光量を、実際に仮想距離に相当する距離に位置する補正用測距対象W´で反射し、固体撮像装置14に入射して露光される反射光Lrの光量と略同じにすることができる。また、露光回数を減らしても、照射装置12の照射回数は減らないので、本来の測距動作と補正用動作での照射装置及び固体撮像素子の発熱量を揃えることができる。なお、露光回数を減らすようにしたが、露光回数を減らさずに、第1減光手段42を設けるようにしてもよい。
[第3の実施の形態]
距離測定システム10は、画像データを周期的に読出して、逐次測距対象Wまでの距離を計測するものである。従って、図11に示すように、距離測定システム10は、動作開始時から徐々に温度センサ20a、20bが検出する温度が徐々に上昇する温度過渡状態(動作開始から時間T)を経て、発熱と放熱との釣り合いが取れて温度センサ20a、20bが検出する温度が安定する温度安定状態(温度変化率が閾値以下の状態)に突入する。
従って、動作開始から温度安定状態に突入するまでの時間Tを予め記憶部22に記憶しておき、演算部16は、動作開始から時間Tが経過してから(温度安定状態に突入してから)、温度安定状態における補正用データを用いて測距対象Wまでの距離を算出してもよい。これにより、距離測定の精度を向上させることができる。
また、動作開始からの各経過時間における温度過渡状態時の温度変化率を予め記憶部22に記憶してもよい。この場合は、制御部18は、温度センサ20a、20bが検出した温度に基づいて、動作開始からの各経過時間における温度変化率を求め、該求めた温度変化率と記憶部22に記憶されている温度変化率とを比較することで、発熱異常から経年劣化による故障を検知してもよい。
また、温度過渡状態時に、各仮想距離毎に、上記第1の実施の形態及び第2の実施の形態(変形例も含む)で示した何れかの補正用データの取得動作を周期的に行うことで、動作開始からの各経過時間において固体撮像装置14から読み出された画像データを温度過渡状態時の補正用データとして記憶部22に記憶してもよい。そして、温度過渡状態における測距動作時には、距離測定システム10は、固体撮像装置14から読み出された画像データと、該画像データが読み出された時の動作開始からの経過時間に対応する補正用データとを用いて測距対象Wまでの距離を計測してもよい。これにより、距離測定の精度を向上させることができる。
[第4の実施の形態]
図12は、第4の実施の形態の構成の要部を示す図である。第4の実施の形態においは、図12に示すように、照射装置12と第1減光手段42(又は測距対象W)との間、及び、固体撮像装置14と第2減光手段44(又は測距対象W)との間に、ミラー150、152を設ける。このミラー150、152は、照射光Leの光路、反射光Lrの光路から退避できるように移動する可動式ミラーである。なお、他の構成は、図1と同一である。
補正用データを取得する場合は、ミラー150、152を照射光Le、反射光Lrの光路に移動させることで、照射装置12が照射した照射光Leは、ミラー150、152を反射して、反射光Lrとして固体撮像装置14に入射する。従って、図12に示すような構成であっても、上記第2の実施の形態の動作を行うことによって、補正用データを取得することができる。
また、定期的に、ミラー150、152を照射光Le、反射光Lrの光路に移動させて、上記第1の実施の形態、又は、上記第2の実施の形態の動作(変形例も含む)で示した補正用データの取得動作を行うことで、距離測定システム10の経年劣化も測定することもできる。本第4の実施の形態においては、第1減光手段42及び第2減光手段44は必須の構成ではない。
なお、上記第1〜第4の実施の形態では、1回の照射光Leの照射に対して、第1露光期間P1〜第4露光期間P4での露光を行うようにしたが、第3露光期間P3と第4露光期間P4とは、略同じ値が得られるので、第4露光期間P4での露光を行わなくてもよい。この場合は、基準露光タイミング制御信号及び補正用露光タイミング制御信号は、3つの露光タイミングを規定する信号となる。また、測距対象Wまでの距離を求める方法は、数式(3)に限定されず、他の方法によって測距対象Wまでの距離を求めてもよい。この場合は、測距対象Wまでの距離を求める方法によって、1回の照射光Leの照射に対して予め決められた露光タイミングの数は、任意に変更可能である。
10…距離測定システム 12…照射装置
14…固体撮像装置 16…演算部
18…制御部 20a、20b…温度センサ
22…記憶部 32…基準クロック生成部
34…測定用制御信号生成部 34a…測定用照射回数記憶部
36…補正用制御信号生成部 36a…補正用照射回数記憶部
42…第1減光手段 44…第2減光手段

Claims (8)

  1. パルス光の照射タイミングを規定する基準照射タイミング制御信号と、前記照射タイミングに対して予め決められた露光タイミングを規定する基準露光タイミング制御信号とを生成する測定用制御信号生成部と、
    前記基準照射タイミング制御信号に従って、測距対象に対して前記パルス光を照射する照射装置と、
    前記基準露光タイミング制御信号に従って、前記パルス光を露光する固体撮像装置と、
    前記固体撮像装置が露光することで蓄積した光電子数の情報と補正用データとを用いて前記測距対象までの距離を演算する演算部と、
    を備える距離測定システムであって、
    前記補正用データを取得するために、予め決められた前記照射装置から前記測距対象と、前記測距対象から前記固体撮像装置を足した実距離より、仮想的に長い仮想距離の長さに応じて、前記基準露光タイミング制御信号に対して相対的に前記基準照射タイミング制御信号を遅延させた補正用照射タイミング制御信号及び補正用露光タイミング制御信号を生成する補正用制御信号生成部と、
    前記照射装置が前記補正用照射タイミング制御信号に従って照射し、前記固体撮像装置が前記補正用露光タイミング制御信号に従って露光することによって、固体撮像装置が蓄積した光電子数の情報を、前記仮想距離に相当する距離における前記補正用データとして記憶する記憶部と、
    を備えることを特徴とする距離測定システム。
  2. 請求項1に記載の距離測定システムであって、
    複数回の照射と露光をする場合であって、
    前記補正用制御信号生成部は、前記仮想距離の長さに応じて、前記固体撮像装置の露光回数を減らすように前記補正用露光タイミング制御信号を生成する
    ことを特徴とする距離測定システム。
  3. 請求項1に記載の距離測定システムであって、
    複数回の照射と露光をする場合であって、
    前記補正用制御信号生成部は、前記仮想距離の長さに応じて、前記照射装置の照射回数及び前記固体撮像装置の露光回数を減らすように前記補正用照射タイミング制御信号及び前記補正用露光タイミング制御信号を生成し、その後、減らした回数分だけ前記照射装置が前記パルス光を照射するようにダミー用照射タイミング制御信号を生成する
    ことを特徴とする距離測定システム。
  4. 請求項1に記載の距離測定システムであって、
    前記仮想距離の長さに応じて、前記照射装置が照射する前記パルス光の光強度を減光させる第1減光手段を備える
    ことを特徴とする距離測定システム。
  5. 請求項4に記載の距離測定システムであって、
    前記第1減光手段は、前記照射装置から前記測距対象までの光路の間に設けられた減光フィルタ、スリット、又は拡散板である
    ことを特徴とする距離測定システム。
  6. 請求項1〜5の何れか1項に記載の距離測定システムであって、
    前記固体撮像装置が露光する光の光強度を減光させる第2減光手段を備える
    ことを特徴とする距離測定システム。
  7. 請求項6に記載の距離測定システムであって、
    前記第2減光手段は、前記測距対象から前記固体撮像装置までの光路の間に設けられた絞り可変集光レンズである
    ことを特徴とする距離測定システム。
  8. パルス光の照射タイミングを規定する基準照射タイミング制御信号と、前記照射タイミングに対して予め決められた露光タイミングを規定する基準露光タイミング制御信号とを生成する測定用制御信号生成部と、
    前記基準照射タイミング制御信号に従って、測距対象に対して前記パルス光を照射する照射装置と、
    前記基準露光タイミング制御信号に従って、前記パルス光を露光する固体撮像装置と、
    前記固体撮像装置が露光することで蓄積した光電子数の情報と補正用データとを用いて前記測距対象までの距離を演算する演算部と、
    を備える距離測定システムを用いた補正用データの取得方法であって、
    前記補正用データを取得するために、予め決められた前記照射装置から前記測距対象と、前記測距対象から前記固体撮像装置を足した実距離より、仮想的に長い仮想距離の長さに応じて、前記基準露光タイミング制御信号に対して相対的に前記基準照射タイミング制御信号を遅延させた補正用照射タイミング制御信号及び補正用露光タイミング制御信号を生成し、前記照射装置が前記補正用照射タイミング制御信号に従って照射し、前記固体撮像装置が前記補正用露光タイミング制御信号に従って露光することによって、固体撮像装置が蓄積した光電子数の情報を、前記仮想距離に相当する距離における前記補正用データとして取得する
    ことを特徴とする補正用データの取得方法。
JP2013218198A 2013-10-21 2013-10-21 距離測定システム及び補正用データの取得方法 Expired - Fee Related JP6190690B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013218198A JP6190690B2 (ja) 2013-10-21 2013-10-21 距離測定システム及び補正用データの取得方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013218198A JP6190690B2 (ja) 2013-10-21 2013-10-21 距離測定システム及び補正用データの取得方法

Publications (2)

Publication Number Publication Date
JP2015081780A true JP2015081780A (ja) 2015-04-27
JP6190690B2 JP6190690B2 (ja) 2017-08-30

Family

ID=53012463

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013218198A Expired - Fee Related JP6190690B2 (ja) 2013-10-21 2013-10-21 距離測定システム及び補正用データの取得方法

Country Status (1)

Country Link
JP (1) JP6190690B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018054632A (ja) * 2015-06-17 2018-04-05 パナソニックIpマネジメント株式会社 撮像装置
WO2018181250A1 (ja) * 2017-03-30 2018-10-04 パナソニックIpマネジメント株式会社 距離画像生成装置及び距離画像生成方法
CN110716210A (zh) * 2018-07-12 2020-01-21 发那科株式会社 具有距离修正功能的测距装置
WO2020121736A1 (ja) * 2018-12-11 2020-06-18 ソニーセミコンダクタソリューションズ株式会社 光検出装置及び測距装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0214082U (ja) * 1988-07-11 1990-01-29
JPH08304540A (ja) * 1995-05-08 1996-11-22 Nissan Motor Co Ltd 画像および距離検知システム用センサ
JPH09318732A (ja) * 1996-05-31 1997-12-12 Nec Corp 測距シミュレータ
JP2001280951A (ja) * 2000-03-31 2001-10-10 Omron Corp 光学式変位計
US20080106724A1 (en) * 2006-10-27 2008-05-08 Sick Ag Optoelectronic monitor including dynamic testing unit
JP2011069726A (ja) * 2009-09-25 2011-04-07 Hamamatsu Photonics Kk 距離画像取得装置
US20120194798A1 (en) * 2011-01-28 2012-08-02 Analog Modules Inc. Accuracy of a laser rangefinder receiver
US8368876B1 (en) * 2008-10-17 2013-02-05 Odyssey Space Research, L.L.C. Calibration system and method for imaging flash LIDAR systems

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0214082U (ja) * 1988-07-11 1990-01-29
JPH08304540A (ja) * 1995-05-08 1996-11-22 Nissan Motor Co Ltd 画像および距離検知システム用センサ
JPH09318732A (ja) * 1996-05-31 1997-12-12 Nec Corp 測距シミュレータ
JP2001280951A (ja) * 2000-03-31 2001-10-10 Omron Corp 光学式変位計
US20080106724A1 (en) * 2006-10-27 2008-05-08 Sick Ag Optoelectronic monitor including dynamic testing unit
US8368876B1 (en) * 2008-10-17 2013-02-05 Odyssey Space Research, L.L.C. Calibration system and method for imaging flash LIDAR systems
JP2011069726A (ja) * 2009-09-25 2011-04-07 Hamamatsu Photonics Kk 距離画像取得装置
US20120194798A1 (en) * 2011-01-28 2012-08-02 Analog Modules Inc. Accuracy of a laser rangefinder receiver

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018054632A (ja) * 2015-06-17 2018-04-05 パナソニックIpマネジメント株式会社 撮像装置
WO2018181250A1 (ja) * 2017-03-30 2018-10-04 パナソニックIpマネジメント株式会社 距離画像生成装置及び距離画像生成方法
CN110716210A (zh) * 2018-07-12 2020-01-21 发那科株式会社 具有距离修正功能的测距装置
CN110716210B (zh) * 2018-07-12 2024-01-30 发那科株式会社 具有距离修正功能的测距装置
WO2020121736A1 (ja) * 2018-12-11 2020-06-18 ソニーセミコンダクタソリューションズ株式会社 光検出装置及び測距装置
CN112997097A (zh) * 2018-12-11 2021-06-18 索尼半导体解决方案公司 光检测设备和距离测量设备

Also Published As

Publication number Publication date
JP6190690B2 (ja) 2017-08-30

Similar Documents

Publication Publication Date Title
US10073164B2 (en) Distance-measuring/imaging apparatus, distance measuring method of the same, and solid imaging element
JP6741680B2 (ja) 撮像装置、およびそれに用いられる固体撮像素子
WO2017085916A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
JP5585903B2 (ja) 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
WO2016189808A1 (ja) 測距撮像装置、その測距方法及び固体撮像装置
JP6525579B2 (ja) 放射線撮像装置及び放射線撮像システム
JP6501403B2 (ja) イメージセンサ
US10498991B2 (en) High dynamic range pixel and a method for operating it
JP4798254B2 (ja) 受光デバイス及びその制御方法
US10257497B2 (en) Depth sensor, three-dimensional camera, and method of controlling noise of macro pixel
US10666875B2 (en) Solid-state imaging device
JP5576851B2 (ja) 測距システム及び測距方法
KR20190055238A (ko) 물체까지의 거리를 결정하기 위한 시스템 및 방법
JP7016183B2 (ja) 距離画像撮像装置、および距離画像撮像方法
US20170150077A1 (en) Imaging device, a solid-state imaging device for use in the imaging device
JP2013175951A (ja) 画素駆動装置及び画素駆動方法
JP6190690B2 (ja) 距離測定システム及び補正用データの取得方法
KR20120025858A (ko) 깊이 센싱 장치 및 방법
US10048380B2 (en) Distance-measuring imaging device and solid state imaging element
TW202112122A (zh) 距離影像攝像裝置及距離影像攝像方法
US20220350024A1 (en) Distance image capturing device and distance image capturing method
JP2016144135A (ja) 光電変換装置、撮像システム及び光電変換装置の駆動方法
KR20110005776A (ko) 별 추적기용 능동 픽셀 센서 장치
US20220357445A1 (en) Distance image measuring device
WO2023234253A1 (ja) 距離画像撮像装置、及び距離画像撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170807

R150 Certificate of patent or registration of utility model

Ref document number: 6190690

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees