JP2018077143A - 測距装置、移動体、ロボット、3次元計測装置、監視カメラ及び測距方法 - Google Patents

測距装置、移動体、ロボット、3次元計測装置、監視カメラ及び測距方法 Download PDF

Info

Publication number
JP2018077143A
JP2018077143A JP2016219373A JP2016219373A JP2018077143A JP 2018077143 A JP2018077143 A JP 2018077143A JP 2016219373 A JP2016219373 A JP 2016219373A JP 2016219373 A JP2016219373 A JP 2016219373A JP 2018077143 A JP2018077143 A JP 2018077143A
Authority
JP
Japan
Prior art keywords
signal
distance
light
pulse width
phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016219373A
Other languages
English (en)
Other versions
JP6848364B2 (ja
Inventor
陽一 市川
Yoichi Ichikawa
陽一 市川
宏昌 田中
Hiromasa Tanaka
宏昌 田中
周 高橋
Shu Takahashi
周 高橋
伊藤 昌弘
Masahiro Ito
昌弘 伊藤
二瓶 靖厚
Yasuhiro Nihei
靖厚 二瓶
小川 武士
Takeshi Ogawa
武士 小川
藤井 俊茂
Toshishige Fujii
俊茂 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2016219373A priority Critical patent/JP6848364B2/ja
Priority to US15/808,674 priority patent/US10775502B2/en
Publication of JP2018077143A publication Critical patent/JP2018077143A/ja
Application granted granted Critical
Publication of JP6848364B2 publication Critical patent/JP6848364B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4913Circuits for detection, sampling, integration or read-out
    • G01S7/4914Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates

Abstract

【課題】 構成や制御の煩雑化を抑制しつつ、測距レンジを広くすること又は測距精度を高めることができる測距装置を提供する。【解決手段】 距離センサ20Aは、光源21と、該光源21から射出され物体で反射された光を受光して光電変換し、その電気信号を複数の位相信号に分けて取得するイメージセンサ29(撮像素子)と、複数の位相信号に基づいて物体までの距離を算出するTOF演算部(演算部)と、を備え、イメージセンサ29が位相信号を取得する時間は、光源21の発光時間よりも長く設定される。この場合、構成や制御の煩雑化を抑制しつつ測距レンジを広くすることが可能な測距装置を提供できる。【選択図】図18

Description

本発明は、測距装置、移動体、ロボット、3次元計測装置、監視カメラ及び測距方法に関する。
近年、TOF(Time Of Flight)法を用いて物体までの距離を測定する測距装置の開発が盛んに行われている。
例えば、特許文献1には、光を投光してから、その光が物体で反射して戻ってくるまでの時間に基づいて物体までの距離を求める、いわゆるTOF(Time of Flight)演算方式を用いた測距装置が開示されている。
しかしながら、特許文献1に開示されている測距装置では、構成や制御の煩雑化を抑制しつつ、測距レンジを広くすること又は測距精度を高めることに関して改善の余地があった。
本発明は、光源と、前記光源から射出され物体で反射された光を受光して光電変換し、その電気信号を複数の位相信号に分けて取得する撮像素子と、前記複数の位相信号に基づいて前記物体までの距離を算出する演算部と、を備え、前記撮像素子が前記位相信号を取得する時間と前記光源の発光時間は、長さが異なることを特徴とする測距装置である。
本発明によれば、構成や制御の煩雑化を抑制しつつ、測距レンジを広くすること又は測距精度を高めることができる。
本発明の一実施形態に係る距離センサを搭載した走行体の外観図である。 走行管理装置の構成を説明するためのブロック図である。 距離センサの構成を説明するための図である。 投光系を説明するための図である。 発光制御信号を説明するための図である。 光源駆動信号を説明するための図である。 受光系を説明するための図である。 制御系とイメージセンサとの間の信号を説明するための図である。 図9(a)及び図9(b)は、それぞれ一般的なTOFセンサの構成例を示す図である。 1つの受光部に対して電荷を2箇所に振り分ける構造の一例を示す図である。 正弦波変調方式(四相式)の1フレームを示すタイミング図である。 矩形波変調方式(二相式)の1フレームを示すタイミング図である。 図13(a)は位相信号と位相差角φdの関係を示す図であり、図13(b)は出力距離と実距離の関係を示す図である。 一般的な四相式のTOFセンサが受信光を受光したときの照射光、受信光、各位相信号、各取得時間制御信号の関係を示すタイミング図である。 一実施形態の四相式の距離センサが受信光を受光したときの照射光、受信光、各位相信号、各取得時間制御信号の関係を示すタイミング図である。 一実施形態の六相式の距離センサが受信光を受光したときの照射光、受信光、各位相信号、各取得時間制御信号の関係を示すタイミング図である。 取得時間制御信号のパルス幅のみが互いに異なる一般的なTOFセンサと一実施形態の距離センサを用いてそれぞれ測距を行った場合の出力距離と実距離の関係を示す図である。 一実施形態の実施例1の距離センサを説明するための図である。 一実施形態の実施例2の距離センサを説明するための図である。 図20(a)及び図20(b)は、それぞれ一実施形態の距離センサの動作フロー1、2を説明するためのフローチャートである。 図21(a)及び図21(b)は、それぞれ一般的な四相式のTOFセンサ及び一実施形態の距離センサ(四相式)のフレーム構成例を示す図である。 一実施形態の距離センサの1フレームに発光フレームと非発光フレームが含まれる場合のフレーム構成例を示す図である。 図23(a)は測距精度を高めるためのフレーム構成例を示す図であり、図23(b)は測距を高速化するためのフレーム構成例を示す図である。 一実施形態の距離センサの動作フロー3を説明するためのフローチャートである。 一実施形態の実施例3の距離センサを説明するための図である。 一実施形態の実施例4の距離センサを説明するための図である。 一実施形態の実施例5の距離センサを説明するための図である。 一実施形態の実施例6の距離センサを説明するための図である。 一実施形態の実施例7の距離センサを説明するための図である。 一実施形態の実施例8の距離センサを説明するための図である。 一実施形態の距離センサの動作フロー4を説明するためのフローチャートである。 一実施形態の距離センサの使用の有無を判定するためのフローチャートである。 取得時間制御信号のパルス幅を光源駆動信号のパルス幅よりも短くする例について説明するための図である。
[導入]
3次元情報を計測する3次元センサ(距離センサ)の1つに、強度変調した照射光を投射してから該照射光が測定対象で反射して戻るまでの飛行時間を検出して測定対象までの距離を求める、Time of Flight(TOF)法を用いる“TOFセンサ”が既に知られており、種々ある3次元センシング方式の中でも、その高速性の原理的優位性から、昨今さまざまな用途への開発が進められている。例えばジェスチャー認識や、ロボットや自動車などの移動体の位置制御などへの応用が期待されている。
TOF法には、直接TOF法と間接TOF法があり、一般的に間接TOF法の方が近距離測定に有利であると言われている。本発明は、間接TOF法を用いる発明であるため、以降、明記しない限り、「TOF法」とは間接TOF法のことであり、「TOFセンサ」とは間接TOF法を用いた距離センサのことである。
[実施形態]
以下、本発明の一実施形態を図面に基づいて説明する。図1には、一実施形態の測距装置としての距離センサ20(TOFセンサ)を搭載した走行体1の外観が示されている。この走行体1は、荷物を目的地に無人搬送するものである。なお、本明細書では、XYZ3次元直交座標系において、路面に直交する方向をZ軸方向、走行体1の前進方向を+X方向として説明する。
ここでは、距離センサ20は、一例として、走行体1の前部に取り付けられ、走行体1の+X側(前方)の3次元情報を求める。なお、距離センサ20による測定可能な領域を測定領域ともいう。距離センサ20の出力によって、走行体1の進行方向の障害物の有無及び位置情報を検出することができる。
走行体1の内部には、一例として図2に示されるように、表示装置30、位置制御装置40、メモリ50、及び音声・警報発生装置60などが備えられている。これらは、データの伝送が可能なバス70を介して電気的に接続されている。
ここでは、距離センサ20と、表示装置30と、位置制御装置40と、メモリ50と、音声・警報発生装置60とによって、走行管理装置10が構成されている。すなわち、走行管理装置10は、走行体1に搭載されている。また、走行管理装置10は、走行体1のメインコントローラ80と電気的に接続されている。
距離センサ20は、一例として図3に示されるように、投光系201、受光系202、及び制御系203などを有している。そして、これらは、筐体内に収納されている。この筐体は、投光系201から投光される光、及び測距対象の物体(以下では「対象物」とも呼ぶ)で反射され、受光系202に向かう光が通過するための窓を有し、該窓にはガラスが取り付けられている。
音声・警報発生装置は、一例として、距離センサ20が取得した3次元情報から、障害物の回避の可否を判定し、回避不可と判断された場合に周囲の人員に通知する。
このような用途では、走行体1の速度と障害物を判定する処理速度によって、距離センサ20に必要な測距レンジ(測距可能な距離範囲)が決まる。走行体1の速度が速くなるほど、予め障害物を判定するための測距レンジを長くする必要がある。
投光系201は、受光系202の−Z側に配置されている。この投光系201は、一例として図4に示されるように、光源21及び光源駆動部25などを有している。
光源21は、光源駆動部25によって点灯及び消灯される。ここでは、光源21としてLED(発光ダイオード)が用いられているが、これに限らず、例えば半導体レーザ(端面発光レーザや面発光レーザ)等の他の光源を用いても良い。光源21は、+X方向に光を射出するように配置されている。なお、以下では、光源駆動部25で生成され、光源21を駆動するための信号を「光源駆動信号」と呼ぶ。
光源駆動部25は、制御系203からの発光制御信号(図5参照)に基づいて、光源駆動信号(図6参照)を生成する。この光源駆動信号は、光源21及び制御系203に送出される。
これにより、光源21からは、制御系203から指示されたパルス幅のパルス光が射出される。なお、光源21から射出されるパルス光は、デューティ(duty)が50%以下となるように、制御系203において設定されている。また、以下では、光源21から射出される光を「照射光」とも呼ぶ。さらに「照射光」の1パルスを「照射光パルス」とも呼ぶ。
走行体1のメインコントローラ80は、走行体1を走行させる際に、位置制御の開始要求を位置制御装置40に送出する。そして、走行体1のメインコントローラ80は、走行体1が目的位置に到達すると、位置制御の終了要求を位置制御装置40に送出する。
位置制御装置40は、位置制御の開始要求、及び位置制御の終了要求を受け取ると、制御系203に送出する。
距離センサ20から射出され物体(対象物)で反射された光の一部は、距離センサ20に戻ってくる。以下では、便宜上、物体で反射され距離センサ20に戻ってきた光を「物体からの反射光」や「受信光」とも呼ぶ。さらに「物体からの反射光」の1パルスを「受信光パルス」や「反射光パルス」とも呼ぶ。
受光系202は、物体からの反射光を検出する。受光系202は、一例として図7に示されるように、結像光学系28及びイメージセンサ29(撮像素子)などを有している。
結像光学系28は、物体からの反射光の光路上に配置され、該光を集光する。ここでは、結像光学系28は1枚のレンズで構成されているが、2枚のレンズで構成されても良いし、3枚以上のレンズで構成されても良いし、ミラー光学系を用いても良い。
イメージセンサ29は、結像光学系28を介した物体からの反射光を受光する。イメージセンサ29の出力信号(アナログ信号)は、ADC(アナログデジタルコンバータ)でデジタル信号に変換され、制御系203に送られる。ここでは、イメージセンサ29として、複数の受光部が2次元配列されたエリアイメージセンサ(例えばCCDやCMOS)が用いられている。イメージセンサ29の各受光部は「画素」とも呼ばれる。
イメージセンサ29は、受光した光を画素毎に光電変換し、その電気信号を時間毎の複数の位相信号に分けて順次取得する。
詳述すると、イメージセンサ29は、各受光部(例えばフォトダイオードやフォトトランジスタ)に対して2つの電荷蓄積部を有しており、Vtx1信号がハイレベルのときは、該受光部で光電変換された信号電荷を一方の電荷蓄積部に蓄積し、Vtx2信号がハイレベルのときは、該受光部で光電変換された信号電荷を他方の電荷蓄積部に蓄積する。また、イメージセンサ29は、Vtxd信号がハイレベルのときは、電荷の蓄積を行わず、リセット信号がハイレベルになると、2つの電荷蓄積部に蓄積されている電荷量を0にする。
すなわち、Vtx1信号、Vtx2信号は、イメージセンサ29が位相信号を取得する時間を制御するための信号(以下では「取得時間制御信号」とも呼ぶ)である。
イメージセンサ29は、制御系203から読み出し信号を受信すると、出力信号(各位相信号の信号量)を制御系203に送信する。
制御系203は、一例として図8に示されるように、Vtx1信号、Vtx2信号、Vtxd信号、リセット信号及び読み出し信号をイメージセンサ29に選択的に出力する。
また、制御系203は、光源駆動部25に発光制御信号を出力して光源21をパルス発光させ、対象物からの反射光パルスを受光したイメージセンサ29からの出力信号に基づいて光源21の発光タイミングとイメージセンサ29の受光タイミングの時間差を算出し、該時間差から対象物までの距離を求める。
ところで、一般的なTOFセンサは典型的に、多位相シフトを用いて対象物までの距離を取得する。例えば、四相式TOFセンサは、信号光である照射光の変調周波数(照射光のパルス周期の逆数)に対して、4つの位相信号(位相シフト量:0°、90°、180°、270°)を用いて距離を取得する。
TOFセンサの理論的な測定可能距離範囲(測距レンジ)には制限がある。この測距レンジは、照射光の変調周波数で決まり、例えば四相式TOFセンサでは、照射光の飛行時間が照射光のパルス幅の2倍よりも大きい範囲を測定することは不可能であり、エイリアシングと呼ばれる現象により、測定距離に対して出力距離は周期的になる。つまり、照射光のパルス幅(光源駆動信号のパルス幅)が長く、変調周波数が低いほど、TOFセンサで測定可能な最大距離はより長くなり、測距レンジはより広くなる。
TOFセンサの測距精度(距離測定精度)も照射光の変調周波数で決まるが、該変調周波数が高くパルス幅が短いほど、高精度になる。TOFセンサに期待される、多くのアプリケーションにおいて、測距レンジを広くすることと、測距精度を高くすることは同時に求められることが多く、その際、エイリアシング現象への対策(ディエイリアシング技術)が必要とされる。
従来のディエイリアシング技術の多くは、複数の変調周波数の照射光を用いて取得した位相信号をTOF演算に用いる。その場合、まず、複数の周波数で光源及び撮像素子を駆動する必要があるため、TOFセンサのメカ系と制御系のどちらか、もしくはその両方が複雑化する。さらに、距離値を出力する1フレームの間で取得しなければならない位相信号数も多くなるために、フレーム構成が複雑化することが懸念される。
図9(a)及び図9(b)には、それぞれ本実施形態の距離センサ20のベースとなる一般的なTOFセンサ1、2の構成が示されている。
図9(a)に示されるように、TOFセンサ1は、光源及び光源駆動部を含む投光系と、撮像素子及びADC(アナログデジタルコンバータ)を含む受光系と、制御部、TOF演算部及び出力部を含む制御系と、を備えている。
TOFセンサ1の各構成要素は、データの伝送が可能なパスを介して電気的に接続され、パッケージに収容されている。
制御部は、TOFセンサ1による測距(距離測定)の際に、投光系の光源駆動部と受光系の撮像素子を制御し、光源駆動信号のパルス幅及びデューティ比を設定する信号(発光制御信号)を光源駆動部に送出し、該パルス幅に合わせた取得時間制御信号を撮像素子に送出する。
投光系では、制御部から指示された通りに(発光制御信号に基づいて)、光源駆動部が光源をパルス発光させる。光源には一般的に、LD(端面発光レーザ)、LED(発光ダイオード)、VCSEL(面発光レーザ)などが用いられる。
受光系では、撮像素子が、対象物からの反射光の一部を受光して生成したアナログ信号を、ADCでデジタル信号に変換し、TOF演算部に送る。撮像素子にはCMOSやCCDが用いられる。一般的なTOFセンサでは専用の撮像素子が用いられる。
一例として、TOFセンサ専用のCMOSであるTOF−CMOSについて説明する。TOF−CMOSは、1つの受光部に対して電荷を2箇所に振り分ける構造になっているものが主流である。このような1つの受光部に対して2箇所の電荷振分け先を持つ構造のTOFセンサでは、最低2回の露光が必要になる。
このような構造の一例が図10に示されている。図10に示されるように、受光部100の両側に第1及び第2電荷蓄積部20a、20bが配置されている。受光部100と第1電荷蓄積部20aとの間には第1電荷転送部30aが配置されている。受光部100と第2電荷蓄積部20bとの間には第2電荷転送部30bが配置されている。
受光部100は受光した光を信号電荷に変換する。この信号電荷の一部は第1電荷転送部30aを介して第1電荷蓄積部20aに送られ、他の一部は第2電荷転送部30bを介して第2電荷蓄積部20bに送られる。
このような構造では、例えば1度の受光で得られた信号(受光信号)を0°の位相成分と180°の位相成分に振り分けることが可能である。
原理的には、1つの受光部に対して3箇所以上に振り分ける構造にして、1度の受光で得られた信号(受光信号)を3つ以上の位相成分に振り分けることも可能ではあるが、振り分け箇所を増やすと画素領域内、電荷蓄積領域、またはそれに付属する構造体が占める割合が大きくなることで受光部面積が小さくなり、十分な感度が得られなくなる問題が生じるため、振り分け箇所の数を徒に増やすことは好ましくない。
そのため、四相式TOFセンサなど、より多位相の位相信号を取得するTOFセンサでは、しばしば、演算に必要な位相信号の数が撮像素子の各画素の電荷の振り分け先の数(電荷蓄積部の数)よりも多くなる。
このような場合、1フレームにおける信号の取得を、サブフレームと呼ばれる位相信号取得フレームに分けて行なうことで、必要な位相情報の全てを取得する方法が一般的である。
TOF演算部では、照射光の変調周波数の値と、撮像素子から送られる各位相信号の信号量を用いてTOF演算を行なう。TOF演算の詳細は後述する。
TOF演算部で計算された距離値は出力部から所定の形式で出力される。
図9(a)に示されるTOFセンサ1は、構成要素が全て1つのパッケージに収容されているが、図9(b)に示されるTOFセンサ2のように、投光系及び受光系のみをパッケージに収容し、制御系を例えばPC(パーソナルコンピュータ)などの他のハードウェアで構成しても良い。つまり、「TOFセンサ」は、投光系、受光系及び制御系が一体的に構成されるもののみならず、投光系、受光系及び制御系の少なくとも1つが別体であるものも含む。
まず、代表的なTOF法の測距原理の1つである正弦波変調方式について、図11を用いて説明する。
正弦波変調方式とは、受信光を時間的に3つ以上に分割して検出した各位相信号を用いて、照射光の射出タイミングに対する受信光の受光タイミングの遅延時間Tdを位相差角の演算で取得する方法である。図11には、4相式の正弦波変調方式の測定の1フレームの構成内容が示されている。
図11に示されるように、1フレームは、2つのサブフレーム、すなわち0°、180°の位相信号取得フレームと、90°、270°の位相信号取得フレームに分けられる。各サブフレームは、共にreset動作から始まり、読み出し動作で終わる点は共通である。
reset動作では1度読み出し部(電荷蓄積部)にある信号を電気的に吸い上げて、リセットする。2つのサブフレーム間で、照射光のパルス幅T0とパルス周期Tと遅延時間Tdは、変化しない。
ここで、パルス周期Tは、パルス幅とデューティ比で決まり、図11には一例としてデューティ比が50%の場合が示されている。2つのサブフレーム間で大きく異なるのは、Vtx1信号とVtx2信号のタイミングである。
Vtx1信号、Vtx2信号は、それぞれ前述のTOF−CMOSの構造内の電荷の振り分け先である2つの電荷蓄積部を電荷蓄積部1、2とした場合に、Vtx1信号がハイレベルのときに電荷蓄積部1に電荷が振り分けられ、Ttx2信号がハイレベルのときに電荷蓄積部2に電荷が振り分けられる。
制御部は、0°、180°位相信号取得フレームではVtx1信号を照射光と同じタイミングで立ち上げ、Vtx2信号を照射光の立ち上りから照射光のパルス幅T0だけ遅れたタイミングで立ち上げ、撮像素子に繰り返し送っている。
これに対して、制御部は、90°、270°位相信号取得フレームではVTX1信号を照射光の立ち上りからT0/2だけ遅れたタイミングで立ち上げ、TX2信号を照射光の立ち上りよりT0/2だけ早いタイミングで立ち上げ、撮像素子に繰り返し送っている。
各サブフレームには、最後に、2箇所に振り分けられた位相信号を読み出す期間があり、2つのサブフレームで合わせて4つの位相信号が制御部により読み出され、TOF演算部に送られる。2つのサブフレームは1フレーム内の異なる時間帯であるが、1フレーム内の十分に短い間隔で実行されるため、両者の差はほとんど無いものとしてよい。
そのため、各サブフレームにおいて受信光に対してTOFセンサの取得する信号量は等しくなる。つまり、位相信号同士は次の(1)式で関連付けることができる。
A0+A180=A90+A270 …(1)
例えば、図11に示される遅延時間Tdが小さくなる、TOFセンサと対象物の距離が短い場合を考えると、4つの位相信号A0、A90、A180、A270は、それぞれ照射光のパルス周期に対して、時間的に0°、90°、180°、270°の4つの位相に分割された位相信号であるため、次の(2)式を用いて位相差角φを求めることができる。
φ=Arctan{(A90−A270)/(A0−A180)} …(2)
位相差角φを用いて、遅延時間Tdは、次の(3)式から求めることができる。
Td=φ/2π×T(T=2T0、T0:照射光のパルス幅) …(3)
遅延時間Tdを用いて対象物までの距離値dは、次の式(4)より求めることができる。
d=Td×c÷2(c:光速) …(4)
以上のような位相差の演算方法から、正弦波変調方式において測定性能を高める理想的な照射光波形はsin波形である。正弦波変調方式のTOF演算では、照射光のパルス幅T0によって、測定可能な最大距離(測距レンジ)が決まる。正弦波変調方式の場合、測距レンジは遅延時間Tdが、照射光のパルス幅T0の2倍以下の範囲を測定可能であり、例えば照射光のパルス幅T0が30nsの場合、測距レンジは0〜9mになる。
次に、もう1つの代表的なTOF法の測距原理である矩形波変調方式について、図12を用いて説明する。矩形波変調方式とは、受光信号を時間的に分割した複数の位相信号を用いて、照射光の立ち上りに対する受信光の立ち上りの遅延時間Td´を求める方法である。
ここでは、一例として2相式の矩形波変調方式について図12を用いて説明する。図12に示されるフレーム構成によって、時間的に0°、180°の2つの位相に分割された位相信号(A0´、A180´)を取得し、次の(5)式を用いて受信光の遅延時間Td´を求めることができる。
Td´={A180´/(A0´+A180´)}×T0´(T0´:照射光のパルス幅)…(5)
遅延時間Td´を用いて対象物までの距離値d´は上記(5)式と同様に次の(6)式より求めることができる。
d´=Td´×c÷2(c:光速)…(6)
これまで、デューティ比が50%の例で説明を進めてきており、結果として照射光の変調周波数を用いて説明しているが、TOF法の原理によれば、重要なのは照射光のパルス幅(T0、T0´)であり、ディーティ比<50%での実施を含めると、照射光の変調周波数ではなくパルス幅で規定する方が好ましい。
以上のような位相差の演算方法から、矩形波変調方式において測距性能を高める理想的な照射光波形は矩形波形である。
矩形波変調方式のTOF演算でも、照射光のパルス幅によって、測定可能な最大距離範囲(測距レンジ)が決まる。矩形波変調方式の場合、測距レンジは遅延時間Tdが、照射光のパルス幅T0以下の範囲を測定可能であり、例えば発光パルス幅が30nsの場合、測距レンジは0〜4.5mになる。
正弦波変調方式と矩形波変調法式を比較すると、同じパルス幅の照射光を使用した場合の測距レンジは、正弦波変調方式が2倍広いことが分かる。そのため測距レンジを広くしたい場合には正弦波変調方式の方が好ましい。
前述の如く、TOFセンサでは、測距レンジは照射光の変調周波数によって決まり、測距レンジを広くしたい場合には、該変調周波数を低くしなければならない。これは、対象物までの距離が測距レンジよりも遠くなると、位相の折り返し(エイリアシング)が起こるためである。
エイリアシングは図13(a)に示される、各位相信号で決まる位相差角φdが2πを超えた場合に起こり、エイリアシングによりTOFセンサは、同じ距離値を周期的に出力する。
図13(b)には、四相式TOFセンサを照射光のパルス幅が15nsで使用した場合の、実際のエイリアシングの例であり、測距レンジ4.5mを越える範囲では出力距離が繰り返しになることが分かる。
測距レンジは、TOFセンサの応用を考える上で非常に重要であるため、TOF演算方式、照射光の変調周波数を選定し、所望の範囲に設定することが必要となる。
照射光のパルス幅が長く、変調周波数が低いほど、TOFセンサで測定可能な最大距離はより長くなり、測距レンジはより広くなる。
以下で、エイリアシングについて、より詳細に説明する。四相式TOFセンサを例に挙げる。四相式TOFでは図13(a)に示されるように、時間的に0°、90°、180°、270°の4つの位相に分割した位相信号A0、A90、A180、A270と位相差角φdを関係付けることができる。位相差角φdは常に0〜2πの間で変化するので、図13(b)に示されるように、出力距離はφdが0〜2πの範囲に対応する測距レンジで周期的な距離値を出力する。この周期的な出力距離の折り返しがエイリアシングである。このエイリアシング対策技術(ディエイリアシング)として、従来、複数の変調周波数の照射光を使い分けることで測距精度と測距レンジの両立を実現するための技術が知られている。
これに対して、本実施形態では、以下に詳細に説明するように、複数の変調周波数の照射光を必要とせずに、測距レンジを広げることできる。
図14は、一般的な四相式TOFセンサにおける照射光、受信光、取得時間制御信号(Vtx1、Vtx2)、各位相信号の関係を示すタイミング図である。図14において、ApulseはTOFセンサの受信光パルス全ての信号量を示し、A0〜A270は各位相信号の信号量を示す。
Apulseは、照射光強度Fと、対象物の反射率、撮像素子の受光感度等を含んだ係数Pとを用いて次の(7)式で表される。
F×P=Apulse …(7)
以降、各位相信号、例えば四相式におけるA0、A90、A180、A270とApulseは、1つの照射光パルスに対して定義する場合と、測定フレーム間で取得する全量を定義する場合を区別しない。測定フレーム間で取得する全量の場合は、1つの照射光パルスの場合の、光源の発光回数η倍の信号量になる。
四相式TOFセンサの場合、Apulseは次の(8)式で表される。
A0+A180=A90+A270=Apulse …(8)
図15には、本実施形態の距離センサ20(ここでは四相式TOFセンサ)における、照射光、受信光、取得時間制御信号(Vtx1、Vtx2)、各位相信号の関係を示す。
図14の一般的な四相式TOFセンサでは、取得時間制御信号のパルス幅が照射光のパルス幅(光源駆動信号のパルス幅)と同じに設定されているのに対して、本実施形態の距離センサ20では、図15に示されるように、取得時間制御信号のパルス幅Tvが照射光のパルス幅Tpの2倍に設定されている。
表1は、本実施形態の距離センサ20における、TOF演算の一例を示した表である。距離センサ20では、各位相信号の信号量の条件によってTOF演算式が変わる。距離センサ20では、図15に示されるように、照射光のパルス幅Tpに対して遅延時間Td≦4Tpの範囲の距離が測定可能である。
つまり、本実施形態の距離センサ20は、一般的な四相式TOFセンサを、同じ照射光のパルス幅で使用する場合と比べて、測距レンジは2倍になる。また、距離センサ20は、該距離センサ20と測距レンジが等しくなるように照射光のパルス幅を長くした一般的な四相式TOFセンサと比較した場合、デューティ比が小さく照射光のパルス幅が短いため受光輝度が低くなるものの、一般的に使用する輝度十分の条件では、輝度よりもパルス幅の方が測距精度への影響が大きい。そのため、照射光のパルス幅を長くしていない本実施形態の距離センサ20は、照射光のパルス幅を長くした一般的な四相式TOFセンサよりも測距精度で有利になる。
Figure 2018077143
図15や表1は、本実施形態の距離センサ20によるTOF演算の一例であり、本発明の使用を四相式TOF演算に限定するものではない。
図16には、本実施形態の距離センサ20において六相式TOF演算を行う場合の、照射光、受信光、各取得時間制御信号(Vtx1、Vtx2)、各位相信号の関係が示されている。
図16に示されるように、距離センサ20において六相式TOF演算を行う場合、照射光のパルス幅Tpに対して取得時間制御信号のパルス幅Tvは2倍に設定され、測距レンジは一般的な六相式のTOFセンサの場合の2倍になる。
以下に、本実施形態の距離センサ20におけるTOF演算の詳細を説明する。距離センサ20の測距レンジR´の、一般的なTOFセンサの測距レンジRに対する倍率Mは、最も簡易な方法で距離センサ20を使用する場合、距離センサ20が取得する位相信号数Nで決まり、次の(9)式、(10)式のようになる。
N/(N−2)≦M≦N/2 …(9)
R´=M×R …(10)
この場合に、照射光パルスのパルス幅Tpと、取得時間制御信号のパルス幅Tvは、次の(11)式のように設定される。
M=Tv/Tp …(11)
上記(9)式〜(11)式の条件では、常に、複数の位相信号のうち少なくとも1つの位相信号は物体からの反射光を受光しないタイミングで取得されるため、TOF演算において外乱光や暗電流などによる信号のオフセット成分を取り除くことが可能である。そのため、本実施形態の距離センサ20は外乱光耐性が強い。
本実施形態の距離センサ20においてN相式TOF演算を行う場合は、信号量が最大の位相信号の信号量をA(i)、iを照射光パルスに対するA(i)の位相シフト量(°)、位相シフト量の刻み幅(°)である360/Nをqとした場合に、対象物までの距離値dは、次の(12)式で表される。
d=(To+(A(i+q)−A(i+180))/(A(i)−A(i+180))×Tp))×c/2 …(12)
ここで、A(i)の位相シフト量iは0≦i<360である。また、取得する位相信号の位相シフト量(°)をx、取得する位相信号をAxとした場合に、次の(13)式が成立する。
Ax=A(x±360) …(13)
上記(12)式におけるToはA(i)で決まる遅延時間のオフセット成分であり、次の(14)式で表される。
To=h×Tp …(14)
上記(14)式におけるhは、次の(15)式で表される変数である。
h={M(i+q)/180}−1 …(15)
取得した位相信号の中で信号量がA(i)に相当する位相信号が複数存在する場合でも、任意の位相信号を選択しても上記(12)式は成立する。計算に用いるA(i)によっては上記(12)式が負の値になる場合がある。これは、上記(10)式に示されるように、距離センサ20で取得された位相信号Ax、A(x+360)を区別できないためである。そのため出力する位相信号は、次の(16)式、(17)式のように、dの値によって正しい距離値dに直す必要がある。
d≦0の場合、d=d+R´ …(16)
d>0の場合、d=d …(17)
また、上記(12)式において分母を、次の(18)式のように置き換えても良い。
A(i)−A(i+180)=A(i−q)+A(i−q+180)−2×A(i+180) …(18)
つまり、TOF演算の基本的な形は、遅延時間分ずれた信号量をAd、反射光パルスが入らないタイミングで取得された位相信号の信号量をDCとした場合、距離値dは次の(19)式のように表され、Ad、Apulse、DC、Toの決め方は制限されない。
d=(To+(Ad−DC)/(Apulse−DC)×Tp)×c/2 …(19)
測距レンジの倍率MをN/(N−2)未満、すなわち次の(20)式の条件で使用する場合、反射光パルス全てを受光した場合の位相信号の信号量Apulseや、反射光パルスの入らない場合の信号量DCの位相信号は、距離条件によっては存在しない。その場合は上記(12)式ではない演算式が必要となる。しかし、基本的な考え方は上記(19)式のままである。
1≦M<N/(N−2) …(20)
この場合、ApulseとDCは、位相信号の演算で求める必要がある。図16には、六相式TOF演算で測距レンジの倍率Mが2の場合が一例として示されている。この条件では、位相信号の信号量が最大の位相信号だけでなく、全ての位相信号の大きさの順位を決定する必要がある。N相式TOF演算で取得される位相信号はN個である。信号量が最大の位相信号の信号量を同様にA(i)として、信号量が2番目、3番目に大きい位相信号の信号量をそれぞれA(j)、A(k)とする。ここで、j、kはiと同様に位相信号の位相シフト量(°)を示す。この条件でのApulseとDCをそれぞれApulse´、DC´とすると、次の(21)式、(22)式が成立する。
Apulse´=N/2M×(A(j)−A(k+180)) …(21)
DC´=A(i)+A(i+180)−N/2M×(A(j)−A(k+180)) …(22)
また、上記(20)式の条件でもAd、Toについては上記(12)式と共通である。よって、上記(20)式の条件で本実施形態の距離センサ20を使用する場合は、上記(21)式、(22)式を上記(12)式に代入すれば良く、その結果、次の(23)式が得られる。
d=(To+(A(i+q)−DC´)/Apulse´)×Tp))×c/2 …(23)
上記(21)式〜(23)式は、六相式TOF演算を行う場合の例である。N相式TOF演算を行う場合、上記(21)式、(22)式中のA(j)、A(k+180)は位相信号の信号量の大きさの順序で定義する必要があり、A(j)はN/2番目に信号量の大きな位相信号、A(K+180)はN/(2−1)番目に信号量の小さな位相信号である必要がある。Nが奇数の場合、小数点以下は切り捨てる。また、信号量が等しい位相信号が複数存在する場合でも、任意の方法で順位を決める必要がある。
このように、上記(9)式の条件のみならず、上記(20)式の条件でも本実施形態の距離センサ20は使用可能である。どちらの条件でTOF演算を行うかは、光源駆動信号のパルス幅(照射光のパルス幅)と取得時間制御信号のパルス幅(位相信号の取得時間)で決めることができる。
図17には、一般的なTOFセンサによる四相式のTOF演算と、本実施形態の距離センサ20による四相式TOF演算で距離測定を行なった場合のそれぞれの測定結果が示されている。これらの四相式TOF演算において、照射光のパルス幅は10nsであり、光源の発光回数や発光強度で決まる受光輝度を同等にしている。
一般的なTOFセンサによってTOF演算を行う場合は、信号取得動作に用いられる取得時間制御信号のパルス幅も10nsであり、デューティ比(パルス幅/パルス周期)は50%である。
これに対して、本実施形態の距離センサ20によってTOF演算を行う場合は、信号取得動作に用いられる取得時間制御信号のパルス幅は20nsであり、ディーティ比は25%である。
図17のグラフにおいて、横軸が測定した対象物までの実距離[m]、縦軸がセンサで測定した結果の出力距離[m]である。図17のグラフ中、一般的なTOFセンサによる測定結果が破線で示され、本実施形態の距離センサ20の測定結果が実線で示されている。
一般的なTOFセンサの測距レンジは、光源駆動信号のパルス幅で決まり、ここでは3.0mである。そのため測定結果も3.0mより長距離側でエイリアシングが起きるために出力距離が繰り返しになっている。
これに対して本実施形態の距離センサ20では、測距レンジを一般的なTOFセンサの2倍に拡張できるため、3.0mより長距離側でも距離測定が可能である。
図18には、本実施形態の距離センサ20の一構成例である実施例1の距離センサ20Aの構成が示されている。
実施例1の距離センサ20Aは、図18に示されるように、前述した一般的なTOFセンサ1、2と同様の光源21、光源駆動部25、イメージセンサ29(撮像素子)、ADC(アナログデジタルコンバータ)、制御部、TOF演算部及び出力部に加えて、位相信号判定部を有している。これらの各構成要素はデータの伝送が可能なパスを介して電気的に接続されている。距離センサ20Aにおいて、光源21、光源駆動部25、イメージセンサ29、ADC、制御部、TOF演算部及び出力部の動作は一般的なTOFセンサと大きく変わらないが、イメージセンサ29で取得された各位相信号は、ADCを介して位相信号判定部に送られる。位相信号判定部では、位相信号の判定を行なう。「位相信号の判定」とは、複数の位相信号の信号量の大小関係を判定すること、すなわち複数の位相信号の信号量の大きさを比較しその比較結果を出力することである。
図19には、本実施形態の距離センサ20の一構成例である実施例2の距離センサ20Bの構成が示されている。
実施例2の距離センサ20Bでは、図19に示されるように、位相信号の判定を、撮像素子から出力されAD変換(アナログデジタル変換)される前の出力信号(アナログ信号)に対して行なう点が、実施例1の距離センサ20Aとは異なる。
そのため、距離センサ20では、位相信号判定部は、図19に示されるように受光系内における撮像素子とADCとの間に接続されている。
図9に示される一般的なTOFセンサ1、2と同様に、実施例1、2の距離センサ20A、20Bの各構成要素が一体か否か、また外部のハードウェアを含めたシステムであるかは制限されない。
図20(a)及び図20(b)には、本実施形態の距離センサ20(実施例1、2の距離センサ20A、20B)の動作フロー1、2が示されている。
図20(a)は上記(9)式の条件のみでMを定義する場合を示し、図20(b)は上記(9)式の条件に加えて上記(20)式の条件も合わせてMを定義する場合を示す。
先ず、図20(a)に示される動作フロー1について説明する。
最初のステップS1では、距離測定に必要な複数の位相信号を取得する。この動作は図18、19中のイメージセンサ29で行なわれる。取得された複数の位相信号は、図18、19中の位相信号判定部に送られる。
次のステップS2では、位相信号判定部が、取得された複数の位相信号の信号量の大きさを比較する。
次のステップS3では、位相信号判定部が、ステップS2での比較結果に基づいて、取得された複数の位相信号のうち信号量が最大の位相信号を決定する。
次のステップS4では、TOF演算方法を選択する。具体的には、予め設定された照射光パルスのパルス幅Tpを基準に取得時間制御信号のパルス幅Tvを設定し、上記(11)式から得られるM(=Tv/Tp)の値によって、上記(9)式の条件によるTOF演算及び上記(20)式の条件によるTOF演算のいずれかを選択する。例えば、取得された複数の位相信号の信号量から受光光量が十分でありエイリアシングが発生する可能性が低いと判定される場合にはMの値を小さくして上記(20)式の条件によるTOF演算を行っても良い。一方、取得された複数の位相信号の信号量から受光光量が不十分でありエイリアシングが発生する可能性が高いと判定される場合にはMの値を大きくして上記(9)式の条件によるTOF演算を行っても良い。なお、Mの値を小さくすると演算を高速化でき、Mの値を大きくすると測距レンジを広範囲化できる。
次のステップS5では、取得された複数の位相信号を用いた独自のTOF演算(ステップS4で選択されたTOF演算)を行う。この動作は、図18、図19中のTOF演算部で行なわれる。
最後のステップS6では、TOF演算部からTOF演算結果が図18、19中の出力部に送られ、出力形式に合わせた形式で出力される。
図20(a)に示される動作フロー1と図20(b)に示される動作フロー2は、ステップS1、S2、S4、S5とステップT1、T2、T4、T5が同じであり、位相信号判定部での動作であるステップS3とステップT3が異なる。
そこで、図20(b)に示される動作フロー2を簡単に説明する。
先ず、イメージセンサ29で距離測定に必要な複数の位相信号を取得する(ステップT1)。取得された複数の位相信号は位相信号判定部に送られる。位相信号判定部では、取得された複数の位相信号の信号量の大きさを比較して(ステップT2)、該複数の位相信号の信号量の大きさの順位付けを行なう(ステップT3)。TOF演算方法が選択された(ステップT4)の後、取得された複数の位相信号と位相信号の信号量の大きさの順位がTOF演算部に送られ、両者を用いた独自のTOF演算が行なわれる(ステップT5)。最後に、TOF演算結果が図18、図19に示される出力部に送られ、出力形式に合わせた形式で出力される(ステップT6)。
なお、図20(a)のステップS4や、図20(b)のステップT4を省略しても良い。すなわち、TOF演算方法を予め1つの演算方法に設定しても良い。例えば、演算の高速化をより重視する場合にはMの値を小さく設定して上記(20)式の条件によるTOF演算を行い、測距レンジの広範囲化をより重視する場合にはMの値を大きく設定して上記(9)式の条件によるTOF演算を行っても良い。
図21は、一般的なTOFセンサのフレーム構成例と、本実施形態の距離センサ20のフレーム構成例の比較図である。
図21(a)は、一般的なTOFセンサ(ここでは四相式)のフレーム構成例である。一般的なTOFセンサでは、図21(a)に示されるように、受光を開始してから距離値を出力するまでの1フレームあたりの時間は、撮像素子が位相信号を取得する期間(信号取得期間)とデータの転送期間で決まる。
図21(b)は、本実施形態の距離センサ20(ここでは四相式)のフレーム構成例である。距離センサ20では、図21(b)に示されるように、信号取得期間と転送期間の長さは一般的なTOFセンサと変わらない。
本実施形態の距離センサ20において、一般的なTOFセンサと異なる点は、図21(b)に示されるように、転送期間の後に、次の信号取得期間と並行して、位相信号の大小関係の判定を行ない、その結果に応じたTOF演算を行なう点である。
本実施形態の距離センサ20は、基本的なフレーム構成が、一般的なTOFセンサと変わらないため、フレームレートを落とさずにTOF法の特長である高速性を保ったまま使用することができる。一般的なTOFセンサと距離センサ20のフレーム期間を等しくする場合、距離センサ20の発光時間は一般的なものの半分になるが、光量が十分な場合には、測距精度に対する影響は光量よりも変調周波数の方が大きくなるため、距離センサ20の方が優位である。
図22には、本実施形態の距離センサ20の1フレームを、光源21を発光させる発光フレームと、信号のオフセット成分を取得するための、光源21を発光させない非発光フレームとで構成したフレーム構成例が示されている。
非発光フレームで信号のオフセット成分を取得できれば、上記(20)式の条件で距離センサ20を使用する場合でも、DC´を取得信号から得ることができるので、次の(24)式のようにTOF演算はより簡単になる。
d=(To+(A(i+q)−DC´)/(A(i)+A(i+180)−2DC´)×Tp))×c/2 …(24)
上記(24)式は、上記(9)式と上記(20)式のどちらの条件でも共通の式なので、TOF演算が、設定されたMで変化しない。そのため、距離センサ20のIC(集積回路)への負担が小さくなる。また、上記(20)式の条件でも、常に信号のオフセット成分を取得できるので耐外乱光性が高くなる。
ところで、エイリアシングの起こらない近距離側を測定する場合は、本実施形態の距離センサ20ではデューティ比を25%以下にする必要があるため、一般的なTOFセンサの方が光量もしくは高速性の点で有利になる。
そのため、本実施形態のTOFセンサを使用する際に、ある任意のフレームでのTOF演算結果が、照射光のパルス幅から計算される一般的なTOFセンサの測距レンジよりも小さければ、以降のフレームでは取得時間制御信号のパルス幅を照射光のパルス幅に合わせて、デューティ比を50%にすることが可能である。
図23(a)は、その場合の測距精度を高めるためのフレーム構成例であり、図23(b)は、その場合の測距を高速化するためのフレーム構成例である。
図24は、距離センサ20の、エイリアシング判定を含む動作フロー3である。図24に示される動作フロー3のステップU1、U2、U3は、それぞれ図20(a)に示される動作フロー1のステップS1、S2、S5と同じなので、以下では、動作フロー3特有のステップを中心に説明する。動作フロー3を実施するためには、図18、19にそれぞれ示される実施例1、2の距離センサ20A、20Bの構成に加えて、図25、26にそれぞれ示される、本実施形態の距離センサ20の構成例である実施例3、4の距離センサ20C、20Dのようにエイリアシング判定部を設ける必要がある。
ここで、動作フロー3の実施に先立って、照射光のパルス幅Tpと取得時間制御信号のパルス幅Tvが、M(Tv/Tp)≧1となるように初期設定されている。動作フロー3は、距離センサ20がメインコントローラ80からの測定開始要求を受信したときに開始される。
エイリアシング判定部では、制御部から照射光のパルス幅Tpと取得時間制御信号のパルス幅Tv、TOF演算部からTOF演算結果である距離値dを受け取ることで、距離センサ20の測距レンジR´と距離値dの大小関係が分かる。
そこで、ステップU4では、測距レンジR´と距離値d(TOF演算結果)との大小関係を判定する。すなわち、エイリアシング判定部がエイリアシングの有無を判定する。dがR´よりも小さい場合(ステップU4でYES)には、エイリアシング判定部が「エイリアシングなし」と判定し、出力部が距離値dを出力形式に合わせた形式で出力する(ステップU5)。
一方、dがR´以上である場合(ステップU4でNO)には、エイリアシング判定部が「エイリアシングあり」と判定し、制御部がTvを長くして、次フレームにおけるR´を大きくする(ステップU6)。この際、Tvを次フレームにおけるR´が少なくとも現フレームにおける距離値dよりも大きくなる値に変更することが好ましい。
測定を終了する場合(距離センサ20がメインコントローラ80からの測定終了要求を受信したとき)にはフローは終了し(ステップU7でYES)、測定を継続する場合にはステップU1に戻り(ステップU7でNO)、次フレームにおいて位相信号取得を行う。
なお、ステップU6において、Tvを長くするのに代えて又は加えて、次フレームにおけるR´が大きくなるよう(好ましくは次フレームにおけるR´が少なくとも現フレームにおける距離値dよりも大きくなるよう)Tpを長くして良い。
また、エイリアシング判定部があれば、エイリアシングの有無をリアルタイムに(例えばフレーム毎に)判定することが可能であるため、本実施形態の距離センサ20の測距レンジR´に余裕がある場合(ステップU4でYES)、TOF演算結果である距離値dに合うようにTpやTvを調整し、測距レンジの倍率M(Tv/Tp)をフレーム間で調整することも可能である。
本実施形態の距離センサ20では、任意のフレームで取得された複数の位相信号の位相信号判定部での比較結果から、光源21の発光回数の最適化が可能である。例えば、取得された信号量が最大の位相信号の信号量に対して、電荷蓄積部の蓄積容量及び受光部の受光感度から決まる画素毎の信号容量を比較して、該信号容量に余裕があれば光源21の発光回数を増やすことができる。
また、本実施形態の距離センサ20において、1フレームを発光フレームと非発光フレームで構成し、反射光パルス全てを受光した場合の位相信号の信号量Apulseと、反射パルスの入らない場合の位相信号の信号量DCを取得すれば、ApulseとDCから測定のSN比が分かる。そのため、SN比を基に光源21の発光回数を変更することも可能である。
つまり、本実施形態の距離センサ20では、任意のフレームで取得された複数の位相信号の信号量から、以後のフレームにおける光源21の発光回数を画素毎の信号容量とSN比の少なくとも一方の情報を基に、最適化することができる。この場合、図27〜図30にそれぞれ示される、本実施形態の距離センサ20の構成例である実施例5〜8の距離センサ20E、20F、20G、20Hのように、位相信号判定部内に、位相信号の信号量の閾値を保存するための記憶部(例えばメモリやハードディスク)を設ける必要がある。
図31には、本実施形態の距離センサ20において、SN比に応じて光源21の発光強度の調整を行なう場合の動作フロー4が示されている。動作フロー4が実施されるのに先立って、光源21の発光強度(照射光のパルス振幅)、1パルス毎の発光時間(照射光のパルス幅)及びフレーム毎の発光回数(照射光パルスの数)が初期設定されている。
図31に示される動作フロー4において、ステップV1、V2、V3、V4は、それぞれ図20(a)のステップS1、S2、S4、S5と同じである。そこで、動作フロー4特有のステップを中心に説明する。
ステップV5では、発光フレーム及び非発光フレームでそれぞれ取得されたApulse及びDCから、SN比を算出する。
次のステップV6では、SN比が、予め設定され記憶部に保存された閾値より大きいか否かを判断する。ここでの判断が肯定されるとステップV7に移行し、否定されるとステップV8に移行する。
ステップV7では、TOF演算結果である距離値dを出力形式に合わせた形式で出力する。ステップV7が実行されると、ステップV9に移行する。
ステップV9では、光源21の発光強度を下げる。例えばイメージセンサ29に入射する環境光(例えば太陽光や照明光)の強度が大きい場合には、電荷蓄積部において信号量(電荷量)が飽和することが懸念されるためである。但し、測距精度の観点から、少なくともステップV6の条件を満たす(YESとなる)程度まで発光強度を下げることが好ましい。ステップV9が実行されると、ステップV10に移行する。
ステップV10では、測定を終了するか否かを判断する。ここでの判断が肯定されるとフローは終了し、否定されるとステップV1に戻り次フレームにおける位相信号取得が行われる。
ステップV8では、光源21のフレーム毎の発光回数が、光源21の発光強度、1パルス毎の発光時間、受光部の受光感度及び電荷蓄積部の蓄積容量で決まる画素毎の信号容量(所定の上限)よりも少ないか否かを判断する。ここでの判断が肯定されるとステップV11に移行し、否定されるとステップV12に移行する。
ステップV11では、発光強度を上げて、次フレームにおけるSN比を向上させる。この際、少なくともステップV6の条件を満たす(YESとなる)程度まで発光強度を上げることが好ましい。ステップV11が実行されると、ステップV10に移行する。
ステップV12では、メインコントローラ80に対してエラー通知(エラー情報の通知)を行う。ステップV12が実行されるとフローは終了する。なお、エラー通知を受信したメインコントローラ80は、そのエラー情報を基に光源21の発光強度、発光時間及びフレーム毎の発光回数の初期設定値をステップV6もしくはステップV8の条件を満たすよう(YESとなるよう)変更した後、動作フロー4を再開させる。
なお、距離センサ20が、主に屋内での使用等、環境光の強度が小さく電荷蓄積部で電荷量の飽和が発生し難い環境下で用いられる場合には、図31においてステップV9を省略しても良い。
図32は、本実施形態の距離センサ20の使用の有無を判定するためのフローチャートである。
最初のステップW1では、判定対象のTOFセンサにおいて、照射光のパルス幅が単一か否かを判断する。距離センサ20では、照明光のパルス幅が単一とされているためである。ここでの判断が否定されるとステップW2に移行し、肯定されるとステップW3に移行する。
ステップW2では、距離センサ20を不使用と判定する。この判定がなされるとフローは終了する。
ステップW3では、測距レンジが照射光のパルス幅から計算される測距レンジよりも広いか否かを判断する。本実施形態の距離センサ20では、測距レンジがディエイリアシングにより、照射光のパルス幅で決まる理論的な測距レンジに比べて広くなるためである。ここでの判断が否定されるとステップW2に移行し、肯定されるとステップW4に移行する。
ステップW4では、照射光のパルス幅と取得時間制御信号のパルス幅が異なるか否かを判断する。一般的なTOFセンサでは照射光のパルス幅と取得時間制御信号のパルス幅は等しいが、本実施形態の距離センサ20では任意の測距レンジの倍数に対応して照射光のパルス幅が取得時間制御信号のパルス幅よりも短くなるからである。ここでの判断が否定されるとステップW2に移行し、肯定されるとステップW5に移行する。
ステップW5では、距離センサ20を使用と判定する。この判定がなされるとフローは終了する。以上のような手順で、距離センサ20の使用の有無を判定できる。
以上説明した本実施形態の距離センサ20(実施例1〜8の距離センサ20A〜20H)は、第1の観点からすると、光源21と、該光源21から射出され物体で反射された光を受光して光電変換し、その電気信号を複数の位相信号に分けて取得するイメージセンサ29(撮像素子)と、複数の位相信号に基づいて物体までの距離を算出するTOF演算部(演算部)と、を備え、イメージセンサ29が位相信号を取得する時間は、光源21の発光時間よりも長く設定される測距装置である。
この場合、イメージセンサ29が位相信号を取得する時間が光源21の発光時間よりも長く設定されるため、光源21の発光時間を単一としても、光源の発光時間によって決まる従来の測距装置の測距レンジよりも測距レンジを広くすることができる。この結果、構成や制御の煩雑化を抑制しつつ測距レンジを広くすることができる。
また、距離センサ20は、光源21及びイメージセンサ29を制御する制御部を更に備え、該制御部は、位相信号を取得する時間を制御するための制御信号である取得時間制御信号のパルス幅を、光源21の発光時間を決める、光源21を駆動するための駆動信号である光源駆動信号のパルス幅を基準に調整可能であることが好ましい。
この場合、例えばTOF演算部での演算結果に応じて、後のフレーム(例えば次フレーム)における測距レンジを調整できるため、後のフレームにおけるエイリアシングの発生を抑制することができる。
また、本実施形態の距離センサ20(実施例1〜8の距離センサ20A〜20H)は、第2の観点からすると、光源21と、該光源21から射出され物体で反射された光を受光して光電変換し、その電気信号を複数の位相信号に分けて取得するイメージセンサ29(撮像素子)と、光源21及びイメージセンサ29を制御する制御部と、複数の位相信号に基づいて物体までの距離を算出するTOF演算部(演算部)と、を備え、制御部は、イメージセンサ29が位相信号を取得する時間を制御する制御信号である取得時間制御信号のパルス幅を、光源21を駆動するための駆動信号である光源駆動信号のパルス幅を基準に調整可能な測距装置である。
この場合、例えば取得時間制御信号のパルス幅を光源駆動信号のパルス幅よりも長くすることで、光源駆動信号のパルス幅を単一としても、光源駆動信号のパルス幅によって決まる従来の測距装置の測距レンジよりも測距レンジを広くすることができる。この結果、構成や制御の煩雑化を抑制しつつ測距レンジを広くすることができる。
また、第2の観点からの距離センサ20では、例えばTOF演算部での演算結果に応じて、後のフレーム(例えば次フレーム)における測距レンジを調整できるため、後のフレームにおけるエイリアシングの発生を抑制することができる。
また、第2の観点からの距離センサ20では、制御部は、取得時間制御信号のパルス幅を光源駆動信号のパルス幅よりも長くすることが好ましい。
この場合、光源駆動信号のパルス幅によって決まる従来の測距装置よりも測距レンジを広げることができる。
また、距離センサ20では、光源駆動信号のパルス幅を従来の測距装置と同じに又は短く設定しても、従来の測距装置よりも広い測距レンジを確保することが可能である。すなわち、距離センサ20によれば、測距精度を維持もしくは高めつつ、測距レンジを広くすることができる。
また、距離センサ20は、光源駆動信号のパルス幅、取得時間制御信号及びTOF演算部での演算結果に基づいて、エイリアシングの有無を判定するエイリアシング判定部を更に備えることが好ましい。
そして、制御部は、エイリアシング判定部で一のフレームにおいてエイリアシングありと判定された場合に、一のフレームより時間的に後のフレーム(例えば次フレーム)における取得時間制御信号のパルス幅を一のフレームにおける取得時間制御信号のパルス幅よりも長くすることが好ましい。
また、制御部は、エイリアシング判定部で一のフレームにおいてエイリアシングなしと判定された場合に、一のフレームより時間的に後のフレーム(例えば次フレーム)における取得時間制御信号のパルス幅を一のフレームにおける取得時間制御信号のパルス幅から変更しなくても良い。
また、制御部は、エイリアシング判定部で一のフレームにおいてエイリアシングなしと判定された場合に、一のフレームより時間的に後のフレーム(例えば次フレーム)における光源駆動信号のパルス幅及び取得時間制御信号のパルス幅の少なくとも一方を一のフレームにおける該少なくとも一方から変更しても良い。すなわち、エイリアシングが起きない条件では、例えば、測距精度を高めるために光源駆動信号のパルス幅を短くしたり、演算を高速化するために取得時間制御信号のパルス幅を短くしても良い。
また、イメージセンサ29は、複数の受光部を有し、制御部は、受光部毎の演算部での演算結果のうち最大値について、エイリアシング判定部でエイリアシングなしと判定されるように光源駆動信号のパルス幅及び取得時間制御信号のパルス幅の少なくとも一方を調整しても良い。すなわち、次フレームにおける測距レンジがこの最大値を超えるように光源駆動信号のパルス幅及び取得時間制御信号のパルス幅の少なくとも一方を調整しても良い。この場合、測定領域の経時的な条件の変化に対応できる。
また、距離センサ20は、複数の位相信号の信号量を比較し、複数の位相信号のうち信号量が最大の位相信号を決定する位相信号判定部を更に備え、演算部は、位相信号判定部での決定結果に基づいて距離を算出しても良い。
また、距離センサ20は、複数の位相信号の信号量を比較し、複数の位相信号の信号量の順位を決定する位相信号判定部を更に備え、演算部は、位相信号判定部での決定結果に基づいて距離を算出しても良い。
また、位相信号判定部の動作と演算部の動作が並行して行われることが好ましい。この場合、測定領域の経時的な条件の変化に対応できる。
また、演算部は、位相信号から、光源21が発光していないときのイメージセンサ29の出力であるオフセット成分を減算した結果を用いて、距離を算出することが好ましい。
また、制御部は、位相信号と、光源21が発光していないときのイメージセンサ29の出力であるオフセット成分の比に基づいて、光源21の発光強度を調整することが好ましい。この際、制御部は、光源21のフレーム毎の発光回数に基づいて、光源21の発光強度を調整することがより好ましい。
また、光源駆動信号のパルス周期と取得時間制御信号のパルス周期は、等しいことが好ましい。
また、距離センサ20を有する移動体によれば、位置制御性(例えば衝突安全性)に優れた移動体を提供できる。
また、本実施形態の測距方法は、光源21をパルス発光させる工程と、光源21から射出され物体で反射された光を受光して光電変換し、その電気信号を複数の位相信号に分けて取得する工程と、複数の位相信号に基づいて物体までの距離を算出する工程と、光源の1パルス毎の発光時間(光源駆動信号のパルス幅)、位相信号を取得する時間(取得時間制御信号のパルス幅)及び算出する工程での算出結果に基づいて、エイリアシングの有無を判定する工程と、該判定する工程でエイリアシングありと判定された場合に、位相信号を取得する時間を光源の1パルス毎の発光時間を基準に調整する工程と、を含む。
この場合、例えば、判定する工程でエイリアシングありと判定された場合に、調整する工程で取得時間制御信号のパルス幅を長くすることで、後フレームにおいて測距レンジを広くすることができ、エイリアシングの発生を抑制できる。
また、本実施形態の測距方法では、光源駆動信号のパルス幅を従来の測距方法と同じにもしくは短く設定しても、従来の測距方法よりも広い測距レンジを確保することが可能である。すなわち、本実施形態の測距方法によれば、測距精度を維持もしくは高めつつ、測距レンジを広くすることができる。
なお、上記実施形態では、取得時間制御信号のパルス幅Tvを光源駆動信号のパルス幅Tp以上にしているが、例えば図33に示される変形例のようにTvをTpよりも短くしても良い。この場合、遅延時間TdとTvに関して、Td=Tv×(A180/A90−1/2)が成立する。この関係式では、測距値(距離値)のばらつきに係る演算の比例定数がTv(一般的な四相式TOFセンサではTp)である。このため、図33の変形例では、一般的な四相式TOFセンサに比べて、測距レンジは狭くなるものの測距値のばらつきが小さくなる(測距精度が高くなる)。そこで、図33の変形例は、測距レンジに余裕がある場合に測距精度を高めることができる点で有効である。例えば、予めTvをTp以上に設定しておき、エイリアシング判定部で測距レンジR´と測距値に基づいてエイリアシングなしと判定された場合に、該測距値を測距レンジR´が下回らない程度にTvをTpよりも短くすることにより、エイリアシングの発生を抑制しつつ測距精度を高めることができる。
また、逆に、予めTvをTpよりも短く設定しておき、エイリアシング判定部で測距レンジR´と測距値に基づいてエイリアシングありと判定された場合に、該測距値を測距レンジR´が幾分上回る程度にTvをTpよりも長くすることにより、測距精度の低下を抑制しつつエイリアシングの発生を抑制することができる。
また、上記実施形態では、投光系が非走査型であるが、光偏向器(例えばポリゴンミラー、ガルバノミラー、MEMSミラー等)を含む走査型であっても良い。この場合、例えば、一方向に配列された複数の発光部(ライン光源)からそれぞれ射出された複数の光を、発光部の配列方向に非平行な方向(例えば垂直な方向)に走査して、複数の発光部に対応して該配列方向に平行に配列された複数の受光部(ラインイメージセンサ)で受光し、距離画像を生成しても良い。また、単一の発光部からの光を光偏向手段で2次元走査して、物体からの反射光をエリアイメージセンサで受光し、距離画像を生成しても良い。
また、上記実施形態では、本発明の測距装置の一例である距離センサ20を走行体1に用いられる場合について説明したが、これに限定されるものではない。例えば、距離センサ20を、走行体1以外の移動体(例えば乗用車、船舶、航空機等)、監視カメラ、物体の3次元形状を計測する3次元計測装置、距離センサ20が自身の位置を確認しながら自律的に移動するロボット等に用いても良い。
距離センサ20を有する監視カメラによれば、監視対象物の高品質なモニタ画像を得ることができる。
距離センサ20を有する3次元計測装置によれば、計測対象物の3次元情報を精度良く計測することができる。
距離センサ20を有するロボットによれば、周囲の物体に対する適切な自律移動(接近動作や離間動作や平行移動)を可能とすることができる。
上記実施形態では、単一のLED(発光部)をパルス発光させ、物体からの反射光をエリアイメージセンサで受光する場合について説明したが、これに限定されるものではない。
例えば、2次元配列された複数の発光部を順次パルス点灯させ、各発光部から射出され物体で反射された光を単一の受光部で順次受光して距離画像を生成しても良い。
例えば、2次元配列された複数の発光部を同時にパルス発光させ、複数の発光部から射出され物体で反射された複数の光を2次元配列された複数の受光部でそれぞれ同時に受光して距離画像を生成しても良い。
また、例えば、物体の3次元情報(距離画像)ではなく、単にある物体までの距離を測定する場合には、投光系の発光部及び受光系の受光部は、いずれも単数であっても良い。
また、上記実施形態において、制御系203での処理の一部を位置制御装置40が行っても良いし、位置制御装置40での処理の一部を制御系203が行っても良い。
また、上記実施形態では、走行管理装置10が1つの距離センサ20を備える場合について説明したが、これに限定されるものではない。走行体の大きさ、測定領域などに応じて、複数の距離センサ20を備えても良い。
また、上記実施形態では、距離センサ20が走行体の進行方向を監視する走行管理装置10に用いられる場合について説明したが、これに限定されるものではない。例えば、走行体の後方や側面を監視する装置に用いられても良い。
以上の説明から分かるように、本発明の測距装置及び測距方法は、TOF(タイム オブ フライト)を利用した測距技術全般に広く適用することが可能である。
すなわち、本発明の測距装置及び測距方法は、物体の2次元情報の取得や、物体の有無の検出にも用いることができる。
また、上記実施形態の説明で用いた数値、形状等は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
以下に、発明者らが上記実施形態を発案するに至った思考プロセスを説明する。
3次元センサの1つに、強度変調した参照光を投射して、投射した参照光が、測定対象に反射してセンサに戻るまでの飛行時間を検出して対象までの距離を求める、Time of Flight(TOF)法を用いた“TOFセンサ”が既に知られており、種々ある3次元センシング方式の中でも、その高速性の原理的優位性から、昨今さまざまな用途への開発が進められている。例えば、ジェスチャー認識や、ロボットや自動車などの移動体の位置制御などへの応用が期待されている。
TOF法には、直接法と間接法があり、一般的に間接TOF法の方が近距離測定に有利であると言われている。
TOFセンサは、一般に、参照光を射出する光源と撮像素子を含んで構成される。測定では、まず、光源から参照光を射出し、対象物で反射した光を撮像素子で電気信号に変換し、該電気信号を複数の位相信号に振り分け、該複数の位相信号を用いた演算(TOF演算)により、対象物までの距離を取得する。一般的なTOFセンサは典型的に、多位相シフトを用いて対象までの距離を取得する。例えば、四相式TOFセンサは、参照光の変調周波数に対して、4つの位相信号(位相シフト量:0°,90°,180°,270°)を用いて距離を取得する。
また、TOFセンサが測定可能な距離範囲(測距レンジ)には制限がある。この測距レンジは、参照光の変調周波数で決まり、例えば四相式TOFセンサでは、参照光の飛行時間が参照光のパルス幅の2倍以上の距離を測定することは不可能であり、エイリアシングと呼ばれる現象により、測定距離に対して出力距離は周期的になる。つまり、参照光パルス幅が長く、変調周波数が小さいほど、TOFセンサで測定可能な最大距離はより長く、測距レンジはより広くなる。
これに対して、TOFセンサの測定精度(測距精度)も参照光の変調周波数で決まり、変調周波数が高くパルス幅が短いほど、高精度になる。TOFセンサに期待される、多くのアプリケーションにおいて、測距レンジと測定精度は同時に求められることが多く、その際にエイリアシング現象への対策(ディエイリアシング技術)が必要とされる。
従来のディエイリアシング技術の多くは、複数の変調周波数(パルス幅)の参照光を用いて取得した位相信号をTOF演算に用いる。その場合、まず、複数の変調周波数で光源部・受光部を駆動する必要があるため、TOFセンサのメカ系と制御系のどちらか、もしくはその両方に工夫を必要とする。さらに、距離値を出力する1フレームの間で取得しなければならない位相信号数も多くなるために、フレーム構成が複雑化する。
特許文献1(特表2013−538342号公報)には、距離画像センサの1度の撮像において異なる複数の変調周波数の参照光を用いて、それらの周波数及び差周波、中間周波数を用いてエイリアシングを回避して距離演算を行なう方法が開示されている。
しかし、光源に複数の変調周波数の参照光を使用する必要があるため、光源部、受光部、フレーム構成が複雑になるという点で改善の余地がある。
すなわち、従来の測距装置や測距方法では、構成や制御の煩雑化を抑制しつつ測距レンジを広くすることに関して改善の余地があった。
そこで、発明者らは、構成や制御の煩雑化を抑制しつつ測距レンジを広くすべく、上記実施形態を発案するに至った。
具体的には、上記実施形態では、照射光に複数の変調周波数を用いずにディエイリアシングを実現することができる。
また、上記実施形態では、フレーム構成を複雑化せずに測距レンジを広げることができる。
1…走行体(移動体)、20、20A、20B、20C、20D、20E、20F、20G、20H…距離センサ(測距装置)、21…光源、29…イメージセンサ(撮像素子)、203…制御系。
特表2013−538342号公報

Claims (20)

  1. 光源と、
    前記光源から射出され物体で反射された光を受光して光電変換し、その電気信号を複数の位相信号に分けて取得する撮像素子と、
    前記複数の位相信号に基づいて前記物体までの距離を算出する演算部と、を備え、
    前記撮像素子が前記位相信号を取得する時間と前記光源の発光時間は、長さが異なることを特徴とする測距装置。
  2. 前記取得する時間は、前記発光時間よりも長く設定されることを特徴とする請求項1に記載の測距装置。
  3. 前記光源及び前記撮像素子を制御する制御部を更に備え、
    前記制御部は、前記取得する時間を制御するための制御信号のパルス幅を、前記発光時間を決める、前記光源を駆動するための駆動信号のパルス幅を基準に調整可能であることを特徴とする請求項1又は2に記載の測距装置。
  4. 光源と、
    前記光源から射出され物体で反射された光を受光して光電変換し、その電気信号を複数の位相信号に分けて取得する撮像素子と、
    前記光源及び前記撮像素子を制御する制御部と、
    前記複数の位相信号に基づいて前記物体までの距離を算出する演算部と、を備え、
    前記制御部は、前記撮像素子が前記位相信号を取得する時間を制御するための制御信号のパルス幅を、前記光源を駆動するための駆動信号のパルス幅を基準に調整可能であることを特徴とする測距装置。
  5. 前記制御部は、前記制御信号のパルス幅を前記駆動信号のパルス幅よりも長くすることを特徴とする請求項4に記載の測距装置。
  6. 前記駆動信号のパルス幅、前記制御信号のパルス幅及び前記演算部での演算結果に基づいて、エイリアシングの有無を判定するエイリアシング判定部を更に備えることを特徴とする請求項3〜5のいずれか一項に記載の測距装置。
  7. 前記制御部は、前記エイリアシング判定部で一のフレームにおいてエイリアシングありと判定された場合に、前記一のフレームより時間的に後のフレームにおける前記制御信号のパルス幅を前記一のフレームにおける前記制御信号のパルス幅よりも長くすることを特徴とする請求項6に記載の測距装置。
  8. 前記制御部は、前記エイリアシング判定部で一のフレームにおいてエイリアシングなしと判定された場合に、前記一のフレームより時間的に後のフレームにおける前記制御信号のパルス幅を前記一のフレームにおける前記制御信号のパルス幅から変更しないことを特徴とする請求項6に記載の測距装置。
  9. 前記制御部は、前記エイリアシング判定部で一のフレームにおいてエイリアシングなしと判定された場合に、前記一のフレームより時間的に後のフレームにおける前記駆動信号のパルス幅及び前記制御信号のパルス幅の少なくとも一方を前記一のフレームにおける前記少なくとも一方から変更することを特徴とする請求項6に記載の測距装置。
  10. 前記撮像素子は、複数の受光部を有し、
    前記制御部は、前記受光部毎の前記演算部での演算結果のうち最大値について、前記エイリアシング判定部でエイリアシングなしと判定されるように前記駆動信号のパルス幅及び前記制御信号のパルス幅の少なくとも一方を調整することを特徴とする請求項6に記載の測距装置。
  11. 前記制御部は、前記位相信号と、前記光源が発光していないときの前記撮像素子の出力であるオフセット成分の比に基づいて、前記光源の発光強度を調整すること特徴とする請求項3〜10のいずれか一項に記載の測距装置。
  12. 前記演算部は、前記位相信号から、前記光源が発光していないときの前記撮像素子の出力であるオフセット成分を減算した結果を用いて、前記距離を算出することを特徴とする請求項1〜11のいずれか一項に記載の測距装置。
  13. 前記複数の位相信号の信号量を比較し、前記複数の位相信号のうち信号量が最大の位相信号を決定する位相信号判定部を更に備え、
    前記演算部は、前記位相信号判定部での決定結果に基づいて前記距離を算出することを特徴とする請求項1〜12のいずれか一項に記載の測距装置。
  14. 前記複数の位相信号の信号量を比較し、前記複数の位相信号の信号量の順位を決定する位相信号判定部を更に備え、
    前記演算部は、前記位相信号判定部での決定結果に基づいて前記距離を算出することを特徴とする請求項1〜12のいずれか一項に記載の測距装置。
  15. 前記位相信号判定部の動作と前記演算部の動作が並行して行われることを特徴とする請求項13又は14に記載の測距装置。
  16. 請求項1〜15のいずれか一項に記載の測距装置を有する移動体。
  17. 請求項1〜15のいずれか一項に記載の測距装置を有するロボット。
  18. 請求項1〜15のいずれか一項に記載の測距装置を有する3次元計測装置。
  19. 請求項1〜15のいずれか一項に記載の測距装置を有する監視カメラ。
  20. 光源を発光させる工程と、
    前記光源から射出され物体で反射された光を受光して光電変換し、その電気信号を複数の位相信号に分けて取得する工程と、
    前記複数の位相信号に基づいて前記物体までの距離を算出する工程と、
    前記光源の発光時間、前記位相信号を取得する時間及び前記算出する工程での算出結果に基づいて、エイリアシングの有無を判定する工程と、
    前記判定する工程での判定結果に応じて、前記発光時間を基準に前記取得する時間を調整する工程と、を含む測距方法。
JP2016219373A 2016-11-10 2016-11-10 測距装置、移動体、ロボット、3次元計測装置、監視カメラ及び測距方法 Active JP6848364B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016219373A JP6848364B2 (ja) 2016-11-10 2016-11-10 測距装置、移動体、ロボット、3次元計測装置、監視カメラ及び測距方法
US15/808,674 US10775502B2 (en) 2016-11-10 2017-11-09 Distance-measuring apparatus, mobile object, robot, three-dimensional measuring device, surveillance camera, and distance-measuring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016219373A JP6848364B2 (ja) 2016-11-10 2016-11-10 測距装置、移動体、ロボット、3次元計測装置、監視カメラ及び測距方法

Publications (2)

Publication Number Publication Date
JP2018077143A true JP2018077143A (ja) 2018-05-17
JP6848364B2 JP6848364B2 (ja) 2021-03-24

Family

ID=62065169

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016219373A Active JP6848364B2 (ja) 2016-11-10 2016-11-10 測距装置、移動体、ロボット、3次元計測装置、監視カメラ及び測距方法

Country Status (2)

Country Link
US (1) US10775502B2 (ja)
JP (1) JP6848364B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3712646A1 (en) 2019-03-19 2020-09-23 Ricoh Company, Ltd. Distance measurement apparatus and distance measurement method
EP3712645A1 (en) 2019-03-18 2020-09-23 Ricoh Company, Ltd. Range finding device and range finding method
EP3719529A1 (en) 2019-03-20 2020-10-07 Ricoh Company, Ltd. Range finding device and range finding method
JP2020181186A (ja) * 2019-04-25 2020-11-05 キヤノン株式会社 撮像装置及びその制御方法
WO2021125018A1 (en) 2019-12-16 2021-06-24 Ricoh Company, Ltd. Light emitting device, object detecting device, and mobile body
WO2021124918A1 (ja) * 2019-12-18 2021-06-24 ソニーグループ株式会社 信号処理装置、信号処理方法、および、測距装置
EP3882651A2 (en) 2020-03-18 2021-09-22 Ricoh Company, Ltd. Object detection apparatus with optical scanning unit and movable apparatus using the same
WO2022153700A1 (ja) * 2021-01-18 2022-07-21 ソニーセミコンダクタソリューションズ株式会社 光検出装置および光検出システム
WO2022181102A1 (ja) * 2021-02-25 2022-09-01 ソニーセミコンダクタソリューションズ株式会社 距離画像センサデバイス及び距離画像処理システム並びに距離データの伝送方法
WO2024085069A1 (ja) * 2022-10-18 2024-04-25 ヌヴォトンテクノロジージャパン株式会社 測距装置および測距方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6972011B2 (ja) * 2016-11-30 2021-11-24 ソニーセミコンダクタソリューションズ株式会社 測距装置及び測距方法
JP6933045B2 (ja) 2017-08-18 2021-09-08 株式会社リコー 物体検出装置、センシング装置、移動体装置及び物体検出方法
US11453123B2 (en) * 2017-12-27 2022-09-27 Stmicroelectronics, Inc. Robotic device with time-of-flight proximity sensing system
JP6723317B2 (ja) * 2018-10-25 2020-07-15 三菱電機株式会社 レーザ距離測定装置
US11294058B2 (en) 2019-04-08 2022-04-05 Sense Photonics, Inc. Motion correction based on phase vector components
CN110432134B (zh) * 2019-07-16 2022-03-18 四维生态科技(杭州)有限公司 一种防眩目种植机及防眩目方法
KR20210083983A (ko) 2019-12-27 2021-07-07 에스케이하이닉스 주식회사 이미지 센싱 장치
CN111896971B (zh) * 2020-08-05 2023-12-15 上海炬佑智能科技有限公司 Tof传感装置及其距离检测方法
KR20220019930A (ko) * 2020-08-11 2022-02-18 삼성전자주식회사 로봇 및 그 제어 방법
JP2022149468A (ja) * 2021-03-25 2022-10-07 富士フイルムビジネスイノベーション株式会社 検出装置、検出プログラム、及び光学装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010100846A1 (ja) * 2009-03-05 2010-09-10 パナソニック株式会社 距離測定装置、距離測定方法、プログラムおよび集積回路
WO2014207992A1 (ja) * 2013-06-26 2014-12-31 パナソニックIpマネジメント株式会社 測距撮像装置及びその測距方法
US20150350627A1 (en) * 2014-06-02 2015-12-03 Samsung Electronics Co., Ltd. Method and apparatus for generating depth value corresponding to subject using depth camera
WO2016075885A1 (ja) * 2014-11-11 2016-05-19 パナソニックIpマネジメント株式会社 距離検出装置及び距離検出方法

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02174410A (ja) 1988-12-27 1990-07-05 Ricoh Co Ltd 電子ボリューム装置
US5428439A (en) * 1992-09-23 1995-06-27 The Texas A&M University System Range measurement system
JP3104558B2 (ja) 1995-02-01 2000-10-30 トヨタ自動車株式会社 車載用レーダ装置
JPH10288803A (ja) 1997-04-15 1998-10-27 Casio Comput Co Ltd 撮像装置および撮像方法
JP3930621B2 (ja) 1997-09-16 2007-06-13 浜松ホトニクス株式会社 測距モジュール
US20030135122A1 (en) * 1997-12-12 2003-07-17 Spectrx, Inc. Multi-modal optical tissue diagnostic system
JP2000137434A (ja) 1998-10-30 2000-05-16 M & T Kokoku System Kenkyusho:Kk 経路作成システム及び記録媒体
JP4369575B2 (ja) 1999-11-19 2009-11-25 Hoya株式会社 3次元画像検出装置
KR100770805B1 (ko) 2001-08-06 2007-10-26 지멘스 악티엔게젤샤프트 3차원 거리측정 이미지를 기록하기 위한 방법 및 장치
JP3905880B2 (ja) 2003-11-20 2007-04-18 日本無線株式会社 波浪観測装置
JP4280822B2 (ja) 2004-02-18 2009-06-17 国立大学法人静岡大学 光飛行時間型距離センサ
US7809155B2 (en) * 2004-06-30 2010-10-05 Intel Corporation Computing a higher resolution image from multiple lower resolution images using model-base, robust Bayesian estimation
JP2006337286A (ja) 2005-06-03 2006-12-14 Ricoh Co Ltd 形状計測装置
JP4673674B2 (ja) 2005-06-06 2011-04-20 株式会社リコー 形状測定装置
US7781811B2 (en) 2005-08-30 2010-08-24 National University Corporation Shizuoka University Semiconductor range-finding element and solid-state imaging device
US7994465B1 (en) * 2006-02-06 2011-08-09 Microsoft Corporation Methods and devices for improved charge management for three-dimensional and color sensing
JP2007232687A (ja) 2006-03-03 2007-09-13 Sharp Corp 光学式測距装置
JP2007248227A (ja) 2006-03-15 2007-09-27 Toyota Central Res & Dev Lab Inc 物体検出装置
JP4939901B2 (ja) 2006-11-02 2012-05-30 富士フイルム株式会社 距離画像生成方法及びその装置
JP4452951B2 (ja) 2006-11-02 2010-04-21 富士フイルム株式会社 距離画像生成方法及びその装置
JP4895304B2 (ja) 2007-09-26 2012-03-14 富士フイルム株式会社 測距方法および装置
US8629976B2 (en) 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
JP4955508B2 (ja) 2007-10-25 2012-06-20 富士フイルム株式会社 測距装置および測距方法並びにプログラム
JP5308088B2 (ja) 2008-07-24 2013-10-09 パナソニック株式会社 距離画像センサ
WO2010021090A1 (ja) 2008-08-20 2010-02-25 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
JP4981780B2 (ja) 2008-10-20 2012-07-25 本田技研工業株式会社 測距システム及び測距方法
JP5233583B2 (ja) 2008-10-24 2013-07-10 株式会社リコー 車載用監視装置
JP2010190675A (ja) 2009-02-17 2010-09-02 Toyota Motor Corp 距離画像センサシステムおよび距離画像生成方法
KR101590767B1 (ko) 2009-06-09 2016-02-03 삼성전자주식회사 영상 처리 장치 및 방법
JP5431810B2 (ja) 2009-07-03 2014-03-05 株式会社豊田中央研究所 画像センサとその画像センサに用いられる受光装置
JP5743390B2 (ja) 2009-09-15 2015-07-01 本田技研工業株式会社 測距装置、及び測距方法
US8587771B2 (en) 2010-07-16 2013-11-19 Microsoft Corporation Method and system for multi-phase dynamic calibration of three-dimensional (3D) sensors in a time-of-flight system
JP5521854B2 (ja) 2010-07-26 2014-06-18 コニカミノルタ株式会社 撮像装置及び画像入力装置
JP5979500B2 (ja) 2011-04-07 2016-08-24 パナソニックIpマネジメント株式会社 立体撮像装置
JP2012247226A (ja) 2011-05-25 2012-12-13 Optex Co Ltd 距離画像カメラおよび距離画像合成方法
JP5576851B2 (ja) 2011-12-27 2014-08-20 本田技研工業株式会社 測距システム及び測距方法
WO2013104717A1 (en) 2012-01-10 2013-07-18 Softkinetic Sensors Nv Improvements in or relating to the processing of time-of-flight signals
JP6427984B2 (ja) 2013-06-27 2018-11-28 株式会社リコー 測距装置、車両、測距装置の校正方法
JP2015069254A (ja) 2013-09-27 2015-04-13 株式会社リコー 操作適格者判定装置、操作適格者判定方法および操作適格者判定プログラム
JP2015068748A (ja) 2013-09-30 2015-04-13 株式会社リコー 動的隆起測定装置、動的隆起測定方法および動的隆起測定プログラム
KR102112298B1 (ko) 2013-09-30 2020-05-18 삼성전자주식회사 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치
JP6471528B2 (ja) 2014-02-24 2019-02-20 株式会社リコー 物体認識装置、物体認識方法
JP2016008875A (ja) 2014-06-24 2016-01-18 株式会社リコー 距離測定装置
JP2016015977A (ja) 2014-07-04 2016-02-01 株式会社リコー 看護支援装置および看護支援方法
JP6427998B2 (ja) 2014-07-07 2018-11-28 株式会社デンソー 光飛行型測距装置
JP2016080545A (ja) 2014-10-17 2016-05-16 株式会社リコー 測定装置、投影パターン
JP6020547B2 (ja) 2014-12-26 2016-11-02 トヨタ自動車株式会社 画像取得装置及び方法
JP2017009339A (ja) 2015-06-18 2017-01-12 株式会社リコー センサ、センシング装置及び距離計測方法
JP2017015611A (ja) 2015-07-03 2017-01-19 株式会社リコー 距離測定装置
JP6741680B2 (ja) * 2015-10-09 2020-08-19 パナソニックセミコンダクターソリューションズ株式会社 撮像装置、およびそれに用いられる固体撮像素子
JP6733100B2 (ja) 2015-12-22 2020-07-29 株式会社リコー 距離センサ、走行体、ロボット及び3次元計測装置
JP6805504B2 (ja) 2016-01-13 2020-12-23 株式会社リコー 距離測定装置、移動体装置及び距離測定方法
US10596964B2 (en) 2016-01-13 2020-03-24 Ricoh Company, Ltd. Distance measurement device, moveable device, and distance measuring method
JP2017133853A (ja) 2016-01-25 2017-08-03 株式会社リコー 測距装置
JP6727539B2 (ja) 2016-03-04 2020-07-22 株式会社リコー 距離センサ、走行体、ロボット及び3次元計測装置
US10481263B2 (en) 2016-03-10 2019-11-19 Ricoh Company, Ltd. Range finding apparatus, moveable apparatus, robot, three dimensional measurement apparatus, method of measuring three dimensional information, and storage medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010100846A1 (ja) * 2009-03-05 2010-09-10 パナソニック株式会社 距離測定装置、距離測定方法、プログラムおよび集積回路
WO2014207992A1 (ja) * 2013-06-26 2014-12-31 パナソニックIpマネジメント株式会社 測距撮像装置及びその測距方法
US20150350627A1 (en) * 2014-06-02 2015-12-03 Samsung Electronics Co., Ltd. Method and apparatus for generating depth value corresponding to subject using depth camera
WO2016075885A1 (ja) * 2014-11-11 2016-05-19 パナソニックIpマネジメント株式会社 距離検出装置及び距離検出方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3712645A1 (en) 2019-03-18 2020-09-23 Ricoh Company, Ltd. Range finding device and range finding method
US11782162B2 (en) 2019-03-18 2023-10-10 Ricoh Company, Ltd. Range finding device, range finding method and storage medium
EP3712646A1 (en) 2019-03-19 2020-09-23 Ricoh Company, Ltd. Distance measurement apparatus and distance measurement method
EP3719529A1 (en) 2019-03-20 2020-10-07 Ricoh Company, Ltd. Range finding device and range finding method
US11914039B2 (en) 2019-03-20 2024-02-27 Ricoh Company, Ltd. Range finding device and range finding method
JP7234171B2 (ja) 2019-04-25 2023-03-07 キヤノン株式会社 撮像装置及びその制御方法
JP2020181186A (ja) * 2019-04-25 2020-11-05 キヤノン株式会社 撮像装置及びその制御方法
WO2021125018A1 (en) 2019-12-16 2021-06-24 Ricoh Company, Ltd. Light emitting device, object detecting device, and mobile body
WO2021124918A1 (ja) * 2019-12-18 2021-06-24 ソニーグループ株式会社 信号処理装置、信号処理方法、および、測距装置
EP3882651A2 (en) 2020-03-18 2021-09-22 Ricoh Company, Ltd. Object detection apparatus with optical scanning unit and movable apparatus using the same
WO2022153700A1 (ja) * 2021-01-18 2022-07-21 ソニーセミコンダクタソリューションズ株式会社 光検出装置および光検出システム
DE112021006831T5 (de) 2021-01-18 2023-11-02 Sony Semiconductor Solutions Corporation Fotodetektionsvorrichtung und fotodetektionssystem
WO2022181102A1 (ja) * 2021-02-25 2022-09-01 ソニーセミコンダクタソリューションズ株式会社 距離画像センサデバイス及び距離画像処理システム並びに距離データの伝送方法
WO2024085069A1 (ja) * 2022-10-18 2024-04-25 ヌヴォトンテクノロジージャパン株式会社 測距装置および測距方法

Also Published As

Publication number Publication date
US10775502B2 (en) 2020-09-15
US20180128919A1 (en) 2018-05-10
JP6848364B2 (ja) 2021-03-24

Similar Documents

Publication Publication Date Title
JP6848364B2 (ja) 測距装置、移動体、ロボット、3次元計測装置、監視カメラ及び測距方法
JP6922187B2 (ja) 測距装置、監視カメラ、3次元計測装置、移動体、ロボット及び光源駆動条件設定方法
JP6852416B2 (ja) 距離測定装置、移動体、ロボット、装置及び3次元計測方法
CN111352091B (zh) 用于lidar应用的激光和检测器阵列中的实时选通和信号路由
US20210118926A1 (en) Distance-measuring imaging device, distance measuring method of distance-measuring imaging device, and solid-state imaging device
JP6834211B2 (ja) 測距装置、移動体、ロボット、3次元計測装置及び測距方法
US20180259647A1 (en) Imaging device and solid-state imaging element used in same
US11579298B2 (en) Hybrid sensor and compact Lidar sensor
JP6855746B2 (ja) 測距装置、監視カメラ、3次元計測装置、移動体、ロボット及び測距方法
JP6805504B2 (ja) 距離測定装置、移動体装置及び距離測定方法
US20160299218A1 (en) Time-of-light-based systems using reduced illumination duty cycles
US11874399B2 (en) 3D scanning LIDAR sensor
US10481263B2 (en) Range finding apparatus, moveable apparatus, robot, three dimensional measurement apparatus, method of measuring three dimensional information, and storage medium
JP2009192499A (ja) 距離画像生成装置
JP4363296B2 (ja) 距離画像センサ
JP6727539B2 (ja) 距離センサ、走行体、ロボット及び3次元計測装置
JP2022528644A (ja) レーダ電力制御方法および装置
JP6772639B2 (ja) 視差演算システム、移動体及びプログラム
EP3276576B1 (en) Disparity estimation by fusion of range data and stereo data
JP2022190043A (ja) 電子装置及び距離計測方法
JP2018185179A (ja) 測距装置、監視装置、3次元計測装置、移動体、ロボット及び測距方法
EP3570065A2 (en) 3d scanning lidar sensor
JP6313617B2 (ja) 距離画像生成装置、物体検出装置および物体検出方法
JP2020148747A (ja) 物体検出装置
JP2020008483A (ja) 撮像装置および撮像装置の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190806

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210215

R151 Written notification of patent or utility model registration

Ref document number: 6848364

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151