JP2022189184A - 測距センサ、測距装置及び測距方法 - Google Patents

Abstract

【課題】距離の検出に要する時間を短縮する。
【解決手段】測距センサは、撮像素子と、測距部とを有する。撮像素子は、入射光に応じた画像信号を生成する複数の画素が配置されて被写体の特定の領域に出射される発光期間及び非発光期間を繰り返すパルス列状のパターン光が被写体により反射された反射光が入射する。測距部は、撮像素子における反射光が照射される領域である明部領域の画素により生成される画像信号である明部領域画像信号と撮像素子における明部領域とは異なる領域の画素により生成される画像信号である暗部領域画像信号との差分の信号である差分画像信号に基づいて被写体までの距離を測定する。
【選択図】図１

Description

本開示は、測距センサ、測距装置及び測距方法に関する。

物体に光を照射して物体との間を光が往復する時間を測定することにより物体までの距離を測定する飛行時間（ＴｏＦ：Time of Flight）法による測距装置が使用されている。例えば、振幅変調された光を物体に対して出射する発光部と照射した光が物体により反射された反射光を受光する受光素子とを備える測距装置が使用されている。この受光素子には、反射光に基づいて画像信号を生成する撮像素子が使用される。この撮像素子は、振幅変調された出射光に同期する同期検波を受光した反射光に対して行って複数の画像信号を生成する。この生成された複数の画像信号の相互の演算により出射光及び反射光の位相差を検出することができ、検出した位相差に基づいて物体までの距離を算出することができる。このような測距方式は、タイマーを使用して上述の光の往復時間を直接計時する直接ＴｏＦ法に対して間接ＴｏＦ法と称される。

この間接ＴｏＦ法においては、例えば、出射光に対して０度、９０度、１８０度及び２７０度の位相において撮像を行って４つの位相信号（画像信号）を生成する。この４つの位相信号の相互の演算により位相差を算出して物体までの距離を算出する測距装置が提案されている（例えば、特許文献１参照）。このような間接ＴｏＦ法は４相方式と称される。

特開２０１８－０７７１４３号公報

しかしながら、上記の従来技術では、４つの画像信号の生成が必要であるため、距離の検出に時間が掛かるという問題がある。

そこで、本開示では、距離の検出に要する時間を短縮する測距センサ、測距装置及び測距方法を提案する。

本開示に係る測距センサは、撮像素子と、測距部とを有する。撮像素子は、入射光に応じた画像信号を生成する複数の画素が配置されて被写体の特定の領域に出射される発光期間及び非発光期間を繰り返すパルス列状のパターン光が上記被写体により反射された反射光が入射する。測距部は、上記撮像素子における上記反射光が照射される領域である明部領域の上記画素により生成される上記画像信号である明部領域画像信号と上記撮像素子における上記明部領域とは異なる領域の上記画素により生成される上記画像信号である暗部領域画像信号との差分の信号である差分画像信号に基づいて上記被写体までの距離を測定する。

本開示の第１の実施形態に係る測距装置の構成例を示す図である。 本開示の実施形態に係るパターン光の一例を示す図である。 本開示の実施形態に係る反射光の一例を示す図である。 本開示の実施形態に係る撮像素子の構成例を示す図である。 本開示の実施形態に係る画素の構成例を示す図である。 本開示の第１の実施形態に係る測距部の構成例を示す図である。 本開示の第１の実施形態に係る飛行時間の検出の一例を示す図である。 本開示の第１の実施形態に係る測距処理の一例を示す図である。 本開示の第２の実施形態に係る測距装置の構成例を示す図である。 本開示の第２の実施形態に係る測距部の構成例を示す図である。 本開示の第２の実施形態に係る出射光の一例を示す図である。 本開示の第２の実施形態に係る飛行時間の検出の一例を示す図である。 本開示の第２の実施形態に係る飛行時間の検出の一例を示す図である。 本開示の第２の実施形態に係る測距処理の一例を示す図である。

以下に、本開示の実施形態について図面に基づいて詳細に説明する。説明は、以下の順に行う。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
１．第１の実施形態
２．第２の実施形態

（１．第１の実施形態）
［測距装置の構成］
図１は、本開示の第１の実施形態に係る測距装置の構成例を示す図である。同図は、測距装置１の構成例を表す図である。測距装置１は、対象物との距離を測定する装置である。同図の測距装置１は、板状の物体１０との間の距離を測定する例を表したものである。測距装置１は、光源装置１６０と、撮像素子１００と、測距部１５０と、制御部１７０とを備える。なお、同図の白抜きの矢印は、光の伝達を表す。同図において、測距装置１の光源装置１６０から出射された出射光２が物体１０により反射されて反射光３を生じる。この反射光３が測距装置１に到達して撮像素子１００により検出される。この出射光２の出射から反射光３の検出までの時間（飛行時間）を計時することにより、測距装置１から物体１０までの距離を測定することができる。なお、撮像素子１００、測距部１５０及び制御部１７０は、特許請求の範囲に記載の測距センサの一例である。

光源装置１６０は、測距の対象物に光を照射するものである。この光源装置１６０は、被写体にパターン光を出射する。このパターン光は、被写体の特定の領域に出射される光である。このパターン光の照射により、被写体には光源装置１６０からの光が照射される明部及び光源装置１６０からの光が照射されない暗部の２種類の領域が形成される。また、このパターン光は、所定の周期において発光期間及び非発光期間を繰り返すパルス列状の光である。なお、光源装置１６０は、特許請求の範囲に記載の光源の一例である。

光源装置１６０は、発光部１６１と、回折光学素子１６２とを備える。発光部１６１は、光を照射するものである。この発光部１６１は、例えば、レーザ光を生成するレーザダイオードにより構成することができる。発光部１６１は、後述する制御部１７０の制御に基づいて光を照射する。回折光学素子１６２は、ＤＯＥ（Diffractive Optical Element）とも称され、回折によりレーザ光を所定のパターンの光に変換するものである。パターン光の詳細については、後述する。

撮像素子１００は、入射光に応じた画像信号を生成する複数の画素を備えるものである。この撮像素子１００は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型の撮像素子により構成することができる。撮像素子１００は、出射光２の発光期間及び非発光期間に同期する期間に受光した反射光３の撮像を行い、複数の画像信号を生成する。撮像素子１００は、生成した画像を測距部１５０に対して出力する。

測距部１５０は、物体１０までの距離を測定するものである。この測距部１５０は、撮像素子１００から出力される画像信号に基づいて上述の飛行時間の計時を行って距離を測定する。また、この測距部１５０は、前述の間接ＴｏＦ法による距離の測定を行う。測距部１５０により計測された距離は、距離データとして測距装置１の外部に出力される。測距部１５０による距離の測定の詳細については後述する。

制御部１７０は、測距装置１の全体を制御するものである。例えば、制御部１７０は、光源装置１６０に対してパターン光の出射を指示するとともに、パターン光の出射開始を測距部１５０に対して通知する。この通知により、測距部１５０が飛行時間の計時を開始する。また、制御部１７０は、撮像素子１００に対して画像信号の生成等の制御を行う。制御部１７０は、制御信号を出力することにより、光源装置１６０等の制御を行う。

［パターン光］
図２Ａは、本開示の実施形態に係るパターン光の一例を示す図である。同図は、光源装置１６０が照射するパターン光の一例を表す図である。同図のパターン光３００は、明部３２０及び暗部３１０を含む。同図は、複数の点状の明部３２０が背景である暗部３１０に配置されたドットパターンにより構成されるパターン光３００の例を表したものである。

図２Ｂは、本開示の実施形態に係る反射光の一例を示す図である。同図は、パターン光３００が図１における物体１０等に反射された反射光３５０を表す図である。この反射光３５０は、測距装置１に入射する反射光に相当する。反射光３５０は、パターン光３００の明部３２０及び暗部３１０にそれぞれ対応する明部領域３７０及び暗部領域３６０を含む。同図の複数の明部領域３７０は、対象物との距離に応じた形状に構成される。同図の点線は、物体１０により反射された反射光３５１の領域を表す。比較的近距離の物体１０により反射された反射光３５１の明部領域３７０は、他の明部領域３７０と比較して広い領域を占めることとなる。

［撮像素子の構成］
図３は、本開示の実施形態に係る撮像素子の構成例を示す図である。同図は、撮像素子１００の構成例を表すブロック図である。撮像素子１００は、被写体の画像を生成する半導体素子である。撮像素子１００は、画素アレイ部１１０と、垂直駆動部１２０と、カラム信号処理部１３０と、制御部１４０とを備える。

画素アレイ部１１０は、複数の画素２００が配置されて構成されたものである。同図の画素アレイ部１１０は、複数の画素２００が２次元行列の形状に配列される例を表したものである。ここで、画素２００は、入射光の光電変換を行う光電変換部を備え、照射された入射光に基づいて被写体の画像信号を生成するものである。この光電変換部には、例えば、フォトダイオードを使用することができる。それぞれの画素２００には、信号線１１及び１２が配線される。画素２００は、信号線１１により伝達される制御信号に制御されて画像信号を生成し、信号線１２を介して生成した画像信号を出力する。なお、信号線１１は、２次元行列の形状の行毎に配置され、１行に配置された複数の画素２００に共通に配線される。信号線１２は、２次元行列の形状の列毎に配置され、１列に配置された複数の画素２００に共通に配線される。

垂直駆動部１２０は、上述の画素２００の制御信号を生成するものである。同図の垂直駆動部１２０は、画素アレイ部１１０の２次元行列の行毎に制御信号を生成し、信号線１１を介して順次出力する。

カラム信号処理部１３０は、画素２００により生成された画像信号の処理を行うものである。同図のカラム信号処理部１３０は、信号線１２を介して伝達される画素アレイ部１１０の１行に配置された複数の画素２００からの画像信号の処理を同時に行う。この処理として、例えば、画素２００により生成されたアナログの画像信号をデジタルの画像信号に変換するアナログデジタル変換を行うことができる。処理後の画像信号は、撮像素子１００の外部の回路等に対して出力される。

制御部１４０は、垂直駆動部１２０及びカラム信号処理部１３０を制御するものである。同図の制御部１４０は、信号線１４１及び１４２を介して制御信号をそれぞれ出力して垂直駆動部１２０及びカラム信号処理部１３０を制御する。

［画素の構成］
図４は、本開示の実施形態に係る画素の構成例を示す図である。同図は、撮像素子１００に配置される画素２００の構成例を表す回路図である。同図の画素２００は、光電変換部２０１と、電荷保持部２０２及び２０３と、転送部２０４及び２０５と、リセット部２０６及び２０７と、画像信号生成部２０８及び２０９とを備える。転送部２０４及び２０５並びにリセット部２０６及び２０７は、ＭＯＳトランジスタにより構成することができる。また、同図の画素２００には、電源線Ｖｄｄが配線される。この電源線Ｖｄｄは、画素２００に電源を供給する配線である。

光電変換部２０１は、入射光の光電変換を行うものである。この光電変換部２０１は、フォトダイオードにより構成することができる。フォトダイオードは、光電変換により生成された電荷を外部の回路に供給する。このため、同図に表したように、光電変換部２０１を定電流回路により表すことができる。同図の光電変換部２０１は、一端が接地され、他端から入射光に応じたシンク電流を供給する。

電荷保持部２０２及び２０３は、光電変換部２０１により生成された電荷を保持するものである。この電荷保持部２０２及び２０３は、それぞれ半導体基板に形成された拡散領域に電荷を保持する浮遊換算領域（ＦＤ：Floating Diffusion）により構成することができる。

転送部２０４及び２０５は、光電変換部２０１により生成された電荷を電荷保持部２０２及び２０３にそれぞれ転送するものである。転送部２０４は、光電変換部２０１及び電荷保持部２０２の間を導通させることにより、光電変換部２０１の電荷を電荷保持部２０２に転送する。また、転送部２０５は、光電変換部２０１及び電荷保持部２０３の間を導通させることにより、光電変換部２０１の電荷を電荷保持部２０３に転送する。

リセット部２０６及び２０７は、電荷保持部２０２及び３０３をリセットするものである。リセット部２０６は、電荷保持部２０２及び電源線Ｖｄｄの間を導通させて電荷保持部２０２の電荷を電源線Ｖｄｄに排出することにより、リセットを行う。同様に、リセット部２０７は、電荷保持部２０３及び電源線Ｖｄｄの間を導通させることにより電荷保持部２０３をリセットする。

画像信号生成部２０８及び２０９は、電荷保持部２０２及び２０３に保持された電荷に基づいて画像信号を生成するものである。画像信号生成部２０８は、電荷保持部２０２に保持された電荷に基づいて画像信号を生成し、信号線１１２に出力する。画像信号生成部２０８は、電荷保持部２０２に保持された電荷に基づいて画像信号を生成し、信号線１１２に出力する。画像信号生成部２０９は、電荷保持部２０３に保持された電荷に基づいて画像信号を生成し、信号線１１２に出力する。

なお、転送部２０４及び２０５、リセット部２０６及び２０７及び画像信号生成部２０８及び２０９の制御信号は、不図示の信号線１１１により伝達される。

同図の画素２００における画像信号の生成は、次のように行うことができる。まず、リセット部２０６及び２０７を導通させて電荷保持部２０２及び２０３をリセットする。このリセットの終了後に、転送部２０４及び２０５を導通させて光電変換部２０１により生成される電荷を電荷保持部２０２に転送して保持させる。この際、転送部２０４及び２０５は、交互に導通状態になり、光電変換部２０１により生成される電荷を電荷保持部２０２及び２０３に振り分ける。この電荷の振り分けを複数回行って、光電変換部２０１により生成される電荷を電荷保持部２０２及び２０３に蓄積させる。この電荷を蓄積する期間を蓄積期間と称する。

所定の蓄積期間の経過後に転送部２０４及び２０５を非導通の状態にする。その後、画像信号生成部２０８及び２０９が電荷保持部２０２及び２０３に蓄積された電荷に基づいて画像信号を生成し、出力する。

上述の蓄積期間において、転送部２０４及び２０５により光電変換部２０１の電荷が振り分けられて蓄積され、蓄積されたそれぞれの電荷に基づいて画像信号が生成される。この転送部２０４及び２０５の振り分けを図１において説明した光源装置１６０のパターン光３００の発光期間及び非発光期間の周期に同期して行う。これにより、撮像素子１００に入射する反射光の同期検波を行うことができる。また、この同期検波を異なる位相により行って複数の画像信号を生成することにより、光源装置１６０から物体１０を介して撮像素子１００に至る時間を光源装置１６０の発光及び非発光の周期に対する位相差として検出する間接ＴｏＦ法を実行することができる。なお、電荷保持部２０２に対応する画像信号及び電荷保持部２０３に対応する画像信号をそれぞれタップＡの画像信号及びタップＢの画像信号と称する。

［測距部の構成］
図５は、本開示の第１の実施形態に係る測距部の構成例を示す図である。同図は、測距部１５０の構成例を表す図である。同図の測距部１５０は、明部領域検出部１５１と、差分画像信号生成部１５２と、距離検出部１５３とを備える。

明部領域検出部１５１は、撮像素子１００の画素アレイ部１１０における明部領域３７０を検出するものである。この明部領域検出部１５１は、画素アレイ部１１０の画素２００のうちの明部領域３７０に含まれる画素２００により生成される画像信号を検出する。

明部領域３７０は、例えば、複数の画素２００のそれぞれの画像信号の差分に基づいて検出することができる。明部領域３７０に入射する反射光３は、暗部領域３６０に入射する光より高い輝度の光である。このため明部領域３７０の画素２００により生成される画像信号は、暗部領域３６０の画素２００により生成される画像信号より高いレベルの信号となる。この信号レベルの差分に基づいて画素アレイ部１１０の画素２００のうち高輝度の光（反射光３）が照射される領域を検出することにより、明部領域３７０を検出することができる。

また、明部領域３７０は、例えば、パターン光が照射される領域を取得することにより検出することもできる。光源装置１６０から出射されるパターン光が照射される領域（明部３２０）の位置を事前に取得しておき、当該取得した明部３２０の位置に対応する画素アレイ部１１０の領域を検出することにより、明部領域３７０を検出することもできる。

明部領域検出部１５１は、検出した明部領域３７０の画素２００により生成される画像信号である明部領域画像信号を差分画像信号生成部１５２に対して出力する。なお、同図の明部領域検出部１５１は、暗部領域３６０の検出を更に行う。この暗部領域３６０は、明部領域３７０とは異なる領域として検出することができる。例えば、明部領域検出部１５１は、明部領域３７０の周囲の領域を暗部領域３６０として検出することができる。同図の明部領域検出部１５１は、暗部領域３６０の画素２００により生成される画像信号である暗部領域画像信号を差分画像信号生成部１５２に対して更に出力する。

差分画像信号生成部１５２は、明部領域画像信号及び暗部領域画像信号の差分の画像信号である差分画像信号を生成するものである。明部領域画像信号は、反射光３に基づく画像信号であり、明部領域画像信号により物体１０までの距離の検出に使用することができる。しかし、画素２００には、反射光３以外の外光、例えば、太陽光等の環境光が入射する。この外光に基づく画像信号が明部領域画像信号に重畳され、距離測定の誤差を生じる。この外光に基づく画像信号は、暗部領域画像信号にも重畳される。そこで、明部領域画像信号と暗部領域画像信号との差分を取ることにより明部領域画像信号の外光成分を除去することができる。差分画像信号生成部１５２は、明部領域画像信号から暗部領域画像信号を減算することにより差分画像信号を生成し、距離検出部１５３に対して出力する。この差分画像信号の生成及び出力は、図４において説明したタップＡ及びタップＢの画像信号毎に行う。

距離検出部１５３は、差分画像信号に基づいて距離を検出するものである。この距離検出部１５３は、差分画像信号に基づいて物体１０に応じた飛行時間を検出することにより、距離を検出する。飛行時間の検出は、発光期間に生成される差分画像信号と非発光期間に生成される差分画像信号との比率に基づいて行うことができる。具体的には、距離検出部１５３は、差分画像信号におけるタップＡ及びタップＢの画像信号の演算により行うことができる。なお、同図の距離検出部１５３は、検出した距離を距離データとして測距装置１の外部に出力する。

［飛行時間の検出］
図６は、本開示の第１の実施形態に係る飛行時間の検出の一例を示す図である。同図は、測距部１５０における飛行時間の検出の一例を表す図である。同図の「出射光」、「反射光」及び「外光」は、それぞれ出射光２、反射光３及び画素アレイ部１１０の画素２００に入射する外光を表す。同図の「電荷振り分け」は、図４において説明した光電変換部２０１により生成される電荷の電荷保持部２０２及び２０３への振り分け、すなわちタップＡ及びタップＢへの振り分けを表したものである。値「１」の領域が電荷保持部２０２への振り分けを表し、タップＡの画像信号への振り分けを表す。値「０」の領域が電荷保持部２０３への振り分けを表し、タップＢの画像信号への振り分けを表す。「明部領域画像信号」及び「暗部領域画像信号」は、明部領域検出部１５１から出力される明部領域画像信号及び暗部領域画像信号を表す。「差分画像信号」は、差分画像信号生成部１５２により生成される差分画像信号を表す。

同図の出射光２には、略等しい期間の発光期間及び非発光期間を備える周期Ｔのパルス光を使用する。同図の出射光２の発光期間は、一定の輝度の矩形波となる。以下、この矩形波をパルス光４０１と称する。この出射光２に応じて一定の輝度のパルス光４０２を備える反射光３が明部領域３７０の画素２００に入射する。出射光２及び反射光３の位相差φが飛行時間に相当する。また、画素２００には、一定の輝度の外光が入射する。

明部領域画像信号において、反射光３に応じて生成された電荷がタップＡ及びタップＢに振り分けられる。同図の領域４０４及び４０５がそれぞれタップＡ及びタップＢに振り分けられる電荷の領域を表す。これらの電荷を「Ａ０」及び「Ｂ０」と記載する。明部領域画像信号には、「Ａ０」及び「Ｂ０」の他に外光４０３に基づく電荷４０６の成分が含まれる。この電荷４０６は、「Ａ０」及び「Ｂ０」にそれぞれ加算される。このため、タップＡの画像信号及びタップＢの画像信号には、電荷４０６に基づく画像信号が重畳される。

暗部領域画像信号においては、外光に基づく電荷４０６’が生成される。このため、暗部領域画像信号におけるタップＡの画像信号及びタップＢの画像信号は、電荷４０６に基づく画像信号となる。なお、暗部領域画像信号には、明部領域画像信号を取り出した画素２００の近傍の暗部領域３６０における画素２００の信号を想定する。近傍の画素２００の信号同士なので、電荷４０６’と電荷４０６とは略同じ電荷量となる。

明部領域画像信号及び暗部領域画像信号についてタップＡ及びタップＢ毎に差分を取ることにより、電荷４０６の成分を除去することができる。同図の「差分画像信号」は、電荷４０６が除去された状態を表す。この「差分画像信号」の領域４０７および４０８は、それぞれ「明部領域画像信号」の領域４０４及び４０５に対応する。

タップＡ及びタップＢの画像信号をそれぞれＡ０及びＢ０とすると、飛行時間Ｔφは次式により表すことができる。
Ｔφ＝Ｔ×Ｂ０／（Ａ０＋Ｂ０） 式（１）
ここでＴは、出射光２の周期を表す。このように、タップＡの画像信号及びタップＢの画像信号の比率に基づいて飛行時間を算出することができる。

物体１０までの距離Ｄは次式により表すことができる。
Ｄ＝ｃ×Ｔφ／２ 式（２）
ここで、ｃは光速を表す。

［測距処理］
図７は、本開示の第１の実施形態に係る測距処理の一例を示す図である。同図は、飛行時間検出処理の一例を表す流れ図である。まず、光源装置１６０がパターン光を出射する（ステップＳ１０１）。次に、撮像素子１００が反射光を受光する（ステップＳ１０２）。次に、明部領域検出部１５１が明部領域を検出する（ステップＳ１０３）。この際、暗部領域も検出される。

検出された明部領域において明部領域画像信号を取得し（ステップＳ１０４）、検出された暗部領域において暗部領域画像信号を取得する（ステップＳ１０５）。次に、差分画像信号生成部１５２が差分画像信号を生成する（ステップＳ１０６）。次に、距離検出部１５３が差分画像信号に基づいて飛行時間を検出する（ステップＳ１０７）。次に、距離検出部１５３が飛行時間に基づいて距離を算出する（ステップＳ１０８）。以上の処理により、物体１０までの距離を検出することができる。

このように、本開示の第１の実施形態の測距装置１は、測距の対象物に対してパターン光を出射して明部領域画像信号及び暗部領域画像信号を生成し、距離を検出する。この明部領域画像信号及び暗部領域画像信号は、画素２００において同時に生成することができるため、測距処理を短縮することができる。また、明部領域画像信号及び暗部領域画像信号の差分を取ることにより、外光の影響を除去することができるため、測距の誤差を低減することができる。

（２．第２の実施形態）
上述の第１の実施形態の測距装置１は、単一の周波数の出射光２を使用していた。これに対し、本開示の第２の実施形態の測距装置１は、異なる周波数の出射光２を使用する点で、上述の第１の実施形態と異なる。

［測距装置の構成］
図８は、本開示の第２の実施形態に係る測距装置の構成例を示す図である。同図は、図１と同様に、測距装置１の構成例を表すブロック図である。図８の測距装置１は、光源装置１６０の回折光学素子１６２の代わりに拡散板１６３を備える点で、図１の測距装置１と異なる。

拡散板１６３は、レーザ光を拡散させるものである。この拡散板１６３を配置することにより、被写体に対して一様な輝度の出射光２を生成することができる。

同図の測距装置１では、異なる周波数の出射光による測距を行う。具体的には、同図の測距装置１は、高い周波数の出射光による測距処理である第１の測距と低い周波数の出射光による測距処理である第２の測距とを行う。第１の測距により検出された距離を第１の距離と称する。また、第２の測距により検出された距離を第２の距離と称する。

［測距部の構成］
図９は、本開示の第２の実施形態に係る測距部の構成例を示す図である。同図は、図５と同様に、測距部１５０の構成例を表すブロック図である。同図の測距部１５０は、明部領域検出部１５１、差分画像信号生成部１５２及び距離検出部１５３の代わりに第１の距離測定部１５５、第２の距離測定部１５６及び補正部１５７を備える点で、図５の測距部１５０と異なる。

第１の距離測定部１５５は、上述の第１の測距を行うものである。出射光の周波数には、例えば、４０ＭＨｚを適用することができる。この第１の測距により対象物の距離を高い精度において検出することができる。また、第２の距離測定部１５６は、４相式の間接ＴｏＦ法による測距を行う。この４相式の間接ＴｏＦについては後述する。

第２の距離測定部１５６は、上述の第２の測距を行うものである。出射光の周波数には、例えば、１０ＭＨｚを適用することができる。この第２の測距により対象物のおよその距離を検出することができる。また、第２の距離測定部１５６は、２相式の間接ＴｏＦ法による測距を行う。この２相式のＴｏＦ法については後述する。

補正部１５７は、検出した距離を補正するものである。この補正部１５７は、第２の距離測定部１５６により検出された第２の距離を第１の距離測定部１５５により検出された第１の距離に基づいて補正するものである。間接ＴｏＦ法においては、出射光の周期を超える飛行時間となる距離の算出ができないという問題がある。間接ＴｏＦ法では出射光の周期に相当する飛行時間に対応する距離が測定範囲となる。この測定範囲を超える場合、検出した距離には測定範囲に相当する距離の整数倍の誤差を含むこととなる。

このため、出射光の周波数が低いほど、測定範囲を広くすることができる。一方、後述するように、出射光の周波数が低いと距離測定の精度が低下する。そこで、比較的低い周波数の第２の測距により対象物のおよその位置を検出する。次に、比較的高い周波数の第１の測距を行って第１の距離を検出する。この第１の距離により第２の距離を補正することにより、比較的遠方にある対象物の距離の測定を行うことができる。

［出射光］
図１０は、本開示の第２の実施形態に係る出射光の一例を示す図である。同図は、図９の光源装置１６０から出射される出射光２の波形を表したものである。同図は、正弦波状の出射光２を表した図である。前述の光源装置１６０は、パルス波の発光を行うように制御部１７０により駆動される。しかし、パルス波の周波数が１０ＭＨｚ以上になると、出射光２は正弦波状に変化する。

同図の「出射光（１）」は、第２の測距における出射光の波形を表したものである。また、「反射光（１）」は、第２の距離における出射光の反射光を表したものである。また、「出射光（２）」は、第１の測距における出射光の波形を表したものである。また、「反射光（２）」は、第１の測距における出射光の反射光を表したものである。

第２の測距の出射光（１）は、第１の測距の出射光（２）より周期が長いため、測定範囲を広くすることができる。しかし、周期が長いため反射光（１）の輝度の変化が緩慢になり、位相差φの検出の誤差が比較的大きくなる。

第１の測距の出射光（２）は、周期が短いため測定範囲が狭くなる。一方、周期が短いため反射光（２）の輝度の変化が急峻になり、位相差φの検出の誤差を低減することができる。これら、第２の測距及び第１の測距を組み合わせることにより、比較的遠方の対象物までの距離を検出するとともに誤差を低減することができる。

［第２の測距における飛行時間］
図１１は、本開示の第２の実施形態に係る飛行時間の検出の一例を示す図である。同図は、第２の距離測定部１５６における飛行時間の検出の一例を表す図である。同図の「出射光」、「反射光」、「電荷振り分け」は図６と同様であるため、説明を省略する。第２の測距においては、画像信号の生成を２回行う。

１回目の画像信号の生成においては、同図の「出射光」に表したパルス波の出射光が出射される。この出射光に対応する反射光が撮像素子１００により受光される。反射光により生成された電荷は、領域４０４及び４０５に振り分けられて、タップＡ及びタップＢの画像信号が生成される。同図の「画像信号」は、この様子を表したものである。図６の「明部領域画像信号」と同様に、外光に由来する電荷４０６に基づく画像信号が重畳されたタップＡ及びタップＢの画像信号が生成される。

２回目の画像信号の生成においては、光源装置１６０からの光の出射を停止した状態において画像信号を生成する。同図の「出射光ＯＦＦ」において、光４１１はオフ状態の光を表す。また、「画像信号ＯＦＦ」は、光源装置１６０からの光の出射を停止した状態における画像信号を表したものである。この画像信号は、図６の「暗部領域画像信号」と同様に、電荷４０６’に基づく画像信号となる。

１回目の画像信号と２回目の画像信号との差分を取ることにより、電荷４０６の成分を除去することができる。１回目の画像信号の生成が図６における明部領域画像信号の生成に対応し、２回目の画像信号の生成が図６における暗部領域画像信号の生成に対応する。このような測距方法は、２相式と称される。

［第１の測距における飛行時間］
図１２は、本開示の第２の実施形態に係る飛行時間の検出の一例を示す図である。同図は、第１の距離測定部１５５における飛行時間の検出の一例を表す図である。同図の第１の測距においては、画像信号の生成を４回行う。具体的には、位相を０度、９０度、１８０度及び２７０度ずらした出射光を出射し、画像信号を生成する。

同図の「出射光（０度）」、「出射光（９０度）」、「出射光（１８０度）」及び「出射光（２７０度）」は、それぞれ０度、９０度、１８０度及び２７０度位相がずれた出射光を表す。これらの出射光に対して同じタイミングにおいて電荷の振り分けを行い、タップＡの画像信号及びタップＢの画像信号をそれぞれ生成する。同図の「画像信号（０度）」は、０度の位相のパルス光４２０に基づく画像信号である。図６と同様に、Ａ０及びＢ０の画像信号が生成される。同図の「画像信号（９０度）」は、９０度の位相のパルス光４２１に基づく画像信号である。「画像信号（９０度）」における画像信号をＡ９０及びＢ０と称する。記載は省略するが、１８０度の位相のパルス光４２２に基づく「画像信号（１８０度）」の画像信号Ａ１８０及びＢ１８０並びに２７０度の位相のパルス光４２３に基づく「画像信号（２７０度）」の画像信号Ａ２７０及びＢ２７０が更に生成される。なお、同図において、電荷４０６に基づく画像信号については、記載を省略している。

Ａ０及びＢ０、Ａ９０及びＢ９０、Ａ１８０及びＢ１８０並びにＡ２７０及びＢ２７０を使用して飛行時間を算出する。まず、次の演算を行う。
Ａ０－Ｂ０＝（Ｖａａ＋Ｖｏａ＋Ｖｒ）－（Ｖａｂ＋Ｖｏｂ＋Ｖｒ）－（Ｇａ＋Ｇｂ）×２ｃｏｓ（Ｔφ／Ｔ） 式（３）
Ａ１８０－Ｂ１８０＝（Ｖａａ＋Ｖｏａ＋Ｖｒ）－（Ｖａｂ＋Ｖｏｂ＋Ｖｒ）＋（Ｇａ＋Ｇｂ）×２ｃｏｓ（Ｔφ／Ｔ） 式（４）
Ａ９０－Ｂ９０＝（Ｖａａ＋Ｖｏａ＋Ｖｒ）－（Ｖａｂ＋Ｖｏｂ＋Ｖｒ）－（Ｇａ＋Ｇｂ）×２ｓｉｎ（Ｔφ／Ｔ） 式（５）
Ａ２７０－Ｂ２７０＝（Ｖａａ＋Ｖｏａ＋Ｖｒ）－（Ｖａｂ＋Ｖｏｂ＋Ｖｒ）－（Ｇａ＋Ｇｂ）×２ｓｉｎ（Ｔφ／Ｔ） 式（６）
ここで、Ｖａａ及びＶａｂは、外光の成分を表す。また、Ｖｏａ及びＶｏｂは、タップＡ及びタップＢのオフセット分を表す。また、Ｇａ及びＧｂは、タップＡ及びタップＢの利得を表す。

次に、式（３）乃至（６）を使用して次式のＩ及びＱを算出する。
Ｉ＝（Ａ０－Ｂ０）－（Ａ１８０－Ｂ１８０）＝－（Ｇａ＋Ｇｂ）×４ｃｏｓ（Ｔφ／Ｔ） 式（７）
Ｑ＝（Ａ９０－Ｂ９０）－（Ａ２７０－Ｂ２７０）＝－（Ｇａ＋Ｇｂ）×４ｓｉｎ（Ｔφ／Ｔ） 式（８）
飛行時間Ｔφは次式により表すことができる。
Ｔφ＝ａｒｃｔａｎ（Ｑ／Ｉ）（９）
このＴφを使用して距離Ｄを算出することができる。

Ａ０及びＢ０、Ａ９０及びＢ９０、Ａ１８０及びＢ１８０並びにＡ２７０及びＢ２７０の相互の演算により、Ｖａａ及びＶａｂ、Ｖｏａ及びＶｏｂ並びにＧａ及びＧｂの影響を除去することができる。これにより、測距の誤差を低減することができる。このような測距方法は、４相式と称される。

［測距処理］
図１３は、本開示の第２の実施形態に係る測距処理の一例を示す図である。同図は、図７と同様に、飛行時間検出処理の一例を表す流れ図である。最初に、第２の測距を行う。まず、第２の周波数で光出射を行う（ステップＳ１５１）。次に、反射光を受光して画像信号を生成する（ステップＳ１５２）。この際の画像信号は、図１１における「画像信号」に相当する。次に、光出射を停止する（ステップＳ１５３）。次に、画像信号を生成する（ステップＳ１５４）。この際の画像信号は、図１１における「画像信号（ＯＦＦ）」に相当する。次に、差分画像信号を生成する（ステップＳ１５５）。次に、差分画像信号に基づいて第２の距離を算出する（ステップＳ１５６）。

次に、第１の測距を行う。まず、第１の周波数で光出射を行う（ステップＳ１５７）。次に、反射光を受光して画像信号を生成する（ステップＳ１５８）。次に、全ての位相（０度、９０度、１８０度及び２７０度）において画像信号を生成したかを判断する（ステップＳ１５９）。その結果、全ての位相において画像信号を生成した場合には（ステップＳ１５９，Ｙｅｓ）、ステップＳ１６１の処理に移行する。一方、画像信号を生成していない位相が存在する場合には（ステップＳ１５９，Ｎｏ）、出射光の位相を変更して（ステップＳ１６０）、ステップＳ１５８の処理に戻る。

ステップＳ１６１において、第１の距離を算出する（ステップＳ１６１）。次に、距離の補正を行う。これは、第２の距離を第１の距離により補正することにより行うことができる。

なお、測距装置１の構成は、この例に限定されない。例えば、第１の測距に図５において説明した測距方法を適用することもできる。この場合には、図１において説明した回折光学素子１６２が付加された発光部を更に備えてパターン光の出射を行わせる必要がある。

これ以外の測距装置１の構成は本開示の第１の実施形態における測距装置１の構成と同様であるため、説明を省略する。

このように、本開示の第２の実施形態の測距装置１は、比較的高い周波数の出射光による第１の測距と比較的低い周波数の出射光による第２の測距とを行う。比較的遠方にある対象物の距離の測定を行うことができる。また、第１の測距においては４相式の間接ＴｏＦによる測距を行うことにより測距の誤差を低減することができる。また、第２の測距においては２相式の間接ＴｏＦを行うことにより測距処理を高速化することができる。

（効果）
測距センサは、撮像素子と、測距部１５０とを有する。撮像素子１００は、入射光に応じた画像信号を生成する複数の画素２００が配置されて被写体の特定の領域に出射される発光期間及び非発光期間を繰り返すパルス列状のパターン光が被写体により反射された反射光が入射する。測距部１５０は、撮像素子１００における反射光が照射される領域である明部領域の画素２００により生成される画像信号である明部領域画像信号と撮像素子１００における明部領域とは異なる領域の画素２００により生成される画像信号である暗部領域画像信号との差分の信号である差分画像信号に基づいて被写体までの距離を測定する。これにより、明部領域および暗部領域の画像信号を同時に生成することができる。

また、測距部１５０は、発光期間に生成される差分画像信号と非発光期間に生成される差分画像信号との比率に基づいてパターン光の出射から反射光の入射までの飛行時間を検出し、当該検出した飛行時間に基づいて距離を測定してもよい。これにより、間接ＴｏＦ法による測距を行うことができる。

また、明部領域を検出する明部領域検出部１５１を更に有し、測距部１５０は、検出された明部領域の画素２００により生成された明部領域画像信号に基づいて被写体までの距離を測定してもよい。
ことができる。

また、明部領域検出部１５１は、複数の画素２００により生成される複数の画像信号の差分に基づいて明部領域を検出してもよい。

また、明部領域検出部１５１は、パターン光の出射位置に基づいて明部領域を検出してもよい。

測距装置１は、光源装置１６０と、撮像素子１００と、測距部１５０とを有する。光源装置１６０は、発光期間及び非発光期間を繰り返すパルス列状のパターン光を被写体の特定の領域に出射する。撮像素子１００は、入射光に応じた画像信号を生成する複数の画素２００が配置されて出射されたパターン光が被写体により反射された反射光が入射する。測距部１５０は、撮像素子１００における反射光が照射される領域である明部領域の画素２００により生成される画像信号である明部領域画像信号と撮像素子１００における明部領域とは異なる領域の画素２００により生成される画像信号である暗部領域画像信号との差分の信号である差分画像信号に基づいて被写体までの距離を測定する。これにより、これにより、明部領域および暗部領域の画像信号を同時に生成することができる。

測距方法は、被写体の特定の領域に出射される発光期間及び非発光期間を繰り返すパルス列状のパターン光が被写体により反射された反射光を入射光に応じた画像信号を生成する複数の画素２００が配置された撮像素子１００により受光することと、撮像素子１００における反射光が照射される領域である明部領域の画素２００により生成される画像信号である明部領域画像信号を生成することと、撮像素子１００における明部領域とは異なる領域の画素２００により生成される画像信号である暗部領域画像信号を生成することと、生成した明部領域画像信号と生成した暗部領域画像信号との差分の信号である差分画像信号に基づいて被写体までの距離を測定することとを含む。これにより、明部領域および暗部領域の画像信号を同時に生成することができる。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
入射光に応じた画像信号を生成する複数の画素が配置されて被写体の特定の領域に出射される発光期間及び非発光期間を繰り返すパルス列状のパターン光が前記被写体により反射された反射光が入射する撮像素子と、
前記撮像素子における前記反射光が照射される領域である明部領域の前記画素により生成される前記画像信号である明部領域画像信号と前記撮像素子における前記明部領域とは異なる領域の前記画素により生成される前記画像信号である暗部領域画像信号との差分の信号である差分画像信号に基づいて前記被写体までの距離を測定する測距部と
を有する測距センサ。
（２）
前記測距部は、前記発光期間に生成される前記差分画像信号と前記非発光期間に生成される前記差分画像信号との比率に基づいて前記パターン光の出射から前記反射光の入射までの飛行時間を検出し、当該検出した飛行時間に基づいて前記距離を測定する
前記（１）に記載の測距センサ。
（３）
前記明部領域を検出する明部領域検出部を更に有し、
前記測距部は、前記検出された明部領域の前記画素により生成された前記明部領域画像信号に基づいて前記被写体までの距離を測定する
前記（１）に記載の測距センサ。
（４）
前記明部領域検出部は、前記複数の画素により生成される複数の画像信号の差分に基づいて前記明部領域を検出する
前記（３）に記載の測距センサ。
（５）
前記明部領域検出部は、前記パターン光の出射位置に基づいて前記明部領域を検出する
前記（３）に記載の測距センサ。
（６）
発光期間及び非発光期間を繰り返すパルス列状のパターン光を被写体の特定の領域に出射する光源と、
入射光に応じた画像信号を生成する複数の画素が配置されて前記出射されたパターン光が前記被写体により反射された反射光が入射する撮像素子と、
前記撮像素子における前記反射光が照射される領域である明部領域の前記画素により生成される前記画像信号である明部領域画像信号と前記撮像素子における前記明部領域とは異なる領域の前記画素により生成される前記画像信号である暗部領域画像信号との差分の信号である差分画像信号に基づいて前記被写体までの距離を測定する測距部と
を有する測距装置。
（７）
被写体の特定の領域に出射される発光期間及び非発光期間を繰り返すパルス列状のパターン光が前記被写体により反射された反射光を入射光に応じた画像信号を生成する複数の画素が配置された撮像素子により受光することと、
前記撮像素子における前記反射光が照射される領域である明部領域の前記画素により生成される前記画像信号である明部領域画像信号を生成することと、
前記撮像素子における前記明部領域とは異なる領域の前記画素により生成される前記画像信号である暗部領域画像信号を生成することと、
前記生成した明部領域画像信号と前記生成した暗部領域画像信号との差分の信号である差分画像信号に基づいて前記被写体までの距離を測定することと
を含む測距方法。

１ 測距装置
１００ 撮像素子
１１０ 画素アレイ部
１５０ 測距部
１５１ 明部領域検出部
１５２ 差分画像信号生成部
１５３ 距離検出部
１５５ 第１の距離測定部
１５６ 第２の距離測定部
１５７ 補正部
１６０ 光源装置
１６１ 発光部
１６２ 回折光学素子
１６３ 拡散板
２００ 画素
２０１ 光電変換部
３００ パターン光
３１０ 暗部
３２０ 明部
３６０ 暗部領域
３７０ 明部領域

Claims (7)

1. 入射光に応じた画像信号を生成する複数の画素が配置されて被写体の特定の領域に出射される発光期間及び非発光期間を繰り返すパルス列状のパターン光が前記被写体により反射された反射光が入射する撮像素子と、
   前記撮像素子における前記反射光が照射される領域である明部領域の前記画素により生成される前記画像信号である明部領域画像信号と前記撮像素子における前記明部領域とは異なる領域の前記画素により生成される前記画像信号である暗部領域画像信号との差分の信号である差分画像信号に基づいて前記被写体までの距離を測定する測距部と
   を有する測距センサ。
2. 前記測距部は、前記発光期間に生成される前記差分画像信号と前記非発光期間に生成される前記差分画像信号との比率に基づいて前記パターン光の出射から前記反射光の入射までの飛行時間を検出し、当該検出した飛行時間に基づいて前記距離を測定する
   請求項１に記載の測距センサ。
3. 前記明部領域を検出する明部領域検出部を更に有し、
   前記測距部は、前記検出された明部領域の前記画素により生成された前記明部領域画像信号に基づいて前記被写体までの距離を測定する
   請求項１に記載の測距センサ。
4. 前記明部領域検出部は、前記複数の画素により生成される複数の画像信号の差分に基づいて前記明部領域を検出する
   請求項３に記載の測距センサ。
5. 前記明部領域検出部は、前記パターン光の出射位置に基づいて前記明部領域を検出する
   請求項３に記載の測距センサ。
6. 発光期間及び非発光期間を繰り返すパルス列状のパターン光を被写体の特定の領域に出射する光源と、
   入射光に応じた画像信号を生成する複数の画素が配置されて前記出射されたパターン光が前記被写体により反射された反射光が入射する撮像素子と、
   前記撮像素子における前記反射光が照射される領域である明部領域の前記画素により生成される前記画像信号である明部領域画像信号と前記撮像素子における前記明部領域とは異なる領域の前記画素により生成される前記画像信号である暗部領域画像信号との差分の信号である差分画像信号に基づいて前記被写体までの距離を測定する測距部と
   を有する測距装置。
7. 被写体の特定の領域に出射される発光期間及び非発光期間を繰り返すパルス列状のパターン光が前記被写体により反射された反射光を入射光に応じた画像信号を生成する複数の画素が配置された撮像素子により受光することと、
   前記撮像素子における前記反射光が照射される領域である明部領域の前記画素により生成される前記画像信号である明部領域画像信号を生成することと、
   前記撮像素子における前記明部領域とは異なる領域の前記画素により生成される前記画像信号である暗部領域画像信号を生成することと、
   前記生成した明部領域画像信号と前記生成した暗部領域画像信号との差分の信号である差分画像信号に基づいて前記被写体までの距離を測定することと
   を含む測距方法。

Images