JP2023176643A

JP2023176643A - 測距装置

Info

Publication number: JP2023176643A
Application number: JP2022089035A
Authority: JP
Inventors: 祐太郎山下; Yutaro Yamashita
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2022-05-31
Filing date: 2022-05-31
Publication date: 2023-12-13
Also published as: WO2023234033A1

Abstract

【課題】測距精度を向上させる。【解決手段】測距装置は、発光素子アレイと、受光素子アレイと、制御回路と、ヒストグラム生成回路と、処理回路と、記憶回路と、を備える。発光素子アレイは、被写体に光を投影する発光素子が 1 次元又は 2 次元のアレイ状に配置される。受光素子アレイは、前記被写体からの反射光を受光する受光素子が 1 次元又は 2 次元のアレイ状に配置される。制御回路は、前記発光素子の発光タイミング及び前記受光素子の露光タイミングを制御する。ヒストグラム生成回路は、前記受光素子が受光した情報についてのヒストグラムを生成する。処理回路は、前記ヒストグラムに基づいて、前記被写体までの距離を測定する。記憶回路は、キャリブレーション情報を格納する。測距装置は、前記ヒストグラム生成回路は、前記キャリブレーション情報に基づいて、前記受光素子アレイの前記受光素子ごとに、受光した情報を較正した前記ヒストグラムを生成する。【選択図】図１

Description

本開示は、測距装置に関する。

光を発光し、反射光を受光する測距装置において、面発光レーザー (VCSEL) が用いられることがある。例えば、光を発光する送信機として 1 次元又は 2 次元のレーザーダイオードアレイ (例えば、 VCSEL アレイ) を用い、反射光を受光する受信機として 1 次元又は 2 次元のフォトディテクタアレイ (例えば、 SPAD アレイ) を用いた送信－受信感に視差のある 1 次元又は 2 次元スキャン方式の固体 LiDAR において、送信機にトリガー信号を印加した後に、チャネルごとの発光タイミングがずれることがある。このような場合、ズレのあるチャネルの境界が結像する受信機側の画素において、ヒストグラムが分散してしまい、測距精度が悪化するという課題がある。

特表2021-513087号公報

そこで、本開示では、精度を向上させた測距装置を提供する。

一実施形態によれば、測距装置は、発光素子アレイと、受光素子アレイと、制御回路と、ヒストグラム生成回路と、処理回路と、記憶回路と、を備える。発光素子アレイは、被写体に光を投影する発光素子が 1 次元又は 2 次元のアレイ状に配置される。受光素子アレイは、前記被写体からの反射光を受光する受光素子が 1 次元又は 2 次元のアレイ状に配置される。制御回路は、前記発光素子の発光タイミング及び前記受光素子の露光タイミングを制御する。ヒストグラム生成回路は、前記受光素子が受光した情報についてのヒストグラムを生成する。処理回路は、前記ヒストグラムに基づいて、前記被写体までの距離を測定する。記憶回路は、キャリブレーション情報を格納する。測距装置は、前記ヒストグラム生成回路は、前記キャリブレーション情報に基づいて、前記受光素子アレイの前記受光素子ごとに、受光した情報を較正した前記ヒストグラムを生成する。

前記記憶回路は、レジスタを備えてもよく、前記制御回路は、前記キャリブレーション情報に基づいて、前記受光素子アレイにおける前記受光素子ごとに前記ヒストグラムに関する遅延情報を前記レジスタに書き込んでもよい。

前記ヒストグラム生成回路は、前記レジスタに書き込まれた前記遅延情報に基づいて、前記受光素子ごとに受光した情報をシフトし、シフトした前記受光した情報に基づいて、前記ヒストグラムを生成してもよい。

前記処理回路は、前記発光素子と、前記発光素子から出力した光を受光する前記受光素子との間の視差に基づいて前記ヒストグラムから距離を算出してもよい。

前記キャリブレーション情報は、前記発光素子の発光タイミングの遅延に基づいた情報を含んでもよい。

前記キャリブレーション情報は、前記受光素子の受光タイミングの遅延に基づいた情報を含んでもよい。

前記キャリブレーション情報は、あらかじめ、前記発光素子アレイと、前記受光素子アレイと、を用いて計測された情報に基づいて設定されてもよい。

前記キャリブレーション情報は、所定キャリブレーション距離に前記被写体を配置し、前記発光素子アレイから発光し、前記被写体で反射した光を前記受光素子アレイで受光することで計測される情報に基づいて決定されてもよい。

前記キャリブレーション情報は、前記所定キャリブレーション距離から、前記受光素子アレイにおいて 1 画素分受光領域がずれる距離に前記被写体を配置し、前記発光素子アレイから発光し、前記被写体で反射した光を前記受光素子アレイで受光することで計測される情報に基づいて決定されてもよい。

前記記憶回路は、前記キャリブレーション情報をデータシートとして格納するデータシート記憶部、をさらに備えてもよい。

また、一実施形態によれば、測距装置は、発光素子アレイと、受光素子アレイと、制御回路と、ヒストグラム生成回路と、処理回路と、記憶回路と、を備える。発光素子アレイは、被写体に光を投影する発光素子が 1 次元又は 2 次元のアレイ状に配置される。受光素子アレイは、前記被写体からの反射光を受光する受光素子が 1 次元又は 2 次元のアレイ状に配置される。制御回路は、前記発光素子の発光タイミング及び前記受光素子の露光タイミングを制御する。ヒストグラム生成回路は、前記受光素子が受光した情報についてのヒストグラムを生成する。処理回路は、前記ヒストグラムに基づいて、前記被写体までの距離を測定する。記憶回路は、キャリブレーション情報を格納する。前記ヒストグラム生成回路は、あらかじめ設定されたデータシートに基づいた前記受光素子ごとの遅延情報を取得し、前記受光素子ごとに、受光した情報を較正した前記ヒストグラムを生成する。

発光素子と受光素子の配置の一例を示す図。一実施形態に係る発光素子アレイにおける発光と受光素子アレイにおける露光のタイミングを示す図。一実施形態に係る発光素子アレイにおける発光と受光素子アレイにおける露光のタイミングを示す図。一実施形態に係る発光素子アレイにおける発光と受光素子アレイにおける露光のタイミングを示す図。一実施形態に係る発光素子アレイにおける発光と受光素子アレイにおける露光のタイミングを示す図。一実施形態に係る発光素子アレイにおける発光と受光素子アレイにおける露光のタイミングを示す図。一実施形態に係る発光素子アレイにおける発光と受光素子アレイにおける露光のタイミングを示す図。一実施形態に係る発光素子アレイにおける発光と受光素子アレイにおける露光のタイミングを示す図。一実施形態に係る発光素子アレイにおける発光と受光素子アレイにおける露光のタイミングを示す図。一実施形態に係る発光素子アレイにおける発光と受光素子アレイにおける露光のタイミングを示す図。一実施形態に係る発光素子アレイにおける発光と受光素子アレイにおける露光のタイミングを示す図。一実施形態に係る発光素子アレイにおける発光と受光素子アレイにおける露光のタイミングを示す図。一実施形態に係る発光素子アレイにおける発光と受光素子アレイにおける露光のタイミングを示す図。一実施形態に係る発光素子アレイにおける発光と受光素子アレイにおける露光のタイミングを示す図。一実施形態に係る発光素子アレイにおける発光と受光素子アレイにおける露光のタイミングを示す図。一実施形態に係る発光素子アレイにおける発光と受光素子アレイにおける露光のタイミングを示す図。一実施形態に係る発光素子アレイにおける発光と受光素子アレイにおける露光のタイミングを示す図。一実施形態に係る測距装置の概略を示すブロック図。一実施形態に係るタイミングチャート。一実施形態に係る発光素子アレイと受光素子アレイの配置の一例を示す図。一実施形態に係る受光タイミングのヒストグラムを示す図。一実施形態に係る発光素子アレイと受光素子アレイの配置の一例を示す図。一実施形態に係る受光タイミングのヒストグラムを示す図。一実施形態に係る受光タイミングのヒストグラムを示す図。一実施形態に係る受光タイミングのヒストグラムを示す図。一実施形態に係るディレイ測定の処理を示すフローチャート。一実施形態に係るディレイ測定の処理におけるヒストグラムを示す図。一実施形態に係る発光素子のディレイ測定をする回路図。一実施形態に係る受光素子のディレイ測定をする回路図。一実施形態に係るデータシートの一例を示す図。一実施形態に係るデータシートの一例を示す図。車両制御システムの概略的な構成の一例を示すブロック図である。車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、図面を参照して本開示における実施形態の説明をする。図面は、説明のために用いるものであり、実際の装置における各部の構成の形状、サイズ、角度、又は、他の構成とのサイズの比、距離等が図に示されている通りである必要はない。また、図面は、簡略化して書かれているため、図に書かれている以外にも実装上必要な構成は、適切に備えるものとする。また、光の経路等が図面に示されることがあるが、これらの図は、視覚的に理解しやすいように示されているものであり、反射角等の事象は、必ずしも物理的に正確な状態を表すものではないことに留意されたい。

図1は、固体 LiDAR における発光素子と受光素子の配置の一例を示す図である。発光素子は、発光部 Tx の発光素子アレイにおいて 1 次元又は 2 次元のアレイ状に配置される。受光素子は、受光部 Rx の受光素子アレイにおいて 1 次元又は 2 次元のアレイ状に配置される。受光素子から射出される光は、光学系により被写体に集光し、被写体 (対象) により反射した光が光学系を介して受光素子に照射される。被写体は、測距の対象を示す。

発光素子は、例えば、面発光レーザー (VCSEL) であり、受光素子は、例えば、 SPAD (Single Photon Avalanche Diode) である。これらに限定されるものではなく、適切な強度で被写体に光を投影する発光素子、及び、被写体からの反射光の情報を適切に取得できる受光素子により形成されればよい。

図に示されるように、 1 つの発光素子から射出した光を、複数の受光素子で受光する形態であってもよい。発光素子の発光タイミングと、受光素子における受光するための露光タイミングは、限定されない一例として、以下のように紐付けられている。

図2Aから図2Hは、発光素子の発光タイミングとこの発光タイミングに合わせた受光素子の露光タイミングとの例を示す図である。発光素子アレイにおいて発光している素子、及び、受光素子アレイにおいて露光している素子をそれぞれ斜線で示している。図の Tx が発光素子アレイを示し、 Rx が受光素子アレイを示す。また、 Tx において斜線で示される画素の発光を、 Rx において斜線で示される画素で受光する。

これらの図では、発光素子アレイには 8 × 8 の発光素子が備えられ、受光素子アレイには、 16 × 16 の受光素子が備えられているが、これらの素子の数、アレイ間の素子の数の比率等は、一例として示すものであり、限定されるものではない。また、最初が左上、最後が右下となっているが、これについても一例であり、限定されるものではない。

スキャンが始まると、図2Aに示すように、左上 (以下、左上を基準に (1, 1) 等と記載する、受光素子アレイにおいて同じ) の発光素子が発光をし、この発光素子から被写体で反射する光を受光素子アレイの (1, 1) から (4, 1) までの 4 つの受光素子を用いて受光する。

後述するように、発光のタイミングと露光のタイミングは、完全に一致している必要は無く、例えば、前の発光タイミングとの十分なマージンを取った上で、確実な受光をするために、露光タイミングを受光タイミングよりも早く開始し、遅く終了させてもよい。

また、図に示すように、受光における画素の多少のズレを許容するべく、例えば、受光素子アレイにおいて、発光素子に対応する受光素子に沿った発光素子の 1 画素分に対応する受光素子を同じタイミングで露光し、冗長に受光できるようにしてもよい。この冗長な画素の数は、例えば、光学系、送信部 Tx と受光部 Rx との距離、又は、測距したい距離の範囲の少なくとも 1 つに基づいて決定されてもよい。

この受光の次のタイミングでは、図2Bに示すように、 (2, 1) の発光素子の発光を、 (1, 1) から (6, 1) までの 6 つの受光素子を用いて受光する。

次のタイミングでは、図2Cに示すように、 (3, 1) の発光素子の発光を、 (3, 1) から (8, 1) までの 6 つの受光素子を用いて受光する。

次々に受光素子及び発光素子をシフトさせ、図2Dに示すように、 (8, 1) の発光素子の発光を、 (13, 1) から (16, 1) までの 4 つの受光素子を用いて受光するまでライン方向にスキャンする。

次のタイミングでは、図2Eに示すように、 (1, 1) の発光素子の発光を、 (1, 2) から (4, 2) までの 4 つの受光素子を用いて受光する。このように、受光素子アレイにおける受光素子の方が、発光素子アレイにおける発光素子の密度よりも密である場合には、 1 ラインに属する発光素子は、 2 ライン分の受光素子における受光に対して発光してもよい。

受光素子の 1 ライン目と同様に、図2Fに示すように、 (1, 8) の発光素子の発光を、 (13, 2) から (16, 2) までの 4 つの受光素子を用いて受光するまで、発光素子及び受光素子を変更しつつ繰り返す。

そして、図2Fにしめす 2 ライン分の受光の次のタイミングでは、図2Gに示すように、 (2, 1) の発光素子の発光を、 (1, 3) から (4, 3) までの 4 つの受光素子を用いて受光する。このように発光素子の 2 ライン目、受光素子の 3 ライン目以降についても同様にラインごとにスキャンされる。

最終的に、図2Hに示すように、 (8, 8) の発光素子の発光を、 (13, 16) から (16, 16) までの 4 つの受光素子を用いて受光する。

図2Aから図2Hで、 1 フレーム分の処理が完了し、その後に図2Aからのタイミングに基づいて、次のフレームにおける受光及び発光が繰り返される。

受光及び発光は、 1 つの素子からの発光を受光することに限定されるものではない。例えば、図3Aから図3Hに示すように、 2 つの発光素子からの発光を、 2 つの受光素子の領域で受光してもよい。

例えば、図3Aに示すように、 (1, 1) の発光素子における発光を (1, 1) から (1, 4) の 4 つの受光素子で受光し、 (5, 1) の発光素子における発光を (7, 1) から (12, 1) の 6 つの受光素子で受光するタイミングで発光タイミング及び露光タイミングを設定してもよい。

この場合も同様に、次のタイミングにおいては、図3Bに示すように、 (1, 2) の発光素子の発光タイミングと (1, 1) から (6, 1) の 6 つの受光素子の露光タイミング、及び、 (6, 1) の発光素子のタイミングと (9, 1) から (14, 1) の 6 つの受光素子の露光タイミングと、を合わせる。

次のタイミングでは、図3Cに示すように発光タイミング及び受光タイミングが設定され、その次のタイミングでは、図3Dに示すように設定される。図2の場合と同様に、図3Dの次のタイミングでは、受光素子のラインを次のラインに移動し、図3Eの状態から、ラインに沿ってスキャンし、図3Fの発光、受光を実行する。

図3Eから図3Fのラインのスキャンが完了した後に、図3Gに示すように、受光素子のライン及び発光素子のラインを次のラインへと遷移させて、同様に発光及び受光が実行される。

フレームの最終状態においては、図3Hに示すように、 (4, 8) の発光素子における発光を (5, 16) から (10, 16) の 6 つの受光素子で受光し、 (8, 8) の発光素子における発光を (13, 16) から (16, 16) の 4 つの受光素子で受光するべく、発光及び露光のタイミングを設定する。

発光素子は、上記の図面ごとのタイミングで 1 回発光してもよいし、複数回発光してもよい。

露光する受光素子は、同じ図に示される発光する発光素子とアレイ内において同じ位置としているが、これに限定されるものではない。例えば、発光素子アレイ内において発光する素子と、受光素子アレイ内において露光する素子とは、アレイのライン方向若しくはカラム方向の中央に関して線対称、又は、アレイの中央に関して点対称の位置であってもよい。

すなわち、図2及び図3のそれぞれにおいて、受光部 Rx における露光する受光素子の位置は、水平方向若しくは垂直方向の中心線について線対称な位置、又は、アレイの中心点について点対称な位置であってもよい。図2及び図3においては、発光及び受光のタイミングが重なる発光素子及び受光素子の関係が理解しやすいように、同じ位置に属する素子同士として表現している。

また、図3に示すように、ライン方向に複数の発光、受光が実行されるのではなく、カラム方向に複数の発光、受光が実行されてもよい。さらには、ライン及びカラムの双方においてズレを有する複数の発光、受光が実行されてもよい。

この後は、次のフレームに遷移して、同様のタイミングで発光及び受光が実行される。

本開示においては、測距装置は、図2及び図3に例として示される受光タイミングと発光タイミングにおいて、受光素子アレイにおける受光状態をヒストグラムに表し、このヒストグラムに基づいて測距する。この場合において、発光タイミング、受光タイミングの種々の原因によるズレを、ヒストグラムを生成するタイミングにおいて較正することで、精度の高い測距を実現する。

図4は、一実施形態に係る測距装置の概略を示すブロック図である。測距装置 1 は、例えば、ホスト 10 と、発光部 Tx と、受光部 Rx と、を備える。ホスト 10 からの制御信号に基づいて、発光部 Tx が被写体に光を投影し、受光部 Rx が被写体から反射してきた光を受光して発光タイミングと受光タイミングとに基づいて、被写体までの距離を測定する。また、測距装置 1 は、記憶回路の一部として、外部又は内部に ROM 140 を備える。

ホスト 10 は、発光部 Tx と受光部 Rx とデータの送受信、及び、これらの制御を実行する。ホスト 10 は、例えば、発光部 Tx に同期信号 Hsync 、 Vsync を送信し、受信部 Rx に同期信号 Ssync 、 Fsync 、及びトリガー信号 Itrg を送信する。受信部 Rx とのデータの送受信は、例えば、 MIPI (登録商標) 又はシリアルインタフェースを介して実行してもよい。

発光部 Tx は、ドライバ 100 と、発光素子アレイ 102 と、を備える発光部 Tx は、ホスト 10 から送信される同期信号及び受光部 Rx から送信されるトリガー信号に基づいて、被写体に光を投影する。

ドライバ 100 は、ホスト 10 から受信した同期信号 Hsync 、 Vsync 、及び、受信部 Rx から受信したトリガー信号 Otrg に基づいて、適切なタイミングで発光素子アレイ 102 を発光させる。

発光素子アレイ 102 は、発光素子、例えば、 VCSEL が 1 次元又は 2 次元のアレイ状に備えられる。発光素子のそれぞれは、ドライバ 100 から出力される信号に基づいて、発光する。

一例として、ドライバ 100 は、ホストから受信した垂直方向の同期信号 Vsync により、発光素子アレイ 102 におけるフレームの開始と終了とのタイミングを制御し、発光可能となる状態にする。ドライバ 100 は、水平方向の同期信号 Hsync により、発光素子アレイ 102 におけるラインを選択的に指定し、ラインに属する発光素子の発光駆動制御をする。この状態で、ドライバ 100 からトリガー信号 Otrg に基づいたカラムごとの信号を出力することで、 Hsync により選択されたライン、 Otrg が入力されたタイミング及び指定されたカラムに配置される発光素子が発光する。

受光部 Rx は、制御回路 120 と、レジスタ 122 と、温度センサ 124 と、受光素子アレイ 126 と、ヒストグラム生成回路 128 と、処理回路 130 と、を備える。受光部 Rx は、ホスト 10 から入力される同期信号 Ssync 、 Fsync と、トリガー信号 Itrg のタイミングに基づいて、適切な受光素子を露光状態として、反射光を検知し、検知結果に基づいて、被写体までの距離を測定する。

制御回路 120 は、ホスト 10 から受信した同期信号 Ssync 、 Fsync と、トリガー信号 Itrg と、に基づいて、受光素子アレイ 126 に配置される適切な位置又は領域に配置される受光素子を制御する。また、制御回路 120 は、トリガー信号 Itrg に基づいて受光素子が露光している状態で反射光を受光できるように発光部 Tx の発光素子が発光するためのトリガー信号 Otrg を発光部 Tx のドライバ 100 に送信する。

レジスタ 122 は、記憶回路の少なくとも一部として備えられ、受光素子の露光タイミング及び発光素子の発光タイミングが適切に実行できるキャリブレーション情報 (較正情報) を格納する。キャリブレーション情報は、受光素子アレイ 126 において取得した信号からヒストグラム生成における較正をするためのデータである。キャリブレーション情報の詳細については後述する。

温度センサ 124 は、筐体内の温度を測定し、制御回路 120 からの要求により温度情報を制御回路 120 へと送信する。この温度情報は、一例として、上記のキャリブレーション情報に基づいた較正処理に用いられる。

なお、キャリブレーションに温度情報を用いることは必須ではなく、使用されなくてもよい。この場合、温度センサ 124 自体が測距装置 1 内に備えられなくてもよい。

受光素子アレイ 126 は、受光素子、例えば、 SPAD が 1 次元又は 2 次元のアレイ状に備えられる。受光素子のそれぞれは、制御回路 120 から出力される信号に基づいて、露光し、発光素子から投影され被写体において反射した光を受光する。受光素子アレイ 126 に配置される受光素子のそれぞれは、受光したタイミングでヒストグラム生成回路 128 に反射光を検出したことを示す検出信号を出力する。

ヒストグラム生成回路 128 は、受光素子が受光したタイミングを積算してヒストグラムを生成する回路である。ヒストグラム生成回路 128 は、受光素子が受光したタイミングを、制御回路 120 から出力されるキャリブレーション情報に基づいてシフトさせて積算することでヒストグラムを生成する。ヒストグラム生成回路 128 は、例えば、受光素子アレイ 126 に備えられる測距に用いる受光素子ごとに、時間を横軸、入射光子量を縦軸とするヒストグラムを生成する。

処理回路 130 は、ヒストグラム生成回路 128 が生成したヒストグラムに基づいて、被写体までの距離を測定する。処理回路 130 は、例えば、それぞれの受光素子について制御回路 120 が出力するトリガー信号 Otrg のタイミングを考慮して、被写体までの距離を測定する。処理回路 130 は、例えば、 MIPI 等のインタフェースを介して、ホスト 10 に測距結果を送信してもよい。測距結果を受信したホスト 10 は、任意の処理に測距結果を用いることができる。

処理回路 130 は、例えば、受光素子ごとに生成されるヒストグラムにおけるモード値に基づいて、被写体までの距離を測定してもよい。処理回路 130 は、このモード値を光が射出されて受光素子に受光されるまでの時間として、測距する。時間からの測距の方法は、視差が無い場合には、 c を光速、モード値に対応する時間を t として、 ct / 2 で求めてもよい。

視差がある場合には、処理回路 130 は、視差に基づいて、一般的な手法によりこの t を用いて算出することができる。一例として、受光素子と発光素子の視差が、受光素子と発光素子の距離 D で表される場合、被写体からの反射光の受光角度 φ を用いて、距離 d = (c²t² - D²) / (2 × (ct - D cos φ)) で表されるとしてもよい。視差がある場合に距離を求める手法は、これに限定されず、適切に定義された別の手法であってもよい。

ROM 140 は、記憶回路の一部として実装され、例えば、受信部 Rx の外側又は内側に備えられる。また別の例として、 ROM 140 は、測距装置 1 の外側に備えられてもよい。 ROM 140 は、一例として、 Flash ROM 等で実装されてもよい。この ROM 140 には、キャリブレーション情報に用いるデータシートが格納されていてもよい。すなわち、 ROM 140 は、キャリブレーション情報を登録するデータシート記憶部として動作することができる。

ヒストグラム生成回路 128 は、例えば、 ROM 140 から状況に基づいて決定されレジスタ 122 に読み込まれているキャリブレーション情報を、制御回路 120 から取得することで、受光素子ごとのディレイ情報等を取得して、ヒストグラムを較正する。

図5は、上記にて説明した信号送受信のタイミングチャートである。上から順番に、 Fsync 、 Ssync 、 Itrg 、 Otrg 、 Vsync 、 Hsync 、及び較正に用いるディレイ情報を示す。以下、発光素子アレイ 102 に含まれる発光素子の数を m × n 画素であるとして説明する。一例として、 m は、発光素子アレイ 102 における発光素子のカラム数であり、 n は、発光素子アレイ 102 における発光素子のライン数である。

Fsync は、受光素子アレイ 126 の垂直方向の同期信号であり、フレームの開始と終了のタイミングにおいて信号が反転する。例えば、 Fsync は、フレームの開始においてオンし、フレームの終了においてオフする信号である。

Ssync は、受光素子アレイ 126 の水平方向の同期信号であり、走査するラインの開始と終了のタイミングにおいて信号が反転する。例えば、 Ssync は、ライン走査の開始タイミングにおいてオンし、ライン走査の終了タイミングにおいてオフする信号である。 Ssync は、例えば、 Fsync がオンである期間において、 n 回のオン期間を備える。

Itrg は、受光素子の露光開始のタイミングを示すパルス波であるトリガー信号であり、この Itrg を受信した受光素子は、受信したタイミングから所定期間の間、受光が可能な状態となる。 Itrg は、Ssync がオンしているそれぞれのタイミングにおいて、 m 回通知される。 Itrg は、受光素子アレイ 126 において選択されているライン及びカラムに配置されている受光素子に通知される。通知される受光素子の例は、図2から図3に示される。この受光素子の選択は、同じタイミングで発光する発光素子に対応づけられて決定される。

この所定期間は、発光素子が発光し、被写体で反射した光が受光素子に到着するまでの十分な時間であり、次の発光素子のタイミング、望ましくは次の受光素子の露光開始のタイミングよりも前のタイミングで完了する期間である。この所定期間の終了タイミングは、一例として、図で示されている 1 画素 (1 受光期間) の終了のタイミング、この終了のタイミングよりも短いタイミング、又は、次の受光期間における Itrg が入力されるよりも前のタイミングであってもよい。

Otrg は、発光素子の発光タイミングを示すパルス波であるトリガー信号であり、この Otrg を受信した発光素子は、受信したタイミングにおいて 1 回、又は、複数回発光する。 Otrg は、 Itrg が通知されたと同時のタイミング、又は、 Itrg が通知されたよりも微小時間後のタイミングで通知される。この微小時間は、 Itrg が受光素子に通知されてから露光が開始される時間を考慮して決定されてもよい。

Otrg は、 Itrg の通知に伴い、同じ回数が通知される。すなわち、 Otrg は、 Ssync がオンであるタイミングにおいて、 m 回の Otrg が発行される。 Otrg は、発光素子アレイ 102 において選択されているライン及びカラムに配置されている発光素子に通知される。通知を受信した発光素子は、 Otrg を受信したタイミングに基づいて発光する。

発光素子が発光した光は、被写体に投影され、被写体において反射された光が、露光されている状態の受光素子において受光される。受光した受光素子は、反射光を検出したことを、検出信号としてヒストグラム生成回路 128 へと出力する。

ヒストグラム生成回路 128 は、制御回路 120 から取得する受光素子ごとの設定されるディレイ情報に基づいて、受光素子から取得した検出信号をシフト (遅延) させてヒストグラムを生成する。

ディレイ情報は、タイミングチャートの最下段に示されている。レジスタ 122 は、例えば、 1 受光期間ごとに、制御回路 120 が ROM 140 から取得したキャリブレーション情報に基づいたディレイ情報を格納する。制御回路 120 は、発光素子ごとにディレイ情報をレジスタ 122 から読み出す。

制御回路 120 は、 1 つの受光期間において発光する発光素子に対応するディレイ情報をレジスタ 122 から読み取り、ヒストグラム生成回路 128 へと出力する。例えば、最初の受光タイミングにおいては、 (1, 1) に配置されている発光素子が発光した光を受光素子において受光可能であり、この発光素子に対応するディレイ情報 (1, 1) が設定される。受光期間が切り替わり、受光素子の露光状態が切り替わる状態において、このディレイ情報が次の発光素子に対応するディレイ情報へと切り替わる。

ヒストグラム生成回路 128 は、発光素子ごとに設定されているディレイ情報に基づいて、適切に検出信号のタイミングをシフトさせて積算することで、適切なヒストグラムを生成する。なお、図2から図3において示されているように、複数の受光素子が同じタイミングで受光可能な状態となっていることがある。このような場合には、ヒストグラム生成回路 128 は、適切に、複数の受光素子から取得する検出信号のタイミングをシフトさせた上でヒストグラムを生成する。

なお、ヒストグラム生成回路 128 は、ディレイ情報を制御回路 120 から取得するものとしたが、これに限定されるものではない。例えば、制御回路 120 がディレイ情報を ROM 140 に格納されているデータから取得してレジスタ 122 に格納した後、ヒストグラム生成回路 128 が、レジスタ 122 を直接的に参照することでディレイ情報を取得してもよい。

また、上記においては、ディレイ情報は受光素子ごとにレジスタから読み込まれるとしたが、これに限定されるものではない。制御回路 120 は、別の例として、発光素子の位置に対応するディレイ情報をレジスタから読み込み、ヒストグラム生成回路 128 へと出力し、ヒストグラム生成回路 128 は、このディレイ情報に基づいて、検出したタイミングをシフトして積算することでヒストグラムを生成してもよい。

以上においては、本開示における発光、受光のタイミングについて説明した。以下において、どのようにヒストグラムが生成されるかをより具体的に説明する。説明のため、発光素子アレイは、 1 × 4 のアレイ、受光素子アレイは、 1 × 8 のアレイとして表すが、これらに限定されるものではない。また、発光素子アレイは、発光素子 A 、 B 、 C 、 D を備え、受光素子アレイは、受光素子 a 、 b 、 c 、 d 、 e 、 f 、 g 、 h を備え、発光素子 B に発光のディレイが存在するとして説明する。

図6は、同一の光軸を有する発光素子アレイと受光素子アレイを備える形態を示す図である。例えば、発光素子アレイと受光素子アレイは、 90 度の角度差を有するように配置され、発光素子アレイの発光面側には、被写体から反射した光が受光素子アレイに適切に入射するようにハーフミラー M が設置される。発光素子から発光される光は、光学系 L を介して被写体に投影され、この投影された光が被写体において反射して、再度光学系 L を介してハーフミラー M の表面により、少なくとも一部が受光素子アレイ側に反射する。

点線が発光素子 B が発光した光が被写体に当たるまで、実線が被写体から反射した光が受光素子に入射するまでを示す。なお、ハーフミラー M による受光素子に受光する光とは関連しない反射光は、特に影響がないため、図示を省略している。

この場合、発光素子アレイと受光素子アレイにおいては視差が存在しない。このため、原則的には、各発光素子が発光した光は、決まった受光素子が受光する。例えば、発光素子 B の発光した光は、受光素子 c 、 d において受光される。

図7は、図6の状況における受光タイミングのヒストグラムと、タイミングチャートを組み合わせた図である。 Itrg のタイミングで、受光素子が露光開始し、 Otrg のタイミングで発光素子が発光する。発光素子 A 、 C 、 D は、 Otrg が入力された適切なタイミングで発光する。一方で、発光素子 B は、例えば、敗戦等の遅延により、他のチャネルよりも遅延がある。この遅延が、矢印で表される。

Hist. a は、受光素子 a に検出された光のタイミングを較正無しの状態において示すヒストグラム、 Hist. b は、受光素子 b に検出された光のタイミングを較正無しの状態において示すヒストグラム、以下、 Hist. c から h についても同様にそれぞれ受光素子 c から h に検出された光のタイミングを較正無しの状態において示すヒストグラムである。

ヒストグラムにおいて斜線で示すビンがヒストグラムのモードを表す。すなわち、この斜線で示すに対応する時間と、積算開始時間との差、及び、 Otrg のタイミングに基づいて、処理回路 130 は、被写体までの距離を算出する。

図6のように発光素子 B からの発光が、受光素子 c 、 d により受光される場合、図7に示すように、ヒストグラム自体が他の受光素子に出力された検出信号に基づいたヒストグラムから、発光素子 B の発光ディレイ分だけずれる。

このため、図6のように発光素子アレイ及び受光素子アレイが同軸である場合には、ヒストグラム生成回路 128 は、ディレイのある発光素子 B が発光する期間において受光したヒストグラムをこのディレイ分だけシフトしてヒストグラムを生成することで、適切なヒストグラムを生成することが可能となり、測距精度を向上させることができる。

次に、発光素子アレイと受光素子アレイが同軸ではなく、視差を有する場合について説明する。

図8は、視差を有する発光素子アレイと受光素子アレイを備える形態を示す図である。このような場合、例えば、測距する被写体までの距離により、ヒストグラムが種々のパターンで劣化する。

図9は、理想的に発光素子 B に対応する受光素子 c 、 d に受光した場合のヒストグラムを示す図である。この場合、図7とほぼ同様に、受光素子 c 、 d のヒストグラムが受光素子 B のディレイ分だけずれる。

図8の状態において、距離がずれると、例えば、受光素子 c 、 d ではなく、受光素子 b 、 c において、発光素子 B が発光した光の反射光を検出する場合がある。

図10は、このように 1 画素分ずれた受光素子で受光を検出した場合である。この場合、受光素子 b 、 c のヒストグラムが受光素子 B のディレイ分だけずれる。

図11は、上記のように、整数ピクセルだけずれた状態ではない、較正前のヒストグラムの一例を示す図である。例えば、発光素子 B が発光した光を、理想より 0.5 ピクセルずれた状態で受光した場合の較正前のヒストグラムの一例を示す図である。この図に示すように、発光素子 B から発光された光は、受光素子 b 、 c 、 d により受光する。

同一の光軸を有する図6および図7の場合は、被写体の距離によらず決まった画素をシフトさせれば良いが、被写体までの距離は未知であるため、図9および図10の場合でもどの画素をシフトすべきかを判断する事は出来ない。また図11の場合、上記のように単純にある受光素子におけるヒストグラムをシフトするだけでは適切な較正を実行することができない。

一方で、上述したように、発光素子 B が発光するタイミングにおいて露光されている受光素子の受光タイミングをシフトして積算することで、ヒストグラム生成回路 128 は、適切なヒストグラムを生成することができる。

上記においては、一例として発光素子 B がディレイを有している場合について説明したが、本開示のように受光素子ごとにディレイ情報をレジスタに書き込むことで、複数の発光素子にディレイが生じている場合にも、各々適切にヒストグラムを生成するタイミングにおいて較正することが可能である。

また、別の例としては、基準時間から、全ての発光素子に対するディレイを計測しておき、このディレイと、基準時間とを用いて、適切な基準時間に対するヒストグラムを生成することもできる。

上記においては、発光素子においてディレイが発生している場合について説明したが、これに限定されるものではない。同様の方法を用いることで、受光素子においてディレイが発生している場合についても、適切なヒストグラムの較正をすることが可能である。受光素子にディレイが生じている場合には、ヒストグラム生成回路 128 は、当該受光素子からの検出信号を、ディレイ分シフトさせて積算することで、適切なヒストグラムを生成することができる。

発光素子及び受光素子のうち、いずれか 1 つ以上にディレイがある場合には、ヒストグラム生成回路 128 は、上記の発光素子にディレイがある場合についての方法と、受光素子にディレイがある場合についての方法と、を適切に組み合わせた較正をすることで、適切なヒストグラムを生成することができる。

次に、適切なキャリブレーション情報を取得する方法について説明する。このキャリブレーション情報は、例えば、上述したように発光素子又は受光素子の少なくとも 1 つにディレイがある場合には、この発光素子のディレイ情報を取得することで生成することができる。

キャリブレーション情報は、あらかじめ、発光素子アレイと、受光素子アレイと、を用いて計測されたディレイ情報に基づいて設定される。

限定されない一例として、測距装置 1 を用いて、ディレイを測定することができる。

図12は、一実施形態に係る測距装置 1 を用いたディレイ測定の処理を示すフローチャートである。一例として、発光素子 B 及び受光素子 f にディレイがある場合について説明する。

まず、図8等に示すように、測距装置 1 から被写体を所定距離の位置にセットする (S100) 。この所定距離とは、理想的に、発光素子と受光素子との対応付けがされる距離である。例えば、発光素子 B から発光した光が被写体で反射して、受光素子 c 、 d に適切に入射する距離である。この距離をキャリブレーション距離 (d_calib) とする。この S100 の処理は、例えば、測距装置 1 から被写体として、一様に等距離なチャートを、所定距離に配置することで実行される。

この状態で、測距装置 1 は、較正しない状態において測距を実行し、それぞれの受光素子における検出タイミングを示すヒストグラムを生成する (S102) 。

次に、被写体を、発光素子アレイのそれぞれの発光素子が発光した光を、理想的な受光素子アレイの対応する受光素子から、 1 画素分だけずれる距離 (d_calib+1) に移動させる (S104) 。

この状態で、測距装置 1 は、較正しない状態において測距を実行し、それぞれの受光素子における検出タイミングを示すヒストグラムを生成する (S106) 。

図13は、 S102 及び S106 において生成されたヒストグラムの一例を示す図である。ヒストグラムが 2 つ並んでいる箇所は、左側が S102 におけるヒストグラム、右側が S106 におけるヒストグラムを示す。この図に示すように、それぞれの距離におけるそれぞれの受光素子に対して生成されたヒストグラムのピークの位置を p_{n, calib+x} と記載する。

このヒストグラムに示されるように、発光素子 B のディレイに起因するヒストグラムのズレと、受光素子 f のディレイに起因するヒストグラムのズレを視認することができる。これらのピークの位置 (ピークとなるビンに対応する時間) から、以下の式により、それぞれの受光素子、及び、発光素子のディレイを算出する。

まず、受光素子のディレイは、受光素子 a を基準として、以下の式で与えられる (S108) 。但し、式を表現する関係上、ピークの位置の表現と合わせて、受光素子 b のディレイを Delay_{Rx, 2} 、受光素子 c のディレイを Delay_{Rx, 3} 、・・・、受光素子 h のディレイを Delay_{Rx, 8} 等と、数字により表現する。

発光素子のディレイ Delay_{Tx, j} は、以下の式で与えられる (S110) 。但し、発光素子の個数は、受光素子の個数の 1 / k 、例えば、図2から図3では、 k = 2 であるとする。

このように取得されたディレイ情報を、キャリブレーション情報として ROM 140 に格納する。測距時には、 ROM 140 に格納されたこれらのディレイ情報を取得することで、ヒストグラム生成回路 128 は、適切なヒストグラムを生成することができる。

また、測距装置 1 を形成する前に、キャリブレーション情報を取得することも可能である。

図14は、発光素子アレイのそれぞれの発光素子のディレイを測定する回路を示す図である。点線で示す経路においては、ディレイが既知である。

ドライバ 100 に適切に同期信号及びトリガー信号を入力し、発光素子アレイ 102 のそれぞれの発光素子を発光させる。この光を受光素子で受光する。そして、この受光素子に接続される抵抗の両端における電圧の変化をオシロスコープで取得することでディレイを取得することができる。

同期信号及びトリガー信号は、適切な同期信号発生装置により発生させればよい。

図15は、受光素子アレイのそれぞれの受光素子のディレイを測定する回路を示す図である。点線で示す経路においては、ディレイが既知である。すなわち、制御回路 120 が出力する Otrg のタイミングに基づいて発光する発光素子を用いて、この発光素子からの光を受光素子アレイ 126 のそれぞれの受光素子で受光する。

受光素子が検出した信号と、 Otrg とのタイミングの差を、オシロスコープを用いて取得することで、受光素子ごとのディレイを測定することができる。

図16は、一実施形態に係るキャリブレーション情報を格納したデータシートの一例を示す図である。この図に示すように、アドレス、登録するレジスタユニット、ビット数、レジスタネーム、 R/W (書き込み/読み出し可能) フラグ、ユニット、デフォルト値、等が格納されていてもよい。

制御回路 120 は、データシートから値を読み出してレジスタに書き込むことで、状況に応じて、あらかじめ定義されている種々のキャリブレーション情報から適切なディレイ情報等をヒストグラム生成のタイミングにおいて反映することが可能となる。

図17は、一実施形態に係るキャリブレーション情報を格納したデータシートの一例を示す図である。この図に示すように、キャリブレーション情報としては、受光部 Rx の温度を反映させてもよい。

遅延タイミングは、例えば、キャパシタの容量変化等による温度特性が存在する倍がある。このような場合、温度に応じて補正をすることができる。限定されない一例として、図17のように、常温 (_TYP-T) 、高温 (HIG_T) 、低温 (LOW_T) の 3 種類でそれぞれパラメータを定義しておき、温度センサ 124 の測定値に応じて、どのパラメータを選択するかを判断して使用することができる。

常温、高温、及び、低温の判定には、高温しきい値と、低温しきい値を設定しておき、温度センサ 124 の測定値が高温しきい値と低温しきい値との間であるか、高温しきい値以上であるか、低温しきい値以下であるか、に基づいて実行されてもよい。これにより、温度に対してもロバストなタイミングの較正を実現することが可能となる。

以上のように、本実施形態によれば、種々のディレイに関してヒストグラムを適切に較正することで、測距精度を向上することができる。この機能を用いて較正を実行することにより、発光部 Tx 及び受光部 Rx のそれぞれ単体では調整することが困難である駆動タイミングずれを較正することができ、個体差によるばらつきをも軽減することが可能となる。遅延量が不明な場合であっても、例えば、上述したように測距装置 1 を用いて計測することも可能である。

本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図18は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図18に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図18では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図19は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図19には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図18に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long Term Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図18の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図18に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

以上説明した車両制御システム７０００において、上記に図面を参照して説明した本実施形態に係る測距装置 1 は図18に示した応用例の陶業制御ユニット７６００に適用することができる。

また、図面を参照して説明した測距装置 1 の少なくとも一部の構成要素は、図18に示した車外情報検出ユニット７４００、撮像部７４１０若しくは車外情報検出部７４２０又は測位部７６４０のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。

前述した実施形態は、以下のような形態としてもよい。

(1)
被写体に光を投影する発光素子が 1 次元又は 2 次元のアレイ状に配置される、発光素子アレイと、
前記被写体からの反射光を受光する受光素子が 1 次元又は 2 次元のアレイ状に配置される、受光素子アレイと、
前記発光素子の発光タイミング及び前記受光素子の露光タイミングを制御する、制御回路と、
前記受光素子が受光した情報についてのヒストグラムを生成する、ヒストグラム生成回路と、
前記ヒストグラムに基づいて、前記被写体までの距離を測定する、処理回路と、
キャリブレーション情報を格納する、記憶回路と、
を備え、
前記ヒストグラム生成回路は、前記キャリブレーション情報に基づいて、前記受光素子アレイの前記受光素子ごとに、受光した情報を較正した前記ヒストグラムを生成する、
測距装置。

(2)
前記記憶回路は、レジスタを備え、
前記制御回路は、前記キャリブレーション情報に基づいて、前記受光素子アレイにおける前記受光素子ごとに前記ヒストグラムに関する遅延情報を前記レジスタに書き込む、
(1)に記載の測距装置。

(3)
前記ヒストグラム生成回路は、
前記レジスタに書き込まれた前記遅延情報に基づいて、前記受光素子ごとに受光した情報をシフトし、
シフトした前記受光した情報に基づいて、前記ヒストグラムを生成する、
(2)に記載の測距装置。

(4)
前記処理回路は、前記発光素子と、前記発光素子から出力した光を受光する前記受光素子との間の視差に基づいて前記ヒストグラムから距離を算出する、
(1)から(3)のいずれかに記載の測距装置。

(5)
前記キャリブレーション情報は、前記発光素子の発光タイミングの遅延に基づいた情報を含む、
(1)から(4)のいずれかに記載の測距装置。

(6)
前記キャリブレーション情報は、前記受光素子の受光タイミングの遅延に基づいた情報を含む、
(1)から(5)のいずれかに記載の測距装置。

(7)
前記キャリブレーション情報は、あらかじめ、前記発光素子アレイと、前記受光素子アレイと、を用いて計測された情報に基づいて設定される、
(1)から(6)のいずれかに記載の測距装置。

(8)
前記キャリブレーション情報は、
所定キャリブレーション距離に前記被写体を配置し、
前記発光素子アレイから発光し、前記被写体で反射した光を前記受光素子アレイで受光することで計測される情報に基づいて決定される、
(7)に記載の測距装置。

(9)
前記キャリブレーション情報は、
前記所定キャリブレーション距離から、前記受光素子アレイにおいて 1 画素分受光領域がずれる距離に前記被写体を配置し、
前記発光素子アレイから発光し、前記被写体で反射した光を前記受光素子アレイで受光することで計測される情報に基づいて決定される、
(8)に記載の測距装置。

(10)
前記記憶回路は、前記キャリブレーション情報をデータシートとして格納するデータシート記憶部、
をさらに備える、(1)から(9)のいずれかに記載の測距装置。

(11)
被写体に光を投影する発光素子が 1 次元又は 2 次元のアレイ状に配置される、発光素子アレイと、
前記被写体からの反射光を受光する受光素子が 1 次元又は 2 次元のアレイ状に配置される、受光素子アレイと、
前記発光素子の発光タイミング及び前記受光素子の露光タイミングを制御する、制御回路と、
前記受光素子が受光した情報についてのヒストグラムを生成する、ヒストグラム生成回路と、
前記ヒストグラムに基づいて、前記被写体までの距離を測定する、処理回路と、
キャリブレーション情報を格納する、記憶回路と、
を備え、
前記ヒストグラム生成回路は、
あらかじめ設定されたデータシートに基づいた前記受光素子ごとの遅延情報を取得し、
前記受光素子ごとに、受光した情報を較正した前記ヒストグラムを生成する、
測距装置。

本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。

1 : 測距装置、
10 : ホスト、
Tx : 発光部、
100 : ドライバ、
102 : 発光素子アレイ、
Rx : 受光部、
120 : 制御回路、
122 : レジスタ、
124 : 温度センサ、
126 : 受光素子アレイ、
128 : ヒストグラム生成回路、
130 : 処理回路、
140 : ROM、

Claims

被写体に光を投影する発光素子が 1 次元又は 2 次元のアレイ状に配置される、発光素子アレイと、
前記被写体からの反射光を受光する受光素子が 1 次元又は 2 次元のアレイ状に配置される、受光素子アレイと、
前記発光素子の発光タイミング及び前記受光素子の露光タイミングを制御する、制御回路と、
前記受光素子が受光した情報についてのヒストグラムを生成する、ヒストグラム生成回路と、
前記ヒストグラムに基づいて、前記被写体までの距離を測定する、処理回路と、
キャリブレーション情報を格納する、記憶回路と、
を備え、
前記ヒストグラム生成回路は、前記キャリブレーション情報に基づいて、前記受光素子アレイの前記受光素子ごとに、受光した情報を較正した前記ヒストグラムを生成する、
測距装置。
前記記憶回路は、レジスタを備え、
前記制御回路は、前記キャリブレーション情報に基づいて、前記受光素子アレイにおける前記受光素子ごとに前記ヒストグラムに関する遅延情報を前記レジスタに書き込む、
請求項1に記載の測距装置。
前記ヒストグラム生成回路は、
前記レジスタに書き込まれた前記遅延情報に基づいて、前記受光素子ごとに受光した情報をシフトし、
シフトした前記受光した情報に基づいて、前記ヒストグラムを生成する、
請求項2に記載の測距装置。
前記処理回路は、前記発光素子と、前記発光素子から出力した光を受光する前記受光素子との間の視差に基づいて前記ヒストグラムから距離を算出する、
請求項1に記載の測距装置。
前記キャリブレーション情報は、前記発光素子の発光タイミングの遅延に基づいた情報を含む、
請求項1に記載の測距装置。
前記キャリブレーション情報は、前記受光素子の受光タイミングの遅延に基づいた情報を含む、
請求項1に記載の測距装置。
前記キャリブレーション情報は、あらかじめ、前記発光素子アレイと、前記受光素子アレイと、を用いて計測された情報に基づいて設定される、
請求項1に記載の測距装置。
前記キャリブレーション情報は、
所定キャリブレーション距離に前記被写体を配置し、
前記発光素子アレイから発光し、前記被写体で反射した光を前記受光素子アレイで受光することで計測される情報に基づいて決定される、
請求項7に記載の測距装置。
前記キャリブレーション情報は、
前記所定キャリブレーション距離から、前記受光素子アレイにおいて 1 画素分受光領域がずれる距離に前記被写体を配置し、
前記発光素子アレイから発光し、前記被写体で反射した光を前記受光素子アレイで受光することで計測される情報に基づいて決定される、
請求項8に記載の測距装置。
前記記憶回路は、前記キャリブレーション情報をデータシートとして格納するデータシート記憶部、
をさらに備える、請求項1に記載の測距装置。
被写体に光を投影する発光素子が 1 次元又は 2 次元のアレイ状に配置される、発光素子アレイと、
前記被写体からの反射光を受光する受光素子が 1 次元又は 2 次元のアレイ状に配置される、受光素子アレイと、
前記発光素子の発光タイミング及び前記受光素子の露光タイミングを制御する、制御回路と、
前記受光素子が受光した情報についてのヒストグラムを生成する、ヒストグラム生成回路と、
前記ヒストグラムに基づいて、前記被写体までの距離を測定する、処理回路と、
キャリブレーション情報を格納する、記憶回路と、
を備え、
前記ヒストグラム生成回路は、
あらかじめ設定されたデータシートに基づいた前記受光素子ごとの遅延情報を取得し、
前記受光素子ごとに、受光した情報を較正した前記ヒストグラムを生成する、
測距装置。