JP2023137090A - 測距装置及び測距方法 - Google Patents

Abstract

【課題】物体の配置情報を精度よく計測できる測距装置を提供する。
【解決手段】測距装置は、それぞれが物体で反射された反射光信号を受光する複数の受光素子と、前記複数の受光素子で受光された前記反射光信号の信号強度及び受光タイミングに基づいて、前記物体までの距離に応じた距離画像を生成する画像処理部と、前記受光素子で受光された前記反射光信号の信号強度と、前記反射光信号に基づいて計測される前記物体までの距離と、の少なくとも一方に基づいて、前記物体の方向を検出する物体方向検出部と、前記物体方向検出部で検出された前記物体の方向に基づいて、前記距離画像を構成する少なくとも一部の画素を分割する画素分割部と、を備える。
【選択図】図５

Description

本発明の一実施形態は、測距装置及び測距方法に関する。

物体に対して光信号を照射し、物体からの反射光信号を受光して、物体までの距離を非接触で計測するＴｏＦ（Time of Flight）方式の測距装置が普及している。ＴｏＦ方式の測距装置では、発光部から発光する光信号を一次元方向又は二次元方向に走査させて、所定の範囲内に位置する物体の距離を計測し、距離画像を生成する。距離画像の各画素は、個々の受光素子で受光された反射光信号に対応する。

各画素の受光素子は、各受光素子に応じた方向からの反射光信号を受光するが、その方向に複数の物体が位置する場合がある。この場合、１つの画素内に複数の物体の距離情報が含まれることになり、各物体の識別が困難になるおそれがある。

そこで、１つの画素内に複数の物体の距離情報が含まれる場合は、画素を分割して分割画素領域ごとに距離情報を求めることも考えられるが、同一方向に位置する複数の物体の向きや形状、サイズは必ずしも同一ではないため、画素の分割方向が適切でないと、個々の物体の配置情報を正しく計測できなくなる。

特許５９７９０２０号公報

そこで、本発明の一実施形態では、物体の配置情報を精度よく計測できる測距装置及び測距方法を提供するものである。

上記の課題を解決するために、本発明の一実施形態によれば、それぞれが物体で反射された反射光信号を受光する複数の受光素子と、
前記複数の受光素子で受光された前記反射光信号の信号強度及び受光タイミングに基づいて、前記物体までの距離に応じた距離画像を生成する画像処理部と、
前記受光素子で受光された前記反射光信号の信号強度と、前記反射光信号に基づいて計測される前記物体までの距離と、の少なくとも一方に基づいて、前記物体の方向を検出する物体方向検出部と、
前記物体方向検出部で検出された前記物体の方向に基づいて、前記距離画像を構成する少なくとも一部の画素を分割する画素分割部と、を備える、測距装置が提供される。

測距装置の基本構成を示すブロック図。 受光部と信号処理部を基板上に実装してパッケージ化する例を示す模式的な斜視図。 複数の物体からの反射光信号が１つの画素で受光される例を示す図。 受光素子の出力信号波形を示す図。 距離画像内の水平方向に隣接する３つの画素の画素情報を模式的に示す図。 第１の実施形態による画像処理部の内部構成の一例を示すブロック図。 物体方向検出部の処理動作の一例を示す図。 画素分割部の処理動作の一例を示す図。 第２の実施形態による画像処理部の内部構成の一例を示すブロック図。 水平方向に配置される５つの画素の距離画像の一例を示す図。 第３画素内の第１物体と第２物体の面積比率に応じて、第３画素内の第１物体の面積の計算結果が変動する様子を示すグラフ。 第３画素内の第２物体の面積比率と、第３画素内の第２物体の面積の計算結果のばらつきとの関係を示す図。

以下、図面を参照して、測距装置及び測距方法の実施形態について説明する。以下では、測距装置の主要な構成部分を中心に説明するが、測距装置には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。

（測距装置の基本構成）
図１は測距装置１の基本構成を示すブロック図である。図１の測距装置１は、ＴｏＦ（Time of Flight）方式の距離計測を行うものである。図１の測距装置１は、発光部２と、光制御部３と、受光部４と、信号処理部５と、画像処理部６と、制御部７とを備えている。

図１の測距装置１の少なくとも一部は、１つ又は複数の半導体ＩＣ（Integrated Circuit）で構成可能である。例えば、信号処理部５と画像処理部６を一つの半導体チップの内部に集積してもよいし、この半導体チップに受光部４まで含めて集積してもよい。また、この半導体チップに発光部２まで含めて集積してもよい。

発光部２は、光信号を発光する。光信号は、例えば所定の周波数帯域及び所定のパルス幅を有するレーザ光信号である。レーザ光とは、位相及び周波数が揃ったコヒーレントな光である。発光部２は、パルス状の光信号を所定の周期で間欠的に発光する。発光部２が光信号を発光する周期は、光信号の一つのパルスに基づいて距離計測装置８で距離を計測するのに要する時間以上の時間間隔である。

発光部２は、発振器１１と、発光制御部１２と、発光素子１３と、第１駆動部１４と、第２駆動部１５とを有する。発振器１１は、光信号を発光する周期に応じた発振信号を生成する。第１駆動部１４は、発振信号に同期させて、発光素子１３に間欠的に電力を供給する。発光素子１３は、第１駆動部１４からの電力に基づいて、光信号を間欠的に出射する。発光素子１３は、単一のレーザ光を出射するレーザ素子でもよいし、複数のレーザ光を同時に出射するレーザユニットでもよい。発光制御部１２は、発振信号に同期させて、第２駆動部１５を制御する。第２駆動部１５は、発光制御部１２からの指示に応じて、発振信号に同期した駆動信号を光制御部３に供給する。

光制御部３は、発光素子１３から出射された光信号の進行方向を制御する。また、光制御部３は、第２駆動部１５からの駆動信号に基づいて、光信号の進行方向を制御する。

光制御部３は、第１レンズ２１と、ビームスプリッタ２２と、第２レンズ２３と、走査ミラー２４とを有する。

第１レンズ２１は発光部２から出射された光信号を集光させて、ビームスプリッタ２２に導く。ビームスプリッタ２２は、第１レンズ２１からの光信号を二方向に分岐させて、第２レンズ２３と走査ミラー２４に導く。第２レンズ２３は、ビームスプリッタ２２からの分岐光を受光部４に導く。光信号を受光部４に導光する理由は、受光部４にて発光タイミングを検出するためである。

走査ミラー２４は、発光部２内の第２駆動部１５からの駆動信号に同期して、ミラー面を回転駆動する。これにより、ビームスプリッタ２２を通過して走査ミラー２４のミラー面に入射された分岐光（光信号）の反射方向を制御する。第２駆動部１５からの駆動信号に基づいて走査ミラー２４のミラー面を一定周期で回転駆動することで、光制御部３から出射された光信号を所定範囲内で少なくとも一次元方向に走査させることができる。ミラー面を回転駆動する軸を二方向に設けることで、光制御部３から出射された光信号を所定範囲内で二次元方向に走査させることも可能となる。図１では、走査ミラー２４により、測距装置１から発光される光信号をＸ方向及びＹ方向に走査させる例を示している。

測距装置１から発光された光信号の走査範囲内に、物体２０が存在する場合、光信号は物体２０で反射される。物体２０で反射された反射光のうち、少なくとも一部は、受光部４にて受光される。

受光部４は、光検出器３１と、増幅器３２と、第３レンズ３３と、受光素子３４と、Ａ／Ｄ変換器３５とを有する。光検出器３１は、ビームスプリッタ２２で分岐された光を受光して電気信号に変換する。光検出器３１にて、光信号の発光タイミングを検出できる。増幅器３２は、光検出器３１から出力された電気信号を増幅する。

第３レンズ３３は、物体２０で反射されたレーザ光を受光素子３４に結像させる。受光素子３４は、レーザ光を受光して電気信号に変換する。受光素子３４は、例えばＳＰＡＤ（Silicon Photon Avalanche Diode）である。ＳＰＡＤは、ＡＰＤ（Avalanche Photo-Diode）をガイガーモードで動作させるものであり、受光した１つの光子を光電変換した電気信号を出力することができる。実際には、複数の受光素子３４が、一次元又は二次元方向に配置されている。１個のＳＰＡＤで1画素を構成してもよいし、２以上のＳＰＡＤで１画素を構成してもよい。１画素の単位は、ＳｉＰＭ（Silicon Photomultiplier）とも呼ばれる。

Ａ／Ｄ変換器３５は、受光素子３４から出力された電気信号を所定のサンプリングレートでサンプリングしてＡ／Ｄ変換し、デジタル信号を生成する。Ａ／Ｄ変換器３５の代わりに、時間デジタル変換器（ＴＤＣ：Time Digital Converter）を設けてもよい。

信号処理部５は、ヒストグラム生成部４１と、距離計測部４２とを有する。ヒストグラム生成部４１は、Ａ／Ｄ変換器３５で生成されたデジタル信号に基づいて、受光部４が反射光信号の信号強度の時間分布であるヒストグラムを生成する。
距離計測部４２は、ヒストグラムの時間頻度が最大のタイミングを反射光信号の受光タイミングとして、発光部２が光信号を発光したタイミングとの時間差により、物体までの距離を計測する。より具体的には、距離計測部４２は、以下の式（１）に基づいて、物体２０までの距離を計測する。
距離＝光速×（反射光の受光タイミング－光信号の発光タイミング）／２ …（１）

式（１）式における「反射光の受光タイミング」とは、より正確には、ヒストグラムで求められる反射光信号の信号強度が最大の受光タイミングである。

画像処理部６は、距離計測部４２で計測された物体までの距離に基づいて、距離画像を生成する。距離画像は複数の画素で構成され、各画素は、対応する受光素子３４で受光された反射光信号に基づく距離情報を表している。本実施形態による測距装置１は、画像処理部６の処理動作に特徴があり、その詳細は後述する。

制御部７は、発光部２、受光部４、信号処理部５、及び画像処理部６を制御する。具体的には、制御部７は、発光部２から光信号を発光するタイミングを制御するとともに、受光部４が反射光信号を受光してデジタル信号を生成する制御を行う。また、制御部７は、受光部４内のＡ／Ｄ変換器３５がＡ／Ｄ変換する際の時間分解能を制御してもよい。また、制御部７は、信号処理部５内のヒストグラム生成部４１がヒストグラムを生成する制御と、距離計測部４２が物体までの距離を計測する制御を行う。さらに、制御部７は、画像処理部６が距離画像を生成する制御を行う。

図１の測距装置１の少なくとも一部は、ＳiＰ（Silicon in Package）で実装可能である。図２は受光部４と信号処理部５を基板上に実装してパッケージ化する例を示す模式的な斜視図である。図２の基板５１上には、第１ダイ５２と第２ダイ５３が設けられている。第１ダイ５２上には、図１の受光部４内の受光素子３４が配置されている。受光素子３４は、１以上のＳＰＡＤを含むＳｉＰＭ５４である。ＳｉＰＭ５４は、Ｘ方向及びＹ方向に複数個ずつ配置されている。第２ダイ５３上には、図１の受光部４内のＡ／Ｄ変換器３５（ＡＤＣ）３５と、信号処理部５とが配置されている。第１ダイ５２上のパッド５５と、第２ダイ５３上のパッド５６とがボンディングワイヤ５７で接続されている。

図２のレイアウト図では、第１ダイ５２上に複数のＳｉＰＭ５４を配置しているが、各ＳｉＰＭ５４に対応づけて、ＡＰＤのデッドタイムを短縮するためのアクティブクエンチ回路やパッシブクエンチ回路を配置してもよい。また、第２ダイ５３上に画像処理部６を実装してもよい。

図１の測距装置１は、ＬｉＤＡＲ（Light Detection And Ranging）とも呼ばれる。距離画像を構成する各画素は、対応する方向からの反射光信号を受光して得られる物体までの距離情報を含んでいる。各画素で受光される反射光信号は、必ずしも一つの物体で反射された光信号とは限らず、複数の物体で反射された光信号を含む場合もありうる。

図３Ａは複数の物体からの反射光信号が１つの画素で受光される例を示す図、図３Ｂは受光素子３４の出力信号波形を示す図である。１つの画素の視野範囲（ＦｏＶ：Field of View）内の第１物体Ａと第２物体Ｂは、測距装置１から同一方向の互いに異なる距離に配置されている。この場合、この方向の反射光信号を受光する受光素子３４の出力信号は、図３Ｂのような波形になる。第１物体Ａは、第２物体Ｂよりも測距装置１に近い位置に配置されているため、受光素子３４は第１物体Ａからの反射光信号を１ｓｔエコー信号として受光し、その後、第２物体Ｂからの反射光信号を２ｎｄエコー信号として受光する。図示のように、１ｓｔエコー信号の信号強度のピーク値は、２ｎｄエコー信号の信号強度のピーク値よりも大きい。

この他、受光素子３４には、太陽光などの環境光信号も受光される。環境光信号の信号レベルは、通常は反射光信号の信号レベルよりもはるかに小さいため、フィルリング処理等で除去できるが、遠方に位置する物体からの反射光信号の信号レベルは小さくなるため、環境光信号との峻別が困難になる場合もありうる。

図３Ａのように同一方向に位置する第１物体Ａと第２物体Ｂからの１ｓｔエコー信号と２ｎｄエコー信号を受光した受光素子３４は、１ｓｔエコー信号に応じた電圧信号と、２ｎｄエコー信号に応じた電圧信号をＡ／Ｄ変換器３５に送る。Ａ／Ｄ変換器３５は、１ｓｔエコー信号と２ｎｄエコー信号に応じたデジタル信号を生成する。信号処理部５内の距離計測部４２は、１ｓｔエコー信号の受光タイミングに基づいて第１物体Ａの距離を計測するとともに、２ｎｄエコー信号の受光タイミングに基づいて第２物体Ｂの距離を計測する。画像処理部６は、第１物体Ａの距離情報と第２物体Ｂの距離情報を含む距離画像を生成する。

図４は、距離画像内の水平方向に隣接する３つの画素ｐ１、ｐ２、ｐ３の画素情報を模式的に示す図である。画素ｐ１の全域は、第１物体Ａからの反射光信号に基づく距離情報を含んでいる。画素ｐ３の全域は、第２物体Ｂからの反射光信号に基づく距離情報を含んでいる。一方、画素ｐ２の一部領域は、第１物体Ａからの反射光信号に基づく距離情報を含み、画素ｐ２の残りの領域は、第２物体Ｂからの反射光信号に基づく距離情報を含んでいる。

このように、図４の例では、画素ｐ２は、第１物体Ａからの反射光信号に基づく距離情報と、第２物体Ｂからの反射光信号に基づく距離情報とを含んでいるため、画素ｐ２に含まれる距離情報がどの物体によるものかを正確に把握できなくなるおそれがある。そこで、本実施形態では、画素ｐ２のように、一個の画素内に複数の物体の距離情報が含まれる場合は、画素を分割して解像度を向上させるものである。

（第１の実施形態）
第１の実施形態による測距装置１は、図１と同様のブロック構成を備えているが、画像処理部６の内部構成に特徴がある。

図５は第１の実施形態による画像処理部６の内部構成の一例を示すブロック図である。第１の実施形態による画像処理部６は、物体方向検出部６１と画素分割部６２を有する。

物体方向検出部６１には、距離計測部４２で計測された画素ごとの距離情報が入力される。物体方向検出部６１は、受光素子３４で受光された反射光信号の信号強度と、反射光信号に基づいて計測される物体までの距離との少なくとも一方に基づいて、物体の方向を検出する。

画素分割部６２は、物体方向検出部６１で検出された物体の方向に基づいて、距離画像を構成する少なくとも一部の画素を分割する。画素分割部６２は、複数の物体の距離情報を含む画素を分割する。

物体方向検出部６１は、受光素子３４で受光された２つ以上の物体からの反射光信号の信号強度と、反射光信号に基づいて計測される２つ以上の物体までの距離と、の少なくとも一方に基づいて、２つ以上の物体の少なくとも一方の方向を検出する。画素分割部６２は、２つ以上の物体の少なくとも一方の方向に基づいて、２つ以上の物体の距離情報を含む画素を分割する。

画素分割部６２は、２つ以上の物体の距離情報を含む画素内の個々の物体の位置に応じて画素分割を行ってもよい。例えば、後述するように、１画素内の右上部分に他の物体の距離情報が含まれる場合は、この右上部分を分割して他の物体の距離情報を割り振ってもよい。

図６は物体方向検出部６１の処理動作の一例を示す図である。図６Ａは第１物体Ａの距離情報と第２物体Ｂの距離情報が一部の画素で重なり合っている状態を示している。図６Ａの例では、第１物体Ａは、第２物体Ｂの長手方向に対して、傾斜した方向に配置されている。図６Ａの格子状の各枠は、画素を示している。

図６Ｂは、太枠で示す注目画素の周囲において、第１物体Ａの距離情報を含む画素にはＡ、第２物体Ｂの距離情報を含む画素にはＢと記載した図である。図６Ａ及び図６Ｂの注目画素の大部分は第２物体Ｂの距離情報を含んでいるが、注目画素内の右上の一部には、第１物体Ａの距離情報が含まれている。そこで、物体方向検出部６１は、図６Ｂに示すように、注目画素から右上方向を第１物体Ａの方向として検出する。Ａと記載された画素の配置により、第１物体Ａの方向を検出できる。

図７は画素分割部６２の処理動作の一例を示す図である。図７Ａは図６Ａと同じである。画素分割部６２は、図７Ｂに示すように、第１物体Ａが第２物体Ｂに重なり合っている領域を含む画素を分割し、画素サイズよりも小さい複数の分割画素ｄｐａ、ｄｐｂを設ける。各分割画素の一部ｄｐａは第１物体Ａに割り当てられ、残りｄｐｂは第２物体Ｂに割り当てられる。より詳細には、第１物体Ａと重なっている分割画素ｄｐａは第１物体Ａに割り当てられる。第１物体Ａに割り当てられた分割画素ｄｐａは、第２物体Ｂの長手方向から傾斜した方向に配置されており、分割画素ｄｐａの配置により、第１物体Ａの方向を検出することができる。

このように、第１の実施形態による測距装置１では、距離画像を構成する画素内に複数の物体の距離情報が含まれる場合には、重なり合う物体の方向を検出し、物体の方向に合わせて画素を分割する。これにより、物体の重なり具合に応じて画素を分割することができ、距離画像の解像度を向上できる。

本実施形態では、距離画像を構成する全画素を分割するのではなく、複数の物体の距離情報を含む画素に限って画素分割を行うため、距離画像のデータ量を極端に大きくすることなく、距離画像の高解像度化を行うことができる。

（第２の実施形態）
第２の実施形態は、１画素内に複数の物体の距離情報が含まれる場合に、１画素内の各物体の面積を計算するものである。

第２の実施形態による測距装置１は、図１と同様のブロック構成を備えているが、画像処理部６の内部構成が図５とは異なっている。
図８は第２の実施形態による画像処理部６の内部構成の一例を示すブロック図である。図８の画像処理部６は、物体方向検出部６１と、画素分割部６２と、信号強度検出部６３と、物体面積計算部６４とを有する。

図８の物体方向検出部６１は、図５の物体方向検出部６１と同じであり、受光素子３４で受光された反射光信号の信号強度と、反射光信号に基づいて計測される物体までの距離と、の少なくとも一方に基づいて、物体の方向を検出する。

信号強度検出部６３は、受光素子３４で受光された反射光信号の信号強度を検出する。信号強度とは、距離画像を構成する各画素信号の輝度情報に該当する。

物体面積計算部６４は、信号強度検出部６３で検出された信号強度に基づいて、反射光信号を受光した受光素子３４に対応する画素内の物体の面積を計算する。

画素分割部６２は、物体方向検出部６１で検出された物体の方向と、物体面積計算部６４で計算された画素内の物体の面積とに基づいて、画素を分割する。

物体面積計算部６４は、１画素内に複数の物体の距離情報が含まれる場合には、１画素内に含まれる複数の物体の面積をそれぞれ計算した結果に基づいて複数の物体の中の特定の物体の面積を計算するか、又は１画素内に含まれる特定の物体以外の物体の面積を考慮せずに、１画素内に含まれる特定の物体の面積を計算する。

より詳細には、物体面積計算部６４は、１画素内の複数の物体の面積比率に基づいて、１画素内に含まれる複数の物体の面積をそれぞれ計算するか、又は１画素内に含まれる特定の物体以外の物体の面積を考慮せずに、１画素内に含まれる特定の物体の面積を計算する。物体面積計算部６４は、１画素内に複数の物体の距離情報が含まれる場合には、複数の物体からの反射光信号の信号強度を比較することにより、１画素内に含まれる複数の物体の面積をそれぞれ計算する。

物体面積計算部６４は、第１計算部、第２計算部、及び第３計算部を有していてもよい。

例えば、第１計算部は、第１画素内の全域に第１物体Ａの距離情報が含まれる場合の第１画素に対応する受光素子３４の信号強度に対する、第２画素内の一部に第１物体Ａが含まれる場合の第２画素に対応する受光素子３４の信号強度の割合を計算する。第１計算部は、後述する式（５）の右辺分子の第１項の計算を行うものである。

例えば、第２計算部は、第３画素内の全域に第２物体Ｂが含まれる場合の第３画素に対応する受光素子３４の信号強度に対する、第２画素内の一部に第２物体Ｂが含まれる場合の第２画素に対応する受光素子３４の信号強度の割合を計算する。第２計算部は、後述する式（５）の右辺分子の括弧内の計算を行うものである。

例えば、第３計算部は、第１計算部で計算された割合と、第２計算部で計算された割合とに基づいて、第２画素内の第１物体Ａ及び第２物体Ｂの少なくとも一方の面積割合を計算する。第３計算部は、後述する式（５）の計算を行うものである。

物体面積計算部６４は、さらに第４計算部を有していてもよい。例えば、第４計算部は、第２計算部で計算された割合を１から引いた値を計算する。第３計算部は、第１計算部で計算された割合と、第４計算部で計算された割合とに基づいて、第２画素内の第１物体Ａの面積割合を計算する。第４計算部は、後述する式（５）の右辺分子の括弧内の計算を行うものである。

図９は水平方向に配置される５つの画素の距離画像の一例を示す図である。以下では、５つの画素を第１画素ｐｘ１～第５画素ｐｘ５と呼ぶ。図９では、第４画素ｐｘ４と第５画素ｐｘ５は第１物体Ａの距離情報のみを含み、第１画素ｐｘ１と第２画素ｐｘ２は第２物体Ｂの距離情報のみを含み、第３画素ｐｘ３は第１物体Ａと第２物体Ｂの距離情報を含む例を示している。第１物体Ａは、第２物体Ｂよりも測距装置１から近い位置に存在するものとする。

物体面積計算部６４は、以下の式（２）に基づいて、第３画素ｐｘ３内の第１物体Ａの面積割合p3_A_areaを計算する。面積割合p3_A_areaは、第３画素ｐｘ３の面積を１としたときの第３画素ｐｘ３内の第１物体Ａの面積割合である。

式（２）では、第３画素ｐｘ３内の第１物体Ａからの反射光信号の信号強度をp3_A_1st_return、第４画素ｐｘ４及び第５画素ｐｘ５の信号強度の平均値をp4_p5_avr、第３画素ｐｘ３内の第２物体Ｂからの反射光信号の信号強度をp3_B_2nd_return、第１画素ｐｘ１及び第２画素ｐｘ２の信号強度の平均値をp1_p2_avrとしている。

式（２）の右辺分子の第１項は、第４画素ｐｘ４及び第５画素ｐｘ５の第１物体Ａからの反射光信号の信号強度の平均値に対する、第３画素ｐｘ３の第１物体Ａからの反射光信号の信号強度の割合である。すなわち、式（２）の右辺分子の第１項は、第３画素ｐｘ３内の第１物体Ａの面積割合を示している。

式（２）の右辺分子の括弧内は、第１画素ｐｘ１及び第２画素ｐｘ２の第２物体Ｂからの反射光信号の信号強度の平均値に対する、第３画素ｐｘ３の第２物体Ｂからの反射光信号の信号強度の割合を１から引いた値である。すなわち、式（２）の右辺分子の括弧内は、第３画素ｐｘ３内の第２物体Ｂの面積割合を１から引くことにより、第３画素ｐｘ３内の第１物体Ａの面積割合を示している。

このように、式（２）は、第１物体Ａの反射光信号から求めた第３画素ｐｘ３内の第１物体Ａの面積割合と、第２物体Ｂの反射光信号から求めた第３画素ｐｘ３内の第１物体Ａの面積割合との平均値を求めている。

式（２）に基づいて第３画素ｐｘ３内の第１物体Ａの面積割合p3_A_areaを計算する代わりに、以下の式（３）又は式（４）に基づいて第３画素ｐｘ３内の第１物体Ａの面積割合p3_A_areaを計算する一比較例も考えられる。

式（３）は式（２）の右辺分子の第１項であり、第４画素ｐｘ４及び第５画素ｐｘ５の第１物体Ａからの反射光信号の信号強度の平均値に対する、第３画素ｐｘ３の第１物体Ａからの反射光信号の信号強度の割合である。また、式（４）は式（２）の右辺分子の括弧内であり、第１画素ｐｘ１及び第２画素ｐｘ２の第２物体Ｂからの反射光信号の信号強度の平均値に対する、第３画素ｐｘ３の第２物体Ｂからの反射光信号の信号強度の割合を１から引いた値である。

式（３）は、第３画素ｐｘ３内の第１物体Ａの面積割合p3_A_areaを、第３画素ｐｘ３の信号強度を第４画素ｐｘ４と第５画素ｐｘ５の信号強度と比較することで求めており、第１画素ｐｘ１と第２画素ｐｘ２の信号強度は考慮に入れていない。また、式（４）は、第３画素ｐｘ３内の第１物体Ａの面積割合p3_A_areaを、第３画素ｐｘ３の信号強度を第１画素ｐｘ１と第２画素ｐｘ２の信号強度と比較することで求めており、第４画素ｐｘ４と第５画素ｐｘ５の信号強度は考慮に入れていない。

これに対して、式（２）は、第３画素ｐｘ３内の第１物体Ａの面積割合p3_A_areaを、第３画素ｐｘ３の信号強度を第４画素ｐｘ４と第５画素ｐｘ５の信号強度と比較した結果と、第３画素ｐｘ３の信号強度を第１画素ｐｘ１と第２画素ｐｘ２の信号強度と比較した結果とを考慮に入れて求めている。よって、式（２）の方が、式（３）又は式（４）よりも、第３画素ｐｘ３内の第１物体Ａの面積割合p3_A_areaをより精度よく計算できる可能性が高い。

なお、後述するように、第３画素ｐｘ３内に含まれる第１物体Ａと第２物体Ｂの面積比率によっては、式（２）よりも、式（３）又は式（４）で第３画素ｐｘ３内の第１物体Ａの面積割合を計算した方が精度が高くなることもありえる。このことについては、後述する。

図９の例では、第３画素ｐｘ３は、第１物体Ａと第２物体Ｂの距離情報を含んでいる。よって、式（２）で計算された第３画素ｐｘ３内の第１物体Ａの面積割合p3_A_areaを引くことで、第３画素ｐｘ３内の第２物体Ｂの面積割合p4_areaを計算できる。

式（２）では、第３画素ｐｘ３内の第１物体Ａの面積割合ｐ3_A_areaを計算しているが、以下の式（５）に基づいて、第３画素ｐｘ３内の第２物体Ｂの面積割合p3_B_areaを計算してもよい。

また、第３画素ｐｘ３内の第２物体Ｂの面積割合p3_B_areaを以下の式（６）又は式（７）で計算してもよい。

式（２）では、第４画素ｐｘ４及び第５画素ｐｘ５の第１物体Ａからの反射光信号の信号強度の平均値に対する、第３画素ｐｘ３の第１物体Ａからの反射光信号の信号強度の割合と、第１画素ｐｘ１及び第２画素ｐｘ２の第１物体Ａからの反射光信号の信号強度の平均値に対する、第３画素ｐｘ３の第１物体Ａからの反射光信号の信号強度の割合との平均値を計算しているが、これら２つの割合の平均値を計算する代わりに、これら２つの割合の二乗平均平方根（ＲＭＳ：Root Mean Square）を計算してもよい。また、平均値と二乗平均平方根の両方を考慮に入れて、最終的な面積割合を計算してもよい。式（５）においても同様であり、二乗平均平方根を計算してもよいし、平均値と二乗平均平方根の両方を考慮に入れて、最終的な面積割合を計算してもよい。

図１０は、図９の例において、第３画素ｐｘ３内の第１物体Ａと第２物体Ｂの面積比率に応じて、第３画素ｐｘ３内の第１物体Ａの面積の計算結果が変動する様子を示すグラフである。図１０の横軸は第３画素ｐｘ３内の第１物体Ａの面積比率、縦軸は第３画素ｐｘ３内の第１物体Ａの面積のばらつきである。縦軸の値が大きいほど、第３画素ｐｘ３内の第１物体Ａの面積のばらつきが大きいことを示している。図１０は、シミュレーション結果を示している。

図１０には、式（２）に基づいて第３画素ｐｘ３内の第１物体Ａの面積割合を計算した曲線ｗ１と、式（３）又は式（４）に基づいて第３画素ｐｘ３内の第１物体Ａの面積割合を計算した曲線ｗ２とが図示されている。

図１０の曲線ｗ１とｗ２に示すように、第３画素ｐｘ３内の第１物体Ａと第２物体Ｂの面積比率にそれほど差異がない場合には、式（２）に基づいて第３画素ｐｘ３内の第１物体Ａの面積割合を計算することで、第３画素ｐｘ３内の第１物体Ａの面積を精度よく計算できる。一方、第３画素ｐｘ３内の第１物体Ａと第２物体Ｂの面積比率に偏りがある場合は、式（２）に基づいて第３画素ｐｘ３内の第１物体Ａの面積割合を計算すると、第３画素ｐｘ３内の第１物体Ａの面積のばらつきが大きくなる。

また、式（３）又は式（４）式に基づいて第３画素ｐｘ３内の第１物体Ａの面積割合を計算すると、第１画素ｐｘ１内の第１物体Ａの面積比率が大きくなるに従って、第３画素ｐｘ３内の第１物体Ａの面積のばらつきが大きくなる。

図１１は、図９の例において、第３画素ｐｘ３内の第２物体Ｂの面積比率と、第３画素ｐｘ３内の第２物体Ｂの面積の計算結果のばらつきとの関係を示す図である。図１１の横軸は第３画素ｐｘ３内の第２物体Ｂの面積比率、縦軸は第３画素ｐｘ３内の第２物体Ｂの面積の計算結果のばらつきを示している。図１１には、式（５）に基づいて第３画素ｐｘ３内の第２物体Ｂの面積割合を計算した曲線ｗ３と、式（３）又は式（４）に基づいて第３画素ｐｘ３内の第１物体Ａの面積割合を計算した曲線ｗ４と、式（６）又は式（７）に基づいて第３画素ｐｘ３内の第２物体Ｂの面積割合を計算した曲線ｗ５とを示している。

図１１に示すように、第３画素ｐｘ３内の第２物体Ｂの面積比率が第１閾値ＴＨ１未満の場合は、式（６）又は式（７）に基づいて第３画素ｐｘ３内の第２物体Ｂの面積割合を計算するのが望ましい。また、第３画素ｐｘ３内の第２物体Ｂの面積比率が第１閾値ＴＨ１以上で、かつ第２閾値ＴＨ２未満の場合は、式（５）に基づいて第３画素ｐｘ３内の第２物体Ｂの面積割合を計算するのが望ましい。また、第３画素ｐｘ３内の第２物体Ｂの面積比率が第２閾値ＴＨ２以上の場合は、式（３）又は式（４）に基づいて第３画素ｐｘ３内の第２物体Ｂの面積割合を計算するのが望ましい。

このように、第２の実施形態による測距装置１は、画像処理部６内に、物体方向検出部６１と、信号強度検出部６３と、物体面積計算部６４と、画素分割部６２を設ける。物体面積計算部６４は、複数の物体の距離情報を含む画素について、受光素子３４が受光した反射光信号の信号強度に基づいて、画素内の各物体の面積割合を計算する。画素分割部６２は、物体方向検出部６１で検出された物体の方向と、物体面積計算部６４で計算された画素内の物体の面積とに基づいて、画素分割を行う。これにより、画素内の複数の物体の重なり具合を考慮に入れて画素分割を行うことができ、距離画像内の複数の物体の距離情報を含む画素の解像度を向上できるとともに、距離画像の視認性がよくなる。

また、第２の実施形態では、複数の物体の距離情報を含む画素については、その周辺の画素に含まれる物体の距離情報を考慮に入れて、各物体の面積割合を計算し、その計算結果に基づいて画素分割を行う。これにより、物体の位置や方向に合わせて画素分割を行うことができる。

上述した実施形態で説明した測距装置１の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、測距装置１の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ－ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

また、測距装置１の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

１ 測距装置、２ 発光部、３ 光制御部、４ 受光部、５ 信号処理部、６ 画像処理部、７ 制御部、８ 距離計測装置、１１ 発振器、１２ 発光制御部、１３ 発光素子、１４ 第１駆動部、１５ 第２駆動部、２０ 物体、２１ 第１レンズ、２２ ビームスプリッタ、２３ 第２レンズ、２４ 走査ミラー、３１ 光検出器、３２ 増幅器、３３ 第３レンズ、３４ 受光素子、３５ Ａ／Ｄ変換器、４１ ヒストグラム生成部、４２ 距離計測部、５１ 基板、５２ 第１ダイ、５３ 第２ダイ、５５ パッド、５６ パッド、５７ ボンディングワイヤ、６１ 物体方向検出部、６２ 画素分割部、６３ 信号強度検出部、６４ 物体面積計算部

Claims (15)

1. それぞれが物体で反射された反射光信号を受光する複数の受光素子と、
   前記複数の受光素子で受光された前記反射光信号の信号強度及び受光タイミングに基づいて、前記物体までの距離に応じた距離画像を生成する画像処理部と、
   前記受光素子で受光された前記反射光信号の信号強度と、前記反射光信号に基づいて計測される前記物体までの距離と、の少なくとも一方に基づいて、前記物体の方向を検出する物体方向検出部と、
   前記物体方向検出部で検出された前記物体の方向に基づいて、前記距離画像を構成する少なくとも一部の画素を分割する画素分割部と、を備える、測距装置。
2. 前記画素分割部は、前記距離画像を構成する画素のうち、２つ以上の物体の距離情報を含む画素を分割する、請求項１に記載の測距装置。
3. 前記物体方向検出部は、前記受光素子で受光された２つ以上の物体からの前記反射光信号の信号強度と、前記反射光信号に基づいて計測される前記２つ以上の物体までの距離と、の少なくとも一方に基づいて、前記２つ以上の物体の少なくとも一方の方向を検出し、
   前記画素分割部は、前記２つ以上の物体の少なくとも一方の方向に基づいて、前記２つ以上の物体の距離情報を含む画素を分割する、請求項２に記載の測距装置。
4. 前記画素分割部は、前記２つ以上の物体の距離情報を含む画素内の個々の物体の位置に応じて画素分割を行う、請求項３に記載の測距装置。
5. 前記受光素子で受光された前記反射光信号の信号強度を検出する信号強度検出部と、
   前記信号強度検出部で検出された信号強度に基づいて、前記反射光信号を受光した前記受光素子に対応する画素内の前記物体の面積を計算する物体面積計算部と、を備え、
   前記画素分割部は、前記物体方向検出部で検出された前記物体の方向と、前記物体面積計算部で計算された前記画素内の前記物体の面積とに基づいて、前記距離画像を構成する少なくとも一部の画素を分割する、請求項１乃至４のいずれか一項に記載の測距装置。
6. 前記物体面積計算部は、１画素内に複数の物体の距離情報が含まれる場合には、前記１画素内に含まれる前記複数の物体の面積をそれぞれ計算した結果に基づいて前記複数の物体の中の特定の物体の面積を計算するか、又は前記１画素内に含まれる前記特定の物体以外の物体の面積を考慮せずに、前記１画素内に含まれる前記特定の物体の面積を計算する、請求項５に記載の測距装置。
7. 前記物体面積計算部は、１画素内の前記複数の物体の面積比率に基づいて、前記１画素内に含まれる前記複数の物体の面積をそれぞれ計算するか、又は前記１画素内に含まれる前記特定の物体以外の物体の面積を考慮せずに、前記１画素内に含まれる前記特定の物体の面積を計算する、請求項６に記載の測距装置。
8. 前記物体面積計算部は、１画素内に複数の物体の距離情報が含まれる場合には、前記複数の物体からの前記反射光信号の信号強度を比較することにより、前記１画素内に含まれる前記複数の物体の面積をそれぞれ計算する、請求項５乃至７のいずれか一項に記載の測距装置。
9. 前記物体面積計算部は、
   第１画素内の全域に第１物体の距離情報が含まれる場合の前記第１画素に対応する前記受光素子の信号強度に対する、第２画素内の一部に前記第１物体が含まれる場合の前記第２画素に対応する前記受光素子の信号強度の割合を計算する第１計算部と、
   第３画素内の全域に第２物体が含まれる場合の前記第３画素に対応する前記受光素子の信号強度に対する、前記第２画素内の一部に前記第２物体が含まれる場合の前記第２画素に対応する前記受光素子の信号強度の割合を計算する第２計算部と、
   前記第１計算部で計算された割合と、前記第２計算部で計算された割合とに基づいて、前記第２画素内の前記第１物体及び前記第２物体の少なくとも一方の面積割合を計算する第３計算部と、を有する、請求項７又は８に記載の測距装置。
10. 前記物体面積計算部は、前記第２計算部で計算された割合を１から引いた値を計算する第４計算部を有し、
    前記第３計算部は、前記第１計算部で計算された割合と、前記第４計算部で計算された割合とに基づいて、前記第２画素内の前記第１物体の面積割合を計算する、請求項９に記載の測距装置。
11. 前記第３計算部は、前記第１計算部で計算された割合と、前記第４計算部で計算された割合との平均値及び二乗平均平方根の少なくとも一方に基づいて、前記第２画素内の前記第１物体の面積割合を計算する、請求項１０に記載の測距装置。
12. 前記受光素子で前記反射光信号が受光されたタイミングと、発光部が前記物体に向けて光信号を発光したタイミングとの時間差により、前記物体までの距離を計測する距離計測部を備える、請求項１乃至１１のいずれか一項に記載の測距装置。
13. 前記距離計測部は、前記画素分割部で分割された画素ごとに前記距離を計測し、
    前記画像処理部は、前記画素分割部で分割された画素に応じた解像度の前記距離画像を生成する、請求項１２に記載の測距装置。
14. 前記光信号を発光する前記発光部を備える、請求項１２又は１３に記載の測距装置。
15. 一次元方向又は二次元方向に配置される複数の画素のそれぞれに設けられる受光素子にて、物体で反射された反射光信号を受光し、
    前記受光素子で受光された前記反射光信号の信号強度と、前記反射光信号に基づいて計測される前記物体までの距離と、の少なくとも一方に基づいて、前記物体の方向を検出し、
    検出された前記物体の方向に基づいて、前記複数の画素のうちの少なくとも一部の画素を分割する、測距方法。

Images