JP2021015089A - 測距センサ - Google Patents

Abstract

【課題】モバイル機器に搭載されるカメラモジュールと連携動作し、低消費電力化、小型化及び低コスト化を両立したＴＯＦ方式の測距センサを提供する。【解決手段】測距センサ２は、ＲＧＢカメラモジュール３と連携動作し、３次元位置情報を生成するための対象物までの距離情報を生成する。空間制御部２２は、共通する部分空間に割り当てられた発光素子２０３及び受光素子２１３を含む素子群毎に独立して制御を行う。位置推定部２４は、各空間群の空間内に存在する対象物からの反射光を受ける複数の受光素子２１の受光量分布に基づいて、部分空間群の空間内における対象物の位置を推定する。ＴＯＦ信号処理部２５は、発光素子２０３の数よりも少ないチャネル数で並列的にＴＯＦ信号処理を行う。【選択図】図１

Description

本発明は、対象物までの距離を測定する測距センサに関する。

近年、２次元画像に対して深度情報（Depth情報）を付与し、３次元マッピングを可能にする深度カメラ（Depthカメラ）や３次元カメラが多岐にわたって提案されている。例えば、一般的なＲＧＢカメラをベースとする深度カメラや３次元カメラシステムとしては、２台のカメラの視差からステレオマッチングをとることで対象物を抽出した上で距離マップへと逆演算するものがある。また、対象物に投影されたパターン光（Structured Light）を１台のカメラで観測した像の歪みから距離マップを逆演算するものがある。また、対象物に向けて照射した光パルスの反射光遅延量から距離を算出するＴＯＦ（Time of Flight）方式イメージャ（ＴＯＦカメラ）がある。

上記した深度カメラや３次元カメラにおいて、２次元画像上の移動する特定の対象物までの距離情報を取得したい場合、対象物を追跡（トラッキング）する必要がある。このような移動する対象物までの距離を測定する装置として、例えば、特許文献１には、ＭＥＭＳ（Micro Electro Mechanical System）ミラーを駆動させることで、レーザ光を出射する投光ユニットを２次元で走査させる距離測定装置が記載されている。また、特許文献２には、画角全体のすべての深度情報（フル深度マップ）を取得した上で、２次元画像と組み合わせる画像認識撮像装置について記載されている。

特開２０１７−１７３２５８号公報 特開２０１８−１５６４０８号公報

上述した２次元画像上に存在する特定の移動する対象物に対してトラッキングを行う技術を、スマートフォン等の携帯機器へ展開するには、以下に示す問題がある。すなわち、特許文献１のＭＥＭＳミラーを用いた技術は、サイズ面の制約からモバイル機器への使用には適さないという問題がある。特許文献２のＲＧＢカメラによる演算ベースの３次元カメラシステムにおいて、フル深度マップを生成する場合には、演算コストが大きくなるという問題がある。

一方、パターン光方式を用いた３次元カメラシステムにおいては、ＲＧＢカメラに影響を与えないように照射光を赤外線とし、専用の高画素赤外線イメージャが必要となる。ＴＯＦカメラを用いる場合であっても、全空間への光照射が必須となり、深度マップを一般的なビデオフレームレート（３０ｆｐｓまたは６０ｆｐｓ）によって更新する必要があることから、消費電力が大きくなる。

更に、３次元カメラシステムの小型化及び低消費電力化は、ＭＥＭＳミラーによる光プロジェクション技術とともに進展しているものの、高速フレームレートへの対応は依然として難しく、システム全体が複雑化し構成部品点数が増大することによる高コスト化も避けられないといった課題がある。

本発明の一様態は、上記した一連の課題を鑑みてなされたものであり、モバイル機器に搭載されるカメラモジュールと連携動作し、２次元トラッキングしながら移動する対象物までの距離を測定でき、低消費電力化、小型化及び低コスト化を両立したＴＯＦ方式の測距センサを提供することを目的とする。

上記の課題を解決するために、本発明の一態様に係る測距センサは、カメラモジュールと連携動作し、空間へ照射したビームが対象物により反射されて往復する時間を計測して、前記カメラモジュールが取得した画像情報と組み合わせて３次元位置情報を生成するための前記対象物までの距離情報を生成するＴＯＦ方式の測距センサである。測距センサは、面状配置された複数の発光素子を有し、前記空間を分割した各部分空間へ向けて、部分空間毎に割り当てられた前記発光素子からの光を、発光レンズ系によってビーム形成して照射する発光ユニットと、面状配置された複数の受光素子を有し、前記各部分空間からの反射光を、受光レンズ系によって割り当てられた前記受光素子上に結像させて受光する受光ユニットと、共通する前記部分空間に割り当てられた前記発光素子及び前記受光素子を含む素子群毎に独立して制御を行い、前記画像情報に基づいて予め指定される、隣接する複数の前記部分空間を束ねた部分空間群を少なくとも１つ設定する空間制御部と、前記空間制御部により設定された少なくとも１つの前記部分空間群における、各空間群の空間内に存在する前記対象物からの反射光を受ける前記複数の受光素子の受光量分布に基づいて、前記部分空間群の空間内における前記対象物の位置を推定する位置推定部と、前記発光素子の数よりも少ないチャネル数で並列的にＴＯＦ信号処理を行い、前記チャネル数以下の数の前記距離情報を取得するＴＯＦ信号処理部と、を備えていることを特徴とする。

本発明の一態様によれば、モバイル機器に搭載されるカメラモジュールと連携動作し、２次元トラッキングしながら移動する対象物までの距離を測定でき、低消費電力化、小型化及び低コスト化を両立したＴＯＦ方式の測距センサを実現できる。

本発明の実施形態１に係るホストシステムの概略構成を示す斜視図である。 図１のＴＯＦ測距センサの動作の様子を示す図である。 図１のＴＯＦ測距センサの空間分割の様子を示す図である。 図１のＴＯＦ測距センサにおける距離情報を生成する方法の一例を説明するための模式図である。 図４の第１部分空間群に対応した受光素子群の模式図である。 図５の検知対象物の反射光成分付近の受光素子に対応したカウンタ回路によるカウント値の結果を示す図である。 図４の第１部分空間群に対応した受光素子群に検知対象物の反射光成分が複数ある例を示す図である。 図１のＴＯＦ測距センサの回路ブロック構成を示す平面図である。 本発明の実施形態２に係る第１部分空間群に対応した受光素子群とその周辺の受光素子を含む模式図である。 図９の第１部分空間群に対応した受光素子群上を移動する検知対象物の反射光成分の様子を示す模式図である。

〔実施形態１〕
以下、本発明の実施形態１について、図１〜図８を参照して説明する。実施形態１では、測距センサを３次元カメラシステムに適用した一例について説明する。

［３次元カメラシステムの概要］
まず、実施形態１における３次元カメラシステムの概要について、図１を参照して説明する。図１は、実施形態１に係るホストシステムの概略構成を示す斜視図である。図１に示すホストシステム１は、例えば、スマートフォン、スマートグラス、ヘッドマウントディスプレイ、及びこれらの発展型デバイス等のモバイル機器（携帯端末）に搭載される３次元カメラシステムである。

ホストシステム１は、ＴＯＦ測距センサ（測距センサ）２と、ＲＧＢカメラモジュール（カメラモジュール）３とを備えている。ホストシステム１は、ＲＧＢカメラモジュール３により撮像された対象物（測定対象物）の２次元撮像データ（画像情報）に対して、ＴＯＦ測距センサ２により生成した対象物の距離情報として深度情報（Depth情報）を付与することによって、３次元画像（３次元位置情報）を生成する。

ＴＯＦ測距センサ２は、通信部２６を介してＲＧＢカメラモジュール３と連携して動作可能なＴＯＦ（Time of Flight）方式の測距センサである。ＴＯＦ測距センサ２は、照射光（通常はパルス光）が照射される空間（照射空間）に存在する対象物によって反射された反射光を受光して光の飛行時間（遅れ時間）として検出することにより、ＴＯＦ測距センサ２から対象物までの距離を測定する。

ＲＧＢカメラモジュール３は、モバイル機器に搭載される標準的なカメラモジュールである。ＲＧＢカメラモジュール３は、複数の撮像素子（画素）３１１が面状（マトリクス状）に配置されたＡＰＳ（Active Pixel Sensor）３１、撮像レンズ系３２、及びＩＳＰ（Image Signal Processor）３３等を有している。ＲＧＢカメラモジュール３としては、ＡＰＳ３１及び撮像レンズ系３２が実装されたもの、これらに加えてＩＳＰ３３が統合されたもの、及び、ＡＰＳ３１とＩＳＰ３３とがＣＳＰ（Chip Size Package）化されたもの等の各種の構成のものを使用可能である。上記したＴＯＦ測距センサ２及びＲＧＢカメラモジュール３を含む画像処理システム全体が、３次元カメラシステムとして機能する。

モバイル機器においては、ＲＧＢカメラモジュール３、及びディスプレイ（不図示）等のデバイスは、ＭＩＰＩ規格に準拠して、アプリケーションプロセッサ４にインターフェースされるのが一般的である。同様に、ＴＯＦ測距センサ２においても、アプリケーションプロセッサ４と直接インターフェースされてもよい。あるいは、３次元画像生成のための専用プロセッサ（不図示）を介してアプリケーションプロセッサ４に接続される場合もあり得る。この場合、ＲＧＢカメラモジュール３のＡＰＳ３１、ＩＳＰ３３、及びＴＯＦ測距センサ２のいずれもが上記専用プロセッサに接続され、相互にインターフェースされることになる。

また、ＴＯＦ測距センサ２の出力データは、ＲＧＢカメラモジュール３の出力データに比べて小規模であるため、Ｉ２ＣやＩ３ＣまたはＳＰＩ等の一般的なシリアル通信規格に準じてＩＳＰ３３、上記専用プロセッサまたはアプリケーションプロセッサ４にＴＯＦ測距センサ２を接続してもよい。いずれの場合であっても、通信部２６を通じて、ＴＯＦ測距センサ２がＲＧＢカメラモジュール３の画像処理系と連携可能であればよい。

［ＴＯＦ測距センサの詳細］
次に、実施形態１におけるＴＯＦ測距センサ２の構成及び動作について、図２及び図３を参照して説明する。図２は、図１のＴＯＦ測距センサの動作の様子を示す図である。図３は、図１のＴＯＦ測距センサの空間分割の様子を示す図である。図２及び図３に示すように、ＴＯＦ測距センサ２は、発光ユニット２０、受光ユニット２１、空間制御部２２、発光素子駆動部２３、位置推定部２４、ＴＯＦ信号処理部２５、及び通信部２６等を有している。

（ＴＯＦ測距センサの構成）
まず、ＴＯＦ測距センサ２の構成の一例について説明する。このＴＯＦ測距センサ２は、空間分割多重化技術を応用したものである。ＴＯＦ測距センサ２は、図２及び図３に示すように、発光ユニット２０から、空間ｓを複数に分割した各部分空間ｄｓへ、各ビーム光（ビーム）Ｌｏｕｔを照射する。その後、ＴＯＦ測距センサ２は、任意の対象物に反射して往復してきた各反射光Ｌinを、それぞれ角度分解して受光することに基づいて、各部分空間ｄｓ毎に対象物までの距離情報を出力する。

図３には、一例として、２つの部分空間ｄｓ（ｉ，ｊ）及びｄｓ（ｍ，ｎ）が示されている。図２には、図３の２つの部分空間ｄｓに対応した、ビーム光Ｌｏｕｔ（ｉ，ｊ）及びＬｏｕｔ（ｍ，ｎ）と、反射光Ｌｉｎ（ｉ，ｊ）及びＬｉｎ（ｍ，ｎ）とが示されている。すなわち、ビーム光Ｌｏｕｔ（ｉ，ｊ）は、部分空間ｄｓ（ｉ，ｊ）へ照射されるビーム光Ｌｏｕｔの成分である。また、反射光Ｌｉｎ（ｉ，ｊ）は、ビーム光Ｌｏｕｔ（ｉ，ｊ）のうち、部分空間ｄｓ（ｉ，ｊ）に存在する対象物によって反射されたビーム光Ｌｏｕｔ（ｉ，ｊ）の成分である。同様に、ビーム光Ｌｏｕｔ（ｍ，ｎ）は、部分空間ｄｓ（ｍ，ｎ）へ照射されるビーム光Ｌｏｕｔの成分である。また、反射光Ｌｉｎ（ｍ，ｎ）は、ビーム光Ｌｏｕｔ（ｍ，ｎ）のうち、部分空間ｄｓ（ｍ，ｎ）に存在する対象物によって反射されたビーム光Ｌｏｕｔ（ｍ，ｎ）の成分である。

ここで、添字（ｉ，ｊ）及び（ｍ，ｎ）は、角度領域において２次元格子状に並ぶ各部分空間ｄｓの序列を示す自然数である。図２及び図３に示すように、特定の部分空間ｄｓ、ビーム光Ｌｏｕｔ、及び反射光Ｌｉｎを区別する必要がある場合には、添字（ｉ，ｊ）または（ｍ，ｎ）を付記する。一方、特定の部分空間ｄｓ、ビーム光Ｌｏｕｔ、及びＬｉｎとして区別せず一般化して表現する場合には、添字を付記しない。任意の部分空間ｄｓ、ビーム光Ｌｏｕｔ、及び反射光Ｌｉｎとして表現する場合には、添字（ｐ，ｑ）を付記するものとする。

発光ユニット２０は、発光素子アレイ２０１、及び発光レンズ系２０２を有している。発光素子アレイ２０１は、各ビーム光Ｌｏｕｔによって空間ｓ全体をカバーするために、複数の発光素子２０３が面状（マトリクス状）に配列されたものである。発光素子アレイ２０１には、例えば、６４個×６４個＝４０９６個の発光素子２０３が正方配列され、余剰素子も含めると４０９６個以上の発光素子２０３が配列されている。各発光素子２０３は、例えば、垂直共振器面発光レーザ（ＶＣＳＥＬ：Vertical Cavity Surface Emitting Laser）から構成される。各発光素子２０３は、それぞれ個別に駆動制御が可能となっている。

ＴＯＦ測距センサ２では、部分空間ｄｓ毎に対応するように、発光素子２０３が割り当てられている。すなわち、ＴＯＦ測距センサ２では、発光レンズ系２０２を通して部分空間ｄｓ毎に割り当てられた各発光素子２０３から部分空間ｄｓへのビーム光Ｌｏｕｔが所望の出射角度特性となるように、各発光素子２０３単体の遠視野像（ＦＦＰ:Far Field Pattern）が調整されている。また、隣接する部分空間に間隙（照射不可能な空間領域）が発生することを抑圧するために、発光素子アレイ２０１の発光面と発光レンズ系２０２の像面との距離が調整されている。更に、後述する部分空間群の定義に従って、各発光素子２０３を個別にＯＮ／ＯＦＦ可能とすることで、空間分割多重化した空間ｓ全体をカバーしつつ、各部分空間ｄｓに独立してビーム照射することができる。

受光ユニット２１は、受光素子アレイ２１１、及び受光レンズ系２１２を有している。受光素子アレイ２１１は、複数の受光素子（画素）２１３が面状（マトリクス状）に配置されたものである。受光素子アレイ２１１は、各部分空間ｄｓへ照射された各ビーム光Ｌｏｕｔが対象物に反射された反射光Ｌｉｎを、それぞれ角度分解して受光して、部分空間ｄｓ毎に対象物までの距離情報を出力する。

実施形態１の受光素子アレイ２１１では、例えば、発光素子アレイ２０１と同一ピッチで、６４×６４個＝４０９６個の受光素子２１３が正方配列され、余剰素子も含めると４０９６個の受光素子２１３が配列されている。各受光素子２１３は、例えば、単一光子アバランシェダイオード（ＳＰＡＤ：Single-Photon Avalanche Diode）等から構成される。各受光素子２１３の出力は、受光素子２１３毎に、アクティブクエンチ抵抗、及びインバータ等の初段ゲートを少なくとも含むフロントエンド回路（不図示）に接続される。このＳＰＡＤを用いた最小の構成は、アレイ集積化及びコンパクトな多点ＴＯＦ計測を行う観点から、最も好ましい選択の一例である。

ＴＯＦ測距センサ２では、部分空間ｄｓ毎に対応するように、受光素子２１３が割り当てられている。すなわち、ＴＯＦ測距センサ２では、各部分空間ｄｓからの反射光Ｌｉｎが、受光レンズ系２１２を通して、所定の受光素子２１３によって受光されるようになっている。また、受光素子アレイ２１１の受光面（受光素子面）と、受光レンズ系２１２の像面との距離は、各部分空間ｄｓからの反射光Ｌｉｎが受光素子２１３上に結像し、且つ、隣接する部分空間ｄｓに間隙（受光不可能な空間領域）が発生することが抑圧されるように調整されている。受光レンズ系２１２及び受光素子アレイ２１１によって、各受光素子２１３が張る部分空間ｄｓの集合全体が空間ｓをなす。

受光レンズ系２１２は、受光素子アレイ２１１が、いわゆるＦＰＡ（Focal Plane Array）として機能するように、像面歪みに配慮して設計されたレンズシステムである。なお、受光レンズ系２１２は、一般的なカメラの撮像レンズ系とは異なり、ビーム光Ｌｏｕｔ、及びその反射光Ｌｉｎで使用する波長帯に対してのみ最適設計がなされていれば十分であり、必ずしも多群をなす高度なレンズ設計は要しない。ただし、受光レンズ系２１２は、モバイル用途に向け、実装が容易であって、低コスト且つ低背化を実現するために、その他の周知技術を取り入れて設計することが望ましい。

発光素子アレイ２０１及び受光素子アレイ２１１は、これらの素子サイズを６４×６４素子とし、発光レンズ系２０２及び受光レンズ系２１２は概ね同形状である。更に、各発光素子２０３と各受光素子２１３とのピッチを同一として、モバイル用カメラの一般的な画角の例である６４°を満たすように設計されている（図４参照）。従って、ＴＯＦ測距センサ２は、各発光素子２０３及び各受光素子２１３が張る部分空間ｄｓについて、それぞれ約１°の角度分解能を有することとなる。

ここで、各発光素子２０３及び各受光素子２１３が張る部分空間ｄｓは、互いに共通となる、すなわち、空間的に遠視野で一致するように設計することが必須である。なぜなら、発光ユニット２０及び受光ユニット２１が配置される位置は同一面上に隣接しているものの、両者を完全に同じ位置に配置することはできないからである。このため、予め位置シフトを考慮した角度ズレ補正が必要となる。これは、主としてＴＯＦ測距センサ２の製造工程における部材実装上の課題であるが、後述するように、いわゆるアクティブアラインメントを実施することで、一般的には解決できる。

例えば、発光ユニット２０の実装が完了し、受光素子２１３のダイボンド及びワイヤーボンド実装までを完了させ、センサとしての電気的動作も可能な状態にした後、受光ユニット２１の受光レンズ系２１２の位置を決めて実装する際、実際に特定の発光素子２０３からのビーム光Ｌｏｕｔを外部の拡散反射板に照射し、本来それに対応して入射すべき特定の受光素子２１３への反射光量が最大となるよう、受光レンズ系２１２の位置を調整しながら固定する。その際、紫外線硬化樹脂等を接着剤に用いて適切なタイミングで硬化させることにより、必要な精度を確保することができる。

次に、空間制御部２２について説明する。空間制御部２２は、電気的な各信号を適切に接続処理するものである。すなわち、空間制御部２２は、発光素子２０３への接続及び受光素子２１３またはフロントエンド回路からの接続をそれぞれ個別に制御する。空間制御部２２による接続制御によって、上述した互いに共通する部分空間ｄｓ（ｐ，ｑ）に割り当てられる発光素子２０３及び受光素子２１３を含む素子群を形成し、これらの素子群毎に発光駆動及び受信信号処理を独立して実行することが可能となる。

具体的には、空間制御部２２は、例えば、ホストシステム１から指定された、隣接する複数の部分空間ｄｓを束ねた部分空間群を少なくとも１つ形成する。そして、空間制御部２２は、後述する位置推定部２４による対象物の位置推定結果を用いて、形成された部分空間群の個数分のＴＯＦ信号処理を同時実行すべく、各素子群の駆動及び信号処理を独立制御する。

発光素子駆動部２３は、空間制御部２２からの制御信号に基づいて駆動信号を出力する。具体的には、発光素子駆動部２３は、空間制御部２２からの制御信号に従って、各発光素子２０３の駆動のＯＮ／ＯＦＦを個別に切り替える。ここで、完全に同一のタイミングで同一の符号により駆動された少数の隣接する発光素子群は、同一のタイミング、及び概ね同一の強度で、発光する隣接した複数のビームの集合体（ビーム群）を形成し、より広い空間を照射する単一のビーム源として作用する。

空間制御部２２からの制御信号に基づいて、隣接する複数の部分空間ｄｓを束ねた部分空間群を形成している複数の各部分空間ｄｓに割り当てられている各受光素子２１３から出力された出力信号は、受光素子２１３毎にフロントエンド回路に入力され、デジタル信号に変換される。各受光素子２１３の各フロントエンド回路の出力信号は、それぞれ位置推定部２４に設けられたカウンタ回路（不図示）に入力される。

カウンタ回路は、測定周期の先頭または該測定周期の直前の測定周期の末尾にリセットされた後、測定周期のＴＯＦ測定シーケンスよりも前の期間において、各受光素子２１３の各フロントエンド回路の出力信号に含まれるパルス数をカウントする。このようにカウンタ回路は、各受光素子２１３の受光量に相当する光量値を、測定周期毎に測定周期のＴＯＦ測定シーケンス前に取得する。

続いて、位置推定部２４は、各部分空間ｄｓの光量値、すなわちカウンタ回路によるカウント値を比較することにより、隣接する複数の部分空間ｄｓを束ねた部分空間群における対象物の位置を推定する。ここで、各受光素子２１３の受光量分布に相当する上記各光量値、すなわちカウント値とは別に、各受光素子２１３のダークカウント（発光ユニット２０が全く自発光を行わない、環境光のみの状態）をカウンタ回路によってカウントし、上記各光量値（カウント値）から減算すると、外乱光の影響を軽減できる。

なお、ＴＯＦ信号処理については、各種方式が周知であり、ここでは詳細に説明しない。ただし、ＴＯＦ信号処理は、各受光素子２１３からの出力信号を並列的に処理することが容易な信号処理回路規模、すなわちコンパクトな信号処理方式であることが好ましい。

（ＴＯＦ測距センサの動作）
次に、ＴＯＦ測距センサ２の動作の一例について説明する。実施形態１におけるＴＯＦ測距センサ２の検出角度範囲（送受信視野角）は、±３２°であって、発光素子アレイ２０１及び受光素子アレイ２１１には等しいピッチで少なくとも６４個×６４個の有効素子領域が正方配列され、不感領域が存在しないように設計されている。フォーカルプレーンアレイの各素子（画素）が有する角度分解能は、約１°である。

受光素子アレイ２１１の各受光素子（各画素）２１３には、フロントエンド回路が接続されるため、純粋に受光素子アレイ２１１の受光面上で受光に寄与する部分のフィルファクタが小さくなる場合がある。この場合、フロントエンド回路を含む受光面上にマイクロレンズを稠密に形成して光学的なフィルファクタを１に近づける等、周知の技術を援用することで上記の角度分解能を実現することができる。

上述のようにして定まる約１°の最小角度分解能は、実空間においては１ｍの距離で約１.８ｃｍの像高に相当する。このため、モバイル機器で使用する場合の３次元マッピング精度として実用上十分な粒度が実現できる。ここで、本実施形態においては、上記十分な粒度の最小角度分解能により、視野角全体を常時ＴＯＦ計測することは前提としない。すなわち、視野角全体へ常時ビーム光を照射することをせず、必要十分な距離情報のみを、十分な精度と並列数で継続的に取得することが可能である。

ＴＯＦ測距センサ２の受信回路の一例として、同時に４チャネルのＴＯＦ信号を並列処理し、一度の測定サイクルで４個の距離情報を取得可能なように構成されているものを用いる。この並列処理数は、受信回路を設計する際に定められた有限の値であり、任意に大きくすることはできない。以下に述べる方法によって、隣接する部分空間ｄｓを束ねた部分空間群を定義した上でＴＯＦ測距センサ２を動作させることにより、定義された少なくとも１つの各部分空間群の空間内にある対象物の位置情報（対象物推定位置）と、距離情報を取得することが可能となる。ステレオカメラやパターン光等の従来方式による３次元カメラシステムと比較して、主に、発光（発光ユニット２０）側で消費されるＴＯＦ測距センサ２のトータル消費電力〔Ｗ〕を、少なくとも１桁以上、大幅に低減することが可能となる。

図４は、ＴＯＦ測距センサ２における距離情報を生成する方法の一例を説明するための模式図である。以下、画角６４°に対して、４チャネルの位置推定部２４及びＴＯＦ信号処理部２５を用いることにより、４チャネルのＴＯＦ信号を同時に並列処理して、４個の対象物の推定位置情報、及び推定位置における距離情報を生成する方法の一例について説明する。

ＴＯＦ測距センサ２は、例えば、後述のパターンで空間ｓを分割して第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４を定義し、定義した第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４に基づいて、対象物推定位置情報、及び推定位置における距離情報を生成する。なお、第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４を定義するパターンは、後述のものに限らない。また、チャネル数は、４チャネルに限らない。

図４に示すように、第１部分空間群ｄｓｇ１及び第２部分空間群ｄｓｇ２は、それぞれ６４個（８×８個）の隣接する部分空間ｄｓ、すなわち６４個の受光素子２１３に対応している。第３部分空間群ｄｓｇ３は、２５個（５×５個）の隣接する部分空間ｄｓ、すなわち２５個の受光素子２１３に対応している。第４部分空間群ｄｓｇ４は、１０８個（１２×９個）の隣接する部分空間ｄｓ、すなわち１０８個の受光素子２１３に対応している。

図４に示すように、画角全体において任意の大きさの部分空間群を、任意の位置に同時に合計４箇所まで第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４を指定可能である。第１〜第４部分空間群のそれぞれに対して４チャネル並列的に、位置推定部２４による対象物の位置推定、及び推定位置に最も近い受光素子２１３または推定位置周辺の複数の受光素子２１３を含む受光素子群から出力された出力信号に対してＴＯＦ信号処理を行う。

図５は、第１部分空間群ｄｓｇ１に対応した受光素子群の模式図である。測定周期のＴＯＦ測定シーケンスよりも前の期間における位置推定部２４の動作の一例について、図５を参照して説明する。図５において、検知対象物の反射光成分Ｒが、円形点線にて示されている。第１部分空間群ｄｓｇ１に対応した各受光素子２１３（Ａ１〜Ａ８、Ｂ１〜Ｂ８、Ｃ１〜Ｃ８、Ｄ１〜Ｄ８、Ｅ１〜Ｅ８、Ｆ１〜Ｆ８、Ｇ１〜Ｇ８、Ｈ１〜Ｈ８の計６４個）からの各出力信号は、各受光素子２１３に接続されている各フロントエンド回路に入力されてデジタル変換される。各フロントエンド回路の出力信号は、それぞれカウンタ回路に入力される。

図６は、図５の検知対象物の反射光成分Ｒ付近の受光素子２１３に対応したカウンタ回路によるカウント値の結果を示す図である。位置推定部２４は、第１部分空間群ｄｓｇ１における対象物の位置を推定する方法として、例えば、カウント値を比較してカウント値の最大値をとる受光素子２１３に対応する部分空間ｄｓを対象物の位置と推定する。図６に示す例では、位置推定部２４は、「Ｅ６」のカウント値が「５４６」で最大値となっていることから、「Ｅ６」の受光素子２１３に対応する部分空間に対象物が位置していると推定する。

なお、位置推定部２４による対象物の位置の推定方法は、上記に限らない。他にも、例えば、位置推定部２４は、第１部分空間群ｄｓｇ１に対応した受光素子群のカウント値の分布の重心位置を求め、重心位置にもっとも近い位置（図６では「Ｅ６」）にある受光素子２１３に対応する部分空間ｄｓを、対象物の位置と推定してもよい。

ＴＯＦ測距センサ２では、位置推定部２４が推定した対象物の位置にある受光素子２１３からのフロントエンド回路の出力信号のみを選択して用いることにより、ＴＯＦ測定シーケンス期間においてＴＯＦ信号処理を行う。これにより、ＴＯＦ測距センサ２は、対象物の推定位置における距離情報を、最小角度分解能（１°）で取得できる。

また、ＴＯＦ測定シーケンス期間において、ＴＯＦ信号処理に用いる受光素子２１３は必ずしも１つである必要はなく、例えば、位置推定部２４が推定した対象物の位置含む、カウンタのカウント値が一定値（最大カウント値に対してある割合）以上の隣接する受光素子群からのフロントエンド回路の出力信号をデジタルＯＲ処理して用い、ＴＯＦ信号処理を行うことで対象物の推定位置における距離情報を取得してもよい。

この場合、選択された隣接する受光素子２１３の数によって、対象物の推定位置における角度分解能は低下するものの、推定位置の周辺において一定のカウント値が取れていることから、対象物は複数の受光素子２１３に対応する部分空間群にまたがって存在すると言える。ＴＯＦ測距センサ２により取得される距離情報は、選択された受光素子群に対応する部分空間群にある対象物の平均距離情報となるものの、ＴＯＦ信号処理に用いる信号総量が増加することに伴って、算出距離の演算精度を向上できる。

ＴＯＦ測距センサ２は、第２部分空間群ｄｓｇ２〜第４部分空間群ｄｓｇ４においても、第１部分空間群ｄｓｇ１と同様に動作を並列的に行うことで、複数の各部分空間群の空間内にある対象物の位置情報（対象物推定位置）、及び距離情報を取得することができる。

また、ＴＯＦ測距センサ２は、カウンタのカウント値が所定値（例えば、最大カウント値に対してある割合以上のカウント値）以上の隣接する受光素子群の受光素子２１３の数から対象物の大きさを推定することも可能であり、複数の各部分空間群の空間内にある対象物の大きさを示す情報を出力してもよい。

図７は、第１部分空間群ｄｓｇ１に対応した受光素子群に検知対象物の反射光成分が複数ある例を示す図である。図７に示す例では、一定強度以上の対象物からの反射光成分Ｒ１，Ｒ２が２つある。このように、複数の対象物が存在している場合、位置推定部２４は、各部分空間群の受光素子２１３に対応したカウンタ回路のカウント値の分布に基づいて、対象物が複数存在しているか否かを判定し、受光量が多い順に、上位の複数個の対象物の推定位置結果を出力する。

ホストシステム１は、ＲＧＢカメラモジュール３により第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ１〜ｄｓｇ４の中に存在すると判定した対象物の位置が、時間変化する場合、すなわち対象物が移動する場合、ＴＯＦ測距センサ２によって得られた第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４の各部分空間群の空間内にある対象物の位置情報（大きさの情報を含めてもよい）及び距離情報を継続的に取得し、２次元撮像データ（画像情報）と組み合わせる。

これにより、ホストシステム１は、対象物の現在位置を把握して、取得結果から対象物の移動量を推定するとともに、ＴＯＦ測距センサ２により測定する第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４の空間領域を絶えず移動させ、且つリサイズさせながら、対象物の位置情報及び距離情報を取得し続けることで、２次元トラッキングＴＯＦ測距を実行する。

また、第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４の各部分空間群の空間内において、複数の対象物が存在しているか否かの判定情報によって、複数の対象物が確認された部分空間群に関しては、ホストシステム１によって、確認された対象物毎に空間領域を分割して２次元トラッキングＴＯＦ測距を行うことも可能である。ただし、他の優先度が低いと判断される部分空間群に割り当てられているチャネルを減らす必要がある。

また、ホストシステム１のＲＧＢカメラモジュール３によって、第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４の中に存在すると判定した対象物の位置が、２次元撮像データ（画像情報）ではコントラストが低く正確な位置が不明瞭な場合においても、ＴＯＦ測距センサによって得られた第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４の各部分空間群の空間内にある対象物の位置情報と距離情報を組み合わせることで正確な位置を求めることができる。

ここで、ＴＯＦ測距センサ２に対し、ホストシステム１側からシリアル通信によって、測定する部分空間群の空間領域を予め指定し、任意のタイミングで即時に切り替えることが重要となる。これにより、状況によって変化する対象物の距離情報を、ごく少数のチャネル数及び発光ビーム数で取得でき、ＴＯＦ測距センサ２の消費電力を極めて低くすることができる。

このように、ＴＯＦ測距センサ２では、モバイル端末向けの３次元マッピング応用において、真に有用な深度情報をモバイル端末のバッテリーに与える影響を低減しつつ取得することが可能となる。なお、４チャネルを全て使用する必要はなく、使用するチャネル数を減らして、４個より少ない数の距離情報を取得してもよい。これにより、ＴＯＦ測距センサ２の消費電力を更に低減することができる。

次に、ＴＯＦ測距センサ２における信号処理について、図８を参照して詳しく説明する。図８は、実施形態１におけるＴＯＦ測距センサ２の回路ブロック構成を示す平面図である。図８に示すように、発光素子駆動部２３からの駆動信号ｓ１は、発光素子アレイ２０１の各発光素子２０３へ出力される。この駆動信号ｓ１は、空間制御部２２からの制御信号ｓ２に基づいて、発光素子駆動部２３において生成される。

発光素子２０３毎の駆動のＯＮ／ＯＦＦを切り替える各駆動信号ｓ１には、互いにタイミングスキューが発生しないように注意が必要である。発光素子駆動部２３は、駆動させる発光素子２０３に対してＯＮ／ＯＦＦ信号を分配し、駆動しない発光素子２０３に対してはＯＦＦ信号のみを出力する。なお、図示はしないが、各発光素子２０３には、閾値電流を補償するような可変値または固定値のバイアス電流が供給されてもよい。

ＴＯＦ測距センサ２では、ＴＯＦ測定シーケンスよりも前の期間である位置推定部２４の対象物の位置を推定する期間において、空間分割多重化した部分空間ｄｓの集合体のうち、先述した、ＴＯＦ測距センサ２に対しホストシステム１側が予め指定した動作モードとして定められる第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４を形成する、各部分空間ｄｓに割り当てられた発光素子２０３の発光素子群のみを発光させ、ホストシステム１に指定されていない発光素子２０３の発光素子群はシャットダウンする等の制御を行う。

ここで、第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４の設定方法として、各部分空間ｄｓ（ｉ，ｊ）及びｄｓ（ｍ，ｎ）に対応する２次元座標（Ｘ,Ｙ）を用いることによって、レジスタ２９に設定したい各部分空間群の位置情報を入力してもよい。具体的には、例えば、各部分空間群において、部分空間群の基準点となる２次元座標（Ｘ,Ｙ）と、Ｘ軸方向の部分空間幅（Ｘ軸方向の部分空間の数）と、Ｙ軸方向の部分空間幅（Ｙ軸方向の部分空間の数）を、設定したい部分空間群毎にレジスタ２９に入力することで設定してもよい。基準点となる座標は、部分空間群の右上端、右下端、左上端、左下端、中心のいずれでもよい。

なお、空間制御部２２による部分空間群の設定方法は、上記した設定方法に限らない。他にも、空間制御部２２は、部分空間群の右上端の座標と左下端の座標の２点、もしくは、左上端の座標と右下端の座標の２点を、設定したい前記部分空間群のそれぞれに対して、ＴＯＦ測距センサ２のレジスタ２９に入力することにより、部分空間群を設定してもよい。

ＴＯＦ測定シーケンスにおいて、空間分割多重化した部分空間ｄｓの集合体のうち、上述した第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４内のそれぞれの対象物推定位置に対応する部分空間ｄｓに割り当てられた発光素子２０３、もしくは第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４内のそれぞれの対象物推定位置に対応する部分空間ｄｓを含む隣接する部分空間群に割り当てられた発光素子群のみを発光させ、他の発光素子２０３はシャットダウンする等の制御を行う。これにより、実際にＴＯＦ測距センサ２がセンシングする空間（角度）領域を精緻に制御することができる。

このようにして、ＴＯＦ測距センサ２は、上記指定された部分空間ｄｓ、もしくは部分空間群に対してのみビーム光Ｌｏｕｔを照射することで、上記指定された部分空間ｄｓ、もしくは部分空間群のみビーム光Ｌｏｕｔを照射し、ＴＯＦ測距センサ２の消費電力を劇的に低下することが可能とする。

また、受光素子アレイ２１１の各受光素子２１３からの出力信号ｓ３は、一旦すべてがセレクタ２８に入力される。この場合も同様に、出力信号ｓ３が互いにタイミングスキューが発生しないように注意が必要である。

ＴＯＦ測距センサ２では、測定周期のＴＯＦ測定シーケンスよりも前の期間において、空間制御部２２からの制御信号ｓ４に基づき、第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４の各部分空間群に選択されている複数の受光素子２１３の出力信号ｓ３に対して、セレクタ２８から位置推定部２４への出力部分（不図示）に送られる。ＴＯＦ測定シーケンスにおいて、空間制御部２２からの制御信号ｓ５に基づき、セレクタ２８から第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４内のそれぞれの対象物推定位置に対応する部分空間ｄｓに割り当てられた受光素子２１３、もしくは第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４内のそれぞれの対象物推定位置に対応する部分空間ｄｓを含む隣接する部分空間群に割り当てられた受光素子群の出力信号ｓ３がＴＯＦ信号処理部２５への出力部分（不図示）へ送られる。なお、受光素子群の場合においては、セレクタ２８からＴＯＦ信号処理部２５への出力部分（不図示）においてデジタル信号の論理和が取られる（デジタルＯＲ操作）。

ＴＯＦ測距センサ２では、ＴＯＦ測定シーケンスよりも前の期間である位置推定部２４の対象物の位置を推定する期間において、空間分割多重化した部分空間ｄｓの集合体のうち、上述した、ＴＯＦ測距センサ２に対しホストシステム１側が予め指定した動作モードとして定められる第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４を形成する、各部分空間ｄｓに割り当てられた受光素子２１３の素子群の出力のみを選択して位置推定部２４へ入力し、それら以外のホストシステム１に指定されていない受光素子２１３の素子群の出力は位置推定部２４へ入力しない等の制御を行う。

ＴＯＦ測定シーケンスにおいて、空間分割多重化した部分空間ｄｓの集合体のうち、上述した、第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４内のそれぞれの対象物推定位置に対応する部分空間ｄｓに割り当てられた受光素子２１３、もしくは、第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４内のそれぞれの対象物推定位置に対応する部分空間ｄｓ含む隣接する部分空間群に割り当てられた受光素子群のみを選択、あるいは結合して、ＴＯＦ信号処理部２５へ入力し、他の受光素子２１３の素子群の出力はＴＯＦ信号処理部２５へ入力しない等の制御を行う。これにより、実際にＴＯＦ測距センサ２がセンシングする空間（角度）領域を精緻に制御することができる。

このようにして、ＴＯＦ測距センサ２は、ホストシステム１側が予め指定された動作モードとして定められる第１〜４部分空間群(ｄｓｇ１〜ｄｓｇ４)に対して、位置推定部２４により、それぞれの対象物推定位置に対応する各部分空間ｄｓに割り当てられた受光素子２１３、もしくは第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４内のそれぞれの対象物推定位置に対応する部分空間ｄｓ含む隣接する部分空間群に割り当てられた受光素子群に対してのみ、対象物から反射された反射光ＬｏｕｔのＴＯＦ信号処理を行う。

これにより、ＴＯＦ測距センサ２は、対象物の位置情報（大きさの情報を含めてもよい）、及び上記指定された第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４内に、存在する対象物からの反射光Ｌｏｕｔの往復時間から、対象物の距離情報を取得することが可能となる。

以上説明したＴＯＦ測距センサ２では、予め指定された部分空間ｄｓからなる２次元部分空間群（実空間に対する２次元角度領域）において、２次元部分空間群内に存在する対象物（この場合、４個のチャネル分）の位置情報（大きさの情報を含めてもよい）、及び距離情報がレジスタ２９に格納される。

レジスタ２９への出力方法としては、例えば、第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４の対象物推定位置における距離情報、及び対象物情報を、各部分空間群のレジスタ入力番地に応じて決められたレジスタ出力番地、すなわち、予め決められた第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４の各部分空間群用のレジスタ出力番地にそれぞれ出力する。この場合、第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４のうち、確認したい部分空間群が決まっている場合の部分空間群内の対象物情報へアクセスし易くすることができる。

なお、レジスタ２９への出力方法は、これに限らない。他にも、例えば、第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４の各部分空間群の対象物推定位置における距離情報のうち、距離の短い順から数えて上位複数個の前記距離情報に対して、それぞれ順位毎に決められたレジスタ番地に、測距センサが取得した前記距離情報を含む対象物の情報を出力してもよい。この場合、各部分空間群の中で近い距離にある対象物に関する情報へアクセスし易くすることができる。

ここで、ＴＯＦ測距センサ２を搭載した３次元カメラシステムにとって、ＴＯＦ測距センサ２からの距離が近い対象物の情報の方が、遠い対象物の情報よりも有用である場合が多い。すなわち、画面上に占める対象物の割合が大きく見え、且つ移動量も大きくなる近い対象物は、３次元カメラシステムを搭載した装置にとって、優先的に対処すべき場合が多い。従って、各部分空間群の中で近い距離にある対象物に関する情報へアクセスし易くなることで、ホストシステム１の処理能力の向上を図ることができる。

ＲＧＢカメラモジュール３は、通信部２６を介して、上記距離情報へアクセスし、実空間における２次元の角度座標に対して得られる１次元距離情報から、対象物の３次元深度情報を生成することができる。

上述したように、ＴＯＦ測距センサ２が、ホストシステム１からの第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４の指定によって距離情報を取得する手法は、ホストシステム１における画像レンダリング処理の負荷軽減に非常に有用である。一方で、以下で説明するように、ＴＯＦ測距センサ２においては、予め指定された第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４に、対象物が存在しているか否かの判定を行うことも可能である。

一般的に、ＴＯＦ測距センサ２から出力される距離情報、つまり、ＴＯＦ信号処理に基づく距離推定値は、測定距離限界（遠距離、低反射率、外乱光大等）における信号光量、あるいはＳＮＲ（Signal to Noise Ratio）の不足によって、大きく変動し再現性が低下する。また、ＳＮＲが許容限界値を下回ると、ＴＯＦ距離推定値は平均値が定義できない状態まで発散する。このような信頼度の低いデータを、そのままホストシステム１に通知し動作させることは好ましくないため、通常、ＴＯＦ信号処理部２５は、エラーフラグを出力距離情報毎に付与する。

このフラグは、ＴＯＦ測定シーケンスより前の期間において位置推定部２４のカウンタ結果において部分空間群の各受光素子２１３のカウント値が全受光素子において一定値未満であるLow Signalビット、距離推定値やその変動偏差が予め定めた範囲を逸脱したため無効とするInvalidビット、あるいはＴＯＦ信号処理の仮定で得られる何らかの実測値や推定値の挙動に基づく警告またはエラービットとして表現され、距離情報の信頼度を示す情報となる。なお、ホストシステム１側においても、ＴＯＦ測距センサ２から出力された距離情報に対してランニングアベレージを取得し、ＳＮＲの状況をモニタリングする等、致命的な動作不具合を避けるための処理が一般的に行われている。

上記のような判定処理の例に基づき、ＴＯＦ測距センサ２の内部において、第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４のうち、ＳＮＲが著しく低下した、つまり、距離情報の信頼度が低い部分空間群であると判断される場合、その部分空間群には測距の対象となる対象物が「存在しない」と判定することができる。この場合には、ホストシステム１は、信頼度が低い距離推定値を採用しないように、フラグでマスクする。

更に、上述のように予め指定された第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４）毎に判定した対象物の有無の情報に基づいて、空間制御部２２は、各部分空間群毎に対応する各発光素子２０３あるいは素子群の駆動や各受光素子２１３あるいは素子群の接続（前記アナログ和あるいはデジタル論理和）を制御することができる。これにより、ＴＯＦ測距センサ２は、予め指定された第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４の中で有益な距離情報を取得することができない各部分空間群に対しては、ビーム光Ｌｏｕｔを発しない、あるいはＴＯＦ信号処理を行わない等、ＴＯＦ測距センサ２の内部動作を空間制御部２２から局所的に停止させることで、更に消費電力の低減を図ることができる。

（ＴＯＦ測距センサの効果）
以上説明した実施形態１におけるＴＯＦ測距センサ２は、ＲＧＢカメラモジュール３と連携動作し、空間ｓへ照射したビーム光Ｌｏｕｔが対象物により反射されて往復する時間を計測して、ＲＧＢカメラモジュール３が取得した画像情報と組み合わせて３次元位置情報を生成するための対象物の距離情報を出力するＴＯＦ方式の測距センサである。ＴＯＦ測距センサ２は、面状配置された複数の発光素子２０３を有し、空間ｓを分割した各部分空間ｄｓへ向けて、該部分空間ｄｓ毎に割り当てられた発光素子２０３からの光を、発光レンズ系２０２でビーム形成して照射する発光ユニット２０と、面状配置された複数の受光素子２１３を有し、各部分空間ｄｓから受光した反射光Ｌｏｕｔを受光レンズ系２１２で受光素子２１３上に結像させ、該部分空間ｄｓ毎に割り当てられた受光素子２１３によって受光する受光ユニット２１と、共通する各部分空間ｄｓに割り当てられた発光素子２０３、及び、受光素子２１３を含む素子群毎に、独立して制御を行う空間制御部２２と、を備えている。

上記した構成のＴＯＦ測距センサ２によれば、各部分空間ｄｓに割り当てられた発光素子２０３、及び受光素子２１３を含む素子群毎に独立して制御可能であるため、必要最小限の素子群のみを選択的に駆動して、ＴＯＦ測距センサ２を効率良く動作させることができる。また、ＭＥＭＳミラー等を設ける必要がないため、高い測距精度及び空間分解能を維持しながら、装置構成を単純化、小型化及び低コスト化を実現することができる。

また、ＴＯＦ測距センサ２は、連携動作可能なＲＧＢカメラモジュール３から、その画像情報に基づいて、各部分空間ｄｓの全体の中から、隣接する複数の部分空間ｄｓを束ねた部分空間群を、チャネル数を上限とする複数個指定し、位置推定部２４によって各部分空間群の空間内の対象物の推定位置情報（大きさの情報を含めてもよい）と、ＴＯＦ信号処理部２５によって推定位置に対応する距離情報をそれぞれの部分空間群に対して取得し、ホストシステム１へ出力することができる。従って、実施形態１のＴＯＦ測距センサ２によれば、モバイル機器への搭載に最適な、ＲＧＢカメラモジュール３と連携動作し、低消費電力化、小型化及び低コスト化を両立可能な、ＴＯＦ測距センサ２を実現することができる。

また、ホストシステム１では、第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４の中に存在する対象物の位置が時間変化する場合、すなわち、対象物が移動する場合、ＴＯＦ測距センサ２により得られた第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４の各部分空間群の空間内にある対象物の位置情報（大きさの情報を含めてもよい）と距離情報を継続取得し、２次元撮像データ（画像情報）と組み合わせる。これにより、ホストシステム１は、対象物の現在位置を把握して、継続的に取得した結果から対象物の移動量を推定し、ＴＯＦ測距センサ２により測定する第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４の空間領域を、絶えず移動及びリサイズさせながら、対象物の位置情報と距離情報を取得し続けることで、２次元トラッキングＴＯＦ測距を実行できる。

また、ホストシステム１によって、第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４の各部分空間群の空間内において、複数の対象物が存在しているか否かの判定情報により複数の対象物が確認された部分空間群に関しては、確認された対象物毎に空間領域を分割して２次元トラッキングＴＯＦ測距を行うこともできる。ただし、他の優先度が低いと判断される部分空間群に割り当てられているチャネルを減らす必要がある。

また、ホストシステム１によって、第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４の中に存在すると判定した対象物の位置が、２次元撮像データ（画像情報）ではコントラストが低く正確な位置が不明瞭な場合においても、ＴＯＦ測距センサ２によって得られた第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４の各部分空間群の空間内にある対象物の位置情報と距離情報を組み合わせることにより、対象物の位置を正確に推定できる。

〔実施形態２〕
本発明の実施形態２におけるホストシステムについて、図９及び図１０を参照して説明する。図９は、実施形態２における第１部分空間群に対応した受光素子群の移動の様子を示す模式図である。図１０は、図９の第１部分空間群に対応した受光素子群上を移動する検知対象物の反射光成分の様子を示す模式図である。

（ＴＯＦ測距センサの構成と動作）
実施形態２におけるホストシステムの基本的な構成は、実施形態１のホストシステム１と同様であるので、各部材の符号は説明の便宜上、実施形態１と同じ符号を用いるものとする（図１参照）。実施形態２のホストシステム１では、実施形態１と比較して、以下に説明するように、空間制御部２２がＴＯＦ測距センサ２自身の出力情報に基づいて、部分空間群の設定更新を行う点が異なる。

実施形態２のＴＯＦ測距センサ２の空間制御部２２は、ＲＧＢカメラモジュール３により第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４の中に存在すると判定した対象物の位置が時間変化、すなわち対象物が移動する場合において、ＴＯＦ測距センサ２により得られた第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４の各部分空間群の空間内にある対象物の位置情報（大きさの情報、複数対象物の有無情報を含めてもよい）、及び距離情報を継続的に取得する。

そして、空間制御部２２は、対象物の現在位置の把握、及び継続取得結果から、対象物の移動量を推定し、ＴＯＦ測距センサ２で測定する第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４の空間領域を絶えず移動、及びリサイズさせながら、対象物を自動的に捕捉する。このように、実施形態２のＴＯＦ測距センサ２は、対象物を２次元トラッキングしながら、対象物の位置情報及び距離情報を継続的に取得することにより、対象物までの距離を測定する。

図９において、現在の検知対象物の反射光成分Ｒが、円形点線にて示されている。位置推定部２４は、カウンタ回路より取得したカウント値の分布に基づいて、対象物の位置が、現在選択されている第１部分空間群ｄｓｇ１に対して、右下付近（図９のＦ６付近）にあると推定する。この場合、空間制御部２２は、今回の対象物の推定位置（図９のＦ６付近）が、次回測定時に選択される第１部分空間群ｄｓｇ１´の空間の中心付近に位置するように、空間領域を第１部分空間群ｄｓｇ１´へ移動させる。

また、空間制御部２２は、図１０に示すように、前回の検知対象物の反射光成分Ｒ０と、現在の検知対象物の反射光成分Ｒ１とに基づいて、対象物の移動速度及び移動方向を推定する。具体的には、空間制御部２２は、対象物が図１０の「Ｄ４」付近から「Ｆ６」付近へ移動したものと推定する。これに基づいて、空間制御部２２は、次回の検知対象物の反射光成分Ｒ２が、図１０の「Ｈ８」付近へ移動すると推定する。そして、空間制御部２２は、次回測定時に選択される第１部分空間群ｄｓｇ１´の中心付近に対象物が位置するように、空間領域を第１部分空間群ｄｓｇ１´へ移動させる。

なお、図示しないが、空間制御部２２は、現在選択されている第１部分空間群ｄｓｇ１に比べて、対象物の占める大きさが小さいと推定した場合、または、前回からの継続取得結果を利用して対象物の移動速度が遅いと推定した場合、次回測定時に選択される第１部分空間群ｄｓｇ１´のサイズを小さくしてもよい。逆に、空間制御部２２は、現在選択されている第１部分空間群ｄｓｇ１に比べて、対象物の占める大きさが大きいと推定した場合、または、前回からの継続取得結果を利用して対象物の移動速度が早いと推定した場合、次回測定時に選択される第１部分空間群ｄｓｇ１´のサイズを大きくしてもよい。

（ＴＯＦ測距センサの効果）
以上説明した実施形態２におけるＴＯＦ測距センサ２によれば、第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４の空間内において、対象物の推定位置情報（大きさの情報、複数対象物の有無情報を含めてもよい）と、推定位置に対応する距離情報をそれぞれの部分空間群に対して取得し、距離情報の信頼度とを組み合わせることで、ＴＯＦ測距センサ２自身が空間制御部２２を介して、発光素子アレイ２０１への信号接続及び受光素子アレイ２１１からの信号接続を制御し、ＴＯＦ測距センサ２自身が形成すべき第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４の位置やサイズを指定して、対象物を自動的に捕捉しつつＴＯＦ測距離動作を継続できる。

従って、実施形態２におけるＴＯＦ測距センサ２では、３次元空間を角度領域において２次元的に分割し、各領域で距離情報を得る際に、実際に距離情報を取得すべき２次元の角度領域を自動的に更新することができる。これにより、実施形態２のＴＯＦ測距センサ２では、従来技術と比べ、主に発光ユニット２０側で消費されるＴＯＦ測距センサ２のトータル消費電流を大幅に低減できる。更に、ホストシステム１に過大な画像信号処理の負荷をかけることなく、真に有用な３次元深度情報を取得することができる。

このように、実施形態２では、予めホストシステム１による画像解析結果に基づいて、指定された第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４に対して、一度対象物の有無の判定を含むＴＯＦ信号処理を行う。その後、対象物に関する情報を取得できた各部分空間群に対して、ＴＯＦ測距センサ２自身が対象物を自動的に捕捉してＴＯＦ信号処理を継続する。これにより、ＴＯＦ測距センサ２は、操作性及び消費電力の面から実用上非常に有益な、２次元トラッキング動作を実現できる。

なお、ホストシステム１側から第１部分空間群ｄｓｇ１〜第４部分空間群ｄｓｇ４を指定する代わりに、ＴＯＦ測距センサ２自身が、継続的な動作に先立って全画角を分割してスキャンし対象物の存在する部分空間を判定した上で、上記と同様に対象物を自動的に捕捉する完全な２次元トラッキングＴＯＦ測距を実行することも可能である。

〔まとめ〕
本発明の態様１に係る測距センサ（ＴＯＦ測距センサ２）は、カメラモジュール（ＲＧＢカメラモジュール３）と連携動作し、空間へ照射したビーム（ビーム光Ｌｏｕｔ）が対象物により反射されて往復する時間を計測して、前記カメラモジュールが取得した画像情報と組み合わせて３次元位置情報を生成するための前記対象物までの距離情報を生成するＴＯＦ方式の測距センサであって、面状配置された複数の発光素子を有し、前記空間を分割した各部分空間へ向けて、部分空間毎に割り当てられた前記発光素子からの光を、発光レンズ系によってビーム形成して照射する発光ユニットと、面状配置された複数の受光素子を有し、前記各部分空間からの反射光を、受光レンズ系によって割り当てられた前記受光素子上に結像させて受光する受光ユニットと、共通する前記部分空間に割り当てられた前記発光素子及び前記受光素子を含む素子群毎に独立して制御を行い、前記画像情報に基づいて予め指定される、隣接する複数の前記部分空間を束ねた部分空間群を少なくとも１つ設定する空間制御部と、前記空間制御部により設定された前記部分空間群における、各空間群の空間内に存在する前記対象物からの反射光を受ける前記複数の受光素子の受光量分布に基づいて、前記部分空間群の空間内における前記対象物の位置を推定する位置推定部と、前記発光素子の数よりも少ないチャネル数で並列的にＴＯＦ信号処理を行い、前記チャネル数以下の数の前記距離情報を取得するＴＯＦ信号処理部と、を備えている。

上記の構成によれば、空間制御部により部分空間群を設定し、各空間群の空間内に存在する対象物からの反射光を受ける受光素子の受光量分布に基づいて、位置推定部によって対象物の位置を推定する。そして、ＴＯＦ信号処理部により、発光素子の数よりも少ないチャネル数で並列的にＴＯＦ信号処理を行い、チャネル数以下の数の距離情報を取得する。これにより、移動する対象物の距離情報を、少数のチャネル数及び発光素子数で取得でき、測距センサの消費電力を極めて低くできる。また、ＭＥＭＳミラー等を設ける必要がないため、高い測距精度及び空間分解能を維持しながら、装置構成を単純化、小型化及び低コスト化を実現できる。

すなわち、空間制御部により各部分空間毎に割り当てられた発光素子及び受光素子を含む素子群毎に独立して制御することで、必要最小限の素子群のみを選択的に駆動して、モバイル機器に搭載されるカメラモジュールと連携動作し、２次元トラッキングしながら移動する対象物までの距離を測定でき、低消費電力化、小型化及び低コスト化を両立したＴＯＦ方式の測距センサを実現できる。

本発明の態様２に係る測距センサでは、上記態様１において、前記ＴＯＦ信号処理部は、前記空間制御部により設定された前記部分空間群の各空間群において、前記位置推定部により推定された前記対象物の推定位置に対応する前記部分空間に対して割り当てられている前記受光素子、または、前記対象物の前記推定位置に対応する前記部分空間とその周辺の隣接する部分空間を加えた複数の部分空間に対して割り当てられている前記複数の受光素子を含む受光素子群を用いてＴＯＦ信号処理を行うことにより、前記位置推定部の推定位置における前記距離情報を取得してもよい。

上記の構成によれば、位置推定部により推定された対象物の推定位置に対応した部分空間に対して割り当てられている受光素子、または、対象物の推定位置に対応した部分空間とその周辺の隣接する部分空間を加えた複数の部分空間に対して割り当てられている受光素子群を用いてＴＯＦ信号処理を行う。これにより、対象物の位置を推定しない場合に比べて、少ない数の受光素子を用いるだけで、対象物の推定位置の距離情報を取得することができ、測距センサ全体の消費電力を低減することができる。

本発明の態様３に係る測距センサでは、上記態様１または２において、前記ＴＯＦ信号処理部は、前記空間制御部により設定された前記部分空間群の各空間群において、前記位置推定部により推定された前記対象物の推定位置に対応する前記距離情報の信頼度を示す情報を取得してもよい。

上記の構成によれば、信頼度の低い距離情報を用いて３次元位置情報を生成されることを抑制することができる。

本発明の態様４に係る測距センサは、上記態様１から３のいずれかにおいて、前記位置推定部は、前記空間制御部により設定された前記部分空間群の空間内に存在する前記対象物からの反射光を受ける前記複数の受光素子の受光量分布に基づいて、前記対象物の大きさを推定し、前記位置推定部の推定位置にある前記対象物の大きさを示す情報を取得してもよい。

上記の構成によれば、測距センサは、対象物からの反射光を受ける複数の受光素子の受光量分布に基づいて、対象物の大きさを推定することがきるので、対象物の大きさの情報を含む位置情報及び距離情報を継続的に取得しながら、測定する各部分空間群の空間領域を絶えず移動させ且つリサイズさせることにより、２次元トラッキングＴＯＦ測距を実現できる。

本発明の態様５に係る測距センサは、上記態様１から４のいずれかにおいて、前記位置推定部は、前記空間制御部により設定された前記部分空間群の空間内に存在する前記対象物からの反射光を受ける前記複数の受光素子の受光量分布に基づいて、前記部分空間群の空間内において前記対象物が複数存在しているか否かを判定し、受光量が多い順に上位複数個の対象物の推定位置結果を取得してもよい。

上記の構成によれば、部分空間群の空間内において対象物が複数存在している場合、受光量が多い順に対象物の推定位置結果を取得することで、他の優先度が低いと判断される部分空間群に割り当てられているチャネルを減らす条件の元で、確認された対象物毎に部分空間群の空間内の空間領域を分割させて複数の対象物に対する２次元トラッキングＴＯＦ測距を行うことができる。

本発明の態様６に係る測距センサは、上記態様１から５のいずれかにおいて、前記測距センサは、取得した情報の少なくとも一部をレジスタに出力してもよい。

上記の構成によれば、例えば、測距センサにより取得された情報を、予め定めた順序となるようにレジスタに保存しておくことで、確認したい測距センサの取得情報を容易に取得できる。

本発明の態様７に係る測距センサでは、上記態様６において、前記空間制御部は、前記空間を分割した各部分空間に対応する２次元座標を用いて、設定したい前記部分空間群の位置情報をレジスタに入力することにより、前記部分空間群を設定してもよい。

上記の構成によれば、空間制御部は、各部分空間に対応する２次元座標を用いて、設定したい部分空間群の位置情報をレジスタに入力することで部分空間群を設定するので、各部分空間群内の各対象物の推定位置に対応する部分空間に割り当てられた発光素子のみを発光させ、他の発光素子はシャットダウンするなどの制御を高精度で行うことができる。これにより、実際に測距センサがセンシングする空間（角度）領域を精緻に制御でき、測距センサの消費電力を大幅に低減できる。

本発明の態様８に係る測距センサでは、上記態様７において、前記空間制御部は、前記部分空間群の基準点となる２次元座標と、一方の軸方向における部分空間幅（一方の軸方向の部分空間数）と、他方の軸方向における部分空間幅（他方の軸方向の部分空間数）を、設定したい前記部分空間群のそれぞれに対して前記レジスタに入力してもよい。

上記の構成によれば、空間制御部は、部分空間群の基準点となる２次元座標と、一方の軸方向における部分空間幅（一方の軸方向の部分空間数）と、他方の軸方向における部分空間幅（他方の軸方向の部分空間数）をレジスタに入力することで、実際に測距センサがセンシングする空間（角度）領域を精緻に制御することが可能となる。

本発明の態様９に係る測距センサは、上記態様７において、前記空間制御部は、前記部分空間群の右上端の座標と左下端の座標の２点、もしくは、左上端の座標と右下端の座標の２点を、設定したい前記部分空間群のそれぞれに対して、前記レジスタに入力してもよい。

上記の構成によれば、空間制御部は、部分空間群の右上端及び左下端の２点、または、左上端及び右下端の２点の座標を部分空間群の基準点とすることができ、容易に部分空間群の設定を行うことができる。

本発明の態様１０に係る測距センサでは、上記態様１から６のいずれかにおいて、前記空間制御部は、前記空間制御部により設定された前記部分空間群の各空間群において、前記部分空間群の空間内の前記対象物に対する測距センサ自身の出力情報に基づいて、前記部分空間群の設定を更新してもよい。

上記の構成によれば、測距センサは、３次元空間を角度領域において２次元的に分割し、各領域で距離情報を得る際に、距離情報を実際に取得すべき２次元の角度領域を自動的に更新できる。これにより、発光ユニットにおける消費電力を低減でき、測距センサ全体の消費電力を大幅に低減できる。また、画像信号処理の負荷をかけることなく、真に有用な３次元深度情報を取得することができる。

本発明の態様１１に係る測距センサは、上記態様１０において、前記空間制御部により設定された前記部分空間群の前記対象物の推定位置における前記距離情報のうち、距離の短い順から数えて上位複数個の前記距離情報に対して、それぞれ順位毎に決められたレジスタ番地に取得した前記距離情報を含む前記対象物の情報を出力してもよい。

上記の構成によれば、測距センサからの距離が近いと推定された対象物の情報を、近いものから順に優先的に取得することができる。

本発明の態様１２に係る測距センサは、上記態様１０において、前記空間制御部により設定された前記部分空間群の前記対象物の推定位置における前記距離情報及び前記対象物情報の出力を、前記各部分空間群の各レジスタの入力番地に応じて決められたレジスタ出力番地にそれぞれ出力してもよい。

上記の構成によれば、各部分空間群の対象物の推定位置における距離情報及び対象物情報を、各部分空間群のレジスタ入力番地に応じて決められたレジスタ出力番地にそれぞれ出力するので、確認したい部分空間群が決まっている場合の部分空間群内の対象物情報を取得し易くすることができる。

本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。更に、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１ ホストシステム
２ ＴＯＦ測距センサ（測距センサ）
３ ＲＧＢカメラモジュール（カメラモジュール）
２０ 発光ユニット
２９ レジスタ
２０３ 発光素子
２１ 受光ユニット
２１３ 受光素子
２２ 空間制御部
２４ 位置推定部
２５ ＴＯＦ信号処理部
Ｌｏｕｔ ビーム光（ビーム）
ｓ 空間
ｄｓ 部分空間
ｄｓｇ１〜ｄｓｇ４ 第１部分空間群〜第４部分空間群

Claims (12)

1. カメラモジュールと連携動作し、空間へ照射したビームが対象物により反射されて往復する時間を計測して、前記カメラモジュールが取得した画像情報と組み合わせて３次元位置情報を生成するための前記対象物までの距離情報を生成するＴＯＦ方式の測距センサであって、
   面状配置された複数の発光素子を有し、前記空間を分割した各部分空間へ向けて、部分空間毎に割り当てられた前記発光素子からの光を、発光レンズ系によってビーム形成して照射する発光ユニットと、
   面状配置された複数の受光素子を有し、前記各部分空間からの反射光を、受光レンズ系によって割り当てられた前記受光素子上に結像させて受光する受光ユニットと、
   共通する前記部分空間に割り当てられた前記発光素子及び前記受光素子を含む素子群毎に独立して制御を行い、前記画像情報に基づいて予め指定される、隣接する複数の前記部分空間を束ねた部分空間群を少なくとも１つ設定する空間制御部と、
   前記空間制御部により設定された前記部分空間群における、各空間群の空間内に存在する前記対象物からの反射光を受ける前記複数の受光素子の受光量分布に基づいて、前記部分空間群の空間内における前記対象物の位置を推定する位置推定部と、
   前記発光素子の数よりも少ないチャネル数で並列的にＴＯＦ信号処理を行い、前記チャネル数以下の数の前記距離情報を取得するＴＯＦ信号処理部と、
   を備えていることを特徴とする測距センサ。
2. 前記ＴＯＦ信号処理部は、前記空間制御部により設定された前記部分空間群の各空間群において、前記位置推定部により推定された前記対象物の推定位置に対応する前記部分空間に対して割り当てられている前記受光素子、または、前記対象物の前記推定位置に対応する前記部分空間とその周辺の隣接する部分空間を加えた複数の部分空間に対して割り当てられている前記複数の受光素子を含む受光素子群を用いてＴＯＦ信号処理を行うことにより、前記位置推定部の推定位置における前記距離情報を取得することを特徴とする請求項１に記載の測距センサ。
3. 前記ＴＯＦ信号処理部は、前記空間制御部により設定された前記部分空間群の各空間群において、前記位置推定部により推定された前記対象物の推定位置に対応する前記距離情報の信頼度を示す情報を取得することを特徴とする請求項１または２に記載の測距センサ。
4. 前記位置推定部は、前記空間制御部により設定された前記部分空間群の空間内に存在する前記対象物からの反射光を受ける前記複数の受光素子の受光量分布に基づいて、前記対象物の大きさを推定し、前記位置推定部の推定位置にある前記対象物の大きさを示す情報を取得することを特徴する請求項１から３のいずれか１項に記載の測距センサ。
5. 前記位置推定部は、前記空間制御部により設定された前記部分空間群の空間内に存在する前記対象物からの反射光を受ける前記複数の受光素子の受光量分布に基づいて、前記部分空間群の空間内において前記対象物が複数存在しているか否かを判定し、受光量が多い順に上位複数個の対象物の推定位置結果を取得することを特徴とする請求項１から４のいずれか１項に記載の測距センサ。
6. 前記測距センサは、取得した情報の少なくとも一部をレジスタに出力することを特徴とする請求項１から５のいずれか１項に記載の測距センサ。
7. 前記空間制御部は、前記空間を分割した各部分空間に対応する２次元座標を用いて、設定したい前記部分空間群の位置情報を前記レジスタに入力することにより、前記部分空間群を設定することを特徴とする請求項６に記載の測距センサ。
8. 前記空間制御部は、前記部分空間群の基準点となる２次元座標と、一方の軸方向における部分空間幅（一方の軸方向の前記部分空間の数）と、他方の軸方向における部分空間幅（他方の軸方向の前記部分空間の数）を、設定したい前記部分空間群のそれぞれに対して前記レジスタに入力することを特徴とする請求項７に記載の測距センサ。
9. 前記空間制御部は、前記部分空間群の右上端の座標と左下端の座標の２点、もしくは、左上端の座標と右下端の座標の２点を、設定したい前記部分空間群のそれぞれに対して、前記レジスタに入力することを特徴とする請求項７に記載の測距センサ。
10. 前記空間制御部は、前記空間制御部により設定された前記部分空間群の各空間群において、前記部分空間群の空間内の前記対象物に対する前記測距センサ自身の出力情報に基づいて、前記部分空間群の設定を更新することを特徴とする請求項１から６のいずれか１項に記載の測距センサ。
11. 前記空間制御部により設定された前記部分空間群の前記対象物の推定位置における前記距離情報のうち、距離の短い順から数えて上位複数個の前記距離情報に対して、それぞれ順位毎に決められたレジスタ番地に取得した前記距離情報を含む前記対象物の情報を出力することを特徴とする請求項６に記載の測距センサ。
12. 前記空間制御部により設定された前記部分空間群の前記対象物の推定位置における前記距離情報及び前記対象物情報の出力を、前記部分空間群の各レジスタの入力番地に応じて決められたレジスタ出力番地にそれぞれ出力することを特徴とする請求項６に記載の測距センサ。

Images