JP2018136123A - 距離センサ及びユーザインタフェース装置 - Google Patents

Abstract

【課題】対象物までの距離を示す距離情報におけるノイズを効率良く低減する距離センサを提供する。
【解決手段】距離画像センサ１は、ＬＥＤ２と、センサ回路３と、ＴＯＦ信号処理部４とを備える。ＬＥＤ２は、対象物５に対してＬＥＤ光を照射する。センサ回路３は、ＬＥＤ光の照射期間の開始から所定時間の間に光を受光するとともに、照射の停止期間中に光を受光する。ＴＯＦ信号処理部４は、ＬＥＤ光の照射期間の開始から所定時間の間に受光された受光量Ｑ２，Ｑ３、及び照射の停止期間中に受光された受光量Ｑ１に基づいて、対象物５までの距離を示す距離画像を生成する。ＴＯＦ信号処理部４は、受光量Ｑ１，Ｑ２，Ｑ３に基づいて、受光量Ｑ２，Ｑ３から受光量Ｑ１を除いた受光量に基づく正味の反射光の受光量Ｉがしきい値ＳＨ以上か否かを判定し、しきい値ＳＨ以上でない場合には距離を算出せず、しきい値ＳＨ以上である場合に距離を算出する。
【選択図】図１

Description

本発明は、対象物までの距離を測定する距離センサ、及び距離センサを備えたユーザインタフェース装置に関する。

対象物までの距離を測定する距離センサには、対象物を含む物体に光を照射して反射光の伝播期間に基づき距離を測定するＴＯＦ（Time-Of-Flight）方式で、距離画像を生成する距離画像センサがある。ＴＯＦ方式の距離画像センサでは、生成した距離画像において、対象物の検知の障害となるノイズが生じることが知られている。特許文献１は、距離画像に含まれるノイズ成分を除去することを目的とする距離測定装置を開示している。

特許文献１の距離測定装置では、まず、測定対象物を含む被写体に照射した光の反射光を受光素子で受光して、被写体との間の距離を信号レベルで表す距離画像を取得する。次に、取得した距離画像を多数の所定領域に区切り、区切った領域内の距離を表す信号レベルの変動が所定の閾値を超える場合には当該領域の距離画像をノイズ成分とみなして棄却し、信号レベルの変動が閾値を超えない領域のみを距離画像として残す。その結果、棄却されずに残った領域にて測定対象物のみを示す距離画像が得られることになり、測定対象物との間の距離やその外形がノイズの影響を低減して測定可能となる。

特開２００２−２７７２３９号公報

特許文献１では、一度、距離画像の全体を取得し、取得した距離画像を区切った所定領域毎に、所定領域内の距離を表した信号レベルの変動に基づきノイズ成分か否かの判定が行われる。このため、距離画像の全体を取得するための距離計算等の処理を行ってからでなければノイズ成分の判定が行えず、ノイズ成分とみなした領域の距離画像は結局、棄却されるので、距離画像におけるノイズを除去するまでの処理が効率的でないという問題がある。

本発明は、対象物までの距離を示す距離情報におけるノイズを効率良く低減することができる距離センサを提供することを目的とする。

本発明に係る距離センサは、光源部と、受光部と、距離情報生成部とを備える。光源部は、対象物に対して照射光を照射する。受光部は、照射光の照射期間の開始から所定時間の間に光を受光するとともに、照射の停止期間中に光を受光する。距離画像生成部は、照射光の照射期間の開始から所定時間の間に受光された光の受光量である第１の受光量、及び照射の停止期間中に受光された光の受光量である第２の受光量に基づいて、対象物までの距離を示す距離情報を生成する。距離情報生成部は、第１及び第２の受光量に基づいて、第１の受光量から第２の受光量を除いた受光量に基づく第３の受光量が、所定のしきい値以上か否かを判定する。距離情報生成部は、第３の反射光の受光量がしきい値以上でない場合には距離を算出せず、第３の反射光の受光量がしきい値以上である場合に距離を算出する。

本発明に係る距離センサによると、距離の算出前に外光の影響を考慮した第３の受光量によるノイズの判定を行い、ノイズとみなした場合には距離の算出をせず、ノイズの判定後に距離を算出するので、距離情報におけるノイズを効率良く低減できる。

本発明の実施の形態１に係る距離画像センサの構成を示すブロック図 距離画像センサの外観および組み立て状態を示す斜視図 距離画像センサにおけるセンサ回路の構成例を示すブロック図 センサ回路における画素回路の構成例を示す模式図 距離画像センサにおける照射と受光の動作タイミングを示すタイミングチャート 距離画像センサにおける距離の算出方法を説明するための模式図 距離画像センサによる３種の輝度画像の一例を示す図 ３種の輝度画像に基づく距離画像の一例を示す図 距離画像センサにおける距離画像生成処理を示すフローチャート 距離画像センサによるノイズ除去後の距離画像の例を示す図 距離画像センサにおけるしきい値の設定方法の一例を説明するための図 実施の形態２に係るユーザインタフェース装置を説明するための図 距離画像センサを備えたユーザインタフェース装置の構成を示すブロック図 距離画像センサのしきい値の設定動作の一例を示す図 ユーザインタフェース装置におけるしきい値の設定動作の流れを示すシーケンス図 距離画像センサのしきい値の設定動作の変形例を示す図

以下、添付の図面を参照して本発明に係る距離画像センサについて説明する。

各実施形態は例示であり、異なる実施形態で示した構成の部分的な置換または組み合わせが可能であることは言うまでもない。実施の形態２以降では実施の形態１と共通の事項についての記述を省略し、異なる点についてのみ説明する。特に、同様の構成による同様の作用効果については、実施形態毎には逐次言及しない。

（実施の形態１）
１．構成
実施の形態１に係る距離画像センサの構成について、図１，２を参照して説明する。図１は、実施の形態１に係る距離画像センサの構成を示すブロック図である。図２（ａ）は、距離画像センサの外観を示す斜視図である。図２（ｂ）は、図２（ａ）の距離画像センサを示す分解図である。

本実施形態に係る距離画像センサ１は、図１に示すように、ＬＥＤ（発光ダイオード）２と、センサ回路３と、ＴＯＦ信号処理部４とを備える。距離画像センサ１は、ＴＯＦ方式において距離を測定するセンサ装置であり、対象物５までの距離を示す距離情報として距離画像を生成する距離センサの一例である。距離画像センサ１は、例えば、モバイル機器や情報端末に搭載され、ホスト側でユーザの手などを対象物５として検知するために用いられる距離画像を出力する。距離画像センサ１は、ＬＥＤ２から光の照射を行い、対象物５からの反射光をセンサ回路３で受光して、ＴＯＦ信号処理部４において対象物５までの距離を示す距離画像を生成する。

図２（ａ），（ｂ）に示すように、距離画像センサ１は、レンズ１１と、ホルダ１２と、回路基板１３とをさらに備える。

ＬＥＤ２は、図２（ａ）に示すように、ホルダ１２の外面に取り付けられている。ＬＥＤ２は、赤外領域の波長帯を有する光（以下、「ＬＥＤ光」という）を、ホルダ１２の外部に向けて照射する。ＬＥＤ光は、ＴＯＦ信号処理部４の制御により、パルス変調して照射される。ＬＥＤ２は、ＬＥＤ光を照射光として照射及び照射の停止を行う光源部の一例である。

センサ回路３は、受光面を有するＣＭＯＳ（相補型金属酸化物半導体）イメージセンサ回路で構成される。センサ回路３は、図２（ｂ）に示すように、１つの半導体チップに集積されており、ホルダ１２の内部で回路基板１３に取り付けられている。ホルダ１２の外面には、バレルレンズなどのレンズ１１が、センサ回路３の受光面を覆うように取り付けられている。レンズ１１は、ホルダ１２の外部からの光をセンサ回路３の受光面に集光する。センサ回路３は、ＬＥＤ光の照射に同期して受光する受光部の一例である。センサ回路３の構成の詳細については後述する。

ＴＯＦ信号処理部４は、ＴＯＦ方式において距離画像を生成するための種々の信号処理を行う回路群であり、タイミング発生部４１と、距離演算部４２と、距離画像出力部４３とを含む。ＴＯＦ信号処理部４は、例えばＡＳＩＣ（特定用途向け集積回路）やＦＰＧＡ（フィールドプログラマブルゲートアレイ）で構成され、回路基板１３に集積されている。ＴＯＦ信号処理部４は、距離情報としてセンサ回路３の受光量に基づき距離画像を生成する距離情報生成部の一例である。

ＴＯＦ信号処理部４において、タイミング発生部４１は、発振回路などを備え、所定の周期を有するタイミング信号を発生する。タイミング発生部４１は、パルス変調してＬＥＤ光を照射するための照射制御信号として、発生したタイミング信号をＬＥＤ２に供給する。また、タイミング発生部４１は、発生したタイミング信号をセンサ回路３にも供給し、ＬＥＤ２による照射とセンサ回路３による受光とを同期制御する。距離画像センサ１における照射と受光の動作タイミングについては、後述する。

距離演算部４２は、四則演算等が可能な演算回路やフラッシュメモリなどの内部メモリなどで構成される。距離演算部４２は、センサ回路３による反射光の検出結果に基づいて、受光した反射光の伝播期間に基づく距離を演算する。距離の算出方法については後述する。距離演算部４２は、距離の演算を画素毎に行い、例えば演算した画素毎の距離を示す距離データを内部メモリに記録する。距離演算部４２によって全画素分の距離データが演算されることにより、距離画像が生成される。

距離画像出力部４３は、外部機器に情報を出力するインタフェース回路で構成される。距離画像出力部４３は、距離演算部４２において生成された距離画像を外部機器に出力する。距離画像出力部４３は、内部メモリに記録された全画素分の距離データを出力してもよいし、距離演算部４２が演算した距離データを随時、出力してもよい。

１−１．センサ回路の構成
次に、センサ回路３の構成の詳細について、図３，４を参照して説明する。図３は、距離画像センサ１におけるセンサ回路３の構成を示すブロック図である。図４は、センサ回路３における画素回路の構成を示す模式図である。

図３に示すように、センサ回路３は、複数の画素回路３０と、ゲート駆動回路３１、垂直走査回路３２及び水平読出し回路３３などの周辺回路とを備える。本実施形態では、センサ回路３において、電荷振り分け方式を採用している。

ゲート駆動回路３１は、タイミング発生部４１（図１参照）からのタイミング信号に基づいて、画素回路３０に含まれる種々のＭＯＳトランジスタを駆動するための駆動回路である。ゲート駆動回路３１は、１つの画素回路３０に対して、第１，第２，第３ゲート信号Ｓｇ１，Ｓｇ２，Ｓｇ３を順次出力する。第１，第２，第３ゲート信号Ｓｇ１，Ｓｇ２，Ｓｇ３は、それぞれ複数の画素回路３０に対して同一のタイミングで出力される。

複数の画素回路３０は、受光面上の水平方向及び垂直方向において、マトリクス状に配置される。複数の画素回路３０は、距離画像センサの受光部における複数の画素の一例である。図４（ａ）は、半導体チップ上に積層された画素回路３０を示す模式図である。図４（ｂ）は、図４（ａ）の等価回路を示す回路図である。

画素回路３０は、図４（ａ）に示すように、フォトダイオードＰＤ、３つのフローティングディフュージョンＦＤ１，ＦＤ２，ＦＤ３を備える。画素回路３０では、ｐ型半導体基板において、フォトダイオードＰＤが埋め込み式で設けられ、フォトダイオードＰＤの周囲に３つのフローティングディフュージョンＦＤ１，ＦＤ２，ＦＤ３が設けられている。さらに、フォトダイオードＰＤが設けられた領域からフローティングディフュージョンＦＤ１，ＦＤ２，ＦＤ３に渡って、それぞれＭＯＳトランジスタＭ１，Ｍ２，Ｍ３が形成されている。

３つのフローティングディフュージョンＦＤ１，ＦＤ２，ＦＤ３では、図４（ｂ）に示すように、それぞれキャパシタＣ１，Ｃ２，Ｃ３が形成される。３つのキャパシタＣ１，Ｃ２，Ｃ３は、それぞれＭＯＳトランジスタＭ１，Ｍ２，Ｍ３を介してフォトダイオードＰＤに接続されている。ＭＯＳトランジスタＭ１，Ｍ２，Ｍ３は、ゲート駆動回路３１からそれぞれのゲートに入力される第１，第２，第３ゲート信号Ｓｇ１，Ｓｇ２，Ｓｇ３のＯＮ／ＯＦＦによって開閉制御される。

フォトダイオードＰＤは、外部からの光を受光して光電変換する。光電変換によって生じた電荷は、ＭＯＳトランジスタＭ１，Ｍ２，Ｍ３のうちで開状態に制御されたＭＯＳトランジスタを介して、３つのキャパシタＣ１，Ｃ２，Ｃ３のうちのいずれかのキャパシタに蓄積される。このように、キャパシタＣ１，Ｃ２，Ｃ３は、フォトダイオードＰＤの受光量に相当する電荷を蓄積する。センサ回路３は、画素回路３０毎のキャパシタＣ１，Ｃ２，Ｃ３に電荷を蓄積することによって受光量を取得する。

画素回路３０間のキャパシタＣ１，Ｃ２，Ｃ３において取得された受光量は、選択信号Ｓｓによって当該画素回路３０が選択されたときに、アナログ信号線から読み出される。選択信号Ｓｓは、複数の画素回路３０から、受光量を読み出す対象の画素回路３０を選択する信号である。また、キャパシタＣ１，Ｃ２，Ｃ３は、リセット信号Ｓｒ１，Ｓｒ２，Ｓｒ３によって参照電圧ＶＲが印加されることにより、蓄積した電荷を放出してリセットされる。リセット信号Ｓｒ１，Ｓｒ２，Ｓｒ３は、例えばゲート駆動回路３１から入力される。

図３に戻り、垂直走査回路３２は、画素回路３０からの受光量の読み出しにおいて、マトリクス状に並んだ画素回路３０を垂直走査するための回路である。垂直走査回路３２は、一行に並んだ画素回路３０毎に順次、選択信号Ｓｓを出力する。

水平読出し回路３３は、垂直走査回路３２が走査する画素回路３０の受光量をＴＯＦ信号処理部４に読み出すための回路である。水平読出し回路３３は、複数のＡ／Ｄ（アナログ／デジタル）変換器３５を有し、画素回路３０からのアナログ値の受光量をデジタル値に変換（Ａ／Ｄ変換）する。複数のＡ／Ｄ変換器３５は、例えば一列毎の画素回路３０に対して３つずつ設けられ、画素回路３０のキャパシタＣ１，Ｃ２，Ｃ３で取得された受光量をそれぞれＡ／Ｄ変換する。Ａ／Ｄ変換された受光量のデジタル値は、ＴＯＦ信号処理部４の距離演算部４２（図１参照）に出力される。

２．動作
次に、本実施形態に係る距離画像センサ１の動作について説明する。

２−１．距離の算出方法
まず、距離画像センサ１による対象物までの距離の算出方法について、図５，６を参照して説明する。図５は、距離画像センサ１における照射と受光の動作タイミングを示すタイミングチャートである。図５（ａ）は、ＬＥＤ光の照射を制御するための照射制御信号のタイミングを示す。図５（ｂ）は、対象物から距離画像センサ１に到達する反射光の到達タイミングを示す。図５（ｃ），（ｄ），（ｅ）は、それぞれ画素回路３０に入力される第１，第２，第３ゲート信号Ｓｇ１，Ｓｇ２，Ｓｇ３のタイミングを示す。図６は、距離画像センサ１による距離の算出方法を説明するための模式図である。

図５（ａ）に示す照射制御信号は、タイミング発生部４１からＬＥＤ２に供給される（図１参照）。照射制御信号に基づき、所定の期間Ｔｐをパルス幅とするパルス波形のＬＥＤ光が、時刻ｔ１から照射される。期間Ｔｐは、例えば１０ナノ秒（ｎｓ）以上２０ナノ秒以下である。ＬＥＤ光が対象物に照射されることにより、対象物から反射光が生じる。対象物からの反射光は、距離画像センサ１までの距離に応じてＬＥＤ光の照射時から遅延して、距離画像センサ１に到達する。

図５（ｂ）に示す対象物からの反射光は、照射時のＬＥＤ光に対する遅延期間がＴｄであり、時刻ｔ１から遅延期間Ｔｄ後の時刻ｔ２に、距離画像センサ１に到達している。反射光の波形は、ＬＥＤ光と同じ期間Ｔｐのパルス幅を有する。なお、本実施形態では、遅延期間Ｔｄは期間Ｔｐ未満であることを想定している。

本実施形態のセンサ回路３では、以下の様に、図５（ｃ）〜（ｅ）に示すゲート信号Ｓｇ１〜Ｓｇ３に基づき、ＬＥＤ光の照射の停止期間中に背景光などの外光を受光するとともに、ＬＥＤ光の照射期間に同期して対象物からの反射光を時分割して受光する。

ゲート信号Ｓｇ１，Ｓｇ２，Ｓｇ３は順次、照射制御信号に同期してセンサ回路３のゲート駆動回路３１から受光面上の画素回路３０に出力される（図３参照）。画素回路３０においては、ゲート信号Ｓｇ１，Ｓｇ２，Ｓｇ３に基づき、フォトダイオードＰＤが受光し、受光量に相当する電荷がキャパシタＣ１，Ｃ２，Ｃ３に蓄積される（図４（ｂ）参照）。なお、受光量に相当する電荷がキャパシタＣ１，Ｃ２，Ｃ３に蓄積されていない期間においてフォトダイオードＰＤで生じる光電子は、外部に排出されるようになっている。

図５（ｃ）に示す第１ゲート信号Ｓｇ１はＬＥＤ光の照射前で、かつ期間Ｔｐの間、ＯＮされる。第１ゲート信号Ｓｇ１がＯＮの間、フォトダイオードＰＤで受光した受光量に相当する電荷がキャパシタＣ１に蓄積される。図６（ａ）に、キャパシタＣ１に蓄積される第１ゲート信号Ｓｇ１に基づく受光量Ｑ１を示す。受光量Ｑ１は、ＬＥＤ光の反射光が生じていない状態において取得される外光の受光量である。受光量Ｑ１は、背景光などのＬＥＤ光とは無関係の外光の影響を確認するために取得される。

図５（ｄ）に示す第２ゲート信号Ｓｇ２はＬＥＤ光の照射を開始した時刻ｔ１から停止する時刻ｔ３までの間、ＯＮされる。第２ゲート信号Ｓｇ２がＯＮの間、フォトダイオードＰＤで受光した受光量に相当する電荷がキャパシタＣ２に蓄積される。図６（ｂ）に、キャパシタＣ２に蓄積される第２ゲート信号Ｓｇ２に基づく受光量Ｑ２を示す。受光量Ｑ２には、ＬＥＤ光の照射開始の時刻ｔ１から期間Ｔｐ以内に到達する反射光に由来する反射光成分が含まれる。また、受光量Ｑ２には、背景光などの外光成分も含まれる。

図５（ｅ）に示す第３ゲート信号Ｓｇ３はＬＥＤ光の照射停止後の時刻ｔ３から期間Ｔｐの間、ＯＮされる。第３ゲート信号Ｓｇ３がＯＮの間、フォトダイオードＰＤで受光した受光量に相当する電荷がキャパシタＣ３に蓄積される。図６（ｃ）に、キャパシタＣ３に蓄積される第３ゲート信号Ｓｇ３に基づく受光量Ｑ３を示す。受光量Ｑ３には、ＬＥＤ光の照射を停止した時刻ｔ３から遅延期間Ｔｄ後の時刻ｔ４まで続けて到来する反射光に由来する反射光成分が含まれる。このように、反射光の受光量全体が時分割され、遅延期間Ｔｄに応じて、受光量Ｑ２，Ｑ３の反射光成分として振り分けられる。なお、反射光の遅延期間Ｔｄは期間Ｔｐ未満であることを想定しており、反射光の到来が終了する時刻ｔ４は、キャパシタＣ３の充電期間Ｔｐの範囲内にある。また、受光量Ｑ３には、受光量Ｑ２と同様に、外光成分も含まれる。

以上のように、距離画像センサ１では、センサ回路３がＬＥＤ光の照射期間の開始から所定時間の間に光を受光して、キャパシタＣ２，Ｃ３（第１のキャパシタ）において受光量Ｑ２，Ｑ３（第１の受光量）に応じた電荷を蓄積する。また、ＬＥＤ光の照射の停止期間中に光を受光して、キャパシタＣ１（第２のキャパシタ）において受光量Ｑ１（第２の受光量）に応じた電荷を蓄積する。キャパシタＣ１，Ｃ２，Ｃ３それぞれに蓄積された電荷を検出することで、受光量Ｑ１，Ｑ２，Ｑ３を取得することができる。キャパシタＣ１，Ｃ２，Ｃ３それぞれに蓄積された電荷に相当する受光量Ｑ１，Ｑ２，Ｑ３によると、対象物からの反射光の遅延期間Ｔｄと期間Ｔｐの比は、図６（ｄ）に示すように、反射光の受光量全体のうちの受光量Ｑ３に振り分けられた割合に対応している。このため、遅延期間Ｔｄは、受光量Ｑ２，Ｑ３の配分に基づいて求めることができる。

ここで、受光量Ｑ２，Ｑ３には、図６（ｂ），（ｃ）に示すように、反射光成分だけでなく外光成分も含まれている。受光量Ｑ２，Ｑ３は外光のみの受光量Ｑ１と同じ長さの期間Ｔｐで取得されているので、受光量Ｑ２，Ｑ３に含まれる外光成分は、受光量Ｑ１と同程度であると考えられる。このため、本実施形態では、受光量Ｑ２，Ｑ３から適宜、受光量Ｑ１を減算することにより、外光成分を除いた反射光成分の受光量を算出する。受光量Ｑ１は受光量Ｑ２，Ｑ３を取得する直前に取得されるため、受光量Ｑ１により受光量Ｑ２，Ｑ３における外光成分を精度良く取り除くことができる。

遅延期間Ｔｄは、ＬＥＤ光が対象物に到達し、反射光として距離画像センサ１に戻ってくるまでにかかる時間である。つまり、対象物と距離画像センサ１との間の距離を光速ｃで往復した際にかかる時間である。よって、対象物までの距離をＬとすると、Ｔｄ＝２Ｌ／ｃが成り立つため、次式を演算することにより、対象物までの距離Ｌを算出することができる。
Ｌ＝（ｃ／２）×Ｔｐ×｛（Ｑ３−Ｑ１）／（Ｑ２＋Ｑ３−２×Ｑ１）｝ （１）

２−２．距離画像の生成動作
本実施形態に係る距離画像の生成動作について説明する。本実施形態において、距離画像センサ１の距離演算部４２は、センサ回路３から各画素回路３０の受光量Ｑ１，Ｑ２，Ｑ３（図６参照）を読み出し、各画素回路３０の受光量Ｑ１，Ｑ２，Ｑ３に対して上式（１）を演算する。

受光量Ｑ１，Ｑ２，Ｑ３の読出しは、上述したパルス状のＬＥＤ光の照射及びその反射光の受光の一連の動作を、例えば１万回以上２万回以下の所定回数、繰り返した後に行う。これにより、上式（１）の演算に用いられる受光量Ｑ１，Ｑ２，Ｑ３の統計的な精度が高まり、高精度で距離を算出することができる。

距離演算部４２が１つの画素に対して上式（１）を演算することにより、その画素の距離を示す距離データが取得される。ＴＯＦ信号処理部４は、全画素分の距離データを取得することにより、距離画像を生成する。

２−２−１．距離画像におけるノイズについて
ここで、上記のようなＴＯＦ方式の距離画像においては、実際の距離とは異なる距離を示す距離データであるノイズが生じてしまうことがある。以下、距離画像におけるノイズについて、図７，８を用いて説明する。図７は、距離画像センサ１における３種の輝度画像の一例を示す図である。図８は、図７の３種の輝度画像に基づく距離画像の一例を示す図である。

図７（ａ），（ｂ），（ｃ）に示す画像は、それぞれ受光量Ｑ１，Ｑ２，Ｑ３を輝度とする輝度画像である。図７（ａ），（ｂ），（ｃ）の輝度画像は、距離画像センサ１の検知エリアにマネキンの手５１と２つの円筒５２、５３を配置し、ＬＥＤ光の照射及び受光量Ｑ１，Ｑ２，Ｑ３の受光を行うことにより撮像した。距離画像センサ１を設置した位置から紙面奥行き方向において、マネキンの手５１は距離３５ｃｍの位置にあり、手５１の左右に配置した円筒５２、５３はそれぞれ撮像位置から距離７０ｃｍ、５０ｃｍの位置にある。また、円筒５２の赤外線の反射率は、円筒５３よりも高い。

図７（ａ），（ｂ），（ｃ）それぞれの輝度画像に基づいて、全ての画素に対して上式（１）の演算を行うことにより、図８に示す距離画像を取得した。図８の距離画像は濃淡で距離の遠近を表している。図８の距離画像は、手５１及び左右の円筒５２，５３のうちで、手５１が最も近い距離にあり、右側の円筒５３、右側の円筒５２の順で遠くに位置していることを示している。

しかしながら、図８の距離画像においては、ノイズ（実際の距離とは異なる距離を表す距離データ）が生じているのが分かる。例えば、領域６１，６２は、手５１や円筒５２，５３よりも充分遠くの領域であり、本来、領域全体が均一な濃さで表示されるべきであるが、ノイズにより濃淡が入り混じって表示されている。図８のノイズには手５１と同程度や手５１よりも近い距離も含まれているため、このような距離画像に基づき外部機器において手５１などを対象物として検知する場合、対象物の検知処理の処理量が増加したり、対象物の誤検出を招いたりし得る。このような距離画像におけるノイズは、上式（１）の演算において、ノイズの主要因の１つである背景光などの外光成分を取り除いているにも関わらず生じてしまう。

そこで、本実施形態では、距離の演算を行う前に、取得した受光量から外光の影響を除いた正味の反射光の受光量（第３の受光量）を用いて（図７（ｄ）参照）、ノイズの除去のための判定を行う。この判定に基づき、正味の反射光の受光量が少な過ぎる場合には距離の演算をせず、正味の反射光の受光量が充分に大きい場合にのみ距離の演算を行う。これにより、外光の影響を差し引いた正味の反射光の受光量の大きさに基づいて、距離の演算をしたとしてもノイズになり易いと考えられる場合には、距離の演算自体を行わずに距離画像が生成されるので、距離画像におけるノイズを効率良く低減することができる。

２−２−２．距離画像生成処理
以下、本実施形態に係る距離画像生成処理について、図９，１０を参照して説明する。距離画像生成処理は、センサ回路３によって取得される受光量に基づき、ノイズを除去するための判定を行ってから距離画像を生成する処理である。図９は、距離画像センサ１における距離画像生成処理を示すフローチャートである。図１０は、距離画像センサ１によるノイズ除去後の距離画像の例を示す図である。

以下で説明する処理は、距離画像センサ１におけるＴＯＦ信号処理部４によって実行される。

まず、ＴＯＦ信号処理部４は、センサ回路３から受光量Ｑ１，Ｑ２，Ｑ３（図６参照）に基づく３種の輝度画像（図７（ａ）〜（ｃ）参照）を読み出す（Ｓ２）。

次に、ＴＯＦ信号処理部４は、読み出した画像において、１つの画素を選択する（Ｓ４）。以下、選択した画素の水平方向の位置をｘで表し、選択した画素の垂直方向の位置をｙで表す（図３参照）。

次に、ＴＯＦ信号処理部４の距離演算部４２は、選択した画素の受光量Ｑ１，Ｑ２，Ｑ３に基づいて、受光量Ｑ２，Ｑ３の総量から受光量Ｑ１に対応する外光成分を除いた正味の反射光の受光量Ｉを算出する（Ｓ６）。具体的には、距離演算部４２は次式を演算する。
Ｉ（ｘ，ｙ）＝Ｑ２（ｘ，ｙ）＋Ｑ３（ｘ，ｙ）−２×Ｑ１（ｘ，ｙ） （２）

上式（２）において、添え字（ｘ，ｙ）は、選択された画素の位置を表す。Ｑ１（ｘ，ｙ），Ｑ２（ｘ，ｙ），Ｑ３（ｘ，ｙ）はそれぞれ選択された画素における受光量Ｑ１，Ｑ２，Ｑ３であり、Ｉ（ｘ，ｙ）は選択された画素に対する正味の反射光の受光量Ｉである。図７（ｄ）に、図７（ａ）〜（ｃ）の輝度画像に対する正味の反射光の受光量Ｉに基づく画像を示す。

次に、距離演算部４２は、算出した正味の反射光の受光量Ｉ（ｘ，ｙ）が、所定のしきい値ＳＨ以上か否かを判定する（Ｓ８）。しきい値ＳＨは、正味の反射光の受光量Ｉに基づいて、距離画像におけるノイズを除去するためのしきい値である。しきい値ＳＨの設定方法については、後述する。

算出した正味の反射光の受光量Ｉ（ｘ，ｙ）がしきい値ＳＨ以上である場合、距離演算部４２は、選択した画素の受光量Ｑ１（ｘ，ｙ），Ｑ２（ｘ，ｙ），Ｑ３（ｘ，ｙ）を用いて式（１）を演算し、選択した画素に対する距離を算出する（Ｓ１０）。ここで、式（１）における右辺の分母は、正味の反射光の受光量Ｉ（ｘ，ｙ）と一致する。そこで、距離演算部４２は、ステップＳ６で式（２）を用いて算出した正味の反射光の受光量Ｉ（ｘ，ｙ）の値を用いて式（１）の演算を行う。これにより、ステップＳ６の処理における計算リソースが無駄にならず、効率的に処理を実行できる。

一方、算出した正味の反射光の受光量Ｉ（ｘ，ｙ）がしきい値ＳＨ以上でない場合、距離演算部４２は、選択した画素に対する距離の演算を行うことなく、選択した画素に対して所定値の距離を設定する（Ｓ１２）。所定値の距離は、例えば無限遠などの遠距離を示す値の距離である。

次に、ＴＯＦ信号処理部４は、ステップＳ１０又はステップＳ１２において取得した距離を、選択した画素の距離データとして内部メモリに記録する（Ｓ１４）。

次に、ＴＯＦ信号処理部４は、全画素の距離データを取得したか否かを判断する（Ｓ１６）。ＴＯＦ信号処理部４は、全画素の距離データを取得していない場合（Ｓ１６でＮＯ）、距離データを未取得の画素に対して、順次、ステップＳ４以降の処理を行う。

ＴＯＦ信号処理部４は、全画素の距離データを取得した場合（Ｓ１６でＹＥＳ）、取得した全画素の距離データに基づいて距離画像を生成する（Ｓ１８）。生成された距離画像は、距離画像出力部４３から外部機器に出力される。

以上の処理は、例えば１／３０秒などの所定の周期で繰り返し実行される。

以上の距離画像生成処理によると、画素毎に正味の反射光の受光量Ｉ（ｘ，ｙ）を算出し、正味の反射光の受光量Ｉ（ｘ，ｙ）がしきい値ＳＨ未満の画素に対しては距離の演算を省略する。一方、正味の反射光の受光量Ｉ（ｘ，ｙ）がしきい値ＳＨ以上である画素に対してのみ距離が演算される。これにより、正味の反射光の受光量Ｉ（ｘ，ｙ）が小さ過ぎて距離を演算したとしても統計的にノイズになり易い画素に対しては、距離の演算が省略されるので、距離画像におけるノイズを効率良く低減することができる。

また、正味の反射光の受光量Ｉ（ｘ，ｙ）が少ない場合には遠距離であることが多いため、距離の演算を省略した画素に対しては、無限遠などの遠距離を示す距離データを設定する。これにより、全画素に対して逐次、距離の演算を行う場合よりも距離画像の画像品位を向上することができる。

また、ステップＳ６の判定処理では、上式（２）のとおり単純な加減算によって、ノイズ除去のための判定が行われる。このため、簡単なハードウェア構成でノイズ除去の判定機能を実現することができる。さらに、ステップＳ６で算出された値は、ステップＳ１０の距離の演算において利用されるため、計算リソースを無駄にすることなく効率的にノイズ除去の判定処理を行うことができる。

図１０（ａ），（ｂ），（ｃ）に、図７に示す輝度画像に基づいて、しきい値ＳＨを種々の値に設定して生成した距離画像を示す。図１０（ａ）は、しきい値ＳＨ＝３０を設定した場合の距離画像を示す。図１０（ｂ）は、しきい値ＳＨ＝１００を設定した場合の距離画像を示す。図１０（ｃ）は、しきい値ＳＨ＝２５５を設定した場合の距離画像を示す。上記の場合において、しきい値ＳＨの設定可能範囲は、デジタル値０以上８１９０以下の範囲である。

図１０（ａ）の距離画像では、図８の領域６１，６２に生じていたノイズの大部分が除去され、領域全体が殆ど均一に表されている。このように、しきい値ＳＨを用いて距離演算の前にノイズを除去することにより、距離画像の中に誤った距離データが混じり込むことが抑制され、距離画像の画像品位を向上することができる。また、しきい値ＳＨを設定して距離の演算を行う画素を限定することにより、距離画像センサ１の消費電力を低減することができる。

図１０（ｂ）の距離画像では、図１０（ａ）と同様に手５１（距離画像センサ１からの距離３５ｃｍ）及び円筒５２（距離７０ｃｍ）が映っている一方、図１０（ａ）の距離画像では映っていた円筒５３（距離５０ｃｍ）が映らなくなっている。円筒５３は、円筒５２よりも近距離に位置するが、円筒５２よりも赤外線の反射率が低い物体である。しきい値ＳＨで判定される正味の反射光の受光量Ｉは、ＬＥＤ光を反射する物体の距離およびＬＥＤ光の反射率に応じて変化する。距離画像センサ１によると、距離画像を用いて特定の対象物を検知の対象とする場合、しきい値の設定を調整することにより、検知の対象外の物体を背景とみなして、距離画像に映らないようにすることができる。これにより、外部機器において対象物の検知を行い易くすることができる。

図１０（ｃ）の距離画像では、円筒５２も映らなくなり、手５１のみが映っている。しきい値を大きい値に設定することにより、距離を演算する画素数が減り、距離画像センサ１の消費電力をより低減することができる。

また、図１０（ｃ）の距離画像では、図１０（ａ），（ｂ）の距離画像と比較して、手５１の輪郭がより鮮明に映っている。図１０（ｃ）の距離画像は、画像内に検出の対象外の円筒５２，５３などが映らず、背景以外には手５１しか映っていないため、例えば距離１０ｃｍ以上４０ｃｍ以下の範囲内にある手を検出対象とする場合に、対象物と背景の領域を容易に分離することができる。このように、しきい値の設定により、距離画像における対象物と背景との空間分離が容易となる。

２−２−３．しきい値の設定方法について
以下、図１１を参照して、距離画像生成処理におけるしきい値ＳＨの設定方法の一例について説明する。図１１は、距離画像センサ１におけるしきい値の設定方法の一例を説明するための図である。

以下で説明する設定方法は、対象物の距離画像を取得するための距離画像センサ１の使用前に、あらかじめしきい値を設定するための方法である。例えば、工場において、距離画像センサ１の製造出荷時などに行う。

まず、距離画像センサ１を用いて検知することが想定される距離の範囲内で最大の距離Ｌｍａｘに対象物５４を配置して、ＬＥＤ光の照射および受光量Ｑ１，Ｑ２，Ｑ３の受光を行う。対象物５４は、距離画像センサ１を用いて検知することが想定される物体の赤外線の反射率のうち、最低の反射率を有する物体とする。また、対象物５４は、距離画像センサ１の検知範囲の全体を覆うように配置する。

次に、受光した全画素の受光量Ｑ１，Ｑ２，Ｑ３について、上式（２）を演算し、正味の反射光の受光量Ｉを取得する。この演算は、例えば距離画像センサ１の距離演算部４２において行う。なお、外部機器において、距離画像センサ１から全画素の受光量Ｑ１，Ｑ２，Ｑ３を読み出して、上記の演算を外部機器で行ってもよい。

次に、取得した正味の反射光の受光量に基づいて、しきい値ＳＨが、全ての画素の正味の反射光の受光量Ｉの値以下になるように設定する。例えば、取得した全ての画素の正味の反射光の受光量Ｉのうちの最低値と一致するように、しきい値ＳＨを設定する。

以上のしきい値の設定により、対象物を検知することが想定される範囲内で、対象物からの反射光が最も弱い場合においても、対象物からの正味の反射光の受光量Ｉがしきい値ＳＨ以上となる。このため、対象物からの反射光を受光した画素を背景とみなすことなく、距離画像に映ることが保障され、対象物を検知し易い距離画像を取得することができる。

以上のしきい値の設定方法において、しきい値ＳＨの設定値は、例えばＬＥＤ光の照射強度を変え、複数パターン取得してもよい。これにより、例えば複数パターンの設定値を内部メモリに記憶させておき、利用環境に応じて、外部からＬＥＤ光の照射強度とともにしきい値を変更することで、ＬＥＤ光の照射動作も合わせた距離画像センサ１全体の消費電力を調整することができる。

３．まとめ
以上のように、本実施形態に係る距離画像センサ１は、ＬＥＤ２と、センサ回路３と、ＴＯＦ信号処理部４とを備える。ＬＥＤ２は、対象物５に対してＬＥＤ光を照射する。センサ回路３は、ＬＥＤ光の照射期間の開始から所定時間の間に光を受光するとともに、照射の停止期間中に光を受光する。ＴＯＦ信号処理部４は、ＬＥＤ光の照射期間の開始から所定時間の間に受光された光の受光量である受光量Ｑ２，Ｑ３、及び照射の停止期間中に受光された光の受光量である受光量Ｑ１に基づいて、対象物５までの距離を示す距離画像を生成する。ＴＯＦ信号処理部４は、受光量Ｑ１，Ｑ２，Ｑ３に基づいて、受光量Ｑ２，Ｑ３から受光量Ｑ１を除いた受光量に基づく正味の反射光の受光量Ｉが、所定のしきい値ＳＨ以上か否かを判定する。ＴＯＦ信号処理部４は、正味の反射光の受光量Ｉがしきい値ＳＨ以上でない場合には距離を算出せず、正味の反射光の受光量Ｉがしきい値ＳＨ以上である場合に距離を算出する。

距離画像センサ１によると、背景光などの外光の影響を差し引いて、正味の反射光の受光量Ｉに基づくノイズの判定を行う。距離の算出前にノイズの判定を行い、正味の反射光の受光量Ｉがしきい値ＳＨ未満でノイズとみなした場合には距離の算出は省略されるので、距離画像におけるノイズを効率良く低減することができる。

また、距離画像センサ１において、しきい値ＳＨは、対象物５におけるＬＥＤ光の反射率および対象物５の距離の検知範囲に基づき設定されてもよい。これにより、対象物５までの距離を算出することを保障し、その他の距離の算出を適宜省略できるため、効率良く対象物５を検知可能な距離画像を得ることができる。

また、距離画像センサ１において、センサ回路３は、それぞれ外光の受光量Ｑ１および時分割された反射光の受光量Ｑ２，Ｑ３を取得する複数の画素回路３０を備えてもよい。ＴＯＦ信号処理部４は、各画素に対する正味の反射光の受光量Ｉ（ｘ，ｙ）が、しきい値ＳＨ以上か否かを判定してもよい。ＴＯＦ信号処理部４は、正味の反射光の受光量Ｉ（ｘ，ｙ）がしきい値ＳＨ以上である画素に対して距離を算出し、正味の反射光の受光量Ｉ（ｘ，ｙ）がしきい値ＳＨ以上でない画素に対しては所定値の距離を設定してもよい。

これにより、正味の反射光の受光量Ｉ（ｘ，ｙ）がしきい値ＳＨ以上でなく、ノイズになり易い画素に対しては所定値の距離を設定することで、全画素に対して逐次、距離の算出を行う場合よりも距離画像の画像品位を向上することができる。

また、距離画像センサ１において、ＴＯＦ信号処理部４は、正味の反射光の受光量Ｉを算出し、算出した正味の反射光の受光量Ｉがしきい値ＳＨ以上か否かを判定し、算出した正味の反射光の受光量Ｉを用いて、距離を算出してもよい。これにより、ノイズの判定のために算出した正味の反射光の受光量Ｉを用いて、距離が算出されるため、計算リソースを無駄にすることなく効率的にノイズ除去を行うことができる。

また、距離画像センサ１において、センサ回路３は、時分割された反射光の受光量Ｑ２，Ｑ３に相当する電荷をそれぞれ蓄積する複数のキャパシタＣ２，Ｃ３を備えてもよい。これにより、キャパシタＣ２，Ｃ３に蓄積された電荷に基づき、時分割された反射光の受光量Ｑ２，Ｑ３を取得することができる。

また、距離画像センサ１において、センサ回路３は、外光の受光量Ｑ１に相当する電荷を蓄積するキャパシタＣ１を備えてもよい。これにより、キャパシタＣ１に蓄積された電荷に基づき、外光の受光量Ｑ１を取得することができる。

（実施の形態２）
実施の形態２では、実施の形態１に係る距離画像センサ１を用いて、ユーザの手などを対象物として検知するユーザインタフェース装置の例について説明する。本実施形態によると、距離画像センサ１からノイズ除去済みの距離画像を取得することで、ユーザインタフェース装置において、ユーザの手などの対象物の検知を効率良く行える。さらに、ユーザインタフェース装置において、ユーザの指示に基づいて距離画像センサ１のノイズ除去のためのしきい値ＳＨを更新されるようにすることで、利用環境に応じてより効率的に対象物の検知を行うことが可能となる。

１．ユーザインタフェース装置の構成
実施の形態２に係るユーザインタフェース装置の構成について、図１２，１３を参照して説明する。図１２は、実施の形態２に係るユーザインタフェース装置を説明するための図である。図１２（ａ）は、ユーザによるユーザインタフェース装置の装着状態を示す外観図である。図１２（ｂ）は、ユーザによるユーザインタフェース装置の操作状態を示す模式図である。図１３は、ユーザインタフェース装置の構成を示すブロック図である。

図１３に示すように、本実施形態に係るユーザインタフェース装置８は、実施の形態１に係る距離画像センサ１と、表示部８０と、制御部８１と、記憶部８２と、操作部８３と、通信部８４とを備える。ユーザインタフェース装置８は、眼鏡型のウェアラブル端末である。図１２（ａ）に示すように、ユーザは、ユーザインタフェース装置８を装着することにより、表示部８０の内部に視線を向けることができる。

表示部８０は、ハーフミラーなどを備えた透過型ディスプレイである。表示部８０は、ハーフミラーを介した虚像の投影によって所定の画像を表示し、表示する画像がユーザの視野に重なるように、ユーザに視認させる。これにより、ユーザはあたかも目の前の空間中に操作部材等が存在するかのように視認することができる。表示部８０が表示する画像は、例えばスイッチ、ボタン、キーボード、カーソル、アイコンなどの操作部材を示す画像である。

表示部８０が表示する画像は、図１２（ｂ）に示すように、ユーザインタフェース装置８の装着時の視線の奥行き方向において、例えば１０ｃｍ以上１ｍ以下の範囲内の領域Ｒ１に視認される。本実施形態に係るユーザインタフェース装置８では、距離画像センサ１を用いて、領域Ｒ１においてユーザが視認する画像に対して手の指先５５で触ったり、押し込んだりするようなジェスチャーを検出し、ジェスチャーによるユーザの操作を受け付ける。

距離画像センサ１は、ユーザインタフェース装置８において、ユーザの視線の方向の延長線上からユーザインタフェース装置８までの距離を取得することができるように配置される。距離画像センサ１は、領域Ｒ１における指先５５を含む手を対象物として距離画像を生成し、ユーザインタフェース装置８の制御部８１に出力する。

制御部８１は、例えばＣＰＵやＭＰＵで構成され、ユーザインタフェース装置８全体の動作を制御する。制御部８１は、所定のプログラムを実行することによって、各種の機能を実現する。制御部８１は、専用に設計された電子回路や再構成可能な電子回路などのハードウェア回路（ＡＳＩＣ，ＦＰＧＡ等）で実現されてもよい。

制御部８１は、距離画像センサ１からの距離画像に基づき、対象物を検知して、ユーザの操作を判断する。具体的に、制御部８１は、距離画像センサ１から入力された距離画像において、対象物（ユーザの手）を映した領域に対して、手の中の指先５５の検知処理や指先５５の動きの検知処理を行う。ここで、例えば図８に示すような距離画像では、手５１を対象物として検知する場合に領域６１，６２などのノイズが障害となり、対象物と背景の領域の空間分離を行いづらい。これに対して、本実施形態では、距離画像センサ１からノイズ除去済みの距離画像（図１０参照）が出力されるため、制御部８１において対象物と背景の領域の空間分離を容易に行え、対象物を検知することが容易になる。

記憶部８２は、制御部８１の各種の機能を実現するために必要なパラメータ、データ、及びプログラムを記憶する記憶媒体であり、制御部８１で実行される制御プログラムや、各種のデータを格納している。記憶部８２は、例えばＲＯＭやフラッシュメモリで構成される。

操作部８３は、ユーザインタフェース装置８に対してユーザが指示を行うための装置であり、例えばユーザインタフェース装置８の側部にタッチパッドなどを設けて構成される。

通信部８４は、外部機器と無線信号により情報通信を行うためのインタフェース回路である。通信部８４は、例えばＷｉ-ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）、３Ｇ、ＬＴＥ等の通信方式に従い外部機器と無線通信を行う。

２．しきい値の設定動作
次に、本実施形態に係る距離画像センサ１のノイズ除去のためのしきい値ＳＨの設定動作について、図１４，１５を参照して説明する。図１４は、ユーザインタフェース装置８におけるしきい値の設定動作の一例を示す図である。図１５は、しきい値の設定動作の流れを示すシーケンス図である。

まず、ユーザインタフェース装置８における距離画像センサ１は、デフォルトのしきい値ＳＨ（例えばＳＨ＝０）を用いて距離画像を生成する（Ｓ２２）。生成した距離画像は、ユーザインタフェース装置８の制御部８１に出力される。

制御部８１は、距離画像センサ１から距離画像を取得し（Ｓ２４）、表示部８０に取得した距離画像を表示する。ユーザインタフェース装置８では、例えば図１４（ａ）に示すようなノイズを含む距離画像が、ユーザによって視認される。

制御部８１は、取得した距離画像に対するノイズ除去のためのユーザの指示を受け付ける（Ｓ２６）。ユーザの指示は、例えば操作部８３を用いて、図１４（ｂ）に示すように、ユーザが視認する距離画像の中でノイズとみなして除去することを希望する領域Ｒａを指定することによって行われる。

制御部８１は、ユーザの指示に基づき、距離画像においてしきい値ＳＨの設定基準となる領域Ｒａを指定して、距離画像センサ１に通知する（Ｓ２８）。以下、領域Ｒａに含まれる画素の水平位置をｘａ（ｘａ１≦ｘａ≦ｘａ２）とし、垂直位置をｙａ（ｙａ１≦ｙａ≦ｙａ２）とする。

距離画像センサ１のＴＯＦ信号処理部４は、ユーザインタフェース装置８の制御部８１からの通知に基づき、指定された領域Ｒａにおける各画素の正味の反射光の受光量Ｉ（ｘａ，ｙａ）を取得する（Ｓ３０）。正味の反射光の受光量Ｉ（ｘａ，ｙａ）は、例えば、ステップＳ２２において予め全画素の正味の反射光の受光量Ｉを内部メモリに格納しておき、ステップＳ３０において領域Ｒａにおける各画素の値を読み出すことで取得される。

次に、ＴＯＦ信号処理部４は、取得した正味の反射光の受光量Ｉ（ｘａ，ｙａ）に基づき、しきい値ＳＨが指定された領域Ｒａにおける全画素の正味の反射光の受光量Ｉ（ｘａ１，ｙａ１），…，Ｉ（ｘａ２，ｙａ２）よりも大きくなるように、しきい値ＳＨを更新する（Ｓ３２）。しきい値ＳＨの更新は、例えば、全画素の正味の反射光の受光量Ｉ（ｘａ１，ｙａ１），…，Ｉ（ｘａ２，ｙａ２）をそれぞれしきい値ＳＨと比較し、しきい値ＳＨ以上の正味の反射光の受光量Ｉ（ｘａ，ｙａ）があった場合に、逐次しきい値ＳＨの値を大きくするように書き換えることで行う。更新したしきい値ＳＨは、ＴＯＦ信号処理部４の内部メモリに記録される。

以上のしきい値の設定動作により、ユーザによって指定された領域Ｒａにおける全画素の正味の反射光の受光量Ｉ（ｘａ１，ｙａ１），…，Ｉ（ｘａ２，ｙａ２）が、更新されたしきい値ＳＨ未満となる。このため、更新後のしきい値ＳＨに基づく距離画像生成処理において、図１４（ｃ）に示すように、領域Ｒａにおける距離データがノイズとして除去され、ユーザが希望する画像品位（精度）の距離画像を取得することができる。

以上のしきい値の設定動作において、ユーザの指示は、距離画像においてノイズとみなして除去することを希望する領域Ｒａを指定することによって行われたが、ノイズとして除去しないことを希望する領域を指定することによって行われてもよい。この場合について、図１６を用いて説明する。図１６は、しきい値の設定動作の変形例を示す図である。

図１６に示す例では、図１５のステップＳ２６において、図１４（ｂ）に示した領域Ｒａに代えて、図１６（ａ）に示す距離画像に対して、図１６（ｂ）に示すように、手５１に重なった領域Ｒｂを指定する。領域Ｒｂは、ユーザがノイズとして除去することなく距離データを取得することを希望する領域として指定される。この場合、距離画像センサ１のＴＯＦ信号処理部４は、図１５のステップＳ３２において、指定された領域Ｒｂにおける各画素の正味の反射光の受光量Ｉ（ｘｂ，ｙｂ）（ｘｂ１≦ｘｂ≦ｘｂ２，ｙｂ１≦ｙｂ≦ｙｂ２）に基づき、全画素の正味の反射光の受光量Ｉ（ｘｂ１，ｙｂ１），…，Ｉ（ｘｂ２，ｙｂ２）以下になるように、しきい値ＳＨを更新する。

これにより、ユーザによって指定された領域Ｒｂにおける全画素の正味の反射光の受光量Ｉ（ｘｂ１，ｙｂ１），…，Ｉ（ｘｂ２，ｙｂ２）が、更新されたしきい値ＳＨ以上となる。このため、更新後の距離画像生成処理において、図１６（ｃ）に示すように、領域Ｒｂにおける距離データはノイズとして除去されないことが保障される。一方で、領域Ｒｂよりも正味の反射光の受光量Ｉが小さい領域に対してはノイズの除去が行われる。このように、ユーザの希望に応じて、距離画像の画質を変更することができ、利用環境に応じてより扱い易い距離画像を取得できる。

また、以上のしきい値の設定動作において、ユーザの指示は、距離画像における領域を指定することによって行われたが、距離画像における１点（１画素）を指定することによって行われてもよい。また、図１４，１６では、ユーザの指示による領域Ｒａ，Ｒｂを矩形で図示したが、矩形に限らず、任意の形状で領域を指定してもよい。

３．まとめ
以上のように、本実施形態に係るユーザインタフェース装置８は、距離画像センサ１と、制御部８１とを備える。制御部８１は、距離画像センサ１によって生成された距離画像に基づいて対象物を検知し、ユーザの操作を受け付ける。ユーザインタフェース装置８によると、距離画像センサ１から対象物の検知の障害となり得るノイズが既に除去された距離画像が取得されるので、ユーザインタフェース装置８の制御部８１において、対象物の検知を効率良く行える。

また、ユーザインタフェース装置８において、制御部８１は、ユーザの指示に基づいて、距離画像センサ１に対してしきい値ＳＨを設定してもよい。これにより、利用環境に応じて距離画像の画像品位を変更でき、より効率的に対象物の検知を行うことができる。

（他の実施の形態）
上記の各実施形態では、画素回路３０が３つのキャパシタＣ１，Ｃ２，Ｃ３を備え、３種の受光量Ｑ１，Ｑ２，Ｑ３を時分割で取得する場合について説明したが、距離画像センサの画素回路が備えるキャパシタの数は３つに限らない。例えば、画素回路が４つ以上のキャパシタを備え、４種以上の受光量Ｑ１，Ｑ２，…，Ｑｎ（ｎは４以上の整数）を時分割で取得してもよい。この場合、次式に基づき、図９のステップＳ８の判定処理を行う。
Ｑ２＋Ｑ３＋…＋Ｑｎ−（ｎ−１）×Ｑ１≧ＳＨ （３）

上式（３）において、左辺は、４種以上の受光量Ｑ１，Ｑ２，…，Ｑｎに対する正味の反射光の受光量を示す。ここで、受光量Ｑ１は、図５，６に示す場合と同様に、ＬＥＤ光が照射されず反射光が生じていない期間Ｔｐ中に、外光専用のキャパシタにおいて取得される外光の受光量である。残りの受光量Ｑ２，Ｑ３，…，Ｑｎは、図５に示す第２ゲート信号Ｓｇ２，第３ゲート信号Ｓｇ３と同様のゲート信号により、ＬＥＤ光の照射に同期して、順次、別個のキャパシタにおいて取得される反射光の受光量である。上式（３）を用いた距離画像生成処理では、上式（３）が成立しない画素に対しては距離の演算を行わず、上式（３）が成立する画素に対してのみ距離の演算を行う。これにより、距離画像におけるノイズを効率良く低減することができる。

また、距離画像センサの画素回路が備えるキャパシタの数は２つであってもよい。この場合、外光専用のキャパシタを省略し、画素回路からの読出しにおいて、外光の受光量と反射光の受光量とを異なるフレームで取得する。例えば、連続する２つのフレームにおいて、一方のフレームでパルス状のＬＥＤ光の照射を繰り返すとともに２つのキャパシタで時分割して反射光の受光量に相当する電荷を蓄積してＴＯＦ信号処理部４に読み出し、反射光の受光量を取得する。他方のフレームでは、ＬＥＤ光の照射を停止しながら受光を行うことで、外光の受光量を取得することができる。

また、距離画像センサの画素回路が備えるキャパシタの数が３つ以上の場合であっても２つの場合と同様に、外光専用のキャパシタを省略し、外光の受光量と反射光の受光量とを異なるフレームで取得してもよい。

また、上記の各実施形態では、距離画像生成処理（図９）のステップＳ４において、ＴＯＦ信号処理部４が、センサ回路３から読み出した画像において１つの画素を選択し、ステップＳ４以降の処理を行った。画素の選択方法はこれに限らず、例えばセンサ回路３から１画素ずつ読み出し、読み出した画素から順次ステップＳ４以降の処理を行ってもよい。センサ回路３からの読み出しは、所定の順番で１画素ずつ読み出してもよいし、ランダムに１画素ずつ読み出してもよい。

また、上記の各実施形態では、距離画像生成処理において、画素毎に距離データを内部メモリに記録し（Ｓ１４）、全画像分の距離データを取得して（Ｓ１６）、その後に生成した距離画像を外部機器に出力した。しかし、全画像分の距離データを内部メモリに記録した後に外部機器に出力しなくてもよく、例えばステップＳ１０又はステップＳ１２において取得した距離を、特定の画素の距離データとして順次、外部機器に出力してもよい。

また、実施の形態２では、距離画像センサ１を備えたユーザインタフェース装置８が眼鏡型のウェアラブル端末である場合を例示したが、距離画像センサ１を備えたユーザインタフェース装置はこれに限らない。例えば、時計型などの他のウェアラブル端末であってもよいし、ＰＣ（パーソナルコンピュータ）やタブレット端末、デジタルカメラ、スマートフォン、携帯電話などであってもよい。

また、距離画像センサ１が搭載される機器はユーザインタフェース装置に限らず、例えば監視カメラや車載装置であってもよい。このような場合においても、距離画像におけるノイズを除去することで、人や車などの対象物の検知を効率的に行うことができる。

１ 距離画像センサ
２ ＬＥＤ
３ センサ回路
３０ 画素回路
４ ＴＯＦ信号処理部
４１ タイミング発生部
４２ 距離演算部
４３ 距離画像出力部
８ ユーザインタフェース装置
ＰＤ フォトダイオード
ＦＤ１，ＦＤ２，ＦＤ３ フローティングディフュージョン
Ｃ１，Ｃ２，Ｃ３ キャパシタ

Claims (8)

1. 対象物に対して照射光を照射する光源部と、
   前記照射光の照射期間の開始から所定時間の間に光を受光するとともに、前記照射の停止期間中に光を受光する受光部と、
   前記照射光の照射期間の開始から所定時間の間に受光された光の受光量である第１の受光量、及び前記照射の停止期間中に受光された光の受光量である第２の受光量に基づいて、前記対象物までの距離を示す距離情報を生成する距離情報生成部とを備え、
   前記距離情報生成部は、
   前記第１及び第２の受光量に基づいて、前記第１の受光量から前記第２の受光量を除いた受光量に基づく第３の受光量が、所定のしきい値以上か否かを判定し、
   前記第３の受光量が前記しきい値以上でない場合には前記距離を算出せず、
   前記第３の受光量が前記しきい値以上である場合に前記距離を算出する
   距離センサ。
2. 前記しきい値は、前記対象物における前記照射光の反射率および前記対象物の距離の検知範囲に基づき設定される
   請求項１に記載の距離センサ。
3. 前記受光部は、それぞれ第１及び第２の受光量を取得する複数の画素を備え、
   前記距離情報生成部は、
   各画素に対する前記第３の受光量が、前記しきい値以上か否かを判定し、
   前記第３の受光量が前記しきい値以上である画素に対して前記距離を算出し、
   前記第３の受光量が前記しきい値以上でない画素に対しては所定値の距離を設定する
   請求項１又は２に記載の距離センサ。
4. 前記距離情報生成部は、
   前記第３の受光量を算出し、
   算出した第３の受光量が前記しきい値以上か否かを判定し、
   算出した第３の受光量を用いて、前記距離を算出する
   請求項１〜３のいずれか１項に記載の距離センサ。
5. 前記受光部は、
   前記照射光の照射期間の開始から所定時間の間に時分割して光を受光し、
   時分割された第１の受光量に相当する電荷をそれぞれ蓄積する複数の第１のキャパシタを備える
   請求項１〜４のいずれか１項に記載の距離センサ。
6. 前記受光部は、前記第２の受光量に相当する電荷を蓄積する第２のキャパシタを備える
   請求項１〜５のいずれか１項に記載の距離センサ。
7. 請求項１〜６のいずれか１項に記載の距離センサと、
   前記距離センサによって生成された距離情報に基づいて前記対象物を検知し、ユーザの操作を受け付ける制御部と
   を備えたユーザインタフェース装置。
8. 前記制御部は、ユーザの指示に基づいて、前記距離センサに対して前記しきい値を設定する
   請求項７に記載のユーザインタフェース装置。

Images