JP2011060337A - ジェスチャースイッチ - Google Patents

Abstract

【課題】使い勝手が良く、且つ、検知対象エリアの背景に影響されずに人の特定部位の抽出が可能なジェスチャースイッチを提供する。
【解決手段】検知対象エリアに存在する物体Ｏｂまでの距離値を画素値とする距離画像を連続的に生成する距離画像センサＤＳと、距離画像センサＤＳで生成された距離画像に基づいて検知対象エリアに存在する人の特定部位を抽出する特定部位抽出部５と、特定部位抽出部５により抽出された特定部位の形状の時系列的なデータに基づいて特定空間内での所定のジェスチャーを認識するジェスチャー認識部６と、ジェスチャー認識部６により認識されたジェスチャーに予め対応付けられた制御出力を制御対象機器へ与える制御部７とを備えている。特定部位抽出部５は、距離画像毎に最小の距離値に所定値を加算した値を閾値として距離画像を２値化し、閾値以下となる領域を人体の輪郭として抽出して前記特定部位とする。
【選択図】図１

Description

本発明は、ジェスチャースイッチに関するものである。

従来から、制御対象機器や制御対象機器の制御用のスイッチなどを設置場所へ行って直接操作する（触れる）ことなく制御対象機器を制御するためのマンマシンインタフェースの一例として、人の手首から先の手の動きを検出し、検出した手の動き（ジェスチャー）に基づいて制御対象機器へ制御出力を与えるジェスチャスイッチが提案されている（例えば、特許文献１，２参照）。

ここにおいて、特許文献１，２には、ジェスチャーを検出する方法として、人の筋電信号を利用する方法が記載され、また、特許文献２には、ジェスチャーを検出する方法として、１台あるいは複数台のカメラによって撮像された画像に適宜の画像処理を施して人の特定部位を抽出し、ジェスチャーを認識する方法が記載されている。

特開２０００−１３８８５８号公報 特開平７−２４８８７３号公報

ところで、上記特許文献１，２に開示された人の筋電信号を利用してジェスチャーを検出する方法を採用したジェスチャースイッチでは、筋電信号を検出するための検出装置を人が装着する必要があり、使い勝手が良くなかった。

これに対して、上記特許文献２に開示された画像処理によりジェスチャーを検出する方法を採用したジェスチャースイッチでは、人が何も装着する必要がないので、使い勝手が良いという利点がある。

しかしながら、上記特許文献２に開示された画像処理によりジェスチャーを検出する方法を採用したジェスチャースイッチでは、カメラにより検知対象エリアを撮像して得られる画像が濃淡画像なので、特定部位の輪郭を抽出する際に背景などの影響を受けやすいという不具合があった。

本発明は上記事由に鑑みて為されたものであり、その目的は、制御対象機器や制御対象機器の制御用のスイッチなどを設置場所へ行って触れる必要がなくて、しかも、使い勝手が良く、且つ、検知対象エリアの背景に影響されずに人の特定部位の抽出が可能なジェスチャースイッチを提供することにある。

請求項１の発明は、検知対象エリアに存在する物体までの距離値を画素値とする距離画像を連続的に生成する距離画像センサと、距離画像センサで生成された距離画像に基づいて検知対象エリアに存在する人の特定部位を抽出する特定部位抽出部と、特定部位抽出部により抽出された特定部位の形状の時系列的なデータに基づいて特定空間内での所定のジェスチャーを認識するジェスチャー認識部と、ジェスチャー認識部により認識されたジェスチャーに予め対応付けられた制御出力を制御対象機器へ与える制御部とを備え、特定部
位抽出部は、距離画像毎に最小の距離値に所定値を加算した値を閾値として距離画像を２値化し、閾値以下となる領域を人体の輪郭として抽出して前記特定部位とすることを特徴とする。なお、検知対象エリアの存在する物体とは人体を含むものである。

この発明によれば、検知対象エリアに存在する物体までの距離値を画素値とする距離画像を連続的に生成する１つの距離画像センサで生成された距離画像に基づいて検知対象エリアに存在する人の特定部位が特定部位抽出部にて連続的に抽出され、ジェスチャー認識部において特定部位抽出部から出力されるデータに基づいて特定空間内での人の所定のジェスチャーが認識されるので、制御対象機器や制御対象機器の制御用のスイッチなどを設置場所へ行って触れる必要がなくて、しかも、人が何も装着する必要がなくて使い勝手が良く、且つ、検知対象エリアの背景に影響されずに人の特定部位を抽出することが可能となる。また、この発明によれば、特定部位抽出部は、距離画像毎に最小の距離値に所定値を加算した値を閾値として距離画像を２値化し、閾値以下となる領域を人体の輪郭として抽出して前記特定部位とするので、閾値を適宜設定することにより、例えば、人の全身や上半身などを特定部位として容易に抽出することが可能となり、人の全身や上半身を使ったジェスチャーの認識が可能となる。

請求項２の発明は、請求項１の発明において、前記特定部位抽出部は、人の上半身だけを前記特定部位として抽出するように前記閾値を設定することを特徴とする。

この発明によれば、人の上半身だけを前記特定部位として抽出することが可能となり、人の上半身を使ったジェスチャーの認識が可能となる。

請求項１の発明では、制御対象機器や制御対象機器の制御用のスイッチなどを設置場所へ行って触れる必要がなくて、しかも、人が何も装着する必要がなくて使い勝手が良く、且つ、検知対象エリアの背景に影響されずに人の特定部位を抽出することが可能となるという効果がある。

実施形態１のジェスチャースイッチのブロック図である。 同上に用いる距離画像センサの設置場所の説明図である。 同上の動作説明図である。 同上の動作説明図である。 同上の動作説明図である。 同上に用いる光検出素子の要部の動作説明図である。 同上に用いる光検出素子の平面図である。 同上に用いる光検出素子の要部の動作説明図である。 同上に用いる光検出素子の要部の動作説明図である。 同上の他の構成例の動作説明図である。 同上の他の構成例の動作説明図である。 同上の他の構成例の動作説明図である。 実施形態２のジェスチャースイッチにおける感度制御部の構成例を示すブロック図である。 同上に用いる光検出素子の構成例を示す平面図である。 図１４に示した光検出素子の要部分解斜視図である。 図１５のＡ−Ａ線断面図である。

（実施形態１）
本実施形態のジェスチャースイッチは、図１に示すような構成であって、検知対象エリアに存在する物体Ｏｂまでの距離値を画素値とする距離画像を連続的に生成する距離画像センサＤＳと、距離画像センサＤＳで生成された距離画像に基づいて検知対象エリアに存在する人の特定部位を抽出する特定部位抽出部５と、特定部位抽出部５により抽出された特定部位の形状の時系列的なデータに基づいて特定空間内での所定のジェスチャーを認識するジェスチャー認識部６と、ジェスチャー認識部６により認識されたジェスチャーに予め対応付けられた制御出力を制御対象機器（図示せず）へ与える制御部７とを備える。ここにおいて、距離画像センサＤＳは、例えば、図２（ａ）に示すように部屋Ｒの天井１３１に設置したり、同図（ｂ）に示すように部屋Ｒの天井１３１側の角に設置したり、同図（ｃ）に示すように部屋Ｒの壁１３２に設置すればよいが、距離画像センサＤＳの設置場所は特に限定するものではなく、特定部位抽出部５において抽出したい特定部位に応じて適宜決めればよい（特定部位の例については図３を参照して後述する）。なお、図２（ａ）（ｂ）（ｃ）中の一点鎖線で囲まれた空間Ｅは距離画像センサＤＳの検知対象エリアを模式的に示している。

距離画像センサＤＳは、検知対象エリア（対象空間）Ｅに光を照射する発光源２を備えるとともに、対象空間からの光を受光し受光光量を反映した出力値の電気出力が得られる光検出素子１を備える。対象空間に存在する物体Ｏｂまでの距離は、発光源２から対象空間に光が照射されてから物体Ｏｂでの反射光が光検出素子１に入射する（到達する）までの時間（「飛行時間」と呼ぶ）によって求める。ただし、飛行時間はナノ秒レベルの非常に短い時間であるから、対象空間に照射する光の強度が一定周期で周期的に変化するように変調した強度変調光を用い、強度変調光を受光したときの位相を用いて飛行時間を求める。

すなわち、図５（ａ）に示すように、発光源２から空間に放射する光の強度が曲線イのように変化し、光検出素子１で受光した受光光量が曲線ロのように変化するとすれば、位相差ψが飛行時間に相当するから、位相差ψを求めることにより物体Ｏｂまでの距離を求めることができる。また、位相差ψは、曲線イの複数のタイミングで求めた曲線ロの受光光量を用いて計算することができる。例えば、曲線イにおける位相が０度、９０度、１８０度、２７０度のタイミングで求めた曲線ロの受光光量がそれぞれＡ０、Ａ１、Ａ２、Ａ３であるとする（受光光量Ａ０、Ａ１、Ａ２、Ａ３を斜線部で示している）。ただし、各位相における受光光量Ａ０、Ａ１、Ａ２、Ａ３は、瞬時値ではなく所定の時間Ｔｗで積算した受光光量を用いる。いま、受光光量Ａ０、Ａ１、Ａ２、Ａ３を求める間に、位相差ψが変化せず（つまり、物体Ｏｂまでの距離が変化せず）、かつ物体Ｏｂの反射率にも変化がないものとする。また、発光源２から放射する光の強度を正弦波で変調し、時刻ｔにおいて光検出素子１で受光される光の強度がＡ・ｓｉｎ（ωｔ＋δ）＋Ｂで表されるものとする。ここに、Ａは振幅、Ｂは外光成分、ωは角振動数、δは位相である。光検出素子１で受光する受光光量Ａ０、Ａ１、Ａ２、Ａ３を時間Ｔｗの積算値ではなく瞬時値とすれば、受光光量Ａ０、Ａ１、Ａ２、Ａ３は、次のように表すことができる。
Ａ０＝Ａ・ｓｉｎ（δ）＋Ｂ
Ａ１＝Ａ・ｓｉｎ（π／２＋δ）＋Ｂ
Ａ２＝Ａ・ｓｉｎ（π＋δ）＋Ｂ
Ａ３＝Ａ・ｓｉｎ（３π／２＋δ）＋Ｂ
ここに、δ＝−ψであるから、Ａ０＝−Ａ・ｓｉｎ（ψ）＋Ｂ、Ａ１＝Ａ・ｃｏｓ（ψ）＋Ｂ、Ａ２＝Ａ・ｓｉｎ（ψ）＋Ｂ、Ａ３＝−Ａ・ｃｏｓ（ψ）＋Ｂであり、結果的に、各受光光量Ａ０、Ａ１、Ａ２、Ａ３と位相差ψとの関係は、次式のようになる。
ψ＝ｔａｎ^−１｛（Ａ２−Ａ０）／（Ａ１−Ａ３）｝ …（式１）
式１では受光光量Ａ０、Ａ１、Ａ２、Ａ３の瞬時値を用いているが、受光光量Ａ０、Ａ１、Ａ２、Ａ３として時間Ｔｗにおける積算値を用いても式１で位相差ψを求めることができる。

上述のように対象空間に照射する光の強度を変調するために、発光源２としては、例えば多数個の発光ダイオードを一平面上に配列したものや半導体レーザと発散レンズとを組み合わせたものなどを用いる。また、発光源２は、制御回路部３から出力される所定の変調周波数である変調信号によって駆動され、発光源２から放射される光は変調信号により強度が変調される。制御回路部３では、例えば２０ＭＨｚの正弦波で発光源２から放射する光の強度を変調する。なお、発光源２から放射する光の強度は正弦波で変調する以外に、三角波、鋸歯状波などで変調してもよく、要するに、一定周期で強度を変調するのであれば、どのような構成を採用してもよい。

光検出素子１は、規則的に配列された複数個の感光部１１を備える。また、感光部１１への光の入射経路には受光光学系８が配置される。感光部１１は光検出素子１において対象空間からの光が受光光学系８を通して入射する部位であって、感光部１１において受光光量に応じた量の電荷を生成する。また、感光部１１は、平面格子の格子点上に配置され、例えば垂直方向（つまり、縦方向）と水平方向（つまり、横方向）とにそれぞれ等間隔で複数個ずつ並べたマトリクス状に配列される。

受光光学系８は、光検出素子１から対象空間を見るときの視線方向と各感光部１１とを対応付ける。すなわち、受光光学系８を通して各感光部１１に光が入射する範囲を、受光光学系８の中心を頂点とし各感光部１１ごとに設定された頂角の小さい円錐状の視野とみなすことができる。したがって、発光源２から放射され対象空間に存在する物体Ｏｂで反射された反射光が感光部１１に入射すれば、反射光を受光した感光部１１の位置により、受光光学系８の光軸を基準方向として物体Ｏｂの存在する方向を知ることができる。

受光光学系８は一般に感光部１１を配列した平面に光軸を直交させるように配置されるから、受光光学系８の中心を原点とし、感光部１１を配列した平面の垂直方向と水平方向と受光光学系８の光軸とを３軸の方向とする直交座標系を設定すれば、対象空間に存在する物体Ｏｂの位置を球座標で表したときの角度（いわゆる方位角と仰角）が各感光部１１に対応する。なお、受光光学系８は、感光部１１を配列した平面に対して光軸が９０度以外の角度で交差するように配置することも可能である。

本実施形態では、上述のように、物体Ｏｂまでの距離を求めるために、発光源２から対象空間に照射される光の強度変化に同期する４点のタイミングで受光光量Ａ０、Ａ１、Ａ２、Ａ３を求めている。したがって、目的の受光光量Ａ０、Ａ１、Ａ２、Ａ３を得るためのタイミングの制御が必要である。また、発光源２から対象空間に照射される光の強度変化の１周期において感光部１１で発生する電荷の量は少ないから、複数周期に亘って電荷を集積することが望ましい。そこで、図１のように各感光部１１で発生した電荷をそれぞれ集積する複数個の電荷集積部１３を設けるとともに、各感光部１１において利用できる電荷を生成する領域の面積を変化させることにより各感光部１１の感度をそれぞれ調節する複数個の感度制御部１２を設けている。

各感度制御部１２では、感度制御部１２に対応する感光部１１の感度を上述した４点のうちのいずれかのタイミングで高め、感度が高められた感光部１１では当該タイミングの受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を主として生成するから、当該受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を当該感光部１１に対応する電荷集積部１３に集積させることができる。

ところで、感度制御部１２は感光部１１において利用できる電荷を生成する領域の面積（実質的な受光面積）を変化させることにより各期間の電荷の生成量を変化させるものであるから、電荷集積部１３に集積された電荷は必ずしも受光光量Ａ０、Ａ１、Ａ２、Ａ３
が得られる期間に生成された電荷だけではなく、他の期間に生成された電荷も混入することになる。いま、感度制御部１２において、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応した電荷を生成する期間の感度をα、それ以外の期間の感度をβとし、感光部１１は受光光量に比例する電荷を生成するものとする。この条件では、受光光量Ａ０に対応した電荷を集積する電荷集積部１３には、αＡ０＋β（Ａ１＋Ａ２＋Ａ３）＋βＡｘ（Ａｘは受光光量Ａ０、Ａ１、Ａ２、Ａ３が得られる期間以外の受光光量）に比例する電荷が蓄積され、受光光量Ａ２に対応した電荷を集積する電荷集積部１３には、αＡ２＋β（Ａ０＋Ａ１＋Ａ３）＋βＡｘに比例する電荷が蓄積される。上述したように、位相差ψを求める際には（Ａ２−Ａ０）を求めており、Ａ２−Ａ０＝（α−β）（Ａ２−Ａ０）になり、同様にしてＡ１−Ａ３＝（α−β）（Ａ１−Ａ３）になるから、（Ａ２−Ａ０）／（Ａ１−Ａ３）は電荷の混入の有無によらず理論上は同じ値になるのであって、電荷が混入しても求める位相差ψは同じ値になる。

感光部１１と感度制御部１２と電荷集積部１３とを備える光検出素子１は１つの半導体装置として構成され、光検出素子１には電荷集積部１３に集積された電荷を半導体装置の外部に取り出すために電荷取出部１４が設けられる。電荷取出部１４はＣＣＤイメージセンサにおける垂直転送部および水平転送部と同様の構成を有する。

上述したように各感光部１１では受光光量に応じた量の電荷を生成するから、上述した各受光光量Ａ０、Ａ１、Ａ２、Ａ３は物体Ｏｂの明るさを反映している。つまり、受光光量Ａ０、Ａ１、Ａ２、Ａ３の加算値あるいは平均値は濃淡画像における濃度値に相当する。換言すれば、各感光部１１での受光光量Ａ０、Ａ１、Ａ２、Ａ３から物体Ｏｂまでの距離を求めるほか、物体Ｏｂの濃度値も得ることが可能になる。しかも、同じ位置の感光部１１を用いて物体Ｏｂの距離と濃度値とを求めるから、同じ位置について濃度値と距離との両方の情報を得ることが可能になる。

電荷取出部１４から取り出された電荷は画像生成部４に画像信号として与えられ、画像生成部４において対象空間内の物体Ｏｂまでの距離が上述した式１を用いて受光光量Ａ０、Ａ１、Ａ２、Ａ３から算出される。すなわち、画像生成部４では各感光部１１に対応した各方向における物体Ｏｂまでの距離が算出され、対象空間の三次元情報が算出される。この三次元情報を用いると、対象空間の各方向に一致する画素の画素値が距離値である距離画像を生成することができる。また、画像生成部４では各感光部１１で得られた濃度値に基づいて対象空間の濃淡画像を生成する。すなわち、画像生成部４は濃淡画像と距離画像とを生成する。なお、濃淡画像は受光光量Ａ０、Ａ１、Ａ２、Ａ３の平均値を濃淡値に用いるようにすれば、発光源２からの光の影響を除去できる。

この構成によって、光検出素子１に設けた感光部１１での受光光量Ａ０、Ａ１、Ａ２、Ａ３から対象空間の濃淡値と距離値とを求めることができ、ほぼ同時刻の濃淡画像と距離画像とを得ることができる。しかも濃淡画像と距離画像との各画素は対象空間の同じ方向の情報を持つから、濃淡画像と距離画像とから得られる情報を併せて用いることにより、濃淡画像のみを用いる場合よりも対象空間に関して多くの情報を得ることができる。

以下に光検出素子１の具体的構造例を説明する。図６に示す光検出素子１は、複数個（例えば、１００×１００個）の感光部１１をマトリクス状に配列したものであって、１枚の半導体基板上に形成される。感光部１１のうち垂直方向の各列では一体に連続する半導体層２１を共用するとともに半導体層２１を垂直方向への電荷（本実施形態では、電子を用いる）の転送経路として用い、さらに各列の半導体層２１の一端から電荷を受け取って水平方向に電荷を転送するＣＣＤである水平転送部Ｔｈ（図７参照）を半導体基板に設ける構成を採用することができる。

すなわち、図７に示すように、半導体層２１が感光部１１と電荷の転送経路とに兼用された構造であって、フレーム・トランスファ（ＦＴ）方式のＣＣＤイメージセンサと類似した構造になる。また、ＦＴ方式のＣＣＤイメージセンサと同様に、感光部１１を配列した撮像領域Ｄａに隣接して遮光された蓄積領域Ｄｂを設けてあり、蓄積領域Ｄｂに蓄積した電荷を水平転送部Ｔｈに転送する。撮像領域Ｄａから蓄積領域Ｄｂへの電荷の転送は垂直ブランキング期間に一気に行い、水平転送部Ｔｈでは１水平期間に１水平ライン分の電荷を転送する。図１に示した電荷取出部１４は、半導体層２１における垂直方向への電荷の転送経路としての機能とともに水平転送部Ｔｈを含む機能を表している。ただし、電荷集積部１３は蓄積領域Ｄｂを意味するのではなく、撮像領域Ｄａにおいて電荷を集積する機能を表している。言い換えると、蓄積領域Ｄｂは電荷取出部１４に含まれる。

半導体層２１は不純物が添加してあり、半導体層２１の主表面は酸化膜からなる絶縁膜２２により覆われ、半導体層２１に絶縁膜２２を介して複数個の制御電極２３を配置している。この光検出素子１はＭＩＳ素子として知られた構造であるが、１個の光検出素子１として機能する領域に複数個（図示例では５個）の制御電極２３を備える点が通常のＭＩＳ素子とは異なる。絶縁膜２２および制御電極２３は発光源２から対象空間に照射される光と同波長の光が透過するように材料が選択され、絶縁膜２２を通して半導体層２１に光が入射すると、半導体層２１の内部に電荷が生成される。図示例の半導体層２１の導電形はｎ形であり、光の照射により生成される電荷として電子ｅを利用する。図６は１個の感光部１１に対応する領域のみを示したものであり、半導体基板（図示せず）には上述したように図６の構造を持つ領域が複数個配列されるとともに電荷取出部１４となる構造が設けられる。電荷取出部１４として設ける垂直転送部は、図６の左右方向に電荷を転送することを想定しているが、図６の面に直交する方向に電荷を転送する構成を採用することも可能である。また、電荷を図６の左右方向に転送する場合には、制御電極２３の左右方向の幅寸法を１μｍ程度に設定するのが望ましい。

この構造の光検出素子１では、制御電極２３に正の制御電圧＋Ｖを印加すると、半導体層２１には制御電極２３に対応する部位に電子ｅを集積するポテンシャル井戸（空乏層）２４が形成される。つまり、半導体層２１にポテンシャル井戸２４を形成するように制御電極２３に制御電圧を印加した状態で光が半導体層２１に照射されると、ポテンシャル井戸２４の近傍で生成された電子ｅの一部はポテンシャル井戸２４に捕獲されてポテンシャル井戸２４に集積され、残りの電子ｅは半導体層２１の深部でのホールとの再結合により消滅する。また、ポテンシャル井戸２４から離れた場所で生成された電子ｅも半導体層２１の深部でのホールとの再結合により消滅する。

ポテンシャル井戸２４は制御電圧を印加した制御電極２３に対応する部位に形成されるから、制御電圧を印加する制御電極２３の個数を変化させることによって、半導体層２１の主表面に沿ったポテンシャル井戸２４の面積（言い換えると、受光面において利用できる電荷を生成する領域の面積）を変化させることができる。つまり、制御電圧を印加する制御電極２３の個数を変化させることは感度制御部１２における感度の調節を意味する。例えば、図６（ａ）のように３個の制御電極２３に制御電圧＋Ｖを印加する場合と、図６（ｂ）のように１個の制御電極２３に制御電圧＋Ｖを印加する場合とでは、ポテンシャル井戸２４が受光面に占める面積が変化するのであって、図６（ａ）の状態のほうがポテンシャル井戸２４の面積が大きいから、図６（ｂ）の状態に比較して同光量に対して利用できる電荷の割合が多くなり、実質的に感光部１１の感度を高めたことになる。このように、感光部１１および感度制御部１２は半導体層２１と絶縁膜２２と制御電極２３とにより構成されていると言える。ポテンシャル井戸２４は光照射により生成された電荷を保持するから電荷集積部１３として機能する。

ポテンシャル井戸２４から電荷を取り出すには、ＦＴ方式のＣＣＤと同様の技術を採用
すればよく、ポテンシャル井戸２４に電子ｅが集積された後に、電荷の集積時とは異なる印加パターンの制御電圧を制御電極２３に印加することによってポテンシャル井戸２４に集積された電子ｅを一方向（例えば、図６の右方向）に転送することができる。つまり、半導体層２１をＣＣＤの垂直転送部と同様に電荷の転送経路に用いることができる。さらに、電荷は図７に示した水平転送部Ｔｈを転送され、半導体基板に設けた図示しない電極から光検出素子１の外部に取り出される。要するに、制御電極２３への制御電圧の印加パターンを制御することにより、各感光部１１ごとの感度を制御するとともに、光照射により生成された電荷を集積し、さらに集積された電荷を転送することができる。

本実施形態における感度制御部１２は、利用できる電荷を生成する領域の面積を大小２段階に切り換えることにより感光部１１の感度を高低２段階に切り換えるのであって、受光光量Ａ０、Ａ１、Ａ２、Ａ３のいずれかに対応する電荷を感光部１１で生成しようとする期間にのみ高感度とし（電荷を生成する領域の面積を大きくし）、他の期間には低感度にする。高感度にする期間と低感度にする期間とは、発光源２を駆動する変調信号に同期させて設定される。また、変調信号の複数周期に亘ってポテンシャル井戸２４に電荷を集積した後に電荷取出部１４を通して光検出素子１の外部に電荷を取り出すようにしている。変調信号の複数周期に亘って電荷を集積しているのは、変調信号の１周期内では感光部１１が利用可能な電荷を生成する期間が短く（例えば、変調信号の周波数を２０ＭＨｚとすれば５０ｎｓの４分の１以下）、生成される電荷が少ないからである。つまり、変調信号の複数周期分の電荷を集積することにより、信号電荷（発光源２から照射された光に対応する電荷）と雑音電荷（外光成分および光検出素子１の内部で発生するショットノイズに対応する電荷）との比を大きくとることができ、大きなＳＮ比が得られる。

ところで、位相差ψを求めるのに必要な４種類の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を１個の感光部１１で生成するとすれば、視線方向に関する分解能は高くなるが、各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を求める時間差が大きくなるという問題が生じる。一方、各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を４個の感光部１１でそれぞれ生成するとすれば、各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を求める時間差は小さくなるが、４種類の電荷を求める視線方向にずれが生じ視線方向に関する分解能は低下する。そこで、本実施形態では、２個の感光部１１を用いることにより、変調信号の１周期内で受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を２種類ずつ生成する構成を採用している。つまり、２個の感光部１１を組にして用い、組になる２個の感光部１１に同じ視線方向からの光が入射するようにしている。

上述の構成を採用することにより、視線方向の分解能を比較的高くし、かつ受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を生成する時間差を少なくすることができる。つまり、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を生成する時間差を少なくしていることにより、対象空間の中で移動している物体Ｏｂについても距離の検出精度を比較的高く保つことができる。なお、本実施形態の構成では、１個の感光部１１で４種類の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を生成する場合よりも視線方向の分解能が低下するが、視線方向の分解能については感光部１１の小型化や受光光学系８の設計によって向上させることが可能である。

以下に動作を具体的に説明する。図６に示した例では、１個の感光部１１について５個の制御電極２３を設けた例を示しているが、両側の２個の制御電極２３は、感光部１１で電荷（電子ｅ）を生成している間に隣接する感光部１１に電荷が流出するのを防止するためのポテンシャルの障壁を形成するものであって、２個の感光部１１を組にして用いる場合には隣接する感光部１１のポテンシャル井戸２４の間には、いずれかの感光部１１で障壁が形成されるから、各感光部１１には３個ずつの制御電極２３を設けるだけで足りることになる。この構成によって、感光部１１の１個当たりの占有面積が小さくなり、２個の
感光部１１を組にして用いながらも視線方向の分解能の低下を抑制することが可能になる。

ここでは、図８に示すように、組にした２個の感光部１１にそれぞれ設けた３個ずつの制御電極２３を区別するために各制御電極２３に（１）〜（６）の数字を付す。（１）〜（６）の数字を付与した制御電極２３を有する２個の感光部１１は、１つの視線方向に対応しておりイメージセンサにおける画素を構成する。なお、１画素ずつの感光部１１に対応付けて、それぞれオーバフロードレインを設けるのが望ましい。

図８（ａ）（ｂ）はそれぞれ制御電極２３に異なる印加パターンで制御電圧＋Ｖを印加した状態（半導体基板に設けた図示しない基板電極と制御電極２３との間に制御電圧＋Ｖを印加した状態）を示しており、ポテンシャル井戸２４の形状からわかるように、図８（ａ）では１画素となる２個の感光部１１のうち制御電極（１）〜（３）に正の制御電圧＋Ｖを印加するとともに、残りの制御電極（４）〜（６）のうちの中央の制御電極（５）に正の制御電圧＋Ｖを印加している。また、図８（ｂ）では制御電極（１）〜（３）のうちの中央の制御電極（２）に正の制御電圧＋Ｖを印加するとともに、残りの制御電極（４）〜（６）に正の制御電圧＋Ｖを印加している。つまり、１画素を構成する２個の感光部１１に印加する制御電圧＋Ｖの印加パターンを交互に入れ換えている。２個の感光部１１に印加する制御電圧＋Ｖの印加パターンを入れ換えるタイミングは、変調信号における逆位相の（位相が１８０度異なる）タイミングになる。なお、各感光部１１に設けた３個の制御電極２３に同時に制御電圧＋Ｖを印加している期間以外は、各感光部１１に設けた中央部の１個の制御電極２３（つまり、制御電極（２）（５））にのみ制御電圧＋Ｖを印加し、他の制御電極２３は０Ｖに保つ状態とする。

例えば、１画素を構成する２個の感光部１１において受光光量Ａ０、Ａ２に対応する電荷を交互に生成する場合は、図５のように、一方の感光部１１で受光光量Ａ０に対応する電荷を生成するために３個の制御電極（１）〜（３）に制御電圧＋Ｖを印加している間に、他方の感光部１１では受光光量Ａ２に対応する電荷を保持するために１個の制御電極（５）にのみ制御電圧＋Ｖを印加する。同様にして、一方の感光部１１で受光光量Ａ２に対応する電荷を生成するために３個の制御電極（４）〜（６）に制御電圧＋Ｖを印加している間には、他方の感光部１１では受光光量Ａ０に対応する電荷を保持するために１個の制御電極（２）にのみ制御電圧＋Ｖを印加する。また、受光光量Ａ０、Ａ２に対応する電荷を生成する期間以外では制御電極（２）（５）にのみ制御電圧＋Ｖを印加する。図５（ｂ）（ｃ）に受光光量Ａ０、Ａ２に対応する電荷を蓄積する際の各制御電極（１）〜（６）に対する制御電圧＋Ｖの印加のタイミングを示す。図５（ｂ）（ｃ）において斜線部が制御電圧＋Ｖを印加している状態を示し、空白部が制御電極（１）〜（６）に電圧を印加していない状態を示している。

１画素を構成する２個の感光部１１において受光光量Ａ１、Ａ３に対応する電荷を生成する場合も同様であって、受光光量Ａ０、Ａ２に対応する電荷を生成する場合とは制御電極２３に制御電圧＋Ｖを印加するタイミングが、変調信号の位相における９０度異なる点が相違するだけである。また、受光光量Ａ０、Ａ１に対応する電荷を生成する期間と、受光光量Ａ１、Ａ３に対応する電荷を生成する期間との間で撮像領域Ｄａから蓄積領域Ｄｂに電荷を転送する。つまり、受光光量Ａ０に対応する電荷が制御電極（１）〜（３）に対応するポテンシャル井戸２４に蓄積されるとともに、受光光量Ａ２に対応する電荷が制御電極（４）〜（６）に対応するポテンシャル井戸２４に蓄積されると、これらの受光光量Ａ０、Ａ２に対応する電荷を外部に取り出す。次に、受光光量Ａ１に対応する電荷が制御電極（１）〜（３）に対応するポテンシャル井戸２４に蓄積されるとともに、受光光量Ａ３に対応する電荷が制御電極（４）〜（６）に対応するポテンシャル井戸２４に蓄積されると、これらの受光光量Ａ１、Ａ３に対応する電荷を外部に取り出す。このような動作を
繰り返すことによって、４区間の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を２回の読出動作で光出力素子１の外部に取り出すことができ、取り出した電荷を用いて位相差ψを求めることが可能になる。なお、例えば３０フレーム毎秒の画像を得るためには、受光光量Ａ０、Ａ２に対応する電荷を生成する期間と受光光量Ａ１、Ａ３に対応する電荷を生成する期間とは６０分の１秒よりも短い期間とする。

上述の例では３個の制御電極２３（（１）〜（３）または（４）〜（６））に同時に印加する制御電圧と、１個の制御電極２３（（２）または（５））にのみ印加する制御電圧とを等しくしているから、ポテンシャル井戸２４の面積は変化するもののポテンシャル井戸２４の深さは等しくなっている。この場合、制御電圧を印加していない制御電極２３（（１）（３）または（４）（６））において生成された電荷は、同程度の確率でポテンシャル井戸２４に流れ込む。つまり、感光部１１を構成する３個の制御電極２３のうちの１個にのみ制御電圧＋Ｖを印加することによって電荷集積部１３として機能している領域と、３個の制御電極２３のすべてに制御電圧＋Ｖを印加している領域との両方に同程度の量の電荷が流れ込む。つまり、電荷を保持しているポテンシャル井戸２４に流れ込む雑音成分が比較的多いものであるから、ダイナミックレンジを低下させる原因になる。

そこで、図９のように、小面積のポテンシャル井戸２４の深さを大面積のポテンシャル井戸２４の深さよりも小さく設定するのが望ましく、組になる２個の感光部１１に設けた各３個の制御電極（１）〜（３）または（４）〜（６）に同時に印加する制御電圧が、１個の制御電極（２）または（５）にのみ印加する制御電圧よりも高くなるように設定するのが望ましい。このように、主として電荷（電子ｅ）を生成しているポテンシャル井戸２４を、主として電荷の保持を行っているポテンシャル井戸２４よりも深くすることにより、制御電圧を印加していない制御電極（１）（３）または（４）（６）に対応する部位で生じた電荷は、深いほうのポテンシャル井戸２４に流れ込みやすくなる。つまり、制御電極２３に一定の制御電圧＋Ｖを印加する場合に比較すると、電荷を保持するポテンシャル井戸２４に流れ込む雑音成分を低減することができる。

なお、上述した距離画像センサＤＳの構成例では、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する４期間を変調信号の１周期内で位相の間隔が９０度ずつになるように設定しているが、変調信号に対する位相が既知であれば４期間は９０度以外の適宜の間隔で設定することが可能である。ただし、間隔が異なれば位相差ψを求める算式は異なる。また、４期間の受光光量に対応した電荷を取り出す周期は、物体Ｏｂの反射率および外光成分が変化せず、かつ位相差ψも変化しない時間内であれば、変調信号の１周期内で４個の信号電荷を取り出すことも必須ではない。さらに、太陽光や照明光のような外乱光の影響があるときには、発光源２から放射される光の波長のみを透過させる光学フィルタを感光部１１の前に配置するのが望ましい。図８、図９を用いて説明した構成例では、感光部１１ごとに３個ずつの制御電極２３を対応付けているが、制御電極２３を４個以上設けるようにしてもよい。また、上述の例ではＦＴ方式のＣＣＤイメージセンサと同様の構成を採用しているが、インターライン・トランスファ（ＩＴ）方式、フレーム・インターライン・トランスファ（ＦＩＴ）方式と同様の構成を採用することも可能である。

次に、上述した距離画像センサＤＳで生成された距離画像に基づいて検知対象エリアに存在する人の特定部位を抽出する特定部位抽出部５について説明する。ここでは、距離画像を生成する際の光検出素子１への外光成分の入射を低減するために、発光源２から赤外線を対象空間に照射し、光検出素子１の前方に赤外線透過フィルタを配置しているものとする。したがって、濃淡画像は赤外線に対する濃淡画像になる。

本実施形態のジェスチャースイッチでは、図１に示すように、距離画像センサＤＳの画像生成部４で生成された距離画像は特定部位抽出部５に与えられ、特定部位抽出部５では
、距離画像に基づいて検知対象エリアに存在する人の特定部位が抽出され、ジェスチャー認識部６では、特定部位抽出部５から出力されるデータに基づいて特定空間（ここにおいて、特定空間は、検知対象エリアと同じ空間、つまり、距離画像の全範囲として規定してもよいし、検知対象エリア内の一部の空間、つまり、距離画像の一部の小領域として規定してもよい）内での所定のジェスチャーが認識される。要するに、本実施形態のジェスチャースイッチでは、検知対象エリアＥに存在する物体Ｏｂまでの距離値を画素値とする距離画像を連続的に生成する１つの距離画像センサＤＳで生成された距離画像に基づいて検知対象エリアＥに存在する人の特定部位が特定部位抽出部５にて連続的に抽出され、ジェスチャー認識部６において特定部位抽出部５から出力されるデータに基づいて特定空間内での人の所定のジェスチャーが認識されるので、制御対象機器や制御対象機器の制御用のスイッチなどを設置場所へ行って触れる必要がなくて、しかも、人が何も装着する必要がなくて使い勝手が良く、且つ、検知対象エリアＥの背景に影響されずに人の特定部位を抽出することが可能となる。

上述のように距離画像センサＤＳの画像生成部４で生成された距離画像は距離画像センサＤＳから物体Ｏｂまでの距離値を画素値とするものであり、特定部位抽出部５では、距離画像から人の特定部位を抽出するにあたって、距離画像毎に最小の距離値に所定値を加算した値を閾値として距離画像を２値化し、閾値以下となる領域を特定部位として抽出するようになっている。したがって、所定値を適宜設定することにより、例えば、距離画像センサＤＳへ手をかざして手首よりも先の部分でジェスチャーを行うようにして使用する場合、人の手の手首よりも先の部分を特定部位として容易に抽出することが可能となる。この場合、距離画像センサＤＳから特定部位抽出部５へ図３（ａ）に示すような距離画像（距離画像データ）が与えられたとすると、特定部位抽出部５では図３（ｂ）に示すような２値化画像が得られ（距離画像において距離値が閾値以下の画素では２値化画像の画素を白とし、距離画像において距離値が閾値よりも大きな画素では２値化画像の画素を黒としてある）、このような２値化画像から白領域Ｗを特定部位（手の手首よりも先の部分）として抽出する。図３（ａ）の距離画像は、距離値に応じて画素の色を４段階に変化させた例を示しており、画像生成部４において基準距離値としてＬ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５（Ｌ１＜Ｌ２＜Ｌ３＜Ｌ４＜Ｌ５）を設定し、距離値が基準距離値Ｌ１以下の画素からなる領域をＦ１、距離値が基準距離値Ｌ１よりも大きく基準距離値Ｌ２以下の画素からなる領域をＦ２、距離値が基準距離値Ｌ２よりも大きく基準距離値Ｌ３以下の画素からなる領域をＦ３、距離値が基準距離値Ｌ３よりも大きく基準距離値Ｌ４以下の画素からなる領域をＦ４、距離値が基準距離値Ｌ４よりも大きな画素からなる領域をＦ５とすれば、領域Ｆ１が白色、領域Ｆ５が黒色、領域Ｆ２が白色に近い灰色、領域Ｆ４が黒に近い灰色、領域Ｆ３が領域Ｆ２と領域Ｆ４との中間的な灰色となるような距離画像を生成している（なお、図３（ａ）中の点Ｐは距離値が最小となる画素の位置を示している）。一方、図３（ｂ）の２値化画像は、人の手の手首よりも先の部分が白領域Ｗとなるように上記所定値を設定してあるときの２値化画像を示している。

ところで、特定部位抽出部５において距離画像から人の特定部位を抽出する方法は上述の例に限らず、例えば、距離画像を所定の閾値で２値化し、閾値以下となる領域を人体の輪郭として抽出するようすれば、閾値を適宜設定することにより、例えば、人の全身や上半身などを上記特定部位として抽出することが可能となり、人の全身や上半身を使ったジェスチャーの認識が可能となる。また、特定部位抽出部５が、距離画像において最小の距離値となる画素の周囲領域に関して閾値以下となる画素の数が一定値となるように上記閾値を調整して上記距離画像を上記閾値で２値化し、上記閾値以下となる領域を特定部位として抽出するようにすれば、例えば、距離画像センサＤＳへ手をかざして手首よりも先の部分でジェスチャーを行うようにして使用する場合、人の手の手首よりも先の部分を特定部位として安定して抽出することが可能となる。この場合の特定部位抽出部５では、以下の流れ（ａ）〜（ｅ）で閾値が調整される。
（ａ）距離画像から距離値が最小値となる画素を探し基準画素とする処理を行う。
（ｂ）閾値の初期値を上記最小値とする処理を行う。
（ｃ）上記距離画像において上記基準画素の周辺領域で距離値が閾値以下となる画素の画素数を調べる処理を行う。
（ｄ）画素数が所定の一定値以下の場合には、閾値に値１を加算して（ｃ）の処理に戻り、一定値を超えている場合には、次の処理へ移行する。
（ｅ）画素数＞上記一定値となる直前の閾値を最終的な閾値として決定する。

また、特定部位抽出部５が距離画像における特定の入力判定領域についてのみ２値化を行って上記閾値との比較結果に基づいて上記特定部位の抽出を行うようにすれば、距離画像における全画素について２値化を行う場合に比べて、特定部位抽出部５の処理速度の高速化を図れる。

ジェスチャー認識部６では、例えば、特定部位抽出部５において抽出された特定部位に関する形状（情報）の時系列データに基づいてジェスチャーを認識する。この場合、ジェスチャー認識部６において、ジェスチャーを認識するにあたっては、例えば、図４に示すような特定部位の形状における手の５本の指の３Ｄ重心Ｏ１〜Ｏ５および手のひらの３Ｄ重心Ｏ６を特徴量として特徴量の時系列データをＨＭＭ（Hidden Markov Model）により学習してジェスチャーを認識するようにすれば、距離画像センサＤＳへ手をかざして手首よりも先の部分でジェスチャーを行うようにして使用するにあたって、ジェスチャー認識部６におけるジェスチャーの認識性能（ジェスチャー認識の精度）を向上させることができる。なお、上述の特徴量としては、指の３Ｄ重心に限らず、指の傾きや、指の数などを特徴量として規定してもよい。また、ジェスチャーの認識方法も上述の方法以外の周知の方法を採用してもよく、特定部位抽出部５において抽出された特定部位に関する形状の時系列データに基づいてジェスチャーを認識するにあたって、例えば、指の数が時間経過とともに１本→２本→３本と変化した場合（つまり、特定部位の形状が時系列的に変化した場合）に所定のジェスチャーが行われたと認識するようにしてもよいし、また、所定の形状（例えば、一般的に片手でじゃんけんをするときの「ぐう」、「ちょき」、「ぱあ」などの形状）が規定時間以上継続された場合に所定のジェスチャーが行われたと認識するようにし、且つ、所定の形状が上記規定時間未満しか継続されない場合にはジェスチャーとは認識しないようにしてもよい。ここで、上記規定時間を適宜設定しておけば、制御対象機器の制御を意図していない手の動きがジェスチャーとして認識されて制御対象機器へ制御出力が与えられるのを防止することができる。

制御部７は、ジェスチャーと制御出力とをあらかじめ対応付けたテーブルを記憶したメモリ（図示せず）を備えており、ジェスチャー認識部６にて認識されたジェスチャーに対応する制御出力を制御対象機器へ与えるようになっている。ここにおいて、図１０（ａ）に示すように、距離画像センサＤＳの検知対象エリアＥ内に所定のジェスチャーによる入力を受けつけるための空間として２つの入力空間（ここでは、上述の特定空間）Ｇ１，Ｇ２を設定しておき、人Ｍが入力空間Ｇ２近傍で所定のジェスチャーを行った場合、制御部７が、図１０（ｂ）に示すように距離画像において入力空間Ｇ２に対応する入力領域Ｈ２（図示例では、入力空間Ｇ１に対応する入力領域Ｈ１は黒領域となっている）の画素数に対する特定部位の画素（閾値以下となる領域であって白領域Ｗとなっている）の画素数の割合が規定値を超えているときに上記制御出力を制御対象機器へ与えるようにすれば、上記特定空間以外の空間での人の制御対象機器の制御を意図しない動きがジェスチャーとして認識されても制御対象機器へ制御出力が与えられるのを防止することができる。人Ｍが入力空間Ｇ１の近傍でジェスチャーを行った場合も同様であるから、入力空間Ｇ１，Ｇ２とを互いに異なる制御対象機器へ割り当てることも可能となる。また、図１１に示すように、距離画像センサＤＳの検知対象エリアＥ内に所定のジェスチャーによる入力を受けつけるための空間である１つの入力空間（ここでは、特定空間）Ｇを設定しておき、人Ｍが
入力空間Ｇ近傍でジェスチャーを行った場合にも、制御部７が、距離画像において入力空間Ｇに対応する入力領域の画素数に対する特定部位の画素数の割合が規定値を超えているときに上記制御出力を制御対象機器へ与えるようにすれば、上記特定空間以外の空間での人の制御対象機器の制御を意図しない動きがジェスチャーとして認識されても制御対象機器へ制御出力が与えられるのを防止することができる。

なお、図１２（ａ）に示すように距離画像センサＤＳの検知対象エリアＥが設定される部屋Ｒに、図１２（ｂ）に示すように仮想の立体空間にあるマニプレータ５０を画面に表示する表示装置Ｕを設け、人Ｍの手Ｈを特定部位として特定部位抽出部５により抽出し、表示装置Ｕの画面上に上記マニプレータ５０を操作する仮想の手Ｈ’を表示させて人Ｍの手Ｈの動きに仮想の手Ｈ’の動きを同調させるようにしてもよい（図１２（ａ）（ｂ）中の矢印はそれぞれ手Ｈ，Ｈ’の動く方向を示している）。要するに、特定部位抽出部５により抽出された手Ｈの動きを、仮想空間の制御対象機器の操作の動きとして利用してもよい。

（実施形態２）
本実施形態のジェスチャースイッチの基本構成は実施形態１と略同じであって、感度制御部１２の具体的な構成において、電荷集積部１３に与える電荷の割合を調節する技術として、感光部１１から電荷集積部１３への通過率を調節する技術と、感光部１１から電荷を廃棄する廃棄率を調節する技術との両方の技術を用いている点が相違する。他の構成は実施形態１と同じなので図示および説明を省略する。

感度制御部１２において通過率と廃棄率とを調節する技術では、図１３に示すように、感光部１１と電荷集積部１３との間にゲート電極１２ａを設け、ゲート電極１２ａに印加する通過電圧を変化させることにより、感光部１１から電荷集積部１３への電荷の移動（つまり、通過率）を制御する。また、電荷廃棄部１２ｃを設け、電荷廃棄部１２ｃに付設した廃棄電極１２ｂに印加する廃棄電圧を変化させることにより、感光部１１から電荷廃棄部１２ｃへの電荷の移動（つまり、廃棄率）を制御する。電荷集積部１３は感光部１１ごとに一対一に対応するように設けられ、電荷廃棄部１２ｃは複数個の感光部１１に共通させて一対多に対応するように設けられる。図示例では、光検出素子１のすべての感光部１１で１組の廃棄電極１２ｂおよび電荷廃棄部１２ｃを共用している。

感度を制御するために、感光部１１からの電荷の廃棄を行わずに感光部１１から電荷集積部１３への通過率の制御のみを行うことが考えられるが、電荷の廃棄を行わなければ感光部１１において電荷が暫時残留するから、感光部１１で生成された電荷のうち不要な残留電荷が、利用する電荷（以下、信号電荷という）に雑音成分として混入する。したがって、信号電荷への残留電荷の混入を防止するために、ゲート電極１２ａに印加する通過電圧だけでなく廃棄電極１２ｂに印加する廃棄電圧を制御する。なお、電荷集積部１３には発光源２から空間に照射される光の変調信号の複数周期（数万〜数十万周期）において変調信号に同期する特定の区間の受光光量Ａ０，Ａ１，Ａ２，Ａ３に相当する電荷を集積し、各区間の電荷の集積毎に集積した信号電荷を取り出して次の区間の電荷を集積する。ここで、電荷集積部１３に得られた信号電荷は実施形態１と同様に電荷取出部１４（図１参照）により取り出される。

図１３に示した感度制御部１２を備える光検出素子１は、オーバーフロードレインを備えたＣＣＤイメージセンサにより実現することができ、ＣＣＤイメージセンサにおける電荷の転送方式としてはインターライントランスファ（ＩＴ）方式を採用している。

図１４に縦型オーバーフロードレインを備えるインターライントランスファ方式のＣＣＤイメージセンサの構成を示す。図示例は、感光部１１となるフォトダイオード４１を水
平方向と垂直方向とに複数個ずつ（図では３×４個）配列した２次元イメージセンサであって、垂直方向に配列したフォトダイオード４１の各列の右側方にＣＣＤからなる垂直転送レジスタ４２を備え、フォトダイオード４１および垂直転送レジスタ４２が配列された領域の下方にＣＣＤからなる水平転送レジスタ４３を備える。垂直転送レジスタ４２は各フォトダイオード４１ごとに２個ずつの転送電極４２ａ，４２ｂを備え、水平転送レジスタ４３は各垂直転送レジスタ４２ごとに２個ずつの転送電極４３ａ，４３ｂを備える。

フォトダイオード４１と垂直転送レジスタ４２と水平転送レジスタ４３とは１枚の半導体基板４０上に形成され、半導体基板４０の主表面には、フォトダイオード４１と垂直転送レジスタ４２と水平転送レジスタ４３との全体を囲む形でアルミニウム電極であるオーバーフロー電極４４が、半導体基板４０の全周に亘って絶縁膜を介さずに半導体基板４０に直接接触するように設けられる。オーバーフロー電極４４に半導体基板４０に対して正極性になる適宜の廃棄電圧を印加すればフォトダイオード４１で生成された電子（電荷）はオーバーフロー電極４４を通して廃棄される。オーバーフロー電極４４は、感光部１１であるフォトダイオード４１において生成した電荷のうち不要電荷を廃棄する際に廃棄電圧が印加されるから廃棄電極１２ｂとして機能し、オーバーフロー電極４４に廃棄電圧を印加する電源が感光部１１で生成された電子（電荷）を廃棄する電荷廃棄部１２ｃとして機能する。半導体基板４０の表面はフォトダイオード４１に対応する部位を除いて遮光膜４６（図１５参照）により覆われる。

図１４に示したＣＣＤイメージセンサについて、１個のフォトダイオード４１に関連する部分を切り出して図１５に示す。半導体基板４０にはｎ形半導体を用い、半導体基板４０の主表面にはフォトダイオード４１と垂直転送レジスタ４２とに跨る領域にｐ形半導体からなるウェル領域３１を形成している。ウェル領域３１は、フォトダイオード４１に対応する領域に比較して垂直転送レジスタ４２に対応する領域の厚み寸法が大きくなるように形成してある。ウェル領域３１のうちフォトダイオード４１に対応する領域にはｎ^＋形半導体層３２を重ねて設けてあり、ウェル領域３１とｎ^＋形半導体層３２とのｐｎ接合によってフォトダイオード４１が形成される。フォトダイオード４１の表面にはｐ^＋形半導体からなる表面層３３を積層してある。表面層３３はフォトダイオード４１で生成された電荷を垂直転送レジスタ４２に移動させる際に、ｎ^＋形半導体層３２の表面付近が電荷の通過経路にならないように制御する目的で設けてある。このような構造は、埋込フォトダイオードとして知られている。

ウェル領域３１のうち垂直転送レジスタ４２に対応する領域にはｎ形半導体からなる蓄積転送層３４を重ねて設けてある。蓄積転送層３４の表面と表面層３３の表面とは略同一平面であって、蓄積転送層３４の厚み寸法は表面層３３の厚み寸法よりも大きくしてある。蓄積転送層３４は、表面層３３とは接触しているが、ｎ^＋形半導体層３２との間には、表面層３３と不純物濃度が等しいｐ^＋形半導体からなる分離層３５が介在する。蓄積転送層３４の表面には、絶縁膜４５を介して転送電極４２ａ，４２ｂが配置される。転送電極４２ａ，４２ｂは１個のフォトダイオード４１に対して２個ずつ設けられ、垂直方向において２個の転送電極４２ａ，４２ｂのうちの一方は他方よりも広幅に形成される。具体的には、図１６のように、１個のフォトダイオード４１に対応する２個の転送電極４２ａ，４２ｂのうち狭幅の転送電極４２ｂは平板状に形成されており、広幅の転送電極４２ａは、幅狭の転送電極４２ｂと同一平面上に配列され一対の転送電極４２ｂの間に配置される平板状の部分と、平板状の部分の垂直方向（図１６の左右方向）における両端部からそれぞれ延長され転送電極４２ｂの上に重複する湾曲した部分とを備える。ここに、絶縁膜４５はＳｉＯ_２により形成され、また転送電極４２ａ，４２ｂはポリシリコンにより形成され、各転送電極４２ａ，４２ｂは絶縁膜４５を介して互いに絶縁されている。さらに、フォトダイオード４１に光を入射させる部位を除いて光検出素子１の表面は遮光膜４６により覆われる。ウェル領域３１において垂直転送レジスタ４２に対応する領域および蓄積転
送層３４は垂直転送レジスタ４２の全長に亘って形成され、したがって、蓄積転送層３４には広幅の転送電極４２ａと狭幅の転送電極４２ｂとが交互に配列される。

上述した光検出素子１では、フォトダイオード４１が感光部１１に相当し、転送電極４２ａがゲート電極１２ａに相当し、オーバーフロー電極４４が廃棄電極１２ｂに相当し、垂直転送レジスタ４２が電荷集積部１３および電荷取出部１４の一部として機能する。また、水平転送レジスタ４３も電荷取出部１４の一部になる。すなわち、フォトダイオード４１に光が入射すれば電荷が生成され、フォトダイオード４１で生成された電荷のうち垂直転送レジスタ４２に信号電荷として引き渡される電荷の割合は転送電極４２ａに印加する通過電圧とオーバーフロー電極４４に印加する廃棄電圧との関係によって決めることができる。転送電極４２ａに通過電圧を印加すると蓄積転送層３４にポテンシャル井戸が形成され、通過電圧の制御によりポテンシャル井戸の深さを制御することができる。したがって、ポテンシャル井戸の深さおよび通過電圧を印加する時間とを制御すれば、フォトダイオード４１から垂直転送レジスタ４２に引き渡される電荷の割合を調節することができる。また、オーバーフロー電極４４に印加する廃棄電圧を制御すれば、フォトダイオード４１と半導体基板４０との間の電位勾配を制御することができるから、電位勾配と廃棄電圧を印加する時間とを制御すれば、垂直転送レジスタ４２に引き渡される電荷の割合を調節することができる。

フォトダイオード４１から垂直転送レジスタ４２に引き渡された信号電荷は、上述した４区間の受光光量Ａ０，Ａ１，Ａ２，Ａ３のうちの各１区間の受光光量Ａ０，Ａ１，Ａ２，Ａ３に相当する信号電荷が集積されるたびに読み出される。例えば、受光光量Ａ０に相当する信号電荷が各フォトダイオード４１に対応して形成されるポテンシャル井戸に集積されると信号電荷を読み出し、次に受光光量Ａ１に相当する信号電荷がポテンシャル井戸に集積されると再び信号電荷を読み出すという動作を繰り返す。

１ 光検出素子
２ 発光源
３ 制御回路部
４ 画像生成部
５ 特定部位抽出部
６ ジェスチャー認識部
７ 制御部
１１ 感光部
Ｏｂ 物体
ＤＳ 距離画像センサ

Claims (2)

1. 検知対象エリアに存在する物体までの距離値を画素値とする距離画像を連続的に生成する距離画像センサと、距離画像センサで生成された距離画像に基づいて検知対象エリアに存在する人の特定部位を抽出する特定部位抽出部と、特定部位抽出部により抽出された特定部位の形状の時系列的なデータに基づいて特定空間内での所定のジェスチャーを認識するジェスチャー認識部と、ジェスチャー認識部により認識されたジェスチャーに予め対応付けられた制御出力を制御対象機器へ与える制御部とを備え、特定部位抽出部は、距離画像毎に最小の距離値に所定値を加算した値を閾値として距離画像を２値化し、閾値以下となる領域を人体の輪郭として抽出して前記特定部位とすることを特徴とするジェスチャースイッチ。
2. 前記特定部位抽出部は、人の上半身だけを前記特定部位として抽出するように前記閾値を設定することを特徴とする請求項１記載のジェスチャースイッチ。