JP2006099749A - Gesture switch - Google Patents

Gesture switch Download PDF

Info

Publication number
JP2006099749A
JP2006099749A JP2005246812A JP2005246812A JP2006099749A JP 2006099749 A JP2006099749 A JP 2006099749A JP 2005246812 A JP2005246812 A JP 2005246812A JP 2005246812 A JP2005246812 A JP 2005246812A JP 2006099749 A JP2006099749 A JP 2006099749A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
value
distance
control
specific site
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005246812A
Other languages
Japanese (ja)
Other versions
JP4692159B2 (en )
Inventor
Atsuyuki Hirono
Eiji Nakamoto
Naoya Ruike
Mutsuhiro Yamanaka
栄次 中元
睦裕 山中
淳之 広野
直哉 類家
Original Assignee
Matsushita Electric Works Ltd
松下電工株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide a user-friendly gesture switch capable of extracting a specific portion of a person without being affected by a background of a detection target area. <P>SOLUTION: This gesture switch has: a distance image sensor DS continuously generating a distance image with a distance value to an object Ob present in the detection target area as a pixel value; a specific portion extraction part 5 extracting the specific portion of the person present in the detection target area on the basis of the distance image generated by the distance image sensor DS; a gesture recognition part 6 recognizing a prescribed gesture inside a specific space on the basis of time-series data on shape of the specific portion extracted by the specific portion extraction part 5; and a control part 7 imparting control output previously associated to the gesture recognized by the gesture recognition part 6 to control target equipment. The specific portion extraction part 5 binarizes the distance image with a value obtaining by adding a prescribed value to the minimum distance value in each distance image as a threshold value, and extracts an area wherein it becomes the threshold value or below as the specific portion. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、ジェスチャースイッチに関するものである。 The present invention relates to a gesture switches.

従来から、制御対象機器や制御対象機器の制御用のスイッチなどを設置場所へ行って直接操作する(触れる)ことなく制御対象機器を制御するためのマンマシンインタフェースの一例として、人の手首から先の手の動きを検出し、検出した手の動き(ジェスチャー)に基づいて制御対象機器へ制御出力を与えるジェスチャスイッチが提案されている(例えば、特許文献1,2参照)。 Conventionally, as an example of a control target device and the control target went to the control of the switch, such as the location of the equipment to operate directly (touch) man-machine interface for controlling the control target device without, ahead from the wrist of the person of detecting the movement of the hand, a gesture switches provide control outputs to the control target device based on the detected hand movements (gestures) has been proposed (e.g., see Patent documents 1 and 2).

ここにおいて、特許文献1,2には、ジェスチャーを検出する方法として、人の筋電信号を利用する方法が記載され、また、特許文献2には、ジェスチャーを検出する方法として、1台あるいは複数台のカメラによって撮像された画像に適宜の画像処理を施して人の特定部位を抽出し、ジェスチャーを認識する方法が記載されている。 Here, Patent Documents 1 and 2, as a method for detecting a gesture, a method is described for use myoelectrogram human, Patent Document 2 discloses, as a method for detecting a gesture, one or more extracting a specific portion of a person subjected to appropriate image processing on the image captured by the base camera, how to recognize the gesture is described.
特開2000−138858号公報 JP 2000-138858 JP 特開平7−248873号公報 JP-7-248873 discloses

ところで、上記特許文献1,2に開示された人の筋電信号を利用してジェスチャーを検出する方法を採用したジェスチャースイッチでは、筋電信号を検出するための検出装置を人が装着する必要があり、使い勝手が良くなかった。 Meanwhile, in the gesture switch employing the method for detecting a gesture by using EMG human disclosed in Patent Documents 1 and 2, it requires that a detection device for detecting a myoelectric signal person wears Yes, ease of use was not good.

これに対して、上記特許文献2に開示された画像処理によりジェスチャーを検出する方法を採用したジェスチャースイッチでは、人が何も装着する必要がないので、使い勝手が良いという利点がある。 In contrast, in the gesture switch employing a method of detecting a gesture by the disclosed image processing in Patent Document 2, since there is no need to mount any person, there is an advantage that good usability.

しかしながら、上記特許文献2に開示された画像処理によりジェスチャーを検出する方法を採用したジェスチャースイッチでは、カメラにより検知対象エリアを撮像して得られる画像が濃淡画像なので、特定部位の輪郭を抽出する際に背景などの影響を受けやすいという不具合があった。 However, in the gesture switch employing a method of detecting a gesture by image processing disclosed in Patent Document 2, since an image obtained by imaging the detection target area by the camera is gray image when extracting the contour of the specific portion there is a problem that will easily be affected by the background to.

本発明は上記事由に鑑みて為されたものであり、その目的は、制御対象機器や制御対象機器の制御用のスイッチなどを設置場所へ行って触れる必要がなくて、しかも、使い勝手が良く、且つ、検知対象エリアの背景に影響されずに人の特定部位の抽出が可能なジェスチャースイッチを提供することにある。 The present invention has been made in view of the above circumstances, and its object is without need to touch performing a switch for controlling the control target device and the control target device to the installation site, moreover, good usability, and, in the extraction of the specific portion of the human without being influenced by the background of the detection target area to provide a gesture switches possible.

請求項1の発明は、検知対象エリアに存在する物体までの距離値を画素値とする距離画像を連続的に生成する距離画像センサと、距離画像センサで生成された距離画像に基づいて検知対象エリアに存在する人の特定部位を抽出する特定部位抽出部と、特定部位抽出部により抽出された特定部位の形状の時系列的なデータに基づいて特定空間内での所定のジェスチャーを認識するジェスチャー認識部と、ジェスチャー認識部により認識されたジェスチャーに予め対応付けられた制御出力を制御対象機器へ与える制御部とを備えることを特徴とする。 The invention of claim 1, the detection based on the distance value to the object present in the detection target area and range image sensor continuously generates a distance image as a pixel value, the range image sensor generates the range image object a specific site extracting unit for extracting a specific portion of a person present in the area, the gesture recognizing a predetermined gesture in a specific space based on time-series data of the shape of the specific portion extracted by the specific site extracting section a recognition unit, characterized in that it comprises a control unit providing a associated beforehand control outputs the recognized gesture by gesture recognition unit to the control target device. なお、検知対象エリアの存在する物体とは人体を含むものである。 Note that the present object of the detection target area is intended to include human body.

この発明によれば、検知対象エリアに存在する物体までの距離値を画素値とする距離画像を連続的に生成する1つの距離画像センサで生成された距離画像に基づいて検知対象エリアに存在する人の特定部位が特定部位抽出部にて連続的に抽出され、ジェスチャー認識部において特定部位抽出部から出力されるデータに基づいて特定空間内での人の所定のジェスチャーが認識されるので、制御対象機器や制御対象機器の制御用のスイッチなどを設置場所へ行って触れる必要がなくて、しかも、人が何も装着する必要がなくて使い勝手が良く、且つ、検知対象エリアの背景に影響されずに人の特定部位を抽出することが可能となる。 According to the invention, present in the detection target area based distance value to an object existing in the detection target area in the distance image and the distance image generated in one range image sensor continuously generates the pixel values specific portion of the human is continuously extracted at a specific site extracting unit, since the predetermined gesture of a person in a particular space is recognized based on the data output from the specific site extracting unit in the gesture recognition unit, the control without the need to touch carried out such as a switch for control of the target device and the control target device to the installation location, moreover, good ease of use without the need for human wearing anything, and, being influenced by the background of the detection target area it is possible to extract a specific portion of the people without.

請求項2の発明は、請求項1の発明において、前記制御部は、前記距離画像における前記特定空間の画素数に対する前記特定部位の画素数の割合が規定値を超えているときに前記制御出力を前記制御対象機器へ与えることを特徴とする。 The invention of claim 2 is the invention of claim 1, wherein the control unit, the control output when the ratio of the number of pixels the specific site to the number of pixels the specific space in the distance image exceeds a specified value characterized in providing a to the control target device.

この発明によれば、前記特定空間以外の空間での人の前記制御対象機器の制御を意図しない動きがジェスチャーとして認識されても前記制御対象機器へ前記制御出力が与えられるのを防止することができる。 According to the present invention, it is possible to prevent the said control output controls the control target device of the human in a space other than the specific space be recognized unintended motion as a gesture to the control target device is given it can.

請求項3の発明は、請求項1または請求項2の発明において、前記特定部位抽出部は、前記距離画像を所定の閾値で2値化し、閾値以下となる領域を前記特定部位として抽出することを特徴とする。 The invention of claim 3 is the invention of claim 1 or claim 2, wherein the specific site extracting section binarizes the range image with a predetermined threshold value, to extract an area equal to or less than the threshold value as said specific site the features.

この発明によれば、閾値を適宜設定することにより、例えば、人の全身や上半身などを前記特定部位として抽出することが可能となり、人の全身や上半身を使ったジェスチャーの認識が可能となる。 According to the present invention, by setting the threshold appropriately, for example, it is possible to extract such as human systemic and upper body as said specific site, it is possible to recognize gestures using human systemic and upper body.

請求項4の発明は、請求項1または請求項2の発明において、前記特定部位抽出部は、前記距離画像毎に最小の距離値に所定値を加算した値を閾値として前記距離画像を2値化し、閾値以下となる領域を前記特定部位として抽出することを特徴とする。 The invention of claim 4 is the invention of claim 1 or claim 2, wherein the specific site extracting unit, the distance image binary value obtained by adding a predetermined value to the minimum distance value for each of the range image as a threshold value However, and extracts an area equal to or less than the threshold value as the specific site.

この発明によれば、所定値を適宜設定することにより、例えば、前記距離画像センサへ手をかざして手首よりも先の部分でジェスチャーを行うようにして使用する場合、人の手の手首よりも先の部分を前記特定部位として容易に抽出することが可能となる。 According to the present invention, by appropriately setting the predetermined value, for example, when used in to perform gestures in the previous section than the wrist by holding the hand to the range image sensor, than the wrist of the human hand the previous sections and can be easily extracted as the specific site.

請求項5の発明は、請求項4の発明において、前記特定部位抽出部は、前記距離画像センサへ向けられる手の手首よりも先の部分を前記特定部位として想定して前記所定値が設定されており、前記ジェスチャー認識部は、前記特定部位抽出部により抽出された前記特定部位である手の指および手のひらそれぞれの3D重心を特徴量として特徴量の時系列データに基づいてジェスチャーを認識することを特徴とする。 The invention of claim 5 is the invention of claim 4, wherein the specific site extracting unit, the predetermined value is set to the previous sections and than the wrist of the hand directed to the range image sensor is assumed as the specific site and which, the gesture recognition unit to recognize the gesture based finger and palm respective 3D centroid hand the which is the specific site extracted by the specific site extracting unit in the time-series data of the feature quantity as a feature quantity the features.

この発明によれば、前記距離画像センサへ手をかざして手首よりも先の部分でジェスチャーを行うようにして使用するにあたって、前記ジェスチャー認識部におけるジェスチャーの認識性能を向上させることができる。 According to the present invention, when used and to perform gestures in the previous section than the wrist by holding the hand to the range image sensor, it is possible to improve the recognition performance of the gesture in the gesture recognition unit.

請求項6の発明は、請求項1または請求項2の発明において、前記特定部位抽出部は、前記距離画像において最小の距離値となる画素の周囲領域に関して閾値以下となる画素の数が一定値となるように前記閾値を調整して前記距離画像を前記閾値で2値化し、前記閾値以下となる領域を前記特定部位として抽出することを特徴とする。 The invention of claim 6 is the invention of claim 1 or claim 2, wherein the specific site extracting unit number constant value of the pixel equal to or less than the threshold value with respect to the surrounding region of the pixel having the minimum distance value in the distance image binarizing the distance image by adjusting the threshold value in the threshold value such that, and extracts an area equal to or less than the threshold value as said specific site.

この発明によれば、例えば、前記距離画像センサへ手をかざして手首よりも先の部分でジェスチャーを行うようにして使用する場合、人の手の手首よりも先の部分を前記特定部位として安定して抽出することが可能となる。 According to the present invention, for example, when used in to perform gestures in the previous section than the wrist by holding the hand to the range image sensor, stably previous portion than the wrist of the human hand as the specific site and it is possible to extract.

請求項7の発明は、請求項3ないし請求項6の発明において、前記特定部位抽出部は、前記距離画像における入力判定領域についてのみ2値化を行うことを特徴とする。 The invention of claim 7 is the invention of claims 3 to 6, the specific site extracting unit, and performs binarization only the input determination region in the distance image.

この発明によれば、前記距離画像における全画素について2値化を行う場合に比べて、前記特定部位抽出部の処理速度の高速化を図れる。 According to the present invention, as compared with a case where the binarization for all the pixels in the distance image, thereby to speed up the processing speed of the specific site extracting unit.

請求項1の発明では、制御対象機器や制御対象機器の制御用のスイッチなどを設置場所へ行って触れる必要がなくて、しかも、人が何も装着する必要がなくて使い勝手が良く、且つ、検知対象エリアの背景に影響されずに人の特定部位を抽出することが可能となるという効果がある。 In the first aspect of the present invention, the control target equipment and the control target there is no need to switch or the like for the control touch to go to the installation location of the equipment, moreover, good ease of use without the need for human wearing anything, and, there is an effect that it becomes possible to extract a specific portion of the human without being influenced by the background of the detection target area.

(実施形態1) (Embodiment 1)
本実施形態のジェスチャースイッチは、図1に示すような構成であって、検知対象エリアに存在する物体Obまでの距離値を画素値とする距離画像を連続的に生成する距離画像センサDSと、距離画像センサDSで生成された距離画像に基づいて検知対象エリアに存在する人の特定部位を抽出する特定部位抽出部5と、特定部位抽出部5により抽出された特定部位の形状の時系列的なデータに基づいて特定空間内での所定のジェスチャーを認識するジェスチャー認識部6と、ジェスチャー認識部6により認識されたジェスチャーに予め対応付けられた制御出力を制御対象機器(図示せず)へ与える制御部7とを備える。 Gestures switch of the present embodiment, such a structure as shown in FIG. 1, a distance image sensor DS for generating a distance image as a pixel value distance values ​​to the object Ob existing in the detection target area continuously, the distance between the specific site extracting unit 5 for extracting a specific portion of a person present in the detection target area based on the distance image generated by the image sensor DS, chronological shape of the particular part extracted by the specific site extracting unit 5 a gesture recognition unit 6 recognizes the predetermined gesture in a specific space based on such data gives the associated beforehand control outputs the recognized gesture by gesture recognition unit 6 to the control target device (not shown) and a control unit 7. ここにおいて、距離画像センサDSは、例えば、図2(a)に示すように部屋Rの天井131に設置したり、同図(b)に示すように部屋Rの天井131側の角に設置したり、同図(c)に示すように部屋Rの壁132に設置すればよいが、距離画像センサDSの設置場所は特に限定するものではなく、特定部位抽出部5において抽出したい特定部位に応じて適宜決めればよい(特定部位の例については図3を参照して後述する)。 Here, the range image sensor DS, for example, placed on the corner of the ceiling 131 side of the room R as shown in or installed on a ceiling 131 of a room R as shown in FIG. 2 (a), FIG. (B) or, it may be installed on a wall 132 of a room R as shown in FIG. 5 (c), but the distance location of the image sensor DS is not particularly limited, depending on the specific region to be extracted in a specific site extracting unit 5 it may be determined appropriately Te (described later with reference to FIG. 3 for an example of a specific site). なお、図2(a)(b)(c)中の一点鎖線で囲まれた空間Eは距離画像センサDSの検知対象エリアを模式的に示している。 Incidentally, FIG. 2 (a) (b) (c) space E surrounded by a dashed line in is a detection target area of ​​the distance image sensor DS is schematically shown.

距離画像センサDSは、検知対象エリア(対象空間)Eに光を照射する発光源2を備えるとともに、対象空間からの光を受光し受光光量を反映した出力値の電気出力が得られる光検出素子1を備える。 Distance image sensor DS is provided with a light source 2 for irradiating light to the detection target area (target space) E, a light detecting element electrical output of the output value that reflects the amount of received light and receiving light are obtained from the target space equipped with a 1. 対象空間に存在する物体Obまでの距離は、発光源2から対象空間に光が照射されてから物体Obでの反射光が光検出素子1に入射する(到達する)までの時間(「飛行時間」と呼ぶ)によって求める。 Distance to the object Ob to be present in a subject space, the light reflected from the light source 2 on the object Ob from the light to the target space is irradiated is incident on the light detecting element 1 (to reach) to the time ( "time of flight determined by "hereinafter). ただし、飛行時間はナノ秒レベルの非常に短い時間であるから、対象空間に照射する光の強度が一定周期で周期的に変化するように変調した強度変調光を用い、強度変調光を受光したときの位相を用いて飛行時間を求める。 However, the flight time is because it is very short time nanosecond, using the modulated intensity-modulated light so that the intensity of the light to be irradiated on the object space is changed periodically in a fixed cycle, the received intensity-modulated light obtaining time of flight using the phase of the time.

すなわち、図5(a)に示すように、発光源2から空間に放射する光の強度が曲線イのように変化し、光検出素子1で受光した受光光量が曲線ロのように変化するとすれば、位相差ψが飛行時間に相当するから、位相差ψを求めることにより物体Obまでの距離を求めることができる。 That is, as shown in FIG. 5 (a), by the intensity of light radiated into space from the light source 2 is changed as indicated by a curve b, the light receiving amount of light received by the light detecting element 1 changes as shown in curve B if, because the phase difference [psi is equivalent to the flight time, it is possible to determine the distance to the object Ob by obtaining the phase difference [psi. また、位相差ψは、曲線イの複数のタイミングで求めた曲線ロの受光光量を用いて計算することができる。 Further, the phase difference [psi, can be calculated using the amount of light received curve B obtained by the plurality of timing curve b. 例えば、曲線イにおける位相が0度、90度、180度、270度のタイミングで求めた曲線ロの受光光量がそれぞれA0、A1、A2、A3であるとする(受光光量A0、A1、A2、A3を斜線部で示している)。 For example, the phase is 0 degrees in the curve b, 90 degrees, 180 degrees, the amount of light received curve B obtained at the timing of 270 degrees is assumed to be, respectively A0, A1, A2, A3 (received light amount A0, A1, A2, shows the A3 in the shaded area). ただし、各位相における受光光量A0、A1、A2、A3は、瞬時値ではなく所定の時間Twで積算した受光光量を用いる。 However, the amount of received light A0, A1, A2, A3 in each phase, using a light-receiving amount obtained by integrating a predetermined time Tw not the instantaneous value. いま、受光光量A0、A1、A2、A3を求める間に、位相差ψが変化せず(つまり、物体Obまでの距離が変化せず)、かつ物体Obの反射率にも変化がないものとする。 Now, while obtaining the light-receiving amount A0, A1, A2, A3, the phase difference ψ is not changed (that is, does not change the distance to the object Ob), and as there is no change in the reflectivity of the object Ob to. また、発光源2から放射する光の強度を正弦波で変調し、時刻tにおいて光検出素子1で受光される光の強度がA・sin(ωt+δ)+Bで表されるものとする。 Further, the intensity of light emitted from the light source 2 is modulated by a sine wave, the intensity of light received by the light detecting element 1 at the time t is assumed to be represented by A · sin (ωt + δ) + B. ここに、Aは振幅、Bは外光成分、ωは角振動数、δは位相である。 Here, A is the amplitude, B is an external light component, omega is the angular frequency, [delta] is the phase. 光検出素子1で受光する受光光量A0、A1、A2、A3を時間Twの積算値ではなく瞬時値とすれば、受光光量A0、A1、A2、A3は、次のように表すことができる。 If instantaneous values ​​rather than the integrated value of the light-receiving amount A0, A1, A2, A3 the time Tw which is received by the light detecting element 1, light-receiving amount A0, A1, A2, A3 can be expressed as follows.
A0=A・sin(δ)+B A0 = A · sin (δ) + B
A1=A・sin(π/2+δ)+B A1 = A · sin (π / 2 + δ) + B
A2=A・sin(π+δ)+B A2 = A · sin (π + δ) + B
A3=A・sin(3π/2+δ)+B A3 = A · sin (3π / 2 + δ) + B
ここに、δ=−ψであるから、A0=−A・sin(ψ)+B、A1=A・cos(ψ)+B、A2=A・sin(ψ)+B、A3=−A・cos(ψ)+Bであり、結果的に、各受光光量A0、A1、A2、A3と位相差ψとの関係は、次式のようになる。 Here, [delta] = because it is -ψ, A0 = -A · sin (ψ) + B, A1 = A · cos (ψ) + B, A2 = A · sin (ψ) + B, A3 = -A · cos (ψ ) + a B, consequently, the relationship between the received light amount A0, A1, A2, A3 and the phase difference ψ is expressed by the following equation.
ψ=tan −1 {(A2−A0)/(A1−A3)} …(式1) ψ = tan -1 {(A2- A0) / (A1-A3)} ... ( Equation 1)
式1では受光光量A0、A1、A2、A3の瞬時値を用いているが、受光光量A0、A1、A2、A3として時間Twにおける積算値を用いても式1で位相差ψを求めることができる。 While using the instantaneous value of the Formula 1 light-receiving amount A0, A1, A2, A3, it can determine the phase difference ψ in equation 1 even using the integrated value at time Tw as the light receiving amount A0, A1, A2, A3 it can.

上述のように対象空間に照射する光の強度を変調するために、発光源2としては、例えば多数個の発光ダイオードを一平面上に配列したものや半導体レーザと発散レンズとを組み合わせたものなどを用いる。 To modulate the intensity of light irradiated to the target space as described above, as the light source 2, such as a combination of a plurality of light emitting diodes which are arranged on one plane, a semiconductor laser and a divergent lens It is used. また、発光源2は、制御回路部3から出力される所定の変調周波数である変調信号によって駆動され、発光源2から放射される光は変調信号により強度が変調される。 Further, the light emitting source 2 is driven by a modulation signal which is a predetermined modulation frequency output from the control circuit unit 3, the light emitted from the light source 2 intensity is modulated by the modulation signal. 制御回路部3では、例えば20MHzの正弦波で発光源2から放射する光の強度を変調する。 The control circuit unit 3, modulating the intensity of light emitted from the light source 2, for example a sine wave of 20MHz. なお、発光源2から放射する光の強度は正弦波で変調する以外に、三角波、鋸歯状波などで変調してもよく、要するに、一定周期で強度を変調するのであれば、どのような構成を採用してもよい。 The intensity of light emitted from the light source 2 in addition to modulating a sine wave, triangular wave, may be modulated in such a sawtooth wave, short, as long as modulating the intensity at a constant period, any configuration the may be adopted.

光検出素子1は、規則的に配列された複数個の感光部11を備える。 Light detecting element 1 is provided with a plurality of photosensitive portions 11 which are regularly arranged. また、感光部11への光の入射経路には受光光学系8が配置される。 Further, the incident path of light to the photosensitive portion 11 is disposed the light receiving optical system 8. 感光部11は光検出素子1において対象空間からの光が受光光学系8を通して入射する部位であって、感光部11において受光光量に応じた量の電荷を生成する。 Photosensitive portion 11 is a portion in the photodetector element 1 is light from the target space is incident through the light receiving optical system 8, and generates charge of an amount according to the amount of received light at the photosensitive unit 11. また、感光部11は、平面格子の格子点上に配置され、例えば垂直方向(つまり、縦方向)と水平方向(つまり、横方向)とにそれぞれ等間隔で複数個ずつ並べたマトリクス状に配列される。 The photosensitive unit 11 is arranged on lattice points of a plane grating, for example, a vertical direction (i.e., vertical direction) and horizontal direction (i.e., horizontal direction) and in a matrix form in sequence arranged by a plurality at equal intervals It is.

受光光学系8は、光検出素子1から対象空間を見るときの視線方向と各感光部11とを対応付ける。 Receiving optical system 8 associates the viewing direction when viewing the object space from the light detecting element 1 and the exposed portion 11. すなわち、受光光学系8を通して各感光部11に光が入射する範囲を、受光光学系8の中心を頂点とし各感光部11ごとに設定された頂角の小さい円錐状の視野とみなすことができる。 That is, the range in which light in the light-sensitive portion 11 through the light receiving optical system 8 is incident, may be regarded as the vertex center of the light receiving optical system 8 and a small cone-shaped field of the apex angle which is set for each photosensitive unit 11 . したがって、発光源2から放射され対象空間に存在する物体Obで反射された反射光が感光部11に入射すれば、反射光を受光した感光部11の位置により、受光光学系8の光軸を基準方向として物体Obの存在する方向を知ることができる。 Therefore, the reflected light reflected by the object Ob existing in the target space is emitted from the light source 2 when incident on the photosensitive unit 11, the position of the photosensitive unit 11 which receives the reflected light, the optical axis of the light receiving optical system 8 it is possible to know the direction of presence of the object Ob as the reference direction.

受光光学系8は一般に感光部11を配列した平面に光軸を直交させるように配置されるから、受光光学系8の中心を原点とし、感光部11を配列した平面の垂直方向と水平方向と受光光学系8の光軸とを3軸の方向とする直交座標系を設定すれば、対象空間に存在する物体Obの位置を球座標で表したときの角度(いわゆる方位角と仰角)が各感光部11に対応する。 Since being positioned such light receiving optical system 8 is generally perpendicular to the optical axis in a plane having an array of photosensitive part 11, the center of the light receiving optical system 8 as the origin, and the vertical and horizontal planes having an array of photosensitive part 11 by setting the orthogonal coordinate system with the direction of the three axes and the optical axis of the light receiving optical system 8, the angle (a so-called azimuth and elevation) of each when the location of the object Ob existing in the target space expressed in spherical coordinates corresponding to the photosensitive unit 11. なお、受光光学系8は、感光部11を配列した平面に対して光軸が90度以外の角度で交差するように配置することも可能である。 The light receiving optical system 8, it is also possible in which the optical axis is arranged to intersect at an angle other than 90 degrees relative to a plane having an array of photosensitive part 11.

本実施形態では、上述のように、物体Obまでの距離を求めるために、発光源2から対象空間に照射される光の強度変化に同期する4点のタイミングで受光光量A0、A1、A2、A3を求めている。 In the present embodiment, as described above, to determine the distance to the object Ob, the light receiving timing of the four points to synchronize the change in intensity of light irradiated to the object space from the light source 2 light intensity A0, A1, A2, seeking A3. したがって、目的の受光光量A0、A1、A2、A3を得るためのタイミングの制御が必要である。 Therefore, it is necessary to control the timing for obtaining the light-receiving amount A0, A1, A2, A3 of the objective. また、発光源2から対象空間に照射される光の強度変化の1周期において感光部11で発生する電荷の量は少ないから、複数周期に亘って電荷を集積することが望ましい。 Further, since the amount of charges generated in the photosensitive unit 11 in one period of the intensity change of the light irradiated to the object space from the light source 2 is small, it is desirable to integrate the charge over a plurality of cycles. そこで、図1のように各感光部11で発生した電荷をそれぞれ集積する複数個の電荷集積部13を設けるとともに、各感光部11において利用できる電荷を生成する領域の面積を変化させることにより各感光部11の感度をそれぞれ調節する複数個の感度制御部12を設けている。 Therefore, it provided with a plurality of charge accumulation portion 13 to accumulate respective charges generated in the photosensitive portion 11 as shown in FIG. 1, each by varying the area of ​​the region that generates charges available in the photosensitive unit 11 a plurality of sensitivity control unit 12 for adjusting the sensitivity of the photosensitive portion 11 respectively are provided.

各感度制御部12では、感度制御部12に対応する感光部11の感度を上述した4点のうちのいずれかのタイミングで高め、感度が高められた感光部11では当該タイミングの受光光量A0、A1、A2、A3に対応する電荷を主として生成するから、当該受光光量A0、A1、A2、A3に対応する電荷を当該感光部11に対応する電荷集積部13に集積させることができる。 Each sensitivity control unit 12, the sensitivity control unit 12 to be higher at any timing out of the four points mentioned above the sensitivity of the photosensitive portion 11 corresponding light receiving amount of the light-sensitive portion 11 sensitivity is increased the timing A0, since mainly generate charges corresponding to A1, A2, A3, it is possible to integrate charge corresponding to the received light amount A0, A1, A2, A3 in the charge accumulation portion 13 corresponding to the photosensitive unit 11.

ところで、感度制御部12は感光部11において利用できる電荷を生成する領域の面積(実質的な受光面積)を変化させることにより各期間の電荷の生成量を変化させるものであるから、電荷集積部13に集積された電荷は必ずしも受光光量A0、A1、A2、A3が得られる期間に生成された電荷だけではなく、他の期間に生成された電荷も混入することになる。 Incidentally, since the sensitivity control unit 12 is used to vary the generation amount of charge of each period by changing the area of ​​the region that generates charges available in the photosensitive section 11 (substantial light receiving area), the charge accumulation unit charges accumulated in 13 is not necessarily only the charge quantity of received light A0, A1, A2, A3 are generated in the period obtained, also to mixed charges generated in other periods. いま、感度制御部12において、受光光量A0、A1、A2、A3に対応した電荷を生成する期間の感度をα、それ以外の期間の感度をβとし、感光部11は受光光量に比例する電荷を生成するものとする。 Now, the sensitivity control unit 12, the sensitivity of the period for generating a charge corresponding to received light amount A0, A1, A2, A3 alpha, and the sensitivity of the period other than that and beta, the photosensitive unit 11 is proportional to the amount of received light charge It shall be generated. この条件では、受光光量A0に対応した電荷を集積する電荷集積部13には、αA0+β(A1+A2+A3)+βAx(Axは受光光量A0、A1、A2、A3が得られる期間以外の受光光量)に比例する電荷が蓄積され、受光光量A2に対応した電荷を集積する電荷集積部13には、αA2+β(A0+A1+A3)+βAxに比例する電荷が蓄積される。 In this condition, the charge integration unit 13 for integrating charges corresponding to the amount of received light A0 is, αA0 + β (A1 + A2 + A3) + βAx (Ax is the amount of light received during other periods of the light-receiving amount A0, A1, A2, A3 are obtained) is proportional to charges are accumulated, the charge accumulation section 13 for accumulating charge corresponding to received light amount A2 may, αA2 + β (A0 + A1 + A3) + βAx proportional to charge is accumulated. 上述したように、位相差ψを求める際には(A2−A0)を求めており、A2−A0=(α−β)(A2−A0)になり、同様にしてA1−A3=(α−β)(A1−A3)になるから、(A2−A0)/(A1−A3)は電荷の混入の有無によらず理論上は同じ値になるのであって、電荷が混入しても求める位相差ψは同じ値になる。 As described above, when obtaining the phase difference ψ is sought (A2-A0), it becomes A2-A0 = (α-β) (A2-A0), A1-A3 = similarly (alpha- since becomes β) (A1-A3), (A2-A0) / (A1-A3) is a than would theoretically the same value regardless of the presence or absence of contamination of the charge, position obtaining even charge is mixed phase difference ψ is the same value.

感光部11と感度制御部12と電荷集積部13とを備える光検出素子1は1つの半導体装置として構成され、光検出素子1には電荷集積部13に集積された電荷を半導体装置の外部に取り出すために電荷取出部14が設けられる。 Light detecting element 1 having the photosensitive portion 11 and the sensitivity control unit 12 and the charge accumulating portion 13 is configured as a single semiconductor device, to the outside of the semiconductor device charges integrated in the charge accumulation portion 13 to the light detecting element 1 charge take-out portion 14 is provided to retrieve. 電荷取出部14はCCDイメージセンサにおける垂直転送部および水平転送部と同様の構成を有する。 Charge take-out portion 14 has the same structure as the vertical transfer portion and the horizontal transfer section in a CCD image sensor.

上述したように各感光部11では受光光量に応じた量の電荷を生成するから、上述した各受光光量A0、A1、A2、A3は物体Obの明るさを反映している。 Because generates charge of an amount according to the amount of received light in each of the photosensitive portions 11 as described above, the light receiving amount A0, A1, A2, A3 described above reflects the brightness of the object Ob. つまり、受光光量A0、A1、A2、A3の加算値あるいは平均値は濃淡画像における濃度値に相当する。 That is, the addition value or average value of the received light amount A0, A1, A2, A3 corresponds to the density value of the gray image. 換言すれば、各感光部11での受光光量A0、A1、A2、A3から物体Obまでの距離を求めるほか、物体Obの濃度値も得ることが可能になる。 In other words, in addition to determining the distance from the light-receiving amount A0, A1, A2, A3 in each photosensitive unit 11 to the object Ob, it is possible to obtain also the concentration value of the object Ob. しかも、同じ位置の感光部11を用いて物体Obの距離と濃度値とを求めるから、同じ位置について濃度値と距離との両方の情報を得ることが可能になる。 Moreover, since obtaining the distance and the density value of the object Ob using a photosensitive portion 11 of the same position, it is possible to obtain both the information of the density value and the distance for the same location.

電荷取出部14から取り出された電荷は画像生成部4に画像信号として与えられ、画像生成部4において対象空間内の物体Obまでの距離が上述した式1を用いて受光光量A0、A1、A2、A3から算出される。 Charge take-out portion 14 charges taken out from given as an image signal to the image generation unit 4, the distance to the object Ob in the target space in the image generation unit 4 by using the equation 1 above the amount of received light A0, A1, A2 , it is calculated from A3. すなわち、画像生成部4では各感光部11に対応した各方向における物体Obまでの距離が算出され、対象空間の三次元情報が算出される。 That is, the distance to the object Ob in the direction corresponding to the photosensitive portion 11, the image generation unit 4 is calculated, the three-dimensional information of the target space is calculated. この三次元情報を用いると、対象空間の各方向に一致する画素の画素値が距離値である距離画像を生成することができる。 With this three-dimensional information may be pixel values ​​of the pixels match each direction of the target space to generate a range image is a distance value. また、画像生成部4では各感光部11で得られた濃度値に基づいて対象空間の濃淡画像を生成する。 Further, to produce a gray-scale image of the object space based on the concentration values ​​obtained with each photosensitive portion 11, the image generation unit 4. すなわち、画像生成部4は濃淡画像と距離画像とを生成する。 That is, the image generation unit 4 generates a grayscale image and the distance image. なお、濃淡画像は受光光量A0、A1、A2、A3の平均値を濃淡値に用いるようにすれば、発光源2からの光の影響を除去できる。 Incidentally, grayscale image is the joint use of such an average value of the received light amount A0, A1, A2, A3 in gray values, can eliminate the influence of light from the light source 2.

この構成によって、光検出素子1に設けた感光部11での受光光量A0、A1、A2、A3から対象空間の濃淡値と距離値とを求めることができ、ほぼ同時刻の濃淡画像と距離画像とを得ることができる。 This configuration, an amount of light received photosensitive portion 11 provided on the light detecting element 1 A0, A1, A2, A3 from can seek the density value and the distance value of the target space, grayscale image and the distance image of approximately the same time it is possible to obtain the door. しかも濃淡画像と距離画像との各画素は対象空間の同じ方向の情報を持つから、濃淡画像と距離画像とから得られる情報を併せて用いることにより、濃淡画像のみを用いる場合よりも対象空間に関して多くの情報を得ることができる。 Moreover since each pixel of the grayscale image and the distance image having the same direction of the information of the target space, by using in combination the information obtained from the grayscale image and the distance image, with respect to the object space than when using only gray image You can get more information.

以下に光検出素子1の具体的構造例を説明する。 Illustrating a specific structural example of the light detecting element 1 below. 図6に示す光検出素子1は、複数個(例えば、100×100個)の感光部11をマトリクス状に配列したものであって、1枚の半導体基板上に形成される。 Light detecting element 1 shown in FIG. 6, a plurality (e.g., 100 100 ×) of the photosensitive portion 11 of a which was arranged in a matrix, are formed on a single semiconductor substrate. 感光部11のうち垂直方向の各列では一体に連続する半導体層21を共用するとともに半導体層21を垂直方向への電荷(本実施形態では、電子を用いる)の転送経路として用い、さらに各列の半導体層21の一端から電荷を受け取って水平方向に電荷を転送するCCDである水平転送部Th(図7参照)を半導体基板に設ける構成を採用することができる。 (In the present embodiment, using electron) charges of the semiconductor layer 21 in the vertical direction with sharing the semiconductor layer 21 to be integrally continuous in each column in the vertical direction of the photosensitive portion 11 used as the transfer path, and each column it can receive from one end of the semiconductor layer 21 charges to adopt a configuration in which the horizontal transfer section Th is a CCD for transferring charges in the horizontal direction (see FIG. 7) on the semiconductor substrate.

すなわち、図7に示すように、半導体層21が感光部11と電荷の転送経路とに兼用された構造であって、フレーム・トランスファ(FT)方式のCCDイメージセンサと類似した構造になる。 That is, as shown in FIG. 7, a structure in which the semiconductor layer 21 is also used as a transfer path of the charge and the photosensitive portion 11, the structure similar to the CCD image sensor of the frame transfer (FT) method. また、FT方式のCCDイメージセンサと同様に、感光部11を配列した撮像領域Daに隣接して遮光された蓄積領域Dbを設けてあり、蓄積領域Dbに蓄積した電荷を水平転送部Thに転送する。 Similar to the CCD image sensor of the FT type, is provided with a storage region Db which is shielded adjacent the imaging region Da having an array of photosensitive part 11, charges accumulated in the accumulation region Db to the horizontal transfer unit Th Transfer to. 撮像領域Daから蓄積領域Dbへの電荷の転送は垂直ブランキング期間に一気に行い、水平転送部Thでは1水平期間に1水平ライン分の電荷を転送する。 Transfer of charge from the imaging region Da to the storage area Db is performed once in a vertical blanking period, and transfers the one horizontal line of the charge to one horizontal period in the horizontal transfer unit Th. 図1に示した電荷取出部14は、半導体層21における垂直方向への電荷の転送経路としての機能とともに水平転送部Thを含む機能を表している。 Charge take-out portion 14 shown in FIG. 1 represents a function that includes a horizontal transfer unit Th together function as a transfer path for electric charges in the vertical direction in the semiconductor layer 21. ただし、電荷集積部13は蓄積領域Dbを意味するのではなく、撮像領域Daにおいて電荷を集積する機能を表している。 However, the charge accumulation unit 13 does not mean storage area Db, represent the function of the integrated charge in the imaging area Da. 言い換えると、蓄積領域Dbは電荷取出部14に含まれる。 In other words, the storage region Db is contained in the charge take-out portion 14.

半導体層21は不純物が添加してあり、半導体層21の主表面は酸化膜からなる絶縁膜22により覆われ、半導体層21に絶縁膜22を介して複数個の制御電極23を配置している。 The semiconductor layer 21 Yes added impurities, the main surface of the semiconductor layer 21 is covered with an insulating film 22 made of oxide film, are arranged a plurality of control electrode 23 through the insulating film 22 on the semiconductor layer 21 . この光検出素子1はMIS素子として知られた構造であるが、1個の光検出素子1として機能する領域に複数個(図示例では5個)の制御電極23を備える点が通常のMIS素子とは異なる。 This light detecting element 1 is a structure known as a MIS device, one of ordinary MIS device that includes a control electrode 23 of the plurality in a region functioning as a light detecting element 1 (five in the illustrated example) different from the. 絶縁膜22および制御電極23は発光源2から対象空間に照射される光と同波長の光が透過するように材料が選択され、絶縁膜22を通して半導体層21に光が入射すると、半導体層21の内部に電荷が生成される。 Insulating film 22 and the control electrode 23 is selected material so that the light of the light with the same wavelength to be irradiated on the object space from the light source 2 is transmitted is when the semiconductor layer 21 is the light incident thereon through the insulating film 22, semiconductor layer 21 inside the charge of is generated. 図示例の半導体層21の導電形はn形であり、光の照射により生成される電荷として電子eを利用する。 Conductivity type semiconductor layer 21 in the illustrated embodiment is an n-type, use electronic e as the charge generated by light irradiation. 図6は1個の感光部11に対応する領域のみを示したものであり、半導体基板(図示せず)には上述したように図6の構造を持つ領域が複数個配列されるとともに電荷取出部14となる構造が設けられる。 Figure 6 is an illustration only areas corresponding to one photosensitive unit 11, a semiconductor substrate a charge with a region in the (not shown) having the structure of FIG. 6 as described above is a plurality arranged takeout structure is provided as a part 14. 電荷取出部14として設ける垂直転送部は、図6の左右方向に電荷を転送することを想定しているが、図6の面に直交する方向に電荷を転送する構成を採用することも可能である。 Vertical transfer section provided as a charge take-out portion 14, it is assumed that the transfer charges in the horizontal direction of FIG. 6, it is also possible to employ a structure for transferring charges in a direction perpendicular to the plane of FIG. 6 is there. また、電荷を図6の左右方向に転送する場合には、制御電極23の左右方向の幅寸法を1μm程度に設定するのが望ましい。 Also, when transferring charges in the horizontal direction of FIG. 6, the width in the lateral direction of the control electrode 23 desirably set to about 1 [mu] m.

この構造の光検出素子1では、制御電極23に正の制御電圧+Vを印加すると、半導体層21には制御電極23に対応する部位に電子eを集積するポテンシャル井戸(空乏層)24が形成される。 In the light detecting element 1 of this structure, when applying a positive control voltage + V to the control electrode 23, the potential well (depletion layer) 24 for integrating electrons e are formed at positions corresponding to the control electrode 23 in the semiconductor layer 21 that. つまり、半導体層21にポテンシャル井戸24を形成するように制御電極23に制御電圧を印加した状態で光が半導体層21に照射されると、ポテンシャル井戸24の近傍で生成された電子eの一部はポテンシャル井戸24に捕獲されてポテンシャル井戸24に集積され、残りの電子eは半導体層21の深部でのホールとの再結合により消滅する。 In other words, when light is irradiated to the semiconductor layer 21 in a state where the control voltage is applied to the control electrode 23 so as to form a potential well 24 in the semiconductor layer 21, some of the electrons e generated in the vicinity of the potential well 24 is integrated in the potential well 24 is trapped in the potential well 24, the remainder of the electrons e to disappear by recombination with holes in the deep portion of the semiconductor layer 21. また、ポテンシャル井戸24から離れた場所で生成された電子eも半導体層21の深部でのホールとの再結合により消滅する。 Also, electrons e generated at a location remote from the potential well 24 disappear by recombination with holes in the deep portion of the semiconductor layer 21.

ポテンシャル井戸24は制御電圧を印加した制御電極23に対応する部位に形成されるから、制御電圧を印加する制御電極23の個数を変化させることによって、半導体層21の主表面に沿ったポテンシャル井戸24の面積(言い換えると、受光面において利用できる電荷を生成する領域の面積)を変化させることができる。 Because the potential well 24 is formed at a portion corresponding to the control electrode 23 by applying a control voltage, by varying the number of control electrode 23 for applying a control voltage, the potential well along the main surface of the semiconductor layer 21 24 (in other words, the area of ​​the region that generates charges available in the light-receiving surface) of the area can be changed. つまり、制御電圧を印加する制御電極23の個数を変化させることは感度制御部12における感度の調節を意味する。 In other words, varying the number of control electrode 23 for applying a control voltage means adjusting the sensitivity of the sensitivity control unit 12. 例えば、図6(a)のように3個の制御電極23に制御電圧+Vを印加する場合と、図6(b)のように1個の制御電極23に制御電圧+Vを印加する場合とでは、ポテンシャル井戸24が受光面に占める面積が変化するのであって、図6(a)の状態のほうがポテンシャル井戸24の面積が大きいから、図6(b)の状態に比較して同光量に対して利用できる電荷の割合が多くなり、実質的に感光部11の感度を高めたことになる。 For example, in the case of applying a control voltage + V to the three control electrodes 23 as shown in FIG. 6 (a), in the case of applying a control voltage + V to one of the control electrodes 23 as shown in FIG. 6 (b) , there is to change the area of ​​the potential well 24 is occupied on a light receiving surface, since a large area of ​​the potential well 24 towards the state of FIG. 6 (a), with respect to the amount of light in comparison to the state of FIG. 6 (b) the proportion of the charge that can use this in is increased, so that the increased sensitivity of the substantially exposed portion 11. このように、感光部11および感度制御部12は半導体層21と絶縁膜22と制御電極23とにより構成されていると言える。 Thus, the photosensitive portion 11 and the sensitivity control unit 12 is said to be composed of the semiconductor layer 21 and the insulating film 22 and the control electrode 23. ポテンシャル井戸24は光照射により生成された電荷を保持するから電荷集積部13として機能する。 Potential well 24 functions as a charge accumulation portion 13 from retaining an electric charge generated by light irradiation.

ポテンシャル井戸24から電荷を取り出すには、FT方式のCCDと同様の技術を採用すればよく、ポテンシャル井戸24に電子eが集積された後に、電荷の集積時とは異なる印加パターンの制御電圧を制御電極23に印加することによってポテンシャル井戸24に集積された電子eを一方向(例えば、図6の右方向)に転送することができる。 To retrieve the charge from the potential well 24, may be employed techniques similar to CCD of FT method, after the electrons e are integrated in the potential well 24, controls the control voltage of different applied patterns that during accumulation of charge the electrons e are integrated in the potential well 24 by applying to the electrodes 23 in one direction (e.g., rightward in FIG. 6) can be transferred to. つまり、半導体層21をCCDの垂直転送部と同様に電荷の転送経路に用いることができる。 In other words, it is possible to use a semiconductor layer 21 on the transfer path of the CCD of the same charge as the vertical transfer portion. さらに、電荷は図7に示した水平転送部Thを転送され、半導体基板に設けた図示しない電極から光検出素子1の外部に取り出される。 Moreover, charges are transferred to the horizontal transfer unit Th shown in FIG. 7, it is taken out from the electrodes (not shown) provided on the semiconductor substrate to the outside of the light detecting element 1. 要するに、制御電極23への制御電圧の印加パターンを制御することにより、各感光部11ごとの感度を制御するとともに、光照射により生成された電荷を集積し、さらに集積された電荷を転送することができる。 In short, by controlling the application pattern of the control voltage to the control electrode 23, that controls the sensitivity of each photosensitive unit 11, are integrated charge generated by light irradiation, and transfers the further integrated charge can.

本実施形態における感度制御部12は、利用できる電荷を生成する領域の面積を大小2段階に切り換えることにより感光部11の感度を高低2段階に切り換えるのであって、受光光量A0、A1、A2、A3のいずれかに対応する電荷を感光部11で生成しようとする期間にのみ高感度とし(電荷を生成する領域の面積を大きくし)、他の期間には低感度にする。 Sensitivity control unit 12 in the present embodiment, the sensitivity of the photosensitive portion 11 a than switching to high and low two stages by switching the area of ​​the region for generating the available charge in the large and small stages, the quantity of received light A0, A1, A2, the charges corresponding to one of A3 and sensitive only to the period to be generated by the photosensitive unit 11 (to increase the area of ​​the region that generates charges), the other periods to low sensitivity. 高感度にする期間と低感度にする期間とは、発光源2を駆動する変調信号に同期させて設定される。 The period of the time and low sensitivity to high sensitivity, is set in synchronization with the modulation signal for driving the light source 2. また、変調信号の複数周期に亘ってポテンシャル井戸24に電荷を集積した後に電荷取出部14を通して光検出素子1の外部に電荷を取り出すようにしている。 Also, derived is a charge to the outside of the light detecting element 1 through the charge take-out portion 14 after the integrated charge in the potential well 24 over a plurality of cycles of the modulation signal. 変調信号の複数周期に亘って電荷を集積しているのは、変調信号の1周期内では感光部11が利用可能な電荷を生成する期間が短く(例えば、変調信号の周波数を20MHzとすれば50nsの4分の1以下)、生成される電荷が少ないからである。 The over a plurality of cycles of the modulation signal are integrated charge, within one period of the modulation signal short period to produce the available photosensitive unit 11 is a charge (e.g., if the frequency of the modulated signal and 20MHz 50 ns 1 less than a quarter of), since charges generated is small. つまり、変調信号の複数周期分の電荷を集積することにより、信号電荷(発光源2から照射された光に対応する電荷)と雑音電荷(外光成分および光検出素子1の内部で発生するショットノイズに対応する電荷)との比を大きくとることができ、大きなSN比が得られる。 In other words, shot by integrating a plurality of periods of the charge of the modulated signal, which is generated inside the signal charges (light source 2 charges corresponding to light irradiated from) the noise charge (external light component and the light detecting element 1 It can be made larger the ratio of the charge) corresponding to the noise, a large SN ratio.

ところで、位相差ψを求めるのに必要な4種類の受光光量A0、A1、A2、A3に対応する電荷を1個の感光部11で生成するとすれば、視線方向に関する分解能は高くなるが、各受光光量A0、A1、A2、A3に対応する電荷を求める時間差が大きくなるという問題が生じる。 Meanwhile, if the electric charge corresponding to the four kinds of the light-receiving amount A0, A1, A2, A3 necessary for obtaining a phase difference ψ to produce a single photosensitive portion 11, but the resolution is high regarding gaze direction, each problem that the time difference to determine a charge corresponding to the amount of received light A0, A1, A2, A3 becomes large. 一方、各受光光量A0、A1、A2、A3に対応する電荷を4個の感光部11でそれぞれ生成するとすれば、各受光光量A0、A1、A2、A3に対応する電荷を求める時間差は小さくなるが、4種類の電荷を求める視線方向にずれが生じ視線方向に関する分解能は低下する。 On the other hand, if each generate a charge corresponding to the respective received light amount A0, A1, A2, A3 in four photosensitive portion 11, smaller time difference to determine a charge corresponding to the respective received light amount A0, A1, A2, A3 but resolution is reduced about viewing direction deviation occurs in the viewing direction for obtaining four types of charges. そこで、本実施形態では、2個の感光部11を用いることにより、変調信号の1周期内で受光光量A0、A1、A2、A3に対応する電荷を2種類ずつ生成する構成を採用している。 Therefore, in this embodiment, by using the two photosensitive portions 11 adopts a configuration for generating two by two kinds of charges corresponding to the received light amount A0, A1, A2, A3 in one period of the modulation signal . つまり、2個の感光部11を組にして用い、組になる2個の感光部11に同じ視線方向からの光が入射するようにしている。 That is, used in the two photosensitive portions 11 in the set, the light from the same viewing direction into two photosensitive portions 11 to be set so that incident.

上述の構成を採用することにより、視線方向の分解能を比較的高くし、かつ受光光量A0、A1、A2、A3に対応する電荷を生成する時間差を少なくすることができる。 By adopting the above configuration, relatively high resolution viewing direction, and the light-receiving amount A0, A1, A2, the charges corresponding to A3 can be reduced a time difference to be generated. つまり、受光光量A0、A1、A2、A3に対応する電荷を生成する時間差を少なくしていることにより、対象空間の中で移動している物体Obについても距離の検出精度を比較的高く保つことができる。 That is, by being less time difference for generating a charge corresponding to the amount of received light A0, A1, A2, A3, relatively high Keeping the detection accuracy of the distance also object Ob which is moving in the target space can. なお、本実施形態の構成では、1個の感光部11で4種類の受光光量A0、A1、A2、A3に対応する電荷を生成する場合よりも視線方向の分解能が低下するが、視線方向の分解能については感光部11の小型化や受光光学系8の設計によって向上させることが可能である。 In the configuration of this embodiment, the resolution of the viewing direction than the case of generating one photosensitive unit 11 with four light-receiving amount A0, A1, A2, A3 corresponding to the charge is reduced, the viewing direction the resolution can be enhanced by the design of compact and light-receiving optical system 8 of the photosensitive portion 11.

以下に動作を具体的に説明する。 Specifically describing the operation below. 図6に示した例では、1個の感光部11について5個の制御電極23を設けた例を示しているが、両側の2個の制御電極23は、感光部11で電荷(電子e)を生成している間に隣接する感光部11に電荷が流出するのを防止するためのポテンシャルの障壁を形成するものであって、2個の感光部11を組にして用いる場合には隣接する感光部11のポテンシャル井戸24の間には、いずれかの感光部11で障壁が形成されるから、各感光部11には3個ずつの制御電極23を設けるだけで足りることになる。 In the example shown in FIG. 6, there is shown an example in which the one photosensitive unit 11 five control electrodes 23, on both sides of the two control electrodes 23, the charge in the photosensitive section 11 (electronic e) be one charge the photosensitive portion 11 adjacent to form a potential barrier to prevent the outflow while generating, adjacent when used in the two photosensitive portions 11 in the set between the potential well 24 of the photosensitive unit 11, since the barrier in either of the photosensitive portion 11 is formed, so that it is only necessary provision of the control electrode 23 of triplicate on each photosensitive unit 11. この構成によって、感光部11の1個当たりの占有面積が小さくなり、2個の感光部11を組にして用いながらも視線方向の分解能の低下を抑制することが可能になる。 This configuration, the area occupied per one of the photosensitive portion 11 is reduced, it becomes possible to suppress a decrease in the viewing direction of resolution while using to two photosensitive portions 11 in pairs.

ここでは、図8に示すように、組にした2個の感光部11にそれぞれ設けた3個ずつの制御電極23を区別するために各制御電極23に(1)〜(6)の数字を付す。 Here, as shown in FIG. 8, each control electrode 23 in order to distinguish the control electrode 23 of triplicate provided respectively on the two photosensitive portions 11 was set numbers (1) to (6) subjecting. (1)〜(6)の数字を付与した制御電極23を有する2個の感光部11は、1つの視線方向に対応しておりイメージセンサにおける画素を構成する。 (1) two photosensitive portions 11 having a control electrode 23 which has been applied a number of - (6) constitutes a pixel in the image sensor corresponds to one of the viewing direction. なお、1画素ずつの感光部11に対応付けて、それぞれオーバフロードレインを設けるのが望ましい。 Incidentally, in association with the photosensitive portion 11 of one pixel, that respectively provide an overflow drain desired.

図8(a)(b)はそれぞれ制御電極23に異なる印加パターンで制御電圧+Vを印加した状態(半導体基板に設けた図示しない基板電極と制御電極23との間に制御電圧+Vを印加した状態)を示しており、ポテンシャル井戸24の形状からわかるように、図8(a)では1画素となる2個の感光部11のうち制御電極(1)〜(3)に正の制御電圧+Vを印加するとともに、残りの制御電極(4)〜(6)のうちの中央の制御電極(5)に正の制御電圧+Vを印加している。 Figure 8 (a) (b) is a state of applying a control voltage + V between each control electrode 23 in a state of applying a control voltage + V at different applied patterns (substrate electrode (not shown) provided on the semiconductor substrate and the control electrode 23 ) shows a, as can be seen from the shape of the potential well 24, a positive control voltage + V to the control electrode (1) to (3) of the two photosensitive portions 11 to be 1 pixel in FIG. 8 (a) with applied, and applying a positive control voltage + V to the central control electrode of the remaining control electrode (4) to (6) (5). また、図8(b)では制御電極(1)〜(3)のうちの中央の制御電極(2)に正の制御電圧+Vを印加するとともに、残りの制御電極(4)〜(6)に正の制御電圧+Vを印加している。 Also, with applying a positive control voltage + V to the central control electrode (2) of shown in FIG. 8 (b) the control electrode (1) to (3), the remaining control electrode (4) to (6) It applies a positive control voltage + V. つまり、1画素を構成する2個の感光部11に印加する制御電圧+Vの印加パターンを交互に入れ換えている。 That is, it interchanged application pattern of the control voltage + V applied to the two photosensitive portions 11 constituting one pixel alternately. 2個の感光部11に印加する制御電圧+Vの印加パターンを入れ換えるタイミングは、変調信号における逆位相の(位相が180度異なる)タイミングになる。 Timing interchanging application pattern of the control voltage + V applied to the two photosensitive portions 11 of the opposite phase in the modulation signal becomes (a phase difference of 180 degrees) timing. なお、各感光部11に設けた3個の制御電極23に同時に制御電圧+Vを印加している期間以外は、各感光部11に設けた中央部の1個の制御電極23(つまり、制御電極(2)(5))にのみ制御電圧+Vを印加し、他の制御電極23は0Vに保つ状態とする。 Each photosensitive unit except period in which application of a control voltage + V at the same time three control electrodes 23 provided in the 11, one control electrode 23 of the central portion provided in the photosensitive unit 11 (i.e., the control electrode (2) (5)) only by applying a control voltage + V to the other control electrode 23 is a state kept at 0V.

例えば、1画素を構成する2個の感光部11において受光光量A0、A2に対応する電荷を交互に生成する場合は、図5のように、一方の感光部11で受光光量A0に対応する電荷を生成するために3個の制御電極(1)〜(3)に制御電圧+Vを印加している間に、他方の感光部11では受光光量A2に対応する電荷を保持するために1個の制御電極(5)にのみ制御電圧+Vを印加する。 For example, when generating a charge corresponding to the amount of received light A0, A2 in the two photosensitive portions 11 constituting one pixel alternately, as in FIG. 5, the charge corresponding to the amount of received light A0 at one of the photosensitive portion 11 during the application of the control voltage + V to the three control electrodes (1) to (3) in order to generate, one to hold the other of the photosensitive portion 11, electric charge corresponding to the amount of received light A2 only the control electrode (5) for applying a control voltage + V. 同様にして、一方の感光部11で受光光量A2に対応する電荷を生成するために3個の制御電極(4)〜(6)に制御電圧+Vを印加している間には、他方の感光部11では受光光量A0に対応する電荷を保持するために1個の制御電極(2)にのみ制御電圧+Vを印加する。 Similarly, between the application of the one photosensitive unit 11 three control electrodes (4) to produce a charge corresponding to the amount of received light A2 to (6) to the control voltage + V, while the photosensitive only applying a control voltage + V to one of the control electrodes to hold charges corresponding to part 11 in the light receiving amount A0 (2). また、受光光量A0、A2に対応する電荷を生成する期間以外では制御電極(2)(5)にのみ制御電圧+Vを印加する。 Further, other than the period for generating a charge corresponding to the amount of received light A0, A2 applies only the control voltage + V to the control electrode (2) (5). 図5(b)(c)に受光光量A0、A2に対応する電荷を蓄積する際の各制御電極(1)〜(6)に対する制御電圧+Vの印加のタイミングを示す。 FIG 5 (b) (c) to the amount of received light A0, the control electrode at the time of accumulating charges corresponding to A2 (1) shows the timing of the application of the control voltage + V with respect to (6). 図5(b)(c)において斜線部が制御電圧+Vを印加している状態を示し、空白部が制御電極(1)〜(6)に電圧を印加していない状態を示している。 Figure in 5 (b) (c) shows a state in which the hatched portion is applied a control voltage + V, and shows a state in which a blank portion is not applying a voltage to the control electrode (1) to (6).

1画素を構成する2個の感光部11において受光光量A1、A3に対応する電荷を生成する場合も同様であって、受光光量A0、A2に対応する電荷を生成する場合とは制御電極23に制御電圧+Vを印加するタイミングが、変調信号の位相における90度異なる点が相違するだけである。 A similar case of generating a charge corresponding to the amount of received light A1, A3 in the two photosensitive portions 11 constituting one pixel, the control electrode 23 and the case of generating a charge corresponding to the amount of received light A0, A2 timing of applying the control voltage + V is only 90 degrees different from the phase of the modulation signal are different. また、受光光量A0、A1に対応する電荷を生成する期間と、受光光量A1、A3に対応する電荷を生成する期間との間で撮像領域Daから蓄積領域Dbに電荷を転送する。 Moreover, transfers and duration to generate a charge corresponding to the amount of received light A0, A1, a charge storage region Db from the imaging area Da between the period for generating a charge corresponding to the amount of received light A1, A3. つまり、受光光量A0に対応する電荷が制御電極(1)〜(3)に対応するポテンシャル井戸24に蓄積されるとともに、受光光量A2に対応する電荷が制御電極(4)〜(6)に対応するポテンシャル井戸24に蓄積されると、これらの受光光量A0、A2に対応する電荷を外部に取り出す。 In other words, corresponding to together are accumulated in the potential well 24 corresponding to the charge control electrodes corresponding to the amount of received light A0 (1) - (3), electric charges corresponding to the amount of received light A2 control electrode (4) to (6) Once stored in the potential well 24 which, taking out these charges corresponding to the received light amount A0, A2 to the outside. 次に、受光光量A1に対応する電荷が制御電極(1)〜(3)に対応するポテンシャル井戸24に蓄積されるとともに、受光光量A3に対応する電荷が制御電極(4)〜(6)に対応するポテンシャル井戸24に蓄積されると、これらの受光光量A1、A3に対応する電荷を外部に取り出す。 Then, while being accumulated in the potential well 24 corresponding to the charge control electrodes corresponding to the amount of received light A1 (1) ~ (3), the charge control electrodes corresponding to the amount of received light A3 (4) ~ (6) Once stored in the corresponding potential well 24, take out these charges corresponding to the amount of received light A1, A3 to outside. このような動作を繰り返すことによって、4区間の受光光量A0、A1、A2、A3に対応する電荷を2回の読出動作で光出力素子1の外部に取り出すことができ、取り出した電荷を用いて位相差ψを求めることが可能になる。 By repeating this operation, four sections received light quantity A0, A1, A2, can be taken out of the light output device 1 charges corresponding to A3 in two read operation, by using the charge taken out it is possible to determine the phase difference [psi. なお、例えば30フレーム毎秒の画像を得るためには、受光光量A0、A2に対応する電荷を生成する期間と受光光量A1、A3に対応する電荷を生成する期間とは60分の1秒よりも短い期間とする。 Incidentally, for example, in order to obtain an image of 30 frames per second, the amount of received light A0, A2 period and the amount of received light to generate a corresponding charge to A1, than 1/60 second as a period for generating charges corresponding to A3 a short period of time.

上述の例では3個の制御電極23((1)〜(3)または(4)〜(6))に同時に印加する制御電圧と、1個の制御電極23((2)または(5))にのみ印加する制御電圧とを等しくしているから、ポテンシャル井戸24の面積は変化するもののポテンシャル井戸24の深さは等しくなっている。 In the above example three control electrodes 23 and the control voltage applied ((1) to (3) or (4) - (6)) at the same time, one of the control electrodes 23 ((2) or (5)) since only have equal to the control voltage applied to, the area of ​​the potential well 24 the depth of the potential well 24 of those changes are equal. この場合、制御電圧を印加していない制御電極23((1)(3)または(4)(6))において生成された電荷は、同程度の確率でポテンシャル井戸24に流れ込む。 In this case, electric charge generated in the control voltage the control electrode 23 is not applied ((1) (3) or (4) (6)) flows into the potential well 24 at comparable probability. つまり、感光部11を構成する3個の制御電極23のうちの1個にのみ制御電圧+Vを印加することによって電荷集積部13として機能している領域と、3個の制御電極23のすべてに制御電圧+Vを印加している領域との両方に同程度の量の電荷が流れ込む。 In other words, a region functioning as a charge accumulation portion 13 by applying only the control voltage + V to one of the three control electrodes 23 constituting the photosensitive unit 11, to all three control electrodes 23 comparable amount of charge both in the area the application of the control voltage + V flows. つまり、電荷を保持しているポテンシャル井戸24に流れ込む雑音成分が比較的多いものであるから、ダイナミックレンジを低下させる原因になる。 That is, since noise components flowing into the potential well 24 that holds the electric charge is relatively large, causing to lower the dynamic range.

そこで、図9のように、小面積のポテンシャル井戸24の深さを大面積のポテンシャル井戸24の深さよりも小さく設定するのが望ましく、組になる2個の感光部11に設けた各3個の制御電極(1)〜(3)または(4)〜(6)に同時に印加する制御電圧が、1個の制御電極(2)または(5)にのみ印加する制御電圧よりも高くなるように設定するのが望ましい。 Therefore, as shown in FIG. 9, it is desirable to set smaller than the depth of the potential well 24 having a large area the depth of the potential well 24 having a small area, the three provided on the two photosensitive portions 11 to be set a control electrode (1) to (3) or (4) to control voltage applied at the same time (6), one control electrode (2) or (5) the control voltage applied only to be higher than setting it is desirable to. このように、主として電荷(電子e)を生成しているポテンシャル井戸24を、主として電荷の保持を行っているポテンシャル井戸24よりも深くすることにより、制御電圧を印加していない制御電極(1)(3)または(4)(6)に対応する部位で生じた電荷は、深いほうのポテンシャル井戸24に流れ込みやすくなる。 Thus, primarily charge a potential well 24 which generates (electrons e), by deeper than the potential well 24 is performed primarily retaining the charge, not applied a control voltage control electrode (1) (3) or (4) charge generated in the portion corresponding to (6), easily flow into the potential well 24 of the deeper. つまり、制御電極23に一定の制御電圧+Vを印加する場合に比較すると、電荷を保持するポテンシャル井戸24に流れ込む雑音成分を低減することができる。 That is, when compared with the case of applying a constant control voltage + V to the control electrode 23, it is possible to reduce the noise component which flows into the potential well 24 for holding a charge.

なお、上述した距離画像センサDSの構成例では、受光光量A0、A1、A2、A3に対応する4期間を変調信号の1周期内で位相の間隔が90度ずつになるように設定しているが、変調信号に対する位相が既知であれば4期間は90度以外の適宜の間隔で設定することが可能である。 In the configuration example of the range image sensor DS described above, are set so that the distance of the phase is by 90 ° 4 period corresponding to the amount of received light A0, A1, A2, A3 in one period of the modulation signal but four periods when the phase is known to the modulation signal can be set at appropriate intervals other than 90 degrees. ただし、間隔が異なれば位相差ψを求める算式は異なる。 However, a different formula for determining the phase difference ψ Different intervals. また、4期間の受光光量に対応した電荷を取り出す周期は、物体Obの反射率および外光成分が変化せず、かつ位相差ψも変化しない時間内であれば、変調信号の1周期内で4個の信号電荷を取り出すことも必須ではない。 The period for taking out the charges corresponding to the received light amount of the 4 periods, does not change reflectance and the ambient light component of the object Ob, and if the even phase difference ψ unchanged time, within one period of the modulation signal it is not required also to take out four of the signal charge. さらに、太陽光や照明光のような外乱光の影響があるときには、発光源2から放射される光の波長のみを透過させる光学フィルタを感光部11の前に配置するのが望ましい。 Further, when there is the influence of the disturbance light as sunlight or illumination light, to place an optical filter that transmits only wavelengths of the light emitted from the light source 2 in front of the photosensitive portion 11 is desirable. 図8、図9を用いて説明した構成例では、感光部11ごとに3個ずつの制御電極23を対応付けているが、制御電極23を4個以上設けるようにしてもよい。 8, in the configuration example described with reference to FIG. 9, but in association with the control electrodes 23 of three each per photosensitive unit 11, may be provided a control electrode 23 4 or more. また、上述の例ではFT方式のCCDイメージセンサと同様の構成を採用しているが、インターライン・トランスファ(IT)方式、フレーム・インターライン・トランスファ(FIT)方式と同様の構成を採用することも可能である。 Although in the above example adopts the same configuration as the CCD image sensor of FT type, interline transfer (IT) type, employing the same configuration as the frame interline transfer (FIT) method it is also possible.

次に、上述した距離画像センサDSで生成された距離画像に基づいて検知対象エリアに存在する人の特定部位を抽出する特定部位抽出部5について説明する。 It will now be described a specific site extracting unit 5 for extracting a specific portion of a person present in the detection target area based on the distance image generated by the distance image sensor DS mentioned above. ここでは、距離画像を生成する際の光検出素子1への外光成分の入射を低減するために、発光源2から赤外線を対象空間に照射し、光検出素子1の前方に赤外線透過フィルタを配置しているものとする。 Here, in order to reduce entrance of external light components to the light detecting element 1 when generating a distance image by irradiating infrared rays onto the target space from the light source 2, the infrared transmission filter in front of the light detecting element 1 it is assumed that the arrangement. したがって、濃淡画像は赤外線に対する濃淡画像になる。 Thus, grayscale image becomes gray image against infrared.

本実施形態のジェスチャースイッチでは、図1に示すように、距離画像センサDSの画像生成部4で生成された距離画像は特定部位抽出部5に与えられ、特定部位抽出部5では、距離画像に基づいて検知対象エリアに存在する人の特定部位が抽出され、ジェスチャー認識部6では、特定部位抽出部5から出力されるデータに基づいて特定空間(ここにおいて、特定空間は、検知対象エリアと同じ空間、つまり、距離画像の全範囲として規定してもよいし、検知対象エリア内の一部の空間、つまり、距離画像の一部の小領域として規定してもよい)内での所定のジェスチャーが認識される。 Gestures switch of the present embodiment, as shown in FIG. 1, the distance image sensor DS of the distance image generated by the image generation unit 4 is given to a specific site extracting section 5, the specific site extracting section 5, the distance image specific portion of a person present in the detection target area based are extracted, the gesture recognition unit 6, the specific space (herein based on the data outputted from the specific site extracting unit 5, a specific space is the same as the detection target area space, i.e., may be defined as the entire range of the distance image, part of the space within the detection target area, that is, the distance portion of the predetermined gesture in the small region may be defined as) the image There are recognized. 要するに、本実施形態のジェスチャースイッチでは、検知対象エリアEに存在する物体Obまでの距離値を画素値とする距離画像を連続的に生成する1つの距離画像センサDSで生成された距離画像に基づいて検知対象エリアEに存在する人の特定部位が特定部位抽出部5にて連続的に抽出され、ジェスチャー認識部6において特定部位抽出部5から出力されるデータに基づいて特定空間内での人の所定のジェスチャーが認識されるので、制御対象機器や制御対象機器の制御用のスイッチなどを設置場所へ行って触れる必要がなくて、しかも、人が何も装着する必要がなくて使い勝手が良く、且つ、検知対象エリアEの背景に影響されずに人の特定部位を抽出することが可能となる。 In short, the gestures switch of the present embodiment, based on one of the distance image sensor DS The generated distance image for generating a distance image as a pixel value distance values ​​to the object Ob existing in the detection target area E continuously detecting a specific site of a person present in the target area E is continuously extracted at a specific site extracting unit 5, a human in a specific space based on the data outputted from the specific site extracting unit 5 in the gesture recognition unit 6 Te since the predetermined gesture of is recognized, without the need to touch carried out such as a switch for the control of the control target device and the control target device to the installation location, moreover, good ease of use without the need of people wears nothing and, it is possible to extract a specific portion of the human without being influenced by the background of the detection target area E.

上述のように距離画像センサDSの画像生成部4で生成された距離画像は距離画像センサDSから物体Obまでの距離値を画素値とするものであり、特定部位抽出部5では、距離画像から人の特定部位を抽出するにあたって、距離画像毎に最小の距離値に所定値を加算した値を閾値として距離画像を2値化し、閾値以下となる領域を特定部位として抽出するようになっている。 Distance image generated by the image generation unit 4 of the distance image sensor DS as described above are for the pixel value distance values ​​to the object Ob from the range image sensor DS, the specific site extracting unit 5, a distance image when extracting a specific portion of the human, a distance image value obtained by adding a predetermined value for each of the range image to the smallest distance value as the threshold is binarized, so as to extract a region equal to or less than the threshold value as a specific portion . したがって、所定値を適宜設定することにより、例えば、距離画像センサDSへ手をかざして手首よりも先の部分でジェスチャーを行うようにして使用する場合、人の手の手首よりも先の部分を特定部位として容易に抽出することが可能となる。 Therefore, by properly setting the predetermined value, for example, the distance image when the sensor to the DS by holding the hand and use to perform the gestures in the previous section than the wrist, the tip portion than the wrist of the human hand it is possible to easily extracted as the specific site. この場合、距離画像センサDSから特定部位抽出部5へ図3(a)に示すような距離画像(距離画像データ)が与えられたとすると、特定部位抽出部5では図3(b)に示すような2値化画像が得られ(距離画像において距離値が閾値以下の画素では2値化画像の画素を白とし、距離画像において距離値が閾値よりも大きな画素では2値化画像の画素を黒としてある)、このような2値化画像から白領域Wを特定部位(手の手首よりも先の部分)として抽出する。 In this case, when the distance from the image sensor DS to a specific site extracting unit 5 FIGS. 3 (a) to indicate such distances image (distance image data) is given, as shown in FIG. 3, specific site extracting section 5 (b) pixels of the binarized image distance value in the following pixel threshold and white in the binarized image is obtained (distance images, black pixels of the binarized image distance value in the distance image has a large pixel than the threshold value as there) is extracted as such binarized image identified white area W from the site (previous section than the wrist of the hand). 図3(a)の距離画像は、距離値に応じて画素の色を4段階に変化させた例を示しており、画像生成部4において基準距離値としてL1、L2、L3、L4、L5(L1<L2<L3<L4<L5)を設定し、距離値が基準距離値L1以下の画素からなる領域をF1、距離値が基準距離値L1よりも大きく基準距離値L2以下の画素からなる領域をF2、距離値が基準距離値L2よりも大きく基準距離値L3以下の画素からなる領域をF3、距離値が基準距離値L3よりも大きく基準距離値L4以下の画素からなる領域をF4、距離値が基準距離値L4よりも大きな画素からなる領域をF5とすれば、領域F1が白色、領域F5が黒色、領域F2が白色に近い灰色、領域F4が黒に近い灰色、領域F3が領域F2と領域F4との中間的な灰色 Figure 3 distance image (a) in accordance with the distance value shows an example of changing the color of a pixel in four stages, L1 as a reference distance value in the image generation unit 4, L2, L3, L4, L5 ( L1 <L2 <L3 <L4 <L5) is set for a region distance value is a region composed of the reference distance value L1 following pixel F1, the larger the reference distance value L2 or less pixels than the distance value is a reference distance value L1 the F2, distance value an area is composed of larger reference distance value L3 or less pixels than the reference distance value L2 F3, a region where the distance value is a larger reference distance value L4 less pixels than the reference distance value L3 F4, the distance if an area value is the larger pixels than the reference distance value L4 and F5, region F1 white, area F5 is black, gray area F2 is close to white, gray area F4 is close to black, region F3 is a region F2 intermediate gray and area F4 なるような距離画像を生成している(なお、図3(a)中の点Pは距離値が最小となる画素の位置を示している)。 And generating a distance image such that (Note, P point in FIG. 3 (a) shows the position of the pixel distance value is minimized). 一方、図3(b)の2値化画像は、人の手の手首よりも先の部分が白領域Wとなるように上記所定値を設定してあるときの2値化画像を示している。 On the other hand, the binarized image of FIG. 3 (b) shows a binarized image when so that previous partial than the wrist of the human hand the white region W is set to the predetermined value .

ところで、特定部位抽出部5において距離画像から人の特定部位を抽出する方法は上述の例に限らず、例えば、距離画像を所定の閾値で2値化し、閾値以下となる領域を人体の輪郭として抽出するようすれば、閾値を適宜設定することにより、例えば、人の全身や上半身などを上記特定部位として抽出することが可能となり、人の全身や上半身を使ったジェスチャーの認識が可能となる。 Meanwhile, a method of extracting a specific portion of the human from the distance image in a specific site extracting unit 5 is not limited to the examples described above, for example, a distance image is binarized with a predetermined threshold value, a region to be the threshold value or less as the body contour if to extract, by setting the threshold appropriately, for example, it is possible to extract such as human systemic and upper body as said specific site, it is possible to recognize gestures using human systemic and upper body. また、特定部位抽出部5が、距離画像において最小の距離値となる画素の周囲領域に関して閾値以下となる画素の数が一定値となるように上記閾値を調整して上記距離画像を上記閾値で2値化し、上記閾値以下となる領域を特定部位として抽出するようにすれば、例えば、距離画像センサDSへ手をかざして手首よりも先の部分でジェスチャーを行うようにして使用する場合、人の手の手首よりも先の部分を特定部位として安定して抽出することが可能となる。 Moreover, the specific site extracting section 5, the distance number of pixels equal to or less than the threshold value with respect to the surrounding region of the pixel having the minimum distance value in the image by adjusting the threshold so that a constant value the distance image with the threshold value binarized, if to extract an area equal to or less than the threshold value as the specific site, for example, distance image your hand to the sensor DS when used to perform the gestures in the previous section than the wrist, human than the wrist of the hand and it is possible to stably extract a preceding part as a specific site. この場合の特定部位抽出部5では、以下の流れ(a)〜(e)で閾値が調整される。 In specific site extracting unit 5 in this case, the threshold value is adjusted in the following flow (a) ~ (e).
(a)距離画像から距離値が最小値となる画素を探し基準画素とする処理を行う。 (A) Distance distance value from an image to perform processing for the reference pixel locate the pixel having the minimum value.
(b)閾値の初期値を上記最小値とする処理を行う。 The (b) the initial value of the threshold performs processing to the minimum value.
(c)上記距離画像において上記基準画素の周辺領域で距離値が閾値以下となる画素の画素数を調べる処理を行う。 (C) In the range image performs processing to check the number of pixels of the distance value in the peripheral region is equal to or less than a threshold of the reference pixel.
(d)画素数が所定の一定値以下の場合には、閾値に値1を加算して(c)の処理に戻り、一定値を超えている場合には、次の処理へ移行する。 In (d) if the number of pixels is equal to or less than a predetermined constant value, to return to the adding the value 1 to threshold (c) processing, if it exceeds the predetermined value, the flow advances to the next step.
(e)画素数>上記一定値となる直前の閾値を最終的な閾値として決定する。 (E) the number of pixels> to determine the threshold value immediately before the above-mentioned predetermined value as the final threshold.

また、特定部位抽出部5が距離画像における特定の入力判定領域についてのみ2値化を行って上記閾値との比較結果に基づいて上記特定部位の抽出を行うようにすれば、距離画像における全画素について2値化を行う場合に比べて、特定部位抽出部5の処理速度の高速化を図れる。 Further, if to perform the extraction of the specific portion based on a comparison result between the threshold by performing a binarization only for certain input determination region at the specific site extracting section 5 a distance image, all pixels in the distance image as compared with the case of performing the binarization for, thereby to speed up the processing speed of a specific site extracting unit 5.

ジェスチャー認識部6では、例えば、特定部位抽出部5において抽出された特定部位に関する形状(情報)の時系列データに基づいてジェスチャーを認識する。 The gesture recognition unit 6, for example, recognizes the gesture based on the time-series data of the shape for a particular site that was extracted in a specific site extracting section 5 (information). この場合、ジェスチャー認識部6において、ジェスチャーを認識するにあたっては、例えば、図4に示すような特定部位の形状における手の5本の指の3D重心O1〜O5および手のひらの3D重心O6を特徴量として特徴量の時系列データをHMM(Hidden Markov Model)により学習してジェスチャーを認識するようにすれば、距離画像センサDSへ手をかざして手首よりも先の部分でジェスチャーを行うようにして使用するにあたって、ジェスチャー認識部6におけるジェスチャーの認識性能(ジェスチャー認識の精度)を向上させることができる。 In this case, the gesture recognition unit 6, the carrying recognizes gestures, for example, feature amounts 3D centroid O1~O5 and palm 3D centroid O6 of the five fingers of the hand in the shape of a particular site, such as shown in FIG. 4 if the feature amount time series data of to recognize gestures learned by HMM (Hidden Markov Model), the range image sensor to the DS by holding the hand to perform the gestures in the previous section than the wrist used as in, it is possible to improve the recognition performance of the gesture in the gesture recognition unit 6 (the accuracy of the gesture recognition). なお、上述の特徴量としては、指の3D重心に限らず、指の傾きや、指の数などを特徴量として規定してもよい。 As the feature amounts described above, not only the 3D centroid of the finger, the inclination and the fingers, such as the number of fingers may be defined as a feature amount. また、ジェスチャーの認識方法も上述の方法以外の周知の方法を採用してもよく、特定部位抽出部5において抽出された特定部位に関する形状の時系列データに基づいてジェスチャーを認識するにあたって、例えば、指の数が時間経過とともに1本→2本→3本と変化した場合(つまり、特定部位の形状が時系列的に変化した場合)に所定のジェスチャーが行われたと認識するようにしてもよいし、また、所定の形状(例えば、一般的に片手でじゃんけんをするときの「ぐう」、「ちょき」、「ぱあ」などの形状)が規定時間以上継続された場合に所定のジェスチャーが行われたと認識するようにし、且つ、所定の形状が上記規定時間未満しか継続されない場合にはジェスチャーとは認識しないようにしてもよい。 Further, a method of recognizing gestures even may employ well-known method other than the method described above, when recognizing the gesture based on the time-series data of the shape for a particular site that was extracted in a specific site extracting unit 5, for example, If the number of fingers is changed and one → 2 present → 3 present over time (i.e., the shape of the specific portion chronologically case of change) may be recognized as the predetermined gesture is performed and, also, a predetermined shape predetermined gesture is performed when (e.g., typically with one hand "even-" when the Janken, "scissors", the shape such as "Pa") is continued specified time or more and a so as to recognize, and, may not recognize the gesture if the predetermined shape not continue less than the specified time. ここで、上記規定時間を適宜設定しておけば、制御対象機器の制御を意図していない手の動きがジェスチャーとして認識されて制御対象機器へ制御出力が与えられるのを防止することができる。 Here, if appropriately setting the prescribed time, it is possible movement of the hand which is not intended to control the control target device is prevented from controlling the output is recognized as a gesture to the control target device is given.

制御部7は、ジェスチャーと制御出力とをあらかじめ対応付けたテーブルを記憶したメモリ(図示せず)を備えており、ジェスチャー認識部6にて認識されたジェスチャーに対応する制御出力を制御対象機器へ与えるようになっている。 Control unit 7 is provided with a memory storing in advance correspondence table and a gesture control output (not shown), a control output corresponding to the recognized gesture in the gesture recognition unit 6 to the control target device It is made as to give. ここにおいて、図10(a)に示すように、距離画像センサDSの検知対象エリアE内に所定のジェスチャーによる入力を受けつけるための空間として2つの入力空間(ここでは、上述の特定空間)G1,G2を設定しておき、人Mが入力空間G2近傍で所定のジェスチャーを行った場合、制御部7が、図10(b)に示すように距離画像において入力空間G2に対応する入力領域H2(図示例では、入力空間G1に対応する入力領域H1は黒領域となっている)の画素数に対する特定部位の画素(閾値以下となる領域であって白領域Wとなっている)の画素数の割合が規定値を超えているときに上記制御出力を制御対象機器へ与えるようにすれば、上記特定空間以外の空間での人の制御対象機器の制御を意図しない動きがジェスチャーとし Here, FIG. 10 (a), a distance two predetermined input space as a space for accepting input by (here, the specific space described above) gesture image sensor DS of the detection target area E G1, have set up G2, when the human M performs a predetermined gesture in the input space G2 near the control unit 7, and FIG. 10 (b) in the input region corresponding to the input space G2 in distance image as shown H2 ( in the illustrated example, input area H1 corresponding to the input space G1 is a specific site to the number of pixels are) a black area pixel number of pixels (a region equal to or less than the threshold value has a white area W) if to give the control output to the controlled target device when the ratio exceeds a specified value, the control of the control target device of the human in a space other than the specified space unintended movement and gesture 認識されても制御対象機器へ制御出力が与えられるのを防止することができる。 Be recognized can be prevented from control output to the control target device is given. 人Mが入力空間G1の近傍でジェスチャーを行った場合も同様であるから、入力空間G1,G2とを互いに異なる制御対象機器へ割り当てることも可能となる。 Since human M is the same when performing the gesture in the vicinity of the input space G1, it is possible to assign the input space G1, G2 to different control target devices. また、図11に示すように、距離画像センサDSの検知対象エリアE内に所定のジェスチャーによる入力を受けつけるための空間である1つの入力空間(ここでは、特定空間)Gを設定しておき、人Mが入力空間G近傍でジェスチャーを行った場合にも、制御部7が、距離画像において入力空間Gに対応する入力領域の画素数に対する特定部位の画素数の割合が規定値を超えているときに上記制御出力を制御対象機器へ与えるようにすれば、上記特定空間以外の空間での人の制御対象機器の制御を意図しない動きがジェスチャーとして認識されても制御対象機器へ制御出力が与えられるのを防止することができる。 Further, as shown in FIG. 11, the distance one predetermined input space is a space for accepting input by (here, specific space) gesture image sensor DS of the detection target area E may be set to G, even when a person M has performed gesture input space G vicinity, the control unit 7, the ratio of the number of pixels at a specific site to the number of pixels input area corresponding to the input space G in distance image exceeds a specified value if to give the control output to the controlled target device when said control output to control the control target device of the human in space other than the specified space to recognized even controlled equipment unintended motion as a gesture gives it is can be prevented.

なお、図12(a)に示すように距離画像センサDSの検知対象エリアEが設定される部屋Rに、図12(b)に示すように仮想の立体空間にあるマニプレータ50を画面に表示する表示装置Uを設け、人Mの手Hを特定部位として特定部位抽出部5により抽出し、表示装置Uの画面上に上記マニプレータ50を操作する仮想の手H'を表示させて人Mの手Hの動きに仮想の手H'の動きを同調させるようにしてもよい(図12(a)(b)中の矢印はそれぞれ手H,H'の動く方向を示している)。 Incidentally, in the room R in which the detection target area E of the range image sensor DS as shown in FIG. 12 (a) is set to display the manipulator 50 in a virtual three-dimensional space, as shown in FIG. 12 (b) on the screen It provided a display device U, extracted by the specific site extracting unit 5 to the hand H of a human M as a particular site, the hands of the virtual hand H 'to display the person M to operate the manipulator 50 on the screen of the display device U virtual hand H to the movement of H 'may be configured to tune the movement (FIG. 12 (a) (b) each arrow hand H in, H' indicates the direction of movement of). 要するに、特定部位抽出部5により抽出された手Hの動きを、仮想空間の制御対象機器の操作の動きとして利用してもよい。 In short, the movement of the hand H extracted by the specific site extracting section 5, may be utilized as a movement of the operation of the controlled equipment in virtual space.

(実施形態2) (Embodiment 2)
本実施形態のジェスチャースイッチの基本構成は実施形態1と略同じであって、感度制御部12の具体的な構成において、電荷集積部13に与える電荷の割合を調節する技術として、感光部11から電荷集積部13への通過率を調節する技術と、感光部11から電荷を廃棄する廃棄率を調節する技術との両方の技術を用いている点が相違する。 The basic configuration of the gesture switch of this embodiment is substantially the same as that in Embodiment 1, the specific configuration of the sensitivity control unit 12, as a technique of adjusting the ratio of the charge to be given to the charge accumulation unit 13, a photosensitive unit 11 a technique of adjusting the pass rate of the charge accumulation section 13, points different from that using both techniques and technology of adjusting the discard rate of discarding charge from the photosensitive unit 11. 他の構成は実施形態1と同じなので図示および説明を省略する。 Omitted illustration and description The other structures are the same as Embodiment 1.

感度制御部12において通過率と廃棄率とを調節する技術では、図13に示すように、感光部11と電荷集積部13との間にゲート電極12aを設け、ゲート電極12aに印加する通過電圧を変化させることにより、感光部11から電荷集積部13への電荷の移動(つまり、通過率)を制御する。 In the technique of regulating the passage rate and loss rate in the sensitivity control unit 12, as shown in FIG. 13, a gate electrode 12a disposed between the photosensitive portion 11 and the charge accumulation portion 13, it passes through the voltage applied to the gate electrode 12a by varying the controls the movement of charge into the charge accumulation section 13 from the photosensitive section 11 (i.e., passing rate). また、電荷廃棄部12cを設け、電荷廃棄部12cに付設した廃棄電極12bに印加する廃棄電圧を変化させることにより、感光部11から電荷廃棄部12cへの電荷の移動(つまり、廃棄率)を制御する。 Further, the charge discarding portion 12c provided, by changing the waste voltage applied to the discarding electrode 12b which is attached to the charge discarding portion 12c, the movement of charges to the charge discarding portion 12c from the photosensitive section 11 (i.e., discard rate) Control. 電荷集積部13は感光部11ごとに一対一に対応するように設けられ、電荷廃棄部12cは複数個の感光部11に共通させて一対多に対応するように設けられる。 Charge integration unit 13 is provided so as to correspond one-to-one to each photosensitive unit 11, charge discarding unit 12c by common to a plurality of photosensitive part 11 is provided so as to correspond one-to-many. 図示例では、光検出素子1のすべての感光部11で1組の廃棄電極12bおよび電荷廃棄部12cを共用している。 In the illustrated example, in all the photosensitive portion 11 of the light detecting element 1 share a set of discarded electrode 12b and the charge discarding unit 12c.

感度を制御するために、感光部11からの電荷の廃棄を行わずに感光部11から電荷集積部13への通過率の制御のみを行うことが考えられるが、電荷の廃棄を行わなければ感光部11において電荷が暫時残留するから、感光部11で生成された電荷のうち不要な残留電荷が、利用する電荷(以下、信号電荷という)に雑音成分として混入する。 To control the sensitivity, it is conceivable to perform only the control of the passing rate of the photosensitive unit 11 without discarding charge from the photosensitive portion 11 to the charge accumulation section 13, photosensitive Without discarding charge since the charge in the part 11 remains briefly, the photosensitive unit 11 unnecessary residual charge of the charges generated by the is, the charge utilized (hereinafter, referred to as signal charge) mixed as noise components. したがって、信号電荷への残留電荷の混入を防止するために、ゲート電極12aに印加する通過電圧だけでなく廃棄電極12bに印加する廃棄電圧を制御する。 Therefore, in order to prevent contamination of the residual charge of the signal charge, and it controls the waste voltage applied to discard the electrode 12b not only pass voltage applied to the gate electrode 12a. なお、電荷集積部13には発光源2から空間に照射される光の変調信号の複数周期(数万〜数十万周期)において変調信号に同期する特定の区間の受光光量A0,A1,A2,A3に相当する電荷を集積し、各区間の電荷の集積毎に集積した信号電荷を取り出して次の区間の電荷を集積する。 The light receiving amount of a particular section to the charge accumulation portion 13 to synchronize the modulation signal in the plurality of cycles of the modulation signal of the light irradiated into the space from the light source 2 (tens of thousands or hundreds of thousands cycles) A0, A1, A2 to integrate charge corresponding to A3, take out the accumulated signal charge in each accumulation of the charge of each section to integrate charge in the following section. ここで、電荷集積部13に得られた信号電荷は実施形態1と同様に電荷取出部14(図1参照)により取り出される。 Here, the signal charges obtained in the charge accumulation portion 13 is taken out by the first embodiment in the same manner as the charge take-out portion 14 (see FIG. 1).

図13に示した感度制御部12を備える光検出素子1は、オーバーフロードレインを備えたCCDイメージセンサにより実現することができ、CCDイメージセンサにおける電荷の転送方式としてはインターライントランスファ(IT)方式を採用している。 Light detecting element 1 having the sensitivity control unit 12 shown in FIG. 13 can be realized by a CCD image sensor with an overflow drain, the interline transfer (IT) method as a transfer method of the charge in the CCD image sensor It has been adopted.

図14に縦型オーバーフロードレインを備えるインターライントランスファ方式のCCDイメージセンサの構成を示す。 It shows the configuration of a CCD image sensor of the interline transfer type comprising a vertical overflow drain 14. 図示例は、感光部11となるフォトダイオード41を水平方向と垂直方向とに複数個ずつ(図では3×4個)配列した2次元イメージセンサであって、垂直方向に配列したフォトダイオード41の各列の右側方にCCDからなる垂直転送レジスタ42を備え、フォトダイオード41および垂直転送レジスタ42が配列された領域の下方にCCDからなる水平転送レジスタ43を備える。 Illustrated example, by a plurality of photodiodes 41 serving as a photosensitive portion 11 in the horizontal and vertical directions a two-dimensional image sensor array (3 × 4 in the drawing), the photodiode 41 arranged in the vertical direction with a vertical transfer register 42 composed of CCD on the right side of each column includes a horizontal transfer register 43 composed of CCD below a region where the photodiode 41 and the vertical transfer register 42 are arranged. 垂直転送レジスタ42は各フォトダイオード41ごとに2個ずつの転送電極42a,42bを備え、水平転送レジスタ43は各垂直転送レジスタ42ごとに2個ずつの転送電極43a,43bを備える。 The vertical transfer register 42 comprises a transfer electrode 42a, 42b of the two on each photodiode 41, the horizontal transfer register 43 comprises a transfer electrode 43a, 43b of the two on each vertical transfer register 42.

フォトダイオード41と垂直転送レジスタ42と水平転送レジスタ43とは1枚の半導体基板40上に形成され、半導体基板40の主表面には、フォトダイオード41と垂直転送レジスタ42と水平転送レジスタ43との全体を囲む形でアルミニウム電極であるオーバーフロー電極44が、半導体基板40の全周に亘って絶縁膜を介さずに半導体基板40に直接接触するように設けられる。 The photodiode 41 and the vertical transfer register 42 and horizontal transfer register 43 are formed on one semiconductor substrate 40, the main surface of the semiconductor substrate 40, the photodiode 41 and the vertical transfer register 42 and horizontal transfer register 43 overflow electrode 44 is an aluminum electrode in the form of surrounding the entire is provided in direct contact with the semiconductor substrate 40 without passing through the entire circumference over the insulating film of the semiconductor substrate 40. オーバーフロー電極44に半導体基板40に対して正極性になる適宜の廃棄電圧を印加すればフォトダイオード41で生成された電子(電荷)はオーバーフロー電極44を通して廃棄される。 Electrons generated in the photodiode 41 by applying an appropriate waste voltage becomes positive with respect to the semiconductor substrate 40 to the overflow electrode 44 (charge) are discarded through the overflow electrode 44. オーバーフロー電極44は、感光部11であるフォトダイオード41において生成した電荷のうち不要電荷を廃棄する際に廃棄電圧が印加されるから廃棄電極12bとして機能し、オーバーフロー電極44に廃棄電圧を印加する電源が感光部11で生成された電子(電荷)を廃棄する電荷廃棄部12cとして機能する。 Overflow electrode 44, since waste voltage is applied at the time of discarding the undesired electric charges of the generated charges in the photo diode 41 which is a photosensitive unit 11 functions as a waste electrode 12b, applies a waste voltage to the overflow electrode 44 Power There functions as a charge discarding portion 12c of discarding electrons (charge) generated by the photosensitive unit 11. 半導体基板40の表面はフォトダイオード41に対応する部位を除いて遮光膜46(図15参照)により覆われる。 The surface of the semiconductor substrate 40 is covered with a light shielding film 46 (see FIG. 15) except for a portion corresponding to the photodiode 41.

図14に示したCCDイメージセンサについて、1個のフォトダイオード41に関連する部分を切り出して図15に示す。 For CCD image sensor shown in FIG. 14, FIG. 15 is cut out portions associated with one photodiode 41. 半導体基板40にはn形半導体を用い、半導体基板40の主表面にはフォトダイオード41と垂直転送レジスタ42とに跨る領域にp形半導体からなるウェル領域31を形成している。 An n-type semiconductor in the semiconductor substrate 40, the main surface of the semiconductor substrate 40 to form a well region 31 made of p-type semiconductor in a region that spans the photodiode 41 and the vertical transfer register 42. ウェル領域31は、フォトダイオード41に対応する領域に比較して垂直転送レジスタ42に対応する領域の厚み寸法が大きくなるように形成してある。 Well region 31 is formed so that the thickness dimension of the region corresponding to the vertical transfer register 42 as compared to the region corresponding to the photodiode 41 increases. ウェル領域31のうちフォトダイオード41に対応する領域にはn 形半導体層32を重ねて設けてあり、ウェル領域31とn 形半導体層32とのpn接合によってフォトダイオード41が形成される。 In the region corresponding to the photodiode 41 of the well region 31 is provided with overlapping the n + -type semiconductor layer 32, the photodiode 41 is formed by the pn junction between the well region 31 and the n + -type semiconductor layer 32. フォトダイオード41の表面にはp 形半導体からなる表面層33を積層してある。 The surface of the photo diode 41 are stacked the surface layer 33 made of p + -type semiconductor. 表面層33はフォトダイオード41で生成された電荷を垂直転送レジスタ42に移動させる際に、n 形半導体層32の表面付近が電荷の通過経路にならないように制御する目的で設けてある。 Surface layer 33 when moving the electric charges generated by the photodiode 41 to the vertical transfer register 42, the vicinity of the surface of the n + -type semiconductor layer 32 is provided for the purpose of controlling so as not to pass through the path of the charge. このような構造は、埋込フォトダイオードとして知られている。 Such a structure is known as a buried photodiode.

ウェル領域31のうち垂直転送レジスタ42に対応する領域にはn形半導体からなる蓄積転送層34を重ねて設けてある。 In a region corresponding to the vertical transfer register 42 of the well region 31 is provided overlapping the storage transfer layer 34 made of n-type semiconductor. 蓄積転送層34の表面と表面層33の表面とは略同一平面であって、蓄積転送層34の厚み寸法は表面層33の厚み寸法よりも大きくしてある。 The surface of the surface and the surface layer 33 of the storage transfer layer 34 is a substantially coplanar, the thickness dimension of the storage transfer layer 34 is made larger than the thickness of the surface layer 33. 蓄積転送層34は、表面層33とは接触しているが、n 形半導体層32との間には、表面層33と不純物濃度が等しいp 形半導体からなる分離層35が介在する。 Storage transfer layer 34 is in contact to the surface layer 33, between the n + -type semiconductor layer 32, the surface layer 33 and the impurity concentration of the same p + -type semiconductor isolation layer 35 is interposed. 蓄積転送層34の表面には、絶縁膜45を介して転送電極42a,42bが配置される。 On the surface of the storage transfer layer 34, transfer electrodes 42a via the insulating film 45, 42b are arranged. 転送電極42a,42bは1個のフォトダイオード41に対して2個ずつ設けられ、垂直方向において2個の転送電極42a,42bのうちの一方は他方よりも広幅に形成される。 Transfer electrodes 42a, 42b are provided two by two with respect to one photodiode 41, two transfer electrodes 42a in the vertical direction, 42b is one of formed on wider than the other. 具体的には、図16のように、1個のフォトダイオード41に対応する2個の転送電極42a,42bのうち狭幅の転送電極42bは平板状に形成されており、広幅の転送電極42aは、幅狭の転送電極42bと同一平面上に配列され一対の転送電極42bの間に配置される平板状の部分と、平板状の部分の垂直方向(図16の左右方向)における両端部からそれぞれ延長され転送電極42bの上に重複する湾曲した部分とを備える。 Specifically, as shown in FIG. 16, two transfer electrodes 42a corresponding to one photodiode 41, the transfer electrodes 42b of the narrow among 42b is formed in a plate shape, wide transfer electrodes 42a includes a flat portion disposed between the narrow transfer electrodes 42b are arranged on the same plane and a pair of transfer electrodes 42b, from both ends in the vertical direction of the plate-like portions (left and right direction in FIG. 16) extended respectively and a curved portion overlapping on the transfer electrode 42b. ここに、絶縁膜45はSiO により形成され、また転送電極42a,42bはポリシリコンにより形成され、各転送電極42a,42bは絶縁膜45を介して互いに絶縁されている。 Here, the insulating film 45 is formed by SiO 2, also the transfer electrodes 42a, 42b are formed of polysilicon, the transfer electrodes 42a, 42b are insulated from each other via the insulating film 45. さらに、フォトダイオード41に光を入射させる部位を除いて光検出素子1の表面は遮光膜46により覆われる。 Further, the surface of the light detecting element 1 except for the part through which light enters the photodiode 41 is covered with a light shielding film 46. ウェル領域31において垂直転送レジスタ42に対応する領域および蓄積転送層34は垂直転送レジスタ42の全長に亘って形成され、したがって、蓄積転送層34には広幅の転送電極42aと狭幅の転送電極42bとが交互に配列される。 Region and storage transfer layer 34 corresponding to the vertical transfer register 42 in the well region 31 is formed over the entire length of the vertical transfer register 42, therefore, the transfer electrodes 42b of the wide transfer electrodes 42a and narrow in the storage transfer layer 34 bets are alternately arranged.

上述した光検出素子1では、フォトダイオード41が感光部11に相当し、転送電極42aがゲート電極12aに相当し、オーバーフロー電極44が廃棄電極12bに相当し、垂直転送レジスタ42が電荷集積部13および電荷取出部14の一部として機能する。 In the light detecting element 1 described above, the photodiode 41 corresponds to the photosensitive unit 11, transfer electrodes 42a corresponds to the gate electrode 12a, the overflow electrode 44 corresponds to discard the electrode 12b, the vertical transfer register 42 are charge integration section 13 and functions as a part of the charge take-out portion 14. また、水平転送レジスタ43も電荷取出部14の一部になる。 The horizontal transfer register 43 is also a part of the charge take-out portion 14. すなわち、フォトダイオード41に光が入射すれば電荷が生成され、フォトダイオード41で生成された電荷のうち垂直転送レジスタ42に信号電荷として引き渡される電荷の割合は転送電極42aに印加する通過電圧とオーバーフロー電極44に印加する廃棄電圧との関係によって決めることができる。 That is, the photodiode 41 the light is generated charge if the incident, pass voltage and the overflow rate of the charge is to be applied to the transfer electrodes 42a to be passed as signal charges to the vertical transfer register 42 of the electric charges generated by the photodiode 41 it can be determined by the relationship between the waste voltage applied to the electrode 44. 転送電極42aに通過電圧を印加すると蓄積転送層34にポテンシャル井戸が形成され、通過電圧の制御によりポテンシャル井戸の深さを制御することができる。 Is a potential well formed and applied to the storage transfer layer 34 to pass voltage to the transfer electrodes 42a, it is possible to control the depth of the potential well under the control of the pass voltage. したがって、ポテンシャル井戸の深さおよび通過電圧を印加する時間とを制御すれば、フォトダイオード41から垂直転送レジスタ42に引き渡される電荷の割合を調節することができる。 Therefore, it is possible to adjust the ratio of the charge by controlling the time and for applying the depth and pass voltage potential wells, delivered from the photodiode 41 to the vertical transfer register 42. また、オーバーフロー電極44に印加する廃棄電圧を制御すれば、フォトダイオード41と半導体基板40との間の電位勾配を制御することができるから、電位勾配と廃棄電圧を印加する時間とを制御すれば、垂直転送レジスタ42に引き渡される電荷の割合を調節することができる。 Further, by controlling the waste voltage applied to the overflow electrode 44, because it is possible to control the potential gradient between the photodiode 41 and the semiconductor substrate 40, by controlling the time for applying a potential gradient and waste voltage , it is possible to adjust the ratio of charge to be delivered to the vertical transfer register 42.

フォトダイオード41から垂直転送レジスタ42に引き渡された信号電荷は、上述した4区間の受光光量A0,A1,A2,A3のうちの各1区間の受光光量A0,A1,A2,A3に相当する信号電荷が集積されるたびに読み出される。 The signal charges transferred to the vertical transfer register 42 from the photodiode 41, the received light amount A0 of four sections as described above, A1, A2, the light receiving amount A0 of the first section of A3, A1, A2, a signal corresponding to A3 It is read each time a charge is integrated. 例えば、受光光量A0に相当する信号電荷が各フォトダイオード41に対応して形成されるポテンシャル井戸に集積されると信号電荷を読み出し、次に受光光量A1に相当する信号電荷がポテンシャル井戸に集積されると再び信号電荷を読み出すという動作を繰り返す。 For example, when the signal charges corresponding to the amount of received light A0 is integrated in the potential well that is formed corresponding to the photodiodes 41 reads the signal charges, signal charges then corresponds to the amount of received light A1 is integrated into the potential well that again and repeats the operation of reading out the signal charge.

実施形態1のジェスチャースイッチのブロック図である。 It is a block diagram of a gesture switches of the first embodiment. 同上に用いる距離画像センサの設置場所の説明図である。 It is an illustration of the location of the range image sensor used in the same as above. 同上の動作説明図である。 It is an operation explanatory view of the same. 同上の動作説明図である。 It is an operation explanatory view of the same. 同上の動作説明図である。 It is an operation explanatory view of the same. 同上に用いる光検出素子の要部の動作説明図である。 It is an operation explanatory view of the main part of the light detection element used in ibid. 同上に用いる光検出素子の平面図である。 It is a plan view of the photodetector element used in ibid. 同上に用いる光検出素子の要部の動作説明図である。 It is an operation explanatory view of the main part of the light detection element used in ibid. 同上に用いる光検出素子の要部の動作説明図である。 It is an operation explanatory view of the main part of the light detection element used in ibid. 同上の他の構成例の動作説明図である。 It is an operation explanatory diagram of another configuration example of the same. 同上の他の構成例の動作説明図である。 It is an operation explanatory diagram of another configuration example of the same. 同上の他の構成例の動作説明図である。 It is an operation explanatory diagram of another configuration example of the same. 実施形態2のジェスチャースイッチにおける感度制御部の構成例を示すブロック図である。 Is a block diagram showing a configuration example of a sensitivity control unit in the gesture switches embodiment 2. 同上に用いる光検出素子の構成例を示す平面図である。 It is a plan view showing a configuration example of the light detection element used in ibid. 図14に示した光検出素子の要部分解斜視図である。 Exploded perspective view of an essential part of the light detecting device shown in FIG. 14. 図15のA−A線断面図である。 It is a sectional view along line A-A of Figure 15.

符号の説明 DESCRIPTION OF SYMBOLS

1 光検出素子 2 発光源 3 制御回路部 4 画像生成部 5 特定部位抽出部 6 ジェスチャー認識部 7 制御部 11 感光部 Ob 物体 DS 距離画像センサ 1 photodetecting element 2 emission sources 3 control circuit unit 4 image generating unit 5 specific site extracting section 6 gesture recognizing section 7 control unit 11 exposed portion Ob object DS range image sensor

Claims (7)

  1. 検知対象エリアに存在する物体までの距離値を画素値とする距離画像を連続的に生成する距離画像センサと、距離画像センサで生成された距離画像に基づいて検知対象エリアに存在する人の特定部位を抽出する特定部位抽出部と、特定部位抽出部により抽出された特定部位の形状の時系列的なデータに基づいて特定空間内での所定のジェスチャーを認識するジェスチャー認識部と、ジェスチャー認識部により認識されたジェスチャーに予め対応付けられた制御出力を制御対象機器へ与える制御部とを備えることを特徴とするジェスチャースイッチ。 A distance image sensor for generating a distance image as a pixel value distance values ​​to objects existing in the detection target area continuously particular person present in the detection target area based on the distance image generated by the distance image sensor a specific site extracting section that extracts a region, and recognizing the gesture recognition unit a predetermined gesture in a particular space on the basis of the time-series data of the shape of the specific portion extracted by the specific site extracting unit, the gesture recognition unit gestures switch; and a control unit which gives associated beforehand control outputs the recognized gesture to the control target device by.
  2. 前記制御部は、前記距離画像における前記特定空間の画素数に対する前記特定部位の画素数の割合が規定値を超えているときに前記制御出力を前記制御対象機器へ与えることを特徴とする請求項1記載のジェスチャースイッチ。 Wherein the control unit, according to claim, wherein said control output to provide to the control target device when the ratio of the number of pixels the specific site to the number of pixels the specific space in the distance image exceeds a specified value 1 gesture switch described.
  3. 前記特定部位抽出部は、前記距離画像を所定の閾値で2値化し、閾値以下となる領域を前記特定部位として抽出することを特徴とする請求項1または請求項2記載のジェスチャースイッチ。 The specific site extracting unit, the distance image is binarized with a predetermined threshold value, according to claim 1 or gestures switch according to claim 2, wherein extracting the region equal to or less than the threshold value as the specific site.
  4. 前記特定部位抽出部は、前記距離画像毎に最小の距離値に所定値を加算した値を閾値として前記距離画像を2値化し、閾値以下となる領域を前記特定部位として抽出することを特徴とする請求項1または請求項2記載のジェスチャースイッチ。 The specific site extracting unit, and wherein the distance image is binarized, and extracts an area to be the threshold value or less as the specific site value obtained by adding a predetermined value to the minimum distance value for each of the range image as a threshold value claim 1 or gestures switch according to claim 2, wherein.
  5. 前記特定部位抽出部は、前記距離画像センサへ向けられる手の手首よりも先の部分を前記特定部位として想定して前記所定値が設定されており、前記ジェスチャー認識部は、前記特定部位抽出部により抽出された前記特定部位である手の指および手のひらそれぞれの3D重心を特徴量として特徴量の時系列データに基づいてジェスチャーを認識することを特徴とする請求項4記載のジェスチャースイッチ。 The specific site extracting unit, the distance being assumed the predetermined value is set to the previous part as the specific site than the wrist of the hand directed to the image sensor, the gesture recognition unit, the specific site extracting section gestures switch according to claim 4, wherein the recognizing gestures based on the feature amount time series data of the fingers and the palm respective 3D centroid of the hand is the specific portion extracted as a feature quantity by.
  6. 前記特定部位抽出部は、前記距離画像において最小の距離値となる画素の周囲領域に関して閾値以下となる画素の数が一定値となるように前記閾値を調整して前記距離画像を前記閾値で2値化し、前記閾値以下となる領域を前記特定部位として抽出することを特徴とする請求項1または請求項2記載のジェスチャースイッチ。 The specific site extracting unit 2 minimum number of pixels equal to or less than the threshold value with respect to the surrounding region of the distance value that the pixel is the range image by adjusting the threshold so that a constant value in the range image with the threshold value binarized claim 1 or gestures switch according to claim 2, wherein an area equal to or less than the threshold value and extracts as the specific site.
  7. 前記特定部位抽出部は、前記距離画像における入力判定領域についてのみ2値化を行うことを特徴とする請求項3ないし請求項6のいずれかに記載のジェスチャースイッチ。 The specific site extracting unit gestures switch according to any one of claims 3 to 6, characterized in that performing the binarization only the input determination region in the distance image.
JP2005246812A 2004-08-31 2005-08-26 Gesture switch Expired - Fee Related JP4692159B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004252966 2004-08-31
JP2004252966 2004-08-31
JP2005246812A JP4692159B2 (en) 2004-08-31 2005-08-26 Gesture switch

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005246812A JP4692159B2 (en) 2004-08-31 2005-08-26 Gesture switch

Publications (2)

Publication Number Publication Date
JP2006099749A true true JP2006099749A (en) 2006-04-13
JP4692159B2 JP4692159B2 (en) 2011-06-01

Family

ID=36239430

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005246812A Expired - Fee Related JP4692159B2 (en) 2004-08-31 2005-08-26 Gesture switch

Country Status (1)

Country Link
JP (1) JP4692159B2 (en)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010154405A (en) * 2008-12-26 2010-07-08 Toshiba Corp Video image reproducing device, control signal generating device, and method of generating control signal
JP2010525432A (en) * 2007-04-20 2010-07-22 ソフトキネティック エス.エイ. Volume recognition method and system
JP2010181981A (en) * 2009-02-03 2010-08-19 Panasonic Electric Works Co Ltd Operation display device
JP2012008998A (en) * 2010-06-23 2012-01-12 Ind Technol Res Inst Method for recognizing three-dimensional control point and computer-readable recording medium using the same
JP2012103938A (en) * 2010-11-11 2012-05-31 Seiko Epson Corp Optical detection system and program
JP2012173098A (en) * 2011-02-21 2012-09-10 Stanley Electric Co Ltd Indicated position detector
JP2012220366A (en) * 2011-04-11 2012-11-12 Optex Co Ltd Distance image camera and object surface shape recognition method using the same
US8384011B2 (en) 2009-12-10 2013-02-26 Sharp Kabushiki Kaisha Optical detection device and electronic equipment for detecting at least one of an X-coordinate and a Y-coordinate of an object
WO2013035554A1 (en) * 2011-09-07 2013-03-14 日東電工株式会社 Method for detecting motion of input body and input device using same
WO2013035553A1 (en) * 2011-09-07 2013-03-14 日東電工株式会社 User interface display device
JP2013242850A (en) * 2012-04-27 2013-12-05 Nitto Denko Corp Display input device
WO2014002803A1 (en) * 2012-06-25 2014-01-03 オムロン株式会社 Motion sensor, method for detecting object action, and game device
JP2014006727A (en) * 2012-06-25 2014-01-16 Omron Corp Motion sensor and object action detection method
JP2014004154A (en) * 2012-06-25 2014-01-16 Omron Corp Game machine
CN103562821A (en) * 2011-04-28 2014-02-05 Nec软件系统科技有限公司 Information processing device, information processing method, and recording medium
US8726196B2 (en) 2010-03-25 2014-05-13 Sony Corporation Gesture input device, gesture input method, and program
JP2014099184A (en) * 2008-03-04 2014-05-29 Qualcomm Inc Enhanced gesture-based image manipulation
CN104025154A (en) * 2012-02-07 2014-09-03 日本系统工具株式会社 Gesture recognition device using vehicle steering wheel, hand recognition method and program therefor
JP5709228B2 (en) * 2011-04-28 2015-04-30 Necソリューションイノベータ株式会社 The information processing apparatus, information processing method, and program
KR101517932B1 (en) * 2013-06-27 2015-05-06 에이오스 주식회사 The apparatus and method of stereo camera system with wide angle lens applicable for hand gesture recognition
CN104908048A (en) * 2014-03-14 2015-09-16 本田技研工业株式会社 Motion estimation device, robot, and motion estimation method
WO2016208215A1 (en) * 2015-06-24 2016-12-29 株式会社村田製作所 Distance sensor and user interface device
US9990540B2 (en) 2015-05-18 2018-06-05 Honda Motor Co., Ltd. Operation estimation apparatus, robot, and operation estimation method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103809738B (en) * 2012-11-13 2017-03-29 联想(北京)有限公司 An information acquisition method and an electronic device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0991079A (en) * 1995-09-28 1997-04-04 Toshiba Corp Information input device and image processing method
JPH1165744A (en) * 1997-08-21 1999-03-09 Sharp Corp Inputting device
JP2002150440A (en) * 2000-11-13 2002-05-24 Fujitsu General Ltd Detector for object of monitoring
JP2003131785A (en) * 2001-10-22 2003-05-09 Toshiba Corp Interface device, operation control method and program product

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0991079A (en) * 1995-09-28 1997-04-04 Toshiba Corp Information input device and image processing method
JPH1165744A (en) * 1997-08-21 1999-03-09 Sharp Corp Inputting device
JP2002150440A (en) * 2000-11-13 2002-05-24 Fujitsu General Ltd Detector for object of monitoring
JP2003131785A (en) * 2001-10-22 2003-05-09 Toshiba Corp Interface device, operation control method and program product

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010525432A (en) * 2007-04-20 2010-07-22 ソフトキネティック エス.エイ. Volume recognition method and system
JP2014099184A (en) * 2008-03-04 2014-05-29 Qualcomm Inc Enhanced gesture-based image manipulation
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
JP2010154405A (en) * 2008-12-26 2010-07-08 Toshiba Corp Video image reproducing device, control signal generating device, and method of generating control signal
JP2010181981A (en) * 2009-02-03 2010-08-19 Panasonic Electric Works Co Ltd Operation display device
US8384011B2 (en) 2009-12-10 2013-02-26 Sharp Kabushiki Kaisha Optical detection device and electronic equipment for detecting at least one of an X-coordinate and a Y-coordinate of an object
US8726196B2 (en) 2010-03-25 2014-05-13 Sony Corporation Gesture input device, gesture input method, and program
US8433131B2 (en) 2010-06-23 2013-04-30 Industrial Technology Research Institute Method for recognizing three-dimensional control point and computer readable medium using the same thereof
JP2012008998A (en) * 2010-06-23 2012-01-12 Ind Technol Res Inst Method for recognizing three-dimensional control point and computer-readable recording medium using the same
JP2012103938A (en) * 2010-11-11 2012-05-31 Seiko Epson Corp Optical detection system and program
JP2012173098A (en) * 2011-02-21 2012-09-10 Stanley Electric Co Ltd Indicated position detector
JP2012220366A (en) * 2011-04-11 2012-11-12 Optex Co Ltd Distance image camera and object surface shape recognition method using the same
JP5709228B2 (en) * 2011-04-28 2015-04-30 Necソリューションイノベータ株式会社 The information processing apparatus, information processing method, and program
CN103562821B (en) * 2011-04-28 2016-11-09 日本电气方案创新株式会社 The information processing apparatus, information processing method and a recording medium
US9367732B2 (en) 2011-04-28 2016-06-14 Nec Solution Innovators, Ltd. Information processing device, information processing method, and recording medium
US9329673B2 (en) 2011-04-28 2016-05-03 Nec Solution Innovators, Ltd. Information processing device, information processing method, and recording medium
CN103562821A (en) * 2011-04-28 2014-02-05 Nec软件系统科技有限公司 Information processing device, information processing method, and recording medium
JP2013069273A (en) * 2011-09-07 2013-04-18 Nitto Denko Corp Motion detection method of input body and input device using the same
WO2013035553A1 (en) * 2011-09-07 2013-03-14 日東電工株式会社 User interface display device
WO2013035554A1 (en) * 2011-09-07 2013-03-14 日東電工株式会社 Method for detecting motion of input body and input device using same
JP2013069272A (en) * 2011-09-07 2013-04-18 Nitto Denko Corp User interface display device
CN104025154B (en) * 2012-02-07 2016-06-22 日本系统工具株式会社 Using a steering wheel and a hand gesture recognition device recognition method
CN104025154A (en) * 2012-02-07 2014-09-03 日本系统工具株式会社 Gesture recognition device using vehicle steering wheel, hand recognition method and program therefor
JP2013242850A (en) * 2012-04-27 2013-12-05 Nitto Denko Corp Display input device
US9789393B2 (en) 2012-06-25 2017-10-17 Omron Corporation Motion sensor, object-motion detection method, and game machine
JP2014006727A (en) * 2012-06-25 2014-01-16 Omron Corp Motion sensor and object action detection method
WO2014002803A1 (en) * 2012-06-25 2014-01-03 オムロン株式会社 Motion sensor, method for detecting object action, and game device
JP2014004154A (en) * 2012-06-25 2014-01-16 Omron Corp Game machine
KR101517932B1 (en) * 2013-06-27 2015-05-06 에이오스 주식회사 The apparatus and method of stereo camera system with wide angle lens applicable for hand gesture recognition
US9684824B2 (en) 2014-03-14 2017-06-20 Honda Motor Co., Ltd Motion estimation device, robot, and method to estimate reaction of a person
CN104908048A (en) * 2014-03-14 2015-09-16 本田技研工业株式会社 Motion estimation device, robot, and motion estimation method
US9990540B2 (en) 2015-05-18 2018-06-05 Honda Motor Co., Ltd. Operation estimation apparatus, robot, and operation estimation method
WO2016208215A1 (en) * 2015-06-24 2016-12-29 株式会社村田製作所 Distance sensor and user interface device

Also Published As

Publication number Publication date Type
JP4692159B2 (en) 2011-06-01 grant

Similar Documents

Publication Publication Date Title
US7729515B2 (en) Optical navigation apparatus using fixed beacons and a centroid sensing device
Lange et al. Solid-state time-of-flight range camera
US8493496B2 (en) Depth mapping using projected patterns
US6829375B1 (en) Fingerprint input apparatus
US6674895B2 (en) Methods for enhancing performance and data acquired from three-dimensional image systems
US6927758B1 (en) Optical detection system, device, and method utilizing optical matching
US20080240502A1 (en) Depth mapping using projected patterns
US20100079411A1 (en) Optical finger navigation utilizing quantized movement information
US20090296991A1 (en) Human interface electronic device
US20130127854A1 (en) Scanning Projectors And Image Capture Modules For 3D Mapping
US5793357A (en) Device and method for determining movement of a surface
US20040125222A1 (en) Stacked semiconductor radiation sensors having color component and infrared sensing capability
US7362419B2 (en) Range image sensor
US5703639A (en) Charge coupled device pulse discriminator
US20130242283A1 (en) Personal ladar sensor
US20090190007A1 (en) Adaptive Neighborhood Filtering (ANF) System and Method for 3D Time of Flight Cameras
US20020080117A1 (en) Optical mouse
US20090020687A1 (en) Reference Pixel Array with Varying Sensitivities for TOF Sensor
US20070103748A1 (en) Light detecting element and control method of light detecting element
US6324310B1 (en) Method and apparatus for scanning a fingerprint using a linear sensor
Hussmann et al. A performance review of 3D TOF vision systems in comparison to stereo vision systems
US4127781A (en) Scan mirror position determining system
US7248344B2 (en) Surface profile measurement
US20080231600A1 (en) Near-Normal Incidence Optical Mouse Illumination System with Prism
US7834985B2 (en) Surface profile measurement

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080423

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100223

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100426

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100713

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101005

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101227

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110125

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110207

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140304

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees