JP2010271944A - Periodic gesture discriminating device, periodic gesture discrimination method, periodic gesture discrimination program, and recording medium - Google Patents
Periodic gesture discriminating device, periodic gesture discrimination method, periodic gesture discrimination program, and recording medium Download PDFInfo
- Publication number
- JP2010271944A JP2010271944A JP2009123486A JP2009123486A JP2010271944A JP 2010271944 A JP2010271944 A JP 2010271944A JP 2009123486 A JP2009123486 A JP 2009123486A JP 2009123486 A JP2009123486 A JP 2009123486A JP 2010271944 A JP2010271944 A JP 2010271944A
- Authority
- JP
- Japan
- Prior art keywords
- periodic
- motion
- gesture
- specific part
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、周期ジェスチャ識別装置に関し、濃淡値の時系列変化を利用して、画像から周期ジェスチャを認識する装置及び認識方法に関するものである。 The present invention relates to a periodic gesture identification device, and more particularly to an apparatus and a recognition method for recognizing a periodic gesture from an image using time-series changes in gray values.
ロボットを始めとする機械が我々人間のパートナーとなって安全で豊かな暮らしを実現するために、人間から機械への意思伝達を自然に行える柔軟なヒューマン・マシン・インタフェース（Human Machine Interface：ＨＭＩ）を構築することが重要である。即ち、我々の日常的なコミュニケーションを考えた場合、意識的あるいは無意識的に身振り、手振りなどのジェスチャを頻繁に用いている。そこで、直感的かつ非接触での操作を可能にするＨＭＩの一つとして、ジェスチャを用いることが考えられる。 Flexible human machine interface (HMI) that can naturally communicate with humans and machines so that robots and other machines can become human partners and realize a safe and prosperous life. It is important to build That is, when considering our daily communication, gestures such as gestures and hand gestures are frequently used consciously or unconsciously. Therefore, it is conceivable to use a gesture as one of the HMIs that enables an intuitive and non-contact operation.
これまでに、ジェスチャ認識を用いたＨＭＩの研究が、人工現実感やコンピュータビジョンなどの分野で数多く報告されている。人工現実感では、３次元位置センサや加速度センサを搭載したグローブ型のデバイスを用いて空間的な手の配置や動きを検出して、ジェスチャを認識する手法が提案されている。ほかにも、情報機器や情報家電機器の操作を実現する指装着型のウェアラブルデバイスが提案されている。このような装着型の入力デバイスは人工現実感システムにおける重要な入力手段として用いられてきたが、自然なインタラクションという観点からは、着脱の手間やケーブルなどによって動きに制約があるなどの問題から必ずしも適しているとはいえない。
このようなことから、ケーブルなどを必要としない非接触型のアプローチとして画像処理に基づく手法が研究されてきた。画像処理に基づくジェスチャ認識の手法は、マーカを利用する手法と利用しない手法に分けられる。前者のマーカを利用する手法は、例えばユーザの手足に装着したマーカの位置を、ステレオ法などにより３次元的に追跡してジェスチャを認識するものである。しかし、マーカなどを手足に装着することは、自然なインタラクションを実現するうえでは望ましくない。これに対して、後者のマーカを利用しない手法では、入力画像から抽出された手などの領域に対して、動き、形状変化などからマッチングを行ってジェスチャを認識している。そして、手などの領域を抽出するためには、２つの手法が一般的に用いられている。１つは、カラー画像からユーザの肌の色に近い色領域を抽出することにより手領域を特定する手法である。しかし、この手法では、光源環境の変化によりユーザの肌色も変化するため、安定した領域抽出が困難である。もう１つは、画像間の差分を利用する手法である。この手法では、背景が複雑である場合、背景が一定でない場合、対象領域と背景が同様の色を持つ場合などでは、対象領域だけを安定して抽出することが困難となる。そのため、背景を一定の状態や色に制限する必要があり、使用可能な環境が限定されるという問題が生じる。
So far, many studies on HMI using gesture recognition have been reported in fields such as artificial reality and computer vision. Artificial reality has proposed a method for recognizing gestures by detecting spatial hand placement and movement using a glove-type device equipped with a three-dimensional position sensor or acceleration sensor. In addition, finger-wearable wearable devices that can operate information devices and information home appliances have been proposed. Such wearable input devices have been used as an important input means in artificial reality systems, but from the viewpoint of natural interaction, it is not always possible due to problems such as restrictions on movement due to the effort of attachment and detachment and cables. It is not suitable.
For this reason, methods based on image processing have been studied as a non-contact approach that does not require a cable or the like. Gesture recognition methods based on image processing are divided into methods that use markers and methods that do not use markers. The former method using a marker is to recognize the gesture by tracking the position of the marker attached to the user's limb, for example, three-dimensionally by a stereo method or the like. However, attaching a marker or the like to the limb is not desirable for realizing natural interaction. On the other hand, in the latter method that does not use the marker, a gesture is recognized by matching a region such as a hand extracted from the input image based on movement, shape change, and the like. In order to extract a region such as a hand, two methods are generally used. One is a method of specifying a hand region by extracting a color region close to the user's skin color from a color image. However, with this method, the user's skin color also changes due to a change in the light source environment, so that stable region extraction is difficult. The other is a method that uses a difference between images. In this method, when the background is complex, when the background is not constant, or when the target region and the background have the same color, it is difficult to stably extract only the target region. For this reason, it is necessary to limit the background to a certain state or color, which causes a problem that the usable environment is limited.
また、マーカなどを用いず、且つユーザの手に対応する画像領域を抽出するという前処理を行うことなくジェスチャを認識する手法も提案されているが、人物が複数存在するなどで移動領域が複数の場合、適用が困難である。一方、手振り動作を認識することで、複数の人物が存在する環境下においてもロバストに動作者及び動作者の位置の特定を行う手法も提案されている。さらにこの手法では、色情報を用いていないため、照明条件や肌色の個人差に対してロバストであることが示されている。しかしながら、手を左右に振るなどの繰り返し動作を認識するのみで、その繰り返し動作がジェスチャであることを識別できないという問題がある。
また、従来技術として特許文献１には、多軸角速度センサ又は多軸加速度センサによりジェスチャを入力する技術が開示されているが、この様な接触型のセンサを使用するため、操作可能な範囲が限定されてしまうといった課題がある。また、特許文献２には、時間差分画像を二値化して、そのパターンによってジェスチャを認識する手法について開示されている。しかし、この手法では処理の高速化が期待できず、更に、ハード化が容易でなく、装置の小型化、低コスト化に課題が残る。また、特許文献３には、動画像の各フレームについて対数極座標変換を行い、その変換画像の各画素における高次局所自己相関特徴を用いたジェスチャ認識する技術について開示されている。しかし、特許文献２と同様に処理の高速化が期待できず、更に、ハード化が容易でなく、装置の小型化、低コスト化に課題が残る。また、特許文献４には、距離値を画素値とする距離画像を連続的に生成する距離画像センサの出力データを利用したジェスチャ認識手法について開示されている。しかし、この従来技術では高価な距離画像センサを使用するため、装置のコストが嵩むといった問題がある。
In addition, a method of recognizing a gesture without using a marker or the like and performing a preprocessing of extracting an image area corresponding to a user's hand has been proposed. In this case, it is difficult to apply. On the other hand, a method for robustly specifying the operator and the position of the operator by recognizing the hand movement is also proposed in an environment where a plurality of persons exist. Furthermore, since this method does not use color information, it is shown that the method is robust against individual differences in lighting conditions and skin colors. However, there is a problem that it is impossible to identify that the repetitive motion is a gesture only by recognizing the repetitive motion such as shaking hands.
Further, as a conventional technique, Patent Document 1 discloses a technique for inputting a gesture by a multi-axis angular velocity sensor or a multi-axis acceleration sensor. However, since such a contact-type sensor is used, there is a range in which operation is possible. There is a problem of being limited. Patent Document 2 discloses a technique for binarizing a time difference image and recognizing a gesture based on the pattern. However, this method cannot be expected to increase the processing speed, and further, hardware is not easy, and problems remain in downsizing and cost reduction of the apparatus. Patent Document 3 discloses a technique for performing gesture polar recognition on each frame of a moving image and performing gesture recognition using higher-order local autocorrelation features at each pixel of the converted image. However, as with Patent Document 2, it is not possible to expect an increase in processing speed, and further, hardware is not easy, and problems remain in downsizing and cost reduction of the apparatus. Patent Document 4 discloses a gesture recognition technique using output data of a distance image sensor that continuously generates a distance image with a distance value as a pixel value. However, since this conventional technique uses an expensive distance image sensor, there is a problem that the cost of the apparatus increases.
本発明は、かかる課題に鑑みてなされたものであり、低解像度化した濃淡画像の各画素に対して時間軸方向のＦＦＴを行うことにより得られるパワースペクトルを用いて周期運動を検出し、さらに周期運動領域から手の動作領域を抽出し、その領域内の位相スペクトルを用いて周期ジェスチャの種類を識別することにより、直感的かつ非接触での操作、自然なインタラクションを可能にした周期ジェスチャ識別装置及び識別方法を提供することを目的とする。
また、他の目的は、あらかじめ肌色の情報などを使って手領域を抽出するといった画像処理を不必要として、高速な計算が可能なＦＦＴを適用することで、極めて簡潔な処理を実現することにより、システムの小型化、ハードウェア化が期待でき、且つ汎用性のあるインタフェースを実現することである。
The present invention has been made in view of such a problem, and detects periodic motion using a power spectrum obtained by performing FFT in the time axis direction on each pixel of a grayscale image with reduced resolution. Periodic gesture identification that enables intuitive and non-contact operation and natural interaction by extracting the motion region of the hand from the periodic motion region and identifying the type of periodic gesture using the phase spectrum in that region An object is to provide an apparatus and an identification method.
Another object is to realize extremely simple processing by applying FFT capable of high-speed calculation without the need for image processing such as extracting hand regions using skin color information in advance. The realization of a versatile interface that can be expected to reduce the size and hardware of the system.
本発明はかかる課題を解決するために、請求項１は、被写体の動作を画像化する撮像手段により撮像された被写体画像の動作に基づいて該被写体画像に係る特定部位が周期ジェスチャを行なっているか否かを識別する周期ジェスチャ識別装置であって、前記撮像手段により撮像された被写体画像の動作が周期運動であるか否かを検出する周期運動検出手段と、該周期運動検出手段により前記被写体画像の動作が周期運動であると判定された場合、前記被写体画像の動作領域から特定部位の動作領域を抽出する特定部位動作領域抽出手段と、該特定部位動作領域抽出手段により抽出された特定部位の特徴量に基づいてパターン認識を行い周期ジェスチャの種別を識別する周期ジェスチャ識別手段と、を備え、連続した所定数のフレームが前記周期ジェスチャ識別手段により所定回数以上同一の周期ジェスチャであると識別された場合、該周期ジェスチャの種別を最終的に確定することを特徴とする。
本発明の周期ジェスチャ識別装置は、まず、ビデオカメラ等の撮像手段により撮影された被写体画像が周期的な運動を行なっているか否かを判定する。その結果、被写体画像が周期運動をしていると判定されると、周期運動をしている被写体画像の中から特定部位（例えば、手）の画像だけを抽出する。そして、抽出された特定部位の画像の特徴量（位相スペクトル）に基づいてパターン認識を行い、周期ジェスチャの種別を識別する。また、より確実な識別を行なうために、連続した所定数のフレームが所定回数以上同一の周期ジェスチャとして識別された場合、その周期ジェスチャの種別を最終的に確定する。これにより、被写体画像の周期運動の中から特定部位が周期ジェスチャを行なっていることを識別して、そのジェスチャの種別を正確に且つ迅速に判定することができる。
In order to solve the above-described problem, the present invention provides the first aspect of the present invention in which the specific part related to the subject image performs a periodic gesture based on the motion of the subject image captured by the imaging means for imaging the motion of the subject. A periodic gesture identification device for identifying whether or not a motion of a subject image captured by the imaging unit is a periodic motion, and the subject image by the periodic motion detection unit If the movement is determined to be a periodic motion, the specific part motion region extracting means for extracting the motion region of the specific part from the motion region of the subject image, and the specific part extracted by the specific part motion region extraction means Periodic gesture identification means for recognizing a pattern based on the feature quantity and identifying the type of the periodic gesture, and a predetermined number of consecutive frames If it is identified as a same cycle gesture predetermined number of times or more by gesture identification means, characterized in that it finalized the type of the periodic gesture.
The periodic gesture identification device of the present invention first determines whether or not a subject image photographed by an imaging means such as a video camera is performing a periodic motion. As a result, when it is determined that the subject image has a periodic motion, only an image of a specific part (for example, a hand) is extracted from the subject images having a periodic motion. Then, pattern recognition is performed based on the feature amount (phase spectrum) of the extracted image of the specific part, and the type of the periodic gesture is identified. Further, in order to perform more reliable identification, when a predetermined number of consecutive frames are identified as the same periodic gesture more than a predetermined number of times, the type of the periodic gesture is finally determined. Accordingly, it is possible to identify that the specific part is performing the periodic gesture from the periodic motion of the subject image, and to accurately and quickly determine the type of the gesture.
請求項２は、前記周期運動検出手段は、前記被写体画像から取得した濃淡画像をフレーム単位に低解像度化する低解像度化手段と、該低解像度化手段により得られた各フレームに係る低解像度画素の濃淡値を時系列に取得する低解像度画素濃淡値取得手段と、 該低解像度画素濃淡値取得手段により取得した直前フレームにおける低解像度画素の濃淡値の最大値と最小値を用いて正規化する正規化手段と、該正規化手段により正規化した画素の濃淡値変化に対してフーリエ変換処理を行いパワースペクトル、及び位相スペクトルを抽出するスペクトル抽出手段と、を備え、前記スペクトル抽出手段により抽出された前記パワースペクトルを用いてパターン認識を行い周期運動領域を画素ごとに抽出することを特徴とする。
被写体画像は、まず周期運動をしているか否かが判断される。何故ならば、ジェスチャは一過性の動作ではなく、何らかの周期運動と見做すことができるためである。従って、本発明の周期運動検出手段では、計算量の軽減やノイズに対するロバスト性の向上、滑らかな濃淡変化パターンが得られるといった効果のために、被写体画像から取得した濃淡画像をフレーム単位に低解像度化する。次に、各画素における濃淡値の時系列変化を取得して、直前フレームにおける最大値と最小値の差を用いて正規化処理を施す。さらに、正規化した濃淡値変化に対して高速フーリエ変換（ＦＦＴ）を行い、パワースペクトルと位相スペクトルを抽出する。そして、抽出されたパワースペクトルを用いてパターン認識を行い周期運動領域を画素ごとに抽出する。これにより、被写体画像の動きから周期運動を正確に且つ迅速に認識することができる。
According to a second aspect of the present invention, the periodic motion detecting means includes a resolution reducing means for reducing the resolution of the grayscale image acquired from the subject image in units of frames, and a low resolution pixel relating to each frame obtained by the resolution reducing means. Normalization using the maximum value and minimum value of the low-resolution pixel gray value in the immediately preceding frame acquired by the low-resolution pixel gray value acquisition unit A normalizing means; and a spectrum extracting means for extracting a power spectrum and a phase spectrum by performing a Fourier transform process on a change in gray value of a pixel normalized by the normalizing means, and extracted by the spectrum extracting means. Further, pattern recognition is performed using the power spectrum, and a periodic motion region is extracted for each pixel.
It is first determined whether or not the subject image has a periodic motion. This is because the gesture is not a temporary motion but can be regarded as some periodic motion. Therefore, in the periodic motion detection means of the present invention, the grayscale image acquired from the subject image has a low resolution for each frame in order to reduce the amount of calculation, improve the robustness against noise, and obtain a smooth grayscale change pattern. Turn into. Next, the time series change of the gray value in each pixel is acquired, and normalization processing is performed using the difference between the maximum value and the minimum value in the immediately preceding frame. Further, fast Fourier transform (FFT) is performed on the normalized gray value change, and a power spectrum and a phase spectrum are extracted. Then, pattern recognition is performed using the extracted power spectrum, and a periodic motion region is extracted for each pixel. Thereby, it is possible to accurately and quickly recognize the periodic movement from the movement of the subject image.
請求項３は、前記周期ジェスチャ識別手段は、前記特定部位動作領域抽出手段により抽出された特定部位の全画素を含む矩形領域を生成する矩形領域生成手段と、前記矩形領域内における画素間の位相スペクトル差を算出する位相スペクトル差算出手段と、を備え、前記位相スペクトル差算出手段により算出された位相スペクトル差に基づいてパターン認識を行い、前記周期ジェスチャを識別することを特徴とする。
ジェスチャの種別によって特定部位の移動する方向が異なるので、周期運動領域における各画素間の位相も異なる。即ち、周期ジェスチャを識別するには、抽出された特定部位の動作領域の全画素を含む矩形領域を生成し、その領域内における画素間の位相スペクトル差を算出する。この位相スペクトル差を特徴量としてパターン認識を行い周期ジェスチャを識別する。これにより、位相スペクトル差を特徴量としてパターン認識を行なうので、ジェスチャの種別を的確に判定することができる。
請求項４は、前記低解像度化手段は、取得した各フレームの濃淡画像をｍ×ｎ画素に低解像度化することを特徴とする。
取得した濃淡画像をモザイク状に分割する。そのときのモザイクの大きさはｍ×ｎ画素により決定される。即ち、被写体画像の大きさ（手の大きさ、手振りの運動幅、計測したい最大距離、カメラの画角、水平画素数で定義される）と処理速度との兼ね合いで決定される。また、被写体画像の一定領域（ブロック）ごとに濃度の平均を求め、その領域を平均値で塗りつぶすことによりモザイク化して低解像度化が行なわれる。これにより、計算量の軽減やノイズに対するロバスト性の向上、滑らかな濃淡変化パターンが得られる。
According to a third aspect of the present invention, the periodic gesture identifying unit includes a rectangular region generating unit configured to generate a rectangular region including all pixels of the specific part extracted by the specific part action region extracting unit, and a phase between the pixels in the rectangular region. Phase spectrum difference calculating means for calculating a spectrum difference, and performing pattern recognition based on the phase spectrum difference calculated by the phase spectrum difference calculating means to identify the periodic gesture.
Since the moving direction of the specific part varies depending on the type of gesture, the phase between the pixels in the periodic motion region also varies. That is, in order to identify the periodic gesture, a rectangular region including all pixels of the extracted motion region of the specific part is generated, and a phase spectrum difference between the pixels in the region is calculated. Pattern recognition is performed using the phase spectrum difference as a feature amount to identify a periodic gesture. Thereby, since pattern recognition is performed using the phase spectrum difference as a feature quantity, the type of gesture can be accurately determined.
According to a fourth aspect of the present invention, the resolution reducing means reduces the resolution of the acquired grayscale image of each frame to m × n pixels.
The acquired grayscale image is divided into mosaics. The size of the mosaic at that time is determined by m × n pixels. That is, the size of the subject image (defined by the size of the hand, the movement width of the hand shake, the maximum distance to be measured, the angle of view of the camera, the number of horizontal pixels) and the processing speed are determined. Further, the average density is obtained for each fixed area (block) of the subject image, and the area is filled with the average value to make a mosaic to reduce the resolution. As a result, the amount of calculation can be reduced, the robustness against noise can be improved, and a smooth shading change pattern can be obtained.
請求項５は、前記特定部位動作領域抽出手段は、前記周期運動検出手段により周期運動として認識された全画素に対して、ジェスチャを識別する上で不要な周期運動領域を除去する補正を行なうことを特徴とする。
画素ごとに抽出された周期運動領域には、特定部位以外にジェスチャを行なう際に同時に振動してしまう部位なども含まれる。このため、ジェスチャを行なっている特定部位の動作領域が的確に抽出できず、ジェスチャの識別が困難である。そこで、抽出された周期運動領域を補正するために、周期運動として認識された全画素に対して、ジェスチャを識別する上で不要な周期運動領域を除去する。これにより、特定部位を的確に抽出することができる。
請求項６は、前記位相スペクトル差算出手段は、前記パワースペクトルが最大となるピーク周波数の位相スペクトルを前記周期ジェスチャを識別するための位相スペクトルとすることを特徴とする。
パワースペクトルが最大となる周波数は、周期運動の特徴を表す代表値とみなすことができる。そこで本発明では、周期ジェスチャの識別に用いる位相スペクトルは、パワースペクトルが最大となるピーク周波数の位相スペクトルとする。これにより、パターン認識の誤差を低減して認識率を高めることができる。
According to a fifth aspect of the present invention, the specific region motion region extraction unit performs correction for removing unnecessary periodic motion regions for identifying a gesture for all pixels recognized as periodic motion by the periodic motion detection unit. It is characterized by.
The periodic motion region extracted for each pixel includes a part that vibrates simultaneously when performing a gesture other than the specific part. For this reason, it is difficult to accurately extract the motion region of the specific part where the gesture is performed, and it is difficult to identify the gesture. Therefore, in order to correct the extracted periodic motion region, the periodic motion region unnecessary for identifying the gesture is removed from all pixels recognized as the periodic motion. Thereby, a specific part can be extracted exactly.
According to a sixth aspect of the present invention, the phase spectrum difference calculating means uses a phase spectrum of a peak frequency at which the power spectrum is maximized as a phase spectrum for identifying the periodic gesture.
The frequency at which the power spectrum is maximized can be regarded as a representative value representing the characteristics of periodic motion. Therefore, in the present invention, the phase spectrum used for identifying the periodic gesture is a phase spectrum having a peak frequency that maximizes the power spectrum. Thereby, the recognition rate can be increased by reducing errors in pattern recognition.
請求項７は、被写体の動作を画像化する撮像手段により撮像された被写体画像の動作に基づいて該被写体画像に係る特定部位が周期ジェスチャを行なっているか否かを識別する周期ジェスチャ識別装置の周期ジェスチャ識別方法であって、周期運動検出手段が前記撮像手段により撮像された被写体画像の動作が周期運動であるか否かを検出するステップと、特定部位動作領域抽出手段が前記周期運動検出手段により前記被写体画像の動作が周期運動であると判定された場合、該被写体画像から前記特定部位に係る動作領域を抽出するステップと、周期ジェスチャ識別手段が前記特定部位動作領域抽出手段により抽出された特定部位の特徴量に基づいてパターン認識を行い周期ジェスチャの種別を識別するステップと、を備え、連続した所定数のフレームが前記周期ジェスチャ識別手段により所定回数以上同一の周期ジェスチャであると識別された場合、該周期ジェスチャの種別を最終的に確定することを特徴とする。
本発明は請求項１と同様の作用効果を奏する。
請求項８は、前記周期運動検出手段は、低解像度化手段が前記被写体画像から取得した濃淡画像をフレーム単位に低解像度化するステップと、低解像度画素濃淡値取得手段が前記低解像度化手段により得られた各フレームに係る低解像度画素の濃淡値を時系列に取得するステップと、正規化手段が前記低解像度画素濃淡値取得手段により取得した直前フレームにおける低解像度画素の濃淡値の最大値と最小値を用いて正規化するステップと、スペクトル抽出手段が前記正規化手段により正規化した画素の濃淡値変化に対してフーリエ変換処理を行いパワースペクトル、及び位相スペクトルを抽出するステップと、を備え、前記スペクトル抽出手段により抽出された前記パワースペクトルを用いてパターン認識を行い周期運動領域を画素ごとに抽出することを特徴とする。
本発明は請求項２と同様の作用効果を奏する。
According to a seventh aspect of the present invention, the period of the periodic gesture identification device for identifying whether or not the specific part related to the subject image is performing the periodic gesture based on the movement of the subject image captured by the imaging unit that images the motion of the subject. In the gesture identification method, the step of detecting whether or not the motion of the subject image captured by the imaging unit is a periodic motion, and the specific region motion region extraction unit is detected by the periodic motion detection unit. When it is determined that the motion of the subject image is a periodic motion, a step of extracting a motion region related to the specific part from the subject image, and a periodic gesture identification unit is identified by the specific part motion region extraction unit A step of recognizing a pattern based on a feature amount of a part and identifying a type of a periodic gesture, and a predetermined number If the frame is identified as the same period gesture predetermined number of times or more in the periodic gesture identification means, characterized in that it finalized the type of the periodic gesture.
The present invention has the same effect as that of the first aspect.
According to an eighth aspect of the present invention, the periodic motion detecting means includes a step of reducing the resolution of a grayscale image acquired from the subject image by the resolution reducing means on a frame basis, and a low resolution pixel grayscale value acquiring means is provided by the resolution reducing means. A step of acquiring the obtained low-resolution pixel gray value for each frame in time series, and a normalization unit that obtains the maximum value of the low-resolution pixel gray value in the immediately preceding frame acquired by the low-resolution pixel gray value acquisition unit; Normalizing using a minimum value, and extracting the power spectrum and phase spectrum by performing a Fourier transform process on the change in gray value of the pixel normalized by the normalizing means by the spectrum extracting means. The pattern recognition is performed using the power spectrum extracted by the spectrum extraction means, and the periodic motion region is determined for each pixel. Characterized in that it out.
The present invention has the same effect as that of the second aspect.
請求項９は、前記周期ジェスチャ識別手段は、矩形領域生成手段が前記特定部位動作領域抽出手段により抽出された特定部位の全画像を含む矩形領域を生成するステップと、位相スペクトル差算出手段が前記矩形領域内における画素間の位相スペクトル差を算出するステップと、を備え、前記位相スペクトル差算出手段により算出された位相スペクトル差に基づいてパターン認識を行い、前記周期ジェスチャを識別することを特徴とする。
本発明は請求項３と同様の作用効果を奏する。
請求項１０は、前記低解像度化手段は、取得した各フレームの濃淡画像をｍ×ｎ画素に低解像度化することを特徴とする。
本発明は請求項４と同様の作用効果を奏する。
請求項１１は、前記特定部位動作領域抽出手段は、前記周期運動検出手段により周期運動として認識された全画素に対して、ジェスチャを識別するうえで不要な周期運動領域を除去する補正を行なうことを特徴とする。
本発明は請求項５と同様の作用効果を奏する。
According to a ninth aspect of the present invention, the periodic gesture identification unit includes a step of generating a rectangular region including all images of the specific part extracted by the specific part operation region extracting unit, and a phase spectrum difference calculating unit including the phase spectrum difference calculating unit Calculating a phase spectral difference between pixels in a rectangular region, and performing pattern recognition based on the phase spectral difference calculated by the phase spectral difference calculating means to identify the periodic gesture To do.
The present invention has the same effect as that of the third aspect.
According to a tenth aspect of the present invention, the resolution reducing means reduces the resolution of the acquired grayscale image of each frame to m × n pixels.
The present invention has the same effect as that of the fourth aspect.
In the eleventh aspect of the present invention, the specific region motion region extraction unit performs correction for removing unnecessary periodic motion regions for identifying a gesture for all pixels recognized as periodic motion by the periodic motion detection unit. It is characterized by.
The present invention has the same effect as that of the fifth aspect.
請求項１２は、前記位相スペクトル差算出手段は、前記パワースペクトルが最大となるピーク周波数の位相スペクトルを前記周期ジェスチャを識別するための位相スペクトルとすることを特徴とする。
本発明は請求項６と同様の作用効果を奏する。
請求項１３は、請求項７乃至１２の何れか一項に記載の周期ジェスチャ識別方法をコンピュータが制御可能にプログラミングしたことを特徴とする。
かかる発明によれば、本発明の周期ジェスチャ識別方法をコンピュータが制御可能なＯＳに従ってプログラミングすることにより、そのＯＳを備えたコンピュータであれば同じ処理方法により制御することができる。
請求項１４は、請求項１３に記載の周期ジェスチャ識別プログラムをコンピュータが読み取り可能な形式で記録したことを特徴とする。
かかる発明によれば、周期ジェスチャ識別プログラムをコンピュータが読み取り可能な形式で記録媒体に記録することにより、この記録媒体を持ち運ぶことにより何処でもプログラムを稼動することができる。
A twelfth aspect of the present invention is characterized in that the phase spectrum difference calculating means sets a phase spectrum of a peak frequency at which the power spectrum is maximized as a phase spectrum for identifying the periodic gesture.
The present invention has the same effect as that of the sixth aspect.
A thirteenth aspect is characterized in that the periodic gesture identification method according to any one of the seventh to twelfth aspects is programmed to be controlled by a computer.
According to this invention, by programming the periodic gesture identification method of the present invention in accordance with an OS that can be controlled by a computer, any computer equipped with the OS can be controlled by the same processing method.
A fourteenth aspect is characterized in that the periodic gesture identification program according to the thirteenth aspect is recorded in a computer-readable format.
According to this invention, the periodic gesture identification program is recorded on the recording medium in a computer-readable format, so that the program can be operated anywhere by carrying the recording medium.
本発明によれば、低解像度化した濃淡画像の各画素に対して時間軸方向のFFTを行うことにより得られるパワースペクトルを用いて周期運動を検出し、さらに周期運動領域から手の動作領域を抽出し、その領域内の位相スペクトルを用いて被写体画像の周期運動の中から特定部位が周期ジェスチャを行なっていることを識別するので、そのジェスチャの種別を正確に且つ迅速に判定することができる。 According to the present invention, periodic motion is detected using a power spectrum obtained by performing FFT in the time axis direction on each pixel of a gray-scale image with reduced resolution, and the motion region of the hand is further detected from the periodic motion region. Extracting and identifying that the specific part is performing the periodic gesture from the periodic motion of the subject image using the phase spectrum in the region, so that the type of the gesture can be determined accurately and quickly. .
以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図１は本発明の実施形態に係る周期ジェスチャ識別装置の機能を表す機能ブロック図である。尚、ハードウェアの最小構成としては、ビデオカメラ又は連写可能なデジタルカメラ（モノクロ）、ＰＣ（パーソナルコンピュータ）、表示ディスプレイにより実現することができる。そして、動作を制御するプログラムはＲＯＭ等のメモリに格納され、そのプログラム（ソフトウェア）を実行することにより各機能が実現される。従って、各手段は、プログラムに含まれる機能を実現するブロックとして見做すことができる。この周期ジェスチャ識別装置１００は、図示しない被写体画像の動作に基づいて被写体画像に係る特定部位（例えば手）が周期ジェスチャを行なっているか否かを識別する周期ジェスチャ識別装置１００であって、大きく分けると、被写体画像を撮像する撮像手段（ビデオカメラ又は連写可能なデジタルカメラ）１と、撮像手段１により撮像された被写体画像の動作が周期運動を行なっているか否かを検出する周期運動検出手段２と、周期運動検出手段２により被写体画像が周期運動をしていると判定された場合、被写体画像の動作領域から特定部位の動作領域を抽出する特定部位動作領域抽出手段３と、特定部位動作領域抽出手段３により抽出された特定部位の特徴量に基づいてパターン認識を行い周期ジェスチャの種別を識別する周期ジェスチャ識別手段４と、各手段を同期制御する制御手段５と、を備えて構成されている。また、被写体画像等を一時的に記憶するメモリ６と、装置の動作を制御するプログラムを格納するＲＯＭ７と、を備える。そして、連続した所定数のフレームが周期ジェスチャ識別手段２により所定回数以上同一の周期ジェスチャとして識別された場合、周期ジェスチャの種別（例えば、横振り、縦振り、時計方向の回転、反時計方向の回転等）を最終的に確定する。そして、各種別に意味合いを持たせておくことにより、種別に基づいた動作（例えば、横振りでスイッチＯＮ、縦振りでスイッチＯＦＦ等）を実行することができる。
Hereinafter, the present invention will be described in detail with reference to embodiments shown in the drawings. However, the components, types, combinations, shapes, relative arrangements, and the like described in this embodiment are merely illustrative examples and not intended to limit the scope of the present invention only unless otherwise specified. .
FIG. 1 is a functional block diagram showing functions of a periodic gesture identification device according to an embodiment of the present invention. The minimum hardware configuration can be realized by a video camera or a continuous-capable digital camera (monochrome), a PC (personal computer), and a display. A program for controlling the operation is stored in a memory such as a ROM, and each function is realized by executing the program (software). Therefore, each unit can be regarded as a block that realizes a function included in the program. The periodic gesture identification device 100 is a periodic gesture identification device 100 that identifies whether or not a specific part (for example, a hand) related to a subject image is performing a periodic gesture based on an operation of a subject image (not shown). And an image pickup means (video camera or digital camera capable of continuous shooting) 1 for picking up the subject image, and a periodic motion detection means for detecting whether or not the operation of the subject image picked up by the image pickup means 1 performs a periodic motion. 2 and a specific part motion region extracting means 3 for extracting a motion region of a specific part from the motion region of the subject image when the subject image is determined to have a periodic motion by the periodic motion detection means 2, and a specific part motion A periodic period for recognizing the type of periodic gesture by performing pattern recognition based on the feature quantity of the specific part extracted by the area extracting means 3 And Texturizing identifying means 4 is configured to include a control means 5 for synchronously controlling each unit. In addition, a memory 6 that temporarily stores subject images and the like, and a ROM 7 that stores a program for controlling the operation of the apparatus are provided. When a predetermined number of consecutive frames are identified as the same periodic gesture by the periodic gesture identification unit 2 a predetermined number of times or more, the type of the periodic gesture (eg, horizontal swing, vertical swing, clockwise rotation, counterclockwise rotation) Finalize rotation etc.) Then, by giving meanings to various types, it is possible to execute an operation based on the type (for example, the switch is turned on horizontally and the switch is turned off vertically).
即ち、本実施形態の周期ジェスチャ識別装置１００は、まず、カメラ等の撮像手段１により撮影された被写体画像が周期的な運動を行なっているか否かを判定する。その結果、被写体画像が周期運動をしていると判定されると、周期運動をしている被写体画像の中から特定部位（例えば、手）の画像だけを抽出する。そして、抽出された特定部位の画像の特徴量（位相スペクトル）に基づいてパターン認識を行い、周期ジェスチャの種別を識別する。また、より確実な識別を行なうために、連続した所定数のフレームが同一の周期ジェスチャとして識別された場合、その周期ジェスチャの種別を最終的に確定する。これにより、被写体画像の周期運動の中から特定部位が周期ジェスチャを行なっていることを識別して、そのジェスチャの種別を正確に且つ迅速に判定することができる。
更に具体的には、周期運動検出手段２は、被写体画像から取得した濃淡画像をフレーム単位に低解像度化する低解像度化手段８と、低解像度化手段８により得られた各フレームに係る低解像度画素の濃淡値を時系列に取得する低解像度画素濃淡値取得手段９と、低解像度画素濃淡値取得手段９により取得した直前フレームにおける低解像度画素の濃淡値の最大値と最小値を用いて正規化する正規化手段１０と、正規化手段１０により正規化した画素の濃淡値変化に対してフーリエ変換処理（本発明では、処理速度を速めるために高速フーリエ変換：ＦＦＴを利用する）を行いパワースペクトル、及び位相スペクトルを抽出するスペクトル抽出手段１１と、を備え、スペクトル抽出手段１１により抽出されたパワースペクトルを用いてパターン認識を行い周期運動領域を画素ごとに抽出する。
That is, the periodic gesture identification device 100 according to the present embodiment first determines whether or not the subject image captured by the imaging unit 1 such as a camera is performing a periodic motion. As a result, when it is determined that the subject image has a periodic motion, only an image of a specific part (for example, a hand) is extracted from the subject images having a periodic motion. Then, pattern recognition is performed based on the feature amount (phase spectrum) of the extracted image of the specific part, and the type of the periodic gesture is identified. In addition, in order to perform more reliable identification, when a predetermined number of consecutive frames are identified as the same periodic gesture, the type of the periodic gesture is finally determined. Accordingly, it is possible to identify that the specific part is performing the periodic gesture from the periodic motion of the subject image, and to accurately and quickly determine the type of the gesture.
More specifically, the periodic motion detection means 2 includes a resolution reduction means 8 for reducing the resolution of the grayscale image acquired from the subject image in units of frames, and a low resolution for each frame obtained by the resolution reduction means 8. The low-resolution pixel gray value acquisition unit 9 that acquires the gray value of the pixel in time series, and the normal value using the maximum and minimum values of the low-resolution pixel gray value in the immediately preceding frame acquired by the low resolution pixel gray value acquisition unit 9 And normalization means 10 to be normalized, and a Fourier transform process (in the present invention, fast Fourier transform (FFT) is used to increase the processing speed in order to increase the processing speed) for the change in gray value of the pixel normalized by the normalization means 10 A spectrum extraction unit 11 for extracting a spectrum and a phase spectrum, and a pattern using the power spectrum extracted by the spectrum extraction unit 11 The periodic motion region performs identification extracted for each pixel.
即ち、被写体画像は、まず周期運動をしているか否かが判断される。何故ならば、周期ジェスチャは一過性の動作ではなく、何らかの周期運動と見做すことができるためである。従って、本実施形態の周期運動検出手段２では、計算量の軽減やノイズに対するロバスト性の向上、滑らかな濃淡変化パターンが得られるといった理由から、被写体画像から取得した濃淡画像をフレーム単位に低解像度化する。次に、各画素における濃淡値の時系列変化を取得して、直前フレームにおける最大値と最小値の差を用いて正規化処理を施す。さらに、正規化した濃淡値変化に対して高速フーリエ変換（ＦＦＴ）を行い、パワースペクトルと位相スペクトルを抽出する。そして、抽出されたパワースペクトルを用いてパターン認識を行い周期運動領域を画素ごとに抽出する。これにより、被写体画像の動きから周期運動を正確に且つ迅速に検出することができる。 That is, it is first determined whether or not the subject image has a periodic motion. This is because the periodic gesture is not a transient motion but can be regarded as some periodic motion. Therefore, the periodic motion detection means 2 of this embodiment reduces the amount of calculation, improves the robustness against noise, and obtains a smooth gradation change pattern. Turn into. Next, the time series change of the gray value in each pixel is acquired, and normalization processing is performed using the difference between the maximum value and the minimum value in the immediately preceding frame. Further, fast Fourier transform (FFT) is performed on the normalized gray value change, and a power spectrum and a phase spectrum are extracted. Then, pattern recognition is performed using the extracted power spectrum, and a periodic motion region is extracted for each pixel. Thereby, it is possible to accurately and quickly detect the periodic motion from the motion of the subject image.
また、低解像度化手段８は、取得した各フレームの濃淡画像をｍ×ｎ画素にして低解像度化することを特徴とする。即ち、取得した濃淡画像をモザイク状に分割する。そのときのモザイクの大きさはｍ×ｎ画素により決定される。即ち、モザイクの大きさは被写体画像の大きさ（手の大きさ、手振りの運動幅、計測したい最大距離、カメラの画角、水平画素数で定義される）と処理速度との兼ね合いで決定され、被写体画像の一定領域（ブロック）ごとに濃度の平均を求め、その領域を平均値で塗りつぶすことによりモザイク化して低解像度化が行なわれる。これにより、計算量の軽減やノイズに対するロバスト性の向上、滑らかな濃淡変化パターンが得られる（詳細は後述する）。
また、特定部位動作領域抽出手段３は、周期運動検出手段２により周期運動として認識された全画素に対して、ジェスチャを識別する上で不要な周期運動領域を除去する補正を行なう。即ち、画素ごとに抽出された周期運動領域には、特定部位以外にジェスチャを行なう際に同時に振動してしまう部位なども含まれる。このため、ジェスチャを行なっている特定部位の動作領域が的確に抽出できず、ジェスチャの識別が困難となる。そこで、抽出された周期運動領域を補正するために、周期運動として認識された全画素に対して、ジェスチャを識別する上で不要な周期運動領域を除去する。これにより、特定部位だけを的確に抽出することができる（詳細は後述する）。
Further, the resolution reducing means 8 is characterized in that the acquired gray image of each frame is reduced to m × n pixels to reduce the resolution. That is, the acquired gray image is divided into mosaics. The size of the mosaic at that time is determined by m × n pixels. That is, the size of the mosaic is determined by the balance between the size of the subject image (defined by the size of the hand, the movement width of the hand shake, the maximum distance to be measured, the angle of view of the camera, the number of horizontal pixels) and the processing speed. The average of the density is obtained for each fixed area (block) of the subject image, and the area is filled with the average value to make a mosaic to reduce the resolution. As a result, the calculation amount is reduced, the robustness against noise is improved, and a smooth shading change pattern is obtained (details will be described later).
In addition, the specific part motion region extraction unit 3 performs correction for removing a periodic motion region unnecessary for identifying a gesture on all pixels recognized as the periodic motion by the periodic motion detection unit 2. That is, the periodic motion region extracted for each pixel includes a part that vibrates simultaneously when performing a gesture other than the specific part. For this reason, the motion region of the specific part where the gesture is performed cannot be accurately extracted, and it becomes difficult to identify the gesture. Therefore, in order to correct the extracted periodic motion region, the periodic motion region unnecessary for identifying the gesture is removed from all pixels recognized as the periodic motion. Thereby, only a specific site | part can be extracted exactly (details are mentioned later).
また、周期ジェスチャ識別手段４は、特定部位動作領域抽出手段３により抽出された特定部位の全画像を含む矩形領域を生成する矩形領域生成手段１２と、矩形領域内における画素間の位相スペクトル差を算出する位相スペクトル差算出手段１３と、を備え、位相スペクトル差算出手段１３により算出された位相スペクトル差を特徴量としてパターン認識を行い、周期ジェスチャを識別する。
即ち、ジェスチャの種別によって特定部位の移動する方向が異なるので、周期運動領域における各画素間の位相も異なる。即ち、周期ジェスチャを識別するには、抽出された特定部位の動作領域の全画素を含む矩形領域を生成し、その領域内における画素間の位相スペクトル差を算出する。この位相スペクトル差を特徴量としてパターン認識を行い周期ジェスチャを識別する。これにより、位相スペクトル差を特徴量としてパターン認識を行なうので、ジェスチャの種別を的確に判定することができる。
In addition, the periodic gesture identification unit 4 calculates a rectangular region generation unit 12 that generates a rectangular region including all images of the specific part extracted by the specific part motion region extraction unit 3 and a phase spectrum difference between pixels in the rectangular region. A phase spectrum difference calculating means 13 for calculating, and performing pattern recognition using the phase spectrum difference calculated by the phase spectrum difference calculating means 13 as a feature quantity to identify a periodic gesture.
That is, since the moving direction of the specific part varies depending on the type of gesture, the phase between the pixels in the periodic motion region also varies. That is, in order to identify the periodic gesture, a rectangular region including all pixels of the extracted motion region of the specific part is generated, and a phase spectrum difference between the pixels in the region is calculated. Pattern recognition is performed using the phase spectrum difference as a feature amount to identify a periodic gesture. Thereby, since pattern recognition is performed using the phase spectrum difference as a feature quantity, the type of gesture can be accurately determined.
以下、本発明の周期ジェスチャ識別装置１００の動作について詳細に説明する。
図２は本発明の周期ジェスチャ識別装置１００の動作について説明するフローチャートである。まず、撮像手段１により取得した濃淡画像をｍ×ｎ画素に低解像度化し（Ｓ１）、全画素の濃淡値Ｉ（ｉ、ｊ、ｔ）を時系列で取得する（Ｓ２）（図３参照）。ただし、ｉ＝１、２、…、ｍ、ｊ＝１、２、…、ｎは画像座標、ｔはフレーム数である。図４（ａ）に被写体画像１５、図４（ｂ）に被写体画像１５を低解像度化した画像１７の例を示す。ここで、図４（ｂ）の符号１６が低解像度化した単位画素となる。画像の低解像度化は、計算量の軽減やノイズに対するロバスト性の向上、滑らかな濃淡変化パターンが得られるといった効果が期待できる。
つぎに、図５（ａ）で示すように各画素における濃淡値の時系列変化を取得し、前ｕフレームにおける最大値と最小値の差を用いて正規化処理を施す（Ｓ３）。さらに図５（ｂ）で示すような正規化した濃淡値変化に対してＦＦＴを行い（Ｓ４）、図５（ｃ）、（ｄ）に示すようなスペクトルを取得する（Ｓ５）。図５（ｃ）はパワースペクトル、図５（ｄ）は位相スペクトルである。その中からパワースペクトルを算出して（Ｓ６）、そのパワースペクトルを特徴量とし、ＳＶＭを用いて判別分析を行い（Ｓ７）、周期運動領域を画素毎に抽出する（Ｓ８）。尚、特徴量にはパワースペクトルＧを用いる。Ｇは式（１）で与えられる。
Ｎはサンプリング数、ＷはＤＦＴ（Discrete Fourier Transform）における回転子を表す。
Hereinafter, the operation of the periodic gesture identification device 100 of the present invention will be described in detail.
FIG. 2 is a flowchart for explaining the operation of the periodic gesture identification device 100 of the present invention. First, the grayscale image acquired by the imaging means 1 is reduced in resolution to m × n pixels (S1), and the grayscale values I (i, j, t) of all the pixels are acquired in time series (S2) (see FIG. 3). . Here, i = 1, 2,..., M, j = 1, 2,..., N are image coordinates, and t is the number of frames. FIG. 4A shows an example of the subject image 15, and FIG. 4B shows an example of an image 17 obtained by reducing the resolution of the subject image 15. Here, reference numeral 16 in FIG. 4B is a unit pixel whose resolution is reduced. Lowering the resolution of an image can be expected to reduce the amount of calculation, improve the robustness against noise, and obtain a smooth shade change pattern.
Next, as shown in FIG. 5A, the time series change of the gray value in each pixel is acquired, and normalization processing is performed using the difference between the maximum value and the minimum value in the previous u frame (S3). Further, FFT is performed on the normalized change in gray value as shown in FIG. 5B (S4), and spectra as shown in FIGS. 5C and 5D are acquired (S5). FIG. 5C shows a power spectrum, and FIG. 5D shows a phase spectrum. A power spectrum is calculated from the inside (S6), and the discriminant analysis is performed using the power spectrum as a feature amount (S7), and a periodic motion region is extracted for each pixel (S8). Note that the power spectrum G is used as the feature amount. G is given by equation (1).
N represents the number of samplings, and W represents a rotor in DFT (Discrete Fourier Transform).
本発明では、ソフトマージン法・カーネルトリックをＳＶＭに適用する。学習の際、Gaussカーネルを用い、２つの未知パラメータを決定する方法としてgrid searchを用いる。特に本発明では、学習にかかる時間の削減のため、最初は粗く次第に細かく値を求めていくcoarse grid searchを適用する。また、オーバーフィッティングを防ぐために、クロスバリデーション（Cross validation）を用いてパラメータを決定する。図６に周期運動を検出した画像２１の例を示す。
画素毎に抽出された周期運動領域２２には、図６（ｂ）に示すように手振り動作領域以外にジェスチャを行う際同時に振動してしまう頭や肩、服なども含まれている。このため、ジェスチャを行っている手の動作領域が的確に抽出できず、ジェスチャの識別が困難となる。そこで、抽出された周期運動領域２２を補正する。具体的にはまず、周期運動が認識された全画素に対してモルフォロジー処理を施すことで、図７（ａ）に示すように頭や肩などのジェスチャを識別するうえで不要な周期運動領域を除去して、周期運動領域２４とする。さらに、ラベリング処理で最大連結領域のみ選択することで、図７（ｂ）に示すように服などの振動領域を除去して周期運動領域２６とする。このように補正された周期運動領域を手の動作領域とする（Ｓ９）。
In the present invention, the soft margin method / kernel trick is applied to the SVM. In learning, a Gauss kernel is used, and grid search is used as a method of determining two unknown parameters. In particular, in the present invention, a coarse grid search in which values are first coarsely and gradually obtained in order to reduce the time required for learning is applied. In order to prevent overfitting, parameters are determined using cross validation. FIG. 6 shows an example of the image 21 in which the periodic motion is detected.
The periodic motion region 22 extracted for each pixel includes a head, a shoulder, clothes, and the like that vibrate simultaneously when performing a gesture, as shown in FIG. 6B. For this reason, the motion area of the hand performing the gesture cannot be accurately extracted, and it becomes difficult to identify the gesture. Therefore, the extracted periodic motion region 22 is corrected. Specifically, first, a morphological process is performed on all pixels in which the periodic motion is recognized, so that an unnecessary periodic motion region is identified in order to identify a gesture such as a head or a shoulder as shown in FIG. The periodic motion region 24 is removed. Furthermore, by selecting only the maximum connected region in the labeling process, the vibration region such as clothes is removed as a periodic motion region 26 as shown in FIG. The periodic motion region corrected in this way is set as a hand motion region (S9).
次に、抽出された手の動作領域２７（図８（ａ）参照）の全画素を内包する矩形領域２８を生成し（図８（ｂ）参照）、その領域内における画素間の位相スペクトル差を算出する（Ｓ１０）（図９参照）。ここで、識別に用いる位相スペクトルは図１０に示すように、パワースペクトルが最大となるピーク周波数の位相スペクトルとする。即ち、図１０では、パワースペクトルのピーク周波数は３であるので（符号３０）、位相スペクトルは周波数が３の位相スペクトル３１を採用する。次にマハラノビス距離を用いた判別分析により（Ｓ１１）、この位相スペクトル差を特徴量としてパターン認識を行い、周期ジェスチャを識別する（Ｓ１２）。尚、より確実な認識を行うために、ｌフレーム以上同一のジェスチャが識別された場合（Ｓ１３でＹｅｓ）に、最終結果として周期ジェスチャの種別を確定する（Ｓ１４）。 Next, a rectangular area 28 including all the pixels in the extracted hand motion area 27 (see FIG. 8A) is generated (see FIG. 8B), and the phase spectral difference between the pixels in the area is generated. Is calculated (S10) (see FIG. 9). Here, as shown in FIG. 10, the phase spectrum used for identification is a phase spectrum having a peak frequency at which the power spectrum is maximum. That is, in FIG. 10, since the peak frequency of the power spectrum is 3 (reference numeral 30), the phase spectrum 31 having a frequency of 3 is adopted as the phase spectrum. Next, by discriminant analysis using the Mahalanobis distance (S11), pattern recognition is performed using this phase spectrum difference as a feature amount to identify a periodic gesture (S12). In order to perform more reliable recognition, when the same gesture is identified for 1 frame or more (Yes in S13), the type of the periodic gesture is determined as the final result (S14).
次に、周期運動を検出するために用いる判別分析の概要について説明する。周期運動の検出は、周期運動とそれ以外に分類する２クラスの識別問題として扱う。線形しきい素子はニューロンを非常に単純化したモデルである。このモデルは入力ｘに対し、２値の出力ｙを以下に示す識別関数によって出力する。
ｗは重みベクトル、ｘは特徴空間内の点、ｂはバイアス項と呼ばれるパラメータである。関数ｓｉｇｎ（ｕ）は、ｕ≧０のとき１をとり、ｕ＜０のとき−１をとる符号関数である。このモデルは、ｗｘがしきい値を超えれば１を出力し、超えなければ−１を出力する。これは、幾何学的には、識別平面により、入力特徴空間を２つに分けることに相当する。線形しきい素子の学習はｗ、ｂをうまく判別できるように調整することによって行われる。
Next, an outline of discriminant analysis used for detecting periodic motion will be described. The detection of periodic motion is treated as a two-class identification problem classified into periodic motion and others. Linear threshold elements are very simplified models of neurons. This model outputs a binary output y with an identification function shown below for an input x.
w is a weight vector, x is a point in the feature space, and b is a parameter called a bias term. The function sign (u) is a sign function that takes 1 when u ≧ 0 and takes −1 when u <0. This model outputs 1 if wx exceeds a threshold, and -1 if it does not. This is geometrically equivalent to dividing the input feature space into two by the identification plane. The learning of the linear threshold element is performed by adjusting w and b so that they can be discriminated well.
線形判別法は、パターンの分布全体を考慮して識別面を決定する代表的な手法である。各クラスの学習パターンの平均をＭA、ＭBとすると、クラス内変動ＳW、クラス間変動ＳBは以下のように定義される。
線形判別法は、クラス内変動、クラス間変動比
を最大にする方向ｗにパターンを射影し、この１次元軸上でバイアス項ｂにより識別を行う。評価関数ｊ（ｗ）の最大化は固有問題に帰着し、その解は、
となることが知られている。
バイアス項はｂ＝−ｗT（ＭA＋ＭB）／２とする。
The linear discriminant method is a typical method for determining an identification plane in consideration of the entire pattern distribution. When the average of the learning patterns of each class is M A and M B , the intra-class variation S W and the inter-class variation S B are defined as follows.
Linear discriminant method uses intra-class variation and inter-class variation ratio.
The pattern is projected in the direction w that maximizes the value and the discrimination is performed by the bias term b on this one-dimensional axis. Maximization of the evaluation function j (w) results in an eigenproblem whose solution is
It is known that
The bias term is b = −w T (M A + M B ) / 2.
マハラノビス距離による識別法は識別を誤る確率を考慮した手法である。
各クラスの平均ベクトルをＭとし、各クラスの共分散行列をＶとする。計測された特徴量ベクトルＸとのマハラノビス距離ｄMは
で与えられる。２クラスの判別の場合、ｄ＝ＭＡ−ＭＢとすると、
となることが知られている。
The identification method based on the Mahalanobis distance is a method that considers the probability of erroneous identification.
Let M be the average vector of each class and V be the covariance matrix of each class. The Mahalanobis distance d M with the measured feature vector X is
Given in. In the case of 2-class discrimination, if d = MA-MB,
It is known that
ここでは、ＳＶＭのソフトマージン法について述べる。ソフトマージン法とは、入力データが図１１（ｂ）のように線形識別可能である場合の分離超平面を少しだけはみ出る場合に、パラメータζi≧０を用いて制約条件を緩める手法である。入力データのエラーをなるべく小さく、マージンは大きくさせるため、分離超平面は以下の条件付き最適化問題の最適解から求めることになる。
Here, the soft margin method of SVM will be described. The soft margin method, if the input data from protruding slightly separated hyperplane where possible linear discriminant as in FIG. 11 (b), is a technique to relax the constraint condition by using the parameters ζ i ≧ 0. In order to reduce the error of the input data as much as possible and increase the margin, the separation hyperplane is obtained from the optimal solution of the following conditional optimization problem.
γは識別エラーに対するペナルティであり、この値の調節によってマージンとはみ出し具合とのバランスを決めることができる。２つの制約条件に対して、Ｌａｇｒａｎｇｅ乗数αi、および、νを導入すると、目的関数は
と書き換えられる。ｗ、ｂ、βに関する偏微分を０とする停留点では、
となるので、これを式（１４）に代入すると、
とする双対問題が得られる。最適な分離超平面のｗTは制約条件（式（１９））の下で得られた最適解αiを用いて、以下のように求まる。
γ is a penalty for identification error, and by adjusting this value, the balance between the margin and the degree of protrusion can be determined. For the two constraints, introducing Larange multipliers α i and ν, the objective function is
It can be rewritten as At the stopping point where the partial derivative with respect to w, b, and β is 0,
Therefore, if this is substituted into equation (14),
A dual problem is obtained. The optimum separation hyperplane w T is obtained as follows using the optimum solution α i obtained under the constraint condition (Equation (19)).
さらに、カーネルトリックを取り入れると、
のように内積をカーネルで置き換えた形となる。Ｋはカーネル関数であり、高次元空間への写像を陰に定義している。また、最適な識別関数は、
のようにＳＶＭの内積をカーネルで置き換えた形となる。
Furthermore, if you take a kernel trick,
The inner product is replaced with the kernel as K is a kernel function and defines a mapping to a high-dimensional space. The optimal discriminant function is
Thus, the inner product of SVM is replaced with the kernel.
本発明では、周期運動を検出するために必要な特徴量であるパワースペクトルの要約統計量を式（２３）に代入し、求められた値から周期運動が行われているか否かの判別を行う。 In the present invention, the summary statistic of the power spectrum, which is a characteristic amount necessary for detecting the periodic motion, is substituted into the equation (23), and it is determined whether or not the periodic motion is performed from the obtained value. .
［実施例］
濃淡値の時系列変化を利用した周期ジェスチャ認識手法の有効性を確認するために、認識実験を行った。
まず、本発明が照明環境に対してロバストであることを確認するために、照明環境を変えて周期運動の検出実験を行った。同時に、周期運動を検出するためのパターン認識手法として線形判別法、マハラノビス距離による識別法、ＳＶＭを比較し検討を行った。次に、位相スペクトルを用いた周期ジェスチャの識別手法の有効性を確認するために、４種類の周期ジェスチャ認識実験を行った。図１２に実験で扱った４種類の周期ジェスチャを示す（Horizontal：Ｈ、Vertical：Ｖ、Clockwise：ＣＷ、Counterclockwise：ＣＣＷ）。
サンプリング数Ｎは周波数分解能から３２とし、正規化フレーム数ｕは３２、周期ジェスチャの種別を確定するためのフレーム数ｌは１０、解像度は２０×１５とした。また、カメラから被験者までの距離は２［ｍ］とした。２名の被験者に周期ジェスチャとそれ以外の動作を行ってもらい、スペクトルを取得して学習を行った。
[Example]
In order to confirm the effectiveness of the periodic gesture recognition method using the time series change of the gray value, a recognition experiment was conducted.
First, in order to confirm that the present invention is robust with respect to the lighting environment, a periodic motion detection experiment was performed by changing the lighting environment. At the same time, a linear discriminant method, a discrimination method based on Mahalanobis distance, and SVM were compared as pattern recognition methods for detecting periodic motion. Next, in order to confirm the effectiveness of the periodic gesture identification method using the phase spectrum, four types of periodic gesture recognition experiments were performed. FIG. 12 shows four types of periodic gestures handled in the experiment (Horizontal: H, Vertical: V, Clockwise: CW, Counterclockwise: CCW).
The sampling number N is 32 from the frequency resolution, the normalized frame number u is 32, the frame number l for determining the type of the periodic gesture is 10, and the resolution is 20 × 15. The distance from the camera to the subject was 2 [m]. Two subjects performed periodic gestures and other operations, and acquired a spectrum for learning.
本発明では、ソフトマージン法・カーネルトリックをＳＶＭに適用し学習する際、次式に示すGaussカーネルを用いる。
ここで、ソフトマージン法で用いる、逸脱する範囲を決める定数である式（１２）のγと、カーネルトリックで用いる式（２４）Gaussカーネルのσの２つの未知数を決定する方法としてgrid searchを用いる。特に本発明では、学習にかかる時間の削減のため、最初は粗く次第に細かく値を求めていくcoarse grid searchを適用する。また、オーバーフィッティングを防ぐために、クロスバリデーション（Cross validation）を用いてパラメータを決定する。
In the present invention, a Gauss kernel represented by the following equation is used when learning by applying the soft margin method / kernel trick to the SVM.
Here, grid search is used as a method of determining two unknowns, γ in Expression (12), which is a constant for determining a deviating range, used in the soft margin method, and Expression (24) used in the kernel trick, σ of the Gauss kernel. . In particular, in the present invention, a coarse grid search in which values are first coarsely and gradually obtained in order to reduce the time required for learning is applied. In order to prevent overfitting, parameters are determined using cross validation.
パターン認識の手法として線形判別法、マハラノビス距離による識別法、ＳＶＭ、それぞれを用いて周期運動の検出に関するシミュレーション実験を行った。シミュレーション実験を行うためのＳＶＭツールとしてＬＩＢＳＶＭを利用した。
まず、２名の被験者に４種類の周期ジェスチャと室内を前後左右に歩行する動作や室内における無造作な動作を行ってもらい、周期運動とそれ以外の動作に対してそれぞれ４０００フレーム分のパワースペクトルを取得し学習用データとした。実験環境は室内の照明をすべてつけた状態で行った。
次に、２パターンの照明環境下で、周期ジェスチャを行ってもらい、２０００フレーム分のパワースペクトルを取得しテスト用データとした。実験環境は蛍光灯のみの照明とし、手領域付近の鉛直面照度は約６０〜１９０［ｌｘ］（室内の照明を約１／３にした場合）と約２５０〜３１５［ｌｘ］（室内の照明をすべてつけた場合）で行った。
As a pattern recognition method, a linear discrimination method, a discrimination method based on Mahalanobis distance, and SVM were used, and a simulation experiment on detection of periodic motion was performed. LIBSVM was used as an SVM tool for conducting simulation experiments.
First, ask two subjects to perform four types of periodic gestures, a motion to walk back and forth, right and left in the room, and a random motion in the room. The power spectrum of 4000 frames for each of the periodic motion and other motions. Acquired and used as learning data. The experiment environment was performed with all indoor lighting.
Next, periodic gestures were performed in a two-pattern illumination environment, and a power spectrum for 2000 frames was acquired and used as test data. The experiment environment is illumination only with a fluorescent lamp, and the vertical surface illuminance near the hand region is about 60 to 190 [lx] (when the interior illumination is about 1/3) and about 250 to 315 [lx] (room illumination). ).
図１３は周期運動検出実験結果である。異なる照明環境においても高い精度で周期動作が認識されていることがわかる。このことから、照明環境に左右されることなく周期運動を認識可能であることが確認できる。室内の照明が明るい場合と暗い場合の認識率を比較すると、どの手法を用いた場合でも照明を暗くした方が若干認識率が高い。これは照明が明るい場合、壁面が十分に照らされ、手と背景で濃淡の差が生じなかったことが考えられる。また、ＳＶＭが線形判別法やマハラノビス距離による識別法より優れていることがわかる。以上のことから、周期運動の検出に関して、濃淡値の時系列変化を利用した認識手法が有効であり、周期運動を検出するためのパターン認識の手法として、ＳＶＭが有効であるといえる。 FIG. 13 shows the results of a periodic motion detection experiment. It can be seen that the periodic motion is recognized with high accuracy even in different illumination environments. From this, it can be confirmed that the periodic motion can be recognized without being influenced by the illumination environment. Comparing the recognition rate when the indoor illumination is bright and dark, the recognition rate is slightly higher when the illumination is darker in any method. This is because when the illumination is bright, the wall surface is sufficiently illuminated, and there is no difference in shading between the hand and the background. It can also be seen that SVM is superior to the linear discrimination method and the discrimination method based on the Mahalanobis distance. From the above, it can be said that the recognition method using the time series change of the gray value is effective for the detection of the periodic motion, and SVM is effective as the pattern recognition method for detecting the periodic motion.
また、本発明で照明環境に対してロバストに周期運動を検出できることを示した。さらに、パターン認識の手法について検討し、ＳＶＭが有効であることを示した。本実施例では、ＳＶＭを用いて周期運動を検出し、各周期ジェスチャを認識する実験を行い考察する。
まず、２名の被験者に４種類の周期ジェスチャを行ってもらい、各ジェスチャに対して１０００フレーム分の位相スペクトル差を取得した。このようにして集めた合計４０００フレーム分の位相スペクトル差を用いて学習を行った。次に、学習データを提供した２名を含む４名の被験者により、各周期ジェスチャの認識実験を行った。各被験者が各ジェスチャを２５回ずつ行い、４種類のジェスチャで合計１００回の動作を行った。実験環境は室内の照明をすべてつけた状態で行った。各被験者は４つの周期ジェスチャを行うように求められ、求められたジェスチャと本システムにより判別されたジェスチャの一致度で評価を行った。
In addition, the present invention has shown that the periodic motion can be detected robustly with respect to the lighting environment. Furthermore, the pattern recognition method was examined and it was shown that SVM is effective. In the present embodiment, an experiment is performed in which periodic motion is detected using SVM, and each periodic gesture is recognized.
First, two subjects performed four types of periodic gestures, and a phase spectrum difference for 1000 frames was acquired for each gesture. Learning was performed using the phase spectrum differences for a total of 4000 frames collected in this way. Next, a recognition experiment of each periodic gesture was performed by four subjects including two persons who provided learning data. Each subject performed each gesture 25 times and performed a total of 100 operations with four types of gestures. The experiment environment was performed with all indoor lighting. Each subject was asked to perform four periodic gestures, and the evaluation was performed based on the degree of coincidence between the obtained gesture and the gesture determined by the present system.
図１４に周期ジェスチャの判別結果を示す。各周期ジェスチャを正しく認識する確率（Probability of correct recognition-PCR）は８０．３％である。ＰＣＲは図１４の対角要素の平均である。横動作に関しては、９６％と高い認識率が得られていることがわかる。さらに、同じ回転動作である時計周りと反時計まわりに関しても高い認識率が得られていることから、各周期ジェスチャを識別するうえで位相スペクトル差を用いることが有効であると確認できる。反時計まわりの回転動作の方が若干認識率が低くなっているが、これは個人により利き手があるように回転させる方向にも得意、不得意などの個人差があったと考えられる。また、縦動作の認識率が他のジェスチャと比較し低いことがわかる。これは、周期運動検出後に精度良く手の動作領域を抽出できなかったため、的確に位相スペクトル差を取得出来なかったことが原因と考えられる。 FIG. 14 shows periodic gesture discrimination results. The probability of correctly recognizing each periodic gesture (Probability of correct recognition-PCR) is 80.3%. PCR is the average of the diagonal elements of FIG. It can be seen that a high recognition rate of 96% is obtained for the lateral movement. Further, since a high recognition rate is obtained for clockwise rotation and counterclockwise rotation that are the same rotation operation, it can be confirmed that it is effective to use the phase spectrum difference in identifying each periodic gesture. Although the recognition rate is slightly lower in the counterclockwise rotation operation, it is considered that there were individual differences such as strength and weakness in the direction of rotation so that there is a dominant hand for the individual. Moreover, it turns out that the recognition rate of a vertical motion is low compared with other gestures. This is probably because the motion region of the hand could not be extracted with high accuracy after the periodic motion was detected, and thus the phase spectrum difference could not be obtained accurately.
以上、本発明は、上述した実施形態のみに限定されたものではない。上述した実施形態の周期ジェスチャ識別装置を構成する各機能をそれぞれプログラム化し、あらかじめＣＤ−ＲＯＭ等の記録媒体に書き込んでおき、コンピュータに搭載したＣＤ−ＲＯＭドライブのような媒体駆動装置にこのＣＤ−ＲＯＭ等を装着して、これらのプログラムをコンピュータのメモリあるいは記憶装置に格納し、それを実行することによって、本発明の目的が達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
尚、プログラムを格納する記録媒体としては半導体媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）等のいずれであってもよい。
As mentioned above, this invention is not limited only to embodiment mentioned above. Each function constituting the periodic gesture identification device of the above-described embodiment is programmed, written in advance on a recording medium such as a CD-ROM, and this CD-ROM is installed in a medium driving device such as a CD-ROM drive mounted on a computer. It goes without saying that the object of the present invention is achieved by installing a ROM or the like, storing these programs in a memory or storage device of a computer, and executing them. In this case, the program itself read from the recording medium realizes the functions of the above-described embodiment, and the program and the recording medium recording the program also constitute the present invention.
As a recording medium for storing the program, a semiconductor medium (for example, ROM, nonvolatile memory card, etc.), an optical medium (for example, DVD, MO, MD, CD, etc.), a magnetic medium (for example, magnetic tape, flexible disk, etc.) ) Or the like.
また、ロードしたプログラムを実行することにより上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することによって上述した実施形態の機能が実現される場合も含まれる。
また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等を介して接続されたサーバコンピュータの記憶装置にプログラムを格納しておき、インターネット等を通じて他のコンピュータに転送することもできる。この場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
尚、コンピュータでは、可搬型の記録媒体上のプログラム、または転送されてくるプログラムを、コンピュータに接続した記録媒体にインストールし、そのインストールされたプログラムを実行することによって上述した実施形態の機能が実現される。
Moreover, not only the functions of the above-described embodiment are realized by executing the loaded program, but also the above-described implementation by processing in cooperation with the operating system or other application programs based on the instructions of the program. The case where the function of the form is realized is also included.
In addition, when distributing to the market, the program is stored and distributed on a portable recording medium, or the program is stored in a storage device of a server computer connected via the Internet or the like. Can also be transferred to other computers. In this case, the storage device of this server computer is also included in the recording medium of the present invention.
In the computer, the functions of the above-described embodiments are realized by installing a program on a portable recording medium or a transferred program on a recording medium connected to the computer and executing the installed program. Is done.
１ 撮像手段、２ 周期運動検出手段、３ 特定部位動作領域抽出手段、４ 周期ジェスチャ識別手段、５ 制御手段、６ メモリ、７ ＲＯＭ、８ 低解像度化手段、９ 濃淡値画素取得手段、１０ 正規化手段、１１ スペクトル抽出手段、１２ 矩形領域生成手段、１３ 位相スペクトル差算出手段、１００ 周期ジェスチャ識別装置 DESCRIPTION OF SYMBOLS 1 Imaging means, 2 Periodic motion detection means, 3 Specific part motion area extraction means, 4 Periodic gesture identification means, 5 Control means, 6 Memory, 7 ROM, 8 Low resolution means, 9 Gray value pixel acquisition means, 10 Normalization Means 11 spectrum extraction means 12 rectangular region generation means 13 phase spectrum difference calculation means 100 periodic gesture identification device
Claims (14)
前記撮像手段により撮像された被写体画像の動作が周期運動であるか否かを検出する周期運動検出手段と、
該周期運動検出手段により前記被写体画像の動作が周期運動であると判定された場合、前記被写体画像の動作領域から特定部位の動作領域を抽出する特定部位動作領域抽出手段と、
該特定部位動作領域抽出手段により抽出された特定部位の特徴量に基づいてパターン認識を行い周期ジェスチャの種別を識別する周期ジェスチャ識別手段と、を備え、
連続した所定数のフレームが前記周期ジェスチャ識別手段により所定回数以上同一の周期ジェスチャであると識別された場合、該周期ジェスチャの種別を最終的に確定することを特徴とする周期ジェスチャ識別装置。 A periodic gesture identification device for identifying whether or not a specific part related to a subject image is performing a periodic gesture based on the motion of the subject image captured by an imaging unit that images the motion of the subject,
Periodic motion detection means for detecting whether the motion of the subject image captured by the imaging means is periodic motion;
A specific part motion region extraction unit that extracts a motion region of a specific part from the motion region of the subject image when the motion of the subject image is determined to be a periodic motion by the periodic motion detection unit;
Periodic gesture identification means for recognizing a pattern based on the feature quantity of the specific part extracted by the specific part movement region extraction means and identifying the type of the periodic gesture;
A periodic gesture identification device characterized in that, when a predetermined number of consecutive frames are identified as the same periodic gesture by a predetermined number of times by the periodic gesture identification means, the type of the periodic gesture is finally determined.
前記被写体画像から取得した濃淡画像をフレーム単位に低解像度化する低解像度化手段と、
該低解像度化手段により得られた各フレームに係る低解像度画素の濃淡値を時系列に取得する低解像度画素濃淡値取得手段と、
該低解像度画素濃淡値取得手段により取得した直前フレームにおける低解像度画素の濃淡値の最大値と最小値を用いて正規化する正規化手段と、
該正規化手段により正規化した画素の濃淡値変化に対してフーリエ変換処理を行いパワースペクトル、及び位相スペクトルを抽出するスペクトル抽出手段と、を備え、
前記スペクトル抽出手段により抽出された前記パワースペクトルを用いてパターン認識を行い周期運動領域を画素ごとに抽出することを特徴とする請求項１に記載の周期ジェスチャ識別装置。 The periodic motion detection means includes
A resolution reducing means for reducing the resolution of the grayscale image acquired from the subject image in units of frames;
Low-resolution pixel gray value acquisition means for acquiring, in time series, the gray value of the low-resolution pixel relating to each frame obtained by the resolution reduction means;
Normalization means for normalizing using the maximum value and the minimum value of the gray value of the low resolution pixel in the immediately preceding frame obtained by the low resolution pixel gray value obtaining means;
Spectrum extraction means for extracting a power spectrum and a phase spectrum by performing a Fourier transform process on a change in gray value of a pixel normalized by the normalization means,
The periodic gesture identification device according to claim 1, wherein pattern recognition is performed using the power spectrum extracted by the spectrum extraction unit to extract a periodic motion region for each pixel.
前記特定部位動作領域抽出手段により抽出された特定部位の全画素を含む矩形領域を生成する矩形領域生成手段と、
前記矩形領域内における画素間の位相スペクトル差を算出する位相スペクトル差算出手段と、を備え、
前記位相スペクトル差算出手段により算出された位相スペクトル差に基づいてパターン認識を行い、前記周期ジェスチャを識別することを特徴とする請求項１又は２に記載の周期ジェスチャ識別装置。 The periodic gesture identification means includes:
A rectangular area generating means for generating a rectangular area including all pixels of the specific part extracted by the specific part action area extracting means;
Phase spectrum difference calculating means for calculating a phase spectrum difference between pixels in the rectangular region,
The periodic gesture identification device according to claim 1, wherein the periodic gesture is identified by performing pattern recognition based on the phase spectrum difference calculated by the phase spectrum difference calculating unit.
周期運動検出手段が前記撮像手段により撮像された被写体画像の動作が周期運動であるか否かを検出するステップと、
特定部位動作領域抽出手段が前記周期運動検出手段により前記被写体画像の動作が周期運動であると判定された場合、該被写体画像から前記特定部位に係る動作領域を抽出するステップと、
周期ジェスチャ識別手段が前記特定部位動作領域抽出手段により抽出された特定部位の特徴量に基づいてパターン認識を行い周期ジェスチャの種別を識別するステップと、を備え、
連続した所定数のフレームが前記周期ジェスチャ識別手段により所定回数以上同一の周期ジェスチャであると識別された場合、該周期ジェスチャの種別を最終的に確定することを特徴とする周期ジェスチャ識別方法。 This is a periodic gesture identification method of a periodic gesture identification device that identifies whether or not a specific part related to a subject image is performing a periodic gesture based on the operation of the subject image captured by an imaging unit that images the motion of the subject. And
A step of detecting whether or not the motion of the subject image captured by the imaging unit is a periodic motion;
A step of extracting a motion region related to the specific part from the subject image when the motion of the subject image is determined to be a periodic motion by the periodic motion detection unit;
A periodic gesture identifying unit that performs pattern recognition based on the feature amount of the specific part extracted by the specific part movement region extracting unit and identifying the type of the periodic gesture,
A periodic gesture identification method characterized in that, when a predetermined number of consecutive frames are identified as the same periodic gesture by a predetermined number of times or more by the periodic gesture identification means, the type of the periodic gesture is finally determined.
低解像度化手段が前記被写体画像から取得した濃淡画像をフレーム単位に低解像度化するステップと、
低解像度画素濃淡値取得手段が前記低解像度化手段により得られた各フレームに係る低解像度画素の濃淡値を時系列に取得するステップと、
正規化手段が前記低解像度画素濃淡値取得手段により取得した直前フレームにおける低解像度画素の濃淡値の最大値と最小値を用いて正規化するステップと、
スペクトル抽出手段が前記正規化手段により正規化した画素の濃淡値変化に対してフーリエ変換処理を行いパワースペクトル、及び位相スペクトルを抽出するステップと、を備え、
前記スペクトル抽出手段により抽出された前記パワースペクトルを用いてパターン認識を行い周期運動領域を画素ごとに抽出することを特徴とする請求項７に記載の周期ジェスチャ識別方法。 The periodic motion detection means includes
A step of reducing the resolution of the grayscale image acquired from the subject image by the resolution reducing unit in units of frames;
A step in which a low-resolution pixel gray value obtaining unit obtains gray values of low-resolution pixels related to each frame obtained by the low-resolution unit in time series;
Normalizing means normalizing using the maximum value and minimum value of the gray value of the low resolution pixel in the immediately preceding frame acquired by the low resolution pixel gray value acquisition unit;
A step of performing a Fourier transform process on the change in gray value of the pixel normalized by the normalization unit by the spectrum extraction unit and extracting a power spectrum and a phase spectrum; and
The periodic gesture identification method according to claim 7, wherein pattern recognition is performed using the power spectrum extracted by the spectrum extraction unit, and a periodic motion region is extracted for each pixel.
矩形領域生成手段が前記特定部位動作領域抽出手段により抽出された特定部位の全画素を含む矩形領域を生成するステップと、
位相スペクトル差算出手段が前記矩形領域内における画素間の位相スペクトル差を算出するステップと、を備え、
前記位相スペクトル差算出手段により算出された位相スペクトル差に基づいてパターン認識を行い、前記周期ジェスチャを識別することを特徴とする請求項７又は８に記載の周期ジェスチャ識別方法。 The periodic gesture identification means includes:
A step of generating a rectangular area including all pixels of the specific part extracted by the specific part action area extracting means;
A phase spectrum difference calculating means calculating a phase spectrum difference between pixels in the rectangular region, and
The periodic gesture identification method according to claim 7 or 8, wherein pattern recognition is performed based on the phase spectrum difference calculated by the phase spectrum difference calculation means to identify the periodic gesture.
A recording medium in which the periodic gesture identification program according to claim 13 is recorded in a computer-readable format.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009123486A JP5303355B2 (en) | 2009-05-21 | 2009-05-21 | Periodic gesture identification device, periodic gesture identification method, periodic gesture identification program, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009123486A JP5303355B2 (en) | 2009-05-21 | 2009-05-21 | Periodic gesture identification device, periodic gesture identification method, periodic gesture identification program, and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010271944A true JP2010271944A (en) | 2010-12-02 |
| JP5303355B2 JP5303355B2 (en) | 2013-10-02 |
Family
ID=43419915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009123486A Expired - Fee Related JP5303355B2 (en) | 2009-05-21 | 2009-05-21 | Periodic gesture identification device, periodic gesture identification method, periodic gesture identification program, and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5303355B2 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012234489A (en) * | 2011-05-09 | 2012-11-29 | Nikon Corp | Electronic device, data generation method, and data generation program |
| WO2014030442A1 (en) * | 2012-08-22 | 2014-02-27 | 日本電気株式会社 | Input device, input method, program, and electronic sign |
| JP2015170206A (en) * | 2014-03-07 | 2015-09-28 | 富士通株式会社 | detection device and detection method |
| WO2015186518A1 (en) * | 2014-06-06 | 2015-12-10 | 三菱電機株式会社 | Image analysis method, image analysis device, image analysis system, and portable image analysis device |
| CN106908642A (en) * | 2015-12-23 | 2017-06-30 | 苏州普源精电科技有限公司 | A kind of probe, oscillograph, movement recognition system and method |
| KR101803574B1 (en) | 2011-07-06 | 2017-12-28 | 엘지디스플레이 주식회사 | Gesture Recognition System Based on Vision |
| KR101870292B1 (en) | 2011-08-26 | 2018-06-25 | 엘지디스플레이 주식회사 | Method and device of recognizing user's gesture, and electric-using apparatus using the device |
| JP2020508511A (en) * | 2017-12-22 | 2020-03-19 | ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド | Dynamic gesture recognition method and apparatus, gesture dialogue control method and apparatus |
| CN111722717A (en) * | 2020-06-18 | 2020-09-29 | 歌尔科技有限公司 | Gesture recognition method and device and computer readable storage medium |
| JP7295046B2 (en) | 2019-01-23 | 2023-06-20 | 株式会社ミツバ | Device operation system and device control method |
| CN116614666A (en) * | 2023-07-17 | 2023-08-18 | 微网优联科技(成都)有限公司 | AI-based camera feature extraction system and method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001067483A (en) * | 1999-08-30 | 2001-03-16 | Katsuyoshi Kawasaki | Method of objectivety evaluating severity of movement disorder |
| JP2003248829A (en) * | 2002-02-26 | 2003-09-05 | Univ Chuo | Method and device for detecting periodic movement |
-
2009
- 2009-05-21 JP JP2009123486A patent/JP5303355B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001067483A (en) * | 1999-08-30 | 2001-03-16 | Katsuyoshi Kawasaki | Method of objectivety evaluating severity of movement disorder |
| JP2003248829A (en) * | 2002-02-26 | 2003-09-05 | Univ Chuo | Method and device for detecting periodic movement |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012234489A (en) * | 2011-05-09 | 2012-11-29 | Nikon Corp | Electronic device, data generation method, and data generation program |
| KR101803574B1 (en) | 2011-07-06 | 2017-12-28 | 엘지디스플레이 주식회사 | Gesture Recognition System Based on Vision |
| KR101870292B1 (en) | 2011-08-26 | 2018-06-25 | 엘지디스플레이 주식회사 | Method and device of recognizing user's gesture, and electric-using apparatus using the device |
| WO2014030442A1 (en) * | 2012-08-22 | 2014-02-27 | 日本電気株式会社 | Input device, input method, program, and electronic sign |
| JP2015170206A (en) * | 2014-03-07 | 2015-09-28 | 富士通株式会社 | detection device and detection method |
| WO2015186518A1 (en) * | 2014-06-06 | 2015-12-10 | 三菱電機株式会社 | Image analysis method, image analysis device, image analysis system, and portable image analysis device |
| JPWO2015186518A1 (en) * | 2014-06-06 | 2017-04-20 | 三菱電機株式会社 | Image analysis method, image analysis apparatus, image analysis system, and image analysis portable apparatus |
| CN106908642A (en) * | 2015-12-23 | 2017-06-30 | 苏州普源精电科技有限公司 | A kind of probe, oscillograph, movement recognition system and method |
| JP2020508511A (en) * | 2017-12-22 | 2020-03-19 | ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド | Dynamic gesture recognition method and apparatus, gesture dialogue control method and apparatus |
| US11221681B2 (en) | 2017-12-22 | 2022-01-11 | Beijing Sensetime Technology Development Co., Ltd | Methods and apparatuses for recognizing dynamic gesture, and control methods and apparatuses using gesture interaction |
| JP7295046B2 (en) | 2019-01-23 | 2023-06-20 | 株式会社ミツバ | Device operation system and device control method |
| CN111722717A (en) * | 2020-06-18 | 2020-09-29 | 歌尔科技有限公司 | Gesture recognition method and device and computer readable storage medium |
| CN111722717B (en) * | 2020-06-18 | 2024-03-15 | 歌尔科技有限公司 | Gesture recognition method, gesture recognition device and computer-readable storage medium |
| CN116614666A (en) * | 2023-07-17 | 2023-08-18 | 微网优联科技(成都)有限公司 | AI-based camera feature extraction system and method |
| CN116614666B (en) * | 2023-07-17 | 2023-10-20 | 微网优联科技(成都)有限公司 | AI-based camera feature extraction system and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5303355B2 (en) | 2013-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5303355B2 (en) | Periodic gesture identification device, periodic gesture identification method, periodic gesture identification program, and recording medium | |
| US11431896B2 (en) | Augmented reality for three-dimensional model reconstruction | |
| JP5777582B2 (en) | Detection and tracking of objects in images | |
| US10092220B2 (en) | System and method for motion capture | |
| Salti et al. | Adaptive appearance modeling for video tracking: Survey and evaluation | |
| Valenti et al. | Accurate eye center location and tracking using isophote curvature | |
| JP5873442B2 (en) | Object detection apparatus and object detection method | |
| Barra et al. | Web-shaped model for head pose estimation: An approach for best exemplar selection | |
| US20190314984A1 (en) | Automatic Robot Perception Programming by Imitation Learning | |
| US20070003130A1 (en) | Peripersonal space and object recognition for humanoid robots | |
| Cretu et al. | Soft object deformation monitoring and learning for model-based robotic hand manipulation | |
| WO2018154709A1 (en) | Movement learning device, skill discrimination device, and skill discrimination system | |
| Schwarz et al. | Manifold learning for tof-based human body tracking and activity recognition. | |
| KR20120006819A (en) | Gaze detection method and system adopting the same | |
| WO2020065790A1 (en) | Estimation device, estimation method, and storage medium | |
| Lee et al. | An effective method for detecting facial features and face in human–robot interaction | |
| Bukht et al. | A Robust Model of Human Activity Recognition using Independent Component Analysis and XGBoost | |
| JP2017033556A (en) | Image processing method and electronic apparatus | |
| Ahmed et al. | Controlling multimedia player with eye gaze using webcam | |
| Stricker et al. | Realtime user attention and emotion estimation on a mobile robot | |
| Li et al. | Tactile Sensing, Skill Learning, and Robotic Dexterous Manipulation | |
| JP2011175347A (en) | Information processing apparatus and method | |
| JP2008165578A (en) | Motion expression method and motion recognition method for moving object | |
| EP3897890A1 (en) | Methods and apparatus for unsupervised machine learning for classification of gestures and estimation of applied forces | |
| Netinant et al. | Development of real-time hand gesture for volume control application using Python on Raspberry Pi |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120514 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130205 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130403 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130604 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130624 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |