KR101745406B1 - Apparatus and method of hand gesture recognition based on depth image - Google Patents

Apparatus and method of hand gesture recognition based on depth image Download PDF

Info

Publication number
KR101745406B1
KR101745406B1 KR1020150124899A KR20150124899A KR101745406B1 KR 101745406 B1 KR101745406 B1 KR 101745406B1 KR 1020150124899 A KR1020150124899 A KR 1020150124899A KR 20150124899 A KR20150124899 A KR 20150124899A KR 101745406 B1 KR101745406 B1 KR 101745406B1
Authority
KR
South Korea
Prior art keywords
hand
depth
model
dimensional
finger
Prior art date
Application number
KR1020150124899A
Other languages
Korean (ko)
Other versions
KR20170028078A (en
Inventor
임화섭
전성국
안상철
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020150124899A priority Critical patent/KR101745406B1/en
Priority to US15/052,063 priority patent/US10078796B2/en
Publication of KR20170028078A publication Critical patent/KR20170028078A/en
Application granted granted Critical
Publication of KR101745406B1 publication Critical patent/KR101745406B1/en

Links

Images

Classifications

    • G06K9/00375—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06K9/00214—
    • G06K9/00389—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

실시예들은 손 영역을 포함하는 깊이 영상을 획득하는 깊이 영상 획득부, 기계 학습법을 이용하여 상기 깊이 영상 중 손 영역의 깊이 포인트들을 해당하는 손 부위에 따라 분류하는 깊이 포인트 분류부 및 분류된 깊이 포인트들과 각 깊이 포인트들에 대응하는 손 부위 사이의 거리를 이용하여, 상기 분류된 깊이 포인트들에 3차원 손 모델을 정합시키는 손 모델 정합부를 포함하는 깊이 영상 기반의 손 제스처 인식 장치 및 이를 이용한 인식 방법에 관련된다.Embodiments include a depth image acquisition unit for acquiring a depth image including a hand region, a depth point classifier for classifying depth points of a hand region in the depth image by a corresponding hand region using a machine learning method, And a hand model matching unit for matching the three-dimensional hand models to the classified depth points using the distance between the hand points corresponding to the respective depth points, and a hand gesture recognition apparatus based thereon ≪ / RTI >

Description

깊이 영상 기반의 손 제스처 인식 장치 및 방법{APPARATUS AND METHOD OF HAND GESTURE RECOGNITION BASED ON DEPTH IMAGE}[0001] APPARATUS AND METHOD OF HAND GESTURE RECOGNITION BASED ON DEPTH IMAGE [0002]

실시예들은 깊이 영상을 기반으로 손 제스처를 인식하는 방법 및 장치에 대한 것으로서, 구체적으로는 손 영역을 포함하는 깊이 영상을 이용하여 손의 동작 또는 모양을 인식하고 형상화하는 방법 및 장치에 관한 것이다.Embodiments relate to a method and apparatus for recognizing a hand gesture based on a depth image, and more particularly, to a method and apparatus for recognizing and shaping a hand motion or a shape using a depth image including a hand region.

손 제스처 또는 손 모양을 인식하기 위한 한 가지 방법으로는 인식 대상인 사용자가 특수 장갑과 같은 장치를 착용한 뒤 사용자의 손을 촬영하는 방법이 있다. 그러나 이러한 방법은 사용자로 하여금 움직임에 있어 불편함을 느끼게 하며 각 사용자를 위해 장치를 초기화(calibration)해야 하는 단점이 있다.One method for recognizing a hand gesture or hand shape is to take a user's hand after the user to be recognized wears a device such as a special glove. However, this method has a disadvantage that the user feels inconvenience in motion and needs to calibrate the device for each user.

이러한 단점을 해결하기 위해, 특수 장비 없이 촬영한 사용자의 컬러 영상 또는 깊이 영상을 기초로 손 모양을 인식하는 비전(vision) 기반 인식 방법에 대한 연구가 진행되고 있다. 컬러 영상을 이용한 손 모양 인식의 경우, 손이 단일 색의 물체이기 때문에 컬러 영상으로부터 추출할 수 있는 특징(feature)은 매우 제한적인 단점이 존재한다.In order to solve these drawbacks, a vision-based recognition method for recognizing a hand shape based on a color image or a depth image of a user photographed without special equipment is being studied. In the case of hand shape recognition using a color image, since the hand is a single color object, features that can be extracted from a color image have a very limited disadvantage.

대한민국 등록특허 제10-0617976호Korean Patent No. 10-0617976 미국 특허출원공개 US2012/0268369 A1United States Patent Application Publication No. US2012 / 0268369 A1

본 발명의 일 측면에 의하면, 깊이 영상을 기반으로 손 제스처를 실시간으로 인식하되 데이터베이스에 없는 손가락 동작도 인식 가능하며 초기화 작업을 요구하지 않는, 그래픽스 및 비전 기반 손 제스처 인식 장치 및 방법을 제공할 수 있다.According to an aspect of the present invention, a graphics and vision-based hand gesture recognition apparatus and method capable of recognizing a hand gesture in real time based on a depth image but recognizing a finger motion not in a database and requiring no initialization can be provided have.

본 발명의 기술적 과제는 이상에서 언급한 것들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제는 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The technical problem of the present invention is not limited to those mentioned above, and another technical problem which is not mentioned can be clearly understood by those skilled in the art from the following description.

본 발명의 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 장치는, 손 영역을 포함하는 깊이 영상을 획득하는 깊이 영상 획득부, 기계 학습법을 이용하여 상기 깊이 영상 중 손 영역의 깊이 포인트들을 해당하는 손 부위에 따라 분류하는 깊이 포인트 분류부 및 분류된 깊이 포인트들과 각 깊이 포인트들에 대응하는 손 부위 사이의 거리를 이용하여, 상기 분류된 깊이 포인트들에 3차원 손 모델을 정합시키는 손 모델 정합부를 포함한다.A depth image-based hand gesture recognition apparatus according to an embodiment of the present invention includes a depth image acquisition unit for acquiring a depth image including a hand region, A hand model matching a three-dimensional hand model to the classified depth points using a depth point classifier classifying according to the hand region and a distance between the classified depth points and a hand region corresponding to each depth points, .

바람직한 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 장치에 있어서, 상기 깊이 포인트 분류부는, 상기 손 영역의 깊이 포인트들을 엄지, 검지, 중지, 약지, 소지 또는 손바닥 중 어느 하나의 손 부위로 분류하고, 상기 분류에 따라 각 깊이 포인트들을 라벨링할 수 있다.In the depth image-based hand gesture recognition apparatus according to the preferred embodiment, the depth point classification unit classifies the depth points of the hand region into any one of thumb, index finger, stop, ring finger, hand or palm , And label each depth point according to the classification.

바람직한 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 장치에 있어서, 상기 기계 학습법은 서포트벡터머신 또는 랜덤포레스트를 포함할 수 있다.In a depth image-based hand gesture recognition apparatus according to a preferred embodiment, the machine learning method may include a support vector machine or a random forest.

바람직한 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 장치에 있어서, 상기 손 모델 정합부는, 복수의 깊이 포인트와 상기 복수의 깊이 포인트 각각에 대응하는 3차원 손 모델의 부위 사이의 거리의 합이 최소가 되도록 상기 3차원 손 모델을 정합시킬 수 있다.In the depth image-based hand gesture recognition apparatus according to a preferred embodiment of the present invention, the hand model matching unit may be configured to calculate a depth image based on the difference between a plurality of depth points and distances between parts of the three- The three-dimensional hand model can be matched with the three-dimensional hand model.

바람직한 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 장치에 있어서, 상기 대응하는 차원 손 모델의 부위는, 손가락 마디일 수 있다.In a depth image-based hand gesture recognition apparatus according to a preferred embodiment, the portion of the corresponding dimensional hand model may be a finger node.

바람직한 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 장치에 있어서, 상기 손 모델 정합부는, 손가락에 포함되는 손가락 마디 사이의 각도 정보를 더 이용하여 상기 3차원 손 모델을 정합시킬 수 있다.In the depth image-based hand gesture recognition apparatus according to the preferred embodiment, the hand model matching unit can match the three-dimensional hand model by further using the angle information between the finger nodes included in the finger.

바람직한 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 장치에 있어서, 상기 손 모델 정합부는, 한 손가락에 포함되는 손가락 마디 사이의 각도들이 비례관계를 갖도록 상기 3차원 손 모델을 정합시킬 수 있다.In the depth image-based hand gesture recognition apparatus according to the preferred embodiment, the hand model matching unit may match the three-dimensional hand model such that the angles between finger nodes included in one finger have a proportional relationship.

바람직한 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 장치에 있어서, 상기 손 모델 정합부는, 3차원 손 모델이 사람이 표현 가능한 손가락 자세를 갖도록 제한하는 제약조건 또는 손 영역의 깊이 포인트들을 포함하는 손 공간을 제한하는 제약조건을 더 이용하여 상기 3차원 손 모델을 정합시킬 수 있다.According to a preferred embodiment of the present invention, there is provided a hand gesture recognition apparatus based on a depth image, wherein the hand model matching unit comprises: a constraint condition limiting a three-dimensional hand model to a human- The three-dimensional hand model can be matched using constraints that limit the space.

바람직한 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 장치에 있어서, 엄지, 검지, 중지, 약지, 소지 중 분류되지 않은 손 부위가 존재하는 경우, 상기 손 모델 정합부는, 분류되지 않은 손 부위에는 임의 자세를 갖는 3차원 손 모델을 정합시킬 수 있다.According to a preferred embodiment of the present invention, there is provided a hand gesture recognition apparatus based on a depth image, wherein when there is a hand region not classified among thumb, index finger, stop finger, The three-dimensional hand model having the attitude can be matched.

바람직한 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 장치에 있어서, 임의 자세를 갖는 대응되는 상기 3차원 손 모델은, 손가락 마디에 스프링 모델을 포함할 수 있다.In a depth image-based hand gesture recognition apparatus according to a preferred embodiment, the corresponding three-dimensional hand model having an arbitrary posture may include a spring model in a finger node.

바람직한 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 장치에 있어서, 깊이 포인트 분류부는 상기 깊이 영상 중 손 영역의 깊이 포인트들을 이용하여 손 뼈대를 나타내는 손 뼈대 깊이 포인트들을 생성하고, 상기 손 뼈대 깊이 포인트들을 해당하는 손 부위에 따라 분류하고, 상기 손 모델 정합부는, 상기 분류된 손 뼈대 깊이 포인트들에 3차원 손 모델을 정합시킬 수 있다.In the depth image-based hand gesture recognition apparatus according to the preferred embodiment, the depth point classifier generates hand skeleton depth points representing a hand skeleton using depth points of the hand region in the depth image, And the hand model matching unit may match the three-dimensional hand model to the classified hand-arm depth points.

본 발명의 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 방법은 손 영역을 포함하는 깊이 영상을 획득하는 단계, 기계 학습법을 이용하여 상기 깊이 영상 중 손 영역의 깊이 포인트들을 해당하는 손 부위에 따라 분류하는 단계 및 분류된 깊이 포인트들과 각 깊이 포인트들에 대응하는 손 부위 사이의 거리를 이용하여, 상기 분류된 깊이 포인트들에 3차원 손 모델을 정합시키는 단계를 포함한다.According to an embodiment of the present invention, a depth image-based hand gesture recognition method includes: acquiring a depth image including a hand region; acquiring depth points of a hand region of the depth image using a machine learning method; And fitting the three-dimensional hand model to the classified depth points using a classification step and a distance between the classified depth points and a hand part corresponding to each depth points.

바람직한 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 방법에 있어서, 상기 깊이 포인트들을 해당하는 손 부위에 따라 분류하는 단계는, 상기 손 영역의 깊이 포인트들을 엄지, 검지, 중지, 약지, 소지 또는 손바닥 중 어느 하나의 손 부위로 분류하고, 상기 분류에 따라 각 깊이 포인트들을 라벨링하는 단계를 포함할 수 있다.According to a preferred embodiment of the present invention, the step of classifying the depth points according to a corresponding hand part comprises the steps of dividing the depth points of the hand area into a thumb, a finger, a finger, , And labeling each depth point according to the classification.

바람직한 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 방법에 있어서, 상기 기계 학습법은 서포트벡터머신 또는 랜덤포레스트를 포함할 수 있다.In the depth image-based hand gesture recognition method according to a preferred embodiment, the machine learning method may include a support vector machine or a random forest.

바람직한 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 방법에 있어서, 상기 3차원 손 모델을 정합시키는 단계는, 복수의 깊이 포인트와 상기 복수의 깊이 포인트 각각에 대응하는 3차원 손 모델의 부위 사이의 거리의 합이 최소가 되도록 상기 3차원 손 모델을 정합시키는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a depth image-based hand gesture recognition method, comprising: matching a three-dimensional hand model with a plurality of depth points, And matching the three-dimensional hand model such that the sum of the distances is minimized.

바람직한 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 방법에 있어서, 상기 대응하는 차원 손 모델의 부위는, 손가락 마디일 수 있다.In the depth image-based hand gesture recognition method according to a preferred embodiment, the part of the corresponding dimensional hand model may be a finger node.

바람직한 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 방법에 있어서, 상기 3차원 손 모델을 정합시키는 단계는, 손가락에 포함되는 손가락 마디 사이의 각도 정보를 더 이용하여 상기 3차원 손 모델을 정합시키는 단계를 더 포함할 수 있다.According to another aspect of the present invention, there is provided a hand gesture recognition method based on a depth image, the method comprising: fitting the three-dimensional hand model to the three-dimensional hand model using the angle information between finger segments included in the finger; Step < / RTI >

바람직한 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 방법에 있어서, 상기 3차원 손 모델을 정합시키는 단계는, 손가락에 포함되는 손가락 마디 사이의 각도들이 비례관계를 갖도록 상기 3차원 손 모델을 정합시키는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a hand gesture recognition method based on a depth image, the method comprising: fitting the three-dimensional hand model to a three-dimensional hand model, Step < / RTI >

바람직한 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 방법에 있어서, 상기 3차원 손 모델을 정합시키는 단계는, 3차원 손 모델이 사람이 표현 가능한 손 가락 자세를 갖도록 제한하는 제약조건을 적용하는 단계 또는 손 영역의 깊이 포인트들을 포함하는 손 공간을 제한하는 제약조건을 적용하는 단계를 더 포함할 수 있다.According to another aspect of the present invention, there is provided a depth image-based hand gesture recognition method, comprising: fitting a three-dimensional hand model into a three-dimensional hand model; applying a constraint condition that restricts a three- Or applying constraints that limit hand space including depth points of the hand region.

바람직한 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 방법에 있어서, 상기 3차원 손 모델을 정합시키는 단계는, 상기 엄지, 검지, 중지, 약지, 소지 중 분류되지 않은 손 부위가 존재하는 경우, 분류되지 않은 손 부위에는 임의 자세를 갖는 3차원 손 모델을 정합시키는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a hand gesture recognition method based on a depth image, wherein the step of matching the three-dimensional hand model comprises the steps of, when there is a hand region not classified among the thumb, And fitting a three-dimensional hand model having an arbitrary attitude to the non-hand region.

바람직한 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 방법에 있어서, 상기 임의 자세를 갖는 3차원 손 모델은, 손가락 마디에 스프링 모델을 포함할 수 있다.In the depth image-based hand gesture recognition method according to a preferred embodiment, the three-dimensional hand model having the arbitrary posture may include a spring model in a finger node.

바람직한 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 방법에 있어서, 상기 깊이 포인트들을 해당하는 손 부위에 따라 분류하는 단계는, 상기 깊이 영상 중 손 영역의 깊이 포인트들을 이용하여 손 뼈대를 나타내는 손 뼈대 깊이 포인트들을 생성하고, 상기 손 뼈대 깊이 포인트들을 해당하는 손 부위에 따라 분류하는 단계를 포함하고, 상기 3차원 손 모델을 정합시키는 단계는, 상기 분류된 손 뼈대 깊이 포인트들에 3차원 손 모델을 정합시키는 단계를 포함할 수 있다.In the depth image-based hand gesture recognition method according to a preferred embodiment, the step of classifying the depth points according to a corresponding hand part may include: using a depth point of a hand area of the depth image, Creating depth points and classifying the hand skeleton depth points according to a corresponding hand region, the step of matching the three-dimensional hand model further comprising the steps of: And < / RTI >

본 발명의 일 실시예에 따른 기록 매체는 상술한 손 제스처 인식 방법을 실행하기 위한 명령을 포함하는 프로그램을 저장할 수 있다.The recording medium according to an embodiment of the present invention may store a program including instructions for executing the hand gesture recognition method described above.

본 발명의 일 실시예에 따른 손 제스처 인식 장치 또는 방법은, 3차원 모델을 다양한 손가락 크기에 따라 변형이 가능하고, 데이터베이스에 없는 손가락 동작도 인식 가능하며, 모델 정합 방식으로 정확도가 높고, 기계학습을 통해 깊이 포인트가 속할 손가락 마디를 예측하기 때문에 초기화 작업을 요구하지 않는다. 이로써 깊이 영상으로부터 실시간으로 손 제스처를 인식하여 컴퓨터와 사용자 간의 상호작용(Interaction)을 가능하게 한다.A hand gesture recognition apparatus or method according to an embodiment of the present invention is capable of recognizing a finger motion that is not in a database and capable of transforming a three-dimensional model according to various finger sizes, a model matching method, The initialization operation is not required since the depth point predicts the finger node to which the point belongs. This enables real-time hand gesture recognition from depth image to enable interaction between computer and user.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description of the claims.

도 1a는 본 발명의 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 장치의 구성도이다.
도 1b는 깊이값에 따라 분류되어 저장된 손모양 깊이 영상들을 갖는 데이터베이스(150)의 구조도이다.
도 2는 깊이 영상 기반의 손 제스처 인식 장치(10)의 예시적인 사용 상태를 나타낸다.
도 3은 손 부위 별로 분류된 깊이 포인트들(100)을 나타낸다. 도 3에서 점들은 깊이 포인트를 나타낸다.
도 4는 3차원 손 모델을 나타낸다.
도 5는 깊이 포인트와 3차원 손 모델의 손 부위 사이의 거리를 이용하여 3차원 손 모델의 중지 부분을 정합하는 상태를 나타내는 구성도이다.
도 6은 손가락 마디 사이의 각도를 이용한 정합 제약조건을 설명하기 위한 도이다.
도 7은 사람이 표현 가능한 손가락 자세에 대한 정합 제약조건을 설명하기 위한 도이다.
도 8은 손 영역의 깊이 포인트들을 포함하는 손 공간에 대한 정합 제약조건을 설명하기 위한 도이다.
도 9a 내지 도 9c는 다섯개의 손가락 부위 중 소정의 손 가락 부위로 분류되지 않은 부분에 대한 3차원 손 모델의 정합을 설명하기 위한 도이다.
도 10a 내지 도 10c는 손 뼈대 깊이 포인트를 이용한 손 모델 정합을 설명하기 위한 도이다.
도 11은 본 발명의 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 방법의 순서도이다.
도 12는 본 발명의 다른 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 방법의 순서도이다.
도 13은 분류되지 않은 손 부위가 존재하는 경우에 대한 순서도이다.FIG. 1A is a block diagram of a depth image-based hand gesture recognition apparatus according to an embodiment of the present invention.
1B is a structural diagram of a database 150 having hand shape depth images classified and stored according to a depth value.
2 shows an exemplary use state of the hand gesture recognition apparatus 10 based on the depth image.
3 shows depth points 100 classified by hand region. In Fig. 3, the dots indicate depth points.
Figure 4 shows a three-dimensional hand model.
5 is a diagram showing a state in which a stop part of a three-dimensional hand model is matched using a distance between a depth point and a hand part of a three-dimensional hand model.
6 is a diagram for explaining a matching constraint using an angle between finger segments.
FIG. 7 is a diagram for explaining a matching constraint on a finger attitude that can be expressed by a person. FIG.
8 is a diagram for explaining a matching constraint on a hand space including depth points of a hand area.
FIGS. 9A to 9C are diagrams for explaining matching of a three-dimensional hand model with respect to a portion not classified as a predetermined fingertip portion among five fingertip portions.
10A to 10C are views for explaining hand model matching using a hand skeleton depth point.
11 is a flowchart of a depth image-based hand gesture recognition method according to an embodiment of the present invention.
12 is a flowchart of a depth image-based hand gesture recognition method according to another embodiment of the present invention.
13 is a flowchart for the case where an unclassified hand portion exists.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시 된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises ", or" having ", or the like, specify that there is a stated feature, number, step, operation, , Steps, operations, components, parts, or combinations thereof, as a matter of principle.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be construed as meaning consistent with meaning in the context of the relevant art and are not to be construed as ideal or overly formal in meaning unless expressly defined herein . Like reference numerals in the drawings denote like elements. In the following description, well-known functions or constructions are not described in detail to avoid unnecessarily obscuring the subject matter of the present invention. In addition, the size of each component in the drawings may be exaggerated for the sake of explanation and does not mean a size actually applied.

본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치" 또는 "시스템" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 본 명세서에서 부, 모듈, 장치 또는 시스템 등은 실행중인 프로세스, 프로세서, 객체(object), 실행 파일(executable), 실행 스레드(thread of execution), 프로그램(program), 및/또는 컴퓨터(computer)일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 컴퓨터에서 실행중인 애플리케이션(application) 및 컴퓨터의 양쪽이 모두 본 명세서의 부, 모듈, 장치 또는 시스템 등에 해당할 수 있다. Embodiments described herein may be wholly hardware, partially hardware, partially software, or entirely software. A "unit," "module," "device," or "system" or the like in this specification refers to a computer-related entity such as a hardware, a combination of hardware and software, or software. A processor, an object, an executable, a thread of execution, a program, and / or a computer, for example, a computer, but is not limited to, a computer. For example, both an application running on a computer and a computer may correspond to a part, module, device or system of the present specification.

실시예들이 도면에 제시된 순서도를 참조로 하여 설명되었다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다. 나아가, 본 발명의 일 실시예에 따른 방법은 일련의 과정들을 수행하기 위한 컴퓨터 프로그램의 형태로 구현될 수도 있으며, 상기 컴퓨터 프로그램은 컴퓨터로 판독 가능한 기록 매체에 기록될 수도 있다.Embodiments have been described with reference to the flowcharts shown in the drawings. While the above method has been shown and described as a series of blocks for purposes of simplicity, it is to be understood that the invention is not limited to the order of the blocks, and that some blocks may be present in different orders and in different orders from that shown and described herein And various other branches, flow paths, and sequences of blocks that achieve the same or similar results may be implemented. Also, not all illustrated blocks may be required for implementation of the methods described herein. Furthermore, the method according to an embodiment of the present invention may be implemented in the form of a computer program for performing a series of processes, and the computer program may be recorded on a computer-readable recording medium.

이하, 본 발명의 구성 및 특성을 실시예를 이용하여 설명하나, 이들 실시예는 본 발명을 예시하는 것일 뿐 한정하는 것은 아니다. Hereinafter, the structure and characteristics of the present invention will be described with reference to examples, but the present invention is not limited to these examples.

도 1a는 본 발명의 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 장치의 구성도이다. 도 1a를 참조하면, 깊이 영상 기반의 손 제스처 인식 장치(10)는 깊이 영상 획득부(11), 깊이 포인트 분류부(12), 손 모델 정합부(13)를 포함할 수 있다. 다른 실시예에서 깊이 영상 기반의 손 제스처 인식 장치(10)는 데이터 베이스(14) 또는 표시부(15)를 더 포함할 수 있다.FIG. 1A is a block diagram of a depth image-based hand gesture recognition apparatus according to an embodiment of the present invention. Referring to FIG. 1A, a depth image-based hand gesture recognition apparatus 10 may include a depth image acquisition unit 11, a depth point classification unit 12, and a hand model matching unit 13. In another embodiment, the depth image-based hand gesture recognition apparatus 10 may further include a database 14 or a display unit 15.

도 2는 깊이 영상 기반의 손 제스처 인식 장치(10)의 예시적인 사용 상태를 나타낸다. 도 2를 참조하면 깊이 영상 기반의 손 제스처 인식 장치는 깊이 영상 획득부(11)를 통해 사용자를 촬영하고, 사용자의 손 부분(1000)에 대응되는 3차원 손 모델(200)을 표시부(15)상에 표시할 수 있다. 깊이 영상 획득부(11)는 전체 입력되는 영상에서 손목 부분(1010)은 제외할 수 있다. 2 shows an exemplary use state of the hand gesture recognition apparatus 10 based on the depth image. 2, the depth image-based hand gesture recognition apparatus captures a user through the depth image acquisition unit 11 and displays the three-dimensional hand model 200 corresponding to the user's hand part 1000 on the display unit 15, Can be displayed on the screen. The depth image acquiring unit 11 may exclude the wrist part 1010 from the whole input image.

깊이 영상 기반의 손 제스처 인식 장치(10)는 매 프레임 마다 손(1000) 동작을 인식하고 이에 대응되는 3차원 손 모델(300)을 표시함으로써 연속적인 손 동작을 가상공간 상에서 구현할 수 있다.The hand gesture recognition apparatus 10 based on the depth image recognizes the movement of the hand 1000 every frame and displays the corresponding three-dimensional hand model 300 so that the continuous hand movement can be realized in the virtual space.

이를 위해, 깊이 영상 획득부(11)는 손 영역을 포함하는 깊이 영상을 획득할 수 있다. 여기서 깊이 영상 획득부(11)는 깊이 카메라를 포함할 수 있다. 깊이 카메라는 적외선 센서를 통해 카메라로부터 피사체까지의 거리 정보를 각 픽셀별로 획득하여 깊이 영상을 생성할 수 있다. 본 명세서에서 각각의 거리 정보를 가진 픽셀들은 깊이 영상에서 깊이 포인트로 언급될 수 있다.To this end, the depth image obtaining unit 11 may obtain a depth image including a hand region. Here, the depth image acquiring unit 11 may include a depth camera. The depth camera can acquire the distance information from the camera to the object through the infrared sensor to each pixel to generate the depth image. In the present specification, pixels having respective distance information can be referred to as depth points in a depth image.

도 3은 손 부위 별로 분류된 깊이 포인트들(100)을 나타낸다. 도 3에서 점들은 깊이 포인트를 나타낸다. 설명의 간략화를 위해 예시적인 몇몇 개의 깊이 포인트만이 도면에 표시되었다. 3 shows depth points 100 classified by hand region. In Fig. 3, the dots indicate depth points. For the sake of simplicity, only a few exemplary depth points are shown in the figures.

깊이 포인트 분류부(12)는 기계 학습법을 이용하여 깊이 영상 중 손 영역의 깊이 포인트들(100)을 해당하는 손 부위에 따라 분류한다. 도 3을 참조하면 깊이 포인트 분류부(12)는 복수의 손 부위(110-160)으로 구분되도록, 복수의 깊이 포인트들을 해당되는 손 부위로 분류한다. 즉 획득된 깊이 포인트들은 하나의 손 부위에 포함되도록 분류 될 수 있다. The depth point classification unit 12 classifies the depth points 100 of the hand region in the depth image according to the corresponding hand regions using a machine learning method. Referring to FIG. 3, the depth point classifying unit 12 classifies a plurality of depth points into corresponding hand regions so as to be divided into a plurality of hand regions 110-160. That is, the obtained depth points can be classified to be included in one hand region.

도 3에서와 같이 상기 깊이 포인트 분류부(12)는, 상기 손 영역의 깊이 포인트들을 손바닥(110, 또는 손등), 엄지(120), 검지(130), 중지(140), 약지(150), 또는 소지(160) 중 어느 하나의 손 부위로 분류하고, 상기 분류에 따라 각 깊이 포인트들을 라벨링할 수 있다. 도 3을 참조하면 깊이 포인트(121-125)는 손 부위(120; 엄지 손가락)로 분류되고 라벨링될 수 있다.3, the depth point classifier 12 divides the depth points of the hand region into a palm (110 or a hand), a thumb 120, a finger 130, a stop 140, a finger 150, Or the hand 160, and label each depth point according to the classification. Referring to FIG. 3, depth points 121-125 may be labeled and labeled with a hand region 120 (thumb).

이와 같이 각 깊이 포인트를 어느 하나의 손 부위로 분류하기 위해서 깊이 포인트 분류부(12)는 기계 학습법을 이용할 수 있다. 기계 학습법을 이용하기 위해, 데이터 베이스(14)는 다양한 손 자세 각각에 대한 손 부위별 깊이 데이터를 포함하고 있을 수 있다. 예컨대 손을 펴고 있는 상태 또는 주먹을 쥐고 있는 상태에서 손바닥, 엄지, 검지, 중지. 약지, 소지 각각의 깊이 데이터가 데이터베이스(14)에 포함될 수 있다.In order to classify each depth point into one hand region, the depth point classification unit 12 can use a machine learning method. To use the machine learning method, the database 14 may include hand-specific depth data for various hand postures. For example, holding your hand or palm, thumb, index finger, and holding your fist. The depth data of each of the fingerprints and the possession can be included in the database 14.

또한 데이터베이스(14)는 손 가락 부위 뿐만 아니라 손 전체에 대한 손 모양 깊이 데이터를 포함할 수도 있다. 이 경우 데이터베이스(14)는 정규화된 손모양 깊이 영상을 저장할 수 있다. 구체적으로, 데이터베이스(14)는 손모양 깊이영상들을 깊이값에 따라 분류하여 저장할 수 있다. 도 1b를 참조하면, 깊이값에 따라 분류되어 저장된 손모양 깊이영상들을 갖는 데이터베이스(150)의 구조도가 도시되어 있다. 손모양이 서로 유사하거나 동일할경우, 손모양 깊이영상의 깊이값 역시 유사하거나 동일하게 된다. 따라서, 깊이값을 기준으로 손모양 깊이영상을 분류할 경우, 유사하거나 동일한 손모양이 하나의 그룹에 수집되도록 분류된다. 예를 들어, 데이터베이스(14)가 제 1 그룹(141), 제2 그룹(142), 제 3 그룹(143), 제 4 그룹(144)으로 분류된다고 가정할 경우, 각 그룹은 서로 다른 손모양으로 정의되며, 제 1 그룹 내의 손모양 깊이영상은 서로 유사하거나 동일한 복수개의 깊이영상(141a ~ 141c)이 저장된다.The database 14 may also include hand shape depth data for the entire hand, as well as the fingertip region. In this case, the database 14 may store the normalized hand shape depth image. Specifically, the database 14 may classify and store hand-shaped depth images according to depth values. Referring to FIG. 1B, a structural diagram of a database 150 having hand-shaped depth images classified and stored according to depth values is shown. If the hand shapes are similar or identical, the depth values of the hand shape depth images are also similar or identical. Therefore, when the hand-shaped depth image is classified based on the depth value, similar or identical hand shapes are classified to be collected in one group. For example, if it is assumed that the database 14 is categorized as a first group 141, a second group 142, a third group 143, and a fourth group 144, , And a hand-shaped depth image in the first group stores a plurality of depth images 141a to 141c similar to or identical to each other.

또한, 데이터베이스(14)는 각 손모양 깊이영상마다 대응하는 손관절 각도의 정보를 저장할 수 있다. 손관절 각도에 대한 정보는 손모양 깊이영상과 함께 쌍으로 데이터베이스(14)에 저장될 수 있다.In addition, the database 14 may store information of the corresponding hand joint angle for each hand shape depth image. Information about the hand joint angle can be stored in the database 14 in pairs with the hand shape depth image.

'손 부위'는 손가락 및 손바닥이거나 손가락 마디 및 손바닥일 수 있다. 여기서 손바닥은 복수의 구역으로 구분될 수도 있다. 그러나 바람직한 실시예에서 데이터 베이스(14)에 저장된 손 부위별 깊이 데이터는 손가락 및 손바닥에 관한 것일 수 있다. 예컨대 다섯 개의 손가락 및 손바닥에 대한 깊이 데이터가 데이터베이스(14)에 포함될 수 있다. 손가락 마디 별로 손 자세에 따른 깊이 데이터를 저장하고 이용하는 경우 데이터 처리의 시간이 더 오래 걸리므로 깊이 영상 내 깊이 포인트 들은 손가락 및 손바닥으로 분류하는 것이 바람직할 수 있다.The "hand" may be a finger and a palm, or a finger and a palm. Here, the palm may be divided into plural zones. However, in a preferred embodiment, the hand-specific depth data stored in the database 14 may be about the finger and the palm. For example, depth data for five fingers and palm can be included in database 14. When storing and using the depth data according to the hand posture according to the fingertip, it takes longer time to process the data. Therefore, it is preferable to classify the depth points in the depth image into a finger and a palm.

깊이 데이터 분류부(12)가 이용하는 기계 학습법은 서포트벡터머신 또는 랜덤포레스트일 수 있으나 이에 본 발명이 제한되는 것은 아니다.The machine learning method used by the depth data classifier 12 may be a support vector machine or a random forest, but the present invention is not limited thereto.

도 4는 3차원 손 모델을 나타낸다. 3차원 손 모델(200)의 손 바닥(210) 및 손가락(220-260)은 복수의 부분으로 구분될 수 있다. 예컨대 손가락은 손가락 마디들로 구분될 수 있다. 따라서 엄지 손가락(220)은 두 개의 마디로 구분되고, 다른 손가락은 세 개의 마디로 구분될 수 있다. 손 바닥은 한 개의 볼륨으로 표현되었으나, 다른 실시예에서 복수의 볼륨으로 구성될 수도 있다.Figure 4 shows a three-dimensional hand model. The hand floor 210 and the fingers 220-260 of the three-dimensional hand model 200 can be divided into a plurality of portions. For example, a finger may be divided into finger segments. Thus, the thumb 220 can be divided into two nodes, and the other finger can be divided into three nodes. The hand floor is represented by one volume, but in another embodiment it may be composed of a plurality of volumes.

손 모델 정합부(13)는 분류된 깊이 포인트들과 각 깊이 포인트들에 대응하는 손 부위 사이의 거리를 이용하여, 상기 분류된 깊이 포인트들에 3차원 손 모델을 정합시킬 수 있다. 예컨대 손 모델 정합부(13)는 도 4에 도시된 3차원 손 모델(200)을 도 3에 도시된 깊이 포인트들에 정합시킬 수 있다.The hand model matching unit 13 can match the three-dimensional hand model to the classified depth points using the distance between the classified depth points and the hand region corresponding to each depth points. For example, the hand model matching unit 13 may match the three-dimensional hand model 200 shown in FIG. 4 to the depth points shown in FIG.

현재 사용자의 손 자세와 3차원 손 모델의 자세를 동일하게 하기 위해서, 손 모델 정합부(13)는 깊이 포인트와 상기 깊이 포인트에 대응되는 3차원 손 모델의 손 부위 사이의 거리가 최소가 되도록 3차원 손 모델을 적절하게 이동시킬 수 있다. In order to make the hand posture of the current user equal to the posture of the three-dimensional hand model, the hand model matching unit 13 compares the depth point with the hand position of the three-dimensional hand model corresponding to the depth point, Dimensional hand model can be moved appropriately.

도 5는 깊이 포인트와 3차원 손 모델의 손 부위 사이의 거리를 이용하여 3차원 손 모델의 중지 부분을 정합하는 상태를 나타내는 구성도이다. 도 5를 참조하면 3차원 손 모델의 중지(240)는 끝마디(241), 중간마디(242) 및 첫마디(243)으로 구분된다. 또한 깊이 포인트 분류부(12)에의해 깊이 포인트(141-144)는 3차원 손 모델의 중지(240)에 대응되도록 분류되고 라벨링되어있다.5 is a diagram showing a state in which a stop part of a three-dimensional hand model is matched using a distance between a depth point and a hand part of a three-dimensional hand model. Referring to FIG. 5, the stop 240 of the three-dimensional hand model is divided into an end node 241, a middle node 242, and a first node 243. The depth points 141-144 by the depth point classifier 12 are also classified and labeled to correspond to the stop 240 of the three-dimensional hand model.

손 모델 정합부(13)는 복수의 깊이 포인트(141-144)와 복수의 깊이 포인트 각각에 대응하는 3차원 손 모델의 손 부위(240) 사이의 거리의 합이 최소가 되도록 복수의 깊이 포인트(141-144)에 3차원 손 모델을 정합시킬 수 있다. 즉, 도 5에 있어서, 각 깊이 포인트들과 3차원 손 모델 사이의 거리들(d1,d2,d3,d4)의 합이 최소가 되는 위치로 3차원 손 모델의 손 부위를 위치시킬 수 있다.The hand model matching section 13 is provided with a plurality of depth points 141-144 such that the sum of the distances between the plurality of depth points 141-144 and the hand portions 240 of the three dimensional hand model corresponding to each of the plurality of depth points 141-144). ≪ / RTI > That is, in FIG. 5, the hand portion of the three-dimensional hand model can be positioned at a position where the sum of the distances (d1, d2, d3, d4) between the respective depth points and the three-dimensional hand model becomes minimum.

복수의 깊이 포인트(141-144)가 손 부위(예컨대 중지 손가락)에 대하여 라벨링된 경우 복수의 깊이 포인트(141-144)는 대응하는 손 부위 전체(중지 손가락)까지의 거리 정보를 산출할 수 있다. 또한 복수의 깊이 포인트(141-144)가 손 가락 부위(예컨대 중지 손가락의 각 마디)에 대하여 라벨링 된 경우 복수의 깊이 포인트(141-144)는 대응하는 손가락 부위 각각(중지 손가락의 각각의 손 가락 마디)까지의 거리 정보를 산출할 수 있다.When a plurality of depth points 141-144 are labeled for a hand region (e.g., a stop finger), the plurality of depth points 141-144 can calculate distance information to the entire corresponding hand region (stop finger) . Also, if a plurality of depth points 141-144 are labeled for a fingertip site (e.g., each fingertip of the stop finger), then the plurality of depth points 141-144 may be associated with each of the corresponding fingertip locations Node) can be calculated.

본 발명의 일 실시예에 따른 손 모델 정합부(13)는 3차원 손 모델을 정합함에 있어서 위와 같이 깊이 포인트들과 3차원 손 모델의 손 부위 사이의 거리정보를 이용하는 방식에 아래와 같은 몇 가지 제약조건을 더 적용하여 정합률을 향상 시킬 수 있다. 손 모델 정합부(13)는 아래 3차원 손 모델과 깊이 포인트들과의 거리 및 아래 제약조건을 적용 시킨 후 3차원 손 모델의 정합을 완료하여 3차원 손 모델의 손 제스처를 확정시킬 수 있다. 아래에서 설명되는 정합 제약조건들에 대한 내용은 발명의 설명을 간결하고 명확하게 하기 위해 한 개 또는 두 개의 손가락을 도면에 표시하고 이를 기초로 설명되나 설명된 내용은 다른 손가락들 및 손바닥에도 동일하게 적용될 수 있음이 이해되어야 한다.The hand model matching unit 13 according to an embodiment of the present invention uses the distance information between the depth points and the hand region of the three-dimensional hand model in the matching of the three-dimensional hand model, The condition can be further applied to improve the matching ratio. The hand model matching unit 13 can apply the distances between the lower three-dimensional hand model and the depth points and the following constraint, and then complete the matching of the three-dimensional hand model to determine the hand gesture of the three-dimensional hand model. The description of the constraint constraints described below is based on the fact that one or two fingers are shown in the drawing for the sake of brevity and clarity of the description of the invention, Can be applied.

추가적인 정합 제약조건 1Additional matching constraint 1

도 6은 손가락 마디 사이의 각도를 이용한 정합 제약조건을 설명하기 위한 도이다. 손 모델 정합부(13)는 손가락에 포함되는 손가락 마디 사이의 각도 정보를 더 이용하여 상기 3차원 손 모델을 정합할 수 있다. 도 6을 참조하면 손 모델 정합부(13)는 중지(240)의 끝마디(241)와 중간마디(242) 사이의 각도(θ1)와 중간마디(242)와 첫마디(241) 사이의 각도(θ2) 사이의 관계를 이용하여 3차원 손 모델을 정합할 수 있다. 일반적으로 손가락을 구부리는 경우 손가락 마디 사이의 각도(도 6에서는 θ1과 θ2)는 서로 비례관계를 가질 수 있다. 따라서 손 모델 정합부(13)는 3차원 손 모델의 손가락이 구부러지는 경우 손가락의 마디 사이의 각도가 서로 비례관계를 갖도록 제약조건을 적용하여 3차원 손모델을 정합할 수 있다.6 is a diagram for explaining a matching constraint using an angle between finger segments. The hand model matching unit 13 can match the three-dimensional hand model by further using the angle information between the finger segments included in the finger. 6, the hand model registration unit 13 calculates the angle θ1 between the end node 241 and the middle node 242 of the stop 240 and the angle θ2 between the middle node 242 and the first node 241, ) Can be used to match the three-dimensional hand model. In general, when the finger is bent, the angle between the finger joints (? 1 and? 2 in FIG. 6) may be proportional to each other. Therefore, the hand model matching unit 13 can match the three-dimensional hand model by applying constraints such that the angles between the nodes of the fingers are proportional to each other when the fingers of the three-dimensional hand model are bent.

추가적인 정합 제약조건 2Additional matching constraints 2

도 7은 사람이 표현 가능한 손가락 자세에 대한 정합 제약조건을 설명하기 위한 도이다. 손 모델 정합부(13)는 사람이 표현 가능한 손가락 자세에 한정되도록 손가락 마디의 위치를 제한할 수 있다, 도 7을 참조하면, 엄지 손가락(220) 및 검지 손가락(230)의 위치 및 엄지 손가락(220)과 검지 손가락(230)의 구부러진 방향에 따르면 손은 오른손임을 알 수 있다. 그런데 손 모델 정합부(13)가 다른 정합 요건(예컨대 깊이 포인트와 손 모델의 손 부위 사이의 거리)을 적용한 결과 중지 손가락의 끝마디는 끝마디 후보군(251A) 또는 끝마디 후보군(251B)이 될 수 있는 경우, 끝마디 후보군(251B)는 사람이 표현 가능하지 않은 손가락 자세로서 일반적인 손의 운동 영역에 포함되지 않으므로 손 모델 정합부(13)는 끝마디 후보군(251B)를 무시하고 끝마디 후보군(251A)를 적용할 수 있다. 또한 끝마디 후보군(251A)와 같이 표현 가능한 영역에 대한 후보군이 없는 경우, 손 모델 정합부(13)는 사람이 표현 가능한 위치에 손 모델 부위를 임의로 정합할 수도 있다.FIG. 7 is a diagram for explaining a matching constraint on a finger attitude that can be expressed by a person. FIG. 7, the position of the thumb 220 and the index finger 230, and the position of the thumb (not shown) 220 and the index finger 230 indicate the right hand. However, when the hand model matching unit 13 applies another matching requirement (for example, the distance between the depth point and the hand portion of the hand model), the end fingers of the stop finger may be the end node candidate group 251A or the end node candidate group 251B The hand model matching unit 13 can ignore the end command candidate group 251B and apply the end command candidate group 251A because the end command candidate group 251B is not included in the normal hand movement region have. Also, in the case where there is no candidate group for the representable region such as the end node candidate group 251A, the hand model matching unit 13 may arbitrarily match the hand model region to a position where the human can be expressed.

추가적인 정합 제약조건 3Additional matching constraints 3

도 8은 손 영역의 깊이 포인트들을 포함하는 손 공간에 대한 정합 제약조건을 설명하기 위한 도이다. 손 모델 정합부(13)는 손 영역의 깊이 포인트들이 형성하는 볼륨 내에 3차원 손 모델이 정합되도록 정합되는 3차원 손 모델의 위치를 제한할 수 있다. 도 8을 참조하면 손 모델 정합부(13)는 가상공간 내 손 영역에 해당되는 최외각 깊이 포인트들이 형성하는 컨벡스 헐(300, convex hull)을 정의하고 컨벡스 헐 내에 3차원 손 모델이 위치하도록 3차원 손 모델의 위치를 제한할 수 있다.8 is a diagram for explaining a matching constraint on a hand space including depth points of a hand area. The hand model matching section 13 may limit the position of the three-dimensional hand model so that the three-dimensional hand model is matched within the volume formed by the depth points of the hand region. Referring to FIG. 8, the hand model matching unit 13 defines a convex hull 300 formed by the outermost depth points corresponding to a hand area in the virtual space, and defines a convex hull 300 (convex hull) The position of the dimensional hand model can be limited.

분류되지 않은 손 부위의 정합 Matching of unclassified hands

도 9a 내지 도 9c는 다섯개의 손가락 부위 중 소정의 손 가락 부위로 분류되지 않은 부분에 대한 3차원 손 모델의 정합을 설명하기 위한 도이다. 도 9a를 참고하면 사용자의 손 등이 깊이 카메라를 향하고 있다. 이 경우 손등 부분이거나 손등 부분과 손 가락의 첫마디 부분에 대하여만 깊이 카메라에의해 깊이 정보가 획득될 수 있다. 예컨대 도 9b에 도시된 바와 같이 깊이 영상은 손 등(110)과 엄지 손가락의 첫 마디(221)부분에 대한 깊이 포인트만을 포함하는 깊이 영상이 획득될 수 있다. FIGS. 9A to 9C are diagrams for explaining matching of a three-dimensional hand model with respect to a portion not classified as a predetermined fingertip portion among five fingertip portions. Referring to FIG. 9A, the user's hand or the like is pointing toward the depth camera. In this case, the depth information can be obtained by the depth camera only on the part of the back of the hand or on the part of the back of the hand and the first part of the fingertip. For example, as shown in FIG. 9B, a depth image may be obtained that includes only the depth points of the first part 221 of the hand 110 and the thumb.

손 모델 정합부(13)는 획득된 깊이 포인트를 이용하여 3차원 손 모델을 정합시킨다. 그러나 손가락의 중간마디 또는 끝마디에 해당되는 깊이 포인트가 존재 하지 않아 3차원 손 모델의 손가락의 중간마디 또는 끝마디를 어떻게 정합시켜야 할지 문제가 된다. 또한 도 9b에서는 손가락의 첫마디에 대한 깊이 포인트가 획득되었으나 첫마디에 대한 깊이 포인트가 획득되지 않는 경우도 있을 수 있다.The hand model matching unit 13 matches the three-dimensional hand model using the obtained depth points. However, since there is no depth point corresponding to the middle node or the end node of the finger, it is a matter of how to match the middle node or the end node of the finger of the three-dimensional hand model. In FIG. 9B, the depth point for the first word of the finger is obtained, but the depth point for the first word may not be obtained.

이 경우 손 모델 정합부(13)는 분류되지 않은 손 부위에 대하여 임의 자세를 갖는 3차원 손 모델을 정합시킬 수 있다. 도 9c는 도 9b의 3차원 손 모델을 L 방향에서 바라본 소지(260)의 상태이다. In this case, the hand model matching unit 13 can match the three-dimensional hand model having an arbitrary posture with respect to the unclassified hand region. FIG. 9C is a state of the base 260 seen from the L direction of the three-dimensional hand model of FIG. 9B.

소지의 첫마디(261) 내지 끝마디(263)에 대응되는 깊이 포인트가 존재하지 아니하므로 손 모델 정합부(13)는 실제 사용자의 손 가락이 취하고 있는 자세를 인지하기 어렵다. 따라서 손 모델 정합부(13)는 해당 손 부위에 대하여 임의 자세를 갖는 3차원 손 모델 부위를 정합할 수 있다. 임의 자세를 갖는 3차원 손 모델은 손가락 마디와 마디 사이 관절에 스프링 모델이 포함될 수 있다.It is difficult for the hand model matching unit 13 to recognize the attitude of the actual user's fingers because there is no depth point corresponding to the first word 261 to the last word 263 of the possession. Therefore, the hand model matching unit 13 can match the three-dimensional hand model region having an arbitrary posture with respect to the hand region. A three-dimensional hand model with arbitrary posture can include a spring model at the joints between the fingers and the nodes.

도 9c를 참조하면, 소지에 있어서 중간마디(262)와 끝마디(263)가 임의 자세로 정합되며, 이때 첫마디(261)와 중간마디(262) 사이의 관절부분(2611)과 중간마디(262)와 끝마디(263) 사이의 관절부분(2621)에는 스프링 모델이 포함될 수 있다. 그 결과 임의 자세로 정합된 손 모델 부위는 사용자가 손에 힘을 뺀 편한 자세로 자연스럽게 흔들거릴 수 있다.9C, the middle knob 262 and the end knob 263 are aligned in an arbitrary posture. At this time, the joint portion 2611 and the middle knob 262 between the first knuckle 261 and the middle knuckle 262, A spring model may be included in the joint part 2621 between the end part 263 and the end part 263. As a result, the hand model region that is matched to the arbitrary posture can naturally shake in a comfortable posture in which the user removes the force on the hand.

뼈대 정합을 이용한 속도 개선Speed improvement using skeleton matching

본 발명의 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 장치(10)의 깊이 포인트 분류부(12)는 상기 깊이 영상 중 손 영역의 깊이 포인트들을 이용하여 손 뼈대를 나타내는 손 뼈대 깊이 포인트들을 생성하고, 상기 손 뼈대 깊이 포인트들을 해당하는 손 부위에 따라 분류할 수 있다. 그 후 손 모델 정합부(13)는, 상기 분류된 손 뼈대 깊이 포인트들에 3차원 손 모델을 정합시킬 수 있다.The depth point classification unit 12 of the depth image-based hand gesture recognition apparatus 10 according to an exemplary embodiment of the present invention generates hand skeleton depth points representing hand skeletons using the depth points of the hand region in the depth image And the hand skeleton depth points can be classified according to the corresponding hand parts. Then, the hand model matching section 13 can match the three-dimensional hand model to the above-mentioned classified hand skeleton depth points.

도 10a 내지 도 10c는 손 뼈대 깊이 포인트를 이용한 손 모델 정합을 설명하기 위한 도이다. 도 10a는 손 뼈대 깊이 포인트를 생성하는 단계를 설명하기 위한 도이다. 도 10a는 도 3에 있어서 U방향에서 바라본 약지 부분(150)의 깊이 포인트 및 손 뼈대 깊이 포인트를 나타낸다. 도 3과 도 10a를 참조하면 깊이 카메라가 손바닥을 향하고 있기 때문에 손 뒷부분에 대한 깊이 포인트는 획득되지 않는다. 즉, 도 10a에 도시된 바와 같이 약지의 손 바닥 부분에 대한 깊이 포인트들(151-155)이 얻어진다. 깊이 포인트 분류부(12)는 이러한 깊이 포인트들(151-155)을 이용하여 손 뼈대 깊이 포인트(1501)을 생성할 수 있다. 이러한 손 뼈대 깊이 포인트(1501)는 깊이 포인트들(151-155)이 형성하는 부채꼴 영역(X1)의 일 지점일 수 있다. 일 예에서 상기 일 지점은 동일한 평면상에서 가장 멀리 존재하는 두 깊이 포인트(151, 155)의 중점일 수 있으나 이에 본 발명이 제한되는 것은 아니다. 10A to 10C are views for explaining hand model matching using a hand skeleton depth point. FIG. 10A is a view for explaining a step of generating a hand skeleton depth point. FIG. Fig. 10A shows depth points and hand skeleton depth points of the finger portion 150 viewed from the U direction in Fig. Referring to FIGS. 3 and 10A, since the depth camera faces the palm, the depth point of the back of the hand is not obtained. That is, depth points 151-155 for the hand bottom of the ring finger are obtained as shown in FIG. 10A. The depth point classifier 12 may generate hand skeleton depth points 1501 using these depth points 151-155. This hand skeleton depth point 1501 may be a point in the sector region X1 formed by the depth points 151-155. In one example, the one point may be the center of two depth points 151 and 155 that are farthest on the same plane, but the present invention is not limited thereto.

도 10b는 위 설명에서와 같이 손 부위를 나타내는 깊이 포인트들을 이용하여 약지 부분(150) 전체에 대하여 생성된 손 뼈대 깊이 포인트들(1501-1506)을 나타낸다. FIGURE 10B shows hand skeleton depth points 1501-1506 created for the entire ring portion 150 using depth points representing the hand region as described above.

위와 같이 손 뼈대 영역 깊이 포인트를 생성함으로써 손의 표면 면적만큼 존재하는 깊이 포인트의 수는 손 부위의 면적에서 손 부위의 선 형태로 바뀌면서 손을 나타내는 깊이 포인트의 수가 매우 감소됨을 알 수 있다. 즉, 약지의 단면을 덮고 있던 수 많은 깊이 포인트를 대신하여 하나의 선 형태의 손 뼈대 깊이 포인트들이 약지의 형태를 나타낼 수 있게 된다. 이 경우 손 모델 정합부(13)는 도 10c에 도시된 바와 같이 손 모델을 손 뼈대 깊이 포인트들에 정합할 수 있다.As described above, the number of depth points existing by the surface area of the hand is changed from the area of the hand area to the line shape of the hand area by generating the depth region of the hand skeleton region, so that the number of depth points representing the hand is greatly reduced. That is, in place of the many depth points covering the cross section of the ring finger, one line-shaped hand skeleton depth points can represent the shape of the ring finger. In this case, the hand model matching section 13 can match the hand model to the hand skeleton depth points as shown in FIG. 10C.

이상과 같이 손 뼈애 깊이 포인트들을 이용함으로써 처리해야하는 깊이 포인트의 수가 급감하여 깊이 포인트 획득에서 3차원 손 모델 정합까지 소요되는 데이터 처리 시간이 매우 줄어들 수 있다. 실험적으로 깊이 영상 획득에서부터 손을 나타내는 손 뼈대 깊이 포인트를 손 부위로 분류하는 단계까지 소요 시간은 손을 나타내는 모든 깊이 포인트들을 손 부위로 분류하는 경우에 비하여 1/10 이상 줄어드는 효과를 얻었다. 즉 속도가 10배 이상 증가하였다.As described above, by using the hand bone depth points, the number of depth points to be processed is reduced drastically, and the data processing time from the acquisition of the depth point to the three-dimensional hand model matching can be greatly reduced. Experimental results show that the time required from the depth acquisition to the step of classifying the hand skeleton depth point into the hand area is reduced by more than 1/10 as compared with the case where all depth points representing the hand are classified as the hand region. In other words, the speed increased more than 10 times.

위 설명에서는 약지를 예로들어 설명하였으나 손의 다른 부위에도 동일하게 상기 내용이 적용되어 손 뼈대 깊이 포인트가 획득될 수 있다. In the above description, the fingerprint is taken as an example, but the same contents can be applied to other parts of the hand so that the hand skeleton depth point can be obtained.

이상과 같이, 손 모델 정합부(13)는 손 부위로 분류된 깊이 포인트들을 이용하여 이에 대응되는 손 부위를 가지는 3차원 손 모델을 깊이 포인트들에 정합시킬 수 있다. 또한 이상과 같은 정합에 있어서 상기 정합 제약조건 1 내지 3을 적용하여 정합률을 향상시킬 수 있다. 또한 손 모델 정합부(13)는 3차원 손 모델의 소정 부분이 정합될 깊이 포인트가 존재하지 않는 경우, 주변의 다른 깊이 포인트를 이용하여 임의 자세로 3차원 손 모델의 해당 부분을 정합할 수 있고 이 때 정합되는 손가락 마디 사이에 스프링 모델을 추가할 수도 있다.As described above, the hand model matching unit 13 can use the depth points classified into the hand region to match the three-dimensional hand model having the hand region corresponding thereto to the depth points. In addition, in the above-described matching, it is possible to improve the matching ratio by applying the matching constraint conditions 1 to 3 described above. Further, the hand model matching unit 13 can match the corresponding portion of the three-dimensional hand model in an arbitrary posture using other surrounding depth points when a predetermined portion of the three-dimensional hand model does not have a depth point to be matched At this time, a spring model may be added between matched finger nodes.

도 11은 본 발명의 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 방법의 순서도이다. 깊이 영상 기반의 손 제스처 인식 방법은 손 영역을 포함하는 깊이 영상을 획득하는 단계(S110), 기계 학습법을 이용하여 상기 깊이 영상 중 손 영역의 깊이 포인트들을 해당하는 손 부위에 따라 분류하는 단계(S120) 및 분류된 깊이 포인트들과 각 깊이 포인트들에 대응하는 손 부위 사이의 거리를 이용하여, 상기 분류된 깊이 포인트들에 3차원 손 모델을 정합시키는 단계(S130)를 포함할 수 있다.11 is a flowchart of a depth image-based hand gesture recognition method according to an embodiment of the present invention. The depth image-based hand gesture recognition method includes a step of obtaining a depth image including a hand region (S110), a step of classifying depth points of a hand region of the depth image according to a corresponding hand region using a machine learning method (S120 ) And matching the three-dimensional hand model to the classified depth points using the distance between the classified depth points and the hand portion corresponding to each depth points (S130).

일 실시예에서 깊이 포인트들을 해당하는 손 부위에 따라 분류하는 단계(S120)는, 상기 손 영역의 깊이 포인트들을 엄지, 검지, 중지, 약지, 소지 또는 손바닥 중 어느 하나의 손 부위로 분류하고, 상기 분류에 따라 각 깊이 포인트들을 라벨링하는 단계를 포함할 수도 있다. 라벨링된 깊이 포인트는 3차원 손 모델을 정합시키는 인덱스로 기능하게 된다. 또한 언급한 기계 학습법은 서포트벡터머신 또는 랜덤포레스트를 포함할 수 있으나 본 발명이 여기에 제한되는 것은 아니다.In one embodiment, classifying the depth points according to a corresponding hand region (S120) includes classifying the depth points of the hand region into one of a thumb, a finger, a stop, a finger, a hand or a palm, And labeling each depth point according to the classification. The labeled depth point functions as an index to match the three-dimensional hand model. The machine learning method mentioned may also include a support vector machine or a random forest, but the present invention is not limited thereto.

3차원 손 모델을 정합시키는 단계(S130)는 복수의 깊이 포인트와 상기 복수의 깊이 포인트 각각에 대응하는 3차원 손 모델의 부위 사이의 거리의 합이 최소가 되도록 상기 3차원 손 모델을 정합시킬 수 있다.The step of matching the three-dimensional hand model (S130) may match the three-dimensional hand model so that the sum of the plurality of depth points and the distance between the parts of the three-dimensional hand model corresponding to each of the plurality of depth points is minimized have.

또한 복수의 깊이 포인트 각각에 대응하는 3차원 손 모델의 부위는, 손가락 마디일 수 있다. 이 경우 깊이 포인트들은 해당되는 손 부위(예컨대 중지인지 약지인지) 및 해당 손가락의 마디(예컨대 끝 마디인지 중간 마디인지)에 따라 분류되고 라벨링될 수 있다.Also, the portion of the three-dimensional hand model corresponding to each of the plurality of depth points may be a finger node. In this case, the depth points may be classified and labeled according to the corresponding hand part (for example, whether it is a stop or a finger) and a finger node (for example, an end node or a middle node).

또한 3차원 손 모델을 정합시키는 단계(S130)는, 손가락에 포함되는 손가락 마디 사이의 각도 정보를 더 이용하여 상기 3차원 손 모델을 정합시킬 수 있으며, 여기서 상기 각도 정보는 손가락에 포함되는 손가락 마디 사이의 각도들이 비례관계를 갖는 것을 포함할 수 있다.In addition, the step of matching the three-dimensional hand model (S130) may match the three-dimensional hand model by further using the angle information between the finger nodes included in the finger, wherein the angle information includes a finger node May have a proportional relationship.

또한 3차원 손 모델을 정합시키는 단계(S130)는, 사람이 표현 가능한 손 가락 자세 제한 또는 손 영역의 깊이 포인트들을 포함하는 손 공간 제한을 더 이용하여 상기 3차원 손 모델을 정합시키는 단계를 포함할 수 있다.The step of matching the three-dimensional hand model (S130) also includes matching the three-dimensional hand model further using a hand space constraint that can be expressed by a person or a hand space constraint that includes depth points of the hand area .

또한 3차원 손 모델을 정합시키는 단계(S130)는, 상기 엄지, 검지, 중지, 약지, 소지 중 분류되지 않은 손 부위가 존재하는 경우, 분류되지 않은 손 부위에는 임의 자세를 갖는 상기 3차원 손 모델을 정합시킬 수 있으며, 이 때 상기 임의 자세를 갖는 상기 3차원 손 모델은, 손가락 마디에 스프링 모델을 포함할 수 있다.In addition, the step of matching the three-dimensional hand model (S130) may include a step of, if there is an unclassified hand region among the thumb, index finger, And the three-dimensional hand model having the arbitrary posture at this time can include a spring model in the finger joint.

여기서 상기 깊이 포인트들을 해당하는 손 부위에 따라 분류하는 단계(S120)는, 상기 깊이 영상 중 손 영역의 깊이 포인트들을 이용하여 손 뼈대를 나타내는 손 뼈대 깊이 포인트들을 생성하고, 상기 손 뼈대 깊이 포인트들을 해당하는 손 부위에 따라 분류하는 단계를 포함할 수 있다. 또한 이 경우 상기 3차원 손 모델을 정합시키는 단계(S130)는, 상기 분류된 손 뼈대 깊이 포인트들에 3차원 손 모델을 정합시키는 단계를 포함할 수 있다.The step of classifying the depth points according to a corresponding hand region (S120) may include generating hand skeleton depth points representing a hand skeleton using depth points of the hand region in the depth image, And a step of sorting according to the hand region. In this case, the step of matching the three-dimensional hand model (S130) may include matching the three-dimensional hand model to the classified hand skeleton depth points.

도 12는 본 발명의 다른 일 실시예에 따른 깊이 영상 기반의 손 제스처 인식 방법의 순서도이다. 우선 깊이 카메라 등을 이용하여 손 영역에 대한 깊이 영상을 획득한 후(S210), 깊이 영상의 깊이 포인트들을 손 부위별로 분류한다(S220). 분류되는 손 부위는 손바닥, 엄지, 검지, 중지. 약지 및 소지를 포함할 수 있으나 이보다 더 세부적으로 분류될 수도 있다. 예컨대 손 가락의 마디별로 분류될 수 도 있다.12 is a flowchart of a depth image-based hand gesture recognition method according to another embodiment of the present invention. First, a depth image of a hand region is acquired using a depth camera or the like (S210), and depth points of the depth image are classified according to a hand region (S220). The palms, thumbs, index finger, and stopping hands are classified. Ringlets and possession, but may be further subdivided. For example, it may be classified by the segment of the fingering.

각각의 깊이 포인트가 분류되면, 깊이 포인트에 3차원 손 모델을 정합한다(S230). 3차원 손 모델의 각 손 부위는 이에 대응되는 깊이 포인트에 대하여 정합된다. 구체적으로 복수의 깊이 포인트와 상기 복수의 깊이 포인트에 대응되는 3차원 손 모델의 각 부위와의 거리의 합이 최소가 되도록 3차원 모델의 위치가 결정되어 정합할 수 있다(S231).When each depth point is classified, the three-dimensional hand model is matched to the depth point (S230). Each hand portion of the three-dimensional hand model is matched against the corresponding depth point. Specifically, the positions of the three-dimensional models can be determined and matched so that the sum of the plurality of depth points and the distances between the respective portions of the three-dimensional hand model corresponding to the plurality of depth points becomes minimum (S231).

일 실시예에서 위 단계(S231)만으로 3차원 손 모델의 정합이 완료될 수 있다. 그러나 다른 일 실시예에서는 하기의 단계(S232) 내지 단계(S234)가 더 수행되어 정합이 완료될 수 있다. 단계(S231) 내지 단계(S234)의 선후는 실시예에 따라 변경될 수 있으며, 특정 단계가 다른 단계보다 더 반복적으로 수행될 수도 있다.In one embodiment, matching of the three-dimensional hand model can be completed only by the above-described step S231. However, in another embodiment, the following steps S232 to S234 may be further performed to complete the matching. The end of steps S231 to S234 may be changed according to the embodiment, and the specific steps may be performed more repeatedly than the other steps.

실제 손 동작과 3차원 손 모델의 동작이 더 동일할 수 있도록, 깊이 포인트에 3차원 손 모델을 정합하는 단계(S230)는 손가락에 포함되는 손가락 마디 사이의 각도 정보를 더 이용하여 상기 3차원 손 모델을 정합시킬 수 있으며(S232), 여기서 3차원 손 모델은 손가락에 포함되는 손가락 마디 사이의 각도들이 비례관계를 갖도록 정합될 수 있다.The step S230 of fitting the three-dimensional hand model to the depth point so that the actual hand motion and the motion of the three-dimensional hand model can be more similar can be achieved by further using the angle information between the finger segments included in the finger, The model can be matched (S232), where the three-dimensional hand model can be matched such that the angles between the finger segments contained in the finger are proportional.

또한 실제 손 동작과 3차원 손 모델의 동작이 더 동일할 수 있도록, 깊이 포인트에 3차원 손 모델을 정합하는 단계(S230)는 3차원 손 모델이 사람이 표현 가능한 손 가락 자세를 갖도록 제한하는 제약조건을 적용하는 단계(S233) 또는 손 영역의 깊이 포인트들을 포함하는 손 공간을 제한하는 제약조건을 적용하는 단계(S234)를 더 포함할 수도 있다.In addition, the step of matching the 3D hand model to the depth point (S230) so that the actual hand motion and the motion of the three-dimensional hand model may be the same, is a step of limiting the 3D hand model to have a human hand- A step of applying a condition (S233) or applying a constraint to limit a hand space including depth points of a hand area (S234).

도 13은 분류되지 않은 손 부위가 존재하는 경우에 대한 순서도이다. 도 13을 참조하면, 깊이 카메라 등을 이용하여 손 영역에 대한 깊이 영상을 획득한 후(S310), 깊이 영상의 깊이 포인트들을 손 부위별로 분류한다(S320). 13 is a flowchart for the case where an unclassified hand portion exists. Referring to FIG. 13, a depth image of a hand region is acquired using a depth camera or the like (S310), and depth points of the depth image are classified by hand (S320).

단계(S320) 이후, 엄지, 검지, 중지, 약지, 소지 중 분류되지 않은 손 부위가 존재하는지 판단한다(S321). 분류되지 않은 손 부위가 존재하는 경우, 일단 소정의 손 부위로 분류된 각각의 깊이 포인트에 대하여 3차원 손 모델을 정합한다(S331).After the step S320, it is judged whether there is any unspecified hand part among the thumb, the index finger, the stop finger, the finger ring finger, and the hand (S321). If an unclassified hand region exists, the three-dimensional hand model is matched to each depth point, which is once classified as a predetermined hand region (S331).

그 후 분류되지 않은 손 부위에는 임의 자세를 갖는 3차원 손 모델의 손 부위를 정합시킨다(S332). 손 영역에 대한 깊이 포인트를 모두 분류 하였을 때, 분류되지 않은 손 부위가 존재하는 경우 해당 손 부위는 주변의 다른 깊이 포인트를 이용하여 임의 자세를 갖는 3차원 손 모델의 손 부위가 정합될 수 있다. 또한 여기서 임의 자세로 정합되는 3차원 손 모델이 두 개 이상의 손가락 마디를 포함하는 경우, 각 손가락 마디 사이의 관절에는 스프링 모델이 포함될 수 있다. 스프링 모델에 의해서 임의 자세를 갖는 3차원 손 모델은 자연스럽게 움직일 수 있다.Thereafter, the hands of the three-dimensional hand model having an arbitrary posture are aligned on the unclassified hand (S332). When all of the depth points for the hand region are classified, if there is an unclassified hand region, the hand region of the three-dimensional hand model having an arbitrary attitude can be matched by using other depth points around the hand region. Also, in the case where the three-dimensional hand model matched to the arbitrary posture includes two or more finger segments, the joint between the respective finger segments may include a spring model. A three-dimensional hand model with arbitrary posture can be moved naturally by the spring model.

또한 손 영역에 대한 깊이 포인트를 모두 분류 하였을 때, 손 부위가 모두 존재하도록 분류된 경우, 소정의 손 부위로 분류된 각각의 깊이 포인트에 대하여 3차원 손 모델을 정합한다(S333).Also, when all of the depth points for the hand region are classified, if the hand regions are all classified, the three-dimensional hand model is matched for each depth point classified into the predetermined hand region (S333).

상기 정합하는 단계(S332) 및 단계(S333)은 상기 단계(S230)과 동일한 방식으로 수행될 수 있고, 구체적인 제약조건도 동일하게 적용될 수 있다.The matching step (S332) and step (S333) may be performed in the same manner as the step (S230), and specific constraint conditions may be similarly applied.

이상의 절차에 따라 정합이 완료되면, 표시부를 통해서 사용자가 현재 취하고 있는 손 자세와 동일한 자세를 갖는 3차원 손 모델이 표시될 수 있다. 또한 이러한 표시는 각 프레임마다 반복됨으로써 자연스러운 사용자 손 동작을 3차원 모델에 대하여 구현할 수 있다.When the matching is completed according to the above procedure, a three-dimensional hand model having the same attitude as the hand attitude currently taken by the user through the display unit can be displayed. In addition, such display is repeated for each frame, so that a natural user's hand motion can be implemented for a three-dimensional model.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, Those skilled in the art will appreciate that various modifications, additions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be construed as being limited to the above-described embodiments, and all of the equivalents or equivalents of the claims, as well as the following claims, I will say.

10 : 깊이 영상 기반의 손 제스처 인식 장치
11 : 깊이 영상 획득부
12 : 깊이 포인트 분류부
13 : 손 모델 정합부
14 : 데이터베이스
15 : 표시부
100 : 손 영역의 깊이 포인트들
110, 120, 130, 140, 150, 160 : 손 부위
200 : 3차원 손 모델
1000 : 실제 손10: Hand gesture recognition device based on depth image
11: depth image acquiring unit
12: Deep point classification section
13: hand model matching portion
14: Database
15:
100: Depth points of the hand area
110, 120, 130, 140, 150, 160:
200: Three-dimensional hand model
1000: Real hands

Claims (23)

손 영역을 포함하는 깊이 영상을 획득하는 깊이 영상 획득부;
기계 학습법을 이용하여 상기 깊이 영상 중 손 영역의 깊이 포인트들을 해당하는 손 부위에 따라 분류하는 깊이 포인트 분류부; 및
분류된 깊이 포인트들과 각 깊이 포인트들에 대응하는 손 부위 사이의 거리를 이용하여, 상기 분류된 깊이 포인트들에 3차원 손 모델을 정합시키는 손 모델 정합부를 포함하되,
상기 손 모델 정합부는,
복수의 깊이 포인트와 상기 복수의 깊이 포인트 각각에 대응하는 3차원 손 모델의 부위 사이의 거리의 합이 최소가 되도록 상기 3차원 손 모델을 정합시키는 깊이 영상 기반의 손 제스처 인식 장치.
A depth image acquiring unit acquiring a depth image including a hand region;
A depth point classifier for classifying depth points of a hand region of the depth image according to a corresponding hand region using a machine learning method; And
And a hand model matching unit for matching the three-dimensional hand model to the classified depth points using the distance between the classified depth points and the hand area corresponding to each depth points,
Wherein the hand model matching unit comprises:
Wherein the three-dimensional hand model is matched such that a sum of a plurality of depth points and a distance between portions of the three-dimensional hand model corresponding to each of the plurality of depth points is minimized.
제1항에 있어서,
상기 깊이 포인트 분류부는,
상기 손 영역의 깊이 포인트들을 엄지, 검지, 중지, 약지, 소지 또는 손바닥 중 어느 하나의 손 부위로 분류하고, 상기 분류에 따라 각 깊이 포인트들을 라벨링하는 것을 특징으로 하는 깊이 영상 기반의 손 제스처 인식 장치.
The method according to claim 1,
The depth-
Wherein the depth points of the hand region are classified into one of hand portions of thumb, index finger, stop, ring finger, hand or palm, and each depth point is labeled according to the classification, .
제1항에 있어서,
상기 기계 학습법은
서포트벡터머신 또는 랜덤포레스트를 포함하는 것을 특징으로 하는 깊이 영상 기반의 손 제스처 인식 장치.
The method according to claim 1,
The machine learning method
A support vector machine, or a random forest.
삭제delete 제1항에 있어서,
상기 대응하는 차원 손 모델의 부위는,
손가락 마디인 것을 특징으로 하는 깊이 영상 기반의 손 제스처 인식 장치.
The method according to claim 1,
The portion of the corresponding dimensional hand model,
A hand gesture recognition apparatus based on a depth image characterized by being a finger node.
제1항에 있어서,
상기 손 모델 정합부는,
손가락에 포함되는 손가락 마디 사이의 각도 정보를 더 이용하여 상기 3차원 손 모델을 정합시키는 것을 특징으로 하는 깊이 영상 기반의 손 제스처 인식 장치.
The method according to claim 1,
Wherein the hand model matching unit comprises:
And the three-dimensional hand model is matched by further using the angle information between the finger segments included in the finger.
제6항에 있어서,
상기 손 모델 정합부는,
한 손가락에 포함되는 손가락 마디 사이의 각도들이 비례관계를 갖도록 상기 3차원 손 모델을 정합시키는 것을 특징으로 하는 깊이 영상 기반의 손 제스처 인식 장치.
The method according to claim 6,
Wherein the hand model matching unit comprises:
Wherein the three-dimensional hand model is matched so that the angles between the finger segments included in one finger have a proportional relationship.
제1항에 있어서,
상기 손 모델 정합부는,
3차원 손 모델이 사람이 표현 가능한 손 가락 자세를 갖도록 제한하는 제약조건 또는
손 영역의 깊이 포인트들을 포함하는 손 공간을 제한하는 제약조건을 더 이용하여 상기 3차원 손 모델을 정합시키는 깊이 영상 기반의 손 제스처 인식 장치.
The method according to claim 1,
Wherein the hand model matching unit comprises:
A constraint that restricts a three-dimensional hand model to have a human fingertip attainable or
A hand gesture recognition device based on depth images that matches the three dimensional hand model by further using constraints that limit hand space including depth points of the hand region.
제2항에 있어서,
상기 엄지, 검지, 중지, 약지, 소지 중 분류되지 않은 손 부위가 존재하는 경우,
상기 손 모델 정합부는, 분류되지 않은 손 부위에는 임의 자세를 갖는 3차원 손 모델을 정합시키는 것을 특징으로 하는 깊이 영상 기반의 손 제스처 인식 장치.
3. The method of claim 2,
If there is an unclassified hand region among the thumb, index finger, stop, ring finger,
Wherein the hand model matching unit matches a three-dimensional hand model having an arbitrary attitude to an unclassified hand region.
제9항에 있어서,
상기 3차원 손 모델은, 손가락 마디에 스프링 모델을 포함하는 것을 특징으로 하는 깊이 영상 기반의 손 제스처 인식 장치.
10. The method of claim 9,
Wherein the three-dimensional hand model includes a spring model in a finger segment.
제1항에 있어서,
상기 깊이 포인트 분류부는 상기 깊이 영상 중 손 영역의 깊이 포인트들을 이용하여 손 뼈대를 나타내는 손 뼈대 깊이 포인트들을 생성하고, 상기 손 뼈대 깊이 포인트들을 해당하는 손 부위에 따라 분류하고,
상기 손 모델 정합부는, 상기 분류된 손 뼈대 깊이 포인트들에 3차원 손 모델을 정합시키는 것을 특징으로 하는 깊이 영상 기반의 손 제스처 인식 장치.
The method according to claim 1,
Wherein the depth point classifier generates hand skeleton depth points representing a hand skeleton using depth points of the hand region of the depth image, classifies the hand skeleton depth points according to the hand region,
Wherein the hand model matching unit matches the three-dimensional hand model to the classified hand-arm depth points.
손 영역을 포함하는 깊이 영상을 획득하는 단계;
기계 학습법을 이용하여 상기 깊이 영상 중 손 영역의 깊이 포인트들을 해당하는 손 부위에 따라 분류하는 단계; 및
분류된 깊이 포인트들과 각 깊이 포인트들에 대응하는 손 부위 사이의 거리를 이용하여, 상기 분류된 깊이 포인트들에 3차원 손 모델을 정합시키는 단계를 포함하되,
상기 3차원 손 모델을 정합시키는 단계는,
복수의 깊이 포인트와 상기 복수의 깊이 포인트 각각에 대응하는 3차원 손 모델의 부위 사이의 거리의 합이 최소가 되도록 상기 3차원 손 모델을 정합시키는 깊이 영상 기반의 손 제스처 인식 방법.
Obtaining a depth image including a hand region;
Classifying depth points of a hand region of the depth image according to a corresponding hand region using a machine learning method; And
Fitting the three-dimensional hand model to the classified depth points using the distance between the classified depth points and the hand portion corresponding to each depth points,
Wherein matching the three-dimensional hand model comprises:
Wherein the three-dimensional hand model is matched such that a sum of a plurality of depth points and a distance between portions of the three-dimensional hand model corresponding to each of the plurality of depth points is minimized.
제12항에 있어서,
상기 깊이 포인트들을 해당하는 손 부위에 따라 분류하는 단계는,
상기 손 영역의 깊이 포인트들을 엄지, 검지, 중지, 약지, 소지 또는 손바닥 중 어느 하나의 손 부위로 분류하고, 상기 분류에 따라 각 깊이 포인트들을 라벨링하는 것을 특징으로 하는 깊이 영상 기반의 손 제스처 인식 방법.

13. The method of claim 12,
Wherein classifying the depth points according to a corresponding hand region comprises:
A depth image-based hand gesture recognition method is characterized by classifying the depth points of the hand region into one hand region of thumb, index finger, stop, ring finger, hand or palm, and labeling each depth point according to the classification .

제12항에 있어서,
상기 기계 학습법은
서포트벡터머신 또는 랜덤포레스트를 포함하는 것을 특징으로 하는 깊이 영상 기반의 손 제스처 인식 방법.
13. The method of claim 12,
The machine learning method
A support vector machine, or a random forest.
삭제delete 제12항에 있어서,
상기 대응하는 차원 손 모델의 부위는,
손가락 마디인 것을 특징으로 하는 깊이 영상 기반의 손 제스처 인식 방법.
13. The method of claim 12,
The portion of the corresponding dimensional hand model,
A hand gesture recognition method based on a depth image.
제12항에 있어서,
상기 3차원 손 모델을 정합시키는 단계는,
손가락에 포함되는 손가락 마디 사이의 각도 정보를 더 이용하여 상기 3차원 손 모델을 정합시키는 것을 특징으로 하는 깊이 영상 기반의 손 제스처 인식 방법.
13. The method of claim 12,
Wherein matching the three-dimensional hand model comprises:
Wherein the three-dimensional hand model is matched using the angle information between the finger segments included in the finger.
제17항에 있어서,
상기 3차원 손 모델을 정합시키는 단계는,
손가락에 포함되는 손가락 마디 사이의 각도들이 비례관계를 갖도록 상기 3차원 손 모델을 정합시키는 것을 특징으로 하는 깊이 영상 기반의 손 제스처 인식 방법.
18. The method of claim 17,
Wherein matching the three-dimensional hand model comprises:
Wherein the three-dimensional hand model is matched such that the angles between the finger segments included in the finger have a proportional relationship.
제12항에 있어서,
상기 3차원 손 모델을 정합시키는 단계는,
3차원 손 모델이 사람이 표현 가능한 손 가락 자세를 갖도록 제한하는 제약조건을 적용하는 단계 또는
손 영역의 깊이 포인트들을 포함하는 손 공간을 제한하는 제약조건을 적용하는 단계를 더 포함하는 것을 특징으로 하는 깊이 영상 기반의 손 제스처 인식 방법.
13. The method of claim 12,
Wherein matching the three-dimensional hand model comprises:
A step of applying a constraint that restricts a three-dimensional hand model to have a human fingertip attainable or
Further comprising the step of applying a constraint limiting the hand space including depth points of the hand region.
제13항에 있어서,
상기 3차원 손 모델을 정합시키는 단계는,
상기 엄지, 검지, 중지, 약지, 소지 중 분류되지 않은 손 부위가 존재하는 경우, 분류되지 않은 손 부위에는 임의 자세를 갖는 3차원 손 모델을 정합시키는 것을 특징으로 하는 깊이 영상 기반의 손 제스처 인식 방법.
14. The method of claim 13,
Wherein matching the three-dimensional hand model comprises:
A hand gesture recognition method based on a depth image, characterized in that a three-dimensional hand model having an arbitrary attitude is matched to an unclassified hand part when there is an unclassified hand part among the thumb, index finger, stop finger, .
제19항에 있어서,
상기 3차원 손 모델은, 손가락 마디에 스프링 모델을 포함하는 것을 특징으로 하는 깊이 영상 기반의 손 제스처 인식 방법.
20. The method of claim 19,
Wherein the three-dimensional hand model includes a spring model in a finger segment.
제12항에 있어서,
상기 깊이 포인트들을 해당하는 손 부위에 따라 분류하는 단계는,
상기 깊이 영상 중 손 영역의 깊이 포인트들을 이용하여 손 뼈대를 나타내는 손 뼈대 깊이 포인트들을 생성하고, 상기 손 뼈대 깊이 포인트들을 해당하는 손 부위에 따라 분류하는 단계를 포함하고,
상기 3차원 손 모델을 정합시키는 단계는,
상기 분류된 손 뼈대 깊이 포인트들에 3차원 손 모델을 정합시키는 단계를 포함하는 것을 특징으로 하는 깊이 영상 기반의 손 제스처 인식 방법.
13. The method of claim 12,
Wherein classifying the depth points according to a corresponding hand region comprises:
Generating hand skeleton depth points representing a hand skeleton using the depth points of the hand region among the depth images and classifying the hand skeleton depth points according to the corresponding hand regions,
Wherein matching the three-dimensional hand model comprises:
And fitting the three-dimensional hand model to the classified hand-arm depth points.
제12항 내지 제14항 및 제16항 내지 제22항 중 한 항에 따른 방법을 실행하기 위한 명령을 포함하는 프로그램이 저장된, 컴퓨터로 판독 가능한 기록 매체.A computer-readable recording medium having stored thereon a program for carrying out a method according to any one of claims 12 to 14 and 16 to 22.
KR1020150124899A 2015-09-03 2015-09-03 Apparatus and method of hand gesture recognition based on depth image KR101745406B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150124899A KR101745406B1 (en) 2015-09-03 2015-09-03 Apparatus and method of hand gesture recognition based on depth image
US15/052,063 US10078796B2 (en) 2015-09-03 2016-02-24 Apparatus and method of hand gesture recognition based on depth image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150124899A KR101745406B1 (en) 2015-09-03 2015-09-03 Apparatus and method of hand gesture recognition based on depth image

Publications (2)

Publication Number Publication Date
KR20170028078A KR20170028078A (en) 2017-03-13
KR101745406B1 true KR101745406B1 (en) 2017-06-12

Family

ID=58191121

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150124899A KR101745406B1 (en) 2015-09-03 2015-09-03 Apparatus and method of hand gesture recognition based on depth image

Country Status (2)

Country Link
US (1) US10078796B2 (en)
KR (1) KR101745406B1 (en)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170177087A1 (en) * 2015-12-18 2017-06-22 Intel Corporation Hand skeleton comparison and selection for hand and gesture recognition with a computing interface
CN108230383B (en) * 2017-03-29 2021-03-23 北京市商汤科技开发有限公司 Hand three-dimensional data determination method and device and electronic equipment
CN107358210B (en) * 2017-07-17 2020-05-15 广州中医药大学 Human body action recognition method and device
EP3467707B1 (en) * 2017-10-07 2024-03-13 Tata Consultancy Services Limited System and method for deep learning based hand gesture recognition in first person view
WO2019091491A1 (en) * 2017-11-13 2019-05-16 Zyetric Gaming Limited Gesture recognition based on depth information and computer vision
CN109934065B (en) * 2017-12-18 2021-11-09 虹软科技股份有限公司 Method and device for gesture recognition
CN108154465B (en) * 2017-12-19 2022-03-01 北京小米移动软件有限公司 Image processing method and device
CN108256504A (en) * 2018-02-11 2018-07-06 苏州笛卡测试技术有限公司 A kind of Three-Dimensional Dynamic gesture identification method based on deep learning
CN109446994B (en) * 2018-10-30 2020-10-30 北京达佳互联信息技术有限公司 Gesture key point detection method and device, electronic equipment and storage medium
CN109558826B (en) * 2018-11-23 2021-04-20 武汉灏存科技有限公司 Gesture recognition method, system, equipment and storage medium based on fuzzy clustering
CN110007764B (en) * 2019-04-11 2022-06-10 北京华捷艾米科技有限公司 Gesture skeleton recognition method, device and system and storage medium
CN110334628B (en) * 2019-06-26 2021-07-27 华中科技大学 Outdoor monocular image depth estimation method based on structured random forest
CN113553877B (en) * 2020-04-07 2023-05-30 舜宇光学（浙江）研究院有限公司 Depth gesture recognition method and system and electronic equipment thereof
KR102438736B1 (en) * 2020-12-10 2022-08-30 최윤우 Gesture-based non-contact multimedia device control system and gesture-based non-contact multimedia device control method using the same
CN112613384B (en) * 2020-12-18 2023-09-19 安徽鸿程光电有限公司 Gesture recognition method, gesture recognition device and control method of interactive display equipment
CN113238650B (en) * 2021-04-15 2023-04-07 青岛小鸟看看科技有限公司 Gesture recognition and control method and device and virtual reality equipment

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101436050B1 (en) * 2013-06-07 2014-09-02 한국과학기술연구원 Method of establishing database including hand shape depth images and method and device of recognizing hand shapes

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5548667A (en) * 1991-05-24 1996-08-20 Sony Corporation Image processing system and method thereof in which three dimensional shape is reproduced from two dimensional image data
US9959463B2 (en) * 2002-02-15 2018-05-01 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
KR100617976B1 (en) 2004-11-15 2006-08-31 한국과학기술원 Hand-posture database construction, hand-posture recognition, and recording medium
KR20070103895A (en) 2006-04-20 2007-10-25 강남대학교 산학협력단 System of hand-gesture recognition and method thereof
US20110268365A1 (en) 2010-04-30 2011-11-03 Acer Incorporated 3d hand posture recognition system and vision based hand posture recognition method thereof
US8620024B2 (en) 2010-09-17 2013-12-31 Sony Corporation System and method for dynamic gesture recognition using geometric classification
KR101360149B1 (en) 2010-11-02 2014-02-11 한국전자통신연구원 Method for tracking finger motion based on sensorless and apparatus thereof
US9182838B2 (en) 2011-04-19 2015-11-10 Microsoft Technology Licensing, Llc Depth camera-based relative gesture detection
US8897491B2 (en) * 2011-06-06 2014-11-25 Microsoft Corporation System for finger recognition and tracking
JP6074170B2 (en) 2011-06-23 2017-02-01 インテル・コーポレーション Short range motion tracking system and method
US9002099B2 (en) * 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
US9734393B2 (en) * 2012-03-20 2017-08-15 Facebook, Inc. Gesture-based control system
US9536135B2 (en) * 2012-06-18 2017-01-03 Microsoft Technology Licensing, Llc Dynamic hand gesture recognition using depth data
KR101350387B1 (en) 2012-10-08 2014-01-13 숭실대학교산학협력단 Method for detecting hand using depth information and apparatus thereof
US9449392B2 (en) 2013-06-05 2016-09-20 Samsung Electronics Co., Ltd. Estimator training method and pose estimating method using depth image
KR101541421B1 (en) 2013-12-26 2015-08-03 한밭대학교 산학협력단 Method and System for providing user interaction interface using hand posture recognition
RU2014108820A (en) * 2014-03-06 2015-09-20 ЭлЭсАй Корпорейшн IMAGE PROCESSOR CONTAINING A SYSTEM FOR RECOGNITION OF GESTURES WITH FUNCTIONAL FEATURES FOR DETECTING AND TRACKING FINGERS

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101436050B1 (en) * 2013-06-07 2014-09-02 한국과학기술연구원 Method of establishing database including hand shape depth images and method and device of recognizing hand shapes

Also Published As

Publication number Publication date
US20170068849A1 (en) 2017-03-09
US10078796B2 (en) 2018-09-18
KR20170028078A (en) 2017-03-13

Similar Documents

Publication Publication Date Title
KR101745406B1 (en) Apparatus and method of hand gesture recognition based on depth image
US10503270B2 (en) Method of training neural networks for hand pose detection
Oberweger et al. Hands deep in deep learning for hand pose estimation
US10664060B2 (en) Multimodal input-based interaction method and device
Hasan et al. RETRACTED ARTICLE: Static hand gesture recognition using neural networks
Sridhar et al. Real-time joint tracking of a hand manipulating an object from rgb-d input
Cheng et al. An image-to-class dynamic time warping approach for both 3D static and trajectory hand gesture recognition
Xu et al. Efficient hand pose estimation from a single depth image
Hasan et al. RETRACTED ARTICLE: Human–computer interaction using vision-based hand gesture recognition systems: a survey
CN106598227B (en) Gesture identification method based on Leap Motion and Kinect
US9383895B1 (en) Methods and systems for interactively producing shapes in three-dimensional space
Vieira et al. On the improvement of human action recognition from depth map sequences using space–time occupancy patterns
Kapuscinski et al. Recognition of hand gestures observed by depth cameras
US20130335318A1 (en) Method and apparatus for doing hand and face gesture recognition using 3d sensors and hardware non-linear classifiers
IL224026A (en) System and method for human to machine interfacing by hand gestures
JP2019096113A (en) Processing device, method and program relating to keypoint data
Ma et al. Real-time and robust hand tracking with a single depth camera
Jais et al. A review on gesture recognition using Kinect
JP6353660B2 (en) Sign language word classification information generation device and program thereof
Simion et al. Vision based hand gesture recognition: A review
KR101706864B1 (en) Real-time finger and gesture recognition using motion sensing input devices
Gil et al. 3D visual sensing of the human hand for the remote operation of a robotic hand
Hassanpour et al. Visionbased hand gesture recognition for human computer interaction: A review
Davis et al. Toward 3-D gesture recognition
KR101731935B1 (en) Apparatus and method of providing 3-dimension virtual controller interface based on recognizing hand motion

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant