KR100617976B1 - Hand-posture database construction, hand-posture recognition, and recording medium - Google Patents

Hand-posture database construction, hand-posture recognition, and recording medium Download PDF

Info

Publication number
KR100617976B1
KR100617976B1 KR1020040093023A KR20040093023A KR100617976B1 KR 100617976 B1 KR100617976 B1 KR 100617976B1 KR 1020040093023 A KR1020040093023 A KR 1020040093023A KR 20040093023 A KR20040093023 A KR 20040093023A KR 100617976 B1 KR100617976 B1 KR 100617976B1
Authority
KR
South Korea
Prior art keywords
hand
vector
joint angle
region boundary
finger joint
Prior art date
Application number
KR1020040093023A
Other languages
Korean (ko)
Other versions
KR20060053348A (en
Inventor
장효영
도준형
정진우
박광현
변증남
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020040093023A priority Critical patent/KR100617976B1/en
Publication of KR20060053348A publication Critical patent/KR20060053348A/en
Application granted granted Critical
Publication of KR100617976B1 publication Critical patent/KR100617976B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 다수의 카메라로부터 촬영한 2차원 영상정보와 손가락 관절 각도정보를 이용하여 손모양 데이터베이스를 구축하는 장치 및 방법과, 상기 손모양 데이터베이스를 이용하여 질의 손영상으로부터 손모양을 인식하는 장치 및 방법에 관한 것이다. 또한, 본 발명은 상술한 손모양 데이터베이스 구축방법과 손모양 인식방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이기도 하다.The present invention provides an apparatus and method for constructing a hand-shaped database using two-dimensional image information and finger joint angle information photographed from a plurality of cameras, an apparatus for recognizing a hand-shaped image from a query hand image using the hand-shaped database, and It is about a method. The present invention also relates to a computer-readable recording medium having recorded thereon a program for performing the above-described hand shape database construction method and hand shape recognition method.

본 발명에 따른 손모양 데이터베이스 구축방법은, 구축장치가 손모양식별자 정보와 함께 입력되는 사용자의 손을 촬영한 2차원 손영상을 획득하는 손영상획득단계와; 상기 구축장치가 상기 2차원 손영상으로부터 손영상기반특징벡터를 생성하고, 상기 손영상기반특징벡터 상호간 연결강도를 추출하는 2차원특징추출단계와; 상기 구축장치가 손모양식별자 정보와 함께 입력되는 사용자의 손의 손가락 관절의 각도정보를 획득하는 손관절각도정보획득단계와; 상기 구축장치가 상기 손가락 관절의 각도정보로부터 관절각도기반특징벡터를 생성하고, 상기 관절각도기반특징벡터 상호간 연결강도를 추출하는 3차원특징추출단계와; 상기 구축장치가 상기 손영상기반특징벡터와 관절각도기반특징벡터간 층간연결특징을 추출하는 층간연결특징추출단계와; 상기 구축장치가 상기 손영상기반특징벡터와, 상기 손영상기반특징벡터 상호간 연결강도와, 상기 관절각도기반특징벡터와, 상기 관절각도기반특징벡터 상호간 연결강도와, 상기 층간연결특징을 상기 손모양식별자 정보와 함께 손모양데 이터베이스에 저장하는 단계를 구비한다.A hand-shaped database construction method according to the present invention includes a hand image acquisition step of acquiring a two-dimensional hand image of a user's hand inputted by the construction apparatus together with hand style identification information; A two-dimensional feature extraction step of the construction apparatus generating a hand image-based feature vector from the two-dimensional hand image and extracting a connection strength between the hand image-based feature vectors; Hand joint angle information acquisition step of acquiring the angle information of the finger joint of the user's hand inputted by the construction apparatus together with the hand style identifier; A three-dimensional feature extraction step of the construction device generating a joint angle-based feature vector from the angle information of the finger joint and extracting the joint strength between the joint angle-based feature vectors; An interlayer connection feature extraction step wherein the construction apparatus extracts the interlayer connection feature between the hand image-based feature vector and the joint angle-based feature vector; The construction device may be configured to connect the hand image-based feature vector with the hand image-based feature vector, the joint angle-based feature vector, the joint angle-based feature vector, and the interlayer connection feature. And storing in the hand-shaped database together with the identifier information.

손영상, 관절각도, 유사도, 연결벡터, 연결강도Hand image, joint angle, similarity, connection vector, connection strength

Description

손모양 데이터베이스 구축장치 및 방법과, 손모양 인식장치 및 방법과, 기록매체{Hand-posture database construction, hand-posture recognition, and recording medium} Hand-shaped database construction apparatus and method, hand-shaped recognition apparatus and method, and a recording medium {Hand-posture database construction, hand-posture recognition, and recording medium}             

도 1은 손모양 데이터베이스 구성을 위한 데이터 획득 환경을 도시한 도면,1 is a diagram showing a data acquisition environment for hand-shaped database configuration;

도 2에 본 발명의 한 실시예에 따른 손모양 데이터베이스 구축장치의 기능 블록도,2 is a functional block diagram of a hand-shaped database building apparatus according to an embodiment of the present invention,

도 3에 손모양데이터베이스의 2차원특징층의 구조도,3 is a structural diagram of a two-dimensional feature layer of a hand-shaped database,

도 4는 손모양데이터베이스의 3차원특징층의 구조도,4 is a structural diagram of a three-dimensional feature layer of a hand-shaped database;

도 5는 손모양데이터베이스의 층간연결특징의 구조도,5 is a structural diagram of the interlayer connection feature of a hand-shaped database;

도 6은 본 발명에 따른 손모양데이터베이스의 구조도,6 is a structural diagram of a hand-shaped database according to the present invention,

도 7a와 도 7b는 본 발명의 한 실시예에 따른 손모양데이터베이스 구축방법을 도시한 동작 흐름도,7a and 7b is an operation flowchart showing a hand-shaped database construction method according to an embodiment of the present invention;

도 8은 도 8의 손영역경계특징벡터 추출 서브루틴의 상세 동작 흐름도,8 is a detailed operation flowchart of the hand region boundary feature vector extraction subroutine of FIG. 8;

도 9는 본 발명의 한 실시예에 따른 보상학습과정을 도시한 동작 흐름도,9 is an operation flowchart showing a reward learning process according to an embodiment of the present invention;

도 10은 본 발명의 한 실시예에 따른 손모양 인식장치의 기능 블록도,10 is a functional block diagram of a hand recognition device according to an embodiment of the present invention;

도 11은 본 발명의 한 실시예에 따른 손모양 인식방법을 도시한 동작 흐름도 이다.11 is a flowchart illustrating a hand shape recognition method according to an embodiment of the present invention.

< 도면의 주요 부분에 대한 부호의 간단한 설명 >     <Brief description of symbols for the main parts of the drawings>

21; 손영상획득부 22; 손영역추출부21; Hand image acquisition unit 22; Hand Area Extraction Unit

23; 2차원특징추출부 24; 손관절각도정보획득부23; Two-dimensional feature extraction unit 24; Hand joint angle information acquisition unit

25; 3차원특징추출부 26; 층간연결특징추출부25; Three-dimensional feature extraction unit 26; Interlayer connection feature extraction

27; 손모양데이터베이스27; Hand Database

본 발명은 손모양 인식 기술에 관한 것으로서, 보다 상세하게는 다수의 카메라로부터 촬영한 2차원 영상정보와 손가락 관절 각도정보를 이용하여 손모양 데이터베이스를 구축하는 장치 및 방법과, 상기 손모양 데이터베이스를 이용하여 질의 손영상으로부터 손모양을 인식하는 장치 및 방법에 관한 것이다. 또한, 본 발명은 상술한 손모양 데이터베이스 구축방법과 손모양 인식방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이기도 하다.The present invention relates to a hand recognition technology, and more particularly, an apparatus and method for constructing a hand shape database using two-dimensional image information and finger joint angle information photographed from a plurality of cameras, and using the hand shape database. The present invention relates to a device and a method for recognizing a hand shape from a vaginal hand image. The present invention also relates to a computer-readable recording medium having recorded thereon a program for performing the above-described hand shape database construction method and hand shape recognition method.

일상 생활에서 컴퓨터의 활용도가 높아지고 가상현실에 대한 관심이 높아지면서 이에 따른 새로운 사용자 인터페이스 장치에 대한 연구가 진행되고 있다. 과거 텍스트 기반 컴퓨터 환경에서 그래픽사용자인터페이스(Graphic User Interface) 환경으로 발전하는 과정에서 기존의 키보드에 더하여 마우스가 주요한 인터페이스 장치로 부각되었듯이 앞으로 3차원 공간상에서 현실세계를 모사하는 가상현실 기술이 개발되면 이에 적합한 새로운 인터페이스 장치가 요구될 것이다.As the utilization of computers in everyday life and the interest in virtual reality have increased, research on new user interface devices has been conducted accordingly. In the process of evolving from a text-based computer environment to a graphical user interface environment, in the past, as a mouse is emerging as a major interface device in addition to the existing keyboard, a virtual reality technology that simulates the real world in three-dimensional space is developed. New interface devices suitable for this will be required.

이러한 새로운 인터페이스 장치에 대한 개발의 필요성에 의해 손의 모양이나 움직임 궤적을 인식하고 이를 이용하여 시스템을 제어하기 위한 다양한 연구들이 진행되고 있다. 현재까지는 접촉식 센서 및 일부 카메라 시스템을 이용한 수신호 인식시스템이 발표되고 있다. 손의 모양이나 움직임 궤적을 인식하는 종래기술로는 대한민국공개특허 제1999-61763호, 제1999-46908호, 제2000-45611호, 및 제2004-42002호 등이 있다. 이 종래기술들은 사용자의 몸에 별도의 장치를 부착하지 않고 카메라로 촬영한 2차원 영상만을 이용하여 손 자세를 인식하거나, 인식한 손 자세를 컴퓨터와 사람간의 상호 정보 전달에 사용한다. 그러나, 손은 높은 자유도와 부드러운 윤곽선을 가진 물체이기 때문에 기존의 2차원 평면 영상만을 이용하면 손 자세를 정확하게 인식하는 데에 한계가 있는 문제점이 있다.Due to the necessity of the development of such a new interface device, various researches for recognizing the shape of the hand or the movement trajectory and controlling the system using the same are being conducted. To date, hand signal recognition systems using contact sensors and some camera systems have been announced. Conventional techniques for recognizing the shape and movement trajectory of a hand include Korean Patent Laid-Open Publication Nos. 1999-61763, 1999-46908, 2000-45611, and 2004-42002. These prior arts recognize hand posture using only a two-dimensional image taken by a camera without attaching a separate device to a user's body, or use the recognized hand posture to transfer information between a computer and a person. However, since the hand is an object having a high degree of freedom and a smooth outline, there is a problem in that it is difficult to accurately recognize the hand posture using only a conventional two-dimensional plane image.

또한, 별도의 부착장치없이 카메라만을 이용하여 손모양데이터베이스를 구축하고 그 손모양데이터베이스를 이용하여 손모양을 인식할 경우에는, 사용자가 카메라 정면에서 손모양을 취해야 손모양의 정확한 인식이 가능해지는 문제점이 있다.In addition, when building a hand-shaped database using only the camera without a separate attachment device and using the hand-shaped database to recognize the hand shape, the user can take a hand shape in front of the camera to enable accurate recognition of the hand shape. There is this.

본 발명은 상기한 종래기술의 문제점을 해결하기 위하여 안출된 것으로서, 다수의 카메라로부터 촬영한 2차원 평면 영상정보와 손가락 관절 각도정보를 이용하여 2차원특징층과, 3차원특징층과, 각 특징층내 연결강도 및 특징층간 연결벡터 를 저장하는 손모양 데이터베이스 구축장치 및 방법을 제공하기 위한 것이다.The present invention has been made to solve the above problems of the prior art, using a two-dimensional planar image information and finger joint angle information taken from a plurality of cameras, two-dimensional feature layer, three-dimensional feature layer, each feature It is to provide an apparatus and method for building a hand-shaped database for storing connection strength between layers and connection vectors between feature layers.

또한, 본 발명은 상술한 손모양 데이터베이스를 이용하여 질의 손영상으로부터 손모양을 인식하는 장치 및 방법을 제공하기 위한 것이다.Another object of the present invention is to provide an apparatus and method for recognizing a hand shape from a query hand image using the above-described hand shape database.

또한, 본 발명은 상술한 손모양 데이터베이스 구축방법과 손모양 인식방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하기 위한 것이다.
In addition, the present invention is to provide a computer-readable recording medium recording a program for performing the above-described hand-shaped database construction method and hand-shaped recognition method.

상기한 목적을 달성하기 위한 본 발명에 따른 손모양 데이터베이스 구축장치는, 사용자의 손에 대해 서로 다른 각도에서 촬영한 다수의 2차원 손영상을 획득하는 손영상획득부와; 상기 2차원 손영상으로부터 손영역경계특징벡터를 생성하고, 상기 손영역경계특징벡터 상호간 연결강도를 추출하는 2차원특징추출부와; 상기 사용자의 손의 손가락 관절의 각도정보를 획득하는 손관절각도정보획득부와; 상기 손가락 관절의 각도정보로부터 손가락관절각도벡터를 생성하고, 상기손가락관절각도벡터 상호간 연결강도를 추출하는 3차원특징추출부와; 상기 손영역경계특징벡터와 손가락관절각도벡터간 층간연결특징을 추출하는 층간연결특징추출부와; 상기 손영역경계특징벡터와, 상기 손영역경계특징벡터 상호간 연결강도와, 상기 손가락관절각도벡터와, 상기 손가락관절각도벡터 상호간 연결강도와, 상기 층간연결특징을 상기 손모양식별자 정보와 함께 저장하는 손모양데이터베이스를 구비한 것을 특징으로 한다.Hand-shaped database construction apparatus according to the present invention for achieving the above object, the hand image acquisition unit for obtaining a plurality of two-dimensional hand image taken from different angles with respect to the user's hand; A two-dimensional feature extraction unit for generating a hand region boundary feature vector from the two-dimensional hand image and extracting connection strengths between the hand region boundary feature vectors; Hand joint angle information acquisition unit for obtaining the angle information of the finger joint of the user's hand; A three-dimensional feature extraction unit for generating a finger joint angle vector from the angle information of the finger joint and extracting the joint strength between the finger joint angle vectors; An interlayer connection feature extracting unit for extracting an interlayer connection feature between the hand region boundary feature vector and the finger joint angle vector; Storing the hand region boundary feature vector, the connection strength between the hand region boundary feature vector, the finger joint angle vector, the joint joint angle vector, and the interlayer connection feature together with the hand style identifier. It is characterized by having a hand-shaped database.

또한, 본 발명에 따른 손모양 데이터베이스 구축장치에서의 손모양 데이터 구축방법은, 상기 구축장치가 손모양식별자 정보와 함께 입력되는 사용자의 손을 촬영한 2차원 손영상을 획득하는 손영상획득단계와; 상기 구축장치가 상기 2차원 손영상으로부터 손영역경계특징벡터를 생성하고, 상기 손영역경계특징벡터 상호간 연결강도를 추출하는 2차원특징추출단계와; 상기 구축장치가 손모양식별자 정보와 함께 입력되는 사용자의 손의 손가락 관절의 각도정보를 획득하는 손관절각도정보획득단계와; 상기 구축장치가 상기 손가락 관절의 각도정보로부터 손가락관절각도벡터를 생성하고, 상기손가락관절각도벡터 상호간 연결강도를 추출하는 3차원특징추출단계와; 상기 구축장치가 상기 손영상기반특징벡터와 관절각도기반특징벡터간 층간연결특징을 추출하는 층간연결특징추출단계와; 상기 구축장치가 상기 손영역경계특징벡터와, 상기 손영역경계특징벡터 상호간 연결강도와, 상기 손가락관절각도벡터와, 상기 손가락관절각도벡터 상호간 연결강도와, 상기 층간연결특징을 상기 손모양식별자 정보와 함께 손모양데이터베이스에 저장하는 단계를 구비한 것을 특징으로 한다.In addition, the hand-shaped data construction method in the hand-shaped database building apparatus according to the present invention, the hand image acquisition step of acquiring a two-dimensional hand image of the user's hand inputted with the hand form identification information; ; A two-dimensional feature extraction step of the construction apparatus generating a hand region boundary feature vector from the two-dimensional hand image and extracting the connection strength between the hand region boundary feature vectors; Hand joint angle information acquisition step of acquiring the angle information of the finger joint of the user's hand inputted by the construction apparatus together with the hand style identifier; A three-dimensional feature extraction step of the construction device generating a finger joint angle vector from the angle information of the finger joint and extracting the joint strength between the finger joint angle vectors; An interlayer connection feature extraction step wherein the construction apparatus extracts the interlayer connection feature between the hand image-based feature vector and the joint angle-based feature vector; The construction apparatus may include the connection strength between the hand region boundary feature vector, the hand region boundary feature vector, the finger joint angle vector, the joint joint angle vector, and the interlayer connection feature. And it characterized in that it comprises a step of storing in the hand-shaped database.

또한, 본 발명에 따르면 컴퓨터에 상술한 바와 같은 손모양 데이터베이스 구축방법을 실행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.According to the present invention, there is provided a computer-readable recording medium having recorded thereon a program for executing a method for constructing a hand-shaped database as described above.

또한, 본 발명에 따른 손모양 인식장치는, 사용자의 손에 대해 서로 다른 각도에서 촬영한 다수의 2차원 손영상을 획득하는 손영상획득부와; 상기 2차원 손영상으로부터 손영역 중심에서 손영역 경계까지의 거리벡터를 정규화한 손영역경계특 징벡터를 생성하는 2차원특징추출부와; 손영역경계특징벡터, 상기 손영역경계특징벡터 상호간 연결강도와, 상기 손영역경계특징벡터와 사용자식별자간 연결벡터와, 상기 손가락 관절의 각도정보를 정규화한 손가락관절각도벡터와, 상기 손가락관절각도벡터 상호간 연결강도와, 상기 손영역경계특징벡터와 손가락관절각도벡터간 층간연결특징을 저장하는 손모양데이터베이스와; 상기 손영역경계특징벡터를 상기 손모양데이터베이스에 적용하여 손모양을 추적하는 손모양인식부를 구비한 것을 특징으로 한다.In addition, the hand-shaped recognition apparatus according to the present invention, the hand image acquisition unit for obtaining a plurality of two-dimensional hand image photographed from different angles with respect to the user's hand; A two-dimensional feature extraction unit for generating a hand region boundary feature vector normalizing a distance vector from the center of the hand region to the boundary of the hand region from the two-dimensional hand image; Hand region boundary feature vector, the hand region boundary feature vector, the joint strength between the hand region boundary feature vector and the user identifier, the finger joint angle vector normalizing the angle information of the finger joint, and the finger joint angle A hand-shaped database for storing the connection strength between the vectors and the interlayer connection features between the hand region boundary feature vector and the finger joint angle vector; The hand region recognition feature vector is applied to the hand-shaped database, characterized in that it comprises a hand recognition unit for tracking the hand shape.

또한, 본 발명에 따른 손모양 인식방법은, 손영역 중심에서 손영역 경계까지의 거리벡터를 정규화한 손영역경계특징벡터와, 상기 손영역경계특징벡터 상호간 연결강도와, 상기 손영역경계특징벡터와 사용자식별자간 연결벡터와, 상기 손가락 관절의 각도정보를 정규화한 손가락관절각도벡터와, 상기 손가락관절각도벡터 상호간 연결강도와, 상기 손영역경계특징벡터와 손가락관절각도벡터간 층간연결특징을 저장하는 손모양데이터베이스를 이용하여 입력 2차원 손영상으로부터 손모양을 인식하는 손모양 인식장치에서의 손모양 인식방법에 있어서, 상기 인식장치가 사용자의 손을 촬영한 2차원 손영상을 획득하는 손영상획득단계와; 상기 인식장치가 상기 2차원 손영상으로부터 입력 손영역경계특징벡터를 생성하는 2차원특징추출단계와; 상기 인식장치가 상기 입력 손영역경계특징벡터를 상기 손모양데이터베이스에 적용하여 손모양을 추적하는 손모양인식단계와; 상기 추적된 손모양을 출력하는 출력단계를 포함한 것을 특징으로 한다.In addition, the hand shape recognition method according to the present invention comprises a hand region boundary feature vector normalizing the distance vector from the center of the hand region to the hand region boundary, the connection strength between the hand region boundary feature vectors, and the hand region boundary feature vector. And a joint vector between a user identifier, a finger joint angle vector normalizing the angle information of the finger joint, a joint strength between the finger joint angle vector, and an interlayer connection feature between the hand region boundary feature vector and the finger joint angle vector. A hand shape recognition method in a hand shape recognition device for recognizing a hand shape from an input two-dimensional hand image using a hand shape database, wherein the recognition device acquires a two-dimensional hand image of a user's hand. Obtaining step; A two-dimensional feature extraction step of the recognition device generating an input hand region boundary feature vector from the two-dimensional hand image; A hand shape recognition step of the hand recognition apparatus applying the input hand region boundary feature vector to the hand shape database to track the hand shape; And an output step of outputting the tracked hand shape.

또한, 본 발명에 따르면 컴퓨터에 상술한 바와 같은 손모양 인식방법을 실행 하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.According to the present invention, there is provided a computer-readable recording medium having recorded thereon a program for executing a hand recognition method as described above.

이하, 첨부된 도면을 참조하면서 본 발명의 한 실시예에 따른 손모양 데이터베이스 구축장치 및 방법과, 손모양 인식장치 및 방법과, 손모양 데이터베이스 구축방법 및 손모양 인식방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 보다 상세하게 설명하면 다음과 같다.Hereinafter, referring to the accompanying drawings, a hand database construction apparatus and method according to an embodiment of the present invention, a hand recognition apparatus and method, a hand database construction method, and a program for executing a hand recognition method are recorded. The computer-readable recording medium will be described in more detail as follows.

도 1은 손모양 데이터베이스 구성을 위한 데이터 획득 환경을 도시한 도면이다. 이 데이터 획득 환경은 다수의 카메라(10)와 손가락 관절각도 측정장치(11)로 이루어진다. 다수의 카메라(10)는 동일 직선상에 위치하지 않으며 각기 다른 각도에서 2차원 손영상을 획득하여 도시되지 않은 컴퓨터에 제공하고, 손가락 관절각도 측정장치(11)는 손가락의 14개의 관절(엄지손가락은 2개, 나머지 손가락들은 각각 3개씩)의 각도를 측정하여 도시되지 않은 컴퓨터에 제공한다.1 is a diagram illustrating a data acquisition environment for hand-shaped database configuration. This data acquisition environment consists of a plurality of cameras 10 and finger joint angle measuring device 11. The plurality of cameras 10 are not located on the same straight line and acquire two-dimensional hand images from different angles and provide them to a computer not shown, and the finger joint angle measuring device 11 includes 14 joints (thumbs) of the fingers. Is 2 and the remaining fingers are each 3) to measure the angle and provide it to a computer (not shown).

도시되지 않은 컴퓨터에는 도 2에 도시된 바와 같은 손모양 데이터베이스 구축장치가 구비된다. 이 손모양 데이터베이스 구축장치는 손영상획득부(21)와, 손영역추출부(22)와, 2차원특징추출부(23)와, 손관절각도정보획득부(24)와, 3차원특징추출부(25)와, 층간연결특징추출부(26)와, 손모양데이터베이스(27)를 포함한다.A computer, not shown, is provided with a hand-shaped database building device as shown in FIG. This hand-shaped database construction device includes a hand image acquisition unit 21, a hand region extraction unit 22, a two-dimensional feature extraction unit 23, a hand joint angle information acquisition unit 24, and a three-dimensional feature extraction A part 25, the interlayer connection feature extraction part 26, and the hand-shaped database 27 are included.

사용자가 손가락 관절각도 측정장치(11)를 착용하고 임의의 손모양식별자에 해당하는 손모양을 취하면, 다수의 카메라(10)는 다양한 각도에서 사용자의 손을 촬영하여 손영상획득부(21)에게 제공하고, 손가락 관절각도 측정장치(11)는 해당 손모양에서의 각 손가락 관절의 접힌 각도를 측정하여 손관절각도정보획득부(24)에게 제공한다.When the user wears a finger joint angle measuring device 11 and takes a hand shape corresponding to an arbitrary hand style identifier, the plurality of cameras 10 photographs the user's hand at various angles to obtain a hand image acquisition unit 21. In addition, the finger joint angle measuring device 11 measures the folded angle of each finger joint in the shape of the hand and provides it to the hand joint angle information acquisition unit 24.

손영상획득부(21)는 다수의 카메라가 촬영한 2차원 손영상을 획득하여 손영역추출부(22)에게 제공한다.The hand image acquisition unit 21 obtains a 2D hand image photographed by a plurality of cameras and provides it to the hand region extraction unit 22.

손영역추출부(22)는 2차원 손영상에서 손영역을 추출하여, 손모양의 실루엣을 얻는다.The hand region extracting unit 22 extracts a hand region from the 2D hand image to obtain a hand-shaped silhouette.

2차원특징추출부(23)는 손모양의 실루엣으로부터 손영역경계특징벡터(xf)를 추출하고, 손모양식별자와 손영역경계특징벡터간 연결벡터(xh)를 추출한다. 또한, 손영역경계특징벡터(xf)와, 손모양식별자와 손영역경계특징벡터간 연결벡터(xh)를 결합하여 해당 손모양에 대한 손영상기반특징벡터(x)를 얻는다. 여기서, 손모양식별자와 손영역경계특징벡터간 연결벡터(xh)는 2차원 손영상과 함께 입력된 손모양식별자와 해당 2차원 손영상으로부터 얻어진 손영역경계특징벡터간 연결벡터는 1, 나머지는 0의 값을 갖는다. 그리고, 2차원특징추출부(23)는 손영역경계특징벡터 상호간 연결(u)을 추출한다. 이 손영역경계특징벡터(xf)와, 손모양식별자와 손영역경계특징벡터간 연결벡터(xh)와, 손영역경계특징벡터 상호간 연결(u)은 도 3에 도시된 바와 같은 구조로 손모양데이터베이스(27)에 저장된다. 손영상기반특징벡터(x)들의 집합(X)과 손영역경계특징벡터 상호간 연결을 나타내는 행렬(U)이 저장된 계층을 2차원특징층(L1)으로 명명한다.The two-dimensional feature extraction unit 23 extracts the hand region boundary feature vector xf from the hand-shaped silhouette, and extracts the connection vector xh between the hand style modifier and the hand region boundary feature vector. In addition, a hand image-based feature vector x for the corresponding hand shape is obtained by combining the hand region boundary feature vector xf and the connection vector xh between the hand style identifier and the hand region boundary feature vector. Here, the connection vector ( xh ) between the hand form form identifier and the hand region boundary feature vector is 1, and the rest vector is 1, the rest is the hand region boundary feature vector obtained from the 2D hand image. It has a value of zero. Then, the two-dimensional feature extraction unit 23 extracts the connection (u) between the hand region boundary feature vectors. The hand region boundary feature vector ( xf ), the connection vector ( xh ) between the hand form identifier and the hand region boundary feature vector, and the mutual connection (u) between the hand region boundary feature vectors (u) have the shape of a hand as shown in FIG. It is stored in the database 27. A layer storing a set X of hand image-based feature vectors x and a matrix U representing the connection between the hand region boundary feature vectors is named a 2D feature layer L1.

손관절각도정보획득부(24)는 손가락 관절각도 측정장치(11)로부터 획득된 각 손가락 관절의 각도정보를 획득하여 3차원특징추출부(25)에게 제공한다.The hand joint angle information acquisition unit 24 obtains the angle information of each finger joint obtained from the finger joint angle measurement device 11 and provides it to the 3D feature extraction unit 25.

3차원특징추출부(25)는 각 손가락 관절의 각도정보로부터 손가락관절각도벡터(yf)를 추출하고, 손모양식별자와 손가락관절각도벡터간 연결벡터(yh)를 추출한 다. 또한, 손가락관절각도벡터와, 손모양식별자와 손가락관절각도벡터간 연결벡터(yh)를 결합하여 해당 손모양에 대한 관절각도기반특징벡터(y)를 얻는다. 여기서, 손모양식별자와 손가락관절각도벡터간 연결벡터(yh)는 손가락 관절정보와 함께 입력된 손모양식별자와 해당 손가락 관절정보로부터 얻어진 손가락관절각도벡터간 연결벡터는 1, 나머지는 0의 값을 갖는다. 그리고, 3차원특징추출부(25)는 관절각도기반특징벡터(y) 상호간 연결(v)을 추출한다. 손가락관절각도벡터(yf)와, 손모양식별자와 손가락관절각도벡터간 연결벡터(yh)와, 관절각도기반특징벡터(y) 상호간 연결(v)은 도 4에 도시된 바와 같은 구조로 손모양데이터베이스(27)에 저장된다. 관절각도기반특징벡터(y)들의 집합(Y)과 관절각도기반특징벡터(y) 상호간 연결을 나타내는 행렬(V)이 저장된 계층을 3차원특징층(L2)으로 명명한다.The three-dimensional feature extractor 25 extracts the finger joint angle vector yf from the angle information of each finger joint, and extracts the connection vector yh between the hand style modifier and the finger joint angle vector. Further, the joint angle vector and the connection vector yh between the hand style identifier and the finger joint angle vector are combined to obtain a joint angle-based feature vector y for the corresponding hand shape. Here, the connection vector between the hand style modifier and the finger joint angle vector ( yh ) is a connection vector between the hand style modifier input together with the finger joint information and the finger joint angle vector obtained from the corresponding finger joint information. Have In addition, the 3D feature extractor 25 extracts the joint angle (v) between the joint angle-based feature vectors y . The joint joint angle vector ( yf ), the joint vector between the hand-form styleter and the joint joint angle vector ( yh ), and the joint angle-based feature vector ( y ) are connected to each other (v). It is stored in the database 27. Be named as joint angle based on the feature vector (y) set (Y) and the joint angle based on the feature vector (y) matrix (V) 3-dimensional feature layer (L2) for storing a layer representing the connection of one another.

층간연결특징추출부(26)는 손영상기반특징벡터(x)와 관절각도기반특징벡터(y)간 층간연결특징(c)을 추출한다. 이 층간연결특징(c)은 손영상기반특징벡터(x)와 관절각도기반특징벡터(y)가 관련이 있으면 1, 관련이 없으면 0의 값을 갖는다. 즉, 임의의 한 손모양에 대해 다수의 손영상기반특징벡터(x)와 하나의 관절각도기반특징벡터(y)가 얻어지는데, 동시에 입력되는 다수의 손영상기반특징벡터(x)와 하나의 관절각도기반특징벡터(y)는 관련이 있기 때문에 이들 사이의 층간연결특징(c)은 1이다. 이 층간연결특징(c)은 도 5에 도시된 바와 같은 구조로, 각각의 손영상기반특징벡터(x)와 각각의 관절각도기반특징벡터(y)간 조합에 대한 층간연결특징(c)으로 구성되는 행렬(C)의 형태로 손모양데이터베이스(27)에 저장된다.The interlayer connection feature extractor 26 extracts the interlayer connection feature c between the hand image-based feature vector x and the joint angle-based feature vector y . The interlayer connection feature (c) has a value of 1 if the hand image-based feature vector x and the joint angle-based feature vector y are related, and 0 if not. That is, the multiple for a given one hand the shape of a hand image based on the feature vectors (x) and one of the joint angle based on the feature vector (y) that is obtained, a number that is input at the same time the hand image based on the feature vectors (x) and one Since the joint angle-based feature vector y is related, the interlayer connection feature c between them is one. This interlayer connection feature (c) has a structure as shown in FIG. 5, with an interlayer connection feature (c) for a combination between each hand image-based feature vector ( x ) and each joint angle-based feature vector ( y ). It is stored in the hand-shaped database 27 in the form of a matrix C constituted.

도 6은 손모양데이터베이스의 구조도이다. 이 손모양데이터베이스는 손모양 식별자(610)와, 2차원특징층(L1)(630)과, 3차원특징층(L2)(650)과, 2차원특징층의 손영역경계특징벡터와 손모양식별자간 연결벡터(630)와, 3차원특징층의 관절각도기반특징벡터와 손모양식별자간 연결벡터(660)와, 손영상기반특징벡터와 관절각도기반특징벡터와의 연결벡터(640)로 이루어진다.6 is a structural diagram of a hand-shaped database. The hand database includes a hand identifier 610, a two-dimensional feature layer (L1) 630, a three-dimensional feature layer (L2) 650, and a hand region boundary feature vector and a hand shape of the two-dimensional feature layer. The connection vector 630 between the identifier, the joint angle-based feature vector of the three-dimensional feature layer, and the connection vector 660 between the hand-form style identifier, and the connection vector 640 between the hand image-based feature vector and the joint angle-based feature vector. Is done.

손모양데이터베이스에 저장되는 데이터들을 수식으로 표현하면 다음과 같다.The data stored in the hand-shaped database is expressed as an expression as follows.

2차원특징층(L1)은 (X, U)의 집합으로서, X는 손영상기반특징벡터의 집합이고 U는 손영상기반특징벡터 상호간 연결강도를 나타내는 행렬이다.The 2D feature layer L1 is a set of (X, U), where X is a set of hand image-based feature vectors and U is a matrix representing the strength of interconnection between the hand image-based feature vectors.

손영상기반특징벡터의 집합(X)은 다수의 손영상기반특징벡터(x i)(i = 1, 2, ..., m, m은 손영상기반특징벡터의 개수)로 이루어진다.The set (X) of the hand image-based feature vectors consists of a plurality of hand image-based feature vectors ( x i ) (i = 1, 2, ..., m, m are the number of hand image-based feature vectors).

이 손영상기반특징벡터(x i)는 손영역경계특징벡터(xf i)와, 손영역경계특징벡터와 손모양식별자간 연결벡터(xh i)로 이루어지며, 손영역경계특징벡터와 손모양식별자간 연결벡터(xh i)(i = 1, 2, ..., m, m은 손영상기반특징벡터의 개수)는 수학식 1과 같이 표현된다.The hand image-based feature vector ( x i ) consists of a hand region boundary feature vector ( xf i ), a hand region boundary feature vector, and a connection vector ( xh i ) between the hand region boundary feature vector, and the hand region boundary feature vector and hand shape. The connection vector ( xh i ) between the identifiers (i = 1, 2, ..., m, m are the number of hand image-based feature vectors) is expressed as in Equation 1.

Figure 112004052875858-pat00001
Figure 112004052875858-pat00001

여기서, i = 1, 2, ..., m, m은 손영상기반특징벡터의 개수이고, p는 손모양식별자의 개수 즉, 인식 대상 손모양의 개수이다.Here, i = 1, 2, ..., m, m are the number of hand image-based feature vectors, and p is the number of hand style identifiers, that is, the number of hand shapes to be recognized.

손영역경계특징벡터 상호간 연결을 나타내는 행렬(U)은 다수의 손영상기반특 징벡터 상호간 연결(uij)(i,j = 1, 2, ..., m, m은 손영상기반특징벡터의 개수)로 이루어진다. 임의의 손영상기반특징벡터 상호간 연결(uij)은 수학식 2와 같이 표현된다.The matrix (U) representing the inter-connection of the hand region boundary feature vectors is a plurality of hand image-based feature vectors (u ij ) (i, j = 1, 2, ..., m, m are the hand image-based feature vectors. Number). An arbitrary hand image-based feature vector interconnect (u ij ) is expressed as in Equation 2.

Figure 112004052875858-pat00002
Figure 112004052875858-pat00002

여기서, pu(i,j)는 손영상기반특징벡터 x i 와 x j 간의 연결강도이고, i,j = 1, 2, ..., m, m은 손영상기반특징벡터의 개수이다.Here, p u (i, j) is the connection strength between the hand image-based feature vectors x i and x j , and i, j = 1, 2, ..., m, m are the number of hand image-based feature vectors.

아울러, 3차원특징층(L2)은 (Y, V)의 집합으로서, Y는 관절각도기반특징벡터의 집합이고 V는 관절각도기반특징벡터 상호간 연결을 나타내는 행렬이다.In addition, the 3D feature layer L2 is a set of (Y, V), Y is a set of joint angle-based feature vectors, and V is a matrix representing joints between joint angle-based feature vectors.

관절각도기반특징벡터의 집합(Y)은 다수의 관절각도기반특징벡터(y i)(i = 1, 2, ..., n, n은 관절각도기반특징벡터의 개수)로 이루어진다.The set Y of the joint angle-based feature vectors is composed of a plurality of joint angle-based feature vectors y i (i = 1, 2, ..., n, n are the number of joint angle-based feature vectors).

이 관절각도기반특징벡터(y i)는 손가락관절각도벡터(yf i)와, 손가락관절각도벡터와 손모양식별자간 연결벡터(yh i)로 이루어지며, 손가락관절각도벡터와 손모양식별자간 연결벡터(yh i)(i = 1, 2, ..., n, n은 관절각도기반특징벡터의 개수)는 수학식 3과 같이 표현된다.The joint angle-based feature vector ( y i ) consists of a finger joint angle vector ( yf i ), and a joint joint vector ( yh i ) between the finger joint angle vector and the hand style modifier. The vector yh i (i = 1, 2, ..., n, n are the number of joint angle-based feature vectors) is expressed by Equation 3 below.

Figure 112004052875858-pat00003
Figure 112004052875858-pat00003

여기서, i = 1, 2, ..., n, n은 관절각도기반특징벡터의 개수이고, p는 손모양식별자의 개수 즉, 인식 대상 손모양의 개수이다.Where i = 1, 2, ..., n, n are the number of joint angle-based feature vectors, and p is the number of hand style identifiers, that is, the number of hand shapes to be recognized.

관절각도기반특징벡터 상호간 연결벡터를 나타내는 행렬(V)은 다수의 관절각도기반특징벡터 상호간 연결(vij)(i,j = 1, 2, ..., n, n은 관절각도기반특징벡터의 개수)로 이루어진다. 임의의 관절각도기반특징벡터 상호간 연결벡터(vij)는 수학식 4와 같이 표현된다.Joint angle-based feature vectors The matrix (V) representing the interconnection vector is a number of joint angle-based feature vectors (v ij ) (i, j = 1, 2, ..., n, n are joint angle-based feature vectors Number). An arbitrary joint angle-based feature vector mutual connection vector v ij is expressed as shown in Equation 4.

Figure 112004052875858-pat00004
Figure 112004052875858-pat00004

여기서, pv(i,j)는 관절각도기반특징벡터 y i 와 y j 간의 연결강도이고, i,j = 1, 2, ..., n, n은 관절각도기반특징벡터의 개수이다.Where p v (i, j) is the joint strength between the joint angle-based feature vectors y i and y j , and i, j = 1, 2, ..., n, n are the number of joint angle-based feature vectors.

아울러, 임의의 손영상기반특징벡터(x j)와 관절각도기반특징벡터(y i)간 연결(cij)(i = 1, ..., n, j = 1, ..., m, n은 관절각도기반특징벡터의 개수, m은 손영상기반특징벡터의 개수)은 손영상기반특징벡터(x j)와 관절각도기반특징벡터(y i)가 관련이 있으면 1, 아니면 0의 값을 갖는다.In addition, a connection between an arbitrary hand image-based feature vector ( x j ) and a joint angle-based feature vector ( y i ) (c ij ) (i = 1, ..., n, j = 1, ..., m, n is the number of joint angle-based feature vectors, m is the number of hand image-based feature vectors) is 1 if the hand image-based feature vector ( x j ) and the joint angle-based feature vector ( y i ) are related, and a value of 0 Has

본 발명에 따른 손모양 데이터베이스 구축장치의 손모양 데이터베이스 구축방법은 다음과 같다.A hand-shaped database construction method of the hand-shaped database construction apparatus according to the present invention is as follows.

도 7은 본 발명의 한 실시예에 따른 손모양 데이터베이스 구축방법을 도시한 동작 흐름도이다. 먼저, 도 7a를 참조하면서 손모양 데이터베이스의 2차원특징층을 구축하는 방법을 설명한다.7 is an operation flowchart showing a hand-shaped database construction method according to an embodiment of the present invention. First, a method of constructing a two-dimensional feature layer of a hand-shaped database will be described with reference to FIG. 7A.

사용자로부터 입력된 손모양식별자를 저장한다(S701). 다수의 각도에서 촬영한 다수의 손영상이 입력되면(S702), 손영상을 획득하고(S703), 획득한 손영상으로부터 손영역을 추출한다(S704). 그리고, 추출된 손영역에 대해 손영역경계특징벡터 추출 서브루틴을 수행한다(S705). 손영역경계특징벡터 추출 서브루틴의 상세한 과정은 도 8을 참조하며 후술하기로 한다. 손영역경계특징벡터 추출 서브루틴에서 추출된 손영역경계특징벡터와, 손영역경계특징벡터와 손모양식별자간 연결벡터를 결합하여 손영상기반특징벡터(x i)를 생성한다(S706).In operation S701, the hand form identifier is input from the user. When a plurality of hand images photographed at a plurality of angles are input (S702), a hand image is obtained (S703), and a hand region is extracted from the obtained hand image (S704). Then, the hand region boundary feature vector extraction subroutine is performed on the extracted hand region (S705). A detailed process of the hand region boundary feature vector extraction subroutine will be described later with reference to FIG. 8. A hand image boundary feature vector x i is generated by combining the hand region boundary feature vector extracted from the hand region boundary feature vector extraction subroutine and the connection vector between the hand region boundary feature vector and the hand style modifier (S706).

새로운 손영상기반특징벡터(x i)에 대해, 그것을 구성하는 손영역경계특징벡터(xf i)와 손모양 데이터베이스의 2차원특징층(L1) 내에 저장된 다른 손영상기반특징벡터들을 구성하는 손영역경계특징벡터(xf)와의 유클리드거리를 계산하고(S707), 단계 S707의 계산 결과 최소 유클리드거리(dxs)를 갖는 손영역경계특징벡터(xf s)를 선택한다(S708). dxs가 유클리드거리 임계값(dxMAX)보다 크면(S709), x i 를 2차원특징층(L1층)에 추가하고(S710), dxs가 유클리드거리 임계값(dxMAX)보다 크지 않으면(S709), x s를 갱신한다(S711). x i를 추가하거나 x s를 갱신한 후에는 각 연결벡터를 조정한다(S712).For the new hand image-based feature vector ( x i ), the hand region constituting the hand region boundary feature vector ( xf i ) and other hand image-based feature vectors stored in the two-dimensional feature layer (L1) of the hand-shaped database The Euclidean distance with the boundary feature vector xf is calculated (S707), and the hand region boundary feature vector xf s having the minimum Euclidean distance dx s is selected (S708). If dx s is greater than the Euclidean distance threshold (dx MAX ) (S709), add x i to the two-dimensional feature layer (L1 layer) (S710), and if dx s is not greater than the Euclidean distance threshold (dx MAX ) ( S709), and updates the x s (S711). After adding x i or updating x s , each connection vector is adjusted (S712).

도 8은 단계 S705의 손영역경계특징벡터 추출 서브루틴을 수행하는 과정을 도시한 도면이다. 먼저 추출된 손영역을 크기와 방향에 대해 정규화한다(810). 이때, 추출된 손영역의 방향에 대한 정규화과정은 추축 방향각도(α)를 수학식 5와 같이 구하고, 손영역에 대해 -α만큼 회전시킨다.8 is a diagram illustrating a process of performing a hand region boundary feature vector extraction subroutine of step S705. First, the extracted hand region is normalized with respect to size and direction (810). At this time, the normalization process for the direction of the extracted hand region obtains the axial direction angle α as shown in Equation 5, and rotates the hand region by -α.

Figure 112004052875858-pat00005
Figure 112004052875858-pat00005

여기서,

Figure 112004052875858-pat00006
,
Figure 112004052875858-pat00007
,
Figure 112004052875858-pat00008
이며, M00, M11, M10, M01, M20 은 각각 손영역의 모멘트로서,here,
Figure 112004052875858-pat00006
,
Figure 112004052875858-pat00007
,
Figure 112004052875858-pat00008
M 00 , M 11 , M 10 , M 01 , and M 20 are the moments of the hand region, respectively.

Figure 112004052875858-pat00009
,
Figure 112004052875858-pat00010
,
Figure 112004052875858-pat00011
,
Figure 112004052875858-pat00009
,
Figure 112004052875858-pat00010
,
Figure 112004052875858-pat00011
,

Figure 112004052875858-pat00012
,
Figure 112004052875858-pat00013
,
Figure 112004052875858-pat00014
Figure 112004052875858-pat00012
,
Figure 112004052875858-pat00013
,
Figure 112004052875858-pat00014

이다. 여기서, I(x,y)는 화소의 명도값이다.to be. Where I (x, y) is the brightness value of the pixel.

다음, 정규화한 손영역에 대해 손 경계를 추출하고(820), 사이각이 θ인 동각마스크(830)의 중심을 손 경계 추출영상의 중심에 맞춘다(S840). 동각마스크는 손영역경계특징벡터를 구성하는 k개의 요소를 추출하기 위한 것으로서, 픽셀의 두께가 1인 직선 k개가 마스크 영상 중심으로부터 360°/k = θ 각도 간격으로 배치된 마스크이다.Next, the hand boundary is extracted for the normalized hand region (820), and the center of the angle mask 830 having an angle of θ is aligned with the center of the hand boundary extracted image (S840). The equiangular mask is for extracting k elements constituting the hand region boundary feature vector, and is a mask in which k straight lines having a pixel thickness of 1 are disposed at 360 ° / k = θ angle intervals from the center of the mask image.

그리고, 손 경계 추출영상과 동각마스크영상을 논리합(AND) 연산하여(850), 손 경계 추출영상이 θ의 간격으로 분할되도록 한다(860). 다음, 손영역 중심으로부터 손 경계까지의 거리벡터를 θ 간격으로 측정하고(870), 이 측징된 거리벡터를 0과 1 사이로 정규화한다(890). 이 정규화된 거리벡터가 손영역경계특징벡터이다.An AND operation is performed on the hand boundary extracted image and the angle mask image (850), so that the hand boundary extracted image is divided at intervals of θ (860). Next, the distance vector from the center of the hand region to the boundary of the hand is measured at interval θ, and the measured distance vector is normalized between 0 and 1 (890). This normalized distance vector is a hand region boundary feature vector.

x s를 갱신하는 단계(S711)는 입력 손영상기반특징벡터(x i)와, x s와, 2차원특징층 내에서 x s의 손영역경계특징벡터(xf s)와 가장 작은 유클리드거리를 갖는 손영역경계특징벡터를 갖는 손영상기반특징벡터(x s-1)를 구하여 각각의 손영역경계특징벡터를 평균한 결과벡터로 새로운 x s'를 갱신한다. 이를 수식으로 표현하면 수학식 6과 같다.Step (S711) to update the x s is the input hand image based on the feature vector (x i), and x s, and a two-dimensional feature hand region bounds for x s in the layer feature vector (xf s) and the smallest Euclidian distance A new hand image based feature vector ( x s-1 ) having a hand region boundary feature vector is obtained, and the new x s ' is updated with the resultant vector of the average of each hand region boundary feature vector. If this is expressed as an equation, Equation 6 is obtained.

Figure 112004052875858-pat00015
Figure 112004052875858-pat00015

단계 S712에서 새로운 x i가 추가된 경우에는 3차원 특징층의 동일한 식별자를 가진 모든 벡터와의 연결벡터를 생성하고, x s'가 갱신된 경우에는 갱신된 특징벡터가 기존의 특징벡터 x s와의 연결을 계승한다. 또한, 2차원 특징층 내의 특징벡터간 연결벡터를 갱신한다.If new x i is added in step S712, a connection vector is generated with all vectors having the same identifier of the three-dimensional feature layer. If x s ' is updated, the updated feature vector is compared with the existing feature vector x s . Inherit the connection. In addition, the connection vector between the feature vectors in the two-dimensional feature layer is updated.

다음, 도 7b를 참조하면서 손모양 데이터베이스의 3차원특징층(L2)을 구축하는 방법을 설명한다.Next, a method of constructing the three-dimensional feature layer L2 of the hand-shaped database will be described with reference to FIG. 7B.

손가락각도정보가 입력되면(S721), 손가락 관절각도 정보를 획득한다(S722). 앞서 설명하였듯이 손가락 관절각도 측정장치는 임의의 손모양에 대해 14개 관절의 각도를 측정한다. 각 손가락의 관절각도를 정규화하여 손가락관절각도벡터를 추출한다(S723). 손가락의 관절각도 정규화는 사용자가 취할 수 있는 가장 큰 각도(손을 폈을 때의 각도)를 기준으로 입력된 관절각도를 0과 1 사이의 값으로 정규화한 후 손가락관절각도벡터로 생성한다. 이를 수식으로 표현하면 수학식 7과 같다.When finger angle information is input (S721), finger joint angle information is obtained (S722). As described above, the finger joint angle measuring device measures the angle of 14 joints with respect to an arbitrary hand shape. The joint joint angle vector of each finger is normalized to extract a finger joint angle vector (S723). The normalization of the joint angle of the finger is normalized to the value of the joint angle based on the largest angle that the user can take (the angle at the time of lifting the hand) to a value between 0 and 1, and then generated as a joint joint angle vector. This may be expressed as an equation (7).

Figure 112004052875858-pat00016
Figure 112004052875858-pat00016

여기서, i = 1, ..., n(n은 각도 측정된 손가락 관절 개수), vali는 i번째 손가락 관절의 각도측정값, maxi는 i번째 손가락 관절의 최대 각도값, mini는 i번째 손가락 관절의 최소 각도값이다.Where i = 1, ..., n (n is the number of angled finger joints), val i is the angle measurement value of the i-th finger joint, max i is the maximum angle value of the i-th finger joint, min i is i The minimum angle value of the first finger joint.

다음, 이 손가락관절각도벡터와, 손가락관절각도벡터와 손모양식별자간 연결벡터를 결합하여 관절각도기반특징벡터(y i)를 생성한다(S724). 입력 관절각도기반특징벡터(y i)를 구성하는 손가락관절각도벡터(yf i)와 손모양 데이터베이스의 3차원특징층(L2) 내에 저장된 다른 관절각도기반특징벡터(y)들의 손가락관절각도벡터(yf)들과의 유클리드거리를 계산하고(S725), 최소 유클리드거리(dys)를 갖는 손가락관절각도벡터(yf s)를 선택한다(S726). dys가 유클리드거리 임계값(dyMAX )보다 크면(S727), y i를 3차원특징층(L2층)에 추가하고(S728), dys가 유클리드거리 임계값 (dyMAX)보다 크지 않으면(S727), y s를 갱신한다(S729). y i를 추가하거나 y s를 갱신한 후에는 각 연결벡터를 조정한다(S730).Next, the joint angle angle vector and the joint vector between the finger joint angle vector and the grandmother style identifier are combined to generate a joint angle-based feature vector y i (S724). Type joint angle based on the feature vector (y i) to configure finger joint angle vector (yf i) with a hand database three-dimensional feature finger joint angles of the other joint angle based on the feature vector (y) stored in the layer (L2) of the vector ( calculating a Euclidean distance and the yf) and (S725), selects a finger joint angle vector having the minimum Euclidean distance (dy s) (yf s) (S726). If dy s is greater than the Euclidean distance threshold (dy MAX ) (S727), add y i to the three-dimensional feature layer (L2 layer) (S728), and if dy s is not greater than the Euclidean distance threshold (dy MAX ) ( S727), y s is updated (S729). After adding y i or updating y s , each connection vector is adjusted (S730).

y s를 갱신하는 단계(S729)는 입력 관절각도기반특징벡터(y i)의 손가락관절각도벡터(yf i)와, y s를 구성하는 손가락관절각도벡터(yf s ), 3차원특징층 내에서 yf s와 유클리드거리가 가장 작은 손가락관절각도벡터(yf s-1)를 평균하여 새로운 yf s '를 구하여 y s'를 구성한다. 이를 수식으로 표현하면 수학식 7과 같다.Updating y s (S729) includes a finger joint angle vector ( yf i ) of the input joint angle based feature vector ( y i ), a finger joint angle vector ( yf s ) constituting y s , and a three-dimensional feature layer. in to the Euclidean distance yf s and the average smallest finger joint angle vector (yf s-1) constitutes a "y s obtained the" new yf s. This may be expressed as an equation (7).

Figure 112004052875858-pat00017
Figure 112004052875858-pat00017

단계 S729에서 새로운 y i가 추가된 경우에는 2차원 특징층의 동일한 식별자를 가진 모든 벡터와의 연결벡터를 생성하고, y s'가 갱신된 경우에는 갱신된 특징벡터가 기존의 특징벡터 y s와의 연결을 계승한다. 또한, 3차원 특징층 내의 특징벡터간 연결벡터를 갱신한다.If a new y i is added in step S729, a connection vector is generated with all vectors having the same identifier of the two-dimensional feature layer. If y s ' is updated, the updated feature vector is compared with the existing feature vector y s . Inherit the connection. In addition, the connection vector between the feature vectors in the three-dimensional feature layer is updated.

다음, 모든 손모양식별자에 대해 상술한 바와 같은 손모양 데이터베이스 구축방법을 실행한 후 동일 층내 특징벡터간 연결벡터(즉, 손영상기반특징벡터 상호간 연결벡터와, 관절각도기반특징벡터 상호간 연결벡터)를 결정하기 위한 보상학습과정을 수행한다. 이 층내 특징벡터간 연결벡터는 초기에는 유클리드거리값으로 설 정된다. 이 보상학습과정에서는 손관절 측정장치를 사용하지 않고, 복수의 카메라로부터 촬영한 손영상을 이용한 보상학습과정을 통해 층내 특징벡터간 연결벡터를 조정한다.Next, after executing the method of building a hand-shaped database as described above for all the hand style identifiers, the connection vector between the feature vectors in the same layer (that is, the connection vector between the hand image-based feature vectors and the joint angle-based feature vector interconnection vectors). Follow the reward learning process to determine The link vector between the feature vectors in the layer is initially set to the Euclidean distance value. In this compensation learning process, the connection vector between the feature vectors in the layers is adjusted through a compensation learning process using hand images taken from a plurality of cameras without using a hand joint measuring apparatus.

도 9는 본 발명의 한 실시예에 따른 보상학습과정을 도시한 동작 흐름도이다. 먼저, 사용자로부터 손모양식별자가 입력되고(S901), 손영상이 입력되면(S902), 해당 손영상을 획득하고(S903), 손영상으로부터 손영역을 추출한다(S904). 그리고, 추출된 손영역 데이터를 도 8에 적용하여 손영역경계특징벡터(xf i)를 추출한다(S905).9 is an operation flowchart showing a compensation learning process according to an embodiment of the present invention. First, when the hand form modifier is input from the user (S901), when a hand image is input (S902), a corresponding hand image is obtained (S903), and a hand region is extracted from the hand image (S904). The hand region boundary feature vector xf i is extracted by applying the extracted hand region data to FIG. 8 (S905).

2차원특징층(L1층)에서 입력 손영역경계특징벡터(xf i)와의 유클리드거리가 최소인 손영역경계특징벡터(xf s)를 추출한다(S906).A hand region boundary feature vector xf s having a minimum Euclidean distance from the input hand region boundary feature vector xf i is extracted from the two-dimensional feature layer (L1 layer) (S906).

다음, 3차원특징층(L2층)에서 이 손영역경계특징벡터(xf s)와 관련된 손가락관절각도벡터(yf)들을 추출한다(S907). 손영역경계특징벡터(xf s)와 관련된 손가락관절각도벡터(yf)를 추출할 때, 층간연결특징(c)값을 사용하여, 손영역경계특징벡터(xf s)와 층간연결특징값이 1인 손가락관절각도벡터(yf)를 추출한다.Next, the finger joint angle vector yf associated with the hand region boundary feature vector xf s is extracted from the three-dimensional feature layer (L2 layer) (S907). When extracting the finger joint angle vector ( yf ) associated with the hand region boundary feature vector ( xf s ), using the interlayer connection feature (c) value, the hand region boundary feature vector ( xf s ) and the interlayer connection feature value are 1 The finger joint angle vector ( yf ) is extracted.

다음, 단계 S907에서 추출된 yf들과 연결강도가 큰 yf'들을 추출한다(S908). 단계 S908에서 관절각도기반특징벡터 상호간 연결벡터가 사용된다. 이 연결벡터에 의해 추정된 연결강도가 가장 큰 yf'들을 추출한다.Next, it extracts the yf and a large yf 'connection weights extracted in step S907 (S908). In step S908, the joint vector based on the joint angle-based feature vectors is used. The yf ′ with the largest connection strength estimated by this connection vector is extracted.

그리고, 이렇게 추출된 L2층의 yf'들과 관련된 L1층의 xf'들을 추출한다 (S909). 단계 S909에서도 단계 S907과 같이 층간연결특징(c)값을 사용한다.Then, xf 'of the L1 layer associated with yf ' of the L2 layer thus extracted is extracted (S909). In step S909, the interlayer connection feature (c) is used as in step S907.

다음, xf'들과 관련된 손모양식별자들을 추출한다(S910). 단계 S910에서는 손영역경계특징벡터와 손모양식별자 상호간 연결벡터를 사용한다.Next, extract the hand form identifiers associated with xf '(S910). In step S910, a hand region boundary feature vector and a connection vector between hand style identifiers are used.

상술한 바와 같이 추적된 손모양식별자 중 단계 S901에서 입력된 손모양식별자가 동일한 것이 있으면(S911), 관련된 모든 동일 층내 특징벡터간 연결벡터에 (+) 보상을 한다(S912). 즉, 옳은 손모양식별자를 선택한 경우에는 해당 연결벡터에 두 특징벡터간 유클리드거리 역수를 0과 1 사이로 정규화한 후 10을 곱한 값을 더해주는 (+) 보상을 한다. 추적된 손모양식별자와 입력된 손모양식별자가 동일하지 않으면(S911) 관련된 모든 동일 층내 특징벡터간 연결벡터에 (-) 보상을 한다(S913). 즉, 잘못된 손모양식별자를 선택한 경우에는, 해당 연결벡터에서 임의의 설정치(예컨대, 5)를 빼주어 (-) 보상을 한다.As described above, if the hand styler inputted in step S901 is the same among the tracked styler identifiers (S911), (+) compensation is performed on the connection vectors between all related feature layers within the same layer (S912). That is, when the correct hand form identifier is selected, the link vector is normalized to the inverse Euclidean distance inverse between two feature vectors between 0 and 1, and then compensated by adding the product multiplied by 10. If the tracked palm form identifier and the input palm form identifier are not the same (S911), (-) compensation is performed on the connection vectors between all related in-layer feature vectors. In other words, when the wrong hand style identifier is selected, an arbitrary set value (for example, 5) is subtracted from the connection vector to compensate for (-).

충분한 유사도의 손모양이 추출되었거나 또는 최대 반복횟수가 초과된 경우(S914)가 아니면 xf'들과 연결강도가 큰 xf들을 추출한다(S915). 단계 S915에서 손영상기반특징벡터 상호간 연결벡터가 사용된다. 즉, 이 연결벡터에 의해 추정된 연결강도가 가장 큰 xf들을 추출한다. 단계 S915에서 추출된 xf들에 대해 단계 S907부터 반복 수행한다.Extracts, or the hand of a sufficient degree of similarity extraction or large xf maximum number of iterations if the excess is not connected with the xf '(S914) intensity (S915). In step S915, the connection vector between the hand image-based feature vectors is used. That is, xf having the largest connection strength estimated by the connection vector is extracted. Repeating from step S907 for the xf extracted in step S915.

단계 S914에서 충분한 유사도의 손모양이 추출되었거나 최대 반복횟수가 초과된 경우에는 해당 손모양식별자에 대한 보상학습과정을 종료한다.If the hand shape of sufficient similarity is extracted in step S914 or the maximum number of repetitions is exceeded, the reward learning process for the corresponding hand style identifier is terminated.

본 발명에서는 층내 특징벡터간 연결벡터를 결정하기 위해 비모델강화학습의 하나인 Q-학습과정을 적용하였다. Q학습의 기본개념은, 먼저 주어진 상태 s와 행 동 a의 함수를 요소로 갖는 Q테이블을 설정하고, 각 요소를 초기화한다. 다음, 현재의 상태 s를 인식하고, 그에 따른 행동 a를 선택하여 실행한다. 그후, 결과에 따라 보상 r을 취하고, 새로운 상태 s'를 인식하여 상태를 갱신하고 Q테이블을 갱신한다. 상기한 Q학습을 본 발명에 적용함에 있어서, 상태 s는 층내 특징벡터간 연결벡터에 의해 추정된 연결강도를 적용하고, 행동 a는 층내 특징벡터간 이동을 적용하였다.In the present invention, the Q-learning process, which is one of the non-model reinforcement classes, is applied to determine the connection vectors between the layer feature vectors. The basic concept of Q learning is to first set up a Q table with elements of a given state s and a function of action a, and then initialize each element. Next, it recognizes the current state s and selects and executes action a accordingly. Then, the compensation r is taken according to the result, the new state s' is recognized and the state is updated and the Q table is updated. In applying the above-described Q learning to the present invention, the state s applies the link strength estimated by the link vector between the layer feature vectors, and the action a applies the movement between the layer feature vectors.

이렇게 본 발명에 따른 보상학습과정에 따르면 2차원특징층과 3차원특징층으로의 층간 전환이 이루어지면서, 층내 특징벡터간 연결강도에 대한 학습이 이루어지기 때문에, 임의의 손모양에 대한 2차원적인 형상기반 특징과 3차원적인 관절각도기반 특징을 모두 고려할 수 있게 된다.As described above, according to the compensation learning process according to the present invention, as the interlayer switching between the two-dimensional feature layer and the three-dimensional feature layer is performed, and the learning about the connection strength between the feature vectors in the layer is performed, Both shape-based features and three-dimensional joint angle-based features can be considered.

본 발명은 상술한 바와 같이 구축된 손모양데이터베이스를 이용하여 손모양을 인식하는 장치 및 방법을 제안한다.The present invention proposes an apparatus and method for recognizing a hand shape using a hand shape database constructed as described above.

도 10은 본 발명의 한 실시예에 따른 손모양 인식장치의 기능 블록도이다. 이 손모양 인식장치는 손영상획득부(1001)와, 손영역추출부(1002)와, 2차원특징추출부(1003)와, 손모양인식부(1004)와, 결과출력부(1005와, 손모양데이터베이스(1006)를 포함한다.10 is a functional block diagram of a hand recognition apparatus according to an embodiment of the present invention. The hand recognition apparatus includes a hand image acquisition unit 1001, a hand region extraction unit 1002, a two-dimensional feature extraction unit 1003, a hand recognition unit 1004, a result output unit 1005, Hand-shaped database 1006 is included.

손영상획득부(1001)는 다수의 카메라가 촬영한 다수의 2차원 손영상을 획득하여 손영역추출부(1002)에게 제공한다. 손영역추출부(1002)는 다수의 2차원 손영상 각각에 대해 손영역을 추출하여 손모양의 실루엣을 얻는다. 2차원특징추출부 (1003)는 손모양의 실루엣으로부터 다수의 손영역경계특징벡터(xf i)(i = 1, ..., k, k는 카메라의 개수)를 추출한다. 손모양인식부(1004)는 다수의 손영역경계특징벡터(xf i)를 손모양데이터베이스(1006)에 적용하여, 유사도가 가장 높은 손모양을 인식하여 결과출력부(1005)로 제공한다. 결과출력부(1005)는 인식된 손모양을 출력한다.The hand image acquisition unit 1001 obtains a plurality of two-dimensional hand images taken by a plurality of cameras and provides them to the hand region extraction unit 1002. The hand region extractor 1002 extracts a hand region for each of a plurality of two-dimensional hand images to obtain a hand-shaped silhouette. The two-dimensional feature extraction unit 1003 extracts a plurality of hand region boundary feature vectors xf i (i = 1, ..., k, k are the number of cameras) from the hand-shaped silhouette. The hand recognition unit 1004 applies a plurality of hand region boundary feature vectors xf i to the hand shape database 1006 to recognize a hand shape having the highest similarity and provide it to the result output unit 1005. The result output unit 1005 outputs the recognized hand shape.

도 11은 본 발명의 한 실시예에 따른 손모양 인식방법의 동작 흐름도이다.11 is a flowchart illustrating a hand shape recognition method according to an embodiment of the present invention.

먼저, 다수의 카메라들로부터 다수의 손영상을 획득한다(S1101). 다수의 손영상 각각에 대해 손영역을 추출하고(S1102), 추출된 각 손영역 데이터에 대해 도 8의 손영역경계특징벡터 추출과정을 적용하여 입력 손영역경계특징벡터(xf i)(i = 1, ..., k, k는 카메라의 개수)들을 추출한다(S1103).First, a plurality of hand images are obtained from a plurality of cameras (S1101). A hand region is extracted for each of a plurality of hand images (S1102), and the input hand region boundary feature vector ( xf i ) (i =) is applied to the extracted hand region data by applying the hand region boundary feature vector extraction process of FIG. 8. 1, ..., k, k are the number of cameras) (S1103).

다음, 2차원특징층(L1층)에서 입력 손영역경계특징벡터(xf i)와의 유클리드거리가 최소인 손영역경계특징벡터(xf)들을 추출한다(S1104).Next, the two-dimensional feature layer extracts from (L1 layer) type hand area boundary feature vector Euclidean distance is hand boundary area between the minimum (xf i) a feature vector (xf) (S1104).

다음, 3차원특징층(L2층)에서 이 손영역경계특징벡터(xf)들과 관련된 손가락관절각도벡터(yf)들을 추출한다(S1105). 손영역경계특징벡터(xf)와 관련된 손가락관절각도벡터(yf)를 추출할 때, 층간연결특징(c)값을 사용하여 손영역경계특징벡터(xf)와 층간연결특징값이 1인 손가락관절각도벡터(yf)를 추출한다.Next, the finger joint angle vectors yf associated with the hand region boundary feature vectors xf are extracted from the three-dimensional feature layer L2 (S1105). When extracting the finger joint angle vector ( yf ) associated with the hand region boundary feature vector ( xf ), the finger joint with the hand region boundary feature vector ( xf ) and the interlayer connection feature value is 1 using the interlayer connection feature (c) value. Extract the angle vector ( yf ).

다음, 단계 S1105에서 추출된 yf들과 연결강도가 큰 yf'들을 추출한다(S1106). 단계 S1106에서 관절각도기반특징벡터 상호간 연결벡터가 사용된다.Next, it extracts the yf and a large yf 'connection weights extracted in step S1105 (S1106). In step S1106, a joint vector of joint angle-based feature vectors is used.

다음, 단계 S1106에서 추출된 L2층의 yf'들과 관련된 L1층의 xf'들을 추출한 다(S1107). 단계 S1107에서도 단계 S1105와 같이 층간연결특징(c)값을 사용한다.Next, xf ′ of the L1 layer associated with yf ′ of the L2 layer extracted in step S1106 is extracted (S1107). In step S1107, the value of the interlayer connection feature (c) is used as in step S1105.

다음, xf'들과 관련된 손모양식별자들을 추출하여(S1108), 추출된 손모양식별자들에 점수를 누적한다(S1109). 단계 S1109에서는 손영역경계특징벡터와 손모양식별자 상호간 연결벡터를 사용한다.Next, by extracting the hand form identifiers associated with xf '(S1108), the score is accumulated in the extracted hand form identifiers (S1109). In step S1109, a connection vector between the hand region boundary feature vector and the hand style identifier is used.

임의의 손모양식별자의 누적점수가 임계값보다 커지면 충분한 유사도의 손모양이 추출된 것으로 인지한다. 충분한 유사도의 손모양이 추출되거나 또는 최대 반복횟수를 초과하지 않았으면(S1110), xf'들과 연결강도가 큰 xf들을 추출하고(S1111) 단계 S1105부터 반복 수행한다.If the cumulative score of any hand modifier is greater than the threshold, it is recognized that a hand of sufficient similarity is extracted. It performs the hand of sufficient similarity or extracted or if it is not exceeded the maximum number of iterations (S1110), repeats the connection strength with xf 'and extract large xf (S1111) from the step S1105.

충분한 유사도의 손모양이 추출되거나 또는 최대 반복횟수를 초과하면(S1110), 그때까지 인식된 결과 가장 높은 유사도를 갖는 손모양을 출력한다(S1112).If a hand of sufficient similarity is extracted or exceeds the maximum number of repetitions (S1110), the hand having the highest similarity as a result recognized up to that time is output (S1112).

이상에서 본 발명에 대한 기술 사상을 첨부 도면과 함께 서술하였지만, 이는 본 발명의 가장 양호한 일 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술 분야의 통상의 지식을 가진 자이면 누구나 본 발명의 기술 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.Although the technical spirit of the present invention has been described above with reference to the accompanying drawings, it is intended to exemplarily describe the best embodiment of the present invention, but not to limit the present invention. In addition, it is obvious that any person skilled in the art may make various modifications and imitations without departing from the scope of the technical idea of the present invention.

이상과 같이 본 발명은 손모양데이터베이스를 구축하고 이 손모양데이터베이스로부터 손모양을 인식하는 과정에서 손가락 관절각도 정보를 이용하기 때문에, 실제 인식 환경에서 손에 대한 카메라의 상대적인 촬영위치와 방향이 달라지더라도 손모양에 대한 정확한 인식이 가능한 효과가 있다.
As described above, the present invention uses the finger joint angle information in the process of building the hand database and recognizing the hand shape from the hand database. Even if the accurate recognition of the hand shape is possible.

Claims (28)

사용자의 손에 대해 서로 다른 각도에서 촬영한 다수의 2차원 손영상을 획득하는 손영상획득부와;A hand image acquisition unit for acquiring a plurality of two-dimensional hand images photographed at different angles with respect to a user's hand; 상기 2차원 손영상으로부터 손영역경계특징벡터를 생성하고, 상기 손영역경계특징벡터 상호간 연결강도를 추출하는 2차원특징추출부와;A two-dimensional feature extraction unit for generating a hand region boundary feature vector from the two-dimensional hand image and extracting connection strengths between the hand region boundary feature vectors; 상기 사용자의 손의 손가락 관절의 각도정보를 획득하는 손관절각도정보획득부와;Hand joint angle information acquisition unit for obtaining the angle information of the finger joint of the user's hand; 상기 손가락 관절의 각도정보로부터 손가락관절각도벡터를 생성하고, 상기손가락관절각도벡터 상호간 연결강도를 추출하는 3차원특징추출부와;A three-dimensional feature extraction unit for generating a finger joint angle vector from the angle information of the finger joint and extracting the joint strength between the finger joint angle vectors; 상기 손영역경계특징벡터와 손가락관절각도벡터간 층간연결특징을 추출하는 층간연결특징추출부와;An interlayer connection feature extracting unit for extracting an interlayer connection feature between the hand region boundary feature vector and the finger joint angle vector; 상기 손영역경계특징벡터와, 상기 손영역경계특징벡터 상호간 연결강도와, 상기 손가락관절각도벡터와, 상기 손가락관절각도벡터 상호간 연결강도와, 상기 층간연결특징을 상기 손모양식별자 정보와 함께 저장하는 손모양데이터베이스를 구비한 것을 특징으로 하는 손모양 데이터베이스 구축장치.Storing the hand region boundary feature vector, the connection strength between the hand region boundary feature vector, the finger joint angle vector, the joint joint angle vector, and the interlayer connection feature together with the hand style identifier. Hand-shaped database building apparatus characterized by having a hand-shaped database. 제 1 항에 있어서, 상기 2차원 손영상으로부터 추출된 손영역경계특징벡터를 상기 손모양데이터베이스에 적용하여 손모양을 추적하는 손모양인식부와;The apparatus of claim 1, further comprising: a hand recognition unit for tracking a hand shape by applying a hand region boundary feature vector extracted from the 2D hand image to the hand shape database; 상기 손모양의 추적 결과에 따라 상기 손영역경계특징벡터 상호간 연결강도 와 상기 손가락관절각도벡터 상호간 연결강도를 조정하는 보상학습부를 더 구비한 것을 특징으로 하는 손모양 데이터베이스 구축장치.And a compensation learning unit for adjusting the connection strength between the hand region boundary feature vectors and the connection strength between the finger joint angle vectors according to the hand-shaped tracking result. 제 1 항에 있어서, 상기 손영상기반특징벡터는,The method of claim 1, wherein the hand image-based feature vector, 상기 2차원 손영상의 손영역 중심으로부터 손영역 경계까지의 거리벡터를 정규화한 손영역경계특징벡터와, 상기 손영역경계특징벡터와 손모양식별자간 연결벡터로 이루어진 것을 특징으로 하는 손모양 데이터베이스 구축장치.Hand-shaped database construction comprising a hand region boundary feature vector normalizing the distance vector from the center of the hand region to the hand region boundary of the two-dimensional hand image and the connection vector between the hand region boundary feature vector and the hand style modifier Device. 제 1 항에 있어서, 상기 관절각도기반특징벡터는,According to claim 1, wherein the joint angle based feature vector, 상기 손가락 관절의 각도정보를 정규화한 손가락관절각도벡터와, 상기 손가락관절각도벡터와 손모양식별자간 연결벡터로 이루어진 것을 특징으로 하는 손모양 데이터베이스 구축장치.And a finger joint angle vector normalizing the angle information of the finger joint, and a connection vector between the finger joint angle vector and the hand style separator. 손모양 데이터베이스 구축장치에서의 손모양 데이터 구축방법에 있어서,In the hand data construction method in the hand database building apparatus, 상기 구축장치가 손모양식별자 정보와 함께 입력되는 사용자의 손을 촬영한 2차원 손영상을 획득하는 손영상획득단계와;A hand image acquiring step of acquiring a two-dimensional hand image of the user's hand inputted by the construction apparatus together with hand hair style identification information; 상기 구축장치가 상기 2차원 손영상으로부터 손영역경계특징벡터를 생성하고, 상기 손영역경계특징벡터 상호간 연결강도를 추출하는 2차원특징추출단계와;A two-dimensional feature extraction step of the construction apparatus generating a hand region boundary feature vector from the two-dimensional hand image and extracting the connection strength between the hand region boundary feature vectors; 상기 구축장치가 손모양식별자 정보와 함께 입력되는 사용자의 손의 손가락 관절의 각도정보를 획득하는 손관절각도정보획득단계와;Hand joint angle information acquisition step of acquiring the angle information of the finger joint of the user's hand inputted by the construction apparatus together with the hand style identifier; 상기 구축장치가 상기 손가락 관절의 각도정보로부터 손가락관절각도벡터를 생성하고, 상기손가락관절각도벡터 상호간 연결강도를 추출하는 3차원특징추출단계와;A three-dimensional feature extraction step of the construction device generating a finger joint angle vector from the angle information of the finger joint and extracting the joint strength between the finger joint angle vectors; 상기 구축장치가 상기 손영상기반특징벡터와 관절각도기반특징벡터간 층간연결특징을 추출하는 층간연결특징추출단계와;An interlayer connection feature extraction step wherein the construction apparatus extracts the interlayer connection feature between the hand image-based feature vector and the joint angle-based feature vector; 상기 구축장치가 상기 손영역경계특징벡터와, 상기 손영역경계특징벡터 상호간 연결강도와, 상기 손가락관절각도벡터와, 상기 손가락관절각도벡터 상호간 연결강도와, 상기 층간연결특징을 상기 손모양식별자 정보와 함께 손모양데이터베이스에 저장하는 단계를 구비한 것을 특징으로 하는 손모양 데이터베이스 구축방법.The construction apparatus may include the connection strength between the hand region boundary feature vector, the hand region boundary feature vector, the finger joint angle vector, the joint joint angle vector, and the interlayer connection feature. Hand-shaped database construction method comprising the step of storing in the hand-shaped database with. 제 5 항에 있어서, 상기 2차원특징추출단계의 손영상기반특징벡터 생성단계는,The method of claim 5, wherein the hand image-based feature vector generation step of the two-dimensional feature extraction step includes: 상기 2차원 손영상의 손영역 중심으로부터 손영역 경계까지의 거리벡터를 정규화한 손영역경계특징벡터를 생성하는 단계와;Generating a hand region boundary feature vector normalizing a distance vector from the center of the hand region to the boundary of the hand region of the 2D hand image; 상기 손영역경계특징벡터와 손모양식별자간 연결벡터를 생성하는 단계와;Generating a connection vector between the hand region boundary feature vector and a hand style identifier; 상기 손영역경계특징벡터와, 상기 손영역경계특징벡터와 손모양식별자간 연결벡터를 결합하는 단계로 이루어진 것을 특징으로 하는 손모양 데이터베이스 구축방법.And combining the hand region boundary feature vector and the connection vector between the hand region boundary feature vector and the hand style modifier. 제 6 항에 있어서, 상기 손영역경계특징벡터를 생성하는 단계는,The method of claim 6, wherein the generating of the hand region boundary feature vector comprises: 상기 2차원 손영상을 크기와 방향에 대해 정규화하는 단계와, 상기 정규화된 2차원 손영상으로부터 손 경계를 추출하는 단계와, 사이각이 θ인 동각마스크의 중심을 상기 손 경계 추출영상의 중심에 맞추는 단계와, 상기 손 경계 추출영상과 상기 동각마스크 영상을 논리합 연산하여 상기 손 경계 추출영상을 θ 간격으로 분할하는 단계와, 상기 손 경계 추출영상에 대해 손영역 중심으로부터 손 경계까지의 거리벡터를 θ 간격으로 측정하는 단계와, 상기 측정된 거리벡터를 0과 1 사이로 정규화하는 단계를 구비한 것을 특징으로 하는 손모양 데이터베이스 구축방법.Normalizing the two-dimensional hand image with respect to size and direction, extracting a hand boundary from the normalized two-dimensional hand image, and centering an angle mask having an angle of θ at the center of the hand boundary extracted image. And dividing the hand boundary extracted image into θ intervals by performing an OR operation on the hand boundary extracted image and the angle mask image, and calculating a distance vector from the center of the hand region to the hand boundary with respect to the hand boundary extracted image. and measuring at intervals of θ and normalizing the measured distance vector to between 0 and 1. 3. 제 7 항에 있어서, 상기 동각마스크는 픽셀의 두께가 1인 직선 k개가 마스크 영상 중심으로부터 360°/k = θ 각도 간격으로 배치된 마스크인 것을 특징으로 하는 손모양 데이터베이스 구축방법.8. The method of claim 7, wherein the isometric mask is a mask in which k straight lines having a thickness of 1 pixel are disposed at 360 ° / k = θ angle intervals from a mask image center. 제 5 항에 있어서, 상기 2차원특징추출단계의 상기 손영역경계특징벡터 상호간 연결강도를 추출하는 단계는, 두 개의 손영역경계특징벡터간 유클리드거리의 역수를 계산하는 것을 특징으로 하는 손모양 데이터베이스 구축방법.6. The hand-shaped database according to claim 5, wherein the step of extracting the connection strength between the hand region boundary feature vectors in the two-dimensional feature extraction step comprises calculating the inverse of the Euclidean distance between two hand region boundary feature vectors. How to build. 제 5 항에 있어서, 상기 3차원특징추출단계의 상기 관절각도기반특징벡터 생성단계는,The method of claim 5, wherein the joint angle based feature vector generation step of the three-dimensional feature extraction step, 상기 손가락 관절의 각도정보를 정규화한 손가락관절각도벡터를 생성하는 단계와;Generating a finger joint angle vector normalizing the angle information of the finger joint; 상기 손가락관절각도벡터와 손모양식별자간 연결벡터를 생성하는 단계와;Generating a connection vector between the finger joint angle vector and a hand style identifier; 상기 손가락관절각도벡터와, 상기 손가락관절각도벡터와 손모양식별자간 연결벡터를 결합하는 단계로 이루어진 것을 특징으로 하는 손모양 데이터베이스 구축방법.And combining the finger joint angle vector, the joint joint vector between the finger joint angle vector, and the hand style modifier. 제 10 항에 있어서, 상기 손가락관절각도벡터를 생성하는 단계는,The method of claim 10, wherein the generating of the finger joint angle vector comprises: 각 손가락 관절각도측정값(vali, i = 1, ..., n, n은 각도 측정대상이 되는 손가락 관절의 개수)에 대해 최대 각도값(maxi)과 최소 각도값(mini)을 아래의 수식에 적용하여 정규화하여 손가락관절각도벡터를 생성하는 것을 특징으로 하는 손모양 데이터베이스 구축방법.For each finger joint angle measurement value (val i , i = 1, ..., n, n are the number of finger joints to be measured), the maximum angle value max i and the minimum angle value min i A hand-shaped database construction method comprising generating a finger joint angle vector by normalization by applying the following equation. [수식][Equation]
Figure 112004052875858-pat00018
Figure 112004052875858-pat00018
 제 5 항에 있어서, 상기 3차원특징추출단계의 상기 손가락관절각도벡터 상호간 연결강도를 추출하는 단계는, 두 개의 손가락관절각도벡터간 유클리드거리의 역수를 계산하는 것을 특징으로 하는 손모양 데이터베이스 구축방법.The method of claim 5, wherein the step of extracting the connection strength between the finger joint angle vectors in the three-dimensional feature extraction step comprises calculating the inverse of the Euclidean distance between two finger joint angle vectors. . 제 5 항에 있어서, 상기 저장단계는,The method of claim 5, wherein the storing step, 상기 입력 손영역경계특징벡터와 상기 손모양데이터베이스에 기저장된 손영역경계특징벡터와의 유클리드거리를 계산하는 단계와;Calculating a Euclidean distance between the input hand region boundary feature vector and a hand region boundary feature vector previously stored in the hand-shaped database; 상기 입력 손영역경계특징벡터와 유클리드거리가 최소인 기저장된 손영역경계특징벡터를 추출하는 단계와;Extracting a pre-stored hand region boundary feature vector having a minimum Euclidean distance and the input hand region boundary feature vector; 상기 최소 유클리드거리가 임계값보다 크면 상기 입력 손영역경계특징벡터를 상기 손모양데이터베이스에 추가하고, 상기 최소 유클리드거리가 임계값보다 크지 않으면 상기 기저장 손영역경계특징벡터를 갱신하는 단계와;Adding the input hand region boundary feature vector to the hand-shaped database if the minimum Euclidean distance is greater than a threshold, and updating the prestored hand region boundary feature vector if the minimum Euclidean distance is not greater than a threshold; 상기 추가 또는 갱신된 손영역경계특징벡터와 관련된 연결벡터 및 연결강도를 추가 또는 갱신하는 단계를 포함한 것을 특징으로 하는 손모양 데이터베이스 구축방법.And adding or updating a connection vector and a connection strength associated with the added or updated hand region boundary feature vector. 제 13 항에 있어서, 상기 기저장 손영역경계특징벡터를 갱신하는 단계는,The method of claim 13, wherein updating the prestored hand region boundary feature vector comprises: 상기 입력 손영역경계특징벡터와, 상기 입력 손영역경계특징벡터와의 유클리드 거리가 최소인 손영역경계특징벡터와, 상기 입력 손영역경계특징벡터와의 유클리드 거리가 최소인 손영역경계특징벡터를 제외하고 상기 입력 손영역경계특징벡터와의 유클리드 거리가 최소인 손영역경계특징벡터의 평균값으로 갱신하는 것을 특징으로 하는 손모양 데이터베이스 구축방법.A hand region boundary feature vector having a minimum Euclidean distance between the input hand region boundary feature vector, the input hand region boundary feature vector, and a hand region boundary feature vector having a minimum Euclidean distance from the input hand region boundary feature vector; Except for updating the average value of the hand region boundary feature vector having the minimum Euclidean distance with the input hand region boundary feature vector. 제 5 항에 있어서, 상기 저장단계는,The method of claim 5, wherein the storing step, 상기 입력 손가락관절각도벡터와 상기 손모양데이터베이스에 기저장된 손가 락관절각도벡터와의 유클리드거리를 계산하는 단계와;Calculating a Euclidean distance between the input finger joint angle vector and a finger joint joint angle vector previously stored in the hand-shaped database; 상기 입력 손가락관절각도벡터와 유클리드거리가 최소인 기저장 손가락관절각도벡터를 추출하는 단계와;Extracting a pre-stored finger joint angle vector having a minimum Euclidean distance and the input finger joint angle vector; 상기 최소 유클리드거리가 임계값보다 크면 상기 입력 손가락관절각도벡터를 상기 손모양데이터베이스에 추가하고, 상기 최소 유클리드거리가 임계값보다 크지 않으면 상기 기저장 손가락관절각도벡터를 갱신하는 단계와;Adding the input finger joint angle vector to the hand-shaped database if the minimum Euclidean distance is greater than a threshold and updating the pre-stored finger joint angle vector if the minimum Euclidean distance is not greater than a threshold; 상기 추가 또는 갱신된 손가락관절각도벡터와 관련된 연결벡터 및 연결강도를 추가 또는 갱신하는 단계를 포함한 것을 특징으로 하는 손모양 데이터베이스 구축방법.And adding or updating a connection vector and connection strength associated with the added or updated finger joint angle vector. 제 15 항에 있어서, 상기 기저장 손가락관절각도벡터를 갱신하는 단계는,The method of claim 15, wherein updating the pre-stored finger joint angle vector, 상기 입력 손가락관절각도벡터와, 상기 입력 손가락관절각도벡터와의 유클리드 거리가 최소인 손가락관절각도벡터와, 상기 입력 손가락관절각도벡터와의 유클리드 거리가 최소인 손가락관절각도벡터를 제외하고 상기 입력 손가락관절각도벡터와의 유클리드 거리가 최소인 기저장 손가락관절각도벡터의 평균값으로 갱신하는 것을 특징으로 하는 손모양 데이터베이스 구축방법.The input finger except for a finger joint angle vector having a minimum Euclidean distance between the input finger joint angle vector, the input finger joint angle vector, and a finger joint angle vector having a minimum Euclidean distance between the input finger joint angle vector. A method of constructing a hand-shaped database, comprising updating the average value of a pre-stored finger joint angle vector having a minimum Euclidean distance with a joint angle vector. 제 5 항에 있어서, 상기 2차원 손영상으로부터 생성된 손영역경계특징벡터를 상기 손모양데이터베이스에 적용하여 손모양을 추적하는 손모양인식단계와;The method according to claim 5, further comprising: a hand shape recognition step of applying a hand region boundary feature vector generated from the two-dimensional hand image to the hand shape database to track the hand shape; 상기 손모양의 추적 결과에 따라 상기 손영역경계특징벡터 상호간 연결강도 와 상기 손가락관절각도벡터 상호간 연결강도를 조정하는 보상학습단계를 더 포함한 것을 특징으로 하는 손모양 데이터베이스 구축방법.And a compensation learning step of adjusting the connection strength between the hand region boundary feature vectors and the connection strength between the finger joint angle vectors according to the hand-shaped tracking result. 제 17 항에 있어서, 상기 손모양데이터베이스 구축방법은,The method of claim 17, wherein the hand-shaped database construction method, 상기 손모양식별자 정보와 함께 입력되는 2차원 손영상으로부터 상기 2차원 손영상의 손영역 중심으로부터 손영역 경계까지의 거리벡터를 정규화한 입력 손영역경계특징벡터를 생성하는 제1단계와,A first step of generating an input hand region boundary feature vector by normalizing a distance vector from the center of the hand region to the boundary of the hand region from the 2D hand image input together with the hand style identifier information; 상기 손모양데이터베이스로부터 상기 입력 손영역경계특징벡터와 유클리드거리가 최소인 제1손영역경계특징벡터(xf)를 추출하는 제2단계와,Extracting a first hand region boundary feature vector ( xf ) having a minimum Euclidean distance from the input hand region boundary feature vector from the hand-shaped database; 상기 손모양데이터베이스로부터 상기 제1손영역경계특징벡터와 관련된 제1손가락관절각도벡터들을 추출하는 제3단계와,Extracting first finger joint angle vectors associated with the first hand region boundary feature vector from the hand-shaped database; 상기 손모양데이터베이스로부터 상기 각각의 제1손가락관절각도벡터들과 연결강도가 큰 제2손가락관절각도벡터들을 추출하는 제4단계와,Extracting second finger joint angle vectors having a large connection strength from the first finger joint angle vectors from the hand-shaped database; 상기 손모양데이터베이스로부터 상기 각각의 제2손가락관절각도벡터들과 관련된 제2손영역경계특징벡터들을 추출하는 제5단계와,Extracting second hand region boundary feature vectors associated with each of the second finger joint angle vectors from the hand-shaped database; 상기 손모양데이터베이스로부터 상기 제2손영역경계특징벡터들과 관련된 추적 손모양식별자들을 추출하는 제6단계와,A sixth step of extracting tracking hand style identifiers associated with the second hand region boundary feature vectors from the hand shape database; 상기 추적 손모양식별자가 상기 입력 손모양식별자와 동일하면 상기 추적 손모양식별자를 추출한 모든 연결강도를 (+) 보상하고, 상기 추적 손모양식별자가 상기 입력 손모양식별자와 동일하지 않으면 상기 추적 손모양식별자를 추출한 모든 연결강도를 (-) 보상하는 제7단계와,Compensating all the link strengths extracted from the tracking hand form identifier if the tracking hand style identifier is the same as the input hand style identifier, and if the tracking hand style identifier is not the same as the input hand style identifier, the tracking hand shape. A seventh step of compensating (-) all connection strengths from which the identifier is extracted; 상기 손모양데이터베이스로부터 상기 각각의 제2손영역경계특징벡터들과 연결강도가 큰 제1손영역경계특징벡터들을 추출하고, 상기 제3단계부터 반복 수행하는 제8단계를 포함한 것을 특징으로 하는 손모양 데이터베이스 구축방법.And an eighth step of extracting first hand region boundary feature vectors having a large connection strength from the second hand region boundary feature vectors from the hand-shaped database, and repeating the process from the third step. How to build a shape database. 제 18 항에 있어서, 상기 제 7 단계의 (+) 보상은 상기 연결강도에 두 손영역경계특징벡터간 유클리드거리의 역수를 0과 1 사이로 정규화한 후 10을 곱한 값을 더하는 것을 특징으로 하는 손모양 데이터베이스 구축방법.19. The hand of claim 18, wherein the (+) compensation of the seventh step is to normalize the reciprocal of the Euclidean distance between two hand region boundary feature vectors to 0 and 1, and then multiply the value by 10. How to build a shape database. 제 18 항에 있어서, 상기 제 7 단계의 (-) 보상은 상기 연결강도에서 임의의 설정치를 빼주는 것을 특징으로 하는 손모양 데이터베이스 구축방법.19. The method of claim 18, wherein the negative compensation of the seventh step subtracts a predetermined value from the connection strength. 손모양 데이터베이스 구축장치에 손모양 데이터 구축방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,A computer-readable recording medium having recorded thereon a program for executing a hand data construction method in a hand database construction device, 상기 손모양 데이터 구축방법은,The hand data construction method, 상기 구축장치가 손모양식별자 정보와 함께 입력되는 사용자의 손을 촬영한 2차원 손영상을 획득하는 손영상획득단계와;A hand image acquiring step of acquiring a two-dimensional hand image of the user's hand inputted by the construction apparatus together with hand hair style identification information; 상기 구축장치가 상기 2차원 손영상으로부터 손영역경계특징벡터를 생성하고, 상기 손영역경계특징벡터 상호간 연결강도를 추출하는 2차원특징추출단계와;A two-dimensional feature extraction step of the construction apparatus generating a hand region boundary feature vector from the two-dimensional hand image and extracting the connection strength between the hand region boundary feature vectors; 상기 구축장치가 손모양식별자 정보와 함께 입력되는 사용자의 손의 손가락 관절의 각도정보를 획득하는 손관절각도정보획득단계와;Hand joint angle information acquisition step of acquiring the angle information of the finger joint of the user's hand inputted by the construction apparatus together with the hand style identifier; 상기 구축장치가 상기 손가락 관절의 각도정보로부터 손가락관절각도벡터를 생성하고, 상기손가락관절각도벡터 상호간 연결강도를 추출하는 3차원특징추출단계와;A three-dimensional feature extraction step of the construction device generating a finger joint angle vector from the angle information of the finger joint and extracting the joint strength between the finger joint angle vectors; 상기 구축장치가 상기 손영상기반특징벡터와 관절각도기반특징벡터간 층간연결특징을 추출하는 층간연결특징추출단계와;An interlayer connection feature extraction step wherein the construction apparatus extracts the interlayer connection feature between the hand image-based feature vector and the joint angle-based feature vector; 상기 구축장치가 상기 손영역경계특징벡터와, 상기 손영역경계특징벡터 상호간 연결강도와, 상기 손가락관절각도벡터와, 상기 손가락관절각도벡터 상호간 연결강도와, 상기 층간연결특징을 상기 손모양식별자 정보와 함께 손모양데이터베이스에 저장하는 단계를 구비한 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.The construction apparatus may include the connection strength between the hand region boundary feature vector, the hand region boundary feature vector, the finger joint angle vector, the joint joint angle vector, and the interlayer connection feature. And storing in a hand-shaped database together with the computer-readable recording medium. 사용자의 손에 대해 서로 다른 각도에서 촬영한 다수의 2차원 손영상을 획득하는 손영상획득부와;A hand image acquisition unit for acquiring a plurality of two-dimensional hand images photographed at different angles with respect to a user's hand; 상기 2차원 손영상으로부터 손영역 중심에서 손영역 경계까지의 거리벡터를 정규화한 손영역경계특징벡터를 생성하는 2차원특징추출부와;A two-dimensional feature extractor for generating a hand region boundary feature vector from the two-dimensional hand image by normalizing the distance vector from the center of the hand region to the boundary of the hand region; 손영역경계특징벡터, 상기 손영역경계특징벡터 상호간 연결강도와, 상기 손영역경계특징벡터와 사용자식별자간 연결벡터와, 상기 손가락 관절의 각도정보를 정규화한 손가락관절각도벡터와, 상기 손가락관절각도벡터 상호간 연결강도와, 상기 손영역경계특징벡터와 손가락관절각도벡터간 층간연결특징을 저장하는 손모양데이터베이스와;Hand region boundary feature vector, the hand region boundary feature vector, the joint strength between the hand region boundary feature vector and the user identifier, the finger joint angle vector normalizing the angle information of the finger joint, and the finger joint angle A hand-shaped database for storing the connection strength between the vectors and the interlayer connection features between the hand region boundary feature vector and the finger joint angle vector; 상기 손영역경계특징벡터를 상기 손모양데이터베이스에 적용하여 손모양을 추적하는 손모양인식부를 구비한 것을 특징으로 하는 손모양 인식장치.And a hand shape recognition unit for applying the hand region boundary feature vector to the hand shape database to track the hand shape. 손영역 중심에서 손영역 경계까지의 거리벡터를 정규화한 손영역경계특징벡터와, 상기 손영역경계특징벡터 상호간 연결강도와, 상기 손영역경계특징벡터와 사용자식별자간 연결벡터와, 상기 손가락 관절의 각도정보를 정규화한 손가락관절각도벡터와, 상기 손가락관절각도벡터 상호간 연결강도와, 상기 손영역경계특징벡터와 손가락관절각도벡터간 층간연결특징을 저장하는 손모양데이터베이스를 이용하여 입력 2차원 손영상으로부터 손모양을 인식하는 손모양 인식장치에서의 손모양 인식방법에 있어서,The hand region boundary feature vector normalizing the distance vector from the center of the hand region to the hand region boundary, the connection strength between the hand region boundary feature vector, the connection vector between the hand region boundary feature vector and the user identifier, and the finger joint Input two-dimensional hand image using a hand-shaped database that stores the finger joint angle vector normalizing the angle information, the joint strength between the finger joint angle vector, and the interlayer connection feature between the hand region boundary feature vector and the finger joint angle vector. In a hand recognition method in a hand recognition apparatus for recognizing a hand shape from 상기 인식장치가 사용자의 손을 촬영한 2차원 손영상을 획득하는 손영상획득단계와;A hand image acquisition step of acquiring a two-dimensional hand image of the user's hand by the recognition device; 상기 인식장치가 상기 2차원 손영상으로부터 입력 손영역경계특징벡터를 생성하는 2차원특징추출단계와;A two-dimensional feature extraction step of the recognition device generating an input hand region boundary feature vector from the two-dimensional hand image; 상기 인식장치가 상기 입력 손영역경계특징벡터를 상기 손모양데이터베이스에 적용하여 손모양을 추적하는 손모양인식단계와;A hand shape recognition step of the hand recognition apparatus applying the input hand region boundary feature vector to the hand shape database to track the hand shape; 상기 추적된 손모양을 출력하는 출력단계를 포함한 것을 특징으로 하는 손모양 인식방법.Hand pattern recognition method comprising the output step of outputting the tracked hand shape. 제 23 항에 있어서, 상기 2차원특징추출단계는,The method of claim 23, wherein the two-dimensional feature extraction step, 상기 2차원 손영상으로부터 손영역영상을 추출하는 단계와, 상기 손영역영상을 크기와 방향에 대해 정규화하는 단계와, 상기 정규화된 2차원 손영역영상으로부터 손 경계를 추출하는 단계와, 사이각이 θ인 동각마스크의 중심을 상기 손 경계 추출영상의 중심에 맞추는 단계와, 상기 손 경계 추출영상과 상기 동각마스크 영상을 논리합 연산하여 상기 손 경계 추출영상을 θ의 간격으로 분할하는 단계와, 상기 손 경계 추출영상에 대해 손영역 중심으로부터 손 경계까지의 거리벡터를 θ 간격으로 측정하는 단계와, 상기 측정된 거리벡터를 0과 1 사이로 정규화하는 단계를 구비한 것을 특징으로 하는 손모양 인식방법.Extracting a hand region image from the 2D hand image, normalizing the hand region image with respect to a size and a direction, extracting a hand boundary from the normalized 2D hand region image, dividing the hand boundary extracted image at intervals of θ by arranging a center of the ridge angle mask of θ to the center of the hand boundary extracted image, performing an OR operation on the hand boundary extracted image and the angle mask image; And measuring the distance vector from the center of the hand region to the hand boundary with the θ interval with respect to the boundary extracted image, and normalizing the measured distance vector between 0 and 1. 제 24 항에 있어서, 상기 동각마스크는 픽셀의 두께가 1인 직선 k개가 마스크 영상 중심으로부터 360°/k = θ 각도 간격으로 배치된 마스크인 것을 특징으로 하는 손모양 인식방법.The hand shape recognition method according to claim 24, wherein the angle mask is a mask in which k straight lines having a thickness of 1 pixel are disposed at 360 ° / k = θ angle intervals from the mask image center. 제 23 항에 있어서, 상기 손모양인식단계는,The method of claim 23, wherein the hand recognition step, 상기 손모양데이터베이스로부터 상기 입력 손영역경계특징벡터와 유클리드거리가 최소인 제1손영역경계특징벡터를 추출하는 제1단계와,Extracting a first hand region boundary feature vector having a minimum Euclidean distance from the input hand region boundary feature vector from the hand-shaped database; 상기 손모양데이터베이스로부터 제1손영역경계특징벡터와 관련된 제1손가락관절각도벡터들을 추출하는 제2단계와,A second step of extracting first finger joint angle vectors associated with a first hand region boundary feature vector from the hand-shaped database; 상기 손모양데이터베이스로부터 각각의 제1손가락관절각도벡터들과 연결강도가 큰 제2손가락관절각도벡터들을 추출하는 제3단계와,A third step of extracting each of the first finger joint angle vectors and second finger joint angle vectors having a large connection strength from the hand-shaped database; 상기 손모양데이터베이스로부터 각각의 제2손가락관절각도벡터들과 관련된 제2손영역경계특징벡터들을 추출하는 제4단계와,Extracting second hand region boundary feature vectors associated with each second finger joint angle vector from the hand-shaped database; 상기 손모양데이터베이스로부터 제2손영역경계특징벡터들과 관련된 추적 손모양식별자들을 추출하고, 추출된 손모양식별자들에 점수를 누적하는 제5단계와,A fifth step of extracting tracking hand style identifiers related to second hand region boundary feature vectors from the hand shape database and accumulating scores on the extracted hand style identifiers; 상기 손모양데이터베이스로부터 각각의 제2손영역경계특징벡터들과 연결강도가 큰 제1손영역경계특징벡터들을 추출하고, 상기 제2단계부터 반복 수행하는 제6단계와,A sixth step of extracting first hand region boundary feature vectors having a large connection strength from the second hand region boundary feature vectors from the hand-shaped database, and repeatedly performing the operation from the second step; 임의의 손모양식별자의 누적점수가 임계값보다 커지거나 반복횟수가 최대값보다 커지면 누적점수가 가장 큰 손모양식별자를 추출하는 제7단계를 포함한 것을 특징으로 하는 손모양 인식방법.And a seventh step of extracting a hand form identifier having the largest cumulative score when the cumulative score of an arbitrary hand style identifier is greater than a threshold value or the number of repetitions is greater than a maximum value. 제 25 항에 있어서, 상기 사용자의 손을 서로 다른 각도에서 촬영한 다수의 2차원 손영상으로부터 상기 손영상획득단계 내지 손모양인식단계를 수행하고,The method according to claim 25, wherein the hand image acquisition step or the hand shape recognition step is performed from a plurality of two-dimensional hand images photographed at different angles of the user's hand, 상기 다수의 2차원 손영상에 대한 손모양인식단계에서 얻어진 손모양식별자의 누적점수를 모두 누적하여 점수가 가장 큰 손모양식별자를 출력하는 것을 특징으로 하는 손모양 인식방법.Hand pattern recognition method characterized in that to accumulate all the cumulative scores of the hand form identifier obtained in the hand shape recognition step for the plurality of two-dimensional hand image outputs the hand form identifier having the largest score. 손영역 중심에서 손영역 경계까지의 거리벡터를 정규화한 손영역경계특징벡터와, 상기 손영역경계특징벡터 상호간 연결강도와, 상기 손영역경계특징벡터와 사용자식별자간 연결벡터와, 상기 손가락 관절의 각도정보를 정규화한 손가락관절각 도벡터와, 상기 손가락관절각도벡터 상호간 연결강도와, 상기 손영역경계특징벡터와 손가락관절각도벡터간 층간연결특징을 저장하는 손모양데이터베이스를 이용하여 입력 2차원 손영상으로부터 손모양을 인식하는 손모양 인식장치에 손모양 인식방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,The hand region boundary feature vector normalizing the distance vector from the center of the hand region to the hand region boundary, the connection strength between the hand region boundary feature vector, the connection vector between the hand region boundary feature vector and the user identifier, and the finger joint Input two-dimensional hand using a hand-shaped database that stores the finger joint angle vector normalizing the angle information, the joint strength between the finger joint angle vector, and the interlayer connection feature between the hand region boundary feature vector and the finger joint angle vector. A computer-readable recording medium having recorded thereon a program for executing a hand recognition method in a hand recognition apparatus for recognizing a hand shape from an image, 상기 손모양 인식방법은,The hand recognition method, 상기 인식장치가 사용자의 손을 촬영한 2차원 손영상을 획득하는 손영상획득단계와;A hand image acquisition step of acquiring a two-dimensional hand image of the user's hand by the recognition device; 상기 인식장치가 상기 2차원 손영상으로부터 입력 손영역경계특징벡터를 생성하는 2차원특징추출단계와;A two-dimensional feature extraction step of the recognition device generating an input hand region boundary feature vector from the two-dimensional hand image; 상기 인식장치가 상기 입력 손영역경계특징벡터를 상기 손모양데이터베이스에 적용하여 손모양을 추적하는 손모양인식단계와;A hand shape recognition step of the hand recognition apparatus applying the input hand region boundary feature vector to the hand shape database to track the hand shape; 상기 추적된 손모양을 출력하는 출력단계를 포함한 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.And a outputting step of outputting the tracked hand shape.
KR1020040093023A 2004-11-15 2004-11-15 Hand-posture database construction, hand-posture recognition, and recording medium KR100617976B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040093023A KR100617976B1 (en) 2004-11-15 2004-11-15 Hand-posture database construction, hand-posture recognition, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040093023A KR100617976B1 (en) 2004-11-15 2004-11-15 Hand-posture database construction, hand-posture recognition, and recording medium

Publications (2)

Publication Number Publication Date
KR20060053348A KR20060053348A (en) 2006-05-22
KR100617976B1 true KR100617976B1 (en) 2006-08-31

Family

ID=37150325

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040093023A KR100617976B1 (en) 2004-11-15 2004-11-15 Hand-posture database construction, hand-posture recognition, and recording medium

Country Status (1)

Country Link
KR (1) KR100617976B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101558200B1 (en) 2010-12-06 2015-10-08 한국전자통신연구원 Apparatus and method for controlling idle of vehicle
KR20170028078A (en) 2015-09-03 2017-03-13 한국과학기술연구원 Apparatus and method of hand gesture recognition based on depth image
WO2017099311A1 (en) * 2015-12-09 2017-06-15 원광대학교 산학협력단 Automated application execution apparatus

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100921821B1 (en) * 2007-12-07 2009-10-16 영남대학교 산학협력단 Method for building up feature space trajectory database and method for identifying a multi-aspect target
KR100917755B1 (en) * 2007-12-10 2009-09-15 한국전자통신연구원 Apparatus and method for changing physical data of virtual object
KR101601872B1 (en) * 2009-12-16 2016-03-09 한국전자통신연구원 Method for finger gesture recognition
KR101654311B1 (en) * 2010-02-25 2016-09-05 삼성전자주식회사 User motion perception method and apparatus
KR101364571B1 (en) 2010-10-06 2014-02-26 한국전자통신연구원 Apparatus for hand detecting based on image and method thereof
KR101482850B1 (en) * 2013-04-23 2015-01-22 연세대학교 산학협력단 Method and apparatus for hand shape recognition
KR101654120B1 (en) * 2014-11-03 2016-09-06 광운대학교 산학협력단 A Robust Finger Shape Recognition Method to Shape Angle by using Geometrical Features

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04222014A (en) * 1990-12-25 1992-08-12 Nippon Telegr & Teleph Corp <Ntt> Automatic finger talking translating device using neural network and its translating method
JPH0612163A (en) * 1992-06-26 1994-01-21 Canon Inc Finger language data input device
JPH117237A (en) 1997-06-16 1999-01-12 Jirou Urii Method and device for converting movement of person into sound
KR19990046909A (en) * 1997-12-01 1999-07-05 정선종 Computer window control device using hand gesture and method thereof
KR20000017756A (en) * 1999-11-12 2000-04-06 황병익 Apparatus for Translating of Finger Language
KR20020011451A (en) * 2002-01-19 2002-02-08 이종철 Sign language translator
KR20030049256A (en) * 2001-12-14 2003-06-25 주식회사 지아이텍 Finger-language translation device and data communication system thereby
KR20050060606A (en) * 2003-12-17 2005-06-22 엘지전자 주식회사 Device and method for interaction between human and computer

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04222014A (en) * 1990-12-25 1992-08-12 Nippon Telegr & Teleph Corp <Ntt> Automatic finger talking translating device using neural network and its translating method
JPH0612163A (en) * 1992-06-26 1994-01-21 Canon Inc Finger language data input device
JPH117237A (en) 1997-06-16 1999-01-12 Jirou Urii Method and device for converting movement of person into sound
KR19990046909A (en) * 1997-12-01 1999-07-05 정선종 Computer window control device using hand gesture and method thereof
KR20000017756A (en) * 1999-11-12 2000-04-06 황병익 Apparatus for Translating of Finger Language
KR20030049256A (en) * 2001-12-14 2003-06-25 주식회사 지아이텍 Finger-language translation device and data communication system thereby
KR20020011451A (en) * 2002-01-19 2002-02-08 이종철 Sign language translator
KR20050060606A (en) * 2003-12-17 2005-06-22 엘지전자 주식회사 Device and method for interaction between human and computer

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101558200B1 (en) 2010-12-06 2015-10-08 한국전자통신연구원 Apparatus and method for controlling idle of vehicle
KR20170028078A (en) 2015-09-03 2017-03-13 한국과학기술연구원 Apparatus and method of hand gesture recognition based on depth image
US10078796B2 (en) 2015-09-03 2018-09-18 Korea Institute Of Science And Technology Apparatus and method of hand gesture recognition based on depth image
WO2017099311A1 (en) * 2015-12-09 2017-06-15 원광대학교 산학협력단 Automated application execution apparatus

Also Published As

Publication number Publication date
KR20060053348A (en) 2006-05-22

Similar Documents

Publication Publication Date Title
CN109636831B (en) Method for estimating three-dimensional human body posture and hand information
Yao et al. Contour model-based hand-gesture recognition using the Kinect sensor
Kakadiaris et al. Model-based estimation of 3D human motion with occlusion based on active multi-viewpoint selection
JP4148281B2 (en) Motion capture device, motion capture method, and motion capture program
CN110532861B (en) Behavior recognition method based on framework-guided multi-mode fusion neural network
JP5931215B2 (en) Method and apparatus for estimating posture
Chua et al. Model-based 3D hand posture estimation from a single 2D image
KR20210011425A (en) Image processing method and device, image device, and storage medium
Zeng et al. View-invariant gait recognition via deterministic learning
CN109960962B (en) Image recognition method and device, electronic equipment and readable storage medium
CN108509026B (en) Remote maintenance support system and method based on enhanced interaction mode
WO2007102537A1 (en) Posture estimating device and method
CN111862299A (en) Human body three-dimensional model construction method and device, robot and storage medium
KR100617976B1 (en) Hand-posture database construction, hand-posture recognition, and recording medium
Aristidou Hand tracking with physiological constraints
CN110348321A (en) Human motion recognition method based on bone space-time characteristic and long memory network in short-term
CN115880724A (en) Light-weight three-dimensional hand posture estimation method based on RGB image
CN115690908A (en) Three-dimensional gesture attitude estimation method based on topology perception
WO2024094227A1 (en) Gesture pose estimation method based on kalman filtering and deep learning
Ong et al. Tracking hybrid 2D-3D human models from multiple views
Cao et al. Human posture recognition using skeleton and depth information
Jatesiktat et al. Personalized markerless upper-body tracking with a depth camera and wrist-worn inertial measurement units
Najmaei et al. A new sensory system for modeling and tracking humans within industrial work cells
Shah et al. Gesture recognition technique: a review
JP2000348181A (en) Moving object tracking device

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20100802

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee