KR101706864B1 - Real-time finger and gesture recognition using motion sensing input devices - Google Patents
Real-time finger and gesture recognition using motion sensing input devices Download PDFInfo
- Publication number
- KR101706864B1 KR101706864B1 KR1020150143676A KR20150143676A KR101706864B1 KR 101706864 B1 KR101706864 B1 KR 101706864B1 KR 1020150143676 A KR1020150143676 A KR 1020150143676A KR 20150143676 A KR20150143676 A KR 20150143676A KR 101706864 B1 KR101706864 B1 KR 101706864B1
- Authority
- KR
- South Korea
- Prior art keywords
- hand
- finger
- value
- image
- distance
- Prior art date
Links
Images
Classifications
-
- G06K9/00362—
-
- G06K9/00389—
-
- G06K9/32—
-
- G06K9/6202—
-
- G06K9/6204—
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
Description
아래의 설명은 제스처를 인식하는 기술에 관한 것으로, 손 영역을 검출하고 손가락 개수를 인식하는 방법 및 시스템에 관한 것이다.
The following description relates to a technique for recognizing a gesture, and relates to a method and system for detecting a hand region and recognizing the number of fingers.
인간은 의사소통을 통해서 상호관계를 유지하고 발전시킨다. 의사소통의 종류에는 언어적 의사소통과 비언어적 의사소통이 있다. 언어적 의사소통은 말이나 글을 사용하여 하는 것이고, 비언어적 의사소통은 윙크, 악수, 웃음과 같이 몸동작을 사용하여 의사를 전달하는 것이다. 일상생활에서 자주 사용하는 제스처 또한 비언어적 의사소통의 방법 중 하나이다. 제스처는 말의 효과를 더하기 위하여 사용하는 손짓이다.Human beings maintain and develop mutual relations through communication. Types of communication include verbal communication and nonverbal communication. Verbal communication is done using words or writing, and nonverbal communication is conveying a doctor using gestures such as winks, handshakes, and laughs. Gestures often used in everyday life are also one of the methods of nonverbal communication. A gesture is a hand gesture used to add the effect of a horse.
오늘 날 다양한 영상 디스플레이 장치가 발전되고 보급되면서 이전과 달리 비하드웨어적 인터페이스의 사용이 보편화되고 있다. 하드웨어 인터페이스는 마우스나 키보드와 같이 물리적인 장치를 통해서 컴퓨터와 상호작용하였다. 하지만 비하드웨어적 인터페이스는 물리적인 장치를 사용하지 않고 사람의 신체기관으로 컴퓨터와 상호작용하는 기술이다. 비하드웨어적 인터페이스는 누구나 배우기 쉽고 사용하기 쉬운 직관적인 제어방법이다. 이러한 기술을 NUI(Natural User Interface) 또는 NUX(Natural User eXperience)라고 한다. NUI/NUX에 관한 연구는 HCI(Human-Computer Interaction, HCI)와 HRI(Human-Robot Interaction, HRI) 분야에서 활발히 진행되고 있다. 다시 말해서, 음성과 몸동작이 상호작용을 위한 도구가 되는 것이다. 특히 제스처는 단순하면서도 직관적이기 때문에 많은 연구가 이루어지고 있다.Today, as various image display devices are developed and popularized, the use of non-hardware interfaces becomes common. The hardware interface interacted with the computer through a physical device such as a mouse or keyboard. However, a non-hardware interface is a technology that interacts with a computer to a person's body organs without using a physical device. The non-hardware interface is an intuitive control method that is easy for anyone to learn and easy to use. These techniques are called NUI (Natural User Interface) or NUX (Natural User Experience). Research on NUI / NUX is actively conducted in HCI (Human-Computer Interaction, HCI) and HRI (Human-Robot Interaction, HRI). In other words, voice and gesture are tools for interaction. Especially, since gestures are simple and intuitive, many studies have been made.
제스처 인식을 위한 연구는 다양한 장비들을 사용하여 진행되어 왔다. 데이터 글러브와 비디오 카메라가 대표적인 예이다. 데이터 글러브는 손에 끼고서 사용하는 멀티미디어 입력 장치이다. 데이터 글러브는 손의 모양과 움직임을 정확하게 측정할 수 있다. 하지만 손의 움직임을 제한하고 추가적인 보정을 요구하며 비용이 많이 들어가는 단점이 있다. 비디오 카메라를 이용한 인식방법은 이슈가 되고 있는 방법이다. 하지만 상기 인식방법은 배경과 손을 분리하는 것이 쉽지 않다는 단점을 가지고 있다. 조명의 변화와 물체의 빠른 움직임, 손 주변에 다른 피부색의 개체가 있을 경우 명확한 손 분리가 어렵기 때문이다.Research on gesture recognition has been conducted using a variety of equipment. Data gloves and video cameras are typical examples. The data glove is a multimedia input device used in the hand. The data glove can accurately measure the shape and movement of the hand. However, there is a disadvantage in that it limits the movement of the hand, requires additional correction, and costs a lot. Recognition using video cameras is an issue that has become an issue. However, the recognition method has a disadvantage in that it is not easy to separate the background from the hand. This is because it is difficult to separate the hands clearly if there is a change of illumination, fast movement of the object, or objects of different skin color around the hand.
위와 같은 문제들은, 마이크로소프트사의 키넥트가 출시되면서 해결할 수 있게 되었다. 키넥트는 일반 비디오 카메라와 달리 컬러 영상과 깊이 영상을 동시에 제공한다. 깊이 영상은 조명에 영향을 받지 않기 때문에 정확하게 배경의 분리를 가능하게 해준다. 또한 카메라가 동작할 수 없는 환경에서도 적합하다. 또한 키넥트는 주변에 다른 피부색의 개체가 있을 경우에도 정확한 배경 분리를 돕는다. 그 이유는 깊이 영상이 깊이 값을 제공하기 때문이다. 깊이 값은 적외선 카메라를 사용하여 키넥트와 개체 사이의 거리를 계산한 값이다. 깊이 값은 키넥트와 개체가 가까울수록 작은 값을 가지며 멀수록 큰 값을 갖는다. 키넥트와 개체의 거리는 1.2M~3.5M가 가장 효율적인 거리이다.These problems can be solved with the release of Microsoft's Kinect. Unlike a regular video camera, the kinket provides both color and depth images at the same time. Depth images are not affected by illumination, which allows precise background separation. It is also suitable in an environment where the camera can not operate. The kinetics also helps precise background separation in the presence of other skin color entities. This is because depth images provide depth values. The depth value is calculated by calculating the distance between the Kinect and the object using an infrared camera. The depth value has a smaller value as the closer to an object is, and a larger value as the distance becomes larger. The distance between the Kinect and the object is the most efficient distance of 1.2M ~ 3.5M.
한국공개특허 제10-2014-0035244호는 사용자 인터페이싱 장치 및 방법, 그리고 이를 이용하는 단말 장치에 관하여 개시하고 있다.
Korean Patent Laid-Open No. 10-2014-0035244 discloses a user interfacing apparatus and method, and a terminal apparatus using the same.
모션 센싱 입력기기와 손의 기하학적인 특징을 이용하여 손가락 및 손동작을 인식하는 방법 및 시스템을 제안한다.
We propose a method and system for recognizing finger and hand movements using motion sensing input device and hand geometry.
일 실시예에 따르면, 실시간으로 손가락 및 손동작을 인식하는 방법은, 깊이 영상의 깊이 값에 기초하여 영상으로부터 배경과 손을 분리하고, 상기 깊이 값에 임계값을 설정하여 손 영역을 획득하는 단계; 상기 획득된 손 영역을 그레이 영상 및 이진화 영상으로 변환하는 단계; 상기 이진화 영상으로부터 컨투어를 이용하여 손의 중점과 손의 외곽선을 검출하는 단계; 및 상기 검출된 손의 중점과 상기 손의 외곽선 사이의 거리에 기초하여 손가락의 개수를 인식하는 단계를 포함할 수 있다.According to an embodiment, a method of recognizing a finger and a hand gesture in real time includes: separating a background and a hand from an image based on a depth value of the depth image; setting a threshold value to the depth value to obtain a hand region; Converting the obtained hand region into a gray image and a binary image; Detecting a center of a hand and an outline of a hand using the contour from the binarized image; And recognizing the number of fingers based on the distance between the center of the detected hand and the outline of the hand.
일측에 따르면, 상기 컨투어는, 인접한 픽셀값과 동일한 픽셀값을 갖는 픽셀들의 집합을 의미하고, 상기 영상의 프레임에서 각각의 픽셀에 인접한 픽셀의 픽셀값을 비교함으로써 검출되는 것을 포함하고, 상기 이진화 영상으로부터 컨투어를 이용하여 손의 중점과 외곽선을 검출하는 단계는, 컨투어 좌표들의 평균값을 계산함으로써 상기 손의 중점을 검출하고, 상기 컨투어 좌표들을 연결함으로써 상기 손의 외곽선을 검출하는 단계를 포함할 수 있다.According to one aspect, the contour refers to a set of pixels having the same pixel value as an adjacent pixel value, and is detected by comparing pixel values of pixels adjacent to each pixel in the frame of the image, Detecting the midpoint and outline of the hand using the contour may comprise detecting the midpoint of the hand by calculating an average value of the contour coordinates and detecting the outline of the hand by concatenating the contour coordinates .
또 다른 일측에 따르면, 상기 이진화 영상으로부터 컨투어를 이용하여 손의 중점과 외곽선을 검출하는 단계는, 상기 영상에서 각각의 다른 픽셀값을 갖는 각각의 픽셀들로부터 동일한 픽셀값을 갖는 픽셀을 탐색하여 연결하되, 상기 영상을 이진화시킴으로써 픽셀들의 픽셀값을 단순화시키는 단계를 포함할 수 있다.According to another aspect of the present invention, the step of detecting the center of gravity and the outline of the hand using the contour from the binarized image may include searching for pixels having the same pixel value from each of the pixels having different pixel values in the image, And simplifying the pixel values of the pixels by binarizing the image.
또 다른 일측에 따르면, 상기 외곽선은, 상기 컨투어로 구성되어 각각의 픽셀의 좌표를 이용하는 것을 포함하고, 상기 검출된 손의 중점과 상기 손의 외곽선 사이의 거리에 기초하여 손가락의 개수를 인식하는 단계는, 상기 외곽선을 구성하고 있는 좌표들과 상기 손의 중점 사이의 거리를 계산하되, 상기 좌표들을 반시계방향으로 탐색하는 단계를 포함할 수 있다.According to another aspect, the outline includes using the coordinates of each pixel composed of the contour, and recognizing the number of fingers based on the distance between the detected center of the hand and the outline of the hand Calculating a distance between coordinates constituting the outline and a midpoint of the hand, and searching for the coordinates in a counterclockwise direction.
또 다른 일측에 따르면, 상기 검출된 손의 중점과 상기 손의 외곽선 사이의 거리에 기초하여 손가락의 개수를 인식하는 단계는, 연속된 3개의 좌표와 상기 손의 중점과의 거리를 비교하고, 상기 연속된 3개의 좌표값 중 두 번째의 좌표값이 가장 크다면, 상기 두 번째 좌표값에 대응하는 지점이 손가락 후보가 되는 단계를 포함할 수 있다. According to another aspect of the present invention, the step of recognizing the number of fingers based on the distance between the detected center point of the hand and the outline of the hand may include comparing the distance between the three consecutive coordinates and the center point of the hand, And if the second coordinate value of the three consecutive coordinate values is the largest, the point corresponding to the second coordinate value becomes the finger candidate.
또 다른 일측에 따르면, 상기 검출된 손의 중점과 상기 손의 외곽선 사이의 거리에 기초하여 손가락의 개수를 인식하는 단계는, 상기 손의 중점보다 아래에 있는 픽셀들에 대하여 상기 거리에 대한 계산 대상에서 제외하고, 상기 손가락 후보의 개수를 상기 손가락 개수로 인식하는 단계를 포함할 수 있다.According to another aspect, the step of recognizing the number of fingers based on the distance between the midpoint of the detected hand and the outline of the hand may include calculating the number of fingers based on the calculated distance And recognizing the number of the finger candidates as the number of fingers.
또 다른 일측에 따르면, 상기 깊이 값은, 모션 센싱 입력기기와 개체 사이의 거리를 의미하고, 상기 모션 센싱 입력기기와 상기 개체와의 거리가 가까울수록 상기 깊이 값의 크기가 작은 값을 가지고, 상기 모션 센싱 입력기기와 상기 개체의 거리가 멀수록 상기 깊이 값의 크기가 큰 값을 가지는 것을 포함하고, 상기 모션 센싱 입력기기는, 컬러 영상과 깊이 영상을 동시에 제공할 수 있다. According to another aspect of the present invention, the depth value is a distance between the motion sensing input device and the object, the depth value has a smaller value as the distance between the motion sensing input device and the object becomes closer, The motion sensing input device may provide a color image and a depth image at the same time, and the motion sensing input device may have a larger depth value as the distance between the motion sensing input device and the object increases.
일 실시예에 따르면, 제스처를 인식하는 시스템은, 깊이 영상의 깊이 값에 기초하여 영상으로부터 배경과 손을 분리하고, 상기 깊이 값에 임계값을 설정하여 손 영역을 획득하는 획득부; 상기 획득된 손 영역을 그레이 영상 및 이진화 영상으로 변환하는 변환부; 상기 이진화 영상으로부터 컨투어를 이용하여 손의 중점과 손의 외곽선을 검출하는 검출부; 및 상기 검출된 손의 중점과 상기 손의 외곽선 사이의 거리에 기초하여 손가락의 개수를 인식하는 인식부를 포함할 수 있다.According to an embodiment, a system for recognizing a gesture includes an acquiring unit for acquiring a hand region by separating a background and a hand from an image based on a depth value of the depth image, and setting a threshold value to the depth value; A converting unit converting the obtained hand region into a gray image and a binarized image; A detector for detecting the center of the hand and the outline of the hand using the contour from the binarized image; And a recognition unit for recognizing the number of fingers based on the distance between the center of the detected hand and the outline of the hand.
일측에 따르면, 상기 컨투어는, 인접한 픽셀값과 동일한 픽셀값을 갖는 픽셀들의 집합을 의미하고, 상기 영상의 프레임에서 각각의 픽셀에 인접한 픽셀의 픽셀값을 비교함으로써 검출되는 것을 포함하고, 상기 검출부는, 컨투어 좌표들의 평균값을 계산함으로써 상기 손의 중점을 검출하고, 상기 컨투어 좌표들을 연결함으로써 상기 손의 외곽선을 검출할 수 있다. According to one aspect, the contour refers to a set of pixels having the same pixel value as an adjacent pixel value, and is detected by comparing pixel values of pixels adjacent to each pixel in the frame of the image, , The center of the hand can be detected by calculating the average value of the contour coordinates, and the outline of the hand can be detected by connecting the contour coordinates.
또 다른 일측에 따르면, 상기 검출부는, 상기 영상에서 각각의 다른 픽셀값을 갖는 각각의 픽셀들로부터 동일한 픽셀값을 갖는 픽셀을 탐색하여 연결하되, 상기 영상을 이진화시킴으로써 픽셀들의 픽셀값을 단순화시킬 수 있다. According to another aspect of the present invention, the detecting unit may search for and connect pixels having the same pixel value from each of the pixels having different pixel values in the image, and may simplify the pixel values of the pixels by binarizing the image have.
또 다른 일측에 따르면, 상기 외곽선은, 상기 컨투어로 구성되어 각각의 픽셀의 좌표를 이용하는 것을 포함하고, 상기 인식부는, 상기 외곽선을 구성하고 있는 좌표들과 상기 손의 중점 사이의 거리를 계산하되, 상기 좌표들을 반시계방향으로 탐색할 수 있다. According to another aspect of the present invention, the outline includes using the coordinates of each pixel composed of the contours, and the recognizing unit calculates a distance between the coordinates constituting the outline and the midpoint of the hand, The coordinates can be searched in the counterclockwise direction.
또 다른 일측에 따르면, 상기 인식부는, 연속된 3개의 좌표와 상기 손의 중점과의 거리를 비교하고, 상기 연속된 3개의 좌표값 중 두 번째의 좌표값이 가장 크다면, 상기 두 번째 좌표값에 대응하는 지점이 손가락 후보가 될 수 있다.According to another aspect of the present invention, the recognition unit compares distances between three consecutive coordinates and a midpoint of the hand, and if the second coordinate value of the three consecutive coordinate values is the greatest, Can be a finger candidate.
또 다른 일측에 따르면, 상기 인식부는, 상기 손의 중점보다 아래에 있는 픽셀들에 대하여 상기 거리에 대한 계산 대상에서 제외하고, 상기 손가락 후보의 개수를 상기 손가락 개수로 인식할 수 있다. According to another aspect of the present invention, the recognition unit can recognize the number of the finger candidates as the number of fingers, excluding pixels under the center of the hand from the calculation of the distance.
또 다른 일측에 따르면, 상기 깊이 값은, 모션 센싱 입력기기와 개체 사이의 거리를 의미하고, 상기 모션 센싱 입력기기와 상기 개체와의 거리가 가까울수록 상기 깊이 값의 크기가 작은 값을 가지고, 상기 모션 센싱 입력기기와 상기 개체의 거리가 멀수록 상기 깊이 값의 크기가 큰 값을 가지는 것을 포함하고, 상기 모션 센싱 입력기기는, 컬러 영상과 깊이 영상을 동시에 제공할 수 있다.
According to another aspect of the present invention, the depth value is a distance between the motion sensing input device and the object, the depth value has a smaller value as the distance between the motion sensing input device and the object becomes closer, The motion sensing input device may provide a color image and a depth image at the same time, and the motion sensing input device may have a larger depth value as the distance between the motion sensing input device and the object increases.
일 실시예에 따른 손가락 및 손동작 인식 시스템은 모션 센싱 입력기기를 사용하여 깊이 영상으로부터 손과 배경을 분리하고, 컨투어를 이용하여 손의 중점과 손의 외곽선을 검출할 수 있다. A finger and hand movement recognition system according to an embodiment can separate a hand and a background from a depth image using a motion sensing input device, and can detect a center of a hand and an outline of a hand using a contour.
일 실시예에 따른 손가락 및 손동작 인식 시스템은 연속된 3개의 좌표와 손의 중점과의 거리를 비교하여 손가락 후보를 탐색하고, 탐색된 손가락 후보에 대하여 손가락 개수로 인식함으로써 보다 빠른 속도로 손가락 개수를 찾아낼 수 있다.
The finger and hand movement recognition system according to an embodiment searches for a finger candidate by comparing three consecutive coordinates and a distance from the midpoint of the hand, and recognizes the candidate as a number of fingers, Can be found.
도 1은 일 실시예에 따른 손가락 및 손동작 인식 시스템의 구성을 설명하기 위한 블록도이다.
도 2는 일 실시예에 따른 손가락 및 손동작 인식 시스템의 동작을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 손가락 및 손동작 인식 시스템에서 설정된 임계값에 의하여 손 영역을 검출한 예를 나타낸 도면이다.
도 4는 일 실시예에 따른 손가락 및 손동작 인식 시스템에서 손의 중점과 외곽선을 검출하는 것을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 손가락 및 손동작 인식 시스템에서 손 영역으로부터 손의 중점과 외곽선을 검출한 예를 나타낸 도면이다.
도 6은 일 실시예에 따른 손가락 및 손동작 인식 시스템에서 손가락 개수를 인식하는 것을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 손가락 및 손동작 인식 시스템의 손가락 및 손동작 인식 방법을 설명하기 위한 흐름도이다. 1 is a block diagram for explaining a configuration of a finger and a hand gesture recognition system according to an embodiment.
2 is a view for explaining the operation of the finger and hand movement recognition system according to one embodiment.
FIG. 3 is a diagram illustrating an example of detecting a hand region according to a threshold value set in the finger and hand movement recognition system according to an embodiment.
4 is a diagram for explaining the detection of the center of gravity and the outline of the hand in the finger and hand movement recognition system according to the embodiment.
FIG. 5 is a diagram illustrating an example in which the center of gravity and the outline of a hand are detected from the hand region in the finger and hand movement recognition system according to the embodiment.
6 is a diagram for explaining recognition of the number of fingers in the finger and hand recognition system according to the embodiment.
7 is a flowchart for explaining a finger and a hand movement recognition method of the finger and hand movement recognition system according to an embodiment.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.
도 1은 일 실시예에 따른 손가락 및 손동작 인식 시스템의 구성을 설명하기 위한 블록도이다.1 is a block diagram for explaining a configuration of a finger and a hand gesture recognition system according to an embodiment.
손가락 및 손동작 인식 시스템(100)은 손가락 및 손동작을 인식하기 위한 것으로, 획득부(110), 변환부(120), 검출부(130) 및 인식부(140)를 포함할 수 있다.The finger and hand
획득부(110)는 깊이 영상의 깊이 값에 기초하여 영상으로부터 배경과 손을 분리하고, 깊이 값에 임계값을 설정하여 손 영역을 획득할 수 있다. The acquiring
변환부(120)는 획득된 손 영역으로부터 손가락을 인식하기 위하여 그레이 영상 및 이진화 영상으로 변환할 수 있다. The
검출부(130)는 이진화 영상으로부터 컨투어를 이용하여 손의 중점과 손의 외곽선을 검출할 수 있다. 검출부(130)는 컨투어 좌표의 평균값을 계산함으로써 손의 중점을 검출하고, 컨투어 좌표들을 연결함으로써 손의 외곽선을 검출할 수 있다. 검출부(130)는 영상에서 각각의 다른 픽셀값을 가지는 각각의 픽셀마다 동일한 픽셀값을 가지는 픽셀을 탐색하여 연결하되, 영상을 이진화시킴으로써 픽셀들의 값을 단순화시킬 수 있다. The
인식부(140)는 검출된 손의 중점과 손의 외곽선 사이의 거리에 기초하여 손가락의 개수를 인식할 수 있다. 인식부(140)는 외곽선을 구성하고 있는 좌표들과 손의 중점 사이의 거리를 계산하되 좌표들을 반시계방향으로 탐색할 수 있다. The
인식부(140)는 연속된 3개의 좌표와 손의 중점과의 거리를 비교하고, 연속된 3개의 좌표값 중 두 번째의 좌표값이 가장 크다면, 두 번째 좌표값에 대응하는 지점이 손가락 후보가 될 수 있다. 인식부(140)는 손의 중점보다 아래에 있는 픽셀들에 대하여 거리에 대한 계산 대상에서 제외하고, 손가락 후보의 개수를 손가락 개수로 인식할 수 있다. The
도 2는 일 실시예에 따른 손가락 및 손동작 인식 시스템의 동작을 설명하기 위한 도면이다. 2 is a view for explaining the operation of the finger and hand movement recognition system according to one embodiment.
손가락 및 손동작 인식 시스템은 손의 중점과 손의 외곽선을 검출하고, 손의 중점과 손의 외곽선 사이의 거리에 기초하여 손가락 개수를 인식할 수 있다. The finger and hand recognition system can detect the center of the hand and the outline of the hand and recognize the number of fingers based on the distance between the center of the hand and the outline of the hand.
모션 센싱 입력기기(Motion Sensing Input Devices)(200)는 컬러 영상과 깊이 영상을 동시에 제공할 수 있다. 예를 들면, 모션 센싱 입력기기는 마이크로소프트사로부터 제작/보급되는 키넥트가 포함될 수 있다. 이때, 깊이 영상은 적외선 센서를 통해 입력될 수 있다. 깊이 영상은 깊이 갚을 제공한다. 깊이 값은 3차원 형태로 입력되는 제스처를 인식하기 위하여 사용될 수 있다. 정확한 제스처 인식을 위해서는 영상에서 배경과 손의 분리가 이루어져야 한다. 이에 따라 손가락 및 손동작 인식 시스템은 배경과 손의 분리를 위하여 깊이 값에 임계값을 설정하여 적용할 수 있다(220). A motion
깊이 값은 모션 센싱 입력기기(200)와 개체(210) 사이의 거리이며, 거리에 따라서 다른 값을 갖는다. 예를 들면, 깊이 값은 개체(210)와 모션 센싱 입력기기(200) 사이의 거리가 가까울수록 적은 값을 가지고, 개체(210)와 모션 센싱 입력기기(200) 사이의 거리가 멀수록 큰 값을 갖는다. 개체(210), 예를 들면, 사용자의 손과 모션 센싱 입력기기(200) 사이의 거리가 제일 가깝기 때문에 배경과의 분리가 쉽게 이루어질 수 있다. The depth value is the distance between the motion
손가락 및 손동작 인식 시스템은 배경과 손을 분리한 후, 손가락 개수를 인식하기 위하여 이진화 영상으로 변환할 수 있다(230). 손가락 및 손동작 인식 시스템은 이진화 영상으로부터 컨투어를 이용하여 손의 중점과 손의 외곽선을 검출할 수 있다(240). The finger and hand gesture recognition system can convert the background and hand into a binary image to recognize the number of fingers (230). The finger and hand gesture recognition system can detect the center of the hand and the outline of the hand using the contour from the binarized image (240).
도 3은 일 실시예에 따른 손가락 및 손동작 인식 시스템에서 설정된 임계값에 의하여 손 영역을 검출한 예를 나타낸 도면이다. FIG. 3 is a diagram illustrating an example of detecting a hand region according to a threshold value set in the finger and hand movement recognition system according to an embodiment.
손가락 및 손동작 인식 시스템은 정확한 손 인식을 위하여 배경과 손을 분리하는 전처리 과정을 수행할 수 있다. 손가락 및 손동작 인식 시스템은 배경과 손을 분리하기 위하여 모션 센싱 입력기기의 깊이 영상을 활용할 수 있다. 깊이 값은 모션 센싱 입력기기와 개체 사이의 거리에 기초하여 값이 달라질 수 있다. The finger and hand recognition system can perform a preprocessing process to separate the background and the hand for accurate hand recognition. The finger and hand gesture recognition system can utilize the depth image of the motion sensing input device to separate the background and the hand. The depth value may vary depending on the distance between the motion sensing input device and the object.
손가락 및 손동작 인식 시스템은 깊이 값에 임계값을 설정하여 영상으로부터 손 영역만을 획득할 수 있다. 손가락 및 손동작 인식 시스템은 검출된 손 영역으로부터 손가락 개수를 파악하기 위하여 그레이 영상으로 변환한 후, 이진화 영상으로 변환할 수 있다. 손가락 및 손동작 인식 시스템에서 임계 값을 설정하여 영상으로부터 손 영역을 검출한 결과는 도 3과 같다.The finger and hand recognition system can only acquire the hand region from the image by setting a threshold value to the depth value. The finger and hand gesture recognition system can be converted into a gray image and then into a binary image in order to grasp the number of fingers from the detected hand region. The result of detecting the hand region from the image by setting the threshold value in the finger and hand recognition system is shown in Fig.
도 4는 일 실시예에 따른 손가락 및 손동작 인식 시스템에서 손의 중점과 외곽선을 검출하는 것을 설명하기 위한 도면이다. 4 is a diagram for explaining the detection of the center of gravity and the outline of the hand in the finger and hand movement recognition system according to the embodiment.
손가락 및 손동작 인식 시스템은 손의 중점과 외곽선을 컨투어를 이용하여 검출할 수 있다. 예를 들면, 컨투어는 OpenCV 라이브러리를 사용하여 획득할 수 있다. 영상의 프레임은 픽셀로 구성되어 있기 때문에 각각의 픽셀마다 각각의 고유의 픽셀값을 가지고 있다. 다시 말해서, 영상의 프레임에서 각각의 픽셀마다 각각의 다른 픽셀값을 가지고 있다.The finger and hand recognition system can detect the midpoint and outline of the hand using the contour. For example, a contour can be obtained using the OpenCV library. Since a frame of an image consists of pixels, each pixel has its own pixel value. In other words, each pixel in the frame of the image has a different pixel value.
손가락 및 손동작 인식 시스템은 각각의 픽셀로 구성된 프레임으로부터 컨투어를 찾기 위하여 동일한 픽셀값을 갖는 픽셀을 탐색하여 연결할 수 있다. 컨투어는 인접한 픽셀값과 동일한 픽셀값을 갖는 픽셀들의 집합을 의미한다.The finger and hand gesture recognition system can search for and connect pixels having the same pixel value to find a contour from a frame composed of each pixel. A contour means a set of pixels having the same pixel value as an adjacent pixel value.
손가락 및 손동작 인식 시스템은 프레임의 각각의 픽셀에 인접한 픽셀값을 비교하여 컨투어를 검출할 수 있다. 하지만, 픽셀값들이 각각 다르기 때문에 건투어를 검출하는 시간이 오래 소요된다. 이를 해결하기 위하여 손가락 및 손동작 인식 시스템은 영상에 이진화 영상으로 변환함으로써 픽셀들의 값을 단순화시킬 수 있다. The finger and hand gesture recognition system can detect contours by comparing pixel values adjacent to each pixel of the frame. However, since the pixel values are different, it takes a long time to detect the gun tours. To solve this problem, the finger and hand recognition system can simplify the values of pixels by converting them into binarized images.
이진화된 프레임은 맨 왼쪽의 행과 열, 맨 아래쪽의 행과 열로 구성될 수 있다. i번?? 행과 j 번째 열에 위치한 픽셀은 P(i, j)로 표시할 수 있다. 행번호 i는 위에서 아래쪽으로 증가하며, 열번호 j는 왼쪽에서 오른쪽으로 증가한다. 해당 픽셀의 값은 
도 4(a)는 이진화된 프레임의 예를 나타낸 것이다. 1은 프레임에서 임계값 이상의 값에 해당하는 픽셀이고, 0은 임계값 미만의 값에 해당하는 픽셀이다. 손가락 및 손동작 인식 시스템은 컨투어 검출을 위하여 픽셀의 한 행씩 탐색할 수 있다. 도 4(d)는 컨투어를 검출한 결과를 나타낸 것이다.4 (a) shows an example of a binarized frame. 1 is a pixel corresponding to a value equal to or greater than a threshold value in a frame, and 0 is a pixel corresponding to a value less than a threshold value. The finger and hand gesture recognition system can search a row of pixels for contour detection. 4 (d) shows the result of detecting the contour.
손가락 및 손동작 인식 시스템은 P(i, j)의 
(1) 
(2) P(i, j)를 중심으로 인접한 픽셀을 시계방향으로 탐색한다. 탐색은 
(3) 
(4) 
(5) 
(6) 
손가락 및 손동작 인식 시스템은 손의 중점을 검출된 컨투어 좌표의 평균값을 계산함으로써 찾을 수 있다. 손가락 및 손동작 인식 시스템은 외곽선을 컨투어 좌표들을 연결함으로써 검출할 수 있다. 도 5를 참고하면, 손가락 및 손동작 인식 시스템에서 손 영역으로부터 손의 중점(520)과 외곽선(510)을 검출한 결과를 나타낸 예이다. The finger and hand gesture recognition system can be found by calculating the mean value of the detected contour coordinates of the hand's midpoint. The finger and hand recognition system can detect the outline by connecting the contour coordinates. Referring to FIG. 5, the center of
도 6은 일 실시예에 따른 손가락 및 손동작 인식 시스템에서 손가락 개수를 인식하는 것을 설명하기 위한 도면이다.6 is a diagram for explaining recognition of the number of fingers in the finger and hand recognition system according to the embodiment.
손가락 및 손동작 인식 시스템은 손가락 개수를 손의 중점과 손의 외곽선 사이의 거리를 이용하여 인식할 수 있다. 외곽선은 컨투어로 구성되어 있기 때문에 각각의 픽셀의 좌표를 이용할 수 있다. 이에 따라, 손가락 및 손동작 인식 시스템은 외곽선을 구성하고 있는 좌표들과 손의 중점과의 거리를 계산할 수 있다. 이때, 손가락 및 손동작 인식 시스템은 좌표의 탐색방향을 반시계방향으로 진행할 수 있다.The finger and hand recognition system can recognize the number of fingers by using the distance between the center of the hand and the outline of the hand. Since the outline consists of contours, the coordinates of each pixel can be used. Accordingly, the finger and the hand gesture recognition system can calculate the distance between the coordinates constituting the outline and the midpoint of the hand. At this time, the finger and the hand movement recognition system can advance the search direction of the coordinates counterclockwise.
손가락 및 손동작 인식 시스템은 연속된 3개의 좌표(621, 622, 623)와 손의 중점(610)의 거리를 비교할 수 있다. 손가락 및 손동작 인식 시스템은 연속된 3개의 좌표에 대응하는 좌표값 중 두 번째의 좌표값이 가장 크다면, 두 번째의 좌표 지점이 손가락 후보(630)가 될 수 있다. 이때, 손가락 및 손동작 인식 시스템은 손의 중점보다 아래에 있는 픽셀들은 계산 대상에서 제외할 수 있다.The finger and hand gesture recognition system can compare the distance between the three
손가락 및 손동작 인식 시스템은 손가락 후보들에 대한 탐색이 완료됨에 따라 손가락 후보(630)의 개수를 손가락 개수로 인식할 수 있다. 도 6(a)을 참고하면, 손가락 및 손동작 인식 시스템에서 컨투어를 검출 한 결과를 나타낸 것이고, 도 6(b)는 손가락 개수 후보를 탐색한 결과를 나타낸 것이다.The finger and the hand gesture recognition system can recognize the number of the
표 1은 손가락 개수를 인식한 결과를 나타낸 것이다.Table 1 shows the result of recognizing the number of fingers.
일 실시예에 따른 손가락 및 손동작 인식 시스템은 연속된 3개의 좌표를 통하여 손가락 후보를 탐색하고, 탐색된 손가락 후보에 대하여 손가락 개수를 인식함으로써 보다 빠른 속도로 손가락 개수를 인식할 수 있다. The finger and hand recognition system according to an embodiment can recognize the number of fingers at a higher speed by searching for a finger candidate through three consecutive coordinates and recognizing the number of fingers for the detected finger candidate.
손가락 및 손동작 인식 시스템은 손가락 개수의 인식률을 평가할 수 있다. 표 1에서 보여준 서로 다른 6가지의 손 모양의 인식률을 비교할 수 있다. 표 2는 손가락 개수에 따른 인식률을 나타낸 것이다.The finger and hand gesture recognition system can evaluate the recognition rate of the number of fingers. The recognition rates of the six different hand shapes shown in Table 1 can be compared. Table 2 shows recognition rates according to the number of fingers.
제스처는 인간의 의사소통에서 음성적 요소인 말과 함께 쓰이는 비언어적 의사소통 방법으로서, 예를 들면, 윙크, 악수와 같은 몸짓을 통하여 큰 의미를 전달할 수 있다. 제스처는 다양한 형태를 통하여 표현할 수 있기 때문에 인간과 컴퓨터의 의사소통의 수단으로서 각광받고 있다. A gesture is a non-verbal communication method that is used in conjunction with a negative element in human communication. For example, gestures such as winks and handshakes can convey great significance. Since gestures can be expressed in various forms, they are attracting attention as a means of communication between humans and computers.
이에 따라 손가락 및 손동작 인식 시스템은 입력장치를 통하여 입력되는 영상으로부터 손 영역을 검출하고, 손가락 개수를 파악하는 방법을 제안한다. 손 영역은 모션 센싱 입력긱기가 제공하는 깊이 영상을 활용하여 검출할 수 있고, 손가락 개수는 외곽선을 구성하는 컨투어의 좌표들과 손 중점 사이의 거리를 비교하여 인식할 수 있다. Accordingly, the finger and hand movement recognition system detects a hand region from an input image through an input device, and proposes a method of grasping the number of fingers. The hand region can be detected using the depth image provided by the motion sensing input device, and the number of fingers can be recognized by comparing the distance between the coordinates of the contour constituting the outline and the hand center.
일 실시예에 따른 손가락 및 손동작 인식 시스템은 손가락 개수와 손의 모양에 대한 특징에 기초하여 제스처를 인식할 수 있다. 손가락 및 손동작 인식 시스템은 제스처의 표현 가능한 범위를 증가시킴으로써 보다 컴퓨터와 인간의 상호작용이 수월해지도록 제공할 수 있다. The finger and hand gesture recognition system according to one embodiment can recognize the gesture based on the number of fingers and the characteristics of the shape of the hand. Finger and hand gesture recognition systems can provide more interactive computer and human interaction by increasing the expressible range of gestures.
도 7은 일 실시예에 따른 손가락 및 손동작 인식 시스템의 손가락 및 손동작 인식 방법을 설명하기 위한 흐름도이다. 7 is a flowchart for explaining a finger and a hand movement recognition method of the finger and hand movement recognition system according to an embodiment.
단계(710)에서 손가락 및 손동작 인식 시스템은 깊이 영상의 깊이 값에 기초하여 영상으로부터 배경과 손을 분리하고, 깊이 값에 임계값을 설정하여 손 영역을 획득할 수 있다. 이때, 깊이 값은, 모션 센싱 입력기기와 개체 사이의 거리를 의미할 수 있다. 깊이 값은, 모션 센싱 입력기기와 개체와의 거리가 가까울수록 깊이 값의 크기가 작은 값을 가지고, 모션 센싱 입력기기와 개체의 거리가 멀수록 깊이 값의 크기가 큰 값을 가질 수 있다. In
단계(720)에서 손가락 및 손동작 인식 시스템은 획득된 손 영역으로부터 손가락을 인식하기 위하여 그레이 영상 및 이진화 영상으로 변환할 수 있다. In
단계(730)에서 손가락 및 손동작 인식 시스템은 이진화 영상으로부터 컨투어를 이용하여 손의 중점과 손의 외곽선을 검출할 수 있다. 이때, 컨투어는 인접한 픽셀값과 동일한 픽셀값을 갖는 픽셀들의 집합을 의미하고, 영상의 프레임에서 각각의 픽셀에 인접한 픽셀의 픽셀값을 비교함으로써 검출될 수 있다. 손가락 및 손동작 인식 시스템은 컨투어 좌표들의 평균값을 계산함으로써 손의 중점을 검출하고, 컨투어 좌표들을 연결함으로써 손의 외곽선을 검출할 수 있다. 손가락 및 손동작 인식 시스템은 영상에서 각각의 다른 픽셀값을 갖는 각각의 픽셀들로부터 동일한 픽셀값을 갖는 픽셀을 탐색하여 연결하되, 영상을 이진화시킴으로써 픽셀들의 픽셀값을 단순화시킬 수 있다. In
단계(740)에서 손가락 및 손동작 인식 시스템은 검출된 손의 중점과 손의 외곽선 사이의 거리에 기초하여 손가락 개수를 인식할 수 있다. 손가락 및 손동작 인식 시스템은 외곽선을 구성하고 있는 좌표들과 손의 중점 사이의 계산하되 좌표들을 반시계방향으로 탐색할 수 있다. 손가락 및 손동작 인식 시스템은 연속된 3개의 좌표와 손의 중점과의 거리를 비교하고, 연속된 3개의 좌표값 중 두 번째의 좌표값이 가장 크다면, 두 번째 좌표값에 대응하는 지점이 손가락 후보가 될 수 있다. 이때, 손가락 및 손동작 인식 시스템은 손의 중점보다 아래에 있는 픽셀들에 대하여 거리에 대한 계산 대상에서 제외하고, 손가락 후보의 개수를 손가락 개수로 인식할 수 있다. In
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA) , A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (14)
깊이 영상의 깊이 값에 기초하여 영상으로부터 배경과 손을 분리하고, 상기 깊이 값에 임계값을 설정하여 손 영역을 획득하는 단계;
상기 획득된 손 영역을 그레이 영상 및 이진화 영상으로 변환하는 단계;
상기 이진화 영상으로부터 컨투어를 이용하여 손의 중점과 손의 외곽선을 검출하는 단계; 및
상기 검출된 손의 중점과 상기 손의 외곽선 사이의 거리에 기초하여 손가락의 개수를 인식하는 단계
를 포함하고,
상기 깊이 값은,
모션 센싱 입력기기(Motion Sensing Input Devices)와 개체 사이의 거리를 의미하고, 상기 모션 센싱 입력기기와 상기 개체와의 거리가 가까울수록 상기 깊이 값의 크기가 작은 값을 가지고, 상기 모션 센싱 입력기기와 상기 개체의 거리가 멀수록 상기 깊이 값의 크기가 큰 값을 가지고,
상기 검출된 손의 중점과 상기 손의 외곽선 사이의 거리에 기초하여 손가락의 개수를 인식하는 단계는,
상기 외곽선을 구성하고 있는 좌표들을 탐색하여 상기 좌표들과 상기 손의 중점 사이의 거리를 계산하고, 연속된 3개의 좌표와 상기 손의 중점과의 거리를 비교하여 상기 연속된 3개의 좌표값 중 두 번째의 좌표값이 가장 큰 값을 가질 경우, 상기 두 번째의 좌표값에 대응하는 지점이 손가락 후보로 하고, 상기 손의 중점보다 아래에 있는 픽셀들에 대하여 상기 거리에 대한 계산 대상에서 제외함으로써 상기 손가락 후보의 개수를 상기 손가락 개수로 인식하는 단계
를 포함하는 손가락 및 손동작 인식 방법.A method for recognizing a finger and a hand gesture in real time,
Separating the background and the hand from the image based on the depth value of the depth image and setting a threshold value to the depth value to obtain a hand region;
Converting the obtained hand region into a gray image and a binary image;
Detecting a center of a hand and an outline of a hand using the contour from the binarized image; And
Recognizing the number of fingers based on the distance between the midpoint of the detected hand and the outline of the hand
Lt; / RTI >
The depth value,
The distance between the motion sensing input device and the object means a distance between the motion sensing input device and the object is smaller than a depth value of the motion sensing input device, The depth value has a larger value as the distance of the object increases,
The step of recognizing the number of fingers based on the distance between the midpoint of the detected hand and the outline of the hand,
Calculating a distance between the coordinates of the hands and the center of the hand by searching for coordinates constituting the outline, comparing the distance between the three consecutive coordinates and the center of the hand, Th coordinate value has the largest value, a point corresponding to the second coordinate value is determined as a finger candidate, and pixels below the midpoint of the hand are excluded from the calculation target for the distance, Recognizing the number of finger candidates as the number of fingers
And a fingerprint recognition method.
상기 컨투어는,
인접한 픽셀값과 동일한 픽셀값을 갖는 픽셀들의 집합을 의미하고, 상기 영상의 프레임에서 각각의 픽셀에 인접한 픽셀의 픽셀값을 비교함으로써 검출되는
것을 포함하고,
상기 이진화 영상으로부터 컨투어를 이용하여 손의 중점과 외곽선을 검출하는 단계는,
컨투어 좌표들의 평균값을 계산함으로써 상기 손의 중점을 검출하고, 상기 컨투어 좌표들을 연결함으로써 상기 손의 외곽선을 검출하는 단계
를 포함하는 손가락 및 손동작 인식 방법.The method according to claim 1,
The contour,
Means a set of pixels having the same pixel value as an adjacent pixel value and is detected by comparing pixel values of pixels adjacent to each pixel in the frame of the image
≪ / RTI >
Wherein the step of detecting a midpoint and an outline of a hand using the contour from the binarized image comprises:
Detecting the center of the hand by calculating an average value of the contour coordinates, and detecting an outline of the hand by connecting the contour coordinates
And a fingerprint recognition method.
상기 이진화 영상으로부터 컨투어를 이용하여 손의 중점과 외곽선을 검출하는 단계는,
상기 영상에서 각각의 다른 픽셀값을 갖는 각각의 픽셀들로부터 동일한 픽셀값을 갖는 픽셀을 탐색하여 연결하되, 상기 영상을 이진화시킴으로써 픽셀들의 픽셀값을 단순화시키는 단계
를 포함하는 손가락 및 손동작 인식 방법.3. The method of claim 2,
Wherein the step of detecting a midpoint and an outline of a hand using the contour from the binarized image comprises:
A step of searching for and connecting pixels having the same pixel value from each of the pixels having different pixel values in the image, and simplifying the pixel values of the pixels by binarizing the image
And a fingerprint recognition method.
상기 외곽선은,
상기 컨투어로 구성되어 각각의 픽셀의 좌표를 이용하는
것을 포함하고,
상기 검출된 손의 중점과 상기 손의 외곽선 사이의 거리에 기초하여 손가락의 개수를 인식하는 단계는,
상기 좌표들을 반시계방향으로 탐색하는 단계
를 포함하는 손가락 및 손동작 인식 방법.The method according to claim 1,
The outline indicates,
And using the coordinates of each pixel constituted by the contours
≪ / RTI >
The step of recognizing the number of fingers based on the distance between the midpoint of the detected hand and the outline of the hand,
Searching the coordinates counterclockwise
And a fingerprint recognition method.
상기 모션 센싱 입력기기는,
컬러 영상과 깊이 영상을 동시에 제공하는
것을 특징으로 하는 손가락 및 손동작 인식 방법. The method according to claim 1,
Wherein the motion sensing input device comprises:
Providing simultaneous color and depth images
Wherein the finger and the hand movement recognition method are characterized by:
깊이 영상의 깊이 값에 기초하여 영상으로부터 배경과 손을 분리하고, 상기 깊이 값에 임계값을 설정하여 손 영역을 획득하는 획득부;
상기 획득된 손 영역을 그레이 영상 및 이진화 영상으로 변환하는 변환부;
상기 이진화 영상으로부터 컨투어를 이용하여 손의 중점과 손의 외곽선을 검출하는 검출부; 및
상기 검출된 손의 중점과 상기 손의 외곽선 사이의 거리에 기초하여 손가락의 개수를 인식하는 인식부
를 포함하고,
상기 깊이 값은,
모션 센싱 입력기기(Motion Sensing Input Devices)와 개체 사이의 거리를 의미하고, 상기 모션 센싱 입력기기와 상기 개체와의 거리가 가까울수록 상기 깊이 값의 크기가 작은 값을 가지고, 상기 모션 센싱 입력기기와 상기 개체의 거리가 멀수록 상기 깊이 값의 크기가 큰 값을 가지고,
상기 인식부는,
상기 외곽선을 구성하고 있는 좌표들을 탐색하여 상기 좌표들과 상기 손의 중점 사이의 거리를 계산하고, 연속된 3개의 좌표와 상기 손의 중점과의 거리를 비교하여 상기 연속된 3개의 좌표값 중 두 번째의 좌표값이 가장 큰 값을 가질 경우, 상기 두 번째의 좌표값에 대응하는 지점이 손가락 후보로 하고, 상기 손의 중점보다 아래에 있는 픽셀들에 대하여 상기 거리에 대한 계산 대상에서 제외함으로써 상기 손가락 후보의 개수를 상기 손가락 개수로 인식하는
것을 특징으로 하는 손가락 및 손동작 인식 시스템.A system for recognizing a finger and a hand gesture in real time,
An acquiring unit for acquiring a hand region by separating the background and the hand from the image based on the depth value of the depth image and setting a threshold value to the depth value;
A converting unit converting the obtained hand region into a gray image and a binarized image;
A detector for detecting the center of the hand and the outline of the hand using the contour from the binarized image; And
And a recognition unit for recognizing the number of fingers based on the distance between the midpoint of the detected hand and the outline of the hand,
Lt; / RTI >
The depth value,
The distance between the motion sensing input device and the object means a distance between the motion sensing input device and the object is smaller than a depth value of the motion sensing input device, The depth value has a larger value as the distance of the object increases,
Wherein,
Calculating a distance between the coordinates and the center of the hand by searching for coordinates constituting the outline, comparing the distance between the three consecutive coordinates and the center of the hand, Th coordinate value has the largest value, a point corresponding to the second coordinate value is determined as a finger candidate, and pixels below the midpoint of the hand are excluded from the calculation target for the distance, The number of finger candidates is recognized as the number of fingers
Wherein said finger and hand movement recognition system comprises:
상기 컨투어는,
인접한 픽셀값과 동일한 픽셀값을 갖는 픽셀들의 집합을 의미하고, 상기 영상의 프레임에서 각각의 픽셀에 인접한 픽셀의 픽셀값을 비교함으로써 검출되는
것을 포함하고,
상기 검출부는,
컨투어 좌표들의 평균값을 계산함으로써 상기 손의 중점을 검출하고, 상기 컨투어 좌표들을 연결함으로써 상기 손의 외곽선을 검출하는
것을 특징으로 하는 손가락 및 손동작 인식 시스템.9. The method of claim 8,
The contour,
Means a set of pixels having the same pixel value as an adjacent pixel value and is detected by comparing pixel values of pixels adjacent to each pixel in the frame of the image
≪ / RTI >
Wherein:
Detecting a midpoint of the hand by calculating an average value of the contour coordinates, and detecting an outline of the hand by connecting the contour coordinates
Wherein said finger and hand movement recognition system comprises:
상기 검출부는,
상기 영상에서 각각의 다른 픽셀값을 갖는 각각의 픽셀들로부터 동일한 픽셀값을 갖는 픽셀을 탐색하여 연결하되, 상기 영상을 이진화시킴으로써 픽셀들의 픽셀값을 단순화시키는
것을 특징으로 하는 손가락 및 손동작 인식 시스템.10. The method of claim 9,
Wherein:
A pixel having the same pixel value is searched for and connected from each of the pixels having different pixel values in the image, and the pixel value of the pixels is simplified by binarizing the image
Wherein said finger and hand movement recognition system comprises:
상기 외곽선은,
상기 컨투어로 구성되어 각각의 픽셀의 좌표를 이용하는
것을 포함하고,
상기 인식부는,
상기 좌표들을 반시계방향으로 탐색하는
것을 특징으로 하는 손가락 및 손동작 인식 시스템.9. The method of claim 8,
The outline indicates,
And using the coordinates of each pixel constituted by the contours
≪ / RTI >
Wherein,
The coordinates are searched counterclockwise
Wherein said finger and hand movement recognition system comprises:
상기 모션 센싱 입력기기는,
컬러 영상과 깊이 영상을 동시에 제공하는
것을 특징으로 하는 손가락 및 손동작 인식 시스템.
9. The method of claim 8,
Wherein the motion sensing input device comprises:
Providing simultaneous color and depth images
Wherein said finger and hand movement recognition system comprises:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150143676A KR101706864B1 (en) | 2015-10-14 | 2015-10-14 | Real-time finger and gesture recognition using motion sensing input devices |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150143676A KR101706864B1 (en) | 2015-10-14 | 2015-10-14 | Real-time finger and gesture recognition using motion sensing input devices |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101706864B1 true KR101706864B1 (en) | 2017-02-17 |
Family
ID=58265446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150143676A KR101706864B1 (en) | 2015-10-14 | 2015-10-14 | Real-time finger and gesture recognition using motion sensing input devices |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101706864B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108491820A (en) * | 2018-04-02 | 2018-09-04 | 京东方科技集团股份有限公司 | Limbs indicate recognition methods, device and the equipment of information, storage medium in image |
| CN108748139A (en) * | 2018-04-18 | 2018-11-06 | 四川文理学院 | Robot control method based on human body temperature type and device |
| KR20180131507A (en) * | 2017-05-31 | 2018-12-10 | 충남대학교산학협력단 | Motion direction search apparatus based on binary search |
| KR20190019527A (en) | 2017-08-18 | 2019-02-27 | 조선대학교산학협력단 | Motion recognition method using radar |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120134488A (en) * | 2011-06-02 | 2012-12-12 | 한국전자통신연구원 | Method of user interaction based gesture recognition and apparatus for the same |
| KR20140126856A (en) * | 2013-04-23 | 2014-11-03 | 연세대학교 산학협력단 | Method and apparatus for hand shape recognition |
-
2015
- 2015-10-14 KR KR1020150143676A patent/KR101706864B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120134488A (en) * | 2011-06-02 | 2012-12-12 | 한국전자통신연구원 | Method of user interaction based gesture recognition and apparatus for the same |
| KR20140126856A (en) * | 2013-04-23 | 2014-11-03 | 연세대학교 산학협력단 | Method and apparatus for hand shape recognition |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180131507A (en) * | 2017-05-31 | 2018-12-10 | 충남대학교산학협력단 | Motion direction search apparatus based on binary search |
| KR102095235B1 (en) * | 2017-05-31 | 2020-04-01 | 충남대학교산학협력단 | Motion direction search apparatus based on binary search |
| KR20190019527A (en) | 2017-08-18 | 2019-02-27 | 조선대학교산학협력단 | Motion recognition method using radar |
| CN108491820A (en) * | 2018-04-02 | 2018-09-04 | 京东方科技集团股份有限公司 | Limbs indicate recognition methods, device and the equipment of information, storage medium in image |
| CN108491820B (en) * | 2018-04-02 | 2022-04-12 | 京东方科技集团股份有限公司 | Method, device and equipment for identifying limb representation information in image and storage medium |
| US11354925B2 (en) | 2018-04-02 | 2022-06-07 | Beijing Boe Optoelectronics Technology Co., Ltd. | Method, apparatus and device for identifying body representation information in image, and computer readable storage medium |
| CN108748139A (en) * | 2018-04-18 | 2018-11-06 | 四川文理学院 | Robot control method based on human body temperature type and device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Real-time hand gesture recognition using finger segmentation | |
| Oberweger et al. | Hands deep in deep learning for hand pose estimation | |
| Raheja et al. | Real-time robotic hand control using hand gestures | |
| JP4934220B2 (en) | Hand sign recognition using label assignment | |
| US9286694B2 (en) | Apparatus and method for detecting multiple arms and hands by using three-dimensional image | |
| US8994652B2 (en) | Model-based multi-hypothesis target tracker | |
| US9310895B2 (en) | Touchless input | |
| US20130335318A1 (en) | Method and apparatus for doing hand and face gesture recognition using 3d sensors and hardware non-linear classifiers | |
| KR102347248B1 (en) | Method and apparatus for recognizing touch gesture | |
| KR101706864B1 (en) | Real-time finger and gesture recognition using motion sensing input devices | |
| Zhu et al. | Real-time hand gesture recognition with Kinect for playing racing video games | |
| US20160086349A1 (en) | Tracking hand pose using forearm-hand model | |
| Qi et al. | Computer vision-based hand gesture recognition for human-robot interaction: a review | |
| US20150199592A1 (en) | Contour-based classification of objects | |
| Kumar et al. | 3D sign language recognition using spatio temporal graph kernels | |
| Wang et al. | Immersive human–computer interactive virtual environment using large-scale display system | |
| Jais et al. | A review on gesture recognition using Kinect | |
| Michel et al. | Gesture recognition supporting the interaction of humans with socially assistive robots | |
| Bakar et al. | Real-time rotation invariant hand tracking using 3D data | |
| EP3639193A1 (en) | Human feedback in 3d model fitting | |
| Gao et al. | Parallel dual-hand detection by using hand and body features for robot teleoperation | |
| Jain et al. | Gestarlite: An on-device pointing finger based gestural interface for smartphones and video see-through head-mounts | |
| KR102107182B1 (en) | Hand Gesture Recognition System and Method | |
| Tai et al. | HSFE network and fusion model based dynamic hand gesture recognition | |
| JP2018116397A (en) | Image processing device, image processing system, image processing program, and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20200116 Year of fee payment: 4 |