KR101233793B1

KR101233793B1 - Virtual mouse driving method using hand motion recognition

Info

Publication number: KR101233793B1
Application number: KR1020110096890A
Authority: KR
Inventors: 박경자; 이길재
Original assignee: 주식회사 매크론
Priority date: 2011-09-26
Filing date: 2011-09-26
Publication date: 2013-02-15

Abstract

PURPOSE: A method for operating a virtual mouse by using hand motion recognition is provided to reduce the fatigue of a user using hands by activating the virtual mouse with a simple hand motion drawing a circular arc of 1/4 and inactivating the mouse with a hand motion putting down a hand. CONSTITUTION: Images consecutively taken by a 2D camera are received. A hand area is extracted from the images and position coordinates of the hand area are set. A trace of a hand is analyzed by analyzing a change of the position coordinates from the images. The trace of the hand within an error range of a reference trace is determined. If the trace of the hand and the reference trace are within the error range, a virtual mouse is activated. [Reference numerals] (AA) Input image; (BB) Recognizing a hand motion; (CC) Extracting a feature to trace; (DD) Tracing a hand; (EE) Updating a feature to trace; (FF) Extracting virtual mouse control information

Description

Virtual mouse driving method using hand motion recognition

본 발명은 디스플레이 디바이스의 가상 마우스 구동 방법에 관한 것으로, 카메라에서 얻은 영상에서 손의 동작을 인식하고 손의 특정 영역을 추적하여 손의 위치와 동작에 관한 정보를 추출하고, 이를 디스플레이 디바이스를 제어하는데 사용할 수 있게 하는 방법에 관한 것이다.The present invention relates to a method of driving a virtual mouse of a display device, which recognizes the motion of a hand in an image obtained from a camera, tracks a specific area of the hand, extracts information about the position and motion of the hand, and controls the display device. It is about how to make it available.

디스플레이 디바이스들이 스마트 시스템으로 진화함에 따라 디스플레이 디바이스와의 상호 작용이 중요시되고 있다. 스마트 디스플레이 디바이스들은 컴퓨터와 유사하게 디스플레이 디바이스 화면상의 위치에 따른 명령 입력이 가능해야 한다. 이와 같은 명령 입력이 가능한 수단으로 가장 일반화되어 있는 입력 디바이스는 마우스이다. 또한 최근 각광받고 있는 스마트폰의 경우에는 터치 스크린을 이용하여 화면상의 위치에 따른 명령입력을 할 수 있다.As display devices have evolved into smart systems, interaction with display devices has become important. Smart display devices should be able to input commands according to their position on the display device screen, similar to a computer. The input device most commonly used as a means for inputting such a command is a mouse. In addition, in the case of smart phones that are in the spotlight recently, a command input according to a position on a screen may be performed using a touch screen.

위치 기반 명령을 내리기 위한 기존의 터치 스크린을 이용한 입력 방식은 디스플레이 디바이스와의 접촉을 통해 명령을 전송하므로 여러 제한이 발생한다. 즉 디스플레이 디바이스가 손으로 접촉 가능한 거리 내에 있을 때만 사용이 가능하다. 또한 마우스의 경우 물리적인 크기와 형태를 지니고 있어 스마트한 입력도구는 아니다. The input method using a conventional touch screen for giving a location-based command transmits a command through contact with a display device, causing various limitations. That is, it can be used only when the display device is within a reachable distance by hand. Also, the mouse is not a smart input tool because it has a physical size and shape.

최근에는 비접촉 방식으로 디스플레이 디바이스에 명령을 전달할 수 있는 입력 디바이스들이 출현하고 있다. 특히 게임분야에서 3차원 카메라를 이용하여 동작 인식을 통해 명령을 전달할 수 있는 방법이 개발되고 있다. 3차원 카메라를 이용하는 방법은, 입력 영상에서 제스처를 수행하는 오브젝트 영상과 배경 영상을 분리하기 용이한 장점을 가지고 있으나, 입력디바이스가 복잡하고 고가인 단점이 있다. 또한 해상도가 낮아 큰 동작을 이용하여 명령을 입력해야 하므로 사용자가 사용하는데 있어 큰 불편을 야기한다. Recently, input devices capable of transmitting a command to a display device in a contactless manner have emerged. In particular, in the game field, a method for transmitting a command through motion recognition using a 3D camera has been developed. The method of using the 3D camera has an advantage of easily separating the object image and the background image from which the gesture is performed from the input image, but the input device is complicated and expensive. In addition, since the resolution is low, a user must input a command using a large operation, which causes a great inconvenience for the user.

저가의 입력 디바이스를 구성하기 위해, 공개특허 10-2009-0124172와 같이 2차원 카메라 영상에서 손의 제스처(hand gesture)를 인식하여 스마트 TV나 셋톱 박스 등을 제어하고자 하는 시도가 있으나, 특정한 몇 개의 제스처만으로는 디스플레이 디바이스의 복잡한 메뉴를 제어하는데 한계가 있으므로 단순한 기능으로 복잡한 메뉴의 선택이 가능한 입력 디바이스 형태가 요구되며, 가상 마우스가 그러한 요구를 만족시킬 수 있는 형태라고 할 수 있다.In order to construct an inexpensive input device, an attempt has been made to control a smart TV or a set-top box by recognizing a hand gesture in a 2D camera image as shown in Patent Publication No. 10-2009-0124172. Since only gestures have limitations in controlling complex menus of a display device, an input device type capable of selecting a complex menu with a simple function is required, and a virtual mouse can satisfy such a demand.

디스플레이 디바이스를 제어할 때 마우스나 리모컨 같은 물리적인 도구를 사용하거나 터치 스크린처럼 제품에 직접 손을 대지 않고, 원거리에서 맨 손으로 제어 할 수 있는 가상마우스의 구동방법을 구현하는 것이 본 발명에서 해결하고자 하는 과제이다 To control the display device, to implement a virtual mouse driving method that can be controlled with a bare hand at a distance without using a physical tool such as a mouse or a remote control or directly touching the product like a touch screen It is a task to do

본 발명에 따른 가상마우스의 구동방법은 손 동작 인식을 이용하는 가상 마우스를 구동하는 방법에 있어서, 2차원 카메라로부터 연속적으로 촬영된 복수의 영상을 입력받는 단계와, 상기 입력된 각 영상으로부터 손 영역을 추출하고, 추출된 손 영역의 위치좌표를 설정하는 단계와, 상기 복수의 영상에서 상기 위치좌표가 변화되는 것을 분석하여, 상기 손의 궤적을 분석하는 단계와, 상기 분석된 손의 궤적이 사전에 설정된 기준궤적이 오차범위 이내인지 여부를 판단하는 단계와, 상기 손의 궤적과 상기 기준궤적이 상기 오차범위 이내인 경우 가상마우스를 활성화시키는 단계를 포함하는 것을 특징으로 한다.A method of driving a virtual mouse according to the present invention is a method of driving a virtual mouse using hand gesture recognition, comprising: receiving a plurality of images continuously photographed from a two-dimensional camera, and hand region from each of the input images. Extracting and setting the position coordinates of the extracted hand region, analyzing the change of the position coordinates in the plurality of images, analyzing the hand trajectory, and analyzing the trajectory of the hand in advance. And determining whether the set reference trajectory is within the error range, and activating a virtual mouse when the trajectory of the hand and the reference trajectory are within the error range.

본 발명에 따르면, 상기 기준궤적은, 원호의 궤적을 따라 일방향으로 일정각도만큼 이동한 후, 상기 일방향의 반대방향으로 상기 원호의 궤적을 따라 상기 일정각도만큼 이동하는 것인 것이 바람직하다.According to the present invention, the reference trajectory is preferably moved by a predetermined angle in one direction along the trajectory of the circular arc, and then moved by the predetermined angle along the trajectory of the circular arc in the opposite direction to the one direction.

또한, 본 발명에 따르면 상기 가상마우스가 활성화된 이후, 상기 손의 일부 영역을 지정하여 특징 데이터를 추출하고, 상기 추출된 특징 데이터를 후속적으로 입력되는 영상에서의 손의 위치 추적에 활용하는 것이 바람직하다.In addition, according to the present invention, after the virtual mouse is activated, it is possible to designate a partial region of the hand to extract feature data, and to use the extracted feature data to track the position of the hand in a subsequent input image. desirable.

또한, 본 발명에 따르면 상기 특징 데이터는 입력되는 각 영상 마다 갱신되는 것이 바람직하다.In addition, according to the present invention, the feature data is preferably updated for each input image.

또한, 본 발명에 따르면 상기 후속적으로 입력되는 영상에서 손의 위치를 추적할 때, 손의 이전 위치를 중심으로 일정 영역 내의 영상에서 상기 손의 위치를 추적하는 것이 바람직하다.In addition, according to the present invention, when tracking the position of the hand in the subsequent input image, it is preferable to track the position of the hand in the image in a certain area around the previous position of the hand.

또한, 본 발명에 따르면 상기 가상마우스가 활성화되면 디스플레이 디바이스의 화면상에 마우스 포인터가 표시되며, 상기 표시된 마우스 포인터는 상기 위치좌표의 변경에 대응하여 이동되며, 상기 디스플레이 디바이스의 화면상에 나타나 있는 메뉴아이콘에 상기 마우스 포인터를 위치시키면 상기 메뉴아이콘의 인접한 위치에 클릭패드가 표시되며, 상기 마우스 포인터를 상기 메뉴아이콘에서 상기 클릭패드로 이동시킨 후, 다시 상기 마우스 포인터를 상기 클릭패드로부터 상기 메뉴아이콘으로 이동시키면 상기 메뉴아이콘의 클릭동작으로 인식되는 것이 바람직하다.In addition, according to the present invention, when the virtual mouse is activated, a mouse pointer is displayed on the screen of the display device, and the displayed mouse pointer is moved in response to the change of the position coordinate, and the menu is displayed on the screen of the display device. When the mouse pointer is positioned on an icon, a click pad is displayed at an adjacent position of the menu icon, and the mouse pointer is moved from the menu icon to the click pad, and then the mouse pointer is moved from the click pad to the menu icon. When moved, it is preferable that the menu icon is recognized as a click action.

또한, 본 발명에 따르면 상기 가상마우스가 활성화되면 디스플레이 디바이스의 화면상에 마우스 포인터가 표시되며, 상기 표시된 마우스 포인터는 상기 위치좌표의 변경에 대응하여 이동되며, 상기 디스플레이 디바이스의 화면상에 나타나 있는 메뉴아이콘에 상기 마우스 포인터를 위치시키면 상기 메뉴아이콘의 인접한 위치에 보조메뉴아이콘이 표시되며, 상기 마우스 포인터를 상기 메뉴아이콘에서 상기 보조메뉴아이콘으로 이동시킨 후, 다시 상기 마우스 포인터를 상기 보조메뉴아이콘으로부터 상기 메뉴아이콘으로 이동시키면 상기 보조메뉴아이콘의 클릭동작으로 인식되는 것이 바람직하다.In addition, according to the present invention, when the virtual mouse is activated, a mouse pointer is displayed on the screen of the display device, and the displayed mouse pointer is moved in response to the change of the position coordinate, and the menu is displayed on the screen of the display device. When the mouse pointer is positioned on the icon, a sub menu icon is displayed at an adjacent position of the menu icon, and the mouse pointer is moved from the menu icon to the sub menu icon, and then the mouse pointer is moved from the sub menu icon. When moving to a menu icon, it is preferable to be recognized as a click action of the submenu icon.

또한, 본 발명에 따르면 상기 가상마우스가 활성화되면 디스플레이 디바이스의 화면상에 마우스 포인터가 표시되며, 상기 표시된 마우스 포인터는 상기 위치좌표의 변경에 대응하여 이동되며, 상기 디스플레이 디바이스의 화면상에 나타나 있는 메뉴아이콘에 상기 마우스 포인터를 위치시키면 상기 메뉴아이콘의 밝기, 색상 및 크기 중 적어도 어느 하나가 변경되며, 이후 기설정된 방향으로 상기 마우스 포인터를 이동시켜 상기 메뉴아이콘으로부터 벗어난 후, 기설정된 시간 내에 상기 마우스 포인터를 상기 메뉴아이콘으로 이동시키면 상기 메뉴아이콘의 클릭동작으로 인식되는 것이 바람직하다.In addition, according to the present invention, when the virtual mouse is activated, a mouse pointer is displayed on the screen of the display device, and the displayed mouse pointer is moved in response to the change of the position coordinate, and the menu is displayed on the screen of the display device. Placing the mouse pointer on an icon changes at least one of brightness, color, and size of the menu icon, and then moves the mouse pointer in a predetermined direction to get out of the menu icon, and then within the predetermined time. When is moved to the menu icon is preferably recognized as a click action of the menu icon.

상기한 구성의 본 발명에 따르면, 1/4의 원호를 그리는 단순한 손의 동작으로 가상마우스를 활성화시키고, 손을 내리는 동작으로 마우스를 비활성화 하는 것이 용이하여 손을 이용하는 사용자의 피로감을 덜어 줄 수 있다. 그리고, 1/4의 원호를 그리는 동작은 일상적인 손의 동작과 차별화되는 동작이므로 인식 오류를 줄일 수 있는 장점이 있다.According to the present invention having the above configuration, it is easy to deactivate the mouse by activating the virtual mouse by a simple hand operation drawing an arc of 1/4, and can lower the fatigue of the user using the hand by deactivating the mouse by lowering the hand. . And, since the operation of drawing a circular arc of 1/4 is an operation that is differentiated from the operation of a hand, there is an advantage of reducing the recognition error.

또한, 3차원 카메라가 아닌 2차원 카메라를 활용하여 본 발명을 구현할 수 있으므로, 입력 디바이스가 간단해지고 경제적인 장점을 가진다. In addition, since the present invention can be implemented using a two-dimensional camera rather than a three-dimensional camera, the input device is simplified and has an economic advantage.

도 1은 본 발명의 일 실시예에 따른 가상마우스 구동방법을 구현하기 위한 장치의 개략적인 구성도이다.
도 2는 도 1에 도시된 손동작 인식부에서의 처리과정을 설명하기 위한 개략적인 흐름도이다.
도 3은 손 영역의 위치좌표를 추출한 예를 나타내는 도면이다.
도 4는 기준궤적을 나타내는 도면이다.
도 5는 도 4와 같이 손을 움직이면서 얻은 연속적인 영상에서 손의 위치 좌표를 추출하여 궤적으로 나타낸 도면이다.
도 6은 손에서 추적 데이터 추출에 사용되는 영역이다
도 7은 손의 추적 영역을 한정한 예시도이다
도 8은 손의 추적 영역 내에서의 손의 위치 이동을 설명하는 도면이다.
도 9 및 도 10은 클릭 동작을 정의하기 위한 메뉴버튼 구성의 예이다1 is a schematic block diagram of an apparatus for implementing a virtual mouse driving method according to an embodiment of the present invention.
FIG. 2 is a schematic flowchart illustrating a process of the hand gesture recognition unit illustrated in FIG. 1.
3 is a diagram illustrating an example of extracting a position coordinate of a hand region.
4 is a diagram illustrating a reference trajectory.
FIG. 5 is a diagram illustrating a trajectory by extracting position coordinates of a hand from successive images obtained by moving a hand as shown in FIG. 4.
6 is an area used for extracting tracking data from a hand
7 is an exemplary view of defining a tracking area of a hand.
8 is a diagram illustrating a positional movement of a hand within the tracking area of the hand.
9 and 10 are examples of menu button configurations for defining click operations.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 따른 가상마우스 구동방법에 관하여 설명한다.Hereinafter, a method of driving a virtual mouse according to a preferred embodiment of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 일 실시 예에 따른 가상마우스 구동방법을 구현하기 위한 장치의 개략적인 구성도이며, 도 2는 도 1에 도시된 손동작 인식부에서의 처리과정을 설명하기 위한 개략적인 흐름도이며, 도 3은 손 영역의 위치좌표를 추출한 예를 나타내는 도면이며, 도 4는 기준궤적을 나타내는 도면이며, 도 5는 도 4와 같이 손을 움직이면서 얻은 연속적인 영상에서 손의 위치 좌표를 추출하여 궤적으로 나타낸 도면이다.FIG. 1 is a schematic configuration diagram of an apparatus for implementing a virtual mouse driving method according to an embodiment of the present invention, and FIG. 2 is a schematic flowchart illustrating a process of the hand gesture recognition unit illustrated in FIG. 1. 3 is a diagram illustrating an example of extracting position coordinates of a hand region, FIG. 4 is a diagram illustrating a reference trajectory, and FIG. 5 is a trajectory by extracting position coordinates of a hand from a continuous image obtained by moving a hand as shown in FIG. 4. It is a figure shown.

도 1 내지 도 3을 참조하면, 먼저 본 실시 예에 따른 가상마우스 구동방법은 가상마우스 시스템에서 구현되는데, 가상마우스 시스템(100)는 카메라(10)와, 영상입력부(20)와, 손동작 인식부(30)와, 명령전달부(40)로 구성된다.1 to 3, first, the virtual mouse driving method according to the present embodiment is implemented in a virtual mouse system. The virtual mouse system 100 includes a camera 10, an image input unit 20, and a hand gesture recognition unit. 30, and the command transmission unit 40.

카메라(10)는 렌즈로부터 입력되는 영상을 CCD 또는 CMOS와 같은 촬상 소자를 통해 촬영하여 출력하는 것으로, 예를 들어 디지털 카메라로 구현될 수 있으며, 사용자의 손의 영상을 촬영하여 영상입력부로 전송한다. 특히, 본 실시예의 경우 카메라는 2차원 카메라가 이용된다. 이와 같이, 2차원 카메라를 이용하는 것은, 3차원 카메라 보다 경제적으로 이점이 있고, 해상도가 상대적으로 높기 때문이다. The camera 10 captures and outputs an image input from a lens through an imaging device such as a CCD or a CMOS, and may be implemented as, for example, a digital camera. The camera 10 captures an image of a user's hand and transmits the image to a video input unit. . In particular, in the present embodiment, a two-dimensional camera is used for the camera. As described above, the use of the two-dimensional camera is more economically advantageous than the three-dimensional camera, and the resolution is relatively high.

영상입력부(20)에서는 카메라에서 촬영된 영상을 실시간으로 입력받는다. The image input unit 20 receives an image captured by the camera in real time.

손동작 인식부(30)에서는 연속된 복수의 입력 영상에서 공지된 영상 처리 기법을 이용하여 손에 해당하는 영역을 추출해 내고, 손 영역의 위치좌표를 설정한다. 여기서, 손 영역의 위치 좌표로는 도 3의 (a)에 도시된 바와 같이 손의 끝점이거나, 도 3의 (b)에 도시된 바와 같이 손바닥의 무게 중심 등을 이용할 수 있다.The hand gesture recognition unit 30 extracts a region corresponding to a hand from a plurality of consecutive input images by using a known image processing technique, and sets position coordinates of the hand region. Here, the position coordinates of the hand region may be the end point of the hand as shown in (a) of FIG. 3 or the center of gravity of the palm as shown in (b) of FIG. 3.

손동작 인식부는 연속된 복수의 입력 영상에서 손 영역의 위치좌표가 변화되는 것을 분석하여, 손의 궤적을 분석하며, 분석된 손의 궤적이 사전에 설정된 특정한 손동작 즉 기준궤적과 일치하는지를 판단한다. 이때, 기준궤적은 다양한 형태로 사전에 입력될 수 있으며, 특히 본 실시예의 경우 기준궤적은 도 4에 도시된 바와 같이 손으로 허공에다 90° 각도로 원호(즉, 1/4의 원호)를 그리고 제자리로 돌아오는 궤적으로 설정한다. 즉, 도 4의 (a)와 같이 팔꿈치를 중심으로 하여 손바닥으로 원호를 그리듯이 12시 방향에서 9시 방향으로 90° 각도로 손을 움직여주고, 도 4의 (b)와 같이 다시 9시 방향에서 12시 방향으로 손을 움직여 제자리로 돌아오는 궤적을 기준궤적으로 한다.The hand gesture recognition unit analyzes a change in the position coordinates of the hand region in a plurality of consecutive input images, analyzes the hand trajectory, and determines whether the analyzed hand trajectory coincides with a predetermined preset hand gesture, that is, the reference trajectory. In this case, the reference trajectory may be input in advance in various forms. In particular, in the present embodiment, the reference trajectory draws an arc (ie, a quarter arc) at a 90 ° angle to the air by hand as shown in FIG. Set the trajectory to return to place. That is, as shown in (a) of FIG. 4, the hand is moved at a 90 ° angle from 12 o'clock to 9 o'clock as shown in a circular arc with the palm of the elbow as shown in FIG. 4 (b). In 12 o'clock, move your hand to the reference trajectory.

그리고, 도 4와 같이 손을 움직이면서 얻은 연속적인 영상을 대상으로 손 위치를 추출하고 이 위치 좌표로 궤적을 구성해 보면 도 5와 같다. 즉, 12시 방향에서 9시 방향으로 손을 움직여 손을 내리는 궤적((도 5의 (a))과, 9시 방향에서 12시 방향으로 손을 움직여 손을 올리는 궤적(도 5의 (b))은, 도 5의 (c)에 도시된 바와 같이 서로 일치하거나 유사하다.As shown in FIG. 4, the hand position is extracted from a continuous image obtained by moving a hand, and the trajectory is constructed using the position coordinates. That is, the trajectory of moving the hand down from the 12 o'clock position to the 9 o'clock position ((FIG. 5A)) and the trajectory of raising the hand by moving the hand from the 9 o'clock position to the 12 o'clock position (FIG. 5B). ) Are coincident with or similar to each other, as shown in FIG.

한편, 손동작 인식부에서 분석된 손의 궤적이 기준궤적과의 차이가 오차범위 이내이면, 가상 마우스를 활성화시키는 신호가 출력되고, 이에 따라 가상 마우스가 활성화된다. 여기서, 오차범위는 사전에 설정되는 것으로, 사용자가 기준궤적과 정확하게 일치하도록 90도의 각도로 원호를 그릴 수는 없으므로, 이를 감안하여 원호를 그리는 손동작으로 인식되는 정도이면 가상 마우스를 활성화시킨다. 그리고, 가상 마우스의 활성화란 디스플레이 디바이스에 마우스 포인터가 나타나는 것을 의미하며, 가상 마우스의 비활성화란 디스플레이 디바이스에 마우스 포인터가 사라지는 것을 의미한다. On the other hand, if the difference between the trajectory of the hand analyzed by the hand gesture recognition unit is within the error range, a signal for activating the virtual mouse is output, and the virtual mouse is activated accordingly. Here, the error range is set in advance, and since the user cannot draw an arc at an angle of 90 degrees to exactly match the reference trajectory, in consideration of this, the virtual mouse is activated when it is recognized as a hand motion of drawing an arc. In addition, activation of the virtual mouse means that the mouse pointer appears on the display device, and deactivation of the virtual mouse means that the mouse pointer disappears on the display device.

그리고, 가상 마우스가 활성화된 이후에는, 손동작 인식부(30)에서는 도 6에 도시된 바와 같이 손의 일부 영역(70)을 설정하고, 해당 영역에서 후술하는 손의 위치 추적 과정에 사용할 특징이 되는 데이터(이하, '특징 데이터'라고 함)을 추출한다. 그리고, 추출된 특징 데이터를 이용하여 손의 위치를 계속 추적한다. 여기서, 특징 데이터라고 하는 것은 손 영역에서 특징이 되는 부분으로, 예를 들어 손가락이 갈라지는 마디 부분 등과 같이 다른 부분과 쉽게 차별화되는 부분을 의미한다.In addition, after the virtual mouse is activated, the hand gesture recognition unit 30 sets a partial region 70 of the hand as shown in FIG. 6, and is used for the position tracking process of the hand, which will be described later in the corresponding region. Data (hereinafter referred to as 'feature data') is extracted. The position of the hand is continuously tracked using the extracted feature data. Here, the feature data refers to a portion that is characteristic of the hand region, for example, a portion that is easily differentiated from other portions, such as a segment where a finger is split.

손의 위치를 추적하는 방식은, 일반적인 물체 추적(Object Tracking)기법과 마찬가지로 미리 정의한 손의 특징 데이터와 가장 높은 유사도를 보이는 영역을 새로 입력된 영상(즉, 후속된 영상)에서 찾아내어 이를 손의 새로운 위치로 정의하는 방식으로 손의 위치를 추적한다. 이때, 도 7에 도시된 바와 같이, 새로 입력된 영상에서 손을 추적하는 범위는 카메라 전체 영상(80)를 대상으로 할 수도 있으나, 카메라 영상의 일부 영역(81)으로 한정하여 추적하는 것이 주변에 있는 다른 사람의 손의 움직임에 영향을 받지 않고 추적을 유지하는데 유리하다. 그리고, 손의 위치를 연속적으로 추적하면 가상마우스의 이동 동작을 구현하는 데이터로 활용할 수 있다. 이와 같은 가상마우스의 이동방식은 이미 잘 알려진 방식이므로, 더 이상의 설명은 생략한다.The method of tracking the position of the hand is similar to a general object tracking technique, and finds an area in the newly input image (ie, a subsequent image) that shows the highest similarity with the predefined feature data of the hand. The hand position is tracked by defining a new position. In this case, as shown in FIG. 7, the hand tracking range in the newly input image may be the entire camera image 80, but the tracking is limited to a partial region 81 of the camera image. It is advantageous to keep track without being affected by the movement of another person's hand. In addition, if the position of the hand is continuously tracked, it can be utilized as data for implementing the movement of the virtual mouse. Since the movement method of the virtual mouse is a well-known method, further description thereof will be omitted.

또한, 손동작 인식부(30)에서는 손을 추적하는데 사용하는 특징을 지속적으로 갱신한다. 구체적으로 설명하면, 도 7에 도시된 바와 같이 가상 마우스가 활성화된 이후 추적할 손의 영역(81)을 설정하고 이 영역의 특징 데이터(70)를 추출했다고 할 때, 도 8의 (a)처럼 가상 마우스 구동을 위해 손을 움직여서 위치를 이동하게 되면 새로 입력된 영상에서 새로운 손의 위치를 찾아내고, 상기 손 영역의 특징(90)을 새롭게 추출하여 다음에 입력되는 영상에서 손의 위치를 추적하기 위한 새로운 특징 데이터로 사용한다. In addition, the hand gesture recognition unit 30 continuously updates the feature used to track the hand. Specifically, as shown in FIG. 8A, when the area 81 of the hand to be tracked is set and the feature data 70 of the area is extracted after the virtual mouse is activated, as shown in FIG. 7. Moving the position by moving the hand to drive the virtual mouse finds the position of the new hand in the newly input image, and extracts the feature 90 of the hand region to track the position of the hand in the next input image. Use as new feature data for

또한, 손동작 인식부(30)에서는 손을 추적하면서 손의 위치가 변할 때마다 새로 입력될 영상의 추적 범위를 매번 갱신한다. 즉, 도 7에서 영상의 추적 범위가 도면부호 81과 같다면, 도 9의 (b)의 위치로 손이 이동한 후에는 영상의 추적 범위는 새로운 영역(91)으로 갱신된다.In addition, the hand gesture recognition unit 30 updates the tracking range of the newly input image every time the hand position changes while tracking the hand. That is, if the tracking range of the image in FIG. 7 is the same as the reference numeral 81, after the hand moves to the position of FIG. 9B, the tracking range of the image is updated to the new area 91.

한편, 가상마우스가 활성화되면 가상마우스 시스템에 구비된 디스플레이 디바이스(예를 들어, 모니터나 TV 화면)에는 마우스 포인터가 표시되며, 이 마우스 포인터는 손의 위치좌표가 변경되는 것에 대응하여 디스플레이 디바이스의 화면상에서 이동된다. On the other hand, when the virtual mouse is activated, a mouse pointer is displayed on a display device (for example, a monitor or a TV screen) provided in the virtual mouse system, and the mouse pointer is displayed on the screen of the display device in response to a change in the position coordinates of the hand. Is moved on.

그리고, 디스플레이 디바이스의 화면상에 나타나 있는 메뉴아이콘(즉, 클릭 동작을 인식할 수 있는 아이콘), 예를 들어 폴더, 단축아이콘, 하이퍼텍스트 등의 클릭(click)은 다음과 같은 방법으로 구현된다. In addition, a menu icon (that is, an icon capable of recognizing a click operation) displayed on the screen of the display device, for example, a click of a folder, a shortcut icon, a hypertext, or the like is implemented in the following manner.

먼저, 종래의 방식으로는 타이머를 이용한 클릭 방법이 있다. 타이머 클릭은 손의 동작을 이용하여 디스플레이 디바이스의 화면에서 메뉴아이콘 위에 마우스 포인터를 올려놓은 다음 일정 시간 움직이지 않고 멈춰 있으면 이를 클릭 동작으로 인식하는 방식이다. 본 발명의 손동작 인식부(30)에서는 손의 이동 궤적을 분석하여 손의 정지 상태를 인식하고 이를 타이머 클릭으로 구현할 수 있다. 그러나, 타이머 클릭 방식은 미리 설정한 시간만큼 손을 움직이지 않고 기다려야 하는 불편함이 있기 때문에 사용자가 원하는 시점에서 클릭을 빠르게 수행할 수 있는 방법이 요구된다. First, the conventional method is a click method using a timer. The timer click is a method in which a mouse pointer is placed on a menu icon on a screen of a display device by using a hand motion, and if it is stopped for a certain time, it is recognized as a click motion. The hand gesture recognition unit 30 of the present invention analyzes the movement trajectory of the hand to recognize the stop state of the hand and implements it as a timer click. However, since the timer click method is inconvenient to wait without moving the hand for a predetermined time, a method for quickly clicking on a desired time is required by the user.

이를 구현하기 위해 본 발명에서는 다음의 과정을 통해 메뉴아이콘의 클릭을 인식한다. 도 9의 (a)에 도시된 바와 같이, 디스플레이 디바이스의 화면(101)에는 메뉴아이콘(102)이 있고, 이 메뉴아이콘(102) 위에 마우스 포인터를 올려놓으면 도 9의 (b)와 같이 메뉴아이콘의 인접한 위치에 클릭패드(103)가 생성된다. 이와 같이 클릭패드가 생성되면, 마우스 포인터를 메뉴아이콘에서 클릭패드로 이동시킨 후, 다시 마우스 포인터를 클릭패드(103)로부터 메뉴아이콘(102)으로 이동시키면 해당 메뉴아이콘(102)의 클릭으로 인식한다. 따라서, 사용자가 신속하게 원하는 메뉴아이콘을 클릭할 수 있다. 여기서, 클릭패드란 메뉴아이콘의 클릭을 위해 임시적으로 디스플레이 디바이스 화면에 생성되는 아이콘을 말한다.In order to implement this, the present invention recognizes the click of the menu icon through the following process. As shown in FIG. 9A, the screen 101 of the display device has a menu icon 102. When the mouse pointer is placed on the menu icon 102, the menu icon is displayed as shown in FIG. 9B. The click pad 103 is created at an adjacent position of. When the click pad is generated as described above, the mouse pointer is moved from the menu icon to the click pad, and if the mouse pointer is moved from the click pad 103 to the menu icon 102, it is recognized as a click of the corresponding menu icon 102. . Therefore, the user can quickly click the desired menu icon. Here, the click pad refers to an icon that is temporarily generated on the display device screen for the click of the menu icon.

클릭 동작을 좀 더 효율적으로 수행하기 위해, 도 10과 같이 동작시킬 수 있다. 메뉴아이콘(111) 위에 마우스 포인터가 위치했을 때 메뉴아이콘 주변의 일정 위치에 복수의 보조메뉴아이콘(112)을 디스플레이하고, 일정시간 내에 마우스 포인터를 복수의 보조메뉴아이콘 중 어느 하나의 보조메뉴아이콘(112) 위치로 이동했다가 다시 메뉴아이콘(111) 위치로 복귀했을 때 해당 보조메뉴아이콘(112)이 클릭된 것으로 인식할 수 있다. 이러한 방식은 볼륨이나 채널 선택의 경우 효과적으로 동작시킬 수 있다.In order to perform the click operation more efficiently, it may be operated as shown in FIG. 10. When the mouse pointer is positioned on the menu icon 111, a plurality of submenu icons 112 are displayed at a predetermined position around the menu icon, and within a predetermined time, the mouse pointer is moved to one of the submenu icons of the plurality of submenu icons. When the mobile terminal returns to the position of the menu icon 111, the submenu icon 112 may be recognized as being clicked. This method can effectively operate in the case of volume or channel selection.

한편, 숫자 패드나 키패드의 경우는 다수의 버튼이 서로 붙어 있기 때문에, 도 9와 같이 클릭패드를 표시하기 힘들다. 이런 경우 클릭 동작을 효율적으로 수행하기 위해, 메뉴아이콘 위치로 마우스 포인터를 이동시키면 메뉴아이콘의 밝기, 색상 및 크기 중 적어도 어느 하나를 변화시켜 차별화(하이라이트) 시키고, 이 상태에서 기설정된 마우스 포인터를 이동시켜 해당 메뉴아이콘을 벗어난 후 기설정된 시간 내에 다시 마우스 포인터를 해당 메뉴아이콘으로 이동시키면, 해당 메뉴아이콘이 클릭 된 것으로 인식할 수 있다. 이때, 메뉴아이콘을 벗어나기 위한 마우스 포인터의 이동방향은 상하좌우 혹은 임의의 방향일 수 있다.On the other hand, in the case of a numeric pad or a keypad, since a plurality of buttons are attached to each other, it is difficult to display the click pad as shown in FIG. In this case, moving the mouse pointer to the position of the menu icon in order to perform a click operation efficiently, differentiates (highlights) at least one of the brightness, color, and size of the menu icon, and moves the preset mouse pointer in this state. After moving out of the menu icon and moving the mouse pointer to the menu icon within a preset time, the menu icon can be recognized as clicked. In this case, the moving direction of the mouse pointer for leaving the menu icon may be up, down, left, or right directions.

또한, 손동작 인식부(30)에서는 가상 마우스를 구동하던 손을 아래로 내리면 가상 마우스를 비활성화 상태로 만든다. In addition, the hand gesture recognition unit 30 makes the virtual mouse deactivated when the hand driving the virtual mouse is lowered.

명령 전달부(40)에서는 가상 마우스의 위치와 클릭에 관한 명령을 디스플레이 디바이스와 상호 통신이 가능한 프로토콜로 변환하여 전송 한다The command transfer unit 40 converts the command regarding the position and click of the virtual mouse into a protocol capable of mutual communication with the display device and transmits the command.

이상에서 본 발명의 바람직한 실시 예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.Although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the above-described specific preferred embodiments, and the present invention belongs to the present invention without departing from the gist of the present invention as claimed in the claims. Various modifications can be made by those skilled in the art, and such changes are within the scope of the claims.

100...가상마우스 시스템(100)
10...카메라(10) 20...영상입력부
30...손동작 인식부 40...명령전달부100 ... Virtual Mouse System (100)
10 ... camera (10) 20 ... video input
30 ... Hand gesture recognition part 40 ... Command delivery part

Claims

In a method for driving a virtual mouse using hand gesture recognition,
Receiving a plurality of images continuously photographed from a two-dimensional camera;
Extracting a hand region from each of the input images and setting position coordinates of the extracted hand region;
Analyzing the locus of the hand by analyzing the change of the position coordinates in the plurality of images;
Determining whether the analyzed hand trajectory is within a preset reference trajectory;
And activating a virtual mouse when the trajectory of the hand and the reference trajectory are within the error range.

The method of claim 1,
The reference trajectory,
After moving by a predetermined angle in one direction along the trajectory of the circular arc, the virtual mouse driving method, characterized in that to move by a predetermined angle along the trajectory of the passed arc in the opposite direction of the one direction.

The method of claim 1,
After the virtual mouse is activated,
And extracting feature data by designating a partial region of the hand, and using the extracted feature data to track the position of a hand in a subsequently input image.

The method of claim 3,
And the feature data is updated for each input image.

5. The method of claim 4,
When tracking the position of the hand in the subsequently input image, the virtual mouse driving method, characterized in that for tracking the position of the hand in the image in a certain area around the previous position of the hand.

The method of claim 1,
When the virtual mouse is activated, a mouse pointer is displayed on the screen of the display device, and the displayed mouse pointer is moved in response to the change of the position coordinate.
When the mouse pointer is positioned on a menu icon displayed on the screen of the display device, a click pad is displayed at an adjacent position of the menu icon, and the mouse pointer is moved from the menu icon to the click pad, and then the mouse is again. And moving the pointer from the click pad to the menu icon to recognize the menu icon as a click operation of the menu mouse.

The method of claim 1,
When the virtual mouse is activated, a mouse pointer is displayed on the screen of the display device, and the displayed mouse pointer is moved in response to the change of the position coordinate.
When the mouse pointer is positioned on a menu icon displayed on the screen of the display device, an auxiliary menu icon is displayed at an adjacent position of the menu icon, and the mouse pointer is moved from the menu icon to the auxiliary menu icon. And moving the mouse pointer from the submenu icon to the menu icon to be recognized as a click operation of the submenu icon.

The method of claim 1,
When the virtual mouse is activated, a mouse pointer is displayed on the screen of the display device, and the displayed mouse pointer is moved in response to the change of the position coordinate.
Placing the mouse pointer on a menu icon displayed on the screen of the display device changes at least one of brightness, color, and size of the menu icon, and then moves the mouse pointer in a predetermined direction to move from the menu icon. After moving out, moving the mouse pointer to the menu icon within a predetermined time is recognized as a click action of the menu icon.