KR102322968B1 - a short key instruction device using finger gestures and the short key instruction method using thereof - Google Patents
a short key instruction device using finger gestures and the short key instruction method using thereof Download PDFInfo
- Publication number
- KR102322968B1 KR102322968B1 KR1020210055389A KR20210055389A KR102322968B1 KR 102322968 B1 KR102322968 B1 KR 102322968B1 KR 1020210055389 A KR1020210055389 A KR 1020210055389A KR 20210055389 A KR20210055389 A KR 20210055389A KR 102322968 B1 KR102322968 B1 KR 102322968B1
- Authority
- KR
- South Korea
- Prior art keywords
- finger
- distal end
- action
- command
- input
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G06K9/00335—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 손동작 인식이 가능한 가상현실(Virtual Reality ; VR), 증강현실 (Augmented Reality ; AR), 혼합현실 (Mixed Reality ; MR) 확장현실(Extented Reality ; XR) 시스템에 사용하는 사용자의 손동작에 따른 명령 입력 장치 및 방법에 관한 것이다.The present invention is a virtual reality (VR) capable of hand gesture recognition, augmented reality (AR), mixed reality (Mixed Reality; MR) and extended reality (XR) system according to the user's hand gestures. It relates to a command input device and method.
통상적인 단말기는 입력 수단으로 키 패드, 터치스크린, 조이스틱 및 스크롤휠 등을 제공하고 있다. 이를 통해 사용자는 단말기를 조작하거나 필요한 정보를 입력한다. 이때, 사용자는 단말기 제조 과정에서 정해지는 방법에 따라 입력 장치를 조작하여 단말기의 다양한 기능을 실행한다. 예를 들어, 사용자는 메시지 입력 수단으로서 단말기의 앞면 또는 측면에 구비된 버튼, 키 패드의 특정 버튼, 터치스크린, 조이스틱, 스크롤 휠 또는 스타일러스 펜 등을 이용하여 해당되는 기능에 따른 사용자 인터페이스를 실행한다.A typical terminal provides a keypad, a touch screen, a joystick, and a scroll wheel as input means. Through this, the user operates the terminal or inputs necessary information. In this case, the user operates the input device according to a method determined in the terminal manufacturing process to execute various functions of the terminal. For example, the user executes a user interface according to a corresponding function using a button provided on the front or side of the terminal, a specific button on a keypad, a touch screen, a joystick, a scroll wheel, or a stylus pen as a message input means. .
또한, 최근에 개성적으로 단말기를 사용하고자 하는 사용자가 증가하면서, 단말기 제조업체는 이를 충족시키기위해 다양한 기능을 제공할 수 있는 단말기를 제조하고 있다. 이와 함께, 단말기는 기존의 지정된 입력 수단 이외에도 사용자 각자의 개성을 살릴 수 있고, 단말기를 사용하는 사용자에게 입력 조작의 즐거움과 편리함을 동시에 제공할 수 있는 사용자 인터페이스가 필요하게 되었다.In addition, as the number of users who want to use a terminal individually increases in recent years, terminal manufacturers are manufacturing terminals capable of providing various functions in order to satisfy this demand. At the same time, there is a need for a user interface capable of utilizing the individuality of each user in addition to the existing designated input means and providing the user using the terminal with the pleasure and convenience of input manipulation at the same time.
특히, 최근 디지털 미디어의 발달로 인하여 실제 환경에 가상 사물이나 정보를 합성하는 증강현실(Augmented Reality) 기술이 보급화 됨에 따라 카메라를 통해 입력할 수 있는 인터페이스 기술에 대한 요구가 커지고 있다. 현실세계와 가상 세계가 함께 공존하는 증강현실에서, 사용자가 가상의 이미지나 영상을 제어하기 위한 다양한 방법이 연구되고 있다. In particular, due to the recent development of digital media, as augmented reality technology for synthesizing virtual objects or information in a real environment is popularized, there is a growing demand for an interface technology that can be input through a camera. In augmented reality, where the real world and the virtual world coexist, various methods for a user to control a virtual image or video are being studied.
컴퓨터 시스템에서 사용되었던 키보드와 마우스는 가장 보편적이며 중요한 입력장치이지만, 휴대용 기기에 사용하기에는 이동시 부피 면에서 불편한 점이 많다. 이러한 문제를 해결하기 위해 가상 키보드 방식의 입력장치가 개발되었으며, 사람과 컴퓨터 간의 직관적이고 자연스러운 상호작용을 위해, 사용자의 손 동작을 이용한 인터페이스 방법에 대한 연구가 많이 되고 있다. The keyboard and mouse used in computer systems are the most common and important input devices, but they have many inconveniences in terms of volume when moving them for use in portable devices. In order to solve this problem, a virtual keyboard type input device has been developed, and for an intuitive and natural interaction between a person and a computer, research on an interface method using a user's hand gesture is being conducted a lot.
종래의 손동작 인식 방식은 기계 학습을 통하여 기하학적 특징을 이용하여 손끝 움직임을 인식하고, 손가락 끝의 클릭 동작을 인식하는 방식이나, 이 방식은 증강현실과 같은 환경에 적용될 경우 공간 상에 터치가 안되기 때문에 키(Key)가 클릭된 것인지 정확한 판단이 어렵다. 마커들의 움직임을 인식하는 데이터 글로브 기반의 입력 방식은 장갑, 마커와 같은 추가 장비들을 필요로 하여 비용이 고가이며, 사용자가 반드시 장갑을 착용하여야 하는 불편함을 느끼게 된다.The conventional hand gesture recognition method recognizes fingertip movement using geometric features through machine learning and recognizes a fingertip click operation. It is difficult to accurately determine whether a key is clicked. The data glove-based input method for recognizing the movement of markers requires additional equipment such as gloves and markers, which is expensive, and the user feels inconvenient to wear gloves.
이와 관련된 선행기술로 공개특허 10-2020-0112777호(손가락 동작 인식을 이용한 키보드 입력 시스템 및 키보드 입력 방법, 선행기술 1)로서 "영상 촬영부에 의해 획득된 사용자 손의 영상에 글쇠들이 배열된 가상 키보드를 중첩하여 영상 표시 장치의 화면에 표시하도록 구성되는 가상 키보드 표시부; 그리고, 상기 영상에서 인식한 사용자 손의 손가락 동작을 기반으로 상기 가상 키보드의 글쇠를 출력하도록 구성되는 가상 키보드 입력부를 포함하고, 상기 가상 키보드 입력부는 상기 영상에서 인식한 사용자 손의 손가락 동작이 두 손가락의 상호 작용에 의한 클릭 제스쳐일 때 상기 두 손가락 중 어느 한 손가락의 끝 부분의 위치와 중첩되는 글쇠를 출력하도록 구성되는, 가상 키보드 입력 시스템"을 제공한 바 있다.As a related prior art, as Patent Publication No. 10-2020-0112777 (keyboard input system and keyboard input method using finger gesture recognition, prior art 1), "a virtual key in which keys are arranged in an image of a user's hand acquired by an image capturing unit A virtual keyboard display unit configured to overlap a keyboard and display it on the screen of an image display device, and a virtual keyboard input unit configured to output a key of the virtual keyboard based on a finger motion of a user's hand recognized in the image, The virtual keyboard input unit is configured to output a key overlapping the position of the tip of any one of the two fingers when the finger motion of the user's hand recognized in the image is a click gesture by the interaction of two fingers. keyboard input system".
또한 관련된 선행기술로 등록특허 10-1826911호(햅틱 인터랙션 기반 가상현실시뮬레이터 및 그 동작 방법, 선행기술 2)은 "전술훈련자가 착용중인 햅틱인터랙션장갑으로부터 수신되는 센싱정보를 기초로 가상디스플레이장치를 통해서 시현되고 있는 가상전술훈련환경 내에서 상기 햅틱인터랙션장갑과 동기되어 표시되는 가상 손의 위치 및 방향, 그리고 상기 가상 손의 모양을 결정하는 결정부; 상기 가상전술훈련환경 내에서의 상기 가상 손의 위치 및 방향, 그리고 상기 가상 손의 모양을 기초로 상기 가상 손과 상기 가상전술훈련환경 내 위치한 가상 객체 간에 접촉이 발생하는지 여부를 판별하는 판별부; 및 상기 가상 손과 상기 가상 객체 간에 접촉이 발생하는 것으로 판별되는 경우, 상기 가상 손과 상기 가상 객체간의 접촉 상태를 기초로 상기 햅틱인터랙션장갑에서 햅틱 자극이 인가될 햅틱자극인가영역을 지정하는 지정부 를 포함하며, Also, as a related prior art, Registered Patent No. 10-1826911 (Haptic Interaction-based Virtual Reality Simulator and Operation Method thereof, Prior Art 2) is "based on the sensing information received from the haptic interaction glove worn by the tactical trainee through a virtual display device. A determination unit that determines the position and direction of the virtual hand displayed in synchronization with the haptic interaction glove and the shape of the virtual hand in the virtual tactical training environment being displayed; The position of the virtual hand in the virtual tactical training environment and a determining unit that determines whether a contact occurs between the virtual hand and a virtual object located in the virtual tactical training environment based on a direction and a shape of the virtual hand, and a contact between the virtual hand and the virtual object and a designation unit for designating a haptic stimulus application area to which a haptic stimulus is to be applied in the haptic interaction glove based on the contact state between the virtual hand and the virtual object,
상기 센싱정보는, 상기 햅틱인터랙션장갑의 손바닥 중심 영역에 위치한 기준센서로부터 센싱되는 가속도 센싱 값, 자이로스코프센싱 값, 및 상기 기준센서로부터 상기 햅틱인터랙션장갑의 각 손가락 끝 영역까지의 거리 센싱 값 중 적어도 하나를 포함하는 것을 특징으로 하는 가상현실시뮬레이터"를 제공한바 있다.The sensing information includes at least an acceleration sensing value sensed from a reference sensor located in the palm center region of the haptic interaction glove, a gyroscope sensing value, and a distance sensing value from the reference sensor to each fingertip region of the haptic interaction glove. It has provided a "virtual reality simulator comprising one."
상기한 종래기술 및 선행기술은 별도의 컨트롤러를 통해 특정 기능이나, 단축키를 이용할 수 있었으며, 컨트롤러의 버튼 개수가 곧 기능의 개수가 되는 한계가 있었는바,In the prior art and the prior art, a specific function or shortcut could be used through a separate controller, and there was a limitation in that the number of buttons of the controller becomes the number of functions.
본 발명은 이를 해결하기 위해 도출한 것으로 컨트롤러의 버튼이 아닌 손가락의 움직임으로 대체하였으며, 손가락의 움직임을 추적 가능하게 됨으로써 컨트롤러와 같은 별도의 장비나 버튼 클릭 등의 동작이 필요 없이 간단한 손가락의 동작만으로 보다 편리하고 용이하게 사용 가능한 사용자의 손동작에 따른 명령 입력 장치 및 입력 방법을 제공하고자 한다.The present invention was derived to solve this problem and replaced it with the movement of a finger instead of a button on the controller, and because the movement of the finger can be tracked, there is no need for additional equipment such as a controller or an operation such as clicking a button, only a simple finger operation An object of the present invention is to provide a command input device and input method according to a user's hand gesture that can be used more conveniently and easily.
또한 본 발명은 VR, AR, MR, XR 등과 같이, 이미 상용화된 기존의 HMD장비에서도 용이하게 적용 가능하며, 손가락 인식이 가능한 거의 대부분의 장비에서 보다 효율적으로 가상현실 환경에서 사용자의 동작에 따른 단축키와 기능키를 할당 할 수 있으며 그 조합과 사용자의 기호나 취향에 따라 무궁무진한 조합을 가지게 되는 가상현실 환경에서 사용자의 손가락 동작 인식에 의하여 입력 이 가능한 사용자의 손동작에 따른 명령 입력 장치 및 입력 방법을 제공하고자 한다.In addition, the present invention can be easily applied to existing HMD equipment that has already been commercialized, such as VR, AR, MR, XR, etc., and is more efficient in most equipment that can recognize a finger in a virtual reality environment according to a user's motion. and function keys can be assigned, and a command input device and input method according to the user's hand gestures that can be input by recognizing the user's finger gestures in a virtual reality environment where there are infinite combinations depending on the combination and the user's preference or taste. would like to provide
본 발명은 상기한 목적 및 요구를 해결하기 위하여,The present invention in order to solve the above object and needs,
가상현실(Virtual Reality ; VR), 증강현실 (Augmented Reality ; AR), 혼합현실 (Mixed Reality ; MR) 확장현실(Extented Reality ; XR) 시스템에 사용하는 입력장치로서,As an input device used in Virtual Reality (VR), Augmented Reality (AR), Mixed Reality (MR) Extended Reality (XR) systems,
센싱부(110), 명령판단부(120), 명령전달부(130)를 포함하여 구성되어 있는 사용자의 손동작에 따른 명령 입력장치(100)를 제공한다.A command input device 100 according to a user's hand gesture is provided, which includes a sensing unit 110 , a command determination unit 120 , and a command transmission unit 130 .
또한 본 발명은 상기한 센싱부(110)는 손가락 인식 모듈(111), 신호 전송 모듈(112)을 포함하여 구성되어 있고,In addition, in the present invention, the sensing unit 110 is configured to include a finger recognition module 111 and a signal transmission module 112,
상기한 명령판단부(120)는 입력 준비 동작 모듈(121), 손가락 입력 식별 모듈(122), 입력 명령 가속도 시작 모듈(123), 가속도 측정 모듈(124)을 포함하여 구성되어 있고,The command determination unit 120 is configured to include an input preparation operation module 121, a finger input identification module 122, an input command acceleration start module 123, and an acceleration measurement module 124,
상기한 명령전달부(130)는 명령 호환 모듈(131), 시스템 입력부(132)를 포함하여 구성되어 있는 것을 특징으로 하는 사용자의 손동작에 따른 명령 입력장치(100)를 제공한다.The command transmission unit 130 provides a command input device 100 according to a user's hand gesture, characterized in that it includes a command compatibility module 131 and a system input unit 132 .
또한 본 발명은 기준 손가락 말단부가 다른 행위 손가락 말단부와 부착하는 동작으로 인식하는 경우 각각의 입력 명령에 대한 입력 준비 동작으로 인식하는 과정(1과정),In addition, the present invention provides a process of recognizing an input preparation operation for each input command when the reference finger distal end is recognized as an action of attaching to another action finger distal end (step 1),
행위 손가락 말단부가 기준 손가락 말단부와 떨어지는 순간을 인식하고 이와 같이 인식된 순간의 행위 손가락 말단부의 가속도 값을 측정하기 시작하는 입력 명령 가속도 시작 과정(2과정),The input command acceleration start process (step 2) of recognizing the moment when the action finger distal end is separated from the reference finger distal end and starting to measure the acceleration value of the action finger distal end at the recognized moment;
기설정된 시간 이내에 상기한 행위 손가락 말단부의 가속도 값이 기설정된 가속도 값의 범위로 판단되는 경우 입력 명령 이벤트(event)를 인지하는 과정(3과정),The process of recognizing an input command event when the acceleration value of the finger tip of the action within a preset time is determined to be within the preset acceleration value range (Step 3);
상기한 입력 명령 이벤트에 따른 명령을 수행하게 하도록 전달하는 과정(4과정),The process of delivering a command according to the above-described input command event (step 4),
을 포함하는 것을 특징으로 하는 사용자의 손동작에 따른 명령 입력 방법을 제공한다.It provides a command input method according to the user's hand gesture, characterized in that it comprises a.
본 발명은 종래의 기술이 별도의 컨트롤러를 통해 특정 기능이나, 단축키를 이용할 수 있었으며, 컨트롤러의 버튼 개수가 곧 기능의 개수가 되는 한계가 있었는바 이를 해결하기 위해 컨트롤러의 버튼이 아닌 손가락의 움직임으로 대체하였으며, 손가락의 움직임을 추적 가능하게 됨으로써 컨트롤러와 같은 별도의 장비나 버튼 클릭 등의 동작이 필요 없이 간단한 손가락의 동작만으로 보다 편리하고 용이하게 사용 가능한 환경을 제공하는 효과가 나타난다.In the present invention, a specific function or a shortcut key can be used through a separate controller in the prior art, and the number of buttons of the controller has a limitation in that the number of functions is the number of functions. Instead, it is possible to track the movement of the finger, so there is an effect of providing a more convenient and easy-to-use environment with simple finger movements without the need for additional equipment such as a controller or operation such as clicking a button.
또한 본 발명은 VR에서는 HTC Vive , MR에서는 Oculus Quest, XR에서는 Hololens2 와 같이, 이미 상용화된 기존의 HMD장비에서도 용이하게 적용 가능하며, 손가락 인식이 가능한 거의 대부분의 장비에서 보다 효율적으로 가상현실 환경에서 사용자의 동작에 따른 단축키와 기능키를 할당 할 수 있으며 그 조합과 사용자의 기호나 취향에 따라 무궁무진한 조합을 가지게 되는 가상현실 환경에서 사용자의 손가락 동작 인식에 의한 입력 명령이 시스템에 제공되는 효과가 나타난다.In addition, the present invention can be easily applied to existing HMD devices that have already been commercialized, such as HTC Vive in VR, Oculus Quest in MR, and Hololens2 in XR. In a virtual reality environment where shortcut keys and function keys can be assigned according to the user's motion, and there are infinite combinations depending on the combination and user's preference or taste, the effect of providing the system with input commands by recognizing the user's finger motions appear.
도 1 내지 도 1c는 본 발명에 따른 사용자의 손과 손가락 및 이의 움직임을 인식하는 방법 및 구조를 나타내는 도면.
도 2 내지 도 2d는 본 발명에 따른 기준 손가락 말단부와 하나의 행위 손가락 말단부에 따른 명령 구분을 나타내는 도면.
도 3 내지 도 3c는 기준 손가락 말단부와 하나의 2개의 행위 손가락 말단부에 따른 명령 구분을 나타내는 도면.
도 4 내지 도 4b는 기준 손가락 말단부와 하나의 3개의 행위 손가락 말단부에 따른 명령 구분을 나타내는 도면.
도 5 내지 도 5b는 기준 손가락 말단부와 하나의 4개의 행위 손가락 말단부에 따른 명령 구분을 나타내는 도면.
도 2e는 본 발명에 따른 설정된 공간좌표부에 손과 손가락 및 이의 움직임에 대한 좌표가 측정되는 개념도.
도 6은 본 발명에 따른 입력 준비 동작을 보여주는 개념도.
도 6b는 본 발명에 따른 입력 명령 가속도 시작 동작을 보여주는 개념도.
도 6c 내지 도 6d는 본 발명에 따른 입력 명령 이벤트를 인지하는 동작 및 방법을 보여주는 개념도.
도 7은 본 발명에 따른 사용자의 손동작에 따른 명령 입력 장치를 이용한 명령 입력 방법의 개념 순서도. 1 to 1C are diagrams illustrating a method and structure for recognizing a user's hand and fingers and their movements according to the present invention.
2 to 2D are diagrams showing command division according to the reference finger distal end and one action finger distal end according to the present invention.
3 to 3C are diagrams illustrating command division according to a reference finger distal end and one and two action finger distal portions;
4 to 4B are diagrams illustrating command division according to a reference finger distal end and one three action finger distal end;
5 to 5B are diagrams illustrating command division according to a reference finger distal end and one four action finger distal end;
2E is a conceptual diagram in which coordinates for a hand and a finger and their movement are measured in a set spatial coordinate unit according to the present invention;
6 is a conceptual diagram showing an input preparation operation according to the present invention.
6B is a conceptual diagram illustrating an input command acceleration start operation according to the present invention.
6C to 6D are conceptual views illustrating an operation and method for recognizing an input command event according to the present invention.
7 is a conceptual flowchart of a command input method using a command input device according to a user's hand gesture according to the present invention.
이하 본 발명을 도면을 참고하여 상세히 설명하고자 한다.Hereinafter, the present invention will be described in detail with reference to the drawings.
본 발명은 가상현실(Virtual Reality ; VR), 증강현실 (Augmented Reality ; AR), 혼합현실 (Mixed Reality ; MR) 확장현실(Extented Reality ; XR) 시스템에 사용하는 사용자의 손동작에 따른 명령 입력장치(100)로서,The present invention is a virtual reality (VR), augmented reality (AR), mixed reality (Mixed Reality; MR) extended reality (Extented Reality; XR) system according to the user's hand motion command input device ( 100) as,
센싱부(110), 명령판단부(120), 명령전달부(130)를 포함하여 구성되어 있다.It is configured to include a sensing unit 110 , a command decision unit 120 , and a command transmission unit 130 .
또한 본 발명은 상기한 사용자의 손동작에 따른 명령 입력장치(100)를 이용하여 사용자의 손동작에 따른 명령 입력 방법을 제공한다.In addition, the present invention provides a command input method according to a user's hand gesture using the above-described command input device 100 according to the user's hand gesture.
본 발명에 따른 사용자의 손동작에 따른 명령 입력장치(100)는 별도의 컨트롤러를 통해 특정 기능이나, 단축키를 이용할 수 있었으며, 컨트롤러의 버튼 개수가 곧 기능의 개수가 되는 한계를 해결하기 위해 컨트롤러의 버튼이 아닌 손가락의 움직임으로 대체하였으며, 손가락의 움직임을 추적 가능하게 됨으로써 컨트롤러와 같은 별도의 장비나 버튼 클릭 등의 동작이 필요 없이 간단한 손가락의 동작만으로 보다 편리하고 용이하게 사용가능한 환경을 제공한다.The command input device 100 according to the user's hand gesture according to the present invention was able to use a specific function or a shortcut key through a separate controller. It is replaced with the movement of the finger instead of the one, and as the movement of the finger can be tracked, it provides a more convenient and easy-to-use environment with simple finger movements without the need for additional equipment such as a controller or button clicks.
본 발명에 따른 사용자의 손동작에 따른 명령 입력장치(100)는 VR에서는 HTC Vive , MR에서는 Oculus Quest, XR에서는 Hololens2 와 같이, 이미 상용화된 기존의 HMD장비에서도 용이하게 적용 가능하며, 손가락 인식이 가능한 거의 대부분의 장비에서 보다 효율적으로 가상현실 환경에서 사용자의 동작에 따른 단축키와 기능키를 할당 할 수 있으며 그 조합과 사용자의 기호나 취향에 따라 무궁무진한 조합을 가지게 되는 가상현실 환경에서 사용자의 손가락 동작 인식에 의한 이벤트 기능이 시스템에 제공된다.The command input device 100 according to the user's hand gesture according to the present invention can be easily applied to existing HMD equipment that has already been commercialized, such as HTC Vive in VR, Oculus Quest in MR, and Hololens2 in XR. In most devices, shortcut keys and function keys can be assigned more efficiently according to the user's actions in the virtual reality environment, and the user's finger movements in the virtual reality environment have infinite combinations depending on the combination and user's preference or taste. An event function by recognition is provided in the system.
본 발명의 사용자의 손동작에 따른 명령 입력장치(100)는 통상의 MCU, CPU 등의 정보처리장치, 메모리, 데이터 송수신 장치 등의 하드웨어 및 이에 탑재하는 응용프로그램이 구비되어 있다.The command input device 100 according to the user's hand gesture of the present invention is provided with hardware such as an information processing device such as a general MCU and CPU, a memory, and a data transmission/reception device, and an application program mounted thereon.
본 발명의 상기한 센싱부(110)는 손가락을 인식할 수 있는 기능을 수행하고, 손가락의 움직임을 인식하는 기능을 수행하는 장치 또는 수단을 의미한다.The sensing unit 110 of the present invention refers to a device or means for performing a function of recognizing a finger and recognizing a movement of a finger.
도 2e에서 보는 바와 같이 본 발명은 공간좌표부(300)가 설정되어 있고, 이와 같은 공간좌표부(300)에 놓여진 사용자의 손, 손동작 등을 본 발명의 명령 입력장치(100)의 각각의 구성인 센싱부(110), 명령판단부(120), 명령전달부(130)에서 좌표로서 인식하여 추출할 수 있는 구성으로 되어 있다.As shown in Fig. 2e, in the present invention, the
따라서 상기한 센싱부(110)는 왼손과 오른손을 인식하는 기능, 사용자의 엄지, 검지, 중지, 장지, 약지의 개별 손가락을 인식하는 기능 및 각 개별손가락 사이의 움직임을 인식하는 기능을 수행한다.Accordingly, the sensing unit 110 performs a function of recognizing the left and right hands, a function of recognizing individual fingers of the user's thumb, index, middle, middle, and ring fingers, and a function of recognizing movement between each individual finger.
상기한 센싱부(110)는 손가락 인식 모듈(111), 신호 전송 모듈(112)을 포함하여 구성되어 있다.The sensing unit 110 includes a finger recognition module 111 and a signal transmission module 112 .
본 발명에서 사용되는 모듈은 그 모듈에서 구현하고자 하는 기능을 수행하는 알고리즘을 구현한 프로그램 또는 제어방법 또는 이들이 탑재된 장치, 수단 등을 포함하는 개념이다.A module used in the present invention is a concept including a program or a control method implementing an algorithm for performing a function to be implemented in the module, or a device, means, etc. in which they are mounted.
센싱부(110)는 손가락 인식 모듈(111)이 구성되어 사람의 왼손과 오른손에 대한 형상과 모양이 기입력 및 설정이 되어 있고, 손과 손가락 형상을 인식하여 왼손과 오른손을 인식하는 기능, 사용자의 엄지, 검지, 중지, 약지, 소지의 개별 손가락을 인식하는 기능 및 각 개별손가락 사이의 움직임을 인식하여 손가락 인식 정보를 생성하는 기능을 수행한다.The sensing unit 110 is configured with a finger recognition module 111, so that the shape and shape of the person's left and right hands are written and set, and the function of recognizing the left and right hands by recognizing the shapes of the hands and fingers, the user It performs the function of recognizing individual fingers of the thumb, index finger, middle finger, ring finger, and the holding finger, and the function of generating finger recognition information by recognizing the movement between each individual finger.
상기한 손가락 인식 모듈(111)에서 감지한 손가락 인식 정보는 신호 전송 모듈(112)을 통하여 명령판단부(120)로 전송되어 입력 정보의 판단 정보로 활용된다.The finger recognition information detected by the finger recognition module 111 is transmitted to the command determination unit 120 through the signal transmission module 112 and is used as determination information of the input information.
도 1에서 보는 바와 같이, 본 발명의 손가락 인식 모듈(111)은 사용자의 왼손(200)은 엄지, 검지, 중지, 약지, 소지를 인식하고 각각의 손가락 끝부분(말단부)를 엄지의 말단부(201), 검지의 말단부(202), 중지의 말단부(203), 약지의 말단부(204), 소지의 말단부(205)를 인식하는 기능을 수행한다.As shown in FIG. 1, the finger recognition module 111 of the present invention recognizes the thumb, index finger, middle finger, ring finger, and small finger of the user's
도 1b에서 보는 바와 같이, 본 발명은 이와 같은 상기한 손가락 인식 모듈(111)이 사용자의 손과 손가락 및 이의 움직임을 인식하는 방법으로 장갑형 무선 입력 장치(210)를 손가락에 착용한 후 장갑형 무선 입력 장치의 각각의 손가락에 설치된 신호 발생 장치(211, 211-1, 211-2, 211-3, 211-4)에서 발생한 빛, 음파, 전파 등과 같은 신호를 손가락 인식 모듈(111)이 감지하여 인식하는 방법을 포함하게 된다.As shown in FIG. 1B , the present invention provides a method in which the above-described finger recognition module 111 recognizes the user's hand and fingers and their movements, and the glove-type
도 1c에서 보는 바와 같이, 또한 본 발명은 이와 같은 상기한 손가락 인식 모듈(111)이 사용자의 손과 손가락 및 이의 움직임을 인식하는 방법으로 각각의 손가락에 마커(220, 220-1, 220-2, 220-3, 220-4)를 부착하여 손가락 인식 모듈(111)이 마커를 인식하는 방법으로 수행할 수 있다.As shown in Fig. 1c, the present invention also provides the above-described finger recognition module 111 as a method for recognizing the user's hand and fingers and their movements. , 220-3, 220-4) may be attached so that the finger recognition module 111 recognizes the marker.
본 발명이 상기한 명령판단부(120)는 상기한 손가락 인식 모듈(111)에서 획득한 손가락 인식 정보를 전달받아 어떠한 입력 명령을 의미하는지 판단하는 기능을 수행하는 장치 또는 수단을 의미한다.In the present invention, the command determination unit 120 refers to a device or means for receiving the finger recognition information obtained from the finger recognition module 111 and determining which input command is meant.
상기한 명령판단부(120)는 상기한 손가락 인식 모듈(111)에서 획득한 손가락 인식 정보를 키보드 및 마우스와 같은 하나 이상의 키를 "바로가기"와 같은 단축키로 작동하게 하는 기능을 수행하게 한다.The command decision unit 120 performs a function of operating one or more keys such as a keyboard and a mouse as a shortcut such as a “shortcut” using the finger recognition information obtained from the finger recognition module 111 .
상기한 명령판단부(120)는 입력 준비 동작 모듈(121), 손가락 입력 식별 모듈(122), 입력 명령 가속도 시작 모듈(123), 가속도 측정 모듈(123)을 포함하여 구성되어 있다.The command determination unit 120 is configured to include an input preparation operation module 121 , a finger input identification module 122 , an input command acceleration start module 123 , and an acceleration measurement module 123 .
본 발명은 다음과 같은 제어 방법으로 손가락 움직임(제스처)를 입력 명령으로 인식하게 된다.The present invention recognizes a finger movement (gesture) as an input command through the following control method.
본 발명은 입력 준비 동작 모듈(121)에서 기준 손가락 말단부가 다른 행위 손가락 말단부와 부착하는 동작으로 인식하는 경우 각각의 입력 명령에 대한 입력 준비 동작으로 인식하는 과정이 수행된다.(1과정)In the present invention, when the input preparation operation module 121 recognizes that the reference finger distal end is attached to the other action finger distal end, a process of recognizing it as an input preparation operation for each input command is performed. (Step 1)
본 발명의 기준 손가락 말단부는 손가락 동작에 따른 명령을 인식하는 기준이 되는 손가락 말단부를 의미하며 엄지, 검지, 중지, 약지, 소지 중 어느 것이나 설정될 수 있으며, 통상 엄지 손가락 말단부를 기준 손가락 말단부로 하게 된다.The reference finger distal portion of the present invention means the finger distal portion serving as a standard for recognizing commands according to finger motions, and any one of thumb, index finger, middle finger, ring finger, and small finger may be set, and the distal end of the thumb is usually used as the distal end of the reference finger. do.
또한 행위 손가락 말단부는 상기한 기준 손가락 말단부와 제스처(행동)를 하는 다른 손가락 말단부를 의미하며 통상 엄지를 제외한 다른 검지, 중지, 약지, 소지가 설정되게 된다.In addition, the action finger distal end means the reference finger distal end and the other finger distal end for which a gesture (action) is performed, and the index finger, middle finger, ring finger, and little finger other than the thumb are usually set.
본 발명은 손가락 입력 식별 모듈(122)에서 기준 손가락 말단부인 엄지의 말단부가 다른 행위 손가락 말단부인 검지의 말단부, 중지의 말단부, 약지의 말단부, 소지의 말단부 중 어느 하나 이상과 부착하는지 인식하는 과정을 수행한다.(1과정-1)The present invention recognizes whether the distal end of the thumb, which is the distal end of the reference finger, is attached to any one or more of the distal end of the index finger, the distal end of the middle finger, the distal end of the middle finger, the distal end of the ring finger, and the distal end of the small finger in the finger input identification module 122. (Step 1 - 1)
도 2 내지 도 2d에서 보는 바와 같이, 본 발명의 실시예로 기준 손가락 말단부인 엄지의 말단부가 다른 행위 손가락 말단부인 검지의 말단부가 부착하는 것으로 인식하는 경우에는 "Insert" 키(명령)로 인식하게 하고, 엄지의 말단부가 중지의 말단부가 부착하는 것으로 인식하는 경우에는 "Delete" 키(명령)로 인식하게 한다.As shown in FIGS. 2 to 2D , in the embodiment of the present invention, when the distal end of the thumb, which is the distal end of the reference finger, is recognized as being attached to the distal end of the index finger, which is the distal end of the other action finger, it is recognized as an “Insert” key (command). And, when the distal end of the thumb is recognized as being attached to the distal end of the middle finger, it is recognized with the “Delete” key (command).
상기한 손가락 입력 식별 모듈(122)에서는 이와 같은 기준 손가락 말단부와 행위 손가락 말단부의 종류 및 개수에 따른 키(명령) 인식은 사용자의 설정에 따라 아래에서 설명하는 바와 같이 다양하게 설정될 수 있다.In the above-described finger input identification module 122, key (command) recognition according to the type and number of the reference finger distal end and the action finger distal end may be set in various ways as described below according to the user's setting.
또한 본 발명은 도 3 내지 도 3c에서 보는 바와 같이, 기준 손가락 말단부인 다른 행위 손가락 말단부 2개가 부착하는 것으로 인식하는 경우 또 다른 명령들로 인식하게 한다.In addition, as shown in Figs. 3 to 3c, the present invention allows recognition of other commands when it is recognized that two other action finger distal portions, which are the reference finger distal portions, are attached.
또한 본 발명은 도 4 내지 도 4b에서 보는 바와 같이, 기준 손가락 말단부인 다른 행위 손가락 말단부 3개가 부착하는 것으로 인식하는 경우 또 다른 명령들로 인식하게 한다.In addition, as shown in FIGS. 4 to 4B , the present invention allows recognition as other commands when recognizing that three other action finger distal portions, which are the reference finger distal portions, are attached.
또한 본 발명은 도 5에서 보는 바와 같이, 기준 손가락 말단부인 다른 행위 손가락 말단부 4개가 부착하는 것으로 인식하는 경우 또 다른 명령들로 인식하게 한다.In addition, as shown in FIG. 5 , the present invention allows recognition of other commands when recognizing that four other action finger distal portions, which are the reference finger distal portions, are attached.
또한 본 발명은 왼손과 오른손의 손가락 운동이 별도로 설정되어 있어서 무수히 많은 명령들을 수행할 수 있는 효과가 나타나게 된다.In addition, according to the present invention, since the finger movements of the left and right hands are set separately, there is an effect that a myriad of commands can be executed.
본 발명은 기준 손가락 말단부가 다른 행위 손가락 말단부와 부착하는 부착하는 동작으로 인식하는 경우 상기한 각각의 입력 명령에 대한 입력 준비 동작으로 인식하는 과정이 수행된다.(1과정-2)In the present invention, when the reference finger distal end is recognized as an attaching motion of attaching to another action finger distal end, the process of recognizing the above-described input preparation operation for each input command is performed. (Step 1-2)
도 6에서 보는 것처럼, 입력 준비 동작은 기준 손가락 말단부의 중심점인 엄지의 중심점(P1)과 행위 손가락 말단부의 중심점인 검지의 중심점(P2) 사이의 거리(A)가 기설정된 범위 이내에 있는 경우 수행되게 된다.As shown in FIG. 6 , the input preparation operation is performed when the distance (A) between the central point (P1) of the thumb, which is the central point of the distal end of the reference finger, and the central point (P2) of the index finger, which is the central point of the distal end of the action finger, is within a preset range. do.
즉, 엄지의 중심점(P1)과 검지의 중심점(P2))과 같이 각각의 손가락의 중심점(P)은 상기한 각각의 손가락 끝부분(말단부) 즉, 엄지의 말단부(201), 검지의 말단부(202), 중지의 말단부(203), 약지의 말단부(204), 소지의 말단부(205)에 대하여 기설정되어 있는 반경(R)이 설정되어 있다. That is, like the central point (P1) of the thumb and the central point (P2)) of the index finger, the central point (P) of each finger is the above-mentioned each finger tip (distal end), that is, the
예컨데, 엄지의 말단부(201)의 반경(R1)은 4~10mm로 설정되고, 검지의 말단부(202)의 반경은 3~8mm 등으로 설정되어, 손가락 인식 모듈(111)에서 각각의 손가락 끝부분(말단부)를 인식하게 되면 각각의 손가락 끝부분(말단부)에 설정된 반경에 대한 중심점(P1, P2)이 인식되게 된다.For example, the radius R1 of the
따라서 상기한 입력 준비 동작은 엄지의 중심점(P1)과 검지의 중심점(P2) 사이의 거리(A)가 기설정된 범위, 예를 들어 5mm 이하로 설정된 경우 엄지의 중심점(P1)과 검지의 중심점(P2) 사이의 거리(A)가 5mm 이하로 측정되는 경우 입력 준비 동작이 수행되게 된다.Therefore, the above input preparation operation is performed when the distance (A) between the center point (P1) of the thumb and the center point (P2) of the index finger is set to a preset range, for example, 5 mm or less, the center point (P1) of the thumb and the center point (P2) of the index finger ( When the distance (A) between P2) is measured to be 5 mm or less, the input preparation operation is performed.
본 발명은 입력 명령 가속도 시작 모듈(123)에서 행위 손가락 말단부가 기준 손가락 말단부와 떨어지는 순간을 인식하고 이와 같이 인식된 순간의 행위 손가락 말단부의 가속도 값을 측정하기 시작하는 입력 명령 가속도 시작 과정을 수행한다.(2과정)In the present invention, the input command acceleration starting module 123 recognizes the moment when the distal end of the action finger is separated from the distal end of the reference finger, and performs an input command acceleration start process of starting to measure the acceleration value of the distal end of the action finger at the recognized moment. .(2 courses)
도 6b에서 보는 것처럼, 상기한 행위 손가락 말단부가 기준 손가락 말단부와 떨어지는 순간을 인식하는 방법은 행위 손가락 말단부의 반경과 기준 손가락 말단부의 반경을 합한 거리(B)가 기준 손가락 말단부 중심점[예, 엄지의 중심점(P1)]과 행위 손가락 말단부 중심점[예, 검지의 중심점(P2)] 사이의 거리(A, 중심 사이 거리)와 동일하게 되는 시점을 인식하는 것으로 한다.As shown in FIG. 6B, in the method for recognizing the moment when the distal end of the action finger is separated from the distal end of the reference finger, the distance (B) that is the sum of the radius of the distal end of the action finger and the radius of the distal end of the reference finger is the center point of the distal end of the reference finger [eg, of the thumb. It is assumed that a viewpoint equal to the distance (A, distance between the centers) between the center point P1] and the center point of the distal end of the action finger (eg, the center point P2 of the index finger) is recognized.
행위 손가락 말단부의 반경과 기준 손가락 말단부의 반경을 합한 반경 합 거리(B)는 기설정되어 있다.The radius sum distance (B) of the sum of the radius of the distal end of the action finger and the radius of the distal end of the reference finger is preset.
상기한 예를 들어, 행위 손가락(검지) 말단부의 반경은 R2이고 기준 손가락(엄지) 말단부의 반경은 R1은 기설정되어 있어서,For the above example, the radius of the distal end of the action finger (index finger) is R2, and the radius of the distal end of the reference finger (thumb) R1 is preset,
B(반경 합 거리) = R1+R2 ------(연산식 1)B (sum radius distance) = R1+R2 ------ (Equation 1)
로 설정되게 된다.will be set to
마찬가지로, 다른 행위 손가락(검지, 중지, 약지, 소지) 말단부 반경도 기설정되어 있어서, 행위 손가락 말단부의 반경과 기준 손가락 말단부의 반경을 합한 거리(B)를 알 수 있게 된다.Similarly, the radius of the distal end of the other action finger (index finger, middle finger, ring finger, and little finger) is also preset, so that the sum of the radius of the distal end of the action finger and the radius of the distal end of the reference finger can be found (B).
이 경우 행위 손가락 말단부가 2개 이상인 경우는 그 중에 우선 행위 손가락 말단부를 설정하여 그 우선 행위 손가락 말단부의 반경을 기준으로 하게 된다.In this case, when there are two or more action finger distal portions, the preferred action finger distal portion is set among them, and the radius of the preferred action finger distal portion is used as a reference.
상기한 기준 손가락 말단부 중심점(P1)과 행위 손가락 말단부 중심점(P2)사이의 중심 사이 거리(A)는 아래와 같은 방법으로 측정된다.The distance (A) between the center of the reference finger distal end center point (P1) and the action finger distal end center point (P2) is measured in the following way.
먼저 상기한 센서부(110)에서 인식한 기준 손가락 말단부 중심점(P1)과 행위 손가락 말단부 중심점(P2)을 공간 좌표로 인식되게 된다.First, the center point P1 of the distal end of the reference finger and the center point P2 of the distal end of the action finger recognized by the sensor unit 110 are recognized as spatial coordinates.
상기한 기준 손가락 말단부 중심점(P1)의 공간좌표는 (x1, y1, z1)이고 상기한 행위 손가락 말단부 중심점(P2)의 공간좌표는 (x2, y2, z2)이다.The spatial coordinates of the center point P1 of the distal end of the reference finger are (x1, y1, z1), and the spatial coordinates of the center point P2 of the distal end of the action finger are (x2, y2, z2).
따라서 중심 사이 거리(A)는 아래의 (연산식 2)로 연산하게 된다.Therefore, the distance (A) between the centers is calculated by the following (Equation 2).
중심 사이 거리(A) = SQRT[(x1-x2)2 +(y1-y2)2+(z1-z2)2] -----(연산식 2)Distance between centers (A) = SQRT[(x1-x2) 2 +(y1-y2) 2 +(z1-z2) 2 ] -----(Equation 2)
본 발명은 상기한 중심 사이 거리(A)가 B(반경 합 거리)와 일치되는 순간에 행위 손가락 말단부의 가속도 값을 측정하기 시작하도록 명령하게 된다.The present invention commands to start measuring the acceleration value of the distal end of the action finger at the moment when the distance A between the centers coincides with B (sum radius distance).
즉, B(반경 합 거리) = 중심 사이 거리(A)로 인식하는 경우 행위 손가락 말단부의 가속도 값을 측정하기 시작하게 된다.That is, if B (sum radius distance) = center-to-center distance (A) is recognized, the acceleration value of the distal end of the action finger starts to be measured.
본 발명은 가속도 측정 모듈(124)에서 기설정된 시간 이내에 상기한 행위 손가락 말단부의 가속도 값이 기설정된 가속도 값의 범위로 판단하는 경우 입력 명령 이벤트(event)를 인지하는 과정을 수행한다.(3과정)The present invention performs a process of recognizing an input command event when the acceleration measurement module 124 determines that the acceleration value of the distal end of the action finger is within a predetermined range of acceleration values within a predetermined time. (Step 3) )
상기한 가속도 측정 모듈(124)에서 아래와 같은 과정으로 가속도 값(Vector의 변화량)을 측정하고 입력 명령 이벤트(event)를 인지하는 과정을 수행한다.The acceleration measurement module 124 measures the acceleration value (the amount of change in the vector) and recognizes the input command event by the following process.
도 6c 내지 도 6d에서 보는 것처럼, 행위 손가락 말단부의 중심점(P2)의 공간좌표가 가속도 측정 시점의 공간좌표 P20(x20, y20, z20)에서 단위 시간(Δt) 동안에 이동 공간좌표 P21(x21, y21, z21)으로 이동했을 경우의 행위 손가락 말단부의 속도(V)는 아래의 (연산식 3)으로 구해진다.As shown in FIGS. 6C to 6D , the spatial coordinates of the center point P2 of the distal end of the action finger move during the unit time Δt at the spatial coordinates P20 (x20, y20, z20) at the time of measurement of the acceleration spatial coordinates P21 (x21, y21) , z21), the velocity (V) of the distal end of the action finger is obtained by the following (Equation 3).
행위 손가락 말단부의 속도(V) = SQRT[(x21-x20)2 +(y21-y20)2+(z21-z20)2]/Δt ------(연산식 3)Velocity of the finger tip of the action (V) = SQRT[(x21-x20) 2 +(y21-y20) 2 +(z21-z20) 2 ]/Δt ------(Equation 3)
기설정된 시간(t1)에서의 행위 손가락 말단부의 가속도(a)는 상기한 행위 손가락 말단부의 속도(V)를 시간(t)의 함수로 미분을 하면 아래의 (연산식 4)로 구해지게 된다.The acceleration (a) of the distal end of the action finger at a preset time t1 is obtained by differentiating the velocity V of the distal end of the action finger as a function of time t, as shown in (Equation 4) below.
행위 손가락 말단부의 가속도(a) = 
본 발명은 이와 같은 행위 손가락 말단부의 가속도(a)가 설정된 가속도 값 이상 또는 범위로 측정되는 경우 입력 명령 이벤트(event)를 인지하게 된다.The present invention recognizes an input command event when the acceleration (a) of the distal end of the action finger is measured to be greater than or equal to the set acceleration value or range.
상기한 가속도 측정 모듈(124)은 상기의 방법 외에 통상의 자이로 센서 등과 같은 가속도 센서를 사용하여 설정된 행위 손가락 말단부을 말단부를 인식하고 측정하는 방법도 사용할 수 있다.In addition to the above-described method, the acceleration measuring module 124 may use a method of recognizing and measuring the distal end of the action finger set using an acceleration sensor such as a general gyro sensor.
본 발명은 상기한 입력 명령 이벤트(event)를 명령전달부(130)로 그 입력 명령 이벤트에 따른 명령을 수행하게 하도록 전달하는 과정을 수행한다.(4과정)The present invention carries out a process of transferring the above-described input command event to the command transmission unit 130 to execute a command according to the input command event. (Step 4)
상기한 명령전달부(130)는 명령 호환 모듈(131), 시스템 입력부(132)를 포함하여 구성되어 있다.The command transfer unit 130 is configured to include a command compatibility module 131 and a system input unit 132 .
상기한 명령전달부(130)는 전달받은 입력 명령 이벤트(event)를 가상현실(Virtual Reality ; VR), 증강현실 (Augmented Reality ; AR), 혼합현실 (Mixed Reality ; MR) 확장현실(Extented Reality ; XR) 시스템으로 시스템 입력부(132)를 통하여 입력 명령(키) 신호를 전송하는 기능을 수행한다.The command transmission unit 130 transmits the received input command event (event) to virtual reality (VR), augmented reality (AR), mixed reality (Mixed Reality; MR), and extended reality (Extented Reality); XR) performs a function of transmitting an input command (key) signal through the system input unit 132 to the system.
따라서 상기한 명령전달부(130)는 가상현실(Virtual Reality ; VR), 증강현실 (Augmented Reality ; AR), 혼합현실 (Mixed Reality ; MR) 확장현실(Extented Reality ; XR) 중 어느 시스템이든 입력 명령이 수행되도록 명령 호환 모듈(131)을 구비하는 것이 바람직하다. Therefore, the command transmission unit 130 is a virtual reality (Virtual Reality; VR), augmented reality (AR), mixed reality (Mixed Reality; MR) extended reality (Extented Reality; XR) any system input command It is desirable to have a command compatibility module 131 to perform this.
상기한 명령 호환 모듈(131)은 통상의 입력 변환 모듈, 인터페이스(interface) 모듈 등을 사용할 수 있다.The above-described command compatible module 131 may use a general input conversion module, an interface module, or the like.
본 발명은 상기한 구성과 기능으로 이루어진 사용자의 손동작에 따른 명령 입력 장치 및 이를 이용한 입력 방법을 제공한다.The present invention provides a command input device according to a user's hand gesture having the above configuration and functions, and an input method using the same.
본 발명은 입력 장치를 생산, 제조, 판매, 유통, 연구하는 산업에 매우 유용하다.The present invention is very useful in industries that produce, manufacture, sell, distribute, and research input devices.
특히 본 발명은 가상현실(Virtual Reality ; VR), 증강현실 (Augmented Reality ; AR), 혼합현실 (Mixed Reality ; MR) 확장현실(Extented Reality ; XR) 시스템에 사용하는 사용자의 손동작에 따른 명령 입력장치를 생산, 제조, 판매, 유통, 연구하는 산업에 매우 유용하다.In particular, the present invention provides a command input device according to a user's hand gestures used in a virtual reality (VR), augmented reality (AR), mixed reality (MR) extended reality (XR) system. It is very useful for industries that produce, manufacture, sell, distribute, and research
삭제delete
삭제delete
Claims (3)
센싱부(110), 명령판단부(120), 명령전달부(130)를 포함하여 구성되어 있고,
공간좌표부(300)가 설정되어 있어 사용자의 손 또는 손동작을 센싱부(110), 명령판단부(120), 명령전달부(130)에서 좌표로서 인식하여 추출할 수 있는 구성으로 되어 있으며,
상기한 센싱부(110)는 손가락 인식 모듈(111), 신호 전송 모듈(112)을 포함하여 구성되어 있고,
상기한 명령판단부(120)는 입력 준비 동작 모듈(121), 손가락 입력 식별 모듈(122), 입력 명령 가속도 시작 모듈(123), 가속도 측정 모듈(124)을 포함하여 구성되어 있고,
상기한 명령전달부(130)는 명령 호환 모듈(131), 시스템 입력부(132)를 포함하여 구성되어 있되,
입력 준비 동작 모듈(121)에서 기준 손가락 말단부가 다른 행위 손가락 말단부와 부착하는 동작으로 인식하는 경우 각각의 입력 명령에 대한 입력 준비 동작으로 인식하는 과정(1과정)을 수행하되,
기준 손가락 말단부인 엄지의 말단부가 다른 행위 손가락 말단부인 검지의 말단부, 중지의 말단부, 약지의 말단부, 소지의 말단부 중 어느 하나 이상과 부착하는지 인식하는 과정(1과정-1),
기준 손가락 말단부가 다른 행위 손가락 말단부와 부착하는 동작으로 인식하는 경우 상기한 각각의 입력 명령에 대한 입력 준비 동작으로 인식하는 과정이 수행되되(1과정-2),
입력 준비 동작은 기준 손가락 말단부의 중심점(P1)과 행위 손가락 말단부의 중심점(P2) 사이의 거리(A)가 기설정된 범위 이내에 있는 경우 수행되게 되고,
입력 명령 가속도 시작 모듈(123)에서 행위 손가락 말단부가 기준 손가락 말단부와 떨어지는 순간을 인식하고 이와 같이 인식된 순간의 행위 손가락 말단부의 가속도 값을 측정하기 시작하는 입력 명령 가속도 시작 과정(2과정)을 수행하되,
상기한 행위 손가락 말단부가 기준 손가락 말단부와 떨어지는 순간을 인식하는 방법은 행위 손가락 말단부의 반경과 기준 손가락 말단부의 반경을 합한 거리(B)가 기준 손가락 말단부 중심점과 행위 손가락 말단부 중심점 사이의 거리(A)와 동일하게 되는 시점을 인식하는 방법으로 수행하되,
상기한 행위 손가락 말단부의 반경과 기준 손가락 말단부의 반경을 합한 거리는 아래의 (연산식 1)로 구하고,
B = R1+R2 (연산식 1)
[여기서 R2는 기설정된 행위 손가락 말단부의 반경, R1은 기설정된 기준 손가락 말단부의 반경]
중심 사이 거리(A)는 아래의 (연산식 2)로 연산하여 구하며,
중심 사이 거리(A) = SQRT[(x1-x2)2 +(y1-y2)2+(z1-z2)2](연산식 2)
[여기서 기준 손가락 말단부 중심점의 공간좌표는 (x1, y1, z1)이고, 행위 손가락 말단부 중심점의 공간좌표는 (x2, y2, z2)임]
가속도 측정 모듈(124)에서 기설정된 시간 이내에 상기한 행위 손가락 말단부의 가속도 값이 기설정된 가속도 값의 범위로 판단되는 경우 입력 명령 이벤트(event)를 인지하는 과정(3과정)을 수행하되,
상기한 행위 손가락 말단부의 속도(V)는 아래의 (연산식 3)으로 구하고,
행위 손가락 말단부의 속도(V) = SQRT[(x21-x20)2 +(y21-y20)2+(z21-z20)2]/Δt (연산식 3)
[여기서 가속도 측정 시점의 행위 손가락 말단부의 중심점의 공간좌표는 P20(x20, y20, z20)이고, 행위 손가락 말단부의 중심점의 이동 공간좌표는 P21(x21, y21, z21)이고, Δt는 단위 시간임]
상기한 행위 손가락 말단부의 가속도 값은 아래의 (연산식 4)로 구하며,
행위 손가락 말단부의 가속도 값(a) =
명령전달부(130)는 상기한 입력 명령 이벤트에 따른 명령을 수행하게 하도록 전달하는 과정(4과정),
으로 수행하는 것을 특징으로 하는 사용자의 손동작에 따른 명령 입력장치(100).
As an input device used in a virtual reality (VR), augmented reality (AR) or mixed reality (MR) system,
It is configured to include a sensing unit 110, a command decision unit 120, and a command transmission unit 130,
Since the spatial coordinate unit 300 is set, the user's hand or hand motion is recognized and extracted as coordinates by the sensing unit 110, the command determination unit 120, and the command transmission unit 130.
The sensing unit 110 is configured to include a finger recognition module 111 and a signal transmission module 112,
The command determination unit 120 is configured to include an input preparation operation module 121, a finger input identification module 122, an input command acceleration start module 123, and an acceleration measurement module 124,
The command transmission unit 130 is configured to include a command compatible module 131 and a system input unit 132,
When the input preparation operation module 121 recognizes that the reference finger distal end is an operation of attaching the reference finger distal end to another action finger distal end, a process (process 1) of recognizing it as an input preparation operation for each input command is performed,
The process of recognizing whether the distal end of the thumb, which is the distal end of the reference finger, is attached to at least one of the distal end of the index finger, the distal end of the middle finger, the distal end of the ring finger, and the distal end of the small finger, which is the distal end of the other action finger (process 1);
When the reference finger distal end is recognized as an action of attaching to another action finger distal end, the process of recognizing as an input preparation action for each input command is performed (step 1-2),
The input preparation operation is performed when the distance (A) between the center point (P1) of the distal end of the reference finger and the center point (P2) of the distal end of the action finger is within a preset range,
In the input command acceleration starting module 123, the input command acceleration starting process (process 2) of recognizing the moment when the action finger distal end is separated from the reference finger distal end and starting to measure the acceleration value of the action finger distal end at the recognized moment is performed. but,
In the method for recognizing the moment when the distal end of the action finger is separated from the distal end of the reference finger, the distance (B) that is the sum of the radius of the distal end of the action finger and the radius of the distal end of the reference finger is the distance between the center point of the distal end of the reference finger and the center point of the distal end of the action finger (A) It is carried out in a way that recognizes when it becomes the same as
The sum of the radius of the distal end of the action finger and the radius of the reference finger distal end is calculated by the following (Equation 1),
B = R1+R2 (Equation 1)
[Here, R2 is the radius of the tip of the preset action finger, R1 is the radius of the tip of the preset reference finger]
The distance between the centers (A) is calculated by the following (Equation 2),
Distance between centers (A) = SQRT[(x1-x2) 2 +(y1-y2) 2 +(z1-z2) 2 ] (Equation 2)
[Here, the spatial coordinates of the center point of the distal end of the reference finger are (x1, y1, z1), and the spatial coordinates of the center point of the distal end of the action finger are (x2, y2, z2)]
When the acceleration measurement module 124 determines that the acceleration value of the tip of the action finger is within a predetermined range of acceleration values within a predetermined time, a process of recognizing an input command event (process 3) is performed,
The speed (V) of the distal end of the action finger is obtained by the following (Equation 3),
Velocity of the finger tip of the action (V) = SQRT[(x21-x20) 2 +(y21-y20) 2 +(z21-z20) 2 ]/Δt (Equation 3)
[Here, the spatial coordinate of the center point of the distal end of the action finger at the time of acceleration measurement is P20(x20, y20, z20), the spatial coordinate of the movement of the center point of the distal end of the action finger is P21 (x21, y21, z21), and Δt is the unit time ]
The acceleration value of the tip of the action finger is obtained by the following (Equation 4),
Acceleration value of the distal end of the action finger (a) =
The process of transmitting the command transmitting unit 130 to perform a command according to the above-described input command event (step 4),
A command input device 100 according to a user's hand gesture, characterized in that it is performed as
상기한 손가락 인식 모듈(111)은 사용자의 엄지, 검지, 중지, 약지, 소지를 인식하되 각각의 손가락 끝부분을 엄지의 말단부(201), 검지의 말단부(202), 중지의 말단부(203), 약지의 말단부(204), 소지의 말단부(205)로 인식하는 기능을 수행하는 것을 특징으로 하는 사용자의 손동작에 따른 명령 입력장치(100).
According to claim 1,
The above-mentioned finger recognition module 111 recognizes the user's thumb, index finger, middle finger, ring finger, and small finger, but each fingertip is the distal end 201 of the thumb, the distal end 202 of the index finger, the distal end 203 of the middle finger, The command input device 100 according to a user's hand gesture, characterized in that it performs a function of recognizing the distal end 204 of the ring finger and the distal end 205 of the small finger.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210055389A KR102322968B1 (en) | 2021-04-29 | 2021-04-29 | a short key instruction device using finger gestures and the short key instruction method using thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210055389A KR102322968B1 (en) | 2021-04-29 | 2021-04-29 | a short key instruction device using finger gestures and the short key instruction method using thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102322968B1 true KR102322968B1 (en) | 2021-11-09 |
Family
ID=78610355
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210055389A KR102322968B1 (en) | 2021-04-29 | 2021-04-29 | a short key instruction device using finger gestures and the short key instruction method using thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102322968B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101596600B1 (en) * | 2014-11-28 | 2016-02-23 | 계명대학교 산학협력단 | Apparatus for motion recognition and correction based on user pattern and Method thereof |
| KR20180000515A (en) * | 2016-06-23 | 2018-01-03 | 서현택 | System For Mouse Function By Detecting Finger Motion |
| KR20190085894A (en) * | 2019-07-01 | 2019-07-19 | 엘지전자 주식회사 | Xr device for providing ar mode and vr mode and method for controlling the same |
| KR20200100765A (en) * | 2017-12-22 | 2020-08-26 | 매직 립, 인코포레이티드 | Methods and systems for generating and displaying 3D videos in a virtual, augmented or mixed reality environment |
-
2021
- 2021-04-29 KR KR1020210055389A patent/KR102322968B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101596600B1 (en) * | 2014-11-28 | 2016-02-23 | 계명대학교 산학협력단 | Apparatus for motion recognition and correction based on user pattern and Method thereof |
| KR20180000515A (en) * | 2016-06-23 | 2018-01-03 | 서현택 | System For Mouse Function By Detecting Finger Motion |
| KR20200100765A (en) * | 2017-12-22 | 2020-08-26 | 매직 립, 인코포레이티드 | Methods and systems for generating and displaying 3D videos in a virtual, augmented or mixed reality environment |
| KR20190085894A (en) * | 2019-07-01 | 2019-07-19 | 엘지전자 주식회사 | Xr device for providing ar mode and vr mode and method for controlling the same |
Non-Patent Citations (1)
| Title |
|---|
| MENG-KUN LIU 외 4인. Hand Gesture Recognition by a MMG-Based Wearable Device. IEEE Sensors Journal, Volume 20, No 24, 14703-14712 페이지. 2020년12월15일. 1부.* * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11099655B2 (en) | System and method for gesture based data and command input via a wearable device | |
| US11983326B2 (en) | Hand gesture input for wearable system | |
| US10534431B2 (en) | Tracking finger movements to generate inputs for computer systems | |
| KR101844390B1 (en) | Systems and techniques for user interface control | |
| US20170293351A1 (en) | Head mounted display linked to a touch sensitive input device | |
| KR101791366B1 (en) | Enhanced virtual touchpad and touchscreen | |
| WO2017215375A1 (en) | Information input device and method | |
| US8570273B1 (en) | Input device configured to control a computing device | |
| WO2020018351A1 (en) | Computer systems with finger devices | |
| KR101302138B1 (en) | Apparatus for user interface based on wearable computing environment and method thereof | |
| CN107896508A (en) | Multiple target/end points can be used as（Equipment）" method and apparatus of the super UI " architectures of equipment, and correlation technique/system of the gesture input with dynamic context consciousness virtualized towards " modularization " general purpose controller platform and input equipment focusing on people of the integration points of sum | |
| EP1244003A2 (en) | Information input system using bio feedback and method thereof | |
| US20150220158A1 (en) | Methods and Apparatus for Mapping of Arbitrary Human Motion Within an Arbitrary Space Bounded by a User's Range of Motion | |
| WO2016097841A2 (en) | Methods and apparatus for high intuitive human-computer interface and human centric wearable "hyper" user interface that could be cross-platform / cross-device and possibly with local feel-able/tangible feedback | |
| US20100103104A1 (en) | Apparatus for user interface based on wearable computing environment and method thereof | |
| KR20180094799A (en) | Automatic localized haptics generation system | |
| KR20060069985A (en) | System for wearable general-purpose 3-dimensional input | |
| KR20050102803A (en) | Apparatus, system and method for virtual user interface | |
| Oh et al. | FingerTouch: Touch interaction using a fingernail-mounted sensor on a head-mounted display for augmented reality | |
| KR101211808B1 (en) | Gesture cognitive device and method for recognizing gesture thereof | |
| CN109960404B (en) | Data processing method and device | |
| KR102322968B1 (en) | a short key instruction device using finger gestures and the short key instruction method using thereof | |
| Hsieh et al. | Developing hand-worn input and haptic support for real-world target finding | |
| KR20120037739A (en) | User interface device and method based on hand gesture recognition | |
| JP2010086367A (en) | Positional information inputting device, positional information inputting method, program, information processing system, and electronic equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |