KR20180112308A - A wearable device for controlling an electronic device based on hand motion and method for controlling the wearable device thereof - Google Patents

A wearable device for controlling an electronic device based on hand motion and method for controlling the wearable device thereof Download PDF

Info

Publication number
KR20180112308A
KR20180112308A KR1020170043029A KR20170043029A KR20180112308A KR 20180112308 A KR20180112308 A KR 20180112308A KR 1020170043029 A KR1020170043029 A KR 1020170043029A KR 20170043029 A KR20170043029 A KR 20170043029A KR 20180112308 A KR20180112308 A KR 20180112308A
Authority
KR
South Korea
Prior art keywords
electronic device
hand
signal
control command
wearable device
Prior art date
Application number
KR1020170043029A
Other languages
Korean (ko)
Other versions
KR101928971B1 (en
Inventor
김정모
Original Assignee
김정모
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김정모 filed Critical 김정모
Priority to KR1020170043029A priority Critical patent/KR101928971B1/en
Publication of KR20180112308A publication Critical patent/KR20180112308A/en
Application granted granted Critical
Publication of KR101928971B1 publication Critical patent/KR101928971B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Provided are a wearable device controlling an electronic device based on a hand motion and a control method thereof. The wearable device of the present invention comprises: an electromyogram sensor sensing an electromyogram signal generated by a hand motion; an acceleration and gyro sensor sensing an acceleration signal according to the hand motion; a touch sensor sensing a five-finger input signal according to the hand motion; a communication unit transmitting a control command of an electronic device to the electronic device; and a control unit determining finger movement based on the electromyogram signal sensed by the electromyogram sensor, determining hand movement based on the acceleration signal sensed by the acceleration and gyro sensor, determining a touch input based on the fiver-finger input signal sensed by the touch sensor, and controlling the communication unit to transmit the control command corresponding to the determined finger movement, hand movement, and touch input.

Description

손동작을 기반으로 전자 장치를 제어하는 웨어러블 디바이스 및 이의 제어 방법{A WEARABLE DEVICE FOR CONTROLLING AN ELECTRONIC DEVICE BASED ON HAND MOTION AND METHOD FOR CONTROLLING THE WEARABLE DEVICE THEREOF}TECHNICAL FIELD [0001] The present invention relates to a wearable device for controlling an electronic device on the basis of a hand gesture, and a control method therefor, and a wearable device for controlling the wearable device,

본 발명은 손동작을 기반으로 전자 장치를 제어하는 웨어러블 디바이스 및 이의 제어 방법에 관한 것으로, 더욱 상세하게는 손가락 움직임, 손 움직임, 오지 입력을 감지하여 전자 장치를 제어하는 손동작을 기반으로 전자 장치를 제어하는 웨어러블 디바이스 및 이의 제어 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a wearable device for controlling an electronic device based on a hand gesture and a control method thereof, and more particularly to a wearable device for controlling an electronic device based on a hand gesture To a wearable device and a control method thereof.

기존의 컴퓨터를 제어하는 장치로 키보드와 마우스가 대표적이다. 이들 중 마우스는 2차원적인 수평의 움직임을 수직의 움직임으로 전달하고 책상과 같은 수평면이 필요하다는 제약과 키보드 타이핑 시에는 마우스를 이용한 제어가 불가하다는 불편함이 존재한다. 또한, 키보드와 마우스로 컴퓨터를 제어하는 것은 스마트폰이 보급되면서 직관적인 인터페이스 환경을 경험한 사용자들에게 불편함을 유발하고 있다.Keyboards and mice are typical devices that control existing computers. Among them, there is a restriction that the mouse transmits a two-dimensional horizontal movement as a vertical movement and a horizontal plane such as a desk is required, and there is an inconvenience that a mouse can not be controlled when the keyboard is typed. In addition, controlling the computer with a keyboard and a mouse is causing inconvenience to users who experience an intuitive interface environment due to the spread of smartphones.

따라서, 손동작을 통해 직관적으로 컴퓨터의 마우스 제어가 가능하고, 비교적 손동작이 자유로울 수 있는 웨어러블 디바이스에 대한 필요성이 대두되고 있다. Accordingly, there is a need for a wearable device that can intuitively control a mouse of a computer through a hand-operated operation and relatively freely moveable.

뿐만 아니라, 손동작을 이용하여 전자 장치를 제어할 수 있는 웨어러블 디바이스는 반복적인 학습이 요구되는 조작법을 익히는 과정이 필수적인 드론, 게임 조이스틱, CCTV 펜틸트 카메라 및 직관적인 입력으로 인해 몰입감을 높일 수 있는 VR & AR 장치의 제어에도 활용할 수 있다. In addition, the wearable device that can control the electronic device by using the hand-operated device is a drone, a game joystick, a CCTV pen tilt camera, and a VR that can increase the immersion feeling due to the intuitive input, & It can also be used for control of AR device.

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 근전도 센서, 가속 및 자이로 센서, 터치 센서를 통해 손동작에 의한 손가락 움직임, 손 움직임, 오지 입력을 감지하여 전자 장치의 제어 명령을 판단하는 손동작을 기반으로 전자 장치를 제어하는 웨어러블 디바이스 및 이의 제어 방법을 제공함에 있다.SUMMARY OF THE INVENTION The present invention is conceived to solve the above-mentioned problems, and it is an object of the present invention to provide a control apparatus and a control method thereof, which can detect finger movements, hand movements, And a control method of the wearable device.

상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 손동작을 기반으로 전자 장치를 제어하는 웨어러블 디바이스는, 손동작에 의해 발생하는 근전도 신호를 감지하는 근전도 센서; 상기 손동작에 따른 가속도 신호를 감지하는 가속 및 자이로 센서; 상기 손동작에 따른 오지 입력 신호을 감지하는 터치 센서; 전자 장치로 상기 전자 장치의 제어 명령을 전송하는 통신부; 및 상기 근전도 센서를 통해 감지된 근전도 신호를 바탕으로 손가락 움직임을 판단하고, 상기 가속 및 자이로 센서를 통해 감지된 가속도 신호를 바탕으로 손 움직임을 판단하고, 상기 터치 센서를 통해 감지된 오지 입력 신호를 바탕으로 터치 입력을 판단하며, 상기 판단된 손가락 움직임, 손 움직임 및 터치 입력에 대응되는 제어 명령을 상기 전자 장치로 전송하도록 상기 통신부를 제어하는 제어부;를 포함한다.According to an aspect of the present invention, there is provided a wearable device for controlling an electronic device based on a hand gesture, the wearable device including: an electromyogram sensor for sensing an electromyogram signal generated by a hand gesture; An acceleration and gyro sensor for sensing an acceleration signal according to the hand motion; A touch sensor for sensing an outgoing input signal according to the hand operation; A communication unit for transmitting a control command of the electronic device to the electronic device; And a control unit for determining a finger movement based on the electromyogram signal sensed by the electromyogram sensor, determining a hand movement based on the acceleration signal sensed by the acceleration and gyro sensor, And a control unit for controlling the communication unit to determine a touch input based on the finger movement and to transmit a control command corresponding to the determined finger movement, hand movement, and touch input to the electronic device.

그리고, 상기 제어부는, 상기 감지된 근전도 신호가 임계값을 초과하면 근전도 신호 처리를 수행하고, 기 설정된 근전도 신호와 상기 처리된 근전도 신호의 차이를 바탕으로 변위값을 도출하는 근전도 신호 분석부;를 포함하고, 상기 도출된 변위값에 대응되는 전자 장치 제어 명령을 상기 전자 장치로 전송하도록 상기 통신부를 제어할 수 있다.The control unit may perform an EMG signal processing when the sensed EMG signal exceeds a threshold value and derive a displacement value based on a difference between a predetermined EMG signal and the processed EMG signal. And control the communication unit to transmit an electronic device control command corresponding to the derived displacement value to the electronic device.

또한, 상기 제어부는, 상기 감지된 가속도 신호가 임계값을 초과하면 속도 및 각도를 산출하고, 상기 산출된 속도 및 각도를 바탕으로 손의 위치를 판단하는 가속도 신호 분석부;를 포함하고, 상기 판단된 손의 위치에 대응되는 전자 장치 제어 명령을 상기 전자 장치로 전송하도록 상기 통신부를 제어할 수 있다.The controller may further include an acceleration signal analyzer for calculating a speed and an angle when the sensed acceleration signal exceeds a threshold value and determining a position of the hand based on the calculated speed and angle, And to control the communication unit to transmit an electronic device control command corresponding to the position of the hand, to the electronic device.

그리고, 상기 제어부는, 상기 감지된 오지 입력 신호를 바탕으로 터치 입력 위치를 산출하고, 기 설정된 기준 위치 정보와 상기 산출된 터치 입력 위치를 비교하여 입력 버튼을 판단하는 입력 신호 분석부;를 더 포함하고, 상기 판단된 입력 버튼에 대응되는 전자 장치 제어 명령을 상기 전자 장치로 전송하도록 상기 통신부를 제어할 수 있다.The control unit may further include an input signal analyzing unit for calculating a touch input position based on the sensed outgoing input signal and comparing the predetermined reference position information with the calculated touch input position to determine an input button And control the communication unit to transmit an electronic device control command corresponding to the determined input button to the electronic device.

또한, 상기 통신부는, 상기 전자 장치의 연결 정보를 수신하고, 상기 제어부는, 상기 수신된 연결 정보를 바탕으로 상기 전자 장치를 연결하고, 상기 판단된 손가락 움직임, 손 움직임 및 터치 입력을 바탕으로 상기 연결된 전자 장치에 대응되는 제어 명령을 판단할 수 있다.Also, the communication unit may receive the connection information of the electronic device, and the control unit may connect the electronic device based on the received connection information, and based on the determined finger movement, hand movement, and touch input, It is possible to determine a control command corresponding to the connected electronic device.

그리고, 상기 전자 장치는 데스크탑 PC, 노트북 PC 또는 태블릿 PC 중 어느 하나이고, 상기 전자 장치에 대응되는 제어 명령은 마우스 제어에 대응되는 제어 명령일 수 있다.The electronic device may be a desktop PC, a notebook PC, or a tablet PC, and the control command corresponding to the electronic device may be a control command corresponding to the mouse control.

한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 손동작을 기반으로 전자 장치를 제어하는 웨어러블 디바이스의 제어 방법은, 손동작에 의해 발생하는 근전도 신호를 감지하는 단계; 상기 손동작에 따른 가속도 신호를 감지하는 단계; 상기 손동작에 따른 오지 입력 신호를 감지하는 단계; 상기 감지된 근전도 신호를 바탕으로 손가락 움직임을 판단하는 단계; 상기 감지된 가속도 신호를 바탕으로 손 움직임을 판단하는 단계; 상기 감지된 오지 입력 신호를 바탕으로 터치 입력을 판단하는 단계; 및 상기 판단된 손가락 움직임, 손 움직임 및 터치 입력에 대응되는 제어 명령을 전자 장치로 전송하는 단계;를 포함한다.According to another aspect of the present invention, there is provided a method of controlling a wearable device for controlling an electronic device based on a hand gesture, the method comprising: sensing an EMG signal generated by a hand gesture; Sensing an acceleration signal according to the hand motion; Sensing an incoming signal according to the hand gesture; Determining finger movement based on the sensed EMG signal; Determining hand motion based on the sensed acceleration signal; Determining a touch input based on the sensed outgoing input signal; And transmitting control commands corresponding to the determined finger movements, hand movements, and touch inputs to the electronic device.

상술한 바와 같이, 본 발명의 다양한 실시 예에 따라, 사용자는 손동작을 이용하여 직관적으로 전자 장치를 제어할 수 있게 된다.As described above, according to various embodiments of the present invention, a user can intuitively control an electronic device using a hand gesture.

도 1, 도 2a 내지 2c는 본 발명의 일 실시 예에 따른, 손동작을 기반으로 전자 장치를 제어하는 웨어러블 디바이스의 모식도,
도 3는 본 발명의 일 실시 예에 따른, 손동작을 기반으로 전자 장치를 제어하는 웨어러블 디바이스의 구성을 간략히 도시한 블럭도,
도 4는 본 발명의 일 실시 예에 따른, 제어부의 구성을 간략히 도시한 블럭도,
도 5 내지 도 7은 본 발명의 다양한 실시 예에 따른, 전자 장치를 제어하는 다양한 실시 예들을 설명하기 위한 도면들, 그리고,
도 8은 본 발명의 일 실시예에 따른, 손동작을 기반으로 전자 장치를 제어하는 웨어러블 디바이스의 제어 방법을 설명하기 위한 흐름도이다.1 is a schematic diagram of a wearable device for controlling an electronic device based on a hand gesture according to an embodiment of the present invention;
3 is a block diagram schematically illustrating the configuration of a wearable device for controlling an electronic device based on a hand gesture according to an embodiment of the present invention;
4 is a block diagram schematically illustrating a configuration of a control unit according to an embodiment of the present invention.
Figures 5-7 illustrate various embodiments for controlling an electronic device, in accordance with various embodiments of the present invention,
8 is a flowchart for explaining a control method of a wearable device for controlling an electronic device based on a hand gesture, according to an embodiment of the present invention.

본 개시의 실시 예에서 사용되는 용어에 대해 간략히 설명하고, 본 실시 예들에 대해 구체적으로 설명하기로 한다.The terms used in the embodiments of the present disclosure will be briefly described, and the embodiments will be described in detail.

본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예들의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 실시 예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시 예들의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in the embodiments of the present disclosure have selected the currently widely used generic terms possible in light of the functions in this disclosure, but these may vary depending on the intentions or precedents of those skilled in the art, the emergence of new technologies, and the like . Also, in certain cases, some terms are arbitrarily selected by the applicant, and in this case, the meaning thereof will be described in detail in the description of the corresponding embodiments. Therefore, the terms used in the embodiments should be defined based on the meaning of the term, not on the name of a simple term, and on the contents of the embodiments throughout.

본 개시의 실시 예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. In the embodiments of the present disclosure, terms including ordinal numbers such as first, second, and so on can be used to describe various elements, but the elements are not limited to these terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present disclosure, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

또한, 본 개시의 실시 예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Moreover, in the embodiments of the present disclosure, the singular forms "a", "an" and "the" include plural referents unless the context clearly dictates otherwise.

또한, 본 개시의 실시 예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Also, in the embodiments of the present disclosure, terms such as "comprise" or "have ", etc. are intended to specify that there is a feature, number, step, operation, component, Steps, operations, elements, components, or combinations of elements, numbers, steps, operations, components, parts, or combinations thereof.

또한, 본 개시의 실시 예에서, "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.Further, in the embodiments of the present disclosure, "module" or "module" performs at least one function or operation, and may be implemented in hardware or software or a combination of hardware and software. Also, a plurality of "modules" or a plurality of "parts" may be embodied as at least one processor integrated into at least one module, except "modules" or "modules "

또한, 본 개시의 실시 예에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.Also, in the embodiments of the present disclosure, when a portion is referred to as being "connected" with another portion, it is not only the case where it is "directly connected" And the like.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this disclosure belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.

이하에서는 도면을 참조하여 본 발명에 대해 설명하기로 한다. Hereinafter, the present invention will be described with reference to the drawings.

도 1은 본 발명의 일 실시 예에 따른, 사용자의 웨어러블 디바이스(100) 착용 형태를 도시한다. 도 1에 도시된 바와 같이, 손동작을 기반으로 전자 장치를 제어하는 웨어러블 디바이스(100)는 손-손등과 손바닥에 착용되는 밴드 형태의 웨어러블 디바이스일 수 있다.FIG. 1 illustrates a wearable wearable device 100 wearing configuration according to an embodiment of the present invention. As shown in FIG. 1, the wearable device 100 that controls the electronic device based on the hand-movement may be a wearable device in the form of a band that is worn on the hand-held and palm of the hand.

도 2a는 본 발명의 일 실시 예에 따른, 웨어러블 디바이스(100)를 상세히 도시한다. 도 2a에 도시된 바와 같이, 웨어러블 디바이스(100)는 근전도 센서(110), 가속 및 자이로 센서(120), 터치 센서(130), 통신부(140), 전원부(150) 및 제어부(160)를 포함한다. 한편, 근전도 센서(110), 가속 및 자이로 센서(120), 터치 센서(130) 개수는 일 실시 예에 불과할 뿐 상이할 수 있다.2A shows a wearable device 100 in detail, in accordance with an embodiment of the present invention. 2A, the wearable device 100 includes an electromyographic sensor 110, an acceleration and gyro sensor 120, a touch sensor 130, a communication unit 140, a power source unit 150, and a control unit 160 do. On the other hand, the number of the electromyogram sensor 110, the acceleration and gyro sensor 120, and the number of the touch sensors 130 may be different from one embodiment only.

구체적으로, 웨어러블 디바이스(100)는 밴드 형상으로 제어부(160), 재충전이 가능한 적어도 하나의 배터리를 포함하는 전원부(150), 복수의 센서(110,120,130) 및 통신부(140)를 포함한다. 복수의 센서(110,120,130)는 손동작에 의한 근육의 움직임으로 발생하는 근전도 신호를 감지하는 적어도 하나의 근전도 센서(110), 손동작에 따른 가속도 신호를 감지하는 적어도 하나의 가속 및 자이로 센서(120) 및 손동작에 따른 오지 입력 신호를 감지하는 적어도 하나의 터치 센서(130)를 포함하며, 웨어러블 디바이스(100)에 내장될 수 있다.Specifically, the wearable device 100 includes a control unit 160, a power supply unit 150 including at least one rechargeable battery, a plurality of sensors 110, 120, and 130, and a communication unit 140 in a band shape. The plurality of sensors 110, 120, and 130 may include at least one electromyogram sensor 110 for sensing an electromyogram signal generated by a movement of a muscle by hand motion, at least one acceleration and gyrosensor 120 for sensing an acceleration signal due to a hand motion, And at least one touch sensor 130 for sensing an outgoing input signal in accordance with the input signal. The touch sensor 130 may be embedded in the wearable device 100.

도 2b는 본 발명의 일 실시 예에 따른, 근전도 센서(110)의 배치를 도시한 도면이다. 도 2b에 도시된 바와 같이, 근전도 센서(110)는 손가락의 움직임(예를 들어, 손가락 구부림)을 용이하게 감지할 수 있도록 사용자가 웨어러블 디바이스(100)의 착용 시 손등에 위치하는 부분에 배치될 수 있다. 2B is a diagram showing an arrangement of an electromyographic sensor 110 according to an embodiment of the present invention. 2B, the electromyogram sensor 110 may be disposed at a portion of the wearable device 100 that is positioned on the back of the hand so that the wearer can wear the wearable device 100 to easily detect movement of the finger (e.g., finger bending) .

도 2c는 본 발명의 일 실시 예에 따른, 터치 센서(130)의 배치를 도시한 도면이다. 도 2c에 도시된 바와 같이, 터치 센서(130)는 사용자가 웨어러블 디바이스(100)의 착용 시 손바닥에 위치하는 부분에 배치될 수 있다. 구체적으로, 터치 센서(130)는 다섯 손가락 각각에 대한 터치 입력을 감지하기 위하여 사용자가 손가락을 자연스럽게 접었을 때 손가락이 위치하는 영역 각각에 터치 센서가 배치될 수 있다. 그리고, 엄지 손가락의 터치 입력을 감지하기 위하여 엄지와 검지 사이에 터치 센서(130)가 배치될 수 있다. 사용자에게 웨어러블 디바이스(100)가 착용 되었을 때, 손바닥에 위치하는 부분에 터치 센서(130)가 배치 됨으로써 오지의 터치 센서에 대한 접촉 접근성이 용이할 수 있다.FIG. 2C is a diagram illustrating an arrangement of the touch sensor 130 according to an embodiment of the present invention. 2C, the touch sensor 130 may be disposed at a portion of the wearable device 100 that is positioned on the palm of a user when the wearable device 100 is worn. Specifically, the touch sensor 130 may be disposed in each of the areas where the finger is positioned when the user naturally folds the finger to detect a touch input to each of the five fingers. The touch sensor 130 may be disposed between the thumb and the index finger to detect the touch input of the thumb. When the wearable device 100 is worn by a user, the touch sensor 130 is disposed on a part of the palm of the wearer, so that contact with the touch sensor can be facilitated.

도 3은 본 발명의 일 실시 예에 따른, 웨어러블 디바이스(100)의 구성을 도시한 블럭도이다. 도 3에 도시된 바와 같이, 디바이스(100)는 복수의 근전도 센서(110), 가속 및 자이로 센서(120), 터치 센서(130), 통신부(140), 전원부(150) 및 제어부(160)를 포함한다. 3 is a block diagram showing the configuration of a wearable device 100 according to an embodiment of the present invention. 3, the device 100 includes a plurality of electromyography sensors 110, an acceleration and gyro sensor 120, a touch sensor 130, a communication unit 140, a power source unit 150, and a control unit 160 .

복수의 근전도 센서(110)는 손동작에 의해 발생하는 전기 신호를 검출할 수 있다. 복수의 근전도 센서(110) 웨어러블 디바이스(100)에 규칙적 또는 비규칙적으로 간격을 형성하도록 배치되어, 사용자의 손-손등과 손바닥의 표면에 장착된다. 그리고, 복수의 근전도 센서(110)는 일대일 대응되는 복수의 채널이 있어 근전도 신호를 감지할 수 있다.The plurality of electromyogram sensors 110 can detect an electric signal generated by a hand gesture. A plurality of electromyography sensors (110) are arranged to regularly or irregularly form gaps in the wearable device (100), and are mounted on the surface of the palm of the user's hand and the palm of the hand. The plurality of electromyography sensors 110 have a plurality of channels corresponding one-to-one so that they can sense an EMG signal.

가속 및 자이로 센서(120)는 손동작에 따른 가속도 신호를 감지할 수 있다. 구체적으로, 가속 및 자이로 센서(120)는 사용자의 손-손등과 손바닥의 표면에 배치되므로 손동작에 따른 가속도 신호를 감지할 수 있다.The acceleration and gyro sensor 120 can sense an acceleration signal due to a hand gesture. Specifically, since the acceleration and gyro sensor 120 is disposed on the surface of the palm of the user's hand and the palm of the hand, the acceleration signal due to the hand motion can be detected.

터치 센서(130)는 손동작에 따른 오지 입력 신호를 감지할 수 있다. 구체적으로, 터치 센서(130)는 손가락을 이용한 터치로 인해 발생하는 정전기를 감지함으로써 오지 입력 신호를 감지할 수 있다.The touch sensor 130 can sense an outgoing input signal according to a hand operation. Specifically, the touch sensor 130 can detect an outgoing input signal by sensing static electricity generated by a touch using a finger.

통신부(140)는 다양한 유형의 통신 방식에 따라 전자 장치와 통신을 수행한다. 통신부(230)는 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 이 중 NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.The communication unit 140 performs communication with the electronic device according to various types of communication methods. The communication unit 230 may include various communication chips such as a Wi-Fi chip, a Bluetooth chip, an NFC chip, and a wireless communication chip. At this time, the Wi-Fi chip, the Bluetooth chip, and the NFC chip communicate with each other using the WiFi method, the Bluetooth method, and the NFC method. Among these, the NFC chip refers to a chip operating in an NFC (Near Field Communication) system using 13.56 MHz band among various RF-ID frequency bands such as 135 kHz, 13.56 MHz, 433 MHz, 860 to 960 MHz and 2.45 GHz. When a Wi-Fi chip or a Bluetooth chip is used, various connection information such as an SSID and a session key may be transmitted and received first, and communication information may be used to transmit and receive various information. The wireless communication chip refers to a chip that performs communication according to various communication standards such as IEEE, ZigBee, 3G (3rd Generation), 3rd Generation Partnership Project (3GPP), LTE (Long Term Evolution)

특히, 통신부(140)는 제어부(160)의 제어에 따라 손가락 움직임, 손 움직임 및 터치 입력에 대응되는 제어 명령을 전자 장치로 전송할 수 있다.In particular, the communication unit 140 may transmit control commands corresponding to finger movement, hand movement, and touch input to the electronic device under the control of the control unit 160. [

전원부(150)는 전원을 공급한다. 전원부(150)는 재 충전이 가능하고, 동시 또는 순차적으로 사용될 수 있는 적어도 하나의 배터리와 배터리를 충전하기 위한 충전 단자를 포함할 수 있다.The power supply unit 150 supplies power. The power supply unit 150 may include at least one battery that can be recharged and can be used simultaneously or sequentially, and a charging terminal for charging the battery.

제어부(160)는 저장부(미도시)에 저장된 각종 프로그램을 이용하여 웨어러블 디바이스(100)의 전반적인 동작을 제어한다. 특히, 제어부(160)는 근전도 센서를 통해 감지된 근전도 신호를 바탕으로 손가락 움직임을 판단하고, 가속 및 자이로 센서를 통해 감지된 가속도 신호를 바탕으로 손 움직임을 판단하며, 터치 센서를 통해 감지된 오지 입력 신호를 바탕으로 터치 입력을 판단할 수 있다. 그리고, 제어부(160)는 판단된 손가락 움직임, 손 움직임 및 터치 입력에 대응되는 제어 명령을 판단하여 제어 명령을 전자 장치로 전송하도록 통신부(140)를 제어할 수 있다. 한편, 제어부(160)는 손가락 움직임, 손 움직임 및 터치 입력에 대응되는 제어 명령을 판단하는 것으로 설명하였지만, 손가락 움직임, 손 움직임 및 터치 입력은 단독 또는 결합하여 제어 명령과 매칭될 수 있다.The control unit 160 controls the overall operation of the wearable device 100 using various programs stored in a storage unit (not shown). In particular, the controller 160 determines the finger movement based on the electromyogram signal sensed by the electromyogram sensor, determines the hand movement based on the acceleration signal sensed by the acceleration sensor and the gyro sensor, The touch input can be judged based on the input signal. The control unit 160 may control the communication unit 140 to transmit the control command to the electronic device by determining the control command corresponding to the determined finger movement, hand movement, and touch input. Meanwhile, the control unit 160 determines that the control command corresponding to the finger movement, the hand movement, and the touch input is determined. However, the finger movement, the hand movement, and the touch input may be matched with the control command alone or in combination.

그리고, 제어부(160)는 통신부(140)를 통해 전자 장치의 연결 정보가 수신되면, 수신된 연결 정보를 이용하여 전자 장치와 연결할 수 있다. 그리고, 제어부(160)는 연결된 전자 장치에 따라 손동작에 대응되는 제어 명령을 판단할 수 있다. 즉, 동일한 손동작이더라도 연결된 전자 장치에 따라 손동작에 대응되는 제어 명령이 상이할 수 있다. 이는 하나의 웨어러블 디바이스(100)를 이용하여 다양한 전자 장치를 직관적으로 제어할 수 있는 기술적 효과를 갖는다.When the connection information of the electronic device is received through the communication unit 140, the control unit 160 can connect to the electronic device using the received connection information. The control unit 160 may determine a control command corresponding to the hand operation according to the connected electronic device. That is, even if the same hand operation is performed, the control command corresponding to the hand operation may differ depending on the connected electronic device. This has the technical effect of intuitively controlling various electronic devices using one wearable device 100. [

이하에서는 도 4를 참조하여 제어부(160)가 손가락 움직임, 손 움직임 및 터치 입력을 판단하고, 이에 대응되는 제어 명령을 판단하는 방법에 대하여 설명하도록 한다. 도 4는 본 발명의 일 실시 예에 따른, 제어부(160)의 구성을 도시한 블럭도이다. 도 4에 도시된 바와 같이, 제어부(160)는 근전도 신호 분석부(161), 가속도 신호 분석부(163), 입력 신호 분석부(165) 및 제어 명령 매칭부(167)를 포함한다.Hereinafter, with reference to FIG. 4, a method for the controller 160 to determine a finger movement, a hand movement, and a touch input and determine a corresponding control command will be described. 4 is a block diagram showing the configuration of the controller 160 according to an embodiment of the present invention. 4, the control unit 160 includes an EMG signal analysis unit 161, an acceleration signal analysis unit 163, an input signal analysis unit 165, and a control command matching unit 167.

근전도 신호 분석부(161)는 근전도 센서(110)를 통해 감지된 근전도 신호가 임계값을 초과하면 근전도 신호 처리를 수행할 수 있다. 그리고, 근전도 신호 분석부(161)는 기 설정된 근전도 신호와 처리된 근전도 신호의 차이를 바탕으로 변위값을 도출할 수 있다.The electromyogram signal analyzer 161 may perform the electromyogram signal processing when the electromyogram signal detected by the electromyogram sensor 110 exceeds a threshold value. The EMG signal analysis unit 161 can derive the displacement value based on the difference between the EMG signal and the processed EMG signal.

예를 들어, 근전도 신호 분석부(161)는 감지된 근전도 신호가 임계값을 초과하면 64Hz로 샘플링하고, 노이즈를 제거할 수 있다. 그리고, 근전도 신호 분석부(161)는 분류 알고리즘을 이용하여 변위값을 도출하여 제어부(160)로 송신할 수 있다. For example, the electromyogram signal analyzer 161 samples at 64 Hz when the sensed electromyogram signal exceeds a threshold value, and can remove noise. The EMG signal analysis unit 161 may derive the displacement value using the classification algorithm and transmit it to the control unit 160. [

가속도 신호 분석부(163)는 가속 및 자이로 센서(120)를 통해 감지된 가속도 신호가 임계값을 초과하면 속도 및 각도를 산출할 수 있다. 그리고, 가속도 신호 분석부(163)는 산출된 속도 및 각도를 바탕으로 손의 위치를 판단할 수 있다.The acceleration signal analyzer 163 may calculate the velocity and the angle when the acceleration signal detected through the acceleration and gyro sensor 120 exceeds a threshold value. Then, the acceleration signal analyzer 163 can determine the position of the hand based on the calculated speed and angle.

예를 들어, 가속도 신호 분석부(163)는 속도 및 각도를 산출하고, 속도 및 각도를 바탕으로 기준 위치로부터의 위치 변화를 통해 손위 위치와 손의 움직임을 판단할 수 있다. For example, the acceleration signal analyzer 163 may calculate the velocity and the angle, and may determine the position of the hand and the movement of the hand based on the velocity and the angle based on the position change from the reference position.

입력 신호 분석부(165)는 터치 센서(130)를 통해 감지된 오지 입력 신호를 바탕으로 터치 입력 위치를 산출할 수 있다. 그리고, 입력 신호 분석부(165)는 기 설정된 기준 위치 정보와 산출된 터치 입력 위치를 비교하여 입력 버튼을 판단할 수 있다.The input signal analyzer 165 may calculate the touch input position based on the outgoing input signal sensed by the touch sensor 130. [ Then, the input signal analyzer 165 can determine the input button by comparing the predetermined reference position information with the calculated touch input position.

예를 들어, 입력 신호 분석부(165)는 터치 입력 위치와 기 설정된 위치 기준 정보와 비교하여 차이 값에 비례하여 오지 중 어느 손가락으로 터치 입력하였는지 판단할 수 있다.For example, the input signal analyzing unit 165 may compare the touch input position and predetermined position reference information to determine which finger of the outgoing touch is inputted in proportion to the difference value.

제어 명령 매칭부(167)는 감지된 근전도 신호, 가속도 신호 및 오지 입력 신호를 바탕으로 판단된 손가락 움직임, 손 움직임 및 터치 움직임에 대응되는 제어 명령을 판단할 수 있다. The control command matching unit 167 can determine a control command corresponding to the finger movement, the hand movement, and the touch movement determined based on the detected electromyogram signal, the acceleration signal, and the outgoing input signal.

구체적으로, 제어 명령 매칭부(167)는 기 저장된 매칭 정보를 이용하여 근전도 신호 분석부(161)에서 도출된 변위값에 대응되는 손가락 움직임을 판단하고, 판단된 손가락 움직임에 매칭되는 제어 명령을 판단할 수 있다. 이때, 손가락 움직임에 매칭되는 제어 명령은 웨어러블 디바이스(100)와 연결된 전자 장치에 따라 상이할 수 있다.Specifically, the control command matching unit 167 determines a finger movement corresponding to the displacement value derived from the electromyogram signal analyzer 161 using the previously stored matching information, and determines a control command matched with the determined finger movement can do. At this time, the control command matched with the finger movement may be different according to the electronic device connected to the wearable device 100.

그리고, 제어 명령 매칭부(167)는 기 저장된 매칭 정보를 이용하여 가속도 신호 분석부(163)에서 판단된 손의 위치에 대응되는 손 움직임을 판단하고, 판단된 손 움직임에 매칭되는 제어 명령을 판단할 수 있다. 이때, 손 움직임에 매칭되는 제어 명령은 웨어러블 디바이스(100)와 연결된 전자 장치에 따라 상이할 수 있다.The control command matching unit 167 determines the hand motion corresponding to the position of the hand determined by the acceleration signal analyzer 163 using the previously stored matching information and determines the control command matched with the determined hand motion can do. At this time, the control command matching the hand motion may be different according to the electronic device connected to the wearable device 100. [

그리고, 제어 명령 매칭부(167)는 기 저장된 매칭 정보를 이용하여 입력 신호 분석부(165)에서 판단된 입력 버튼에 대응되는 터치 입력에 매칭되는 제어 명령을 판단할 수 있다. 이때, 터치 입력에 매칭되는 제어 명령은 웨어러블 디바이스(100)와 연결된 전자 장치에 따라 상이할 수 있다.The control command matching unit 167 may determine a control command matching the touch input corresponding to the input button determined by the input signal analyzer 165 using the previously stored matching information. At this time, the control command matched to the touch input may be different according to the electronic device connected to the wearable device 100. [

본 발명의 다양한 실시 예에 따라, 웨어러블 디바이스(100)와 연결되는 전자 장치는 데스크탑 PC, 노트북 PC, 태블릿 PC, 드론(drone) 또는 VR 장치 등일 수 있다. 웨어러블 디바이스(100)와 연결된 전자 장치에 따라 손동작에 대응되는 제어 명령은 상이할 수 있다.According to various embodiments of the present invention, the electronic device associated with the wearable device 100 may be a desktop PC, a notebook PC, a tablet PC, a drone or a VR device, and the like. Depending on the electronic device connected to the wearable device 100, the control command corresponding to the hand gesture may be different.

도 5는 본 발명의 일 실시 예에 따른, 웨어러블 디바이스(100)와 연결된 전자 장치가 데스크탑 PC, 노트북 PC 또는 태블릿 PC 중 어느 하나(520)인 경우를 도시한 도면이다. 웨어러블 디바이스(100)와 연결된 전자 장치가 데스크탑 PC, 노트북 PC 또는 태블릿 PC 중 어느 하나(520)인 경우, 손동작에 대응되는 제어 명령은 마우스 제어일 수 있다. 5 is a diagram illustrating a case where the electronic device connected to the wearable device 100 is one of a desktop PC, a notebook PC, and a tablet PC according to an embodiment of the present invention. When the electronic device connected to the wearable device 100 is one of the desktop PC, the notebook PC, and the tablet PC 520, the control command corresponding to the hand operation may be mouse control.

예를 들어, 근전도 신호 분석부(161)에서 분석한 손가락 움직임이 두번째 손가락을 위에서 아래로 내리는 움직임인 경우, 제어 명령 매칭부(167)는 마우스 커서를 내리는 제어 명령으로 판단할 수 있다. 따라서, 웨어러블 디바이스(100)와 연결된 전자 장치가 데스크탑 PC, 노트북 PC 또는 태블릿 PC 중 어느 하나(520)인 경우, 사용자는 키보드(510) 타이핑 시에도 마우스 제어가 가능하게 된다.For example, when the finger movement analyzed by the electromyogram signal analyzer 161 is a movement to move the second finger from top to bottom, the control command matching unit 167 can determine the control command to lower the mouse cursor. Therefore, when the electronic device connected to the wearable device 100 is one of the desktop PC, the notebook PC, and the tablet PC 520, the user can control the mouse even when the keyboard 510 is typed.

도 6은 본 발명의 일 실시 예에 따른, 웨어러블 디바이스(100)와 연결된 전자 장치가 드론인 경우를 도시한 도면이다. 웨어러블 디바이스(100)와 연결된 전자 장치가 드론인 경우, 손동작에 대응되는 제어 명령은 드론을 제어하기 위한 조이스틱 제어일 수 있다.6 is a diagram illustrating a case where the electronic device connected to the wearable device 100 is a drone, according to an embodiment of the present invention. When the electronic device connected to the wearable device 100 is a drone, the control command corresponding to the hand operation may be a joystick control for controlling the drone.

예를 들어, 가속도 신호 분석부(163)에서 판단한 손 움직임이 손을 오른쪽에서 왼쪽으로 수평하게 이동하는 움직임인 경우, 제어 명령 매칭부(167)는 드론이 동일 높이를 유지한 상태에서 왼쪽 방향으로 수평하게 이동하는 제어 명령으로 판단할 수 있다.For example, when the hand motion determined by the acceleration signal analyzer 163 is a movement of the hand horizontally from right to left, the control command matching unit 167 determines that the dron is moving leftward It can be determined by a control command that moves horizontally.

도 7은 본 발명의 일 실시 예에 따른, 웨어러블 디바이스(100)와 연결된 전자 장치가 VR(virtual reality, 가상현실) 장치인 경우를 도시한 도면이다. 웨어러블 디바이스(100)와 연결된 전자 장치가 VR 장치(또는 AR 장치)인 경우, 손동작에 대응되는 제어 명령은 VR 장치에 대한 입력 명령일 수 있다.FIG. 7 is a diagram illustrating a case where an electronic device connected to the wearable device 100 is a virtual reality (VR) device, according to an embodiment of the present invention. If the electronic device connected to the wearable device 100 is a VR device (or AR device), the control command corresponding to the hand gesture may be an input command to the VR device.

이하에서는 도 8을 참조하여 본 발명의 일 실시 예에 따른, 웨어러블 디바이스(100)의 제어 방법을 설명하기로 한다.Hereinafter, a method of controlling the wearable device 100 according to an embodiment of the present invention will be described with reference to FIG.

우선, 웨어러블 디바이스(100)는 손동작에 의해 발생하는 근전도 신호를 감지한다(S810). 구체적으로, 웨어러블 디바이스(100)는 복수의 근전도 센서를 이용하여 손동작에 따른 근육의 움직임에 의해 발생하는 근전도 신호를 감지할 수 있다.First, the wearable device 100 senses an EMG signal generated by a hand gesture (S810). Specifically, the wearable device 100 can sense an EMG signal generated by the movement of the muscles due to hand movements using a plurality of EMG sensors.

그리고, 웨어러블 디바이스(100)는 손동작에 따른 가속도 신호를 감지한다(S820). 구체적으로, 웨어러블 디바이스(100)는 적어도 하나의 가속 및 자이로 센서를 이용하여 손동작에 따른 가속도 및 방위 변화를 감지할 수 있다. Then, the wearable device 100 senses an acceleration signal due to a hand motion (S820). Specifically, the wearable device 100 can detect acceleration and azimuthal changes due to hand movements using at least one acceleration and gyro sensor.

그리고, 웨어러블 디바이스(100)는 손동작에 따른 오지 입력 신호를 감지한다(S830). 구체적으로, 웨어러블 디바이스(100)는 터치 센서를 이용하여 오지 입력에 의해 발생하는 정전기 신호를 통해 입력 오지 입력 신호를 감지할 수 있다.Then, the wearable device 100 senses an outgoing input signal according to a hand operation (S830). Specifically, the wearable device 100 can sense an input / output input signal through an electrostatic signal generated by an outgoing input using a touch sensor.

그리고, 웨어러블 디바이스(100)는 감지된 근전도 신호를 바탕으로 손가락 움직임을 판단한다(S840). 구체적으로, 웨어러블 디바이스(100)는 기 설정된 근전도 신호와 감지된 근전도 신호를 비교하고, 분류 알고리즘으로 변위값을 도출하여 손가락 움직임을 판단할 수 있다.Then, the wearable device 100 determines finger movement based on the sensed EMG signal (S840). Specifically, the wearable device 100 compares a preset EMG signal with a sensed EMG signal, and derives a displacement value using a classification algorithm to determine a finger motion.

그리고, 웨어러블 디바이스(100)는 감지된 가속도 신호를 바탕으로 손 움직임을 판단한다(S850). 구체적으로, 웨어러블 디바이스(100)는 감지된 가속도 신호를 바탕으로 속도 및 각도를 산출하여 손의 위치를 판단할 수 있다.Then, the wearable device 100 determines hand motion based on the sensed acceleration signal (S850). Specifically, the wearable device 100 can determine the position of the hand by calculating the velocity and the angle based on the sensed acceleration signal.

그리고, 웨어러블 디바이스(100)는 감지된 오지 입력 신호를 바탕으로 터치 입력을 판단한다(S860). 구체적으로, 웨어러블 디바이스(100)는 기 설정된 기준 위치와 터치 위치를 비교하여 터치 입력한 손가락을 판단하여 입력 버튼을 판단할 수 있다.Then, the wearable device 100 judges a touch input based on the detected outgoing input signal (S860). Specifically, the wearable device 100 may compare the preset reference position with the touch position, and determine the input button by judging the finger that has been touched.

그리고, 웨어러블 디바이스(100)는 판단된 손가락 움직임, 손 움직임 및 터치 입력에 대응되는 제어 명령을 판단하여 전자 장치로 전송할 수 있다(S870). 구체적으로, 웨어러블 디바이스(100)는 웨어러블 디바이스(100)와 연결된 전자 장치에 따라 판단된 손가락 움직임, 손 움직임 및 터치 입력에 대응되는 제어 명령을 판단하고, 판단된 제어 명령을 전자 장치로 전송할 수 있다.Then, the wearable device 100 may determine a control command corresponding to the determined finger movement, hand movement, and touch input, and may transmit the control command to the electronic device (S870). Specifically, the wearable device 100 may determine a control command corresponding to the finger movement, the hand movement, and the touch input determined according to the electronic device connected to the wearable device 100, and may transmit the determined control command to the electronic device .

상술한 바와 같은 본 발명의 다양한 실시 예에 의해, 사용자는 손동작만을 이용하여 직관적으로 전자 장치를 제어할 수 있다.According to various embodiments of the present invention as described above, the user can intuitively control the electronic device using only the hand gesture.

한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.Meanwhile, the above-described method can be implemented in a general-purpose digital computer that can be created as a program that can be executed by a computer and operates the program using a computer-readable recording medium. In addition, the structure of the data used in the above-described method can be recorded on a computer-readable recording medium through various means. The computer-readable recording medium includes a storage medium such as a magnetic storage medium (e.g., ROM, floppy disk, hard disk, etc.), optical reading medium (e.g., CD ROM,

본 실시 예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, disclosure methods should be considered from an illustrative point of view, not from a restrictive point of view. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

100: 손동작을 기반으로 전자 장치를 제어하는 웨어러블 디바이스
110: 근전도 센서
120: 가속 및 자이로 센서
130: 터치 센서
140: 통신부
150: 전원부
160: 제어부100: a wearable device for controlling an electronic device based on a hand gesture
110: electromyogram sensor
120: Acceleration and gyro sensor
130: touch sensor
140:
150:
160:

Claims (7)

손동작을 기반으로 전자 장치를 제어하는 웨어러블 디바이스에 있어서,
손동작에 의해 발생하는 근전도 신호를 감지하는 복수의 근전도 센서;
상기 손동작에 따른 가속도 신호를 감지하는 가속 및 자이로 센서;
상기 손동작에 따른 오지 입력 신호을 감지하는 터치 센서;
전자 장치로 상기 전자 장치의 제어 명령을 전송하는 통신부; 및
상기 근전도 센서를 통해 감지된 근전도 신호를 바탕으로 손가락 움직임을 판단하고, 상기 가속 및 자이로 센서를 통해 감지된 가속도 신호를 바탕으로 손 움직임을 판단하고, 상기 터치 센서를 통해 감지된 오지 입력 신호를 바탕으로 터치 입력을 판단하며, 상기 판단된 손가락 움직임, 손 움직임 및 터치 입력에 대응되는 제어 명령을 상기 전자 장치로 전송하도록 상기 통신부를 제어하는 제어부;를 포함하는 손동작을 기반으로 전자 장치를 제어하는 웨어러블 디바이스.A wearable device for controlling an electronic device based on a hand gesture,
A plurality of electromyography sensors for sensing an electromyogram signal generated by a hand gesture;
An acceleration and gyro sensor for sensing an acceleration signal according to the hand motion;
A touch sensor for sensing an outgoing input signal according to the hand operation;
A communication unit for transmitting a control command of the electronic device to the electronic device; And
A finger movement is determined based on the electromyogram signal sensed by the electromyogram sensor, a hand movement is determined based on the acceleration signal sensed by the acceleration and gyro sensor, And a control unit for controlling the communication unit to transmit the control command corresponding to the determined finger movement, hand movement, and touch input to the electronic device, wherein the control unit controls the electronic device based on the hand operation, device. 제1항에 있어서,
상기 제어부는,
상기 감지된 근전도 신호가 임계값을 초과하면 근전도 신호 처리를 수행하고, 기 설정된 근전도 신호와 상기 처리된 근전도 신호의 차이를 바탕으로 변위값을 도출하는 근전도 신호 분석부;를 포함하고,
상기 도출된 변위값에 대응되는 전자 장치 제어 명령을 상기 전자 장치로 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 손동작을 기반으로 전자 장치를 제어하는 웨어러블 디바이스.The method according to claim 1,
Wherein,
And an EMG signal analyzer for performing EMG signal processing when the sensed EMG signal exceeds a threshold value and deriving a displacement value based on a difference between a predetermined EMG signal and the processed EMG signal,
And controls the communication unit to transmit an electronic device control command corresponding to the derived displacement value to the electronic device. 제1항에 있어서,
상기 제어부는,
상기 감지된 가속도 신호가 임계값을 초과하면 속도 및 각도를 산출하고, 상기 산출된 속도 및 각도를 바탕으로 손의 위치를 판단하는 가속도 신호 분석부;를 포함하고,
상기 판단된 손의 위치에 대응되는 전자 장치 제어 명령을 상기 전자 장치로 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 손동작을 기반으로 전자 장치를 제어하는 웨어러블 디바이스.The method according to claim 1,
Wherein,
And an acceleration signal analyzer for calculating a speed and an angle when the sensed acceleration signal exceeds a threshold value and determining a position of the hand based on the calculated speed and angle,
And controls the communication unit to transmit an electronic device control command corresponding to the determined position of the hand to the electronic device. 제1항에 있어서,
상기 제어부는,
상기 감지된 오지 입력 신호를 바탕으로 터치 입력 위치를 산출하고, 기 설정된 기준 위치 정보와 상기 산출된 터치 입력 위치를 비교하여 입력 버튼을 판단하는 입력 신호 분석부;를 더 포함하고,
상기 판단된 입력 버튼에 대응되는 전자 장치 제어 명령을 상기 전자 장치로 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 손동작을 기반으로 전자 장치를 제어하는 웨어러블 디바이스.The method according to claim 1,
Wherein,
Further comprising an input signal analyzer for calculating a touch input position based on the detected outgoing input signal and comparing the predetermined reference position information with the calculated touch input position to determine an input button,
And controls the communication unit to transmit an electronic device control command corresponding to the determined input button to the electronic device. 제1항에 있어서,
상기 통신부는,
상기 전자 장치의 연결 정보를 수신하고,
상기 제어부는,
상기 수신된 연결 정보를 바탕으로 상기 전자 장치를 연결하고, 상기 판단된 손가락 움직임, 손 움직임 및 터치 입력을 바탕으로 상기 연결된 전자 장치에 대응되는 제어 명령을 판단하는 것을 특징으로 하는 손동작을 기반으로 전자 장치를 제어하는 웨어러블 디바이스.The method according to claim 1,
Wherein,
Receiving connection information of the electronic device,
Wherein,
Wherein the control unit connects the electronic device based on the received connection information, and determines a control command corresponding to the connected electronic device based on the determined finger movement, hand movement, and touch input. A wearable device for controlling a device. 제5항에 있어서,
상기 전자 장치는 데스크탑 PC, 노트북 PC 또는 태블릿 PC 중 어느 하나이고,
상기 전자 장치에 대응되는 제어 명령은 마우스 제어에 대응되는 제어 명령인 것을 특징으로 하는 손동작을 기반으로 전자 장치를 제어하는 웨어러블 디바이스.6. The method of claim 5,
The electronic device is any one of a desktop PC, a notebook PC, and a tablet PC,
Wherein the control command corresponding to the electronic device is a control command corresponding to the mouse control. 손동작을 기반으로 전자 장치를 제어하는 웨어러블 디바이스의 제어 방법에 있어서,
손동작에 의해 발생하는 근전도 신호를 감지하는 단계;
상기 손동작에 따른 가속도 신호를 감지하는 단계;
상기 손동작에 따른 오지 입력 신호를 감지하는 단계;
상기 감지된 근전도 신호를 바탕으로 손가락 움직임을 판단하는 단계;
상기 감지된 가속도 신호를 바탕으로 손 움직임을 판단하는 단계;
상기 감지된 오지 입력 신호를 바탕으로 터치 입력을 판단하는 단계; 및
상기 판단된 손가락 움직임, 손 움직임 및 터치 입력에 대응되는 제어 명령을 전자 장치로 전송하는 단계;를 포함하는 손동작을 기반으로 전자 장치를 제어하는 웨어러블 디바이스 제어 방법.A control method of a wearable device for controlling an electronic device based on a hand movement,
Sensing an electromyogram signal generated by a hand gesture;
Sensing an acceleration signal according to the hand motion;
Sensing an incoming signal according to the hand gesture;
Determining finger movement based on the sensed EMG signal;
Determining hand motion based on the sensed acceleration signal;
Determining a touch input based on the sensed outgoing input signal; And
And transmitting a control command corresponding to the determined finger movement, hand movement, and touch input to the electronic device.
KR1020170043029A 2017-04-03 2017-04-03 A wearable device for controlling an electronic device based on hand motion and method for controlling the wearable device thereof KR101928971B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170043029A KR101928971B1 (en) 2017-04-03 2017-04-03 A wearable device for controlling an electronic device based on hand motion and method for controlling the wearable device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170043029A KR101928971B1 (en) 2017-04-03 2017-04-03 A wearable device for controlling an electronic device based on hand motion and method for controlling the wearable device thereof

Publications (2)

Publication Number Publication Date
KR20180112308A true KR20180112308A (en) 2018-10-12
KR101928971B1 KR101928971B1 (en) 2018-12-13

Family

ID=63876734

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170043029A KR101928971B1 (en) 2017-04-03 2017-04-03 A wearable device for controlling an electronic device based on hand motion and method for controlling the wearable device thereof

Country Status (1)

Country Link
KR (1) KR101928971B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020080732A1 (en) * 2018-10-16 2020-04-23 주식회사 콕스스페이스 Interface method for controlling virtual content
KR20200082931A (en) * 2018-12-31 2020-07-08 (주)엠라인스튜디오 Wearable device for virtual reality
KR102207510B1 (en) * 2020-04-30 2021-01-27 (주)콕스스페이스 Electronic device for controlling host device using motion signals and mouse signals
WO2021060601A1 (en) * 2019-09-26 2021-04-01 주식회사 팜캣 Method and system for recognizing motion through points and angles
CN113970968A (en) * 2021-12-22 2022-01-25 深圳市心流科技有限公司 Intelligent bionic hand action pre-judging method
CN114661161A (en) * 2022-03-30 2022-06-24 歌尔股份有限公司 Gesture interaction method, device and system, wearable device and storage medium

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020080732A1 (en) * 2018-10-16 2020-04-23 주식회사 콕스스페이스 Interface method for controlling virtual content
WO2020080733A1 (en) * 2018-10-16 2020-04-23 주식회사 콕스스페이스 Interface device for controlling virtual content
KR20200082931A (en) * 2018-12-31 2020-07-08 (주)엠라인스튜디오 Wearable device for virtual reality
WO2021060601A1 (en) * 2019-09-26 2021-04-01 주식회사 팜캣 Method and system for recognizing motion through points and angles
KR20210037063A (en) * 2019-09-26 2021-04-06 주식회사 팜캣 Method and system recognizing gesture using points and angles
KR102207510B1 (en) * 2020-04-30 2021-01-27 (주)콕스스페이스 Electronic device for controlling host device using motion signals and mouse signals
WO2022035027A1 (en) * 2020-04-30 2022-02-17 주식회사 콕스스페이스 Electronic device for controlling host device by using motion signal and mouse signal
US11797112B1 (en) 2020-04-30 2023-10-24 Cox Space Co., Ltd. Electronic device for controlling host device by using motion signal and mouse signal
CN113970968A (en) * 2021-12-22 2022-01-25 深圳市心流科技有限公司 Intelligent bionic hand action pre-judging method
CN113970968B (en) * 2021-12-22 2022-05-17 深圳市心流科技有限公司 Intelligent bionic hand action pre-judging method
CN114661161A (en) * 2022-03-30 2022-06-24 歌尔股份有限公司 Gesture interaction method, device and system, wearable device and storage medium

Also Published As

Publication number Publication date
KR101928971B1 (en) 2018-12-13

Similar Documents

Publication Publication Date Title
KR101928971B1 (en) A wearable device for controlling an electronic device based on hand motion and method for controlling the wearable device thereof
US20220083149A1 (en) Computing interface system
TWI528227B (en) Ring-type wireless finger sensing controller, control method and control system
US10509469B2 (en) Devices for controlling computers based on motions and positions of hands
KR101793566B1 (en) Remote controller, information processing method and system
EP2733574B1 (en) Controlling a graphical user interface
CA2959674C (en) Classification of touch input as being unintended or intended
CA3051912C (en) Gesture recognition devices and methods
US20230409124A1 (en) Wearable device enabling multi-finger gestures
US9619024B2 (en) Virtual input device and virtual input method
US10372223B2 (en) Method for providing user commands to an electronic processor and related processor program and electronic circuit
CN113383301B (en) System and method for configuring a user interface of a mobile device
Yan et al. Headcross: Exploring head-based crossing selection on head-mounted displays
Matulic et al. Phonetroller: Visual representations of fingers for precise touch input with mobile phones in vr
KR102297473B1 (en) Apparatus and method for providing touch inputs by using human body
KR20160097410A (en) Method of providing touchless input interface based on gesture recognition and the apparatus applied thereto
KR101233793B1 (en) Virtual mouse driving method using hand motion recognition
KR101211808B1 (en) Gesture cognitive device and method for recognizing gesture thereof
Yamagishi et al. A system for controlling personal computers by hand gestures using a wireless sensor device
KR20160011451A (en) Character input apparatus using virtual keyboard and hand gesture recognition and method thereof
CN104932695B (en) Message input device and data inputting method
WO2009093027A1 (en) Wrist-mounted computer periferal
Chen et al. MobiRing: A Finger-Worn Wireless Motion Tracker
KR101506197B1 (en) A gesture recognition input method using two hands
KR20190138968A (en) An electronic device for receiving an user input via heart rate sensor

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right