KR20190098806A - A smart hand device for gesture recognition and control method thereof - Google Patents

A smart hand device for gesture recognition and control method thereof Download PDF

Info

Publication number
KR20190098806A
KR20190098806A KR1020180012015A KR20180012015A KR20190098806A KR 20190098806 A KR20190098806 A KR 20190098806A KR 1020180012015 A KR1020180012015 A KR 1020180012015A KR 20180012015 A KR20180012015 A KR 20180012015A KR 20190098806 A KR20190098806 A KR 20190098806A
Authority
KR
South Korea
Prior art keywords
user
finger
hand
motion
imu sensor
Prior art date
Application number
KR1020180012015A
Other languages
Korean (ko)
Other versions
KR102057705B1 (en
Inventor
김범준
이분진
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020180012015A priority Critical patent/KR102057705B1/en
Publication of KR20190098806A publication Critical patent/KR20190098806A/en
Application granted granted Critical
Publication of KR102057705B1 publication Critical patent/KR102057705B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y80/00—Products made by additive manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Materials Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to an intelligent device for recognizing a motion, capable of recognizing 22 various gesture motions, and a control method thereof. The intelligent device comprises: three inertial motion unit (IMU) sensor modules measuring an operation signal of a hand and a finger and converting the measured operation signal into a digital signal to output the digital signal; a control (micro control unit (MCU)) module receiving and integrating the operation signal of the three IMU sensor modules as one output to output the one output; and a mobile device receiving the operation signals from the control module through short-range wireless communications to recognize the motion of a user′s hand and finger through a pretreatment process, N-dimensional dynamic time warping (DTW) classification, and a mapping process with selection of a preset gesture and performing control corresponding thereto.

Description

동작 인식을 위한 지능형 장치 및 그 제어 방법{A SMART HAND DEVICE FOR GESTURE RECOGNITION AND CONTROL METHOD THEREOF}Intelligent device for gesture recognition and its control method {A SMART HAND DEVICE FOR GESTURE RECOGNITION AND CONTROL METHOD THEREOF}

본 발명은 동작 인식을 위한 지능형 장치 및 그 제어 방법에 관한 것으로서, 보다 구체적으로는 사용자의 손 등과 엄지 및 검지에 각각 배치되는 3개의 IMU 센서 모듈을 이용하여 22개의 제스처 동작 인식이 구현될 수 있도록 하는 동작 인식을 위한 지능형 장치 및 그 제어 방법에 관한 것이다.The present invention relates to an intelligent device for gesture recognition and a control method thereof, and more specifically, 22 gesture gesture recognition can be implemented using three IMU sensor modules respectively disposed on a user's hand, thumb, and index finger. The present invention relates to an intelligent device for gesture recognition and a control method thereof.

현재 전자기술의 발달에 힘입어 기계와 사용자 간의 인터랙션(interaction) 방법은 더욱 다양해지고 있다. 특히, 최근에는 인간-컴퓨터 상호작용(Human Computer Interaction, HCI) 기술에 대한 관심도가 높아짐에 따라 사용자의 인지적, 감성적, 그리고 생활 경험을 증진시킬 수 있는 인터랙션에 대한 다양한 연구가 진행되고 있으며, 제스처 동작 인식은 지능적이고 자연스러운 인터페이스로 인기 있는 연구 분야 중 하나로 각광받고 있다. 이와 같은 HCI 분야와 관련하여, 음성, 비전, 제스처, 혹은 그 외에도 다른 혁신적인 입출력 채널을 이용하는 사용자 친화적인 인터페이스 개발을 위해 많은 노력이 이루어지고 있다. 이 연구 분야에 있어서 가장 난이도가 높은 접근 방법 중 하나는 인간의 신경 체계의 전기적인 특성을 이용하여 인간의 신경 신호와 컴퓨터를 연결하는 것이다. 이와 같은 신경과 컴퓨터 간의 연결을 위해 다양한 생체의학적인 신호들이 사용되어 질 수 있는데, 대부분은 특별한 신체조직, 장기 또는 신경 체계와 같은 세포 조직으로부터 얻을 수 있게 된다.
With the development of electronic technology, interaction methods between machines and users are becoming more diverse. In particular, with the increasing interest in human computer interaction (HCI) technology, various researches on interactions that can enhance user's cognitive, emotional, and life experiences are being conducted. Motion recognition is one of the popular research fields with intelligent and natural interface. In this field of HCI, much effort has been made to develop a user-friendly interface using voice, vision, gestures, or other innovative input / output channels. One of the most difficult approaches in this area of research is to connect human nerve signals to computers using the electrical properties of the human nervous system. A variety of biomedical signals can be used to connect these nerves and computers, most of which can be obtained from cellular tissues such as specific body tissues, organs or nervous systems.

생체신호는 인체에서 발생되는 전기적 또는 자기적 신호를 의미하며, 대표적으로 근전도(EMG), 심전도(ECG), 뇌전도(EDG), 안전도(EOG), 피부 전도도(GSR) 등의 신호를 포함한다. 이러한 생체신호는 종래 의료분야에서 치료 또는 재활의 목적으로 주로 활용되어 왔으나, 최근에는 인간-컴퓨터 인터페이스(HCI) 분야에서 사용자의 동작 의도를 추론하여 컴퓨터, 기계, 로봇 등의 동작을 제어하는 용도로 그 활용범위가 넓어지고 있다. 이러한 생체신호를 이용하여 컴퓨터, 기계, 로봇 등을 제어하기 위해서는 생체신호를 정확하게 검출하는 기술은 물론이고, 검출된 생체신호로부터 사용자의 동작의도를 정확하게 추론하는 기술이 매우 중요하다.
The biosignal refers to an electric or magnetic signal generated in the human body and typically includes signals such as electromyography (EMG), electrocardiogram (ECG), electroencephalogram (EDG), safety (EOG), and skin conductivity (GSR). . The bio-signal has been mainly used for the purpose of treatment or rehabilitation in the medical field, but recently, it is used to control the operation of a computer, machine, robot, etc. by inferring the user's intention in human-computer interface (HCI) field. The range of application is widening. In order to control a computer, a machine, a robot, etc. by using such a biosignal, a technology of accurately detecting a biosignal and a technology of accurately inferring a user's operation intention from the detected biosignal are very important.

사용자의 동작 의도를 추론하는 가장 간단한 방법은, 여러 대의 고속 적외선 카메라를 사용하여 모션을 캡처하는 비전 시스템이나, 단일 EMG 및 IMU를 사용하는 제스처 제어 시스템, 및 생체신호 검출장치가 생체신호의 특정 인자 값이 설정된 임계값을 초과하면 사용자가 동작을 개시한 것으로 판단하고, 해당 동작에 대응하는 제어동작을 수행하는 방법 등이 사용될 수 있다. 이때, 비전 시스템의 경우 여러 대의 고속 적외선 카메라를 사용하여 모션을 캡처하는 방식으로 구현되는 장비의 소형화에 문제가 있으며, 단일 EMG 및 IMU를 사용하는 제스처 제어 시스템의 경우에는 다양한 사용자 동작을 인식하는데 한계가 있었다. 또한, 생체신호(EMG 신호)는 장치 고유의 잡음, 전자기적인 복사, 동작 잡음, 그리고 다른 조직과의 상호 작용 등에 의해서 유발되는 복잡한 형태의 잡음들을 포함하게 되므로, 이와 같이 EMG와 같은 생체신호에 포함된 노이즈는 주변 환경이나 사용자의 신체상태, 센서와 신체의 접촉상태에 따라 지속적으로 변하기 때문에 정확한 임계값을 설정하기가 어려운 문제가 있었으며, 이러한 문제 해결을 위해서는 사용자의 동작여부를 정확하게 판단할 수 있는 방안이 요구된다. 대한민국 공개특허공보 제10-2016-0133306호와, 대한민국 등록특허공보 제10-1000869호가 선행기술 문헌으로 개시되고 있다.The simplest method of inferring the user's intention of operation is a vision system that uses multiple high-speed infrared cameras to capture motion, a gesture control system using a single EMG and IMU, and a biosignal detection device to determine specific factors of the biosignal. If the value exceeds the set threshold, it may be determined that the user has started the operation, and a method of performing a control operation corresponding to the operation may be used. In this case, the vision system has a problem of miniaturization of a device implemented by capturing motion using a plurality of high-speed infrared cameras, and in the case of a gesture control system using a single EMG and IMU, there is a limitation in recognizing various user motions. There was. In addition, the biosignal (EMG signal) includes complex noises caused by device-specific noise, electromagnetic radiation, operating noise, and interaction with other tissues, and thus are included in the biosignal such as EMG. Since the noise is constantly changing according to the surrounding environment, the user's physical condition, and the contact state between the sensor and the body, it is difficult to set an accurate threshold value. A solution is required. Republic of Korea Patent Application Publication No. 10-2016-0133306 and Republic of Korea Patent Publication No. 10-1000869 is disclosed in the prior art literature.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 사용자의 손 등과 엄지 및 검지에 각각 배치되는 3개의 IMU 센서 모듈과, 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 출력하는 제어 모듈과, 동작 신호들의 시계열에 따른 전처리 과정과, N 차원의 DTW 분류와, 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 제어하는 모바일 기기를 포함하여 구성함으로써, 3개의 IMU 센서 모듈로부터 측정되는 동작 신호들을 이용하여 22개의 다양한 제스처 동작 인식이 가능하도록 하는, 동작 인식을 위한 지능형 장치 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.
The present invention has been proposed to solve the above problems of the conventionally proposed methods, three IMU sensor modules respectively disposed on the user's hand, thumb and forefinger, the movement of the hand and finger for the user's gesture recognition The control module for integrating and outputting the motion signals into a single output, pre-processing according to the time series of the motion signals, N-dimensional DTW classification, and mapping processing of preset gesture selection to control the motion of the user's hand and finger. The present invention provides an intelligent device for gesture recognition and a method of controlling the same, by including a mobile device that recognizes and controls the image, and enables recognition of 22 different gesture gestures using gesture signals measured from three IMU sensor modules. For that purpose.

또한, 본 발명은, 손 등과 2개의 손가락에 장착되는 3개의 IMU 센서 모듈과 제어 모듈을 사용자 착용(wearable)형으로 구성함으로써, 기존의 장갑 형태의 동작 인식 장치보다 훨씬 간단하게 구현할 수 있음은 물론, DTW 알고리즘의 적용을 통한 동작 인식의 다양한 제스처를 정확하게 인식 가능하고, 간단하고 사용하기 쉬운 소형화로 구현될 수 있도록 하는, 동작 인식을 위한 지능형 장치 및 그 제어 방법을 제공하는 것을 또 다른 목적으로 한다.
In addition, the present invention, by configuring the three IMU sensor module and the control module mounted on the hand and two fingers in a user wearable (wearable) type, it can be implemented much simpler than the conventional glove-type gesture recognition device, of course It is another object of the present invention to provide an intelligent device for gesture recognition and a method of controlling the same, which can accurately recognize various gestures of gesture recognition by applying DTW algorithm, and can be implemented in a compact size that is simple and easy to use. .

뿐만 아니라, 본 발명은, 사물인터넷(IoT) 개념의 유연한 PCB 회로 설계로 와이파이 또는 기타 인터넷 연결 옵션을 사용하는 모든 어플리케이션에 연결하여 다양한 전자 장치들의 원격 제어에 범용으로 활용하는 것이 가능하도록 하는, 동작 인식을 위한 지능형 장치 및 그 제어 방법을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention provides a flexible PCB circuit design based on the Internet of Things (IoT) concept, so that it can be connected to any application using a Wi-Fi or other Internet connection option, thereby enabling universal use for remote control of various electronic devices. Another object is to provide an intelligent device for recognition and a control method thereof.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 동작 인식을 위한 지능형 장치는,An intelligent device for gesture recognition according to a feature of the present invention for achieving the above object,

동작 인식을 위한 지능형 장치로서,Intelligent device for gesture recognition,

사용자의 제스처 인식을 위한 손과 손가락의 동작 신호를 측정하고, 측정되는 동작 신호를 디지털 신호로 변환하여 각각 출력하는 3개의 IMU(Inertial Motion Unit) 센서 모듈;Three IMU (Inertial Motion Unit) sensor modules for measuring motion signals of a hand and a finger for gesture recognition of a user, and converting the measured motion signals into digital signals and outputting the digital signals;

상기 3개의 IMU 센서 모듈의 동작 신호를 각각 입력받고, 상기 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 출력하는 제어(MCU) 모듈; 및A control (MCU) module for receiving the operation signals of the three IMU sensor modules, respectively, and integrating and outputting the operation signals of hand and finger movements for the user's gesture recognition into one output; And

상기 제어 모듈로부터 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 무선근거리 통신을 통해 전송받아 전처리 과정과, N 차원의 DTW(Dynamic Time Warping) 분류와, 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 그에 해당하는 제어를 수행하는 모바일 기기(Mobile Device)를 포함하는 것을 그 구성상의 특징으로 한다.
Receives motion signals of hand and finger movements for wireless communication by the control module through wireless near field communication, and performs preprocessing, N-dimensional dynamic time warping (DTW) classification, and mapping process of preset gesture selection. It is characterized in that it comprises a mobile device (Mobile Device) for recognizing the operation of the user's hand and finger through and performs the corresponding control.

바람직하게는, 상기 3개의 IMU 센서 모듈은,Preferably, the three IMU sensor modules,

3개의 IMU 센서 모듈 중 하나의 IMU 센서 모듈은 사용자의 손 등에 장착되고, 나머지 2개의 IMU 센서 모듈은 사용자의 2개의 손가락에 각각 장착될 수 있다.
One IMU sensor module of the three IMU sensor modules may be mounted on the back of the user's hand, and the other two IMU sensor modules may be mounted on the two fingers of the user, respectively.

더욱 바람직하게는, 상기 3개의 IMU 센서 모듈은,More preferably, the three IMU sensor modules,

상기 사용자의 손 등에 장착되는 IMU 센서 모듈은 사용자의 손 방향을 측정하기 위한 모션 센서로 기능하고, 사용자의 손가락에 장착되는 2개의 IMU 센서 모듈은 사용자의 손가락 방향을 측정하기 위한 동작 센서로 기능할 수 있다.
The IMU sensor module mounted on the user's hand may serve as a motion sensor for measuring the direction of the user's hand, and the two IMU sensor modules mounted on the user's finger may serve as a motion sensor for measuring the user's finger direction. Can be.

더욱 더 바람직하게는,Even more preferably,

상기 사용자의 손 등에 장착되어 모션 센서로 기능하는 IMU 센서 모듈은, 가속도계(Accelerometer) 센서로 구성할 수 있다.
The IMU sensor module mounted on the user's hand and functions as a motion sensor may be configured as an accelerometer sensor.

더욱 더 바람직하게는,Even more preferably,

상기 사용자의 손가락에 장착되어 동작 센서로 기능하는 2개의 IMU 센서 모듈은 사용자의 엄지와 검지에 각각 배치하되, 검지에 배치되는 IMU 센서 모듈은 자이로스코프(Gyroscope) 센서로 구성하고, 엄지에 배치되는 IMU 센서 모듈은 자력계(Magnetometer) 센서로 구성할 수 있다.
Two IMU sensor modules mounted on the user's finger and function as motion sensors are respectively disposed on the user's thumb and index finger, and the IMU sensor module disposed on the index finger is composed of a gyroscope sensor and is disposed on the thumb. The IMU sensor module can be configured as a magnetometer sensor.

바람직하게는, 상기 3개의 IMU 센서 모듈은,Preferably, the three IMU sensor modules,

사용자의 손 등에 장착되는 1개의 IMU 센서 모듈과, 사용자의 손가락에 장착되는 2개의 IMU 센서 모듈에서 측정되는 손 방향과 손가락 방향의 동작 신호들을 통해 미리 설정된 사용자의 동작 22개의 제스처를 표현할 수 있다.
The user's 22 gestures may be expressed in advance through operation signals of a hand direction and a finger direction measured by one IMU sensor module mounted on a user's hand and two IMU sensor modules mounted on a user's finger.

더욱 바람직하게는, 상기 22개의 제스처는,More preferably, the 22 gestures,

6개의 단순(simple) 제스처와, 6개의 표준(normal) 제스처와, 6개의 복잡(complex) 제스처, 및 2개의 손가락만을 사용한 4개의 제스처로 구성할 수 있다.
It can consist of six simple gestures, six normal gestures, six complex gestures, and four gestures using only two fingers.

더욱 더 바람직하게는, 상기 복합 제스처는,Even more preferably, the composite gesture is

손가락과 손 방향을 모두 사용하는 제스처이다.
This gesture uses both the finger and hand direction.

바람직하게는, 상기 제어 모듈은,Preferably, the control module,

상기 3개의 IMU 센서 모듈에서 측정한 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 상기 모바일 기기로 전송하기 위한 블루투스 모듈을 더 포함할 수 있다.
The Bluetooth module may further include a Bluetooth module configured to transmit motion signals of a hand and a finger movement for gesture recognition of a user measured by the three IMU sensor modules to the mobile device.

더욱 바람직하게는, 상기 제어 모듈은,More preferably, the control module,

상기 모바일 기기와 저전력 통신을 위한 저전력 블루투스 4.0 BLE 보드로 구현될 수 있다.
It may be implemented as a low power Bluetooth 4.0 BLE board for low power communication with the mobile device.

더욱 바람직하게는,More preferably,

상기 3개의 IMU 센서 모듈과, 블루투스 모듈을 구비하는 제어 모듈은 케이싱에 수용 설치되어 사용자의 손가락과 손 등에 체결되는 착용(wearable)으로 구성될 수 있다.
The three IMU sensor modules and a control module including a Bluetooth module may be configured to be worn on the casing and fastened to a user's finger and hand.

더욱 더 바람직하게는, 상기 케이싱은,Even more preferably, the casing,

3D 프린터로 제작될 수 있다.
It can be produced with a 3D printer.

더욱 바람직하게는, 상기 모바일 기기는,More preferably, the mobile device,

상기 제어 모듈로부터 블루투스 통신으로 입력받은 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들의 시계열(Time series)을 전처리 과정을 통해 분류하고, 미리 설정된 클래스 ID와 N차원의 DTW 거리를 구하여 미리 설정된 22개의 제스처를 참조하여 비교한 결과로 사용자가 취한 제스처를 인식하고 그에 해당하는 동작 수행이 가능하도록 제어할 수 있다.
Time series of motion signals of motions of hands and fingers for gesture recognition of a user inputted through Bluetooth communication from the control module are classified through a preprocessing process, and the predetermined class ID and N-dimensional DTW distance are obtained in advance. As a result of the comparison with reference to the 22 set gestures, the user may recognize the gesture taken by the user and control to perform the corresponding operation.

더욱 더 바람직하게는, 상기 모바일 기기는,Even more preferably, the mobile device,

상기 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들의 패턴을 측정하기 위한 동적 시간 워핑(DTW) 알고리즘을 탑재하여 사용할 수 있다.
A dynamic time warping (DTW) algorithm for measuring a pattern of motion signals of a hand and a finger motion for gesture recognition of the user may be mounted and used.

더더욱 바람직하게는, 상기 동적 시간 워핑 알고리즘은,Even more preferably, the dynamic time warping algorithm,

6배 교차 검증 방법으로 훈련될 수 있다.
Training can be done with a six-fold cross-validation method.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 동작 인식을 위한 지능형 장치의 제어 방법은,A control method of an intelligent device for gesture recognition according to a feature of the present invention for achieving the above object,

3개의 IMU 센서 모듈과 제어 모듈 및 모바일 기기를 구비하는 지능형 장치를 이용한 동작 인식 제어 방법으로서,A motion recognition control method using an intelligent device having three IMU sensor modules, a control module, and a mobile device,

(1) 상기 제어 모듈이 상기 3개의 IMU 센서 모듈로부터 사용자의 제스처 인식을 위한 손과 손가락을 통해 측정되어 디지털 신호로 변환된 동작 신호들을 각각 입력받는 단계;(1) receiving, by the control module, operation signals respectively measured by hands and fingers for gesture recognition of a user from the three IMU sensor modules and converted into digital signals;

(2) 상기 제어 모듈이 상기 단계 (1)을 통해 각각 입력받은 상기 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 상기 모바일 기기로 전송하는 단계; 및(2) the control module integrating operation signals of hand and finger movements for gesture recognition of the user, which are input through the step (1), into one output and transmitting them to the mobile device; And

(3) 상기 모바일 기기가 상기 제어 모듈로부터 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 무선근거리 통신을 통해 전송받아 전처리 과정과, N 차원의 DTW(Dynamic Time Warping) 분류와, 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 그에 해당하는 제어를 수행하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
(3) the mobile device receives the motion signals of the hand and finger movements for wireless communication from the control module through wireless short-range communication, pre-processing, N-dimensional DTW (Dynamic Time Warping) classification, and Recognizing the operation of the user's hand and finger through the mapping process of the set gesture selection, and performing the control corresponding to the feature of the configuration.

바람직하게는, 상기 단계 (1)에서,Preferably, in step (1),

상기 3개의 IMU 센서 모듈 중 하나의 IMU 센서 모듈은 사용자의 손 등에 장착되고, 나머지 2개의 IMU 센서 모듈은 사용자의 2개의 손가락에 각각 장착하되,One IMU sensor module of the three IMU sensor modules is mounted on the user's hand, and the other two IMU sensor modules are mounted on the two fingers of the user, respectively.

상기 사용자의 손 등에 장착되는 IMU 센서 모듈은 사용자의 손 방향을 측정하기 위한 모션 센서로 기능하고, 사용자의 손가락에 장착되는 2개의 IMU 센서 모듈은 사용자의 손가락 방향을 측정하기 위한 동작 센서로 기능할 수 있다.
The IMU sensor module mounted on the user's hand may serve as a motion sensor for measuring the direction of the user's hand, and the two IMU sensor modules mounted on the user's finger may serve as a motion sensor for measuring the user's finger direction. Can be.

더욱 바람직하게는, 상기 3개의 IMU 센서 모듈은,More preferably, the three IMU sensor modules,

상기 사용자의 손 등에 장착되어 모션 센서로 기능하는 IMU 센서 모듈이 가속도계(Accelerometer) 센서로 구성되고, 상기 사용자의 손가락에 장착되어 동작 센서로 기능하는 2개의 IMU 센서 모듈은 사용자의 엄지와 검지에 각각 배치하되, 검지에 배치되는 IMU 센서 모듈은 자이로스코프(Gyroscope) 센서로 구성되며, 엄지에 배치되는 IMU 센서 모듈은 자력계(Magnetometer) 센서로 구성될 수 있다.
An IMU sensor module mounted on the user's hand and functioning as a motion sensor is composed of an accelerometer sensor, and two IMU sensor modules mounted on the user's finger and functioning as a motion sensor are respectively mounted on the user's thumb and index finger. The IMU sensor module disposed on the index finger is configured as a gyroscope sensor, and the IMU sensor module disposed on the thumb may be configured as a magnetometer sensor.

더욱 더 바람직하게는, 상기 3개의 IMU 센서 모듈은,Even more preferably, the three IMU sensor modules,

사용자의 손 등에 장착되는 1개의 IMU 센서 모듈과, 사용자의 손가락에 장착되는 2개의 IMU 센서 모듈에서 측정되는 손 방향과 손가락 방향의 동작 신호들을 통해 미리 설정된 사용자의 동작 22개의 제스처를 표현하되,Represents 22 gestures of the user's motions that are preset through motion signals of a hand direction and a finger direction measured by one IMU sensor module mounted on a user's hand and two IMU sensor modules mounted on a user's finger,

상기 22개의 제스처는,The 22 gestures,

6개의 단순(simple) 제스처와, 6개의 표준(normal) 제스처와, 6개의 복잡(complex) 제스처, 및 2개의 손가락만을 사용한 4개의 제스처로 구성되고, 상기 복합 제스처는 손가락과 손 방향을 모두 사용하는 제스처이다.
It consists of six simple gestures, six normal gestures, six complex gestures, and four gestures using only two fingers. The complex gesture uses both finger and hand orientation. Gesture.

더더욱 바람직하게는, 상기 단계 (3)에서,Even more preferably, in step (3),

상기 모바일 기기는 상기 제어 모듈로부터 블루투스 통신으로 입력받은 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들의 시계열(Time series)을 전처리 과정을 통해 분류하고, 미리 설정된 클래스 ID와 N차원의 DTW 거리를 구하여 미리 설정된 22개의 제스처를 참조하여 비교한 결과로 사용자가 취한 제스처를 인식하고 그에 해당하는 동작 수행이 가능하도록 제어하며, 상기 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들의 패턴을 측정하기 위한 동적 시간 워핑(DTW) 알고리즘을 탑재하여 사용할 수 있다.The mobile device classifies a time series of motion signals of motions of hands and fingers for gesture recognition of a user received through Bluetooth communication from the control module through a preprocessing process, and sets a predetermined class ID and N-dimensional DTW. Obtains distance and controls the user's gesture as a result of comparison by referring to 22 preset gestures and performs the corresponding action, and pattern of motion signal of hand and finger movement for gesture recognition of user Dynamic Time Warping (DTW) algorithm for measuring

본 발명에서 제안하고 있는 동작 인식을 위한 지능형 장치 및 그 제어 방법에 따르면, 사용자의 손 등과 엄지 및 검지에 각각 배치되는 3개의 IMU 센서 모듈과, 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 출력하는 제어 모듈과, 동작 신호들의 시계열에 따른 전처리 과정과, N 차원의 DTW 분류와, 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 제어하는 모바일 기기를 포함하여 구성함으로써, 3개의 IMU 센서 모듈로부터 측정되는 동작 신호들을 이용하여 22개의 다양한 제스처 동작 인식이 가능하도록 할 수 있다.
According to an intelligent device for gesture recognition and a control method proposed by the present invention, three IMU sensor modules respectively disposed on a user's hand, a thumb, and an index finger, and a motion of a hand and a finger motion for gesture recognition of a user Recognizes user's hand and finger motion through control module that integrates and outputs signals into one output, preprocessing according to time series of motion signals, DTW classification of N dimension, and mapping process of preset gesture selection. By including a controlling mobile device, it is possible to recognize 22 different gesture motions using motion signals measured from three IMU sensor modules.

또한, 본 발명에 따르면, 손 등과 2개의 손가락에 장착되는 3개의 IMU 센서 모듈과 제어 모듈을 사용자 착용(wearable)형으로 구성함으로써, 기존의 장갑 형태의 동작 인식 장치보다 훨씬 간단하게 구현할 수 있음은 물론, DTW 알고리즘의 적용을 통한 동작 인식의 다양한 제스처를 정확하게 인식 가능하고, 간단하고 사용하기 쉬운 소형화로 구현될 수 있도록 할 수 있다.
In addition, according to the present invention, by configuring the three IMU sensor module and the control module mounted on the back of the hand and two fingers in a user wearable (wearable) type, it can be implemented much simpler than the conventional gesture recognition device Of course, it is possible to accurately recognize a variety of gestures of motion recognition by applying the DTW algorithm, it can be implemented in a compact and simple to use.

뿐만 아니라, 본 발명은, 사물인터넷(IoT) 개념의 유연한 PCB 회로 설계로 와이파이 또는 기타 인터넷 연결 옵션을 사용하는 모든 어플리케이션에 연결하여 다양한 전자 장치들의 원격 제어에 범용으로 활용하는 것이 가능하도록 할 수 있다.In addition, the present invention, the flexible PCB circuit design of the Internet of Things (IoT) concept can be connected to any application using the Wi-Fi or other Internet connection options to enable universal use for remote control of various electronic devices .

도 1은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 구성을 기능블록으로 도시한 도면.
도 2는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 시스템 구조도를 도시한 도면.
도 3은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 IMU 센서 모듈들과 제어 모듈의 구현 일례의 구성을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 착용 상태의 구성을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치를 이용한 22개의 제스처 표현 구성을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법의 동작 흐름을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법의 처리 과정을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법을 이용한 유클리드 거리 및 DTW의 그래프를 도시한 도면.
도 9는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법에서, 다차원 DTW의 그래프를 도시한 도면.
도 10은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법에서, 전처리 과정의 그래프를 도시한 도면.
도 11은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법에서, ND-DTW 알고리즘을 사용하여 제스처 인식 정확도의 검증 실험 결과를 도시한 도면.
도 12는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법과 관련 시스템과의 비교를 도시한 도면.1 is a block diagram showing the configuration of an intelligent device for motion recognition according to an embodiment of the present invention.
2 is a diagram illustrating a system structure of an intelligent device for gesture recognition according to an embodiment of the present invention.
3 is a diagram illustrating an example of an implementation of an IMU sensor modules and a control module of an intelligent device for gesture recognition according to an embodiment of the present invention.
4 is a diagram showing the configuration of the wearing state of the intelligent device for gesture recognition according to an embodiment of the present invention.
5 is a diagram illustrating 22 gesture expression configurations using an intelligent device for gesture recognition according to an embodiment of the present invention.
6 is a diagram illustrating an operation flow of a control method of an intelligent device for gesture recognition according to an embodiment of the present invention.
7 is a flowchart illustrating a processing method of a control method of an intelligent device for gesture recognition according to an embodiment of the present invention.
8 is a diagram illustrating a graph of Euclidean distance and DTW using a control method of an intelligent device for gesture recognition according to an embodiment of the present invention.
9 is a diagram illustrating a graph of a multi-dimensional DTW in a control method of an intelligent device for gesture recognition according to an embodiment of the present invention.
10 is a diagram illustrating a graph of a preprocessing process in a method of controlling an intelligent device for gesture recognition according to an embodiment of the present invention.
FIG. 11 is a view illustrating a verification test result of gesture recognition accuracy using an ND-DTW algorithm in a control method of an intelligent device for gesture recognition according to an embodiment of the present invention. FIG.
12 is a diagram illustrating a comparison between a control method of an intelligent device for gesture recognition and an associated system according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. However, in describing the preferred embodiment of the present invention in detail, if it is determined that the detailed description of the related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the specification, when a part is 'connected' to another part, it is not only 'directly connected' but also 'indirectly connected' with another element in between. Include. In addition, the term 'comprising' of an element means that the element may further include other elements, not to exclude other elements unless specifically stated otherwise.

도 1은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 구성을 기능블록으로 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 시스템 구조도를 도시한 도면이며, 도 3은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 IMU 센서 모듈들과 제어 모듈의 구현 일례의 구성을 도시한 도면이고, 도 4는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 착용 상태의 구성을 도시한 도면이며, 도 5는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치를 이용한 22개의 제스처 표현 구성을 도시한 도면이다. 도 1 내지 도 5에 각각 도시된 바와 같이, 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치(100)는, 3개의 IMU 센서 모듈(110), 제어 모듈(120), 및 모바일 기기(130)를 포함하여 구성될 수 있다.
1 is a block diagram illustrating a configuration of an intelligent device for gesture recognition according to an embodiment of the present invention, and FIG. 2 is a system structural diagram of an intelligent device for gesture recognition according to an embodiment of the present invention. 3 is a diagram illustrating an example of an implementation of an IMU sensor module and a control module of an intelligent device for gesture recognition according to an embodiment of the present invention, and FIG. 4 is an embodiment of the present invention. FIG. 5 is a diagram illustrating a configuration of a wearing state of an intelligent device for gesture recognition according to an embodiment of the present disclosure, and FIG. 5 is a diagram illustrating 22 gesture expression configurations using an intelligent device for gesture recognition according to an embodiment of the present invention. As shown in FIGS. 1 to 5, the intelligent device 100 for gesture recognition according to an embodiment of the present invention may include three IMU sensor modules 110, a control module 120, and a mobile device ( 130).

3개의 IMU 센서 모듈(110)은, 사용자의 제스처 인식을 위한 손과 손가락의 동작 신호를 측정하고, 측정되는 동작 신호를 디지털 신호로 변환하여 각각 출력하는 3개의 IMU(Inertial Motion Unit) 센서의 구성이다. 이러한 3개의 IMU 센서 모듈(110)에서, 3개의 IMU 센서 모듈(110) 중 하나의 IMU 센서 모듈(110)은 사용자의 손 등에 장착되고, 나머지 2개의 IMU 센서 모듈(110)은 사용자의 2개의 손가락에 각각 장착될 수 있다. 여기서, 3개의 IMU 센서 모듈(110)에서, 사용자의 손 등에 장착되는 IMU 센서 모듈(110)은 사용자의 손 방향을 측정하기 위한 모션 센서로 기능하고, 사용자의 손가락에 장착되는 2개의 IMU 센서 모듈(110)은 사용자의 손가락 방향을 측정하기 위한 동작 센서로 기능할 수 있다.
The three IMU sensor modules 110 are configured of three IMU (Inertial Motion Unit) sensors that measure motion signals of hands and fingers for user gesture recognition, convert the measured motion signals into digital signals, and output the digital signals. to be. In these three IMU sensor modules 110, one IMU sensor module 110 of the three IMU sensor module 110 is mounted on the back of the user's hand, the other two IMU sensor module 110 is the user's two Can be mounted on each finger. Here, in the three IMU sensor modules 110, the IMU sensor module 110 mounted on the user's hand or the like functions as a motion sensor for measuring the direction of the user's hand, and the two IMU sensor modules mounted on the user's fingers. 110 may function as an operation sensor for measuring a direction of a finger of a user.

또한, 3개의 IMU 센서 모듈(110)에서, 사용자의 손 등에 장착되어 모션 센서로 기능하는 IMU 센서 모듈(110)은 가속도계(Accelerometer) 센서로 구성되고, 사용자의 손가락에 장착되어 동작 센서로 기능하는 2개의 IMU 센서 모듈(110)은 사용자의 엄지와 검지에 각각 배치하되, 검지에 배치되는 IMU 센서 모듈(110)은 자이로스코프(Gyroscope) 센서로 구성하고, 엄지에 배치되는 IMU 센서 모듈(110)은 자력계(Magnetometer) 센서로 구성될 수 있다.
In addition, in the three IMU sensor modules 110, the IMU sensor module 110 mounted on the user's hand or the like to function as a motion sensor is composed of an accelerometer sensor and mounted on the user's finger to function as a motion sensor. Two IMU sensor modules 110 are disposed on the user's thumb and forefinger, respectively, and the IMU sensor module 110 disposed on the index finger is composed of a gyroscope sensor and the IMU sensor module 110 disposed on the thumb. May be configured as a magnetometer sensor.

또한, 3개의 IMU 센서 모듈(110)은 도 3 내지 도 5에 각각 도시된 바와 같이, 사용자의 손 등에 장착되는 1개의 IMU 센서 모듈(110)과, 사용자의 손가락에 장착되는 2개의 IMU 센서 모듈(110)에서 측정되는 손 방향과 손가락 방향의 동작 신호들을 통해 미리 설정된 사용자의 동작 22개의 제스처를 표현할 수 있다. 여기서, 22개의 제스처는 도 5의 (a) 내지 (d)에 도시된 바와 같이, 6개의 단순(simple) 제스처와, 6개의 표준(normal) 제스처와, 6개의 복잡(complex) 제스처, 및 2개의 손가락만을 사용한 4개의 제스처로 구성될 수 있다. 여기서, 복합 제스처는 손가락과 손 방향을 모두 사용하는 제스처로 정의 될 수 있다.
In addition, the three IMU sensor modules 110, as shown in Figures 3 to 5, respectively, one IMU sensor module 110 mounted on the user's hand, and two IMU sensor modules mounted on the user's finger. The gestures of the user's 22 preset gestures may be expressed through the motion signals of the hand direction and the finger direction measured at 110. Here, the 22 gestures are six simple gestures, six normal gestures, six complex gestures, and two, as shown in FIGS. It may consist of four gestures using only four fingers. Here, the composite gesture may be defined as a gesture using both a finger and a hand direction.

제어 모듈(120)은, 3개의 IMU 센서 모듈(110)의 동작 신호를 각각 입력받고, 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 출력하는 제어부의 구성이다. 이러한 제어 모듈(120)은 3개의 IMU 센서 모듈(110)에서 측정한 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 모바일 기기(130)로 전송하기 위한 블루투스 모듈(121)을 더 포함하여 구성할 수 있다. 여기서, 제어 모듈(120)은 모바일 기기(130)와 저전력 통신을 위한 저전력 블루투스 4.0 BLE 보드로 구현될 수 있다.
The control module 120 is a configuration of a control unit which receives the operation signals of the three IMU sensor modules 110, respectively, and integrates and outputs the operation signals of the hand and finger movements for the user's gesture recognition into one output. . The control module 120 further includes a Bluetooth module 121 for transmitting motion signals of hand and finger movements for gesture recognition of the user measured by the three IMU sensor modules 110 to the mobile device 130. Can be configured. Here, the control module 120 may be implemented as a low power Bluetooth 4.0 BLE board for low power communication with the mobile device 130.

또한, 본 발명의 동작 인식을 위한 지능형 장치(100)에서, 3개의 IMU 센서 모듈(110)과, 블루투스 모듈(121)을 구비하는 제어 모듈(120)은 도 3 및 도 4에 도시된 바와 같이, 케이싱(101)에 수용 설치되어 사용자의 손가락과 손 등에 체결되는 착용(wearable)으로 구성될 수 있다. 여기서, 케이싱(101)은 3D 프린터로 제작될 수 있다.
In addition, in the intelligent device 100 for motion recognition of the present invention, the control module 120 including three IMU sensor modules 110 and a Bluetooth module 121 is as shown in FIGS. 3 and 4. , Housed in the casing 101 may be configured to be worn (wearable) fastened to the user's fingers and hands. Here, the casing 101 may be manufactured by a 3D printer.

모바일 기기(130)는, 제어 모듈(120)로부터 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 무선근거리 통신을 통해 전송받아 전처리 과정과, N 차원의 DTW(Dynamic Time Warping) 분류와, 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 그에 해당하는 제어를 수행하는 장치의 구성이다. 이러한 모바일 기기(Mobile Device)(130)는 제어 모듈(120)로부터 블루투스 통신으로 입력받은 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들의 시계열(Time series)을 전처리 과정을 통해 분류하고, 미리 설정된 클래스 ID와 N차원의 DTW 거리를 구하여 미리 설정된 22개의 제스처를 참조하여 비교한 결과로 사용자가 취한 제스처를 인식하고 그에 해당하는 동작 수행이 가능하도록 제어할 수 있다.
The mobile device 130 receives the motion signals of the hand and finger movements for the user's gesture recognition from the control module 120 through wireless short-range communication, and the N-dimensional DTW (Dynamic Time Warping) classification and The configuration of a device for recognizing a user's hand and finger motion and performing control corresponding to the preset gesture selection mapping process. The mobile device 130 classifies a time series of motion signals of motions of a hand and a finger for gesture recognition of a user received through Bluetooth communication from the control module 120 through a preprocessing process. As a result of comparing the preset class ID and the N-dimensional DTW distance with reference to 22 preset gestures, the user gesture may be recognized and the corresponding operation may be performed.

또한, 모바일 기기(130)는 3개의 IMU 센서 모듈(110)의 3개의 영역을 통해 22개의 동작 인식을 구현하고, 인식을 원하는 추가 동작을 설정하는 것도 가능하다. 즉, 다양한 응용 프로그램에 더 많은 기능을 포함시켜 사용자가 직접 사용자 정의 제스처를 허용할 수 있다.
In addition, the mobile device 130 may implement 22 motion recognition through three areas of the three IMU sensor modules 110 and set additional motions to be recognized. That is, the user can allow user-defined gestures by including more functions in various applications.

또한, 모바일 기기(130)는 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들의 패턴을 측정하기 위한 동적 시간 워핑(DTW) 알고리즘을 탑재하여 사용할 수 있다. 여기서, 동적 시간 워핑 알고리즘은 6배 교차 검증 방법으로 훈련될 수 있다. 또한, 모바일 기기(130)는 제어 모듈(120)과 블루투스 통신을 수행하기 위한 블루투스 모듈을 내장형으로 구성한다.
In addition, the mobile device 130 may be equipped with a dynamic time warping (DTW) algorithm for measuring a pattern of motion signals of movements of a hand and a finger for gesture recognition of a user. Here, the dynamic time warping algorithm can be trained with the 6 times cross validation method. In addition, the mobile device 130 has a built-in Bluetooth module for performing Bluetooth communication with the control module 120.

도 6은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법의 동작 흐름을 도시한 도면이고, 도 7은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법의 처리 과정을 도시한 도면이며, 도 8은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법을 이용한 유클리드 거리 및 DTW의 그래프를 도시한 도면이고, 도 9는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법에서, 다차원 DTW의 그래프를 도시한 도면이며, 도 10은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법에서, 전처리 과정의 그래프를 도시한 도면이다. 도 6 내지 도 10에 각각 도시된 바와 같이, 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법은, 3개의 IMU 센서 모듈로부터 사용자의 제스처 인식을 위한 손과 손가락을 통해 측정되어 디지털 신호로 변환된 동작 신호들을 각각 입력받는 단계(S110), 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 상기 모바일 기기로 전송하는 단계(S120), 및 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 이용하여 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 그에 해당하는 제어를 수행하는 단계(S130)를 포함하여 구현될 수 있다.
6 is a flowchart illustrating an operation flow of a control method of an intelligent device for gesture recognition according to an embodiment of the present invention, and FIG. 7 is a diagram illustrating a control method of an intelligent device for gesture recognition according to an embodiment of the present invention. 8 is a diagram illustrating a processing process, FIG. 8 is a diagram illustrating a graph of Euclidean distance and DTW using a control method of an intelligent device for gesture recognition according to an embodiment of the present invention, and FIG. 9 is an embodiment of the present invention. In the control method of the intelligent device for gesture recognition according to the example, it is a diagram showing a graph of the multi-dimensional DTW, Figure 10 is a graph of the pre-processing process in the control method of intelligent device for gesture recognition according to an embodiment of the present invention Figure is a diagram. As shown in FIGS. 6 to 10, the control method of the intelligent device for gesture recognition according to an embodiment of the present invention is measured through a hand and a finger for gesture recognition of a user from three IMU sensor modules. Receiving operation signals converted into digital signals, respectively (S110), integrating operation signals of hand and finger movements for gesture recognition of the user into one output and transmitting them to the mobile device (S120); and Recognizing an operation of a user's hand and a finger through a mapping process of preset gesture selection by using motion signals of a motion of a hand and a finger for gesture recognition of the user and performing a control corresponding thereto (S130) Can be.

본 발명에 따른 동작 인식을 위한 지능형 장치(100)의 제어 방법에서, 단계 S110에서는, 제어 모듈(120)이 3개의 IMU 센서 모듈(110)로부터 사용자의 제스처 인식을 위한 손과 손가락을 통해 측정되어 디지털 신호로 변환된 동작 신호들을 각각 입력받는다. 이러한 단계 S110에서, 3개의 IMU 센서 모듈(110) 중 하나의 IMU 센서 모듈(110)은 사용자의 손 등에 장착되고, 나머지 2개의 IMU 센서 모듈(110)은 사용자의 2개의 손가락에 각각 장착하되, 사용자의 손 등에 장착되는 IMU 센서 모듈(110)은 사용자의 손 방향을 측정하기 위한 모션 센서로 기능하고, 사용자의 손가락에 장착되는 2개의 IMU 센서 모듈(110)은 사용자의 손가락 방향을 측정하기 위한 동작 센서로 기능할 수 있다.
In the control method of the intelligent device 100 for gesture recognition according to the present invention, in step S110, the control module 120 is measured through the hands and fingers for the user's gesture recognition from the three IMU sensor module 110 The operation signals converted into digital signals are respectively input. In this step S110, one IMU sensor module 110 of the three IMU sensor module 110 is mounted on the back of the user's hand, the other two IMU sensor module 110 is mounted on each of the two fingers of the user, The IMU sensor module 110 mounted on the user's hand or the like functions as a motion sensor for measuring the direction of the user's hand, and the two IMU sensor modules 110 mounted on the user's finger measure the user's finger direction. Can function as a motion sensor.

또한, 3개의 IMU 센서 모듈(110)은 사용자의 손 등에 장착되어 모션 센서로 기능하는 IMU 센서 모듈(110)이 가속도계(Accelerometer) 센서로 구성되고, 상기 사용자의 손가락에 장착되어 동작 센서로 기능하는 2개의 IMU 센서 모듈(110)은 사용자의 엄지와 검지에 각각 배치하되, 검지에 배치되는 IMU 센서 모듈(110)은 자이로스코프(Gyroscope) 센서로 구성되며, 엄지에 배치되는 IMU 센서 모듈(110)은 자력계(Magnetometer) 센서로 구성될 수 있다.
In addition, the three IMU sensor modules 110 are mounted on the user's hand, etc., the IMU sensor module 110, which functions as a motion sensor, is configured as an accelerometer sensor, and is mounted on the user's finger to function as a motion sensor. Two IMU sensor modules 110 are placed on the user's thumb and forefinger, respectively, and the IMU sensor module 110 disposed on the index finger is composed of a gyroscope sensor, and the IMU sensor module 110 is disposed on the thumb. May be configured as a magnetometer sensor.

또한, 3개의 IMU 센서 모듈(110)은 사용자의 손 등에 장착되는 1개의 IMU 센서 모듈(110)과, 사용자의 손가락에 장착되는 2개의 IMU 센서 모듈(110)에서 측정되는 손 방향과 손가락 방향의 동작 신호들을 통해 미리 설정된 사용자의 동작 22개의 제스처를 표현할 수 있다. 여기서, 22개의 제스처는 6개의 단순(simple) 제스처와, 6개의 표준(normal) 제스처와, 6개의 복잡(complex) 제스처, 및 2개의 손가락만을 사용한 4개의 제스처로 구성되고, 복합 제스처는 손가락과 손 방향을 모두 사용하는 제스처로 구현될 수 있다.
In addition, the three IMU sensor modules 110 may include a hand direction and a finger direction measured by one IMU sensor module 110 mounted on a user's hand or the like and two IMU sensor modules 110 mounted on a user's finger. The gesture signals may represent 22 gestures of the user's gesture. Here, the 22 gestures consist of six simple gestures, six normal gestures, six complex gestures, and four gestures using only two fingers. It may be implemented as a gesture using both hand directions.

본 발명에 따른 동작 인식을 위한 지능형 장치(100)의 제어 방법에서, 단계 S120에서는, 제어 모듈(120)이 단계 S110을 통해 각각 입력받은 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 모바일 기기(130)로 전송한다.
In the control method of the intelligent device 100 for gesture recognition according to the present invention, in step S120, the control module 120 receives the motion signals of the motions of the hand and the finger for gesture recognition of the user respectively input through step S110. Integrate into one output and transmit it to the mobile device (130).

본 발명에 따른 동작 인식을 위한 지능형 장치(100)의 제어 방법에서, 단계 S130에서는 모바일 기기(130)가 제어 모듈(120)로부터 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 무선근거리 통신을 통해 전송받아 전처리 과정과, N 차원의 DTW(Dynamic Time Warping) 분류와, 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 그에 해당하는 제어를 수행할 수 있다.
In the control method of the intelligent device 100 for gesture recognition according to the present invention, in step S130 the mobile device 130 wirelessly close the operation signals of the movement of the hand and finger for gesture recognition of the user from the control module 120 The user may recognize the operation of the user's hand and finger through the preprocessing process, the N-dimensional dynamic time warping (DTW) classification, and the mapping process of preset gesture selection, and perform the corresponding control.

또한, 단계 S130에서 모바일 기기(130)는 제어 모듈(120)로부터 블루투스 통신으로 입력받은 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들의 시계열(Time series)을 전처리 과정을 통해 분류하고, 미리 설정된 클래스 ID와 N차원의 DTW 거리를 구하여 미리 설정된 22개의 제스처를 참조하여 비교한 결과로 사용자가 취한 제스처를 인식하고 그에 해당하는 동작 수행이 가능하도록 제어하며, 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들의 패턴을 측정하기 위한 동적 시간 워핑(DTW) 알고리즘을 탑재하여 사용할 수 있다.
In operation S130, the mobile device 130 classifies a time series of motion signals of motions of a hand and a finger for gesture recognition of a user received from the control module 120 through Bluetooth communication through a preprocessing process. As a result of comparing the preset class ID and N-dimensional DTW distance and referring to 22 preset gestures, the user recognizes gestures and controls them to perform the corresponding action. A dynamic time warping (DTW) algorithm for measuring a pattern of motion signals of a finger movement can be mounted and used.

도 7은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법의 처리 과정으로서, 3개의 동작 신호의 시계열(Time Series)처리와, 전처리(Pre Processing) 과정과, 분류(Classification) 처리와, 클래스 ID 및 NC-DTW Distance 추출 과정을 나타내고 있다. 도 8은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법을 이용한 유클리드 거리 및 DTW의 그래프를 나타내고 있다. 즉, 도 8의 (a)는 유클리드 거리(Euclidean Distance)를 나타내고, 도 8의 (b)는 Dynamic Time Warping의 그래프를 나타내고 있다. 도 9는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법에서, 다차원 DTW의 그래프를 나타내고 있다.FIG. 7 is a process of a control method of an intelligent device for motion recognition according to an embodiment of the present invention. Time series processing, preprocessing, and classification of three operation signals are performed. Processing and class ID and NC-DTW distance extraction are shown. 8 illustrates a graph of Euclidean distance and DTW using a control method of an intelligent device for gesture recognition according to an embodiment of the present invention. That is, FIG. 8A illustrates an Euclidean distance, and FIG. 8B illustrates a graph of dynamic time warping. 9 illustrates a graph of a multi-dimensional DTW in a control method of an intelligent device for gesture recognition according to an embodiment of the present invention.

Figure pat00001
Figure pat00001

여기서, 수학식 1은 N 차원의 DTW를 나타내며, 주어진 2개의 시계열 사이의 거리를 계산하고, 모든 N 차원에 걸친 총 거리는 유클리드 거리로 워핑 행렬을 구성하는데 사용된다.
Here, Equation 1 represents the DTW of the N-dimension, calculates the distance between two given time series, and the total distance over all the N-dimensions is used to construct a warping matrix with Euclidean distance.

도 10은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법에서, 전처리 과정의 그래프를 나타낸다.10 illustrates a graph of a preprocessing process in a method of controlling an intelligent device for gesture recognition according to an embodiment of the present invention.

Figure pat00002
Figure pat00002

여기서, 수학식 2는 신호처리의 전처리 과정을 나타낸다. 즉, 보완적인 필터 방법을 사용하여 가속도계의 잡음을 제거(가속도계+자이로스코프)할 수 있다. 이때, 통합된 자이로스코프의 각 추정치는 하이패스 필터와 유사하고, 저역통과 필터와 거의 동일한 시간 상수를 갖게 된다.
Here, Equation 2 shows a preprocessing process of signal processing. In other words, the complementary filter method can be used to remove accelerometer noise (accelerometer + gyroscope). At this point, each estimate of the integrated gyroscope is similar to a highpass filter and has almost the same time constant as a lowpass filter.

또한, 전처리 과정 이후의 분류 과정에서, 분류 임계값(Classification Threshold)은 아래의 수학식 3 내지 5로 표현될 수 있다.In addition, in the classification process after the preprocessing, the classification threshold may be expressed by Equations 3 to 5 below.

Figure pat00003
Figure pat00003

Figure pat00004
Figure pat00004

Figure pat00005
Figure pat00005

즉, N 차원 입력 시계열 X가 템플릿의 제스처와 일치하지 않은 경우, 잘못된 분류 문제는 훈련 단계에서 템플릿의 각 제스처에 대한 분류를 정의하여 해결하고 있다. 이때, 알고리즘은 특정 제스처가 일치하지 않음을 나타내며, d는 총 정규화 된 워핑 거리이고, 감마는 훈련 단계에서 초기에 임의의 숫자로 설정 될 수 있으며, 나중에 사용자에 의해 조정될 수도 있다.
That is, when the N-dimensional input time series X does not match the gesture of the template, the incorrect classification problem is solved by defining the classification for each gesture of the template in the training phase. In this case, the algorithm indicates that a particular gesture does not match, d is the total normalized warping distance, gamma may be set to an arbitrary number initially in the training phase, or may be adjusted later by the user.

도 11은 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법에서, ND-DTW 알고리즘을 사용하여 제스처 인식 정확도의 검증 실험 결과를 도시한 도면이고, 도 12는 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치의 제어 방법과 관련 시스템과의 비교를 도시한 도면이다. 도 11은 ND-DTW 알고리즘을 사용하여 제스처 인식 정확도를 검증하기 위한 실험이 수행된 결과이다. 본 실험에는 6 명의 오른 손잡이 피험자가 실험에 참여하고, 각 피 실험자는 22 회의 제스처를 25 번 반복하며, 제스처는 18 개의 손 제스처와 4 개의 손가락 제스처로 구성되었다. 또한, 사용된 IMU 센서의 양에 근거한 정확도 비율에 대한 영향도 고려되며, ND-DTW 모델은 6배 교차 검증 방법을 사용하여 훈련되었다. 도 12는 본 발명에 따른 동작 인식을 위한 지능형 장치 및 그 제어 방법과 관련 시스템과의 실험 결과를 비교하여 나타내고 있다. 본 발명은 3개의 IMU 센서 모듈을 사용하여 평균 정확도 96.78%를 나타내고 있다.
FIG. 11 is a diagram illustrating a verification test result of gesture recognition accuracy using an ND-DTW algorithm in a method of controlling an intelligent device for gesture recognition according to an embodiment of the present invention, and FIG. 12 is a diagram illustrating one embodiment of the present invention. A diagram illustrating a comparison between a control method of an intelligent device for gesture recognition and an associated system according to an example. 11 illustrates a result of experiments for verifying gesture recognition accuracy using an ND-DTW algorithm. Six right-handed subjects participated in the experiment, each subject repeated 22 gestures 25 times, and the gesture consisted of 18 hand gestures and 4 finger gestures. In addition, the effect on the accuracy ratio based on the amount of IMU sensor used is considered, and the ND-DTW model was trained using a six-fold cross-validation method. 12 shows a comparison between an intelligent device for gesture recognition according to the present invention, a control method thereof, and experimental results of a related system. The present invention shows an average accuracy of 96.78% using three IMU sensor modules.

본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치 및 그 제어 방법에서는 제스처 인식으 위한 손과 손가락을 이용한 스마트 웨어러블 컨트롤러 시스템의 설계 및 구현이 가능하고, 이러한 본 발명은 3개의 IMU 센서를 사용하여 평균 정확도 96.78 %의 저비용에서 DTW 알고리즘으로 총 22 개의 미리 정의된 제스처를 인식할 수 있으며, 3.7V, 240mA의 배터리로 10시간의 낮은 에너지 소비로 잘 수행되었다. 즉, 본 발명은 전력 소비 및 착용 할 수 있는 편안함과 함께 크기를 줄이기 위한 차원의 관점에서 PCB 설계가 최적화되고, 다양한 소프트웨어 플랫폼과 호환되는 독립 실행형 시스템으로서 임베디드 하드웨어에서 인식 알고리즘이 구현되며, 손과 손가락 움직임을 활용하여 3차원 제스처와 관련된 복잡한 제스처를 인식하고, 다양한 응용 프로그램에 더 많은 기능을 포함시키고 사용자가 직접 사용자 정의 제스처를 허용하는 것이 가능하게 구현될 수 있다.
In an intelligent device and a control method for gesture recognition according to an embodiment of the present invention, it is possible to design and implement a smart wearable controller system using a hand and a finger for gesture recognition, and the present invention uses three IMU sensors. A total of 22 predefined gestures can be recognized by the DTW algorithm at low cost with an average accuracy of 96.78% and performed well with low energy consumption of 10 hours on a 3.7V, 240mA battery. In other words, the present invention is optimized PCB design from the viewpoint of reducing the size with power consumption and wearable comfort, recognition algorithm is implemented in embedded hardware as a stand-alone system compatible with various software platforms, It can be implemented to recognize complex gestures associated with three-dimensional gestures by using and finger movements, to include more functions in various applications, and to allow user-defined gestures directly.

상술한 바와 같이, 본 발명의 일실시예에 따른 동작 인식을 위한 지능형 장치 및 그 제어 방법은, 사용자의 손 등과 엄지 및 검지에 각각 배치되는 3개의 IMU 센서 모듈과, 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 출력하는 제어 모듈과, 동작 신호들의 시계열에 따른 전처리 과정과, N 차원의 DTW 분류와, 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 제어하는 모바일 기기를 포함하여 구성함으로써, 3개의 IMU 센서 모듈로부터 측정되는 동작 신호들을 이용하여 22개의 다양한 제스처 동작 인식이 가능하도록 할 수 있게 된다. 또한, 손 등과 2개의 손가락에 장착되는 3개의 IMU 센서 모듈과 제어 모듈을 사용자 착용(wearable)형으로 구성함으로써, 기존의 장갑 형태의 동작 인식 장치보다 훨씬 간단하게 구현할 수 있음은 물론, DTW 알고리즘의 적용을 통한 동작 인식의 다양한 제스처를 정확하게 인식 가능하고, 간단하고 사용하기 쉬운 소형화로 구현될 수 있도록 할 수 있으며, 특히, 사물인터넷(IoT) 개념의 유연한 PCB 회로 설계로 와이파이 또는 기타 인터넷 연결 옵션을 사용하는 모든 어플리케이션에 연결하여 다양한 전자 장치들의 원격 제어에 범용으로 활용하는 것이 가능하도록 할 수 있게 된다.
As described above, an intelligent device for gesture recognition and a control method thereof according to an embodiment of the present invention include three IMU sensor modules respectively disposed on a user's hand, a thumb, and an index finger, and a hand for gesture recognition of a user. Control module for integrating and outputting the motion signals of the finger motions into one output, preprocessing according to the time series of the motion signals, N-dimensional DTW classification, and mapping process of preset gesture selection. By including a mobile device that recognizes and controls the motion of a finger, it is possible to recognize 22 different gesture motions using motion signals measured from three IMU sensor modules. In addition, the three IMU sensor modules and the control module mounted on the back of the hand and the two fingers are configured to be wearable by the user, making it much simpler to implement than the conventional glove type motion recognition device, and the DTW algorithm. It can accurately recognize various gestures of gesture recognition through application, and can be realized in a simple and easy-to-use miniaturization.In particular, flexible PCB circuit design based on the Internet of Things (IoT) concept enables the selection of Wi-Fi or other Internet connection options. By connecting to all the applications used, it is possible to make a universal use for remote control of various electronic devices.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention described above may be variously modified or applied by those skilled in the art, and the scope of the technical idea according to the present invention should be defined by the following claims.

100: 본 발명의 일실시예에 따른 지능형 장치
101: 케이싱
110: IMU 센서 모듈
120: 제어(MCU) 모듈
130: 모바일 기기
S110: 3개의 IMU 센서 모듈로부터 사용자의 제스처 인식을 위한 손과 손가락을 통해 측정되어 디지털 신호로 변환된 동작 신호들을 각각 입력받는 단계
S120: 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 상기 모바일 기기로 전송하는 단계
S130: 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 이용하여 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 그에 해당하는 제어를 수행하는 단계100: intelligent device according to an embodiment of the present invention
101: casing
110: IMU sensor module
120: control (MCU) module
130: Mobile device
S110: receiving input signals from three IMU sensor modules, respectively, which are measured by hands and fingers for gesture recognition of the user and converted into digital signals
S120: integrating the motion signals of the hand and finger movements for the user's gesture recognition into a single output and transmitting to the mobile device
S130: step of recognizing the motion of the user's hand and the finger and performing the corresponding control through the mapping process of preset gesture selection using the motion signals of the motion of the hand and the finger for the gesture recognition of the user

Claims (20)

동작 인식을 위한 지능형 장치(100)로서,
사용자의 제스처 인식을 위한 손과 손가락의 동작 신호를 측정하고, 측정되는 동작 신호를 디지털 신호로 변환하여 각각 출력하는 3개의 IMU(Inertial Motion Unit) 센서 모듈(110);
상기 3개의 IMU 센서 모듈(110)의 동작 신호를 각각 입력받고, 상기 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 출력하는 제어(MCU) 모듈(120); 및
상기 제어 모듈(120)로부터 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 무선근거리 통신을 통해 전송받아 전처리 과정과, N 차원의 DTW(Dynamic Time Warping) 분류와, 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 그에 해당하는 제어를 수행하는 모바일 기기(Mobile Device)(130)를 포함하는 것을 특징으로 하는, 동작 인식을 위한 지능형 장치.
As the intelligent device 100 for gesture recognition,
Three IMU (Inertial Motion Unit) sensor modules 110 measuring motion signals of a hand and a finger for gesture recognition of a user, and converting the measured motion signals into digital signals and outputting the digital signals;
A control (MCU) module 120 for receiving operation signals of the three IMU sensor modules 110 and integrating and outputting operation signals of hand and finger movements for gesture recognition of the user into a single output; And
The control module 120 receives operation signals of hand and finger movements for wireless recognition of the user's gestures through wireless near field communication, preprocessing, N-dimensional dynamic time warping (DTW) classification, and preset gesture selection. And a mobile device (130) for recognizing a motion of a user's hand and finger through a mapping process and performing control corresponding thereto.
제1항에 있어서, 상기 3개의 IMU 센서 모듈(110)은,
3개의 IMU 센서 모듈(110) 중 하나의 IMU 센서 모듈(110)은 사용자의 손 등에 장착되고, 나머지 2개의 IMU 센서 모듈(110)은 사용자의 2개의 손가락에 각각 장착되는 것을 특징으로 하는, 동작 인식을 위한 지능형 장치.
The method of claim 1, wherein the three IMU sensor modules 110,
One IMU sensor module 110 of the three IMU sensor module 110 is mounted on the back of the user's hand, and the remaining two IMU sensor module 110 is mounted on the two fingers of the user, operation Intelligent device for recognition.
제2항에 있어서, 상기 3개의 IMU 센서 모듈(110)은,
상기 사용자의 손 등에 장착되는 IMU 센서 모듈(110)은 사용자의 손 방향을 측정하기 위한 모션 센서로 기능하고, 사용자의 손가락에 장착되는 2개의 IMU 센서 모듈(110)은 사용자의 손가락 방향을 측정하기 위한 동작 센서로 기능하는 것을 특징으로 하는, 동작 인식을 위한 지능형 장치.
The method of claim 2, wherein the three IMU sensor modules 110,
The IMU sensor module 110 mounted on the user's hand or the like functions as a motion sensor for measuring the user's hand direction, and the two IMU sensor modules 110 mounted on the user's finger measure the user's finger direction. Intelligent device for gesture recognition, characterized in that it functions as a motion sensor for.
제3항에 있어서,
상기 사용자의 손 등에 장착되어 모션 센서로 기능하는 IMU 센서 모듈(110)은, 가속도계(Accelerometer) 센서로 구성하는 것을 특징으로 하는, 동작 인식을 위한 지능형 장치.
The method of claim 3,
The IMU sensor module (110) mounted on the user's hand and functions as a motion sensor, characterized in that configured as an accelerometer (Accelerometer) sensor, intelligent device for motion recognition.
제3항에 있어서,
상기 사용자의 손가락에 장착되어 동작 센서로 기능하는 2개의 IMU 센서 모듈(110)은 사용자의 엄지와 검지에 각각 배치하되, 검지에 배치되는 IMU 센서 모듈(110)은 자이로스코프(Gyroscope) 센서로 구성하고, 엄지에 배치되는 IMU 센서 모듈(110)은 자력계(Magnetometer) 센서로 구성하는 것을 특징으로 하는, 동작 인식을 위한 지능형 장치.
The method of claim 3,
Two IMU sensor modules 110 mounted on the user's finger and functioning as motion sensors are disposed on the user's thumb and index finger, respectively, and the IMU sensor module 110 disposed on the index finger is composed of a gyroscope sensor. And, the IMU sensor module 110 disposed on the thumb, characterized in that configured as a magnetometer (Magnetometer) sensor, intelligent device for gesture recognition.
제1항에 있어서, 상기 3개의 IMU 센서 모듈(110)은,
사용자의 손 등에 장착되는 1개의 IMU 센서 모듈(110)과, 사용자의 손가락에 장착되는 2개의 IMU 센서 모듈(110)에서 측정되는 손 방향과 손가락 방향의 동작 신호들을 통해 미리 설정된 사용자의 동작 22개의 제스처를 표현하는 것을 특징으로 하는, 동작 인식을 위한 지능형 장치.
The method of claim 1, wherein the three IMU sensor modules 110,
22 preset user's motions through one IMU sensor module 110 mounted on the user's hand and two IMU sensor modules 110 mounted on the user's finger An intelligent device for gesture recognition, characterized in that it represents a gesture.
제6항에 있어서, 상기 22개의 제스처는,
6개의 단순(simple) 제스처와, 6개의 표준(normal) 제스처와, 6개의 복잡(complex) 제스처, 및 2개의 손가락만을 사용한 4개의 제스처로 구성하는 것을 특징으로 하는, 동작 인식을 위한 지능형 장치.
The method of claim 6, wherein the 22 gestures,
An intelligent device for gesture recognition, comprising six simple gestures, six normal gestures, six complex gestures, and four gestures using only two fingers.
제7항에 있어서, 상기 복합 제스처는,
손가락과 손 방향을 모두 사용하는 제스처인 것을 특징으로 하는, 동작 인식을 위한 지능형 장치.
The method of claim 7, wherein the composite gesture is,
Intelligent device for gesture recognition, characterized in that the gesture using both the finger and hand direction.
제1항 내지 제8항 중 어느 한 항에 있어서, 상기 제어 모듈(120)은,
상기 3개의 IMU 센서 모듈(110)에서 측정한 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 상기 모바일 기기(130)로 전송하기 위한 블루투스 모듈(121)을 더 포함하는 것을 특징으로 하는, 동작 인식을 위한 지능형 장치.
The method according to any one of claims 1 to 8, wherein the control module 120,
It further comprises a Bluetooth module 121 for transmitting the motion signals of the movement of the hand and finger for the gesture recognition of the user measured by the three IMU sensor module 110 to the mobile device (130) , Intelligent device for gesture recognition.
제9항에 있어서, 상기 제어 모듈(120)은,
상기 모바일 기기(130)와 저전력 통신을 위한 저전력 블루투스 4.0 BLE 보드로 구현되는 것을 특징으로 하는, 동작 인식을 위한 지능형 장치.
The method of claim 9, wherein the control module 120,
Intelligent device for gesture recognition, characterized in that implemented as a low power Bluetooth 4.0 BLE board for low power communication with the mobile device (130).
제9항에 있어서,
상기 3개의 IMU 센서 모듈(110)과, 블루투스 모듈(121)을 구비하는 제어 모듈(120)은 케이싱(101)에 수용 설치되어 사용자의 손가락과 손 등에 체결되는 착용(wearable)으로 구성되는 것을 특징으로 하는, 동작 인식을 위한 지능형 장치.
The method of claim 9,
The three IMU sensor modules 110 and the control module 120 including the Bluetooth module 121 are housed in the casing 101 and configured to be wearable to be fastened to a user's finger, hand, or the like. Intelligent device for gesture recognition.
제11항에 있어서, 상기 케이싱(101)은,
3D 프린터로 제작되는 것을 특징으로 하는, 동작 인식을 위한 지능형 장치.
The method of claim 11, wherein the casing 101,
An intelligent device for gesture recognition, characterized in that it is made of a 3D printer.
제9항에 있어서, 상기 모바일 기기(130)는,
상기 제어 모듈(120)로부터 블루투스 통신으로 입력받은 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들의 시계열(Time series)을 전처리 과정을 통해 분류하고, 미리 설정된 클래스 ID와 N차원의 DTW 거리를 구하여 미리 설정된 22개의 제스처를 참조하여 비교한 결과로 사용자가 취한 제스처를 인식하고 그에 해당하는 동작 수행이 가능하도록 제어하는 것을 특징으로 하는, 동작 인식을 위한 지능형 장치.
The method of claim 9, wherein the mobile device 130,
Time series of motion signals of hand and finger movements for gesture recognition of a user received from the control module 120 through Bluetooth communication are classified through a preprocessing process, and a predetermined class ID and N-dimensional DTW distance are provided. Obtaining a gesture and recognizing a gesture taken by the user as a result of comparison with reference to 22 preset gestures, and controlling to perform a corresponding operation.
제13항에 있어서, 상기 모바일 기기(130)는,
상기 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들의 패턴을 측정하기 위한 동적 시간 워핑(DTW) 알고리즘을 탑재하여 사용하는 것을 특징으로 하는, 동작 인식을 위한 지능형 장치.
The method of claim 13, wherein the mobile device 130,
And use a dynamic time warping (DTW) algorithm for measuring a pattern of motion signals of a motion of a hand and a finger for gesture recognition of the user.
제14항에 있어서, 상기 동적 시간 워핑 알고리즘은,
6배 교차 검증 방법으로 훈련되는 것을 특징으로 하는, 동작 인식을 위한 지능형 장치.
The method of claim 14, wherein the dynamic time warping algorithm,
Intelligent device for motion recognition, characterized in that it is trained in a six-fold cross-validation method.
3개의 IMU 센서 모듈(110)과 제어 모듈(120) 및 모바일 기기(130)를 구비하는 지능형 장치(100)를 이용한 동작 인식 제어 방법으로서,
(1) 상기 제어 모듈(120)이 상기 3개의 IMU 센서 모듈(110)로부터 사용자의 제스처 인식을 위한 손과 손가락을 통해 측정되어 디지털 신호로 변환된 동작 신호들을 각각 입력받는 단계;
(2) 상기 제어 모듈(120)이 상기 단계 (1)을 통해 각각 입력받은 상기 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 하나의 출력으로 통합하여 상기 모바일 기기(130)로 전송하는 단계; 및
(3) 상기 모바일 기기(130)가 상기 제어 모듈(120)로부터 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들을 무선근거리 통신을 통해 전송받아 전처리 과정과, N 차원의 DTW(Dynamic Time Warping) 분류와, 미리 설정된 제스처 선택의 맵핑 처리를 통해 사용자의 손과 손가락의 동작을 인식하고 그에 해당하는 제어를 수행하는 단계를 포함하는 것을 특징으로 하는, 동작 인식을 위한 지능형 장치의 제어 방법.
A motion recognition control method using the intelligent device 100 including three IMU sensor modules 110, a control module 120, and a mobile device 130,
(1) receiving, by the control module 120, operation signals measured by the hands and fingers for gesture recognition of the user from the three IMU sensor modules 110 and converted into digital signals;
(2) The control module 120 integrates operation signals of hand and finger movements for gesture recognition of the user, which are input through the step (1), into one output and transmits them to the mobile device 130. Doing; And
(3) The mobile device 130 receives operation signals of hand and finger movements for wireless communication from the control module 120 through wireless short-range communication, and performs N-dimensional DTW (Dynamic Time). And a step of recognizing a motion of a user's hand and finger and performing a corresponding control through a classification process and a mapping process of preset gesture selection.
제16항에 있어서, 상기 단계 (1)에서,
상기 3개의 IMU 센서 모듈(110) 중 하나의 IMU 센서 모듈(110)은 사용자의 손 등에 장착되고, 나머지 2개의 IMU 센서 모듈(110)은 사용자의 2개의 손가락에 각각 장착하되,
상기 사용자의 손 등에 장착되는 IMU 센서 모듈(110)은 사용자의 손 방향을 측정하기 위한 모션 센서로 기능하고, 사용자의 손가락에 장착되는 2개의 IMU 센서 모듈(110)은 사용자의 손가락 방향을 측정하기 위한 동작 센서로 기능하는 것을 특징으로 하는, 동작 인식을 위한 지능형 장치의 제어 방법.
The method of claim 16, wherein in step (1),
One IMU sensor module 110 of the three IMU sensor module 110 is mounted on the user's hand, and the other two IMU sensor module 110 is mounted on the two fingers of the user, respectively,
The IMU sensor module 110 mounted on the user's hand or the like functions as a motion sensor for measuring the user's hand direction, and the two IMU sensor modules 110 mounted on the user's finger measure the user's finger direction. The control method of the intelligent device for gesture recognition, characterized in that it functions as a motion sensor for.
제17항에 있어서, 상기 3개의 IMU 센서 모듈(110)은,
상기 사용자의 손 등에 장착되어 모션 센서로 기능하는 IMU 센서 모듈(110)이 가속도계(Accelerometer) 센서로 구성되고, 상기 사용자의 손가락에 장착되어 동작 센서로 기능하는 2개의 IMU 센서 모듈(110)은 사용자의 엄지와 검지에 각각 배치하되, 검지에 배치되는 IMU 센서 모듈(110)은 자이로스코프(Gyroscope) 센서로 구성되며, 엄지에 배치되는 IMU 센서 모듈(110)은 자력계(Magnetometer) 센서로 구성되는 것을 특징으로 하는, 동작 인식을 위한 지능형 장치의 제어 방법.
The method of claim 17, wherein the three IMU sensor module 110,
The IMU sensor module 110 mounted on the user's hand and functions as a motion sensor is configured as an accelerometer sensor, and the two IMU sensor modules 110 mounted on the user's finger and function as motion sensors are the user. Placed on the thumb and forefinger, respectively, the IMU sensor module 110 disposed on the index finger is configured as a gyroscope sensor, and the IMU sensor module 110 disposed on the thumb is configured as a magnetometer sensor. Characterized in that, the control method of the intelligent device for motion recognition.
제18항에 있어서, 상기 3개의 IMU 센서 모듈(110)은,
사용자의 손 등에 장착되는 1개의 IMU 센서 모듈(110)과, 사용자의 손가락에 장착되는 2개의 IMU 센서 모듈(110)에서 측정되는 손 방향과 손가락 방향의 동작 신호들을 통해 미리 설정된 사용자의 동작 22개의 제스처를 표현하되,
상기 22개의 제스처는,
6개의 단순(simple) 제스처와, 6개의 표준(normal) 제스처와, 6개의 복잡(complex) 제스처, 및 2개의 손가락만을 사용한 4개의 제스처로 구성되고, 상기 복합 제스처는 손가락과 손 방향을 모두 사용하는 제스처인 것을 특징으로 하는, 동작 인식을 위한 지능형 장치의 제어 방법.
The method of claim 18, wherein the three IMU sensor module 110,
22 preset user's motions through one IMU sensor module 110 mounted on the user's hand and two IMU sensor modules 110 mounted on the user's finger Express your gestures,
The 22 gestures,
It consists of six simple gestures, six normal gestures, six complex gestures, and four gestures using only two fingers. The complex gesture uses both finger and hand orientation. The control method of the intelligent device for gesture recognition, characterized in that the gesture.
제19항에 있어서, 상기 단계 (3)에서,
상기 모바일 기기(130)는 상기 제어 모듈(120)로부터 블루투스 통신으로 입력받은 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들의 시계열(Time series)을 전처리 과정을 통해 분류하고, 미리 설정된 클래스 ID와 N차원의 DTW 거리를 구하여 미리 설정된 22개의 제스처를 참조하여 비교한 결과로 사용자가 취한 제스처를 인식하고 그에 해당하는 동작 수행이 가능하도록 제어하며, 상기 사용자의 제스처 인식을 위한 손과 손가락의 움직임의 동작 신호들의 패턴을 측정하기 위한 동적 시간 워핑(DTW) 알고리즘을 탑재하여 사용하는 것을 특징으로 하는, 동작 인식을 위한 지능형 장치의 제어 방법.20. The process according to claim 19, wherein in step (3),
The mobile device 130 classifies a time series of motion signals of motions of hands and fingers for gesture recognition of a user received through the Bluetooth communication from the control module 120 through a preprocessing process, and sets a predetermined class. Obtains the ID and the N-dimensional DTW distance and compares 22 preset gestures to recognize the gestures taken by the user and controls them to perform the corresponding action. And using a dynamic time warping (DTW) algorithm for measuring a pattern of motion signals of a motion.
KR1020180012015A 2018-01-31 2018-01-31 A smart hand device for gesture recognition and control method thereof KR102057705B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180012015A KR102057705B1 (en) 2018-01-31 2018-01-31 A smart hand device for gesture recognition and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180012015A KR102057705B1 (en) 2018-01-31 2018-01-31 A smart hand device for gesture recognition and control method thereof

Publications (2)

Publication Number Publication Date
KR20190098806A true KR20190098806A (en) 2019-08-23
KR102057705B1 KR102057705B1 (en) 2019-12-19

Family

ID=67763906

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180012015A KR102057705B1 (en) 2018-01-31 2018-01-31 A smart hand device for gesture recognition and control method thereof

Country Status (1)

Country Link
KR (1) KR102057705B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111913575A (en) * 2020-07-24 2020-11-10 合肥工业大学 Method for recognizing hand-language words
WO2021157997A1 (en) * 2020-02-07 2021-08-12 삼성전자 주식회사 Electronic device and method for processing user input
CN114167984A (en) * 2021-01-28 2022-03-11 Oppo广东移动通信有限公司 Device control method, device, storage medium and electronic device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102316556B1 (en) * 2020-04-10 2021-10-22 한국항공대학교산학협력단 Wearable device based hand gesture recognizer using adaptive dynamic time warping window and method using thereof
KR102260022B1 (en) 2020-05-25 2021-06-02 전남대학교산학협력단 System and method for object classification in image based on deep running

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2950713A1 (en) * 2009-09-29 2011-04-01 Movea Sa SYSTEM AND METHOD FOR RECOGNIZING GESTURES

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021157997A1 (en) * 2020-02-07 2021-08-12 삼성전자 주식회사 Electronic device and method for processing user input
CN111913575A (en) * 2020-07-24 2020-11-10 合肥工业大学 Method for recognizing hand-language words
CN111913575B (en) * 2020-07-24 2021-06-11 合肥工业大学 Method for recognizing hand-language words
CN114167984A (en) * 2021-01-28 2022-03-11 Oppo广东移动通信有限公司 Device control method, device, storage medium and electronic device
CN114167984B (en) * 2021-01-28 2024-03-12 Oppo广东移动通信有限公司 Equipment control method and device, storage medium and electronic equipment

Also Published As

Publication number Publication date
KR102057705B1 (en) 2019-12-19

Similar Documents

Publication Publication Date Title
KR102057705B1 (en) A smart hand device for gesture recognition and control method thereof
CN109804331B (en) Detecting and using body tissue electrical signals
KR102271432B1 (en) Digital device and method for controlling the same
CN111209885B (en) Gesture information processing method and device, electronic equipment and storage medium
JP2021072136A (en) Methods and devices for combining muscle activity sensor signals and inertial sensor signals for gesture-based control
Bulling et al. Wearable EOG goggles: Seamless sensing and context-awareness in everyday environments
EP2875778B1 (en) Wearable mobile device and method of measuring biological signal with the same
KR101963694B1 (en) Wearable device for gesture recognition and control and gesture recognition control method using the same
Milosevic et al. Design challenges for wearable EMG applications
CN106963372B (en) A kind of brain electricity-electromyography signal fusing device and fusion method
KR20140124377A (en) Device and method for continuous biometric recognition based on electrocardiographic signals
Zhang et al. Recognizing hand gestures with pressure-sensor-based motion sensing
CN108334766B (en) Electronic device, unlocking method and Related product
CN112399823A (en) Biological information processing apparatus and information processing method
Gorur et al. Glossokinetic potential based tongue–machine interface for 1-D extraction
Soltani et al. Design of a novel wearable human computer interface based on electrooculograghy
CN107943285B (en) Man-machine interaction wrist ring, system and method based on biological myoelectricity
English et al. EyePhone: A mobile EOG-based human-computer interface for assistive healthcare
CN108670275A (en) Signal processing method and related product
EP3407228B1 (en) Wearable sensors for inputting a command
US9996168B2 (en) Wearable wireless tongue controlled devices
Shatilov et al. Emerging natural user interfaces in mobile computing: A bottoms-up survey
Peters An assessment of single-channel emg sensing for gestural input
CN115844427A (en) Eye detection method and apparatus
RU2661756C2 (en) Brain computer interface device for remote control of exoskeleton

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)