KR102182413B1 - Apparatus for Behavior Recognition using Virtual Motion Generation and Method Therefor - Google Patents

Apparatus for Behavior Recognition using Virtual Motion Generation and Method Therefor Download PDF

Info

Publication number
KR102182413B1
KR102182413B1 KR1020190155700A KR20190155700A KR102182413B1 KR 102182413 B1 KR102182413 B1 KR 102182413B1 KR 1020190155700 A KR1020190155700 A KR 1020190155700A KR 20190155700 A KR20190155700 A KR 20190155700A KR 102182413 B1 KR102182413 B1 KR 102182413B1
Authority
KR
South Korea
Prior art keywords
data
virtual
motion
motion data
actual
Prior art date
Application number
KR1020190155700A
Other languages
Korean (ko)
Inventor
신동인
박종범
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020190155700A priority Critical patent/KR102182413B1/en
Application granted granted Critical
Publication of KR102182413B1 publication Critical patent/KR102182413B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A61B5/0488—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

A behavior recognition device using virtual motion generation of the present invention comprises: an actual data providing part that receives an electromyogram obtained by measuring the action potential of the muscle of a first part and actual first motion data generated by detecting the motion of the first part from a first sensor mounted on the first part of the body of a user, and provides the electromyogram and the first motion data; a virtual data generation part that generates virtual second motion data that simulates the motion of a second part connected to the first part of the body of the user; and a behavior recognition part that recognizes the behavior of the user based on the electromyogram, the actual first motion data, and the virtual second motion data.

Description

가상 모션 생성을 이용한 행위 인식을 위한 장치 및 이를 위한 방법{Apparatus for Behavior Recognition using Virtual Motion Generation and Method Therefor}Apparatus for Behavior Recognition using Virtual Motion Generation and Method Therefor}

본 발명은 행위 인식 관한 것으로, 보다 상세하게는 가상 모션 생성을 이용한 행위 인식을 위한 장치 및 이를 위한 방법에 관한 것이다. The present invention relates to behavior recognition, and more particularly, to an apparatus for behavior recognition using virtual motion generation and a method therefor.

종래의 웨어러블 센서 기반의 행위 인식에 있어서, 와치 형태의 웨어러블 센서는 사용자가 오른손잡이의 경우 실제 다양한 행위가 오른손으로 이루어지며 왼손에 와치를 착용하기 ‹š문에 다양한 행위에 대한 모션 정보를 얻기가 어렵다. 또한, 오른손에 착용하여 근전도와 모션 정보를 취득하는 웨어러블 센서, 예컨대, MYO 센서 등의 경우, 대부분의 센서가 오른쪽 팔뚝, 즉, 팔꿈치 근처에 센서를 착용하기 때문에 근전도 데이터를 얻기 쉬우나 모션 정보가 오른쪽 팔뚝 중심으로 생성되기 ‹š문에 모션 정보가 상세하지 않다. In the conventional wearable sensor-based behavior recognition, in the case of a wearable sensor in the form of a watch, in the case of a right-handed user, various actions are actually performed with the right hand, and because the user wears a watch on the left hand, it is difficult to obtain motion information for various actions. it's difficult. In addition, in the case of a wearable sensor that acquires EMG and motion information by wearing it on the right hand, for example, the MYO sensor, it is easy to obtain EMG data because most of the sensors wear the sensor near the right forearm, that is, the elbow. Motion information is not detailed because it is generated around the forearm.

한국공개특허 제10-2016-0046622호 2016년 04월 29일 공개 (명칭: 웨어러블 디바이스 및 컨텐츠 전송 방법)Korean Patent Publication No. 10-2016-0046622 published on April 29, 2016 (Name: Wearable device and content transmission method)

본 발명의 목적은 가상 모션 생성자를 이용하여 사용자의 행위를 인식할 수 있는 장치 및 이를 위한 방법을 제공함에 있다. An object of the present invention is to provide an apparatus and method for recognizing a user's behavior using a virtual motion generator.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 가상 모션 생성자를 이용한 행위 인식을 위한 장치는 사용자 신체의 제1 부위에 장착되는 제1 센서로부터 상기 제1 부위의 근육의 활동 전위를 측정한 근전도 및 상기 제1 부위의 모션을 감지하여 생성한 실제 제1 모션 데이터를 수신하고, 상기 근전도 및 상기 실제 제1 모션 데이터를 제공하는 실제데이터제공부와, 사용자 신체의 제1 부위와 연결된 제2 부위의 모션을 감지하여 측정한 실제 제2 모션 데이터를 모사하는 가상 제2 모션 데이터를 생성하는 가상데이터생성부와, 상기 근전도, 상기 실제 제1 모션 데이터 및 상기 가상 제2 모션 데이터를 기초로 상기 사용자의 행위를 인식하는 행위인식부를 포함한다. An apparatus for recognizing an action using a virtual motion generator according to a preferred embodiment of the present invention for achieving the above object is an action potential of the muscle of the first portion from a first sensor mounted on the first portion of the user's body. A real data providing unit that receives the EMG measured by and the actual first motion data generated by sensing the motion of the first part, and provides the EMG and the real first motion data, and a first part of the user's body. A virtual data generator for generating virtual second motion data that simulates real second motion data measured by detecting the motion of the connected second part, and the EMG, the real first motion data, and the virtual second motion data. It includes an action recognition unit that recognizes the user's actions on the basis of.

상기 가상데이터생성부는 상기 실제 제1 모션 데이터 및 상기 실제 제2 모션 데이터를 포함하는 대조 모션 데이터를 제공하는 대조데이터제공부와, 상기 실제 제2 모션 데이터를 모사하는 가상 제2 모션 데이터를 생성하고, 상기 실제 제1 모션 데이터와 상기 가상 제2 모션 데이터를 포함하는 가상 모션 데이터를 제공하는 가상모션데이터생성부와, 상기 대조 모션 데이터 및 상기 가상 모션 데이터 중 어느 하나의 모션 데이터가 입력되면, 입력된 모션 데이터가 가상인지 혹은 실제인지 여부를 판별하는 판별부와, 상기 판별부가 상기 대조데이터제공부로부터 제공되는 상기 대조 모션 데이터가 실제인 것으로 판단하도록 상기 판별부를 학습시키는 제1 학습 절차와, 상기 판별부가 상기 가상모션데이터생성부로부터 제공되는 상기 가상 모션 데이터를 실제인 것으로 판단하도록 상기 가상모션데이터생성부를 학습시키는 제2 학습 절차를 반복하는 가상모션처리부를 포함한다. The virtual data generation unit generates a matching data providing unit that provides matching motion data including the actual first motion data and the actual second motion data, and virtual second motion data that simulates the actual second motion data, and , When a virtual motion data generator for providing virtual motion data including the actual first motion data and the virtual second motion data, and any one of the contrast motion data and the virtual motion data are input, input A first learning procedure for learning the determination unit to determine whether the determined motion data is virtual or real, and the determination unit to determine that the collation motion data provided from the collation data providing unit is real, and the And a virtual motion processing unit that repeats a second learning procedure for learning the virtual motion data generation unit so that the determination unit determines that the virtual motion data provided from the virtual motion data generation unit is real.

상기 장치는 상기 가상 제2 모션 데이터에 대응하는 실제 제1 모션 데이터를 통해 상기 가상 제2 모션 데이터를 정규화하는 정규화부를 더 포함한다. The apparatus further includes a normalization unit for normalizing the virtual second motion data based on actual first motion data corresponding to the virtual second motion data.

상기 실제 제1 모션 데이터는 상기 제1 부위를 자이로센서를 통해 측정한 실제 제1 각속도 데이터 및 상기 제1 부위를 가속도센서를 통해 측정한 실제 제1 가속도 데이터를 포함하며, 상기 가상 제2 모션 데이터는 상기 제2 부위의 모션을 자이로센서를 통해 측정한 실제 제2 각속도 데이터를 모사하는 가상 제2 각속도 데이터 및 상기 제2 부위의 모션을 가속도센서를 통해 측정된 실제 제2 가속도 데이터를 모사하는 가상 제2 가속도 데이터를 포함한다. The actual first motion data includes actual first angular velocity data measured through a gyro sensor for the first part and real first acceleration data measured through an acceleration sensor for the first part, and the virtual second motion data Is a virtual second angular velocity data that simulates actual second angular velocity data measured through a gyro sensor and a virtual second angular velocity data that simulates the motion of the second region through an acceleration sensor. It includes second acceleration data.

상기 정규화부는 수학식

Figure 112019123033747-pat00001
에 따라 실제 제1 각속도 데이터로 가상 제2 각속도 데이터를 정규화하고, 수학식
Figure 112019123033747-pat00002
에 따라 실제 제1 가속도 데이터로 가상 제2 가속도 데이터를 정규화한다. The normalization unit Equation
Figure 112019123033747-pat00001
According to the actual first angular velocity data, the virtual second angular velocity data is normalized, and the equation
Figure 112019123033747-pat00002
According to this, the virtual second acceleration data is normalized with the actual first acceleration data.

여기서, 상기

Figure 112019123033747-pat00003
는 실제 제1 각속도 데이터이고, 상기
Figure 112019123033747-pat00004
는 가상 제2 각속도 데이터이며, 상기
Figure 112019123033747-pat00005
는 정규화된 가상 제2 각속도 데이터이고, 상기
Figure 112019123033747-pat00006
는 실제 제1 가속도 데이터이고, 상기
Figure 112019123033747-pat00007
는 가상 제2 가속도 데이터이며, 상기
Figure 112019123033747-pat00008
는 정규화된 가상 제2 가속도 데이터이다. Here, above
Figure 112019123033747-pat00003
Is the actual first angular velocity data, and
Figure 112019123033747-pat00004
Is the virtual second angular velocity data, wherein
Figure 112019123033747-pat00005
Is the normalized virtual second angular velocity data, wherein
Figure 112019123033747-pat00006
Is the actual first acceleration data, and
Figure 112019123033747-pat00007
Is the virtual second acceleration data, wherein
Figure 112019123033747-pat00008
Is the normalized virtual second acceleration data.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 가상 모션 생성자를 이용한 행위 인식을 위한 방법은 실제데이터제공부가 사용자 신체의 제1 부위에 장착되는 제1 센서로부터 상기 제1 부위의 근육의 활동 전위를 측정한 근전도 및 상기 제1 부위의 모션을 감지하여 생성한 실제 제1 모션 데이터를 수신하고, 상기 근전도 및 상기 실제 제1 모션 데이터를 제공하는 단계와, 가상데이터생성부가 사용자 신체의 제1 부위와 연결된 제2 부위의 모션을 감지하여 측정한 실제 제2 모션 데이터를 모사하는 가상 제2 모션 데이터를 생성하는 단계와, 행위인식부가 상기 근전도, 상기 실제 제1 모션 데이터 및 상기 가상 제2 모션 데이터를 기초로 상기 사용자의 행위를 인식하는 단계를 포함한다. In a method for recognizing an action using a virtual motion generator according to a preferred embodiment of the present invention for achieving the above-described object, the real data providing unit is provided with a first sensor mounted on a first part of the user's body. Receiving an EMG measuring an action potential of a muscle and real first motion data generated by detecting the motion of the first region, providing the EMG and the actual first motion data, and a virtual data generating unit Generating virtual second motion data that simulates real second motion data measured by detecting a motion of a second portion connected to the first portion of, and a behavior recognition unit comprising the EMG, the real first motion data, and the virtual And recognizing the user's behavior based on the second motion data.

상기 가상 제2 모션 데이터를 생성하는 단계 후, 상기 사용자의 행위를 인식하는 단계 전, 정규화부가 상기 가상 제2 모션 데이터를 상기 실제 제1 모션 데이터를 통해 정규화하는 단계를 더 포함한다. After the step of generating the virtual second motion data, and before the step of recognizing the user's behavior, the normalization unit may normalize the second virtual motion data using the actual first motion data.

상기 실제 제1 모션 데이터는 상기 제1 부위의 모션을 자이로센서를 통해 측정한 실제 제1 각속도 데이터 및 상기 제1 부위의 모션을 가속도센서를 통해 측정한 실제 제1 가속도 데이터를 포함하며, 상기 가상 제2 모션 데이터는 상기 제2 부위의 모션을 자이로센서를 통해 측정한 실제 제2 각속도 데이터를 모사하는 가상 제2 각속도 데이터 및 상기 제2 부위의 모션을 가속도센서를 통해 측정된 실제 제2 가속도 데이터를 모사하는 가상 제2 가속도 데이터를 포함한다. The actual first motion data includes actual first angular velocity data obtained by measuring the motion of the first region through a gyro sensor and actual first acceleration data measuring the motion of the first region through an acceleration sensor, and the virtual The second motion data is virtual second angular velocity data that simulates the actual second angular velocity data measured by the gyro sensor of the motion of the second portion and the actual second acceleration data measured by the acceleration sensor of the motion of the second portion It includes virtual second acceleration data that simulates.

상기 가상 제2 모션 데이터를 상기 실제 제1 모션 데이터를 통해 정규화하는 단계는 상기 정규화부가 수학식

Figure 112019123033747-pat00009
에 따라 실제 제1 각속도 데이터로 가상 제2 각속도 데이터를 정규화하고, 수학식
Figure 112019123033747-pat00010
에 따라 실제 제1 가속도 데이터로 가상 제2 가속도 데이터를 정규화한다. In the step of normalizing the virtual second motion data through the actual first motion data, the normalization unit
Figure 112019123033747-pat00009
According to the actual first angular velocity data, the virtual second angular velocity data is normalized, and the equation
Figure 112019123033747-pat00010
According to this, the virtual second acceleration data is normalized with the actual first acceleration data.

여기서, 상기

Figure 112019123033747-pat00011
는 실제 제1 각속도 데이터이고, 상기
Figure 112019123033747-pat00012
는 가상 제2 각속도 데이터이며, 상기
Figure 112019123033747-pat00013
는 정규화된 가상 제2 각속도 데이터이고, 상기
Figure 112019123033747-pat00014
는 실제 제1 가속도 데이터이고, 상기
Figure 112019123033747-pat00015
는 가상 제2 가속도 데이터이며, 상기
Figure 112019123033747-pat00016
는 정규화된 가상 제2 가속도 데이터이다. Here, above
Figure 112019123033747-pat00011
Is the actual first angular velocity data, and
Figure 112019123033747-pat00012
Is the virtual second angular velocity data, wherein
Figure 112019123033747-pat00013
Is the normalized virtual second angular velocity data, wherein
Figure 112019123033747-pat00014
Is the actual first acceleration data, and
Figure 112019123033747-pat00015
Is the virtual second acceleration data, wherein
Figure 112019123033747-pat00016
Is the normalized virtual second acceleration data.

상기 가상 제2 모션 데이터를 생성하는 단계 전, 상기 가상데이터생성부의 대조데이터제공부가 사용자의 모션을 실제로 측정한 모션 데이터인 실제 제1 모션 데이터 및 실제 제2 모션 데이터를 포함하는 대조 모션 데이터를 상기 가상데이터생성부의 판별부에 제공하면, 상기 가상데이터생성부의 가상모션처리부가 상기 판별부가 상기 대조데이터제공부로부터 제공되는 상기 대조 모션 데이터가 실제인 것으로 판단하도록 상기 판별부를 학습시키는 제1 학습 절차와, 상기 가상데이터생성부의 가상모션데이터생성부가 상기 실제 제2 모션 데이터를 모사하는 가상 제2 모션 데이터를 생성하고 상기 실제 제1 모션 데이터와 상기 가상 제2 모션 데이터를 포함하는 가상 모션 데이터를 상기 판별부에 제공하면, 상기 판별부가 상기 가상모션데이터생성부로부터 제공되는 상기 가상 모션 데이터를 실제인 것으로 판단하도록 상기 가상모션데이터생성부를 학습시키는 제2 학습 절차를 반복하는 단계를 더 포함한다. Before the step of generating the virtual second motion data, the comparison data providing unit of the virtual data generation unit generates the reference motion data including the actual first motion data and the actual second motion data, which is motion data actually measured the user's motion. A first learning procedure in which the determination unit is provided to the determination unit of the virtual data generation unit, wherein the virtual motion processing unit of the virtual data generation unit learns the determination unit so that the determination unit determines that the matching motion data provided from the matching data providing unit is real; , The virtual motion data generation unit of the virtual data generation unit generates virtual second motion data that simulates the actual second motion data, and determines the virtual motion data including the actual first motion data and the virtual second motion data. If provided to the unit, the determination unit further comprises repeating a second learning procedure of training the virtual motion data generation unit to determine that the virtual motion data provided from the virtual motion data generation unit is real.

본 발명에 따르면, 하나의 웨어러블 센서를 이용하여 근전도, 팔뚝 근처의 모션 정보를 이용한다. 이와 같이 제한된 웨어러블 센서의 디바이스를 이용함에도 불구하고, 사용자의 가상의 관절에 착용되었을 때의 모션 움직임 정보, 즉, 가상으로 생성된 손목 모션 정보를 추가하여 행위 인식 종류를 다양화할 수 있으며, 행위 인식률을 향상시킬 수 있다. According to the present invention, EMG and motion information near the forearm are used using a single wearable sensor. Despite the use of such limited wearable sensor devices, it is possible to diversify the type of behavior recognition by adding motion motion information when worn on the user's virtual joint, that is, virtually generated wrist motion information. Can improve.

도 1은 본 발명의 실시예에 따른 가상 모션 생성을 이용한 행위 인식을 위한 장치의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 가상데이터생성부의 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 적대적 학습 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따른 가상 모션 생성을 이용한 행위 인식을 위한 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시예에 따른 가상 모션 생성을 이용한 행위 인식을 위한 방법을 설명하기 도면이다. 1 is a view for explaining the configuration of an apparatus for recognizing an action using virtual motion generation according to an embodiment of the present invention.
2 is a block diagram for explaining the configuration of a virtual data generator according to an embodiment of the present invention.
3 is a flowchart illustrating a hostile learning method according to an embodiment of the present invention.
4 is a flowchart illustrating a method for recognizing an action using virtual motion generation according to an embodiment of the present invention.
5 is a view for explaining a method for recognizing an action using virtual motion generation according to an embodiment of the present invention.

본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. Prior to the detailed description of the present invention, terms or words used in the present specification and claims described below should not be construed as being limited to their usual or dictionary meanings, and the inventors shall use their own invention in the best way. For explanation, based on the principle that it can be appropriately defined as a concept of terms, it should be interpreted as a meaning and concept consistent with the technical idea of the present invention. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all the technical spirit of the present invention, and various equivalents that can replace them at the time of application It should be understood that there may be water and variations.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In this case, it should be noted that the same components in the accompanying drawings are indicated by the same reference numerals as possible. In addition, detailed descriptions of known functions and configurations that may obscure the subject matter of the present invention will be omitted. For the same reason, some components in the accompanying drawings are exaggerated, omitted, or schematically illustrated, and the size of each component does not entirely reflect the actual size.

먼저, 가상 모션 생성을 이용한 행위 인식을 위한 장치에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 가상 모션 생성을 이용한 행위 인식을 위한 장치의 구성을 설명하기 위한 도면이다. First, an apparatus for recognizing an action using virtual motion generation will be described. 1 is a view for explaining the configuration of an apparatus for recognizing an action using virtual motion generation according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예에 따른 행위인식장치는 제1 센서(10), 제2 센서(20), 실제데이터제공부(100), 가상데이터생성부(200), 정규화부(300), 병합부(400) 및 행위인식부(500)를 포함한다. Referring to FIG. 1, the behavior recognition apparatus according to an embodiment of the present invention includes a first sensor 10, a second sensor 20, a real data providing unit 100, a virtual data generating unit 200, and a normalization unit ( 300), and a merge unit 400 and a behavior recognition unit 500.

제1 센서(10)는 사용자 신체의 제1 부위에 장착되는 웨어러블 센서이다. 예컨대, 사용자 신체의 제1 부위는 사용자의 팔뚝이 될 수 있다. 하지만, 본 발명을 이에 한정하는 것은 아니며, 제1 부위는 사용자 신체 부위라면 어디라도 될 수 있다. 제1 센서(10)는 근전도(EMG: electromyography) 센서 및 관성 센서(IMU: Inertial measurement unit)를 포함한다. 이에 따라, 제1 센서(10)는 제1 부위의 근육의 활동 전위를 측정한 근전도(EMG: electromyography) 및 제1 부위의 모션을 감지한 실제 제1 모션 데이터(Motion1_real)를 생성한다. 또한, 제1 센서(10)의 관성 센서는 자이로센서 및 가속도센서를 포함한다. 이에 따라, 제1 센서(10)는 실제 제1 모션 데이터(Motion1_real)로 제1 부위의 각속도 및 가속도를 측정하여 실제 제1 각속도 데이터 및 실제 제1 가속도 데이터를 생성한다. The first sensor 10 is a wearable sensor mounted on a first part of a user's body. For example, the first part of the user's body may be the user's forearm. However, the present invention is not limited thereto, and the first part may be any part of the user's body. The first sensor 10 includes an electromyography (EMG) sensor and an inertial measurement unit (IMU). Accordingly, the first sensor 10 generates electromyography (EMG) measuring the action potential of the muscle of the first region and actual first motion data Motion1_real sensing the motion of the first region. In addition, the inertial sensor of the first sensor 10 includes a gyro sensor and an acceleration sensor. Accordingly, the first sensor 10 generates actual first angular velocity data and actual first acceleration data by measuring the angular velocity and acceleration of the first portion using the actual first motion data Motion1_real.

제2 센서(20)는 사용자 신체의 제1 부위와 연결되어 제1 부위의 모션의 영향에 따른 모션이 발생하는 제2 부위에 장착되는 웨어러블 센서이다. 예컨대, 사용자 신체의 제1 부위가 사용자의 오른쪽 팔뚝이라면, 제2 부위는 오른쪽 팔뚝의 모션의 영향에 따른 모션이 발생하는 손목이 되는 것이 바람직하다. 하지만, 본 발명을 이에 한정하는 것은 아니며, 제2 부위는 제1 부위와 연결되어 제1 부위의 모션의 영향에 따라 모션이 발생하는 사용자 신체 부위라면 어디라도 될 수 있다. 제2 센서(20)는 관성 센서(IMU)를 포함한다. 이에 따라, 제2 센서(20)는 사용자 신체의 제2 부위의 모션을 감지한 실제 제2 모션 데이터(Motion2_real)를 생성한다. 또한, 제2 센서(20)의 관성 센서는 자이로센서 및 가속도센서를 포함한다. 이에 따라, 제2 센서(20)는 실제 제2 모션 데이터(Motion2_real)로 제2 부위의 각속도 및 가속도를 측정하여 실제 제2 각속도 데이터 및 실제 제2 가속도 데이터를 생성한다. The second sensor 20 is a wearable sensor that is connected to a first part of the user's body and mounted on a second part where a motion according to the influence of the motion of the first part occurs. For example, if the first part of the user's body is the user's right forearm, it is preferable that the second part is a wrist where motion occurs according to the motion of the right forearm. However, the present invention is not limited thereto, and the second part may be any part of the user's body that is connected to the first part and causes motion according to the influence of the motion of the first part. The second sensor 20 includes an inertial sensor IMU. Accordingly, the second sensor 20 generates actual second motion data Motion2_real by detecting the motion of the second part of the user's body. In addition, the inertial sensor of the second sensor 20 includes a gyro sensor and an acceleration sensor. Accordingly, the second sensor 20 generates actual second angular velocity data and actual second acceleration data by measuring the angular velocity and acceleration of the second portion using the actual second motion data Motion2_real.

실제데이터제공부(100)는 제1 센서(10)로부터 근전도(EMG) 및 실제 제1 모션 데이터(Motion1_real)를 수신한 후, 실제 제1 모션 데이터(Motion1_real)를 가상데이터생성부(200)에 제공하며, 근전도 및 실제 제1 모션 데이터(Motion1_real)를 병합부(400)에 제공한다. After receiving the electromyogram (EMG) and actual first motion data (Motion1_real) from the first sensor 10, the real data providing unit 100 transmits the actual first motion data (Motion1_real) to the virtual data generating unit 200. And provides the EMG and actual first motion data Motion1_real to the merging unit 400.

가상데이터생성부(200)는 제2 센서(20)가 측정한 실제 제2 모션 데이터(Motion2_real)를 모사하는 가상 제2 모션 데이터(Motion2_fake)를 생성하기 위한 것이다. 이러한 가상데이터생성부(200)는 생산적적대신경망(GAN: Generative adversarial networks)으로 구현될 수 있다. 가상데이터생성부(200)는 실제 제1 모션 데이터(Motion1_real) 및 실제 제2 모션 데이터(Motion2_real)를 학습 데이터로 이용하여 실제 제2 모션 데이터(Motion2_real)를 모사하는 가상 제2 모션 데이터(Motion2_fake)를 생성하는 것을 학습한다. 가상데이터생성부(200)는 학습이 완료된 후에는 실제 제2 모션 데이터(Motion2_real) 없이 실제 제1 모션 데이터(Motion1_real)를 통해 실제 제2 모션 데이터(Motion2_real)를 모사하는 가상 제2 모션 데이터(Motion2_fake)를 생성한다. 이러한 가상데이터생성부(200)에 대해서는 아래에서 더 상세하게 설명하기로 한다. The virtual data generator 200 is for generating virtual second motion data Motion2_fake that simulates the actual second motion data Motion2_real measured by the second sensor 20. The virtual data generation unit 200 may be implemented as a productive adversarial network (GAN). The virtual data generation unit 200 uses the actual first motion data (Motion1_real) and the actual second motion data (Motion2_real) as training data to simulate the actual second motion data (Motion2_real) virtual second motion data (Motion2_fake). Learn to create After the learning is completed, the virtual data generation unit 200 simulates the actual second motion data (Motion2_real) through the actual first motion data (Motion1_real) without the actual second motion data (Motion2_real). ). The virtual data generation unit 200 will be described in more detail below.

정규화(Normalization)부(300)는 가상데이터생성부(200)가 생성한 가상 제2 모션 데이터(Motion2_fake)를 가상 제2 모션 데이터(Motion2_fake)에 대응하는 실제 제1 모션 데이터(Motion1_real)를 통해 정규화한다. 전술한 바와 같이, 실제 제1 모션 데이터(Motion1_real)는 사용자 신체의 제1 부위를 자이로센서를 통해 측정한 실제 제1 각속도 데이터 및 그 제1 부위를 가속도센서를 통해 측정한 실제 제1 가속도 데이터를 포함한다. 또한, 가상 제2 모션 데이터(Motion2_fake)는 실제 제2 모션 데이터(Motion2_real)를 모사한 것이므로, 사용자 신체의 제2 부위의 모션을 자이로센서를 통해 측정한 실제 제2 각속도 데이터를 모사하는 가상 제2 각속도 데이터 및 그 제2 부위의 모션을 가속도센서를 통해 측정된 실제 제2 가속도 데이터를 모사하는 가상 제2 가속도 데이터를 포함한다. The normalization unit 300 normalizes the virtual second motion data (Motion2_fake) generated by the virtual data generation unit 200 through actual first motion data (Motion1_real) corresponding to the virtual second motion data (Motion2_fake). do. As described above, the actual first motion data (Motion1_real) is the actual first angular velocity data obtained by measuring the first part of the user's body through the gyro sensor, and the actual first acceleration data measured through the acceleration sensor. Include. In addition, since the virtual second motion data (Motion2_fake) simulates the actual second motion data (Motion2_real), the second virtual motion data that simulates the actual second angular velocity data measured through the gyro sensor is the motion of the second part of the user's body. It includes angular velocity data and virtual second acceleration data that simulates actual second acceleration data measured by the acceleration sensor for the motion of the second portion.

따라서 정규화부(300)는 다음의 수학식 1에 따라 실제 제1 각속도 데이터로 가상 제2 각속도 데이터를 정규화할 수 있다. Accordingly, the normalization unit 300 may normalize the virtual second angular velocity data with the actual first angular velocity data according to Equation 1 below.

Figure 112019123033747-pat00017
Figure 112019123033747-pat00017

수학식 1에서,

Figure 112019123033747-pat00018
는 실제 제1 각속도 데이터이고,
Figure 112019123033747-pat00019
는 가상 제2 각속도 데이터이며,
Figure 112019123033747-pat00020
는 정규화된 가상 제2 각속도 데이터이다. In Equation 1,
Figure 112019123033747-pat00018
Is the actual first angular velocity data,
Figure 112019123033747-pat00019
Is the virtual second angular velocity data,
Figure 112019123033747-pat00020
Is the normalized virtual second angular velocity data.

자이로센서의 각속도는 3개의 축에 대응하는 값으로 측정되며, 수학식 1은 다음의 수학식 2와 같이 표현될 수 있다. The angular velocity of the gyro sensor is measured by values corresponding to three axes, and Equation 1 may be expressed as Equation 2 below.

Figure 112019123033747-pat00021
Figure 112019123033747-pat00021

또한, 정규화부(300)는 다음의 수학식 3에 따라 실제 제1 가속도 데이터로 가상 제2 가속도 데이터를 정규화 할 수 있다. In addition, the normalization unit 300 may normalize the virtual second acceleration data to the actual first acceleration data according to Equation 3 below.

Figure 112019123033747-pat00022
Figure 112019123033747-pat00022

수학식 3에서,

Figure 112019123033747-pat00023
는 실제 제1 가속도 데이터이고,
Figure 112019123033747-pat00024
는 가상 제2 가속도 데이터이며,
Figure 112019123033747-pat00025
는 정규화된 가상 제2 가속도 데이터이다. In Equation 3,
Figure 112019123033747-pat00023
Is the actual first acceleration data,
Figure 112019123033747-pat00024
Is the virtual second acceleration data,
Figure 112019123033747-pat00025
Is the normalized virtual second acceleration data.

정규화부(300)는 전술한 바와 같이, 가상 제2 모션 데이터(Motion2_fake)를 정규화하여 정규화된 가상 제2 모션 데이터(Motion2_fake_normalized)를 출력한다. As described above, the normalization unit 300 normalizes the virtual second motion data Motion2_fake and outputs normalized virtual second motion data Motion2_fake_normalized.

병합부(400)는 근전도(EMG), 실제 제1 모션 데이터(Motion1_real) 및 정규화된 가상 제2 모션 데이터(Motion2_fake_normalized)를 병합한다. 이때, 병합부(400)는 근전도(EMG), 실제 제1 모션 데이터(Motion1_real) 및 정규화된 가상 제2 모션 데이터(Motion2_fake_normalized)를 다음의 수학식 4와 같이 시간축에서 병합하여 행위인식부(500)에 대한 입력 데이터(input data)를 생성한다. The merging unit 400 merges electromyography (EMG), real first motion data Motion1_real, and normalized virtual second motion data Motion2_fake_normalized. At this time, the merging unit 400 merges the electromyography (EMG), the actual first motion data (Motion1_real), and the normalized virtual second motion data (Motion2_fake_normalized) in the time axis as shown in Equation 4 below, and the behavior recognition unit 500 Generates input data for.

Figure 112019123033747-pat00026
Figure 112019123033747-pat00026

여기서, E는 근전도(EMG)이고, M은 실제 제1 모션 데이터(Motion1_real)이며, V는 정규화된 가상 제2 모션 데이터(Motion2_fake_normalized)를 나타낸다. Here, E denotes electromyography (EMG), M denotes actual first motion data (Motion1_real), and V denotes normalized virtual second motion data (Motion2_fake_normalized).

행위인식부(500)는 즉, 시간축에서 병합된 근전도(EMG), 실제 제1 모션 데이터(Motion1_real) 및 정규화된 가상 제2 모션 데이터(Motion2_fake_normalized)를 병합한 입력 데이터를 입력 받고, 사용자의 행위를 분류하여 인식한다. 이때, 행위인식부(500)는 실제데이터제공부(100), 가상데이터생성부(200), 정규화부(300) 및 병합부(400)에 의해 연속된 사용자의 모션에 대해 생성된 소정 수의 입력 데이터를 입력받고, 소정 수의 입력 데이터를 통해 사용자의 행위를 분류하여 인식하는 것이 바람직하다. 이러한 행위인식부(500)는 바람직하게, LSTM(Long Short-Term Memory models) 기반의 행위분류기가 될 수 있다. 하지만, 본 발명을 이에 한정하는 것은 아니며, RNN(Recurrent neural network), GRU(Gated Recurrent Unit) 등의 인공신경망을 이용할 수도 있다. In other words, the behavior recognition unit 500 receives input data obtained by merging EMG (EMG) merged on the time axis, actual first motion data (Motion1_real), and normalized virtual second motion data (Motion2_fake_normalized), and receives the user's behavior. Classify and recognize. At this time, the behavior recognition unit 500 is a predetermined number of motions generated by the real data providing unit 100, the virtual data generating unit 200, the normalizing unit 300, and the merging unit 400 It is desirable to receive input data and to classify and recognize the user's actions through a predetermined number of input data. The behavior recognition unit 500 may preferably be a behavior classifier based on Long Short-Term Memory models (LSTM). However, the present invention is not limited thereto, and an artificial neural network such as a recurrent neural network (RNN) or a gated recurrent unit (GRU) may be used.

다음으로, 본 발명의 실시예에 따른 가상데이터생성부(200)에 대해 보다 상세하게 설명하기로 한다. 도 2는 본 발명의 실시예에 따른 가상데이터생성부의 구성을 설명하기 위한 블록도이다. Next, the virtual data generation unit 200 according to an embodiment of the present invention will be described in more detail. 2 is a block diagram for explaining the configuration of a virtual data generator according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 실시예에 따른 가상데이터생성부(200)는 대조데이터제공부(210), 가상모션데이터생성부(220), 판별부(230) 및 가상모션처리부(240)를 포함한다. 특히, 가상모션데이터생성부(220) 및 판별부(230)는 생산적적대신경망(GAN)을 구성하는 2개의 인공신경망이 될 수 있다. 2, the virtual data generation unit 200 according to the embodiment of the present invention includes a reference data providing unit 210, a virtual motion data generation unit 220, a determination unit 230, and a virtual motion processing unit 240. Includes. In particular, the virtual motion data generation unit 220 and the determination unit 230 may be two artificial neural networks constituting a productive counterneural network (GAN).

대조데이터제공부(210)는 실제데이터제공부(100)로부터 실제 제1 모션 데이터(Motion1_real)를 수신하고, 제2 센서(20)로부터 실제 제2 모션 데이터(Motion2_real)를 수신하여 실제 제1 모션 데이터(Motion1_real) 및 실제 제2 모션 데이터(Motion2_real)를 포함하는 대조 모션 데이터를 판별부(230)에 제공한다. The matching data providing unit 210 receives the actual first motion data (Motion1_real) from the actual data providing unit 100, and receives the actual second motion data (Motion2_real) from the second sensor 20, and Contrast motion data including data Motion1_real and actual second motion data Motion2_real is provided to the determination unit 230.

가상모션데이터생성부(generator, 220)는 실제데이터제공부(100)로부터 실제 제1 모션 데이터(Motion1_real)를 수신하면, 실제 제2 모션 데이터(Motion2_real)를 모사하는 가상 제2 모션 데이터(Motion2_fake)를 생성한다. 그런 다음, 가상모션데이터생성부(generator, 220)는 수신된 실제 제1 모션 데이터(Motion1_real)와 생성된 가상 제2 모션 데이터(Motion2_fake)를 포함하는 가상 모션 데이터를 판별부(230)에 제공한다. 가상모션데이터생성부(generator, 220)는 복수의 계층을 가지는 인공신경망으로 이루어질 수 있다. 그리고 복수의 계층은 각각이 가중치가 적용되는 복수의 연산으로 이루어진다. 가상모션데이터생성부(generator, 220)는 실제 제1 모션 데이터(Motion1_real)가 입력되면, 복수의 계층의 가중치가 적용되는 복수의 연산을 통해 가상 제2 모션 데이터(Motion2_fake)를 생성할 수 있다. When the virtual motion data generator 220 receives the actual first motion data Motion1_real from the real data providing unit 100, the virtual second motion data Motion2_fake that simulates the actual second motion data Motion2_real Create Then, the virtual motion data generator 220 provides virtual motion data including the received real first motion data Motion1_real and the generated virtual second motion data Motion2_fake to the determination unit 230. . The virtual motion data generator 220 may be formed of an artificial neural network having a plurality of layers. In addition, the plurality of layers consists of a plurality of operations to which each weight is applied. When the actual first motion data Motion1_real is input, the virtual motion data generator 220 may generate virtual second motion data Motion2_fake through a plurality of operations to which weights of a plurality of layers are applied.

판별부(discriminator, 230)는 대조 모션 데이터(Motion1_real + Motion2_real) 및 가상 모션 데이터(Motion1_real + Motion2_fake) 중 어느 하나의 모션 데이터가 입력되면, 입력된 모션 데이터가 가상인지 혹은 실제인지 여부를 판별하여 가상인지 혹은 실제인지 여부를 확률값으로 출력한다. 이러한 판별부(230)는 복수의 계층을 가지는 인공신경망으로 이루어질 수 있다. 그리고 복수의 계층은 각각이 가중치가 적용되는 복수의 연산으로 이루어진다. 판별부(230)는 대조 모션 데이터(Motion1_real + Motion2_real) 및 가상 모션 데이터(Motion1_real + Motion2_fake) 중 어느 하나의 모션 데이터가 입력되면, 복수의 계층의 가중치가 적용되는 복수의 연산을 통해 입력된 모션 데이터가 실제일 확률 및 가상일 확률을 출력한다. The discriminator 230 determines whether the input motion data is virtual or real when any one of the contrast motion data (Motion1_real + Motion2_real) and virtual motion data (Motion1_real + Motion2_fake) is input. Whether it is recognized or real is output as a probability value. The determination unit 230 may be formed of an artificial neural network having a plurality of layers. In addition, the plurality of layers consists of a plurality of operations to which each weight is applied. When any one of the matching motion data (Motion1_real + Motion2_real) and virtual motion data (Motion1_real + Motion2_fake) is input, the determination unit 230 is input motion data through a plurality of calculations to which weights of a plurality of layers are applied. Outputs the real probability and the virtual probability.

가상모션처리부(240)는 생산적적대신경망(GAN)을 구성하는 2개의 인공신경망, 즉, 가상모션데이터생성부(220) 및 판별부(230)에 대해 적대적 학습(Adversarial Training)을 수행하도록 한다. 가상모션처리부(240)는 적대적 학습을 통해 궁극적으로 가상모션데이터생성부(220)가 생성한 가상 제2 모션 데이터(Motion2_fake)를 판별부(230)가 가상이 아니라 실제로 인식할 수 있을 만큼 가상모션데이터생성부(220)가 실제 제2 모션 데이터(Motion2_real)를 정교하게 모사하여 가상 제2 모션 데이터(Motion2_fake)를 생성하도록 학습시키기 위한 것이다. 또한, 가상모션처리부(240)는 학습이 완료되면, 가상모션데이터생성부(220)가 생성한 가상 제2 모션 데이터(Motion2_fake)를 정규화부(300)에 제공한다. The virtual motion processing unit 240 performs adversarial training on two artificial neural networks constituting the productive anti-neural network (GAN), that is, the virtual motion data generation unit 220 and the determination unit 230. The virtual motion processing unit 240 ultimately determines the virtual second motion data (Motion2_fake) generated by the virtual motion data generation unit 220 through hostile learning, so that the determination unit 230 can actually recognize the virtual motion. This is for training the data generator 220 to elaborately simulate the second motion data Motion2_real to generate virtual second motion data Motion2_fake. In addition, when the learning is completed, the virtual motion processing unit 240 provides the virtual second motion data Motion2_fake generated by the virtual motion data generation unit 220 to the normalization unit 300.

그러면, 본 발명의 실시예에 따른 적대적 학습 방법에 대해서 설명하기로 한다. 도 3은 본 발명의 실시예에 따른 적대적 학습 방법을 설명하기 위한 흐름도이다. Then, a hostile learning method according to an embodiment of the present invention will be described. 3 is a flowchart illustrating a hostile learning method according to an embodiment of the present invention.

도 3을 참조하면, 가상모션처리부(240)는 S110 단계에서 판별부(230)에 대한 학습을 수행한다. 이러한 S110 단계에서 가상모션처리부(240)는 대조 모션 데이터가 입력되면, 실제인 것으로 판단하고, 가상 모션 데이터가 입력되면, 가상인 것으로 판단하도록 판별부(230)를 학습시킨다. 이에 대해 보다 구체적으로 설명하면, 다음과 같다. 가상모션처리부(240)는 대조데이터제공부(210)가 실제 제1 모션 데이터(Motion1_real) 및 실제 제2 모션 데이터(Motion2_real)를 포함하는 대조 모션 데이터를 판별부(230)에 제공하면, 판별부(230)가 대조 모션 데이터가 실제인 것으로 판단하도록 판별부(230)를 학습시킨다. 즉, 가상모션처리부(240)는 대조 모션 데이터에 대한 목표값(LABEL)을 실제(예컨대, real = 1.00(100%), fake = 0.00(0%))로 설정하고, 판별부(230)가 복수의 계층의 복수의 연산을 통해 출력값을 출력하면, 출력값과 목표값의 차이가 최소가 되도록 역전파(backpropagation) 알고리즘을 적용하여 가상모션데이터생성부(220)의 가중치를 고정하고, 판별부(230)의 가중치를 수정한다. 또한, 가상모션처리부(240)는 가상모션데이터생성부(220)가 실제 제1 모션 데이터(Motion1_real)와 생성된 가상 제2 모션 데이터(Motion2_fake)를 포함하는 가상 모션 데이터를 판별부(230)에 제공하면, 판별부(230)가 가상 모션 데이터가 가상인 것으로 판단하도록 판별부(230)를 학습시킨다. 즉, 가상모션처리부(240)는 가상 모션 데이터에 대한 목표값(LABEL)을 가상(예컨대, real = 0.00(0%), fake = 1.00(100%))로 설정하고, 판별부(230)가 복수의 계층의 복수의 연산을 통해 출력값을 출력하면, 출력값과 목표값의 차이가 최소가 되도록 역전파(backpropagation) 알고리즘을 적용하여 가상모션데이터생성부(220)의 가중치를 고정하고, 판별부(230)의 가중치를 수정한다. Referring to FIG. 3, the virtual motion processing unit 240 learns the determination unit 230 in step S110. In this step S110, the virtual motion processing unit 240 determines that it is real when the matching motion data is input, and learns the determination unit 230 to determine that it is virtual when the virtual motion data is input. More specifically, this is as follows. The virtual motion processing unit 240 provides the matching motion data including the actual first motion data (Motion1_real) and the actual second motion data (Motion2_real) to the determination unit 230 by the matching data providing unit 210, the determination unit The determination unit 230 is trained so that the 230 determines that the collation motion data is real. That is, the virtual motion processing unit 240 sets the target value (LABEL) for the contrast motion data to be real (eg, real = 1.00 (100%), fake = 0.00 (0%)), and the determination unit 230 When an output value is output through a plurality of operations of a plurality of layers, a backpropagation algorithm is applied so that the difference between the output value and the target value is minimized to fix the weight of the virtual motion data generator 220, and the determination unit ( 230). In addition, the virtual motion processing unit 240 determines the virtual motion data including the actual first motion data Motion1_real and the generated virtual second motion data Motion2_fake by the virtual motion data generator 220 to the determination unit 230. If provided, the determination unit 230 trains the determination unit 230 to determine that the virtual motion data is virtual. That is, the virtual motion processing unit 240 sets the target value (LABEL) for the virtual motion data to be virtual (eg, real = 0.00 (0%), fake = 1.00 (100%)), and the determination unit 230 When an output value is output through a plurality of operations of a plurality of layers, a backpropagation algorithm is applied so that the difference between the output value and the target value is minimized to fix the weight of the virtual motion data generator 220, and the determination unit ( 230).

다음으로, 가상모션처리부(240)는 S120 단계에서 가상모션데이터생성부(220)에 대한 학습을 수행한다. 이러한 S120 단계에서 가상모션처리부(240)는 판별부(230)에 가상 모션 데이터가 입력되면, 판별부(230)가 실제인 것으로 판단하도록 가상모션데이터생성부(220)를 학습시킨다. 이에 대해 보다 구체적으로 설명하면, 다음과 같다. 가상모션처리부(240)는 가상모션데이터생성부(220)가 실제 제1 모션 데이터(Motion1_real)와 생성된 가상 제2 모션 데이터(Motion2_fake)를 포함하는 가상 모션 데이터를 판별부(230)에 제공하면, 판별부(230)가 가상 모션 데이터가 실제인 것으로 판단하도록 판별부(230)를 학습시킨다. 즉, 가상모션처리부(240)는 가상 모션 데이터에 대한 목표값(LABEL)을 실제(예컨대, real = 1.00(100%), fake = 0.00(0%))로 설정하고, 판별부(230)가 복수의 계층의 복수의 연산을 통해 출력값을 출력하면, 출력값과 목표값의 차이가 최소가 되도록 역전파(backpropagation) 알고리즘을 적용하여 판별부(230)의 가중치를 고정하고, 가상모션데이터생성부(220)의 가중치를 수정한다. Next, the virtual motion processing unit 240 performs learning on the virtual motion data generating unit 220 in step S120. In this step S120, when virtual motion data is input to the determination unit 230, the virtual motion processing unit 240 trains the virtual motion data generation unit 220 to determine that the determination unit 230 is real. More specifically, this is as follows. When the virtual motion processing unit 240 provides the virtual motion data including the actual first motion data Motion1_real and the generated virtual second motion data Motion2_fake to the determination unit 230 by the virtual motion data generation unit 220 , The determination unit 230 trains the determination unit 230 to determine that the virtual motion data is real. That is, the virtual motion processing unit 240 sets the target value (LABEL) for the virtual motion data to real (eg, real = 1.00 (100%), fake = 0.00 (0%)), and the determination unit 230 When outputting an output value through a plurality of operations of a plurality of layers, a backpropagation algorithm is applied to fix the weight of the determination unit 230 so that the difference between the output value and the target value is minimized, and the virtual motion data generation unit ( 220).

다음으로, 가상모션처리부(240)는 S130 단계에서 학습이 완료되었는지 여부를 판단한다. 서로 다른 복수의 모션 데이터가 입력되는 경우에도 출력값의 변동이 없는 경우, 학습이 완료된 것으로 판단할 수 있다. 가상모션처리부(240)는 상기 판단 결과, 학습이 완료되지 않은 경우, 전술한 S110 및 S120 단계를 반복하며, 상기 판단 결과, 학습이 완료된 경우, 학습 프로세스를 종료한다. Next, the virtual motion processing unit 240 determines whether the learning is completed in step S130. Even when a plurality of different motion data is input, if there is no change in the output value, it may be determined that the learning has been completed. The virtual motion processing unit 240 repeats the above-described steps S110 and S120 as a result of the determination and when the learning is not completed, and ends the learning process when the learning is completed as a result of the determination.

다음으로, 가상 모션 생성을 이용한 행위 인식을 위한 방법에 대해서 설명하기로 한다. 도 4는 본 발명의 실시예에 따른 가상 모션 생성을 이용한 행위 인식을 위한 방법을 설명하기 위한 흐름도이다. 도 5는 본 발명의 실시예에 따른 가상 모션 생성을 이용한 행위 인식을 위한 방법을 설명하기 도면이다. Next, a method for recognizing an action using virtual motion generation will be described. 4 is a flowchart illustrating a method for recognizing an action using virtual motion generation according to an embodiment of the present invention. 5 is a view for explaining a method for recognizing an action using virtual motion generation according to an embodiment of the present invention.

도 4를 참조하면, S210 단계에서 학습(deep learning 혹은 machine leaning)이 이루어진다. 이러한 학습은 가상데이터생성부(200) 및 행위인식부(500)에 대해 이루어진다. 가상데이터생성부(200)에 대해서는 도 3에서 설명된 바와 같은 적대적 학습(Adversarial Training)이 이루어진다. 행위인식부(500)의 경우, 병합된 근전도(EMG), 실제 제1 모션 데이터(Motion1_real) 및 정규화된 가상 제2 모션 데이터(Motion2_fake_normalized)를 학습데이터로 하고, 실제 모션을 목표값으로 설정하여 학습이 이루어질 수 있다. 행위인식부(500)의 학습은 본 발명의 요지가 아니기 때문에 그 상세한 설명은 생략한다. 4, in step S210, learning (deep learning or machine leaning) is performed. This learning is made for the virtual data generation unit 200 and the behavior recognition unit 500. With respect to the virtual data generating unit 200, adversarial training as described in FIG. 3 is performed. In the case of the behavior recognition unit 500, the merged electromyogram (EMG), the actual first motion data (Motion1_real), and the normalized virtual second motion data (Motion2_fake_normalized) are used as training data, and the actual motion is set as a target value to learn. This can be done. Since learning of the behavior recognition unit 500 is not the gist of the present invention, a detailed description thereof will be omitted.

다음으로, 실제데이터제공부(100)는 S220 단계에서 제1 센서(10)로부터 근전도(EMG) 및 실제 제1 모션 데이터(Motion1_real)를 수신한 후, 실제 제1 모션 데이터(Motion1_real)를 가상데이터생성부(200)에 제공하며, 근전도(EMG) 및 실제 제1 모션 데이터(Motion1_real)를 병합부(400)에 제공한다. Next, after receiving the electromyogram (EMG) and actual first motion data (Motion1_real) from the first sensor 10 in step S220, the real data providing unit 100 receives the actual first motion data (Motion1_real) as virtual data. It is provided to the generation unit 200 and provides the EMG and actual first motion data Motion1_real to the merging unit 400.

이어서, 가상데이터생성부(200)는 S230 단계에서 도 5에 도시된 바와 같이, 실제 제2 모션 데이터(Motion2_real) 없이 실제 제1 모션 데이터(Motion1_real)를 통해 실제 제2 모션 데이터(Motion2_real)를 모사하는 가상 제2 모션 데이터(Motion2_fake)를 생성한다. Subsequently, the virtual data generation unit 200 simulates the actual second motion data (Motion2_real) through the actual first motion data (Motion1_real) without the actual second motion data (Motion2_real), as shown in FIG. 5 in step S230. Generates virtual second motion data (Motion2_fake).

다음으로, 정규화부(300)는 S230 단계에서 가상데이터생성부(200)가 생성한 가상 제2 모션 데이터(Motion2_fake)를 가상 제2 모션 데이터(Motion2_fake)에 대응하는 실제 제1 모션 데이터(Motion1_real)를 통해 정규화한다. 이때, 정규화부(300)는 수학식 1에 따라 실제 제1 각속도 데이터로 가상 제2 각속도 데이터를 정규화하고, 수학식 3에 따라 실제 제1 가속도 데이터로 가상 제2 가속도 데이터를 정규화 할 수 있다. Next, the normalization unit 300 converts the virtual second motion data Motion2_fake generated by the virtual data generation unit 200 in step S230 to the real first motion data Motion1_real corresponding to the virtual second motion data Motion2_fake. Normalize through In this case, the normalization unit 300 may normalize the virtual second angular velocity data with the actual first angular velocity data according to Equation 1, and normalize the virtual second acceleration data with the actual first acceleration data according to Equation 3.

이어서, 병합부(400)는 S240 단계에서 근전도(EMG), 실제 제1 모션 데이터(Motion1_real) 및 정규화된 가상 제2 모션 데이터(Motion2_fake_normalized)를 수학식 4와 같이 시간축에서 병합하여 행위인식부(500)에 대한 입력 데이터(input data)를 생성한다. Subsequently, the merging unit 400 merges the electromyogram (EMG), the actual first motion data (Motion1_real), and the normalized virtual second motion data (Motion2_fake_normalized) on the time axis as shown in Equation 4 in step S240, and the behavior recognition unit 500 Generates input data for ).

행위인식부(500)는 S260 단계에서 즉, 시간축에서 병합된 근전도(EMG), 실제 제1 모션 데이터(Motion1_real) 및 정규화된 가상 제2 모션 데이터(Motion2_fake_normalized)를 병합한 입력 데이터를 입력 받고, 사용자의 행위를 분류하여 인식한다. In step S260, that is, the behavior recognition unit 500 receives input data obtained by merging EMG, actual first motion data Motion1_real, and normalized virtual second motion data Motion2_fake_normalized in step S260, and the user Classify and recognize the behavior of

한편, 전술한 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. Meanwhile, the method according to the embodiment of the present invention described above may be implemented in the form of a program that can be read through various computer means and recorded on a computer-readable recording medium. Here, the recording medium may include a program command, a data file, a data structure, or the like alone or in combination. The program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software. For example, the recording medium includes magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic-optical media such as floptical disks ( magneto-optical media) and hardware devices specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Such a hardware device may be configured to operate as one or more software modules to perform the operation of the present invention, and vice versa.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다. The present invention has been described above using several preferred embodiments, but these embodiments are illustrative and not limiting. As such, those of ordinary skill in the art to which the present invention pertains will understand that various changes and modifications can be made according to the equivalence theory without departing from the spirit of the present invention and the scope of the rights presented in the appended claims.

10: 제1 센서
20: 제2 센서
100: 실제데이터제공부
200: 가상데이터생성부
210: 대조데이터제공부
220: 가상모션데이터생성부
230: 판별부
240: 가상모션처리부
300: 정규화부
400: 병합부
500: 행위인식부10: first sensor
20: second sensor
100: Real data provider
200: virtual data generation unit
210: reference data providing unit
220: virtual motion data generation unit
230: determination unit
240: virtual motion processing unit
300: normalization unit
400: merge part
500: behavior recognition unit

Claims (8)

가상 모션 생성자를 이용한 행위 인식을 위한 장치에 있어서,
사용자 신체의 제1 부위에 장착되는 제1 센서로부터 상기 제1 부위의 근육의 활동 전위를 측정한 근전도 및 상기 제1 부위의 모션을 감지하여 생성한 실제 제1 모션 데이터를 수신하고, 상기 근전도 및 상기 실제 제1 모션 데이터를 제공하는 실제데이터제공부;
사용자 신체의 제1 부위와 연결된 제2 부위의 모션을 감지하여 측정한 실제 제2 모션 데이터를 모사하는 가상 제2 모션 데이터를 생성하는 가상데이터생성부; 및
상기 근전도, 상기 실제 제1 모션 데이터 및 상기 가상 제2 모션 데이터를 기초로 상기 사용자의 행위를 인식하는 행위인식부;를 포함하되,
상기 가상데이터생성부는
상기 실제 제1 모션 데이터 및 상기 실제 제2 모션 데이터를 포함하는 대조 모션 데이터를 제공하는 대조데이터제공부;
상기 실제 제2 모션 데이터를 모사하는 가상 제2 모션 데이터를 생성하고, 상기 실제 제1 모션 데이터와 상기 가상 제2 모션 데이터를 포함하는 가상 모션 데이터를 제공하는 가상모션데이터생성부;
상기 대조 모션 데이터 및 상기 가상 모션 데이터 중 어느 하나의 모션 데이터가 입력되면, 입력된 모션 데이터가 가상인지 혹은 실제인지 여부를 판별하는 판별부; 및
상기 판별부가 상기 대조데이터제공부로부터 제공되는 상기 대조 모션 데이터가 실제인 것으로 판단하도록 상기 판별부를 학습시키는 제1 학습 절차와, 상기 판별부가 상기 가상모션데이터생성부로부터 제공되는 상기 가상 모션 데이터를 실제인 것으로 판단하도록 상기 가상모션데이터생성부를 학습시키는 제2 학습 절차를 반복하는 가상모션처리부;를 포함하는 것을 특징으로 하는
행위 인식을 위한 장치. In the apparatus for behavior recognition using a virtual motion generator,
From a first sensor mounted on a first part of the user's body, the EMG measuring the action potential of the muscle of the first part and the actual first motion data generated by detecting the motion of the first part are received, and the EMG and An actual data providing unit that provides the actual first motion data;
A virtual data generator configured to generate virtual second motion data that simulates real second motion data measured by sensing a motion of a second portion connected to the first portion of the user's body; And
Including; a behavior recognition unit for recognizing the user's behavior based on the EMG, the actual first motion data, and the virtual second motion data;
The virtual data generation unit
A collation data providing unit for providing collation motion data including the actual first motion data and the real second motion data;
A virtual motion data generator configured to generate virtual second motion data that simulates the actual second motion data, and provide virtual motion data including the actual first motion data and the virtual second motion data;
A determination unit for determining whether the input motion data is virtual or real when any one of the collation motion data and the virtual motion data is input; And
A first learning procedure for learning the determination unit so that the determination unit determines that the collation motion data provided from the collation data providing unit is real, and the virtual motion data provided by the virtual motion data generation unit is actually And a virtual motion processing unit that repeats a second learning procedure for learning the virtual motion data generation unit to determine that it is
Device for behavior recognition. 삭제delete 제1항에 있어서,
상기 가상 제2 모션 데이터에 대응하는 실제 제1 모션 데이터를 통해 상기 가상 제2 모션 데이터를 정규화하는 정규화부;를 더 포함하는 것을 특징으로 하는
행위 인식을 위한 장치. The method of claim 1,
And a normalization unit for normalizing the virtual second motion data based on actual first motion data corresponding to the virtual second motion data.
Device for behavior recognition. 제3항에 있어서,
상기 실제 제1 모션 데이터는
상기 제1 부위를 자이로센서를 통해 측정한 실제 제1 각속도 데이터 및 상기 제1 부위를 가속도센서를 통해 측정한 실제 제1 가속도 데이터를 포함하며,
상기 가상 제2 모션 데이터는
상기 제2 부위의 모션을 자이로센서를 통해 측정한 실제 제2 각속도 데이터를 모사하는 가상 제2 각속도 데이터 및 상기 제2 부위의 모션을 가속도센서를 통해 측정된 실제 제2 가속도 데이터를 모사하는 가상 제2 가속도 데이터를 포함하고,
상기 정규화부는
수학식
Figure 112019123033747-pat00027
에 따라 실제 제1 각속도 데이터로 가상 제2 각속도 데이터를 정규화하고,
수학식
Figure 112019123033747-pat00028
에 따라 실제 제1 가속도 데이터로 가상 제2 가속도 데이터를 정규화하는 것을 특징으로 하며,
상기
Figure 112019123033747-pat00029
는 실제 제1 각속도 데이터이고,
상기
Figure 112019123033747-pat00030
는 가상 제2 각속도 데이터이며,
상기
Figure 112019123033747-pat00031
는 정규화된 가상 제2 각속도 데이터이고,
상기
Figure 112019123033747-pat00032
는 실제 제1 가속도 데이터이고,
상기
Figure 112019123033747-pat00033
는 가상 제2 가속도 데이터이며,
상기
Figure 112019123033747-pat00034
는 정규화된 가상 제2 가속도 데이터인 것을 특징으로 하는
행위 인식을 위한 장치. The method of claim 3,
The actual first motion data is
Including actual first angular velocity data measured by the gyro sensor of the first portion and actual first acceleration data measured by the acceleration sensor of the first portion,
The virtual second motion data is
Virtual second angular velocity data that simulates the actual second angular velocity data measured by the gyro sensor and the virtual second angular velocity data that simulates the motion of the second portion through the acceleration sensor 2 contains acceleration data,
The normalization unit
Equation
Figure 112019123033747-pat00027
According to the actual first angular velocity data to normalize the virtual second angular velocity data,
Equation
Figure 112019123033747-pat00028
According to the actual first acceleration data, characterized in that the virtual second acceleration data is normalized,
remind
Figure 112019123033747-pat00029
Is the actual first angular velocity data,
remind
Figure 112019123033747-pat00030
Is the virtual second angular velocity data,
remind
Figure 112019123033747-pat00031
Is the normalized virtual second angular velocity data,
remind
Figure 112019123033747-pat00032
Is the actual first acceleration data,
remind
Figure 112019123033747-pat00033
Is the virtual second acceleration data,
remind
Figure 112019123033747-pat00034
Is normalized virtual second acceleration data.
Device for behavior recognition. 가상 모션 생성자를 이용한 행위 인식을 위한 방법에 있어서,
실제데이터제공부가 사용자 신체의 제1 부위에 장착되는 제1 센서로부터 상기 제1 부위의 근육의 활동 전위를 측정한 근전도 및 상기 제1 부위의 모션을 감지하여 생성한 실제 제1 모션 데이터를 수신하고, 상기 근전도 및 상기 실제 제1 모션 데이터를 제공하는 단계;
가상데이터생성부가 사용자 신체의 제1 부위와 연결된 제2 부위의 모션을 감지하여 측정한 실제 제2 모션 데이터를 모사하는 가상 제2 모션 데이터를 생성하는 단계; 및
행위인식부가 상기 근전도, 상기 실제 제1 모션 데이터 및 상기 가상 제2 모션 데이터를 기초로 상기 사용자의 행위를 인식하는 단계;를 포함하되,
상기 가상 제2 모션 데이터를 생성하는 단계 전,
상기 가상데이터생성부의 대조데이터제공부가 사용자의 모션을 실제로 측정한 모션 데이터인 실제 제1 모션 데이터 및 실제 제2 모션 데이터를 포함하는 대조 모션 데이터를 상기 가상데이터생성부의 판별부에 제공하면, 상기 가상데이터생성부의 가상모션처리부가 상기 판별부가 상기 대조데이터제공부로부터 제공되는 상기 대조 모션 데이터가 실제인 것으로 판단하도록 상기 판별부를 학습시키는 제1 학습 절차 및
상기 가상데이터생성부의 가상모션데이터생성부가 상기 실제 제2 모션 데이터를 모사하는 가상 제2 모션 데이터를 생성하고 상기 실제 제1 모션 데이터와 상기 가상 제2 모션 데이터를 포함하는 가상 모션 데이터를 상기 판별부에 제공하면, 상기 판별부가 상기 가상모션데이터생성부로부터 제공되는 상기 가상 모션 데이터를 실제인 것으로 판단하도록 상기 가상모션데이터생성부를 학습시키는 제2 학습 절차를 반복하는 단계;를 더 포함하는 것을 특징으로 하는
행위 인식을 위한 방법. In the method for behavior recognition using a virtual motion generator,
The actual data providing unit receives the EMG measuring the action potential of the muscle of the first region and the actual first motion data generated by sensing the motion of the first region from a first sensor mounted on the first part of the user's body. Providing the EMG and the actual first motion data;
Generating, by the virtual data generation unit, virtual second motion data that simulates actual second motion data measured by sensing a motion of a second portion connected to the first portion of the user's body; And
Recognizing the user's behavior based on the EMG, the actual first motion data, and the virtual second motion data, by a behavior recognition unit; including,
Before the step of generating the virtual second motion data,
When the verification data providing unit of the virtual data generation unit provides the matching motion data including real first motion data and real second motion data, which are motion data actually measured the user's motion, to the determination unit of the virtual data generation unit, the virtual A first learning procedure in which the virtual motion processing unit of the data generation unit learns the determination unit so that the determination unit determines that the matching motion data provided from the matching data providing unit is real, and
The virtual motion data generation unit of the virtual data generation unit generates virtual second motion data that simulates the actual second motion data, and determines the virtual motion data including the actual first motion data and the virtual second motion data. And repeating a second learning procedure of training the virtual motion data generator so that the determination unit determines that the virtual motion data provided from the virtual motion data generator is real. doing
Method for behavior recognition. 제5항에 있어서,
상기 가상 제2 모션 데이터를 생성하는 단계 후,
상기 사용자의 행위를 인식하는 단계 전,
정규화부가 상기 가상 제2 모션 데이터를 상기 실제 제1 모션 데이터를 통해 정규화하는 단계;를 더 포함하는 것을 특징으로 하는
행위 인식을 위한 방법. The method of claim 5,
After the step of generating the virtual second motion data,
Before the step of recognizing the user's behavior,
The step of normalizing the virtual second motion data through the actual first motion data; characterized in that it further comprises
Method for behavior recognition. 제6항에 있어서,
상기 실제 제1 모션 데이터는
상기 제1 부위의 모션을 자이로센서를 통해 측정한 실제 제1 각속도 데이터 및 상기 제1 부위의 모션을 가속도센서를 통해 측정한 실제 제1 가속도 데이터를 포함하며,
상기 가상 제2 모션 데이터는
상기 제2 부위의 모션을 자이로센서를 통해 측정한 실제 제2 각속도 데이터를 모사하는 가상 제2 각속도 데이터 및 상기 제2 부위의 모션을 가속도센서를 통해 측정된 실제 제2 가속도 데이터를 모사하는 가상 제2 가속도 데이터를 포함하고,
상기 가상 제2 모션 데이터를 상기 실제 제1 모션 데이터를 통해 정규화하는 단계는
상기 정규화부가
수학식
Figure 112019123033747-pat00035
에 따라 실제 제1 각속도 데이터로 가상 제2 각속도 데이터를 정규화하고,
수학식
Figure 112019123033747-pat00036
에 따라 실제 제1 가속도 데이터로 가상 제2 가속도 데이터를 정규화하는 것을 특징으로 하며,
상기
Figure 112019123033747-pat00037
는 실제 제1 각속도 데이터이고,
상기
Figure 112019123033747-pat00038
는 가상 제2 각속도 데이터이며,
상기
Figure 112019123033747-pat00039
는 정규화된 가상 제2 각속도 데이터이고,
상기
Figure 112019123033747-pat00040
는 실제 제1 가속도 데이터이고,
상기
Figure 112019123033747-pat00041
는 가상 제2 가속도 데이터이며,
상기
Figure 112019123033747-pat00042
는 정규화된 가상 제2 가속도 데이터인 것을 특징으로 하는
행위 인식을 위한 방법. The method of claim 6,
The actual first motion data is
Including actual first angular velocity data obtained by measuring the motion of the first portion through a gyro sensor and actual first acceleration data measuring the motion of the first portion through an acceleration sensor,
The virtual second motion data is
Virtual second angular velocity data that simulates the actual second angular velocity data measured by the gyro sensor and the virtual second angular velocity data that simulates the motion of the second portion through the acceleration sensor 2 contains acceleration data,
The step of normalizing the virtual second motion data through the actual first motion data
Above normalization
Equation
Figure 112019123033747-pat00035
According to the actual first angular velocity data to normalize the virtual second angular velocity data,
Equation
Figure 112019123033747-pat00036
According to the actual first acceleration data, characterized in that the virtual second acceleration data is normalized,
remind
Figure 112019123033747-pat00037
Is the actual first angular velocity data,
remind
Figure 112019123033747-pat00038
Is the virtual second angular velocity data,
remind
Figure 112019123033747-pat00039
Is the normalized virtual second angular velocity data,
remind
Figure 112019123033747-pat00040
Is the actual first acceleration data,
remind
Figure 112019123033747-pat00041
Is the virtual second acceleration data,
remind
Figure 112019123033747-pat00042
Is normalized virtual second acceleration data.
Method for behavior recognition. 삭제delete
KR1020190155700A 2019-11-28 2019-11-28 Apparatus for Behavior Recognition using Virtual Motion Generation and Method Therefor KR102182413B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190155700A KR102182413B1 (en) 2019-11-28 2019-11-28 Apparatus for Behavior Recognition using Virtual Motion Generation and Method Therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190155700A KR102182413B1 (en) 2019-11-28 2019-11-28 Apparatus for Behavior Recognition using Virtual Motion Generation and Method Therefor

Publications (1)

Publication Number Publication Date
KR102182413B1 true KR102182413B1 (en) 2020-11-25

Family

ID=73645354

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190155700A KR102182413B1 (en) 2019-11-28 2019-11-28 Apparatus for Behavior Recognition using Virtual Motion Generation and Method Therefor

Country Status (1)

Country Link
KR (1) KR102182413B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160046622A (en) 2014-10-21 2016-04-29 삼성전자주식회사 Wearable device and method for transmitting contents
KR101731188B1 (en) * 2015-11-17 2017-04-27 계명대학교 산학협력단 Motions estimation apparatus and method thereof
KR20170069521A (en) * 2015-12-11 2017-06-21 숭실대학교산학협력단 Apparatus for finger language recognition using electromyogram sensor and motion sensor and method for finger language recognition using the same
KR20170084643A (en) * 2016-01-12 2017-07-20 경희대학교 산학협력단 Motion analysis appratus and method using dual smart band
KR20170091963A (en) * 2016-02-02 2017-08-10 삼성전자주식회사 Gesture classification apparatus and method using electromyogram signals
KR20170113957A (en) * 2016-03-30 2017-10-13 (주)이미지스테크놀로지 Method of determining motion intent of user and motion recognition system for the same

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160046622A (en) 2014-10-21 2016-04-29 삼성전자주식회사 Wearable device and method for transmitting contents
KR101731188B1 (en) * 2015-11-17 2017-04-27 계명대학교 산학협력단 Motions estimation apparatus and method thereof
KR20170069521A (en) * 2015-12-11 2017-06-21 숭실대학교산학협력단 Apparatus for finger language recognition using electromyogram sensor and motion sensor and method for finger language recognition using the same
KR20170084643A (en) * 2016-01-12 2017-07-20 경희대학교 산학협력단 Motion analysis appratus and method using dual smart band
KR20170091963A (en) * 2016-02-02 2017-08-10 삼성전자주식회사 Gesture classification apparatus and method using electromyogram signals
KR20170113957A (en) * 2016-03-30 2017-10-13 (주)이미지스테크놀로지 Method of determining motion intent of user and motion recognition system for the same

Similar Documents

Publication Publication Date Title
US10446059B2 (en) Hand motion interpretation and communication apparatus
US11216069B2 (en) Systems and methods for improved speech recognition using neuromuscular information
Chen et al. A real-time human action recognition system using depth and inertial sensor fusion
JP7097801B2 (en) Facial expression recognition method, object recognition method, facial expression recognition device and facial expression training method
US20180089880A1 (en) Transmission of avatar data
CN112005198A (en) Hand state reconstruction based on multiple inputs
KR20180057096A (en) Device and method to perform recognizing and training face expression
Vu et al. Smartwatch-based early gesture detection 8 trajectory tracking for interactive gesture-driven applications
KR20190013011A (en) Apparatus and method for generating training data used to training student model from teacher model
US9769166B1 (en) Wearable sensor based system for person identification
US20200229710A1 (en) Method for generating a personalized classifier for human motion activities of a mobile or wearable device user with unsupervised learning
Abraham et al. Real time conversion of sign language to speech and prediction of gestures using Artificial Neural Network
US11127181B2 (en) Avatar facial expression generating system and method of avatar facial expression generation
JP6032350B2 (en) Motion detection device and motion detection method
JP6287827B2 (en) Information processing apparatus, information processing method, and program
Guenterberg et al. A method for extracting temporal parameters based on hidden Markov models in body sensor networks with inertial sensors
Kilany et al. Accelerometer-based human activity classification using water wave optimization approach
Bezobrazov et al. Artificial intelligence for sport activitity recognition
KR102182413B1 (en) Apparatus for Behavior Recognition using Virtual Motion Generation and Method Therefor
US20200070033A1 (en) Interactive Exercise Experience
US11164039B2 (en) Framework for few-shot temporal action localization
EP3872694A1 (en) Avatar facial expression generating system and method of avatar facial expression generation
Wohler et al. A calibration-free head gesture recognition system with online capability
Cedeño et al. K-NN-based emg recognition for gestures communication with limited hardware resources
US11216074B2 (en) Motion classification user library

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant