KR101854332B1 - Method for classifying user activity, terminal device and system using the method - Google Patents

Method for classifying user activity, terminal device and system using the method Download PDF

Info

Publication number
KR101854332B1
KR101854332B1 KR1020160081930A KR20160081930A KR101854332B1 KR 101854332 B1 KR101854332 B1 KR 101854332B1 KR 1020160081930 A KR1020160081930 A KR 1020160081930A KR 20160081930 A KR20160081930 A KR 20160081930A KR 101854332 B1 KR101854332 B1 KR 101854332B1
Authority
KR
South Korea
Prior art keywords
sensing data
user
activity
wearable
movement
Prior art date
Application number
KR1020160081930A
Other languages
Korean (ko)
Other versions
KR20180002427A (en
Inventor
정구민
이태양
박창우
투룽후푸
Original Assignee
국민대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국민대학교 산학협력단 filed Critical 국민대학교 산학협력단
Priority to KR1020160081930A priority Critical patent/KR101854332B1/en
Publication of KR20180002427A publication Critical patent/KR20180002427A/en
Application granted granted Critical
Publication of KR101854332B1 publication Critical patent/KR101854332B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

사용자 활동종류를 분류하는 방법은 제1웨어러블 센싱 디바이스로부터 사용자의 팔의 움직임에 연관된 제1센싱 데이터를 수신하는 단계, 제2웨어러블 센싱 디바이스로부터 상기 사용자의 발의 움직임에 연관된 제2센싱 데이터를 수신하는 단계, 상기 제1센싱 데이터와 상기 제2센싱 데이터를 머징(merging)하여, 머징된 센싱 데이터의 특징을 추출하는 단계 및 추출된 특징에 기초하여 상기 사용자의 활동종류를 분류하는 단계를 포함한다.A method of classifying a user activity type comprises receiving first sensing data associated with movement of a user's arm from a first wearable sensing device, receiving second sensing data associated with movement of the user's foot from a second wearable sensing device Merging the first sensing data and the second sensing data to extract characteristics of the merged sensing data, and classifying the type of activity of the user based on the extracted characteristics.

Description

사용자 활동종류를 분류하는 방법, 이를 이용하는 단말 장치 및 시스템{METHOD FOR CLASSIFYING USER ACTIVITY, TERMINAL DEVICE AND SYSTEM USING THE METHOD}TECHNICAL FIELD [0001] The present invention relates to a method for classifying user activity types, a terminal device and a system using the same,

본 발명의 기술적 사상은 사용자 활동종류를 분류하는 방법, 이를 이용하는 단말 장치 및 시스템에 관한 것으로, 보다 상세하게는 웨어러블 센싱 디바이스들로부터 수신된 센싱 데이터를 조합하고, 조합된 센싱 데이터의 특징을 추출하여 사용자의 활동종류를 분류할 수 있는 사용자 활동종류를 분류하는 방법, 이를 이용하는 단말 장치 및 시스템에 관한 것이다.TECHNICAL FIELD OF THE INVENTION The present invention relates to a method of classifying user activity types, a terminal device and a system using the same, more particularly, to a method of classifying user activity types by combining sensing data received from wearable sensing devices, The present invention relates to a method for classifying a user activity type that can classify an activity type of a user, and a terminal device and a system using the method.

최근 빅데이터(big data), IoT(Internet of Things), 클라우드 플랫폼(cloud platform) 등 기술의 발달에 따라 일상 생활 중에서도 개인의 활동에 대한 실시간 데이터 수집이 용이해졌다.Recently, with the development of technologies such as big data, Internet of Things (IoT), and cloud platform, real-time data collection of individual activities has become easier in everyday life.

이를 활용하여 개인의 다양한 활동 특성을 인지하고 다면적으로 활동 특성의 의미를 분석할 수 있는 개인의 라이프스타일(lifestyle) 분석 기술이 부각되고 있다.In this paper, we propose a new method for analyzing the lifestyle of a person.

본 발명의 기술적 사상이 이루고자 하는 과제는 웨어러블 센싱 디바이스들로부터 수신된 센싱 데이터를 조합하고, 조합된 센싱 데이터의 특징을 추출하여 사용자의 활동종류를 분류할 수 있는 사용자 활동종류를 분류하는 방법, 이를 이용하는 단말 장치 및 시스템을 제공하는 것이다.The object of the present invention is to provide a method for classifying user activity types that can classify the activity types of users by combining the sensing data received from the wearable sensing devices and extracting characteristics of the combined sensing data, And a terminal device and a system using the same.

본 발명의 일 측면에 따른 사용자 활동종류를 분류하는 방법은, 제1웨어러블 센싱 디바이스로부터 사용자의 팔의 움직임에 연관된 제1센싱 데이터를 수신하는 단계, 제2웨어러블 센싱 디바이스로부터 상기 사용자의 발의 움직임에 연관된 제2센싱 데이터를 수신하는 단계, 상기 제1센싱 데이터와 상기 제2센싱 데이터를 머징(merging)하여, 머징된 센싱 데이터의 특징을 추출하는 단계 및 추출된 특징에 기초하여 상기 사용자의 활동종류를 분류하는 단계를 포함한다.A method of classifying user activity types according to an aspect of the present invention includes receiving first sensing data associated with movement of a user's arm from a first wearable sensing device, The method comprising the steps of: receiving associated second sensing data; merging the first sensing data and the second sensing data to extract characteristics of the merged sensing data; . ≪ / RTI >

일부 실시 예에서, 상기 제1웨어러블 센싱 디바이스는 상기 사용자의 팔목에 착용되며, 상기 제2웨어러블 센싱 디바이스는 상기 사용자의 신발 바닥에 깔창 형태로 구비될 수 있다.In some embodiments, the first wearable sensing device is worn on the user's wrist, and the second wearable sensing device is provided on the shoe bottom of the user in an insole form.

일부 실시 예에서, 상기 제1센싱 데이터는 상기 팔의 움직임에 연관된 제1가속도 센싱 데이터, 각속도 센싱 데이터, 및 고도 센싱 데이터를 포함하고, 상기 제2센싱 데이터는 상기 발의 움직임에 연관된 제2가속도 센싱 데이터 및 압력 센싱 데이터를 포함할 수 있다.In some embodiments, the first sensing data includes first acceleration sensing data, angular velocity sensing data, and altitude sensing data associated with motion of the arm, and the second sensing data includes a second acceleration sensing Data and pressure sensing data.

일부 실시 예에서, 상기 압력 센싱 데이터는 상기 제2웨어러블 센싱 디바이스에 의해 상기 신발 바닥의 복수의 지점들에서 센싱된 압력 정보를 포함할 수 있다.In some embodiments, the pressure sensing data may include pressure information sensed at a plurality of points of the shoe sole by the second wearer sensing device.

일부 실시 예에서, 상기 제2센싱 데이터는, 상기 사용자의 왼발의 움직임에 관한 정보와 오른발의 움직임에 관한 정보 각각을 포함할 수 있다.In some embodiments, the second sensing data may include information about motion of the left foot of the user and information about motion of the right foot.

일부 실시 예에서, 상기 머징된 센싱 데이터의 특징은, 상기 제1센싱 데이터와 상기 제2센싱 데이터 각각의 평균, 편차, 및 변화 범위에 관한 정보를 포함할 수 있다.In some embodiments, the characteristics of the merged sensing data may include information about an average, a deviation, and a variation range of the first sensing data and the second sensing data, respectively.

일부 실시 예에서, 상기 분류하는 단계는, 상기 제1센싱 데이터와 상기 제2센싱 데이터 각각의 평균, 편차, 및 변화 범위에 관한 정보 중에서 특징값 범위에 속하는 정보만을 이용하여 상기 사용자의 활동종류를 분류할 수 있다.In some embodiments, the classifying step may include classifying the type of activity of the user using only the information belonging to the feature value range out of the information about the mean, the deviation, and the change range of each of the first sensing data and the second sensing data Can be classified.

일부 실시 예에서, 상기 특징값 범위에 속하는 상기 정보에 기초하여, 복수의 사용자 활동종류 그룹들 중에서 적어도 어느 하나의 그룹을 선택하는 단계 및 선택된 사용자 활동종류 그룹 내에서 상기 사용자의 활동종류를 분류하는 단계를 포함할 수 있다.In some embodiments, selecting at least one of the plurality of groups of user activity types based on the information belonging to the feature value range, and classifying the type of activity of the user in the selected group of user activity types Step < / RTI >

일부 실시 예에서, 상기 복수의 사용자 활동종류 그룹들은, 상체 중심의 활동종류 그룹, 하체 중심의 활동종류 그룹, 고 활동량의 활동종류 그룹, 저 활동량의 활동종류 그룹, 고 활동량변화의 활동종류 그룹, 및 저 활동량변화의 활동종류 그룹 중에서 적어도 어느 하나를 포함할 수 있다.In some embodiments, the plurality of user activity type groups are selected from the group consisting of a body centered activity type group, a body centered activity type group, a high activity amount activity type group, a low activity amount activity type group, And an activity type group of low activity change.

일부 실시 예에서, 상기 분류하는 단계는 다중 SVM(Support Vector Machine) 알고리즘을 이용하여, 상기 사용자의 활동종류를 분류할 수 있다.In some embodiments, the sorting step may classify the type of activity of the user using a multiple SVM (Support Vector Machine) algorithm.

본 발명의 일 측면에 따른 단말 장치는 제1웨어러블 센싱 디바이스로부터 수신된 사용자의 팔의 움직임에 연관된 제1센싱 데이터와 제2웨어러블 센싱 디바이스로부터 수신된 상기 사용자의 발의 움직임에 연관된 제2센싱 데이터를 머징(merging)하여, 머징된 센싱 데이터의 특징을 추출하는 특징 추출기 및 추출된 특징에 기초하여 상기 사용자의 활동종류를 분류하는 활동 분류 유닛을 포함한다.A terminal device according to an aspect of the present invention includes first sensing data associated with movement of a user's arm received from a first wearable sensing device and second sensing data associated with motion of the user's foot received from a second wearable sensing device A feature extractor for merging the features of the sensed data and extracting characteristics of the merged sensed data, and an activity classification unit for classifying the activity types of the user based on the extracted features.

일부 실시 예에서, 상기 제1센싱 데이터는 상기 팔의 움직임에 연관된 제1가속도 센싱 데이터, 각속도 센싱 데이터, 및 고도 센싱 데이터를 포함하고, 상기 제2센싱 데이터는 상기 발의 움직임에 연관된 제2가속도 센싱 데이터 및 압력 센싱 데이터를 포함할 수 있다.In some embodiments, the first sensing data includes first acceleration sensing data, angular velocity sensing data, and altitude sensing data associated with motion of the arm, and the second sensing data includes a second acceleration sensing Data and pressure sensing data.

일부 실시 예에서, 상기 특징 추출기에 의해 추출된 상기 특징 중에서 특징값 범위에 속하는 정보만을 추출하는 특징값 추출기를 더 포함할 수 있다.In some embodiments, the feature extractor may further include a feature value extractor that extracts only information belonging to a feature value range from the features extracted by the feature extractor.

일부 실시 예에서, 상기 특징값 추출기는 상기 특징값 범위에 속하는 상기 정보에 기초하여 복수의 사용자 활동종류 그룹들 중에서 적어도 어느 하나의 그룹을 선택하고, 상기 활동 분류 유닛은 선택된 사용자 활동종류 그룹 내에서 상기 사용자의 활동종류를 분류할 수 있다.In some embodiments, the feature value extractor selects at least one group of the plurality of user activity type groups based on the information belonging to the feature value range, and the activity classification unit selects The type of activity of the user can be classified.

본 발명의 일 측면에 따른 사용자 활동종류 분류 시스템은 사용자의 팔의 움직임에 연관된 제1센싱 데이터를 획득하는 제1웨어러블 센싱 디바이스, 상기 사용자의 발의 움직임에 연관된 제2센싱 데이터를 획득하는 제2웨어러블 센싱 디바이스, 상기 제1센싱 데이터와 상기 제2센싱 데이터를 머징(merging)하여, 머징된 센싱 데이터의 특징을 추출하고, 추출된 특징에 기초하여 상기 사용자의 활동종류를 분류하는 단말 장치를 포함한다.A user activity classifying system according to one aspect of the present invention includes a first wearable sensing device for acquiring first sensing data associated with movement of a user's arm, a second wearable sensing device for acquiring second sensing data associated with a motion of the user's foot, A sensing device, a terminal device for merging the first sensing data and the second sensing data, extracting characteristics of the merged sensing data, and classifying the activity type of the user based on the extracted characteristic .

본 발명의 기술적 사상에 따른 방법과 장치는 웨어러블 센싱 디바이스들로부터 수신된 센싱 데이터를 조합하고, 조합된 센싱 데이터의 핵심적인 특징을 추출함으로써 사용자 활동종류를 정확하게 분류할 수 있는 효과가 있다.The method and apparatus according to the technical idea of the present invention can combine the sensing data received from the wearable sensing devices and extract the key features of the combined sensing data, thereby accurately classifying the user activity type.

또한, 본 발명의 기술적 사상에 따른 방법과 장치는 조합된 센싱 데이터의 특징 중에서 특징값 범위에 속하는 정보만을 이용함으로써 더욱 효율적으로 사용자의 활동종류를 분류할 수 있는 효과가 있다.In addition, the method and apparatus according to the technical idea of the present invention have the effect of classifying the activity type of the user more efficiently by using only the information belonging to the feature value range among the features of the combined sensing data.

또한, 본 발명의 기술적 사상에 따른 방법과 장치는 사용자 활동종류 그룹을 활용함으로써 더욱 효율적으로 사용자의 활동종류를 분류할 수 있는 효과가 있다.Also, the method and apparatus according to the technical idea of the present invention can effectively classify the type of activity of a user by utilizing a group of user activity types.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 기술적 사상에 의한 일 실시 예에 따른 사용자 활동종류 분류 시스템의 개념도이다.
도 2는 도 1에 도시된 사용자 활동종류 분류 시스템의 블록도이다.
도 3은 본 발명의 기술적 사상에 의한 일 실시 예에 따른 사용자 활동종류를 분류하는 방법의 플로우차트이다.
도 4는 본 발명의 기술적 사상에 의한 다른 실시 예에 따른 사용자 활동종류를 분류하는 방법의 플로우차트이다.BRIEF DESCRIPTION OF THE DRAWINGS A brief description of each drawing is provided to more fully understand the drawings recited in the description of the invention.
FIG. 1 is a conceptual diagram of a user activity type classification system according to an embodiment of the present invention.
2 is a block diagram of the user activity type classification system shown in FIG.
3 is a flowchart of a method of classifying user activity types according to an embodiment of the present invention.
4 is a flowchart of a method of classifying a type of user activity according to another embodiment according to the technical idea of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the present invention has been described in connection with certain exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and similarities. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. In addition, numerals (e.g., first, second, etc.) used in the description of the present invention are merely an identifier for distinguishing one component from another.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.Also, in this specification, when an element is referred to as being "connected" or "connected" with another element, the element may be directly connected or directly connected to the other element, It should be understood that, unless an opposite description is present, it may be connected or connected via another element in the middle.

또한, 본 명세서에 기재된 "~부", "~기", "~자", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Also, the terms "to", "to", "to", "to" and "module" in the present specification mean a unit for processing at least one function or operation, Software. ≪ / RTI >

그리고 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.It is to be clarified that the division of constituent parts in this specification is merely a division by each main function of each constituent part. That is, two or more constituent parts to be described below may be combined into one constituent part, or one constituent part may be divided into two or more functions according to functions that are more subdivided. In addition, each of the constituent units described below may additionally perform some or all of the functions of other constituent units in addition to the main functions of the constituent units themselves, and that some of the main functions, And may be carried out in a dedicated manner.

이하, 본 발명의 실시 예들을 차례로 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail.

도 1은 본 발명의 기술적 사상에 의한 일 실시 예에 따른 사용자 활동종류 분류 시스템의 개념도이다.FIG. 1 is a conceptual diagram of a user activity type classification system according to an embodiment of the present invention.

도 1을 참조하면, 사용자 활동종류 분류 시스템(10)은 제1웨어러블 센싱 디바이스(wearable sensing device, 100), 제2웨어러블 센싱 디바이스(200), 및 단말 장치(terminal device, 300)를 포함한다.Referring to FIG. 1, a user activity classifying system 10 includes a wearable sensing device 100, a second wearable sensing device 200, and a terminal device 300.

제1웨어러블 센싱 디바이스(100)는 사용자의 팔의 움직임에 연관된 제1센싱 데이터를 획득할 수 있다. 실시 예에 따라, 제1웨어러블 센싱 디바이스(100)는 사용자의 팔목에 착용될 수 있는 밴드(band) 형태로 구현될 수 있으나, 제1웨어러블 센싱 디바이스(100)의 형태가 이에 한정되는 것은 아니다.The first wearable sensing device 100 may obtain first sensing data associated with movement of the user's arm. According to an embodiment, the first wearable sensing device 100 may be implemented as a band that can be worn on the user's wrist, but the shape of the first wearable sensing device 100 is not limited thereto.

제2웨어러블 센싱 디바이스(200)는 사용자의 발의 움직임에 연관된 제2센싱 데이터를 획득할 수 있다. 실시 예에 따라, 제2웨어러블 센싱 디바이스(200)는 사용자가 착용하는 신발 바닥에 깔창 형태로 구비될 수 있으나, 제2웨어러블 센싱 디바이스(200)의 형태가 이에 한정되는 것은 아니다.The second wearable sensing device 200 may acquire second sensing data associated with the movement of the user's foot. According to the embodiment, the second wearable sensing device 200 may be provided in the form of an insole on the shoe bottom worn by the user, but the shape of the second wearable sensing device 200 is not limited thereto.

단말 장치(300)는 제1웨어러블 센싱 디바이스(100) 및 제2웨어러블 센싱 디바이스(200)와 무선 통신을 수행할 수 있다. 단말 장치(300)는 제1웨어러블 센싱 디바이스(100)에 의해 획득된 제1센싱 데이터와 제2웨어러블 센싱 디바이스(200)에 의해 획득된 제2센싱 데이터를 수신하고, 수신된 제1센싱 데이터와 제2센싱 데이터를 이용하여 사용자의 활동종류를 분류할 수 있다.The terminal device 300 can perform wireless communication with the first wearable sensing device 100 and the second wearable sensing device 200. [ The terminal device 300 receives the first sensing data acquired by the first wearable sensing device 100 and the second sensing data acquired by the second wearable sensing device 200 and transmits the received first sensing data It is possible to classify the type of activity of the user by using the second sensing data.

도 2는 도 1에 도시된 사용자 활동종류 분류 시스템의 블록도이다.2 is a block diagram of the user activity type classification system shown in FIG.

도 1과 도 2를 참조하면, 제1웨어러블 센싱 디바이스(100)는 가속도 센서(acceleration sensor, 110), 각속도 센서(angular speed sensor, 120), 및 고도 센서(altitude sensor, 130)를 포함할 수 있다.1 and 2, the first wearable sensing device 100 may include an acceleration sensor 110, an angular speed sensor 120, and an altitude sensor 130. have.

가속도 센서(110)는 사용자의 팔의 움직임에 따른 가속도 정보를 센싱할 수 있다. 실시 예에 따라, 가속도 센서(110)는 사용의 팔의 움직임에 따라 x축 가속도 정보, y축 가속도 정보, z축 가속도 정보를 각각 센싱할 수 있다. 실시 예에 따라, 가속도 센서(110)는 관성식, 자이로식, 실리콘반도체식 등의 다양한 방식의 센서로 구현될 수 있다.The acceleration sensor 110 may sense the acceleration information according to the motion of the user's arm. According to the embodiment, the acceleration sensor 110 can sense the x-axis acceleration information, the y-axis acceleration information, and the z-axis acceleration information, respectively, according to the movement of the arm of use. According to an embodiment, the acceleration sensor 110 may be implemented by various types of sensors such as an inertial type, a gyro type, and a silicon semiconductor type.

각속도 센서(120)는 사용자의 팔의 움직임에 따른 각속도 정보를 센싱할 수 있다. 실시 예에 따라, 각속도 센서(120)는 사용의 팔의 움직임에 따라 x축 각속도 정보, y축 가속도 정보, z축 각속도 정보를 각각 센싱할 수 있다. 실시 예에 따라, 각속도 센서(120)는 자이로 센서(gyro sensor)로 구현될 수 있다.The angular velocity sensor 120 can sense the angular velocity information according to the movement of the user's arm. According to the embodiment, the angular velocity sensor 120 can sense the x-axis angular velocity information, the y-axis acceleration information, and the z-axis angular velocity information, respectively, according to the movement of the arm of use. According to an embodiment, the angular velocity sensor 120 may be implemented as a gyro sensor.

고도 센서(130)는 사용자의 팔의 움직임에 따른 고도 정보, 즉 높이 정보를 센싱할 수 있다. 실시 예에 따라, 고도 센서(130)는 기압 센서로 구현될 수 있다.The altitude sensor 130 can sense altitude information, i.e., altitude information, according to movement of the user's arm. According to an embodiment, the altitude sensor 130 may be implemented as an atmospheric pressure sensor.

도 1과 도 2에서는 설명의 편의를 위하여 제1웨어러블 센싱 디바이스(100)가 한쪽 팔에 착용된 경우를 도시하지만, 실시 예에 따라 제1웨어러블 센싱 디바이스(100)는 왼팔과 오른팔 각각에 착용되어 왼팔의 움직임에 관한 센싱 정보와 오른팔의 움직임에 관한 센싱 정보 각각을 센싱할 수 있다.Although FIGS. 1 and 2 show a case where the first wearable sensing device 100 is worn on one arm for convenience of explanation, the first wearable sensing device 100 is worn on each of the left arm and the right arm according to the embodiment It is possible to sense the sensing information on the movement of the left arm and the sensing information on the movement of the right arm, respectively.

제2웨어러블 센싱 디바이스(200)는 가속도 센서(acceleration sensor, 210) 및 압력 센서(pressure sensor, 220)를 포함할 수 있다.The second wearable sensing device 200 may include an acceleration sensor 210 and a pressure sensor 220.

가속도 센서(210)는 사용자의 발의 움직임에 따른 가속도 정보를 센싱할 수 있다. 실시 예에 따라, 가속도 센서(210)는 사용의 발의 움직임에 따라 x축 가속도 정보, y축 가속도 정보, z축 가속도 정보를 각각 센싱할 수 있다. 실시 예에 따라, 가속도 센서(210)는 관성식, 자이로식, 실리콘반도체식 등의 다양한 방식의 센서로 구현될 수 있다.The acceleration sensor 210 can sense the acceleration information according to the motion of the user's foot. According to the embodiment, the acceleration sensor 210 can sense the x-axis acceleration information, the y-axis acceleration information, and the z-axis acceleration information, respectively, according to the motion of the foot of use. According to the embodiment, the acceleration sensor 210 may be implemented by various types of sensors such as an inertia type, a gyro type, and a silicon semiconductor type.

압력 센서(220)는 사용자의 발의 움직임에 따라 가해지는 압력 정보를 센싱할 수 있다. 실시 예에 따라, 압력 센서(220)는 사용자의 발의 복수의 지점들에 상응하는 센서들을 포함하여, 상기 복수의 지점들 각각에서의 압력을 측정할 수 있다. 다른 실시 예에 따라, 압력 센서(220)는 압전 소자를 활용하여 전원을 공급받도록 구현될 수 있다.The pressure sensor 220 can sense the pressure information applied according to the movement of the user's foot. According to an embodiment, the pressure sensor 220 may include sensors corresponding to a plurality of points of the user's foot, so as to measure the pressure at each of the plurality of points. According to another embodiment, the pressure sensor 220 may be implemented to be powered by utilizing a piezoelectric element.

도 1과 도 2에서는 설명의 편의를 위하여 제2웨어러블 센싱 디바이스(200)가 한쪽 발에 착용된 경우를 도시하지만, 실시 예에 따라 제2웨어러블 센싱 디바이스(200)는 왼발과 오른발 각각에 착용되어 왼발의 움직임에 관한 센싱 정보와 오른발의 움직임에 관한 센싱 정보 각각을 센싱할 수 있다.Although FIGS. 1 and 2 illustrate a case where the second wearable sensing device 200 is worn on one foot for convenience of description, the second wearable sensing device 200 is worn on each of the left and right feet according to the embodiment It is possible to sense the sensing information on the movement of the left foot and the sensing information on the movement of the right foot, respectively.

단말 장치(300)는 특징 추출기(feature extractor, 310), 특징값 추출기(feature value extractor, 320), 및 활동 분류 유닛(activity classifying unit, 330)을 포함할 수 있다.The terminal device 300 may include a feature extractor 310, a feature value extractor 320, and an activity classifying unit 330.

단말 장치(300)는 제1웨어러블 센싱 디바이스(100)로부터 제1센싱 데이터(예컨대, 가속도 센싱 데이터, 각속도 센싱 데이터, 및 고도 센싱 데이터를 포함)를 수신하고, 제2웨어러블 센싱 디바이스(100)로부터 제2센싱 데이터(예컨대, 가속도 센싱 데이터 및 압력 센싱 데이터를 포함)를 수신할 수 있다. The terminal device 300 receives first sensing data (e.g., including acceleration sensing data, angular velocity sensing data, and altitude sensing data) from the first wearable sensing device 100, And may receive second sensing data (e.g., including acceleration sensing data and pressure sensing data).

특징 추출기(310)는 제1웨어러블 센싱 디바이스(100)로부터 수신된 제1센싱 데이터와 제2웨어러블 센싱 디바이스(200)로부터 수신된 제2센싱 데이터를 머징(merging)하여, 머징된 센싱 데이터의 특징을 추출할 수 있다.The feature extractor 310 merges the first sensing data received from the first wearable sensing device 100 and the second sensing data received from the second wearable sensing device 200 and outputs the merged sensing data characteristic Can be extracted.

실시 예에 따라, 특징 추출기(310)에 의해 추출된 특징은, 제1센싱 데이터와 제2센싱 데이터 각각의 평균, 편차, 및 변화 범위에 관한 정보를 포함할 수 있다.According to an embodiment, the feature extracted by the feature extractor 310 may include information about an average, a deviation, and a change range of each of the first sensing data and the second sensing data.

예컨대, 특징 추출기(310)에 의해 추출된 특징은, 제1센싱 데이터에 포함된 가속도 센싱 데이터의 평균, 편차, 및 변화 범위, 제1센싱 데이터에 포함된 각속도 센싱 데이터의 평균, 편차, 및 변화 범위, 제2센싱 데이터에 포함된 가속도 센싱 데이터의 평균, 편차, 및 변화 범위에 관한 정보를 포함할 수 있다.For example, the feature extracted by the feature extractor 310 may include an average, a deviation, and a variation range of the acceleration sensing data included in the first sensing data, an average, a deviation, and a variation of the angular velocity sensing data included in the first sensing data Range, and the average, deviation, and change range of the acceleration sensing data included in the second sensing data.

특징값 추출기(320)는 특징 추출기(310)에 의해 추출된 특징 중에서 특징값 범위에 속하는 정보만을 추출할 수 있다. 상기 특징값 범위는 사용자의 특정 행동에서만 나타나는 제1센싱 데이터 또는 제2센싱 데이터의 범위로 미리 설정될 수 있으며, 상기 특징값 범위는 사용자 활동종류를 좀 더 효율적으로 분류하기 위해 사용될 수 있다.The feature value extractor 320 may extract only information belonging to the feature value range from the features extracted by the feature extractor 310. [ The feature value range may be preset in the range of the first sensing data or the second sensing data that is only present in a specific action of the user, and the feature value range may be used to more effectively classify the types of user activity.

실시 예에 따라, 단말 장치(300)는 특징값 추출기(320)를 포함하지 않을 수도 있다.According to the embodiment, the terminal apparatus 300 may not include the feature value extractor 320. [

활동 분류 유닛(330)은 특징 추출기(310)에 의해 추출된 특징에 기초하여 사용자의 활동종류를 분류할 수 있다. 실시 예에 따라, 활동 분류 유닛(330)은 다중 SVM(Support Vector Machine) 알고리즘을 이용하여 사용자의 활동종류를 분류할 수 있다.The activity classification unit 330 can classify the type of activity of the user based on the features extracted by the feature extractor 310. [ In accordance with an embodiment, the activity classifier 330 may classify a user's activity type using multiple SVM (Support Vector Machine) algorithms.

특징 추출기(310), 특징값 추출기(320), 및 활동 분류 유닛(330)의 구체적인 동작에 대해서는 도 3과 도 4를 참조하여 좀 더 상세히 설명된다.Specific operations of the feature extractor 310, the feature value extractor 320, and the activity classification unit 330 will be described in more detail with reference to FIGS. 3 and 4. FIG.

도 3은 본 발명의 기술적 사상에 의한 일 실시 예에 따른 사용자 활동종류를 분류하는 방법의 플로우차트이다.3 is a flowchart of a method of classifying user activity types according to an embodiment of the present invention.

도 1 내지 도 3을 참조하면, 단말 장치(300)는 제1웨어러블 센싱 디바이스(100)로부터 제1센싱 데이터(예컨대, 제1가속도 센싱 데이터, 각속도 센싱 데이터, 및 고도 센싱 데이터)를 수신할 수 있다(S10).1 to 3, the terminal device 300 can receive first sensing data (e.g., first acceleration sensing data, angular velocity sensing data, and altitude sensing data) from the first wear sensing device 100 (S10).

단말 장치(300)는 제2웨어러블 센싱 디바이스(200)로부터 제2센싱 데이터(예컨대, 제2가속도 센싱 데이터 및 압력 센싱 데이터)를 수신할 수 있다(S12).The terminal device 300 may receive second sensing data (e.g., second acceleration sensing data and pressure sensing data) from the second wearable sensing device 200 (S12).

특징 추출기(310)는 제1웨어러블 센싱 디바이스(100)로부터 수신된 제1센싱 데이터와 제2웨어러블 센싱 디바이스(200)로부터 수신된 제2센싱 데이터를 머징(merging)하여, 머징된 센싱 데이터의 특징을 추출할 수 있다(S14).The feature extractor 310 merges the first sensing data received from the first wearable sensing device 100 and the second sensing data received from the second wearable sensing device 200 and outputs the merged sensing data characteristic (S14).

활동 분류 유닛(330)은 특징 추출기(310)에 의해 추출된 특징에 기초하여 사용자의 활동종류를 분류할 수 있다(S16). The activity classification unit 330 can classify the type of activity of the user based on the feature extracted by the feature extractor 310 (S16).

실시 예에 따라, 활동 분류 유닛(330)이 다중 SVM(Support Vector Machine) 알고리즘을 이용하여 사용자의 활동종류를 분류하는 경우, 특징 추출기(310)는 센싱 데이터의 특징을 벡터(vector) 형태로 추출할 수 있다.According to the embodiment, when the activity classification unit 330 classifies the activity type of the user by using a multi SVM (Support Vector Machine) algorithm, the feature extraction unit 310 extracts the feature of the sensing data in the form of a vector can do.

특히, 제2웨어러블 센싱 디바이스(200)가 사용자의 왼발과 오른발 각각에 착용될 수 있는 형태로 구현된 경우, 특징 추출기(310)에 의해 머징되어 추출된 센싱 데이터의 특징(f)은 아래의 [수학식 1]과 같이 나타날 수 있다.Particularly, when the second wearable sensing device 200 is implemented in such a form that it can be worn on each of the left and right feet of the user, the feature f of the sensing data merged and extracted by the feature extractor 310 is expressed by [ Can be expressed as: " (1) "

Figure 112016063157272-pat00001
Figure 112016063157272-pat00001

상기 [수학식 1]에서, 'fb'는 제1센싱 데이터에 연관된 제1특징, 'fsl'은 제2센싱 데이터 중에서 사용자의 왼발의 움직임에 연관된 제2특징, 'fsr'은 제2센싱 데이터 중에서 사용자의 오른발의 움직임에 연관된 제3특징을 나타낼 수 있다.In the above Equation 1, 'fb' is a first characteristic related to the first sensing data, 'fsl' is a second characteristic related to the movement of the user's left foot among the second sensing data, 'fsr' A third feature associated with the movement of the user's right foot.

이 중에서, 제1특징(fb)은 아래의 [수학식 2]와 같이 나타날 수 있다.Among them, the first characteristic (fb) can be expressed by the following equation (2).

Figure 112016063157272-pat00002
Figure 112016063157272-pat00002

제1특징(fb)은 사용자의 팔의 움직임에 연관된 제1센싱 데이터의 평균, 편차, 및 변화 범위에 관한 정보를 포함할 수 있다.The first feature fb may include information about an average, a deviation, and a range of change of the first sensing data associated with movement of the user's arm.

Figure 112016063157272-pat00003
,
Figure 112016063157272-pat00004
,
Figure 112016063157272-pat00005
각각은 제1센싱 데이터에 포함된 가속도 센싱 데이터의 x축 성분의 평균, y축 성분의 평균, z축 성분의 평균을 나타낸다.
Figure 112016063157272-pat00003
,
Figure 112016063157272-pat00004
,
Figure 112016063157272-pat00005
Each represents the average of the x-axis component, the average of the y-axis component, and the average of the z-axis component of the acceleration sensing data included in the first sensing data.

σ(

Figure 112016063157272-pat00006
), σ(
Figure 112016063157272-pat00007
), σ(
Figure 112016063157272-pat00008
) 각각은 제1센싱 데이터에 포함된 가속도 센싱 데이터의 x축 성분의 편차, y축 성분의 편차, z축 성분의 편차를 나타낸다.σ (
Figure 112016063157272-pat00006
), σ (
Figure 112016063157272-pat00007
), σ (
Figure 112016063157272-pat00008
Represent the deviation of the x-axis component, the deviation of the y-axis component, and the deviation of the z-axis component of the acceleration sensing data included in the first sensing data.

△(

Figure 112016063157272-pat00009
), △(
Figure 112016063157272-pat00010
), △(
Figure 112016063157272-pat00011
) 각각은 제1센싱 데이터에 포함된 가속도 센싱 데이터의 x축 성분의 변화 범위, y축 성분의 변화 범위, z축 성분의 변화 범위를 나타낸다.△ (
Figure 112016063157272-pat00009
), Δ (
Figure 112016063157272-pat00010
), Δ (
Figure 112016063157272-pat00011
Represent the change range of the x-axis component, the change range of the y-axis component, and the change range of the z-axis component of the acceleration sensing data included in the first sensing data.

Figure 112016063157272-pat00012
,
Figure 112016063157272-pat00013
,
Figure 112016063157272-pat00014
각각은 제1센싱 데이터에 포함된 각속도 센싱 데이터의 x축 성분의 평균, y축 성분의 평균, z축 성분의 평균을 나타낸다.
Figure 112016063157272-pat00012
,
Figure 112016063157272-pat00013
,
Figure 112016063157272-pat00014
Each represents the average of the x-axis component, the average of the y-axis component, and the average of the z-axis component of the angular velocity sensing data included in the first sensing data.

σ(

Figure 112016063157272-pat00015
), σ(
Figure 112016063157272-pat00016
), σ(
Figure 112016063157272-pat00017
) 각각은 제1센싱 데이터에 포함된 각속도 센싱 데이터의 x축 성분의 편차, y축 성분의 편차, z축 성분의 편차를 나타낸다.σ (
Figure 112016063157272-pat00015
), σ (
Figure 112016063157272-pat00016
), σ (
Figure 112016063157272-pat00017
Represent the deviation of the x-axis component, the deviation of the y-axis component, and the deviation of the z-axis component of the angular velocity sensing data included in the first sensing data.

△(

Figure 112016063157272-pat00018
), △(
Figure 112016063157272-pat00019
), △(
Figure 112016063157272-pat00020
) 각각은 제1센싱 데이터에 포함된 각속도 센싱 데이터의 x축 성분의 변화 범위, y축 성분의 변화 범위, z축 성분의 변화 범위를 나타낸다.△ (
Figure 112016063157272-pat00018
), Δ (
Figure 112016063157272-pat00019
), Δ (
Figure 112016063157272-pat00020
Represents the change range of the x-axis component, the change range of the y-axis component, and the change range of the z-axis component of the angular velocity sensing data included in the first sensing data.

Figure 112016063157272-pat00021
는 제1센싱 데이터에 포함된 고도 센싱 데이터의 평균, σ(
Figure 112016063157272-pat00022
)는 상기 고도 센싱 데이터의 편차, △(
Figure 112016063157272-pat00023
)는 상기 고도 센싱 데이터의 변화 범위를 나타낸다.
Figure 112016063157272-pat00021
Is an average of the high-level sensing data included in the first sensing data,? (
Figure 112016063157272-pat00022
) Is the deviation of the altitude sensing data,? (
Figure 112016063157272-pat00023
Represents a range of change of the altitude sensing data.

제2특징(fsl)은 아래의 [수학식 3]과 같이 나타날 수 있다.The second characteristic (fsl) can be expressed by Equation (3) below.

Figure 112016063157272-pat00024
Figure 112016063157272-pat00024

제2특징(fsl)은 사용자의 왼발의 움직임에 연관된 제2센싱 데이터의 평균, 편차, 및 변화 범위에 관한 정보를 포함할 수 있다.The second feature fsl may include information about an average, a deviation, and a range of change of the second sensing data associated with the movement of the user's left foot.

Figure 112016063157272-pat00025
,
Figure 112016063157272-pat00026
,
Figure 112016063157272-pat00027
각각은 제2센싱 데이터에 포함된 왼발의 움직임에 연관된 가속도 센싱 데이터의 x축 성분의 평균, y축 성분의 평균, z축 성분의 평균을 나타낸다.
Figure 112016063157272-pat00025
,
Figure 112016063157272-pat00026
,
Figure 112016063157272-pat00027
Each represents the average of the x-axis component, the average of the y-axis component, and the average of the z-axis component of the acceleration sensing data associated with the motion of the left foot included in the second sensing data.

σ(

Figure 112016063157272-pat00028
), σ(
Figure 112016063157272-pat00029
), σ(
Figure 112016063157272-pat00030
) 각각은 제2센싱 데이터에 포함된 왼발의 움직임에 연관된 가속도 센싱 데이터의 x축 성분의 편차, y축 성분의 편차, z축 성분의 편차를 나타낸다.σ (
Figure 112016063157272-pat00028
), σ (
Figure 112016063157272-pat00029
), σ (
Figure 112016063157272-pat00030
Represent the deviation of the x-axis component, the deviation of the y-axis component, and the deviation of the z-axis component of the acceleration sensing data associated with the motion of the left foot included in the second sensing data.

△(

Figure 112016063157272-pat00031
), △(
Figure 112016063157272-pat00032
), △(
Figure 112016063157272-pat00033
) 각각은 제2센싱 데이터에 포함된 왼발의 움직임에 연관된 가속도 센싱 데이터의 x축 성분의 변화 범위, y축 성분의 변화 범위, z축 성분의 변화 범위를 나타낸다.△ (
Figure 112016063157272-pat00031
), Δ (
Figure 112016063157272-pat00032
), Δ (
Figure 112016063157272-pat00033
Represents a variation range of the x-axis component, a variation range of the y-axis component, and a variation range of the z-axis component of the acceleration sensing data associated with the motion of the left foot included in the second sensing data.

Figure 112016063157272-pat00034
각각은 제2센싱 데이터에 포함된 왼발의 움직임에 연관된 압력 센싱 데이터의 제1지점, 제2지점, 제3지점, 제4지점, 제5지점, 제6지점, 제7지점, 및 제8지점에 상응하는 값의 평균을 나타낸다.
Figure 112016063157272-pat00034
Each of the first, second, third, fourth, fifth, sixth, seventh, and eighth points of the pressure sensing data associated with the motion of the left foot included in the second sensing data ≪ / RTI >

Figure 112016063157272-pat00035
각각은 제2센싱 데이터에 포함된 왼발의 움직임에 연관된 압력 센싱 데이터의 제1지점, 제2지점, 제3지점, 제4지점, 제5지점, 제6지점, 제7지점, 및 제8지점에 상응하는 값의 편차를 나타낸다.
Figure 112016063157272-pat00035
Each of the first, second, third, fourth, fifth, sixth, seventh, and eighth points of the pressure sensing data associated with the motion of the left foot included in the second sensing data Lt; / RTI >

Figure 112016063157272-pat00036
각각은 제2센싱 데이터에 포함된 왼발의 움직임에 연관된 압력 센싱 데이터의 제1지점, 제2지점, 제3지점, 제4지점, 제5지점, 제6지점, 제7지점, 및 제8지점에 상응하는 값의 변화 범위를 나타낸다.
Figure 112016063157272-pat00036
Each of the first, second, third, fourth, fifth, sixth, seventh, and eighth points of the pressure sensing data associated with the motion of the left foot included in the second sensing data And the change range of the value corresponding to the above-mentioned value.

제3특징(fsr)은 아래의 [수학식 4]과 같이 나타날 수 있다.The third characteristic (fsr) can be expressed by Equation (4) below.

Figure 112016063157272-pat00037
Figure 112016063157272-pat00037

제3특징(fsr)도 제2특징(fsl)에 상응하는 형태를 가지며, 사용자의 오른발의 움직임에 연관된 제2센싱 데이터의 평균, 편차, 및 변화 범위에 관한 정보를 포함할 수 있다.The third feature fsr also has a shape corresponding to the second feature fsl and may include information about an average, a deviation, and a change range of the second sensing data associated with the movement of the user's right foot.

활동 분류 유닛(330)은 분류하고자 하는 사용자의 활동종류의 개수만큼의 SVM 분류기(classifier)를 이용하여, 센싱 데이터의 특징(f)을 기초로 사용자의 활동종류를 분류할 수 있다.The activity classification unit 330 can classify the user's activity type based on the feature (f) of the sensing data by using an SVM classifier as many as the number of types of activities of the user to be classified.

도 4는 본 발명의 기술적 사상에 의한 다른 실시 예에 따른 사용자 활동종류를 분류하는 방법의 플로우차트이다.4 is a flowchart of a method of classifying a type of user activity according to another embodiment according to the technical idea of the present invention.

도 1 내지 도 4를 참조하면, 도 4의 S20 단계 내지 S24 단계는 도 3의 S10 단계 내지 S14 단계와 실질적으로 동일하다.Referring to FIGS. 1 to 4, steps S20 to S24 of FIG. 4 are substantially the same as steps S10 to S14 of FIG.

특징값 추출기(320)는 특징 추출기(310)에 의해 추출된 특징 중에서 특징값 범위에 속하는 정보만을 추출할 수 있다(S26).The feature value extractor 320 may extract only information belonging to the feature value range from among the features extracted by the feature extractor 310 (S26).

특징값 범위는 사용자의 특정 행동에서만 나타나는 제1센싱 데이터 또는 제2센싱 데이터의 범위로 미리 설정될 수 있으며, 상기 특징값 범위는 사용자 활동종류를 좀 더 효율적으로 분류하기 위해 사용될 수 있다.The feature value range may be preset in the range of the first sensing data or the second sensing data that is only present in a specific action of the user, and the feature value range may be used to more effectively classify the types of user activity.

활동 분류 유닛(330)은 특징값 추출기(320)에 의해 추출된 정보만을 이용하여 사용자의 활동종류를 분류할 수 있다(S28).The activity classifying unit 330 may classify the activity type of the user using only the information extracted by the feature value extractor 320 (S28).

실시 예에 따라, 특징 추출기(310)에 의해 추출된 특징 중에서 각속도 센싱 데이터의 편차 및 변화 범위가 큰 값을 가져서 특징값 범위에 속한 경우, 특징값 추출기(320)는 각속도 센싱 데이터의 편차 및 변화 범위만을 추출할 수 있다. 이 때, 활동 분류 유닛(330)은 특징값 추출기(320)에 의해 추출된 각속도 센싱 데이터의 편차 및 변화 범위만을 이용하여 사용자 활동종류를 분류할 수 있다.According to the embodiment, when the deviation and the change range of the angular velocity sensing data among the features extracted by the feature extractor 310 have a large value and belong to the feature value range, the feature value extractor 320 calculates the deviation and change of the angular velocity sensing data Only the range can be extracted. At this time, the activity classifying unit 330 can classify the user activity class using only the variation and the variation range of the angular velocity sensing data extracted by the feature value extractor 320. [

다른 실시 예에 따라, 활동 분류 유닛(330)은 사용자 활동종류를 미리 복수의 사용자 활동종류 그룹들로 분류해놓을 수 있다. 상기 각각의 사용자 활동종류 그룹은 복수의 사용자 활동종류들을 포함할 수 있다. 이 경우, 활동 분류 유닛(330)은 특징값 추출기(320)에 의해 추출된 정보의 종류를 이용하여 복수의 사용자 활동종류 그룹들 중의 적어도 어느 하나를 선택하고, 선택된 적어도 어느 하나의 사용자 활동종류 그룹 내에서만 사용자의 활동종류를 분류할 수 있다.According to another embodiment, the activity classification unit 330 may classify the types of user activities into a plurality of groups of user activity types in advance. Each of the groups of user activity types may include a plurality of types of user activity. In this case, the activity classification unit 330 selects at least one of the plurality of user activity type groups using the type of the information extracted by the feature value extractor 320, and selects at least one selected user activity type group You can classify the type of activity of a user only within.

예컨대, 상기 사용자 활동종류 그룹들은 상체 중심의 활동종류 그룹, 하체 중심의 활동종류 그룹, 고 활동량의 활동종류 그룹, 저 활동량의 활동종류 그룹, 고 활동량변화의 활동종류 그룹, 및 저 활동량변화의 활동종류 그룹 중에서 적어도 어느 하나를 포함할 수 있다.For example, the user activity type groups may be grouped into a body centered activity type group, a lower body type activity type group, a high activity amount activity type group, a low activity amount activity type group, a high activity amount change activity type group, And a type group.

예컨대, 제1웨어러블 센싱 디바이스(100)에 의해 획득된 제1센싱 데이터의 특징이 특징값 범위에 속하여 특징값 추출기(320)에 의해 추출된 경우, 활동 분류 유닛(330)은 사용자 활동종류 그룹들 중에서 상체 중심의 활동종류 그룹을 선택할 수 있다.For example, when the feature of the first sensing data obtained by the first wearable sensing device 100 belongs to the feature value range and is extracted by the feature value extractor 320, the activity classification unit 330 may classify the user activity type groups The upper body center type of activity group can be selected.

예컨대, 제2웨어러블 센싱 디바이스(200)에 의해 획득된 제2센싱 데이터의 특징이 특징값 범위에 속하여 특징값 추출기(320)에 의해 추출된 경우, 활동 분류 유닛(330)은 사용자 활동종류 그룹들 중에서 하체 중심의 활동종류 그룹을 선택할 수 있다.For example, when the feature of the second sensing data obtained by the second wearable sensing device 200 belongs to the feature value range and is extracted by the feature value extractor 320, the activity classification unit 330 may classify the user activity type groups The user can select the activity type group of the lower body center.

예컨대, 제1센싱 데이터 또는 제2센싱 데이터의 특징 중에서 평균값의 크기가 특징값 범위에 속하여 특징값 추출기(320)에 의해 추출된 경우, 활동 분류 유닛(330)은 사용자 활동종류 그룹들 중에서 고 활동량의 활동종류 그룹(평균값의 크기가 큰 경우) 또는 저 활동량의 활동종류 그룹(평균값의 크기가 작은 경우)을 선택할 수 있다.For example, when the size of the average value among the features of the first sensing data or the second sensing data belongs to the feature value range and is extracted by the feature value extractor 320, the activity classification unit 330 selects the highest activity amount (When the average value is large) or a low activity amount group (when the average value is small).

예컨대, 제1센싱 데이터 또는 제2센싱 데이터의 특징 중에서 편차 또는 변화 범위가 특징값 범위에 속하여 특징값 추출기(320)에 의해 추출된 경우, 활동 분류 유닛(330)은 사용자 활동종류 그룹들 중에서 고 활동량변화의 활동종류 그룹(편차 또는 변화 범위가 큰 경우) 또는 저 활동량변화의 활동종류 그룹(편차 또는 변화 범위가 작은 경우)을 선택할 수 있다.For example, when the deviation or the change range of the characteristics of the first sensing data or the second sensing data belongs to the feature value range and is extracted by the feature value extractor 320, the activity classification unit 330 selects You can choose a group of activity types (variation or range of variation) of activity changes or a group of activity types (variation or variation range is small) of changes in activity.

이상, 본 발명을 바람직한 실시 예를 들어 상세하게 설명하였으나, 본 발명은 상기 실시 예에 한정되지 않고, 본 발명의 기술적 사상 및 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러가지 변형 및 변경이 가능하다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, This is possible.

10 : 사용자 활동종류 분류 시스템
100 : 제1웨어러블 센싱 디바이스
200 : 제2웨어러블 센싱 디바이스
300 : 단말 장치10: User Activity Classification System
100: a first wearable sensing device
200: second wearable sensing device
300: terminal device

Claims (15)

제1웨어러블 센싱 디바이스로부터 사용자의 팔의 움직임에 연관된 제1센싱 데이터를 수신하는 단계;
제2웨어러블 센싱 디바이스로부터 상기 사용자의 발의 움직임에 연관된 제2센싱 데이터를 수신하는 단계;
상기 제1센싱 데이터와 상기 제2센싱 데이터를 머징(merging)하여, 머징된 센싱 데이터의 특징을 벡터(vector) 형태로 추출하는 단계;
복수의 사용자 활동종류 그룹 각각에 대한 분류기(classifier)를 기초로, 상기 추출된 벡터에 대응하는 적어도 하나의 사용자 활동종류 그룹을 선택하는 단계; 및
상기 선택된 적어도 하나의 사용자 활동 종류그룹 내에서 상기 사용자의 활동종류를 분류하는 단계를 포함하는, 사용자 활동종류를 분류하는 방법.
Receiving first sensing data associated with movement of a user's arm from a first wearable sensing device;
Receiving second sensing data associated with movement of the user's foot from a second wearable sensing device;
Merging the first sensing data and the second sensing data to extract features of the merged sensing data in a vector form;
Selecting at least one user activity type group corresponding to the extracted vector based on a classifier for each of a plurality of user activity type groups; And
And classifying the type of activity of the user within the selected at least one group of user activity types.
제1항에 있어서,
상기 제1웨어러블 센싱 디바이스는 상기 사용자의 팔목에 착용되며,
상기 제2웨어러블 센싱 디바이스는 상기 사용자의 신발 바닥에 깔창 형태로 구비되는, 사용자 활동종류를 분류하는 방법.
The method according to claim 1,
The first wearable sensing device is worn on the user's cuff,
Wherein the second wearable sensing device is provided in the form of an insole on the shoe bottom of the user.
제2항에 있어서,
상기 제1센싱 데이터는 상기 팔의 움직임에 연관된 제1가속도 센싱 데이터, 각속도 센싱 데이터, 및 고도 센싱 데이터 중 적어도 하나를 포함하고,
상기 제2센싱 데이터는 상기 발의 움직임에 연관된 제2가속도 센싱 데이터 및 압력 센싱 데이터 중 적어도 하나를 포함하는, 사용자 활동종류를 분류하는 방법.
3. The method of claim 2,
Wherein the first sensing data comprises at least one of first acceleration sensing data, angular velocity sensing data, and altitude sensing data associated with movement of the arm,
Wherein the second sensing data comprises at least one of second acceleration sensing data and pressure sensing data associated with motion of the foot.
제3항에 있어서,
상기 압력 센싱 데이터는,
상기 제2웨어러블 센싱 디바이스에 의해 상기 신발 바닥의 복수의 지점들에서 센싱된 압력 정보를 포함하는, 사용자 활동종류를 분류하는 방법.
The method of claim 3,
The pressure sensing data includes:
And sensed pressure information at a plurality of points of the shoe floor by the second wearable sensing device.
제4항에 있어서,
상기 제2센싱 데이터는,
상기 사용자의 왼발의 움직임에 관한 정보와 오른발의 움직임에 관한 정보 각각을 포함하는, 사용자 활동종류를 분류하는 방법.
5. The method of claim 4,
Wherein the second sensing data comprises:
And information about the movement of the left foot of the user and information about the movement of the right foot.
제1항에 있어서,
상기 머징된 센싱 데이터의 특징은,
상기 제1센싱 데이터와 상기 제2센싱 데이터 각각의 평균, 편차, 및 변화 범위에 관한 정보를 포함하는, 사용자 활동종류를 분류하는 방법.
The method according to claim 1,
The characteristic of the merged sensing data is that,
And information about an average, a deviation, and a change range of each of the first sensing data and the second sensing data.
제6항에 있어서,
상기 선택하는 단계는,
상기 제1센싱 데이터와 상기 제2센싱 데이터 각각의 평균, 편차, 및 변화 범위에 관한 정보 중에서 특징값 범위에 속하는 정보만을 이용하여 상기 적어도 하나의 사용자의 활동종류 그룹을 선택하는 단계를 포함하는, 사용자 활동종류를 분류하는 방법.
The method according to claim 6,
Wherein the selecting comprises:
And selecting the group of activity types of the at least one user using only information belonging to a feature value range out of information on average, deviation, and change range of each of the first sensing data and the second sensing data. How to classify user activity types.
삭제delete 제1항에 있어서,
상기 복수의 사용자 활동종류 그룹들은,
상체 중심의 활동종류 그룹, 하체 중심의 활동종류 그룹, 고 활동량의 활동종류 그룹, 저 활동량의 활동종류 그룹, 고 활동량변화의 활동종류 그룹, 및 저 활동량변화의 활동종류 그룹 중에서 적어도 어느 하나를 포함하는, 사용자 활동종류를 분류하는 방법.
The method according to claim 1,
Wherein the plurality of groups of user activity types include:
At least one of upper body center activity class group, lower body center activity class group, high activity activity class group, low activity class group, high activity change activity class group, and low activity change activity class group How to classify user activity categories.
제1항에 있어서,
상기 분류기는 다중 SVM(Support Vector Machine) 알고리즘을 이용한 다중 SVM 분류기를 포함하고,
상기 선택하는 단계는,
상기 복수의 사용자 활동종류 그룹 각각에 대응하는 다중 SVM 분류기를 기초로, 상기 추출된 벡터에 대응하는 상기 적어도 하나의 사용자 활동종류 그룹을 선택하는 단계를 포함하는, 사용자 활동종류를 분류하는 방법.
The method according to claim 1,
The classifier includes a multiple SVM classifier using a multiple SVM (Support Vector Machine) algorithm,
Wherein the selecting comprises:
Selecting the at least one group of user activity types corresponding to the extracted vector based on multiple SVM classifiers corresponding to each of the plurality of user activity category groups.
제1웨어러블 센싱 디바이스로부터 수신된 사용자의 팔의 움직임에 연관된 제1센싱 데이터와 제2웨어러블 센싱 디바이스로부터 수신된 상기 사용자의 발의 움직임에 연관된 제2센싱 데이터를 머징(merging)하여, 머징된 센싱 데이터의 특징을 벡터(vector) 형태로 추출하는 특징 추출기; 및
복수의 사용자 활동종류 그룹 각각에 대한 분류기(classfier)를 기초로, 상기 추출된 벡터에 대응하는 적어도 하나의 사용자 활동종류 그룹을 선택하고, 상기 선택된 적어도 하나의 사용자 활동종류 그룹 내에서 상기 사용자의 활동종류를 분류하는 활동 분류 유닛을 포함하는, 단말 장치.
Merging the first sensing data associated with movement of the user's arm received from the first wearable sensing device and the second sensing data associated with the movement of the user's foot received from the second wearable sensing device, A feature extractor for extracting a feature of the feature vector in a vector form; And
Selecting at least one group of user activity types corresponding to the extracted vector based on a classifier for each of a plurality of groups of user activity types, And an activity classifying unit classifying the classes.
제11항에 있어서,
상기 제1센싱 데이터는 상기 팔의 움직임에 연관된 제1가속도 센싱 데이터, 각속도 센싱 데이터, 및 고도 센싱 데이터 중 적어도 하나를 포함하고,
상기 제2센싱 데이터는 상기 발의 움직임에 연관된 제2가속도 센싱 데이터 및 압력 센싱 데이터 중 적어도 하나를 포함하는, 단말 장치.
12. The method of claim 11,
Wherein the first sensing data comprises at least one of first acceleration sensing data, angular velocity sensing data, and altitude sensing data associated with movement of the arm,
Wherein the second sensing data comprises at least one of second acceleration sensing data and pressure sensing data associated with motion of the foot.
제12항에 있어서,
상기 특징 추출기에 의해 추출된 상기 특징 중에서 특징값 범위에 속하는 정보만을 추출하는 특징값 추출기를 더 포함하는, 단말 장치.
13. The method of claim 12,
And a feature value extractor for extracting only information belonging to a feature value range from the features extracted by the feature extractor.
제11항에 있어서,
상기 분류기는 다중 SVM(Support Vector Machine) 알고리즘을 이용한 다중 SVM 분류기를 포함하고,
상기 활동 분류 유닛은
상기 복수의 사용자 활동종류 그룹 각각에 대응하는 다중 SVM 분류기를 기초로, 상기 추출된 벡터에 대응하는 상기 적어도 하나의 사용자 활동종류 그룹을 선택하는, 단말 장치.
12. The method of claim 11,
The classifier includes a multiple SVM classifier using a multiple SVM (Support Vector Machine) algorithm,
The activity classification unit
And selects the at least one group of user activity types corresponding to the extracted vector, based on multiple SVM classifiers corresponding to each of the plurality of user activity category groups.
사용자의 팔의 움직임에 연관된 제1센싱 데이터를 획득하는 제1웨어러블 센싱 디바이스;
상기 사용자의 발의 움직임에 연관된 제2센싱 데이터를 획득하는 제2웨어러블 센싱 디바이스; 및
상기 제1센싱 데이터와 상기 제2센싱 데이터를 머징(merging)하여, 머징된 센싱 데이터의 특징을 벡터(vector) 형태로 추출하고, 복수의 사용자 활동종류 그룹 각각에 대한 분류기(classifier)를 기초로, 상기 추출된 벡터에 대응하는 적어도 하나의 사용자 활동종류 그룹을 선택하고, 상기 선택된 적어도 하나의 사용자 활동 종류그룹 내에서 상기 사용자의 활동종류를 분류하는 단말 장치를 포함하는, 사용자 활동종류 분류 시스템.A first wearable sensing device for acquiring first sensing data associated with movement of a user's arm;
A second wearable sensing device for acquiring second sensing data associated with movement of the user's foot; And
Merging the first sensing data and the second sensing data to extract features of the merged sensed data as a vector, and based on a classifier for each of the plurality of user activity type groups, And a terminal device for selecting at least one user activity type group corresponding to the extracted vector and classifying the activity type of the user in the selected at least one user activity type group.
KR1020160081930A 2016-06-29 2016-06-29 Method for classifying user activity, terminal device and system using the method KR101854332B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160081930A KR101854332B1 (en) 2016-06-29 2016-06-29 Method for classifying user activity, terminal device and system using the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160081930A KR101854332B1 (en) 2016-06-29 2016-06-29 Method for classifying user activity, terminal device and system using the method

Publications (2)

Publication Number Publication Date
KR20180002427A KR20180002427A (en) 2018-01-08
KR101854332B1 true KR101854332B1 (en) 2018-05-03

Family

ID=61003942

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160081930A KR101854332B1 (en) 2016-06-29 2016-06-29 Method for classifying user activity, terminal device and system using the method

Country Status (1)

Country Link
KR (1) KR101854332B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100702140B1 (en) * 2006-05-26 2007-03-30 윤병주 Apparatus and method for controlling unit in response to user state in portable unit
KR101500662B1 (en) * 2013-10-18 2015-03-09 경희대학교 산학협력단 Apparatus and method for activity recognizing using mobile device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100702140B1 (en) * 2006-05-26 2007-03-30 윤병주 Apparatus and method for controlling unit in response to user state in portable unit
KR101500662B1 (en) * 2013-10-18 2015-03-09 경희대학교 산학협력단 Apparatus and method for activity recognizing using mobile device

Also Published As

Publication number Publication date
KR20180002427A (en) 2018-01-08

Similar Documents

Publication Publication Date Title
US9411780B1 (en) Employing device sensor data to determine user characteristics
CN106095099B (en) A kind of user behavior motion detection recognition methods
Berchtold et al. Actiserv: Activity recognition service for mobile phones
CN106887115B (en) A kind of Falls Among Old People monitoring device and fall risk appraisal procedure
Uddin et al. Random forests based recognition of human activities and postural transitions on smartphone
JP6254836B2 (en) Image search apparatus, control method and program for image search apparatus
Benson et al. Classifying running speed conditions using a single wearable sensor: Optimal segmentation and feature extraction methods
Morales et al. Human activity recognition by smartphones regardless of device orientation
Nguyen et al. Classification of five ambulatory activities regarding stair and incline walking using smart shoes
US20180360157A1 (en) Smart shoe and method for processing data therefor
Nahar et al. A machine learning based fall detection for elderly people with neurodegenerative disorders
Hung et al. Activity recognition with sensors on mobile devices
Garcia-Ceja et al. An improved three-stage classifier for activity recognition
Aderinola et al. Learning age from gait: A survey
Minh et al. Evaluation of smartphone and smartwatch accelerometer data in activity classification
CN112370048A (en) Movement posture injury prevention method and system based on joint key points and storage medium
US20180255879A1 (en) Receiving feedback based on pressure sensor data and movement data
KR101854332B1 (en) Method for classifying user activity, terminal device and system using the method
Zainudin et al. Monitoring daily fitness activity using accelerometer sensor fusion
Eskofier et al. Pattern classification of foot strike type using body worn accelerometers
Choi et al. Gait type classification using smart insole sensors
Samiei-Zonouz et al. Smartphone-centric human posture monitoring system
CN113891681A (en) Information processing apparatus, personal identification system, information processing method, and storage medium
Alaoui et al. Urban transportation mode detection from inertial and barometric data in pedestrian mobility
CN111772639B (en) Motion pattern recognition method and device for wearable equipment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant