KR100925162B1 - Method and system generating object location trace model and recongnizing a pattern of object location trace - Google Patents
Method and system generating object location trace model and recongnizing a pattern of object location trace Download PDFInfo
- Publication number
- KR100925162B1 KR100925162B1 KR1020080012995A KR20080012995A KR100925162B1 KR 100925162 B1 KR100925162 B1 KR 100925162B1 KR 1020080012995 A KR1020080012995 A KR 1020080012995A KR 20080012995 A KR20080012995 A KR 20080012995A KR 100925162 B1 KR100925162 B1 KR 100925162B1
- Authority
- KR
- South Korea
- Prior art keywords
- object position
- position change
- change history
- model
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000013507 mapping Methods 0.000 claims abstract description 17
- 238000012360 testing method Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 6
- 230000006399 behavior Effects 0.000 abstract description 92
- 230000000694 effects Effects 0.000 abstract description 3
- 238000010411 cooking Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 3
- 238000013179 statistical model Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 241000288113 Gallirallus australis Species 0.000 description 2
- 238000004851 dishwashing Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 241001417495 Serranidae Species 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
- G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
본 발명에 따른 객체위치 변화 이력 모델 생성 방법은, 소정의 객체위치 변화 이력 유형에 속하는 1 이상의 객체위치 변화 이력 정보를 기초로 객체위치 변화 이력 모델을 생성하는 객체위치 변화 이력 모델 생성 방법에 있어서, [a] 상기 소정의 객체위치 변화 이력 유형에 속하는 1 이상의 객체위치 변화 이력 정보에서 특정시각의 객체위치와 관련된 정보를 포함하는 특정시각 별 객체위치 정보 데이터를 생성하는 단계 [b] 상기 각 특정시각 별 객체 위치 정보 데이터를 시각을 포함하는 좌표에 각각 대응시키고 상기 좌표간의 거리가 기 설정된 거리 범위 이내에 있는 좌표를 하나의 그룹으로 그룹화하여 1 이상의 그룹을 생성하는 단계 [c] 상기 소정의 객체위치 변화 이력 유형을 상기 1이상의 그룹의 집합으로 대응시키는 단계 및 [d] 상기 그룹의 집합을 은닉 마르코프 모델을 이용하여 학습시켜서 상기 소정의 객체위치 변화 이력 유형의 객체위치 변화 이력 모델을 생성하는 단계를 포함하는 것을 특징으로 한다.In the object position change history model generation method according to the present invention, in the object position change history model generation method for generating an object position change history model based on one or more object position change history information belonging to a predetermined object position change history type, [a] generating object position information data for each specific time including information related to the object position at a specific time from one or more object position change history information belonging to the predetermined object position change history type [b] Generating one or more groups by mapping the respective object position information data to coordinates including time, and grouping coordinates whose distances between the coordinates are within a predetermined distance range into one group. [C] The predetermined object position change Mapping a history type to the set of one or more groups and [d] the set of groups Learning by using Hidden Markov model is characterized in that it comprises the step of generating an object position change history model of the specific object position change of the hysteresis type.
이에 따라서, 소정의 의도를 갖는 사용자의 행동을 행동모델로 효과적으로 구축할 수 있게 되면, 상기 행동모델을 이용하여 사용자의 행동의 의도를 인식할 수 있게 되는 효과를 성취할 수 있게 된다.Accordingly, when it is possible to effectively build a user's behavior with a predetermined intention as a behavior model, it is possible to achieve the effect of being able to recognize the intention of the user's behavior using the behavior model.
객체위치 변화 이력 유형 모델, 의도 인식, 행동 모델 Object position change history type model, intention recognition, behavior model
Description
객체위치 변화 이력을 파악하고 객체위치 변화 이력 유형을 모델링하는 기술분야 및 새로운 객체위치 변화 이력을 입력으로 받아서 입력된 객체위치 변화 이력의 객체위치 변화 이력 유형을 판단하는 기술 분야에 관한 것이다.The present invention relates to a technical field for identifying an object position change history and modeling an object position change history type, and a technology field for determining an object position change history type of an input object position change history by receiving a new object position change history.
즉, 객체위치 변화 이력인 사용자의 행동을 인식하고 행동에 대한 의도인 객체위치 변화 이력 유형을 인식하는 기술분야에 관련된 발명이다. 사용자의 의도별 행동에 대한 행동모델을 구축하는 기술 및 상기 구축된 행동모델을 이용하여 사용자의 행동의 의도를 인식할 수 있는 기술분야에 관련된 발명이다.That is, the present invention relates to a technical field of recognizing a user's behavior that is an object position change history and an object position change history type that is intended for an action. The present invention relates to a technology for constructing a behavior model for a user's intention-specific behavior and a technology that can recognize the intention of the user's behavior using the constructed behavior model.
유비쿼터스 환경은 사용자의 주변에 다양한 종류의 컴퓨터가 사물 안에 존재하여 서로 자유롭게 언제 어디서나 네트워크에 접속하는 환경이다. 이런 환경에서는 사용자 주변에 수많은 종류의 센서가 존재하기 때문에 사용자의 현재 상황에 대한 상황정보들 획득할 수 있다. 이에 따라 획득한 상황정보들을 통해 사용자에게 적합한 서비스를 제공하는 것은 유비쿼터스 컴퓨팅에서 이슈가 되고 있다. 상황에 맞는 서비스 제공을 위해서는 사용자의 현재 행동의 의도를 파악하는 과정이 수반되어야 한다.The ubiquitous environment is an environment in which various kinds of computers exist in objects around the user and freely access the network anytime and anywhere. In this environment, since there are many kinds of sensors around the user, context information about the current situation of the user can be obtained. Accordingly, providing a suitable service to the user through the acquired situation information has become an issue in ubiquitous computing. In order to provide a service suitable for a situation, a process of identifying the current intention of the user's action must be accompanied.
사람의 의도란 그 사람이 하는 행동과 밀접한 관계가 있다. Fishbein, Ajzen 및 Triandis은 사람의 의도는 행동을 예측하고, 유추할 수 있는 중요한 정보라고 정의하였고, 여러 다른 연구에서는 사람들의 의도로부터 어떤 행동을 하는지에 대하여 예측하는 실험을 하였다. 이 연구들은 사람의 의도는 행동과 연관이 있다는 것을 증명한다. 이처럼 의도에 의해서 사람이 어떤 행동을 할지를 결정하게 되므로 같은 의도를 지녔다면 사람의 행동은 유사하게 나타난다. 이런 의도와 행동 사이의 연관성을 이용하면 사용자의 의도에 따른 행동의 모델을 정의할 수 있고, 이 행동 모델을 통해 사용자의 현재 행동의 의도를 파악하는 것이 가능하다.A person's intention is closely related to the person's actions. Fishbein, Ajzen, and Triandis defined human intentions as important information that can be used to predict and infer behavior, and several other studies have experimented with predicting what to do from people's intentions. These studies demonstrate that human intention is related to behavior. In this way, the intention determines the person's actions, so if they have the same intention, the person's actions are similar. By using this association between intention and behavior, it is possible to define a model of behavior according to the user's intention, and through this behavior model, it is possible to grasp the intention of the user's current behavior.
사람들이 어떠한 행동을 할 때에는 특정 의도를 가지고 있기 때문에 상황에 맞는 적합한 서비스를 제공하기 위해서는 사용자가 현재 하고 있는 행동에 대한 의도를 파악 해야한다. 이를 위해 의도와 행동 사이의 연관성을 이용하여 사용자의 의도에 따른 행동의 모델을 만든다. 일상생활에서 사람들이 하는 행동은 작은 단위 행동들의 연속(sequence)으로 이뤄지므로, 사용자의 단위 행동의 순서를 분석한다 면 의도에 따른 행동 모델을 만들기가 용이해진다. 하지만, 이런 단위 행동 분석 방법의 문제점은 같은 의도를 가진 행동이 완벽하게 동일한 단위 행동의 순서로 일어나지는 않는다는 점이다. 시스템은 동일한 동작순서로 일어나지 않는 행동들을 서로 다른 의도를 가진 행동으로 이해하게 된다. 따라서, 이 문제점을 해결할 수 있는 사용자 의도 파악 기법이 필요하다.Since people have specific intentions when they do something, it is necessary to understand the intentions of the user's current actions in order to provide appropriate services for the situation. To do this, we model the behavior according to the user's intention by using the association between intention and behavior. People's actions in everyday life are made up of a sequence of small unit actions, so analyzing the sequence of user unit actions makes it easier to create behavioral models based on intentions. However, a problem with this method of analyzing unit behavior is that behaviors with the same intention do not occur in the exact same sequence of unit behaviors. The system understands actions that do not occur in the same order of operation as actions with different intentions. Therefore, there is a need for a user intention grasp technique that can solve this problem.
본 발명에서는 과거의 사용자의 행동정보를 기반으로 행동들의 유사성을 판별하였고, 그 결과를 이용하여 행동의 의도를 파악하는 방법을 사용한다. 이를 위해, 과거 사용자가 한 행동들을 특정시각 별로 나누어 단위 행동의 순서로 만들고, 이를 K-평균 군집화 방법(K-means)으로 군집들의 순서로 나타내었다. 이 변경된 사용자 행동 정보를 사용하여 은닉 마코프 모델을 학습시키고, 이렇게 만들어진 은닉 마코프 모델은 현재 사용자가 행한 행동이 어떤 행동인지를 예측하여 사용자의 의도를 파악한다.In the present invention, the similarity of the behaviors is determined based on the behavior information of the past user, and a method of identifying the intention of the behavior using the result is used. For this purpose, the behaviors of past users were divided by specific time in order of unit behavior, and this was expressed in the order of clusters by K-means clustering method (K-means). The modified Markov model is trained using the changed user behavior information, and the created Hidden Markov model predicts the user's intention by predicting what the current user has done.
본 발명의 목적의 제1관점에 따른 객체위치 변화 이력 모델 생성 방법은,소정의 객체위치 변화 이력 유형에 속하는 1 이상의 객체위치 변화 이력 정보를 기초로 객체위치 변화 이력 모델을 생성하는 객체위치 변화 이력 모델 생성 방법에 있어서, [a] 상기 소정의 객체위치 변화 이력 유형에 속하는 1 이상의 객체위치 변화 이력 정보에서 특정시각의 객체위치와 관련된 정보를 포함하는 특정시각 별 객체위치 정보 데이터를 생성하는 단계 [b] 상기 각 특정시각 별 객체 위치 정보 데이터를 시각을 포함하는 좌표에 각각 대응시키고 상기 좌표간의 거리가 기 설정된 거리 범위 이내에 있는 좌표를 하나의 그룹으로 그룹화하여 1 이상의 그룹을 생성하는 단계 [c] 상기 소정의 객체위치 변화 이력 유형을 상기 1이상의 그룹의 집합으로 대응시키는 단계 및 [d] 상기 그룹의 집합을 은닉 마르코프 모델을 이용하여 학습시켜서 상기 소정의 객체위치 변화 이력 유형의 객체위치 변화 이력 모델을 생성하는 단계를 포함하는 것을 특징으로 한다.In accordance with a first aspect of the present invention, an object position change history model generating method includes: an object position change history generating an object position change history model based on one or more object position change history information belonging to a predetermined object position change history type. A method of generating a model, the method comprising: [a] generating object position information data for a specific time including information related to an object position at a specific time from one or more object position change history information belonging to the predetermined object position change history type [ b) generating one or more groups by mapping the object position information data for each specific time to coordinates including time, and grouping coordinates whose distance between the coordinates is within a preset distance range into one group [c] Mapping the predetermined object position change history type to the set of one or more groups; and [d] Learning by using Hidden Markov Model-based set of groups is characterized in that it comprises the step of generating an object position change history model of the specific object position change of the hysteresis type.
바람직하게는, 상기 상기 [b]단계에서 그룹화하는 방법은 향상된 k-평균기법(Improved k-means)을 이용하여 그룹화하는 것을 특징으로 할 수 있다.Preferably, the method of grouping in the step [b] may be characterized in that the grouping using the improved k-means (Improved k-means).
더욱 바람직하게는, 상기 객체는 인체의 신체를 포함하는 것을 특징으로 할 수 있다.More preferably, the object may be characterized by including the body of the human body.
더욱 바람직하게는, 상기 객체 위치 변화 이력 정보는, 상기 객체가 접촉하는 물건의 정보 및 사용 시각 정보를 포함하는 것을 특징으로 할 수 있다.More preferably, the object position change history information may be characterized in that it includes information on the object and the use time information that the object is in contact.
본 발명의 목적의 제2관점에 따른 객체위치 변화 이력 모델을 이용한 객체위치 변화 이력 유형을 인식하는 방법은 소정의 객체위치 변화 이력 유형에 속하는 1 이상의 객체위치 변화 이력 정보를 기초로 생성된 객체위치 변화 이력 모델을 이용한 객체위치 변화 이력 유형을 인식하는 방법에 있어서, [a] 상기 소정의 객체위치 변화 이력 유형에 속하는 1 이상의 객체위치 변화 이력 정보에서 특정시각의 객체위치와 관련된 정보를 포함하는 특정시각 별 객체위치 정보 데이터를 생성하는 단계 [b] 상기 각 특정시각 별 객체 위치 정보 데이터를 시각을 포함하는 좌표에 각각 대응시키고 상기 좌표간의 거리가 기 설정된 거리 범위 이내에 있는 좌표를 하나의 그룹으로 그룹화하여 1 이상의 그룹을 생성하는 단계 [c] 상기 소정의 객체 위치 변화 이력 유형을 상기 1이상의 그룹의 집합으로 대응시키는 단계 [d] 상기 그룹의 집합을 은닉 마르코프 모델을 이용하여 학습시켜서 상기 소정의 객체위치 변화 이력 유형의 객체위치 변화 이력 모델을 생성하는 단계 및 [e] 시험대상 객체 위치 변화 이력 정보를 이루는 특정시각 별 시험대상 객체위치 정보 데이터를 상기 객체위치 변화 모델의 은닉 마코프 모델의 입력값으로 입력하여 산출되는 확률값을 기초로 상기 시험대상 객체 위치 변화 이력 정보가 상기 소정의 객체위치 변화 이력 유형에 속하는지를 인식하는 단계를 포함하는 것을 특징으로 한다.A method for recognizing an object position change history type using an object position change history model according to a second aspect of the present invention is an object position generated based on one or more object position change history information belonging to a predetermined object position change history type. A method of recognizing an object position change history type using a change history model, the method comprising: [a] specifying one or more object position change history information belonging to the predetermined object position change history type including information related to an object position at a specific time; Generating object position information data for each time [b] The object position information data for each specific time correspond to coordinates including time, and group coordinates whose distance between the coordinates is within a predetermined distance range into one group. Generating at least one group by using the [c] method for generating a predetermined object position change history type. Mapping the set of groups to one or more groups [d] training the set of groups using a hidden Markov model to generate an object position change history model of the predetermined object position change history type; and [e] a test object The test subject object position change history information is based on a probability value calculated by inputting test subject object position information data for a specific time constituting object position change history information as an input value of a hidden Markov model of the object position change model. And recognizing whether it belongs to the object position change history type.
바람직하게는, 상기 상기 [b]단계에서 그룹화하는 방법은 향상된 k-평균기법(Improved k-means)을 이용하여 그룹화하는 것을 특징으로 할 수 있다.Preferably, the method of grouping in the step [b] may be characterized in that the grouping using the improved k-means (Improved k-means).
더욱 바람직하게는, 상기 객체는 인체의 신체를 포함하는 것을 특징으로 할 수 있다.More preferably, the object may be characterized by including the body of the human body.
더욱 바람직하게는, 상기 객체 위치 변화 이력 정보는, 상기 객체가 접촉하는 물건의 정보 및 사용 시각 정보를 포함하는 것을 특징으로 할 수 있다.More preferably, the object position change history information may be characterized in that it includes information on the object and the use time information that the object is in contact.
본 발명의 목적의 제3관점에 따른 객체위치 변화 이력 모델 생성 장치는, 소정의 객체위치 변화 이력 유형에 속하는 1 이상의 객체위치 변화 이력 정보를 입력 받는 입력부 상기 객체위치 변화 이력 유형에 속하는 1 이상의 객체위치 변화 이력 정보에서 특정시각의 객체위치와 관련된 정보를 포함하는 특정시각 별 객체위치 정보 데이터를 생성하고, 상기 각 특정시각별 객체 위치 정보 데이터를 시각을 포함하는 좌표에 각각 대응시키고 상기 좌표간의 거리가 기 설정된 거리 범위 이내 에 있는 좌표를 하나의 그룹으로 그룹화하여 1 이상의 그룹을 생성하는 그룹화부 및 상기 소정의 객체위치 변화 이력 유형을 상기 1이상의 그룹의 집합으로 대응시키고, 상기 그룹의 집합을 은닉 마르코프 모델을 이용하여 학습시켜서 상기 소정의 객체위치 변화 이력 유형의 객체위치 변화 이력 모델을 생성하는 모델생성부를 포함하는 것을 특징으로 한다.An object position change history model generating apparatus according to a third aspect of the present invention includes an input unit for receiving one or more object position change history information belonging to a predetermined object position change history type, and one or more objects belonging to the object position change history type. Generating object position information data for each specific time including information related to the object position of a specific time from the position change history information, and corresponding object position information data for each specific time respectively to coordinates including time and distance between the coordinates. A grouping unit for generating one or more groups by grouping coordinates within a preset distance range into one group, and mapping the predetermined object position change history type to the set of one or more groups, and concealing the set of groups. History of change of the predetermined object position by training using Markov model Model generator for generating an object position change history of the model type, and it characterized in that it comprises a.
바람직하게는, 상기 그룹화부는 향상된 k-평균기법(Improved k-means)을 이용하여 그룹화하는 것을 특징으로 할 수 있다.Preferably, the grouping unit may be characterized in that the grouping using the improved k-means (Improved k-means).
더욱 바람직하게는, 상기 객체는 인체의 신체를 포함하는 것을 특징으로 할 수 있다.More preferably, the object may be characterized by including the body of the human body.
더욱 바람직하게는, 상기 객체 위치 변화 이력 정보는, 상기 객체가 접촉하는 물건의 정보 및 사용 시각 정보를 포함하는 것을 특징으로 할 수 있다.More preferably, the object position change history information may be characterized in that it includes information on the object and the use time information that the object is in contact.
본 발명의 목적의 제4관점에 따른 객체위치 변화 이력 모델을 이용한 객체위치 변화 이력 유형 인식 시스템은, 객체위치 변화 이력 모델 생성 장치 및 객체위치 변화 이력 유형 인식장치를 포함하는 객체위치 변화 이력 모델을 이용한 객체위치 변화 이력 유형 인식 시스템에 있어서, 상기 객체위치 변화 이력 모델 생성장치는, 소정의 객체위치 변화 이력 유형에 속하는 1 이상의 객체위치 변화 이력 정보를 입력 받는 제1 입력부 상기 객체위치 변화 이력 유형에 속하는 1 이상의 객체위치 변화 이력 정보에서 특정시각의 객체위치와 관련된 정보를 포함하는 특정시각 별 객체위치 정보 데이터를 생성하고, 상기 각 특정시각별 객체 위치 정보 데이터를 시각을 포함하는 좌표에 각각 대응시키고 상기 좌표간의 거리가 기 설정된 거리 범위 이내에 있는 좌표를 하나의 그룹으로 그룹화하여 1 이상의 그룹을 생성하는 그룹화부 및 상기 객체위치 변화 이력 유형을 상기 1이상의 그룹의 집합으로 대응시키고, 상기 그룹의 집합을 은닉 마르코프 모델을 이용하여 학습시켜서 상기 소정의 객체위치 변화 이력 유형의 객체위치 변화 이력 모델을 생성하는 모델생성부를 포함하고, 상기 객체위치 변화 이력 유형 인식장치는, 시험대상 객체 위치 변화 이력 정보를 이루는 특정시각 별 시험대상 객체위치 정보 데이터를 입력받는 제2 입력부 및 상기 시험대상 객체 위치 변화 이력 정보를 이루는 특정시각 별 객체위치 정보 데이터를 상기 객체위치 변화 모델의 은닉 마코프 모델의 입력값으로 입력하여 산출되는 확률값을 기초로 상기 시험대상 객체 위치 변화 이력 정보가 상기 소정의 객체위치 변화 이력 유형에 속하는지를 인식하는 객체위치 변화 이력 유형 인식부를 포함하는 것을 특징으로 한다.The object position change history type recognition system using the object position change history model according to the fourth aspect of the present invention comprises an object position change history model including an object position change history model generation device and an object position change history type recognition device. In the object position change history type recognition system used, the object position change history model generation device, the first input unit for receiving one or more object position change history information belonging to a predetermined object position change history type to the object position change history type Generate object position information data for each specific time including information related to the object position of a specific time from one or more object position change history information belonging to each other, and map the object position information data for each specific time to coordinates including a time; Left, the distance between the coordinates is within a predetermined distance range A grouping unit for generating one or more groups by grouping the group into one group, and the object position change history type to correspond to the set of the one or more groups, and learning the set of groups using a hidden Markov model. And a model generation unit for generating an object position change history model of a position change history type, wherein the object position change history type recognition device receives the object position information data for each specific time that constitutes the object position change history information to be tested. A history of the position change of the object under test based on a probability value calculated by inputting object position information data for each specific time constituting a second input unit and the object position change history information of the object as an input value of a hidden Markov model of the object position change model; The information belongs to the predetermined object position change history type. The object position change history type recognition unit for recognizing a finger is characterized in that it comprises a.
바람직하게는, 상기 그룹화부는 향상된 k-평균기법(Improved k-means)을 이용하여 그룹화하는 것을 특징으로 할 수 있다.Preferably, the grouping unit may be characterized in that the grouping using the improved k-means (Improved k-means).
더욱 바람직하게는, 상기 객체는 인체의 신체를 포함하는 것을 특징으로 할 수 있다.More preferably, the object may be characterized by including the body of the human body.
더욱 바람직하게는, 상기 객체 위치 변화 이력 정보는, 상기 객체가 접촉하는 물건의 정보 및 사용 시각 정보를 포함하는 것을 특징으로 할 수 있다.More preferably, the object position change history information may be characterized in that it includes information on the object and the use time information that the object is in contact.
본 발명의 목적의 제5관점에 따른 컴퓨터 상에서 수행하게 할 수 있는 프로그램을 기록한 기록매체는, 소정의 객체위치 변화 이력 유형에 속하는 1 이상의 객체위치 변화 이력 정보를 기초로 생성된 객체위치 변화 이력 모델을 이용한 객체 위치 변화 이력 유형을 인식하는 방법에 있어서, [a] 상기 소정의 객체위치 변화 이력 유형에 속하는 1 이상의 객체위치 변화 이력 정보에서 특정시각의 객체위치와 관련된 정보를 포함하는 특정시각 별 객체위치 정보 데이터를 생성하는 단계 [b] 상기 각 특정시각 별 객체 위치 정보 데이터를 시각을 포함하는 좌표에 각각 대응시키고 상기 좌표간의 거리가 기 설정된 거리 범위 이내에 있는 좌표를 하나의 그룹으로 그룹화하여 1 이상의 그룹을 생성하는 단계 [c] 상기 소정의 객체위치 변화 이력 유형을 상기 1이상의 그룹의 집합으로 대응시키는 단계 [d] 상기 그룹의 집합을 은닉 마르코프 모델을 이용하여 학습시켜서 상기 소정의 객체위치 변화 이력 유형의 객체위치 변화 이력 모델을 생성하는 단계 및 [e] 시험대상 객체 위치 변화 이력 정보를 이루는 특정시각 별 시험대상 객체위치 정보 데이터를 상기 객체위치 변화 모델의 은닉 마코프 모델의 입력값으로 입력하여 산출되는 확률값을 기초로 상기 시험대상 객체 위치 변화 이력 정보가 상기 소정의 객체위치 변화 이력 유형에 속하는지를 인식하는 단계를 컴퓨터 상에서 수행하게 할 수 있는 프로그램을 기록한 것을 특징으로 한다.A recording medium having recorded thereon a program that can be executed on a computer according to a fifth aspect of the present invention is an object position change history model generated based on one or more object position change history information belonging to a predetermined object position change history type. In the method for recognizing object position change history type using the method, [a] an object for a specific time including information related to the object position at a specific time in one or more object position change history information belonging to the predetermined object position change history type Generating location information data [b] The object location information data for each specific time corresponds to coordinates including time, and coordinates having a distance between the coordinates within a predetermined distance range are grouped into one group or more; Creating a group [c] wherein the predetermined object position change history type is equal to or greater than one; Mapping the set of groups to a set of groups using a hidden Markov model to generate an object position change history model of the predetermined object position change history type; and [e] changing the object position under test. The subject object position change history information is changed to the predetermined object position based on a probability value calculated by inputting subject object position information data for each specific time forming history information as an input value of a hidden Markov model of the object position change model. A program is recorded which enables the computer to perform the step of recognizing whether belonging to the history type.
하나의 객체 위치 변화 이력 유형에 속하는 1 이상의 객체의 위치 변화 이력의 정보의 양이 매우 방대하지만, 본 발명에서는 특정시각 별 객체위치 정보 데이터를 그룹화함으로써 효과적으로 모델링을 할 수 있도록 하고 있다. Although the amount of information of the position change history of one or more objects belonging to one object position change history type is very large, the present invention enables effective modeling by grouping object position information data for each specific time.
즉, 소정의 의도를 갖는 사용자의 행동을 행동모델로 효과적으로 구축할 수 있게 되면, 상기 행동모델을 이용하여 사용자의 행동의 의도를 인식할 수 있게 되는 효과를 성취할 수 있게 된다.That is, when the user's behavior having a predetermined intention can be effectively constructed as a behavior model, an effect of recognizing the intention of the user's behavior can be achieved using the behavior model.
또한, 단위 행동 분석 방법의 문제점인 같은 의도를 가진 행동이 완벽하게 동일한 단위 행동의 순서로 일어나지는 않는다는 점 때문에 의도 인식률이 저하될 수 있다는 점을 그룹화 및 HMM을 이용함으로써 극복 할 수 있는 효과를 얻을 수 있다. In addition, grouping and HMM can be used to overcome the fact that the same intention behavior, which is a problem of the unit behavior analysis method, does not occur in the exact same sequence of unit behaviors. Can be.
나아가, 유비쿼터스 환경을 이용하여 행동정보를 획득한 후 이를 이용하여 행동모델을 구축할 수 있고, 사용자의 행동정보를 이용하여 사용자의 의도를 파악할 수 있게 된다.Furthermore, after acquiring behavior information using a ubiquitous environment, a behavior model can be constructed using the behavior information, and the user's intention can be grasped using the behavior information of the user.
첨부된 도면을 참조하여 본 발명의 구체적인 실시예를 설명하면 다음과 같다.Hereinafter, specific embodiments of the present invention will be described with reference to the accompanying drawings.
도1은 본 발명의 주요한 개념을 설명하고 있다. 사람이 특정의도를 가졌다면, 그 의도에 따라 특정 행동을 하게 된다. 본 발명에서의 행동은 의도가 있는 행동으로서, 특정시각으로 구분되는 단위 행동들의 연속으로 정의한다. 즉, 이런 의도를 가진 행동을 특정시각 또는 단위시간으로 나누면 단위 행동들의 연속으로 나타낼 수 있다.1 illustrates the main concepts of the present invention. If a person has a specific intention, he or she will behave according to that intention. Actions in the present invention are intended actions and are defined as a sequence of unit actions separated by a specific time. In other words, dividing an action with such intention into a specific time or unit time can be represented as a sequence of unit actions.
의도에 따른 행동 모델은 사용자가 과거에 특정 의도를 가지고 행한 행동들을 기반으로 향상된 K-means 기법과 은닉 마코프 모델을 사용하여 구축한다.Intentional behavior model is constructed using advanced K-means techniques and hidden Markov models based on the behaviors users have previously performed with specific intentions.
사용자 행동 저장장치(101)에 소정의 의도를 갖는 사용자의 행동을 단순화하여 표현하기 위해 사용자가 행했던 모든 행동들을 단위행동들로 나누어 저장한다. In order to simplify and express the behavior of a user having a predetermined intention, the user
그룹화장치(102)가 향상된 K-means기법으로 상기 단위 행동들을 군집으로 묶는다. 사용자의 하나의 행동에 대해 단위 행동으로 나누고 그 단위 행동들이 속한 군집으로 단위행동들을 표현하면 단위 행동들의 연속으로 표현되는 하나의 행동을 단위 행동들이 속한 군집들의 연속으로 단순화하여 표현하게 된다. 단순화된 행동들을 의도별로 구분하여 은닉 마코프 모델 기법(103)을 통해 학습을 수행하게 되면 각 의도에 따른 행동 모델(104~107)이 구축된다.
사용자의 특정 행동에 대한 의도는 상기 구축된 행동 모델을 이용하여 인식된다. 관찰된 사용자의 행동을 각 행동 모델에 입력으로 주면 그 행동이 각 모델의 의도와 부합될 확률을 결과로 준다. 이를 통해 관찰된 행동이 어떤 의도를 가진 행동인지 인식(108)하게 된다.The intention of the user for a particular behavior is recognized using the constructed behavior model. Inputting the observed user's behavior into each behavioral model gives the probability that the behavior matches the intentions of each model. This will recognize 108 the intended behavior of the observed behavior.
본 발명에서 객체위치 변화 이력 정보는 객체(인체의 신체의 특정 부위 등)의 공간상의 위치의 시간에 따른 변화의 정보를 뜻하는 객체의 행동 이력 정보를 의미하며, 객체위치 변화 이력 유형은 상기 행동이 분류되는 하나의 카테고리 또는 상기 행동이 그 결과로 목적하는 의도 등을 포함한다. 즉, 어떤 객체위치 변화 이력이라는 행동은 소정의 객체위치 변화 이력 유형으로서 소정의 목적인 요리, 설거지, 인사 등의 카테고리에 포함될 수 있다. 이 때, 각객체위치 변화 이력은 요 리유형, 설거지 유형, 인사유형으로 나뉘어 어느 하나의 유형으로 구분될 수 있게 된다.In the present invention, the object position change history information refers to the behavior history information of the object which refers to the information of the change over time of the spatial position of the object (a specific part of the body of the human body, etc.), and the object position change history type is the behavior. This category includes one category or action as a result of which the intended intention is or the like. That is, an action of a certain object position change history may be included in a category such as cooking, washing dishes, greetings, etc. as a predetermined object position change history type. At this time, the history of each object position change can be classified into one type by dividing into cooking type, dishwashing type, and greeting type.
특정시각 별 객체위치 정보 데이터는 상기 객체위치 변화 이력 정보에서 특정시각별 또는 단위시간별로 구분된 데이터이다. 즉, 객체의 행동인 객체위치 변화 이력 정보를 특정시각별 또는 단위시간별로 구분하여 각 시각에 해당하는 행동인 특정시각 별 객체위치 정보 데이터로 분류할 수 있다.The object position information data for each specific time is data classified by a specific time or unit time in the object position change history information. That is, the object position change history information, which is an action of an object, may be classified by specific time or unit time, and classified into object position information data by specific time, which is an action corresponding to each time.
도2는 본 발명에 따른 객체위치 변화 이력 모델생성 방법의 순서도를 도시하고 있다.2 is a flowchart illustrating a method of generating an object position change history model according to the present invention.
객체위치 변화 이력 정보를 1 이상 입력 받고(S200), 상기 각 객체위치 변화 이력 정보를 이루는 특정시각별 객체위치 정보 데이터를 소정의 그룹으로 그룹화하여 1 이상의 그룹으로 그룹을 생성한다(S300). 상기 객체위치 변화 이력 정보를 이루는 특정시각별 객체위치 정보 데이터를 상기 특정시각별 객체위치 정보 데이터가 속하는 그룹에 대응시키고, 상기 객체위치 변화 이력 정보를 상기 대응된 그룹의 집합으로 표현한다(S400). 상기 그룹의 집합을 은닉 마르코프 모델을 이용하여 학습시켜서 상기 객체위치 변화 이력 모델을 생성한다(S500).At least one object position change history information is input (S200), and the object position information data for each specific time constituting the object position change history information is grouped into a predetermined group to generate a group of one or more groups (S300). The object position information data for each specific time constituting the object position change history information corresponds to a group to which the object position information data for each specific time belongs, and the object position change history information is expressed as a set of the corresponding groups (S400). . The set of groups is trained using a hidden Markov model to generate the object position change history model (S500).
그룹화는 향상된 K-means기법을 이용하여 그룹화하는 것이 바람직할 수 있다. 즉, 특정시각 별 객체 위치 정보 데이터들을 시간 차원을 포함하는 좌표로 표현한 후 향상된 K-means기법으로 상기 좌표간의 거리가 소정의 거리 이내에 있는 경우 하나의 그룹으로 그룹화를 한다.Grouping may be desirable to group using advanced K-means techniques. That is, the object position information data for a specific time is represented by coordinates including a time dimension, and then grouped into one group when the distance between the coordinates is within a predetermined distance by an improved K-means technique.
일 실시예를 설명하면, 객체위치는 최대 3차원공간으로 표현할 수 있고, 위치변화 이력에는 시간이 필요하므로, 최대 4차원의 좌표 요소가 필요할 수 있다. 즉, 객체위치 변화 이력 정보를 '배열[x,y,z,t]'와 같이 표현한 후 각 좌표간의 거리가 소정의 거리 이내에 해당하는 경우 상기 각 좌표를 하나의 그룹으로 그룹화한다. 이때 소정의 거리는 상기 K-means기법에 따른 Rmax로 정해지는 것이 바람직할 수 있다.Referring to one embodiment, the object position can be represented in a maximum three-dimensional space, and since the position change history requires time, up to four-dimensional coordinate elements may be required. That is, the object position change history information is expressed as 'array [x, y, z, t]', and when each distance is within a predetermined distance, the coordinates are grouped into one group. In this case, the predetermined distance may be preferably determined by Rmax according to the K-means technique.
특정시각 별 객체 위치 정보 데이터들을 그룹화하면, 특정시각 별 객체 위치 정보 데이터들이 특정시각 별 객체 위치 정보 데이터들이 속한 그룹들의 연속으로 단순화하여 표현하게 된다. 객체위치 변화 이력 유형 별로 구분된 그룹화된 객체위치 변화 이력 정보들을 은닉 마코프 모델 기법을 통해 학습을 수행하게 되면 객체위치 변화 이력 유형에 따른 객체위치 변화 이력 모델이 구축된다.When the object location information data for each specific time are grouped, the object location information data for each specific time are simplified and represented as a series of groups to which the object location information data for each specific time belong. When the grouped object position change history information classified by object position change history type is trained through a hidden Markov model technique, an object position change history model according to the object position change history type is constructed.
향상된 K-means기법이란 클러스터링을 위해 자주 사용되는 기법이다. 구하고자 하는 클러스터의 개수를 K라 하면, 처음부터 K개의 중심 벡터를 설정해두고 이 벡터들을 기준으로 하여 클러스터링하고, 클러스터링 된 결과로부터 중심벡터들을 재설정하는 반복적인 방식의 알고리즘이다. 이 방법은 사용이 간편하여 군집 분석 이외에도 분류/예측을 위한 선행 작업, 특이 오류 값이나 결손 값 처리작업 등 다양한 분석에서 사용되고 있다. 하지만 군집의 개수 K를 정할 때, 실제 데이터의 구조가 이 값보다 작거나 큰 수의 군집 특성을 가질 경우 좋은 결과를 기대하기 어렵다. 따라서 K 값을 상황에 맞게 유동적으로 변환시켜줄 방법이 필요하다. 이를 위해 본 발명에서는 군집의 직경을 제한하는 방법을 채택하였다.The improved K-means technique is a commonly used technique for clustering. If K is the number of clusters to be obtained, it is an iterative algorithm that sets K center vectors from the beginning, clusters them based on these vectors, and resets the center vectors from the clustered result. This method is easy to use and is used in various analysis such as preliminary work for classification / prediction, processing of specific error value or missing value, in addition to cluster analysis. However, when determining the number of clusters K, it is difficult to expect good results if the actual data structure has a smaller or larger number of cluster characteristics than this value. Therefore, there is a need for a method of converting K values flexibly for a situation. To this end, the present invention adopts a method of limiting the diameter of the community.
도3은 향상된 K-means기법을 이용한 군집화를 도시하고 있다. 향상된 K-means기법을 위해 우선 적절한 군집의 최대 범위 Rmax(최대 반경)값을 정한다. 그리고 군집의 수 K를 1로 정한 후 군집의 중심을 구한다(그림a 초기상태). 이 때 Rmax보다 해당 군집의 범위가 클 경우 K를 증가 시킨다(그림b 진행상태). 그림 1의 (b)와 같이 C2의 경우 Rmax보다 군집의 범위가 크게 된다. 이 때 C2 군집의 실험 데이터만을 토대로 두 개의 군집을 만들게 된다. 즉 Rmax보다 큰 군집에 한하여 K값을 증가시켜서 군집을 만든다. 이 방법을 반복하여 최종적인 결과(그림c 최종상태)를 도출하게 된다. 본 발명에서는 행동 모델 구축에서 행동의 표현을 단순화하기 위해 단위 행동들을 군집으로 묶을 때, 향상된 K-means기법을 사용한다.3 illustrates clustering using the improved K-means technique. For the improved K-means technique, first determine the maximum range Rmax (maximum radius) of the appropriate population. The number of clusters K is set to 1, and the center of the cluster is obtained (Fig. A). If K is larger than Rmax, increase K (figure b). As shown in (b) of Figure 1, in the case of C2, the range of cluster is larger than Rmax. At this time, two clusters are created based only on the experimental data of the C2 cluster. That is, the cluster is made by increasing the K value only for the cluster larger than Rmax. This method is repeated to derive the final result (Figure c final state). In the present invention, an improved K-means technique is used when grouping unit behaviors in order to simplify the expression of the behavior in constructing a behavior model.
은닉 마코프 모델이란 일종의 통계 모델로서 관측된 데이터를 통해 모델을 구축하는 일종의 패턴 인식의 응용이다. 일반 마코프 모델은 관찰자가 직접 상태의 변화를 관찰하여 상태전이 확률을 모수로 하여 통계 모델을 구하지만, 은닉 마코프 모델은 출력들이 더해져서 각각의 상태가 출력가능한 토큰들의 확률 분포를 가지게 된다. 이렇듯 은닉 마코프 모델은 관측된 모수를 통해 숨겨진 모수를 찾아 분석에 이용하는 통계 모델이다. 따라서 은닉 마코프 모델을 통해 특정 시퀀스에 관한 정보를 얻을 수 있다. 이런 특징 때문에 패턴 인식 분야에서 많이 사용되는데, 특히 순서를 중요시하는 음성인식(speech recognition), 필기체 인식(handwriting recognition), 움직임 인식(gesture recongnition) 및 생물정보학(bioinformatics) 분야에서 많이 사용된다. 본 발명에서는 의도별로 구분된 행동들로부터 행동 모델을 구축할 때, 은닉 마코프 모델 기법을 사용한다.Hidden Markov models are a type of statistical model that is a pattern recognition application that builds models from observed data. In general Markov model, observer directly observes the change of state and obtains statistical model by using state transition probability as parameter. In hidden Markov model, outputs are added and each state has probability distribution of printable tokens. The hidden Markov model is a statistical model that finds hidden parameters through the observed parameters and uses them for analysis. Therefore, the hidden Markov model provides information about a particular sequence. Because of this feature, it is widely used in the field of pattern recognition, especially in the field of speech recognition, handwriting recognition, gesture recongnition and bioinformatics. In the present invention, a hidden Markov model technique is used when constructing a behavior model from intention-separated behaviors.
도4은 본 발명에 따른 의도별 행동 모델을 이용한 의도 인식 방법의 순서도를 도시하고 있다.4 is a flowchart illustrating an intention recognition method using an intention-specific behavior model according to the present invention.
객체위치 변화 이력 정보를 1 이상 입력 받고(S200), 상기 각 객체위치 변화 이력 정보를 이루는 특정시각별 객체위치 정보 데이터를 소정의 그룹으로 그룹화하여 1 이상의 그룹으로 그룹을 생성한다(S300). 상기 객체위치 변화 이력 정보를 이루는 특정시각별 객체위치 정보 데이터를 상기 그룹중에서 상기 특정시각별 객체위치 정보 데이터가 속하는 그룹에 대응시키고, 상기 객체위치 변화 이력 정보를 상기 대응된 그룹의 집합으로 표현한다(S400). 상기 그룹의 집합을 은닉 마르코프 모델을 이용하여 학습시켜서 상기 객체위치 변화 이력 모델을 생성한다(S500). 시험대상 객체 위치 변화 이력 정보를 이루는 특정시각 별 시험대상 객체위치 정보 데이터를 입력받고(S550), 시험대상 객체 위치 변화 이력 정보를 이루는 특정시각 별 시험대상 객체위치 정보 데이터를 상기 객체위치 변화 모델의 은닉 마코프 모델의 입력값으로 입력하여 산출되는 확률값을 기초로 상기 시험대상 객체 위치 변화 이력 정보의 객체위치 변화 이력 유형을 인식한다(S600).At least one object position change history information is input (S200), and the object position information data for each specific time constituting the object position change history information is grouped into a predetermined group to generate a group of one or more groups (S300). The object position information data for each specific time constituting the object position change history information is associated with a group to which the object position information data for the specific time belongs in the group, and the object position change history information is expressed as a set of the corresponding groups. (S400). The set of groups is trained using a hidden Markov model to generate the object position change history model (S500). Receiving test object position information data for each specific time constituting the test object position change history information (S550), and receiving the test object object position information data for a specific time constituting the test object position change history information of the object position change model The object position change history type of the object position change history information of the test object is recognized based on a probability value calculated by inputting as an input value of the hidden Markov model (S600).
도5는 본 발명에 따른 의도별 행동 모델을 이용한 의도인식 시스템의 구성도를 간략히 도시하고 있다. 도5는 객체위치 변화 이력 모델 생성장치 (200) 및 객 체위치 변화 이력 유형 인식장치 (300)를 포함하고 있다. 상기 객체위치 변화 이력 모델 생성장치는 제1입력부(210), 그룹화부(220) 및 모델생성부(230)를 포함하고 있으며, 상기 객체위치 변화 이력 유형 인식장치는 제2입력부(310) 및 객체위치 변화 이력 유형 인식부(330)를 포함하고 있다.5 is a block diagram of an intention recognition system using an intention-specific behavior model according to the present invention. 5 includes an object position change history
상기 객체위치 변화 이력 모델 생성장치의 제1입력부를 통해서 1 이상의 객체위치 변화 이력을 하나의 유형으로 포함하는 객체위치 변화 이력 유형에 속하는 1 이상의 객체위치 변화 이력 정보를 입력받고, 상기 그룹화부를 통하여 상기 객체위치 변화 이력 유형에 속하는 1 이상의 객체위치 변화 이력 정보에서 특정시각의 객체위치와 관련된 정보를 포함하는 특정시각 별 객체위치 정보 데이터를 생성하고, 각 특정시각 별 객체위치 정보 데이터를 시각을 포함하는 좌표에 각각 대응시키고 상기 좌표간의 거리가 기 설정된 거리 범위 이내에 있는 좌표를 하나의 그룹으로 그룹화하여 1 이상의 그룹을 생성한다.Receive one or more object position change history information belonging to the object position change history type including one or more object position change history as one type through the first input unit of the object position change history model generation device, and through the grouping unit From the one or more object position change history information belonging to the object position change history type to generate the object position information data for a specific time including information related to the object position of a specific time, and includes the object position information data for each specific time One or more groups are generated by grouping coordinates corresponding to the coordinates and grouping coordinates within which a distance between the coordinates is within a preset distance range.
상기 의도인식장치의 제2입력부는 의도를 파악하고자 하는 행동인 시험대상 객체 위치 변화 이력 정보를 이루는 특정시각 별 시험대상 객체위치 정보 데이터를 입력받는다. 상기 객체위치 변화 이력 유형 인식부는 상기 시험대상 객체 위치 변화 이력 정보를 이루는 특정시각 별 객체위치 정보 데이터를 상기 객체위치 변화 모델의 은닉 마코프 모델의 입력값으로 입력하여 산출되는 확률값을 기초로 상기 시험대상 객체 위치 변화 이력 정보의 객체위치 변화 이력 유형을 인식한다. The second input unit of the intention recognition device receives the test object position information data for each specific time that constitutes the test object object position change history information, which is an action to grasp the intention. The object position change history type recognition unit is based on a probability value calculated by inputting object position information data for each specific time constituting the subject object position change history information as an input value of a hidden Markov model of the object position change model. Recognizes object position change history type of object position change history information.
상기 객체는 인체의 신체가 될 수 있다. 인체의 신체의 위치 변화 이력 정 보인 행동 정보를 이용하여 객체위치 변화 이력 유형인 행동의 의도를 인식할 수 있는 것이다.The object may be a body of a human body. By using the behavior information, which is the history change of the body of the human body, it is possible to recognize the intention of the behavior, which is the history of the change of the object position.
사용자의 행동은 사용자가 사용하는 물건의 정보 및 사용 시각 정보를 포함할 수 있다. 즉, 일실시예를 들어 설명하면, 사용자의 행동은 사용자가 접촉하는 물건의 종류와 사용내역(예 요리기구로서 후라이팬 가열, 냄비 냉각, 가스렌지 사용) 및 물건에 접촉한 시각(예 후라이팬 가열 01시02분, 가스렌지 작동01시01분) 정보로 구성될 수 있다. 이러한 경우 단위 행동은 특정시각을 기초로 나누어진 행동인 후라이팬 가열행동 또는 가스렌지 작동 행동이 될 수 있다. 이러한 정보를 획득하는 실시예로는 상기 물건에 센서 및 송신기를 구비하여 행동정보를 송신하는 것이 가능할 것이다.The user's behavior may include information of the object used by the user and time of use information. That is, if one example is described, the user's behavior is the type of the object that the user is in contact with and the usage history (for example, a frying pan is heated as a cooking utensil, a pot cooling or a stove) and the time of contact with the object (for example, a frying pan). Heating 01:02, gas stove operation 01:01) information. In this case, the unit action may be a frying pan heating action or a stove operation action, which is a divided action based on a specific time. In an embodiment of acquiring such information, it may be possible to transmit behavior information by including a sensor and a transmitter in the object.
본 발명에 따른 실험예는 다음과 같다.An experimental example according to the present invention is as follows.
WEKA(WEKA; Data mining software in Java)에서 제공하는 K-means 기법과jahmm(Java Implementation HMM)에서 제공하는 은닉 마코프 모델 기법을 변형하여 구현했다. 실험은 사용자의 4개의 의도에 대한 행동 모델을 구축하여 8개의 행동에 대해 얼마나 정확하게 의도를 파악하는지를 실험하였다. 각 의도별로 3개의 행동을 통해 모델을 구축하였고, 2개의 행동으로 의도를 파악하였다. 모든 행동의 의도는 요리를 하는 것이고, 유비쿼터스 환경에서 사용자가 만진 조리 도구를 알 수 있다는 가정하에 특정시각당 사용자가 만진 조리 도구의 횟수를 단위 행동으로 보았다.The K-means technique provided by WEKA (WEKA (Data mining software in Java)) and the hidden Markov model technique provided by jahmm (Java Implementation HMM) are implemented. In the experiment, we constructed an action model for four intentions of the user and tested how accurately the intentions were identified for the eight actions. The model was constructed through three actions for each intention, and the intentions were identified by two actions. The intention of all actions is to cook, and the number of cooking utensils touched by a user at a specific time is viewed as a unit action on the assumption that the cooking utensils are touched in a ubiquitous environment.
의도에 따른 행동 모델을 구축하기 위해서 Rmax를 결정하여 각 단위 행동들을 군집으로 묶어줘야 한다. Rmax에 따른 군집의 수는 아래의 표와 같다.In order to build a behavioral model based on intention, Rmax must be determined and each unit behavior grouped. The number of clusters according to Rmax is shown in the table below.
Rmax가 3과 4인 경우에는 군집의 수가 너무 많기 때문에 행동을 단순화 할 수 없다. 따라서, 실험에서는 Rmax가 5,6,7인 3가지 경우를 대상으로 하였다.If Rmax is 3 and 4, the number of clusters is too large to simplify the behavior. Therefore, in the experiment, three cases with Rmax of 5, 6, and 7 were studied.
행동을 단순화를 한 뒤, 각 행동 모델을 구축하기 위하여 의도별로 3개의 행동들을 모델 구축에 사용하였다. 이 모델들을 사용하여 새롭게 관찰된 행동들의 의도를 파악한다. 관찰된 행동 1,2의 의도는 요리1, 행동 3,4는 요리2, 행동 5,6은 요리3, 행동 7,8은 요리4를 만드는 의도를 가진 행동이다. 각 행동별로 행동 모델을 사용하여 의도를 파악한 결과는 아래와 같다.After simplifying the behavior, three behaviors were used to construct the model to construct each behavior model. Use these models to identify the intention of the newly observed behavior. The observed behaviors 1 and 2 are intended to cook 1, 3 and 4 to cook 2, 5 and 6 to cook 3, and 7 and 8 to cook 4. The results of the intention using the behavior model for each behavior are as follows.
상기 표를 보면 모든 경우의 Rmax에서 관찰된 행동의 의도가 요리2, 3, 4인 경우에는 정확하게 사용자의 의도를 인식하였다. 하지만 요리1의 의도는 Rmax가 5인 경우와 7인 경우 각각 행동1과 행동2의 의도 인식이 잘못되었다. 의도인식에 실패한 행동들의 각 행동 모델과 부합될 확률은 다음과 같다.In the above table, when the intention of the behavior observed in Rmax in all cases was cooking 2, 3, 4, the user's intention was correctly recognized. However, the intention of cooking 1 was that the intentions of actions 1 and 2 were wrong when Rmax was 5 and 7. The probability of matching each behavior model of actions that failed intention recognition is as follows.
표A에서와 같이 행동1인 경우 의도가 요리1을 만드는 것이지만, 인식된 의도는 요리1보다 조금 높은 확률로 요리4가 인식되었다. 표B에서도 행동2가 요리1이 아닌 요리4로 인식되었다. 이와 같이 의도 인식이 잘 못 되는 경우는 두 의도의 행동이 비슷한 단위 행동의 순서로 진행되는 경우이다. 유사한 행동은 단위 행동을 군집으로 단순화 시키면 같은 군집의 순서로 표현이 되기 때문에 구축된 행동 모델이 유사하게 나타난다.In the case of action 1, as in Table A, the intention is to make cooking 1, but the perceived intention is that cooking 4 is recognized with a slightly higher probability than cooking 1. In Table B, behavior 2 was perceived as cooking 4 rather than cooking 1. In this case, when the intention is not recognized, the actions of the two intentions proceed in the order of similar unit actions. Similar behaviors are expressed in the order of the same cluster when the unit behavior is simplified into clusters, resulting in similar behavior models.
본 발명에 따른 객체위치 변화 이력 모델을 이용한 객체위치 변화 이력 유형을 인식하는 방법 등은 소정의 객체위치 변화 이력 유형에 속하는 1 이상의 객체위치 변화 이력 정보를 기초로 생성된 객체위치 변화 이력 모델을 이용한 객체위치 변화 이력 유형을 인식하는 방법에 있어서, [a] 상기 소정의 객체위치 변화 이력 유형에 속하는 1 이상의 객체위치 변화 이력 정보에서 특정시각의 객체위치와 관련된 정보를 포함하는 특정시각 별 객체위치 정보 데이터를 생성하는 단계 [b] 상기 각 특정시각 별 객체 위치 정보 데이터를 시각을 포함하는 좌표에 각각 대응시키고 상기 좌표간의 거리가 기 설정된 거리 범위 이내에 있는 좌표를 하나의 그룹으로 그룹화하여 1 이상의 그룹을 생성하는 단계 [c] 상기 소정의 객체위치 변화 이력 유형을 상기 1이상의 그룹의 집합으로 대응시키는 단계 [d] 상기 그룹의 집합을 은닉 마르코프 모델을 이용하여 학습시켜서 상기 소정의 객체위치 변화 이력 유형의 객체위치 변화 이력 모델을 생성하는 단계 및 [e] 시험대상 객체 위치 변화 이력 정보를 이루는 특정시각 별 시험대상 객체위치 정보 데이터를 상기 객체위치 변화 모델의 은닉 마코프 모델의 입력값으로 입력하여 산출되는 확률값을 기초로 상기 시험대상 객체 위치 변화 이력 정보가 상기 소정의 객체위치 변화 이력 유형에 속하는지를 인식하는 단계를 포함하는 것을 특징으로 한다.The method for recognizing the object position change history type using the object position change history model according to the present invention uses an object position change history model generated based on one or more object position change history information belonging to a predetermined object position change history type. A method of recognizing an object position change history type, the method comprising: [a] object position information for a specific time including information related to an object position at a specific time in one or more object position change history information belonging to the predetermined object position change history type; Generating data [b] The at least one group is formed by mapping the object position information data for each specific time to coordinates including time, and grouping coordinates whose distance between the coordinates is within a preset distance range into one group. [C] generating the predetermined object position change history type by the one or more; Mapping the set of groups to a set of groups [d] training the set of groups using a hidden Markov model to generate an object position change history model of the predetermined object position change history type; The subject object position change history information is changed to the predetermined object position based on a probability value calculated by inputting subject object position information data for each specific time forming history information as an input value of a hidden Markov model of the object position change model. And recognizing whether it belongs to a history type.
따라서, 소정의 의도를 갖는 사용자의 행동을 행동모델로 효과적으로 구축할 수 있게 되며, 상기 행동모델을 이용하여 사용자의 행동의 의도를 인식할 수 있게 되는 효과를 성취할 수 있게 되고, 나아가 사용자의 행동의 의도를 파악할 수 있는 경우에는 많은 응용기술에 적용할 수 있어 각 산업분야에 폭 넓게 적용될 수 있다.Therefore, it is possible to effectively build a user's behavior with a predetermined intention as a behavior model, it is possible to achieve the effect of being able to recognize the intention of the user's behavior using the behavior model, furthermore the user's behavior If the intention of the system can be grasped, it can be applied to many application technologies and can be widely applied to each industrial field.
도1은 본 발명에 따른 개념도를 도시하고 있다.1 shows a conceptual diagram according to the present invention.
도2는 본 발명에 따른 객체위치 변화 이력 모델 생성 방법의 순서도를 도시하고 있다.2 is a flowchart illustrating a method of generating an object position change history model according to the present invention.
도3은 본 발명에 따른 객체위치 변화모델을 이용한 객체위치 변화 이력 유형을 인식하는 방법의 순서도를 도시하고 있다.3 is a flowchart illustrating a method of recognizing an object position change history type using an object position change model according to the present invention.
도4는 향상된 K-means기법을 설명하고 있는 그림을 나타내고 있다.4 shows a diagram illustrating an improved K-means technique.
도5는 본 발명에 따른 객체위치 변화 이력 모델을 이용한 객체위치 변화 이력 유형 인식 시스템의 간략한 구성도를 도시하고 있다.5 is a simplified block diagram of an object position change history type recognition system using the object position change history model according to the present invention.
<도면의 주요부에 대한 설명><Description of main parts of drawing>
101: 사용자 행동 저장장치 102: 그룹화장치101: user behavior storage device 102: grouping device
103: HMM모델링장치 104~107: 행동모델1~4103: HMM modeling
108: 의도인식장치108: intention recognition device
200: 객체위치 변화 이력 모델 생성 장치200: object position change history model generation device
300: 객체위치 변화 이력 유형 인식장치300: object position change history type recognition device
210: 제1 입력부 220: 그룹화부210: first input unit 220: grouping unit
230: 모델생성부 310: 제2 입력부230: model generation unit 310: second input unit
330: 객체위치 변화 이력 유형 인식부330: object position change history type recognition unit
Claims (17)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080012995A KR100925162B1 (en) | 2008-02-13 | 2008-02-13 | Method and system generating object location trace model and recongnizing a pattern of object location trace |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080012995A KR100925162B1 (en) | 2008-02-13 | 2008-02-13 | Method and system generating object location trace model and recongnizing a pattern of object location trace |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20090087633A KR20090087633A (en) | 2009-08-18 |
| KR100925162B1 true KR100925162B1 (en) | 2009-11-05 |
Family
ID=41206592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020080012995A KR100925162B1 (en) | 2008-02-13 | 2008-02-13 | Method and system generating object location trace model and recongnizing a pattern of object location trace |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100925162B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103471589B (en) * | 2013-09-25 | 2015-10-21 | 武汉大学 | The method of the identification of a kind of indoor pedestrian's walking mode and trajectory track |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020037660A (en) * | 2000-11-14 | 2002-05-22 | 윤종용 | Object activity modeling method |
| JP2006065572A (en) | 2004-08-26 | 2006-03-09 | Mitsubishi Electric Corp | Behavioral pattern extraction device and abnormal behavior detection device |
| JP2007109110A (en) | 2005-10-14 | 2007-04-26 | Uchida Yoko Co Ltd | Purpose estimation system, method and program using individual behavioral characteristic |
-
2008
- 2008-02-13 KR KR1020080012995A patent/KR100925162B1/en not_active IP Right Cessation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020037660A (en) * | 2000-11-14 | 2002-05-22 | 윤종용 | Object activity modeling method |
| JP2006065572A (en) | 2004-08-26 | 2006-03-09 | Mitsubishi Electric Corp | Behavioral pattern extraction device and abnormal behavior detection device |
| JP2007109110A (en) | 2005-10-14 | 2007-04-26 | Uchida Yoko Co Ltd | Purpose estimation system, method and program using individual behavioral characteristic |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20090087633A (en) | 2009-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hochuli et al. | Visualizing convolutional neural network protein-ligand scoring | |
| CN111755078B (en) | Drug molecule attribute determination method, device and storage medium | |
| CN104573706B (en) | A kind of subject image recognition methods and its system | |
| Kusiak | Data mining: manufacturing and service applications | |
| WO2021120834A1 (en) | Biometrics-based gesture recognition method and apparatus, computer device, and medium | |
| CN111368078A (en) | Model training method, text classification device and storage medium | |
| CN109656366B (en) | Emotional state identification method and device, computer equipment and storage medium | |
| Stern et al. | Optimal consensus intuitive hand gesture vocabulary design | |
| CN109804363A (en) | Use the connection by exemplary form modifying | |
| Yates et al. | Visualizing multidimensional data with glyph SPLOMs | |
| CN105549885A (en) | Method and device for recognizing user emotion during screen sliding operation | |
| CN112364708A (en) | Multi-mode human body action recognition method based on knowledge distillation and antagonistic learning | |
| JP6773678B2 (en) | How to identify a user's interaction signature | |
| KR100925162B1 (en) | Method and system generating object location trace model and recongnizing a pattern of object location trace | |
| CN110211692A (en) | A kind of method and device of data processing | |
| Fakhrurroja et al. | Hand state combination as gesture recognition using kinect v2 sensor for smart home control systems | |
| AU2015204339A1 (en) | Information processing apparatus and information processing program | |
| US20230172559A1 (en) | Apparatus, methods and computer programs for identifying characteristics of biological samples | |
| KR102092633B1 (en) | Method and apparatus for modeling based on cognitive response of smart senior | |
| Zhang et al. | Multimodal representation learning by alternating unimodal adaptation | |
| Saha et al. | Improved differential evolution for microarray analysis | |
| Yin et al. | Novel algorithm for coexpression detection in time-varying microarray datasets | |
| Hadi et al. | Vector fuzzy C-means | |
| Ashraf et al. | Iterative weighted k-NN for constructing missing feature values in Wisconsin breast cancer dataset | |
| EP3721445B1 (en) | System to improve clinical workflow |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20120921 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |