KR102544825B1 - Rule inference method and apparatus using neural symbolic-based sequence model - Google Patents
Rule inference method and apparatus using neural symbolic-based sequence model Download PDFInfo
- Publication number
- KR102544825B1 KR102544825B1 KR1020210057672A KR20210057672A KR102544825B1 KR 102544825 B1 KR102544825 B1 KR 102544825B1 KR 1020210057672 A KR1020210057672 A KR 1020210057672A KR 20210057672 A KR20210057672 A KR 20210057672A KR 102544825 B1 KR102544825 B1 KR 102544825B1
- Authority
- KR
- South Korea
- Prior art keywords
- rule
- sequence
- perceptual information
- similarity
- model
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
본 발명은 뉴럴 심볼릭 기반 시퀀스 모델을 활용한 규칙 추론 방법 및 장치를 개시한다. 본 발명에 따르면 미리 정의된 온톨로지를 기반으로 특정 사용자에 대해 수집된 지각 정보들을 트리플 데이터로 변환하는 전처리부, 상기 변환된 트리플 데이터를 다차원 공간에 임베딩하여 임베딩 벡터로 변환하는 지각 정보 임베딩부, 동일 행위 의도에서 발생할 수 있는 지각 정보에 대한 유사도를 학습하여 지각 정보 유사도 기반 규칙을 추론하는 지각 정보 유사도 기반 규칙 추론부, 상기 지각 정보 유사도 기반 규칙과 미리 정의된 복수의 이벤트 연산 규칙의 분석을 통해 상기 복수의 이벤트 연산 규칙의 적어도 일부가 시계열적으로 배열되는 규칙 시퀀스를 생성하는 시계열 모델 기반 규칙 추론부 및 상기 규칙 시퀀스를 시계열 모델에 입력하여 사용자의 행위 의도를 추론하는 다중 행위 의도 추론부를 포함하는 뉴럴 심볼릭 기반 시퀀스 모델을 활용한 규칙 추론 장치가 제공된다. The present invention discloses a rule inference method and apparatus using a neural symbolic-based sequence model. According to the present invention, a pre-processor for converting perceptual information collected for a specific user into triple data based on a predefined ontology, a perceptual information embedding unit for converting the converted triple data into an embedding vector by embedding the converted triple data in a multidimensional space, the same A perceptual information similarity-based rule inference unit that infers a perceptual information similarity-based rule by learning a similarity to perceptual information that may occur in an action intention, and analyzing the perceptual information similarity-based rule and a plurality of predefined event operation rules. A neural circuit comprising a time series model-based rule inference unit generating a rule sequence in which at least some of the plurality of event operation rules are arranged in time series and a multi-action intention inference unit inferring a user's action intention by inputting the rule sequence to the time series model A rule inference device using a symbolic-based sequence model is provided.
Description
본 발명은 뉴럴 심볼릭 기반 시퀀스 모델을 활용한 규칙 추론 방법 및 장치에 관한 것이다. The present invention relates to a rule inference method and apparatus using a neural symbolic-based sequence model.
고령자의 의도를 파악하여 상황에 따른 서비스를 제공하는 것은 고령자의 능력 보완 등 삶의 질 개선에 기여할 것으로 예상되어 많은 기업과 대학에서 연구되고 있다. Understanding the intention of the elderly and providing services according to the situation is expected to contribute to improving the quality of life, such as supplementing the abilities of the elderly, and is being studied by many companies and universities.
관측된 고령자의 행동, 자세 정보의 관계를 분석하여 Event Calculus(이벤트 연산) 기반 규칙을 정의하여 의도를 추론하기 위해서는 지각 정보를 잘 반영한 올바른 규칙이 필수적이며, 이는 전문가에 의해 작성된다. In order to infer intentions by defining Event Calculus (event calculation)-based rules by analyzing the relationship between observed elderly person's behavior and posture information, correct rules that reflect perceptual information are essential, which are written by experts.
지각 정보를 분석한 규칙을 사용하여 의도를 추론하는 것은 좋은 성능을 보였으나 고령자의 생활 데이터가 축척될수록 이를 반영하기 위한 이벤트 연산 규칙을 정의하기 위해 많은 시간과 비용이 소모되는 문제점이 존재한다. Inference of intention using rules analyzing perception information showed good performance, but there is a problem in that a lot of time and money are consumed to define event calculation rules to reflect the accumulated life data of the elderly.
이를 해결하기 위해 다양한 방식의 규칙을 추론하는 기법이 연구되고 있으며, 그 중 뉴로 심볼릭 방식을 이용한 연구가 각광을 받고 있으나 오랜 시간에 걸쳐 축적된 고령자의 행동 및 자세를 반영하기 위해 전문가가 이벤트 연산 규칙을 정의하기에는 많은 문제점이 존재한다. In order to solve this problem, techniques for inferring rules in various ways are being researched, and among them, studies using neuro-symbolic methods are in the limelight. There are many problems in defining .
상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 전문가의 개입을 최소화하면서도 고령자의 의도를 정확히 파악할 수 있는 뉴럴 심볼릭 기반 시퀀스 모델을 활용한 규칙 추론 방법 및 장치를 제안하고자 한다. In order to solve the problems of the prior art, the present invention proposes a rule inference method and apparatus using a neural symbolic-based sequence model that can accurately grasp the intention of the elderly while minimizing the intervention of experts.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 뉴럴 심볼릭 기반 시퀀스 모델을 활용한 규칙 추론 장치로서, 미리 정의된 온톨로지를 기반으로 특정 사용자에 대해 수집된 지각 정보들을 트리플 데이터로 변환하는 전처리부; 상기 변환된 트리플 데이터를 다차원 공간에 임베딩하여 임베딩 벡터로 변환하는 지각 정보 임베딩부; 동일 행위 의도에서 발생할 수 있는 지각 정보에 대한 유사도를 학습하여 지각 정보 유사도 기반 규칙을 추론하는 지각 정보 유사도 기반 규칙 추론부; 상기 지각 정보 유사도 기반 규칙과 미리 정의된 복수의 이벤트 연산 규칙의 분석을 통해 상기 복수의 이벤트 연산 규칙의 적어도 일부가 시계열적으로 배열되는 규칙 시퀀스를 생성하는 시계열 모델 기반 규칙 추론부; 및 상기 규칙 시퀀스를 시계열 모델에 입력하여 사용자의 행위 의도를 추론하는 다중 행위 의도 추론부를 포함하는 뉴럴 심볼릭 기반 시퀀스 모델을 활용한 규칙 추론 장치가 제공된다. In order to achieve the above object, according to an embodiment of the present invention, as a rule inference apparatus using a neural symbolic-based sequence model, perceptual information collected for a specific user based on a predefined ontology is converted into triple data A pre-processing unit that converts to; a perceptual information embedding unit that embeds the converted triple data into a multi-dimensional space and converts it into an embedding vector; a perceptual information similarity-based rule reasoning unit for inferring a perceptual information similarity-based rule by learning a similarity of perceptual information that may occur in the same action intention; a time-series model-based rule reasoning unit configured to generate a rule sequence in which at least some of the plurality of event calculation rules are time-sequentially arranged through analysis of the perceptual information similarity-based rule and a plurality of predefined event calculation rules; and a multi-action intention reasoning unit that infers the user's action intention by inputting the rule sequence to a time series model.
상기 규칙 시퀀스에 포함되는 각 이벤트 연산 규칙은 이벤트 술어(event predicacate) 및 시간을 포함하며, 상기 이벤트 술어는 상기 지각 정보 유사도 기반 규칙의 릴레이션을 이용하여 구성되며, 상기 분석을 통해 상기 규칙 시퀀스에 포함되는 적어도 일부의 이벤트 연산 규칙의 우선 순위가 결정될 수 있다. Each event calculation rule included in the rule sequence includes an event predicate and time, and the event predicate is constructed using the relation of the perceptual information similarity-based rule and is included in the rule sequence through the analysis. Priorities of at least some event calculation rules may be determined.
상기 시계열 모델 기반 규칙 추론부는, 상기 규칙 시퀀스에 대해 상기 시계열 모델의 입력 데이터로 사용하기 위해 시간 정보를 제외하는 전처리 과정을 수행할 수 있다. The time series model-based rule reasoning unit may perform a preprocessing process of excluding time information from the rule sequence to be used as input data of the time series model.
상기 시계열 모델 기반 규칙 추론부는, 상기 규칙 시퀀스의 시퀀스 순서에 맞게 릴레이션과 엔티티를 구분하여 상기 시계열 모델의 입력 데이터로 사용하며, 구분된 릴레이션과 엔티티에 대하여 임베딩을 수행하여 사용자의 행위 의도를 추론할 수 있다. The time series model-based rule inference unit classifies relations and entities according to the sequence order of the rule sequence, uses them as input data of the time series model, and infers the user's action intention by performing embedding on the separated relations and entities. can
상기 시계열 모델은 LSTM(Long Short-Term Memory) 모델일 수 있다. The time series model may be a long short-term memory (LSTM) model.
상기 지각 정보 유사도 기반 규칙 추론부는, 사용자의 행위 의도를 표현하는 목표 트리플이 입력되는 경우, 릴레이션 유사도 비교 모듈(Relation Similarity), Aggregation 모듈, 풀링(Pooling) 모듈, 로스 함수 계산 모듈 및 최적화 모듈(Optimizer)을 통해 미리 설정된 규칙 템플릿의 파라미터를 업데이트하고, 상기 파라미터의 업데이트를 통해 상기 목표 트리플의 특징을 나타내는 하나 이상의 지각 정보를 조건으로 갖는 지각 정보 유사도 기반 규칙을 생성할 수 있다. The perceptual information similarity-based rule reasoning unit, when a target triple expressing the user's action intention is input, a relation similarity comparison module (Relation Similarity), an aggregation module, a pooling module, a loss function calculation module, and an optimization module (Optimizer ) through which parameters of a preset rule template are updated, and a perceptual information similarity-based rule having one or more perceptual information representing characteristics of the target triple as a condition may be generated through the update of the parameters.
본 발명의 다른 측면에 따르면, 프로세서 및 메모리를 포함하는 장치에서 뉴럴 심볼릭 기반 시퀀스 모델을 활용하여 규칙을 추론하는 방법으로서, 미리 정의된 온톨로지를 기반으로 특정 사용자에 대해 수집된 지각 정보들을 트리플 데이터로 변환하는 단계; 상기 변환된 트리플 데이터를 다차원 공간에 임베딩하여 임베딩 벡터로 변환하는 단계; 동일 행위 의도에서 발생할 수 있는 지각 정보에 대한 유사도를 학습하여 지각 정보 유사도 기반 규칙을 추론하는 단계; 상기 지각 정보 유사도 기반 규칙과 미리 정의된 복수의 이벤트 연산 규칙의 분석을 통해 상기 복수의 이벤트 연산 규칙의 적어도 일부가 시계열적으로 배열되는 규칙 시퀀스를 생성하는 단계; 및 상기 규칙 시퀀스를 시계열 모델에 입력하여 사용자의 행위 의도를 추론하는 단계를 포함하는 뉴럴 심볼릭 기반 시퀀스 모델을 활용한 규칙 추론 방법이 제공된다. According to another aspect of the present invention, as a method for inferring a rule by utilizing a neural symbolic-based sequence model in a device including a processor and a memory, perceptual information collected for a specific user based on a predefined ontology is converted into triple data. converting; converting the converted triple data into an embedding vector by embedding the triple data in a multidimensional space; inferring a rule based on similarity of perceptual information by learning a similarity of perceptual information that may occur in the same action intention; generating a rule sequence in which at least some of the plurality of event calculation rules are sequentially arranged through analysis of the perceptual information similarity-based rule and a plurality of predefined event calculation rules; and inferring a user's action intention by inputting the rule sequence into a time series model.
본 발명의 또 다른 측면에 따르면, 상기한 방법을 수행하는 컴퓨터 판독 가능한 프로그램이 제공된다. According to another aspect of the present invention, a computer readable program for performing the method described above is provided.
본 발명에 따르면, 고령자의 지각 정보를 입력받아 규칙 시퀀스를 생성하고, 이를 통해 시계열 기반으로 고령자 행위 의도를 추론하기 때문에 전문가의 개입없이도 정확도 행위 의도 추론이 가능한 장점이 있다. According to the present invention, since a rule sequence is generated by receiving perception information of the elderly and the action intention of the elderly is inferred based on a time series through this, it is possible to infer accurate action intention without the intervention of an expert.
도 1은 본 발명의 일 실시예에 따른 뉴럴 심볼릭 기반 시퀀스 모델을 활용한 규칙 추론 장치의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 지각 정보 유사도 기반 규칙 추론 과정을 나타낸 도면이다.
도 3은 본 실시예에 따른 지각 정보 유사도 기반 규칙의 입력과 결과를 나타낸 도면이다.
도 4는 행위 의도 추론을 위한 이벤트 연산 규칙의 예를 나타낸 도면이다.
도 5는 본 실시예에 따른 본 실시예에 따른 규칙 시퀀스 생성 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 시계열 모델을 나타낸 도면이다. 1 is a diagram showing the configuration of a rule inference apparatus using a neural symbolic-based sequence model according to an embodiment of the present invention.
2 is a diagram illustrating a rule inference process based on similarity of perceptual information according to an embodiment of the present invention.
3 is a diagram showing inputs and results of a perceptual information similarity-based rule according to the present embodiment.
4 is a diagram illustrating an example of an event calculation rule for inference of action intention.
5 is a diagram for explaining a process of generating a rule sequence according to the present embodiment according to the present embodiment.
6 is a diagram showing a time series model according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.Since the present invention can make various changes and have various embodiments, specific embodiments are illustrated in the drawings and described in detail.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. Like reference numerals have been used for like elements throughout the description of each figure.
도 1은 본 발명의 일 실시예에 따른 뉴럴 심볼릭 기반 시퀀스 모델을 활용한 규칙 추론 장치의 구성을 도시한 도면이다. 1 is a diagram showing the configuration of a rule inference apparatus using a neural symbolic-based sequence model according to an embodiment of the present invention.
본 실시예에 따른 규칙 추론 장치는 여러 시점에서 수집된 지각 정보를 이용하여 사용자, 특히 고령자의 행위 의도를 추론한다. The rule inference apparatus according to the present embodiment infers the action intention of a user, particularly the elderly, by using perception information collected at various points in time.
여기서, 고령자의 행위 의도는 식사하기(Meal), 청소하기(Cleaning), 읽기(Reading), 커뮤니케이션 및 TV 보기(Watching TV) 등을 포함할 수 있다. Here, the elderly's action intention may include eating, cleaning, reading, communication, and watching TV.
또한, 지각 정보는 특징 시점에서의 고령자의 동적인 행동, 특정 자세, IoT 센서의 센싱 정보 및 물체(객체)에 관한 정보를 포함할 수 있다. In addition, the perception information may include the dynamic behavior of the elderly at a specific point of view, a specific posture, sensing information of an IoT sensor, and information about an object (object).
본 실시예에 따른 규칙 추론 장치는 프로세서 및 메모리를 포함할 수 있다. The rule inference apparatus according to the present embodiment may include a processor and a memory.
여기서, 프로세서)는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다. Here, the processor) may include a central processing unit (CPU) capable of executing a computer program or other virtual machines.
메모리는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.The memory may include a non-volatile storage device such as a fixed hard drive or a removable storage device. The removable storage device may include a compact flash unit, a USB memory stick, and the like. The memory may also include volatile memory such as various random access memories.
이와 같은 메모리에는 프로세서에 의해 실행 가능한 프로그램 명령어들이 저장되며, 프로그램 명령어들은 컴퓨터 판독 가능한 기록매체에 저장된다. Program instructions executable by a processor are stored in such a memory, and the program instructions are stored in a computer readable recording medium.
이하에서 설명하는 과정은 본 실시예에 따른 프로그램 명령어들에 의해 수행되는 과정을 정의될 수 있다. A process described below may define a process performed by program instructions according to the present embodiment.
도 1을 참조하면, 전처리부(100)는 미리 정의된 온톨로지(Ontology)를 기반으로 사용자의 지각 정보를 트리플 데이터로 변환한다. Referring to FIG. 1 , the
여기서, 트리플 데이터는 엔티티와 릴레이션(relation)으로 구성된다. Here, triple data is composed of entities and relations.
예를 들어, 고령자(KIM)이 포크로 식사하는 지각 정보가 수집되는 경우, 전처리부(100)는 지각 정보를 hasAction(Kim, eating food with a fork)와 같은 트리플 데이터로 변환한다. For example, when perception information that the elderly person (KIM) eats with a fork is collected, the
상기와 같이 변환된 트리플 데이터는 지식베이스(Knowledge Base, KB)에 저장된다. The triple data converted as described above is stored in a Knowledge Base (KB).
지각 정보 임베딩부(102)는 수집된 지각 정보를 다차원 공간에 임베딩하여 임베딩 벡터로 변환한다. The perceptual
임베딩 과정을 통해 트리플 데이터의 엔티티와 릴레이션이 임베딩 벡터로 표현된다.Through the embedding process, entities and relations of triple data are expressed as embedding vectors.
지각 정보 유사도 기반 규칙 추론부(104)는 동일 행위 의도에서 발생할 수 있는 지각 정보에 대한 유사도를 학습하여 지각 정보 유사도 기반 규칙을 추론한다. The perceptual information similarity-based
도 2는 본 발명의 일 실시예에 따른 지각 정보 유사도 기반 규칙 추론 과정을 나타낸 도면이다. 2 is a diagram illustrating a rule inference process based on similarity of perceptual information according to an embodiment of the present invention.
도 2에 도시된 바와 같이, 본 실시예에 따른 지각 정보 유사도 기반 규칙 추론부(104)는 뉴럴 심볼릭 기반으로 규칙을 생성하기 위해 학습 과정을 수행하며, Backword Chaining 방식을 활용하여 릴레이션 유사도 비교 모듈(Relation Similarity), Aggregation 모듈, 풀링(Pooling) 모듈, 로스 함수 계산 모듈 및 최적화 모듈(Optimizer)을 통해 임베딩된 지각 정보로부터 행위 의도가 도출되는 규칙을 학습할 수 있다. As shown in FIG. 2, the perceptual information similarity-based
NTP 방식은 지식베이스의 엔티티에 대한 유사도를 구하기 위해 Backward chaining 방식을 이용하여 주어진 트리플에 대하여 규칙 템플릿을 만족하는 트리플을 Unification 과정을 통해 학습한다. 해당 방식은 규칙을 만족하는 트리플 뿐만 아니라 유사한 의미를 지니는 트리플을 구할 수 있다. The NTP method learns triples that satisfy the rule template for a given triple through a unification process by using the backward chaining method to obtain similarities to entities in the knowledge base. This method can obtain not only triples that satisfy the rule, but also triples with similar meanings.
지각 정보 유사도 기반 규칙 추론부(104)는 고령자 행위 의도를 표현하는 목표 트리플이 입력되었을 때, 해당 목표 트리플에 대한 특징을 잘 나타내는 지각 정보를 표현하는 트리플이 학습되도록 파라미터를 업데이트한다. 또한, 상기한 파라미터 업데이트를 통해 목표 트리플의 특징을 나타내는 하나 이상의 지각 정보를 조건으로 갖는 규칙을 생성한다. When a target triple expressing an elderly person's action intention is input, the perceptual information similarity-based
여기서, 규칙 템플릿은, 결론에 해당하는 규칙 헤드 및 조건에 해당하는 규칙 바디를 포함하고, 상기 규칙 헤드 및 규칙 바디는 릴레이션에 상응하는 predicate, 엔티티에 상응하는 subject 및 object의 트리플 데이터로 구성되며, 상기 규칙 바디에 상기 지각 정보에 대한 트리플이 배치될 수 있다. Here, the rule template includes a rule head corresponding to a conclusion and a rule body corresponding to a condition, and the rule head and rule body are composed of triple data of predicate corresponding to relation, subject and object corresponding to entity, A triple for the perception information may be arranged in the rule body.
또한 규칙 템플릿의 object에 해당하는 파라미터의 임베딩 벡터값을 업데이트하는 과정으로 정의된다. It is also defined as the process of updating the value of the embedding vector of the parameter corresponding to the object of the rule template.
미리 정의된 규칙 템플릿에서, 해당 규칙의 조건(규칙 바디)에 지각 정보인 행동 및 자세에 대한 트리플이 올 수 있도록 구성한다. In the predefined rule template, the condition (rule body) of the rule is configured so that triples for behavior and posture, which are perception information, can come.
또한 고령자 행위 의도와 관련된 지각 정보를 도출하기 위해 행동 및 자세와 같은 지각 정보에 대한 엔티티 간의 유사도 학습을 통해 유사한 지각 정보를 통해 행위 위도 추론을 위한 규칙이 결정되도록 한다. In addition, in order to derive perceptual information related to the intention of the elderly person's action, similarity learning between entities for perceptual information such as behavior and posture allows rules for inference of action latitude to be determined through similar perceptual information.
이와 같은 과정을 통해 각 행위 의도에 따른 지각 정보의 유사도가 높게 학습되도록 고령자에 따른 각 행위 의도에서 높은 빈도로 발생하는 지각 정보에 대한 매트릭스(Percept embeding matrix)가 업데이트된다. Through this process, a percept embedding matrix for perceptual information that occurs with high frequency in each action intention according to the elderly is updated so that the similarity of the perceptual information according to each action intention is highly learned.
도 3은 본 실시예에 따른 지각 정보 유사도 기반 규칙의 입력과 결과를 나타낸 도면이다. 3 is a diagram showing inputs and results of a perceptual information similarity-based rule according to the present embodiment.
도 3을 참조하면, 파라미터로 표현된 규칙과 임베딩된 릴레이션을 입력받아 유사도 학습을 통해 규칙을 추론한다. Referring to FIG. 3 , a rule expressed as a parameter and an embedded relation are input and a rule is inferred through similarity learning.
유사도 학습을 통해 유사하게 학습된 릴레이션을 참고하여 규칙을 생성하며, 예를 들어 파라미터인 
시계열 모델 기반 규칙 추론부(106)는 유사도 학습을 통해 도출된 규칙과 복수의 이벤트 연산 규칙의 분석을 통해 복수의 이벤트 규칙의 적어도 일부가 시계열적으로 배열된 규칙 시퀀스를 생성한다. The time series model-based
도 4는 행위 의도 추론을 위한 이벤트 연산 규칙의 예를 나타낸 도면이다. 4 is a diagram illustrating an example of an event calculation rule for inference of action intention.
도 4를 참조하면, 본 실시예에 따르면, 이벤트 연산 규칙의 Happens(ep(u), t)에서 ep는 이벤트 술어(event predicate)로써 유사도 학습을 통해 도출된 규칙의 릴레이션을 이용하여 구성된다. Referring to FIG. 4 , according to this embodiment, in Happens (ep(u), t) of the event calculation rule, ep is an event predicate and is constructed using a relation of rules derived through similarity learning.
예를 들어, 시점 t=7에서 고령자(Park)가 포크로 음식을 집어먹는 행동이 인지되고 이를 이벤트 연산 규칙 중 하나로 표현하면 Happens(hasAction(park, eating food with a fork), 7) 와 같이 표현된다. For example, at time point t=7, the behavior of an elderly person (Park) eating food with a fork is recognized and expressed as one of the event operation rules, expressed as Happens(hasAction(park, eating food with a fork), 7) do.
본 실시예에 따른 시계열 모델 기반 규칙 추론부(106)는 유사도 학습을 통해 도출된 규칙과 이벤트 연산 규칙을 분석하여 이벤트 연산 규칙의 우선 순위를 고려한 시퀀스 경로를 생성한다. The time series model-based
즉, 본 실시예에 따른 시계열 모델 기반 규칙 추론부는, 유사도 학습을 통해 도출된 규칙과 이벤트 연산 규칙을 분석하여 복수의 이벤트 연산 규칙 중 규칙 시퀀스에 포함되는 적어도 일부의 이벤트 연산 규칙의 우선 순위를 결정한다.That is, the time series model-based rule reasoning unit according to the present embodiment analyzes the rules derived through similarity learning and the event calculation rules to determine the priority of at least some event calculation rules included in a rule sequence among a plurality of event calculation rules. do.
도 5는 본 실시예에 따른 본 실시예에 따른 규칙 시퀀스 생성 과정을 설명하기 위한 도면이다. 5 is a diagram for explaining a process of generating a rule sequence according to the present embodiment according to the present embodiment.
도 5를 참조하면, 예를 들어 시점 t=7일 때, 인지된 지각 정보(포크로 음식먹기와 같은 행동과 앉아있는 자세)가 인지되면 이를 이벤트 연산 규칙에 반영하여 다음과 같은 규칙 시퀀스를 생성한다. Referring to FIG. 5, for example, when the time point t = 7, when the recognized perception information (action such as eating food with a fork and sitting posture) is recognized, it is reflected in the event calculation rule to generate the following rule sequence do.
이벤트 연산 규칙 Happens(hasAction(park, eating food with a fork), 7)은 간략하게 Happens(eating food with a fork, 7)와 같이 표현되고, Happens(hasPose(park, sitting), 7)은 간략하게 Happens(eating food with a fork, 7)와 Happens(sitting, 7)로 표현된다(단계 500). The event operation rule Happens(hasAction(park, eating food with a fork), 7) is simply expressed as Happens(eating food with a fork, 7), and Happens(hasPose(park, sitting), 7) is simply It is expressed as Happens (eating food with a fork, 7) and Happens (sitting, 7) (step 500).
단계 500에서 인지된 지각 정보가 t=7 이후 유지되는 경우, Happens(hasAction(park, eating food with a fork), 7)는 HoldAt(hasAction(park, eating food with a fork), 7)으로 표현되고, Happens(hasPose(park, sitting), 7)는 HoldAt(hasPose(park, sitting), 7)로 표현된다(단계 502).If the perception information recognized in
또한, HoldAt(hasAction(park, eating food with a fork), 7)는 간략하게 HoldAt(eating food with a fork, 7)로 표현되고, HoldAt(hasPose(park, sitting), 7)는 HoldAt(sitting, 7)로 표현된다(단계 504).In addition, HoldAt(hasAction(park, eating food with a fork), 7) is briefly expressed as HoldAt(eating food with a fork, 7), and HoldAt(hasPose(park, sitting), 7) holds HoldAt(sitting, 7) (step 504).
단계 504에서 서로 다른 지각 정보과 동시에 유지되는 경우, 해당 지각 정보에 상응하는 행위 의도가 시작되는 것으로 결정된다(단계 506).In
단계 506에서, HoldAt(hasAction(park, eating food with a fork), 7)^HoldAt(hasPose(park, sitting), 7)이면 Initiate(hasActivity(meal, park), 7)이 이며, 이를 간략화하면 HoldAt(eating food with a fork, 7)∧HoldAt(sitting, 7)이면 Initiate(hasActivity(meal, 7)과 같은 규칙이 생성된다. In
본 실시예에 따른 시계열 모델 기반 규칙 추론부(106)는 지각 정보 유사도 기반 규칙과 미리 정의된 복수의 이벤트 연산 규칙의 분석을 통해 아래와 같은 규칙 시퀀스를 생성할 수 있다. The time series model-based
Happens(f, t) → HoldsAt(
여기서, f는 이벤트 연산의 fluent에 해당되며, 이는 앞서 예를 들었던 이벤트 연산 규칙의 이벤트 술어(event predicate)와 매칭될 수 있다. Here, f corresponds to the fluent of event operation, which can be matched with the event predicate of the event operation rule mentioned above.
그러나, 상기한 규칙 시퀀스는 식사하기에 대응되는 규칙 시퀀스로 다른 행위 의도에 대해서는 서로 다른 이벤트 연산 규칙의 순서로 규칙 시퀀스가 생성될 것이다. However, the rule sequence described above is a rule sequence corresponding to eating, and rule sequences are generated in different order of event operation rules for different action intentions.
도 6은 본 발명의 일 실시예에 따른 시계열 모델을 나타낸 도면이다. 6 is a diagram showing a time series model according to an embodiment of the present invention.
본 실시예에 따르면, 시계열 모델은 LSTM 알고리즘에 따른 모델이며, 상기와 같이 생성된 규칙 시퀀스를 통해 이벤트 연산 규칙의 대한 인스턴스(Instance) 생성한다. According to this embodiment, the time series model is a model based on the LSTM algorithm, and an instance of an event operation rule is created through the rule sequence generated as described above.
규칙 시퀀스는 시계열 모델의 입력 데이터로 사용하기 위해 시간 정보를 제외하는 전처리 과정을 수행한다. 규칙에 대한 시퀀스가 생성이 된 경우, 생성된 시퀀스에서 시간의 정보를 제거하는 전처리 과정을 수행한 결과의 예는 아래와 같다. The rule sequence performs a preprocessing process that excludes time information to be used as input data for a time series model. When a sequence for a rule is created, an example of the result of performing a preprocessing process of removing time information from the created sequence is as follows.
Happens(hasAction(park, eating food with a fork)) → HoldsAt(hasAction(park, eating food with a fork)) ∧ HoldsAt(hasPose(park, sitting)) → Initiates(meal,park)Happens(hasAction(park, eating food with a fork)) → HoldsAt(hasAction(park, eating food with a fork)) ∧ HoldsAt(hasPose(park, sitting)) → Initiates(meal,park)
따라서 상기한 예에서 규칙 시퀀스는 아래와 같은 형태로 생성되며, 학습된 임베딩된 릴레이션과 모든 엔티티를 임베딩하여 시계열 모델의 입력 데이터로 활용한다. Therefore, in the above example, the rule sequence is created in the form below, and the learned embedded relation and all entities are embedded to be used as input data for the time series model.
규칙 시퀀스의 순서에 맞게 릴레이션과 엔티티를 구분하여 시계열 모델의 입력 값으로 사용하며, 구분된 릴레이션과 엔티티에 대하여 임베딩을 수행한다. Relations and entities are classified according to the order of the rule sequence, used as input values of the time series model, and embedding is performed on the separated relations and entities.
[happens],[hasAction], [park], [eating food with a fork], [holdsAt], [hasAction], [park], [eating food with a fork], [holdsAt], [hasPose], [park], [sitting, Initiates], [meal], [park] [happens],[hasAction], [park], [eating food with a fork], [holdsAt], [hasAction], [park], [eating food with a fork], [holdsAt], [hasPose], [park ], [sitting, Initiates], [meal], [park]
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다. The embodiments of the present invention described above have been disclosed for illustrative purposes, and those skilled in the art having ordinary knowledge of the present invention will be able to make various modifications, changes, and additions within the spirit and scope of the present invention, and such modifications, changes, and additions will be considered to fall within the scope of the following claims.
Claims (8)
미리 정의된 온톨로지를 기반으로 특정 사용자에 대해 수집된 지각 정보들을 트리플 데이터로 변환하는 전처리부;
상기 변환된 트리플 데이터를 다차원 공간에 임베딩하여 임베딩 벡터로 변환하는 지각 정보 임베딩부;
동일 행위 의도에서 발생할 수 있는 지각 정보에 대한 유사도를 학습하여 지각 정보 유사도 기반 규칙을 추론하는 지각 정보 유사도 기반 규칙 추론부;
상기 지각 정보 유사도 기반 규칙과 미리 정의된 복수의 이벤트 연산 규칙의 분석을 통해 상기 복수의 이벤트 연산 규칙의 적어도 일부가 시계열적으로 배열되는 규칙 시퀀스를 생성하는 시계열 모델 기반 규칙 추론부; 및
상기 규칙 시퀀스를 시계열 모델에 입력하여 사용자의 행위 의도를 추론하는 다중 행위 의도 추론부를 포함하되,
상기 규칙 시퀀스에 포함되는 각 이벤트 연산 규칙은 이벤트 술어(event predicacate) 및 시간을 포함하며, 상기 이벤트 술어는 상기 지각 정보 유사도 기반 규칙의 릴레이션을 이용하여 구성되며, 상기 분석을 통해 상기 규칙 시퀀스에 포함되는 적어도 일부의 이벤트 연산 규칙의 우선 순위가 결정되는 뉴럴 심볼릭 기반 시퀀스 모델을 활용한 규칙 추론 장치.As a rule inference device using a neural symbolic-based sequence model,
a pre-processing unit that converts perceptual information collected for a specific user into triple data based on a predefined ontology;
a perceptual information embedding unit that embeds the converted triple data into a multi-dimensional space and converts it into an embedding vector;
a perceptual information similarity-based rule reasoning unit for inferring a perceptual information similarity-based rule by learning a similarity of perceptual information that may occur in the same action intention;
a time-series model-based rule reasoning unit configured to generate a rule sequence in which at least some of the plurality of event calculation rules are time-sequentially arranged through analysis of the perceptual information similarity-based rule and a plurality of predefined event calculation rules; and
Including a multi-action intention inference unit for inferring a user's action intention by inputting the rule sequence into a time series model;
Each event calculation rule included in the rule sequence includes an event predicate and time, and the event predicate is constructed using the relation of the perceptual information similarity-based rule and is included in the rule sequence through the analysis. A rule inference device using a neural symbolic-based sequence model in which priorities of at least some event operation rules are determined.
상기 시계열 모델 기반 규칙 추론부는,
상기 규칙 시퀀스에 대해 상기 시계열 모델의 입력 데이터로 사용하기 위해 시간 정보를 제외하는 전처리 과정을 수행하는 뉴럴 심볼릭 기반 시퀀스 모델을 활용한 규칙 추론 장치.According to claim 1,
The time series model based rule reasoning unit,
A rule inference device using a neural symbolic-based sequence model that performs a preprocessing process of excluding time information from the rule sequence to be used as input data of the time series model.
상기 시계열 모델 기반 규칙 추론부는,
상기 규칙 시퀀스의 시퀀스 순서에 맞게 릴레이션과 엔티티를 구분하여 상기 시계열 모델의 입력 데이터로 사용하며, 구분된 릴레이션과 엔티티에 대하여 임베딩을 수행하여 사용자의 행위 의도를 추론하는 뉴럴 심볼릭 기반 시퀀스 모델을 활용한 규칙 추론 장치.According to claim 3,
The time series model based rule reasoning unit,
Relations and entities are classified according to the sequence order of the rule sequence and used as input data of the time series model, and a neural symbolic-based sequence model that infers the user's action intention by performing embedding on the separated relations and entities is used. rule reasoning device.
상기 시계열 모델은 LSTM(Long Short-Term Memory) 모델인 뉴럴 심볼릭 기반 시퀀스 모델을 활용한 규칙 추론 장치.According to claim 3,
The time series model is a rule inference device using a neural symbolic-based sequence model that is a long short-term memory (LSTM) model.
상기 지각 정보 유사도 기반 규칙 추론부는,
사용자의 행위 의도를 표현하는 목표 트리플이 입력되는 경우, 릴레이션 유사도 비교 모듈(Relation Similarity), Aggregation 모듈, 풀링(Pooling) 모듈, 로스 함수 계산 모듈 및 최적화 모듈(Optimizer)을 통해 미리 설정된 규칙 템플릿의 파라미터를 업데이트하고,
상기 파라미터의 업데이트를 통해 상기 목표 트리플의 특징을 나타내는 하나 이상의 지각 정보를 조건으로 갖는 지각 정보 유사도 기반 규칙을 생성하는 뉴럴 심볼릭 기반 시퀀스 모델을 활용한 규칙 추론 장치.According to claim 1,
The perceptual information similarity-based rule reasoning unit,
When a target triple expressing the user's action intention is input, the parameters of the rule template preset through the relation similarity comparison module (Relation Similarity), aggregation module, pooling module, loss function calculation module, and optimization module (Optimizer) update the
A rule inference device using a neural symbolic-based sequence model that generates a rule based on perceptual information similarity having one or more perceptual information representing characteristics of the target triple as a condition through updating the parameters.
미리 정의된 온톨로지를 기반으로 특정 사용자에 대해 수집된 지각 정보들을 트리플 데이터로 변환하는 단계;
상기 변환된 트리플 데이터를 다차원 공간에 임베딩하여 임베딩 벡터로 변환하는 단계;
동일 행위 의도에서 발생할 수 있는 지각 정보에 대한 유사도를 학습하여 지각 정보 유사도 기반 규칙을 추론하는 단계;
상기 지각 정보 유사도 기반 규칙과 미리 정의된 복수의 이벤트 연산 규칙의 분석을 통해 상기 복수의 이벤트 연산 규칙의 적어도 일부가 시계열적으로 배열되는 규칙 시퀀스를 생성하는 단계; 및
상기 규칙 시퀀스를 시계열 모델에 입력하여 사용자의 행위 의도를 추론하는 단계를 포함하되,
상기 규칙 시퀀스에 포함되는 각 이벤트 연산 규칙은 이벤트 술어(event predicacate) 및 시간을 포함하며, 상기 이벤트 술어는 상기 지각 정보 유사도 기반 규칙의 릴레이션을 이용하여 구성되며, 상기 분석을 통해 상기 규칙 시퀀스에 포함되는 적어도 일부의 이벤트 연산 규칙의 우선 순위가 결정되는 뉴럴 심볼릭 기반 시퀀스 모델을 활용한 규칙 추론 방법. A method of inferring a rule using a neural symbolic-based sequence model in a device including a processor and a memory,
converting perceptual information collected for a specific user into triple data based on a predefined ontology;
converting the converted triple data into an embedding vector by embedding the triple data in a multidimensional space;
inferring a rule based on similarity of perceptual information by learning a similarity of perceptual information that may occur in the same action intention;
generating a rule sequence in which at least some of the plurality of event calculation rules are sequentially arranged through analysis of the perceptual information similarity-based rule and a plurality of predefined event calculation rules; and
Including inferring a user's action intention by inputting the rule sequence into a time series model,
Each event calculation rule included in the rule sequence includes an event predicate and time, and the event predicate is constructed using the relation of the perceptual information similarity-based rule and is included in the rule sequence through the analysis. A rule inference method using a neural symbolic-based sequence model in which priorities of at least some event operation rules are determined.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210057672A KR102544825B1 (en) | 2021-05-04 | 2021-05-04 | Rule inference method and apparatus using neural symbolic-based sequence model |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210057672A KR102544825B1 (en) | 2021-05-04 | 2021-05-04 | Rule inference method and apparatus using neural symbolic-based sequence model |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220150553A KR20220150553A (en) | 2022-11-11 |
| KR102544825B1 true KR102544825B1 (en) | 2023-06-16 |
Family
ID=84042948
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210057672A KR102544825B1 (en) | 2021-05-04 | 2021-05-04 | Rule inference method and apparatus using neural symbolic-based sequence model |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102544825B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014222510A (en) | 2010-01-18 | 2014-11-27 | アップル インコーポレイテッド | Intelligent automated assistant |
| KR101986002B1 (en) | 2017-01-17 | 2019-06-04 | 경북대학교 산학협력단 | Artificial agents and method for human intention understanding based on perception-action connected learning, recording medium for performing the method |
| KR102197660B1 (en) * | 2019-10-23 | 2021-01-04 | 숭실대학교산학협력단 | Eldery living pattern recognition system and method |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102893327B (en) * | 2010-03-19 | 2015-05-27 | 数字标记公司 | Intuitive computing methods and systems |
| US9830315B1 (en) * | 2016-07-13 | 2017-11-28 | Xerox Corporation | Sequence-based structured prediction for semantic parsing |
| KR20200044185A (en) * | 2018-10-08 | 2020-04-29 | 한국전자통신연구원 | Apparatus and method for selecting robot service block |
| KR102165160B1 (en) * | 2018-11-20 | 2020-10-13 | 숭실대학교산학협력단 | Apparatus for predicting sequence of intention using recurrent neural network model based on sequential information and method thereof |
-
2021
- 2021-05-04 KR KR1020210057672A patent/KR102544825B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014222510A (en) | 2010-01-18 | 2014-11-27 | アップル インコーポレイテッド | Intelligent automated assistant |
| KR101986002B1 (en) | 2017-01-17 | 2019-06-04 | 경북대학교 산학협력단 | Artificial agents and method for human intention understanding based on perception-action connected learning, recording medium for performing the method |
| KR102197660B1 (en) * | 2019-10-23 | 2021-01-04 | 숭실대학교산학협력단 | Eldery living pattern recognition system and method |
Non-Patent Citations (5)
| Title |
|---|
| Oltramari, Alessandro, et al. Neuro-symbolic Architectures for Context Understanding. arXiv preprint arXiv:2003.04707. 2020.3. |
| Weber, Leon, et al. Nlprolog: Reasoning with weak unification for question answering in natural language. arXiv preprint arXiv:1906.06187. 2019.* |
| Yang, Bishan, et al. Embedding entities and relations for learning and inference in knowledge bases. arXiv preprint arXiv:1412.6575. 2014. |
| 노재승 외. 뉴로 심볼릭 기반 규칙 생성을 통한 지식 완성 기법. 정보과학회논문지. 제48권 제4호. 한국정보과학회. 2021.4. |
| 이영훈 외. 지식베이스상 뉴로 심볼릭 관계 모델을 이용한 오픈 도메일 질의응답. 한국정보과학회 언어공학연구회 학술대회논문집. 한국정보과학회. 2020.10. |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220150553A (en) | 2022-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Taqi et al. | The impact of multi-optimizers and data augmentation on TensorFlow convolutional neural network performance | |
| US10482352B2 (en) | Information processing device and non-transitory computer readable medium | |
| JP5256215B2 (en) | Method for selecting information | |
| EP3514734A1 (en) | Method and apparatus for generating a chemical structure using a neural network | |
| JP6569047B1 (en) | Learning method, computer program, classifier, and generator | |
| WO2012032118A2 (en) | Method for providing with a score an object, and decision-support system | |
| JP2019082883A (en) | Inference device, inference method and program | |
| Wimmer et al. | Learning local objective functions for robust face model fitting | |
| JP2010272053A (en) | Data classifier creation device, data classification device, data classifier creation method, data classification method, data classifier creation program, and data classification program | |
| JP2020052520A (en) | Determination device, determination method, and program | |
| Vale et al. | An efficient approach to select instances in self-training and co-training semi-supervised methods | |
| KR102544825B1 (en) | Rule inference method and apparatus using neural symbolic-based sequence model | |
| KR102105951B1 (en) | Constructing method of classification restricted boltzmann machine and computer apparatus for classification restricted boltzmann machine | |
| Sathyavathi et al. | An intelligent human age prediction from face image framework based on deep learning algorithms | |
| JP2020004360A (en) | Imaging of multi-variable data sequence | |
| JP7428233B2 (en) | Clustering device, clustering method, and clustering program | |
| Xiao | Using machine learning for exploratory data analysis and predictive models on large datasets | |
| JP7348945B2 (en) | Information processing method and information processing system | |
| Bharathi et al. | The significance of feature selection techniques in machine learning | |
| CN113673244A (en) | Medical text processing method and device, computer equipment and storage medium | |
| KR102365838B1 (en) | Method and apparatus for generating neural symbolic-based rule for user intention inference | |
| KR20210026623A (en) | System and method for training artificial intelligence model | |
| US20220036105A1 (en) | Identification Process of a Dental Implant Visible on an Input Image by Means of at Least One Convolutional Neural Network | |
| KR102410009B1 (en) | Knowledge completion method and apparatus through neural symbolic-based rule generation | |
| EP4328801A2 (en) | Determination program, determination apparatus, and determination method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |