KR102509821B1 - Oos 문장을 생성하는 방법 및 이를 수행하는 장치 - Google Patents

Oos 문장을 생성하는 방법 및 이를 수행하는 장치 Download PDF

Info

Publication number
KR102509821B1
KR102509821B1 KR1020170119791A KR20170119791A KR102509821B1 KR 102509821 B1 KR102509821 B1 KR 102509821B1 KR 1020170119791 A KR1020170119791 A KR 1020170119791A KR 20170119791 A KR20170119791 A KR 20170119791A KR 102509821 B1 KR102509821 B1 KR 102509821B1
Authority
KR
South Korea
Prior art keywords
sentence
target
similar
template
model
Prior art date
Application number
KR1020170119791A
Other languages
English (en)
Other versions
KR20190031840A (ko
Inventor
김영석
유상현
전재훈
최준휘
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170119791A priority Critical patent/KR102509821B1/ko
Priority to US15/913,486 priority patent/US10733975B2/en
Priority to JP2018101566A priority patent/JP7029351B2/ja
Priority to CN201810521845.3A priority patent/CN109522541B/zh
Priority to EP18189533.5A priority patent/EP3457397B1/en
Publication of KR20190031840A publication Critical patent/KR20190031840A/ko
Application granted granted Critical
Publication of KR102509821B1 publication Critical patent/KR102509821B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling

Abstract

OOS 문장 생성 방법 및 장치가 개시된다. 일 실시예는 타겟 서비스의 타겟 발화템플릿 및 상기 타겟 발화 템플릿으로부터 생성된 타겟 문장을 기초로 모델들을 학습시키고, 상기 학습된 모델들 중 어느 하나와 다른 서비스의 발화 템플릿으로부터 생성된 문장을 기초로 상기 타겟 발화 템플릿의 유사 발화 템플릿을 생성하며, 상기 학습된 모델들 중 다른 하나 및 상기 유사 발화 템플릿을 기초로 상기 타겟 문장의 유사 문장을 생성한다.

Description

OOS 문장을 생성하는 방법 및 이를 수행하는 장치{METHOD AND APPARATUS FOR GENERATING OOS(OUT-OF-SERVICE) SENTENCE}
아래 실시예들은 OOS 문장의 생성에 관한 것이다.
오토인코더(Auto encoder)는 주어진 입력을 인코딩하여 벡터를 생성하고 해당 벡터를 디코딩하여 입력에 대한 출력을 생성한다. 이러한 오토인코더는 특정 서비스의 IS(In-Service) 입력을 기초로 복원 에러가 최소가 되도록 학습된다. 이에 따라, 오토인코더 모델은 주어진 입력에 대한 복원 에러가 임계값보다 크면 해당 입력이 특정 서비스에 대해선 OOS(Out-Of-Service) 입력이라고 결정할 수 있고, 복원 에러가 임계값 이하이면 해당 입력이 특정 서비스에 대해선 IS 입력이라고 결정할 수 있다. 여기서, 임계값은 오토인코더 모델을 학습시키면서 결정되어, 임계값은 입력(즉, 학습 데이터)이 어떤 것인지에 따라 가변적이다.
오토 인코더에 의해 주어진 입력이 IS 입력으로 결정되면, 분류기는 주어진 입력이 어떤 의도인지를 결정한다.
일 측에 따른 OOS 문장 생성 방법은 타겟 서비스의 타겟 발화(utterance) 템플릿 및 상기 타겟 발화 템플릿으로부터 생성된 타겟 문장을 기초로 모델들을 학습시키는 단계; 상기 학습된 모델들 중 어느 하나와 다른 서비스의 발화 템플릿으로부터 생성된 문장을 기초로 상기 타겟 발화 템플릿의 유사 발화 템플릿을 생성하는 단계; 및 상기 학습된 모델들 중 다른 하나 및 상기 유사 발화 템플릿을 기초로 상기 타겟 문장의 유사 문장을 생성하는 단계를 포함한다.
OOS 문장 생성 방법은 상기 타겟 서비스에 대하여, 상기 유사 문장에 OOS 레이블(label)을 할당하는 단계를 더 포함할 수 있다.
상기 OOS 레이블은 상기 타겟 서비스가 상기 유사 문장에 대응되는 기능을 수행할 수 없는 것을 나타낼 수 있다.
상기 모델들을 학습시키는 단계는, 상기 타겟 문장을 상기 모델들 중 제1 모델에 입력하고, 상기 제1 모델이 상기 타겟 문장을 기초로 상기 타겟 발화 템플릿을 생성하도록 상기 제1 모델을 학습시키는 단계; 및 상기 타겟 발화 템플릿을 상기 모델들 중 제2 모델에 입력하고, 상기 제2 모델이 상기 타겟 발화 템플릿을 기초로 상기 타겟 문장을 생성하도록 상기 제2 모델을 학습시키는 단계를 포함할 수 있다.
상기 학습된 제1 모델은 상기 유사 발화 템플릿을 생성하는데 이용된 모델에 해당하고, 상기 학습된 제2 모델은 상기 유사 문장을 생성하는데 이용된 모델에 해당할 수 있다.
상기 학습된 제2 모델은 학습에 의한 코퍼스 및 상기 유사 발화 템플릿을 통해 상기 유사 문장을 생성할 수 있다.
OOS 문장 생성 방법은 상기 타겟 문장 및 상기 유사 문장을 기초로, 입력 문장의 의도(intent)를 분류하는 분류기를 학습시키는 단계를 더 포함할 수 있다.
상기 학습된 분류기는 사용자의 음성 신호에 대한 문장을 입력 받고, 상기 문장의 의도를 결정하며, 상기 결정된 의도가 상기 타겟 서비스의 OOS 레이블에 해당하는 경우, 상기 결정된 의도에 대응되는 기능을 수행할 수 없음을 나타내는 결과를 출력할 수 있다.
일 측에 따른 컴퓨팅 장치는 타겟 서비스의 타겟 발화(utterance) 템플릿 및 상기 타겟 발화 템플릿으로부터 생성된 타겟 문장을 기초로 모델들을 학습시키고, 상기 학습된 모델들 중 어느 하나와 다른 서비스의 발화 템플릿으로부터 생성된 문장을 기초로 상기 타겟 발화 템플릿의 유사 발화 템플릿을 생성하며, 상기 학습된 모델들 중 다른 하나 및 상기 유사 발화 템플릿을 기초로 상기 타겟 문장의 유사 문장을 생성하는 프로세서를 포함한다.
상기 프로세서는 상기 타겟 서비스에 대하여 상기 유사 문장의 의도에 OOS(out of service) 레이블(label)을 할당할 수 있다.
상기 OOS 레이블은 상기 타겟 서비스가 상기 유사 문장에 대응되는 기능을 수행할 수 없는 것을 나타낼 수 있다.
상기 프로세서는, 상기 타겟 문장을 상기 모델들 중 제1 모델에 입력하고, 상기 제1 모델이 상기 타겟 문장을 기초로 상기 타겟 발화 템플릿을 생성하도록 상기 제1 모델을 학습시키고, 상기 타겟 발화 템플릿을 상기 모델들 중 제2 모델에 입력하고, 상기 제2 모델이 상기 타겟 발화 템플릿을 기초로 상기 타겟 문장을 생성하도록 상기 제2 모델을 학습시킬 수 있다.
상기 학습된 제1 모델은 상기 유사 발화 템플릿을 생성하는데 이용된 모델에 해당하고, 상기 학습된 제2 모델은 상기 유사 문장을 생성하는데 이용된 모델에 해당할 수 있다.
상기 학습된 제2 모델은 학습에 의한 코퍼스 및 상기 유사 발화 템플릿을 통해 상기 유사 문장을 생성할 수 있다.
상기 프로세서는 상기 타겟 문장 및 상기 유사 문장을 기초로, 상기 타겟 문장의 의도(intent)를 분류하는 분류기를 학습시킬 수 있다.
상기 학습된 분류기는 사용자의 음성 신호에 대한 문장 데이터를 입력 받고, 상기 문장 데이터의 의도를 결정하며, 상기 결정된 의도가 상기 서비스의 OOS 레이블에 해당하는 경우, 상기 결정된 의도에 대응되는 기능을 수행할 수 없음을 나타내는 결과를 출력할 수 있다.
일 측에 따른 명령 수행 방법은 입력 문장과 관련된 서비스를 식별하는 단계; 상기 식별된 서비스의 기능들 중 상기 입력 문장에서 요청된 의도를 분류기를 이용하여 결정하는 단계; 및 상기 결정된 의도에 OOS 레이블이 할당되어 있는 경우, 입력 문장의 수행을 거부하는 단계를 포함한다.
상기 분류기는 상기 식별된 서비스의 타겟 문장 및 유사 문장을 기초로 미리 학습된 분류기에 해당할 수 있다.
상기 유사 문장은, 상기 식별된 서비스의 타겟 발화 템플릿 및 상기 타겟 발화 템플릿으로부터 생성된 타겟 문장을 기초로 모델들을 학습시키는 단계; 상기 학습된 모델들 중 제 1모델 및 다른 서비스의 발화 템플릿으로부터 생성된 문장을 기초로 상기 타겟 발화 템플릿의 유사 발화 템플릿을 생성하는 단계; 및 상기 학습된 모델들 중 다른 하나, 즉 제 2모델 및 상기 유사 발화 템플릿을 기초로 상기 타겟 문장의 유사 문장을 생성하는 단계의 실행을 통해 생성될 수 있다.
도 1은 사용자 입력 기반의 명령 수행 시스템을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 타겟 문장 생성 방법을 설명하기 위한 도면이다.
도 3 내지 도 5는 일 실시예에 따른 OOS 문장 생성 장치의 동작을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 학습 장치를 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 OOS 문장 생성 장치를 설명하기 위한 블록도이다.
도 8은 일 실시예에 따른 OOS 문장 생성 방법을 설명하기 위한 순서도이다.
도 9는 일 실시예에 따른 명령 수행 시스템을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 명령 수행 방법을 설명하기 위한 순서도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 사용자 입력 기반의 명령 수행 시스템을 설명하기 위한 도면이다.
사용자 입력 기반의 명령 수행 시스템(100)은 사용자 입력이 있으면, 사용자 입력과 관련된 서비스를 식별하고, 식별된 서비스의 기능들 중 사용자 입력에서 요청된 기능을 결정하며, 결정된 기능을 수행한다. 여기서, 서비스는 어플리케이션으로 달리 표현될 수 있다.
일례로, 명령 수행 시스템(100)은 제1 문장 "제주도에서 가장 최근에 찍은 사진을 보여줘"를 입력 받으면, 제1 문장과 관련된 서비스(또는 어플리케이션)를 갤러리 어플리케이션으로 식별할 수 있다. 명령 수행 시스템(100)은 제1 문장의 워드 "보여줘"를 통해 제1 문장에서 요청된 기능을 "표시 기능"으로 결정하고, 결정된 기능을 수행하여 제주도에서 가장 최근에 찍은 하나 이상의 사진을 갤러리 어플리케이션을 통해 사용자 단말에 표시할 수 있다. 갤러리 어플리케이션은 사진을 표시할 수 있으므로, 제1 문장은 갤러리 어플리케이션에 대해선 타겟 문장 또는 IS(In-Service) 문장에 해당한다.
다른 일례로, 명령 수행 시스템(100)은 제2 문장 "아버지에게 메시지를 전송해줘"를 입력 받으면, 제2 문장과 관련된 서비스(또는 어플리케이션)를 메시지 어플리케이션으로 식별할 수 있다. 명령 수행 시스템(100)은 제2 문장의 워드 "전송해줘"를 통해 제2 문장에서 요청된 기능을 "전송 기능"으로 결정하고, 결정된 기능을 수행하여 메시지 어플리케이션을 통해 사용자의 아버지의 단말로 메시지를 전송할 수 있다. 메시지 어플리케이션은 메시지를 전송할 수 있으므로, 제2 문장은 메시지 어플리케이션에 대해선 타겟 문장 또는 IS 문장에 해당한다.
도 1에 도시된 예를 참조하면, 명령 수행 시스템(100)은 제3 문장 "제주도에서 가장 최근에 찍은 사진을 번역해줘"을 입력 받을 수 있다. 명령 수행 시스템(100)은 제3 문장에 워드 "사진"이 포함되어 있으므로, 제3 문장과 관련된 어플리케이션을 갤러리 어플리케이션으로 식별할 수 있다. 여기서, 갤러리 어플리케이션은 사진을 번역하지 못하므로, 제3 문장은 갤러리 어플리케이션에 대해선 OOS(out-of-service) 문장에 해당한다. 명령 수행 시스템(100)은 제3 문장이 갤러리 어플리케이션에 대해서 OOS 문장이라는 것을 인지하지 못한다. 이로 인해, 명령 수행 시스템(100)은 제3 문장에서 요청된 기능을 결정하고, 결정된 기능을 수행할 수 있다. 일례로, 명령 수행 시스템(100)은 제3 문장의 "번역해줘"를 "버려줘"로 인식하여 제3 문장에서 요청된 기능을 "삭제"로 결정할 수 있다. 이로 인해, 명령 수행 시스템(100)은 제주도에서 가장 최근에 찍은 하나 이상의 사진을 삭제할 수 있다. 이러한 상황은 해당 사용자 입력이 갤러리 어플리케이션에 대해선 OOS임에도 명령 수행 시스템(100)이 해당 사용자 입력에 대한 기능 수행을 거부(reject)하지 못해 발생한다.
도 9를 통해 후술할 일 실시예에 따른 명령 수행 시스템(900)은 사용자 입력이 특정 어플리케이션(또는 특정 서비스)(이하, 타겟 서비스라 함)의 OOS 문장에 해당하면 해당 사용자 입력에 대한 기능 수행을 거부할 수 있다. 달리 표현하면, 타겟 서비스의 OOS 문장에 대한 거부 성능이 향상될 수 있다. 일 실시예에 따른 명령 수행 시스템(900)은 타겟 서비스의 타겟 문장(즉, IS 문장) 및 OOS 문장을 기초로 학습된 분류기를 포함하고 있기 때문에 전술한 거부 성능이 향상될 수 있다.
분류기의 학습을 위해선 타겟 서비스의 타겟 문장 및 OOS 문장을 생성해야 하는데, 이하 도 2를 참조하면서 타겟 문장의 생성에 대해 설명하고, 도 3 내지 도 5를 통해 OOS 문장의 생성에 대해 설명한다. 분류기의 학습에 대해선 도 6을 통해 설명한다.
도 2는 일 실시예에 따른 타겟 문장 생성 방법을 설명하기 위한 도면이다.
일 실시예에 따른 타겟 문장 생성 방법은 타겟 문장 생성 장치에 의해 수행될 수 있다. 타겟 문장 생성 장치는 타겟 서비스의 타겟 발화 템플릿을 기초로 타겟 문장을 생성한다. 여기서, 타겟 발화 템플릿은 타겟 문장을 생성하는데 사용되는 템플릿을 나타낸다.
도 2에는 갤러리 어플리케이션이 타겟 서비스인 경우, 타겟 문장 생성 장치가 갤러리 어플리케이션의 타겟 문장을 어떻게 생성하는지가 도시된다.
타겟 문장 생성 장치는 리스트(220)에 있는 워드들 중 어느 하나를 타겟 발화 템플릿(210) 내의 슬롯(211)에 채우고 리스트(230)에 있는 워드들 중 어느 하나를 타겟 발화 템플릿(210) 내의 슬롯(212)에 채워 타겟 문장(240)을 생성할 수 있다. 일례로, 타겟 문장 생성 장치는 리스트(220)에 있는 워드 "제주도"를 슬롯(211)에 채우고 리스트(230)에 있는 워드 "가장 최근에"를 슬롯(212)에 채워 타겟 문장(240) "제주도에서 가장 최근에 찍은 사진을 보여줘"를 생성할 수 있다. 다른 일례로, 타겟 문장 생성 장치는 리스트(220)에 있는 워드 "서울"을 슬롯(211)에 채우고 리스트(230)에 있는 워드 "이틀 전에"를 슬롯(212)에 채워 타겟 문장 "서울에서 이틀 전에 찍은 사진을 보여줘"를 생성할 수 있다.
도 2에는 하나의 타겟 발화 템플릿(210)과 하나의 타겟 문장(240)이 도시되어 있으나, 이는 예시적인 사항일 뿐, 타겟 문장 생성 장치는 타겟 서비스의 다수의 타겟 발화 템플릿들로부터 다수의 타겟 문장들을 생성할 수 있다.
도 3은 일 실시예에 따른 OOS 문장 생성 장치의 동작을 설명하기 위한 도면이다.
도 3을 참조하면, OOS 문장 생성 장치(300)는 모델 학습기(310) 및 문장 생성기(320)를 포함한다.
모델 학습기(310)는 타겟 발화 템플릿(210) 및 타겟 문장(240)을 기초로 모델들을 학습시킨다. 도 4를 참조하면, 모델 학습기(310)는 타겟 문장(240)을 발화to템플릿 모델(410)에 입력한다. 발화to템플릿 모델(410)은, 일례로, sequence-to-sequence 구조를 갖는 다중 신경망 모델일 수 있다. 모델 학습기(310)는 발화to템플릿 모델(410)이 타겟 문장(240)으로부터 타겟 발화 템플릿(210)을 생성하도록 발화to템플릿 모델(410)을 학습시킨다. 이에 제한되지 않고, 모델 학습기(310)는 발화to템플릿 모델(410)이 하나 또는 그 이상의 타겟 문장들로부터 하나 또는 그 이상의 타겟 발화 템플릿들을 생성하도록 발화to템플릿 모델(410)을 학습시킬 수 있다. 모델 학습기(310)는 타겟 발화 템플릿(210)을 템플릿to발화 모델(420)에 입력한다. 템플릿to발화 모델(420)은, 일례로, sequence-to-sequence 구조를 갖는 다중 신경망 모델일 수 있다. 모델 학습기(310)는 템플릿to발화 모델(420)이 타겟 발화 템플릿(210)으로부터 타겟 문장(240)을 생성하도록 템플릿to발화 모델(420)을 학습시킨다. 이에 제한되지 않고, 모델 학습기(310)는 템플릿to발화 모델(420)이 하나 또는 그 이상의 타겟 발화 템플릿들로부터 하나 또는 그 이상의 타겟 문장들을 생성하도록 템플릿to발화 모델(420)을 학습시킬 수 있다.
문장 생성기(320)는 학습된 모델들 중 발화to템플릿 모델(410)과 다른 서비스의 발화 템플릿으로부터 생성된 문장을 기초로 타겟 발화 템플릿(210)의 유사 발화 템플릿을 생성한다. 또한, 문장 생성기(320)는 학습된 모델들 중 템플릿to발화 모델(420) 및 상기 생성한 유사 발화 템플릿을 기초로 타겟 문장(240)의 유사 문장을 생성한다. 유사 문장은 도 1을 통해 설명한 OOS 문장으로, 타겟 문장과 유사하지만 타겟 서비스에서 OOS인 문장을 나타낸다. 달리 표현하면, 유사 문장은 타겟 서비스와 관련되면서 타겟 서비스가 실행할 수 없는 기능을 요청하는 입력에 해당한다.
도 5에 도시된 예를 참조하면, 문장 생성기(320)는 다른 서비스(일례로, 번역 서비스)의 문장 "어제 생성한 문서를 한글로 번역해줘"를 학습된 발화to템플렛 모델(510)로 입력할 수 있다. 여기서, 다른 서비스의 문장은 다른 서비스의 발화 템플릿으로부터 생성된다. 일례로, 다른 서비스의 발화 템플릿이 "[] 생성한 []를 한글로 번역해줘"이면, 도 2를 통해 설명한 타겟 발화 생성 장치는 다른 서비스의 발화 템플릿의 슬롯들 각각에 "어제" 및 "문서"를 채워 다른 서비스의 문장 "어제 생성한 문서를 한글로 번역해줘"를 생성할 수 있다.
문장 생성기(320)는 학습된 발화to템플렛 모델(510)을 통해 타겟 발화 템플릿(210)의 유사 발화 템플릿(520) "[]에서 [] 문서를 번역해줘"를 생성할 수 있다. 도 3 및 도 4를 통해 설명한 것과 같이, 학습된 발화to템플렛 모델(510)은 타겟 발화 템플릿(210) 및 타겟 문장(240)을 기초로 학습되었으므로, 타겟 문장(240)이 아닌 다른 서비스의 문장을 입력 받더라도, 타겟 발화 템플릿(210)과 유사한 발화 템플릿(520)을 생성할 수 있다.
문장 생성기(320)는 유사 발화 템플릿(520)을 학습된 템플릿to발화 모델(530)에 입력할 수 있다. 문장 생성기(320)는 학습된 템플릿to발화 모델(530)을 통해 타겟 문장(240)의 유사 문장(540) "어제 찍은 사진들 중에서 두 번째 사진을 번역해줘"를 생성할 수 있다. 도 3 및 도 4를 통해 설명한 것과 같이, 학습된 템플릿to발화 모델(530)은 타겟 발화 템플릿(210) 및 타겟 문장(240)을 기초로 학습되어, 학습을 통해 본(seen) 워드 "사진" 등을 포함하는 코퍼스(corpus)를 보유할 수 있다. 학습된 템플릿to발화 모델(530)은 유사 발화 템플릿(520)을 입력 받으면, 보유하고 있는 코퍼스 내의 워드들을 유사 발화 템플릿(520)의 슬롯들(521 및 522)에 채워 타겟 문장(240)과 유사한 문장(540)을 생성할 수 있다. 다시 말해, 문장 생성기(320)는 타겟 문장(240)과 유사하지만 타겟 서비스에서 OOS가 되는 유사 문장(540)을 생성한다.
OOS 문장 생성 장치(300)는 유사 문장(540)의 의도로 OOS 레이블을 할당할 수 있다. 여기서, OOS 레이블은 타겟 서비스가 유사 문장(540)에 대응되는 기능 또는 유사 문장(540)에서 요청된 기능을 수행할 수 없음을 나타내는 레이블을 나타낸다. 도 5에 도시된 예에서, 유사 문장(540)에 할당되는 OOS 레이블은 갤러리 어플리케이션이 번역 기능을 수행할 수 없는 것을 나타낼 수 있다.
도 1을 통해 설명한 것과 같이, 분류기가 타겟 문장(240) 및 OOS 문장(즉, 유사 문장(540))을 기초로 학습될 수 있다. 이하, 도 6을 참조하면서 분류기의 학습에 대해 설명한다.
도 6은 일 실시예에 따른 학습 장치를 설명하기 위한 도면이다.
도 6을 참조하면, 학습 장치(600)는 입력의 의도 또는 입력에서 요청된 기능을 결정하는 분류기(610)를 타겟 문장(240) 및 유사 문장(540)을 기초로 학습시킨다. 분류기(610)는, 일례로, 다중 신경망 모델일 수 있다.
학습 장치(600)는 타겟 문장(240)을 분류기(610)에 입력하고, 분류기(610)가 타겟 문장(240)의 실제 의도 또는 타겟 문장(240)에서 요청된 기능을 결정할 수 있도록 분류기(610)를 학습시킨다. 일례로, 학습 장치(600)는 분류기(610)가 타겟 문장(240) "제주도에서 가장 최근에 찍은 사진을 보여줘"에서 요청된 기능을 표시 기능으로 결정하도록 분류기(610)를 학습시킬 수 있다.
학습 장치(600)는 유사 문장(540)을 분류기(610)에 입력하고, 분류기(610)가 유사 문장(540)에 대응되는 기능 또는 유사 문장(540)에서 요청된 기능을 수행할 수 없음을 나타내는 결과를 출력하도록 분류기(610)를 학습시킨다. 일례로, 분류기(610)는 유사 문장(540) "어제 찍은 사진들 중에서 두 번째 사진을 번역해줘"를 입력 받으면 유사 문장(540)을 분석하여 유사 문장(540)의 의도 또는 기능을 OOS로 결정할 수 있다. 여기서, 분류기(610)는 유사 문장(540)의 의도 또는 기능을 OOS로 결정하므로 타겟 서비스에 해당하는 갤러리 어플리케이션이 번역 기능을 수행할 수 없음을 나타내는 결과를 출력할 수 있다. 이러한 방식으로 학습 장치(600)는 타겟 서비스가 다른 유사 문장에 대응되는 기능 또는 다른 유사 문장에서 요청된 기능을 수행할 수 없음을 나타내는 결과를 분류기(610)가 출력하도록 분류기(610)를 학습시킬 수 있다.
학습된 분류기는 도 9를 통해 설명할 명령 수행 시스템에 탑재될 수 있다.
도 7은 일 실시예에 따른 OOS 문장 생성 장치를 설명하기 위한 블록도이다.
도 7을 참조하면, OOS 문장 생성 장치(300)는 컴퓨팅 장치로, 메모리(710) 및 프로세서(720)를 포함한다.
프로세서(720)는 모델 학습기(310) 및 문장 생성기(320)를 구현할 수 있다. 일 실시예에 따르면, 프로세서(720)는 타겟 서비스의 타겟 발화 템플릿(210) 및 타겟 문장(240)을 기초로 모델들(410 및 420)을 학습시킨다. 일례로, 프로세서(720)는 타겟 문장(240)을 모델들(410 및 420) 중 제1 모델에 입력하고, 제1 모델이 타겟 문장(240)을 기초로 타겟 발화 템플릿(210)을 생성하도록 제1 모델을 학습시킬 수 있다. 여기서, 제1 모델은 발화to템플릿 모델(410)에 해당한다. 또한, 프로세서(720)는 타겟 발화 템플릿(240)을 모델들(410 및 420) 중 제2 모델에 입력하고, 제2 모델이 타겟 발화 템플릿(210)을 기초로 타겟 문장(240)을 생성하도록 제2 모델을 학습시킬 수 있다. 여기서, 제2 모델은 템플릿to발화 모델(420)에 해당한다. 프로세서(720)는 학습된 모델들(510 및 530) 중 학습된 발화to템플릿 모델(510)과 다른 서비스의 발화 템플릿으로부터 생성된 문장을 기초로 타겟 발화 템플릿(210)의 유사 발화 템플릿(520)을 생성한다. 프로세서(720)는 학습된 모델들(510 및 530) 중 템플릿to발화 모델(530) 및 유사 발화 템플릿(520)을 기초로 타겟 문장(240)의 유사 문장(540)을 생성한다.
메모리(710)는 타겟 발화 템플릿(210) 및 타겟 문장(240)을 저장하고, 유사 발화 템플릿(520) 및 유사 문장을 저장한다. 메모리(710)는 컴퓨터 판독가능한 저장 매체 또는 컴퓨터 판독가능한 저장 장치를 포함할 수 있다. 예를 들어, 메모리(710)는 RAM(random access memories), DRAM(dynamic random access memories), SRAM(static random access memories) 또는 이 기술 분야에서 알려진 다른 형태의 비휘발성 메모리를 포함할 수 있다.
OOS 문장 생성 장치(300)는 전술한 타겟 문장 생성 장치 및/또는 학습 장치(600)를 포함할 수 있다. 구현에 따라, 타겟 문장 생성 장치, OOS 문장 생성 장치(300), 및 학습 장치(600)는 하나의 물리적 장치 내에서 논리적으로 구분될 수 있다. 또는, 타겟 문장 생성 장치, OOS 문장 생성 장치(300), 및 학습 장치(600)는 서로 물리적으로 구분되는 장치일 수 있다.
도 1 내지 도 6을 통해 기술된 사항들은 도 7을 통해 기술된 사항들에 적용될 수 있으므로, 상세한 설명을 생략한다.
도 8은 일 실시예에 따른 OOS 문장 생성 방법을 설명하기 위한 순서도이다.
도 8을 참조하면, OOS 문장 생성 장치(300)는 타겟 서비스의 타겟 발화 템플릿(210) 및 타겟 문장(240)을 기초로 모델들(410 및 420)을 학습시킨다(810).
OOS 문장 생성 장치(300)는 학습된 모델들(510 및 530) 중 발화to템플릿 모델(510)과 다른 서비스의 발화 템플릿으로부터 생성된 문장을 기초로 타겟 발화 템플릿(210)의 유사 발화 템플릿(520)을 생성한다(820).
OOS 문장 생성 장치(300)는 학습된 모델들(510 및 530) 중 템플릿to발화 모델(530) 및 유사 발화 템플릿(520)을 기초로 타겟 문장(240)의 유사 문장(540)을 생성한다(830).
도 1 내지 도 7을 통해 기술된 사항들은 도 8을 통해 기술된 사항들에 적용될 수 있으므로, 상세한 설명을 생략한다.
도 9는 일 실시예에 따른 사용자 입력 기반의 명령 수행 시스템을 설명하기 위한 도면이다.
명령 수행 시스템(900)은 명령 수행 장치, 자연어 분석 장치, 또는 NLU(Natural Language Understanding) 엔진 등으로 달리 표현될 수 있다.
또한, 명령 수행 시스템(900)은 클라이언트 및 서버를 포함하는 형태로 구현될 수 있다. 여기서, 클라이언트는 사용자의 발화를 수신하고, 해당 발화에 대한 음성 신호를 서버로 전송하는 장치를 나타낼 수 있다. 일례로, 클라이언트는 스마트폰, 태블릿 등의 사용자 단말을 나타낼 수 있다. 또한, 명령 수행 시스템(900)은 클라이언트 또는 서버를 나타낼 수 있다.
도 9를 참조하면, 명령 수행 시스템(900)은 분류기(910)를 포함한다. 분류기(910)는 타겟 문장(240) 및 유사 문장(540)을 기초로 이미 학습된 분류기에 해당한다. 이에 제한되지 않고, 분류기(910)는 다양한 타겟 문장들 및 다양한 유사 문장들을 기초로 학습된 분류기에 해당할 수 있다.
명령 수행 시스템(900)은 "제주도에서 가장 최근에 찍은 사진을 번역해줘"를 입력 받을 수 있다. 여기서, 해당 입력은 사용자의 발화가 음성 인식되어 생성된 것일 수 있다. 명령 수행 시스템(900)은 해당 입력과 관련된 어플리케이션 또는 서비스를 갤러리 어플리케이션으로 식별할 수 있다. 명령 수행 시스템(900)은 해당 입력에서 요청된 기능 또는 해당 입력의 의도를 결정할 수 있다. 도 9에 도시된 예에서 분류기(910)는 갤러리 서비스의 유사 문장, 즉 OOS 레이블을 갖는 유사 문장들, 예를 들어, "어제 찍은 사진들 중에서 두번째 사진을 번역해줘"라는 문장의 학습을 통해 입력 내의 워드들 "사진"과 "번역"을 이미 보았으므로(seen), 해당 입력의 의도 또는 해당 입력에서 요청된 기능을 OOS로 결정할 수 있다. 이로 인해, 분류기(910)는 결정된 의도에 해당하는 명령 또는 결정된 기능을 수행할 수 없음을 나타내는 결과를 출력한다. 명령 수행 시스템(900)은 분류기(910)의 출력을 기초로 해당 기능을 실행할 수 없다는 피드백을 사용자에게 제공할 수 있다.
도 9에 도시된 예와 달리, 분류기(910)의 입력에는 분류기(910)가 학습을 통해 보지 못한(unseen) 워드가 포함될 수 있다. 이 때, 분류기(910)는 해당 워드와 가장 유사한 워드를 통해 해당 입력에서 요청된 기능 또는 해당 입력의 의도를 결정하고, 결정된 기능 또는 결정된 의도가 OOS 레이블이면, 결정된 기능을 수행할 수 없음을 나타내는 결과를 출력한다. 일례로, 분류기(910)가 "제주도에서 가장 최근에 찍은 사진을 변혁해줘"를 입력 받을 수 있다. 분류기(910)는 "변혁"을 학습을 통해 보지 못하였으므로, "변혁"과 가장 가까운 워드를 "번역"으로 예측할 수 있다. 이 때, 분류기(910)는 예측된 워드 "번역"과 본(seen) 워드 "사진"을 통해 해당 사용자 입력의 의도 또는 해당 사용자 입력에서 요청된 기능을 OOS로 결정할 수 있다. OOS 레이블이 결정되므로, 분류기(910)는 결정된 의도에 따른 명령 또는 결정된 기능을 수행할 수 없음을 나타내는 결과를 출력한다.
일 실시예에 있어서, 명령 수행 시스템(900)은 어플리케이션 또는 서비스가 수행할 수 없는 OOS 발화에 대응되는 명령의 실행을 거부할 수 있어, OOS 입력에 대해 거부 성능이 보다 향상될 수 있다.
도 10은 일 실시예에 따른 명령 수행 방법을 설명하기 위한 순서도이다.
도 10을 참조하면, 명령 수행 시스템(900)은 입력 문장과 관련된 서비스를 식별한다(1010). 예를 들어, 입력 문장이 "제주도에서 가장 최근에 찍은 사진을 번역해줘"이면, 명령 수행 시스템(900)은 입력 문장 내의 워드 "사진"을 통해 입력 문장과 관련된 서비스를 갤러리 어플리케이션으로 식별할 수 있다.
명령 수행 시스템(900)은 식별된 서비스의 기능들 중 입력 문장에서 요청된 의도를 분류기를 이용하여 결정한다(1020). 예를 들어, 명령 수행 시스템(900)은 "제주도에서 가장 최근에 찍은 사진을 번역해줘"의 의도 또는 해당 입력 문장에서 요청된 기능을 OOS로 결정할 수 있다.
명령 수행 시스템(900)은 결정된 의도 또는 결정된 기능이 OOS에 해당하는 경우, 입력 문장의 수행을 거부한다(1030). 전술한 예에서, "제주도에서 가장 최근에 찍은 사진을 번역해줘"에서 요청된 의도는 OOS에 해당하므로, 명령 수행 시스템(900)은 "제주도에서 가장 최근에 찍은 사진을 번역해줘"의 수행을 거부할 수 있다.
도 1 내지 도 9를 통해 기술된 사항들은 도 10을 통해 기술된 사항들에 적용될 수 있으므로, 상세한 설명을 생략한다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (20)

  1. 컴퓨팅 장치에 의해 수행되는 OOS(out of service) 문장 생성 방법에 있어서,
    타겟 서비스의 타겟 발화(utterance) 템플릿 및 상기 타겟 발화 템플릿으로부터 생성된 타겟 문장을 기초로 모델들을 학습시키는 단계;
    상기 학습된 모델들 중 어느 하나와 다른 서비스의 발화 템플릿으로부터 생성된 문장을 기초로 상기 타겟 발화 템플릿의 유사 발화 템플릿을 생성하는 단계; 및
    상기 학습된 모델들 중 다른 하나 및 상기 유사 발화 템플릿을 기초로 상기 타겟 문장의 유사 문장을 생성하는 단계
    를 포함하는,
    OOS 문장 생성 방법.
  2. 제1항에 있어서,
    상기 타겟 서비스에 대하여, 상기 유사 문장의 의도에 OOS 레이블(label)을 할당하는 단계
    를 더 포함하는,
    OOS 문장 생성 방법.
  3. 제2항에 있어서,
    상기 OOS 레이블은 상기 타겟 서비스가 상기 유사 문장에 대응되는 기능을 수행할 수 없는 것을 나타내는,
    OOS 문장 생성 방법.
  4. 제1항에 있어서,
    상기 모델들을 학습시키는 단계는,
    상기 타겟 문장을 상기 모델들 중 제1 모델에 입력하고, 상기 제1 모델이 상기 타겟 문장을 기초로 상기 타겟 발화 템플릿을 생성하도록 상기 제1 모델을 학습시키는 단계; 및
    상기 타겟 발화 템플릿을 상기 모델들 중 제2 모델에 입력하고, 상기 제2 모델이 상기 타겟 발화 템플릿을 기초로 상기 타겟 문장을 생성하도록 상기 제2 모델을 학습시키는 단계
    를 포함하는,
    OOS 문장 생성 방법.
  5. 제4항에 있어서,
    상기 학습된 제1 모델은 상기 유사 발화 템플릿을 생성하는데 이용된 모델에 해당하고, 상기 학습된 제2 모델은 상기 유사 문장을 생성하는데 이용된 모델에 해당하는,
    OOS 문장 생성 방법.
  6. 제4항에 있어서,
    상기 학습된 제2 모델은 학습에 의한 코퍼스 및 상기 유사 발화 템플릿을 통해 상기 유사 문장을 생성하는,
    OOS 문장 생성 방법.
  7. 제1항에 있어서,
    상기 타겟 문장 및 상기 유사 문장을 기초로, 입력 문장의 의도(intent)를 분류하는 분류기를 학습시키는 단계
    를 더 포함하는,
    OOS 문장 생성 방법.
  8. 제7항에 있어서,
    상기 학습된 분류기는 사용자의 음성 신호에 대한 문장을 입력 받고, 상기 문장의 의도를 결정하며, 상기 결정된 의도가 상기 타겟 서비스의 OOS 레이블에 해당하는 경우, 상기 결정된 의도에 대응되는 기능을 수행할 수 없음을 나타내는 결과를 출력하는,
    OOS 문장 생성 방법.
  9. 제1항 내지 제8항 중 어느 하나의 항의 방법을 실행하기 위한 명령어들을 저장하는, 컴퓨터 판독 가능한 저장 매체.
  10. 타겟 서비스의 타겟 발화(utterance) 템플릿 및 상기 타겟 발화 템플릿으로부터 생성된 타겟 문장을 기초로 모델들을 학습시키고, 상기 학습된 모델들 중 어느 하나와 다른 서비스의 발화 템플릿으로부터 생성된 문장을 기초로 상기 타겟 발화 템플릿의 유사 발화 템플릿을 생성하며, 상기 학습된 모델들 중 다른 하나 및 상기 유사 발화 템플릿을 기초로 상기 타겟 문장의 유사 문장을 생성하는 프로세서
    를 포함하는,
    컴퓨팅 장치.
  11. 제10항에 있어서,
    상기 프로세서는 상기 타겟 서비스에 대하여 상기 유사 문장의 의도에 OOS(out of service) 레이블(label)을 할당하는,
    컴퓨팅 장치.
  12. 제11항에 있어서,
    상기 OOS 레이블은 상기 타겟 서비스가 상기 유사 문장에 대응되는 기능을 수행할 수 없는 것을 나타내는,
    컴퓨팅 장치.
  13. 제10항에 있어서,
    상기 프로세서는,
    상기 타겟 문장을 상기 모델들 중 제1 모델에 입력하고, 상기 제1 모델이 상기 타겟 문장을 기초로 상기 타겟 발화 템플릿을 생성하도록 상기 제1 모델을 학습시키고,
    상기 타겟 발화 템플릿을 상기 모델들 중 제2 모델에 입력하고, 상기 제2 모델이 상기 타겟 발화 템플릿을 기초로 상기 타겟 문장을 생성하도록 상기 제2 모델을 학습시키는,
    컴퓨팅 장치.
  14. 제13항에 있어서,
    상기 학습된 제1 모델은 상기 유사 발화 템플릿을 생성하는데 이용된 모델에 해당하고, 상기 학습된 제2 모델은 상기 유사 문장을 생성하는데 이용된 모델에 해당하는,
    컴퓨팅 장치.
  15. 제13항에 있어서,
    상기 학습된 제2 모델은 학습에 의한 코퍼스 및 상기 유사 발화 템플릿을 통해 상기 유사 문장을 생성하는,
    컴퓨팅 장치.
  16. 제10항에 있어서,
    상기 프로세서는 상기 타겟 문장 및 상기 유사 문장을 기초로, 상기 타겟 문장의 의도(intent)를 분류하는 분류기를 학습시키는,
    컴퓨팅 장치.
  17. 제16항에 있어서,
    상기 학습된 분류기는 사용자의 음성 신호에 대한 문장 데이터를 입력 받고, 상기 문장 데이터의 의도를 결정하며, 상기 결정된 의도가 상기 서비스의 OOS 레이블에 해당하는 경우, 상기 결정된 의도에 대응되는 기능을 수행할 수 없음을 나타내는 결과를 출력하는,
    컴퓨팅 장치.
  18. 명령 수행 장치에 의해 수행되는 명령 수행 방법에 있어서,
    입력 문장과 관련된 서비스를 식별하는 단계;
    상기 식별된 서비스의 기능들 중 상기 입력 문장에서 요청된 의도를 분류기를 이용하여 결정하는 단계; 및
    상기 결정된 의도가 OOS(out of service)에 해당하는 경우, 상기 입력 문장의 수행을 거부하는 단계
    를 포함하는,
    명령 수행 방법.
  19. 제18항에 있어서,
    상기 분류기는 상기 식별된 서비스의 타겟 문장 및 유사 문장을 기초로 미리 학습된 것인,
    명령 수행 방법.
  20. 제19항에 있어서,
    상기 유사 문장은,
    상기 식별된 서비스의 타겟 발화 템플릿 및 상기 타겟 발화 템플릿으로부터 생성된 타겟 문장을 기초로 모델들을 학습시키는 단계;
    상기 학습된 모델들 중 제1 모델 및 다른 서비스의 발화 템플릿으로부터 생성된 문장을 기초로 상기 타겟 발화 템플릿의 유사 발화 템플릿을 생성하는 단계; 및
    상기 학습된 모델들 중 제2 모델 및 상기 유사 발화 템플릿을 기초로 상기 타겟 문장의 유사 문장을 생성하는 단계의 실행을 통해 생성되는,
    명령 수행 방법.
KR1020170119791A 2017-09-18 2017-09-18 Oos 문장을 생성하는 방법 및 이를 수행하는 장치 KR102509821B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170119791A KR102509821B1 (ko) 2017-09-18 2017-09-18 Oos 문장을 생성하는 방법 및 이를 수행하는 장치
US15/913,486 US10733975B2 (en) 2017-09-18 2018-03-06 OOS sentence generating method and apparatus
JP2018101566A JP7029351B2 (ja) 2017-09-18 2018-05-28 Ｏｏｓ文章を生成する方法及びこれを行う装置
CN201810521845.3A CN109522541B (zh) 2017-09-18 2018-05-28 服务外句子生成方法和设备
EP18189533.5A EP3457397B1 (en) 2017-09-18 2018-08-17 Oos sentence generating method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170119791A KR102509821B1 (ko) 2017-09-18 2017-09-18 Oos 문장을 생성하는 방법 및 이를 수행하는 장치

Publications (2)

Publication Number Publication Date
KR20190031840A KR20190031840A (ko) 2019-03-27
KR102509821B1 true KR102509821B1 (ko) 2023-03-14

Family

ID=63491379

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170119791A KR102509821B1 (ko) 2017-09-18 2017-09-18 Oos 문장을 생성하는 방법 및 이를 수행하는 장치

Country Status (5)

Country Link
US (1) US10733975B2 (ko)
EP (1) EP3457397B1 (ko)
JP (1) JP7029351B2 (ko)
KR (1) KR102509821B1 (ko)
CN (1) CN109522541B (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102329920B1 (ko) * 2021-06-04 2021-11-23 가천대학교 산학협력단 기계학습된 모델을 이용한 의료원문데이터를 증강하는 방법 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101309042B1 (ko) 2012-09-17 2013-09-16 포항공과대학교 산학협력단 다중 도메인 음성 대화 장치 및 이를 이용한 다중 도메인 음성 대화 방법
US20170190051A1 (en) 2016-01-06 2017-07-06 Disney Enterprises, Inc. Trained human-intention classifier for safe and efficient robot navigation

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0627466B2 (ja) * 1984-06-27 1994-04-13 株式会社熊平製作所 金庫扉の解錠・施錠装置
JPH02309399A (ja) * 1989-05-24 1990-12-25 Sekisui Chem Co Ltd 音声による照明制御装置
TW323364B (ko) * 1993-11-24 1997-12-21 At & T Corp
WO1996013827A1 (en) * 1994-11-01 1996-05-09 British Telecommunications Public Limited Company Speech recognition
US5895447A (en) * 1996-02-02 1999-04-20 International Business Machines Corporation Speech recognition using thresholded speaker class model selection or model adaptation
US6463413B1 (en) * 1999-04-20 2002-10-08 Matsushita Electrical Industrial Co., Ltd. Speech recognition training for small hardware devices
US6735563B1 (en) * 2000-07-13 2004-05-11 Qualcomm, Inc. Method and apparatus for constructing voice templates for a speaker-independent voice recognition system
US7043422B2 (en) 2000-10-13 2006-05-09 Microsoft Corporation Method and apparatus for distribution-based language model adaptation
US8135589B1 (en) * 2000-11-30 2012-03-13 Google Inc. Performing speech recognition over a network and using speech recognition results
US7805302B2 (en) 2002-05-20 2010-09-28 Microsoft Corporation Applying a structured language model to information extraction
US7299188B2 (en) * 2002-07-03 2007-11-20 Lucent Technologies Inc. Method and apparatus for providing an interactive language tutor
EP1894125A4 (en) * 2005-06-17 2015-12-02 Nat Res Council Canada MEANS AND METHOD FOR ADAPTED LANGUAGE TRANSLATION
JP4893740B2 (ja) 2006-06-12 2012-03-07 ソニー株式会社 コマンド実行プログラム及びコマンド実行方法
JP2009070297A (ja) * 2007-09-14 2009-04-02 Ricoh Co Ltd 情報処理装置、クライアントサーバシステム、情報処理方法、情報処理プログラム及び記録媒体
US9436759B2 (en) 2007-12-27 2016-09-06 Nant Holdings Ip, Llc Robust information extraction from utterances
US20090276414A1 (en) 2008-04-30 2009-11-05 Microsoft Corporation Ranking model adaptation for searching
US8605996B2 (en) 2008-12-16 2013-12-10 Microsoft Corporation Sentiment classification using out of domain data
JP5573457B2 (ja) * 2010-07-23 2014-08-20 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP5073024B2 (ja) * 2010-08-10 2012-11-14 株式会社東芝 音声対話装置
US8688453B1 (en) 2011-02-28 2014-04-01 Nuance Communications, Inc. Intent mining via analysis of utterances
US8935167B2 (en) * 2012-09-25 2015-01-13 Apple Inc. Exemplar-based latent perceptual modeling for automatic speech recognition
US9761247B2 (en) 2013-01-31 2017-09-12 Microsoft Technology Licensing, Llc Prosodic and lexical addressee detection
CN103218353B (zh) * 2013-03-05 2018-12-11 刘树根 母语人士学用其它语言文字之人工智能实现方法
JP5718406B2 (ja) * 2013-05-13 2015-05-13 日本電信電話株式会社 発話文生成装置、対話装置、発話文生成方法、対話方法、発話文生成プログラム、及び対話プログラム
KR102191425B1 (ko) * 2013-07-29 2020-12-15 한국전자통신연구원 인터랙티브 캐릭터 기반 외국어 학습 장치 및 방법
JP6225012B2 (ja) * 2013-07-31 2017-11-01 日本電信電話株式会社 発話文生成装置とその方法とプログラム
JP6067616B2 (ja) * 2014-04-25 2017-01-25 日本電信電話株式会社 発話生成手法学習装置、発話生成手法選択装置、発話生成手法学習方法、発話生成手法選択方法、プログラム
US9966065B2 (en) * 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
JP6004452B2 (ja) * 2014-07-24 2016-10-05 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 言語モデル用の学習テキストを選択する方法及び当該学習テキストを使用して言語モデルを学習する方法、並びに、それらを実行するためのコンピュータ及びコンピュータ・プログラム
US20160055240A1 (en) 2014-08-22 2016-02-25 Microsoft Corporation Orphaned utterance detection system and method
US10366621B2 (en) * 2014-08-26 2019-07-30 Microsoft Technology Licensing, Llc Generating high-level questions from sentences
WO2016065327A1 (en) * 2014-10-24 2016-04-28 Google Inc. Neural machine translation systems with rare word processing
KR102167719B1 (ko) * 2014-12-08 2020-10-19 삼성전자주식회사 언어 모델 학습 방법 및 장치, 음성 인식 방법 및 장치
JP6370732B2 (ja) * 2015-03-17 2018-08-08 日本電信電話株式会社 発話意図モデル学習装置、発話意図抽出装置、発話意図モデル学習方法、発話意図抽出方法、プログラム
JP2017126051A (ja) * 2016-01-07 2017-07-20 日本電気株式会社 テンプレート生成装置、テンプレート生成方法、テンプレート生成プログラムおよびフレーズ検知システム
US20170256270A1 (en) * 2016-03-02 2017-09-07 Motorola Mobility Llc Voice Recognition Accuracy in High Noise Conditions
US10319377B2 (en) * 2016-03-15 2019-06-11 Tata Consultancy Services Limited Method and system of estimating clean speech parameters from noisy speech parameters
US10268686B2 (en) * 2016-06-24 2019-04-23 Facebook, Inc. Machine translation system employing classifier
CN106951512A (zh) * 2017-03-17 2017-07-14 深圳市唯特视科技有限公司 一种基于混合编码网络的端到端对话控制方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101309042B1 (ko) 2012-09-17 2013-09-16 포항공과대학교 산학협력단 다중 도메인 음성 대화 장치 및 이를 이용한 다중 도메인 음성 대화 방법
US20170190051A1 (en) 2016-01-06 2017-07-06 Disney Enterprises, Inc. Trained human-intention classifier for safe and efficient robot navigation

Also Published As

Publication number Publication date
CN109522541A (zh) 2019-03-26
KR20190031840A (ko) 2019-03-27
US20190088250A1 (en) 2019-03-21
JP7029351B2 (ja) 2022-03-03
EP3457397A1 (en) 2019-03-20
JP2019053715A (ja) 2019-04-04
US10733975B2 (en) 2020-08-04
CN109522541B (zh) 2023-09-15
EP3457397B1 (en) 2022-06-22

Similar Documents

Publication Publication Date Title
US10679148B2 (en) Implicit bridging of machine learning tasks
US11373049B2 (en) Cross-lingual classification using multilingual neural machine translation
US11093707B2 (en) Adversarial training data augmentation data for text classifiers
KR102565275B1 (ko) 병렬 처리에 기초한 번역 방법 및 장치
US10394963B2 (en) Natural language processor for providing natural language signals in a natural language output
US20190303440A1 (en) Knowledge-guided structural attention processing
US11189269B2 (en) Adversarial training data augmentation for generating related responses
US20180189272A1 (en) Apparatus and method for sentence abstraction
US20200327281A1 (en) Word classification based on phonetic features
JP2020505643A (ja) 音声認識方法、電子機器、及びコンピュータ記憶媒体
WO2018024243A1 (zh) 字符识别中识别结果的校验方法和装置
US10394861B2 (en) Natural language processor for providing natural language signals in a natural language output
CN110020006B (zh) 查询语句的生成方法及相关设备
US20210312122A1 (en) Methods and systems for generating documents with a targeted style
KR102509821B1 (ko) Oos 문장을 생성하는 방법 및 이를 수행하는 장치
CN112084795A (zh) 一种翻译系统和翻译服务调用的方法、装置
US11398227B1 (en) Compression for translation systems
US11580968B1 (en) Contextual natural language understanding for conversational agents
US20220254351A1 (en) Method and system for correcting speaker diarization using speaker change detection based on text
US11568858B2 (en) Transliteration based data augmentation for training multilingual ASR acoustic models in low resource settings
US11741168B1 (en) Multi-label document classification for documents from disjoint class sets
US11588753B2 (en) Methods and systems for generating deployment architecture and template
US11763082B2 (en) Accelerating inference of transformer-based models
US20240119239A1 (en) Word-tag-based language system for sentence acceptability judgment
KR20220161821A (ko) 문서 요약 모델 학습 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant