KR20110072847A - 열려진 사용자 의도 처리를 위한 대화관리 시스템 및 방법 - Google Patents

열려진 사용자 의도 처리를 위한 대화관리 시스템 및 방법 Download PDF

Info

Publication number
KR20110072847A
KR20110072847A KR1020090129942A KR20090129942A KR20110072847A KR 20110072847 A KR20110072847 A KR 20110072847A KR 1020090129942 A KR1020090129942 A KR 1020090129942A KR 20090129942 A KR20090129942 A KR 20090129942A KR 20110072847 A KR20110072847 A KR 20110072847A
Authority
KR
South Korea
Prior art keywords
user
user intention
intention
service
unit
Prior art date
Application number
KR1020090129942A
Other languages
English (en)
Inventor
곽병관
조정미
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090129942A priority Critical patent/KR20110072847A/ko
Priority to US12/912,631 priority patent/US20110153322A1/en
Publication of KR20110072847A publication Critical patent/KR20110072847A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

추상적인 사용자의 관심을 명확한 사용자 의도로 유도하여 서비스를 제공하는 열려진 사용자 의도 처리를 위한 대화관리 시스템 및 방법이 개시된다. 본 발명의 일 양상에 따라, 열려진 사용자 의도 영역의 대화(Info-Seeking Dialog)를 서비스에 해당하는 주제별로 정보가 계층화되어 있는 계층 주제 계획 정보(Hierarchical Topic Plan)를 이용하여 정제된 사용자 의도(Task-Oriented Dialog)로 유도하여 사용자에게 서비스를 제공할 수 있다.
열려진 사용자 의도, 정제된 사용자 의도, 계층 주제

Description

열려진 사용자 의도 처리를 위한 대화관리 시스템 및 방법{Dialog management system or method for processing Information Seeking Dialog}
음성, 문자 및 멀티 모달 입력을 통해 대화형식으로 서비스를 제공하는 대화형 인터페이스에서 추상적인 사용자의 관심을 명확한 사용자 의도로 유도하여 서비스를 제공하는 대화관리 시스템 및 방법에 관한 것이다.
대화영역은 대화의 종류를 목적지향성(Goal-oriented)과 정보성(Informative)을 기준으로 나누어진다.
이러한 대화영역 중 목적지향성과 정보성이 우수한 영역의 대화를 정제된 사용자 의도 영역의 대화, 정보성은 우수하지만 목적지향성이 낮은 영역의 대화를 열려진 사용자 의도 영역의 대화로 구분한다.
대부분의 대화시스템은 비교적 잘 정의된 도메인에서 정제된 사용자 의도 영역의 대화를 통해 시스템이 주도적으로 대화를 이끌어 사용자 발화를 제약함으로써 대화(System Initiative)를 이끌거나 사용자가 시스템이 이해할 수 있는 패턴으로 명확한 의도를 말하는 방식(User Initiative)을 제공하고 있다.
그러나, 대화시스템이 제공해야 할 관련분야(도메인)와 서비스가 다양해지고 복잡해짐에 따라 사용자가 일일이 각 기능에 대해 명확히 알고 원하는 의도를 정확하게 표현하여 원하는 서비스를 제공받기는 어려워지고, 어떻게 말해야 원하는 서비스를 받을 수 있는지 점점 알기가 어려워지며, 특히 대화시스템 사용이 익숙하지 않은 사용자의 경우 열려진 사용자 의도 영역에 해당되는 불명확하거나 모호한 의도를 표현하게 되는 일이 자연스럽게 발생하게 된다.
즉, 도메인에 대한 관심은 있지만 구체적인 서비스에 대한 요청을 하지 못하는 경우가 발생하게 된다. 이러한 대화에 대하여 대화시스템이 적절한 대응을 하지 못한다면 일반 사용자들이 대화 인터페이스를 사용하여 원하는 의도를 수행하기는 매우 어려울 것이다.
따라서, 정형화된 도메인에 적합한 정제된 사용자 의도 영역의 대화관리 방식으로는 처리하기 어려운 비정화된 열려진 사용자 의도 영역의 대화에서 사용자의 의도를 분석하고 정제된 사용자 의도 영역의 대화로 유도하여 서비스를 제공할 수 있는 대화시스템에 대한 요구가 발생하게 된다.
비정형화된 열려진 사용자 의도 영역의 대화(Information Seeking Dialog)에서 사용자 의도를 분석하고 서비스 제공에 적절한 대화를 유도할 수 있는 대화 관리 시스템 및 방법을 제공한다.
본 발명의 일 양상에 따른 대화관리 시스템은, 사용자의 음성신호를 문자로 인식하는 음성인식부, 상기 인식된 문자로부터 상기 사용자 의도를 파악하는 언어해석부, 상기 파악된 사용자 의도가 열려진 사용자 의도(Info-Seeking Dialog)인 경우 서비스에 해당하는 주제별로 정보가 계층화되어 있는 계층 주제 계획 정보(Hierarchical Topic Plan)를 이용하여 정제된 사용자 의도(Task-Oriented Dialog)로 유도하여 상기 사용자 의도에 해당하는 서비스를 선택하는 대화관리부 및 상기 선택된 서비스를 응답으로 생성하여 상기 사용자에게 제공하는 응답관리부를 포함할 수 있다.
또한, 상기 대화관리부는 상기 파악된 사용자 의도가 상기 서비스의 직접 요청에 해당하는지 여부에 따라 열려진 사용자 의도인지, 정제된 사용자 의도인지 구분하는 명확화부, 상기 명확화부에서 구분된 상기 사용자 의도가 열려진 사용자 의도인 경우 상기 계층 주제 계획 정보에서 상기 열려진 사용자 의도에 포함된 관심분야에 해당하는 주제를 탐색하고, 상기 관심분야에 해당하는 주제의 하위 계층 주제에 대한 사용자 의도를 확인하는 응답을 생성하도록 하는 정보탐색 대화처리부, 상기 명확화부에서 구분된 사용자 의도가 정제된 사용자 의도인 경우 상기 계층 주제 계획 정보를 이용하여 상기 사용자 의도에 해당하는 서비스를 선택하는 도메인 수행 처리부 및 상기 응답 또는 서비스를 사용자 인터페이스 형태로 생성하는 응답생성부를 포함할 수 있다.
또한, 상기 명확화부는 상기 언어해석부에서 파악된 사용자 의도가 복수 개인 경우 상기 복수 개의 사용자 의도 중 명확성이 높은 하나의 사용자 의도로 단일화하는 사용자 의도 단일화부, 상기 사용자 의도 단일화부를 통하여 상기 복수 개의 사용자 의도가 단일화되지 않는 경우 상기 사용자에게 상기 복수 개의 사용자 의도에 해당하는 서비스 중 상기 사용자 의도에 해당하는 서비스를 선택하도록 하는 응답 선택 생성부 및 상기 사용자 의도 단일화부를 통하여 상기 단일화된 사용자 의도가 열려진 사용자 의도인지, 정제된 사용자 의도인지를 파악하는 사용자 의도 구분부를 포함할 수 있다.
또한, 상기 계층 주제 계획 정보는 최상위 계층에는 제공되는 서비스의 최상위 개념의 주제노드가 위치하고, 하위 계층으로 가면서 상기 주제노드의 하위 개념 및 상기 열려진 사용자 의도에 따라 구분되며, 최하위 계층에는 제공되는 서비스의 최하위 개념의 주제노드가 위치하고 상기 최하위 개념의 주제노드는 상기 정제된 사용자 의도에 따라 구분되며, 상기 주제노드는 상기 주제노드에 해당하는 서비스를 제공해주기 위한 조건을 표시하는 전제조건(Pre-Condition), 상기 제공하는 서비스를 표시하는 액션(Action) 및 상기 서비스를 제공한 후 상태를 표시하는 효과(Effect)를 포함할 수 있다.
또한, 상기 정보탐색 대화처리부는 상기 파악된 사용자 의도에 해당하는 상기 계층 주제 계획 정보의 특정 계층에 위치한 주제노드를 탐색하는 주제노드 탐색부, 상기 사용자 의도에 따른 상기 사용자의 현재 상태가 상기 탐색된 주제노드의 전제조건을 만족하는지 판단하고, 만족하는 경우 상기 주제노드에 해당하는 서비스를 선택하는 전제조건 판단부, 상기 전제조건을 만족하는 못하는 경우 상기 주제노드의 하위 계층에 위치한 하위 주제노드를 탐색하고, 하위 주제노드가 존재하는 경우 상기 전제조건 판단부에서 상기 하위 주제노드의 전제조건을 상기 사용자의 현재 상태가 만족하는지 판단하도록 하는 하위 주제노드 탐색부 및 상기 하위 주제노드 탐색부에서 하위 주제노드를 탐색하지 못한 경우 대체응답이 제공되도록 하는 대체응답 제안부를 포함할 수 있다.
또한, 상기 도메인 수행 처리부는 상기 정제된 사용자 의도가 상기 정제된 사용자 의도에 해당하는 서비스를 제공하기에 필요한 입력인자를 모두 포함하고 있는지 검사하는 입력인자 검사부, 상기 서비스를 제공하기에 필요한 입력인자를 모두 포함하고 있지 않거나 일부 입력인자를 포함하고 있지 않은 경우 상기 포함하고 있지 않은 입력인자에 대하여 상기 사용자에게 요청하는 사용자 의도 부가부, 상기 서비스를 제공하기에 필요한 입력인자를 모두 포함하고 있는 경우 상기 입력인자가 상기 서비스를 제공하기에 유효한 입력인자인지 검사하는 신뢰성 검사부 및 상기 입력인자가 유효하지 않은 입력인자가 포함된 경우 상기 유효하지 않은 입력인자에 대하여 상기 사용자에게 재입력을 요청하는 사용자 의도 확인부를 포함할 수 있다.
본 발명의 일 양상에 따른 대화관리 방법은 서비스에 해당하는 주제별로 정 보가 계층화되어 있는 계층 주제 계획 정보(Hierarchical Topic Plan)를 이용하여, 사용자 의도가 상기 계층 주제 계획 정보의 상기 최상위 또는 상기 하위 계층에 위치한 주제노드에 해당하는 경우 상기 사용자 의도에 따른 사용자의 현재 상태가 상기 사용자 의도에 해당하는 주제노드의 전제조건을 만족하는 때에, 상기 주제노드의 직하위 개념의 주제노드를 상기 사용자에게 제공하는 단계 및 상기 사용자에게 제공한 직하위 개념의 주제노드 중 상기 사용자로부터 사용자 의도에 해당하는 주제노드를 선택받는 단계를 반복 수행함으로써 열려진 사용자 의도 영역의 대화를 처리할 수 있다.
개시된 내용에 의하면, 열려진 사용자 의도 영역의 대화를 처리하기 위한 계층 주제 계획 정보(Hierarchical Topic Plan)를 이용한 대화모델링을 제공한다. 또한, 사용자의 불명확한 의도의 대화에 따라 계층 주제 계획 정보를 탐색하여 정제된 사용자 의도 영역의 대화로 유도하는 것이 가능하다.
또한, 계층 주제 계획 정보에 사전조건을 부가하여 사용자와의 대화상황에 따라 달라지는 서비스 응답을 생성하고, 열려진 사용자 의도 영역의 대화 및 정제된 사용자 의도 영역의 대화를 함께 처리하는 것이 가능해진다.
이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 예를 상세히 설명한다.
도 1은 목적지향성과 정보성에 따른 대화영역을 나타낸 도면이다. 도 1를 참 조하면, 대화영역은 정제된 사용자 의도(Task-Oriented Dialog), 열려진 사용자 의도(Information Seeking Dialog), 채팅(Chatting)으로 나뉘어진다.
대부분의 대화시스템은 정형화된 도메인에 적합한 실용적인 서비스 제공을 목적으로 2사분면의 정제된 사용자 의도(Task-Oriented Dialog)영역을 주로 다루어 왔다.
정제된 사용자 의도(Task-Oriented Dialog) 영역에 해당하는 대화는 기차/비행기 티켓 예약, 가전제어 등을 들 수 있다. 이러한 대화의 예는 다음과 같다.
- U : 내일 오후에 부산가는 KTX 예약하려고 하는데요.
- S : 출발지는 어디입니까?
- U : 서울이요.
- S : 출발시간은 언제입니까?
채팅(Chatting) 영역에 해당하는 대화는 일상대화, 신변잡기 등을 들 수 있다. 이러한 대화의 예는 다음과 같다.
- U1 : 아, 피곤하네.
- U2 : 나도 요즈음 좀 피곤한데 너도 그래?
- U1 : 어, 환절기라 그런지 좀 피곤하네.
- U2 : 우리 기분전환으로 좋은 음식 먹으러 가자.
열려진 사용자 의도(Information Seeking Dialog) 영역에 해당하는 대화는 주제에 대한 의도가 명확하지 않고 막연한 관심을 가지고 있는 대화를 말하는 것으로 제공하고자 하는 서비스 영역과 관련되어 있지만 직접적인 서비스나 정보 요청 이 나타나지 않는 경우의 대화가 이에 해당한다. 이러한 대화의 예는 다음과 같다.
- U : 로마에 대해서 설명해 주세요.
- S : 로마는 고대 건출물과 문화가 혼재되어 있는 …
- U : 그래요? 그럼 어떤 건축물들이 있나요?
- S : 콜로세움과 개선문 등이 있습니다.
- U : 콜로세움에 대해서 설명해 주실래요.
위의 예에서 보듯이 열려진 사용자 의도 영역의 대화는 해당되는 도메인에 관련된 내용을 사용자가 말하지만, 대화시스템이 제공하고 있는 서비스를 직접적으로 요청하는 내용이 아니라 서비스 자체(일종의 메타정보라고도 볼 수 있다)에 대한 대화(질문) 등을 말한다.
도 2는 본 발명의 일 실시예에 따른 열려진 사용자 의도 영역의 대화를 처리하는 대화관리 방법에 대한 개념을 나타낸다.
사용자의 열려진 사용자 의도 영역의 대화에 대하여 주제 간의 계층적 구조관계로 표현한 계층 주제(Topic Hierarchy)를 이용하여 추상적인 사용자 관심을 자연스럽게 명확한 사용자 의도로 유도할 수 있는 대화관리 방법을 나타낸다.
열려진 사용자 의도 영역의 대화로부터 표출된 사용자의 관심으로부터 관심영역(도메인) 계층 주제를 탐색하게 되고 도메인 레벨에서부터 사용자와의 대화를 통하여 정제된 사용자 의도 영역의 대화로 유도하여 액션 레벨에 도달하게 하여 사용자에게 사용자 의도에 맞는 서비스를 제공한다.
도 3은 본 발명의 일 실시 예에 따른 개괄적인 입출력 관계를 표시한 대화시 스템의 구성도이다. 도 3을 참조하면, 대화시스템은 음성인식부(300), 언어해석부(310), 대화관리부(320), 응답관리부(330)를 포함한다.
음성인식부(ASR, Automatic Speech Recogniton, 300)는 음성신호를 문장으로 인식하고, 언어해석부(SLU, Spoken Language Understanding, 310)은 인식된 문장을 분석해 사용자 의도 후보들을 제시한다.
이러한 사용자 의도 후보들을 대화관리부(DM, Dialog Manager, 320)에서는 대화상황에 맞는 최종 사용자 의도를 선택하고 서비스를 실제로 제공하는 서비스 제공모듈(Back End, 340)에 서비스 요청을 보내고 서비스 응답을 결과로 받는다.
응답관리부(RM, Response Manager, 330)에서 그 결과를 사용자에게 반환한다.
대화관리부(320)는 분석된 사용자 의도가 서비스를 제공하기에 부족한 것으로 판단한 경우 사용자와의 상호대화(interaction)를 통해 원하는 사용자 의도를 명확히 하도록 유도할 수 있다. 보다 자세하게는 도 4를 참조하여 후술한다.
도 4는 본 발명의 일 실시예에 따른 대화시스템의 대화관리부의 상세 구성도이다. 도 4를 참조하면, 대화관리부(320)는 명확화부(400), 도메인 수행 처리부(410), 정보탐색 대화처리부(420), 계층 주제 계획 정보(430), 응답생성부(440)를 포함한다.
명확화부(Disambiguation, 400)는 언어해석부(310)의 분석결과인 사용자 의도 후보군에 대해 대화시스템이 제공하는 서비스에 대한 직접 요청을 나타내는 정보를 포함하고 있는 후보군을 정제된 사용자 의도로, 그렇지 않은 경우에 열려진 사용자 의도로 구분한다. 즉, 사용자의 의도가 명확하게 표현되어 있지 않은 정제된 사용자 의도 영역 대화와 대화시스템이 구체적으로 서비스를 수행할 수 있는 명령형태인 도메인 액션에 해당하는 정제된 사용자 의도 영역의 대화로 구분한다.
열려진 사용자 의도 영역의 대화는 정보탐색 대화처리부(Infomation Seeking Dialog Handler, 420)에서 계층 주제 계획 정보(Hierarchical Topic Plan, 430)를 이용하여 열려진 사용자 의도로부터 서비스를 수행할 수 있는 사용자 의도에 도달할 수 있는 하위 계층의 사용자 의도를 유도하는 응답을 응답생성부(Response Generation, 440)에서 생성하도록 지시한다.
정제된 사용자 의도 영역의 대화의 경우 도메인 수행 처리부(Domain Action Handler, 410)에서 실제 서비스를 제공하는 서비스 제공모듈(340)과의 통신을 통하여 제공 서비스를 최종 결정한다. 실제 서비스 요청하기에 필요한 정보들은 계층 주제 계획 정보(430)를 통해 확인할 수 있다.
대화관리부(320)의 모든 출력은 응답생성부(440)에서 TTS(Text To Speech), GUI(Graphical User Interface) 등과 같은 사용자 인터페이스 형태로 응답을 생성하고, 생성된 응답은 응답관리부(330)로 전달되고 사용자에게 응답이 반환된다.
도 5는 본 발명의 일 실시예에 따른 대화시스템의 명확화부의 상세 구성도이다. 도 5를 참조하면, 명확화부(400)는 사용자 의도 단일화부(500), 사용자 의도 구분부(510), 응답선택 생성부(520)를 포함한다.
명확화부(400)는 사용자 의도 후보군에 대하여 정제된 사용자 의도와 열려진 사용자 의도를 구분하는 것을 목적으로 한다.
사용자 의도 단일화부(500)는 복수 개의 사용자 의도 후보군들 중에 사용자 의도로서 파악되는 명확성이 가장 높은 하나의 사용자 의도를 선택 또는 취합하여 애매성을 해소한다.
응답선택 생성부(520)는 사용자 의도 단일화부(500)를 통해 하나의 사용자 의도가 분석되지 않을 경우 사용자 의도 후보군들에 대해 사용자에게 진정한 의도를 확인하기 위하여 선택형 질분 등의 형태로 응답을 반환하여 실제 사용자의 의도를 확인한다.
사용자 의도 구분부(510)는 사용자 의도 단일화부(500)를 통한 하나의 사용자 의도가 선택된 경우에 선택된 하나의 사용자 의도가 정제된 사용자 의도인지, 열려진 사용자 의도인지 구분하게 되는데, 서비스를 직접 요청하거나 제공할 수 있는 형태의 정보를 포함하는지 여부를 문장패턴에 대한 사전 및 알로리즘 등을 이용하여 구분할 수 있다. 구분된 사용자 의도는 정보탐색 대화처리부(420) 또는 도메인 수행 처리부(410)에서 처리가 진행된다.
도 6은 본 발명의 일 실시예에 따른 계층 주제 계획 정보에 포함된 데이터를 도시한다.
Automated Planning 연구에서 활용되는 계층 주제 계획 정보를 간략히 하여 서비스를 수행하는 액션(Action, 600), 이러한 액션을 수행하기 위한 전제조건(Pre-Condition, 610), 액션이 수행된 이후의 상태를 표시하는 효과(Effect, 620)의 3가지 정보를 포함한다.
전제조건(610)과 효과(620)에 사용되는 상태(state) 정보는 사용자 또는 대 화시스템의 상태를 말하는 것으로, 예를 들어 사용자가 특정정보를 알거나 답변을 받았는지에 대한 상태 등을 말한다.
도 6에서 로마에 대한 설명(액션)을 수행하려면 로마에 대해 사용자가 모르고 있다(Don't know)는 의도를 표현한 때에 수행하게 되며, 액션이 수행된 결과 사용자의 상태는 로마에 대한 정보를 알게 된다(Know). 여기서 전제조건과 효과는 고려될 수 있는 모든 조합이 가능하다. 이러한 구성을 통하여 복잡한 조건을 제시할 수 있고 다양한 대화상황에 대처할 수 있게 된다.
계층 주제 계획 정보 모델링에서는 각 주제마다 이러한 구성을 보유하고 이 정보는 사용자와의 상호대화가 이루어지는 과정에서 활용되어 대화가 진행된다.
도 7은 본 발명의 일 실시예에 따른 대화시스템의 정보탐색 대화처리부의 상세 구성도이다. 도 7을 참조하면, 정보탐색 대화처리부(420)는 주제노드 탐색부(700), 전제조건 판단부(710), 하위 주제노드 탐색부(720), 대체응답 제안부(730)을 포함한다.
열려진 사용자 의도 영역의 대화가 입력되면 주제노드 탐색부(700)는 계층 주제 계획 정보(430)로부터 주제노드를 찾거나 대화흐름 관리(750) 상에서의 현재 대화흐름의 위치를 찾는다.
대화흐름 관리(750)에서 대화흐름에 따른 주제노드의 위치를 저장하는 것은 이전 단계에서 사용자에게 응답을 생성하여 반환할 때 이전 단계에서 반환된 주제노드의 수행에 의한 상태정보를 갱신하는 과정을 통하여 수행하게 된다. 도 7에서는 이러한 갱신과정이 상태변경 모듈(740)에서 수행되는 것으로 도시되어 있으나 대화흐름 관리(750)는 계층 주제 계획 정보 내에서 구현될 수 있으며, 상태변경 모듈(740)에서 수행되는 기능을 정보탐색 대화처리부(420) 내의 구성들 중에 추가하는 형태로 구현될 수 있다.
주제노드 탐색부로부터 찾은 주제노드로부터 전제조건 판단부(710)는 사용자와의 대화흐름 또는 사용자의 현재의 상태와 찾는 위치에 해당되는 주제노드에 포함된 전제조건을 비교한다.
현재의 상태가 전제조건을 만족할 경우 주제노드에 포함된 액션을 수행하여 응답생성부(440)를 통하여 사용자에게 응답을 반환하게 되고, 만족하지 않을 경우 하위 주제노드 탐색부(720)에서는 주제노드 탐색부(720)에서 찾은 주제노드의 하위 계층에 위치한 하위 주제노드를 탐색한다. 하위 주제노드를 찾는 과정을 통하여 대화시스템이 제공하는 서비스의 구조를 사용자에게 반환해 주게 됨으로써 사용자는 대화시스템의 서비스 구조를 이해하게 되어 정제된 사용자 의도 영역의 대화로의 유도가 이루어진다.
하위 주제노드가 발견되면 하위 주제노드에 포함된 전제조건과 현재의 상태를 전제조건 판단부(710)에서 다시 비교하는 과정을 수행하게 된다. 발견되지 않을 경우에는 대체응답 제안부(730)를 통하여 사용자에게 다른 서비스 요청 또는 외부정보(인터넷 검색 등)의 대체응답을 반환할 수 있다.
앞서 언급한 바와 같이 대화흐름 관리(750)와 상태변경 모듈(740)은 다양한 형태로 구현할 수 있을 것이나, 도 7의 도시형태만으로 보면, 응답생성부(440)를 통하여 응답이 생성되고 나면 주제노드에 포함된 효과에 따라 현재 상태를 변경하 고 이를 통하여 대화흐름 관리(750)에서 대화흐름 위치를 계속적으로 현재의 상태로 유지해 줄 수 있다.
도 8은 본 발명의 일 실시예에 따른 대화시스템의 도메인 수행 처리부의 상세 구성도이다. 도 8을 참조하면, 도메인 수행 처리부(410)는 입력인자 검사부(800), 사용자 의도 부가부(810), 신뢰성 검사부(820), 사용자 의도 확인부(830)을 포함한다.
입력인자 검사부(800)는 계층 주제 계획 정보를 참조하여 도메인 액션의 수행을 위하여 필요한 입력인자들을 조사하여 값이 설정되어 있는지 검사한다.
사용자 의도 부가부(810)는 도메인 액션을 수행하기 위한 입력인자를 모두 포함하고 있지 않거나 일부 입력인자를 포함하고 있지 않은 경우 사용자에게 해당 입력인자 값을 요청하는 부대화(sub-dialog)를 생성하여 사용자에게 반환한다.
신뢰도 검사부(820)는 도메인 액션을 수행하기 위한 입력인자를 모두 포함하고 있는 경우에는 도메인 액션을 오류없이 수행될 수 있는 유효한 입력인자인지에 대하여 각 입력인자 값에 대한 신뢰도를 측정한다. 여기에서 말하는 신뢰도는 음성인식, 언어해석 및 대화관리를 거치면서 입력인자 값에 대한 신뢰값으로 계산될 수 있으며, 음성인식에서 생길 수 있는 오인식을 보완하는 기능도 가진다.
이러한 신뢰도가 일정 수준을 넘을 경우는 서비스를 실제로 제공하는 서비스 제공 묘듈(340)과의 통신을 통해 도메인 액션을 수행하여 응답을 사용자에게 반환한다.
신뢰도가 일정 수준이 미치지 못하는 입력인자에 대해서는 사용자 의도 확인 부(830)를 통하여 사용자에게 다시 확인을 요청(confirmation sub-dialog) 또는 재입력을 요청한다.
도 9는 본 발명의 일 실시예에 따른 로봇 서비스 대화시스템에서의 계층 주제 계획 정보를 도시한다.
도 9를 살펴보면, 주제노드(정보)는 응답을 하기 위한 정보를 가지고 있으며 계층 구조(예, tree 모양)로 정렬되어 있어 사용자와의 대화위치 정보를 저장하기 위한 것으로도 사용될 수 있으며, 각각의 주제노드에는 도 6에서 언급한 정보 구조를 포함하고 있어 사용자와의 대화가 수행된다.
즉, 현재의 대화의 상태가 어떤 주제노드에 위치하고 있는지를 계속 관리하고 대화상황에 맞는 시스템의 응답을 결정하게 된다. 따라서, 사용자와의 대화흐름을 관리하기 위한 구조로서도 사용할 수 있게 된다.
도 9의 주제노드 중 둥근 사각형으로 표시된 모양은 internal node로서 기본적으로 열려진 사용자 의도 영역의 대화를 처리하기 위한 주제를 담고 있으며, 타원으로 표시된 모양은 정제된 사용자 의도 영역의 대화에 해당하는 도메인 액션을 다루기 위한 주제를 담고 있다. 각 도메인 액션에는 구체적인 기능(서비스)를 제공하기 위해서 필요한 인자(parameter)가 나타난다.
예를 들어, 일정 등록하기(registerSchedule) 도메인 액션에서는 제목(Title), 시작시간(start date/time), 종료시간(end date/time), 장소(location)의 4개의 인자가 있어야 등록이 가능하다. 도 8에서 언급되었던 도메인 수행 처리부(410)에서 수행되는 입력인자에 대한 검사는 이러한 과정을 통하여 등록된 값에 대하여 수행하게 된다.
각 internal node에서는 해당되는 액션이 수행되기 위한 사전조건과 실행이 되었을 경우 효과가 표현되어 있으며, 도 9의 A, B, C, D, E의 표시는 사전조건 및 효과에 사용되는 상태(status)를 나타내는 것이다.
도 10은 본 발명의 일 실시예에 따른 계층 주제 계획 정보를 활용하여 사용자와 대화시스템 간에 대화가 진행되는 과정을 도시한다.
도 10의 대화상황은, 로마를 배경으로 하는 가상공간에서의 대화를 나타낸 것으로 사용자가 가이드 아바타와의 대화를 수행하고 있는 것을 가정한다.
사용자가 우선 로마에 대해서 포괄적인 질문(로마에 대해서 설명해 주세요)을 하게 되는 상황에서 현재의 상태는 계층 주제 계획 정보 상에서 root internal node(A)인 '로마'에 위치하고 있다. 사용자는 로마에 대해 알고 싶은 의사를 표현했고 이를 만족하기 위한 서비스를 찾는 과정에서 A가 발견되고 사용자가 로마에 대하여 모르고 있는 경우(Precondition : 로마_일반_unknown)이므로 액션이 수행되며, 액션이 수행되고 난 후에는 새로운 상태가 갱신되게 된다(Effect : 로마_일반_known).
다음 과정에서 사용자의 건축물에 대한 질문(어떤 건축물이 있나요?)에 대하여 다시 계층 주제 계획 정보를 찾는 과정을 거치게 되어 건축물 주제노드(B)를 발견하게 되어 앞선 과정과 마찬가지로 현재 상태가 사전조건을 만족하는지 체크하고 액션을 수행하고 새로운 상태로 갱신된다. 다음으로, 콜로세움에 대한 질문(콜롯세움에 대해 알려주세요)에 대하여 콜로세움 주제노드(C)에 대한 과정이 수행된다.
이후 User1이 콜로세움에 대한 질문을 다시하게 되면(콜롯세움에 대해 좀더 알려주세요) 대화시스템은 다시 콜로세움 주제노드(C)를 발견하게 될 것이나 현재 상태는 콜로세움에 대한 정보(콜_일반_known)를 알고 있어 주제노드(C)의 사전조건을 만족시키지 못하여 대화시스템은 주제노드(C)의 하위 주제노드들을 탐색하는 과정을 통하여 주제노드(D), 주제노드(E) 등의 액션을 수행하게 된다.
한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명의 실시를 위한 구체적인 예를 살펴보았다. 전술한 실시 예들은 본 발명을 예시적으로 설명하기 위한 것으로 본 발명의 권리범위가 특정 실시 예에 한정되지 아니할 것이다.
도 1은 목적지향성과 정보성에 따른 대화영역을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 열려진 사용자 의도 영역의 대화를 처리하는 대화관리 방법에 대한 개념을 나타낸다.
도 3은 본 발명의 일 실시 예에 따른 개괄적인 입출력 관계를 표시한 대화시스템의 구성도이다.
도 4는 본 발명의 일 실시예에 따른 대화시스템의 대화관리부의 상세 구성도이다.
도 5는 본 발명의 일 실시예에 따른 대화시스템의 명확화부의 상세 구성도이다.
도 6은 본 발명의 일 실시예에 따른 계층 주제 계획 정보에 포함된 데이터를 도시한다.
도 7은 본 발명의 일 실시예에 따른 대화시스템의 정보탐색 대화처리부의 상세 구성도이다.
도 8은 본 발명의 일 실시예에 따른 대화시스템의 도메인 수행 처리부의 상세 구성도이다.
도 9는 본 발명의 일 실시예에 따른 로봇 서비스 대화시스템에서의 계층 주제 계획 정보를 도시한다.
도 10은 본 발명의 일 실시예에 따른 계층 주제 계획 정보를 활용하여 사용자와 대화시스템 간에 대화가 진행되는 과정을 도시한다.

Claims (10)

  1. 사용자의 음성신호를 문자로 인식하는 음성인식부;
    상기 인식된 문자로부터 상기 사용자 의도를 파악하는 언어해석부;
    상기 파악된 사용자 의도가 열려진 사용자 의도인 경우, 서비스에 해당하는 주제별로 정보가 계층화되어 있는 계층 주제 계획 정보를 이용하여 정제된 사용자 의도로 유도하여 상기 사용자 의도에 해당하는 서비스를 선택하는 대화관리부; 및
    상기 선택된 서비스를 응답으로 생성하여 상기 사용자에게 제공하는 응답관리부;를 포함하는 것을 특징으로 하는 열려진 사용자 의도 처리를 위한 대화관리 시스템.
  2. 제 1 항에 있어서, 상기 대화관리부는
    상기 파악된 사용자 의도가 상기 서비스의 직접 요청에 해당하는지 여부에 따라 열려진 사용자 의도인지, 정제된 사용자 의도인지 구분하는 명확화부;
    상기 명확화부에서 구분된 상기 사용자 의도가 열려진 사용자 의도인 경우, 상기 계층 주제 계획 정보에서 상기 열려진 사용자 의도에 포함된 관심분야에 해당하는 주제를 탐색하고, 상기 관심분야에 해당하는 주제의 하위 계층 주제에 대한 사용자 의도를 확인하는 응답을 생성하도록 하는 정보탐색 대화처리부; 및
    상기 응답을 사용자 인터페이스 형태로 생성하는 응답생성부;를 포함하는 것을 특징으로 하는 열려진 사용자 의도 처리를 위한 대화관리 시스템.
  3. 제 1 항에 있어서, 상기 대화관리부는
    상기 파악된 사용자 의도가 상기 서비스의 적접 요청에 해당하는지 여부에 따라 열려진 사용자 의도인지, 정제된 사용자 의도인지 구분하는 명확화부;
    상기 명확화부에서 구분된 사용자 의도가 정제된 사용자 의도인 경우, 상기 계층 주제 계획 정보를 이용하여 상기 사용자 의도에 해당하는 서비스를 선택하는 도메인 수행 처리부; 및
    상기 선택된 서비스를 사용자 인터페이스 형태로 생성하는 응답 생성부;를 포함하는 것을 특징으로 하는 열려진 사용자 의도 처리를 위한 대화관리 시스템.
  4. 제 2 항 또는 제 3 항에 있어서, 상기 명확화부는
    상기 언어해석부에서 파악된 사용자 의도가 복수 개인 경우 상기 복수 개의 사용자 의도 중 명확성이 높은 하나의 사용자 의도로 단일화하는 사용자 의도 단일화부;
    상기 사용자 의도 단일화부를 통하여 상기 복수 개의 사용자 의도가 단일화되지 않는 경우 상기 사용자에게 상기 복수 개의 사용자 의도에 해당하는 서비스 중 상기 사용자 의도에 해당하는 서비스를 선택하도록 하는 응답 선택 생성부; 및
    상기 사용자 의도 단일화부를 통하여 상기 단일화된 사용자 의도가 열려진 사용자 의도인지, 정제된 사용자 의도인지를 파악하는 사용자 의도 구분부;를 포함하는 것을 특징으로 하는 열려진 사용자 의도 처리를 위한 대화관리 시스템.
  5. 제 2 항에 있어서, 상기 계층 주제 계획 정보는
    최상위 계층에는 제공되는 서비스의 최상위 개념의 주제노드가 위치하고,
    하위 계층으로 가면서 상기 주제노드의 하위 개념 및 상기 열려진 사용자 의도에 따라 구분되며,
    최하위 계층에는 제공되는 서비스의 최하위 개념의 주제노드가 위치하고 상기 최하위 개념의 주제노드는 상기 정제된 사용자 의도에 따라 구분되며,
    상기 주제노드는 상기 주제노드에 해당하는 서비스를 제공해주기 위한 조건을 표시하는 전제조건(Pre-Condition), 상기 제공하는 서비스를 표시하는 액션(Action) 및 상기 서비스를 제공한 후 상태를 표시하는 효과(Effect)를 포함하는 것을 특징으로 하는 열려진 사용자 의도 처리를 위한 대화관리 시스템.
  6. 제 5 항에 있어서, 상기 정보탐색 대화처리부는
    상기 파악된 사용자 의도에 해당하는 상기 계층 주제 계획 정보의 특정 계층에 위치한 주제노드를 탐색하는 주제노드 탐색부;
    상기 사용자 의도에 따른 상기 사용자의 현재 상태가 상기 탐색된 주제노드의 전제조건을 만족하는지 판단하고, 만족하는 경우 상기 주제노드에 해당하는 서비스를 선택하는 전제조건 판단부;
    상기 전제조건을 만족하는 못하는 경우 상기 주제노드의 하위 계층에 위치한 하위 주제노드를 탐색하고, 하위 주제노드가 존재하는 경우 상기 전제조건 판단부 에서 상기 하위 주제노드의 전제조건을 상기 사용자의 현재 상태가 만족하는지 판단하도록 하는 하위 주제노드 탐색부; 및
    상기 하위 주제노드 탐색부에서 하위 주제노드를 탐색하지 못한 경우 대체응답이 제공되도록 하는 대체응답 제안부;를 포함하는 것을 특징으로 하는 열려진 사용자 의도 처리를 위한 대화관리 시스템.
  7. 제 3 항에 있어서, 상기 도메인 수행 처리부는
    상기 정제된 사용자 의도가 상기 정제된 사용자 의도에 해당하는 서비스를 제공하기에 필요한 입력인자를 모두 포함하고 있는지 검사하는 입력인자 검사부; 및
    상기 서비스를 제공하기에 필요한 입력인자를 모두 포함하고 있지 않거나 일부 입력인자를 포함하고 있지 않은 경우 상기 포함하고 있지 않은 입력인자에 대하여 상기 사용자에게 요청하는 사용자 의도 부가부;를 포함하는 것을 특징으로 하는 열려진 사용자 의도 처리를 위한 대화관리 시스템.
  8. 제 7 항에 있어서, 상기 도메인 수행 처리부는
    상기 서비스를 제공하기에 필요한 입력인자를 모두 포함하고 있는 경우 상기 입력인자가 상기 서비스를 제공하기에 유효한 입력인자인지 검사하는 신뢰성 검사부; 및
    상기 입력인자가 유효하지 않은 입력인자가 포함된 경우 상기 유효하지 않은 입력인자에 대하여 상기 사용자에게 재입력을 요청하는 사용자 의도 확인부;를 포함하는 것을 특징으로 하는 열려진 사용자 의도 처리를 위한 대화관리 시스템.
  9. 서비스에 해당하는 주제별로 정보가 계층화되어 있는 계층 주제 계획 정보(Hierarchical Topic Plan)를 이용하여,
    사용자 의도가 상기 계층 주제 계획 정보의 상기 최상위 또는 상기 하위 계층에 위치한 주제노드에 해당하는 경우 상기 사용자 의도에 따른 사용자의 현재 상태가 상기 사용자 의도에 해당하는 주제노드의 전제조건을 만족하는 때에, 상기 주제노드의 직하위 개념의 주제노드를 상기 사용자에게 제공하는 단계; 및
    상기 사용자에게 제공한 직하위 개념의 주제노드 중 상기 사용자로부터 사용자 의도에 해당하는 주제노드를 선택받는 단계;를 반복 수행하는 것을 특징으로 하는 열려진 사용자 의도 처리를 위한 대화관리 방법.
  10. 제 9 항에 있어서, 상기 계층 주제 계획 정보는
    최상위 계층에는 제공되는 서비스의 최상위 개념의 주제노드가 위치하고,
    하위 계층으로 가면서 상기 주제노드의 하위 개념 및 상기 열려진 사용자 의도에 따라 구분되며,
    최하위 계층에는 제공되는 서비스의 최하위 개념의 주제노드가 위치하고 상기 최하위 개념의 주제노드는 상기 정제된 사용자 의도에 따라 구분되며,
    상기 주제노드는 상기 주제노드에 해당하는 서비스를 제공해주기 위한 조건 을 표시하는 전제조건(Pre-Condition), 상기 제공하는 서비스를 표시하는 액션(Action) 및 상기 서비스를 제공한 후 상태를 표시하는 효과(Effect)를 포함하는 것을 특징으로 하는 열려진 사용자 의도 처리를 위한 대화관리 방법.
KR1020090129942A 2009-12-23 2009-12-23 열려진 사용자 의도 처리를 위한 대화관리 시스템 및 방법 KR20110072847A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090129942A KR20110072847A (ko) 2009-12-23 2009-12-23 열려진 사용자 의도 처리를 위한 대화관리 시스템 및 방법
US12/912,631 US20110153322A1 (en) 2009-12-23 2010-10-26 Dialog management system and method for processing information-seeking dialogue

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090129942A KR20110072847A (ko) 2009-12-23 2009-12-23 열려진 사용자 의도 처리를 위한 대화관리 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20110072847A true KR20110072847A (ko) 2011-06-29

Family

ID=44152341

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090129942A KR20110072847A (ko) 2009-12-23 2009-12-23 열려진 사용자 의도 처리를 위한 대화관리 시스템 및 방법

Country Status (2)

Country Link
US (1) US20110153322A1 (ko)
KR (1) KR20110072847A (ko)

Cited By (143)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140062656A (ko) * 2012-11-14 2014-05-26 한국전자통신연구원 계층적 대화 태스크 라이브러리를 이용한 이중 대화관리 기반 음성대화시스템
KR20140080717A (ko) * 2012-12-14 2014-07-01 한국전자통신연구원 태스크 그래프 기반 대화 처리 시스템의 태스크 그래프 구축 장치 및 방법
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9668024B2 (en) 2014-06-30 2017-05-30 Apple Inc. Intelligent automated assistant for TV user interactions
US9837082B2 (en) 2014-02-18 2017-12-05 Samsung Electronics Co., Ltd. Interactive server and method for controlling the server
US9865248B2 (en) 2008-04-05 2018-01-09 Apple Inc. Intelligent text-to-speech conversion
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9966060B2 (en) 2013-06-07 2018-05-08 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US9971774B2 (en) 2012-09-19 2018-05-15 Apple Inc. Voice-based media searching
US9986419B2 (en) 2014-09-30 2018-05-29 Apple Inc. Social reminders
WO2018118202A1 (en) * 2016-12-19 2018-06-28 Interactions Llc Underspecification of intents in a natural language processing system
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10049675B2 (en) 2010-02-25 2018-08-14 Apple Inc. User profiling for voice input processing
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US10083690B2 (en) 2014-05-30 2018-09-25 Apple Inc. Better resolution when referencing to concepts
US10089072B2 (en) 2016-06-11 2018-10-02 Apple Inc. Intelligent device arbitration and control
US10108612B2 (en) 2008-07-31 2018-10-23 Apple Inc. Mobile device having human language translation capability with positional feedback
US10169329B2 (en) 2014-05-30 2019-01-01 Apple Inc. Exemplar-based natural language processing
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10269345B2 (en) 2016-06-11 2019-04-23 Apple Inc. Intelligent task discovery
US10297253B2 (en) 2016-06-11 2019-05-21 Apple Inc. Application integration with a digital assistant
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10311871B2 (en) 2015-03-08 2019-06-04 Apple Inc. Competing devices responding to voice triggers
US10318871B2 (en) 2005-09-08 2019-06-11 Apple Inc. Method and apparatus for building an intelligent automated assistant
US10332033B2 (en) 2016-01-22 2019-06-25 Electronics And Telecommunications Research Institute Self-learning based dialogue apparatus and method for incremental dialogue knowledge
US10332518B2 (en) 2017-05-09 2019-06-25 Apple Inc. User interface for correcting recognition errors
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10354011B2 (en) 2016-06-09 2019-07-16 Apple Inc. Intelligent automated assistant in a home environment
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
WO2019147039A1 (ko) * 2018-01-26 2019-08-01 주식회사 머니브레인 대화 이해 ai 서비스 시스템과 연관된 대화 세션 중의 특정 시점에서 목표 달성을 위한 최적의 대화 패턴을 결정하는 방법, 목표 달성 예측 확률을 결정하는 방법, 및 컴퓨터 판독가능 기록 매체
KR20190094087A (ko) 2018-11-22 2019-08-12 주식회사 머니브레인 머신러닝 기반의 대화형 ai 에이전트 시스템과 연관된, 사용자 맞춤형 학습 모델을 포함하는 사용자 단말 및 사용자 맞춤형 학습 모델이 기록된 컴퓨터 판독가능 기록 매체
KR20190094088A (ko) 2018-12-03 2019-08-12 주식회사 머니브레인 서버에 대한 액세스 없이, 개인화 데이터를 이용하여 학습 가능하도록 구성된 사용자 맞춤형 학습 모델을 포함하는 사용자 단말 및 컴퓨터 판독가능 기록매체
US10381016B2 (en) 2008-01-03 2019-08-13 Apple Inc. Methods and apparatus for altering audio output signals
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10403283B1 (en) 2018-06-01 2019-09-03 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US10417405B2 (en) 2011-03-21 2019-09-17 Apple Inc. Device access using voice authentication
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10431204B2 (en) 2014-09-11 2019-10-01 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10438595B2 (en) 2014-09-30 2019-10-08 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10453443B2 (en) 2014-09-30 2019-10-22 Apple Inc. Providing an indication of the suitability of speech recognition
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10497365B2 (en) 2014-05-30 2019-12-03 Apple Inc. Multi-command single utterance input method
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10521466B2 (en) 2016-06-11 2019-12-31 Apple Inc. Data driven natural language event detection and classification
US10529332B2 (en) 2015-03-08 2020-01-07 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10643611B2 (en) 2008-10-02 2020-05-05 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10657961B2 (en) 2013-06-08 2020-05-19 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10684703B2 (en) 2018-06-01 2020-06-16 Apple Inc. Attention aware virtual assistant dismissal
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10699717B2 (en) 2014-05-30 2020-06-30 Apple Inc. Intelligent assistant for home automation
US10706841B2 (en) 2010-01-18 2020-07-07 Apple Inc. Task flow identification based on user intent
US10714117B2 (en) 2013-02-07 2020-07-14 Apple Inc. Voice trigger for a digital assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US10769385B2 (en) 2013-06-09 2020-09-08 Apple Inc. System and method for inferring user intent from speech inputs
US10789945B2 (en) 2017-05-12 2020-09-29 Apple Inc. Low-latency intelligent automated assistant
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US10795541B2 (en) 2009-06-05 2020-10-06 Apple Inc. Intelligent organization of tasks items
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11010127B2 (en) 2015-06-29 2021-05-18 Apple Inc. Virtual assistant for media playback
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US11023513B2 (en) 2007-12-20 2021-06-01 Apple Inc. Method and apparatus for searching using an active ontology
US11048473B2 (en) 2013-06-09 2021-06-29 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11069336B2 (en) 2012-03-02 2021-07-20 Apple Inc. Systems and methods for name pronunciation
US11080012B2 (en) 2009-06-05 2021-08-03 Apple Inc. Interface for a virtual digital assistant
CN113342957A (zh) * 2021-06-29 2021-09-03 神思电子技术股份有限公司 一种多轮对话导诊系统及方法
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11127397B2 (en) 2015-05-27 2021-09-21 Apple Inc. Device voice control
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US11231904B2 (en) 2015-03-06 2022-01-25 Apple Inc. Reducing response latency of intelligent automated assistants
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11314370B2 (en) 2013-12-06 2022-04-26 Apple Inc. Method for extracting salient dialog usage from live data
US11350253B2 (en) 2011-06-03 2022-05-31 Apple Inc. Active transport based notifications
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11495218B2 (en) 2018-06-01 2022-11-08 Apple Inc. Virtual assistant operation in multi-device environments
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
WO2023132574A1 (ko) * 2022-01-10 2023-07-13 엘지전자 주식회사 인공 지능 기기
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013072974A (ja) * 2011-09-27 2013-04-22 Toshiba Corp 音声認識装置、方法及びプログラム
US8577671B1 (en) * 2012-07-20 2013-11-05 Veveo, Inc. Method of and system for using conversation state information in a conversational interaction system
US9465833B2 (en) 2012-07-31 2016-10-11 Veveo, Inc. Disambiguating user intent in conversational interaction system for large corpus information retrieval
US8478584B1 (en) * 2012-11-06 2013-07-02 AskZiggy, Inc. Method and system for domain-optimized semantic tagging and task execution using task classification encoding
US9202459B2 (en) * 2013-04-19 2015-12-01 GM Global Technology Operations LLC Methods and systems for managing dialog of speech systems
DK2994908T3 (da) 2013-05-07 2019-09-23 Veveo Inc Grænseflade til inkrementel taleinput med realtidsfeedback
US8688447B1 (en) 2013-08-21 2014-04-01 Ask Ziggy, Inc. Method and system for domain-specific noisy channel natural language processing (NLP)
US9852136B2 (en) 2014-12-23 2017-12-26 Rovi Guides, Inc. Systems and methods for determining whether a negation statement applies to a current or past query
US9854049B2 (en) 2015-01-30 2017-12-26 Rovi Guides, Inc. Systems and methods for resolving ambiguous terms in social chatter based on a user profile
US9996531B1 (en) * 2016-03-29 2018-06-12 Facebook, Inc. Conversational understanding
JP6787269B2 (ja) 2017-07-21 2020-11-18 トヨタ自動車株式会社 音声認識システム及び音声認識方法
JP2019046267A (ja) * 2017-09-04 2019-03-22 トヨタ自動車株式会社 情報提供方法、情報提供システム、および情報提供装置
JP7095254B2 (ja) * 2017-10-10 2022-07-05 トヨタ自動車株式会社 対話システムおよびドメイン決定方法
US20190138921A1 (en) * 2017-11-07 2019-05-09 Schneider Electric Software, Llc Interactive guidance system for selecting thermodynamics methods in process simulations
CN108074571A (zh) * 2017-12-27 2018-05-25 深圳市亿道信息股份有限公司 增强现实设备的语音控制方法、系统及存储介质
KR102596436B1 (ko) 2018-02-20 2023-11-01 삼성전자주식회사 사용자 발화를 처리하는 시스템 및 그 시스템의 제어 방법
US11222283B2 (en) 2018-10-23 2022-01-11 International Business Machines Corporation Hierarchical conversational policy learning for sales strategy planning
CN111199732B (zh) * 2018-11-16 2022-11-15 深圳Tcl新技术有限公司 一种基于情感的语音交互方法、存储介质及终端设备
CN109618204B (zh) * 2018-12-12 2021-04-23 百度在线网络技术（北京）有限公司 多媒体资源播放方法和装置
CN109887483A (zh) * 2019-01-04 2019-06-14 平安科技（深圳）有限公司 自助服务处理方法、装置、计算机设备及存储介质
CN110059170B (zh) * 2019-03-21 2022-04-26 北京邮电大学 基于用户交互的多轮对话在线训练方法及系统
US10878008B1 (en) * 2019-09-13 2020-12-29 Intuit Inc. User support with integrated conversational user interfaces and social question answering
CN110941710B (zh) * 2019-11-27 2020-10-30 贝壳找房(北京)科技有限公司 用于实现会话的方法、装置、介质以及电子设备
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
CN111612482A (zh) * 2020-05-22 2020-09-01 云知声智能科技股份有限公司 对话管理方法、装置和设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5715468A (en) * 1994-09-30 1998-02-03 Budzinski; Robert Lucius Memory system for storing and retrieving experience and knowledge with natural language
GB2372864B (en) * 2001-02-28 2005-09-07 Vox Generation Ltd Spoken language interface
JP3423296B2 (ja) * 2001-06-18 2003-07-07 沖電気工業株式会社 音声対話インターフェース装置
US7240330B2 (en) * 2002-02-01 2007-07-03 John Fairweather Use of ontologies for auto-generating and handling applications, their persistent storage, and user interfaces
KR100446627B1 (ko) * 2002-03-29 2004-09-04 삼성전자주식회사 음성대화 인터페이스를 이용한 정보제공장치 및 그 방법
KR100577387B1 (ko) * 2003-08-06 2006-05-10 삼성전자주식회사 음성 대화 시스템에서의 음성 인식 오류 처리 방법 및 장치
US20050165607A1 (en) * 2004-01-22 2005-07-28 At&T Corp. System and method to disambiguate and clarify user intention in a spoken dialog system
KR100679043B1 (ko) * 2005-02-15 2007-02-05 삼성전자주식회사 음성 대화 인터페이스 장치 및 방법
US7684990B2 (en) * 2005-04-29 2010-03-23 Nuance Communications, Inc. Method and apparatus for multiple value confirmation and correction in spoken dialog systems
US8265939B2 (en) * 2005-08-31 2012-09-11 Nuance Communications, Inc. Hierarchical methods and apparatus for extracting user intent from spoken utterances
US9082406B2 (en) * 2006-11-30 2015-07-14 Robert Bosch Llc Method and system for extending dialog systems to process complex activities for applications
JP4451435B2 (ja) * 2006-12-06 2010-04-14 本田技研工業株式会社 言語理解装置、言語理解方法、及び、コンピュータプログラム
CA2671722A1 (en) * 2008-07-15 2010-01-15 Nue Echo Inc. Methods and systems for providing grammar services
US8509396B2 (en) * 2009-09-24 2013-08-13 International Business Machines Corporation Automatic creation of complex conversational natural language call routing system for call centers

Cited By (210)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11928604B2 (en) 2005-09-08 2024-03-12 Apple Inc. Method and apparatus for building an intelligent automated assistant
US10318871B2 (en) 2005-09-08 2019-06-11 Apple Inc. Method and apparatus for building an intelligent automated assistant
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11023513B2 (en) 2007-12-20 2021-06-01 Apple Inc. Method and apparatus for searching using an active ontology
US10381016B2 (en) 2008-01-03 2019-08-13 Apple Inc. Methods and apparatus for altering audio output signals
US9865248B2 (en) 2008-04-05 2018-01-09 Apple Inc. Intelligent text-to-speech conversion
US10108612B2 (en) 2008-07-31 2018-10-23 Apple Inc. Mobile device having human language translation capability with positional feedback
US10643611B2 (en) 2008-10-02 2020-05-05 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11080012B2 (en) 2009-06-05 2021-08-03 Apple Inc. Interface for a virtual digital assistant
US10795541B2 (en) 2009-06-05 2020-10-06 Apple Inc. Intelligent organization of tasks items
US10706841B2 (en) 2010-01-18 2020-07-07 Apple Inc. Task flow identification based on user intent
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US10692504B2 (en) 2010-02-25 2020-06-23 Apple Inc. User profiling for voice input processing
US10049675B2 (en) 2010-02-25 2018-08-14 Apple Inc. User profiling for voice input processing
US10417405B2 (en) 2011-03-21 2019-09-17 Apple Inc. Device access using voice authentication
US11350253B2 (en) 2011-06-03 2022-05-31 Apple Inc. Active transport based notifications
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11069336B2 (en) 2012-03-02 2021-07-20 Apple Inc. Systems and methods for name pronunciation
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9971774B2 (en) 2012-09-19 2018-05-15 Apple Inc. Voice-based media searching
KR20140062656A (ko) * 2012-11-14 2014-05-26 한국전자통신연구원 계층적 대화 태스크 라이브러리를 이용한 이중 대화관리 기반 음성대화시스템
KR20140080717A (ko) * 2012-12-14 2014-07-01 한국전자통신연구원 태스크 그래프 기반 대화 처리 시스템의 태스크 그래프 구축 장치 및 방법
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US10714117B2 (en) 2013-02-07 2020-07-14 Apple Inc. Voice trigger for a digital assistant
US11636869B2 (en) 2013-02-07 2023-04-25 Apple Inc. Voice trigger for a digital assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US9966060B2 (en) 2013-06-07 2018-05-08 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US10657961B2 (en) 2013-06-08 2020-05-19 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US10769385B2 (en) 2013-06-09 2020-09-08 Apple Inc. System and method for inferring user intent from speech inputs
US11048473B2 (en) 2013-06-09 2021-06-29 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US11314370B2 (en) 2013-12-06 2022-04-26 Apple Inc. Method for extracting salient dialog usage from live data
US9837082B2 (en) 2014-02-18 2017-12-05 Samsung Electronics Co., Ltd. Interactive server and method for controlling the server
US10083690B2 (en) 2014-05-30 2018-09-25 Apple Inc. Better resolution when referencing to concepts
US10657966B2 (en) 2014-05-30 2020-05-19 Apple Inc. Better resolution when referencing to concepts
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US10497365B2 (en) 2014-05-30 2019-12-03 Apple Inc. Multi-command single utterance input method
US10699717B2 (en) 2014-05-30 2020-06-30 Apple Inc. Intelligent assistant for home automation
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US10417344B2 (en) 2014-05-30 2019-09-17 Apple Inc. Exemplar-based natural language processing
US10714095B2 (en) 2014-05-30 2020-07-14 Apple Inc. Intelligent assistant for home automation
US10169329B2 (en) 2014-05-30 2019-01-01 Apple Inc. Exemplar-based natural language processing
US10904611B2 (en) 2014-06-30 2021-01-26 Apple Inc. Intelligent automated assistant for TV user interactions
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US9668024B2 (en) 2014-06-30 2017-05-30 Apple Inc. Intelligent automated assistant for TV user interactions
US10431204B2 (en) 2014-09-11 2019-10-01 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10438595B2 (en) 2014-09-30 2019-10-08 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10453443B2 (en) 2014-09-30 2019-10-22 Apple Inc. Providing an indication of the suitability of speech recognition
US9986419B2 (en) 2014-09-30 2018-05-29 Apple Inc. Social reminders
US10390213B2 (en) 2014-09-30 2019-08-20 Apple Inc. Social reminders
US11231904B2 (en) 2015-03-06 2022-01-25 Apple Inc. Reducing response latency of intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10529332B2 (en) 2015-03-08 2020-01-07 Apple Inc. Virtual assistant activation
US10930282B2 (en) 2015-03-08 2021-02-23 Apple Inc. Competing devices responding to voice triggers
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US10311871B2 (en) 2015-03-08 2019-06-04 Apple Inc. Competing devices responding to voice triggers
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11127397B2 (en) 2015-05-27 2021-09-21 Apple Inc. Device voice control
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10681212B2 (en) 2015-06-05 2020-06-09 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US11010127B2 (en) 2015-06-29 2021-05-18 Apple Inc. Virtual assistant for media playback
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US10354652B2 (en) 2015-12-02 2019-07-16 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10942703B2 (en) 2015-12-23 2021-03-09 Apple Inc. Proactive assistance based on dialog communication between devices
US10332033B2 (en) 2016-01-22 2019-06-25 Electronics And Telecommunications Research Institute Self-learning based dialogue apparatus and method for incremental dialogue knowledge
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US11069347B2 (en) 2016-06-08 2021-07-20 Apple Inc. Intelligent automated assistant for media exploration
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10354011B2 (en) 2016-06-09 2019-07-16 Apple Inc. Intelligent automated assistant in a home environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US11657820B2 (en) 2016-06-10 2023-05-23 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US10521466B2 (en) 2016-06-11 2019-12-31 Apple Inc. Data driven natural language event detection and classification
US10580409B2 (en) 2016-06-11 2020-03-03 Apple Inc. Application integration with a digital assistant
US10089072B2 (en) 2016-06-11 2018-10-02 Apple Inc. Intelligent device arbitration and control
US10942702B2 (en) 2016-06-11 2021-03-09 Apple Inc. Intelligent device arbitration and control
US10269345B2 (en) 2016-06-11 2019-04-23 Apple Inc. Intelligent task discovery
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US10297253B2 (en) 2016-06-11 2019-05-21 Apple Inc. Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10553215B2 (en) 2016-09-23 2020-02-04 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10796100B2 (en) 2016-12-19 2020-10-06 Interactions Llc Underspecification of intents in a natural language processing system
WO2018118202A1 (en) * 2016-12-19 2018-06-28 Interactions Llc Underspecification of intents in a natural language processing system
US10216832B2 (en) 2016-12-19 2019-02-26 Interactions Llc Underspecification of intents in a natural language processing system
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US10332518B2 (en) 2017-05-09 2019-06-25 Apple Inc. User interface for correcting recognition errors
US10741181B2 (en) 2017-05-09 2020-08-11 Apple Inc. User interface for correcting recognition errors
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10847142B2 (en) 2017-05-11 2020-11-24 Apple Inc. Maintaining privacy of personal information
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US10789945B2 (en) 2017-05-12 2020-09-29 Apple Inc. Low-latency intelligent automated assistant
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10909171B2 (en) 2017-05-16 2021-02-02 Apple Inc. Intelligent automated assistant for media exploration
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US11217255B2 (en) 2017-05-16 2022-01-04 Apple Inc. Far-field extension for digital assistant services
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
WO2019147039A1 (ko) * 2018-01-26 2019-08-01 주식회사 머니브레인 대화 이해 ai 서비스 시스템과 연관된 대화 세션 중의 특정 시점에서 목표 달성을 위한 최적의 대화 패턴을 결정하는 방법, 목표 달성 예측 확률을 결정하는 방법, 및 컴퓨터 판독가능 기록 매체
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US10720160B2 (en) 2018-06-01 2020-07-21 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11360577B2 (en) 2018-06-01 2022-06-14 Apple Inc. Attention aware virtual assistant dismissal
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11495218B2 (en) 2018-06-01 2022-11-08 Apple Inc. Virtual assistant operation in multi-device environments
US10684703B2 (en) 2018-06-01 2020-06-16 Apple Inc. Attention aware virtual assistant dismissal
US10403283B1 (en) 2018-06-01 2019-09-03 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance
US10504518B1 (en) 2018-06-03 2019-12-10 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
KR20190094087A (ko) 2018-11-22 2019-08-12 주식회사 머니브레인 머신러닝 기반의 대화형 ai 에이전트 시스템과 연관된, 사용자 맞춤형 학습 모델을 포함하는 사용자 단말 및 사용자 맞춤형 학습 모델이 기록된 컴퓨터 판독가능 기록 매체
KR20190094088A (ko) 2018-12-03 2019-08-12 주식회사 머니브레인 서버에 대한 액세스 없이, 개인화 데이터를 이용하여 학습 가능하도록 구성된 사용자 맞춤형 학습 모델을 포함하는 사용자 단말 및 컴퓨터 판독가능 기록매체
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360739B2 (en) 2019-05-31 2022-06-14 Apple Inc. User activity shortcut suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11924254B2 (en) 2020-05-11 2024-03-05 Apple Inc. Digital assistant hardware abstraction
CN113342957A (zh) * 2021-06-29 2021-09-03 神思电子技术股份有限公司 一种多轮对话导诊系统及方法
WO2023132574A1 (ko) * 2022-01-10 2023-07-13 엘지전자 주식회사 인공 지능 기기

Also Published As

Publication number Publication date
US20110153322A1 (en) 2011-06-23

Similar Documents

Publication Publication Date Title
KR20110072847A (ko) 열려진 사용자 의도 처리를 위한 대화관리 시스템 및 방법
EP3491533B1 (en) Providing command bundle suggestions for an automated assistant
KR102369784B1 (ko) 지능형 자동 어시스턴트
US9548051B2 (en) System and method of spoken language understanding in human computer dialogs
EP3513324B1 (en) Computerized natural language query intent dispatching
US9269354B2 (en) Semantic re-ranking of NLU results in conversational dialogue applications
US20180075846A1 (en) Semantic re-ranking of nlu results in conversational dialogue applications
US9171542B2 (en) Anaphora resolution using linguisitic cues, dialogue context, and general knowledge
EP4046124A1 (en) User controlled task execution with task persistence for assistant systems
CA3077914C (en) Intelligent automated assistant
US9361884B2 (en) Communicating context across different components of multi-modal dialog applications
WO2015147702A1 (ru) Способ и система голосового интерфейса
CN117195861A (zh) 确定自动化助理对话的状态
US20150046168A1 (en) Method and Apparatus for a Multi I/O Modality Language Independent User-Interaction Platform
AU2016204262B2 (en) Maintaining context information between user interactions with a voice assistant
CN110574104A (zh) 自动助理数据流
CN115392264A (zh) 一种基于rasa的任务型智能多轮对话方法及相关设备
US11449726B1 (en) Tailored artificial intelligence
McTear Rule-Based Dialogue Systems: Architecture, Methods, and Tools
JP2021189890A (ja) 対話装置、対話方法及び対話システム
WO2015200422A1 (en) Semantic re-ranking of nlu results in conversational dialogue applications
Hoshino et al. A chat information service system using a humanoid robot
Bühler et al. Fundamentals of Dialogue Systems
Bernsen et al. Building Usable Spoken Dialogue Systems. Some Approaches
El-Basuny et al. Multi-Agent-Based Adaptive AV Interface.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application