KR20070100837A - 이동 통신 장치의 음성 어휘를 자동으로 확장하는 방법 및장치 - Google Patents

이동 통신 장치의 음성 어휘를 자동으로 확장하는 방법 및장치 Download PDF

Info

Publication number
KR20070100837A
KR20070100837A KR1020077020065A KR20077020065A KR20070100837A KR 20070100837 A KR20070100837 A KR 20070100837A KR 1020077020065 A KR1020077020065 A KR 1020077020065A KR 20077020065 A KR20077020065 A KR 20077020065A KR 20070100837 A KR20070100837 A KR 20070100837A
Authority
KR
South Korea
Prior art keywords
words
speech recognizer
user
list
mobile communication
Prior art date
Application number
KR1020077020065A
Other languages
English (en)
Other versions
KR101221172B1 (ko
Inventor
다니엘 엘. 로스
조르단 코헨
엘리어스 피. 베라키스
Original Assignee
보이스 시그널 테크놀로지스, 인코포레이티드.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 보이스 시그널 테크놀로지스, 인코포레이티드. filed Critical 보이스 시그널 테크놀로지스, 인코포레이티드.
Publication of KR20070100837A publication Critical patent/KR20070100837A/ko
Application granted granted Critical
Publication of KR101221172B1 publication Critical patent/KR101221172B1/ko

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Machine Translation (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은, 음성 인식기용 목록을 제공하는 단계; 사용자의 통신망과의 상호작용을 모니터하는 단계; 모니터된 상호작용과 연관된 복수의 단어를 액세스하는 단계; 및 목록에 복수의 단어를 포함시키는 단계를 수반하는 음성 인식기의 성능을 향상시키는 방법에 관한 것이다.

Description

이동 통신 장치의 음성 어휘를 자동으로 확장하는 방법 및 장치{METHODS AND APPARATUS FOR AUTOMATICALLY EXTENDING THE VOICE VOCABULARY OF MOBILE COMMUNICATIONS DEVICES}
이 발명은 음성 인식 능력을 구비한 이동 통신 장치와 관계한다.
최근 이동 통신 장치는 전통적인 단일 용도의 이동통신 음성 전화(mobile speech telephone)보다 다양한 기능성을 제공한다. 이들 장치는 주소록, 캘린더, 웹 브라우저, 디지털 음악 플레이어, 이메일러, 문자 메세저(text messager), 워드 프로세서, 카메라 및 다른 어플리케이션을 포함할 수 있다. 텍스트 데이타의 사용자 지정 컬렉션(user-specific collection)은 전형적으로 이들 어플리케이션의 각각과 연관된다. 예를 들어, 주소록은 사용자의 연락처(contact)에 대한 고유 명사를 전형적으로 포함하고, 디지털 음악 플레이어는 아티스트 및 곡명과 같은 사용자의 음악 컬렉션의 음악 디스크립터(descriptor)를 포함한다. 이동 통신 장치에 내재하는 어플리케이션의 수가 증폭함에 따라, 이들 텍스트 데이타의 컬렉션은 사용자의 개인 정보에 대하여 점점 더 증가하는 대부분의 내용을 나타낼 수 있다.
음성 인식 능력은 장치의 명령 및 제어를 위해 그리고 입력 형식으로서 하나 또는 그 이상의 어플리케이션을 위해 이들 장치에 자주 포함된다. 최근에, 일부 이동통신 장치는 대용량 어휘(약 30,000) 스피커 독립 음성 인식기(large vocabulary speaker-independent speech recognizer)를 포함하는 것을 완료하여, 사용자로 하여금 음성에서 텍스트로의 변환 메세징(speech-to-text messaging)을 수행할 수 있도록 만든다. 그러나, 그러한 음성 인식기의 어휘는 미리 결정되어 있고, 이동통신 장치에 내재할 수도 있는 사용자의 개인 정보의 컬렉션을 이용할 수 없다.
본 발명의 요약
일반적으로, 한 양상으로, 본 발명은 음성 인식기의 성능을 향상시키는 방법에 특징이 있다. 상기 방법은 음성 인식기용 목록을 제공하는 단계; 사용자의 통신망과의 상호작용을 모니터하는 단계; 모니터된 상호작용과 연관된 복수의 단어를 액세스하는 단계; 및 하나 이상의 복수의 단어에 근거한 목록을 수정하는 단계를 수반하여 음성 인식기의 성능을 향상시킨다.
다른 구현예는 하나 또는 그 이상의 다음의 특징을 포함한다. 음성 인식기는 이동통신 장치에서 구동되고, 단어를 액세스하는 단계는 서버에서 이동통신 장치로 단어를 다운로드하는 단계를 포함한다. 음성 인식기는 통신망과 연결된 장치에 위치한다. 통신망은 인터넷 또는 전화 통신망과 같은 데이타 통신망이다. 통신망이 인터넷(Internet)일 때, 사용자의 통신망과의 상호작용을 모니터하는 단계는 사용자의 웹 브라우저(Web browser)와의 상호작용을 모니터하는 단계, 및 사용자의 웹 브라우저와 상호작용과 연관된 단어를 액세스하는 단계를 수반한다. 액세스된 단어는 사용자의 웹 브라우저와의 상호작용의 결과로 액세스된 하나 이상의 상세정보(query), 검색 결과, 웹 페이지(Web page)로부터 획득된다. 사용자가 전화 통신망과의 상호작용을 하는 때, 장치는 상기 사용자의 전화 통신망을 통한 하나 또는 그 이상의 상대방과의 음성 통신(voice communication)을 모니터하고, 이때 상기 사용자의 전화 통신망을 통한 하나 또는 그 이상의 상대방과의 음성 통신과 연관된 단어를 액세스한다. 상기 단어는, 사용자로부터 입력을 받은 즉시, 주기적인 간격으로, 또는 사건의 발생 시에, 동적으로 액세스된다. 상기 장치는 액세스된 단어의 모니터된 상호작용에서의 발생 빈도에 근거한 방법으로 음성 인식기를 편향시킨다. 상기 모니터하는 단계는 또한 각각의 단어의 분류를 기록하는 단계, 및 복수의 단어의 각각의 분류에 근거한 방법으로 음성 인식기를 편향시키는 단계를 포함한다. 상기 모니터하는 단계는 복수의 단어의 각각의 사용 문맥을 기록하는 단계, 및 복수의 단어의 각각과 연관된 사용 문맥에 근거한 방법으로 음성 인식기를 편향시키는 단계를 추가로 포함한다.
일반적으로, 또 다른 양상으로, 본 발명은 이동통신 장치에서 실행되는 방법을 특징으로 한다. 상기 방법은 음성 인식기용 목록을 제공하는 단계; 사용자의 통신망과의 상호작용을 모니터하는 단계; 모니터된 상호작용과 연관된 복수의 단어를 수집하는 단계; 및 목록으로 수집된 복수의 단어를 추가하는 단계를 수반한다.
다른 구현예는 하나 또는 그 이상의 다음의 특징을 포함한다. 사용자의 통신망과의 상호작용을 모니터하는 단계는 상기 사용자의 웹 브라우저와의 상호작용을 모니터하는 단계, 및 사용자의 웹 브라우저와의 상호작용과 연관된 단어를 수집하는 단계를 수반한다.
일반적으로, 여전히 또 다른 양상으로, 본 발명은 음성 인식기를 구비한 이동통신 장치에 음성 어휘를 확장하는 방법을 특징으로 한다. 상기 방법은 음성 인식기용 목록을 이동통신 장치에 저장하는 단계; 복수의 단어를 이동통신 장치에 저장하는 단계로서, 상기 복수의 단어가 이동통신 사용자의 이동통신 장치에 내재하는 웹 브라우저와의 상호작용과 연관되는 단계; 및 목록으로 복수의 단어를 전송하는 단계를 수반한다. 또 다른 구현예에서, 상기 단어는 이동통신 사용자에 의해 브라우저로 입력되는 검색 용어, 및 상기 검색 용어를 사용하여 수행되는 검색에 의하여 응답되는 결과에 포함되는 단어를 포함한다.
일반적으로, 여전히 또 다른 양상에서, 본 발명은, 음성 인식기를 구비한 이동통신 장치에 음성 어휘를 확장하는 방법을 특징으로 하고, 상기 방법은, 음성 인식기용 목록을 이동통신 장치에 저장하는 단계로서, 상기 목록은 제 1 복수의 단어를 포함하는 단계; 제 2 복수의 단어를 이동통신 장치에 저장하고, 상기 제 2 복수의 단어의 각 단어마다, 그 단어와 연관된 사용 문맥을 저장하는 단계로서, 상기 제 2 복수의 단어는 음성 인식기와 다른 어플리케이션과 연관되는 단계; 및 목록으로 제 2 복수의 단어 및 그 연관된 사용 문맥을 전송하는 단계를 수반한다.
다른 구현예는 하나 또는 그 이상의 다음 특징을 포함한다. 하나 이상의 제 2 복수의 단어는 고유 명사의 사용 문맥과 연관된다. 상기 음성 인식기는, 음성 인식기에 의해 인식될 단어의 사용 문맥과 상응하는 사용 문맥을 갖는 목록으로부터 후보 단어를 선택하는 방향으로 편향된다.
일반적으로, 추가적인 양상으로, 본 발명은 음성 인식기를 구비한 이동통신 장치에 음성 어휘를 확장하는 방법에 특징이 있고, 상기 방법은 음성 인식기용 목록을 이동통신 장치에 저장하는 단계로서, 상기 목록은 복수의 단어를 포함하는 단계; 이동통신 장치에 제 2 복수의 단어를 저장하는 단계로서, 상기 제 2 세트의 텍스트 단어는 음성 인식기와 다른 어플리케이션과 연관되는 단계; 제 2 복수의 단어 내의 각 단어마다, 상기 단어의 사용 빈도를 기록하는 단계; 및 저장된 세트의 텍스트 단어에서 목록으로 제 2 복수의 단어 및 그 연관된 사용 빈도를 전송하는 단계를 수반하다. 또 다른 구현예에서, 상기 음성 인식기는 적어도 부분적으로 후보 단어의 사용 빈도에 근거하여 목록으로부터 후보 단어를 선택한다.
도 1은 음성 인식 능력을 갖는 이동 통신 장치(mobile communications device)의 계통도(block diagram)이다.
도 2는 음성 어휘가 확장될 때 정보의 흐름을 예시하여 설명하는 이동 통신 장치의 계통도이다.
도 3은 음성 인식 어휘 확장 과정의 단계들을 예시하여 설명하는 흐름도(flow diagram)이다.
도 4는 음성 어휘가 확장될 때 정보의 흐름을 예시하여 설명하는 멀티유저 이동 통신 장치의 계통도이다.
도 5는 네트워크에 연결된 통신 장치의 계통도이다.
도 6은 음성 인식 능력을 수반하는 이동 통신 장치용 하드웨어 플랫폼(hardware platform)을 예시하여 설명하는 고도의 계통도(high-level block diagram)이다.
음성 인식 능력을 수반하는 다기능 이동 통신 장치(Mobile Communication Device, 이하 MCD) 100의 선택된 구성요소들은 도 1에 도시된다. 상기 장치는 어플리케이션 102 및 104를 포함하고, 이들 각각은 장치가 지정 기능, 예를 들면 텍스트 메세징(text messaging), 전화번호부 내 연락처 조회(contact lookup in a phonebook)를 수행하게 만든다.
텍스트의 컬렉션(collection) 103 및 105는 개별 어플리케이션과 연관된다. 텍스트 컬렉션은 텍스트 파일 또는 데이터베이스와 같은 어플리케이션에 의한 접근에 적합한 형태로 저장된다. 특정 어플리케이션이 작동하고 있을 때, 상기 어플리케이션은 그 연관된 텍스트 컬렉션 내에서 단어 또는 어구를 활용한다. 상기 텍스트 컬렉션은 전형적으로 상기 MCD 소유자에 대한 개인적인 텍스트를 포함한다. 예를 들어, 주소록과 연관된 텍스트 컬렉션은 사용자의 연락처 명칭(name) 및 다른 연락처 정보를 포함한다. 다른 예들은 다음과 같다.
MCD 100은 음성 인식기(speech recognizer) 106을 또한 포함한다. 음성 인식기 106은 음성 입력을 수신하고, 음성 대 텍스트 목록(speech-to-text lexicon) 108에 저장된 기재사항(entry)에 대해 발음된 단어를 짝지어서 이들 발음된 단어를 인식하려고 시도한다. 상기 목록은 일련의 단어를 포함하고, 이때 개별 단어는 상응하는 발음은 물론 텍스트 표지(text representation)를 구비한다. 발음된 단어가 인식될 때, 음성 인식기는 입력을 요구했던 어플리케이션으로 상기 인식된 단어를 전달한다. 상기 단어는 어플리케이션에 대한 명령을 나타내거나, 또는 어플리케이션 내 정보의 기재사항을 나타낼 수도 있다.
MCD 100은, 어플리케이션 102 및 104 각각과 연관된 텍스트 컬렉션 103 및 105로부터 단어를 전송받음으로써 작동하는, 음성 대 텍스트 목록 108의 콘텐츠(contents)를 확대하기 위한 메카니즘을 포함한다. 일단 목록에 병합되면, 이들 단어는 음성 인식기 106의 어휘를 확장한다. 이 추가된 어휘는 사용자에게 특정 값을 갖기 쉬운데, 왜냐하면 상기 어휘는 사용자가 다른 어플리케이션과 관련하여 사용하기 위해 선택 완료한 단어를 포함하고, 그리하여 사용자의 개인적인 언어 공간(language space)의 일부를 형성하기 때문이다. 어휘 확장의 장점과 관련하여, 음성 인식기는 임의의 어플리케이션과 최초로 연관된 상기 단어를 인식할 수 있는데, 사용자가 MCD에서 상기 단어와 연관된 본래의 어플리케이션을 사용하거나 임의의 다른 어플리케이션을 사용하고 있을 때에 그럴 수 있다. 게다가, 사용자는 상기 목록으로 상기 단어를 수동으로 입력하거나 다운로드할 필요없이 어휘 확장을 달성할 수 있다.
도 2는 어휘 확장을 하는 동안 MCD 100 내 정보의 흐름을 예시하여 설명한다. 상기 MCD는, 화살표 203, 205로 예시되어 설명된 바와 같이, 음성 대 텍스트 목록 108로 텍스트 컬렉션 103, 105를 전송받는다. 상기 과정은 도 3에서 심화하여 예시되어 설명된다. MCD 100은 그 내재하는 텍스트 컬렉션을 식별한다(단계 302). MCD 100은 제조자 공급 어플리케이션(manufacturer-supplied application)을 이미 인식하고, 텍스트 컬렉션을 배정하는 개별 어플리케이션에 의해 제공되는 포인터(pointer)를 사용한다. MCD 100은 또한 상기 장치가 배송된 후에 다운로드되는 어플리케이션을 인식한다. 제조자 공급 어플리케이션와 관련하여, 다운로드된 어플리케이션 각각은 그것의 연관된 텍스트 컬렉션에 대한 포인터를 구비한다. 단계 304에서, MCD 100은 어느 텍스트 컬렉션이 음성 대 텍스트 목록으로의 텍스트의 전송를 위해 사용될 것인지 결정한다. 유닛은 자동과 수동 두 가지 모드를 갖는다. 자동 모드에서, 사용자는 오직 지정된 텍스트 컬렉션만을 지시하도록 장치를 설정한다. 사용자는 또한 유닛이 얼마나 자주 확장 작업을 수행하는지 지정한다. 예를 들어, 사용자가 오직 컬렉션 103만을 지정하도록 장치를 설정하고, 사용자가 컬렉션에 하나 또는 그 이상의 단어를 추가 완료한 때에만 그렇게 하도록 장치를 설정한다. 택일적으로, 사용자는 매일 또는 매주와 같이 확장을 수행할 지정 시간 간격을 설정할 수 있다. 수동 모드에서, 사용자는 개별 어휘 확장 시행을 요구하고, 어떤 텍스트 컬렉션을 사용할지 선택한다. 단계 306에서, 시스템은 단계 304에서 선택된 각각의 텍스트 컬렉션으로부터 어떤 텍스트를 전송받을지 선택한다. 단계 304에 대하여, 장치는 자동 및 수동 모드를 갖는다. 자동 모드에서, 사용자는 전송할 단어를 선택하기 위한 규칙을 지정한다. 예를 들어, 사용자는 시스템이 고유 명사만을 전송받는다고 지정한다. 수동 모드에서, 장치는 사용자가 목록에의 추록 후보인 각각의 단어를 선택하거나 거절하도록 지시대기한다. 자동 및 수동 모드 모두 다에서, 유닛은 단어가 목록에 이미 존재하는지 결정하기 위하여 내장된 조회 기능을 이용하여 각각 선택된 단어를 검사한다. 유닛이 상기 단어를 찾으면, 상기 유닛은 상기 단어를 무시한다. 상기 유닛이 상기 단어를 찾지 못하면, 상기 유닛은 전송되어 단어의 리스트에 상기 단어를 추가한다. 시스템은 로컬 테이타 구조(local data structure)를 보존하여, 목록에 이미 존재하는 단어, 또는 어떤 다른 이유로 확장 과정 동안 거절 완료된 단어를 추적한다. 이것은 시스템으로 하여금 이어지는 어휘 확장 작동을 하는 동안 원치 않는 단어를 스킵할 수 있도록 만들고, 그럼으로써 텍스트 선택을 보다 효율적으로 만든다.
하나 또는 그 이상의 단어가 목록으로의 전송을 위해 선택 완료된 때, 장치는 개별 단어를 위한 발음을 생성하고, 음성 표지(phonetic representation)로서 이를 저장한다(단계 308). 텍스트 단어로부터의 발음의 생성은 당업계에서 주지된 바이다. 장치는 목록에 선택된 텍스트 단어를 그 발음과 함께 추가한다 (단계 310). 직접적으로 규칙이 발음을 지배하는 일부 언어에서, 음성 인식기는 텍스트로부터 발음을 생성하기 위한 알고리즘을 포함하고, 목록은 완전한 발음의 리스트를 저장하지 않으며; 그 보다는, 시스템이, 필요에 따라, 플라이(fly)에서 발음을 생성한다.
인식기는 목록 내의 단어의 음향 표지(acoustic representation)에 대하여 음성 입력을 짝지어서 음성을 인식하려고 시도한다. 그러므로 유닛이 음성을 인식할 수 있기 전에, 인식기는 목록 내 단어의 음향 표지를 필요로 한다. 인식기는 발음을 음향 표지로 변환시키는 음향 모델(acoustic model)을 이용하여 필요로 하는 음향 표지를 획득한다.
목록에 텍스트와 발음을 추가하는 단계에 부가하여, 시스템은 음성 인식기의 속도 및/또는 정확성 향상시키기 위하여 다른 작동을 수행할 수도 있다 (단계 312). 예를 들어, 만일 음성 트리(phonetic tree)가 음성 인식기의 검색을 간결하게 하는데 사용되고 있는 경우, 시스템은 상기 트리에 신규 전송된 발음을 추가한다. 만일 어의 정보가 단어에 적용가능하고, 음성 인식기가 어의 정보를 사용할 수 있다면, 시스템은 음성 인식기의 속도와 정확성을 향상시키기 위하여 인식기에 그 정보를 추가한다.
예를 들어, 클래스 언어 모델(class language model)에서, 인식기는 음성입력 단어(speech-input word)가 어떤 클래스 해당하는지 예상하기 위해 문맥을 사용하고, 그 클래스의 멤버를 지지하도록 그 목록 검색을 편향시킨다. 예를 들어, 이메일 주소는, 이메일 어플리케이션의 주소 영역을 입력하고 있을 때, 명칭보다 더 그러하고, 반면 닉네임은, "친애하는"이라는 단어에 뒤따를 때에, 문서에서 예기될 수 있다. 확률 모델(probabilistic model)에서, 인식기는 어구 또는 문장 내의 단어가 특정 클래스에 속하는 확률을 저장하고, 이는 어구 또는 문장 내에 그것을 바로 선행하는 하나 또는 그 이상의 단어의 클래스에 근거한다. 인식기는 그 다음, 선행하는 단어의 클래스에 근거하여, 예기되는 클래스에 속하는 단어에 대한 그 검색을 우선시킨다. 그리하여, 클래스 언어 모델(class language model)이 음성 인식기와 함께 사용되고 있는 경우에, 전송받은 단어의 클래스는 인식기로 전송된다. 클래스의 예시는 고유 명사, 닉네임, 및 이메일 주소이다. 전송된 텍스트 단어의 소스는 그 클래스를 지시할 수 있다. 예를 들어, 장치의 주소록의 “성(last name)” 영역으로부터 전송된 단어는 아마도 고유 명사 클래스에 속하고, 반면 이메일러(emailer)의 "이메일 주소" 영역으로부터 온 단어는 아마도 이메일 주소 클래스에 속할 것이다.
알고리즘은 또한 MCD 상의 하나 또는 그 이상의 어플리케이션에 의해 인식되는 명령어(command)를 포함하도록 어휘를 확장할 수 있다. 텍스트 컬렉션과 관련하여, 알고리즘은 포인터로 개별 어플리케이션 내에 이러한 명령어를 배정한다. 그러한 명령어는 텍스트 파일과 같은 데이타 구조에 전형적으로 저장된다. 어떤 경우에는, 시스템이 어플리케이션 코드 내에 암호화되지 않은 텍스트 문자열(text string)을 검색함으로써 명령어를 식별한다. 명령어는 이동 통신망 공급자에 의해 제공되는 특별한 기능을 나타내는 사업자 지정 추가(carrier-specific addition)를 때때로 포함한다. 시스템은 표준 명령어를 배정하는 방식과 동일한 방식으로 이를 배정한다.
일부 장치에서, 음성 대 텍스트 목록은 대용량 어휘 인식기를 지원하는데, 상기 목록은 30,000 정도의 단어 수를 갖는다. 목록의 최초의 어휘는 장치 제조자에 의해 선택되고, 통상 특정 사용자에게 지정된 어휘를 포함하지 않을 것이다. 비록 그러한 시스템은 표준 구어체 어휘(standard spoken vocabulary)를 인식하는 좋은 기회를 갖는다 하더라도, 상기 목록은 사용자의 텍스트 컬렉션 103, 105의 일부 또는 전부를 포함하지 않을 것이다. 따라서 술한 어휘 확장은, 심지어 대용량 어휘 음성 인식기를 갖춘 장치에서도, 음성 인식 능력을 사용자의 희망에 맞추고 강화하도록 제공된다.
도 1이 두 어플리케이션을 도시하더라도, 충분한 메모리 및 컴퓨터 능력(computational capability)이 존재한다는 전제 하에서, 임의의 수의 어플리케이션이 MCD 내에 존재할 수 있고, 이때 각각은 그 고유의 텍스트 컬렉션을 수반한다. 전형적으로, 이들 텍스트 컬렉션은, MCD 어플리케이션을 사용하고 있을 때 사용자가 입력한 개인 정보(personal information)를 포함한다. 이들은 어플리케이션과 관련하여 사용자에 의해 다운로드된 단어 리스트를 또한 포함한다. 사용자는, 표준 휴대폰 인터페이스를 이용하는 전파, 블루투스(Bluetooth) 또는 와이파이(Wi-Fi)와 같은 단거리 무선 시스템을 통한 통신망, 또는 외부 연산장치에 대한 유선 연결을 이용하여 장치에 이들을 전송한다. 그러한 데이터는, 철자 검사, 텍스트 기재 도중 단어의 자동완성, 및 다른 목적을 위해 사용될 수 있는 주제 지정 단어(topic-specific word)의 컬렉션일 수 있다. 주제는 직업적 또는 개인적 관심과 연관될 수 있다. 예를 들어, 의사라면 일련의 의학 용어를 다운로드 할 수도 있다. 스포츠 팬이라면 가장 좋아하는 팀과 연관된 일련의 단어를 다운로드 할 수도 있다.
MCD는 하나 이상의 사용자를 갖을 수도 있고, 이때 개별 사용자는 그들의 고유의 텍스트 컬렉션을 갖는다. 개별 사용자는 독립적으로 어휘 확장 과정을 수행한다. 도 4는 두 사용자 A와 B에 적합한 시스템 400을 예시하여 설명한다. 목록 402는 범용 구성요소, 404와 사용자 지정 확장부(user-specific extension), 406 및 408으로 다시 분할된다. 사용자 A는 어플리케이션 102 및 104 각각에 연관된 텍스트 컬렉션 410 및 412를 갖는다. 사용자 A는, 화살표 414 및 416으로 도시된 바와 같이, 사용자 A의 텍스트 컬렉션로부터 사용자 A와 연관된 사용자 지정 목록 확장부 406으로 단어를 전송함으로써 어휘를 확장한다. 유사하게, 사용자 B는, 화살표 422 및 424에 의해 지시된 바와 같이, 사용자 B의 텍스트 컬렉션 418 및 420에서 사용자 B의 목록 확장부 408로 전송함으로써 목록을 확장한다. 이어지는 음성 인식을 하는 동안, 음성 인식기 106은, 사용자 A가 장치를 사용하고 있는 때에는 확장부 406과 함께, 그리고 사용자 B가 사용자일 때에는 확장부 408과 함께, 범용 목록 404을 확장한다. 이러한 배열은 양 사용자 A와 B로 하여금 개별화된 어휘 확장으로부터 혜택을 받는 것을 가능하게 한다. 상기 내용은 두 사용자 시스템(two-user system)을 기술하기는 하나, 상기 장치는, 장치의 프로세싱 및 저장 능력의 범위 안에서, 개별 텍스트 컬렉션 및 그 연관 어휘 확장으로 임의의 수의 사용자를 지원할 수 있다.
연관된 텍스트 컬렉션을 구비한 어플리케이션의 예는, 그 연관된 고유 명사, 닉네임, 직장, 주소, 이메일 주소, 및 기타 연락처 정보를 수반하는 주소록; 그 연관된 사람의 이름, 장소 및 기타 캘린더 기재사항 정보를 수반하는 캘린더; 그 연관된, 즐겨찾기(favorite web address) 리스트, 공인 웹 사이트(standard web site), 사용자에 의해 방문된 사이트, 사용자에 의해 입력된 검색 용어, 및 웹 검색 결과를 수반하는 웹 브라우저; 그 연관된 음악 장르, 노래 제목, 아티스트 이름, 앨범 명, 및 기타 음악 관련 정보를 수반하는 디지털 음악 플레이어; 그 연관된 이메일 주소, 받은 이메일, 보낸 이메일, 임시보관 이메일 문서 및 이메일 첨부문서를 수반하는 이메일러; 그 연관된 보낸 문자 및 받은 문자 메세지 문서를 수반하는 문자 메세저(text messager); 그 연관된 보낸 문자와 받은 문자, 및 스크린 네임(screen name)을 수반하는 인스턴트 메세저(instant messager); 그 연관된, 워드 프로세서에 의해 작성되거나 편집된 문서를 수반하는 워드 프로세서; 이미지 캡션(image caption)을 수반하는 카메라; 관련된 제목 및 코멘트를 수반하는 비디오 클립 플레이어; 및 그 관련된, 도시, 거리, 산, 강, 및 호수의 명칭과 같은 지리적 명칭을 포함하는 지도를 수반하는 지오로케이션 어플리케이션을 포함한다. 게다가, 텍스트 컬렉션은, 이동통신 장치로부터 송신되거나 이동통신 장치에 의해 수신된 음성 통신(voice communication)을 모니터하는 단계에서 파생되는 정보 및 단어를 포함한다. 만일 MCD가 음성 다일얼러 또는 또 다른 지정 어플리케이션과 연관된 또 다른 보다 간편한 음성 인식기를 구비한다면, 보다 간편한 인식기의 목록 내의 상기 단어는 또한 대용량 어휘 목록으로 전송될 수 있다.
상기 기술은, 도 5에서 예시되어 설명되는 바와 같이, 무선이나 유선으로 통신망에 연결되는 이동통신 장치는 물론 비이동통신 장치(non-mobile device)에도 적용된다. 상기 도면은 유선 또는 무선 통신망 연결 504를 통하여 통신망 502에 연결되는 500을 통신 장치(communication device) 500을 도시한다. 통신망 502는 전화 통신망 또는 인터넷과 같은 데이타 통신망일 수 있다. 통신 장치 500은 이동 통신 장치 100과 관련하여 상술된 바와 같이 목록 108 및 음성 인식기 106을 포함하는 소프트웨어 모듈 506를 포함한다.
설명된 기술은, 목록에 추가될 단어가 아직 이동 장치에 저장되지는 않았으나 사용자의 통신망과의 상호작용으로부터 수집된 때에도 또한 사용될 수 있다. 이런 경우, 소프트웨어 모듈 506은 사용자의 통신망 502와의 상호작용을 모니터하는 단계를 위한 지시(instruction)를 포함한다. 통신망 502가 인터넷일 때, 모듈 506은 사용자에 의해 송신되거나 수신된 텍스트를 모니터한다. 통상의 상황에서, 사용자는 웹 브라우저를 이용하여 인터넷과 상호작용하고, 모듈 506은 사용자의 검색 용어, 검색 결과 및 상기 검색의 결과로 액세스된 웹 페이지를 모니터한다.
통신망 502는 전통적인 전화 통신망, 디지털 음성 통신망(digital voice network) 또는 2세대/3세대 무선 액세스 통신망(2G/3G wireless access network)과 같은 음성을 전달하는 통신망일 수 있다. 이 경우, 목록에 추가될 단어는, 장치로부터 또는 장치로 전화 통신망을 통해 전달되는 음성 발음(voice utterance) 안에 포함되어 있다. 상기 음성 발음은 전형적으로 이동통신 장치 또는 통신망과 연결된 또 다른 장치에 위치한 메모리에서 버퍼링된다. 통신망에 연결된 상기 장치의 로컬에서 실행하거나 또 다른 장치에서 실행하는 음성 인식기는, 저장된 음성을 모니터하고, 특정 단어를 식별한다. 모듈 506은, 자동으로 또는 사용자가 이들을 잘못 인식된 단어로부터 선별한 후, 목록으로 인식된 단어를 추가한다.
소프트웨어 모듈 506은 모니터되는 통신망 상호작용으로부터 단어를 액세스 및 수집하고, 목록 108에 단어의 일부 또는 전부를 추가한다. 이 과정은 동적으로 일어나서, 소프트웨어 모듈 506은 사용자가 통신망 상호작용을 하는 동안 끊임없이 업데이트한다. 다른 어플리케이션에서, 소프트웨어 모듈 506은, 주기적인 간격으로 또는 사용자로부터의 지시를 받은 즉시, 단어를 액세스한다. 여전히 다른 어플리케이션에서, 단어는, 사용자의 통신망 상호작용의 종결, 또는 통신 장치의 전원 끊음과 같은 사건의 발생 시에, 액세스된다.
상술된 어휘 확장 과정은 많은 방법으로 변형될 수 있다. 예를 들어, 장치는 도 3에 도시된 단계 중 하나 또는 그 이상을 생략하거나 다른 순서로 상기 단계를 수행할 수 있다. 한 가지 변형예에서, 규칙을 이용하여 발음이 쉽게 텍스트로부터 만들어지는 언어에 대해서 상기 언급한 바와 같이, 시스템은 단계 308을 생략하고 발음을 생성하지 않는다.
이동 통신 장치가 실행될 수 있는 전형적인 플랫폼은 고도의 계통도 600으로서 도 6에 예시되어 설명된다. 상기 장치는, 그 코어(core)에, 예컨데 음성대역 및 채널 코딩 기능(voiceband and channel coding function)을 포함한 이동전화 통신 기능(cellular communication function)을 담당하는 베이스밴드 디지털 신호 처리 프로세서(baseband digital signal processor, DSP) 602, 및 인텔 스트롱암 SA-1110 (Intel StrongArm SA-1110) 같은 어플리케이션 프로세서 604를 포함하고, 상기 어플리케이션 프로세서에서 마이크로소프트 포켓 PC와 같은 운영체계(operating system)가 구동한다. 상기 전화기는 GSM 음성 전화(GSM voice call); SMS 텍스트 메세징(Short Messaging Service text messaging); 인스턴트 메세징(instant messaging); 무선 이메일; 주소록, 캘린더 및 알람 시계와 같은 전형적인 PDA 특징을 수반하는 데스크탑 같은 웹 브라우징 (desktop-like web browsing)을 지원한다. 상기 프로세서는 또한 디지털 음악 플레이어, 워드 프로세서, 디지털 카메라 및 GPS와 같은 지오로케이션 어플리케이션(geolocation application) 등의 추가적인 어플리케이션을 구동할 수 있다.
송신 및 수신 기능은 RF 신디싸이저(RF synthesizer) 606, 및 안테나 612를 통해 RF 전송을 담당하는 전력 증폭기 모듈 610이 잇달아 뒤따르는 RF 라디오 트랜스시버(transceiver) 608에 의해 실행된다. 인터페이스 ASIC 614 및 오디오 CODEC 616은, 명령어 및 정보를 입력하기 위한 숫자 또는 문자·숫자 겸용의 키패드(미도시)와 같이, 전화기에 제공되는 스피커, 마이크 및 다른 입/출력 장치에 인터페이스를 제공한다. DSP 602는 코드 저장용 플래쉬 메모리 628을 사용한다. 리튬이온(lithium-ion) 전지 620은 전화기에 전력을 공급하고, DSP 602와 연결된 전력 제어 모듈(power management module) 622는 장치 내에 전력 소비를 제어한다. 장치는 지정된 기능성을 지원하기 위한 추가적인 하드웨어 부품(미도시)을 구비한다. 예들 들어, 이미지 프로세서 및 CCD 센서는 디지털 카메라를 지원하고, GPS 수신기는 지오로케이션 어플리케이션을 지원한다.
어플리케이션 프로세서 614용 휘발성 및 비휘발성 메모리는 각각 SDRAM 624 및 플래시 메모리 626의 형태로 제공된다. 이러한 배열의 메모리는 운영체계를 위한 코드, 장치의 운영을 위하여 관련된 모든 코드, 및 그 다양한 기능성을 지원하기 위하여 관련된 모든 코드를 보유하는데 사용될 수 있고, 이는 상기 설명된 음성 인식 시스템을 위한 코드 및 장치에 포함된 임의의 어플리케이션 소프트웨어를 위한 코드를 포함한다. 상기 메모리는 또한 어플리케이션과 연관된 텍스트 컬렉션은 물론 목록을 저장한다.
상기 장치를 위한 영상 표시 장치(visual display device)는 LCD 디스플레이 630을 구동하는 LCD 드라이버 칩 628을 포함한다. 또한 전화기 내에 나머지 다른 장치를 위한 클록 신호(clock signal)를 제공하고 실시간에 대한 표시기(indicator)를 제공하는 클록 모듈(clock module) 632가 존재한다. 모든 상술된 구성요소는 적절하게 설계된 하우징 634 내의 패키지이다.
상기 기술된 장치는 수많은 시중에서 판매되는 다른 장치의 일반적인 내부 구조를 대표하기 때문에, 또한 그러한 장치의 내부 회로설계는 일반적으로 이 기술 분야의 당업자에게 알려졌기 때문에, 도 6에 도시된 구성요소 및 그들의 운영에 대한 심화된 상세한 설명은 제공되지 않을 것이고 발명을 이해하는데 필요하지도 않다.
본 발명의 원리가 적용될 수 있는 매우 다양한 구현예의 관점에서, 예시되어 설명된 구현예는 예시에 불과한 것으로 이해되어야 하고, 발명의 범위를 제한하는 것으로 받아들여져서는 안된다. 예를 들어, 흐름도의 단계는 기술된 바와 다른 순서로 취해질 수도 있고, 더 많거나 적은 요소가 상기 도에 사용될 수도 있다. 상기 구현예의 다양한 요소가 소프트웨어에서 실행되는 것으로 설명되어 왔으나, 하드웨어 또는 펌웨어 실행에서의 다른 구현예가 택일적으로 사용될 수도 있고, 그 반대도 마찬가지다.
다른 구현예들 역시 다음 청구항의 권리범위 내에 있다.

Claims (25)

  1. 음성 인식기의 성능을 향상시키는 방법에 있어서, 상기 방법은 음성 인식기의 성능을 향상시키기 위해
    음성 인식기용 목록을 제공하는 단계;
    사용자의 통신망과의 상호작용을 모니터하는 단계;
    모니터된 상호작용과 연관된 복수의 단어를 액세스하는 단계; 및
    복수의 단어 중 하나 이상의 단어에 근거한 목록을 수정하는 단계를 포함하는 방법.
  2. 제 1 항에 있어서, 상기 음성 인식기는 이동통신 장치(mobile device)에 있는 음성 인식기의 성능을 향상시키는 방법.
  3. 제 2 항에 있어서, 상기 액세스하는 단계는 서버(server)에서 이동통신 장치로 복수의 단어를 다운로드하는 단계를 포함하는 음성 인식기의 성능을 향상시키는 방법.
  4. 제 1 항에 있어서, 상기 음성 인식기가 통신망에 연결된 장치에 위치하는 음성 인식기의 성능을 향상시키는 방법.
  5. 제 4 항에 있어서, 상기 통신망은 인터넷인 음성 인식기의 성능을 향상시키는 방법.
  6. 제 4 항에 있어서, 상기 통신망은 전화 통신망인 음성 인식기의 성능을 향상시키는 방법.
  7. 제 1 항에 있어서, 상기 사용자의 통신망과의 상호작용을 모니터하는 단계는 사용자의 웹 브라우저(Web browser)와의 상호작용을 모니터하는 단계를 포함하고, 상기 액세스된 복수의 단어는 사용자의 웹 브라우저와의 상호작용과 연관되는 음성 인식기의 성능을 향상시키는 방법.
  8. 제 7 항에 있어서, 상기 복수의 단어는 사용자의 웹 브라우저와의 상호작용의 결과로 액세스된 하나 이상의 상세정보(query), 검색 결과, 및 웹 페이지로부터 획득되는 음성 인식기의 성능을 향상시키는 방법.
  9. 제 1 항에 있어서, 사용자의 통신망과의 상호작용을 모니터하는 단계는 상기 사용자의 전화 통신망을 통한 하나 또는 그 이상의 상대방과의 음성 통신(voice communication)을 모니터하는 단계를 포함하고, 액세스된 복수의 단어가 사용자의 전화 통신망을 통한 하나 또는 그 이상의 상대방과의 음성 통신과 연관되는 음성 인식기의 성능을 향상시키는 방법.
  10. 제 1 항에 있어서, 액세스하는 단계는 동적으로 복수의 단어를 액세스하는 단계를 포함하는 음성 인식기의 성능을 향상시키는 방법.
  11. 제 1 항에 있어서, 액세스하는 단계는 주기적인 간격으로 복수의 단어를 액세스하는 단계를 포함하는 음성 인식기의 성능을 향상시키는 방법.
  12. 제 1 항에 있어서, 액세스하는 단계는 사용자로부터 입력을 받은 즉시 복수의 단어를 액세스하는 단계를 포함하는 음성 인식기의 성능을 향상시키는 방법.
  13. 제 1 항에 있어서, 액세스하는 단계는 사건의 발생 시에 복수의 단어를 액세스하는 단계를 포함하는 음성 인식기의 성능을 향상시키는 방법.
  14. 제 1 항에 있어서, 상기 음성 인식기는 복수의 단어 중에서 단어의 모니터된 상호작용에서의 발생 빈도에 근거한 방법으로 편향되는 음성 인식기의 성능을 향상시키는 방법.
  15. 제 1 항에 있어서, 모니터하는 단계는 복수의 단어의 각각의 분류를 기록하는 단계를 추가로 포함하고, 상기 음성 인식기는 복수의 단어의 각각의 분류에 근거한 방법으로 편향되는 음성 인식기의 성능을 향상시키는 방법.
  16. 제 1 항에 있어서, 모니터하는 단계는 상기 복수의 단어의 각각의 사용 문맥(usage context)을 기록하는 단계를 추가로 포함하고, 상기 음성 인식기는 상기 복수의 단어의 각각과 연관된 사용 문맥에 근거한 방법으로 편향되는 음성 인식기의 성능을 향상시키는 방법.
  17. 이동통신 장치에서 실행되는 방법에 있어서, 상기 방법은
    음성 인식기용 목록을 제공하는 단계;
    사용자의 통신망과의 상호작용을 모니터하는 단계;
    모니터된 상호작용과 연관된 복수의 단어를 수집하는 단계; 및
    목록으로 수집된 복수의 단어를 추가하는 단계를 포함하는 방법.
  18. 제 17 항에 있어서, 사용자의 통신망과의 상호작용을 모니터하는 단계는 상기 사용자의 웹 브라우저와의 상호작용을 모니터하는 단계를 포함하고, 상기 수집된 복수의 단어는 사용자의 웹 브라우저와의 상호작용과 연관되는 이동통신 장치에서 실행되는 방법
  19. 음성 인식기를 구비한 이동통신 장치에 음성 어휘를 확장하는 방법에 있어서, 상기 방법은
    음성 인식기용 목록을 이동통신 장치에 저장하는 단계;
    복수의 단어를 이동통신 장치에 저장하는 단계로서, 상기 복수의 단어가 이동통신 사용자의 이동통신 장치에 내재하는 웹 브라우저와의 상호작용과 연관되는 단계; 및
    목록으로 복수의 단어를 전송하는 단계를 포함하는 방법.
  20. 제 19 항에 있어서, 상기 복수의 단어는, 이동통신 사용자에 의해 브라우저로 입력되는 검색 용어, 및 상기 검색 용어를 사용하여 수행되는 검색에 의하여 응답되는 결과에 포함되는 단어를 포함하는 음성 인식기를 구비한 이동통신 장치에 음성 어휘를 확장하는 방법.
  21. 음성 인식기를 구비한 이동통신 장치에 음성 어휘를 확장하는 방법에 있어서, 상기 방법은
    음성 인식기용 목록을 이동통신 장치에 저장하는 단계로서, 상기 목록은 제 1 복수의 단어를 포함하는 단계;
    제 2 복수의 단어를 이동통신 장치에 저장하고, 상기 제 2 복수의 단어의 각 단어마다, 그 단어와 연관된 사용 문맥을 저장하는 단계로서, 상기 제 2 복수의 단어는 음성 인식기와 다른 어플리케이션과 연관되는 단계; 및
    목록으로 제 2 복수의 단어 및 그 연관된 사용 문맥을 전송하는 단계를 포함하는 방법.
  22. 제 21 항에 있어서, 하나 이상의 제 2 복수의 단어는 고유 명사의 사용 문맥과 연관되는 음성 인식기를 구비한 이동통신 장치에 음성 어휘를 확장하는 방법
  23. 제 21 항에 있어서, 음성 인식기는, 음성 인식기에 의해 인식될 단어의 사용 문맥과 상응하는 사용 문맥을 갖는 목록으로부터 후보 단어를 선택하는 방향으로 편향되는 음성 인식기를 구비한 이동통신 장치에 음성 어휘를 확장하는 방법
  24. 음성 인식기를 구비한 이동통신 장치에 음성 어휘를 확장하는 방법에 있어서, 상기 방법은
    음성 인식기용 목록을 이동통신 장치에 저장하는 단계로서, 상기 목록은 복수의 단어를 포함하는 단계;
    이동통신 장치에 제 2 복수의 단어를 저장하는 단계로서, 상기 제 2 세트의 텍스트 단어는 음성 인식기와 다른 어플리케이션과 연관되는 단계;
    제 2 복수의 단어 내의 각 단어마다, 상기 단어의 사용 빈도를 기록하는 단계; 및
    저장된 세트의 텍스트 단어에서 목록으로 제 2 복수의 단어 및 그 연관된 사용 빈도를 전송하는 단계를 포함하는 방법.
  25. 제 24 항에 있어서, 상기 음성 인식기는 적어도 부분적으로 후보 단어의 사용 빈도에 근거하여 목록으로부터 후보 단어를 선택하는 음성 인식기를 구비한 이동통신 장치에 음성 어휘를 확장하는 방법.
KR1020077020065A 2005-02-03 2006-02-03 이동 통신 장치의 음성 어휘를 자동으로 확장하는 방법 및장치 KR101221172B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US64980605P 2005-02-03 2005-02-03
US60/649,806 2005-02-03
PCT/US2006/003864 WO2006084144A2 (en) 2005-02-03 2006-02-03 Methods and apparatus for automatically extending the voice-recognizer vocabulary of mobile communications devices

Publications (2)

Publication Number Publication Date
KR20070100837A true KR20070100837A (ko) 2007-10-11
KR101221172B1 KR101221172B1 (ko) 2013-01-11

Family

ID=36581544

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077020065A KR101221172B1 (ko) 2005-02-03 2006-02-03 이동 통신 장치의 음성 어휘를 자동으로 확장하는 방법 및장치

Country Status (6)

Country Link
US (1) US8160884B2 (ko)
EP (1) EP1844464B1 (ko)
JP (2) JP2008529101A (ko)
KR (1) KR101221172B1 (ko)
CN (1) CN101164102B (ko)
WO (1) WO2006084144A2 (ko)

Cited By (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9535906B2 (en) 2008-07-31 2017-01-03 Apple Inc. Mobile device having human language translation capability with positional feedback
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
US9620104B2 (en) 2013-06-07 2017-04-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9626955B2 (en) 2008-04-05 2017-04-18 Apple Inc. Intelligent text-to-speech conversion
US9633674B2 (en) 2013-06-07 2017-04-25 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9633660B2 (en) 2010-02-25 2017-04-25 Apple Inc. User profiling for voice input processing
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9646614B2 (en) 2000-03-16 2017-05-09 Apple Inc. Fast, language-independent method for user authentication by voice
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9798393B2 (en) 2011-08-29 2017-10-24 Apple Inc. Text correction processing
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9953088B2 (en) 2012-05-14 2018-04-24 Apple Inc. Crowd sourcing information to fulfill user requests
US9966068B2 (en) 2013-06-08 2018-05-08 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US9971774B2 (en) 2012-09-19 2018-05-15 Apple Inc. Voice-based media searching
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US10083690B2 (en) 2014-05-30 2018-09-25 Apple Inc. Better resolution when referencing to concepts
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10089072B2 (en) 2016-06-11 2018-10-02 Apple Inc. Intelligent device arbitration and control
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10169329B2 (en) 2014-05-30 2019-01-01 Apple Inc. Exemplar-based natural language processing
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10185542B2 (en) 2013-06-09 2019-01-22 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10269345B2 (en) 2016-06-11 2019-04-23 Apple Inc. Intelligent task discovery
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10283110B2 (en) 2009-07-02 2019-05-07 Apple Inc. Methods and apparatuses for automatic speech recognition
US10297253B2 (en) 2016-06-11 2019-05-21 Apple Inc. Application integration with a digital assistant
US10318871B2 (en) 2005-09-08 2019-06-11 Apple Inc. Method and apparatus for building an intelligent automated assistant
US10332518B2 (en) 2017-05-09 2019-06-25 Apple Inc. User interface for correcting recognition errors
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10354011B2 (en) 2016-06-09 2019-07-16 Apple Inc. Intelligent automated assistant in a home environment
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10521466B2 (en) 2016-06-11 2019-12-31 Apple Inc. Data driven natural language event detection and classification
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10568032B2 (en) 2007-04-03 2020-02-18 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10607140B2 (en) 2010-01-25 2020-03-31 Newvaluexchange Ltd. Apparatuses, methods and systems for a digital conversation management platform
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10789945B2 (en) 2017-05-12 2020-09-29 Apple Inc. Low-latency intelligent automated assistant
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US11217255B2 (en) 2017-05-16 2022-01-04 Apple Inc. Far-field extension for digital assistant services
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008008730A2 (en) * 2006-07-08 2008-01-17 Personics Holdings Inc. Personal audio assistant device and method
US7689417B2 (en) * 2006-09-04 2010-03-30 Fortemedia, Inc. Method, system and apparatus for improved voice recognition
US20080154870A1 (en) * 2006-12-26 2008-06-26 Voice Signal Technologies, Inc. Collection and use of side information in voice-mediated mobile search
US20080154612A1 (en) * 2006-12-26 2008-06-26 Voice Signal Technologies, Inc. Local storage and use of search results for voice-enabled mobile communications devices
US20080153465A1 (en) * 2006-12-26 2008-06-26 Voice Signal Technologies, Inc. Voice search-enabled mobile device
US20080154608A1 (en) * 2006-12-26 2008-06-26 Voice Signal Technologies, Inc. On a mobile device tracking use of search results delivered to the mobile device
US8949130B2 (en) 2007-03-07 2015-02-03 Vlingo Corporation Internal and external speech recognition use with a mobile communication facility
US8949266B2 (en) 2007-03-07 2015-02-03 Vlingo Corporation Multiple web-based content category searching in mobile search application
US10056077B2 (en) 2007-03-07 2018-08-21 Nuance Communications, Inc. Using speech recognition results based on an unstructured language model with a music system
US8886545B2 (en) 2007-03-07 2014-11-11 Vlingo Corporation Dealing with switch latency in speech recognition
US8838457B2 (en) 2007-03-07 2014-09-16 Vlingo Corporation Using results of unstructured language model based speech recognition to control a system-level function of a mobile communications facility
US20080221884A1 (en) 2007-03-07 2008-09-11 Cerra Joseph P Mobile environment speech processing facility
US8886540B2 (en) * 2007-03-07 2014-11-11 Vlingo Corporation Using speech recognition results based on an unstructured language model in a mobile communication facility application
US20080275701A1 (en) * 2007-04-25 2008-11-06 Xiaotao Wu System and method for retrieving data based on topics of conversation
CN101803353B (zh) * 2007-09-20 2013-12-25 西门子企业通讯有限责任两合公司 用于运行通信连接的方法和通信装置
US9202460B2 (en) * 2008-05-14 2015-12-01 At&T Intellectual Property I, Lp Methods and apparatus to generate a speech recognition library
WO2009150591A1 (en) * 2008-06-11 2009-12-17 Koninklijke Philips Electronics N.V. Method and device for the generation of a topic-specific vocabulary and computer program product
KR100998566B1 (ko) * 2008-08-11 2010-12-07 엘지전자 주식회사 음성인식을 이용한 언어 번역 방법 및 장치
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
KR20110006004A (ko) * 2009-07-13 2011-01-20 삼성전자주식회사 결합인식단위 최적화 장치 및 그 방법
US20110035210A1 (en) * 2009-08-10 2011-02-10 Benjamin Rosenfeld Conditional random fields (crf)-based relation extraction system
US20130191857A1 (en) * 2009-10-02 2013-07-25 R. Edward Guinn Method and System for a Vote Based Media System
US20110231189A1 (en) * 2010-03-19 2011-09-22 Nuance Communications, Inc. Methods and apparatus for extracting alternate media titles to facilitate speech recognition
US20130332170A1 (en) * 2010-12-30 2013-12-12 Gal Melamed Method and system for processing content
US8688453B1 (en) * 2011-02-28 2014-04-01 Nuance Communications, Inc. Intent mining via analysis of utterances
US9785628B2 (en) * 2011-09-29 2017-10-10 Microsoft Technology Licensing, Llc System, method and computer-readable storage device for providing cloud-based shared vocabulary/typing history for efficient social communication
WO2013085507A1 (en) 2011-12-07 2013-06-13 Hewlett-Packard Development Company, L.P. Low power integrated circuit to analyze a digitized audio stream
US9715879B2 (en) * 2012-07-02 2017-07-25 Salesforce.Com, Inc. Computer implemented methods and apparatus for selectively interacting with a server to build a local database for speech recognition at a device
CN102915730B (zh) * 2012-10-19 2015-04-08 东莞宇龙通信科技有限公司 语音处理方法及系统
US9058805B2 (en) * 2013-05-13 2015-06-16 Google Inc. Multiple recognizer speech recognition
US9997160B2 (en) * 2013-07-01 2018-06-12 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for dynamic download of embedded voice components
US9786296B2 (en) * 2013-07-08 2017-10-10 Qualcomm Incorporated Method and apparatus for assigning keyword model to voice operated function
CN103825952B (zh) * 2014-03-04 2017-07-04 百度在线网络技术（北京）有限公司 细胞词库推送方法和服务器
US9773499B2 (en) * 2014-06-18 2017-09-26 Google Inc. Entity name recognition based on entity type
JP5692734B1 (ja) * 2014-09-08 2015-04-01 株式会社ゆうインタークロス 検索支援装置、検索支援システム、検索支援方法及びプログラム
US9696904B1 (en) * 2014-10-30 2017-07-04 Allscripts Software, Llc Facilitating text entry for mobile healthcare application
CN104538031B (zh) * 2014-12-15 2017-09-01 北京云知声信息技术有限公司 智能语音服务开发云平台及方法
US9922643B2 (en) * 2014-12-23 2018-03-20 Nice Ltd. User-aided adaptation of a phonetic dictionary
US10565981B2 (en) * 2017-09-26 2020-02-18 Microsoft Technology Licensing, Llc Computer-assisted conversation using addressible conversation segments
KR20190113693A (ko) * 2019-09-18 2019-10-08 엘지전자 주식회사 단어 사용 빈도를 고려하여 사용자의 음성을 인식하는 인공 지능 장치 및 그 방법
KR20210052958A (ko) * 2019-11-01 2021-05-11 엘지전자 주식회사 인공 지능 서버
US20210312901A1 (en) * 2020-04-02 2021-10-07 Soundhound, Inc. Automatic learning of entities, words, pronunciations, and parts of speech

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5613036A (en) 1992-12-31 1997-03-18 Apple Computer, Inc. Dynamic categories for a speech recognition system
US5819220A (en) * 1996-09-30 1998-10-06 Hewlett-Packard Company Web triggered word set boosting for speech interfaces to the world wide web
US6167117A (en) 1996-10-07 2000-12-26 Nortel Networks Limited Voice-dialing system using model of calling behavior
US6154526A (en) 1996-12-04 2000-11-28 Intellivoice Communications, Inc. Data acquisition and error correcting speech recognition system
US6188985B1 (en) * 1997-01-06 2001-02-13 Texas Instruments Incorporated Wireless voice-activated device for control of a processor-based host system
JPH10198680A (ja) * 1997-01-07 1998-07-31 Hitachi Ltd 分散辞書管理方法及びそれを用いた機械翻訳方法
US6490557B1 (en) * 1998-03-05 2002-12-03 John C. Jeppesen Method and apparatus for training an ultra-large vocabulary, continuous speech, speaker independent, automatic speech recognition system and consequential database
US6195641B1 (en) * 1998-03-27 2001-02-27 International Business Machines Corp. Network universal spoken language vocabulary
ATE374421T1 (de) * 1998-08-28 2007-10-15 Ibm Segmentierungsverfahren zur erweiterung des aktiven vokabulars von spracherkennern
US6684185B1 (en) * 1998-09-04 2004-01-27 Matsushita Electric Industrial Co., Ltd. Small footprint language and vocabulary independent word recognizer using registration by word spelling
CN1126052C (zh) * 1998-09-29 2003-10-29 松下电器产业株式会社 采用多个文法网络的语音识别的方法
DE69919842T2 (de) * 1998-12-21 2005-09-01 Philips Intellectual Property & Standards Gmbh Sprachmodell basierend auf der spracherkennungshistorie
US6463413B1 (en) * 1999-04-20 2002-10-08 Matsushita Electrical Industrial Co., Ltd. Speech recognition training for small hardware devices
US6640249B1 (en) * 1999-08-31 2003-10-28 Accenture Llp Presentation services patterns in a netcentric environment
JP4200607B2 (ja) * 1999-09-03 2008-12-24 ソニー株式会社 情報処理装置および方法、並びにプログラム格納媒体
JP2002014693A (ja) * 2000-06-30 2002-01-18 Mitsubishi Electric Corp 音声認識システム用辞書提供方法、および音声認識インタフェース
JP2002091477A (ja) * 2000-09-14 2002-03-27 Mitsubishi Electric Corp 音声認識システム、音声認識装置、音響モデル管理サーバ、言語モデル管理サーバ、音声認識方法及び音声認識プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002175175A (ja) * 2000-12-07 2002-06-21 Sumitomo Electric Ind Ltd 音声駆動可能なユーザインターフェイス
JP2002183127A (ja) * 2000-12-18 2002-06-28 Sentan Kagaku Gijutsu Incubation Center:Kk ユーザ辞書生成登録システム、辞書サーバ、端末、ユーザ辞書生成方法、ユーザ辞書登録方法、ならびに、情報記録媒体
US6973427B2 (en) * 2000-12-26 2005-12-06 Microsoft Corporation Method for adding phonetic descriptions to a speech recognition lexicon
US6937986B2 (en) * 2000-12-28 2005-08-30 Comverse, Inc. Automatic dynamic speech recognition vocabulary based on external sources of information
US20020087315A1 (en) 2000-12-29 2002-07-04 Lee Victor Wai Leung Computer-implemented multi-scanning language method and system
US7027987B1 (en) * 2001-02-07 2006-04-11 Google Inc. Voice interface for a search engine
AU2002237495A1 (en) * 2001-03-13 2002-09-24 Intelligate Ltd. Dynamic natural language understanding
JP4581290B2 (ja) * 2001-05-16 2010-11-17 パナソニック株式会社 音声認識装置および音声認識方法
US20030078777A1 (en) * 2001-08-22 2003-04-24 Shyue-Chin Shiau Speech recognition system for mobile Internet/Intranet communication
JP2003219038A (ja) * 2001-10-22 2003-07-31 Ntt Comware Corp 顧客情報と連携させたコールセンタシステム装置及び顧客情報と連携させたコール方法
US20030191639A1 (en) 2002-04-05 2003-10-09 Sam Mazza Dynamic and adaptive selection of vocabulary and acoustic models based on a call context for speech recognition
US7668885B2 (en) * 2002-09-25 2010-02-23 MindAgent, LLC System for timely delivery of personalized aggregations of, including currently-generated, knowledge
US7584102B2 (en) * 2002-11-15 2009-09-01 Scansoft, Inc. Language model for use in speech recognition
JP2004219714A (ja) * 2003-01-15 2004-08-05 Will Being:Kk 人間からの指示に基づいてそれぞれ予め定めた特定のシーンに属する対話のシーンを識別し、シーンに即した自然対話を構成する応答文を作成して、それを音声合成することにより、音声対話を行うコンピュータによる音声対話方法及び音声対話システム
US7603267B2 (en) * 2003-05-01 2009-10-13 Microsoft Corporation Rules-based grammar for slots and statistical model for preterminals in natural language understanding system
JP2005055606A (ja) * 2003-08-01 2005-03-03 Toyota Motor Corp サーバ、情報処理端末、音声認識システム
US7292978B2 (en) * 2003-12-04 2007-11-06 Toyota Infotechnology Center Co., Ltd. Shortcut names for use in a speech recognition system

Cited By (135)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9646614B2 (en) 2000-03-16 2017-05-09 Apple Inc. Fast, language-independent method for user authentication by voice
US10318871B2 (en) 2005-09-08 2019-06-11 Apple Inc. Method and apparatus for building an intelligent automated assistant
US10568032B2 (en) 2007-04-03 2020-02-18 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US10381016B2 (en) 2008-01-03 2019-08-13 Apple Inc. Methods and apparatus for altering audio output signals
US9865248B2 (en) 2008-04-05 2018-01-09 Apple Inc. Intelligent text-to-speech conversion
US9626955B2 (en) 2008-04-05 2017-04-18 Apple Inc. Intelligent text-to-speech conversion
US10108612B2 (en) 2008-07-31 2018-10-23 Apple Inc. Mobile device having human language translation capability with positional feedback
US9535906B2 (en) 2008-07-31 2017-01-03 Apple Inc. Mobile device having human language translation capability with positional feedback
US10475446B2 (en) 2009-06-05 2019-11-12 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10795541B2 (en) 2009-06-05 2020-10-06 Apple Inc. Intelligent organization of tasks items
US11080012B2 (en) 2009-06-05 2021-08-03 Apple Inc. Interface for a virtual digital assistant
US10283110B2 (en) 2009-07-02 2019-05-07 Apple Inc. Methods and apparatuses for automatic speech recognition
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10706841B2 (en) 2010-01-18 2020-07-07 Apple Inc. Task flow identification based on user intent
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US9548050B2 (en) 2010-01-18 2017-01-17 Apple Inc. Intelligent automated assistant
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US10984327B2 (en) 2010-01-25 2021-04-20 New Valuexchange Ltd. Apparatuses, methods and systems for a digital conversation management platform
US10984326B2 (en) 2010-01-25 2021-04-20 Newvaluexchange Ltd. Apparatuses, methods and systems for a digital conversation management platform
US10607140B2 (en) 2010-01-25 2020-03-31 Newvaluexchange Ltd. Apparatuses, methods and systems for a digital conversation management platform
US10607141B2 (en) 2010-01-25 2020-03-31 Newvaluexchange Ltd. Apparatuses, methods and systems for a digital conversation management platform
US11410053B2 (en) 2010-01-25 2022-08-09 Newvaluexchange Ltd. Apparatuses, methods and systems for a digital conversation management platform
US10049675B2 (en) 2010-02-25 2018-08-14 Apple Inc. User profiling for voice input processing
US9633660B2 (en) 2010-02-25 2017-04-25 Apple Inc. User profiling for voice input processing
US10102359B2 (en) 2011-03-21 2018-10-16 Apple Inc. Device access using voice authentication
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US9798393B2 (en) 2011-08-29 2017-10-24 Apple Inc. Text correction processing
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9953088B2 (en) 2012-05-14 2018-04-24 Apple Inc. Crowd sourcing information to fulfill user requests
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9971774B2 (en) 2012-09-19 2018-05-15 Apple Inc. Voice-based media searching
US9966060B2 (en) 2013-06-07 2018-05-08 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9633674B2 (en) 2013-06-07 2017-04-25 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
US9620104B2 (en) 2013-06-07 2017-04-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US10657961B2 (en) 2013-06-08 2020-05-19 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US9966068B2 (en) 2013-06-08 2018-05-08 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10185542B2 (en) 2013-06-09 2019-01-22 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10083690B2 (en) 2014-05-30 2018-09-25 Apple Inc. Better resolution when referencing to concepts
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US10169329B2 (en) 2014-05-30 2019-01-01 Apple Inc. Exemplar-based natural language processing
US10497365B2 (en) 2014-05-30 2019-12-03 Apple Inc. Multi-command single utterance input method
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9668024B2 (en) 2014-06-30 2017-05-30 Apple Inc. Intelligent automated assistant for TV user interactions
US10904611B2 (en) 2014-06-30 2021-01-26 Apple Inc. Intelligent automated assistant for TV user interactions
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10431204B2 (en) 2014-09-11 2019-10-01 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9986419B2 (en) 2014-09-30 2018-05-29 Apple Inc. Social reminders
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US11556230B2 (en) 2014-12-02 2023-01-17 Apple Inc. Data detection
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10311871B2 (en) 2015-03-08 2019-06-04 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US11069347B2 (en) 2016-06-08 2021-07-20 Apple Inc. Intelligent automated assistant for media exploration
US10354011B2 (en) 2016-06-09 2019-07-16 Apple Inc. Intelligent automated assistant in a home environment
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US10269345B2 (en) 2016-06-11 2019-04-23 Apple Inc. Intelligent task discovery
US10521466B2 (en) 2016-06-11 2019-12-31 Apple Inc. Data driven natural language event detection and classification
US10297253B2 (en) 2016-06-11 2019-05-21 Apple Inc. Application integration with a digital assistant
US10089072B2 (en) 2016-06-11 2018-10-02 Apple Inc. Intelligent device arbitration and control
US10553215B2 (en) 2016-09-23 2020-02-04 Apple Inc. Intelligent automated assistant
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10332518B2 (en) 2017-05-09 2019-06-25 Apple Inc. User interface for correcting recognition errors
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US10789945B2 (en) 2017-05-12 2020-09-29 Apple Inc. Low-latency intelligent automated assistant
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US11217255B2 (en) 2017-05-16 2022-01-04 Apple Inc. Far-field extension for digital assistant services

Also Published As

Publication number Publication date
US20060173683A1 (en) 2006-08-03
CN101164102A (zh) 2008-04-16
JP2013047809A (ja) 2013-03-07
KR101221172B1 (ko) 2013-01-11
US8160884B2 (en) 2012-04-17
EP1844464A2 (en) 2007-10-17
EP1844464B1 (en) 2013-06-26
CN101164102B (zh) 2012-06-20
WO2006084144A2 (en) 2006-08-10
JP2008529101A (ja) 2008-07-31
WO2006084144A3 (en) 2006-11-30

Similar Documents

Publication Publication Date Title
KR101221172B1 (ko) 이동 통신 장치의 음성 어휘를 자동으로 확장하는 방법 및장치
US7957972B2 (en) Voice recognition system and method thereof
US20080154611A1 (en) Integrated voice search commands for mobile communication devices
US8996379B2 (en) Speech recognition text entry for software applications
US8838457B2 (en) Using results of unstructured language model based speech recognition to control a system-level function of a mobile communications facility
US20080154870A1 (en) Collection and use of side information in voice-mediated mobile search
US20080154612A1 (en) Local storage and use of search results for voice-enabled mobile communications devices
US10056077B2 (en) Using speech recognition results based on an unstructured language model with a music system
US20080221902A1 (en) Mobile browser environment speech processing facility
US20090030697A1 (en) Using contextual information for delivering results generated from a speech recognition facility using an unstructured language model
US20080312934A1 (en) Using results of unstructured language model based speech recognition to perform an action on a mobile communications facility
US20080154608A1 (en) On a mobile device tracking use of search results delivered to the mobile device
US20090030685A1 (en) Using speech recognition results based on an unstructured language model with a navigation system
US20090030684A1 (en) Using speech recognition results based on an unstructured language model in a mobile communication facility application
US20090030688A1 (en) Tagging speech recognition results based on an unstructured language model for use in a mobile communication facility application
US20080288252A1 (en) Speech recognition of speech recorded by a mobile communication facility
US20070033036A1 (en) Automatic detection and research of novel words or phrases by a mobile terminal
WO2008083172A2 (en) Integrated voice search commands for mobile communications devices
EP1635328A1 (en) Speech recognition method constrained with a grammar received from a remote system.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151217

Year of fee payment: 4