JP2014126600A - 音声認識装置、音声認識方法、およびテレビ - Google Patents

音声認識装置、音声認識方法、およびテレビ Download PDF

Info

Publication number
JP2014126600A
JP2014126600A JP2012281461A JP2012281461A JP2014126600A JP 2014126600 A JP2014126600 A JP 2014126600A JP 2012281461 A JP2012281461 A JP 2012281461A JP 2012281461 A JP2012281461 A JP 2012281461A JP 2014126600 A JP2014126600 A JP 2014126600A
Authority
JP
Japan
Prior art keywords
selection
unit
keyword
information
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012281461A
Other languages
English (en)
Other versions
JP2014126600A5 (ja
Inventor
Toshihiro Koganei
智弘 小金井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2012281461A priority Critical patent/JP2014126600A/ja
Priority to US14/037,451 priority patent/US20140181865A1/en
Publication of JP2014126600A publication Critical patent/JP2014126600A/ja
Priority to US14/795,097 priority patent/US20150310856A1/en
Publication of JP2014126600A5 publication Critical patent/JP2014126600A5/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6175—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Details Of Television Systems (AREA)

Abstract

【課題】本開示は、複数の選択可能情報のうちで、ユーザが選択することを意図した選択可能情報を、音声認識を用いて容易に選択できる音声認識装置などを提供することにある。
【解決手段】本開示の音声認識装置１００は、ユーザが発した音声を取得する音声取得部と、取得された音声の認識結果を取得する認識結果取得部１０３と、キーワードと複数の選択可能情報のうちの一つを選択するための選択コマンドとが認識結果に含まれている場合に、当該キーワードが含まれる選択候補を抽出する抽出部１０５と、当該選択候補が複数ある場合に、選択モードを、全ての選択可能情報を選択可能な第一選択モードから、複数の選択候補を選択可能な第二選択モードに変更する選択モード変更部１０６と、変更された第二選択モードに従って、表示情報の表示態様を変更する表示制御部１０７と、ユーザからの入力に従って、選択候補のうちの一つを選択する選択部１０８とを備える。
【選択図】図２

Description

本開示は、ユーザが発した音声を認識することにより、ユーザが複数の情報のうちのいずれか一つを選択する音声認識装置、音声認識方法、およびテレビに関する。
従来、ユーザが発した音声入力を受信し、受信した音声入力を解析することにより命令を認識し、認識した命令に応じて機器を制御する音声入力装置がある（例えば特許文献１参照）。つまり、特許文献１の音声入力装置では、ユーザが発した音声を音声認識させることにより、認識した結果である命令に応じて機器を制御している。
ところで、このような音声入力装置を利用して、例えばテレビ、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などで、ユーザがブラウザを操作しているときに、ブラウザ上の画面に表示されているハイパーテキストの選択を、音声認識で行わせるニーズがある。つまり、ハイパーテキストなどの、選択されたときにハイパーテキストに埋め込まれているハイパーリンク（参照情報）により参照されている関連情報にアクセスするような情報（以下、「選択可能情報」という）を、音声認識を用いて選択させる。
特許第４８１２９４１号公報
しかしながら、音声認識を用いて選択可能情報の選択を行わせる場合、ユーザが選択することを意図していない選択可能情報を誤って選択してしまう場合がある。
そこで、本開示は、複数の選択可能情報のうちで、ユーザが選択することを意図した選択可能情報を、音声認識を用いて容易に選択することができる音声認識装置などを提供することにある。
本開示における音声認識装置は、複数の選択可能情報が含まれる表示情報が出力されている場合に、前記複数の選択可能情報のうちのいずれか一つをユーザに選択させることを支援する音声認識装置であって、ユーザが発した音声を取得する音声取得部と、前記音声取得部により取得された前記音声の認識結果を取得する認識結果取得部と、キーワードと、前記複数の選択可能情報のうちの一つを選択するための選択コマンドとが前記認識結果に含まれている場合に、前記複数の選択可能情報のうちで当該キーワードが含まれる選択可能情報である選択候補を抽出する抽出部と、前記抽出部により抽出された前記選択候補が複数ある場合に、前記複数の選択可能情報を選択するための選択モードを、全ての前記選択可能情報を選択可能な第一選択モードから、前記複数の選択候補を選択可能な第二選択モードに変更する選択モード変更部と、前記選択モード変更部により変更された前記第二選択モードに従って、前記表示情報の表示態様を変更する表示制御部と、ユーザからの入力に従って、前記選択候補のうちの一つを選択する選択部と、を備える。
本開示における音声認識装置は、ユーザが選択することを意図した選択可能情報を、音声認識を用いて容易に選択することができる。
図１は、実施の形態１に係る音声認識システムを示す図である。 図２は、音声認識システムの構成を示すブロック図である。 図３は、ディクテーションを説明するための図である。 図４は、本実施の形態の音声認識装置の選択処理の流れを示すフローチャートである。 図５Ａは、インターネット検索の検索結果画像を示す図である。 図５Ｂは、選択処理における選択モードが第二選択モードである場合の一例を示す図である。 図５Ｃは、第二選択モードについて説明するための図である。 図６は、番組表による検索結果を示す図である。 図７は、番組表による検索結果をリストアップ表示した例を示す図である。 図８は、検索コマンドの種類が指定されていない場合について説明するための図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するものであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
本開示の音声認識装置は、図１に示すようなテレビ１０に内蔵される音声認識装置であって、ユーザが発した音声を認識し、音声認識の結果に応じてテレビ１０の制御を行う装置である。図１は、実施の形態１に係る音声認識システムを示す図である。図２は、音声認識システムの構成を示すブロック図である。
＜音声認識システム＞
図１および図２に示すように、音声認識システム１は、実施の形態１では、テレビ１０と、リモートコントローラ（図２ではリモコンと表記）２０と、携帯端末３０と、ネットワーク４０と、キーワード認識部５０とにより構成される。
テレビ１０は、音声認識装置１００と、内蔵カメラ１２０と、内蔵マイク１３０と、表示部１４０と、送受信部１５０と、チューナ１６０と、記憶部１７０とを有する。
音声認識装置１００は、ユーザからの音声を取得し、取得した音声を解析することによりキーワードおよびコマンドを認識し、認識した結果に応じてテレビ１０の制御を行う。具体的な構成については後述する。
内蔵カメラ１２０は、テレビ１０の外部に設置されるカメラであり、表示部１４０の表示する方向を撮影するカメラである。つまり、内蔵カメラ１２０は、テレビ１０の表示部１４０に対面しているユーザの方向を向いており、当該ユーザを撮影可能なカメラである。
内蔵マイク１３０は、テレビ１０の外部に設置されるマイクであり、内蔵カメラ１２０と同様に、主に表示部１４０の表示する方向からの音声を集音するマイクである。つまり、内蔵マイク１３０は、テレビ１０の表示部１４０に対面しているユーザの方向を向いており、当該ユーザが発した音声を集音可能なマイクである。
リモートコントローラ２０は、テレビ１０をユーザがテレビ１０から離れた位置で操作するためのコントローラであり、マイク２１および入力部２２を有する。マイク２１は、ユーザが発した音声を集音することが可能である。入力部２２は、ユーザにより入力が行われるタッチパッド、キーボード、ボタンなどの入力デバイスである。マイク２１により集音された音声を示す音声信号、または、入力部２２により入力された入力信号は、無線通信によりテレビ１０に送信される。
表示部１４０は、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどで構成される表示装置であり、表示制御部１０７により生成された画像を表示する。表示部１４０は、また、チューナ１６０が受信した放送に関する放送画像を表示する。
送受信部１５０は、ネットワーク４０と接続されており、ネットワーク４０を通じた情報の送受信を行う。
チューナ１６０は、放送を受信する。
記憶部１７０は、不揮発性または揮発性のメモリまたはハードディスクであり、テレビ１０の各部の制御のための情報などを記憶している。記憶部１７０は、例えば、後述するコマンド認識部１０２により参照される音声コマンド情報などを記憶している。
携帯端末３０は、例えばスマートフォンであり、テレビ１０を操作するためのアプリケーションが起動されている携帯端末３０を利用でき、マイク３１および入力部３２を有する。マイク３１は、携帯端末３０に内蔵されているマイクであり、リモートコントローラ２０と同様にユーザが発した音声を集音することが可能である。入力部３２は、ユーザにより入力が行われるタッチパネル、キーボード、ボタンなどの入力デバイスである。携帯端末３０においても、リモートコントローラ２０と同様に、マイク３１により集音された音声を示す音声信号、または、入力部３２により入力された入力信号は、無線通信によりテレビ１０に送信される。
なお、テレビ１０と、リモートコントローラ２０または携帯端末３０とは、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信により接続されており、リモートコントローラ２０または携帯端末３０から取得された音声などのデータは、当該無線通信によりテレビ１０に送信される。
ネットワーク４０は、いわゆるインターネットによるネットワークである。
キーワード認識部５０は、ネットワーク４０を介してテレビ１０と接続されるクラウド上の辞書サーバである。キーワード認識部５０は、具体的には、テレビ１０から送信されてきた音声情報を受信して、受信した音声情報が示す音声を文字列（一文字を含む）に変換する。そして、キーワード認識部５０は、文字列に変換した後の音声である文字情報を音声の認識結果として、ネットワーク４０を介してテレビ１０に送信する。
＜音声認識装置＞
音声認識装置１００は、音声取得部１０１と、コマンド認識部１０２と、認識結果取得部１０３と、コマンド処理部１０４と、抽出部１０５と、選択モード変更部１０６と、表示制御部１０７と、選択部１０８と、検索部１０９と、操作受付部１１０と、ジェスチャ認識部１１１とを有する。
音声取得部１０１は、ユーザが発した音声を取得する。音声取得部１０１は、ユーザが発した音声を、テレビ１０に内蔵される内蔵マイク１３０を直接利用して取得してもよいし、リモートコントローラ２０に内蔵されるマイク２１または携帯端末３０に内蔵されるマイク３１が取得したユーザが発した音声を取得するようにしてもよい。
コマンド認識部１０２は、音声取得部１０１により取得された音声を解析して、予め設定されたコマンドを特定する。具体的には、コマンド認識部１０２は、音声取得部１０１により取得された音声のうちで、予め記憶部１７０に記憶されている音声コマンド情報を参照する。音声コマンド情報は、音声と、テレビ１０に対する指示情報であるコマンドとが関連付けられた情報である。コマンドは、複数種類あり、それぞれのコマンドに異なる音声が関連付けられている。コマンド認識部１０２は、音声コマンド情報を参照した結果、複数のコマンドのうちで当該音声に対応するコマンドが特定でれば、当該音声が特定したコマンドであると認識する。また、コマンド認識部１０２は、音声取得部１０１により取得された音声のうちで、コマンド以外の音声を送受信部１５０からネットワーク４０を介してキーワード認識部５０に送信する。
認識結果取得部１０３は、音声取得部１０１により取得された音声がコマンド認識部１０２またはキーワード認識部５０により認識された結果である認識結果を取得する。なお、認識結果取得部１０３は、キーワード認識部５０による認識結果を、ネットワーク４０を介して受信した送受信部１５０から取得する。
ここで、キーワード認識部５０は、音声取得部１０１により取得された音声のうちでコマンド以外の音声を取得する。キーワード認識部５０は、コマンド以外の音声をキーワードとして認識し、当該音声を対応する文字列への変換（以下、「ディクテーション」という）を行う。
コマンド処理部１０４は、認識結果取得部１０３により取得された認識結果にコマンドが含まれている場合に、当該コマンドに応じた処理を各処理部に行わせる。また、コマンド処理部１０４は、操作受付部１１０により受け付けられたユーザが行った操作、または、ジェスチャ認識部１１１により認識されたユーザが行ったジェスチャに対応するコマンドに応じた処理を各処理部に行わせる。具体的には、コマンド処理部１０４は、当該コマンドが、キーワードおよび選択コマンドを含んでいる場合には、抽出部１０５による後述する抽出処理を行わせる。また、コマンド処理部１０４は、当該コマンドが、キーワードおよび検索コマンドを含んでいる場合には、検索部１０９による後述する検索処理を行わせる。また、コマンド処理部１０４は、当該コマンドが操作コマンドを含んでいる場合には、選択部１０８による後述する選択処理を行わせる。一方、認識結果取得部１０３により取得された認識結果がキーワードのみの場合は、表示制御部１０７に対して、キーワードを表示部１４０に出力させる。
なお、本実施の形態では、キーワード認識部５０は、コマンド認識部１０２によって認識されたコマンド以外の音声を受信し、キーワードを認識してディクテーション結果を認識結果取得部１０３へ送信する構成となっているが、音声取得部１０１により取得された音声全てを受信し、音声全てのディクテーション結果を認識結果取得部１０３へ送信する構成であってもよい。この場合、認識結果取得部１０３は、予め記憶部１７０に記憶されている音声コマンド情報を参照して、キーワード認識部５０から受信したディクテーション結果をキーワードとコマンドに分離し、コマンド処理部１０４へ出力する。
抽出部１０５は、キーワードと、複数の選択可能情報のうちの一つを選択するための選択コマンドとが、認識結果取得部１０３により取得された認識結果に含まれている場合に、複数の選択可能情報のうちで当該キーワードが含まれる選択可能情報である選択候補を抽出する抽出処理を行う。
選択モード変更部１０６は、抽出部１０５により抽出された選択候補が複数ある場合に、表示制御部１０７が表示部１４０に表示させる画像に含まれる複数の選択可能情報を選択するための選択モードを、全ての選択可能情報を選択可能な第一選択モードから、複数の選択候補のみを選択可能な第二選択モードに変更する。
表示制御部１０７は、選択モード変更部１０６、選択部１０８および検索部１０９の各処理部により出力された画像を、予め設定されている表示のための解像度に応じて表示部１４０に表示させる。具体的には、例えば、表示制御部１０７は、次に挙げるような画像を表示部１４０に表示させる。表示制御部１０７は、複数の選択可能情報のいずれか一つが選択部１０８により選択された場合に、選択部１０８により選択された選択可能情報に埋め込まれている参照情報の参照先である関連情報を表示部１４０に表示させる。また、表示制御部１０７は、選択モードが第二選択モードである場合、複数の選択候補の表示形態を、選択候補であることを示す表示形態に変更して表示部１４０に表示させる。また、表示制御部１０７は、選択モードが第二選択モードである場合、さらに、複数の選択候補のそれぞれについて、当該選択候補を識別するための識別子を当該選択候補が表示される領域に表示させる。また、表示制御部１０７は、選択モードが第二モードである場合、操作受付部１１０により受け付けられた操作に従って、選択候補として抽出された選択可能情報のうちの一つを、他の選択可能情報の表示形態とは異なる表示形態で選択的に表示させる。また、表示制御部１０７は、検索部１０９による検索の結果を、複数の選択可能情報として表示部１４０に表示させる。また、表示制御部１０７は、インターネット検索アプリケーションでのキーワードの検索の結果、番組表アプリケーションでのキーワード検索の結果、または検索可能アプリケーションでのキーワードの検索の結果を、複数の選択可能情報として表示部に表示させる。また、表示制御部１０７は、キーワードによる検索結果だけでなく、ウェブページとして表示される複数のハイパーテキストを、複数の選択可能情報として表示部１４０に表示させてもよい。
選択部１０８は、操作受付部１１０により受け付けられたユーザ操作、または、ジェスチャ認識部１１１により認識されたユーザが行ったジェスチャ操作に従って、複数の選択可能情報のうちのいずれか一つを選択する。また、選択部１０８は、選択モードが第二モードである場合であって、認識結果取得部１０３により取得された認識結果に、複数の選択候補に付された識別子を示すキーワードまたは複数の選択候補のうちの一つを特定可能なキーワードと、前記選択コマンドとが含まれていた場合、当該キーワードにより特定される選択候補を選択することで、複数の選択候補のうちのいずれか一つを選択する。また、選択部１０８は、操作受付部１１０が決定を示す操作を受け付けた場合、表示制御部１０７が他の選択可能情報の表示形態とは異なる表示形態で表示部１４０に表示させている選択可能情報を選択することで、複数の選択候補のうちのいずれか一つを選択する。
検索部１０９は、認識結果取得部１０３により取得された認識結果に、キーワードと、予め設定されたアプリケーションに関連付けられた検索コマンドとが含まれている場合に、当該アプリケーションで当該キーワードの検索を行う。ここで、検索部１０９は、当該認識結果に含まれる検索コマンドが予め設定されたアプリケーションの一つであるインターネット検索アプリケーションに関連付けられている場合、当該インターネット検索アプリケーションで当該キーワードの検索を行う。また、検索部１０９は、当該認識結果に含まれる検索コマンドが予め設定されたアプリケーションの一つである番組表アプリケーションに関連付けられている場合、当該番組表アプリケーションで当該キーワードの検索を行う。また、検索部１０９は、当該認識結果に含まれる検索コマンドが予め設定されたアプリケーションに関連付けられていない場合、当該キーワードで検索を行うことができる全てのアプリケーションである検索可能アプリケーションで当該キーワードの検索を行う。
操作受付部１１０は、ユーザが行った操作を受け付ける。具体的には、リモートコントローラ２０の入力部２２に対して行われたユーザの操作、または、携帯端末３０の入力部３２に対して行われたユーザの操作を示す入力信号を、テレビ１０とリモートコントローラ２０または携帯端末３０との間で行われている無線通信により受信することで、ユーザが行った操作を受け付ける。
ジェスチャ認識部１１１は、内蔵カメラ１２０により撮影された動画像に対して、画像処理を行うことによりユーザが行ったジェスチャを認識する。具体的には、例えば、ユーザの手を認識して、ユーザの手の動きと予め設定されたコマンドとを比較することにより、ユーザの手の動きと合致するコマンドを特定する。
＜動作＞
次に、本実施の形態に係るテレビ１０の音声認識装置１００の動作について説明する。
＜音声認識装置の起動＞
まず、テレビ１０の音声認識装置１００による音声認識処理の開始方法について説明する。音声認識装置１００による音声認識処理の開始方法には、次に示すように、主に、３つの方法が挙げられる。
３つの方法の一つ目は、リモートコントローラ２０の入力部２２の一つであるマイクボタン（図示せず）を押すことである。具体的には、ユーザは、リモートコントローラ２０のマイクボタンを押せば、テレビ１０は、操作受付部１１０がリモートコントローラ２０のマイクボタンが押されたことを受け付けて、テレビ１０のスピーカ（図示せず）から出力されている音の音量をマイク２１による音声認識が容易なほどに十分に小さい音量であって、予め設定されている音量に設定する。そして、テレビ１０のスピーカから出力されている音の音量が予め設定されている音量に設定されれば、音声認識装置１００による音声認識処理が開始される。このとき、テレビ１０は、スピーカから出力されている音量が、音声認識が容易なほどに十分に小さい場合には、上記の音量調整を行う必要はないので音量をそのままに設定する。なお、この方法は、リモートコントローラ２０に限らずに、携帯端末３０により同様に行われてもよい。携帯端末３０（例えばタッチパネルを備えるスマートフォン）の場合には、リモートコントローラ２０のマイクボタンを押すことの代わりに、携帯端末３０にインストールされているアプリケーションが起動されており、起動されているアプリケーションに応じてタッチパネルに表示されるマイクボタンを押すことで、音声認識装置１００による音声認識が開始される。
また、３つの方法の二つ目は、テレビ１０の内蔵マイク１３０に対して図１に示すように予め設定された音声認識処理の開始コマンドである「Ｈｉ，ＴＶ」と話すことである。なお、「Ｈｉ，ＴＶ」は開始コマンドの一例であり、音声認識処理の開始コマンドは別の文言であってもよい。内蔵マイク１３０により集音された音声が予め設定されている開始コマンドであると認識されれば、上述と同様にテレビ１０のスピーカから出力されている音の音量を予め設定されている音量に設定し、音声認識装置１００による音声認識処理が開始される。
また、３つの方法の三つ目は、テレビ１０の内蔵カメラ１２０に向けて予め設定されたジェスチャ（例えば、手を上から下へ振り下ろすジェスチャ）を行うことである。当該ジェスチャがジェスチャ認識部１１１により認識されれば、上述と同様にテレビ１０のスピーカから出力されている音の音量を予め設定されている音量に設定し、音声認識装置１００による音声認識処理が開始される。
なお、上記に限らずに、三つ目の方法に、一つ目または二つ目の方法を組み合わせることにより、音声認識装置１００による音声認識処理が開始されてもよい。
上述のように、音声認識装置１００による音声認識処理が開始されれば、表示制御部１０７は、図１に示すように、表示部１４０に表示される画像２００の下部に、音声認識が開始されたことを示す音声認識アイコン２０１と、集音されている音声の音量を示すインジケータ２０２とが表示される。なお、上述のように音声認識処理が開始されたことは、音声認識アイコン２０１を表示させることにより示されているが、これに限らずに、音声認識処理が開始されたことを示すメッセージを表示させることにより示してもよいし、当該メッセージを音声で出力することにより示してもよい。
＜音声認識＞
次に、本実施の形態に係るテレビ１０の音声認識装置１００による音声認識処理について説明する。本実施の形態に係る音声認識装置１００の音声認識処理では、２種類の音声認識が行われる。一つは、予め設定されているコマンドを認識するための音声認識処理（以下、「コマンド認識処理」という）であり、もう一つは、コマンド以外の音声をキーワードとして認識するための音声認識処理（以下、「キーワード認識処理」という）である。
コマンド認識処理は、上述したように、音声認識装置１００が有するコマンド認識部１０２により行われる。つまり、コマンド認識処理は、音声認識装置１００の内部により行われる。コマンド認識部１０２は、テレビ１０に対するユーザからの音声を、予め記憶部１７０に記憶されている音声コマンド情報と比較することにより、コマンドを特定する。なお、ここで言う「コマンド」は、テレビ１０を操作するためのコマンドである。
キーワード認識処理は、上述したように、ネットワーク４０を介してテレビ１０に接続されている辞書サーバであるキーワード認識部５０により行われる（図３参照）。つまり、キーワード認識処理は、音声認識装置１００の外部により行われる。キーワード認識部５０は、音声取得部１０１により取得された音声のうちでコマンド以外の音声を取得する。そして、キーワード認識部５０は、取得したコマンド以外の音声をキーワードとして認識し、ディクテーションを行う。キーワード認識部５０は、ディクテーションを行うのに、音声と文字列とを対応付けたデータベースを用いて、音声とデータベースとを比較することにより、文字列に変換する。なお、本実施の形態では、取得したコマンド以外の音声をキーワードとして認識してディクテーションを行う構成となっているが、音声取得部１０１により取得された音声全てを受信し、音声全てのディクテーションを行う構成であってもよい。
具体的には、図３に示すように、ブラウザの検索キーワードを入力するための入力欄２０３にカーソルがある状態としたときに、ユーザは、音声認識装置１００による音声認識処理を開始させれば、画像２１０のように表示部１４０に表示される。そして、ユーザが「ＡＢＣ」と発話すれば、発話された音声を示す音声情報がネットワーク４０を介してテレビ１０に接続されているキーワード認識部５０に送信される。キーワード認識部５０は、受信した「ＡＢＣ」という音声情報をデータベースと比較することにより、「ＡＢＣ」という文字列に変換して、変換後の文字列を示す文字情報をテレビ１０にネットワーク４０を介して送信する。テレビ１０は、キーワード認識部５０から受信した文字情報を取得して、認識結果取得部１０３、コマンド処理部１０４、表示制御部１０７を介して、入力欄２０３に「ＡＢＣ」という文字列を入力する。
このようにして、音声認識装置１００は、音声認識処理を行うことにより、ユーザが発した音声を取得して、文字列としてテレビ１０に入力することができる。そして、例えば、「検索」というように、取得した音声にコマンドが含まれている場合には当該コマンドに従った処理をテレビ１０に行わせ、「“ＡＢＣ”を検索」というように、取得した音声にコマンドおよびキーワードが含まれている場合には当該キーワードを用いた当該コマンドによる処理をテレビ１０に行わせる。なお、音声にコマンドおよびキーワードが含まれる場合とは、例えば、コマンドが予め設定されたアプリケーションに関連付けられた検索コマンドである場合である。つまり、予め設定されたアプリケーションによるキーワード検索が行われることになる。ここで、予め設定されたアプリケーションとは、例えば、上述したようにウェブブラウザを起動させて行うインターネット検索アプリケーション、番組表の中からキーワード検索を行う番組検索アプリケーションなどである。このような検索コマンドによる検索処理は、上述した検索部１０９により行われる。
＜選択処理＞
次に、本実施の形態に係るテレビ１０の音声認識装置１００による選択処理について説明する。
選択処理とは、例えば、図５Ａに示すようにインターネット検索による結果である複数の検索結果２２１ａ、２２１ｂ、２２１ｃ、２２１ｄ、・・・が表示制御部１０７により出力されているときに、複数の検索結果２２１のうちからユーザにより発された音声に応じて最適な検索結果を選択させるための処理である。なお、ここで、複数の検索結果２２１ａ、２２１ｂ、２２１ｃ、２２１ｄ、・・・は、表示部１４０に表示される画像２２０ａに含まれる検索結果２２１ａ〜２２１ｄだけでなく、表示部１４０に表示され切れていない検索結果も含まれている。つまり、複数の検索結果２２１ａ、２２１ｂ、２２１ｃ、２２１ｄ、・・・は、他のページに遷移することなくスクロールすることのみで表示可能な同一ページ内の画像に含まれる検索結果のことを指す。
以下、図４および図５Ａ〜図５Ｃを用いて選択処理について説明する。図４は、本実施の形態の音声認識装置の選択処理の流れを示すフローチャートである。図５Ａは、インターネット検索の検索結果画像を示す図である。図５Ｂは、選択処理における選択モードが第二選択モードである場合の一例を示す図である。図５Ｃは、第二選択モードについて説明するための図である。
まず、選択処理は、図５Ａに示すように表示部１４０に選択可能情報の一種であるインターネットでのキーワード検索の結果である検索結果２２１ａ、２２１ｂ、２２１ｃ、２２１ｄ、・・・が複数表示されているときに開始され得る。このときユーザは、検索結果２２１ｃを音声認識処理により選択しようとし、検索結果２２１ｃに含まれる文字列「ＡＢＣ」について注目したとする。そこで、図５Ｂに示すように、音声認識処理を開始させた状態で、ユーザが、「ＡＢＣにジャンプ」という音声を発する。これにより、選択処理が開始されることになる。つまり、音声取得部１０１が、内蔵マイク１３０、リモートコントローラ２０のマイク２１、または携帯端末３０のマイク３１によりユーザから音声を取得する（Ｓ１０１）。
そして、コマンド認識部１０２は、音声取得部１０１により取得された音声「“ＡＢＣ”にジャンプ」のうちのコマンドである「ジャンプ」を、予め記憶部１７０に記憶されている音声コマンド情報と比較することにより、コマンドを認識する（Ｓ１０２）。なお、本実施の形態では、「ジャンプ」というコマンドは、複数の選択可能情報からいずれか一つを選択するための選択コマンドである。
コマンド認識部１０２は、「ＡＢＣにジャンプ」という音声のうちで、コマンドとして認識された「ジャンプ」以外の「ＡＢＣ」という音声をキーワードとして特定し、送受信部１５０からネットワーク４０を介してキーワード認識部５０にキーワードとして特定した音声を転送する（Ｓ１０３）。
キーワード認識部５０は、「ＡＢＣ」という音声を示す音声情報に対してディクテーションを行うことにより「ＡＢＣ」という文字列に変換し、変換した文字列を示す文字情報を、認識結果として、「ＡＢＣ」という音声を示す音声情報の送信元であるテレビ１０に送信する。
認識結果取得部１０３は、ステップＳ１０２により認識されたコマンドと、キーワード認識部５０により送信されてきた文字情報が示す文字列であるキーワードとを取得する（Ｓ１０４）。
抽出部１０５は、認識結果取得部１０３により取得されたコマンドおよびキーワードが含まれる選択可能情報である選択候補を抽出する（Ｓ１０５）。具体的には、図５Ａに示す複数の検索結果２２１ａ、２２１ｂ、２２１ｃ、２２１ｄ、・・・の中から、キーワードとして認識された「ＡＢＣ」２２５という文字列が含まれる選択可能情報である検索結果２２１ａ、２２１ｃ、２２１ｅを選択候補として抽出する。
抽出部１０５は、選択候補として抽出した検索結果が複数であるか否かを判定する（Ｓ１０６）。
抽出部１０５により選択候補として抽出された検索結果が複数であると判定されれば（Ｓ１０６：Ｙｅｓ）、選択モード変更部１０６は、表示制御部１０７が表示部１４０に表示させる画像に含まれる複数の検索結果を選択するための選択モードを、全ての検索結果を選択可能な第一選択モードから、複数の選択候補のみを選択可能な第二選択モードに変更する（Ｓ１０７）。具体的には、図５Ｂに示すように、抽出部１０５により抽出された選択候補が、検索結果２２１ａ、２２１ｃ、２２１ｅの３つの検索結果であるため、選択モードを第一選択モードから第二選択モードに変更する。なお、ここで言う、第一選択モードとは、例えば、マウスなどでカーソルを自由に動かすことのできるフリーカーソルモードである。
また、選択モード変更部１０６により選択モードが第二選択モードに変更された場合、図５Ｂに示すような画像２２０ｂが表示部１４０に表示されることになる。具体的には、画像２２０ｂには、選択候補として抽出された、検索結果２２１ａ、２２１ｃ、２２１ｅと、検索結果２２１ａ、２２１ｃ、２２１ｅのそれぞれに選択候補であることを示す枠２２２、２２３と、検索結果２２１ａ、２２１ｃ、２２１ｅのそれぞれを識別するための識別子２２４ａ、２２４ｂ、２２４ｃとが含まれる。なお、枠２２２、２２３には、２種類あり、複数の選択候補のうちの一つを選択するためのフォーカスであることを示す第一の枠２２２と、フォーカスされていないことを示す第二の枠２２３である。
選択モード変更部１０６により選択モードが第二選択モードに変更されれば、ユーザからの入力に従って、複数の選択候補である検索結果２２１ａ、２２１ｃ、２２１ｅのうちの一つが選択される（Ｓ１０８）。なお、第二選択モードにおいて、ユーザは、複数の選択候補のうちの一つを選択するのに複数の方法がある。
一つ目の方法は、図５Ｃに示すように、リモートコントローラ２０の入力部２２または携帯端末３０の入力部３２を操作することにより、選択的に選択候補への第一の枠２２２を切り替えることにより選択する方法である。具体的には、図５Ｂに表示される画像２２０ｂの状態で、ユーザがリモートコントローラ２０の入力部２２に図５Ｃに示すような下向きにスワイプする操作を入力した場合に、入力前に検索結果２２１ａに表示されていたフォーカスを示す第一の枠２２２が、図５Ｃに示す画像２２０ｃのように検索結果２２１ｃに表示されることになる。このようにして、第一の枠２２２が表示される検索結果を切り替えた上で、リモートコントローラ２０または携帯端末３０の入力部２２、３２により決定を示す入力を行うことで、フォーカスを示す第一の枠２２２が表示されている検索結果２２１ｃを選択することになる。また、第一の枠２２２は、第二の枠２２３が表示されている検索結果のみに移動することになる。また、入力部２２、３２による入力だけでなく、音声認識処理によるコマンドで行ってもよい。つまり具体的には、ユーザは、音声認識処理を開始させた上で「下に移動」と発話する。これにより、「下に移動」というコマンドをコマンド認識部１０２に認識させ、フォーカス先を移動させるような形態としてもよい。
二つ目の方法は、識別子２２４ａ〜２２４ｃとして表示されている番号のボタンを押すことである。例えば、テンキーを有するリモートコントローラや携帯端末３０にテンキーを表示させることにより、識別子を示す番号のボタンを押すことにより、操作コマンドとしてユーザ入力を受け付け、所望の検索結果を選択するようにしてもよい。
なお、識別子を示す番号は、リモートコントローラのテンキーを１回押すだけで決定できるという利便性や、表示部１４０に一覧表示できる閲覧性を考慮すれば、一桁であることが好ましい。つまり、選択候補が１１以上ある場合には、何らかの優先順位をつけたうえで、優先順位の高い方から１０個の検索結果に絞ることが好ましい。なお、優先順位をつけて優先順位の高い方から検索結果を並べることは、１０個の検索結果に絞ることに限定されない。つまり、検索結果を絞らなくても優先順位の高い方から並べるようにしてもよい。優先順位は、選択コマンドと組み合わせて利用されたキーワード（上述の「ＡＢＣ」２２５）が検索結果の文字数に占める割合によって決定してもよい。
また、識別子は、番号に限らずにアルファベット等の文字であっても構わない。また、この場合にも、音声認識処理を利用することにより、ユーザが所望する検索結果に付されている識別子が発話されたことを認識すれば、当該識別子に対応する検索結果が選択されるようにしてもよい。音声認識処理を利用する場合は、識別子は、操作コマンドとして認識されるように、予め記憶部１７０に格納された音声コマンド情報に含まれる識別子を用いる。
抽出部１０５により選択候補として抽出された検索結果が複数でないと判定されれば（Ｓ１０６：Ｎｏ）、選択部１０８は、一つの選択候補である検索結果を選択する（Ｓ１０９）。
ステップＳ１０８またはステップＳ１０９で、選択候補が選択されれば、選択候補である検索結果に埋め込まれている参照情報により参照されている関連情報にジャンプして選択処理を終了する。なお、ここで言う参照情報とは、例えば、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）であり、関連情報とはＵＲＬにより参照されているウェブページである。
上記実施の形態に係る音声認識装置１００では、インターネットの検索結果に対しての選択処理を例に挙げて説明したが、インターネットの検索処理に限らない。例えば、番組表アプリケーションの検索の結果であってもよい。図６に番組表（ＥＰＧ：Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）の検索結果を示す。図６は、番組表による検索結果を示す図である。
図６に示すように、番組表アプリケーションによるキーワード検索の結果である検索結果を示す画像３００は、番組が放送される時刻を示す時刻情報３０１、番組が放送されるチャンネルを示すチャンネル情報３０２、各時刻および各チャンネルで放送される番組を示す番組情報３０３、番組表アプリケーションによる検索の結果である検索結果３０４、３０５、および検索結果３０４、３０５であることを識別するための識別子３０６、３０７で構成される。
このように、番組表を例えば俳優名などのキーワードで検索することにより抽出された複数の選択候補としての検索結果３０４、３０５は、番組情報３０３が表示されている背景と文字とが反転して表示されている。つまり、選択候補としての検索結果３０４、３０５は、選択候補ではない番組情報３０３とは異なる表示形態で表示される。また、図６では、検索結果３０４の番組がフォーカス表示されており、決定を示す操作が行われれば検索結果３０４が選択されることになる。また、識別子３０６、３０７については、インターネット検索結果と同様に、各識別子３０６、３０７を示す入力が行われれば、当該入力に対応する識別子が選択されることになる。なお、ここで、検索結果のうちの一つが選択されれば、当該検索結果に対応する番組情報の詳細が表示されることになる。
また、図６に示す、番組表アプリケーションによる検索結果では、番組表のうちで、該当する番組の表示形態を変えることで、選択候補を抽出しているが、これに限らない。例えば、図７に示すように、番組の検索結果をリストアップして表示してもよい。リストアップして表示する場合の検索結果を示す画像４００は、チャンネル情報４０１、識別子４０２、時刻情報４０３、および番組情報４０４により構成される。この場合も、上記で説明したように、ユーザは複数の選択候補のうちから一つを選択的に選択することができる。
なお、音声認識装置１００では、特に言及していないが、音声認識処理においてユーザが発した音声に検索コマンドとキーワードとが含まれている場合であって、検索コマンドの種類がインターネット検索アプリケーションによる検索である場合には、インターネット検索アプリケーションによる当該キーワードの検索が行われる。例えば、「ＡＢＣをインターネットで検索」とユーザが発話すれば、「インターネットで検索」という音声をインターネット検索アプリケーションによる検索コマンドであると認識する。このため、ユーザは当該音声を発話するのみで、当該キーワードによるインターネット検索を行わせることができる。
また、音声認識処理においてユーザが発した音声に検索コマンドとキーワードとが含まれている場合であって、検索コマンドの種類が番組表アプリケーションによる検索である場合には、番組表アプリケーションによる当該キーワードの検索が行われる。例えば、「ＡＢＣを番組表で検索」とユーザが発話すれば、「番組表で検索」という音声を番組表アプリケーションによる検索コマンドであると認識する。このため、ユーザは、当該音声を発話するのみで、当該キーワードによる番組表検索を行わせることができる。
また、音声認識処理においてユーザが発した音声に検索コマンドとキーワードとが含まれている場合であって、検索コマンドの種類が指定されていない場合には、図８に示すように、ユーザに、当該検索を行わせるアプリケーションを選択させる画面を表示させてもよい。図８は、検索コマンドの種類が指定されていない場合について説明するための図である。検索コマンドの種類が指定されていない状態で検索コマンドが認識されれば、キーワードで検索を行うことができる全てのアプリケーションのアイコン５０１〜５０７が画像５００上に表示される。
ユーザは、この状態で、所望のアプリケーションをリモートコントローラ２０または携帯端末３０の入力部２２、３２を操作することにより選択するか、あるいは、音声認識処理により選択すれば、選択されたアプリケーションによってキーワード検索が行われることになる。なお、画像５００に含まれる各アイコン５０１〜５０７は、それぞれ、インターネット検索アプリケーション、インターネットによる画像検索アプリケーション、インターネットによるニュース検索アプリケーション、動画投稿サイトアプリケーション、インターネットによる百科事典アプリケーション、番組表アプリケーション、および録画一覧アプリケーションである。
また、音声認識処理においてユーザが発した音声に検索コマンドとキーワードとが含まれている場合であって、検索コマンドの種類が指定されていない場合には、当該キーワードが含まれる全てのアプリケーションで当該キーワードの検索を行い、検索を行った全てのアプリケーションでの検索結果を表示するようにしてもよい。
なお、音声認識処理は、上述したような開始方法で開始できるため、音声認識処理を開始さえすれば、テレビ１０により番組を視聴している途中であっても、上記のような検索を行うことができる。
本実施の形態に係る音声認識装置１００によれば、音声認識の結果のキーワードおよび選択コマンドに従って、選択候補を抽出部１０５が抽出したときに、抽出された選択候補が複数ある場合に、全ての選択可能情報を選択可能な第一モードから、抽出された選択候補のみを選択可能な第二モードに変更する。つまり、音声認識の結果のキーワードを用いて複数の選択可能情報の中から一つの選択可能情報を選択しようとしても、選択候補が複数存在しており、選択候補を一つに絞り込めないような場合に、当該複数の選択候補のみを選択可能な第二モードに変更される。
したがって、ユーザは、複数の選択可能情報からキーワードが含まれる複数の選択可能情報に絞り込むことができ、絞り込まれた複数の選択候補のみの中から選択することができる。このため、ユーザは、全ての複数の選択可能情報から一つを選択するよりも、容易に意図する選択可能情報を選択することができる。
また、本実施の形態に係る音声認識装置１００によれば、複数の選択候補の表示形態が他の選択可能情報とは異なる表示形態に変更されて表示されるため、ユーザは複数の選択可能情報のうちの複数の選択候補を容易に判別することができる。
また、本実施の形態に係る音声認識装置１００によれば、抽出された複数の選択候補のそれぞれに識別子が表示されるため、ユーザは、複数の選択候補のうちから選択を意図する選択可能情報を選択するときに、意図する選択可能情報の識別子を指定すれば、容易に当該選択可能情報を選択させることができる。
また、本実施の形態に係る音声認識装置１００によれば、ユーザは、複数の選択候補に付された識別子を示すキーワード、または、複数の選択候補のうちの一つを特定可能なキーワードと、当該キーワードによる選択を行わせる選択コマンドとを含む音声を発することのみで、ユーザが選択を意図する選択可能情報を選択することができる。
また、本実施の形態に係る音声認識装置１００によれば、操作受付部１１０が受け付けたユーザの操作に従って、複数の選択候補のうちの一つを、他の選択候補の表示形態とは異なる表示形態で選択的に表示させる。そして、操作受付部１１０が受け付けた操作が決定を示す操作である場合、当該操作を受け付けたときに異なる表示形態で表示されている選択候補を選択する。つまり、ユーザが行った操作に基づいて、複数の選択候補のうちの一つが選択的にフォーカスされ、決定の操作が受け付けられたときにフォーカスされている選択候補が選択できる。このため、ユーザは、複数の選択候補の中から選択を意図する選択可能情報を容易に選択することができる。
また、本実施の形態に係る音声認識装置１００によれば、複数の選択可能情報は、予め定められたアプリケーションによるキーワードの検索結果である。つまり、予め定められたアプリケーションによるキーワードの検索結果であっても、ユーザは、その検索結果のうちでユーザが選択を意図する選択可能情報を容易に選択することができる。
また、本実施の形態に係る音声認識装置１００によれば、複数の選択可能情報は、インターネットによるキーワードの検索結果である。つまり、インターネットによるキーワードの検索結果であっても、ユーザは、その検索結果のうちでユーザが選択を意図する選択可能情報を容易に選択することができる。
また、本実施の形態に係る音声認識装置１００によれば、複数の選択可能情報は、番組表アプリケーションによるキーワードの検索結果である。つまり、番組表におけるキーワードの検索結果であっても、ユーザは、その検索結果のうちでユーザが選択を意図する選択可能情報を容易に選択することができる。
また、本実施の形態に係る音声認識装置１００によれば、複数の選択可能情報は、全てのアプリケーションのうちの全ての検索可能アプリケーションによるキーワードの検索結果である。つまり、全ての検索可能アプリケーションにおけるキーワードの検索結果であっても、ユーザは、その検索結果のうちでユーザが選択を意図する選択可能情報を容易に選択することができる。
また、本実施の形態に係る音声認識装置１００によれば、複数の選択可能情報は、複数のハイパーテキストである。つまり、複数のハイパーテキストであっても、ユーザは、複数のハイパーテキストのうちでユーザが選択を意図する選択可能情報を容易に選択することができる。
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニットなどから構成されるシステムで実現され得る。ＲＡＭまたはハードディスクユニットには、プログラムが記憶されている。マイクロプロセッサが、プログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでプログラムは、所定の機能を達成するために、マイクロプロセッサに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるシステムである。ＲＯＭには、プログラムが記憶されている。マイクロプロセッサが、ＲＯＭからＲＡＭにプログラムをロードし、ロードしたプログラムにしたがって演算等の動作することにより、システムＬＳＩは、その機能を達成する。
（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるシステムである。ＩＣカードまたはモジュールには、上記の超多機能ＬＳＩが含まれてもよい。マイクロプロセッサが、プログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有してもよい。
（４）本発明は、上記に示す方法で実現されてもよい。また、これらの方法をコンピュータにより実現するプログラムで実現してもよいし、プログラムからなるデジタル信号で実現してもよい。
また、本発明は、プログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したもので実現してもよい。また、これらの記録媒体に記録されているデジタル信号で実現してもよい。
また、本発明は、プログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。
また、本発明は、マイクロプロセッサとメモリを備えたシステムであって、メモリは、プログラムを記憶しており、マイクロプロセッサは、プログラムにしたがって動作してもよい。
また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、ユーザが選択することを意図した選択可能情報を、音声認識を用いて容易に選択することができる音声認識装置として適用可能である。具体的には、テレビなどに、本開示は適用可能である。
１ 音声認識システム
１０ テレビ
２０ リモートコントローラ
２１、３１ マイク
２２、３２ 入力部
３０ 携帯端末
４０ ネットワーク
５０ キーワード認識部
１００ 音声認識装置
１０１ 音声取得部
１０２ コマンド認識部
１０３ 認識結果取得部
１０４ コマンド処理部
１０５ 抽出部
１０６ 選択モード変更部
１０７ 表示制御部
１０８ 選択部
１０９ 検索部
１１０ 操作受付部
１１１ ジェスチャ認識部
１２０ 内蔵カメラ
１３０ 内蔵マイク
１４０ 表示部
１５０ 送受信部
１６０ チューナ
１７０ 記憶部

Claims (10)

  1. 複数の選択可能情報が含まれる表示情報が出力されている場合に、前記複数の選択可能情報のうちのいずれか一つをユーザに選択させることを支援する音声認識装置であって、
    ユーザが発した音声を取得する音声取得部と、
    前記音声取得部により取得された前記音声の認識結果を取得する認識結果取得部と、
    キーワードと、前記複数の選択可能情報のうちの一つを選択するための選択コマンドとが前記認識結果に含まれている場合に、前記複数の選択可能情報のうちで当該キーワードが含まれる選択可能情報である選択候補を抽出する抽出部と、
    前記抽出部により抽出された前記選択候補が複数ある場合に、前記複数の選択可能情報を選択するための選択モードを、全ての前記選択可能情報を選択可能な第一選択モードから、前記複数の選択候補を選択可能な第二選択モードに変更する選択モード変更部と、
    前記選択モード変更部により変更された前記第二選択モードに従って、前記表示情報の表示態様を変更する表示制御部と、
    ユーザからの入力に従って、前記選択候補のうちの一つを選択する選択部と、を備える
    音声認識装置。
  2. さらに、
    ユーザからの操作を受け付ける操作受付部を備え、
    前記第一選択モードは、前記操作受付部がフリーカーソル操作を受け付けるモードであり、前記第二選択モードは、前記操作受付部が所定のコマンド操作または所定方向へのスワイプ操作を受け付けるモードである
    請求項１に記載の音声認識装置。
  3. 前記表示制御部は、前記選択モードが前記第二選択モードである場合、前記複数の選択候補のそれぞれについて、当該選択候補を識別するための識別子を表示させる
    請求項１に記載の音声認識装置。
  4. 前記選択部は、前記選択モードが前記第二モードである場合であって、前記認識結果取得部により取得された前記認識結果に、前記複数の選択候補に付された識別子を示すキーワードまたは前記複数の選択候補のうちの一つを特定可能なキーワードと、前記選択コマンドとが含まれていた場合、当該キーワードにより特定される選択候補を選択することで、前記複数の選択候補のうちのいずれか一つを選択する
    請求項３に記載の音声認識装置。
  5. さらに、
    前記認識結果取得部により取得された前記認識結果に、キーワードと、予め設定されたアプリケーションに関連付けられた検索コマンドとが含まれている場合に、当該アプリケーションで当該キーワードの検索を行う検索部を備え、
    前記表示制御部は、前記検索部による検索の結果を、前記複数の選択可能情報として表示させる
    請求項１に記載の音声認識装置。
  6. 前記アプリケーションは、インターネット検索アプリケーションまたは番組表アプリケーションである
    請求項５に記載の音声認識装置。
  7. 前記検索部は、前記認識結果取得部により取得された前記認識結果に、前記キーワードと、検索コマンドとが含まれており、かつ、当該検索コマンドが前記予め設定されたアプリケーションに関連付けられていない場合、当該キーワードで検索を行うことができる全てのアプリケーションである検索可能アプリケーションで当該キーワードの検索を行い、
    前記表示制御部は、前記検索可能アプリケーションでの当該キーワードの検索の結果を、前記複数の選択可能情報として表示させる
    請求項５に記載の音声認識装置。
  8. 前記表示情報は、ハイパーテキストであり、
    前記表示制御部は、ウェブページとして表示される複数のハイパーテキストを、前記複数の選択可能情報として表示させる
    請求項１に記載の音声認識装置。
  9. 放送を受信するチューナと、前記チューナが受信した放送に関する放送画像を表示することのできる表示部と、関連情報を参照するための参照情報が埋め込まれている複数の選択可能情報が表示部に表示されている場合に、前記複数の選択可能情報のうちのいずれか一つをユーザが選択することを支援するプロセッサとを備えるテレビであって、
    前記プロセッサは、
    ユーザが発した音声を取得する音声取得部と、
    前記音声取得部により取得された前記音声の認識結果を取得する認識結果取得部と、
    キーワードと、前記複数の選択可能情報のうちの一つを選択するための選択コマンドとが前記認識結果に含まれている場合に、前記複数の選択可能情報のうちで当該キーワードが含まれる選択可能情報である選択候補を抽出する抽出部と、
    前記抽出部により抽出された前記選択候補が複数ある場合に、前記複数の選択可能情報を選択するための選択モードを、全ての前記選択可能情報を選択可能な第一選択モードから、前記複数の選択候補を選択可能な第二選択モードに変更する選択モード変更部と、
    前記選択モード変更部により変更された前記第二選択モードに従って、前記表示情報の表示態様を変更する表示制御部と、
    ユーザからの入力に従って、前記選択候補のうちの一つを選択する選択部と、を有する
    テレビ。
  10. 複数の選択可能情報が含まれる表示情報が出力されている場合に、前記複数の選択可能情報のうちのいずれか一つをユーザに選択させることを支援する音声認識装置によって行われる音声認識方法であって、
    ユーザが発した音声を取得する音声取得ステップと、
    前記音声取得ステップにおいて取得された前記音声の認識結果を取得する認識結果取得ステップと、
    キーワードと、前記複数の選択可能情報のうちの一つを選択するための選択コマンドとが前記認識結果に含まれている場合に、前記複数の選択可能情報のうちで当該キーワードが含まれる選択可能情報である選択候補を抽出する抽出ステップと、
    前記抽出ステップにおいて抽出された前記選択候補が複数ある場合に、前記複数の選択可能情報を選択するための選択モードを、全ての前記選択可能情報を選択可能な第一選択モードから、前記複数の選択候補を選択可能な第二選択モードに変更する選択モード変更ステップと、
    前記選択モード変更部により変更された前記第二選択モードに従って、前記表示情報の表示態様を変更する表示制御ステップと、
    ユーザからの入力に従って、前記選択候補のうちの一つを選択する選択ステップと、を含む
    音声認識方法。
JP2012281461A 2012-12-25 2012-12-25 音声認識装置、音声認識方法、およびテレビ Pending JP2014126600A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012281461A JP2014126600A (ja) 2012-12-25 2012-12-25 音声認識装置、音声認識方法、およびテレビ
US14/037,451 US20140181865A1 (en) 2012-12-25 2013-09-26 Speech recognition apparatus, speech recognition method, and television set
US14/795,097 US20150310856A1 (en) 2012-12-25 2015-07-09 Speech recognition apparatus, speech recognition method, and television set

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012281461A JP2014126600A (ja) 2012-12-25 2012-12-25 音声認識装置、音声認識方法、およびテレビ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015200509A Division JP2016029495A (ja) 2015-10-08 2015-10-08 映像表示装置および映像表示方法

Publications (2)

Publication Number Publication Date
JP2014126600A true JP2014126600A (ja) 2014-07-07
JP2014126600A5 JP2014126600A5 (ja) 2015-11-26

Family

ID=50976326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012281461A Pending JP2014126600A (ja) 2012-12-25 2012-12-25 音声認識装置、音声認識方法、およびテレビ

Country Status (2)

Country Link
US (2) US20140181865A1 (ja)
JP (1) JP2014126600A (ja)

Cited By (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170139644A (ko) * 2015-05-27 2017-12-19 애플 인크. 디바이스 음성 제어
JP2019161638A (ja) * 2018-03-09 2019-09-19 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド スマートテレビの制御モード切替方法、設備及びコンピュータプログラム
CN110575040A (zh) * 2019-09-09 2019-12-17 珠海格力电器股份有限公司 智能窗帘的控制方法、控制终端和智能窗帘控制系统
US10681212B2 (en) 2015-06-05 2020-06-09 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10714117B2 (en) 2013-02-07 2020-07-14 Apple Inc. Voice trigger for a digital assistant
US10720160B2 (en) 2018-06-01 2020-07-21 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10741181B2 (en) 2017-05-09 2020-08-11 Apple Inc. User interface for correcting recognition errors
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
JP2021009630A (ja) * 2019-07-02 2021-01-28 メディア株式会社 入力手段、情報処理システム、情報処理システムの制御方法、プログラム、及び記録媒体
US10909171B2 (en) 2017-05-16 2021-02-02 Apple Inc. Intelligent automated assistant for media exploration
US10930282B2 (en) 2015-03-08 2021-02-23 Apple Inc. Competing devices responding to voice triggers
US10942703B2 (en) 2015-12-23 2021-03-09 Apple Inc. Proactive assistance based on dialog communication between devices
US11010127B2 (en) 2015-06-29 2021-05-18 Apple Inc. Virtual assistant for media playback
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11810578B2 (en) 2020-05-11 2023-11-07 Apple Inc. Device arbitration for digital assistant-based intercom systems
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11928604B2 (en) 2005-09-08 2024-03-12 Apple Inc. Method and apparatus for building an intelligent automated assistant

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10469556B2 (en) 2007-05-31 2019-11-05 Ooma, Inc. System and method for providing audio cues in operation of a VoIP service
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
JP2015011170A (ja) * 2013-06-28 2015-01-19 株式会社ＡＴＲ−Ｔｒｅｋ ローカルな音声認識を行なう音声認識クライアント装置
JP6223744B2 (ja) * 2013-08-19 2017-11-01 株式会社東芝 方法、電子機器およびプログラム
US9386148B2 (en) 2013-09-23 2016-07-05 Ooma, Inc. Identifying and filtering incoming telephone calls to enhance privacy
KR102158315B1 (ko) * 2013-10-14 2020-09-21 삼성전자주식회사 음성 제어를 수행하는 디스플레이 장치 및 그 음성 제어 방법
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
KR102210433B1 (ko) * 2014-01-21 2021-02-01 삼성전자주식회사 전자 장치 및 이의 음성 인식 방법
JP6413263B2 (ja) * 2014-03-06 2018-10-31 株式会社デンソー 報知装置
KR102098894B1 (ko) * 2014-05-13 2020-04-10 한국전자통신연구원 스마트 리모콘을 이용한 음성인식 방송장치 및 그 제어 방법
US10769931B2 (en) 2014-05-20 2020-09-08 Ooma, Inc. Network jamming detection and remediation
US9633547B2 (en) 2014-05-20 2017-04-25 Ooma, Inc. Security monitoring and control
US10553098B2 (en) 2014-05-20 2020-02-04 Ooma, Inc. Appliance device integration with alarm systems
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US11330100B2 (en) * 2014-07-09 2022-05-10 Ooma, Inc. Server based intelligent personal assistant services
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
KR102277259B1 (ko) * 2014-11-26 2021-07-14 엘지전자 주식회사 디바이스 제어 시스템, 디지털 디바이스 및 디지털 디바이스 제어 방법
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10009286B2 (en) 2015-05-08 2018-06-26 Ooma, Inc. Communications hub
US11171875B2 (en) 2015-05-08 2021-11-09 Ooma, Inc. Systems and methods of communications network failure detection and remediation utilizing link probes
US10911368B2 (en) 2015-05-08 2021-02-02 Ooma, Inc. Gateway address spoofing for alternate network utilization
US10771396B2 (en) 2015-05-08 2020-09-08 Ooma, Inc. Communications network failure detection and remediation
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
KR102496617B1 (ko) * 2016-01-04 2023-02-06 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
KR102471499B1 (ko) * 2016-07-05 2022-11-28 삼성전자주식회사 영상처리장치, 영상처리장치의 구동방법 및 컴퓨터 판독가능 기록매체
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10521723B2 (en) * 2016-12-14 2019-12-31 Samsung Electronics Co., Ltd. Electronic apparatus, method of providing guide and non-transitory computer readable recording medium
KR20180074152A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 보안성이 강화된 음성 인식 방법 및 장치
JP6930185B2 (ja) * 2017-04-04 2021-09-01 船井電機株式会社 制御方法
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US11140450B2 (en) * 2017-11-28 2021-10-05 Rovi Guides, Inc. Methods and systems for recommending content in context of a conversation
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
KR102482589B1 (ko) * 2018-02-12 2022-12-30 삼성전자주식회사 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
EP3869301A4 (en) * 2018-10-15 2021-12-15 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND COMPUTER PROGRAM
US10657968B1 (en) * 2018-11-19 2020-05-19 Google Llc Controlling device output according to a determined condition of a user
JP7488192B2 (ja) 2018-12-11 2024-05-21 サターン ライセンシング エルエルシー 受信装置および制御方法
US10856041B2 (en) * 2019-03-18 2020-12-01 Disney Enterprises, Inc. Content promotion using a conversational agent
CN110597954A (zh) * 2019-08-29 2019-12-20 深圳创维－Rgb电子有限公司 垃圾分类方法、装置、系统及计算机可读存储介质
US11317162B2 (en) 2019-09-26 2022-04-26 Dish Network L.L.C. Method and system for navigating at a client device selected features on a non-dynamic image page from an elastic voice cloud server in communication with a third-party search service
CN110933345B (zh) * 2019-11-26 2021-11-02 深圳创维－Rgb电子有限公司 一种降低电视待机功耗的方法、电视机及存储介质
CN111274356A (zh) * 2020-01-19 2020-06-12 北京声智科技有限公司 垃圾分类指示方法、装置、设备及计算机存储介质
KR102482457B1 (ko) * 2021-04-02 2022-12-28 삼성전자주식회사 음성 제어를 수행하는 디스플레이 장치 및 그 음성 제어 방법
CN114121012A (zh) * 2021-12-09 2022-03-01 杭州逗酷软件科技有限公司 语音控制方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007003602A (ja) * 2005-06-21 2007-01-11 Alpine Electronics Inc 音声認識装置及びこれを備えた車両用走行誘導装置
WO2010013369A1 (ja) * 2008-07-30 2010-02-04 三菱電機株式会社 音声認識装置
JP2011135525A (ja) * 2009-12-25 2011-07-07 Sony Corp 情報処理装置、情報処理方法、プログラム、制御対象機器および情報処理システム
JP2012521170A (ja) * 2009-03-17 2012-09-10 キョウセラ ワイヤレス コーポレーション 生体認識スキャン構成およびその方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5774859A (en) * 1995-01-03 1998-06-30 Scientific-Atlanta, Inc. Information system having a speech interface
US6366296B1 (en) * 1998-09-11 2002-04-02 Xerox Corporation Media browser using multimodal analysis
US8949902B1 (en) * 2001-02-06 2015-02-03 Rovi Guides, Inc. Systems and methods for providing audio-based guidance
US20030226147A1 (en) * 2002-05-31 2003-12-04 Richmond Michael S. Associating an electronic program guide (EPG) data base entry and a related internet website
US20040128342A1 (en) * 2002-12-31 2004-07-01 International Business Machines Corporation System and method for providing multi-modal interactive streaming media applications
US20060075429A1 (en) * 2004-04-30 2006-04-06 Vulcan Inc. Voice control of television-related information
US7403898B2 (en) * 2004-08-20 2008-07-22 At&T Delaware Intellectual Property, Inc., Methods, systems, and storage mediums for implementing voice-commanded computer functions
US7600195B2 (en) * 2005-11-22 2009-10-06 International Business Machines Corporation Selecting a menu option from a multiplicity of menu options which are automatically sequenced
US20100153885A1 (en) * 2005-12-29 2010-06-17 Rovi Technologies Corporation Systems and methods for interacting with advanced displays provided by an interactive media guidance application
US8175885B2 (en) * 2007-07-23 2012-05-08 Verizon Patent And Licensing Inc. Controlling a set-top box via remote speech recognition
US9767681B2 (en) * 2007-12-12 2017-09-19 Apple Inc. Handheld electronic devices with remote control functionality and gesture recognition
JP2010072507A (ja) * 2008-09-22 2010-04-02 Toshiba Corp 音声認識検索装置及び音声認識検索方法
US8793735B2 (en) * 2008-09-30 2014-07-29 EchoStar Technologies, L.L.C. Methods and apparatus for providing multiple channel recall on a television receiver
KR20110052863A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 모바일 기기 및 그 제어 신호 생성 방법
US20110161242A1 (en) * 2009-12-28 2011-06-30 Rovi Technologies Corporation Systems and methods for searching and browsing media in an interactive media guidance application
JP5771002B2 (ja) * 2010-12-22 2015-08-26 株式会社東芝 音声認識装置、音声認識方法および音声認識装置を搭載したテレビ受像機
US9361282B2 (en) * 2011-05-24 2016-06-07 Lg Electronics Inc. Method and device for user interface
WO2013012107A1 (ko) * 2011-07-19 2013-01-24 엘지전자 주식회사 전자 기기 및 그 제어 방법
US9691381B2 (en) * 2012-02-21 2017-06-27 Mediatek Inc. Voice command recognition method and related electronic device and computer-readable medium
US20140108010A1 (en) * 2012-10-11 2014-04-17 Intermec Ip Corp. Voice-enabled documents for facilitating operational procedures
US20140123077A1 (en) * 2012-10-29 2014-05-01 Intel Corporation System and method for user interaction and control of electronic devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007003602A (ja) * 2005-06-21 2007-01-11 Alpine Electronics Inc 音声認識装置及びこれを備えた車両用走行誘導装置
WO2010013369A1 (ja) * 2008-07-30 2010-02-04 三菱電機株式会社 音声認識装置
JP2012521170A (ja) * 2009-03-17 2012-09-10 キョウセラ ワイヤレス コーポレーション 生体認識スキャン構成およびその方法
JP2011135525A (ja) * 2009-12-25 2011-07-07 Sony Corp 情報処理装置、情報処理方法、プログラム、制御対象機器および情報処理システム

Cited By (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11928604B2 (en) 2005-09-08 2024-03-12 Apple Inc. Method and apparatus for building an intelligent automated assistant
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11979836B2 (en) 2007-04-03 2024-05-07 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US10714117B2 (en) 2013-02-07 2020-07-14 Apple Inc. Voice trigger for a digital assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US11636869B2 (en) 2013-02-07 2023-04-25 Apple Inc. Voice trigger for a digital assistant
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US11862186B2 (en) 2013-02-07 2024-01-02 Apple Inc. Voice trigger for a digital assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US10930282B2 (en) 2015-03-08 2021-02-23 Apple Inc. Competing devices responding to voice triggers
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
JP2018525653A (ja) * 2015-05-27 2018-09-06 アップル インコーポレイテッド デバイスの音声制御
KR102086898B1 (ko) * 2015-05-27 2020-03-09 애플 인크. 디바이스 음성 제어
KR20170139644A (ko) * 2015-05-27 2017-12-19 애플 인크. 디바이스 음성 제어
US11127397B2 (en) 2015-05-27 2021-09-21 Apple Inc. Device voice control
US10681212B2 (en) 2015-06-05 2020-06-09 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11010127B2 (en) 2015-06-29 2021-05-18 Apple Inc. Virtual assistant for media playback
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11954405B2 (en) 2015-09-08 2024-04-09 Apple Inc. Zero latency digital assistant
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US10942703B2 (en) 2015-12-23 2021-03-09 Apple Inc. Proactive assistance based on dialog communication between devices
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US11657820B2 (en) 2016-06-10 2023-05-23 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US10741181B2 (en) 2017-05-09 2020-08-11 Apple Inc. User interface for correcting recognition errors
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11862151B2 (en) 2017-05-12 2024-01-02 Apple Inc. Low-latency intelligent automated assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US10909171B2 (en) 2017-05-16 2021-02-02 Apple Inc. Intelligent automated assistant for media exploration
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US10798461B2 (en) 2018-03-09 2020-10-06 Baidu Online Network Technology (Beijing) Co., Ltd. Method for switching control modes of a smart TV set, device and computer readable medium
JP2019161638A (ja) * 2018-03-09 2019-09-19 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド スマートテレビの制御モード切替方法、設備及びコンピュータプログラム
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11907436B2 (en) 2018-05-07 2024-02-20 Apple Inc. Raise to speak
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US10720160B2 (en) 2018-06-01 2020-07-21 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11360577B2 (en) 2018-06-01 2022-06-14 Apple Inc. Attention aware virtual assistant dismissal
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11360739B2 (en) 2019-05-31 2022-06-14 Apple Inc. User activity shortcut suggestions
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
JP2021009630A (ja) * 2019-07-02 2021-01-28 メディア株式会社 入力手段、情報処理システム、情報処理システムの制御方法、プログラム、及び記録媒体
CN110575040A (zh) * 2019-09-09 2019-12-17 珠海格力电器股份有限公司 智能窗帘的控制方法、控制终端和智能窗帘控制系统
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11810578B2 (en) 2020-05-11 2023-11-07 Apple Inc. Device arbitration for digital assistant-based intercom systems
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11924254B2 (en) 2020-05-11 2024-03-05 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11750962B2 (en) 2020-07-21 2023-09-05 Apple Inc. User identification using headphones

Also Published As

Publication number Publication date
US20140181865A1 (en) 2014-06-26
US20150310856A1 (en) 2015-10-29

Similar Documents

Publication Publication Date Title
JP2014126600A (ja) 音声認識装置、音声認識方法、およびテレビ
US9733895B2 (en) Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
JP6111030B2 (ja) 電子装置及びその制御方法
JP5746111B2 (ja) 電子装置及びその制御方法
JP6244560B2 (ja) 音声認識処理装置、音声認識処理方法、および表示装置
EP2986015A1 (en) Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
US20140168130A1 (en) User interface device and information processing method
US20130035941A1 (en) Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
WO2015146017A1 (ja) 音声検索装置、音声検索方法、および表示装置
US20130033644A1 (en) Electronic apparatus and method for controlling thereof
KR20150089145A (ko) 음성 제어를 수행하는 디스플레이 장치 및 그 음성 제어 방법
JP6223744B2 (ja) 方法、電子機器およびプログラム
JP2007171809A (ja) 情報処理装置及び情報処理方法
EP2518722A2 (en) Method for providing link list and display apparatus applying the same
JP2014049140A (ja) 使用者デバイスで入力文字を利用した知能型サービス提供方法及び装置
KR20180065592A (ko) 디스플레이 장치 및 디스플레이 장치의 채널 정보 획득 방법
JP2014002737A (ja) サーバ及びサーバの制御方法
CN109792502B (zh) 信息处理设备、信息处理方法、存储介质和信息处理系统
JP2016029495A (ja) 映像表示装置および映像表示方法
KR102656611B1 (ko) 보이스 어시스턴트 서비스를 이용한 컨텐츠 재생 장치 및 그 동작 방법
KR102667413B1 (ko) 음성 명령에 기초하여 애플리케이션을 실행하는 방법 및 장치

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151008

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151008

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161122

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170303

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170523