JP2014072586A - 表示装置、表示方法、テレビジョン受像機、プログラム、および、記録媒体 - Google Patents

表示装置、表示方法、テレビジョン受像機、プログラム、および、記録媒体 Download PDF

Info

Publication number
JP2014072586A
JP2014072586A JP2012215204A JP2012215204A JP2014072586A JP 2014072586 A JP2014072586 A JP 2014072586A JP 2012215204 A JP2012215204 A JP 2012215204A JP 2012215204 A JP2012215204 A JP 2012215204A JP 2014072586 A JP2014072586 A JP 2014072586A
Authority
JP
Japan
Prior art keywords
display
search
display device
unit
program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012215204A
Other languages
English (en)
Inventor
Kenji Ishizaki
賢治 石崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2012215204A priority Critical patent/JP2014072586A/ja
Publication of JP2014072586A publication Critical patent/JP2014072586A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】ユーザの利便性を高めることのできる表示装置を提供する。
【解決手段】本発明の一態様に係るテレビ(10)は、LCD(110)と、テレビ(10)の周囲の音声を取得するマイク(121)と、周囲の音声を複数のタイプの何れかに分類するタイプ分類部(13)と、分類されたタイプに関連するキーワードおよびお勧め番組の少なくとも何れかを検索するキーワード検索部(14)およびお勧め番組検索部(15)と、検索結果を表示する表示制御部(16)と、を備えている。
【選択図】図1

Description

本発明は、表示装置、および、表示装置の表示方法に関する。また、表示装置を備えるテレビジョン受像機、表示装置としてコンピュータを動作させるためのプログラム、および、そのようなプログラムを記録された記録媒体に関する。
近年、ユーザの利便性を向上させることを目的として、ユーザがキーボードやマウス等を用いて直接入力を行わなくとも、音声認識によって自動的に処理を実行する表示装置(例えば、テレビジョン受像機、および、スマートフォンなど)が提案されてきている。このような表示装置では、例えば、ユーザの発した言葉を音声認識することにより、インターネット検索や文章入力などを行うことができる。
しかし、このような表示装置では、ユーザが当該表示装置に対して、ユーザの意図した処理を表示装置に実行させるための言葉を発する必要がある。
これに対し、特許文献1には、コンテンツの音声信号からキーワードとなる検索キーを抽出し、抽出した検索キーからキーワードを選択して検索を行う情報検索装置が記載されている。
また、ユーザが言葉を発して明示的に音声を入力する場合には、ユーザは、自身が自覚しているニーズに基づいて音声の入力を行うことになる。
一方で、ニーズには、ユーザ自身が自覚していないもの、もしくは、将来的にニーズとなるものもある。このような、潜在的なニーズに関する情報は、周囲の音声に埋め込まれている場合も多い。
この点に関し、特許文献2には、周囲の状態(例えば音など)に関連した広告を表示する技術が開示されている。
特開平11−161661号公報(1999年6月18日公開) 米国特許第8138930号明細書(2012年3月20日)
特許文献1に記載の技術では、入力された音声信号、つまり、入力されたコンテンツを構成する音声信号から抽出したキーワードを利用して検索を行うため、ユーザの所望する検索結果が得られることが少なく、利便性が低いという問題があった。
また、特許文献2に記載の技術では、周囲のどのような音に基づいて広告を表示するのかが不明であり、また、効果的な表示とならない場合もあった。
本発明は、上記の課題を解決するためになされたものであり、その主たる目的は、ユーザの利便性を高めることのできる表示装置を提供することにある。
本発明の一態様に係る表示装置は、上記の課題を解決するために、表示部と、当該表示装置の周囲の音声を取得する取得手段と、上記取得手段によって取得された上記周囲の音声を複数のタイプの何れかに分類する分類手段と、上記分類手段によって分類されたタイプに関連するキーワードおよびお勧め番組の少なくとも何れかを検索する検索手段と、上記検索手段によって検索されたキーワードおよびお勧め番組の少なくとも何れかを検索結果として上記表示部に表示する表示手段と、を備えている、ことを特徴としている。
また、本発明の一態様に係る表示装置の表示方法は、上記の課題を解決するために、表示部を備えた表示装置の表示方法であって、上記表示装置の周囲の音声を取得する取得ステップと、上記取得ステップにおいて取得された上記周囲の音声を複数のタイプの何れかに分類する分類ステップと、上記分類ステップにおいて分類されたタイプに関連するキーワードおよびお勧め番組の少なくとも何れかを検索する検索ステップと、上記検索ステップにおいて検索されたキーワードおよびお勧め番組の少なくとも何れかを検索結果として上記表示部に表示する表示ステップと、を含んでいる、ことを特徴としている。
上記の構成によれば、表示装置は、ユーザの利便性を高めることができる。
本発明の一実施形態に係るテレビの備える制御部の構成を示すブロック図である。 本発明の一実施形態に係るテレビの構成を示すブロック図である。 本発明の一実施形態に係るテレビの概観を示す図である。 本発明の一実施形態に係るテレビの備える音声識別部における識別モード切替処理の流れを示すフローチャートである。 本発明の一実施形態に係る対応テーブルの一例を示す図である。 本発明の一実施形態に係るテレビの備えるLCDに表示される表示画面の一例を示す図である。 本発明の一実施形態に係るテレビにおける提示情報検索処理の流れをしめすフローチャートである。 本発明の一実施形態に係るテレビのLCDに表示される表示画面の一例を示す図である。 本発明の一実施形態に係るテレビのLCDに放送番組と提示情報とが表示されている表示画面の一例を示す図である。 本発明の一実施形態に係るテレビにおける、外部音声の音量が大きい場合の表示画面の一例を示す図である。 本発明の一実施形態に係るテレビにおける、外部音声の音量が大きい場合の表示画面の他の一例を示す図である。 本発明の一実施形態に係るテレビにおける、外部音声の音量が大きい場合の表示画面のさらに他の一例を示す図である。 本発明の一実施形態に係るテレビにおいて、外部音声の音量が大きい場合に提示情報表示領域を分割した場合の表示画面の一例を示す図である。 本発明の一実施形態に係るテレビにおける、外部音声の音量が小さい場合の表示画面の一例を示す図である。 本発明の一実施形態に係るテレビにおける、外部音声の音量が小さい場合の表示画面の他の一例を示す図である。 本発明の一実施形態に係るテレビにおいて提示情報の選択操作を行う際の、表示画面の遷移を示す画面遷移図である。
本発明の一実施形態に係る表示装置について、図面に基づいて説明すれば以下のとおりである。なお、本実施形態に係る表示装置はテレビジョン受像機として実現されているので、以下ではこれを「テレビ」と呼ぶ。ただし、本発明の適用範囲は、テレビに限定されるものではない。
〔テレビの構成〕
まず、本実施形態に係るテレビ10の構成を、図2を参照して説明する。図2は、本実施形態に係るテレビ10の構成を示すブロック図である。
テレビ10は、図2に示すように、外部入力端子101、地上デジタル放送チューナ102、衛星放送チューナ103、録画再生部104、BDドライブ105、映像セレクタ106、映像処理回路107、OSD(On-Screen Display)生成部108、LCD(Liquid Crystal Display)コントローラ109、LCD110(表示部)、音声セレクタ111、音声処理回路112、アンプ113、スピーカ114、通信部115、ROM116、RAM117、制御部118、赤外線受光部119、カメラ120、および、マイク121(取得手段)を備えている。
図2においては、映像信号の経路を実線で、音声信号の経路を1点鎖線で、データや制御信号の経路(バス)を太線で示している。また、図2に示すように、115テレビ10は、通信部115を介してネットワーク30に接続されている。なお、図2に示すように、テレビ10は、リモートコントローラ(リモコン)20によって遠隔操作が可能に構成されている。
(外部入力端子)
外部入力端子101は、映像入力端子101aと音声入力端子101bとを含む。映像入力端子101aは、映像信号を入力するためのものであり、例えば、DVI端子である。音声入力端子101bは、音声信号を入力するためのものであり、例えば、S/PDIF端子である。ただし、外部入力端子101は、これに限定されず、映像入力端子101aと音声入力端子101bとが一体化されたHDMI端子などであってもよい。
(チューナ)
地上デジタル放送チューナ102は、地上デジタル放送により放送される放送番組を受信するためのチューナである。地上デジタル放送チューナ102は、例えば、受信信号をアナログベースバンド信号に変換するRF部、アナログベースバンド信号をデジタルベースバンド信号に変換するADC部、デジタルベースバンド信号からMPEG2ストリームを復調する復調部、および、MPEG2ストリームから映像信号および音声信号を復号する復号部により構成することができる。
地上デジタル放送チューナ102により復調されたMPEG2ストリームは、バスを介して録画再生部104に供給される。また、地上デジタル放送チューナ102により復号された映像信号および音声信号は、それぞれ、映像セレクタ106および音声セレクタ111に供給さる。なお、地上デジタル放送チューナ102が何れのチャンネルを復調対象として選択するかは、制御部118により制御される。
なお、地上デジタル放送チューナ102は、異なるチャンネルを介して放送される2つのMPEG2ストリームを同時に復調することが可能なダブルチューナであることが好ましい。この場合、地上デジタル放送チューナ102は、選局対象チャンネルとして選択した第1のチャンネルを介して放送されるMPEG2ストリームを録画再生部104に供給すると共に、そのMPEG2ストリームから復号した映像信号および音声信号を映像セレクタ106および音声セレクタ111に供給する。また、地上デジタル放送チューナ102は、録画対象チャンネルとして選択した第2のチャンネルを介して放送されるMPEG2ストリームを録画再生部104に供給する。
もちろん、本発明に係る地上デジタル放送チューナ102は、ダブルチューナに限定されるものではなく、例えば、シングルチューナであってもよく、3つ以上のチューナを備える複数のチューナであってもよい。地上デジタル放送チューナ102がシングルチューナである場合には、ユーザが放送番組を視聴していないときに限って、放送番組を表すMPEG2ストリームを録画再生部104に供給することができる。また、地上デジタル放送チューナ102が複数のチューナによって構成される場合には、チャンネル毎、放送波毎、又は、視聴者毎(例えば、お父さん、お母さん、及び、子供など)に、異なるチャンネルを介して放送される放送番組を表すMPEG2ストリームを録画再生部104に供給することができる。
衛星放送チューナ103は、衛星放送により放送される放送番組を受信するためのチューナである。衛星放送チューナ103は、放送衛星を用いて衛星放送されるBS放送番組を受信するBS放送用チューナ、及び、通信衛星を用いて衛星放送されるCS放送番組を受信するCS放送用チューナを備えている。また、衛星放送チューナ103は、例えば、受信信号をアナログベースバンド信号に変換するRF部、アナログベースバンド信号をデジタルベースバンド信号に変換するADC部、デジタルベースバンド信号からMPEG2ストリームを復調する復調部、および、MPEG2ストリームから映像信号を復号する復号部により構成することができる。
衛星放送チューナ103により復調されたMPEG2ストリームは、録画再生部104に供給される。また、衛星放送チューナ103により復号された映像信号および音声信号は、それぞれ、映像セレクタ106および音声セレクタ111に供給さる。なお、衛星放送チューナ103が何れのチャンネルを介して伝送されるMPEG2データストリームを復調するかは、制御部118により選択される。
なお、本実施形態における衛星放送チューナ103が備えるBS放送用チューナ及びCS放送用チューナはそれぞれ、地上デジタル放送チューナ102と同様、異なるチャンネルを介して放送される2つの放送番組を同時に受信することが可能なダブルチューナであることが好ましい。
(録画再生部)
録画再生部104は、地上デジタル放送チューナ102および衛星放送チューナ103の何れかからMPEG2ストリームを取得し、取得したMPEG2ストリームを記録装置に書き込む。また、録画再生部104は、録画部及び再生部(何れも不図示)を備えている。
録画部は、テレビ10に内蔵されたBDドライブ105、テレビ10に内蔵されたHDドライブ(不図示)、および、USB(Universal Serial Bus)インターフェース(不図示)に接続されたUSB−HDドライブ(不図示)などを、MPEG2ストリームを記録するための記録装置として利用することができる。また、再生部は、記録装置からMPEG2ストリームを読み出し、読み出したMPEG2ストリームから映像信号および音声信号を復号し、それぞれ、映像セレクタ106および音声セレクタ111に供給する。
(映像セレクタ)
映像セレクタ106には、上述した4種類の映像信号が供給される。すなわち、(1)外部入力端子101(特に映像入力端子101a)から入力された映像信号、(2)地上デジタル放送チューナ102にて復号された映像信号、(3)衛星放送チューナ103にて復号された映像信号、および、(4)録画再生部104(特に再生部)にて復号された映像信号が入力される。映像セレクタ106は、上記(1)〜(4)の映像信号のうちの何れか1つを選択する。映像セレクタ106によって選択された映像信号は、映像処理回路107に供給される。なお、映像セレクタ106が何れの映像信号を選択するかは、制御部118によって制御される。
(映像処理回路)
映像処理回路107は、映像セレクタ106から供給された映像信号に画質調整処理を施す。また、映像処理回路107は、映像セレクタ106から供給された映像信号にスケーリング処理を施す。ここで、画質調整処理とは、例えば、映像信号を加工することによって、その映像信号が表す映像の輝度、シャープネス、および、コントラストの少なくとも何れかを変更することを指す。また、スケーリング処理とは、映像信号を加工することによって、その映像信号が表す映像のサイズを相似拡大または相似縮小することを指す。映像処理回路107によって加工された映像信号は、LCDコントローラ109に供給される。なお、映像処理回路107が画質およびサイズをどのように変更するかは、制御部118によって制御される。
(OSD生成部)
OSD生成部108は、制御部118から供給されたOSDデータからOSD画像を生成(レンダリング)する。OSD生成部108が生成するOSD画像としては、電子番組表などが挙げられる。OSDデータとしては、例えば、SVG(Scalable Vector Graphics)を用いることができる。OSD生成部108により生成されたOSD画像は、映像処理回路107から供給された映像信号に重畳され、LCDコントローラ109に供給される。
また、OSD生成部108は、制御部118からの通知に基づき、OSD画像として、提示情報表示画面を生成する。なお、提示情報表示画面の詳細については、図面を変えて後述する。
(LCDコントローラ、LCD)
LCDコントローラ109は、映像処理回路107から供給された映像信号に基づいて、その映像信号が表す映像を表示するようにLCD110を駆動する。また、OSD生成部108からOSD画像が供給されている場合、LCDコントローラ109は、映像処理回路107から供給された映像信号にOSD画像が重畳されたものに基づいて、その映像信号が表す映像を表示するようにLCD110を駆動する。
(音声セレクタ)
音声セレクタ111には、上述した4種類の音声信号が供給される。すなわち、(1)外部入力端子101(特に音声入力端子101b)から入力された音声信号、(2)地上デジタル放送チューナ102にて復号された音声信号、(3)衛星放送チューナ103にて復号された音声信号、および、(4)録画再生部104(特に再生部)にて復号された音声信号が入力される。音声セレクタ111は、上記(1)〜(4)の音声信号のうちの何れか1つを選択する。
音声セレクタ111によって選択された音声信号は、音声処理回路112に供給される。なお、音声セレクタ111が何れの音声信号を選択するかは、制御部118によって制御される。ただし、映像セレクタ106における映像の選択と、音声セレクタ111における音声の選択とは連動しており、例えば、映像セレクタ106が地上デジタル放送チューナ102から供給された映像信号を選択しているときには、音声セレクタ111も地上デジタル放送チューナ102から供給された音声信号を選択する。
(音声処理回路)
音声処理回路112は、音声セレクタ111から供給された音声信号に音量調整処理を施す。また、音声処理回路112は、音声セレクタ111から供給された音声信号に音質調整処理を施す。ここで、音量調整処理とは、音声信号を加工することによって、その音声信号が表す音声の音量を変更することを指す。また、音質調整処理とは、音声信号を加工することによって、その音声信号が表す音声の周波数特性を変更すること(例えば、低域の強調や高域の強調など)を指す。音声処理回路112によって加工された音声信号は、アンプ113に供給される。なお、音声処理回路112によって音量および音質をどのように変更するかは、制御部118によって制御される。
(アンプ、スピーカ)
アンプ113は、音声処理回路112から供給された音声信号に基づいて、その音声信号が表す音声を出力するようにスピーカ114を駆動する。
(制御部)
制御部118は、赤外線受光部119を介してリモコン20から受信したリモコン信号、カメラ120が撮像した画像、および、マイク121において取得したテレビ10の周囲の音声(以降、外部音声とも呼称する)に応じて上記各部を制御する。赤外線受光部119を用いた制御としては、例えば、地上デジタル放送チューナ102および衛星放送チューナ103の受信チャンネルをリモコン信号に応じて切り替える制御や、映像セレクタ106および音声セレクタ111にて選択する映像信号および音声信号をリモコン信号に応じて切り替える制御などが挙げられる。また、カメラ120を用いた制御としては、例えば、映像処理回路107にて画質をどのように調整するかを、撮像した画像に基づいて特定した視聴者に応じて切り替える制御などが挙げられる。
また、制御部118は、マイク121において取得した外部音声に基づき、外部音声に関連したキーワードおよびお勧め番組などのユーザへの提示情報を検索し(提示情報検索処理とも記載する)、LCD110に表示する。なお、提示情報検索処理、および、提示情報の表示については、図面を変えて後述する。
さらに、制御部118は、各放送局から提供されるEPG(Electronic Program Guide)データから放送番組テーブルを作成する機能を有している。なお、各放送局から提供されるEPGデータは、例えば、地上デジタル放送チューナ102又は衛星放送チューナ103を用いて取得してもよいし、通信部115を介して、ネットワーク30(例えば、インターネットなど)に接続されたサーバから取得してもよい。
(ROM、RAM)
ROM116は、制御部118によって実行されるプログラムなどの固定データが格納される、読み出し可能かつ書き込み不能なメモリである。一方、RAM117は、制御部118が演算のために参照するデータや、制御部118が演算によって生成したデータなどの可変データが格納される、読み出し可能かつ書き込み可能なメモリである。例えば、放送番組テーブル、および、後述する対応テーブル(対応情報)は、このRAM117に格納される。
(通信部)
通信部115は、インターネットなどのネットワーク30をテレビ10に接続するためのインターフェースである。通信部115としては、例えば、インターネットに接続可能なイーサーネット(登録商標)インターフェースを挙げることができるが、これに限定されるものではない。
(その他のインターフェース)
テレビ10は、通信部115以外にも、外部機器を接続可能なインターフェースを備えていてもよい。外部機器を接続可能なインターフェースとしては、例えば、USB機器をテレビ10に接続可能なUSBインターフェースを挙げることができる。テレビ10に接続可能なUSB機器としては、HD(ハードディスク)ドライブなどの記録装置が代表的である。
なお、テレビ10の備える、外部機器を接続するためのインターフェースは、USBインターフェースに限定されない。すなわち、USBインターフェースは、例えば、ATA(Advanced Technology Attachment)、ATAPI(ATA Packet Interface)、IEEE1394、HDMI(High-Definition Multimedia Interface)、および、LANなどの有線接続用インターフェース、あるいは、IEEE80211などの無線接続用インターフェースに置換することが可能である。
さらに、SDカードが接続されている場合には、このSDカードを外部機器として利用してもよい。
また、本実施形態においては、地上デジタル放送の方式として、MPEG2ストリームを多重化する方式(米国におけるATSC方式や日本におけるISDB−T方式など)を想定しているが、本発明はこれに限定されるものではない。すなわち、例えば、MPEG2ストリームを多重化する代わりに、MPEG4ストリーム等を多重化する方式(欧州におけるDVB−T/DVB−T2方式など)に対しても本発明を適用することができる。後者の場合、復調したMPEG4ストリームをそのまま記録媒体に記録する構成を採用してもよいし、あるいは、復調したMPEG4ストリームをMPEG2ストリームに変換して記録媒体に記録する構成を採用してもよい。
なお、本実施形態では、テレビ10が放送番組をLCD110に表示する場合を例に挙げて説明するが、テレビ10の表示するコンテンツは放送番組に限定されるものではなく、テレビ10は、動画像および静止画像など何れのコンテンツを表示することもできる。
〔制御部の構成〕
次に、制御部118の構成について、図1、図3および図4を参照して説明する。図1は、本実施形態に係るテレビ10の備える制御部118の構成を示すブロック図である。
制御部118は、提示情報検索処理を実行し、提示情報をLCD110に表示するため、図1に示すように、音声識別部11、特徴抽出部12、タイプ分類部13(分類手段)、キーワード検索部14(検索手段)、お勧め番組検索部15(検索手段)、および、表示制御部16(表示手段)を備えている。また、図1に示すように、RAM117には、放送番組テーブルが格納されている。
(音声識別部)
音声識別部11は、マイク121が取得した音声から、テレビ10のスピーカ114から出力されたテレビ音声と、テレビ10の周囲の音声である外部音声とを識別する。
なお、音声識別部11は、以下に示す方法によって、テレビ音声と外部音声とを識別することができるが、テレビ音声と外部音声とを識別する方法は、これに限定されるものではない。
本実施形態に係るテレビ10の備える制御部118の音声識別部11においてテレビ音声と外部音声とを識別する方法の一例について、図3を参照して説明する。図3は、本実施形態に係るテレビ10の概観を示す図である。
本実施形態に係るテレビ10は、まず、音声識別部11において、図3に示すように、スピーカ114付近に設置されたマイク121から入力された音声と、スピーカ114から遠い位置に設置されたマイク121から入力された音声とを比較し、その差分を取る。以降では、便宜的に、スピーカ114付近に設置されたマイク121から入力された音声を音声Aと呼称し、スピーカ114から遠い位置に設置されたマイク121から入力された音声を音声Bと呼称する。
具体的には、音声識別部11は、まず、音声Aおよび音声Bをそれぞれスペクトル変換し、音声Aのスペクトルおよび音声Bのスペクトルを算出する。
次に、音声識別部11は、音声Aのスペクトルから、音声Bのスペクトルを減算することにより、音声Aと音声Bとの差分を取り、当該差分をテレビ音声と判定する。つまり、音声識別部11は、音声Bよりも、音声Aに多く含まれるスペクトルをテレビ音声と判定する。
そして、音声識別部11は、上述のように判定したテレビ音声を示すスペクトルを、音声Bに含まれるスペクトルから減算することにより得られたスペクトルを、外部音声として識別する。
さらに、音声識別部11は、識別した外部音声から人が話す言葉とそれ以外の音(いわゆる環境音)とを識別する必要がある場合には、人が話す言葉を精度よく識別する言葉識別モードと、環境音を精度よく識別する環境音識別モードとを切り替えても良い。なお、音声識別部11における識別モードとして、言葉識別モードと環境音識別モードとを切り替える処理を、識別モード切替処理とも呼称する。
なお、識別モードが言葉識別モードである場合には、音声識別部11は、例えば、人の声の周波数帯域(例えば、100Hz〜2kHzなど)以外の周波数帯域を減衰させるバンドパスフィルタによって外部音声を濾波することにより、人の声を識別すればよい。
また、識別モードが環境音識別モードである場合には、音声識別部11は、外部音声のスペクトルから、バンドパスフィルタによって濾波された外部音声のスペクトルを減算することによって、環境音を識別すればよい。
なお、識別モードが環境音識別モードである場合には、音声識別部11は、ローパスフィルタおよびハイパスフィルタによって外部音声を濾波することにより、環境音を識別してもよい。具体的には、人の声の周波数帯域よりも低い周波数帯域を通過させるローパスフィルタによって濾波された外部音声と、人の声の周波数帯域よりも高い周波数帯域を通過させるハイパスフィルタによって濾波された外部音声とを組み合わせることにより、環境音を識別すればよい。
(識別モード切替処理)
ここで、図4を参照して、音声識別部11における識別モード切替処理について説明する。図4は、本実施形態に係るテレビ10の備える音声識別部11における識別モード切替処理の流れを示すフローチャートである。
テレビ10の電源がON状態に遷移すると、音声識別部11は、まず、識別モードを環境音識別モードに設定する。
音声識別部11は、識別モードを環境音識別モードに設定した後、図4に示すように、識別モードの切り替えが指示されたか否かを判定する(ステップS101)。なお、識別モードの切り替えは、例えば、ユーザがリモコン20を操作することによって、赤外線受光部119を介して指示されればよい。また、テレビ10のLCD110に表示されるメニュー画面から識別モードの切り替えを指示する項目を選択することによって指示される構成を採用することもできる。
識別モードの切り替えが指示されていないと判定すると(ステップS101においてNO)、音声識別部11は、識別モードを環境音識別モードに設定し(ステップS102)、再び識別モードの切り替えが指示されたか否かを判定する。
つまり、音声識別部11は、識別モードの切り替えが指示された判定するまで(ステップS101においてYES)、ステップS101〜S102の処理を繰り返す。したがって、テレビ10の電源がON状態に遷移した際に環境音識別モードに設定された音声識別部11の識別モードは、識別モードの切り替えが指示されるまで、維持される。
識別モードの切り替えが指示された判定すると(ステップS101においてYES)、音声識別部11は、識別モードを環境音識別モードから言葉識別モードに切り替える(ステップS103)。
また、音声識別部11の識別モードを言葉識別モードから環境音識別モードに切り替える場合には、リモコン20を操作することによって、識別モードの切り替えを再度指示すればよい。
(特徴抽出部)
特徴抽出部12は、音声識別部によって識別された外部音声から、当該外部音声の特徴を抽出する。具体的には、特徴抽出部12は、外部音声を示す波形から、特徴的な波形を抽出することにより、外部音声の特徴を抽出する。
(タイプ分類部)
タイプ分類部13は、外部音声のタイプを分類する。具体的には、タイプ分類部13は、特徴抽出部12から供給された外部音声の特徴的な波形と、予め分類された複数の典型的な音声のタイプとその音声を示す波形とが各々対応付けられている音声タイプデータベースを参照することにより、外部音声のタイプを分類する。以降では、タイプ分類部13における外部音声のタイプを分類する処理を、タイプ分類処理とも呼称する。
なお、音声タイプデータベースは、テレビ10の備えるRAM117に格納されていてもよい。この場合には、タイプ分類部13は、当該タイプ分類部13においてタイプ分類処理を実行すればよい。
また、音声タイプデータベースは、テレビ10にネットワーク30を介して接続されたサーバ(不図示)などに格納されていてもよい。この場合には、例えば、タイプ分類部13は、ネットワーク30を介してサーバから音声タイプデータベースを取得すると共に、当該タイプ分類部13においてタイプ分類処理を実行してもよい。また、タイプ分類部13は、特徴抽出部12から供給された外部音声の特徴的な波形をネットワーク30を介してサーバに供給すると共に、タイプ分類処理の実行を指示し、その結果を取得することによってタイプ分類処理を実行すればよい。
タイプ分類処理をサーバで行う場合には、サーバに記録されているタイプ分類処理のためのアルゴリズムを容易に更新することができるため、当該アルゴリズムがバージョンアップされた場合などでも、最新のアルゴリズムによってタイプ分類処理を実行することができる。
なお、外部音声のタイプとしては、例えば、犬の鳴き声、車のエンジン音、および、赤ちゃんの泣き声などを挙げることができるが、これに限定されるものではない。
(キーワード検索部)
キーワード検索部14は、タイプ分類部13によって分類された外部音声のタイプに関連する1以上のキーワードを検索する。
キーワード検索部14は、例えば、外部音声のタイプに関連するキーワードを、テレビ10にネットワーク30を介して接続されたサーバから検索すればよい。また、キーワード検索部14は、外部音声のタイプに関連するキーワードを、テレビ10のRAM117などに格納されている対応テーブルにおいて外部音声のタイプと対応付けられている検索キーワードを、キーワードとして検索してもよい。なお、対応テーブル、および、検索キーワードについては図面を変えて後述する。
(お勧め番組検索部)
お勧め番組検索部15は、タイプ分類部13によって分類された外部音声のタイプに関連する1以上のお勧め番組を検索する。
お勧め番組検索部15は、例えば、外部音声のタイプに関連するお勧め番組を、RAM117に格納されている放送番組テーブルから検索する。このとき、お勧め番組検索部15は、放送番組テーブルに加えて、テレビ10に内蔵されたBDドライブ105およびHDドライブ、並びに、USB−HDドライブ(不図示)などに記録(録画)された放送番組から、お勧め番組を検索してもよい。
また、お勧め番組検索部15は、外部音声のタイプに関連するお勧め番組を、テレビ10のRAM117などに格納されている対応テーブルにおいて外部音声のタイプと対応付けられているお勧め番組のジャンルに対応する番組を、お勧め番組として放送番組テーブルなどから検索してもよい。なお、お勧め番組のジャンルについては図面を変えて後述する。
なお、お勧め番組検索部15は、検索したお勧め番組に優先順位を設定してもよい。お勧め番組検索部15は、例えば、検索したお勧め番組が現在放送されている番組である場合には、優先順位を高く設定し、録画再生部104によって録画されている番組である場合には、優先順位を低く設定してもよい。
(表示制御部)
表示制御部16は、キーワード検索部14およびお勧め番組検索部15における提示情報の検索結果を示す提示情報表示画面をLCD110に表示するよう、OSD生成部108およびLCDコントローラ109を制御する。なお、表示制御部16は、お勧め番組に優先順位が設定されている場合には、優先順位の高いお勧め番組から順に表示する。
提示情報表示画面には、キーワード検索部14によって検索されたキーワード、および、お勧め番組検索部15によって検索されたお勧め番組の少なくとも何れかが含まれる。なお、提示情報表示画面の詳細については、図面を変えて後述する。
また、表示制御部16は、提示情報表示画面を表示するLCD110上の領域(提示情報表示領域とも呼称する)の大きさを、外部音声の音量の大きさに応じて設定し、提示情報の表示時間の長さを、外部音声の長さに応じて設定する。例えば、表示制御部16は、外部音声のタイプを示す特徴の音量が大きいほど提示情報表示領域の大きさを大きく設定する。また表示制御部16は、外部音声のタイプを示す特徴の継続時間が長いほど提示情報の表示時間の長さを長く設定する。
なお、表示制御部16は、外部音声の音量が大きいほど提示情報表示領域の大きさを小さく設定してもよいし、外部音声の継続時間が長いほど提示情報の表示時間の長さを短く設定してもよい。
〔対応テーブル〕
次に、外部音声のタイプと、検索キーワードおよびお勧め番組のジャンルとを関連づけている対応テーブルの一例について、図5を参照して説明する。図5は、本実施形態に係る対応テーブルの一例を示す図である。
図5に示すように、対応テーブルには、外部音声のタイプと、検索キーワードと、お勧め番組のジャンルとが、それぞれ関連付けられている。
例えば、図5に示すように、「車のエンジン音」の外部音声のタイプには、検索キーワードとして「車」が関連づけられており、お勧め番組のジャンルとして「車関連の番組」が関連付けられている。また、「赤ちゃんの泣き声」の外部音声のタイプには、検索キーワードとして「赤ちゃん用品」、「オムツ」および「おもちゃ」が関連づけられており、お勧め番組のジャンルとして「子育て番組」および「教育番組」が関連付けられている。
なお、図5では、外部音声のタイプと、検索キーワードおよびお勧め番組のジャンルの双方とが対応づけられた対応テーブルの一例を示しているが、対応テーブルには、検索キーワードおよびお勧め番組のジャンルの少なくとも何れかとが対応づけられていればよい。
〔表示画面〕
次に、本実施形態に係るテレビ10の備えるLCD110に表示される表示画面の一例について説明する。図6は、本実施形態に係るテレビ10の備えるLCD110に表示される表示画面の一例を示す図である。図6(a)は、大きな提示情報表示領域Dが設定されている表示画面の一例を示し、(b)は、標準の大きさの提示情報表示領域Dが設定されている表示画面の一例を示し(c)は、小さな提示情報表示領域Dが表示されている表示画面の一例を示している。
制御部118の備える表示制御部16は、外部音声が大きい場合には、図6(a)に示すように、大きな提示情報表示領域Dを設定する。このとき、それまで表示されていた放送番組を表示する領域(コンテンツ表示領域とも呼称する)Cは、設定された提示情報表示領域Dの分だけ小さくなる。
また、表示制御部16は、外部音声の大きさが標準である場合には、図6(b)に示すように、標準の大きさの提示情報表示領域Dを設定する。このとき、コンテンツ表示領域Cは、設定された提示情報表示領域Dの分だけ小さくなる。
また、表示制御部16は、外部音声が小さい場合には、図6(c)に示すように、小さな提示情報表示領域Dを設定する。このとき、コンテンツ表示領域Cの大きさは、それまで表示されていた大きさから変わらない。表示制御部16は、提示情報表示領域Dをコンテンツ表示領域Cに重畳して表示するよう、LCDコントローラ109を制御する。
〔提示情報検索処理〕
次に、テレビ10における提示情報検索処理について、図7から図9を参照して説明する。図7は、本実施形態に係るテレビ10における提示情報検索処理の流れをしめすフローチャートである。
図8は、本実施形態に係るテレビ10のLCD110に表示される表示画面の一例を示す図である。図9は、本実施形態に係るテレビ10のLCD110に放送番組と提示情報とが表示されている表示画面の一例を示す図である。
テレビ10は、電源がON状態に遷移すると、図8に示すように、LCD110に放送番組を表示する。また、テレビ10は、LCD110に放送番組を表示すると、提示情報検索処理を開始する。
図7に示すように、まず、テレビ10の備える制御部118の音声識別部11は、マイク121から入力される音声から、テレビ音声と外部音声とを識別することによって、外部音声を取得する(ステップS201)。
音声識別部11によって外部音声を取得すると、特徴抽出部12は、取得した外部音声から、当該外部音声の特徴を抽出する(ステップS202)。
特徴抽出部12によって外部音声の特徴が抽出されると、タイプ分類部13は、抽出された外部音声の特徴が、RAM117に格納されている対応テーブルにおいて予め定められているタイプの何れかと一致するか否かを判定する(ステップS203)。タイプ分類部13は、これによって、外部音声のタイプを分類する。
なお、タイプ分類部13は、外部音声の特徴と、対応テーブルにおけるタイプとが一致しない場合には、対応テーブルにおけるタイプのうち外部音声の特徴と最も近いタイプを、外部音声のタイプとして判定してもよい。
外部音声の特徴が対応テーブルにおける何れのタイプとも一致しない場合(ステップS203においてNO)、再びステップS201において外部音声を取得する。つまり、テレビ10は、外部音声の特徴が対応テーブルにおける何れかのタイプと一致すると判定されるまで(ステップS203においてYES)、ステップS201からステップS203までの処理を繰り返す。
外部音声の特徴が対応テーブルにおける何れかのタイプと一致すると判定されると(ステップS203においてYES)、キーワード検索部14は、外部音声のタイプと関連するキーワードを検索する(ステップS204)。
また、キーワードが検索されると、お勧め番組検索部15は、外部音声のタイプと関連するお勧め番組を検索する(ステップS205)。
キーワードおよびお勧め番組が検索されると、表示制御部16は、図9に示すように、検索されたキーワードおよびお勧め番組を含む提示情報表示画面を、放送番組と共にLCD110に表示する(ステップS206)。
なお、本実施形態では、キーワード検索部14におけるキーワードの検索の後に、お勧め番組検索部15におけるお勧め番組の検索を実行する場合を例に挙げて説明するが、本発明はこれに限定されるものではない。例えば、お勧め番組が検索された後にキーワードを検索する構成を採用してもよいし、キーワードおよびお勧め番組の何れか一方のみを検索する構成を採用してもよい。
また、本実施形態では、外部音声の特徴が対応テーブルにおける何れかのタイプと一致すると判定されると、すぐにキーワードおよびお勧め番組の検索を実行する構成を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、外部音声の特徴が対応テーブルにおける何れかのタイプと一致すると判定されたとき、まず、一致すると判定された外部音声のタイプをLCD110に表示し、その後にキーワードおよびお勧め番組の検索を実行する構成を採用してもよい。
テレビ10は、上述の提示情報検索処理を、例えば、放送番組がLCD110に表示されている間に、所定の期間が経過する度に実行すればよい。なお、所定の期間は、例えば10分、30分など予め設定されていてもよいし、ユーザによって適宜設定されればよい。ユーザによる所定の期間の設定は、例えば、テレビ10のLCD110に所定の期間を設定するためのメニュー画面を表示し、リモコン20を操作することによって設定すればよい。
また、テレビ10は、提示情報検索処理を、放送番組の合間に放送されるCMが表示されている間に実行してもよい。例えば、テレビ10は、LCD110の表示が放送番組からCMに切り替った時点で提示情報検索処理を実行し、LCD110にCMが表示されている期間のみCMと共に提示情報表示画面を表示すればよい。
さらに、ステップS101において取得した外部音声に複数の特徴が含まれている場合には、テレビ10の備える特徴抽出部12は、提示情報検索処理におけるステップS202において複数の特徴を抽出してもよい。なお、複数の特徴には、同一の特徴が間隔をおいて複数回含まれる場合も含まれる(例えば、犬が複数回吠えた場合など)。
この場合には、タイプ分類部13は、提示情報検索処理におけるステップS203において、ステップS202において抽出された全ての特徴と対応テーブルのタイプとの一致を判定する。また、タイプ分類部13はステップS203において最も多くの特徴と一致すると判定したタイプを外部音声のタイプとして分類し、テレビ10はタイプ分類部13において分類されたテレビ10のタイプに基づいてステップS204〜S206の処理を実行する。
なお、タイプ分類部13は、ステップS203において多くの特徴と一致すると判定した順に、外部音声のタイプに優先順位を設定してもよい。テレビ10は、設定された優先順位の高い外部音声のタイプから順に、テップS204〜S206の処理を繰返し実行し、優先順位の高い外部音声のタイプに従って検索された提示情報から順にLCD110に表示する。
このとき、テレビ10は、優先順位の高い外部音声のタイプに従って検索された提示情報から順に表示する提示情報を、一定の期間が経過する毎に切り替えて表示してもよいし、切り替える期間を徐々に短くしながら表示してもよい。
タイプ分類部13は、さらに、外部音声のタイプの各々を示す各特徴の音量の大きさ、および、外部音声のタイプの各々を示す各特徴の継続時間の長さに応じて、外部音声のタイプの優先順位を設定してもよい。
なお、本実施形態では、提示情報として、キーワードおよびお勧め番組の少なくとも何れかを表示する構成を例に挙げて説明したが、本発明はこれに限定させるものではない。例えば、提示情報の他の例として、外部音声のタイプに関連したニュースの見出し、放送番組以外の動画像、写真などの静止画像、および、音声データなどを挙げることができる。
ニュースの見出しを表示する場合には、例えば、キーワード表示領域41に表示すればよい。また、動画像、静止画像、および、音声データを表示する場合には、例えば、お勧め番組表示領域42に表示すればよい。もちろん、ニュースの見出しなどを表示する表示領域は、これに限定されず、キーワード表示領域41およびお勧め番組表示領域42の何れとも異なる表示領域に表示してもよい。
また、動画像を表示する場合には、縮小された動画像又は動画像を示すサムネイルおよびファイル名(または、タイトル)などを表示すればよく、再生時間をさらに表示してもよい。静止画像を表示する場合には、縮小された静止画像およびファイル名などを表示すればよく、解像度をさらに表示してもよい。
また、音声データを表示する場合には、音声データを示すアイコンおよびファイル名などを表示すればよく、再生時間をさらに表示してもよい。外部音声のタイプが「赤ちゃんの泣き声」である場合の音声データを示すアイコンとしては、例えば、「赤ちゃん」のアイコンなどを挙げることができる。また、外部音声のタイプと、音声データを示すアイコンとは、例えば、アイコンテーブルにおいて関連付けられていればよい。なお、アイコンテーブルは、例えば、テレビ10の備えるRAM117に格納されていてもよいし、ネットワーク30を介してテレビ10の通信部115に接続されたサーバに格納されていてもよい。
なお、外部音声のタイプに関連したニュースの見出し、動画像、静止画像および音声データなどの検索は、例えば、ネットワーク30を介してテレビ10に接続されたサーバ、RAM117およびBDドライブ105などのテレビ10に内蔵された記録部、および、テレビ10に接続された外部の記録装置(不図示)などから行えばよい。
さらに、テレビ10は、提示情報として、外部音声のタイプに関連した商品情報を表示してもよい。外部音声のタイプが「赤ちゃんの泣き声」である場合の商品情報としては、例えば、「オムツ」および「おもちゃ」などを挙げることができる。なお、商品情報は、例えば、番組表示領域42に表示すればよいが、これに限定されず、キーワード表示領域41およびお勧め番組表示領域42の何れとも異なる表示領域に表示してもよい。
また、商品情報を表示する場合には、例えば、商品情報の示す商品の静止画像(例えば、商品の写真など)および商品名などを表示すればよく、価格などをさらに表示してもよい。
〔表示画面〕
次に、テレビ10の備えるLCD110に表示される表示画面の一例について、図9から図16を参照して説明する。まず、提示情報がLCD110に放送番組と共に表示された場合の表示画面について、図9を参照して説明する。なお、図9に示す表示画面は、外部音声の音量が標準である場合、すなわち、提示情報表示領域Dの大きさが標準である場合の表示画面の一例を示している。
図9に示すように、放送番組はコンテンツ表示領域Cに表示され、提示情報は提示情報表示領域Dに表示されている。なお、コンテンツ表示領域Cは、図9に示すように、LCD110の表示領域に対して、長手方向に縮小されることになる。
また、図9に示すように、提示情報表示領域Dには、キーワードを表示するキーワード表示領域41、お勧め番組を表示するお勧め番組表示領域42、および、外部音声のタイプを示すタイプ表示領域43が設けられている。さらに、提示情報表示領域Dには、図9に示すように、ユーザが文字列を直接入力することによって検索を行うことのできる検索ボックス44が表示されている。
図9に示す一例では、タイプ表示領域43に「犬の鳴き声」が表示されている。これは、タイプ分類部13によって分類された外部音声のタイプが「犬の鳴き声」であることを示している。
また、図9に示すように、キーワード表示領域41には、キーワード検索部14によって検索されたキーワードとして、「犬」、「ドッグフード」、および、「ペット」が表示されている。
さらに、お勧め番組表示領域42には、お勧め番組検索部15によって検索されたお勧め番組として「今日のワンワン」が表示されている。なお、お勧め番組表示領域42には、図9に示すように、お勧め番組を示す画像(例えば、サムネイルなど)に加えて、当該お勧め番組のタイトル、放送局、および、放送日時などが表示されていてもよい。
なお、図9では、お勧め番組検索部15によって検索されたお勧め番組が将来放送される番組であって、その動画像(または静止画像)が取得できない場合には、お勧め番組を示す画像を表示しないで、当該お勧め番組のタイトル、放送局、および、放送日時などの情報のみを表示してもよい。
(外部音声の音量が大きい場合)
次に、外部音声の音量が大きい場合の表示画面の一例について、図10から図13を参照して説明する。
図10は、外部音声の音量が大きい場合の表示画面の一例を示す図である。図11は、外部音声の音量が大きい場合の表示画面の他の一例を示す図である。また、図12は、外部音声の音量が大きい場合の表示画面のさらに他の一例を示す図である。
外部音声の音量が大きい場合には、図10に示すように、提示情報表示領域Dの大きさが、表示制御部16によって図9に示す標準の大きさよりも大きく設定される。
提示情報表示領域Dを大きく設定することにより、当該提示情報表示領域Dに表示可能な提示情報の量も増えるため、表示制御部16は、例えば、図11に示すように、お勧め番組表示領域42を広くして複数のお勧め番組を表示してもよい。このとき、キーワード表示領域41を狭くして、キーワード検索部14によって検索されたキーワードの一部のみを表示してもよい。
また、キーワード表示領域41に表示されたキーワード以外のキーワードは、例えば、リモコン20の備える十字キー(不図示)の右ボタン(不図示)が押下された場合に、現在表示されているキーワードと入れ替わるように表示されてもよい。なお、キーワードおよびお勧め番組の選択操作については、図面を変えて後述する。
さらに、表示制御部16は、図12に示すように、お勧め番組を示す画像、当該お勧め番組のタイトル、放送局、および、放送日時を、1つのボックスにまとめて表示してもよい。図12に示すようにお勧め番組を表示することにより、お勧め番組表示領域42のスペースを有効に活用することができるため、より多くのお勧め番組を表示することができる。
また、図13に示すように、提示情報表示領域を2つの領域(提示情報表示領域D1、および、提示情報表示領域D2)に分割して、それぞれの領域にキーワードおよびお勧め番組を別々に表示してもよい。図13は、外部音声の音量が大きい場合に提示情報表示領域を分割した場合の表示画面の一例を示す図である。
図13に示すように、表示制御部は、提示情報表示領域を、提示情報表示領域D1と提示情報表示領域D2とに分割する。
図13に示すように、提示情報表示領域D1には、キーワード表示領域41と、検索ボックス44とが設けられている。また、提示情報表示領域D2には、お勧め番組表示領域42と、タイプ表示領域43とが設けられている。
このように、キーワードに関する提示情報を表示する提示情報表示領域D1と、それ以外の提示情報を表示する提示情報表示領域D2とを別々にLCD110に設けることにより、より多くのキーワードおよびお勧め番組をLCD110に表示することができる。また、この構成によって、ユーザは、どの提示情報が、LCD110上の何れの領域に表示されているかを容易に認識することができる。
なお、コンテンツ表示領域Cは、図13に示すように、LCD110の表示領域の長手方向および短手方向の大きさに対して同じ比率で縮小することができるため、テレビ10は、放送番組のいわゆる縦横比を変更することなく当該放送番組を表示することができる。
(外部音声の音量が小さい場合)
次に、外部音声の音量が小さい場合の表示画面の一例について、図14および図15を参照して説明する。
図14は、外部音声の音量が小さい場合の表示画面の一例を示す図である。また、図15は、外部音声の音量が小さい場合の表示画面の他の一例を示す図である。
外部音声の音量が小さい場合には、図14に示すように、提示情報表示領域Dの大きさが、表示制御部16によって図9に示す標準の大きさよりも小さく設定される。
なお、この場合には、表示制御部16は、放送番組の縮小は行わず、提示情報表示領域Dをコンテンツ表示領域Cに重畳してLCD110に表示するようにLCDコントローラ109を制御する。
提示情報表示領域Dを小さく設定することにより、当該提示情報表示領域Dに表示可能な提示情報の量も減ることになる。
このため、図14に示すように、提示情報表示領域Dに、検索ボックス44を表示し、キーワード表示領域41およびタイプ表示領域43のみを設けるようにしてもよい。つまり、キーワード、外部音声のタイプ、および、検索ボックス44のみを提示情報表示領域Dに表示し、お勧め番組については表示しないようにすればよい。
また、図15に示すように、提示情報表示領域Dにお勧め番組表示領域42およびタイプ表示領域43のみを設けるようにしてもよい。つまり、お勧め番組および外部音声のタイプのみを提示情報表示領域Dに表示し、キーワードおよび検索ボックス44については表示しないようにすればよい。
なお、このような場合には、例えば、リモコン20の備える十字キーの右ボタンまたは左ボタンが押下される度に、図14に示す提示情報表示領域Dと図15に示す提示情報表示領域Dとが入れ替わるように表示されてもよい。
(選択操作)
次に、テレビ10における、提示情報の選択操作について、図16を参照して説明する。
図16は、本実施形態に係るテレビ10において提示情報の選択操作を行う際の、表示画面の遷移を示す遷移図である。図16(a)は、提示情報が表示された際の初期状態において検索ボックス44がハイライトされた表示画面の一例を示し、(b)は、キーワード「犬」がハイライトされた表示画面の一例を示している。また、図16(c)は、キーワード「犬と猫」がハイライトされた表示画面の一例を示し、(d)は、キーワード「ドッグフード」がハイライトされた表示画面の一例を示している。さらに、図16(e)は、お勧め番組「今日のワンワン」がハイライトされた表示画面の一例を示し、(d)は、お勧め番組「世界の犬」がハイライトされた表示画面の一例を示している。
まず、提示情報が表示されると、初期状態では、図16(a)に示すように、提示情報表示領域Dにおける検索ボックス44がハイライトされている。検索ボックス44がハイライトされている状態でリモコン20の備える決定ボタン(不図示)が押下されると、ユーザが文字列を入力可能な検索キーワード入力画面に遷移する。
図16(a)に示す初期状態において、リモコン20の十字キーの下ボタンが1回押下されると、(b)に示すように、ハイライトの位置が検索ボックス44からキーワード「犬」に移動する。なお、図16(b)に示す状態において、リモコン20の十字キーの上ボタンが1回押下されると、(a)に示す初期状態に戻り、検索ボックス44がハイライトされる。
また、図16(b)に示す状態において、リモコン20の十字キーの右ボタンが1回押下されると、(c)に示すように、キーワード表示領域41に表示されるキーワードが入れ替わり、キーワード「犬と猫」がハイライトされる。図16(c)に示す状態において、リモコン20の十字キーの左ボタンが1回押下されると、(b)に示す状態に戻り、キーワード「犬」がハイライトされる。
次に、図16(b)に示す状態において、リモコン20の十字キーの下ボタンが1回押下されると、(d)に示すように、ハイライトの位置がキーワード「犬」からキーワード「ドッグフード」に移動する。図16(d)に示す状態において、リモコン20の十字キーの左ボタンが1回押下されると、(b)に示す状態に戻り、キーワード「犬」がハイライトされる。
また、図16(d)に示す状態において、リモコン20の十字キーの下ボタンが2回押下されると、(e)に示すように、ハイライトの位置がキーワード「ドッグフード」からお勧め番組「今日のワンワン」に移動する。図16(e)に示す状態において、リモコン20の十字キーの上ボタンが2回押下されると、(d)に示す状態に戻り、キーワード「ドッグフード」がハイライトされる。
さらに、図16(e)に示す状態において、リモコン20の十字キーの右ボタンが1回押下されると、(f)に示すように、お勧め番組表示領域42に表示されるお勧め番組が入れ替わり、お勧め番組「世界の犬」がハイライトされる。図16(f)に示す状態において、リモコン20の十字キーの左ボタンが1回押下されると、(e)に示す状態に戻り、お勧め番組「今日のワンワン」がハイライトされる。
キーワードの何れかがハイライトされている状態でリモコン20の備える決定ボタンが押下されると、ハイライトされたキーワードによって検索されたキーワード検索結果がLCD110に表示される。なお、キーワード検索結果は、LCD110全体に表示されてもよいし、提示情報表示領域Dに表示されてもよい。
また、お勧め番組の何れかがハイライトされている状態でリモコン20の備える決定ボタンが押下されると、ハイライトされたお勧め番組が表示される。なお、ハイライトされたお勧め番組が現在放送中の放送番組である場合、および、すでに放送済の放送番組であって、録画再生部104によって録画された放送番組である場合には、当該お勧め番組を再生してもよい。また、ハイライトされたお勧め番組が将来放送される放送番組である場合には、当該放送番組の録画を予約するためのメニュー画面に遷移してもよい。
なお、図16に示す表示画面では、提示情報がハイライトされることによって、ユーザによって選択されている提示情報が何れの提示情報であるかを示しているが、ユーザによって選択されている提示情報の表示方法は、これに限定されるものではない。例えば、ユーザによって選択されている提示情報を囲う枠の太さを変更する構成、および、選択されている提示情報を点滅させる構成などを採用することもできる。
〔まとめ〕
本発明の一態様に係る表示装置(テレビ10)は、上述のように、表示部(LCD110)と、当該表示装置の周囲の音声(外部音声)を取得する取得手段(マイク121)と、上記取得手段によって取得された上記周囲の音声を複数のタイプの何れかに分類する分類手段(タイプ分類部13)と、上記分類手段によって分類されたタイプに関連するキーワードおよびお勧め番組の少なくとも何れか(提示情報)を検索する検索手段(キーワード検索部14、お勧め番組検索部15)と、上記検索手段によって検索されたキーワードおよびお勧め番組の少なくとも何れかを検索結果として上記表示部に表示する表示手段(表示制御部16)と、を備えている、ことを特徴としている。
本発明の一態様に係る表示装置の表示方法は、上述のように、表示部を備えた表示装置の表示方法であって、上記表示装置の周囲の音声を取得する取得ステップと、上記取得ステップにおいて取得された上記周囲の音声を複数のタイプの何れかに分類する分類ステップと、上記分類ステップにおいて分類されたタイプに関連するキーワードおよびお勧め番組の少なくとも何れかを検索する検索ステップと、上記検索ステップにおいて検索されたキーワードおよびお勧め番組の少なくとも何れかを検索結果として上記表示部に表示する表示ステップと、を含んでいる、ことを特徴としている。
上記の構成によれば、上記表示装置は、当該表示装置の周囲の音声に関連するキーワードおよびお勧め番組の少なくとも何れかを検索し、その検索結果を表示する。
ユーザは、上記表示装置に表示された上記検索結果(上記キーワードおよびお勧め番組の少なくとも何れか)を選択するだけで、上記表示装置に表示されたキーワードまたはお勧め番組を利用することができる。つまり、ユーザは、周囲の環境(音声)に適したキーワードおよびお勧め番組を用いることができる。このため、ユーザは、自身が自覚していなかったニーズについても、上記検索結果によって認識することができる。
これによって、上記表示装置は、ユーザの利便性を向上させることができる。
また、本発明の一態様に係る表示装置において、上記検索手段は、上記複数のタイプの各々と、キーワードおよびお勧め番組の少なくとも何れかとが対応付けられた対応情報(対応テーブル)を参照して、上記分類手段によって分類されたタイプに関連するキーワードおよびお勧め番組の少なくとも何れかを検索してもよい。
上記の構成によれば、上記検索手段は、上記対応情報を参照して上記キーワードおよびお勧め番組の少なくとも何れかを検索する。これによって、上記表示装置は、上記キーワードおよびお勧め番組の少なくとも何れかを、より容易に検索することができる。したがって、上記検索手段は、上記検索結果を、より早くユーザに提示することができる。
また、本発明の一態様に係る表示装置において、上記表示手段は、上記検索結果を、上記表示部における、コンテンツの表示される第1の表示領域(コンテンツ表示領域C)とは異なる第2の表示領域(提示情報表示領域D)に表示してもよい。
上記の構成によれば、上記表示手段は、上記コンテンツおよび上記検索結果を、上記表示部における異なる領域にそれぞれ表示する。
これによって、ユーザは、上記コンテンツを視聴しながら、上記検索結果を利用することができる。これによって、上記表示装置は、ユーザの利便性をさらに向上させることができる。
また、本発明の一態様に係る表示装置において、上記表示手段は、上記検索結果を、上記表示部に表示されているコンテンツがCMである期間内にのみ表示してもよい。
上記の構成によれば、上記表示手段は、上記CMが表示されている期間内にのみ、上記検索結果を表示する。これによって、ユーザは、上記表示部に放送番組が表示されている間は、当該放送番組を楽しむことができ、さらに、上記表示部にCMが表示されている間に上記検索結果を利用することができる。したがって、上記表示装置は、ユーザの放送番組の視聴を妨げることなく、ユーザの利便性をさらに向上させることができる。
また、本発明の一態様に係る表示装置において、上記表示手段は、上記第2の表示領域の大きさを、上記周囲の音声の音量の大きさに応じて設定してもよい。
発明者の得た知見によれば、潜在的なニーズの重要度は、表示装置の周囲の音声の大きさと相関を有するという傾向がある。
上記の構成によれば、上記表示手段は、潜在的なニーズの重要度と相関を有するように、上記第2の表示領域の大きさを設定するので、ユーザに対して、上記検索結果をより効果的に提示することができる。
また、本発明の一態様に係る表示装置において、上記表示手段は、上記検索結果の表示時間の長さを、上記周囲の音声の継続時間の長さに応じて設定してもよい。
発明者の得た知見によれば、潜在的なニーズの重要度は、表示装置の周囲の音声の継続時間と相関を有するという傾向がある。
上記の構成によれば、上記表示手段は、潜在的なニーズの重要度と相関を有するように、上記検索結果の表示時間の長さを設定するので、ユーザに対して、上記検索結果をより効果的に提示することができる。
なお、上記表示装置を備えたテレビジョン受像機も本発明の範疇に含まれる。
また、コンピュータを本発明に係る表示装置として動作させるためのプログラムであって、上記コンピュータを上記表示装置の各手段として機能させることを特徴とするプログラム、及び、それらのプログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に含まれる。
〔ソフトウェアによる実現例〕
最後に、テレビ10の各ブロック、特にテレビ10の備える制御部118は、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
後者の場合、テレビ10は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるテレビ10の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記テレビ10に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、一時的でない有形の媒体(non-transitory tangible medium)、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM/EEPROM(登録商標)/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
また、テレビ10を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
なお、ここで開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
本発明の一態様に係る表示装置は、例えば、テレビジョン受像機、パーソナルコンピュータ、携帯電話、スマートフォン、タブレット型PC、PDA、及び、カーナビゲーションシステムなどに好適に利用することができる。
10 テレビ(表示装置)
11 音声識別部
12 特徴抽出部
13 タイプ分類部(分類手段)
14 キーワード検索部(検索手段)
15 お勧め番組検索部(検索手段)
16 表示制御部(表示手段)
20 リモコン
30 ネットワーク
108 OSD生成部
109 LCDコントローラ
110 LCD(表示部)
115 通信部
117 RAM
118 制御部
119 赤外線受光部
121 マイク(取得手段)

Claims (10)

  1. 表示部と、
    当該表示装置の周囲の音声を取得する取得手段と、
    上記取得手段によって取得された上記周囲の音声を複数のタイプの何れかに分類する分類手段と、
    上記分類手段によって分類されたタイプに関連するキーワードおよびお勧め番組の少なくとも何れかを検索する検索手段と、
    上記検索手段によって検索されたキーワードおよびお勧め番組の少なくとも何れかを検索結果として上記表示部に表示する表示手段と、を備えている、
    ことを特徴とする表示装置。
  2. 上記検索手段は、上記複数のタイプの各々と、キーワードおよびお勧め番組の少なくとも何れかとが対応付けられた対応情報を参照して、上記分類手段によって分類されたタイプに関連するキーワードおよびお勧め番組の少なくとも何れかを検索する、
    ことを特徴とする請求項1に記載の表示装置。
  3. 上記表示手段は、上記検索結果を、上記表示部における、コンテンツの表示される第1の表示領域とは異なる第2の表示領域に表示する、
    ことを特徴とする請求項1または2に記載の表示装置。
  4. 上記表示手段は、上記検索結果を、上記表示部に表示されているコンテンツがCMである期間内にのみ表示する、
    ことを特徴とする請求項1から3の何れか1項に記載の表示装置。
  5. 上記表示手段は、上記第2の表示領域の大きさを、上記周囲の音声の音量の大きさに応じて設定する、
    ことを特徴とする請求項3に記載の表示装置。
  6. 上記表示手段は、上記検索結果の表示時間の長さを、上記周囲の音声の継続時間の長さに応じて設定する、
    ことを特徴とする請求項3に記載の表示装置。
  7. 表示部を備えた表示装置の表示方法であって、
    上記表示装置の周囲の音声を取得する取得ステップと、
    上記取得ステップにおいて取得された上記周囲の音声を複数のタイプの何れかに分類する分類ステップと、
    上記分類ステップにおいて分類されたタイプに関連するキーワードおよびお勧め番組の少なくとも何れかを検索する検索ステップと、
    上記検索ステップにおいて検索されたキーワードおよびお勧め番組の少なくとも何れかを検索結果として上記表示部に表示する表示ステップと、を含んでいる、
    ことを特徴とする表示方法。
  8. 請求項1から6の何れか1項に記載の表示装置を備えている、
    ことを特徴とするテレビジョン受像機
  9. コンピュータを請求項1から6の何れか1項に記載の表示装置として動作させるためのプログラムであって、上記コンピュータを上記表示装置の各手段として機能させるプログラム。
  10. 請求項9に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2012215204A 2012-09-27 2012-09-27 表示装置、表示方法、テレビジョン受像機、プログラム、および、記録媒体 Pending JP2014072586A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012215204A JP2014072586A (ja) 2012-09-27 2012-09-27 表示装置、表示方法、テレビジョン受像機、プログラム、および、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012215204A JP2014072586A (ja) 2012-09-27 2012-09-27 表示装置、表示方法、テレビジョン受像機、プログラム、および、記録媒体

Publications (1)

Publication Number Publication Date
JP2014072586A true JP2014072586A (ja) 2014-04-21

Family

ID=50747452

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012215204A Pending JP2014072586A (ja) 2012-09-27 2012-09-27 表示装置、表示方法、テレビジョン受像機、プログラム、および、記録媒体

Country Status (1)

Country Link
JP (1) JP2014072586A (ja)

Cited By (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US10083690B2 (en) 2014-05-30 2018-09-25 Apple Inc. Better resolution when referencing to concepts
US10108612B2 (en) 2008-07-31 2018-10-23 Apple Inc. Mobile device having human language translation capability with positional feedback
WO2018205704A1 (zh) * 2017-05-10 2018-11-15 平安科技(深圳)有限公司 电子装置、智能语音导航方法及计算机可读存储介质
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10311871B2 (en) 2015-03-08 2019-06-04 Apple Inc. Competing devices responding to voice triggers
JP2019091417A (ja) * 2017-11-16 2019-06-13 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 音声サービス提供方法および装置
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10332518B2 (en) 2017-05-09 2019-06-25 Apple Inc. User interface for correcting recognition errors
US10354652B2 (en) 2015-12-02 2019-07-16 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10381016B2 (en) 2008-01-03 2019-08-13 Apple Inc. Methods and apparatus for altering audio output signals
US10390213B2 (en) 2014-09-30 2019-08-20 Apple Inc. Social reminders
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10403283B1 (en) 2018-06-01 2019-09-03 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US10417344B2 (en) 2014-05-30 2019-09-17 Apple Inc. Exemplar-based natural language processing
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10417405B2 (en) 2011-03-21 2019-09-17 Apple Inc. Device access using voice authentication
US10438595B2 (en) 2014-09-30 2019-10-08 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10453443B2 (en) 2014-09-30 2019-10-22 Apple Inc. Providing an indication of the suitability of speech recognition
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US10497365B2 (en) 2014-05-30 2019-12-03 Apple Inc. Multi-command single utterance input method
US10529332B2 (en) 2015-03-08 2020-01-07 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10580409B2 (en) 2016-06-11 2020-03-03 Apple Inc. Application integration with a digital assistant
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10643611B2 (en) 2008-10-02 2020-05-05 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
JP2020071846A (ja) * 2018-11-03 2020-05-07 株式会社Mrsホールディングズ ユーザ認証システム及びこれを用いたユーザ認証方法
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10657961B2 (en) 2013-06-08 2020-05-19 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10684703B2 (en) 2018-06-01 2020-06-16 Apple Inc. Attention aware virtual assistant dismissal
US10692504B2 (en) 2010-02-25 2020-06-23 Apple Inc. User profiling for voice input processing
US10699717B2 (en) 2014-05-30 2020-06-30 Apple Inc. Intelligent assistant for home automation
US10714117B2 (en) 2013-02-07 2020-07-14 Apple Inc. Voice trigger for a digital assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10769385B2 (en) 2013-06-09 2020-09-08 Apple Inc. System and method for inferring user intent from speech inputs
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10789945B2 (en) 2017-05-12 2020-09-29 Apple Inc. Low-latency intelligent automated assistant
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10942702B2 (en) 2016-06-11 2021-03-09 Apple Inc. Intelligent device arbitration and control
US10942703B2 (en) 2015-12-23 2021-03-09 Apple Inc. Proactive assistance based on dialog communication between devices
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11010127B2 (en) 2015-06-29 2021-05-18 Apple Inc. Virtual assistant for media playback
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US11023513B2 (en) 2007-12-20 2021-06-01 Apple Inc. Method and apparatus for searching using an active ontology
US11048473B2 (en) 2013-06-09 2021-06-29 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
WO2021131326A1 (ja) * 2019-12-27 2021-07-01 ソニーグループ株式会社 情報処理装置及び情報処理方法、並びにコンピュータプログラム
US11069336B2 (en) 2012-03-02 2021-07-20 Apple Inc. Systems and methods for name pronunciation
US11069347B2 (en) 2016-06-08 2021-07-20 Apple Inc. Intelligent automated assistant for media exploration
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11127397B2 (en) 2015-05-27 2021-09-21 Apple Inc. Device voice control
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US11231904B2 (en) 2015-03-06 2022-01-25 Apple Inc. Reducing response latency of intelligent automated assistants
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11314370B2 (en) 2013-12-06 2022-04-26 Apple Inc. Method for extracting salient dialog usage from live data
US11350253B2 (en) 2011-06-03 2022-05-31 Apple Inc. Active transport based notifications
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11495218B2 (en) 2018-06-01 2022-11-08 Apple Inc. Virtual assistant operation in multi-device environments
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11758111B2 (en) 2017-10-27 2023-09-12 Baidu Usa Llc 3D lidar system using a dichroic mirror for autonomous driving vehicles
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11928604B2 (en) 2005-09-08 2024-03-12 Apple Inc. Method and apparatus for building an intelligent automated assistant

Cited By (193)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11928604B2 (en) 2005-09-08 2024-03-12 Apple Inc. Method and apparatus for building an intelligent automated assistant
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11023513B2 (en) 2007-12-20 2021-06-01 Apple Inc. Method and apparatus for searching using an active ontology
US10381016B2 (en) 2008-01-03 2019-08-13 Apple Inc. Methods and apparatus for altering audio output signals
US10108612B2 (en) 2008-07-31 2018-10-23 Apple Inc. Mobile device having human language translation capability with positional feedback
US10643611B2 (en) 2008-10-02 2020-05-05 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US10692504B2 (en) 2010-02-25 2020-06-23 Apple Inc. User profiling for voice input processing
US10417405B2 (en) 2011-03-21 2019-09-17 Apple Inc. Device access using voice authentication
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11350253B2 (en) 2011-06-03 2022-05-31 Apple Inc. Active transport based notifications
US11069336B2 (en) 2012-03-02 2021-07-20 Apple Inc. Systems and methods for name pronunciation
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US11636869B2 (en) 2013-02-07 2023-04-25 Apple Inc. Voice trigger for a digital assistant
US11862186B2 (en) 2013-02-07 2024-01-02 Apple Inc. Voice trigger for a digital assistant
US10714117B2 (en) 2013-02-07 2020-07-14 Apple Inc. Voice trigger for a digital assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10657961B2 (en) 2013-06-08 2020-05-19 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10769385B2 (en) 2013-06-09 2020-09-08 Apple Inc. System and method for inferring user intent from speech inputs
US11048473B2 (en) 2013-06-09 2021-06-29 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11314370B2 (en) 2013-12-06 2022-04-26 Apple Inc. Method for extracting salient dialog usage from live data
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US10657966B2 (en) 2014-05-30 2020-05-19 Apple Inc. Better resolution when referencing to concepts
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US10083690B2 (en) 2014-05-30 2018-09-25 Apple Inc. Better resolution when referencing to concepts
US10714095B2 (en) 2014-05-30 2020-07-14 Apple Inc. Intelligent assistant for home automation
US10497365B2 (en) 2014-05-30 2019-12-03 Apple Inc. Multi-command single utterance input method
US10699717B2 (en) 2014-05-30 2020-06-30 Apple Inc. Intelligent assistant for home automation
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US10417344B2 (en) 2014-05-30 2019-09-17 Apple Inc. Exemplar-based natural language processing
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
US10438595B2 (en) 2014-09-30 2019-10-08 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10390213B2 (en) 2014-09-30 2019-08-20 Apple Inc. Social reminders
US10453443B2 (en) 2014-09-30 2019-10-22 Apple Inc. Providing an indication of the suitability of speech recognition
US11231904B2 (en) 2015-03-06 2022-01-25 Apple Inc. Reducing response latency of intelligent automated assistants
US10930282B2 (en) 2015-03-08 2021-02-23 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10529332B2 (en) 2015-03-08 2020-01-07 Apple Inc. Virtual assistant activation
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US10311871B2 (en) 2015-03-08 2019-06-04 Apple Inc. Competing devices responding to voice triggers
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11127397B2 (en) 2015-05-27 2021-09-21 Apple Inc. Device voice control
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US10681212B2 (en) 2015-06-05 2020-06-09 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US11010127B2 (en) 2015-06-29 2021-05-18 Apple Inc. Virtual assistant for media playback
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11954405B2 (en) 2015-09-08 2024-04-09 Apple Inc. Zero latency digital assistant
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10379715B2 (en) 2015-09-08 2019-08-13 Apple Inc. Intelligent automated assistant in a media environment
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US10956006B2 (en) 2015-09-08 2021-03-23 Apple Inc. Intelligent automated assistant in a media environment
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US10354652B2 (en) 2015-12-02 2019-07-16 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10942703B2 (en) 2015-12-23 2021-03-09 Apple Inc. Proactive assistance based on dialog communication between devices
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US11069347B2 (en) 2016-06-08 2021-07-20 Apple Inc. Intelligent automated assistant for media exploration
US11657820B2 (en) 2016-06-10 2023-05-23 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10942702B2 (en) 2016-06-11 2021-03-09 Apple Inc. Intelligent device arbitration and control
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US10580409B2 (en) 2016-06-11 2020-03-03 Apple Inc. Application integration with a digital assistant
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10553215B2 (en) 2016-09-23 2020-02-04 Apple Inc. Intelligent automated assistant
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10332518B2 (en) 2017-05-09 2019-06-25 Apple Inc. User interface for correcting recognition errors
US10741181B2 (en) 2017-05-09 2020-08-11 Apple Inc. User interface for correcting recognition errors
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
WO2018205704A1 (zh) * 2017-05-10 2018-11-15 平安科技(深圳)有限公司 电子装置、智能语音导航方法及计算机可读存储介质
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10847142B2 (en) 2017-05-11 2020-11-24 Apple Inc. Maintaining privacy of personal information
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US10789945B2 (en) 2017-05-12 2020-09-29 Apple Inc. Low-latency intelligent automated assistant
US11862151B2 (en) 2017-05-12 2024-01-02 Apple Inc. Low-latency intelligent automated assistant
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US10909171B2 (en) 2017-05-16 2021-02-02 Apple Inc. Intelligent automated assistant for media exploration
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US11217255B2 (en) 2017-05-16 2022-01-04 Apple Inc. Far-field extension for digital assistant services
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US11758111B2 (en) 2017-10-27 2023-09-12 Baidu Usa Llc 3D lidar system using a dichroic mirror for autonomous driving vehicles
JP2019091417A (ja) * 2017-11-16 2019-06-13 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 音声サービス提供方法および装置
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11907436B2 (en) 2018-05-07 2024-02-20 Apple Inc. Raise to speak
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10684703B2 (en) 2018-06-01 2020-06-16 Apple Inc. Attention aware virtual assistant dismissal
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US11495218B2 (en) 2018-06-01 2022-11-08 Apple Inc. Virtual assistant operation in multi-device environments
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US10403283B1 (en) 2018-06-01 2019-09-03 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11360577B2 (en) 2018-06-01 2022-06-14 Apple Inc. Attention aware virtual assistant dismissal
US10720160B2 (en) 2018-06-01 2020-07-21 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US10504518B1 (en) 2018-06-03 2019-12-10 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
JP2020071846A (ja) * 2018-11-03 2020-05-07 株式会社Mrsホールディングズ ユーザ認証システム及びこれを用いたユーザ認証方法
JP7239795B2 (ja) 2018-11-03 2023-03-15 株式会社Mrsホールディングズ ユーザ認証システム及びこれを用いたユーザ認証方法
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360739B2 (en) 2019-05-31 2022-06-14 Apple Inc. User activity shortcut suggestions
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
WO2021131326A1 (ja) * 2019-12-27 2021-07-01 ソニーグループ株式会社 情報処理装置及び情報処理方法、並びにコンピュータプログラム
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11924254B2 (en) 2020-05-11 2024-03-05 Apple Inc. Digital assistant hardware abstraction
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11750962B2 (en) 2020-07-21 2023-09-05 Apple Inc. User identification using headphones
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones

Similar Documents

Publication Publication Date Title
JP2014072586A (ja) 表示装置、表示方法、テレビジョン受像機、プログラム、および、記録媒体
US9137476B2 (en) User-defined home screen for ultra high definition (UHD) TV
CN107770627B (zh) 图像显示装置和操作图像显示装置的方法
US10536742B2 (en) Display apparatus and display method
US9706154B2 (en) Method of acquiring information about contents, image display apparatus using the method, and server system for providing information about contents
JP5095857B2 (ja) 番組情報通知装置、テレビジョン受像機、番組情報通知方法、番組情報通知プログラム、および記録媒体
US8599314B2 (en) Display device, program, and storage medium
US10203927B2 (en) Display apparatus and display method
JP2013232230A (ja) 表示装置、テレビジョン受像機、表示方法、プログラム及び記録媒体
US9332300B2 (en) Apparatus and method for controlling display of information on a television
KR101668246B1 (ko) 영상표시장치 및 그 동작 방법.
JP5362834B2 (ja) 表示装置、プログラム及びプログラムが記録されたコンピュータ読み取り可能な記憶媒体
KR102254894B1 (ko) 음성 인식 검색 결과를 이용하여 카테고리를 배열하는 디스플레이 디바이스 및 그 제어 방법
KR20160039830A (ko) 멀티미디어 장치 및 그의 음성 가이드 제공방법
JP2007215046A (ja) 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体
CN105933764A (zh) 广播接收装置及其控制方法
US11748059B2 (en) Selecting options by uttered speech
EP3038374A1 (en) Display device and display method
KR101911249B1 (ko) 컴퓨팅 디바이스 및 ui 제공 방법
JP2014006306A (ja) 表示装置、テレビジョン受像機、表示装置の制御方法、プログラムおよび記録媒体
KR102384209B1 (ko) 전자 장치 및 이의 제어 방법
US20130318553A1 (en) System and methods for enhancing operation of a graphical user interface
CN106256130B (zh) 广播接收设备及其音频输出方法
WO2013105306A1 (ja) テレビジョン受像機、テレビジョン受像機の制御方法、プログラムおよび記録媒体
JP5373146B2 (ja) 番組情報通知装置、テレビジョン受像機、番組情報通知方法、番組情報通知プログラム、および記録媒体