JP2014109889A - コンテンツ検索装置、コンテンツ検索方法及び制御プログラム - Google Patents

コンテンツ検索装置、コンテンツ検索方法及び制御プログラム Download PDF

Info

Publication number
JP2014109889A
JP2014109889A JP2012263583A JP2012263583A JP2014109889A JP 2014109889 A JP2014109889 A JP 2014109889A JP 2012263583 A JP2012263583 A JP 2012263583A JP 2012263583 A JP2012263583 A JP 2012263583A JP 2014109889 A JP2014109889 A JP 2014109889A
Authority
JP
Japan
Prior art keywords
search
content
search condition
condition
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012263583A
Other languages
English (en)
Inventor
Masaru Sakai
優 酒井
Masayuki Okamoto
昌之 岡本
Hiroko Fujii
寛子 藤井
Daisuke Sanno
大介 山王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2012263583A priority Critical patent/JP2014109889A/ja
Priority to US14/024,154 priority patent/US20140156279A1/en
Publication of JP2014109889A publication Critical patent/JP2014109889A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/487Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
    • H04M3/4938Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals comprising a voice browser which renders and interprets, e.g. VoiceXML
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting

Abstract

【課題】所望のコンテンツを迅速かつ容易に検索する。
【解決手段】実施形態のコンテンツ検索装置の検索条件生成部は、コンテンツの検索指示のための自然言語音声の入力と並行して音声認識を行い検索条件を逐次生成する。検索部は、検索条件の生成に伴って検索に用いる検索条件を更新しつつコンテンツ検索を行う。これらの結果、検索結果表示部は、検索条件の生成に伴って、コンテンツ検索に用いた検索条件及び当該検索条件に基づくコンテンツ検索の結果を更新しつつ表示する。
【選択図】図1

Description

本発明の実施形態は、コンテンツ検索装置、コンテンツ検索方法及び制御プログラムに関する。
従来、音声認識を行って、入力音声から一または複数のキーワードを抽出し、抽出した全てのキーワードにしたがって、情報データベースを検索する情報検索装置が知られている(例えば、特許文献1参照)。
特開2002−269146号公報
上記従来の情報検索装置においては、発話完了を待ってから情報データベースを検索する必要があった。
このため、結果として全てのキーワードを用いて、検索を行うこととなり、より正確な検索を行わせるための音声の入力が難しいとともに、一旦入力した音声の変更はできないため、誤った音声入力を行った場合には、全てやり直す必要があり、使い勝手があまり良くなかった。
そこで、本発明は、テレビなどのコンテンツ再生装置でコンテンツを再生させようとする場合に、所望のコンテンツを迅速かつ容易に検索することが可能なコンテンツ検索装置、コンテンツ検索方法及び制御プログラムを提供することを目的としている。
実施形態のコンテンツ検索装置の検索条件生成部は、コンテンツの検索指示のための自然言語音声の入力と並行して音声認識を行い検索条件を逐次生成する。
検索部は、検索条件の生成に伴って検索に用いる検索条件を更新しつつコンテンツ検索を行う。
これらの結果、検索結果表示部は、検索条件の生成に伴って、コンテンツ検索に用いた検索条件及び当該検索条件に基づくコンテンツ検索の結果を更新しつつ表示する。
図1は、実施形態のコンテンツ検索システムの概要構成説明図である。 図2は、タブレットの概要構成ブロック図である。 図3は、タブレットの機能ブロック図である。 図4は、実施形態の処理フローチャートである。 図5は、タッチパネルディスプレイにおける検索結果の表示例(その1)の説明図である。 図6は、タッチパネルディスプレイにおける検索結果の表示例(その2)の説明図である。 図7は、タッチパネルディスプレイにおける検索結果の表示例(その3)の説明図である。 図8は、タッチパネルディスプレイにおける検索結果の表示例(その4)の説明図である。 図9は、タッチパネルディスプレイにおける検索結果の表示例(その5)の説明図である。 図10は、検索途中で、再生操作に移行させる移行操作の一例の説明図である。 図11は、表示内容の更新態様(その1)の説明図である。 図12は、表示内容の更新態様(その2)の説明図である。 図13は、表示内容の更新態様(その3)の説明図である。 図14は、表示内容の更新態様(その4)の説明図である。 図15は、表示内容の更新態様(その5)の説明図である。 図16は、表示内容の更新態様(その6)の説明図である。 図17は、表示内容の更新態様(その7)の説明図である。
次に実施形態について図面を参照して説明する。
図1は、実施形態のコンテンツ検索システムの概要構成説明図である。
コンテンツ検索システム10は、各種コンテンツを再生するコンテンツ再生装置として機能するテレビ11と、入力音声の音声認識を行ってキーワードを抽出し、抽出したキーワードに従ってインターネット等の通信ネットワーク12を介してEPG等のコンテンツデータベース(DB)13にアクセスし、コンテンツ検索を行うコンテンツ検索装置として機能するとともに、コンテンツ検索結果に基づいてテレビ11をコントロールしてコンテンツ再生を行わせるリモートコントロール装置として機能するタブレット14と、を備えている。なお、本実施形態では、コンテンツ検索装置としての機能を全てタブレット14が行う構成を例として述べているが、テレビ11に音声認識、データベース格納、コンテンツ検索の機能を持たせるようにしたり、通信ネットワーク12を介して接続されたさサーバに音声認識、データベース格納、コンテンツ検索の機能を持たせるようにしたり、様々な態様が可能である。
図2は、タブレットの概要構成ブロック図である。
タブレット14は、タブレット14全体を制御するMPU21と、制御プログラム等の各種データを不揮発的に記憶するROM22と、各種データを一時的に記憶するRAM23と、各種データを更新可能かつ不揮発的に記憶するフラッシュROM24と、音声信号処理等のディジタル信号処理を行うDSP25と、入力された音声を変換して入力音声信号に変換するマイク26と、マイク26が出力した入力音声信号をアナログ/ディジタル変換して入力音声データとして出力するオーディオインタフェース(I/F)部27と、各種情報を表示する液晶ディスプレイ等のディスプレイと各種入力操作を行うタッチパネルとが一体に形成されたタッチパネルディスプレイ28と、半導体メモリカードMCが挿入されて各種データの読み出し/書き込み動作を行うメモリカードリーダライタ29と、無線により通信を行う通信インタフェース部30と、を備えている。
ここで、通信インタフェース部30としては、通信ネットワーク12を介した通信の他、赤外線等を用いて無線によりテレビ11のリモートコントロールを行う機能も含まれている。
図3は、タブレットの機能ブロック図である。
タブレット14は、マイク26を介して入力された入力音声信号のフィルタリング、波形整形、アナログ/ディジタル変換等を行ってディジタル音声データに変換して出力する音声入力部31と、ディジタル音声データが入力されて逐次音声認識処理を実行し、音声認識処理結果としての音声テキストデータを逐次出力する逐次音声認識部32と、逐次音声認識部32から音声テキストデータが入力されると、予めROM22あるいはフラッシュROM24に記憶されている検索条件辞書33を参酌し、コンテンツ検索用の検索キーワードを抽出するとともに、抽出した検索キーワードに基づいて検索条件を生成する検索条件生成部34と、検索条件生成部34により生成された検索条件をRAM23に格納する検索条件格納部35と、検索条件格納部35がRAM23に格納した検索条件の集合を読み出して、通信ネットワーク12を介してコンテンツデータベース13にアクセスし、コンテンツ検索を行う検索部36と、検索部36における検索結果及び予め設定されている所定の表示フォーマットに従って表示装置として機能しているタッチパネルディスプレイ28に表示するとともに、表示履歴をフラッシュROM24上に構築されている履歴管理データベース(DB)37に格納する検索結果表示部38と、を備えている。
図4は、実施形態の処理フローチャートである。
次に図4を参照してタブレット14の動作を説明する。
まず、音声入力部31は、マイク26を介して、タブレット14のユーザの音声をディジタル音声データとして取得し、逐次音声認識部32として機能するDSP25に出力する(ステップS1)。
続いて、逐次音声認識部32として機能するDSP25は、入力された発話音声に対して音声認識処理を行い、発話音声の内容を音声認識結果であるテキストデータとして出力する(ステップS2)。
ここで、逐次音声認識部32として機能するDSP25は、発話音声の全体が入力されてから音声認識結果を出力するのではなく、発話音声の一部分に対応する音声認識結果である部分音声認識結果を逐次的に順次出力する。
ここで、逐次音声認識処理について具体的に説明する。
以下においては、ユーザの発話音声が「日曜の夜のバラエティで、えーと、○○△△さんがでてるやつ」であった場合を例として説明する。
逐次音声認識部32は、発話音声の先頭から音声認識処理を順次実行し、発話音声の入力が進むのに応じて部分音声認識結果「日曜の夜の」「バラエティで」「えーと」「○○△△さんがでてるやつ」を逐次出力する。このような部分音声認識結果を出力するタイミングとしては、音声認識処理の過程で信頼度の高い中間仮説が得られた場合や、発話中の短い休止(ポーズ)を検出した場合等が挙げられる。
検索条件生成部34として機能するMPU21は、ROM22あるいはフラッシュROM24に記憶されている検索条件辞書33を参照し、解析生成部として入力された部分音声認識結果であるテキストデータを解析して検索条件を逐次的に生成する(ステップS3)。
本実施形態においては、発話音声に含まれるキーワードに応じて、番組コンテンツの検索条件を、キーワードが属する属性及び当該キーワードの組み合わせである「属性:キーワード」の形式で生成するものとする。
より詳細には、「属性」と「キーワード」は、番組コンテンツの情報を記述するためにあらかじめ定義された項目とその具体的な値である。例えば「属性」としては、「曜日」「時間」「ジャンル」「タイトル」「出演者」等が挙げられる。
また、「キーワード」は、「属性」のそれぞれに対して存在する。例えば属性「曜日」に対して「日曜」「月曜」「正月」「正月特番」等、属性「時間」に対して「朝」「昼」「夜」等が挙げられる。
本実施形態では、これらの属性とキーワードの組み合わせが、EPGなど番組コンテンツの情報を記述したコンテンツDB13から取得され、検索条件辞書33に格納されている。
検索条件生成部34として機能するMPU21は、前述した部分音声認識結果「日曜の夜の」というテキストデータの入力に対して検索条件辞書33を参照し、検索条件「曜日:日曜」「時間:夜」を生成する。
また、他の部分音声認識結果「バラエティで」というテキストデータに対して検索条件「ジャンル:バラエティ」を生成する。
ここで、部分音声認識結果から検索条件を生成できない場合もある。例えば、部分音声認識結果「えーと」というテキストデータの入力に対しては、該当するキーワードが検索条件辞書33に記述されていないため、検索条件を生成しない。
以上の説明のように本実施形態では、属性とキーワードとが対になっていることを前提として処理を行っている。しかしながら、属性を付与せずに、キーワードのみが任意の属性に対して検索条件の一部となるようにすることも可能である。
次にMPU21は、新たな検索条件が生成されたか否かを判別する(ステップS4)。
ステップS4の判別において、未だ新たな検索条件が生成されていない場合には(ステップS4;No)、処理を再びステップS2に移行し、続いて逐次音声認識処理を実行することとなる(ステップS2)。
一方、ステップS4の判別において、新たな検索条件が生成された場合には(ステップS4;Yes)、すなわち、検索条件生成部34として機能するMPU21が新たな検索条件を生成した場合には、MPU21は、生成した検索条件を検索条件格納部35として機能するRAM23に格納する(ステップS5)。
例えば、検索条件「曜日:日曜」「時間:夜」が生成された場合は、MPU21は、それらの検索条件をRAM23に格納する。
そして、MPU21は、検索条件「ジャンル:バラエティ」を新たに生成した場合は、当該検索条件を追加でRAM23に格納する。
これら一連の動作により、検索条件格納部35として機能するRAM23には、その時点までに生成された検索条件の集合が格納される。
続いて、検索部36として機能するMPU21は、通信インタフェース部30及び通信ネットワーク12を介して、コンテンツDB13を参照する。
そして、検索部36として機能するMPU21は、検索条件格納部35として機能するRAM23に対する検索条件の追加に応じて、検索条件格納部35に格納された検索条件の集合を用いて番組コンテンツを検索し、検索結果を更新する(ステップS6)。
本実施形態では、コンテンツDB13は、例えば、EPG等に代表される番組コンテンツの情報を記述したデータベースである。そして、コンテンツDB13には、番組コンテンツごとに「属性」と、「キーワード」との、対応関係が記述されている。
続いて検索部36として機能するMPU21は、検索条件格納部35として機能しているRAM23に格納された検索条件の集合に応じて、コンテンツDB13に格納されている「属性」と「キーワード」を参照し、RAM23に格納されている検索条件の集合に合致する番組コンテンツの集合を検索結果とする。そして検索結果表示部38として機能するMPU21は、検索部36が出力した検索結果をタッチパネルディスプレイ28の表示画面に表示する(ステップS7)。
続いてMPU21は、音声入力が終了したか否かを判別する(ステップS8)。
ステップS8の判別において、未だ音声入力が終了していない場合には(ステップS;No)、処理を再びステップS2に移行して、以下、同様の処理を行う。
ステップS8の判別において、音声入力が終了した場合には(ステップS;Yes)、処理を完了する。
ここで、検索結果の表示例について説明する。
図5は、タッチパネルディスプレイにおける検索結果の表示例(その1)の説明図である。
検索結果表示部38として機能するMPU21は、図5に示すように、その時点での検索条件の集合に合致するコンテンツのみを表示する。
図5(a)は、検索条件「曜日:日曜」、「時間:夜」が検索条件の集合としてRAM23に格納されている時点における表示例である。
図5(a)に示すように、タッチパネルディスプレイ28の表示画面は、検索条件表示領域28Aと、検索結果表示領域28Bと、に分割されている。
この場合、検索条件表示領域28Aには、検索条件SC1=「曜日:日曜」及び検索条件SC2=「時間:夜」が表示されており、これらの二つの検索条件SC1、SC2により検索がなされたことがわかる。
そして、検索結果表示領域28Bには、二つの検索条件SC1、SC2による検索結果として、少なくとも9個以上の検索結果SRが表示されている。
この状態において、ユーザが検索結果表示領域28Bに表示されている検索結果SR中に所望の番組コンテンツが含まれていることを見つけ、当該検索結果SRをタッチして選択すると、当該検索結果SRに対応する番組コンテンツをテレビ11に表示するように、タブレット14を、通信インタフェース部30を用いた、いわゆるリモートコントロール装置として機能させることも可能である(以下、同様)。
図5(b)は、検索条件「曜日:日曜」、「時間:夜」に加えて検索条件「ジャンル:バラエティ」が検索条件の集合としてRAM23に格納された時点における表示例である。
図5(b)に示すように、タッチパネルディスプレイ28の表示画面の検索条件表示領域28Aには、検索条件SC1=「曜日:日曜」、検索条件SC2=「時間:夜」及び検索条件SC3=「ジャンル:バラエティ」が表示されており、これらの三つの検索条件SC1〜SC3により検索がなされたことがわかる。
そして、検索結果表示領域28Bには、三つの検索条件SC1〜SC3による検索結果として、6個の検索結果SRが表示されている。
図5(c)は、検索条件「曜日:日曜」、「時間:夜」、「ジャンル:バラエティ」に加えて検索条件「出演者:○○△△」が検索条件の集合としてRAM23に格納された時点における表示例である。
図5(c)に示すように、タッチパネルディスプレイ28の表示画面の検索条件表示領域28Aには、検索条件SC1=「曜日:日曜」、検索条件SC2=「時間:夜」、検索条件SC3=「ジャンル:バラエティ」及び検索条件SC4=「出演者:○○△△」が表示されており、これらの四つの検索条件SC1〜SC4により検索がなされたことがわかる。
そして、検索結果表示領域28Bには、四つの検索条件SC1〜SC4による検索結果として、2個の検索結果SR1、SR2が表示されている。
以上の説明のように、タッチパネルディスプレイにおける検索結果の表示例(その1)によれば、検索条件が順次増加して、検索結果を絞り込んで、絞り込んだ検索結果のみを表示する態様によれば、ユーザの発話内容に応じて検索結果を素早く知ることができ、快適な検索が行える。
また、発話の途中(例えば、図5(b)の画面が表示された時点)で、目的の番組コンテンツが検索結果として表示された場合に、当該検索結果を選択するタップ操作等を行うことにより、テレビ11においてコンテンツを再生することができ、検索の簡易化及び高速化が図れる。
さらに検索途中の段階においては、目的外の番組コンテンツも表示されるので、類似するコンテンツを認識することができ、思いがけない発見などによる検索の喜びを感じることもできる。
図6は、タッチパネルディスプレイにおける検索結果の表示例(その2)の説明図である。
検索結果表示部38として機能するMPU21は、図6に示すように、その時点での検索条件の集合に合致するコンテンツをより目立つように表示するとともに、それ以前の検索結果についてもより近い検索結果(検索結果履歴)を表示する。
図6(a)は、検索条件「曜日:日曜」、「時間:夜」が検索条件の集合としてRAM23に格納されている時点における表示例である。
図6(a)に示すように、タッチパネルディスプレイ28の表示画面は、検索条件表示領域28Aと、検索結果表示領域28Bと、に分割されている。
この場合、検索条件表示領域28Aには、検索条件SC1=「曜日:日曜」及び検索条件SC2=「時間:夜」が表示されており、これらの二つの検索条件SC1、SC2により検索がなされたことがわかる。
そして、検索結果表示領域28Bには、二つの検索条件SC1、SC2による検索結果として、少なくとも9個以上の検索結果SRが表示されている。
図6(b)は、検索条件「曜日:日曜」、「時間:夜」に加えて検索条件「ジャンル:バラエティ」が検索条件の集合としてRAM23に格納された時点における表示例である。
図6(b)に示すように、タッチパネルディスプレイ28の表示画面の検索条件表示領域28Aの上部には、追加された新たな検索条件SC11=「ジャンル:バラエティ」が表示され、検索条件の履歴である検索条件SC1=「曜日:日曜」及び検索条件SC2=「時間:夜」が下部に表示されている。これにより、ユーザは、新たな絞込検索条件は、検索条件SC11=「ジャンル:バラエティ」であることが、検索条件表示領域28Aを見ただけで容易に把握することができるとともに、検索条件SC11及び検索条件SC1、SC2の三つの検索条件により検索がなされたことがわかる。
そして、検索結果表示領域28Bには、三つの検索条件SC11、SC1、SC2による検索結果として、6個の検索結果SR1が表示されているとともに、最初の検索条件である二つのの検索条件SC1、SC2による検索結果のうち、より優先順位の低い検索結果である4個以上の検索結果SRが検索結果SR1よりも小さめに表示され、検索結果としてより優先順位が低いことが視覚的に容易に把握できるようになっている。
図6(c)は、検索条件「曜日:日曜」、「時間:夜」、「ジャンル:バラエティ」に加えて検索条件「出演者:○○△△」が検索条件の集合としてRAM23に格納された時点における表示例である。
図6(c)に示すように、タッチパネルディスプレイ28の表示画面の検索条件表示領域28Aの上部には、追加された新たな検索条件SC21=「出演者:○○△△」が表示され、検索条件の履歴である検索条件SC11=「ジャンル:バラエティ」、検索条件SC1=「曜日:日曜」及び検索条件SC2=「時間:夜」が下部に表示されている。これにより、ユーザは、新たな絞込検索条件は、検索条件SC21=「出演者:○○△△」であることが、検索条件表示領域28Aを見ただけで容易に把握することができるとともに、検索条件SC21及び検索条件SC11、SC1、SC2の四つの検索条件により検索がなされたことがわかる。
そして、検索結果表示領域28Bには、四つの検索条件SC21、SC11、SC1、SC2による検索結果として、2個の検索結果SR2が表示されているとともに、前回までの絞込検索条件である三つの検索条件SC11、SC1、SC2による検索結果のうち、より優先順位の低い検索結果である4個の検索結果SR1及び4個以上の検索結果SRが検索結果SR2よりも全て小さめに表示され、検索結果としてより優先順位が低いことが視覚的に容易に把握できるようになっている。
以上の説明のように、タッチパネルディスプレイにおける検索結果の表示例(その2)によれば、検索条件が順次増加して、検索結果を絞り込んで、絞り込んだ検索結果のみを表示する態様によれば、ユーザの発話内容に応じて検索結果を素早く知ることができ、快適な検索が行える。
また、発話の途中(例えば、図5(b)の画面が表示された時点)で、目的の番組コンテンツが検索結果として表示された場合に、当該検索結果を選択するタップ操作等を行うことにより、テレビ11においてコンテンツを再生することができ、検索の簡易化及び高速化が図れる。
さらに目的外の優先順位の低い番組コンテンツもより優先順位の高い最新の絞り込み結果に加えて表示されるので、類似するコンテンツを認識することができ、思いがけない発見などによる検索の喜びを感じることもできる。
図7は、タッチパネルディスプレイにおける検索結果の表示例(その3)の説明図である。
検索結果表示部38として機能するMPU21は、タッチパネルディスプレイ28における検索結果の表示例(その2)の場合と同様、図7に示すように、その時点での検索条件の集合に合致するコンテンツをより目立つように表示するとともに、それ以前の検索結果についてもより近い検索結果(検索結果履歴)を表示する。
図7(a)は、検索条件「曜日:日曜」、「時間:夜」が検索条件の集合としてRAM23に格納されている時点における表示例であるが、図6(a)と同様であるので、その詳細な説明を援用する。
図7(b)は、検索条件「曜日:日曜」、「時間:夜」に加えて検索条件「ジャンル:バラエティ」が検索条件の集合としてRAM23に格納された時点における表示例である。
図7(b)に示すように、タッチパネルディスプレイ28の表示画面の検索条件表示領域28Aの上部には、追加された新たな検索条件SC11=「ジャンル:バラエティ」が表示され、検索条件の履歴である検索条件SC1=「曜日:日曜」及び検索条件SC2=「時間:夜」が下部に表示されている。
さらに絞り込み前の検索条件を明確に示すために、検索条件の履歴である検索条件SC1=「曜日:日曜」及び検索条件SC2=「時間:夜」については、枠FR11により囲むように表示している。
これらにより、ユーザは、新たな絞込検索条件は、検索条件SC11=「ジャンル:バラエティ」であることが、検索条件表示領域28Aを見ただけで容易に把握することができるとともに、検索条件SC11及び検索条件SC1、SC2の三つの検索条件により検索がなされたことがわかる。
そして、検索結果表示領域28Bには、三つの検索条件SC11、SC1、SC2による検索結果として、6個の検索結果SR1が表示されているとともに、最初の検索条件である二つのの検索条件SC1、SC2による検索結果のうち、より優先順位の低い検索結果である4個以上の検索結果SRが検索結果SR1よりも小さめに表示されるとともに、絞込後の検索結果を明確に示すために、検索結果SR1については、枠FR21により囲むように表示している。
これらの結果、検索結果SRが検索結果SR1と比較して、検索結果としてより優先順位が低いことが視覚的に容易に把握できるようになっている。
図7(c)は、検索条件「曜日:日曜」、「時間:夜」、「ジャンル:バラエティ」に加えて検索条件「出演者:○○△△」が検索条件の集合としてRAM23に格納された時点における表示例である。
図7(c)に示すように、タッチパネルディスプレイ28の表示画面の検索条件表示領域28Aの上部には、追加された新たな検索条件SC21=「出演者:○○△△」が表示され、検索条件の履歴である検索条件SC11=「ジャンル:バラエティ」、検索条件SC1=「曜日:日曜」及び検索条件SC2=「時間:夜」が下部に表示されている。
さらに絞り込み前の検索条件を明確に示すために、検索条件の履歴である検索条件SC1=「曜日:日曜」及び検索条件SC2=「時間:夜」については、枠FR11により囲むように表示し、検索条件SC11=「ジャンル:バラエティ」については、枠FR12により囲むように表示し、検索条件SC21=「出演者○○××」については、枠FR13により囲むよう表示している。
これらにより、ユーザは、新たな絞込検索条件は、検索条件SC21=「出演者:○○△△」であることが、検索条件表示領域28Aを見ただけで容易に把握することができるとともに、検索条件SC21及び検索条件SC11、SC1、SC2の四つの検索条件により検索がなされたことがわかる。
そして、検索結果表示領域28Bには、四つの検索条件SC21、SC11、SC1、SC2による検索結果として、2個の検索結果SR2が表示されているとともに、前回までの絞込検索条件である三つの検索条件SC11、SC1、SC2による検索結果のうち、より優先順位の低い検索結果である4個の検索結果SR1及び4個以上の検索結果SRが検索結果SR2よりも全て小さめに表示されるとともに、絞込後の検索結果を明確に示すために、検索結果SR2については、枠FR22により囲み、検索結果SR1については、枠FR21により+囲み、検索結果SR2については枠FR23により囲むように表示している。なお、検索条件毎に異なる色で枠を表示するとともに、互いに対応する検索条件と検索結果とを同一色の枠で囲むように表示しても良い。
これらの結果、他の検索結果SR1、SRは、検索結果SR2と比較して、検索結果としてより優先順位が低いことが視覚的に容易に把握できるようになっている。
以上の説明のように、タッチパネルディスプレイにおける検索結果の表示例(その3)によれば、タッチパネルディスプレイにおける検索結果の表示例(その2)の効果に加えて、より明確に優先順位の高い検索結果及び対応する検索条件を把握することができる。
以上の三つの表示例は、単純に絞り込み検索を行う場合のものであったが、発話の途中で検索条件が変わったり、後で言い直したりされることで検索条件自体が変更される場合がある。
図8は、タッチパネルディスプレイにおける検索結果の表示例(その4)の説明図である。
図8においては、ユーザの発話途中で検索条件が切り替わる場合について説明する。
以下においては、ユーザの発話音声が「スタートレックのピカードの人が出ている映画」であった場合を例として説明する。
逐次音声認識部32として機能するDSP25は、発話音声の先頭から音声認識処理を順次実行し、発話音声の入力が進むのに応じて部分音声認識結果「スタートレックの」「ピカードの人」「が出ている」「映画」を逐次出力する。
これにより検索条件生成部34として機能するMPU21は、ROM22あるいはフラッシュROM24に記憶されている検索条件辞書33を参照し、入力された部分音声認識結果であるテキストデータを解析して検索条件を逐次的に生成する。
そして、ユーザが最初に「スタートレックの」と発話した時点では「スタートレックについて検索したいのだろう」と本実施形態のタブレット14のMPU21は判断することとなり、「タイトル:スタートレック」で検索を行う。
この結果、図8(a)に示すように、タッチパネルディスプレイ28の表示画面には、検索条件SC1の「スタートレック」が表示されるとともに、複数の検索結果SRが表示されることとなる。
その後、ユーザにより、「ピカードの人」まで発話されたところで、タブレット14のMPU21は、「スタートレックでピカード役を演じた俳優」について検索したいと判断し、検索処理を実行する。
この結果「P.スチュワート」がピカード役であることが検索結果として取得され、図8(b)に示すように、新たな検索条件SC2の「ピカード役(P.スチュワート)」がタッチパネルディスプレイ28の表示画面に表示されるとともに、複数(図8(b)では3個)の検索結果SR1が表示されることとなる。この時点においては、複数の検索結果SR1は、優先順位が同一であるので同じ大きさでタッチパネルディスプレイ28の表示画面に表示されている。
しかしながら、その次に「が出てる」まで発話されると「タイトル:スタートレック」での検索結果ではなく「出演者:P.スチュワート」であるコンテンツを検索したいことが判別される。
このため、検索部36として機能するMPU21は、最初の「スタートレック」の検索をこの段階で終了し、「P.スチュワート」を検索条件とする検索を実行し、図8(c)に示すように、タッチパネルディスプレイ28の表示画面に検索結果を表示する。
すなわち、タッチパネルディスプレイ28の表示画面においては、「ピカード役(P.スチュワート)」を検索条件とする検索結果SR2がより優先順位が高いことを示すために、「スタートレック」を検索条件とする検索結果SR1よりも大きく(相対的に検索結果SRを小さく)表示する。
図8(c)の例においては、「スタートレック」の検索条件に対応する検索結果SR1を同時に表示しているが、検索結果SR1を消去したり、より目立たない表示態様とすることも可能である。
さらに「の映画」まで発話されると、検索部36として機能するMPU21は、これは絞り込み検索に相当するので、「P.スチュワート」が含まれる映画コンテンツに絞り込みを行って、図8(d)に示すように表示を行う。
すなわち、タッチパネルディスプレイ28の表示画面においては、検索条件=「ピカード役(P.スチュワート)」&「映画」に対応する検索結果SR3及び検索条件=「ピカード役(P.スチュワート)」の検索結果SR2のうち、検索条件「映画」を満たす検索結果SR21がより優先順位が高いことを示すために、「スタートレック」を検索条件とする検索結果SR1および検索条件=「ピカード役(P.スチュワート)」の検索結果SR2のうち、検索条件「映画」を満たさない検索結果SR2よりも大きく(相対的に検索結果SR及び検索結果SR2を小さく)表示する。
以上の説明のように、ユーザの発話途中で検索条件が切り替わる場合であっても発話内容に応じて検索条件を逐次切り替えることができ、人間を対象とした会話と同様の発話で容易に検索を行うことが可能となる。
図9は、タッチパネルディスプレイにおける検索結果の表示例(その5)の説明図である。
図8においては、ユーザの発話途中で検索条件が切り替わる場合に、自動的に切り替わりを検出する場合について説明したが、図9は、検索条件の一部をユーザが意図的に変更する場合について説明する。
第1の手法としては、発話だけで「ピカード役じゃなくてカーク船長役」と発話することが考えられる。この場合、これまでの発話中で「カーク船長役」に置き換えられるのは同じ役名である「ピカード役」だけであるので、「P・スチュワート」ではなく,「カーク船長役」の俳優を検索して得られる結果の「W.シャトナー」が出演する映画を検索し,その結果を表示することとなる。
第2の手法としては、タッチパネルディスプレイ28のタッチ操作を生かして、置き換え対象の検索条件をユーザが指し示して特定することが考えられる。
図9(a)は、図8と同様の発話を行った後、ユーザが「ピカード」役の俳優ではなく「カーク船長」役の俳優で検索したかったことに気付いた場合に置き換え対象の検索条件をユーザが指し示して特定する操作例の説明図である。
図9(a)においては、置き換え対象の検索条件をユーザの指FGによりタッチして、特定している。
そして、この状態で発話内容SP=「カーク船長」と発話することで、図9(b)に示すように、検索条件SC2=「ピカード役」を検索条件SC21=「カーク船長役(W.シャトナー)」に置き換えられる。
この結果、検索結果も検索条件SC2=「ピカード役」の検索結果SR2から検索条件SC21=「カーク船長役(W.シャトナー)」の検索結果SR3に変更される。なお、検索条件SC1=「スタートレック」の検索結果SRについても内容についても変更される可能性がある。
以上の説明は、置換対象の検索条件の指定を指FGで行う場合であったが、マウスやペン、カメラなどユーザによる指示内容を特定できるデバイスがある場合には画面上に表示された「ピカード」を指し示しながら「カーク船長」と発話することで置き換えることも可能である。
図10は、検索途中で、再生操作に移行させる移行操作の一例の説明図である。
図10は、検索条件SC1=「スタートレック」及び検索条件SC2=「ピカード役」と設定された場合の検索結果SR1、SR11及び検索条件SC1=「スタートレック」と設定された場合の検索結果SRが同時に表示されている状態である。
この状態において検索結果SR11が所望の番組コンテンツであった場合には、図10に示すように、検索結果SR11をユーザの指FGによりタッチして、特定している。
そして、この状態で発話内容SP=「あっ、これこれ」のように検索を終了する旨を表す内容を発話することで、テレビ11において検索結果SR11に対応する番組コンテンツを再生することができ、再生操作の簡易化及び高速化が図れる。
図11は、表示内容の更新態様(その1)の説明図である。
図11(a)は、検索条件SC1=「P.スチュワートが出ている」(番組)と設定された場合の検索結果SR1〜SR6がタッチパネルディスプレイ28の表示画面に表示された場合のものである。
この状態において、第2の検索条件SC2=「映画」と設定されると、図11(b)に示すように、第2の検索条件SC2=「映画」に該当する検索結果SR1、SR4、SR6のみがそのままの大きさで表示され、他の検索結果SR2、SR3、SR5が相対的に小さく表示され、優先順位が低いことを明確に示している。
この結果、ユーザは、所望の検索結果をより容易に把握することができる。
図12は、表示内容の更新態様(その2)の説明図である。
図12(a)は、検索条件SC1=「P.スチュワートが出ている」(番組)と設定された場合の検索結果SR1〜SR6がタッチパネルディスプレイ28の表示画面に表示された場合のものである。
この状態において、第2の検索条件SC2=「映画」と設定されると、図12(b)に示すように、第2の検索条件SC2=「映画」に該当する検索結果SR1、SR4、SR6のみがそのままの大きさで表示され、他の検索結果SR2、SR3、SR5が相対的に淡い表示とされ、比較的見づらく表示されて、優先順位が低いことを明確に示している。
この結果、ユーザは、所望の検索結果をより容易に把握することができる。
同様に、検索結果SR1、SR4、SR6を強調表示するように構成することも可能である。
図13は、表示内容の更新態様(その3)の説明図である。
本表示内容の更新態様では、検索結果をアニメーション表示するとともに、その配置を優先順位に従って、絞り込み前後で移動させる場合のものである。
図13(a)は、検索条件SC1=「P.スチュワートが出ている」(番組)と設定された場合の検索結果SR1〜SR6がタッチパネルディスプレイ28の表示画面に表示された場合のものである。
この状態において、第2の検索条件SC2=「映画」と設定されると、図13(b)に示すように、一旦、検索結果SR1〜SR6のサイズが小さくなって、タッチパネルディスプレイ28の表示画面内を検索結果SR1〜SR6がそれぞれ移動を行う。
そして、右より左、下より上がより優先順位が高い配置として、検索結果SR1〜SR6がそれぞれ移動を完了する。
すなわち、第2の検索条件SC2=「映画」に該当する検索結果SR1、SR4、SR6は、左上側に集まり、その他の検索結果SR2、SR3、SR5が相対的に右下側に集まって、最終的には元のサイズとなる。
この結果、ユーザは、所定の位置(図13の例では、より左上側)に位置している検索結果が、ユーザの所望の検索結果であることを容易に把握することができる。
図14は、表示内容の更新態様(その4)の説明図である。
本表示内容の更新態様では、表示されている検索結果とともに、対応する検索条件を表示するとともに、該当する検索条件が少ない検索結果については、サイズを小さくして表示する場合のものである。
図14(a)は、検索条件SC1=「P.スチュワート」(番組)と設定された場合の検索結果SR1〜SR6がタッチパネルディスプレイ28の表示画面に表示された場合のものである。
この場合においては、全ての検索結果SR1〜SR6が検索条件SC1を満たしているので、全て同じサイズで、近傍に当該検索条件SC1が表示されている。
この状態において、第2の検索条件SC2=「映画」と設定されると、図14(b)に示すように、検索条件SC1=「P.スチュワート」及び検索条件SC2=「映画」を満たしている、検索結果SR1、SR4、SR6は、そのままのサイズで表示されるとともに、近傍に当該検索条件SC1及び検索条件SC2が表示されている。
これに対し、検索条件SC2=「映画」を満たさない検索結果SR2、SR3、SR5は、優先順位が低い検索結果であることを示すために、サイズが小さく表示されるとともに、近傍に当該検索条件SC1のみが表示されている。
この結果、ユーザは、より大きなサイズで表示されており、検索条件の表示が多い検索結果が、ユーザの所望の検索結果であることを容易に把握することができる。
図15は、表示内容の更新態様(その5)の説明図である。
図15(a)は、検索条件SC1=「P.スチュワートが出ている」と設定され、かつ、検索条件SC2=「映画」が設定された場合の検索結果SR1〜SR6がタッチパネルディスプレイ28の表示画面に表示された場合のものである。
すなわち、第1の検索条件SC1=「P.スチュワートが出ている」を満たすとともに、第2の検索条件SC2=「映画」を満たす検索結果SR1、SR4、SR6は元の大きさで表示され、他の検索結果SR2、SR3、SR5が相対的に小さい表示とされ、優先順位が低いことを示している。
この状態において、第1の検索条件SC1=「P.スチュワートが出ている」に代えて、第3の検索条件SC3=「W.シャトナーが出ている」とした場合には、設定前に既に縮小表示となっていた他の検索結果SR2、SR3、SR5であって、第3の検索条件SC3=「W.シャトナーが出ている」を満たしていない検索結果については、新たな検索結果SR11〜SR13で置き換える。
また、設定前には縮小表示となっていなかった検索結果、すなわち、第1の検索条件SC1=「P.スチュワートが出ている」を満たすとともに、第2の検索条件SC2=「映画」を満たす検索結果SR1、SR4、SR6であって、第3の検索条件SC3=「W.シャトナーが出ている」を満たしていない検索結果SR1、SR6については、相対的に小さい表示とされ、優先順位が低いことを示す状態となる。
この結果、ユーザは、全ての検索条件を満たす所望の検索結果をより容易に把握することができる。
図16は、表示内容の更新態様(その6)の説明図である。
図16(a)は、検索条件SC1=「P.スチュワートが出ている」と設定され、かつ、検索条件SC2=「映画」が設定された場合の検索結果SR1〜SR6がタッチパネルディスプレイ28の表示画面に表示された場合のものである。
すなわち、第1の検索条件SC1=「P.スチュワートが出ている」を満たすとともに、第2の検索条件SC2=「映画」を満たす検索結果SR1、SR4、SR6は元の大きさで表示され、他の検索結果SR2、SR3、SR5が相対的に小さい表示とされ、優先順位が低いことを示している。
この状態において、第1の検索条件SC1=「P.スチュワートが出ている」に代えて、第3の検索条件SC3=「W.シャトナーが出ている」とした場合には、タッチパネルディスプレイ28の表示画面を2分割し、第1の表示領域28−1には、元の検索結果SR1〜SR6を表示するとともに、第3の検索条件SC3=「W.シャトナーが出ている」を満たしている検索結果SR4以外の検索結果SR1〜SR3、SR5、SR6については、相対的により小さい表示とされ、優先順位が低いことを示す状態となる。
一方、第2の表示領域28−2には、第1の検索条件SC1=「P.スチュワートが出ている」、第2の検索条件SC2=「映画」及び第3の検索条件SC3=「W.シャトナーが出ている」の全てを満たす新たな検索結果SR11〜SR14を標準のサイズで表示する。
この結果、ユーザは、より大きなサイズで表示されている検索結果が、ユーザの所望の検索結果であることを容易に把握することができる。
図17は、表示内容の更新態様(その7)の説明図である。
本表示内容の更新態様は、既に入力されていた検索条件を新たな検索条件に変更した場合には、変更された新たな検索条件がより重要とされ、変更されなかった検索条件よりも優先順位が高いものとして扱う場合のものである。
図17(a)は、検索条件SC1=「P.スチュワートが出ている」と設定され、かつ、検索条件SC2=「映画」が設定された場合の検索結果SR1〜SR6がタッチパネルディスプレイ28の表示画面に表示された場合のものである。
すなわち、第1の検索条件SC1=「P.スチュワートが出ている」を満たすとともに、第2の検索条件SC2=「映画」を満たす検索結果SR1、SR4、SR6は元のサイズ(標準サイス)で表示され、他の検索結果SR2、SR3、SR5が相対的に小さいサイズの表示とされ、優先順位が低いことを示している。
この状態において、第1の検索条件SC1=「P.スチュワートが出ている」に代えて、第3の検索条件SC3=「W.シャトナーが出ている」とした場合には、この新たに入力された第3の検索条件SC3=「W.シャトナーが出ている」が変更されていない第2検索条件SC2=「映画」よりも重要であるとみなし、第3の検索条件SC3=「W.シャトナーが出ている」をタッチパネルディスプレイ28の表示画面上で強調表示するようにしている。
そして、第2の検索条件SC2=「映画」及び第3の検索条件SC3=「W.シャトナーが出ている」を満たさない、検索結果SR2、SR3、SR5については、第2の検索条件SC2=「映画」及び第3の検索条件SC3=「W.シャトナーが出ている」を満たす新たな検索結果SR11〜SR12を標準のサイズで表示する。
さらに検索結果件数が少ない場合には、第3の検索条件SC3=「W.シャトナーが出ている」が変更されていない第2検索条件SC2=「映画」よりも重要であるとみなして、第3の検索条件SC3=「W.シャトナーが出ている」を満たすが、第2検索条件SC2=「映画」を満たしていない、W.シャトナーが出ている「ドラマ」の検索結果である検索結果SR21を表示する。
この結果、ユーザは、強調表示されている検索条件を満たし、より大きなサイズで表示されている検索結果が、ユーザの所望の検索結果であることを容易に把握することができる。
また、上記では逐次音声認識部32として機能するDSP25は、発話音声の先頭から音声認識処理を順次実行し、発話音声の入力が進むのに応じて部分音声認識結果「スタートレックの」「ピカードの人」「が出ている」「映画」が正しく逐次出力する前提で記載したが、音声認識方式によっては、発話途中では正しい単語が出力されず、後から修正される場合も考えられる。例えば、「スタートレック」だけ発話した時点では、前後のつながりまで分からないため、音声認識結果を誤り「ウィザウトトレース」と認識することが考えられる。この場合、本実施形態では「タイトル:ウィザウトトレース」が最初に認識・検索されることになる。その後、「ピカード」まで発話した段階で、前後の単語のつながりから最初の単語が「スタートレック」と認識結果が修正される。この場合、「タイトル:ウィザウトトレース」を「タイトル:スタートレック」と修正した上で前述のような検索内容の更新が行われる。
以上の説明においては、タブレットがコンテンツ検索装置として機能する場合のものであったが、タブレット等の情報処理装置とインターネットなどの通信ネットワークを介して接続されたサーバ装置にコンテンツ検索装置の機能を実現させるように構成することも可能である。
あるいは、通信ネットワーク上に配置した複数のサーバ装置のそれぞれにコンテンツ検索装置の機能を分散させて実現するように構成することも可能である。
本実施形態のコンテンツ検索装置で実行される制御プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本実施形態のコンテンツ検索装置で実行される制御プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のコンテンツ検索装置で実行される制御プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
また、本実施形態のコンテンツ検索装置の制御プログラムを、ROM等に予め組み込んで提供するように構成しても良い。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10 コンテンツ検索システム
11 テレビ(被制御機器)
12 通信ネットワーク
13 コンテンツデータベース
14 タブレット(コンテンツ検索装置)
21 MPU(検索条件置換部)
22 ROM
23 RAM
24 フラッシュROM
25 DSP
26 マイク
27 オーディオインタフェース部
28 タッチパネルディスプレイ(選択操作部、再生指示部、検索条件指定手段)
28A 検索条件表示領域
28B 検索結果表示領域
29 メモリカードリーダライタ
30 通信インタフェース部
31 音声入力部
32 逐次音声認識部
33 検索条件辞書
34 検索条件生成部
35 検索条件格納部
36 検索部
38 検索結果表示部
FR11、FR12、FR21、FR22 枠
SC1〜SC4、SC11、SC12 検索条件
SR、SR1〜SR6、SR11〜SR14、SR21 検索結果(コンテンツ検索結果)

Claims (12)

  1. コンテンツの検索指示のための自然言語音声の入力と並行して音声認識を行い検索条件を逐次生成する検索条件生成部と、
    前記検索条件の生成に伴って検索に用いる前記検索条件を更新しつつコンテンツ検索を行う検索部と、
    前記検索条件の生成に伴って、前記コンテンツ検索に用いた検索条件及び当該検索条件に基づく前記コンテンツ検索の結果を更新しつつ表示する検索結果表示部と、
    を備えたコンテンツ検索装置。
  2. 前記検索条件生成部は、前記自然言語音声の音声認識を行ってテキストデータを出力する音声認識部と、
    前記テキストデータを解析して、前記検索条件を生成する解析生成部と、
    を備えた請求項1記載のコンテンツ検索装置。
  3. 前記検索条件生成部は、前記コンテンツ検索に用いた検索条件と置き換えるべき新たな検索条件が生成された場合に、前記コンテンツ検索に用いる検索条件の一部を前記新たな検索条件で置き換える、
    請求項1又は請求項2記載のコンテンツ検索装置。
  4. 前記表示されている前記コンテンツ検索に用いた検索条件のいずれかを指定する検索条件指定手段と、
    前記指定された検索条件を新たに生成された検索条件に置換する検索条件置換部と、
    を備えた請求項1乃至請求項3のいずれかに記載のコンテンツ検索装置。
  5. 前記検索結果表示部の表示画面は、前記コンテンツ検索に用いた検索条件を表示する検索条件表示領域と、
    前記コンテンツ検索の結果を前記コンテンツ検索に用いた検索条件に対応付けて表示するコンテンツ検索結果表示領域と、
    を備えた請求項1乃至請求項4のいずれかに記載のコンテンツ検索装置。
  6. 前記検索結果表示部は、前記コンテンツ検索に用いた検索条件の履歴を表示する、
    請求項1乃至請求項5のいずれかに記載のコンテンツ検索装置。
  7. 前記検索結果表示部は、前記コンテンツ検索の結果を表示するに際し、全ての検索条件を満たしているか否かに基づいて表示態様を異ならせる、
    請求項1乃至請求項6のいずれかに記載のコンテンツ検索装置。
  8. 表示サイズを異ならせることにより、強調表示を行うか否かにより、あるいは、淡色表示を行うか否かのいずれかにより前記表示態様を異ならせる、
    請求項7記載のコンテンツ検索装置。
  9. 検索結果表示部において表示された前記コンテンツ検索結果のうち、いずれかを選択する選択操作を行う選択操作部を備え、
    前記検索部は、前記選択操作部において、いずれかの前記コンテンツ検索結果の選択がなされた場合に、コンテンツ検索処理を終了する、
    請求項1乃至請求項8のいずれかに記載のコンテンツ検索装置。
  10. 前記選択操作部及び前記検索結果表示部は、タッチパネルディスプレイとして構成されており、
    前記タッチパネルディスプレイの表示画面上で、いずれかのコンテンツ検索結果の選択操作がなされた場合に、選択された前記コンテンツ検索結果に対応するコンテンツの再生指示信号を制御対象機器に出力する再生指示部を備えた、
    請求項9記載のコンテンツ検索装置。
  11. コンテンツの検索を行うコンテンツ検索装置で実施されるコンテンツ検索方法であって、
    コンテンツの検索指示のための自然言語音声の入力と並行して音声認識を行い検索条件を逐次生成する検索条件生成過程と、
    前記検索条件の生成に伴って検索に用いる前記検索条件を更新しつつコンテンツ検索を行う検索過程と、
    前記検索条件の生成に伴って、前記コンテンツ検索に用いた検索条件及び当該検索条件に基づく前記コンテンツ検索の結果を更新しつつ表示する検索結果表示過程と、
    を備えたコンテンツ検索方法。
  12. コンテンツの検索を行うコンテンツ検索装置をコンピュータにより制御する制御プログラムであって、
    前記コンピュータを、
    コンテンツの検索指示のための自然言語音声の入力と並行して音声認識を行い検索条件を逐次生成する検索条件生成手段と、
    前記検索条件の生成に伴って検索に用いる前記検索条件を更新しつつコンテンツ検索を行う検索手段と、
    前記検索条件の生成に伴って、前記コンテンツ検索に用いた検索条件及び当該検索条件に基づく前記コンテンツ検索の結果を更新しつつ表示する検索結果表示手段と、
    して機能させる制御プログラム。
JP2012263583A 2012-11-30 2012-11-30 コンテンツ検索装置、コンテンツ検索方法及び制御プログラム Pending JP2014109889A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012263583A JP2014109889A (ja) 2012-11-30 2012-11-30 コンテンツ検索装置、コンテンツ検索方法及び制御プログラム
US14/024,154 US20140156279A1 (en) 2012-11-30 2013-09-11 Content searching apparatus, content search method, and control program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012263583A JP2014109889A (ja) 2012-11-30 2012-11-30 コンテンツ検索装置、コンテンツ検索方法及び制御プログラム

Publications (1)

Publication Number Publication Date
JP2014109889A true JP2014109889A (ja) 2014-06-12

Family

ID=50826288

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012263583A Pending JP2014109889A (ja) 2012-11-30 2012-11-30 コンテンツ検索装置、コンテンツ検索方法及び制御プログラム

Country Status (2)

Country Link
US (1) US20140156279A1 (ja)
JP (1) JP2014109889A (ja)

Cited By (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016167027A (ja) * 2015-03-10 2016-09-15 株式会社プロフィールド 情報処理装置、情報処理方法、およびプログラム
WO2016143131A1 (ja) * 2015-03-12 2016-09-15 株式会社 東芝 対話支援装置、方法およびプログラム、および端末
JPWO2016157650A1 (ja) * 2015-03-31 2018-01-25 ソニー株式会社 情報処理装置、制御方法、およびプログラム
KR20180073493A (ko) * 2016-12-22 2018-07-02 사운드하운드, 인코포레이티드 자연어 가상 비서에서의 양방향 발화 처리 기법
CN108702539A (zh) * 2015-09-08 2018-10-23 苹果公司 用于媒体搜索和回放的智能自动化助理
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
JP2019120935A (ja) * 2017-12-28 2019-07-22 ネイバー コーポレーションNAVER Corporation 人工知能機器で複数のウェイクワードを利用したサービス提供方法およびそのシステム
US10390213B2 (en) 2014-09-30 2019-08-20 Apple Inc. Social reminders
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10417344B2 (en) 2014-05-30 2019-09-17 Apple Inc. Exemplar-based natural language processing
US10438595B2 (en) 2014-09-30 2019-10-08 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US10529332B2 (en) 2015-03-08 2020-01-07 Apple Inc. Virtual assistant activation
US10580409B2 (en) 2016-06-11 2020-03-03 Apple Inc. Application integration with a digital assistant
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10657966B2 (en) 2014-05-30 2020-05-19 Apple Inc. Better resolution when referencing to concepts
US10681212B2 (en) 2015-06-05 2020-06-09 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10692504B2 (en) 2010-02-25 2020-06-23 Apple Inc. User profiling for voice input processing
US10699717B2 (en) 2014-05-30 2020-06-30 Apple Inc. Intelligent assistant for home automation
US10714117B2 (en) 2013-02-07 2020-07-14 Apple Inc. Voice trigger for a digital assistant
US10720160B2 (en) 2018-06-01 2020-07-21 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10741181B2 (en) 2017-05-09 2020-08-11 Apple Inc. User interface for correcting recognition errors
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US10769385B2 (en) 2013-06-09 2020-09-08 Apple Inc. System and method for inferring user intent from speech inputs
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10909171B2 (en) 2017-05-16 2021-02-02 Apple Inc. Intelligent automated assistant for media exploration
US10930282B2 (en) 2015-03-08 2021-02-23 Apple Inc. Competing devices responding to voice triggers
US10942703B2 (en) 2015-12-23 2021-03-09 Apple Inc. Proactive assistance based on dialog communication between devices
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US11010127B2 (en) 2015-06-29 2021-05-18 Apple Inc. Virtual assistant for media playback
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11048473B2 (en) 2013-06-09 2021-06-29 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11127397B2 (en) 2015-05-27 2021-09-21 Apple Inc. Device voice control
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US11231904B2 (en) 2015-03-06 2022-01-25 Apple Inc. Reducing response latency of intelligent automated assistants
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11314370B2 (en) 2013-12-06 2022-04-26 Apple Inc. Method for extracting salient dialog usage from live data
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11810578B2 (en) 2020-05-11 2023-11-07 Apple Inc. Device arbitration for digital assistant-based intercom systems
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11928604B2 (en) 2005-09-08 2024-03-12 Apple Inc. Method and apparatus for building an intelligent automated assistant

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10469556B2 (en) 2007-05-31 2019-11-05 Ooma, Inc. System and method for providing audio cues in operation of a VoIP service
WO2014006690A1 (ja) * 2012-07-03 2014-01-09 三菱電機株式会社 音声認識装置
CN103871401B (zh) * 2012-12-10 2016-12-28 联想(北京)有限公司 一种语音识别的方法及电子设备
JP6064629B2 (ja) * 2013-01-30 2017-01-25 富士通株式会社 音声入出力データベース検索方法、プログラム、及び装置
US9386148B2 (en) 2013-09-23 2016-07-05 Ooma, Inc. Identifying and filtering incoming telephone calls to enhance privacy
KR102246893B1 (ko) * 2013-12-11 2021-04-30 삼성전자주식회사 대화형 시스템, 이의 제어 방법, 대화형 서버 및 이의 제어 방법
US10769931B2 (en) 2014-05-20 2020-09-08 Ooma, Inc. Network jamming detection and remediation
US9633547B2 (en) 2014-05-20 2017-04-25 Ooma, Inc. Security monitoring and control
US10553098B2 (en) 2014-05-20 2020-02-04 Ooma, Inc. Appliance device integration with alarm systems
US11330100B2 (en) * 2014-07-09 2022-05-10 Ooma, Inc. Server based intelligent personal assistant services
US10009286B2 (en) 2015-05-08 2018-06-26 Ooma, Inc. Communications hub
US10911368B2 (en) 2015-05-08 2021-02-02 Ooma, Inc. Gateway address spoofing for alternate network utilization
US11171875B2 (en) 2015-05-08 2021-11-09 Ooma, Inc. Systems and methods of communications network failure detection and remediation utilizing link probes
US10771396B2 (en) 2015-05-08 2020-09-08 Ooma, Inc. Communications network failure detection and remediation
US10489516B2 (en) * 2016-07-13 2019-11-26 Fujitsu Social Science Laboratory Limited Speech recognition and translation terminal, method and non-transitory computer readable medium
US10956507B2 (en) * 2018-08-16 2021-03-23 Rovi Guides, Inc. Reaction compensated result selection
US10657968B1 (en) * 2018-11-19 2020-05-19 Google Llc Controlling device output according to a determined condition of a user
US11758231B2 (en) * 2019-09-19 2023-09-12 Michael J. Laverty System and method of real-time access to rules-related content in a training and support system for sports officiating within a mobile computing environment

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5890172A (en) * 1996-10-08 1999-03-30 Tenretni Dynamics, Inc. Method and apparatus for retrieving data from a network using location identifiers
US6484190B1 (en) * 1998-07-01 2002-11-19 International Business Machines Corporation Subset search tree integrated graphical interface
JP3980791B2 (ja) * 1999-05-03 2007-09-26 パイオニア株式会社 音声認識装置を備えたマンマシンシステム
US7268897B1 (en) * 1999-06-28 2007-09-11 Canon Kabushiki Kaisha Print control apparatus and method
DE10005832B4 (de) * 2000-02-10 2007-04-19 Gantenhammer, Andreas Verfahren zur Auswahl von Produkten
US6760720B1 (en) * 2000-02-25 2004-07-06 Pedestrian Concepts, Inc. Search-on-the-fly/sort-on-the-fly search engine for searching databases
WO2002084590A1 (en) * 2001-04-11 2002-10-24 Applied Minds, Inc. Knowledge web
WO2003075186A1 (en) * 2002-03-01 2003-09-12 Paul Jeffrey Krupin A method and system for creating improved search queries
US7484185B2 (en) * 2002-05-17 2009-01-27 International Business Machines Corporation Searching and displaying hierarchical information bases using an enhanced treeview
US20030233230A1 (en) * 2002-06-12 2003-12-18 Lucent Technologies Inc. System and method for representing and resolving ambiguity in spoken dialogue systems
US7519534B2 (en) * 2002-10-31 2009-04-14 Agiletv Corporation Speech controlled access to content on a presentation medium
EP2672403A1 (en) * 2003-04-04 2013-12-11 Yahoo! Inc. A system for generating search results including searching by subdomain hints and providing sponsored results by subdomain
US20050197843A1 (en) * 2004-03-07 2005-09-08 International Business Machines Corporation Multimodal aggregating unit
US7430324B2 (en) * 2004-05-25 2008-09-30 Motorola, Inc. Method and apparatus for classifying and ranking interpretations for multimodal input fusion
US7797328B2 (en) * 2004-12-21 2010-09-14 Thomas Lane Styles System and method of searching for story-based media
US20060152504A1 (en) * 2005-01-11 2006-07-13 Levy James A Sequential retrieval, sampling, and modulated rendering of database or data net information using data stream from audio-visual media
EP1934828A4 (en) * 2005-08-19 2008-10-08 Gracenote Inc METHOD AND SYSTEM FOR MANAGING THE OPERATION OF A REPRODUCTION DEVICE
US8954852B2 (en) * 2006-02-03 2015-02-10 Sonic Solutions, Llc. Adaptive intervals in navigating content and/or media
US8171412B2 (en) * 2006-06-01 2012-05-01 International Business Machines Corporation Context sensitive text recognition and marking from speech
JP4296521B2 (ja) * 2007-02-13 2009-07-15 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP4469867B2 (ja) * 2007-03-27 2010-06-02 株式会社東芝 コミュニケーションの状況を管理する装置、方法およびプログラム
US7899666B2 (en) * 2007-05-04 2011-03-01 Expert System S.P.A. Method and system for automatically extracting relations between concepts included in text
US9288548B1 (en) * 2007-05-15 2016-03-15 Tivo Inc. Multimedia content search system
US20080301167A1 (en) * 2007-05-28 2008-12-04 Rachel Ciare Goldeen Method and User Interface for Searching Media Assets Over a Network
US8175885B2 (en) * 2007-07-23 2012-05-08 Verizon Patent And Licensing Inc. Controlling a set-top box via remote speech recognition
US8245241B2 (en) * 2007-10-02 2012-08-14 International Business Machines Corporation Arrangements for interactivity between a virtual universe and the world wide web
JP2011503638A (ja) * 2007-10-26 2011-01-27 本田技研工業株式会社 カーナビゲーションシステムのための自由会話命令分類の改良
WO2009156978A1 (en) * 2008-06-26 2009-12-30 Intuitive User Interfaces Ltd System and method for intuitive user interaction
GB2465378A (en) * 2008-11-14 2010-05-19 Want2Bthere Ltd Image based search system and method
US9037999B2 (en) * 2008-12-31 2015-05-19 Tivo Inc. Adaptive search result user interface
US8522283B2 (en) * 2010-05-20 2013-08-27 Google Inc. Television remote control data transfer
GB201015720D0 (en) * 2010-09-20 2010-10-27 Gammons Richard Findability of data elements
JP5695447B2 (ja) * 2011-03-01 2015-04-08 株式会社東芝 テレビジョン装置及び遠隔操作装置
US20120260284A1 (en) * 2011-04-07 2012-10-11 Sony Corporation User interface for audio video display device such as tv personalized for multiple viewers
US8528018B2 (en) * 2011-04-29 2013-09-03 Cisco Technology, Inc. System and method for evaluating visual worthiness of video data in a network environment
US9049259B2 (en) * 2011-05-03 2015-06-02 Onepatont Software Limited System and method for dynamically providing visual action or activity news feed
US8909624B2 (en) * 2011-05-31 2014-12-09 Cisco Technology, Inc. System and method for evaluating results of a search query in a network environment
KR101857561B1 (ko) * 2011-08-31 2018-05-14 삼성전자 주식회사 휴대 단말기의 일정 관리 방법 및 장치
US8798995B1 (en) * 2011-09-23 2014-08-05 Amazon Technologies, Inc. Key word determinations from voice data
US8484017B1 (en) * 2012-09-10 2013-07-09 Google Inc. Identifying media content
WO2014041607A1 (ja) * 2012-09-11 2014-03-20 株式会社東芝 情報処理装置、情報処理方法およびプログラム
US9547647B2 (en) * 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
JP2014186372A (ja) * 2013-03-21 2014-10-02 Toshiba Corp 図絵描画支援装置、方法、及びプログラム

Cited By (146)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11928604B2 (en) 2005-09-08 2024-03-12 Apple Inc. Method and apparatus for building an intelligent automated assistant
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US10692504B2 (en) 2010-02-25 2020-06-23 Apple Inc. User profiling for voice input processing
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US11862186B2 (en) 2013-02-07 2024-01-02 Apple Inc. Voice trigger for a digital assistant
US11636869B2 (en) 2013-02-07 2023-04-25 Apple Inc. Voice trigger for a digital assistant
US10714117B2 (en) 2013-02-07 2020-07-14 Apple Inc. Voice trigger for a digital assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11048473B2 (en) 2013-06-09 2021-06-29 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US10769385B2 (en) 2013-06-09 2020-09-08 Apple Inc. System and method for inferring user intent from speech inputs
US11314370B2 (en) 2013-12-06 2022-04-26 Apple Inc. Method for extracting salient dialog usage from live data
US10699717B2 (en) 2014-05-30 2020-06-30 Apple Inc. Intelligent assistant for home automation
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10657966B2 (en) 2014-05-30 2020-05-19 Apple Inc. Better resolution when referencing to concepts
US10714095B2 (en) 2014-05-30 2020-07-14 Apple Inc. Intelligent assistant for home automation
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US10417344B2 (en) 2014-05-30 2019-09-17 Apple Inc. Exemplar-based natural language processing
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US10390213B2 (en) 2014-09-30 2019-08-20 Apple Inc. Social reminders
US10438595B2 (en) 2014-09-30 2019-10-08 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US11231904B2 (en) 2015-03-06 2022-01-25 Apple Inc. Reducing response latency of intelligent automated assistants
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US10930282B2 (en) 2015-03-08 2021-02-23 Apple Inc. Competing devices responding to voice triggers
US10529332B2 (en) 2015-03-08 2020-01-07 Apple Inc. Virtual assistant activation
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
JP2016167027A (ja) * 2015-03-10 2016-09-15 株式会社プロフィールド 情報処理装置、情報処理方法、およびプログラム
US10248383B2 (en) 2015-03-12 2019-04-02 Kabushiki Kaisha Toshiba Dialogue histories to estimate user intention for updating display information
JPWO2016143131A1 (ja) * 2015-03-12 2017-07-06 株式会社東芝 対話支援装置、方法およびプログラム、および端末
WO2016143131A1 (ja) * 2015-03-12 2016-09-15 株式会社 東芝 対話支援装置、方法およびプログラム、および端末
JPWO2016157650A1 (ja) * 2015-03-31 2018-01-25 ソニー株式会社 情報処理装置、制御方法、およびプログラム
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11127397B2 (en) 2015-05-27 2021-09-21 Apple Inc. Device voice control
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US10681212B2 (en) 2015-06-05 2020-06-09 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11010127B2 (en) 2015-06-29 2021-05-18 Apple Inc. Virtual assistant for media playback
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
JP2018534652A (ja) * 2015-09-08 2018-11-22 アップル インコーポレイテッドApple Inc. メディア検索及び再生のためのインテリジェント自動アシスタント
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US10956486B2 (en) 2015-09-08 2021-03-23 Apple Inc. Intelligent automated assistant for media search and playback
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11954405B2 (en) 2015-09-08 2024-04-09 Apple Inc. Zero latency digital assistant
CN108702539A (zh) * 2015-09-08 2018-10-23 苹果公司 用于媒体搜索和回放的智能自动化助理
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
CN108702539B (zh) * 2015-09-08 2021-05-28 苹果公司 使用数字助理进行媒体搜索和回放的方法、系统和介质
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US10942703B2 (en) 2015-12-23 2021-03-09 Apple Inc. Proactive assistance based on dialog communication between devices
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US11657820B2 (en) 2016-06-10 2023-05-23 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10580409B2 (en) 2016-06-11 2020-03-03 Apple Inc. Application integration with a digital assistant
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10699713B2 (en) 2016-12-22 2020-06-30 Soundhound, Inc. Techniques for concurrent processing of user speech
KR20180073493A (ko) * 2016-12-22 2018-07-02 사운드하운드, 인코포레이티드 자연어 가상 비서에서의 양방향 발화 처리 기법
KR102192062B1 (ko) 2016-12-22 2020-12-16 사운드하운드, 인코포레이티드 자연어 가상 비서에서의 양방향 발화 처리 기법
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US10741181B2 (en) 2017-05-09 2020-08-11 Apple Inc. User interface for correcting recognition errors
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11862151B2 (en) 2017-05-12 2024-01-02 Apple Inc. Low-latency intelligent automated assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US10909171B2 (en) 2017-05-16 2021-02-02 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
JP2019120935A (ja) * 2017-12-28 2019-07-22 ネイバー コーポレーションNAVER Corporation 人工知能機器で複数のウェイクワードを利用したサービス提供方法およびそのシステム
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11907436B2 (en) 2018-05-07 2024-02-20 Apple Inc. Raise to speak
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US10720160B2 (en) 2018-06-01 2020-07-21 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11360577B2 (en) 2018-06-01 2022-06-14 Apple Inc. Attention aware virtual assistant dismissal
US10504518B1 (en) 2018-06-03 2019-12-10 Apple Inc. Accelerated task performance
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360739B2 (en) 2019-05-31 2022-06-14 Apple Inc. User activity shortcut suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11924254B2 (en) 2020-05-11 2024-03-05 Apple Inc. Digital assistant hardware abstraction
US11810578B2 (en) 2020-05-11 2023-11-07 Apple Inc. Device arbitration for digital assistant-based intercom systems
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11750962B2 (en) 2020-07-21 2023-09-05 Apple Inc. User identification using headphones
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones

Also Published As

Publication number Publication date
US20140156279A1 (en) 2014-06-05

Similar Documents

Publication Publication Date Title
JP2014109889A (ja) コンテンツ検索装置、コンテンツ検索方法及び制御プログラム
US11853536B2 (en) Intelligent automated assistant in a media environment
US10088976B2 (en) Systems and methods for multiple voice document narration
US8498866B2 (en) Systems and methods for multiple language document narration
US8370151B2 (en) Systems and methods for multiple voice document narration
US8903723B2 (en) Audio synchronization for document narration with user-selected playback
JP4987623B2 (ja) ユーザと音声により対話する装置および方法
US7742924B2 (en) System and method for updating information for various dialog modalities in a dialog scenario according to a semantic context
JP2007295218A (ja) ノンリニア編集装置およびそのプログラム
JP2013092912A (ja) 情報処理装置、情報処理方法、並びにプログラム
JP2009116107A (ja) 情報処理装置及び方法
KR102446300B1 (ko) 음성 기록을 위한 음성 인식률을 향상시키는 방법, 시스템, 및 컴퓨터 판독가능한 기록 매체
JP7183316B2 (ja) 音声記録検索方法、コンピュータ装置およびコンピュータプログラム
JP7128222B2 (ja) 映像コンテンツに対する合成音のリアルタイム生成を基盤としたコンテンツ編集支援方法およびシステム
JP2005182168A (ja) コンテンツ処理装置、コンテンツ処理方法、コンテンツ処理プログラム、および記録媒体
JP2016009262A (ja) 動画処理装置、動画処理プログラム及び動画処理方法
US9471205B1 (en) Computer-implemented method for providing a media accompaniment for segmented activities
JP2003263191A (ja) 情報処理装置、情報処理方法、プログラム、記憶媒体
JPH11272383A (ja) 動作同期型音声言語表現生成方法及び装置及び動作同期型音声言語表現生成プログラムを格納した記憶媒体

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20151102