JP2017515134A - 模写によるデジタル携帯情報端末の対話、および応答時のリッチなマルチメディア - Google Patents

模写によるデジタル携帯情報端末の対話、および応答時のリッチなマルチメディア Download PDF

Info

Publication number
JP2017515134A
JP2017515134A JP2016546938A JP2016546938A JP2017515134A JP 2017515134 A JP2017515134 A JP 2017515134A JP 2016546938 A JP2016546938 A JP 2016546938A JP 2016546938 A JP2016546938 A JP 2016546938A JP 2017515134 A JP2017515134 A JP 2017515134A
Authority
JP
Japan
Prior art keywords
utterance
personal digital
response
digital assistant
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016546938A
Other languages
English (en)
Other versions
JP2017515134A5 (ja
JP6505117B2 (ja
Inventor
レッディ,ムーニ
ハワード,ロバート・ジェイ,ザ・サード
ハリソン,デボラ・ビー
マレクザデ,ソゴル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp, Microsoft Technology Licensing LLC filed Critical Microsoft Corp
Publication of JP2017515134A publication Critical patent/JP2017515134A/ja
Publication of JP2017515134A5 publication Critical patent/JP2017515134A5/ja
Application granted granted Critical
Publication of JP6505117B2 publication Critical patent/JP6505117B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/01Assessment or evaluation of speech recognition systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/16Speech classification or search using artificial neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Collating Specific Patterns (AREA)

Abstract

デジタル携帯情報端末を実装するためのシステム、方法、装置、および、コンピュータプログラム製品について記載される。デジタル携帯情報端末は、デジタル携帯情報端末のペルソナとやり取りすることが意図される質問または発言をユーザが行ったことを判断することができる。ユーザがこのような質問またはこのような発言を行ったとの判断に応答して、デジタル携帯情報端末はそれに対する応答を、デジタル携帯情報端末のユーザインターフェース内でまたはそれによって、大衆文化への言及に関連するマルチメディアオブジェクトを表示するまたは再生することによって提供する。さらにまたは代替的に、ユーザがこのような質問またはこのような発言を行ったとの判断に応答して、デジタル携帯情報端末は、それに対する応答を、大衆文化への言及に関連する人物の声の模写を含む発話を生成するまたは再生することによって提供する。

Description

本発明は、模写によるデジタル携帯情報端末の対話、および応答時のリッチなマルチメディアに関する。
[0001]擬人化コンピュータ対話は、人工知能の分野において非常に一般的である。デジタル携帯情報端末(デジタルパーソナルアシスタント、digital personal assistant)のメーカは、情報端末に個性を持たせることで、ユーザとやり取りするレベルを非常に高度に維持し、また、ユーザと情報端末との間の信用の要素を確立し、それによって、デジタル携帯情報端末の使用および情報端末との対話の継続を促進する。
[0002]やり取りのレベルを高度に維持するための1つの技法は、デジタル携帯情報端末によって行われる応答を面白くしかつ楽しませることを必要とする。デジタル携帯情報端末のいくつかの従来の実装形態は、ユーザが砕けた口調で質問をする時に、面白いテキストの応答を生成するようにプログラムされる。しかしながら、従来のデジタル携帯情報端末は、典型的には、遊び心に満ちた応答を提示する時に、デジタルキャンバスの柔軟性を十分に活用していないし、応答を行う時に、面白くまたは異なるように聞こえさせるための現代のテキスト音声合成技法の能力も活用していない。また、遊び心に満ちた応答の側面を伝達するために使用可能なデジタル情報端末の視覚表現は存在しない。
[0003]本明細書において、デジタル携帯情報端末を実装するためのシステム、方法、装置、および、コンピュータプログラム製品について記載される。デジタル携帯情報端末は、例えば、デジタル携帯情報端末がユーザの代わりに情報を得るまたは何か他のタスクを行うことを要求するのとは対照的に、デジタル携帯情報端末のペルソナ(persona)とやり取りすることが意図される質問または発言をユーザが行ったことを判断することができる。ユーザがこのような質問またはこのような発言を行ったとの判断に応答して、デジタル携帯情報端末は、それに対する応答を、デジタル携帯情報端末のユーザインターフェース内でまたはそれによって、大衆文化への言及に関連するマルチメディアオブジェクトを表示することまたは再生することによって行う。さらにまたは代替的に、ユーザがこのような質問またはこのような発言を行ったとの判断に応答して、デジタル携帯情報端末は、それに対する応答を、大衆文化への言及に関連する人物の声の模写(impersonation)を含む発話を生成することまたは再生することによって行う。さらにまた、デジタル携帯情報端末は、大衆文化への言及に関連する引用を含むテキストをデジタル携帯情報端末のユーザインターフェース内で表示すること、大衆文化への言及を呼び起こす(evoke)、デジタル携帯情報端末の視覚表現をデジタル携帯情報端末のユーザインターフェース内で表示すること、および/または、大衆文化への言及に関連するコンテンツにアクセスするためにユーザによってアクティブ化され得るリンクをデジタル携帯情報端末のユーザインターフェース内で表示することによって、応答を行うことができる。
[0004]特に、本明細書では、デジタル携帯情報端末を実装するための方法について記載される。この方法によると、デジタル携帯情報端末のユーザの発声のデジタル表現が受け取られる。少なくとも発声のデジタル表現の解析に基づいて、発声がデジタル携帯情報端末のペルソナとやり取りすることが意図される発声を含むと判断される。発音がデジタル携帯情報端末のペルソナとやり取りすることが意図される発声を含むと少なくとも判断することに応答して、デジタル携帯情報端末に、発声に対する応答を生成させる。発声に対する応答は、デジタル携帯情報端末のユーザインターフェース内で表示されるまたはそれによって再生される、および、大衆文化への言及に関連するマルチメディアオブジェクト(例えば、画像、映像コンテンツまたは音声コンテンツ)を含む。代替的にはまたはさらに、発声に対する応答は、デジタル携帯情報端末によって生成されるまたは再生される、および大衆文化への言及に関連する人物の声の模写を含む発話を含む。
[0005]前述の方法の一実施形態において、発声に対する応答は、デジタル携帯情報端末のユーザインターフェース内で表示されるテキストであって、大衆文化への言及に関連する引用を含むテキストをさらに含む。
[0006]別の実施形態では、発話は大衆文化への言及に関連する引用を含む。
[0007]さらに別の実施形態では、発声に対する応答は、デジタル携帯情報端末のそのユーザインターフェース内で表示され、かつ、大衆文化への言及を呼び起こす視覚表現をさらに含む。さらにこのような実施形態によると、デジタル携帯情報端末の視覚表現は、デジタル携帯情報端末のアニメーションを含むことができる。
[0008]また別の実施形態では、発声に対する応答は、デジタル携帯情報端末のユーザインターフェース内で表示され、大衆文化への言及に関連するコンテンツにアクセスするためにユーザによってアクティブ化され得るリンクをさらに含む。
[0009]前述の方法の実装形態によっては、発声に対する応答を生成させることは、発声に対する複数の適格な応答を特定すること、および、発声に対する複数の適格な応答の中から発声に対する応答を選択することを含むことができる。
[0010]別の実装形態によると、発声に対する応答を生成させることは、発声タイプの階層ツリー内の特定の発声タイプに発声をマッチさせることであって、発声タイプの階層ツリーにおけるそれぞれの発声タイプに1つまたは複数の応答が関連付けられている、マッチさせること、および、特定の発声タイプに関連する応答の中から発声に対する応答を選択することを含む。
[0011]さらなる実装形態によると、発声に対する応答を生成させることは、発声がトレンディングトピックに関連すると判断すること、および、発声がトレンディングトピックに関連するとの判断に応答して、トレンディングトピックに関連する1つまたは複数の応答の中から発声に対する応答を選択することを含む。
[0012]なおさらなる実装形態によると、発声に対する応答を生成させることは、発声が、デジタル携帯情報端末のペルソナを伝達することが意図される1つまたは複数の事前定義された応答が存在する発声であると判断すること、および、発声が、デジタル携帯情報端末のペルソナを伝達することが意図される1つまたは複数の事前定義された応答が存在する発声であるとの判断に応答して、1つまたは複数の事前定義された応答の中から発声に対する応答を選択することを含む。
[0013]前述の方法の別の実施形態では、発声に対する応答を生成させることは、デジタル携帯情報端末を実行しているコンピューティングデバイスに対して音声ファイルを特定する発話または情報を含む音声ファイルを送信することを含む。
[0014]なお別の実施形態では、発声に対する応答を生成させることは、デジタル携帯情報端末を実行しているコンピューティングデバイスに対するテキストであって、デジタル携帯情報端末のテキスト音声コンポーネントによって発話を生成するように処理されるテキストを提供することを含む。
[0015]本明細書では、コンピューティングデバイスについても説明される。コンピューティングデバイスは少なくとも1つのプロセッサおよびメモリを含む。メモリは、少なくとも1つのプロセッサによって実行するためのコンピュータプログラム論理を記憶する。コンピュータプログラム論理は、少なくとも1つのプロセッサによって実行される時、動作を行うように構成される1つまたは複数のコンポーネントを含む。1つまたは複数のコンポーネントはデジタル携帯情報端末を含む。デジタル携帯情報端末は、ユーザの発声を表現する音声をキャプチャするように、および、その音声をデジタル携帯情報端末バックエンドへ伝送するように構成される。発声は、デジタル携帯情報端末のペルソナとやり取りすることが意図される発声を含む。デジタル携帯情報端末は、少なくとも、デジタル携帯情報端末バックエンドから受け取られた情報に基づいて発声に対する応答を行うようにさらに構成される。応答を行うことは、大衆文化への言及に関連する人物の声の模写を含む発話を生成することまたは再生することを含む。
[0016]コンピューティングデバイスの一実施形態では、デジタル携帯情報端末は、発話を含む音声ファイルを再生するように構成される。コンピューティングデバイスの別の実施形態では、デジタル携帯情報端末は、発話を生成するためにテキスト音声変換をテキストに適用するように構成される。
[0017]コンピューティングデバイスの別の実施形態では、応答を行うことは、デジタル携帯情報端末のユーザインターフェースによって、大衆文化への言及に関連するマルチメディアオブジェクトを表示することまたは再生すること、デジタル携帯情報端末のユーザインターフェース内で、大衆文化への言及に関連する引用を含むテキストを表示すること、デジタル携帯情報端末のユーザインターフェース内で大衆文化への言及を呼び起こす、デジタル携帯情報端末の視覚表現を表示すること、および、大衆文化への言及に関連するコンテンツにアクセスするためにユーザによってアクティブ化され得るリンクを、デジタル携帯情報端末のユーザインターフェース内で表示することのうちの少なくとも1つをさらに含む。
[0018]本明細書では、別のコンピューティングデバイスについて説明される。コンピューティングデバイスは少なくとも1つのプロセッサおよびメモリを含む。メモリは、少なくとも1つのプロセッサによって実行するためのコンピュータプログラム論理を記憶する。コンピュータプログラム論理は、少なくとも1つのプロセッサによって実行される時、動作を行うように構成される1つまたは複数のコンポーネントを含む。1つまたは複数のコンポーネントはデジタル携帯情報端末を含む。デジタル携帯情報端末は、ユーザの発声を表現する音声をキャプチャするように、および、その音声をデジタル携帯情報端末バックエンドへ伝送するように構成される。発声は、デジタル携帯情報端末のペルソナとやり取りすることが意図される発声を含む。デジタル携帯情報端末は、少なくとも、デジタル携帯情報端末バックエンドから受け取られた情報に基づいて発声に対する応答を行うようにさらに構成される。応答を行うことは、大衆文化への言及に関連するマルチメディアオブジェクトをデジタル携帯情報端末のユーザインターフェースによって表示することまたは再生することを含む。
[0019]コンピューティングデバイスの一実施形態では、マルチメディアオブジェクトは、画像、映像コンテンツ、または、音声コンテンツを含む。
[0020]コンピューティングデバイスの別の実施形態では、応答を行うことは、大衆文化への言及に関連する人物の声の模写を含む発話を生成することまたは再生すること、デジタル携帯情報端末のユーザインターフェース内で大衆文化への言及に関連する引用を含むテキストを表示すること、デジタル携帯情報端末のユーザインターフェース内で大衆文化への言及を呼び起こす、デジタル携帯情報端末の視覚表現を表示すること、および、大衆文化への言及に関連するコンテンツにアクセスするためにユーザによってアクティブ化され得るリンクをデジタル携帯情報端末のユーザインターフェース内で表示することのうちの少なくとも1つをさらに含む。
[0021]この「発明の概要」は、「発明を実施するための形態」においてさらに後述される概念の選択を簡略化した形で紹介するために提供される。この「発明の概要」において、特許請求される主題の重要な特徴または基本的な特徴を特定することは意図されておらず、特許請求される主題の範囲を限定するために使用されることも意図されていない。さらに、特許請求される主題は本書の「発明を実施するための形態」および/または他の節において記載される特定的な実施形態に限定されないことに留意されたい。かかる実施形態は本明細書では例示する目的のみで提示される。さらなる実施形態は、本明細書に含有される教示に基づいて、当業者には明らかとなろう。
[0022]本明細書に組み込まれ、かつ、本明細書の一部分を形成する添付の図面は、本発明の実施形態を示し、その説明と共に、さらに、本発明の原理を説明し、かつ、当業者が本発明を作製し使用することができるようにする役割を果たす。
[0023]例示の実施形態に従って、雑談タイプの発声に応答する際に模写およびマルチメディアを利用するデジタル携帯情報端末を実装する例示のシステムのブロック図である。 [0024]デジタル携帯情報端末が、ユーザが雑談タイプの発声を行ったことを判断すること、および、それに対する応答を行うことを可能にするために、図1のシステムのさまざまなコンポーネントがどのように動作するかを示すブロック図である。 [0025]ある実施形態に従って、雑談タイプの発声に対する応答を選択するために使用できる発声タイプの階層ツリーの例を示す図である。 [0026]ある実施形態に従って、雑談タイプの発声に応答してデジタル携帯情報端末によって行われ得る例示の応答を示すブロック図である。 [0027]さまざまな実施形態に従って、デジタル携帯情報端末のユーザインターフェースを介して行われ得る雑談タイプの発声に対する応答の例を示す図である。 さまざまな実施形態に従って、デジタル携帯情報端末のユーザインターフェースを介して行われ得る雑談タイプの発声に対する応答の例を示す図である。 さまざまな実施形態に従って、デジタル携帯情報端末のユーザインターフェースを介して行われ得る雑談タイプの発声に対する応答の例を示す図である。 さまざまな実施形態に従って、デジタル携帯情報端末のユーザインターフェースを介して行われ得る雑談タイプの発声に対する応答の例を示す図である。 さまざまな実施形態に従って、デジタル携帯情報端末のユーザインターフェースを介して行われ得る雑談タイプの発声に対する応答の例を示す図である。 さまざまな実施形態に従って、デジタル携帯情報端末のユーザインターフェースを介して行われ得る雑談タイプの発声に対する応答の例を示す図である。 [0028]ある実施形態に従って、雑談タイプの発声に応答する際に模写および/またはマルチメディアを利用するデジタル携帯情報端末を実装するための方法のフローチャートである。 [0029]ある実施形態に従って、声の模写を含む雑談タイプの発声に対する応答をデジタル携帯情報端末が行うことによる方法のフローチャートである。 [0030]ある実施形態に従って、マルチメディアオブジェクトを含む雑談タイプの発声に対する応答をデジタル携帯情報端末が行うことによる方法のフローチャートである。 [0031]さまざまな実施形態を実装するために使用可能な例示のモバイルデバイスのブロック図である。 [0032]さまざまな実施形態を実装するために使用可能な例示のプロセッサベースのコンピュータシステムのブロック図である。
[0033]本発明の特徴および利点は、図面と併せて用いられる時に下で明記される詳細な説明からより明らかとなろう。図面では、同様の参照符号は全体を通して対応する要素を特定する。図面において、同様の参照番号は、全体的に、同一の、機能的に同様の、および/または、構造的に同様の要素を示す。ある要素が最初に現れる図面は、対応する参照番号の最左の桁(複数可)によって示される。
I.序文
[0034]以下の詳細な説明は、本発明の例示の実施形態を示す添付の図面に言及する。しかしながら、本発明の範囲は、これらの実施形態に限定されず、むしろ、添付の特許請求の範囲によって定められる。よって、示される実施形態の修正バージョンなどの、添付の図面に示される実施形態の範囲を超えた実施形態は、それにもかかわらず、本発明によって包含されてよい。
[0035]本明細書における「一実施形態」、「ある実施形態」、または「例示の実施形態」などに対する言及は、説明される実施形態が特定の特徴、構造、または特性を含むことができるが、あらゆる実施形態が必ずしも特定の特徴、構造、または特性を含まなくてもよいことを示す。さらに、このような句は、必ずしも同じ実施形態に言及するものではない。また、特定の特徴、構造、または特性がある実施形態に関して説明される時に、明示的に説明されているか否かに関わらず、他の実施形態に関してこのような特徴、構造、または特性を実装することは当業者の知識内にあると考えられる。
[0036]本明細書において、デジタル携帯情報端末を実装するためのシステム、方法、装置、および、コンピュータプログラム製品について記載される。デジタル携帯情報端末は、例えば、デジタル携帯情報端末がユーザの代わりに情報を得るまたは何か他のタスクを行うことを要求するのとは対照的に、デジタル携帯情報端末のペルソナとやり取りすることが意図される質問または発言をユーザが行ったことを判断することができる。ユーザがこのような質問またはこのような発言を行ったとの判断に応答して、デジタル携帯情報端末はそれに対する応答を、デジタル携帯情報端末のユーザインターフェース内でまたはそれによって、大衆文化への言及に関連するマルチメディアオブジェクトを表示するまたは再生することによって行う。さらにまたは代替的に、ユーザがこのような質問またはこのような発言を行ったとの判断に応答して、デジタル携帯情報端末は、それに対する応答を、大衆文化への言及に関連する人物の声の模写を含む発話を生成するまたは再生することによって行う。さらにまた、デジタル携帯情報端末は、大衆文化への言及に関連する引用を含むテキストをデジタル携帯情報端末のユーザインターフェース内で表示すること、大衆文化への言及を呼び起こす、デジタル携帯情報端末の視覚表現をデジタル携帯情報端末のユーザインターフェース内で表示すること、および/または、大衆文化への言及に関連するコンテンツにアクセスするためにユーザによってアクティブ化され得るリンクをデジタル携帯情報端末のユーザインターフェース内で表示することによって、応答を行うことができる。
[0037]前述のやり方で、デジタル携帯情報端末が、そのペルソナとやり取りすることが意図されるユーザの発声(本明細書において「雑談タイプの発声」とも呼ばれる)に対して応答できるようにすることによって、本明細書に記載される実施形態は、有利には、ユーザとデジタル携帯情報端末との間のやり取りのレベルを上げ、また、ユーザと情報端末との間の信用の要素を確立することができ、それによって、デジタル携帯情報端末の継続される使用および情報端末との継続される対話を促進する。例えば、ユーザによって認識および/または理解されやすい大衆文化への言及に関連するマルチメディアオブジェクト、声の模写、引用、および、リンクを含む応答を行うことによって、デジタル携帯情報端末は、楽しませることと、ユーザとの共通意識を確立することとの両方を行うことができる。
[0038]第II節では、実施形態に従って、雑談タイプの発声に応答する際に、模写および/またはマルチメディアを利用する、デジタル携帯情報端末を実装するシステム例について説明する。第III節では、実施形態に従って、雑談タイプの発声に応答する際に、模写および/またはマルチメディアを利用する、デジタル携帯情報端末を実装するための例示の方法について説明する。第IV節では、本明細書に記載される実施形態に従って、デジタル携帯情報端末を実装するために使用可能な例示のモバイルデバイスについて説明する。第V節では、本明細書に記載される実施形態に従って、デジタル携帯情報端末を実装するために使用可能な例示のデスクトップコンピュータについて説明する。第VI節では、いくつかの結論を挙げる。
II.応答時に模写および/またはマルチメディアを利用するデジタル携帯情報端末を実装するシステム例
[0039]図1は、例示の実施形態に従って、雑談タイプの発声に応答する際に模写およびマルチメディアを利用するデジタル携帯情報端末を実装する例示のシステム100のブロック図である。図1に示されるように、システム100は、1つまたは複数のネットワーク104を介してデジタル携帯情報端末バックエンド106に通信によって接続されるエンドユーザコンピューティングデバイス102を含む。これらのコンポーネントのそれぞれについてはここで説明される。
[0040]エンドユーザコンピューティングデバイス102は、インストールされているソフトウェアベースのデジタル携帯情報端末130を実行することができるプロセッサベースの電子デバイスを表すことが意図される。デジタル携帯情報端末130は、エンドユーザコンピューティングデバイス102のユーザの代わりに実行されてよい。一実施形態では、エンドユーザコンピューティングデバイス102は、モバイルフォン(例えばスマートフォン)などのモバイルコンピューティングデバイス、ラップトップコンピュータ、タブレットコンピュータ、ネットブック、スマートウォッチもしくはヘッドマウントコンピュータなどのウェアラブルコンピュータ、ポータブルメディアプレーヤー、ゲームコンソール、パーソナルナビゲーション情報端末、カメラ、または、ユーザの代わりにデジタル携帯情報端末を実行することができる任意の他のモバイルデバイスを備える。エンドユーザコンピューティングデバイス102の機能性を組み込むことができるモバイルデバイスの一例については、図14を参照して後述される。別の実施形態では、エンドユーザコンピューティングデバイス102は、デスクトップコンピュータ、ゲームコンソール、または、ユーザの代わりにデジタル携帯情報端末を実行することができる他の非モバイルのコンピューティングプラットフォームを備える。エンドユーザコンピューティングデバイス102の機能性を組み込むことができる例示のデスクトップコンピュータについては、図15を参照して後述される。
[0041]エンドユーザコンピューティングデバイス102は、ネットワーク104を介してデジタル携帯情報端末バックエンド106と通信できる。携帯情報端末バックエンド106は、デジタル携帯情報端末130、および、他のエンドユーザコンピューティングデバイス上で実行している他のデジタル携帯情報端末の動作をサポートするサービスを提供するようにプログラムされる1つまたは複数のコンピュータ(例えばサーバ)を備える。例えば、本明細書で述べられるように、携帯情報端末バックエンド106は、発話認識、ならびに、クエリ理解および応答に関するサービスをデジタル携帯情報端末130に提供するように構成される1つまたは複数のコンピュータを含む。特に、図1に示されるように、これらのサービスはそれぞれ、発話認識サービス132、ならびに、クエリ理解および応答システム136によって提供される。デジタル携帯情報端末バックエンド106は、デジタル携帯情報端末130の代わりに任意の数の他のサービスを行ってよいが、かかる追加のサービスは、本明細書において明示的に記載されない場合があることに留意されたい。
[0042]一実施形態では、デジタル携帯情報端末バックエンド106は、多数の適切に構成された機械のうちのいずれか1つが、1つまたは複数の所望のサービスにデジタル携帯情報端末130をサポートさせるために随意に選択されてよいクラウドベースバックエンドを備える。当業者には理解されるように、かかるクラウドベースの実装形態は、デジタル携帯情報端末130といったデジタル携帯情報端末にバックエンドサービスを提供するための信頼できかつスケーラブルなフレームワークを提供する。
[0043]ネットワーク104は、任意のタイプのネットワーク、または、エンドユーザコンピューティングデバイス102などのエンドユーザコンピューティングデバイスと、デジタル携帯情報端末バックエンド106との間の通信を容易にするのに適切なネットワークの組み合わせを表すことが意図される。ネットワーク104は、例えば、限定するのではなく、ワイドエリアネットワーク、ローカルエリアネットワーク、プライベートネットワーク、パブリックネットワーク、パケットネットワーク、回路交換ネットワーク、有線ネットワーク、および/または、無線ネットワークを含んでよい。
[0044]さらに図1に示されるように、エンドユーザコンピューティングデバイス102は、処理ユニット110、不揮発性メモリ120、揮発性メモリ112、1つまたは複数のユーザ入力デバイス116、ディスプレイ118、ならびに、1つまたは複数のネットワークインターフェース114を含む複数の相互接続コンポーネントを含む。これらのコンポーネントのそれぞれについてはここで説明される。
[0045]処理ユニット110は、1つまたは救数のマイクロプロセッサを表すことが意図される。これらマイクロプロセッサのそれぞれは、1つまたは複数の中央処理ユニット(CPU)またはマイクロプロセッサコアを有してよい。処理ユニット110は、コンピュータプログラム(本明細書においてコンピュータプログラム論理とも呼ばれる)を実行するために周知のやり方で動作する。かかるコンピュータプログラムの実行によって、処理ユニット110は、本明細書に記載される動作を含む動作を行う。不揮発性メモリ120、揮発性メモリ112、ユーザ入力デバイス116、ディスプレイ118、およびネットワークインターフェース114のそれぞれは、1つまたは複数の適切なインターフェースを介して処理ユニット110に接続される。
[0046]不揮発性メモリ120は、コンピュータプログラムおよびデータを持続的に記憶するように動作する1つまたは複数のコンピュータ可読メモリデバイスを備え、それによって、エンドユーザコンピューティングデバイス102が、無電力であるまたはパワーダウン状態である時でも記憶された情報が失われないようにする。不揮発性メモリ120は、読み出し専用メモリ(ROM)デバイス、ソリッドステートドライブ、ハードディスクドライブ、磁気ディスクおよび関連のドライブなどの磁気記憶媒体、光ディスクおよび関連のドライブなどの光学式記憶媒体、ならびに、USBフラッシュドライブなどのフラッシュメモリデバイスを含むがこれらに限定されない多種多様の不揮発性コンピュータ可読メモリデバイスのいずれかを使用して実装されてよい。
[0047]揮発性メモリ112は、コンピュータプログラムおよびデータを非持続的に記憶するように動作する1つまたは複数のコンピュータ可読メモリデバイスを備え、それによって、エンドユーザコンピューティングデバイス102が、無電力であるまたはパワーダウン状態である時でも記憶された情報が失われないようにする。揮発性メモリ112は、ランダムアクセスメモリ(RAM)デバイスを含むがこれに限定されない多種多様の揮発性コンピュータ可読メモリデバイスのいずれかを使用して実装されてよい。
[0048]ディスプレイ118は、テキストおよび画像などのコンテンツがエンドユーザコンピューティングデバイス102のユーザに可視となるようにレンダリングされ得るデバイスを備える。かかるコンテンツを表示するために必要とされるレンダリング動作の一部または全ては、処理ユニット110によって少なくとも一部分において行われてよい。レンダリング動作の一部または全ては、処理ユニット110とディスプレイ118との間で連結される映像またはグラフィックスチップもしくはカード(図1には図示されない)などのディスプレイデバイスインターフェースによって行われてもよい。エンドユーザコンピューティングデバイス102の実装形態によっては、ディスプレイ118は、処理ユニット110と同じ物理的構造または筐体内に組み込まれるデバイスを含んでよい、または、処理ユニット110を含む構造または筐体から物理的に分離され、かつ、適切な有線および/または無線接続を介して接続されるモニター、プロジェクタ、または他のタイプのデバイスを備えてよい。
[0049]ユーザ入力デバイス116は、ユーザの操作またはその制御に応答してユーザ入力情報を生成するように動作する1つまたは複数のデバイスを備える。かかるユーザ入力情報は、これを処理するための処理ユニット110へ適切なインターフェースを介して渡される。実装形態によっては、ユーザ入力デバイス116は、タッチスクリーン(例えば、ディスプレイ118と一体化されるタッチスクリーン)、キーボード、キーバッド、マウス、タッチパッド、トラックボール、ジョイスティック、ポインティングスティック、ワイヤードグローブ、運動追跡センサ、ゲームコントローラもしくはゲームパッド、または、カメラなどの映像キャプチャデバイスを含んでよい。しかしながら、これらの例は、限定することが意図されるものではなく、ユーザ入力デバイス116は、本明細書に列挙されるもの以外の他のタイプのデバイスを含んでよい。実装形態によっては、それぞれのユーザ入力デバイス116は、(モバイルデバイス上の一体型のタッチスクリーン、タッチパッドまたはキーパッドなどの)処理ユニット110と同じ物理的構造または筐体内に組み込まれてもよいし、処理ユニット110を含む物理的構造または筐体から物理的に分離され、適切な有線および/または無線接続を介してそれに接続されてもよい。
[0050]ネットワークインターフェース114は、エンドユーザコンピューティングデバイス102が1つまたは複数のネットワーク104上で通信できるようにする1つまたは複数のインターフェースを備える。例えば、ネットワークインターフェース114は、イーサネット(登録商標)インターフェースなどの有線ネットワークインターフェース、または、IEEE802.11(「Wi−Fi」)インターフェースもしくは3G通信インターフェースなどの無線ネットワークインターフェースを備えてよい。しかし、これらは例示にすぎなく、限定することを意図するものではない。
[0051]図1にさらに示されるように、不揮発性メモリ120は、複数のアプリケーション122およびオペレーティングシステム124を含むいくつかのソフトウェアコンポーネントを記憶する。
[0052]複数のアプリケーション122におけるそれぞれのアプリケーションは、エンドユーザコンピューティングデバイス102のユーザが処理ユニット110によって実行させることができるコンピュータプログラムを含む。それぞれのアプリケーションを実行させることによって、一定の動作がユーザの代わりに行われ、この場合、行われる動作のタイプは、アプリケーションがどのようにプログラムされるかによって変化することになる。アプリケーション122は、例えば、限定ではなく、テレフォニアプリケーション、電子メールアプリケーション、メッセージングアプリケーション、WEBブラウジングアプリケーション、カレンダーアプリケーション、ユーティリティアプリケーション、ゲームアプリケーション、ソーシャルネットワーキングアプリケーション、音楽アプリケーション、生産性アプリケーション、ライフスタイルアプリケーション、参照アプリケーション、旅行アプリケーション、スポーツアプリケーション、ナビゲーションアプリケーション、健康管理およびフィットネスアプリケーション、ニュースアプリケーション、写真撮影アプリケーション、財務管理アプリケーション、業務アプリケーション、教育アプリケーション、天気アプリケーション、本アプリケーション、または、医療アプリケーションなどを含んでよい。図1に示されるように、アプリケーション122は、デジタル携帯情報端末130を含み、この機能は、本明細書においてより詳細に説明される。
[0053]アプリケーション122は、実装形態によって、さまざまなやり方でエンドユーザコンピューティングデバイス102に対して配布および/またはインストールされてよい。例えば、一実施形態では、少なくとも1つのアプリケーションは、エンドユーザコンピューティングデバイス102に記憶されかつインストールされるアプリケーションからダウンロードされる。エンドユーザデバイス102が企業ネットワークの一部分としてまたは企業ネットワークと併せて利用される別の実施形態では、少なくとも1つのアプリケーションはさまざまな企業ネットワーク管理ツールのいずれかを使用してシステム管理者によってエンドユーザコンピューティングデバイス102に配布され、次いでインストールされる。さらに別の実施形態では、少なくとも1つのアプリケーションは、さまざまな適切なシステムビルダーユーティリティのいずれかを使用して、相手先商標製造会社(OEM)または埋め込みデバイス製造会社などによって、システムビルダーによってエンドユーザコンピューティングデバイス102にインストールされる。さらなる実施形態では、オペレーティングシステム製造会社は、エンドユーザコンピューティングデバイス102にインストールされるオペレーティングシステム124と連動するアプリケーションを含んでよい。
[0054]オペレーティングシステム124は、リソースを管理し、かつ、アプリケーション122などの、エンドユーザコンピューティングデバイス102上で実行されるアプリケーションに共通のサービスを提供するプログラムのセットを備える。他の特徴の中で、オペレーティングシステム124は、オペレーティングシステム(OS)ユーザインターフェース132を備える。OSユーザインターフェース132は、限定はされないが、アプリケーションを探索しかつ起動すること、一定のオペレーティングシステム機能性を呼び出すこと、および、一定のオペレーティングシステム設定を設定することなどの、さまざまな目的のためにユーザがオペレーティングシステム124と対話することができるユーザインターフェースを生成するオペレーティングシステム124のコンポーネントを備える。一実施形態では。OSユーザインターフェース132は、タッチスクリーンベースのグラフィカルユーザインターフェース(GUI)を備えるが、これは例にすぎない。さらにかかる例によると、エンドユーザコンピューティングデバイス102にインストールされるそれぞれのアプリケーション122は、GUI内にアイコンまたはタイルとして表され、かつ、適切なアイコンまたはタイルとのタッチスクリーンによる対話を通してユーザによって呼び出されてよい。しかしながら、多種多様の代替的なユーザインターフェースモデルのいずれも、OSユーザインターフェース132によって使用されてよい。
[0055]アプリケーション122およびオペレーティングシステム124は、不揮発性メモリ120において記憶されているとして示されるが、エンドユーザコンピューティングデバイス102の動作中、アプリケーション122、オペレーティングシステム124、またはそれらの一部は、揮発性メモリ112にロードされ、かつ、処理ユニット110によってプロセスとして揮発性メモリ112から実行されてよいことは理解されたい。
[0056]デジタル携帯情報端末130は、ユーザ入力、ならびに、位置把握、および、オンラインソースを含むさまざまなソースからの情報(天気または交通状況、ニュース、株価、ユーザスケジュール、小売価格など)にアクセスするための能力といった特徴に基づいてエンドユーザコンピューティングデバイス102のユーザのためにタスクまたはサービスを行うように構成されるコンピュータプログラムを含む。ユーザの代わりにデジタル携帯情報端末130によって行われ得るタスクの例は、ユーザによって指定された人物に電話をかけること、ユーザによって指定されたアプリケーションを起動すること、ユーザによって指定された電子メールまたはテキストメッセージをユーザによって指定された受取人へ送信すること、ユーザによって指定された音楽をかけること、ユーザカレンダー上でミーティングまたは他のイベントをスケジュール設定すること、ユーザによって指定された場所への方向を得ること、ユーザによって指定されたスポーツイベントに関連するスコアを得ること、ユーザによって指定されたコンテンツをソーシャルメディアウェブサイトまたはマイクロブロギングサービスに投稿すること、ユーザによって指定されたリマインダまたはノートを記録すること、天気予報を得ること、現在の時間を得ること、ユーザによって指定された時間にアラームを設定すること、ユーザによって指定された会社の株価を得ること、近くの商業施設を探索すること、または、インターネット検索を行うことなどを含んでよいがこれらに限定されない。デジタル携帯情報端末130は、ユーザとの継続される対話によってある期間にわたってその性能を改良するためのさまざまな人工知能技法のいずれかを使用してよい。デジタル携帯情報端末130は、知的携帯情報端末、知的ソフトウェア情報端末、または、バーチャル携帯情報端末などと呼ばれる場合もある。
[0057]デジタル携帯情報端末130はユーザインターフェースを提供するように構成され、このユーザインターフェースによって、質問、コマンドまたは他の言葉による入力をサブミットすることができる、および、かかる入力に対する応答がユーザに対して行われてよい。一実施形態では、入力は、エンドユーザコンピューティングデバイス102の1つまたは複数のマイクロフォン(そのそれぞれがユーザ入力デバイス116のうちの1つを備えてよい)によってキャプチャされるユーザ発話を含むことができるが、この例は、限定することを意図されておらず、ユーザ入力は、他のやり方で同様に行われてよい。デジタル携帯情報端末130によって生成される応答は、テキスト、画像、または、デジタル携帯情報端末130のグラフィカルユーザインターフェース内でディスプレイ118上に示される他の視覚コンテンツの形でユーザに可視とされてよい。応答は、コンピュータ生成の発話、または、エンドユーザコンピューティングデバイス102の1つまたは複数のスピーカー(図1には図示されない)を介して再生される他の音声コンテンツを含んでもよい。
[0058]実施形態によると、デジタル携帯情報端末130は、例えば、デジタル携帯情報端末130がユーザの代わりに情報を得るまたは何か他のタスクを行うことを要求するのとは対照的に、デジタル携帯情報端末のペルソナとやり取りすることが意図される質問または発言をユーザが行ったことを判断することができる。かかる質問または発言は、本来は砕けているまたは遊び心に満ちているものが多く、例えば、「結婚してくれますか?」、「何色が好きですか?」、「歌をうたって」、「冗談を言って」、「ノックノック」、「ウッドチャックが木を投げることができたら、どのくらいの量の木を投げられるか?」、「誰に一番電話をかけますか?」、「どこに体を隠すことができますか?」、「何かに似ていますか?」、「きれいですね」、「何歳ですか?」、「お父さんは誰ですか?」、「ボーイフレンドはいますか?」、「人生の意味とは何でしょうか?」、または、「あなたのことをもっと良く知りたいです」などを含むことができる。便宜上、かかる質問および発言は本明細書では、「雑談タイプの発声」または単に「雑談」と呼ばれる。
[0059]後述されるように、デジタル携帯情報端末130は、ユーザが雑談タイプの発声を行ったとの判断に応答してある一定の行動を取るようにさらに構成される。例えば、ユーザが雑談タイプの発声を行ったとの判断に応答して、デジタル携帯情報端末130はそれに対する応答を、(マルチメディアオブジェクトが本来は視覚によるものである時)そのユーザインターフェース内で、大衆文化への言及に関連するマルチメディアオブジェクトを表示すること、または、(マルチメディアオブジェクトが本来は聴覚によるものである時)そのユーザインターフェースによって、かかるマルチメディアオブジェクトを再生することによって提供することができる。本明細書で使用されるように、「大衆文化への言及」という用語は、人口の大部分の慣習、芸術および/または社会的相互作用に関連する任意の対象への言及を広範に包含することが意図される。例えば、何であれ限定することなく、大衆文化への言及は、周知の映画、テレビ番組、小説、短編小説、絵画、テレビゲーム、画像、映像、アニメ、有名人、男優もしくは女優、政治家もしくは他の著名人、決まり文句、ミーム、時事、または、故事などへの言及を含んでよい。
[0060]さらにまたは代替的に、ユーザが雑談タイプの発声を行ったとの判断に応答して、デジタル携帯情報端末130は、それに対する応答を、大衆文化への言及に関連する人物の声の模写を含む発話を生成するまたは再生することによって行うことができる。さらにまた、デジタル携帯情報端末130は、そのユーザインターフェース内で大衆文化への言及に関連する引用を含むテキストを表示すること、そのユーザインターフェース内で大衆文化を呼び起こすデジタル携帯情報端末の視覚表現を表示すること、および/または、そのユーザインターフェース内で大衆文化への言及に関連するコンテンツにアクセスするためにユーザによってアクティブ化され得るリンクを表示することによって、応答を行うように構成されてよい。
[0061]デジタル携帯情報端末130が、ユーザが雑談タイプの発声を行ったと判断し、かつ、それに対して応答する1つのやり方は、ここで、図2のブロック図200を参照して説明される。特に、ブロック図200は、デジタル携帯情報端末130が、ユーザが雑談タイプの発声を行ったと判断すること、および、それに対して応答することを可能にするために、システム100のさまざまなコンポーネントが共にどのように動作するかを示す。
[0062]図2を参照すると、デジタル携帯情報端末130がエンドユーザコンピューティングデバイス102上で起動された後でプロセスは開始する。デジタル携帯情報端末130と対話するために、ユーザは、エンドユーザコンピューティングデバイス102の1つまたは複数のマイクロフォンに話しかける。ユーザの発声は、マイクロフォンによってキャプチャされ、かつ、周知のやり方でアナログからデジタルへ変換される。デジタル携帯情報端末130は、その発声のデジタル表現を、ネットワーク104を介して、(デジタル携帯情報端末バックエンド106の一部分である)発話認識サービス132へ音声ストリームとして伝送させる。例えば、一実施形態では、ユーザがエンドユーザコンピューティングデバイスのマイクロフォンに話しかけると、デジタル携帯情報端末130は、周期的に、ユーザの発声の一部のデジタル表現を、パケット化させ、かつ、ネットワーク104を介して発話認識サービス132へ伝送させる。
[0063]発話認識サービス132は、それに伝送される音声ストリームをデジタル携帯情報端末130によって受け取り、かつ、その音声ストリームを解析してその表音コンテンツを判断するように動作する。発話認識サービス132が音声ストリームの表音コンテンツを判断すると、その後、表音コンテンツを1つまたは複数の語にマッピングする。ここで用いられた語は共に認識された発声を含む。発話認識サービス132は次いで、認識された発声をクエリ理解および応答システム136に渡す。
[0064]図2に示されるように、発話認識サービス132は、認識された発声を、ネットワーク104を介してデジタル携帯情報端末130へ伝送し返すこともできる。デジタル携帯情報端末130は、(ディスプレイ118を介して可視である)そのグラフィカルユーザインターフェース内で認識された発声のテキストバージョンを表示することができることで、ユーザは、認識された発声を閲覧し、かつ、認識された発声がユーザが言ったことを精確に表しているか否かを判断することができる。ある実施形態によると、デジタル携帯情報端末130は、ユーザが、認識された発声がユーザが言ったことを精確に表していないとユーザが判断する場合に認識された発声を編集し、かつ、編集されたバージョンの発声を、それをさらに処理するために、クエリ理解および応答システム136へ伝送することができる手段をさらに提供することができる。
[0065]クエリ理解および応答システム136は、認識されたまたは訂正された発声を受け取り、かつ、その語を解析してかかる発声がその語によってどのように扱われるべきかを判断する。例えば、クエリ理解および応答システム136は、認識されたまたは訂正された発声がタスクの事前定義されたセットの範囲内で特定のタスクの呼び出しを含むと判断することができる。例えば、何であれ限定することなく、タスクは、ユーザによって指定された人物に電話をかけること(例えば、「ブライアンに電話する」)、ユーザによって指定された電子メールまたはテキストメッセージをユーザによって指定された受取人へ送信すること(例えば、遅れるとキャロルにメールする)、または、リマインダを作成すること(例えば、「1時間たったらオーブンをチェックすることを思い出させる。」)を含んでよい。認識されたまたは訂正された発声が事前定義されたセットの範囲内で特定のタスクの呼び出しを含むとクエリ理解および応答システム136が判断する場合、特殊論理(例えば、エンドユーザコンピューティングデバイス102の範囲内の特殊論理)にタスクを行わせるようにする。
[0066]しかしながら、クエリ理解および応答システム136が認識されたまたは訂正された発声を事前定義されたセットの範囲内のタスクのいずれかにマッチさせない場合、クエリ理解および応答システム136は、さらに、発声の語を解析してその語によってかかる発声がどのように扱われるべきかを判断することができる。例えば、クエリ理解および応答システム136は、発声が、ウェブ検索を行うことによって、または、ユーザにウェブ検索を行う機会を与えることによって扱われるべきであることを判断することができる。この場合、発声は、クエリ理解および応答システム136にとって内的および/または外的であるウェブ検索を促進するために特殊論理によって扱われてよい。代替的には、クエリ理解および応答システム136は、発声の語の解析に基づいて、発声が、上で述べられるようにデジタル携帯情報端末130のペルソナとやり取りすることが意図される発声である雑談タイプの発声を含むと判断することができる。
[0067]実装形態によっては、クエリ理解および応答システム136は、発話の語の解析以外のまたはそれに加えた要因の解析に基づいて、発声が雑談タイプの発声を含むと判断することができる。例えば、クエリ理解および応答システム136は、部分的に、発声のイントネーションの解析、ユーザの会話履歴から得られる文脈上の手掛かり、または、発声が雑談タイプの発声を含むことを判断する際に役立つと考えられる場合がある他の要因に基づいて、発声が雑談タイプの発声を含むことを判断することができる。
[0068]発声が雑談タイプの発声を含むことをクエリ理解および応答システム136が判断する場合、発声は、クエリ理解および応答システム136の一部分である雑談用クエリ理解および応答システム138によって扱われることになる。雑談用クエリ理解および応答システム138は、雑談タイプの発声の主題を判断し、次いで判断された主題に基づいて、雑談タイプの発声に対する適切な応答をデジタル携帯情報端末130によって出力させるための措置を講じる。図2に示されるように、このことは、ネットワーク104を介して、雑談用クエリ理解および応答システム138からデジタル携帯情報端末130へ応答の全てまたは一部分を送信することを伴う場合がある。応答の構成、および、応答がデジタル携帯情報端末130へ伝達されるおよび/またはそれによって生成されるやり方については、より詳細に後述される。
[0069]一実施形態では、雑談用クエリ理解および応答システム138は、雑談タイプの発声の主題を判断し、次いで、発声に対して応答するのに適切である複数の適格な応答を特定する。雑談用クエリ理解および応答システム138は、その後、デジタル携帯情報端末130によって提供される応答として複数の適格な応答のうちの1つを選択する。かかる選択は、ランダムに、ある一定のシーケンスで、または、何か他の選択方法論を使用することによって行われてよい。所与の雑談タイプの発声に対する複数の適格な応答を維持することによって、雑談用クエリ理解および応答システム138は、デジタル携帯情報端末130がいかなる場合も同じ発声に対して同じ応答を行わないことを徹底することによって、ユーザとデジタル携帯情報端末130との対話に対してある多様性および予測不可能な状況をもたらすことができる。
[0070]一実施形態では、雑談用クエリ理解および応答システム138は、1つまたは複数の応答がそれに関連付けられている発声タイプの階層ツリー内で、雑談タイプの発声を特定の発声タイプにマッチさせるように動作する。雑談用クエリ理解および応答システム138は次いで、関連付けられた応答の中から雑談タイプの発声に対する応答を選択する。
[0071]この概念の例示に役立たせるために、図3は、ある実施形態に従って、雑談タイプの発声に対する応答を選択するために使用可能な例示の発声タイプの階層ツリー300を示す。図3に示されるように、階層ツリー300のルートノードは一般的な雑談発声タイプである。このルートノードの下位のあらゆる発声タイプは雑談タイプの発声を含む。このルートノードより下の1レベルに、アサーション(「Assertion(アサーション)」)である、コマンド(「Command(コマンド)」)である、本来は戯れた(「Flirt(戯れ)」)、デジタル携帯情報端末130についての情報を要求している(「Sys−info(システム情報)」)、または、デジタル携帯情報端末130から意見を要求している(「Sys−opinion(システム意見)」)雑談タイプの発声がある。これらノードのそれぞれの下位に、雑談発声タイプのさらなるカテゴリおよびサブカテゴリがある。よって、発声タイプは一般的に、階層ツリー300のタイプのより広範な状態から階層ツリー300の最下位より狭い状態になる。
[0072]ある実施形態では、雑談タイプの発声の解析に基づいて、雑談用クエリ理解および応答システム138は、階層ツリー300を渡り、かつ、発声をノードのうちの1つにマッチさせる。例えば、雑談用クエリ理解および応答システム138は、ある雑談タイプの発声は「アサーション(Assertion)」、「コマンド(Command)」、「戯れ(Flirt)」、「システム情報(Sys−info)」および「システム意見(Sys−opinion)」にマッチさせるものとする信頼度スコアを生成することができる。雑談用クエリ理解および応答システム138は次いで、(ある最小信頼度スコアがノードのうちの少なくとも1つに対して得られたと仮定して)最大信頼度スコアが得られたノードを選択する。例示のために、最大信頼度スコアが「システム意見」に対して生成されると仮定する。そして、雑談用クエリ理解および応答システム138は、ノード「システム意見」へと階層ツリー300を渡り、かつ、雑談タイプの発声は、「システム意見」の子ノードのそれぞれ、すなわち、「マイクロソフト」、「トレンディング」および「アドバイス」にマッチされるものとする信頼度スコアを生成することになる。雑談用クエリ理解および応答システム138は次いで、(またも、ある最小信頼度スコアが子ノードのうちの少なくとも1つに対して得られたと仮定して)最大信頼度スコアが実現された子ノードを選択する。子ノードのそれぞれに対する信頼度スコアがある事前定義された最小信頼度スコアを下回る場合、階層ツリー300を渡ることはノード「システム意見」で停止する。
[0073]1つまたは複数の応答は階層ツリー300におけるそれぞれのノードに関連付けられる。雑談用クエリ理解および応答システム138が階層ツリー300を渡ることが終わり、かつ、雑談タイプの発声に対してマッチするノードを選択した時、雑談用クエリ理解および応答システム138は、マッチするノードに関連付けられる1つまたは複数の応答の中から応答を選択することができる。
[0074]雑談タイプの発声に対する適切な応答を特定するための前述のアプローチは、応答が、雑談タイプの発声の広範なグループ、および、広範なグループの範囲内のより狭いグループの両方に対して定められることを可能にする点において有利である。例として、ノード「システム意見」の範囲内のノード「マイクロソフト」について、雑談タイプの発声に対して非常に特定的な応答が作られ得る(例えば、「マイクロソフトはすばらしいと思う!」)が、これは、システムが、ユーザがマイクロソフトについてデジタル携帯情報端末130の意見を求めているという高レベルの信頼度を有するからである。対照的に、ノード「システム意見」について、雑談タイプの発声に対するより包括的な応答が作られ得る(例えば「コメントはない」または「言いたくない」)が、これは、システムが、ユーザがデジタル携帯情報端末130の意見を求めているという高レベルの信頼度を有するが、意見が要求されている主題を判断することができないからである。
[0075]一実施形態では、階層ツリー300に含まれる場合がある発声のタイプは、ユーザ発声のログの人による検査、および、それぞれの発声を適切な発声タイプにラベル付けすることによって判断されてよい。例えば、ワシントン州レドモンドのマイクロソフト社によって開発されたUniversal Human Relevance System(UHRS)などのクラウドソーシングプラットフォームは、何千ものユーザ発声についての人間による検査およびラベル付けを成し遂げるために使用されてよい。次いで、このクラウドソーシング情報は、階層ツリー300を生成するために使用できる。階層ツリー300などの発声タイプの階層ツリーを生成するためのさらに他の方法が使用される場合がある。
[0076]別の実施形態では、雑談用クエリ理解および応答システム138は、1つまたは複数のトレンディングトピックのそれぞれに関連付けられる1つまたは複数の応答を維持するように構成される。一般的に言えば、トレンディングトピックは、ユーザに人気になってきているまたは最近人気になってきているトピックであり、(例えば、デジタル携帯情報端末にサブミットされる発声、検索エンジンクエリ、ツイッター(登録商標)などのマイクロブログ、フェイスブックなどのソーシャルネットワーキングサイト、ニュース掲載物、または、他のソースを自動的に監視することによって)自動的に、または、(例えば、人間によるこれらソースのいずれかまたは全ての観察を通して)手動で特定されてよい。雑談タイプの発声が特定のトレンディングトピックに関連付けられることを雑談用クエリ理解および応答システム138が判断する時、雑談用クエリ理解および応答システム138は、特定のトレンディングトピックに関連付けられた1つまたは複数の応答の中から雑談タイプの発声に対する応答を選択してよい。
[0077]さらにかかる実施形態によると、トレンディングトピックは、雑談タイプの発声に対して適切な応答を選択するために、雑談用クエリ理解および応答システム138によって使用される発声タイプの階層ツリー内で表されてよい。例えば、図3に示されるように、「システム意見」の下のノードのうちの1つは「トレンディング」である。このノードは、1つまたは複数のトレンディングトピックに関してデジタル携帯情報端末130の意見を要請している雑談タイプの発声に対する応答を記憶するために使用できる。さらにまたこの実施形態によると、「トレンディング」ノードには複数の子ノードがそれに関連付けられてよく、ここで、それぞれの子ノードは、特定のトレンディングトピックに関連付けられ、かつ、1つまたは複数の応答がそれに関連付けられている。
[0078]さらに別の実施形態では、雑談用クエリ理解および応答システム138は、デジタル携帯情報端末130のペルソナを伝達することが意図されるある一定の雑談タイプの発声に対する1つまたは複数の応答を維持するように構成される。例えば、デジタル携帯情報端末130が、そのペルソナに関連付けられる特定の語、句、またはトピックについて何か言うように徹底することに関心があってよい。この場合、編集チームは、かかるトピックが論じられる時はいつでも、デジタル携帯情報端末130が特徴的な応答を行うことを徹底するために、ある一定の雑談タイプの発声に対して事前定義された応答を生成してよい。この場合、雑談タイプの発声がデジタル携帯情報端末130のペルソナを伝達することが意図される1つまたは複数の事前定義された応答が存在する発声であることを雑談用クエリ理解および応答システム138が判断する時、雑談用クエリ理解および応答システム138は、1つまたは複数の事前定義された応答の中から雑談タイプの発声に対する応答を選択することになる。
[0079]図4は、ある実施形態に従って、雑談タイプの発声に応答してデジタル携帯情報端末130によって行われ得る例示の応答400を示すブロック図である。図4に示されるように、応答400は、ディスプレイストリング(display string)402、発話コンテンツ404、発話模写コンポーネント406、発話感情コンポーネント408、デジタル携帯情報端末アニメーション410、マルチメディアコンポーネント412、および、コンテンツへのリンク414を含むいくつかのコンポーネントを含む。
[0080]実装形態によっては、応答400の範囲内のコンポーネントのそれぞれは、デジタル携帯情報端末バックエンド106によって記憶されおよび/または生成されてよく、ユーザへの応答が行われるべき時点で雑談用クエリ理解および応答システム138によってデジタル携帯情報端末130へ伝送されてよい。代替的には、応答400のコンポーネントの1つ、2つ以上、または全ては、(例えば不揮発性メモリ120において)エンドユーザコンピューティングデバイス102に記憶されてよく、および/または、エンドユーザコンピューティングデバイス102によって生成されてよく、雑談用クエリ理解および応答システム138は、ユーザに対する応答が行われるべき時点でコンポーネントを特定するまたは得るのに十分な情報をデジタル携帯情報端末130に送信することができ、それによって、デジタル携帯情報端末130はコンポーネントをローカルに得ることができる。
[0081]さらに、応答400は7つの異なるコンポーネントを含むが、雑談タイプの発声に対する応答は図4に示されるコンポーネントの全てより少ないコンポーネントを含む場合があることは理解されたい。
[0082]ディスプレイストリング402は、デジタル携帯情報端末130のユーザインターフェース内で表示されるべきテキストを含む。このテキストは、ユーザの雑談タイプの発声に対する言葉による応答を含んでよい。一実施形態では、ディスプレイストリング402は、大衆文化への言及に関連する引用を含んでよい。
[0083]発話コンテンツ404は、デジタル携帯情報端末130のユーザインターフェースによって生成されるべきまたは再生されるべき発話を含む。デジタル携帯情報端末130は、発話コンテンツ404の一部分を含むテキストにテキスト音声変換を適用することによって、かかる発話を生成することができる。代替的には、デジタル携帯情報端末130は、発話コンテンツ404の範囲内で含まれるまたはこれによって特定される音声ファイルを再生することによって、かかる発話を生成することができる。一実施形態では、発話コンテンツ404は、ディスプレイストリング402に含まれるコンテンツの可聴バーションを含むが、このケースにはこれは必要ではない。例えば、発話コンテンツ404は、ディスプレイストリング402に含まれる言葉情報とは全体的に異なる言葉情報を含んでよい。ディスプレイストリング402のように、発話コンテンツ404のコンテンツは、大衆文化への言及に関連する引用を含むことができる。
[0084]発話模写コンポーネント406は、デジタル携帯情報端末130が、大衆文化への言及に関連する人物などの人物の声を模写するやり方で、発話コンテンツ404を生成するまたは再生するものとすることを示すコンポーネントである。発話模写コンポーネント406は、模写を行うために、デジタル携帯情報端末130によって再生されるものとする音声ファイルを含むまたは特定することができる。代替的には、発話模写コンポーネント406は、特別なテキスト音声コンバータがデジタル携帯情報端末130によって使用されて、所望の人物の声を模写するやり方で発話コンテンツ404を生成するものとすることを示すことができる。
[0085]発話感情コンポーネント408は、発話を生成するためにテキスト音声変換がかかるコンテンツに適用される時に発話コンテンツ404に適用されるものとする感情要素を含む。
[0086]デジタル携帯情報端末アニメーション410は、そのユーザインターフェース内で表示されるべき、デジタル携帯情報端末130を表すアバターのアニメーションを含む。そのアニメーションは、大衆文化への言及を呼び起こすように設計されてよい。応答400の説明はデジタル携帯情報端末アニメーション410に言及するが、静止画像などを含む、アニメーション以外のアバターの視覚表現のタイプが大衆文化を呼び起こすために使用できることは理解されたい。
[0087]マルチメディアコンポーネント412は、デジタル携帯情報端末130のユーザインターフェース内で表示されるべきまたはこれによって再生されるべき1つまたは複数のマルチメディアオブジェクトを含む。それぞれのマルチメディアオブジェクトは大衆文化への言及に関連付けられてよい。実装形態によっては、それぞれのマルチメディアオブジェクトは、例えば、デジタル携帯情報端末130のユーザインターフェース内で表示される画像、デジタル携帯情報端末130のユーザインターフェース内で表示される映像コンテンツ、または、デジタル携帯情報端末130のユーザインターフェースによって再生される音声コンテンツを含んでよい。
[0088]コンテンツへのリンク414は、デジタル携帯情報端末130のユーザインターフェース内で表示されてよく、かつ、他のコンテンツにアクセスするためにユーザによってアクティブ化され得るリンクを含む。例えば、リンクは、大衆文化への言及に関連するコンテンツにアクセスするためにユーザによってアクティブ化され得る。
[0089]図5〜図10は、デジタル携帯情報端末130のユーザインターフェースを介して行われてよい、雑談タイプの発声への応答のいくつかの例を提供する。これらの例は、実施形態に従って、雑談タイプの発声への応答に含まれてよいさまざまなコンポーネントを例示するのに役立つ。図5〜図10の例では、エンドユーザコンピューティングデバイス102はスマートフォンであり、ディスプレイ118はスマートフォンの一体型のディスプレイである。しかしながら、先に記されたように、エンドユーザコンピューティングデバイス102はスマートフォンに限定されず、多種多様のモバイルおよび非モバイルコンピューティングデバイスのいずれかであってよい。
[0090]図5は、「統計学の試験が心配だよ」といった雑談タイプの発声に対してデジタル携帯情報端末130によって行われ得る応答を示す。この雑談タイプの発声に応答して、「フォースと共にあらんことを」という語を含むディスプレイストリング502が、デジタル携帯情報端末130のグラフィカルユーザインターフェース内で表示される。このディスプレイストリングテキストは、人気のある「スターウォーズ」の映画からの周知の引用を含む。
[0091]さらに、雑談タイプの発声に応答して、デジタル携帯情報端末130の視覚表現504はグラフィカルユーザインターフェース内で表示される。視覚表現504はライトセーバーを含み、ひいてはまた「スターウォーズ」の映画を呼び起こす。ある実施形態では、視覚表現504は、恐らく、エンドユーザコンピューティングデバイス102の1つまたは複数のスピーカを介して再生される可聴式ライトセーバー音を伴って、周囲でライトセーバーを振るデジタル携帯情報端末130のアバターのアニメーションの一部分を含んでよい。
[0092]ある実施形態では、図5において提供される応答は、エンドユーザコンピューティングデバイス102の1つまたは複数のスピーカを介して再生される可聴式発話も含む。この場合、かかる発話は、「フォースと共にあらんことを」という語も含む。ある実施形態では、発話は、ヨーダまたはオビ=ワン・ケノービなどの有名な「スターウォーズ」のキャラクタの模写を含む。先に説明されたように、かかる発話は、指定された音声ファイルを再生することによって、または、特別なテキスト音声変換プロセスを「フォースと共にあらんことを」というテキストに適用することによってレンダリングされてよい。実装形態によっては、模写は、「スターウォーズ」のキャラクタ以外の人物が模写を行っている(例えば、デジタル携帯情報端末130に関連付けられたデフォルトの声が模写を行っている)ことが明らかとなるようにレンダリングされてよい。他の実装形態では、模写は、「スターウォーズ」のキャラクタのものとは区別ができない声を生成することができる、または、実際、「スターウォーズ」のキャラクタを演じた男優の声であってよい。
[0093]ディスプレイストリング502、視覚表現504、および、模写によってもたらされた発話を共に用いることは、励ましの語を与えることによってユーザの雑談タイプの発声に適切に応答するだけでなく、ユーザには瞬時に通じ、かつ、それとの共通意識を確立するのに役立つであろうと思われる大衆文化への言及(「スターウォーズ」)を強く呼び起こす役割を果たす。さらに、応答は、ライトセーバーのアニメーションおよび模写された声を含む多様な形の体感出力を含むため、ユーザ、したがって単調なテキスト応答に関わりかつユーザを楽しませる可能性が高い。
[0094]図6は、「(公序良俗違反につき、不掲載)?」という雑談タイプの発声に対してデジタル携帯情報端末130によって行われ得る応答を示す。この雑談タイプの発声に応答して、「この人達はうまくいかなかった」という語を含むディスプレイストリング602は、デジタル携帯情報端末130のグラフィカルユーザインターフェース内で表示される。応答は、エンドユーザコンピューティングデバイス102の1つまたは複数のスピーカを介して再生される可聴式発話を含むこともできる。この場合、かかる発話は「この人達はうまくいかなかった」という語も含む。ディスプレイストリング602のテキストは、デジタル携帯情報端末130のグラフィカルユーザインターフェース内でも表示されるマルチメディアオブジェクト604に言及している。図6に示されるように、マルチメディアオブジェクト604は、周知の銀行強盗のボニー・パーカーおよびクライド・バロウの生死に関するドラマである1967年の映画「ボニーとクライド」の映画ポスターの画像を含む。
[0095]ディスプレイストリング602(および対応する可聴式発話)およびマルチメディアオブジェクト604を共に用いることは、銀行強盗をする危険を指摘することによってユーザの雑談タイプの発声に適切に応答することと(ボニーおよびクライドは警官によって射殺された)、また、ユーザに通じ、かつ、ユーザとの共通意識を確立するのに役立つ可能性が高い大衆文化への言及(ボニーおよびクライド、ならびに同名の映画)を呼び起こすことの両方を行う、「(公序良俗違反につき、不掲載)?」という雑談タイプの発声に対する応答を含む。また、応答は単調なテキスト以外の出力から形成されるため、ユーザに関わりかつユーザを楽しませる可能性が高い。
[0096]図7は、「世界中でどの車が好き?」という雑談タイプの発声に対してデジタル携帯情報端末130によって行われ得る応答を示す。この雑談タイプの発声に応答して、「デロリアンが好き。特にタイムトラベルするやつがね」という語を含むディスプレイストリング702は、デジタル携帯情報端末130のグラフィカルユーザインターフェース内で表示される。応答は、エンドユーザコンピューティングデバイス102の1つまたは複数のスピーカを介して再生される可聴式発話も含むことができる。この場合、かかる発話は「デロリアンが好き。特にタイムトラベルするやつがね」という語も含む。このテキストおよび発話は周知の「バック・トゥ・ザ・フューチャー」の映画に言及する。
[0097]図7にも示されるように、応答は、デジタル携帯情報端末130のグラフィカルユーザインターフェースの文脈の中でユーザによって再生かつ閲覧できる「バック・トゥ・ザ・フューチャー−時計台のシーン.av」と呼ばれるユーチューブ(登録商標)の映像の形のマルチメディアオブジェクト704も含む。
[0098]さらに図7に示されるように、応答は、ユーザによってアクティブにされる時、ユーザが元々の発声である「世界中でどの車が好き?」という句についてウェブを検索できるようにするリンク706を含む。代替的な実施形態では、ユーザによってアクティブにされる時、ユーザが大衆文化への言及(例えば「バック・トゥ・ザ・フューチャー」の映画)に関連するコンテンツについてウェブを検索できるようにするリンクが提供されてよいことに留意されたい。
[0099]図5および図6の応答のように、図7の応答は、大衆文化への言及を強く呼び起こし、ひいては、ユーザとの共通点を確立することができる。さらに、デジタル携帯情報端末130のグラフィカルユーザインターフェースから直接閲覧可能な映像コンテンツによって、応答を高度に関わらせている。
[00100]図8は、「最低な女」という雑談タイプの発声に対するデジタル携帯情報端末130によって行われ得る応答を示す。この雑談タイプの発声に応答して、「私は恋人で、子供で、母親でもあるのよ」という語を含むディスプレイストリング802は、デジタル携帯情報端末130のグラフィカルユーザインターフェース内で表示される。応答は、エンドユーザコンピューティングデバイス102の1つまたは複数のスピーカを介して再生される可聴式発話を含むこともできる。この場合、かかる発話は「私は恋人で、子供で、母親でもあるのよ」という語も含む。このテキストおよび発話は、メレディス・ブルックスによる周知の歌「(公序良俗違反につき、不掲載)」の歌詞の一部を含む。
[00101]図8にも示されるように、応答は、メレディス・ブルックスの画像の形のマルチメディアオブジェクト804も含む。応答は、「(公序良俗違反につき、不掲載)」という歌についての情報を提供するテキスト部806も含み、それぞれ、1つまたは複数のソースから歌のデジタルコピーを購入するためにユーザによってアクティブ化され得る1つまたは複数のリンクを含むこともできる。
[00102]図8に対する応答は、一見したところ軽蔑的な雑談タイプの発声に応答する(および幾分そらす)ために大衆文化への言及を巧みに利用し、また、ユーザを関わらせるのに役立つ可能性のある関心を引くマルチメディアコンテンツも含む。図8に示される応答は、雑談タイプの発声に対する応答が、いくつかの点で、ユーザが応答時に言及されている歌を購入することを可能とされる広告または商機としての役割をどのように果たすことができるかも示す。
[00103]図9は、「誰があなたのお父さん?」という雑談タイプの発声に対してデジタル携帯情報端末130によって行われ得る応答を示す。この雑談タイプの発声に応答して、「彼らだよ」という語を含むディスプレイストリング902は、デジタル携帯情報端末130のグラフィカルユーザインターフェース内で表示される。応答は、エンドユーザコンピューティングデバイス102の1つまたは複数のスピーカを介して再生される可聴式発話を含むこともできる。この場合、かかる発話は「彼らだよ」という語も含む。ディスプレイストリング902のテキストは、デジタル携帯情報端末130のグラフィカルユーザインターフェース内でも表示されるマルチメディアオブジェクト904に言及している。図9に示されるように、マルチメディアオブジェクト904は、非常に人気がある「オースティン・パワーズ」の映画から、それぞれ、オースティン・パワーズおよびドクター・イーブルのキャラクタの格好をしたビル・ゲイツ(マイクロソフトの会長)およびスティーブ・バルマー(マイクロソフトの最高経営責任者)の映像を含む。この映像は、デジタル携帯情報端末130のグラフィカルユーザインターフェースの文脈の中でユーザによって再生および閲覧されてよい。
[00104]ワシントン州レドモンドのマイクロソフト社によってデジタル携帯情報端末130が発行されるある実施形態では、映像に示される図がマイクロソフトに関連する周知のペルソナであるため、図9に示される応答は適している。さらに、映像コンテンツは、ユーザを笑わせかつ関わらせている。
[00105]図10は、「何か面白いもの見せて?」という雑談タイプの発声に対してデジタル携帯情報端末130によって行われ得る応答を示す。この雑談タイプの発声に応答して、「私の友達には思っていることがある」という語を含むディスプレイストリング1002は、デジタル携帯情報端末130のグラフィカルユーザインターフェース内で表示される。応答は、エンドユーザコンピューティングデバイス102の1つまたは複数のスピーカを介して再生される可聴式発話を含むこともできる。この場合、かかる発話は「私の友達には思っていることがある」という語も含む。ディスプレイストリング1002のテキストは、デジタル携帯情報端末130のグラフィカルユーザインターフェース内でも表示されるマルチメディアオブジェクト1004に言及している。図10に示されるように、マルチメディアオブジェクト1004は、「楽しいと思ったことが一度ある。最悪な気分だった」というキャッチコピーがついた不機嫌そうな猫の画像を含む。この画像は、ユーザが瞬時に認識でき、ユーザを笑わせかつ関わらせるのにも役立つ場合がある、人気のある「グランピー・キャット」というインターネットミームに対する言及である。
[00106]図5〜図10の前述の例は、本明細書では例によってのみ提供されている。図5〜図10に示されるもの以外の雑談タイプの発声に対する多種多様の応答が提供される場合があることは当業者には理解されるであろう。かかる応答は、図4を参照して先に説明された応答コンポーネントのみならず、さらなるコンポーネントの任意の1つまたは複数を含むことができる。
III.応答時に模写および/またはマルチメディアを利用するデジタル携帯情報端末を実装するための例示の方法
[00107]図11は、ある実施形態に従って雑談タイプの発声に応答する際に模写および/またはマルチメディアを利用するデジタル携帯情報端末を実装するための方法のフローチャート1100を示す。フローチャート1100の方法は、図1を参照して上述されるように、例えば、デジタル携帯情報端末バックエンド106によって行われてよい。従って、フローチャート1100の方法は、ここで、継続して図1のシステム100を参照して説明される。しかしながら、方法はその実装形態に限定されない。
[00108]図11に示されるように、フローチャート1100の方法は、デジタル携帯情報端末のユーザの発声のデジタル表現が受け取られるステップ1102で開始する。発声のデジタル表現は、例えば、図2を参照して上述されるように、発話認識サービス132によって生成される発話、または、ユーザとデジタル携帯情報端末130との対話を通して生成される訂正済み発話を含んでよい。その図に関してさらに論じられるように、発声のデジタル表現はクエリ理解および応答システム136によって受け取られる。
[00109]ステップ1104では、発声のデジタル表現が解析される。図2を参照して上述されるように、このステップは、発声が雑談タイプの発声を含むかどうか判断するために、クエリ理解および応答システム136によって行われる解析を必要とする場合がある。
[00110]ステップ1106では、少なくとも発声のデジタル表現の解析に基づいて、発声がデジタル携帯情報端末のペルソナとやり取りすることが意図される発声を含むことが判断される。図2を参照して上述されるように、このステップは、発声が雑談タイプの発声であることをクエリ理解および応答システム136が判断する時に行われる。先に記したように、この判断は、クエリ理解および応答システム136によって行われる発声の解析に基づいてよい。
[00111]ステップ1108では、少なくともステップ1106でなされた判断に応答して、大衆文化への言及に関連するマルチメディア、および、大衆文化に関連する人物の声の模写を含む発話のうちの少なくとも1つを含む発声に対する応答を、デジタル携帯情報端末によって生成させる。マルチメディアオブジェクトは、例えば、画像、映像コンテンツ、または、音声コンテンツを含むことができ、デジタル携帯情報端末のユーザインターフェース内で表示されてよい、または、それによって再生されてよい。発話はデジタル携帯情報端末によって生成または再生されてよい。図4を参照して上述されるマルチメディアコンポーネント404などのマルチメディアオブジェクトを含む、または、図4を参照して上述されるように発話模写コンポーネント406によって示されるような模写された発話を含む応答をデジタル携帯情報端末130に行わせるこのステップは、例えば、雑談用クエリ理解および応答システム138によって行われてよい。雑談用クエリ理解および応答システム138がこの機能を果たすやり方は、先に説明されている。
[00112]また先に説明されたように、ステップ1108において論じられた発声に対する応答は、デジタル携帯情報端末のユーザインターフェース内で表示されるテキストをさらに含んでよい。このテキストは、大衆文化への言及に関連する引用、そのユーザインターフェース内で表示され、かつ、大衆文化への言及を呼び起こす、デジタル携帯情報端末の視覚表現(例えば、デジタル携帯情報端末のアニメーション)、および/または、デジタル携帯情報端末のユーザインターフェース内で表示され、かつ、雑談タイプの発声または大衆文化への言及に関連するコンテンツなどのコンテンツにアクセスするためにユーザによってアクティブ化され得るリンクを含む。さらに、デジタル携帯情報端末によって生成または再生される発話は、大衆文化への言及に関連する引用を含むことができる。
[00113]一実施形態では、発声に対する応答をステップ1108において生成させることは、発声に対する複数の適格な応答を特定することと、次いで、発声に対する複数の適格な応答の中から発声に対する応答を選択することとを含む。
[00114]別の実施形態では、発声に対する応答をステップ1108において生成させることは、発声タイプの階層ツリー(例えば、図3を参照して上述されるような階層ツリー300)の範囲内で特定の発声タイプに発声をマッチさせることを含む。発声タイプの階層ツリーにおけるそれぞれの発声タイプには、1つまたは複数の応答が関連付けられている。マッチさせた後、発声に対する応答は、特定の発声タイプに関連付けられた応答の中から選択される。
[00115]さらに別の実施形態では、発声に対する応答をステップ1108において生成させることは、発声がトレンディングトピックに関連すると判断することと、次いで、発声がトレンディングトピックに関連すると判断することに応答して、トレンディングトピックに関連する1つまたは複数の応答の中から発声に対する応答を選択することとを含む。
[00116]さらなる実施形態では、発声に対する応答をステップ1108において生成させることは、発声が、デジタル携帯情報端末のペルソナを伝達することが意図される1つまたは複数の事前定義された応答が存在する発声であると判断することと、この判断に応答して、1つまたは複数の事前定義された応答の中から発声に対する応答を選択することとを含む。
[00117]なおさらなる実施形態では、発声に対する応答をステップ1108において生成させることは、デジタル携帯情報端末を実行しているコンピューティングデバイスに対して音声ファイルを特定する発話または情報を含む音声ファイルを送信することを含む。このステップは、例えば、雑談用クエリ理解および応答システム138が模写された発話を含む音声ファイルをエンドユーザコンピューティングデバイス102へ送信することで、その音声ファイルに対してデジタル携帯情報端末130によってアクセスかつ再生できる時、または、雑談用クエリ理解および応答システム138がかかる音声ファイルを特定する情報をデジタル携帯情報端末130へ送信することで、その音声ファイルはデジタル携帯情報端末130によってローカルに得られことが可能である時に行われてよい。
[00118]さらに別の実施形態では、発声に対する応答をステップ1108において生成させることは、デジタル携帯情報端末を実行しているコンピューティングデバイスにテキストを提供することを含む。ここで、テキストは、発話を生成するためにデジタル携帯情報端末のテキスト音声コンポーネントによって処理されるものである。このステップは、例えば、デジタル携帯情報端末130が特別なテキスト音声コンバータを指定されたテキストに適用して、テキストを特定の人物の声を模写するような発話に変換させるものとするという指示を雑談用クエリ理解および応答システム138がデジタル携帯情報端末130に送信する時に行われてよい。
[00119]図12は、ある実施形態に従って、デジタル携帯情報端末が声の模写を含む雑談タイプの発声に対する応答を行うことによる方法のフローチャート1200を示す。フローチャート1200の方法は、例えば、図1を参照して上述されるように、デジタル携帯情報端末130によって行われてよい。従って、フローチャート1200の方法は、ここで、継続して図1のシステム100を参照して説明される。しかしながら、方法はその実装形態に限定されない。
[00120]図12に示されるように、フローチャート1200の方法はステップ1202で開始する。このステップ1202では、デジタル携帯情報端末130は、デジタル携帯情報端末130のペルソナとやり取りすることが意図されるユーザの発声を表現する音声をキャプチャする。
[00121]ステップ1204では、デジタル携帯情報端末130は音声をデジタル携帯情報端末バックエンド106へ伝送する。
[00122]ステップ1206では、デジタル携帯情報端末130は、少なくとも、デジタル携帯情報端末バックエンド106から受け取られた情報に基づいて発声に対する応答を行う。応答を行うことは、大衆文化への言及に関連するペルソナの声の模写を含む発話を生成することまたは再生することを含む。
[00123]ある実施形態では、ステップ1206において応答を行うことは、発話を含む音声ファイルを再生することを含む。代替的な実施形態では、ステップ1206において応答を行うことは、発話を生成するためにテキスト音声変換をテキストに適用することを含む。
[00124]さらなる実施形態によると、ステップ1206において応答を行うことは、デジタル携帯情報端末130のユーザインターフェースによって、大衆文化への言及に関連するマルチメディアオブジェクトを表示することまたは再生することと、デジタル携帯情報端末のユーザインターフェース内で、大衆文化への言及に関連する引用を含むテキストを表示することと、デジタル携帯情報端末のユーザインターフェース内で大衆文化への言及を呼び起こす、デジタル携帯情報端末の視覚表現を表示することと、発声、または大衆文化への言及に関連するコンテンツなどのコンテンツにアクセスするためにユーザによってアクティブ化され得るリンクをデジタル携帯情報端末のユーザインターフェース内で表示することとのうちの1つまたは複数を含む。
[00125]図13は、ある実施形態に従って、デジタル携帯情報端末がマルチメディアオブジェクトを含む雑談タイプの発声に対する応答を行うことによる方法のフローチャート1300を示す。フローチャート1300の方法は、例えば、図1を参照して上述されるように、デジタル携帯情報端末130によって行われてよい。従って、フローチャート1300の方法は、ここで、継続して図1のシステム100を参照して説明される。しかしながら、方法はその実装形態に限定されない。
[00126]図13に示されるように、フローチャート1300の方法はステップ1302で開始する。このステップ1302では、デジタル携帯情報端末130は、デジタル携帯情報端末130のペルソナとやり取りすることが意図されるユーザの発声を表す音声をキャプチャする。
[00127]ステップ1304では、デジタル携帯情報端末130は音声をデジタル携帯情報端末バックエンド106へ伝送する。
[00128]ステップ1306では、デジタル携帯情報端末130は、少なくとも、デジタル携帯情報端末バックエンド106から受け取られた情報に基づいて発声に対する応答を行う。応答を行うことは、大衆文化への言及に関連するマルチメディアオブジェクトを、デジタル携帯情報端末130のユーザインターフェースによって表示することまたは再生することを含む。
[00129]ある実施形態では、ステップ1306においてマルチメディアオブジェクトを表示することまたは再生することは、デジタル携帯情報端末130のユーザインターフェースによって、画像または映像コンテンツを表示すること、または、音声コンテンツを再生することを含む。
[00130]さらなる実施形態によると、ステップ1306において応答を行うことは、大衆文化への言及に関連する人物の声の模写を含む発話を生成することまたは再生することと、デジタル携帯情報端末のユーザインターフェース内で、大衆文化への言及に関連する引用を含むテキストを表示することと、デジタル携帯情報端末のユーザインターフェース内で大衆文化への言及を呼び起こす、デジタル携帯情報端末の視覚表現を表示することと、発声、または大衆文化への言及に関連するコンテンツなどのコンテンツにアクセスするためにユーザによってアクティブ化され得るリンクをデジタル携帯情報端末のユーザインターフェース内で表示することとのうちの1つまたは複数を含む。
IV.例示のモバイルデバイス実装形態
[00131]図14は、図1を参照して上述されるように、エンドユーザコンピューティングデバイス102を実装するために使用できる例示のモバイルデバイス1402のブロック図である。図14に示されるように、モバイルデバイス1402は、さまざまなオプションのハードウェアおよびソフトウェアコンポーネントを含む。モバイルデバイス1402におけるいずれのコンポーネントもいずれの他のコンポーネントと通信できるが、簡単に示すために全ての接続が示されているわけではない。モバイルデバイス1402は、さまざまなコンピューティングデバイス(例えば、セルフォン、スマートフォン、ハンドヘルドコンピュータ、パーソナルデジタル情報端末(PDA)など)のいずれかとすることができ、セルラーもしくは衛星ネットワークなどの1つまたは複数のモバイル通信ネットワーク1404、または、ローカルエリアもしくはワイドエリアネットワークによる無線双方向通信を可能にすることができる。
[00132]示されたモバイルデバイス1402は、信号符号化、データ処理、入出力処理、電力制御、および/または他の機能といったかかるタスクを行うためのコントローラまたはプロセッサ1410(例えば、信号プロセッサ、マイクロプロセッサ、ASIC、または、他の制御および処理論理回路)を含むことができる。オペレーティングシステム1412は、モバイルデバイス1402のコンポーネントの割り当ておよび使用を制御し、かつ、1つまたは複数のアプリケーションプログラム1414(「アプリケーション」または「アプリ」とも呼ばれる)をサポートすることができる。アプリケーションプログラム1414は、一般のモバイルコンピューティングアプリケーション(例えば、電子メールアプリケーション、カレンダ、コンタクトマネージャ、ウェブブラウザ、メッセージングアプリケーション)、および、任意の他のコンピューティングアプリケーション(例えば、文書処理アプリケーション、マッピングアプリケーション、メディアプレーヤアプリケーション)を含んでよい。一実施形態では、アプリケーションプログラム1414はデジタル携帯情報端末130を含む。
[00133]示されたモバイルデバイス1402はメモリ1420を含むことができる。メモリ1420は、取り外し不可能なメモリ1422および/または取り外し可能なメモリ1424を含むことができる。取り外し不可能なメモリ1422は、RAM、ROM、フラッシュメモリ、ハードディスク、または、他の周知のメモリデバイスもしくは技術を含むことができる。取り外し可能なメモリ1424は、GSM(登録商標)通信システムにおいて周知であるフラッシュメモリもしくは加入者識別モジュール(SIM)カード、または、「スマートカード」などの他の周知のメモリデバイスもしくは技術を含むことができる。メモリ1420は、オペレーティングシステム1412およびアプリケーション1414を実行するためのデータおよび/またはコードを記憶するために使用できる。データの例は、ウェブページ、テキスト、画像、サウンドファイル、映像データ、または、1つまたは複数の有線もしくは無線ネットワークを介して1つまたは複数のネットワークサーバもしくは他のデバイスに対して送受信が行われる他のデータを含むことができる。メモリ1420は、国際移動電話加入者識別情報(IMSI)などの加入者識別子、および、国際移動電話識別番号(IMEI)などの機器識別子を記憶するために使用できる。かかる識別子は、ネットワークサーバへ伝送されてユーザおよび機器を特定することができる。
[00134]モバイルデバイス1402は、タッチスクリーン1432、マイクロフォン1434、カメラ1436、物理的キーボード1438、および/または、トラックボール1440などの1つまたは複数の入力デバイス1430、ならびに、スピーカ1452およびディスプレイ1454などの1つまたは複数の出力デバイス1450をサポートすることができる。タッチスクリーン1432などのタッチスクリーンは、種々のやり方で入力を検出することができる。例えば、静電容量式タッチスクリーンは、オブジェクト(例えば指先)が表面上を流れる電流をひずませるまたは遮断する時のタッチ入力を検出する。別の例として、タッチスクリーンは、光センサからのビームが遮断される時にタッチ入力を検出するために光センサを使用することができる。スクリーンの表面との物理的接触は、いくつかのタッチスクリーンによって検出される入力には必要ではない。
[00135](図示されない)他の可能な出力デバイスは、圧電または他の触覚出力デバイスを含むことができる。いくつかのデバイスは2つ以上の入出力機能を果たすことができる。例えば、タッチスクリーン1432およびディスプレイ1454は単一入出力デバイスにおいて組み合わせ可能である。入力デバイス1430はナチュラルユーザインターフェース(NUI)を含むことができる。
[00136]無線モデム1460は、アンテナ(図示せず)に連結でき、当技術分野ではよく理解されるように、プロセッサ1410と外部デバイスとの間の双方向通信をサポートすることができる。モデム1460は、概して示され、モバイル通信ネットワーク1404および/または他の無線式モデム(例えば、ブルートゥース(登録商標)1464および/またはWi−Fi1462)と通信するためにセルラーモデム1466を含むことができる。無線モデム1460の少なくとも1つは、典型的には、セルラーネットワーク間で、または、モバイルデバイスと公衆交換電話網(PSTN)との間で、単一セルラーネットワークの範囲内のデータおよび音声通信のためのGSMネットワークなどの1つまたは複数のセルラーネットワークと通信するように構成される。
[00137]モバイルデバイス1402は、少なくとも1つの入出力ポート1480、電源1482、全地球測位システム(GPS)受信機などの衛星ナビゲーションシステム受信機1484、加速度計1486、ならびに/または、USBポート、IEEE1394(FireWire)ポート、および/もしくは、RS−232ポートとすることができる物理的コネクタ1490をさらに含むことができる。モバイルデバイス1402の示されたコンポーネントは、当業者には認識されると思われるが、いずれのコンポーネントも削除でき、他のコンポーネントは追加できるため、必要とされない、または全ては含まれない。
[00138]ある実施形態では、モバイルデバイス1402のある一定のコンポーネントは、先の節において説明されるように、デジタル携帯情報端末130による動作を行うように構成される。上述されるようにデジタル携帯情報端末130による動作を行うためのコンピュータプログラム論理は、メモリ1420に記憶され、かつ、プロセッサ1410によって実行されてよい。かかるコンピュータプログラム論理を実行することによって、プロセッサ1410は、図1を参照して上述されるようにデジタル携帯情報端末130の特徴のいずれかを実装させられてよい。また、かかるコンピュータプログラム論理を実行することによって、プロセッサ1410は、図12および図13に示されるフローチャートのいずれかもしくは全てのステップのいずれかまたは全てを行うようにされてもよい。
V.例示のコンピュータシステム実装
[00139]図15は、本明細書に記載されるさまざまな実施形態を実装するために使用できる例示のプロセッサベースのコンピュータシステム1500を示す。例えば、システム1500は、図1を参照して上述されるように、エンドユーザコンピューティングデバイス102、または、デジタル携帯情報端末バックエンド106を実装するために使用されるコンピュータのいずれかを実装するために使用されてよい。システム1500は、図11〜図13に示されるフローチャートのいずれかもしくは全てのステップのいずれかまたは全てを実装するために使用されてもよい。本明細書に提供されるシステム1500の説明は例示の目的で提供され、限定することは意図されない。当業者には既知であると思われるが、実施形態はさらなるタイプのコンピュータシステムにおいて実装されてよい。
[00140]図15に示されるように、システム1500は、処理ユニット1502、システムメモリ1504、および、システムメモリ1504を含むさまざまなシステムコンポーネントを処理ユニット1502に連結するバス1506を含む。処理ユニット1502は、1つまたは複数のマイクロプロセッサまたはマイクロプロセッサコアを含むことができる。バス1506は、メモリバスまたはメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート、および、さまざまなバスアーキテクチャのいずれかを使用するプロセッサまたはローカルバスを含むいくつかのタイプのバス構造のいずれかの1つまたは複数を表す。システムメモリ1504は、読み出し専用メモリ(ROM)1508およびランダムアクセスメモリ(RAM)1510を含む。基本入出力システム1512(BIOS)はROM1508に記憶される。
[00141]システム1500は、以下のドライブ:ハードディスクに対して読み書きするためのハードディスクドライブ1514、取り外し可能な磁気ディスク1518に対して読み書きするための磁気ディスクドライブ1516、および、CD ROM、DVD ROM、ブルーレイ(登録商標)ディスク、または、他の光媒体などの取り外し可能な光ディスク1522に対して読み書きするための光ディスクドライブ1520のうちの1つまたは複数も有する。ハードディスクドライブ1514、磁気ディスクドライブ1516、および、光ディスクドライブ1520はそれぞれ、ハードディスクドライブインターフェース1524、磁気ディスクドライブインターフェース1526、および、光ドライブインターフェース1528によってバス1506に接続される。ドライブおよびそれらの関連のコンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、および、他のデータの不揮発性記憶域をコンピュータに提供する。ハードディスク、取り外し可能な磁気ディスク、および、取り外し可能な光ディスクが記載されているが、フラッシュメモリカード、デジタル映像ディスク、ランダムアクセスメモリ(RAM)、および、読み出し専用メモリ(ROM)などの他のタイプのコンピュータ可読メモリデバイスおよび記憶構造を使用してデータを記憶できる。
[00142]いくつかのプログラムモジュールは、ハードディスク、磁気ディスク、光ディスク、ROMまたはRAMに記憶されてよい。これらのプログラムモジュールは、オペレーティングシステム1530、1つまたは複数のアプリケーションプログラム1532、他のプログラムモジュール1534、および、プログラムデータ1536を含む。さまざまな実施形態によると、プログラムモジュールは、図1を参照して上述されるように、エンドユーザコンピューティングデバイス102、または、デジタル携帯情報端末バックエンド106を実装するために使用されるコンピュータのいずれかの機能および特徴のいずれかまたは全てを果たすために処理ユニット1502によって実行可能なコンピュータプログラム論理を含んでよい。プログラムモジュールは、処理ユニット1502によって実行される時、図11〜図13のフローチャートを参照して示されるもしくは説明されるステップまたは動作のいずれかを行うコンピュータプログラム論理を含むこともできる。
[00143]ユーザは、キーボード1538およびポインティングデバイス1540などの入力デバイスを通してコマンドおよび情報をシステム1500に入力してよい。(図示されない)他の入力デバイスは、マイクロフォン、ジョイスティック、ゲームコントローラ、またはスキャナなどを含むことができる。一実施形態では、ディスプレイ1544と併せてタッチスクリーンが提供されることで、タッチスクリーン上の1つまたは複数のポイントに対する(例えば指またはスタイラスなどによる)触感を適用することによってユーザがユーザ入力を行えるようにする。これらのおよび他の入力デバイスは、バス1506に連結されるシリアルポートインターフェース1542を通して処理ユニット1502に接続されることが多いが、パラレルポート、ゲームポート、または、ユニバーサルシリアルバス(USB)などの他のインターフェースによって接続されてよい。かかるインターフェースは有線または無線インターフェースであってよい。
[00144]ディスプレイ1544はまた、映像アダプタ1546などのインターフェースを介してバス1506に接続される。ディスプレイ1544に加えて、システム1500は、スピーカおよびプリンタなどの(図示されない)他の周辺出力デバイスを含むことができる。
[00145]システム1500は、ネットワークインターフェースもしくはアダプタ1550、モデム1552、または、ネットワーク上の通信を確立するための他の適切な手段を通してネットワーク1548(例えば、ローカルエリアネットワーク、またはインターネットなどのワイドエリアネットワーク)に接続される。内部または外部にあってよいモデム1552は、シリアルポートインターフェース1542を介してバス1506に接続される。
[00146]本明細書で使用されるように、「コンピュータプログラム媒体」、「コンピュータ可読媒体」、および「コンピュータ可読記憶媒体」という用語は一般的に、ハードディスクドライブ1514に関連付けられたハードディスク、取り外し可能な磁気ディスク1518、取り外し可能な光ディスク1522といったメモリデバイスまたは記憶構造のみならず、フラッシュメモリカード、デジタル映像ディスク、ランダムアクセスメモリ(RAM)、および、読み出し専用メモリ(ROM)などの他のメモリデバイスまたは記憶構造に言及するために使用される。かかるコンピュータ可読記憶媒体は、通信媒体と区別され、かつ重複しない(通信媒体を含まない)。通信媒体は典型的には、搬送波などの変調されたデータ信号において、コンピュータ可読命令、データ構造、プログラムモジュール、または、他のデータを組み入れる。「変調されたデータ信号」という用語は、信号中に情報を符号化するようなやり方でその特性のうちの1つまたは複数が設定されたまたは変更された信号を意味する。限定ではなく例として、通信媒体は、音響、無線周波数、赤外線、および、他の無線媒体などの無線媒体を含む。実施形態はまた、かかる通信媒体に関する。
[00147]上で記したように、(アプリケーションプログラム1532および他のプログラムモジュール1534を含む)コンピュータプログラムおよびモジュールは、ハードディスク、磁気ディスク、光ディスク、ROM、または、RAMに記憶されてよい。かかるコンピュータプログラムはまた、ネットワークインターフェース1550、シリアルポートインターフェース1542、または、任意の他のインターフェースタイプを介して受け取られてよい。かかるコンピュータプログラムは、アプリケーションによって実行またはロードされる時、コンピュータ1500に、本明細書に論じられた本発明の実施形態の特徴を実装することを可能する。従って、このようなコンピュータプログラムは、コンピュータ1500のコントローラを表す。
[00148]実施形態はまた、任意のコンピュータ使用可能媒体に記憶されたソフトウェアを備えるコンピュータプログラム製品に関する。かかるソフトウェアは、1つまたは複数のデータ処理デバイスにおいて実行される時、データ処理デバイスを本明細書に記載されるように動作させる。本発明の実施形態は、現在または将来的に知られる、任意のコンピュータ使用可能媒体またはコンピュータ可読媒体を採用する。コンピュータ可読媒体の例は、RAM、ハードドライブ、フロッピーディスク、CD ROM、DVD ROM、ジップディスク、テープ、磁気記憶デバイス、光記憶デバイス、MEM、および、ナノ技術に基づいた記憶デバイスなどといったメモリデバイスおよび記憶構造を含むが、これらに限定されるものではない。
[00149]代替的な実装形態では、システム1500は、ハードウェア論理/電気回路またはファームウェアとして実装されてよい。さらなる実施形態によると、これらのコンポーネントの1つまたは複数は、システムオンチップ(SoC)で実装されてよい。SoCは、プロセッサ(例えば、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ(DSP)など)、メモリ、1つもしくは複数の通信インターフェース、ならびに/または、さらなる回路、および/もしくはその機能を果たすための埋め込まれたファームウェアの1つまたは複数を含む集積回路チップを含むことができる。
VI.結論
[00150]さまざまな実施形態が上述されたが、それらは限定ではなく例として提示されているにすぎないことは理解されるべきである。形および細部のさまざまな変更が、本発明の趣旨および範囲から逸脱せずに実施形態で行われ得ることは、当業者には理解されるであろう。よって、本発明の広さおよび範囲は、上述した例示の実施形態のいずれかによって限定されるべきでなく、以下の特許請求の範囲およびそれらの均等物によってのみ定められるべきである。

Claims (10)

  1. デジタル携帯情報端末を実装するための方法であって、
    前記デジタル携帯情報端末のユーザの発声のデジタル表現を受け取るステップと、
    少なくとも前記発声の前記デジタル表現の解析に基づいて、前記発声が前記デジタル携帯情報端末のペルソナとやり取りすることが意図される発声を含むと判断するステップと、
    前記発声が前記デジタル携帯情報端末の前記ペルソナとやり取りすることが意図される発声を含むと少なくとも前記判断するステップに応答して、
    前記デジタル携帯情報端末のユーザインターフェース内で表示されるまたはそれによって再生されるマルチメディアオブジェクトであって、大衆文化への言及に関連するマルチメディアオブジェクト、および、
    前記デジタル携帯情報端末によって生成されるまたは再生される発話であって、前記大衆文化への言及に関連する人物の声の模写を含む発話、
    のうちの少なくとも1つを含む、前記発声に対する応答を、前記デジタル携帯情報端末によって生成させるステップと、
    を含む、方法。
  2. 前記発声に対する前記応答は、前記デジタル携帯情報端末の前記ユーザインターフェース内で表示されるテキストであって、前記大衆文化への言及に関連する引用を含むテキストをさらに含む、請求項1に記載の方法。
  3. 前記発声に対する前記応答は、前記デジタル携帯情報端末の前記ユーザインターフェース内で表示され、前記大衆文化への言及を呼び起こす、前記デジタル携帯情報端末の視覚表現をさらに含む、請求項1に記載の方法。
  4. 前記マルチメディアオブジェクトは、
    前記デジタル携帯情報端末の前記ユーザインターフェース内に表示される画像もしくは映像コンテンツ、または、前記デジタル携帯情報端末の前記ユーザインターフェースによって再生される音声コンテンツを含む、請求項1に記載の方法。
  5. 前記発声に対する前記応答は、前記デジタル携帯情報端末の前記ユーザインターフェース内で表示され、前記大衆文化への言及に関連するコンテンツにアクセスするために前記ユーザによってアクティブ化され得るリンクをさらに含む、請求項1に記載の方法。
  6. 前記発声に対する前記応答を生成させるステップは、
    発声タイプの階層ツリー内の特定の発声タイプに前記発声をマッチさせるステップであって、前記発声タイプの階層ツリーにおけるそれぞれの発声タイプに1つまたは複数の応答が関連付けられている、ステップと、
    前記特定の発声タイプに関連する前記応答の中から前記発声に対する前記応答を選択するステップと、を含む、請求項1に記載の方法。
  7. 前記発声に対する前記応答を生成させるステップは、
    前記発声がトレンディングトピックに関連すると判断するステップと、
    前記発声が前記トレンディングトピックに関連するとの判断に応答して、前記トレンディングトピックに関連する1つまたは複数の応答の中から前記発声に対する前記応答を選択するステップと、
    を含む、請求項1に記載の方法。
  8. 前記発声に対する前記応答を生成させるステップは、
    前記発声が、前記デジタル携帯情報端末の前記ペルソナを伝達することが意図される1つまたは複数の事前定義された応答が存在する発声であると判断するステップと、
    前記発声が前記デジタル携帯情報端末の前記ペルソナを伝達することが意図される1つまたは複数の事前定義された応答が存在する発声であるとの判断に応答して、前記1つまたは複数の事前定義された応答の中から前記発声に対する前記応答を選択するステップと、
    を含む、請求項1に記載の方法。
  9. 少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサによって実行するためのコンピュータプログラム論理を記憶するメモリと
    を備えるコンピューティングデバイスであって、前記コンピュータプログラム論理は、前記少なくとも1つのプロセッサによって実行される時、動作を行うように構成される1つまたは複数のコンポーネントを含み、前記1つまたは複数のコンポーネントは、
    ユーザの発声を表現する音声をキャプチャするように、および、前記音声をデジタル携帯情報端末バックエンドへ伝送するように構成されるデジタル携帯情報端末であって、前記発声は、前記デジタル携帯情報端末のペルソナとやり取りすることが意図される発声を含む、デジタル携帯情報端末を含み、
    前記デジタル携帯情報端末は、少なくとも前記デジタル携帯情報端末バックエンドから受け取られた情報に基づいて前記発声に対する応答を行うようにさらに構成され、前記応答を行うステップは、大衆文化への言及に関連するマルチメディアオブジェクトを前記デジタル携帯情報端末のユーザインターフェースによって表示することまたは再生することを含む、コンピューティングデバイス。
  10. 前記応答を行うステップは、
    前記大衆文化への言及に関連する人物の声の模写を含む発話を生成するまたは再生するステップと、
    前記デジタル携帯情報端末の前記ユーザインターフェース内で、前記大衆文化への言及に関連する引用を含むテキストを表示するステップと、
    前記デジタル携帯情報端末の前記ユーザインターフェース内で前記大衆文化への言及を呼び起こす、前記デジタル携帯情報端末の視覚表現を表示するステップと、
    前記大衆文化への言及に関連するコンテンツにアクセスするために前記ユーザによってアクティブ化され得るリンクを、前記デジタル携帯情報端末の前記ユーザインターフェース内で表示するステップと、
    のうちの少なくとも1つをさらに含む、請求項9に記載のコンピューティングデバイス。
JP2016546938A 2014-01-15 2015-01-09 模写によるデジタル携帯情報端末の対話、および応答時のリッチなマルチメディア Expired - Fee Related JP6505117B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/156,009 2014-01-15
US14/156,009 US9514748B2 (en) 2014-01-15 2014-01-15 Digital personal assistant interaction with impersonations and rich multimedia in responses
PCT/US2015/010711 WO2015108758A1 (en) 2014-01-15 2015-01-09 Digital personal assistant interaction with impersonations and rich multimedia in responses

Publications (3)

Publication Number Publication Date
JP2017515134A true JP2017515134A (ja) 2017-06-08
JP2017515134A5 JP2017515134A5 (ja) 2018-02-08
JP6505117B2 JP6505117B2 (ja) 2019-04-24

Family

ID=52440848

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016546938A Expired - Fee Related JP6505117B2 (ja) 2014-01-15 2015-01-09 模写によるデジタル携帯情報端末の対話、および応答時のリッチなマルチメディア

Country Status (16)

Country Link
US (1) US9514748B2 (ja)
EP (1) EP3095113B1 (ja)
JP (1) JP6505117B2 (ja)
KR (1) KR102295935B1 (ja)
CN (1) CN105917404B (ja)
AU (1) AU2015206736B2 (ja)
BR (1) BR112016015519B1 (ja)
CA (1) CA2935469C (ja)
CL (1) CL2016001788A1 (ja)
IL (1) IL246237B (ja)
MX (1) MX360118B (ja)
MY (1) MY180332A (ja)
PH (1) PH12016501223B1 (ja)
RU (1) RU2682023C1 (ja)
SG (1) SG11201605642VA (ja)
WO (1) WO2015108758A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025084293A1 (ja) * 2023-10-17 2025-04-24 国立研究開発法人情報通信研究機構 対話装置、対話方法、及びコンピュータプログラム

Families Citing this family (178)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9634855B2 (en) * 2010-05-13 2017-04-25 Alexander Poltorak Electronic personal interactive device that determines topics of interest using a conversational agent
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US8769624B2 (en) 2011-09-29 2014-07-01 Apple Inc. Access control utilizing indirect authentication
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
DE112014000709B4 (de) 2013-02-07 2021-12-30 Apple Inc. Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014143776A2 (en) 2013-03-15 2014-09-18 Bodhi Technology Ventures Llc Providing remote interactions with host device using a wireless device
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101959188B1 (ko) 2013-06-09 2019-07-02 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101749009B1 (ko) 2013-08-06 2017-06-19 애플 인크. 원격 디바이스로부터의 활동에 기초한 스마트 응답의 자동 활성화
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
KR102193559B1 (ko) * 2014-02-18 2020-12-22 삼성전자주식회사 대화형 서버 및 이의 제어 방법
USD801993S1 (en) * 2014-03-14 2017-11-07 Microsoft Corporation Display screen with animated graphical user interface
US20150350146A1 (en) 2014-05-29 2015-12-03 Apple Inc. Coordination of message alert presentations across devices based on device modes
US9967401B2 (en) 2014-05-30 2018-05-08 Apple Inc. User interface for phone call routing among devices
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
WO2015183366A1 (en) 2014-05-30 2015-12-03 Apple, Inc. Continuity
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10339293B2 (en) 2014-08-15 2019-07-02 Apple Inc. Authenticated device used to unlock another device
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9786299B2 (en) * 2014-12-04 2017-10-10 Microsoft Technology Licensing, Llc Emotion type classification for interactive dialog system
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) * 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9959866B2 (en) * 2015-04-02 2018-05-01 Panasonic Intellectual Property Management Co., Ltd. Computer-implemented method for generating a response sentence by using a weight value of node
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10417021B2 (en) * 2016-03-04 2019-09-17 Ricoh Company, Ltd. Interactive command assistant for an interactive whiteboard appliance
US10409550B2 (en) 2016-03-04 2019-09-10 Ricoh Company, Ltd. Voice control of interactive whiteboard appliances
CN107293292A (zh) * 2016-03-31 2017-10-24 深圳光启合众科技有限公司 基于云端的设备及其操作方法
US10291565B2 (en) * 2016-05-17 2019-05-14 Google Llc Incorporating selectable application links into conversations with personal assistant modules
US10263933B2 (en) * 2016-05-17 2019-04-16 Google Llc Incorporating selectable application links into message exchange threads
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US12223282B2 (en) 2016-06-09 2025-02-11 Apple Inc. Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US12197817B2 (en) 2016-06-11 2025-01-14 Apple Inc. Intelligent device arbitration and control
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
US9990176B1 (en) * 2016-06-28 2018-06-05 Amazon Technologies, Inc. Latency reduction for content playback
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
CN108075959B (zh) * 2016-11-14 2021-03-12 腾讯科技(深圳)有限公司 一种会话消息处理方法和装置
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US11650791B2 (en) 2017-01-11 2023-05-16 Microsoft Technology Licensing, Llc Relative narration
US10467509B2 (en) 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Computationally-efficient human-identifying smart assistant computer
US10574825B2 (en) * 2017-02-15 2020-02-25 Microsoft Technology Licensing, Llc Assisted-communication with intelligent personal assistant
EP3602336A4 (en) * 2017-03-24 2020-11-18 Microsoft Technology Licensing, LLC VOICE-BASED KNOWLEDGE SHARING APPLICATION FOR CONVERSATIONAL ROBOTS
US10853717B2 (en) 2017-04-11 2020-12-01 Microsoft Technology Licensing, Llc Creating a conversational chat bot of a specific person
US11170768B2 (en) * 2017-04-17 2021-11-09 Samsung Electronics Co., Ltd Device for performing task corresponding to user utterance
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. Multi-modal interfaces
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10275651B2 (en) 2017-05-16 2019-04-30 Google Llc Resolving automated assistant requests that are based on image(s) and/or other sensor data
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US12526361B2 (en) 2017-05-16 2026-01-13 Apple Inc. Methods for outputting an audio output in accordance with a user being within a range of a device
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
WO2019032994A1 (en) * 2017-08-10 2019-02-14 Facet Labs, Llc ORAL, FACIAL AND GESTURE COMMUNICATION DEVICES AND COMPUTER INTERACTION ARCHITECTURE WITH DIGITAL MULTIMEDIA CONTENT
US10636424B2 (en) * 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US20190172240A1 (en) * 2017-12-06 2019-06-06 Sony Interactive Entertainment Inc. Facial animation for social virtual reality (vr)
CN107993657A (zh) * 2017-12-08 2018-05-04 广东思派康电子科技有限公司 一种基于多个语音助手平台的切换方法
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
WO2019161229A1 (en) 2018-02-15 2019-08-22 DMAI, Inc. System and method for reconstructing unoccupied 3d space
WO2019161200A1 (en) * 2018-02-15 2019-08-22 DMAI, Inc. System and method for conversational agent via adaptive caching of dialogue tree
KR102515023B1 (ko) * 2018-02-23 2023-03-29 삼성전자주식회사 전자 장치 및 그 제어 방법
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10984799B2 (en) 2018-03-23 2021-04-20 Amazon Technologies, Inc. Hybrid speech interface device
US10777203B1 (en) 2018-03-23 2020-09-15 Amazon Technologies, Inc. Speech interface device with caching component
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
WO2019190812A1 (en) * 2018-03-26 2019-10-03 Microsoft Technology Licensing, Llc Intelligent assistant device communicating non-verbal cues
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10504518B1 (en) 2018-06-03 2019-12-10 Apple Inc. Accelerated task performance
KR102773338B1 (ko) 2018-06-15 2025-02-27 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US11190465B2 (en) 2018-08-06 2021-11-30 Oracle International Corporation Displaying data sets responsive to natural language messages received by chatbots
KR20200033140A (ko) * 2018-09-19 2020-03-27 삼성전자주식회사 보이스 어시스턴트 서비스를 제공하는 시스템 및 방법
WO2020060151A1 (en) * 2018-09-19 2020-03-26 Samsung Electronics Co., Ltd. System and method for providing voice assistant service
CN110942518B (zh) * 2018-09-24 2024-03-29 苹果公司 上下文计算机生成现实(cgr)数字助理
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
KR20200044175A (ko) 2018-10-05 2020-04-29 삼성전자주식회사 전자 장치 및 그의 비서 서비스 제공 방법
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11657797B2 (en) 2019-04-26 2023-05-23 Oracle International Corporation Routing for chatbots
US11133005B2 (en) * 2019-04-29 2021-09-28 Rovi Guides, Inc. Systems and methods for disambiguating a voice search query
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. User activity shortcut suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
KR102436985B1 (ko) 2019-05-31 2022-08-29 애플 인크. 오디오 미디어 제어를 위한 사용자 인터페이스
US11477609B2 (en) 2019-06-01 2022-10-18 Apple Inc. User interfaces for location-related communications
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11481094B2 (en) 2019-06-01 2022-10-25 Apple Inc. User interfaces for location-related communications
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11941362B2 (en) * 2020-04-27 2024-03-26 Early Warning Services, Llc Systems and methods of artificially intelligent sentiment analysis
US12301635B2 (en) 2020-05-11 2025-05-13 Apple Inc. Digital assistant hardware abstraction
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
CN113703656B (zh) * 2020-05-22 2026-01-13 苹果公司 数字助理用户界面和响应模式
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11955137B2 (en) 2021-03-11 2024-04-09 Apple Inc. Continuous dialog with a digital assistant
US11756574B2 (en) 2021-03-11 2023-09-12 Apple Inc. Multiple state digital assistant for continuous dialog
KR20230142775A (ko) 2021-03-11 2023-10-11 애플 인크. 지속적인 다이얼로그를 위한 다중 상태 디지털 어시스턴트
US11847378B2 (en) 2021-06-06 2023-12-19 Apple Inc. User interfaces for audio routing
EP4334811B1 (en) 2021-06-06 2025-11-19 Apple Inc. User interfaces for audio routing
US12563299B2 (en) 2022-04-04 2026-02-24 Apple Inc. User interfaces for camera sharing
US12052114B2 (en) * 2022-05-25 2024-07-30 Parrot AI, Inc. System and method for documenting and controlling meetings employing bot
US12615491B2 (en) 2022-09-06 2026-04-28 Apple Inc. Interfaces for device interactions
US12164937B2 (en) * 2022-10-31 2024-12-10 Bitdrift, Inc. Systems and methods for encoding and rendering generic visualizations of a GUI of a client application

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044088A (ja) * 2001-07-27 2003-02-14 Sony Corp プログラム、記録媒体、並びに音声対話装置および方法
JP2005070721A (ja) * 2003-08-27 2005-03-17 Akihiko Shigeta 音響出力機能付き化粧用品
JP2006039120A (ja) * 2004-07-26 2006-02-09 Sony Corp 対話装置および対話方法、並びにプログラムおよび記録媒体
JP2006048218A (ja) * 2004-08-02 2006-02-16 Advanced Media Inc 音声動画応答方法および音声動画応答システム
JP2006171719A (ja) * 2004-12-01 2006-06-29 Honda Motor Co Ltd 対話型情報システム
JP2009282704A (ja) * 2008-05-21 2009-12-03 Denso Corp 自動車用情報提供システム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5918222A (en) 1995-03-17 1999-06-29 Kabushiki Kaisha Toshiba Information disclosing apparatus and multi-modal information input/output system
NL1000679C2 (nl) * 1995-06-28 1996-12-31 Arie Van Wieringen Video Film Bewegingseditor/samensteleenheid.
US6144938A (en) 1998-05-01 2000-11-07 Sun Microsystems, Inc. Voice user interface with personality
US9076448B2 (en) 1999-11-12 2015-07-07 Nuance Communications, Inc. Distributed real time speech recognition system
US6721706B1 (en) 2000-10-30 2004-04-13 Koninklijke Philips Electronics N.V. Environment-responsive user interface/entertainment device that simulates personal interaction
US20050203729A1 (en) * 2004-02-17 2005-09-15 Voice Signal Technologies, Inc. Methods and apparatus for replaceable customization of multimodal embedded interfaces
US7949529B2 (en) 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US7957976B2 (en) 2006-09-12 2011-06-07 Nuance Communications, Inc. Establishing a multimodal advertising personality for a sponsor of a multimodal application
US8073681B2 (en) 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
US8831977B2 (en) * 2007-09-26 2014-09-09 At&T Intellectual Property I, L.P. Methods, systems, and computer program products for implementing personalized dissemination of information
US8140335B2 (en) 2007-12-11 2012-03-20 Voicebox Technologies, Inc. System and method for providing a natural language voice user interface in an integrated voice navigation services environment
US20090210217A1 (en) 2008-02-14 2009-08-20 Aruze Gaming America, Inc. Gaming Apparatus Capable of Conversation with Player and Control Method Thereof
US8386929B2 (en) * 2010-06-22 2013-02-26 Microsoft Corporation Personal assistant for task utilization
US8640021B2 (en) 2010-11-12 2014-01-28 Microsoft Corporation Audience-based presentation and customization of content
SG184583A1 (en) * 2011-03-07 2012-10-30 Creative Tech Ltd A device for facilitating efficient learning and a processing method in association thereto
US20130061257A1 (en) * 2011-09-02 2013-03-07 Sony Corporation Verbally communicating facially responsive television apparatus
US8346563B1 (en) 2012-04-10 2013-01-01 Artificial Solutions Ltd. System and methods for delivering advanced natural language interaction applications
US9575963B2 (en) 2012-04-20 2017-02-21 Maluuba Inc. Conversational agent
KR102056461B1 (ko) * 2012-06-15 2019-12-16 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
RU2654789C2 (ru) * 2014-05-30 2018-05-22 Общество С Ограниченной Ответственностью "Яндекс" Способ (варианты) и электронное устройство (варианты) обработки речевого запроса пользователя

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044088A (ja) * 2001-07-27 2003-02-14 Sony Corp プログラム、記録媒体、並びに音声対話装置および方法
JP2005070721A (ja) * 2003-08-27 2005-03-17 Akihiko Shigeta 音響出力機能付き化粧用品
JP2006039120A (ja) * 2004-07-26 2006-02-09 Sony Corp 対話装置および対話方法、並びにプログラムおよび記録媒体
JP2006048218A (ja) * 2004-08-02 2006-02-16 Advanced Media Inc 音声動画応答方法および音声動画応答システム
JP2006171719A (ja) * 2004-12-01 2006-06-29 Honda Motor Co Ltd 対話型情報システム
JP2009282704A (ja) * 2008-05-21 2009-12-03 Denso Corp 自動車用情報提供システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
松井 達則: "日本語会話文における談話構造の決定方式", 電子情報通信学会論文誌 (J81−D−II), vol. 第2号, JPN6018041758, JP, pages pp. 455-458 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025084293A1 (ja) * 2023-10-17 2025-04-24 国立研究開発法人情報通信研究機構 対話装置、対話方法、及びコンピュータプログラム

Also Published As

Publication number Publication date
PH12016501223A1 (en) 2016-08-22
EP3095113B1 (en) 2022-06-15
MX360118B (es) 2018-10-23
IL246237B (en) 2019-03-31
CA2935469C (en) 2022-05-03
US9514748B2 (en) 2016-12-06
BR112016015519A2 (ja) 2017-08-08
WO2015108758A1 (en) 2015-07-23
KR20160108348A (ko) 2016-09-19
EP3095113A1 (en) 2016-11-23
BR112016015519B1 (pt) 2023-01-17
KR102295935B1 (ko) 2021-08-30
BR112016015519A8 (pt) 2020-06-02
SG11201605642VA (en) 2016-08-30
CN105917404A (zh) 2016-08-31
CA2935469A1 (en) 2015-07-23
CN105917404B (zh) 2019-11-05
HK1223728A1 (zh) 2017-08-04
MX2016009130A (es) 2016-10-13
US20150199967A1 (en) 2015-07-16
CL2016001788A1 (es) 2017-01-20
RU2682023C1 (ru) 2019-03-14
IL246237A0 (en) 2016-07-31
AU2015206736B2 (en) 2019-11-21
PH12016501223B1 (en) 2016-08-22
JP6505117B2 (ja) 2019-04-24
MY180332A (en) 2020-11-28
AU2015206736A1 (en) 2016-07-07

Similar Documents

Publication Publication Date Title
JP6505117B2 (ja) 模写によるデジタル携帯情報端末の対話、および応答時のリッチなマルチメディア
CN106464758B (zh) 利用用户信号来发起通信
EP4270172B1 (en) Action validation for digital assistant-based applications
US20170277993A1 (en) Virtual assistant escalation
CN109313897B (zh) 利用多个虚拟助理服务的通信
US10681402B2 (en) Providing relevant and authentic channel content to users based on user persona and interest
WO2019203872A1 (en) Processing multimodal user input for assistant systems
US11158210B2 (en) Cognitive real-time feedback speaking coach on a mobile device
CN109460265A (zh) 一种激活应用程序的方法、用户终端和服务器
US11057332B2 (en) Augmented expression sticker control and management
US12236328B2 (en) Cognitive communication assistant services
US12572323B2 (en) Dynamic audio content generation
US20120185417A1 (en) Apparatus and method for generating activity history
US10657692B2 (en) Determining image description specificity in presenting digital content
HK1223728B (zh) 用於實現數字個人助理的方法﹑設備和系統
CN110633476A (zh) 用于获取知识标注信息的方法及装置
KR20240033535A (ko) 대화 맥락에 어울리는 음원을 생성하여 제공하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
CN121979477A (en) Interface interaction method, device, equipment and storage medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190326

R150 Certificate of patent or registration of utility model

Ref document number: 6505117

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02