JP2017538985A - 近接したデバイスによるデジタルパーソナルアシスタントの呼出し - Google Patents

近接したデバイスによるデジタルパーソナルアシスタントの呼出し Download PDF

Info

Publication number
JP2017538985A
JP2017538985A JP2017508639A JP2017508639A JP2017538985A JP 2017538985 A JP2017538985 A JP 2017538985A JP 2017508639 A JP2017508639 A JP 2017508639A JP 2017508639 A JP2017508639 A JP 2017508639A JP 2017538985 A JP2017538985 A JP 2017538985A
Authority
JP
Japan
Prior art keywords
personal assistant
user
secondary device
context
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017508639A
Other languages
English (en)
Inventor
ジェイ ジョンソン，ジェフリー
ジェイ ジョンソン，ジェフリー
スリドハルン，ムラーリ
ヴィルディ，グルプリート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2017538985A publication Critical patent/JP2017538985A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0261—Targeted advertisements based on user location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0283—Price estimation or determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Databases & Information Systems (AREA)
  • Acoustics & Sound (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

パーソナルアシスタント情報を提供するための１つまたは複数の技法および／またはシステムが提供される。例えば、主デバイス(例えば、スマートフォン)が、副デバイス(例えば、デジタルパーソナルアシスタント機能を欠いているテレビ)との通信チャネルを確立することができる。主デバイスは、ユーザに関連付けられたコンテキスト(例えば、「私のテレビに天候を示してください」というユーザステートメント)を受け取ることができる。デジタルパーソナルアシスタント機能により使用可能となるまたはそのような機能にアクセスすることができる主デバイスは、デジタルパーソナルアシスタント機能を呼び出してコンテキストを評価し、パーソナルアシスタント結果(例えば、ローカル天候情報)を生成することができる。パーソナルアシスタント結果は、ユーザへの提示のために主デバイスから副デバイスに提供することができる。このようにして、副デバイスは、そのような機能を備えなくても、またはそのような機能にアクセスすることができなくても、デジタルパーソナルアシスタント機能を提供するように見える。

Description

[0001] 多くのユーザが、ラップトップコンピュータ、タブレット、パーソナルコンピュータ、携帯電話、キオスク、ビデオゲームシステムなど、様々なタイプのコンピューティングデバイスと対話することができる。一例において、ユーザは、マップインターフェースを通して、目的地までの道案内を得るために携帯電話を利用することができる。別の例において、ユーザは、店舗キオスクを利用してクーポンを印刷し、店舗ユーザインターフェースを通して在庫を調べることができる。
[0002] 本概要は、さらに以下の詳細な説明において説明する簡略化された形の概念の抜粋を紹介するために提供される。本概要は、特許請求される主題の主要な要素または不可欠な特徴を識別することが意図されていないし、特許請求される主題の範囲を限定するのに使用されることも意図されていない。
[0003] とりわけ、副デバイスを通してパーソナルアシスタント情報をリモートで提供するための、および／または主デバイスからリモートで受け取ったパーソナルアシスタント情報を提供するための１つまたは複数のシステムおよび／または技法が、本明細書に提供される。副デバイスを通してパーソナルアシスタント情報をリモートで提供する一例において、主デバイスは、副デバイスとの通信チャネルを確立するように構成することができる。主デバイスは、ユーザに関連付けられたコンテキストを受け取ることができる。主デバイスは、デジタルパーソナルアシスタント機能を呼び出してコンテキストを評価し、パーソナルアシスタント結果を生成することができる。主デバイスは、ユーザへの提示のためにパーソナルアシスタント結果を副デバイスに提供することができる。
[0004] 主デバイスからリモートで受け取ったパーソナルアシスタント情報を提供する一例において、副デバイスは、ユーザに関連付けられたコンテキストを検知するように構成することができる。副デバイスは、主デバイスとの通信チャネルを確立するように構成することができる。副デバイスは、メッセージを主デバイスに送るように構成することができる。メッセージは、コンテキストと、デジタルパーソナルアシスタント機能を呼び出してコンテキストを評価し、パーソナルアシスタント結果を生成するための主デバイスへの命令とを含むことができる。副デバイスは、主デバイスからパーソナルアシスタント結果を受け取るように構成することができる。副デバイスは、パーソナルアシスタント結果をユーザに提示するように構成することができる。
[0005] 前述のおよび関連した目的を達成するために、以下の説明および付属の図面は、ある例示的な態様および実装形態を記述する。これらは、１つまたは複数の態様を採用することができる様々なやり方のうちの少数だけを示している。本開示の他の態様、利点、および新規の特徴は、付属の図面と併せて検討されたとき以下の詳細な説明から明らかとなろう。
[0006]副デバイスを通してパーソナルアシスタント情報をリモートで提供する例示的な方法を示す流れ図である。 [0007]副デバイスを通してパーソナルアシスタント情報をリモートで提供するための例示的なシステムを示す構成要素の構成図である。 [0008]パーソナルアシスタント結果を有する対話型ユーザフィードバックに基づいて副デバイスを通してパーソナルアシスタント情報をリモートで提供するための例示的なシステムを示す構成要素の構成図である。 [0009]副デバイスを通してパーソナルアシスタント情報をリモートで提供するための例示的なシステムを示す構成要素の構成図である。 [0010]主デバイスからリモートで受け取ったパーソナルアシスタント情報を提供するための例示的なシステムを示す構成要素の構成図である。 [0011]副デバイス上でホストされる第１のデジタルパーソナルアシスタントユーザインターフェースを通してパーソナルアシスタント結果を提示し、同時に、主デバイス上でホストされる第２のデジタルパーソナルアシスタントユーザインターフェースを通して第２のパーソナルアシスタント結果を提示するための例示的なシステムを示す構成要素の構成図である。 [0012]本明細書に記述する提供物のうちの１つまたは複数を具現化するように構成されたプロセッサ実行可能命令を含むことができる、例示的なコンピュータ可読媒体の図である。 [0013]本明細書に記述する提供物のうちの１つまたは複数を実装することができる、例示的なコンピューティング環境を示す図である。
[0014] 次に、特許請求される主題を、同じ参照符号が全体を通して同じ要素を表すのに一般に使用される図面を参照して説明する。以下の説明において、分かりやすくする目的で、特許請求される主題を理解するために数多くの具体的な詳細を記述する。しかし、特許請求される主題は、これらの具体的な詳細がなくても実施することができることは明らかであり得る。他の事例において、構造およびデバイスは、特許請求される主題を説明するのを容易にするために構成図の形で示す。
[0015] 副デバイスを通してパーソナルアシスタント情報をリモートで提供するための、および／または主デバイスからリモートで受け取ったパーソナルアシスタント情報を提供するための１つまたは複数のシステムおよび／または技法が、本明細書に提供される。ユーザは、様々なデバイスからデジタルパーソナルアシスタントにアクセスすることを所望することがある（例えば、デジタルパーソナルアシスタントは、推奨事項を提供し、質問に回答し、および／またはタスク完了を容易にすることができる）。あいにく、多くのデバイスは、デジタルパーソナルアシスタントをホストし、および／またはアクセスするための処理機能、リソース、および／または機能を有しない可能性がある。例えば、電化製品（例えば、冷蔵庫）、ウェアラブルデバイス（例えば、スマートウォッチ）、テレビ、および／またはデジタルパーソナルアシスタント機能および／またはデジタルパーソナルアシスタント機能に関連付けられたインストール済みのアプリケーションをサポートするオペレーティングシステムのバージョンを有しないコンピューティングデバイス（例えば、デジタルパーソナルアシスタント機能をサポートする更新されたオペレーティングシステムのバージョンを有しない可能性がある、タブレット、ラップトップコンピュータ、パーソナルコンピュータ、スマートフォン、または他のデバイス）は、デジタルパーソナルアシスタントへのアクセスをユーザに与えることができない可能性がある。したがって、本明細書に提供されるように、デジタルパーソナルアシスタント機能を提供することができる主デバイスは、デジタルパーソナルアシスタント機能を呼び出してユーザに関連付けられたコンテキスト（例えば、ユーザによって提起された現在の天候に関する質問）を評価し、デジタルパーソナルアシスタント機能をネイティブにサポートしない副デバイスに提供される、パーソナルアシスタント結果を生成することができる。主デバイスは、デジタルパーソナルアシスタント機能（例えば、デジタルパーソナルアシスタントアプリケーションおよび／または互換性のあるオペレーティングシステムを備えるスマートフォン）を呼び出すことができるので、主デバイスは、デジタルパーソナルアシスタントを呼び出すことができない可能性がある副デバイス（例えば、テレビ）にパーソナルアシスタント結果を提供することができる（例えば、現在の天候の情報をユーザへの表示のために主デバイスから副デバイスに提供することができる）。したがって、本明細書に提供される技法のうちの１つまたは複数により、主デバイスは、パーソナルアシスタント結果を１つまたは複数の副デバイスに提供することが可能になる。１つまたは複数の副デバイスは、そうでなければ、ハードウェアおよび／またはソフトウェアの制約により、そのような結果を生成し、および／または得ることはできないであろう。
[0016] 副デバイスを通してパーソナルアシスタント情報をリモートで提供する実施形態を図１の例示的な方法１００によって示す。１０２において、方法が開始される。１０４において、主デバイスが副デバイスとの通信チャネルを確立することができる。主デバイスは、デジタルパーソナルアシスタント機能をネイティブにサポートするように構成することができる（例えば、スマートフォン、タブレットなど）。副デバイスは、デジタルパーソナルアシスタント機能をネイティブにサポートしない可能性がある（例えば、冷蔵庫などの電化製品、テレビ、視聴覚デバイス、車載デバイス、スマートウォッチや眼鏡などのウェアラブルデバイス、またはパーソナルアシスタント非対応デバイスなど）。一例において、通信チャネルは、ワイヤレス通信チャネル（例えば、Bluetooth（登録商標））であることができる。一例において、ユーザは、スマートフォン主デバイスを保持しながらテレビ副デバイスの横を歩いて通り過ぎることにより、通信チャネルを確立することができる（例えば、自動的に、プログラムでなど）。
[0017] １０６において、ユーザに関連付けられたコンテキストを主デバイスによって受け取ることができる。例えば、ユーザは、「私のテレビで現在再生されている映画に示される遊園地のチケットを購入してください」と言うことができ、それを、コンテキストとして受け取ることができる。一例において、コンテキストは、遊園地を識別するための画像認識を実施するのに使用することができる、映画に関する識別情報（例えば、テレビ副デバイスによってキャプチャされた映画のスクリーンショット、遊園地が表示されている映画の現在の場面を識別するのに使用することができるチャンネルおよび／または時間情報など）を含むことができる。一例において、コンテキストは、副デバイスから受け取ることができる。例えば、テレビ副デバイスのマイクロホンは、ユーザステートメントをオーディオファイルとして録音することができる。スマートフォン主デバイスは、オーディオファイルをテレビ副デバイスからコンテキストとして受け取ることができる。オーディオファイルに対して音声認識を実施して、ユーザステートメントコンテキストを生成することができる。一例において、主デバイスは、コンテキストを検知することができる（例えば、スマートフォン主デバイスのマイクロホンは、ユーザステートメントをコンテキストとして検知することができる）。
[0018] 一例において、コンテキストは、オーディオデータ（例えば、「私のテレビで現在再生されている映画に示される遊園地のチケットを購入してください」というユーザステートメント）、映像データ（例えば、ユーザは、新たな電子メールチェックコマンドコンテキストとして認識され得るジェスチャを実施することができる）、画像（例えば、ユーザは、カメラの前に消費アイテムを配置することができ、それは価格チェックコマンドコンテキストとして検知され得る）、または主デバイスおよび副デバイスとは別個であることができるかまたは主デバイスおよび／または副デバイス内に統合することができるかのいずれかである様々なセンサによって検知され得る他のセンサデータ（例えば、冷蔵庫内のカメラは、どんな食品が冷蔵庫内にある（ない）のかを、したがって、どんな食品をユーザは購入する必要がある（ない）可能性があるのか示すことができ、家の温度センサは、火災の可能性を示すことができ、ドアセンサは、ユーザが家に入ったかまたは家から出たことを示すことができ、カーセンサは、車がオイル交換の時期であることを示すことができるなど）を含むことができる。
[0019] １０８において、主デバイスは、デジタルパーソナルアシスタント機能を呼び出してコンテキストを評価し、パーソナルアシスタント結果を生成することができる。一例において、スマートフォン主デバイスは、コンテキストを評価するためにリモートデジタルパーソナルアシスタントサービスにアクセスし、および／またはリモートデジタルパーソナルアシスタントサービスを呼び出すことができる、オペレーティングシステムおよび／またはデジタルパーソナルアシスタントアプリケーションを備えることができる。別の一例において、スマートフォン主デバイスは、デジタルパーソナルアシスタント機能を含むデジタルパーソナルアシスタントアプリケーションを備えることができる。デジタルパーソナルアシスタント機能は、テレビ副デバイスによってホストされないおよび／または呼び出し可能ではない可能性がある。一例において、パーソナルアシスタント結果は、オーディオメッセージ（例えば、チケット購入確認メッセージ）、テキスト文字列（例えば、チケット購入確認ステートメント）、画像（例えば、購入するための様々なタイプのチケットの描写）、映像（例えば、遊園地への道案内）、ウェブサイト（例えば、遊園地のウェブサイト）、タスク完了機能（例えば、遊園地のチケットを購入できる機能）、推奨事項（例えば、遊園地の近くのホテルの推奨）、音声文字列へのテキスト（例えば、音声合成マークアップ言語情報なしでテレビ副デバイスによって理解可能な生のテキスト）、エラー文字列（例えば、コンテキストを評価する際にエラーを引き起こすデジタルパーソナルアシスタント機能に対応するエラー状態の記述）などを含むことができる。
[0020] １１０において、パーソナルアシスタント結果を、主デバイスによって、ユーザへの提示のために副デバイスに提供することができる。主デバイスは、副デバイスを呼び出して、副デバイスを通してパーソナルアシスタント結果を表示および／または再生（例えば、オーディオを再生）することができる。例えば、スマートフォン主デバイスは、テレビ副デバイス上の表示のために「何日の遊園地のチケットを何枚購入したいのですか？」というテキスト文字列をテレビ副デバイスに提供することができる。一例において、個人向けのアシスタント結果のための対話型ユーザフィードバックを主デバイスによって副デバイスから受け取ることができる。例えば、テレビ副デバイスは、「私は今度の月曜日のチケットが４枚欲しい」という第２のユーザステートメントを録音することができ、第２のユーザステートメントをスマートフォン主デバイスに提供することができる。スマートフォン主デバイスは、デジタルパーソナルアシスタント機能を呼び出して対話型ユーザフィードバックを評価し、第２のパーソナルアシスタント結果（例えば、チケット購入確認番号）を生成することができる。スマートフォン主デバイスは、ユーザへの提示のために第２のパーソナルアシスタント結果をテレビ副デバイスに提供することができる。
[0021] 一例において、主デバイスは、副デバイスがパーソナルアシスタント結果を提供するのと同時に、パーソナルアシスタント結果をローカルに提供することができる。例えば、スマートフォン主デバイスは、テレビ副デバイスを呼び出して、テレビ副デバイス上でホストされる第１のデジタルパーソナルアシスタントユーザインターフェース（例えば、テレビ表示領域）を通してパーソナルアシスタント結果（例えば、「何日の遊園地のチケットを何枚購入したいのですか？」というテキスト文字列）を提示することができる。スマートフォン主デバイスは、スマートフォン主デバイス上でホストされる第２のデジタルパーソナルアシスタントユーザインターフェース（例えば、テキスト文字列のオーディオ再生インターフェース、テキスト文字列の視覚的提示など）を通してパーソナルアシスタント結果（例えば、「何日の遊園地のチケットを何枚購入したいのですか？」というテキスト文字列）を同時に提示することができる。
[0022] 異なるパーソナルアシスタント結果を主デバイスおよび副デバイス上に同時に提示することができる。例えば、副デバイスを呼び出して、第１のパーソナルアシスタント結果（例えば、「何日の遊園地のチケットを何枚購入したいのですか？」というテキスト文字列）を提示することができ、その一方で、主デバイスは、第２のパーソナルアシスタント結果を同時に提示することができる（例えば、「私の電話に月曜日の天候を示してください」というユーザステートメントに応答してデジタルパーソナルアシスタント機能によって生成される、「天候は晴れでしょう」というオーディオまたはテキストメッセージ（例えば、遊園地へのチケットを購入することに関するユーザステートメントと時間が近接して天候に関するユーザステートメントが発生する場合））。このようにして、デジタルパーソナルアシスタント機能を呼び出す主デバイスに基づいて、１つまたは複数のパーソナルアシスタント結果を、副デバイスを通して、および／または同時に主デバイスを通してユーザに提供することができる。１１２において、方法が終了する。ユーザに関連付けられたコンテキストを使用してパーソナルアシスタント結果を生成することなど、ユーザは、本明細書に提示されるアクティビティに同意することができることが理解されよう。例えば、ユーザは、（例えば、主デバイスおよび／または１つまたは複数の副デバイス上に表示することができる）パーソナルアシスタント結果を生成するためにユーザに関連付けられた信号、データ、情報などの収集および／または使用を可能にする同意を選択することができる（例えば、プロンプトに応答することによって）。例えば、ユーザは、天候、温度など、ユーザに関連付けられた位置の状態を決定するのに収集されおよび／または使用される主デバイスからのＧＰＳデータに同意することができる。
[0023] 図２Ａ〜２Ｂは、副デバイスを通してパーソナルアシスタント情報をリモートで提供するための主デバイス２１２を備えるシステム２０１の例を示す。図２Ａは、テレビ副デバイス２０２との通信チャネルを確立する主デバイス２１２の例２００を示す。主デバイス２１２は、ユーザ２０６に関連付けられたコンテキスト２１０をテレビ副デバイス２０２から受け取ることができる。例えば、テレビ副デバイス２０２は、「２チャンネルの映画のレストランに２人分の予約をしてください」という第１のユーザステートメント２０８を検知することができる。テレビ副デバイス２０２は、コンテキスト２１０内に第１のユーザステートメント２０８を含むことができる。一例において、テレビ副デバイス２０２は、コンテキスト２１０内に、テレビ副デバイス２０２によって現在表示されているラブストーリー映画２０４のスクリーンキャプチャ、および／またはラブストーリー映画２０４におけるフランス料理レストランを識別するためにデジタルパーソナルアシスタント機能によって使用することができる他の識別情報を含むことができる。
[0024] 主デバイス２１２は、デジタルパーソナルアシスタント機能２１４を呼び出してコンテキスト２１０を評価し、パーソナルアシスタント結果２１６を生成するように構成することができる。一例において、主デバイス２１２は、デジタルパーソナルアシスタント機能２１４をローカルに呼び出すことができ、その場合、デジタルパーソナルアシスタント機能２１４は、ローカルに主デバイス２１２上でホストされる。別の一例において、主デバイス２１２は、主デバイス２１２からリモートのデジタルパーソナルアシスタントサービスを呼び出して、コンテキスト２１０を評価することができる。一例において、パーソナルアシスタント結果２１６は、「フランス料理レストランは何時の予約にしますか？」というテキスト文字列を含むことができる。主デバイス２１２は、ユーザ２０６への提示のためにパーソナルアシスタント結果２１６をテレビ副デバイス２０２に提供することができる。
[0025] 図２Ｂは、パーソナルアシスタント結果２１６のための対話型ユーザフィードバック２５４をテレビ副デバイス２０２から受け取る主デバイス２１２の例２５０を示す。例えば、テレビ副デバイス２０２は、「午後７：００でお願いします」という第２のユーザステートメント２５２を対話型ユーザフィードバック２５４として検知することができ、対話型ユーザフィードバック２５４を主デバイス２１２に提供することができる。主デバイス２１２は、（例えば、主デバイス２１２にローカルである、および／または主デバイス２１２からリモートである）デジタルパーソナルアシスタント機能２１４を呼び出して対話型ユーザフィードバック２５４を評価し、第２のパーソナルアシスタント結果２５６を生成することができる。例えば、第２のパーソナルアシスタント結果２５６は、「予約は午後７：００ということで確認されました！！」という第２のテキスト文字列を含むことができる。主デバイス２１２は、ユーザ２０６への提示のために第２のパーソナルアシスタント結果２５６をテレビ副デバイス２０２に提供することができる。
[0026] 図３は、副デバイスを通してパーソナルアシスタント情報をリモートで提供するためのシステム３００の例を示す。システム３００は、スマートフォン主デバイス３０６などの主デバイスを含むことができ、スマートフォン主デバイス３０６は、冷蔵庫副デバイス３０２などの副デバイスとの通信接続を確立することができる。スマートフォン主デバイス３０６は、ユーザ３０４に関連付けられたコンテキスト３１０を受け取ることができる。例えば、スマートフォン主デバイス３０６のマイクロホンは、「どんな食品を私は買う必要があるのでしょうか？」というユーザステートメントをユーザ３０４から検知することができる。一例において、スマートフォン主デバイス３０６は、コンテキスト３１０を無視するのではなく検知するために満たすべきコンテキスト認識使用可能ポリシーを定義することができる（例えば、コンテキスト認識使用可能ポリシーは、スマートフォン主デバイス３０６が通話モードでなく、テキストメッセージの送受信がオフである限りコンテキストを検知することができることを指定することができる。このポリシーは、スマートフォン主デバイス３０６の現在の状況コンテキストによって満たされることもあるし、満たされないこともある）。一例において、スマートフォン主デバイス３０６は、追加の情報を冷蔵庫副デバイス３０２から、および／または他のセンサからコンテキスト３１０として得ることができる（例えば、スマートフォン主デバイス３０６は、冷蔵庫副デバイス３０２内のカメラセンサおよび／または食器棚内のカメラセンサを呼び出して、ユーザ３０４が通常在庫するものとして登録しておいた食品がなくなっていることを検知することができる）。
[0027] スマートフォン主デバイス３０６は、デジタルパーソナルアシスタント機能３１２（例えば、ローカルにスマートフォン主デバイス３０６上でホストされ、および／またはリモートデジタルパーソナルアシスタントサービスによってホストされる）を呼び出してコンテキスト３１０を評価し、パーソナルアシスタント結果３１４を生成することができる。例えば、デジタルパーソナルアシスタント機能３１２は、冷蔵庫副デバイス３０２によってキャプチャされた画像が、ユーザ３０４がミルクが少なくなっているかまたはなくなっていることを示していると決定することができ（例えば、画像／物体認識を介して）、したがって、パーソナルアシスタント結果３１４は、「あなたはミルクを必要としています！！」という表示メッセージを含むことができる。スマートフォン主デバイス３０６は、ユーザ３０４への提示のために（例えば、表示またはオーディオ再生のために）パーソナルアシスタント結果３１４を冷蔵庫副デバイス３０２に提供することができる。さらに、またはあるいは、パーソナルアシスタント結果３１４を、（例えば、主デバイス３０６から再生されるオーディオメッセージとして、および／または主デバイス３０６上に表示されるテキストメッセージとして）主デバイス３０６を介してユーザに提示することができる。
[0028] 図４は、主デバイスからリモートで受け取ったパーソナルアシスタント情報を提供するためのシステム４００の例を示す。システム４００は、ウォッチ副デバイス４０４などの副デバイスを備えることができる。ウォッチ副デバイス４０４は、ユーザに関連付けられたコンテキストを検知するように構成することができる。例えば、ウォッチ副デバイス４０４のマイクロホンが、「この店では何か特売がありますか？」というユーザステートメント４０２をコンテキストとして検知することができる。一例において、ウォッチ副デバイス４０４は、アプリストア４１６から取り出した第１のパーティスピーチアプリ４１４を使用してユーザステートメントを検知した可能性がある。一例において、ウォッチ副デバイス４０４は、コンテキストを無視するのではなく検知するために満たすべきコンテキスト認識使用可能ポリシーを定義することができる（例えば、コンテキスト認識使用可能ポリシーは、ウォッチ副デバイス４０４が通話モードでなく、テキストメッセージの送受信がオフである限りコンテキストを検知することができることを指定することができる。このポリシーは、ウォッチ副デバイス４０４の現在の状況コンテキストによって満たされることもあるし、満たされないこともある）。一例において、小売店など、ユーザの現在の位置をコンテキスト内に含めるために（例えば、GPSを介して、Bluetoothビーコンを介してなど）検知することができる。
[0029] ウォッチ副デバイス４０４は、携帯電話主デバイス４０８などの主デバイスとの通信チャネルを確立することができる。ウォッチ副デバイス４０４は、メッセージ４０６を携帯電話主デバイス４０８に送ることができる。メッセージ４０６は、コンテキスト（例えば、ユーザステートメントのオーディオデータ、ユーザの現在の位置など）および／または、携帯電話主デバイス４０８が（例えば、携帯電話主デバイス４０８にローカルである、および／または携帯電話主デバイス４０８からリモートである）デジタルパーソナルアシスタント機能４１０を呼び出してコンテキストを評価し、パーソナルアシスタント結果４１２を生成するための命令を含むことができる。例えば、パーソナルアシスタント結果４１２は、「子供服が２５％割引きです」というテキスト文字列および／または音声文字列へのテキストを含むことができる。ウォッチ副デバイス４０４は、パーソナルアシスタント結果４１２を携帯電話主デバイス４０８から受け取ることができる。ウォッチ副デバイス４０４は、パーソナルアシスタント結果４１２を（例えば、テキスト文字列を表示する、音声文字列へのテキストを再生するなど）ユーザに提示することができる。
[0030] 図５は、副デバイス上でホストされる第１のデジタルパーソナルアシスタントユーザインターフェースを通してパーソナルアシスタント結果５１８を提示し、同時に、主デバイス５１０上でホストされる第２のデジタルパーソナルアシスタントユーザインターフェースを通して第２のパーソナルアシスタント結果５２０を提示するためのシステム５００の例を示す。主デバイス５１０（例えば、携帯電話）は、テレビ副デバイス５０２との通信チャネルを確立することができる。主デバイス５１０は、ユーザ５０４に関連付けられたコンテキスト５０８を受け取ることができる。例えば、主デバイス５１０は、「アクション映画の予告編をテレビで再生してください」という第１のユーザステートメント５０６を、テレビ副デバイス５０２上でパーソナルアシスタント情報を提供することを対象としているコンテキスト５０８として検知することができる。主デバイス５１０は、（例えば、主デバイス５１０にローカルである、および／または主デバイス５１０からリモートである）デジタルパーソナルアシスタント機能５１６を呼び出してコンテキスト５０８を評価し、アクション映画の予告編などのパーソナルアシスタント結果５１８を生成するように構成することができる。主デバイス５１０は、第１のデジタルパーソナルアシスタントユーザインターフェース（例えば、テレビ副デバイス５０２のテレビ表示領域）を通してユーザ５０４に提示するためのパーソナルアシスタント結果５１８をテレビ副デバイス５０２に提供することができる。
[0031] 主デバイス５１０は、「映画の一覧表を携帯電話に示してください」という第２のユーザステートメント５１２を、主デバイス５１０上でパーソナルアシスタント情報を提供することを対象としているローカルユーザコンテキスト５１４として検知することができる。主デバイス５１０は、デジタルパーソナルアシスタント機能５１６を呼び出してローカルユーザコンテキスト５１４を評価し、映画の一覧表などの第２のパーソナルアシスタント結果５２０を生成するように構成することができる。主デバイス５１０は、主デバイス５１０上の第２のデジタルパーソナルアシスタントユーザインターフェース（例えば、携帯電話上に展開されたデジタルパーソナルアシスタントアプリ）を通して第２のパーソナルアシスタント結果５２０を提示することができる。一例において、パーソナルアシスタント結果５１８は、第２のパーソナルアシスタント結果５２０が主デバイス５１０の第２のデジタルパーソナルアシスタントユーザインターフェースを通して提示されるのと同時に、テレビ副デバイス５０２の第１のデジタルパーソナルアシスタントユーザインターフェースを通して提示することができる。
[0032] 本開示の態様によれば、副デバイスを通してパーソナルアシスタント情報をリモートで提供するためのシステムが提供される。システムは、主デバイスを含む。主デバイスは、副デバイスとの通信チャネルを確立するように構成される。主デバイスは、ユーザに関連付けられたコンテキストを受け取るように構成される。主デバイスは、デジタルパーソナルアシスタント機能を呼び出してコンテキストを評価し、パーソナルアシスタント結果を生成するように構成される。主デバイスは、ユーザへの提示のためにパーソナルアシスタント結果を副デバイスに提供するように構成される。
[0033] 本開示の態様によれば、主デバイスからリモートで受け取ったパーソナルアシスタント情報を提供するためのシステムが提供される。システムは副デバイスを含む。副デバイスは、ユーザに関連付けられたコンテキストを検知するように構成される。副デバイスは、主デバイスとの通信チャネルを確立するように構成される。副デバイスは、メッセージを主デバイスに送るように構成される。メッセージは、コンテキストと、デジタルパーソナルアシスタント機能を呼び出してコンテキストを評価し、パーソナルアシスタント結果を生成するための主デバイスへの命令とを含む。副デバイスは、パーソナルアシスタント結果を主デバイスから受け取るように構成される。副デバイスは、パーソナルアシスタント結果をユーザに提示するように構成される。
[0034] 本開示の態様によれば、副デバイスを通してパーソナルアシスタント情報をリモートで提供するための方法が提供される。方法は、主デバイスによって、副デバイスとの通信チャネルを確立するステップを含む。ユーザに関連付けられたコンテキストが主デバイスによって受け取られる。デジタルパーソナルアシスタント機能が、主デバイスによって呼び出され、コンテキストを評価し、パーソナルアシスタント結果を生成する。パーソナルアシスタント結果は、主デバイスによって、ユーザへの提示のために副デバイスに提供される。
[0035] 本開示の態様によれば、副デバイスを通してパーソナルアシスタント情報をリモートで提供するための手段が提供される。副デバイスとの通信チャネルが、パーソナルアシスタント情報をリモートで提供するための手段によって確立される。ユーザに関連付けられたコンテキストが、パーソナルアシスタント情報をリモートで提供するための手段によって受け取られる。デジタルパーソナルアシスタント機能が、パーソナルアシスタント情報をリモートで提供するための手段によって呼び出され、コンテキストを評価し、パーソナルアシスタント結果を生成する。パーソナルアシスタント結果は、パーソナルアシスタント情報をリモートで提供するための手段によって、ユーザへの提示のために副デバイスに提供される。
[0036] 本開示の態様によれば、主デバイスからリモートで受け取ったパーソナルアシスタント情報を提供する手段が提供される。ユーザに関連付けられたコンテキストが、パーソナルアシスタント情報を提供するための手段によって検知される。主デバイスとの通信チャネルが、パーソナルアシスタント情報を提供するための手段によって確立される。メッセージが、パーソナルアシスタント情報を提供するための手段によって主デバイスに送られる。メッセージは、コンテキストと、デジタルパーソナルアシスタント機能を呼び出してコンテキストを評価し、パーソナルアシスタント結果を生成するための主デバイスへの命令とを含む。パーソナルアシスタント結果は、パーソナルアシスタント情報を提供するための手段によって主デバイスから受け取られる。パーソナルアシスタント結果は、パーソナルアシスタント情報を提供するための手段によってユーザに提示される。
[0037] さらに別の実施形態には、本明細書に提示される技法のうちの１つまたは複数を実装するように構成されたプロセッサ実行可能命令を含むコンピュータ可読媒体が関与する。コンピュータ可読媒体またはコンピュータ可読デバイスの実施形態例が図６に示され、実装形態６００が、コンピュータ可読データ６０６が符号化された、ＣＤ−Ｒ、ＤＶＤ−Ｒ、フラッシュドライブ、ハードディスクドライブの円盤状記録媒体などのコンピュータ可読媒体６０８を含む。次いで、ゼロまたは１のうちの少なくとも一方を含む２進データなど、このコンピュータ可読データ６０６は、本明細書に記述する原理のうちの１つまたは複数により動作するように構成されたコンピュータ命令６０４の組を含む。いくつかの実施形態において、プロセッサ実行可能コンピュータ命令６０４は、例えば、図１の例示的な方法１００の少なくとも一部などの方法６０２を実施するように構成される。いくつかの実施形態において、プロセッサ実行可能命令６０４は、例えば、図２Ａおよび２Ｂの例示的なシステム２０１の少なくとも一部、図３の例示的なシステム３００の少なくとも一部、図４の例示的なシステム４００の少なくとも一部、および／または図５の例示的なシステム５００の少なくとも一部などのシステムを実装するように構成される。本明細書に提示される技法により動作するように構成される、多くのそのようなコンピュータ可読媒体は、当業者によって考案される。
[0038] 主題を構造的特徴および／または方法論的動作に特有の言語で説明してきたが、添付の特許請求の範囲に定義された主題が、必ずしも上記の具体的な特徴または動作に限定されないことを理解されたい。むしろ、上記の具体的な特徴および動作は、特許請求の範囲の少なくとも一部を実装する例の形で開示される。
[0039] 本出願では、「構成要素」、「モジュール」、「システム」、および／または「インターフェース」などの用語は、一般に、ハードウェア、ハードウェアとソフトウェアとの組合せ、ソフトウェア、または実行されているソフトウェアのいずれかのコンピュータ関連実体を表すことが意図されている。例えば、構成要素が、プロセッサ上で起動されるプロセス、プロセッサ、オブジェクト、実行ファイル、実行のスレッド、プログラム、および／またはコンピュータであることができるが、それらであることに限定されない。例示により、コントローラ上で起動されるアプリケーションおよびコントローラの両方は、構成要素であり得る。１つまたは複数の構成要素は、プロセス内および／または実行のスレッド内に存在することができ、構成要素は、１つのコンピュータ上に局在させ、および／または２つ以上のコンピュータ間に分散させることができる。
[0040] さらに、特許請求される主題は、開示される主題を実装するためにコンピュータを制御するソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組合せを作り出すための標準プログラミングおよび／またはエンジニアリング技法を使用して方法、装置、または製品として実装することができる。本明細書では、「製品」という用語は、任意のコンピュータ可読デバイス、キャリヤ、または媒体からアクセス可能なコンピュータプログラムを包含することが意図されている。もちろん、特許請求される主題の範囲または精神から逸脱することなく多くの変更をこの構成に加えることができる。
[0041] 図７および以下の議論は、本明細書に記述する提供物のうちの１つまたは複数の実施形態を実装するための適切なコンピューティング環境の簡単な一般的説明を提供する。図７の動作環境は、適切な動作環境の一例に過ぎず、動作環境の使用または機能の範囲に関する何らかの限定を提案することは意図されていない。コンピューティングデバイス例は、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドもしくはラップトップデバイス、モバイルデバイス（携帯電話、携帯情報端末（PDA）、媒体プレーヤなど）、マルチプロセッサシステム、家庭用電化製品、ミニコンピュータ、メインフレームコンピュータ、上記のシステムもしくはデバイスのいずれかを含む分散型コンピューティング環境などを含むが、それらに限定されない。
[0042] 必須ではないが、実施形態は、１つまたは複数のコンピューティングデバイスによって実行される「コンピュータ可読命令」の一般的なコンテキストで説明される。コンピュータ可読命令は、コンピュータ可読媒体を介して配布することができる（以下に論じる）。コンピュータ可読命令は、特定のタスクを実施し、または特定の抽象データ型を実装する、関数、オブジェクト、アプリケーションプログラミングインターフェース（API）、データ構造などのプログラムモジュールとして実装することができる。典型的には、コンピュータ可読命令の機能は、様々な環境で所望されるものとして組み合わせ、または配布することができる。
[0043] 図７は、本明細書に提供される１つまたは複数の実施形態を実装するように構成されたコンピューティングデバイス７１２を備えるシステム７００の例を示す。１つの構成において、コンピューティングデバイス７１２は、少なくとも１つの処理ユニット７１６とメモリ７１８とを含む。コンピューティングデバイスの正確な構成およびタイプにより、メモリ７１８は、揮発性（例えば、RAMなど）、不揮発性（例えば、ROM、フラッシュメモリなど）またはこの２つの何らかの組合せであることができる。この構成は図７において破線７１４で示す。
[0044] 他の実施形態において、デバイス７１２は、追加の特徴および／または機能を含むことができる。例えば、デバイス７１２は、磁気記憶装置、光学記憶装置などを含むがそれらに限定されない追加の記憶装置（例えば、取り外し可能および／または取り外し不能）を含むこともできる。そのような追加の記憶装置を図７において記憶装置７２０で示す。一実施形態において、本明細書に提供される１つまたは複数の実施形態を実装するためのコンピュータ可読命令は、記憶装置７２０内にあることができる。記憶装置７２０は、オペレーティングシステム、アプリケーションプログラムなどを実装するための他のコンピュータ可読命令を記憶することもできる。コンピュータ可読命令は、例えば、処理ユニット７１６によって実行されるためにメモリ７１８に読み込むことができる。
[0045] 本明細書では、「コンピュータ可読媒体」という用語は、コンピュータ記憶媒体を含む。コンピュータ記憶媒体は、コンピュータ可読命令または他のデータなどの情報の記憶のための任意の方法または技術で実装された揮発性および不揮発性、取り外し可能および取り外し不能媒体を含む。メモリ７１８および記憶装置７２０は、コンピュータ記憶媒体の例である。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（DVD）もしくは他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または所望の情報を記憶するのに使用することができ、デバイス７１２によってアクセスすることができる任意の他の媒体を含むが、それらに限定されない。しかし、コンピュータ記憶媒体は、伝搬される信号は含まない。むしろ、コンピュータ記憶媒体は、伝搬される信号を除外する。任意のそのようなコンピュータ記憶媒体は、デバイス７１２の一部であることができる。
[0046] デバイス７１２は、デバイス７１２が他のデバイスと通信することを可能にする通信接続部７２６を含むこともできる。通信接続部７２６は、モデム、ネットワークインターフェースカード（NIC）、統合ネットワークインターフェース、無線周波数送信機／受信機、赤外線ポート、ＵＳＢ接続部、またはコンピューティングデバイス７１２を他のコンピューティングデバイスに接続するための他のインターフェースを含むことができるが、それらに限定されない。通信接続部７２６は、有線接続部またはワイヤレス接続部を含むことができる。通信接続部７２６は、通信媒体を送信し、および／または受信することができる。
[0047] 「コンピュータ可読媒体」という用語は、通信媒体を含むことができる。通信媒体は、典型的には、搬送波や他の輸送機構などの「変調データ信号」でコンピュータ可読命令または他のデータを具現化し、任意の情報送達媒体を含む。「変調データ信号」という用語は、情報を信号で符号化するように設定または変更された特徴の１つまたは複数を有する信号を含むことができる。
[0048] デバイス７１２は、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイス、赤外線カメラ、映像入力デバイス、および／または任意の他の入力デバイスなどの入力デバイス７２４を含むことができる。１つまたは複数のディスプレイ、スピーカ、プリンタ、および／または任意の他の出力デバイスなどの出力デバイス７２２は、デバイス７１２に含めることもできる。入力デバイス７２４および出力デバイス７２２は、有線接続部、ワイヤレス接続部、またはそれらの任意の組合せを介してデバイス７１２に接続することができる。一実施形態において、別のコンピューティングデバイスからの入力デバイスまたは出力デバイスを、コンピューティングデバイス７１２用の入力デバイス７２４または出力デバイス７２２として使用することができる。
[0049] コンピューティングデバイス７１２の構成要素は、バスなど、様々な相互接続部を経由して接続することができる。そのような相互接続部は、ＰＣＩエクスプレス、ユニバーサルシリアルバス（USB）、ファイヤワイヤ（IEEE1394）、光学バス構造などのペリフェラルコンポーネントインターコネクト（PCI）を含むことができる。別の実施形態において、コンピューティングデバイス７１２の構成要素は、ネットワークを経由して相互接続することができる。例えば、メモリ７１８は、ネットワークを経由して相互接続された異なる物理的位置に配置される複数の物理的なメモリユニットから構成することができる。
[0050] 当業者は、コンピュータ可読命令を記憶するのに利用される記憶デバイスをネットワーク間に分散させることができることを理解するであろう。例えば、ネットワーク７２８介してアクセス可能なコンピューティングデバイス７３０は、本明細書に提供される１つまたは複数の実施形態を実装するためにコンピュータ可読命令を記憶することができる。コンピューティングデバイス７１２は、コンピューティングデバイス７３０にアクセスし、コンピュータ可読命令の一部または全部をダウンロードして実行することができる。あるいは、コンピューティングデバイス７１２は、必要に応じコンピュータ可読命令の部分をダウンロードすることができ、または命令によってはコンピューティングデバイス７１２において実行するものやコンピューティングデバイス７３０において実行するものであることができる。
[0051] 実施形態の様々な動作が本明細書に提供される。一実施形態において、説明する動作のうちの１つまたは複数は、１つまたは複数のコンピュータ可読媒体上に記憶されたコンピュータ可読命令を構成することができ、それらは、コンピューティングデバイスによって実行された場合、説明した動作をコンピューティングデバイスに実施させる。動作の一部または全部を説明する順序は、これらの動作が必ずしも順序に依存することを示していると解釈してはならない。代替の順序付けがこの説明の利益を有する当業者によって理解されよう。さらに、すべての動作が必ずしも本明細書に提供される各実施形態に存在するわけではないことを理解されよう。また、すべての動作がいくつかの実施形態においては必須であるわけではないことも理解されよう。
[0052] さらに、他の記載がない限り、「第１の（first）」および／または「第２の（second）」などは、時間相、空間相、順序付けなどを示すことは意図されていない。むしろ、そのような用語は、単に特徴、要素、項目などの識別子、名称などとして使用されているに過ぎない。例えば、第１の物体および第２の物体は、一般に、物体Ａおよび物体Ｂまたは２つの異なるもしくは２つの同一の物体もしくは同じ物体に対応する。
[0053] さらに、「例示的な」は、本明細書では、例、事例、例示などとして働くことを意味するのに使用され、必ずしも有利なものとして働くことを意味するのに使用されるわけではない。本明細書では、「または（or）」は、排他的な「または（or）」ではなく、包含的な「または（or）」を意味することが意図されている。さらに、本出願では、「１つの（a）」および「１つの（an）」は、一般に、他の記載がない限り、または単数形を対象とするコンテキストから明らかでない限り、「１つまたは複数の（one or more）」を意味すると解釈される。また、ＡおよびＢのうちの少なくとも１つなどは、一般に、ＡまたはＢ、および／またはＡおよびＢの両方を意味する。さらに、「含む（includes）」、「有する（having）」、「有する（has）」、「有する（with）」および／またはそれらの変形が詳細な説明または特許請求の範囲のいずれかにおいて使用される限り、そのような用語は、「含む（comprising）」という用語と同様に包含的であることが意図されている。
[0054] また、本開示を１つまたは複数の実装形態に関して示し、説明してきたが、同等の改変および変更が本明細書および付属の図面の読解および理解に基づいて当業者には思いつくことであろう。本開示は、すべてのそのような変更および改変を含み、以下の特許請求の範囲によってのみ限定される。特に上記の構成要素（例えば、要素、リソースなど）によって実施される様々な機能に関して、そのような構成要素を説明するのに使用された用語は、特に指示がない限り、開示した構造に構造的に同等でなくても、説明した構成要素の指定した機能（例えば、機能的に同等である）を実施する任意の構成要素に対応することが意図されている。さらに、本開示の特定の特徴をいくつかの実装形態のうちの１つだけに関して開示してきたが、そのような特徴は、任意の所与のまたは特定の適用例に対して所望され、有利であり得るので、他の実装形態の１つまたは複数の他の特徴と組み合わせることができる。

Claims (10)

  1. 副デバイスを通してパーソナルアシスタント情報をリモートで提供するためのシステムであって、
    副デバイスとの通信チャネルを確立し、
    ユーザに関連付けられたコンテキストを受け取り、
    デジタルパーソナルアシスタント機能を呼び出して前記コンテキストを評価し、パーソナルアシスタント結果を生成し、
    前記ユーザへの提示のために前記パーソナルアシスタント結果を前記副デバイスに提供するように構成された主デバイスを備える、システム。
  2. 前記主デバイスが、
    前記副デバイスを呼び出して、前記副デバイスを通して前記パーソナルアシスタント結果を表示するように構成される、請求項１に記載のシステム。
  3. 前記主デバイスが、
    前記副デバイスを呼び出して、前記副デバイスを通して前記パーソナルアシスタント結果を再生するように構成される、請求項１に記載のシステム。
  4. 前記主デバイスが、
    前記パーソナルアシスタント結果のための対話型ユーザフィードバックを前記副デバイスから受け取り、
    前記デジタルパーソナルアシスタント機能を呼び出して前記対話型ユーザフィードバックを評価し、第２のパーソナルアシスタント結果を生成し、
    前記ユーザへの提示のために前記第２のパーソナルアシスタント結果を前記副デバイスに提供するように構成される、請求項１に記載のシステム。
  5. 前記副デバイスが、電化製品、テレビ、視聴覚デバイス、車載デバイス、ウェアラブルデバイス、パーソナルアシスタント非対応デバイスのうちの少なくとも１つを備える、請求項１に記載のシステム。
  6. 前記主デバイスが、
    オーディオファイルを前記副デバイスから前記コンテキストとして受け取り、
    前記オーディオファイルに対して音声認識を実施してユーザステートメントコンテキストを生成し、
    前記デジタルパーソナルアシスタント機能を呼び出して前記ユーザステートメントコンテキストを評価し、前記パーソナルアシスタント結果を生成するように構成される、請求項１に記載のシステム。
  7. 前記主デバイスが、
    前記副デバイスを呼び出して、前記副デバイス上でホストされる第１のデジタルパーソナルアシスタントユーザインターフェースを通して前記パーソナルアシスタント結果を提示し、
    前記主デバイスを通して前記コンテキストとは異なるローカルユーザコンテキストを受け取り、
    前記デジタルパーソナルアシスタント機能を呼び出して前記ローカルユーザコンテキストを評価し、第２のパーソナルアシスタント結果を生成し、
    前記主デバイス上でホストされる第２のデジタルパーソナルアシスタントユーザインターフェースを通して提示するために、前記第１のデジタルパーソナルアシスタントユーザインターフェースが前記副デバイスを通して提示されるのと同時に、前記第２のパーソナルアシスタント結果を提供するように構成される、請求項１に記載のシステム。
  8. 前記主デバイスが、
    前記パーソナルアシスタント結果を音声文字列へのテキストとして提供するように構成される、請求項１に記載のシステム。
  9. 前記主デバイスが、
    エラー状態を検知することに応答して、エラー文字列を前記パーソナルアシスタント結果内に含むように構成される、請求項１に記載のシステム。
  10. 副デバイスを通してパーソナルアシスタント情報をリモートで提供するための方法であって、
    主デバイスによって、副デバイスとの通信チャネルを確立するステップと、
    前記主デバイスによって、ユーザに関連付けられたコンテキストを受け取るステップと、
    前記主デバイスによって、デジタルパーソナルアシスタント機能を呼び出して前記コンテキストを評価し、パーソナルアシスタント結果を生成するステップと、
    前記主デバイスによって、前記ユーザへの提示のために前記パーソナルアシスタント結果を前記副デバイスに提供するステップとを含む、方法。
JP2017508639A 2014-09-09 2015-09-07 近接したデバイスによるデジタルパーソナルアシスタントの呼出し Pending JP2017538985A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/481,821 US20160070580A1 (en) 2014-09-09 2014-09-09 Digital personal assistant remote invocation
US14/481,821 2014-09-09
PCT/US2015/048748 WO2016040202A1 (en) 2014-09-09 2015-09-07 Invocation of a digital personal assistant by means of a device in the vicinity

Publications (1)

Publication Number Publication Date
JP2017538985A true JP2017538985A (ja) 2017-12-28

Family

ID=54251717

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017508639A Pending JP2017538985A (ja) 2014-09-09 2015-09-07 近接したデバイスによるデジタルパーソナルアシスタントの呼出し

Country Status (11)

Country Link
US (1) US20160070580A1 (ja)
EP (1) EP3192041A1 (ja)
JP (1) JP2017538985A (ja)
KR (1) KR20170056586A (ja)
CN (1) CN106796517A (ja)
AU (1) AU2015315488A1 (ja)
BR (1) BR112017003405A2 (ja)
CA (1) CA2959675A1 (ja)
MX (1) MX2017003061A (ja)
RU (1) RU2017107170A (ja)
WO (1) WO2016040202A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020213116A1 (ja) * 2019-04-18 2020-10-22 マクセル株式会社 情報処理装置およびデジタルアシスタントシステム
JP2022051741A (ja) * 2018-05-07 2022-04-01 グーグル エルエルシー コンピューティングデバイス間のアクセス制御の同期化

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10025684B2 (en) 2014-09-24 2018-07-17 Microsoft Technology Licensing, Llc Lending target device resources to host device computing environment
US9860306B2 (en) 2014-09-24 2018-01-02 Microsoft Technology Licensing, Llc Component-specific application presentation histories
US9769227B2 (en) 2014-09-24 2017-09-19 Microsoft Technology Licensing, Llc Presentation of computing environment on multiple devices
US10448111B2 (en) 2014-09-24 2019-10-15 Microsoft Technology Licensing, Llc Content projection
US10635296B2 (en) 2014-09-24 2020-04-28 Microsoft Technology Licensing, Llc Partitioned application presentation across devices
US9678640B2 (en) 2014-09-24 2017-06-13 Microsoft Technology Licensing, Llc View management architecture
CN106409295B (zh) * 2015-07-31 2020-06-16 腾讯科技（深圳）有限公司 从自然语音信息中识别时间信息的方法和装置
US10353564B2 (en) 2015-12-21 2019-07-16 Sap Se Graphical user interface with virtual extension areas
US10945129B2 (en) * 2016-04-29 2021-03-09 Microsoft Technology Licensing, Llc Facilitating interaction among digital personal assistants
US10318253B2 (en) 2016-05-13 2019-06-11 Sap Se Smart templates for use in multiple platforms
US10579238B2 (en) 2016-05-13 2020-03-03 Sap Se Flexible screen layout across multiple platforms
US20170329505A1 (en) 2016-05-13 2017-11-16 Sap Se Transferring parameters in applications and interfaces across multiple platforms
US10353534B2 (en) 2016-05-13 2019-07-16 Sap Se Overview page in multi application user interface
US10127926B2 (en) * 2016-06-10 2018-11-13 Google Llc Securely executing voice actions with speaker identification and authentication input types
US10521187B2 (en) * 2016-08-31 2019-12-31 Lenovo (Singapore) Pte. Ltd. Presenting visual information on a display
EP3312722A1 (en) 2016-10-21 2018-04-25 Fujitsu Limited Data processing apparatus, method, and program
JP7100422B2 (ja) 2016-10-21 2022-07-13 富士通株式会社 データプロパティ認識のための装置、プログラム、及び方法
ES2765415T3 (es) 2016-10-21 2020-06-09 Fujitsu Ltd Aparato, método y programa de procesamiento de datos basado en microservicios
JP6805765B2 (ja) 2016-10-21 2020-12-23 富士通株式会社 ソフトウェアサービスの実行のためのシステム、方法、及びプログラム
US10776170B2 (en) 2016-10-21 2020-09-15 Fujitsu Limited Software service execution apparatus, system, and method
US10915303B2 (en) 2017-01-26 2021-02-09 Sap Se Run time integrated development and modification system
US11150922B2 (en) 2017-04-25 2021-10-19 Google Llc Initializing a conversation with an automated agent via selectable graphical element
US10237209B2 (en) 2017-05-08 2019-03-19 Google Llc Initializing a conversation with an automated agent via selectable graphical element
KR102489914B1 (ko) * 2017-09-15 2023-01-20 삼성전자주식회사 전자 장치 및 이의 제어 방법
EP4117232A1 (en) * 2017-09-15 2023-01-11 Samsung Electronics Co., Ltd. Electronic device and control method therefor
US11410648B2 (en) 2017-10-03 2022-08-09 Google Llc Multiple digital assistant coordination in vehicular environments
KR102504469B1 (ko) * 2017-12-14 2023-02-28 현대자동차주식회사 차량, 허브장치 및 이를 포함하는 통신 시스템
US20220101378A1 (en) * 2019-01-24 2022-03-31 Emelem Pty Ltd. System and method for disseminating information to consumers
WO2021045278A1 (ko) * 2019-09-06 2021-03-11 엘지전자 주식회사 디스플레이 장치
KR20220005348A (ko) 2020-07-06 2022-01-13 삼성전자주식회사 인공지능 가상 비서 서비스에서의 화면 제공 방법 및 이를 지원하는 사용자 단말 장치 및 서버
US20220398112A1 (en) * 2021-06-11 2022-12-15 International Business Machines Corporation User interface accessibility navigation guide
WO2024123107A1 (ko) * 2022-12-07 2024-06-13 삼성전자 주식회사 인공 지능 비서를 제공하기 위한 전자 장치, 방법 및 비 일시적 저장 매체

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030036927A1 (en) * 2001-08-20 2003-02-20 Bowen Susan W. Healthcare information search system and user interface
US7398209B2 (en) * 2002-06-03 2008-07-08 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
JP5352053B2 (ja) * 2007-01-23 2013-11-27 出光興産株式会社 油冷式スクリュー空気圧縮機用潤滑油組成物およびこれを充填した油冷式スクリュー空気圧縮機
US8861898B2 (en) * 2007-03-16 2014-10-14 Sony Corporation Content image search
US8943425B2 (en) * 2007-10-30 2015-01-27 Google Technology Holdings LLC Method and apparatus for context-aware delivery of informational content on ambient displays
US8185539B1 (en) * 2008-08-12 2012-05-22 Foneweb, Inc. Web site or directory search using speech recognition of letters
US8676904B2 (en) * 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US9858925B2 (en) * 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US20130018659A1 (en) * 2011-07-12 2013-01-17 Google Inc. Systems and Methods for Speech Command Processing
US9674331B2 (en) * 2012-06-08 2017-06-06 Apple Inc. Transmitting data from an automated assistant to an accessory
US20130328667A1 (en) * 2012-06-10 2013-12-12 Apple Inc. Remote interaction with siri
US20130347018A1 (en) * 2012-06-21 2013-12-26 Amazon Technologies, Inc. Providing supplemental content with active media
KR102003938B1 (ko) * 2012-08-10 2019-07-25 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US20160261921A1 (en) * 2012-11-21 2016-09-08 Dante Consulting, Inc Context based shopping capabilities when viewing digital media
US9659298B2 (en) * 2012-12-11 2017-05-23 Nuance Communications, Inc. Systems and methods for informing virtual agent recommendation
US9672822B2 (en) * 2013-02-22 2017-06-06 Next It Corporation Interaction with a portion of a content item through a virtual assistant
US9172747B2 (en) * 2013-02-25 2015-10-27 Artificial Solutions Iberia SL System and methods for virtual assistant networks
US9721570B1 (en) * 2013-12-17 2017-08-01 Amazon Technologies, Inc. Outcome-oriented dialogs on a speech recognition platform

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022051741A (ja) * 2018-05-07 2022-04-01 グーグル エルエルシー コンピューティングデバイス間のアクセス制御の同期化
JP7241934B2 (ja) 2018-05-07 2023-03-17 グーグル エルエルシー コンピューティングデバイス間のアクセス制御の同期化
WO2020213116A1 (ja) * 2019-04-18 2020-10-22 マクセル株式会社 情報処理装置およびデジタルアシスタントシステム
JPWO2020213116A1 (ja) * 2019-04-18 2020-10-22
JP7244628B2 (ja) 2019-04-18 2023-03-22 マクセル株式会社 情報処理装置
JP7483970B2 (ja) 2019-04-18 2024-05-15 マクセル株式会社 情報処理方法

Also Published As

Publication number Publication date
BR112017003405A2 (pt) 2017-11-28
AU2015315488A1 (en) 2017-03-16
KR20170056586A (ko) 2017-05-23
MX2017003061A (es) 2017-05-23
WO2016040202A1 (en) 2016-03-17
CA2959675A1 (en) 2016-03-17
RU2017107170A (ru) 2018-09-06
US20160070580A1 (en) 2016-03-10
CN106796517A (zh) 2017-05-31
EP3192041A1 (en) 2017-07-19

Similar Documents

Publication Publication Date Title
JP2017538985A (ja) 近接したデバイスによるデジタルパーソナルアシスタントの呼出し
US11112942B2 (en) Providing content via multiple display devices
US10956008B2 (en) Automatic home screen determination based on display device
CN106133826B (zh) 用于语言模型自定义的灵活模式
US10448111B2 (en) Content projection
KR20170096408A (ko) 어플리케이션을 표시하는 방법 및 이를 지원하는 전자 장치
RU2636119C2 (ru) Система локальной интерактивной платформы на основе звукового сигнала и способ обеспечения локальной интерактивной службы с ее помощью
US10397760B2 (en) User terminal device and method for providing web service thereof
KR20160042739A (ko) 화면을 공유하기 위한 방법 및 그 전자 장치
US9560472B2 (en) Apparatus and method for sharing data with an electronic device
KR20220080270A (ko) 전자 장치 및 전자 장치의 제어 방법
CN111294640A (zh) 信息展示、出售方法及装置、存储介质、电子设备
KR102199590B1 (ko) 관심정보에 따른 컨텐츠 추천장치 및 방법
KR102218553B1 (ko) 화면 제어를 위한 방법 및 전자장치
US20150032816A1 (en) Information processing apparatus, information processing method, and recording medium
US10061903B2 (en) Data processing method and electronic device thereof
KR20170075591A (ko) 사용자의 선호도에 따라 사용자에게 컨텐트들을 제공하는 방법 및 이를 위한 전자 장치
TW201535234A (zh) 資訊介面產生
US20130325999A1 (en) Information-processing system, information-processing device, information-processing method, and storage medium
US20200342910A1 (en) Prerecorded video experience container
US20160337499A1 (en) Data transmission device, data transmission method and program for data transmission device
US20200351563A1 (en) Electronic device for providing information related to bookmarked content, and method for controlling electronic device
US20210058742A1 (en) Techniques for location-based alert of available applications
EP3319328A1 (en) Streaming service method and device
US11785070B2 (en) Connected cloud applications