JP2018505463A - 音声ベース装置の外部視覚的インタラクション - Google Patents

音声ベース装置の外部視覚的インタラクション Download PDF

Info

Publication number
JP2018505463A
JP2018505463A JP2017529693A JP2017529693A JP2018505463A JP 2018505463 A JP2018505463 A JP 2018505463A JP 2017529693 A JP2017529693 A JP 2017529693A JP 2017529693 A JP2017529693 A JP 2017529693A JP 2018505463 A JP2018505463 A JP 2018505463A
Authority
JP
Japan
Prior art keywords
external device
wireless communication
communication protocol
computing device
logic subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017529693A
Other languages
English (en)
Inventor
ザオ，ウェイドン
カルドウェル，ゲイリー
バルガバ，ルチ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2018505463A publication Critical patent/JP2018505463A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Transceivers (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本願で開示する実施例は、オーディオベースのウェアラブル装置にオンデマンドで拡張機能を提供することに関する。一実施例が提供するウェアラブル計算装置は、音声入力を受け取るように構成された音響レシーバと、オーディオ出力を提供するように構成されたスピーカと、外部装置に接続するように構成された通信サブシステムと、命令を実行するように構成されたロジックサブシステムと、前記ロジックサブシステムにより実行可能な命令を有する記憶サブシステムであって、前記ロジックサブシステムに、プログラムを実行し、無線通信プロトコルにより外部装置と接続し、前記音響レシーバが受け取った音声入力と、前記スピーカにより提供されるオーディオ出力とにより、前記プログラムのオーディオベースの対話を行い、前記プログラムの画面ベースの対話に到達したとき、前記スピーカにより、ユーザに、前記外部装置と対話するように通知し、前記外部装置の画面による提示のため、画像データを前記外部装置に提供させる、記憶サブシステムとを有する。

Description

ユーザは、様々な異なるユーザインターフェース機構を使用して電子装置と対話（ｉｎｔｅｒａｃｔ）することができる。多くの計算装置は、自然で直感的な人間の対話（ｉｎｔｅｒａｃｔｉｏｎｓ）を入力として受け入れるように構成されたユーザインターフェースを利用している。例えば、そのようなユーザインターフェースの中には、視覚的及び触覚的な対話のためにディスプレイとその上に配置されたタッチセンサを利用するものもあれば、音声／音響対話のためにスピーカ及びマイクロフォンを利用するものもある。
本明細書に開示する実施例は、音声ベースの計算装置に拡張機能を提供することに関する。一実施例として提供される計算装置は、音声入力を受け取るように構成された音響レシーバと、オーディオ出力を提供するように構成されたスピーカと、外部装置に接続するように構成された通信サブシステムと、命令を実行するように構成されたロジックサブシステムと、前記ロジックサブシステムにより実行可能な命令を有する記憶サブシステムであって、前記命令は、プログラムを実行し、無線通信プロトコルにより外部装置と接続し、前記音響レシーバが受け取った音声入力と、前記スピーカにより提供されるオーディオ出力とにより、前記プログラムのオーディオベースの対話を行い、前記プログラムの画面ベースの対話に到達したとき、前記スピーカにより、ユーザに、前記外部装置と対話するように通知し、前記外部装置の画面による提示のため、画像データを前記外部装置に提供する、命令である記憶サブシステムとを有する。
本欄では、発明の詳細な説明で詳しく説明するコンセプトの一部を選んで、簡単に説明する。本欄は、特許を請求する主題の重要な特徴や本質的な特徴を特定するものではなく、特許を請求する主題の範囲を限定するものでもない。さらに、請求項に係る主題は、本開示の任意の部分に記載された任意の又はすべての欠点を解消する実施に限定されない。
例示的な音声ベースの計算装置を示すブロック図である。
例示的な音声ベースの計算装置及び例示的な拡張ディスプレイ装置を示す図である。
音声ベースの計算装置を有する例示的システムを示すブロック図である。
拡張ディスプレイ装置に関する情報更新の一例を示す流れ図である。
音声ベースの計算装置のディスプレイベースの対話を提供する例示的な方法を示す図である。
例示的計算システムを示すブロック図である。
計算装置は、主要なユーザインターフェース体験として音響対話（例えば、音声入力及び音響出力）を利用するように構成されてもよい。そのような音声ベースの計算装置により、ユーザは、他のものに視覚的注意を維持しながら、及び／又は他のタスクを実行しながら、計算装置と対話することができる。さらに、そのような装置により、タッチセンシティブディスプレイを利用する装置と比較して、はるかに小さいディスプレイの使用、又はディスプレイの省略さえ可能になる。これにより、装置は、ディスプレイベースの装置よりも小さいフォームファクタを有し、（例えば、耳の中の）ユーザには見えない場所に装着でき、また、装置の電力消費を低減するのを助けることができる。
しかし、計算装置との対話中にユーザがアクセスするデータの中には、音響提示にあまり適さないものもある。例えば、地図データは、音響的よりも視覚的に豊富なデータで提示され得る。別の例として、音響的対話によって実行される検索が、オーディオビジュアルデータを含む検索結果を生成する場合、ユーザは、オーディオ部分のみではなく、オーディオ部分と共にデータのビデオ部分を提示したい場合がある。さらに、ユーザは、プライバシーを守るために非音声対話を実行することを望む場合もある。
したがって、本明細書に開示される実施例は、音声ベースの計算装置の外部にある装置を使用して、視覚情報を提示し、視覚的な対話（ｉｎｔｅｒａｃｔｉｏｎｓ）を行うことに関する。図１は、例示的な音声ベースの計算装置１００を示すブロック図である。音声ベースの計算装置１００は、イヤホン１０２と、ユーザに装着されるように構成され得る任意的なホスト１０４とを備える。例えば、ホスト１０４は、ユーザの身体及び／又は衣類にクリップされ、ポケットに入れられ、或いは他の適切な方法で装着されてもよい。言うまでもなく、音声ベースの計算装置１００は、いくつかの例では、別個のホスト装置のない単一の着用可能な計算装置として実装されてもよい。
イヤホン１０２は、ユーザ入力を受け取る一以上のセンサを含む。そのようなセンサは、動きセンサ１０３、タッチセンサ１０５、機械的入力機構１０６、及びマイクロフォン１０８を含むことができるが、これらに限定されない。任意の適切な動きセンサを使用することができ、ジャイロスコープ、加速度計、磁力計、及び／又は一以上の軸における動きを検出する他のセンサのうち一以上を含むが、これに限定されない。同様に、容量性、抵抗性及び光学的タッチセンサを含むが、これに限定されない、任意の適切なタッチセンサを使用することができる。適切な機械的入力機構１０６の例には、スクロールホイール、ボタン、ダイヤル、及び／又は他の適切な機械的入力機構が含まれ得るが、これらに限定されない。イヤホン１０２はまた、一以上のスピーカ１１０などのユーザに情報を提示するための一以上の出力と、可能性としては、触覚的出力（例えば、振動出力システム）などの他の出力機構１１２とを含む。
イヤホン１０２は、ホスト１０４又は他のパーソナルアシスタント計算装置コンポーネントとの通信を可能にするように構成されたホスト通信システム１１４をさらに含む。ホスト通信システム１１４は、任意の適切な有線又は無線通信プロトコルを介してホスト１０４と通信することができる。
また、ホスト１０４は、ユーザ入力を受け取る一以上の入力機構を含む。例えば、ホストは、イヤホン１０２について上述したような、一以上の動きセンサ１２４、タッチセンサ１２６、及び機械的入力機構１２８を含むことができる。ホスト１０４は、イヤホン１０２と通信するイヤホン通信システム１３０と、外部装置と通信する外部ネットワーク通信システム１３２とを含む。例えば、ホスト１０４は、ネットワーク（例えば、コンピュータネットワーク、携帯電話ネットワーク、及び／又は他の適切な外部ネットワーク）を介して、及び直接接続（例えば、Ｂｌｕｅｔｏｏｔｈ(登録商標)又はＷｉＦｉダイレクトなどの直接無線プロトコルを用いる）直接接続を介して、外部装置と通信するように構成されていてもよい。
上述したように、音声ベースの計算装置を使用している間に遭遇するかもしれないいくつかの計算装置対話には、ユーザが体験したいと思う視覚的コンポーネントを含むことがある。１つの非限定的な例として、ユーザは、音声ベースの計算装置を使用して、タクシーサービスに連絡し、タクシーを呼び、次いで予約したタクシーの位置を地図により追跡することを望むことがある。
したがって、ここに開示する実施例は、ビジュアルコンテンツの提示を可能にし、オンデマンドベースで、それとユーザとの対話を可能にする、拡張装置（例えば、ディスプレイを有する近くの外部計算装置）に接続することによって、音声ベースの計算装置に拡張されたビジュアル機能を提供することに関する。このような装置に接続して通信することにより、音声ベースの計算システムは、上述したような音声ベースの対話の利点を維持しながら、必要に応じて、視覚的コンテンツ（例えば、グラフィカルユーザーインターフェイス、ビデオデータ、地図データなど）の提示を可能にする。
図２は、音声ベースの計算装置１００を示す概略図であり、音声ベースの計算装置１００、すなわちモバイル装置２０６及びタブレット計算装置２０８の拡張装置（ｅｘｔｅｎｄｅｒ ｄｅｖｉｃｅ）として使用され得る様々な外部装置を示す。音声ベースの計算装置１００を装着しているユーザの位置に応じて、他の外部装置を拡張装置として使用することができる。例えば、家庭環境は、音声ベースの計算装置１００が画面ベースの対話のために接続することができるテレビ及び／又はビデオゲームシステムを含むことができる。同様に、車環境は、オンボード・計算・システム用のダッシュボード（ｉｎ−ｄａｓｈ）ディスプレイを含むことができる。言うまでもなく、音声ベースの計算装置１００は、任意の適切なタイプ及び数の外部装置に接続するように構成されてもよい。
図３は、音声ベースの計算装置１００の例示的なシステム環境３００を示す。音声ベースの計算装置１００は、アプリケーション１ ３０４及びアプリケーションＮ ３０７として示される一以上のアプリケーション３０２を実行するように構成され得る。一以上のアプリケーションは、音声ベースの対話コンポーネント３０６に加えて、視覚的対話コンポーネント３０５を含んでいてもよい。音声ベースの計算装置１００は、さらに、接続１ ３１２から接続Ｎ ３１４として示される、一以上の無線プロトコルを介して拡張装置３１０に接続し、ディスプレイ３１６を介して表示するための画像コンテンツを提供するように構成された拡張モジュール３０８を備える。無線通信プロトコルの例には、Ｂｌｕｅｔｏｏｔｈプロトコル及びＷｉ−Ｆｉプロトコルが含まれる。音声ベースの計算装置１００は、拡張装置３１０に直接的に、又は他のネットワークコンポーネントを介して、接続することができる。
拡張装置３１０は、同様に、音声ベースの計算装置１００の拡張モジュール３０８と通信するように構成された拡張アプリケーション３１８を含む。図示された拡張アプリケーション３１８は、ディスプレイ３１６に提示するため、音声ベースのコンピュータ装置１００から画像データを受信し、受信した画像データを処理する画像提示モジュール３２０を含む。拡張装置３１０は、さらに、ユーザが音声ベースの計算装置１００からの表示されたコンテンツと対話することができる一以上のユーザ入力装置３２３を含む。例示的な入力装置には、タッチセンサ（例えば、タッチセンシティブディスプレイ）、機械的ボタン、及び動きセンサが含まれるが、これらに限定されない。拡張アプリケーション３１８は、さらに、ユーザ入力装置３２３を介して受信したユーザ入力を音声ベースの計算装置１００にリダイレクトする入力リダイレクトモジュール３２２を備えていてもよい。
いくつかの例では、音声ベースの計算装置１００及び拡張装置３１０は、スマートマルチトランスポートスイッチングを利用してもよく、接続性能、帯域幅需要、パワー考察などの要因に応じて通信を接続ごとに切り替えることができる。いくつかの例では、通信は、時間的に重複する態様で複数のチャネルにわたって行われてもよく、他の実施形態では、一度に単一のチャネルを介してデータが送信されてもよい。いずれの場合でも、マルチトランスポートスイッチングを使用することにより、音声ベースの計算装置１００は、ネットワークトラフィック負荷を動的にバランスさせることができる。
非限定的な例として、接続１ ３１２はブルートゥース（登録商標）接続を表し、接続Ｎ ３１４はＷｉ−Ｆｉ接続を表す。音声ベースの計算装置１００は、再送信レートなどのネットワーク性能特性について各接続を監視し、性能特性の変化及び／又は装置間で転送されるデータの特性に基づいて、接続を動的に切り替えることができる。別の例では、音声ベースの計算装置１００は、利用可能な場合にはデフォルトで１つの接続（例えばＷｉＦｉ）を介して拡張装置３１０に接続し、Ｗｉ−Ｆｉが利用できない場合には別の接続（例えばブルートゥース）を介して接続するように構成される。ブルートゥースを介して接続されると、音声ベースの計算装置１００は依然としてＷｉ−Ｆｉの利用可用性を監視し、検出されると自動的にＷｉ−Ｆｉに切り替えることができる。さらに別の例では、音声ベースの計算装置１００は、ユーザによって選択された接続を介して、及び／又はユーザの好みに基づいて、拡張装置３１０に接続するように構成されてもよい。
音声ベースの計算装置１００は、任意の適切な方法で一以上の拡張装置に接続するように構成することができる。例えば、音声ベースの計算装置１００は、一以上の拡張装置のそれぞれによって発せられたビーコン信号を検出することによって、一以上の拡張装置を発見するように構成されてもよい。さらに、二以上の拡張装置が利用可能であると判定された場合、音声ベースの計算装置１００は、拡張の機能（例えば、計算リソース、通信リソース、表示特性など）に基づいて、及び／又は任意の他の適切なファクタに基づいて、例えばユーザによって指定された、デフォルト拡張装置に優先的に接続するように構成されてもよい。
同様に、音声ベースの計算装置１００は、任意の適切なトリガリングイベント又は状況に基づいて、一以上の拡張装置に接続するように構成することができる。例えば、音声ベースの計算装置１００は、ユーザ入力によって指示されたとき、及び／又は音声ベースの計算装置１００で実行されているアプリケーションにディスプレイベースのインタラクションが生じたときに、装置を検出すると、拡張装置３１０に自動的に接続してもよい。拡張装置３１０に接続されると、音声ベースの計算装置１００は、画面ベースのインタラクションが音声ベースの計算装置１００上で実行されているとき、拡張装置３１０に、表示する画像データを提供して表示してもよい。
いくつかの例では、音声ベースの計算装置１００によって拡張装置３１０に提供される画像データは、拡張装置３１０に表示されるように適切にレンダリングされるように、拡張装置３１０のディスプレイ３１６に関する情報に基づくものであってもよい。そのような情報の例には、拡張装置ディスプレイ３１６のフレームレート及び解像度が含まれるが、これに限定されない。
音声ベースの計算装置１００は、さらに、拡張装置ディスプレイ３１６の現在の向きに基づく画像データを生成し提供するように構成されてもよい。ディスプレイ３１６の表示の向きは、拡張装置３１０が、現在、ユーザによって置かれ、又は保持される位置に依存してもよく、画面ベースの対話の間に変更されてもよい。このように、ディスプレイ３１６の向きに関する情報は、以下でより詳細に説明するように、使用セッション中に更新されてもよい。
いくつかの実施形態では、音声ベースの計算装置１００は、リモートサービス３２６を利用して、ネットワーク３２４を介して拡張装置３１０に画像データを送信することができる。例えば、音声ベースの計算装置１００上で実行されるアプリケーション３０２は、リモートサービスによって実行されてもよい。音声ベースの計算装置１００は、画面対話に到達すると、拡張装置３１０に、リモートサービス３２６のネットワークアドレスを通知し、拡張装置３１０は、リモートサービス３２６と対話して、表示用の画像データを取得する。リモートサービス３２６を介して画像データをレンダリング及び圧縮することは、音声ベースの計算装置１００での画像データのレンダリング及び圧縮と比べて、音声ベースの計算装置１００による電力消費を低減するのに役立つ。さらに、入力リダイレクトモジュール３２２は、音声ベースの計算装置１００に直接戻すのではなく、拡張装置３１０のユーザ入力に関する情報をリモートサービス３２６にリダイレクトするように構成されていてもよい。他の例では、ユーザ入力は、音声ベースの計算装置１００に向けられ、その後、リモートサービス３２６に転送される。このようにして、リモートサービス３２６及び音声ベースの計算装置１００上で動作するアプリケーションの状態を同期させることができる。
図４は、拡張装置３１０のディスプレイの向きに関する、音声ベースの計算１００における情報の更新を示す流れ図である。４０２において、拡張装置３１０は、（例えば、入力リダイレクトモジュールを介して）拡張装置ディスプレイの第１の向き（例えば、ポートレート向き）に対応する向き信号を、音声ベースの計算装置に送信する。４０４において、音声ベースの計算装置１００は、向き信号を受信し、４０６において、第１の向きの画像データをレンダリングし、４０８において、拡張装置３１０に画像データを提供する。拡張装置３１０は、４１０において、画像データをディスプレイに提示する。４１２において、拡張装置３１０は、第１の向きから第２の向き、例えば、横向きに変更し、４１４において、第２の向きの向き信号を送信する。音声ベースの計算装置１００は、４１６において、更新された向き信号を受信する。次いで、音声ベースの計算装置１００は、４１８において、第２の向きの画像データをレンダリングし、４２２において拡張装置３１０に提示するために、４２０において、更新された画像データを提供することができる。言うまでもなく、拡張装置３１０上で実行される拡張アプリケーションは、信号が変化を示すかどうかにかかわらず、周期的に向き信号を送信するように構成されてもよく、又は向き信号を分析し、向きの変化が検出されたら、向き情報を送信してもよい。
図５は、音声ベースの計算装置のディスプレイベースの対話を提供する例示的な方法５００を示す流れ図である。方法５００は、５０２において、音声ベースの計算装置上で動作するように構成されたアプリケーションなどのプログラムを実行することを含む。方法５００は、さらに、５０４において、５０６及び５０８にそれぞれ示される、音声入力を受け取り、及び／又は音声出力を提供することによって、プログラムの音響ベースの対話を行うことを含む。
方法５００はさらに、５１０において、及び５１２において、表示画面を有する外部装置に接続する、プログラムの画面ベースの対話を検出することを含む。外部装置への接続は、画面ベースの対話の検出によってトリガされてもよいし、対話が検出される前に実行されてもよい。上述したように、音声ベースの計算装置は、５１４に示すように、一以上の無線通信プロトコルを介して外部装置に接続してもよく、いくつかの例では、複数の接続を介して接続して、音声ベースの計算装置と拡張装置との間のトラフィックの動的付加バランシングを可能にしてもよい。さらに、外部装置に接続しているとき、音声ベースの計算装置は、外部装置の向き、解像度、及び／又はフレームレートなど、拡張装置の態様に関する情報を受信してもよい。
さらに、いくつかの例では、方法５００は、５１６において、外部装置に表示する画像データを提供するリモートサービスに接続することを含んでもよい。これは、音声ベースの計算装置上で画像データをレンダリング及び圧縮することと比較して、計算リソースを節約し、音声ベースの計算装置における電力消費を低減する役にたつ。そのようなリモートサービスは、音声ベースの計算装置上でも実行されているアプリケーションを実行して、画面ベースの対話に対応する画像データを生成するように構成することができる。状態情報は、音声ベースの計算装置上のアプリケーションと、リモートサービス上のアプリケーションとの間で、任意の適切な方法で交換することができる。
方法５００はさらに、５２０において、画面ベースの対話をユーザに通知することと、５２２において、拡張装置に提示する画像データを提供することとを含む。画像データは、音声ベースの計算装置から直接提供されてもよいし、５２４に示すように、リモート装置に接続してリモート装置から画像データを取得するように外部装置に命令を送ることによって提供されてもよい。
音声ベースの計算装置及び拡張装置が複数の接続を介して接続される場合、方法５００はさらに、５２６において、無線通信接続のそれぞれについて一以上の性能特性を監視することと、５２８において、一以上の性能特性に基づいて、無線通信接続を選択することとを含んでもよい。選択された無線接続は、動的に変更され、装置間のデータ送信を容易にしてもよい。
さらに、拡張装置が動きセンサ及び／又は向きセンサを含む場合、方法５００はさらに、５３０において、更新された向き情報を受信し、向き情報に基づいて画像データを提供する。これにより、音声ベースの計算装置及び／又はリモートサービスでレンダリングされる画像データを、拡張装置の現在の向きに基づいてレンダリングすることができる。
上述したように、拡張装置で受信されたユーザ入力は、拡張装置上で実行されるプログラムとの対話として、拡張装置によって音声ベースの計算装置にリダイレクトされてもよい。このように、方法５００は、５３２において、外部装置からユーザ入力情報を受信する。リモートサービスが画像データのレンダリングに用いられる場合、５３４に示すように入力はリモートサービスから受信されてもよく、又は拡張装置から直接受信され、リモートサービスに転送されてもよい。入力は、５３６に示すように、外部装置のタッチセンサ上のタッチ入力に対応する位置信号の形式を取ることができ、及び／又は任意の他の適切な形式を取ることができる。
ディスプレイ対話がもはや必要でない場合、音声ベースの計算装置は、拡張装置から自動的に切断するか、又は接続をより持続的に維持するように構成することができる。各画面ベースの対話後に切断すると、消費電力を削減するのに役立つが、どのくらい速く接続を確立できるかに応じて、画面ベースの体験に遅れが生じることもある。
幾つかの実施形態では、ここに説明する方法とプロセスは、一以上の計算装置の計算システムに結びついていてもよい。具体的に、このような方法とプロセスはコンピュータアプリケーションプログラム又はサービス、アプリケーション・プログラミングインターフェース（ＡＰＩ）、ライブラリ、及び／又は他のコンピュータ・プログラム製品として実施され得る。
図６は、上述の方法及びプロセスのうちの一以上を実施することができる計算システム６００の非限定的な実施形態を示す概略図である。計算装置６００は簡略化した形式で示した。計算システム６００は、一以上のパーソナルコンピュータ、サーバコンピュータ、タブレットコンピュータ、ホームエンターテイメントコンピュータ、ネットワーク計算装置、ゲーム装置、モバイル計算装置、モバイル通信装置（例えば、スマートフォン）、及び／又はその他の計算装置であって、本明細書で開示される音声ベースの計算装置及び／又は拡張計算装置を含むがこれらに限定されない計算装置の形式を取ってもよい。
計算システム６００は、ロジックサブシステム６０２及び記憶サブシステム６０４を含む。計算システム６００は任意的に、ディスプレイサブシステム６０６、入力サブシステム６０８、通信サブシステム６１０、及び／又は図６には示されていない他のコンポーネントを含んでいてもよい。
ロジックサブシステム６０２は、命令を実行するように構成された一以上の物理装置を含む。例えば、ロジック機械は、アプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造、又はその他のロジック構成のうちの一以上の一部である命令を実行するように構成し得る。かかる命令を実施して、タスクを実行し、データタイプを実装し、一以上のコンポーネントの状態を変換し、技術的効果を達成し、又は所望の結果に到達し得る。
ロジックサブシステム６０２は、ソフトウェア命令を実行するように構成された一以上のプロセッサを含み得る。追加的又は代替的に、ロジックサブシステム６０２は、ハードウェア又はファームウェア命令を実行するように構成された一以上のハードウェア又はファームウェアロジック機械を含み得る。ロジック機械のプロセッサはシングルコア又はマルチコアであり、それらの上で実行される命令は順次的、並列的、及び／又は分散的に処理されるよう構成され得る。ロジック機械の個々のコンポーネントは、任意的に、２つ以上の別個の装置に分散されてもよく、これらの装置は、リモート地に配置されていても、及び／又は協調的に処理するよう構成されていてもよい。ロジック機械の態様は、クラウド計算構成のリモートアクセス可能なネットワークされた計算装置により仮想化され実行され得る。
記憶サブシステム６０４は、ロジック機械によって実行可能な命令を保持し、本明細書に記載の方法及びプロセスを実現するように構成された一以上の物理装置を含む。このような方法とプロセスが実施されると、記憶サブシステム６０４の状態は、例えば異なるデータを保持するように、変換され得る。
記憶サブシステム６０４は、リムーバブル装置及び／又はビルトイン装置を含み得る。記憶サブシステム６０４は、なかんずく、光学メモリ（例えば、ＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、ブルーレイディスクなど）、半導体メモリ（例えば、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなど）、及び／又は磁気メモリ（例えば、ハードディスクドライブ、フロッピーディスクドライブ、テープドライブ、ＭＲＡＭなど）を含み得る。記憶サブシステム６０４は、揮発性、不揮発正、ダイナミック、スタティック、リード／ライト、リードオンリー、ランダムアクセス、シーケンシャルアクセス、ロケーションアドレサブル、ファイルアドレサブル、及びコンテントアドレサブル装置を含んでも良い。
言うまでもなく、記憶サブシステム６０４は、一以上の物理装置を含む。しかしながら、本明細書に記載された命令の態様は、代替的に、有限の持続時間の間、物理的装置によって保持されない通信媒体（例えば、電磁気的信号、光信号など）によって伝搬されてもよい。
ロジックサブシステム６０２及び記憶サブシステム６０４の態様は、一以上のハードウェアロジックコンポーネントに統合されてもよい。そのようなハードウェアロジックコンポーネントには、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定プログラム及びアプリケーション集積回路（ＰＡＳＩＣ／ＡＳＩＣ）、特定プログラム及びアプリケーション標準製品（ＰＳＳＰ／ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、及び複雑なプログラマブルロジック装置（ＣＰＬＤ）などが含まれても良い。
「モジュール」及び「プログラム」という用語は、ある機能を実行するように実装された計算システム６００の態様を記載するために使用されてもよい。幾つかの場合には、モジュール又はプログラムは、記憶サブシステム６０４により保持された命令を実行するロジックサブシステム６０２を介してインスタンス化されてもよい。言うまでもなく、異なるモジュール及び／又はプログラムは、同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、ＡＰＩ、関数などからインスタンス化してもよい。同様に、同じモジュール及び／又はプログラムは、異なるアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、ＡＰＩ、関数によりインスタンス化（ｉｎｓｔａｎｔｉａｔｅｄ）し得る。「モジュール」及び「プログラム」との用語は、実行可能ファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベースレコードなどを含み得る。
言うまでもなく、本明細書で用いる「サービス」は、複数のユーザセッションにわたり実行可能なアプリケーションプログラムである。サービスは、一以上のシステムコンポーネント、プログラム及び／又はその他のサービスに利用可能であってもよい。いくつかの実施形態では、サービスは、一以上のサーバ計算装置上で動作することができる。
ディスプレイサブシステム６０６は、含まれていれば、記憶サブシステム６０４により保持されたデータのビジュアル表現を提示するために用いられ得る。このビジュアル表現は、グラフィカルユーザインターフェース（ＧＵＩ）の形式をとり得る。ここに説明した方法とプロセスは、記憶機械により保持されたデータを変更し、よって記憶機械の状態を変換するので、ディスプレイサブシステム６０６の状態は、その土台のデータにおける変化をビジュアルに表現するように同様に変換され得る。ディスプレイサブシステム６０６は、任意のタイプの技術を用いた一以上のディスプレイ装置を含み得る。かかるディスプレイ装置は、共通の筐体中に、ロジックサブシステム６０２及び／又は記憶サブシステム６０４と組み合わせてもよいし、又は周辺ディスプレイ装置であってもよい。
入力サブシステム６０８は、含まれていれば、キーボード、マウス、タッチ画面、又はゲームコントローラなどの一以上のユーザ入力装置を備えるか、又はそれとインターフェースすることができる。いくつかの実施形態では、入力サブシステムは、選択された自然ユーザ入力（ＮＵＩ）構成部品を含むか、又はこれとインターフェースすることができる。そのような構成部品は、一体化されていても周辺化されていてもよく、入力動作の変換及び／又は処理はオンボード又はオフボードで処理されてもよい。例示的なＮＵＩ構成部品は、音声及び／又はボイス認識のためのマイクロフォンと、機械ビジョン及び／又はジェスチャ認識のための赤外線、カラー、立体視及び／又は奥行きカメラと、動き検出及び／又は意図認識（ｉｎｔｅｎｔ ｒｅｃｏｇｎｉｔｉｏｎ）のためのヘッドトラッカー、アイトラッカー、加速度計、及び／又はジャイロスコープと、脳活動を評価するための電界感知構成部品とを含み得る。
通信サブシステム６１０は、含まれていれば、計算システム６００を一以上の他の計算装置と通信可能に結合するように構成されてもよい。計算サブシステム６１０は、異なる一以上の通信プロトコルと互換性を有する有線及び／又は無線の通信装置を含む。非限定的な例として、通信サブシステムは、無線電話ネットワークを介した通信のために、又は有線又は無線ローカル又はワイドエリアネットワークを介した通信のために、構成されてもよい。幾つかの実施形態では、通信サブシステムにより、計算システム６００は、インターネットなどのネットワークを介して、他の装置との間でメッセージを送受信できる。
言うまでもなく、ここに説明した構成及び／又はアプローチは、実際は例示であり、多くのバリエーションが可能であるから、これらの具体的な実施形態又は例は限定と考えてはならない。ここに説明した具体的なルーチンや方法は、任意数の処理ストラテジのうちの一以上を表し得る。このように、図示及び／又は記載した様々な動作は、図示及び／又は説明した順序で、他の順序で、並列に行われてもよく、又は省略されてもよい。同様に、上記のプロセスの順序は変更し得る。
本開示の主題は、ここに開示した様々なプロセス、システム及び構成、もしくはその他のフィーチャ、機能、動作、及び／又は特性の新規かつ非自明なすべてのコンビネーション及びサブコンビネーションを含み、これらの任意の及びすべての等価物も含む。
別の例は、ウェアラブル計算装置を提供し、該ウェアラブル計算装置は、音声入力を受信するように構成された音響レシーバと、オーディオ出力を提示するように構成されたスピーカと、外部装置に接続するように構成された通信サブシステムと、命令を実行するように構成されたロジックサブシステムと、ロジックサブシステムによって実行可能な命令を含む記憶サブシステムであって、命令は、プログラムを実行し、無線通信プロトコルを介して外部装置に接続し、音響レシーバで受信された音声入力及びスピーカによって提供される音声出力を介してプログラムのオーディオベースの対話を行い、プログラムの画面ベースの対話に達したときに、外部装置と対話するようスピーカを介してユーザに通知し、外部装置の画面を介して提示のために外部装置に画像データを提供する命令である記憶サブシステムとを含む。命令は、追加的に又は代替的にロジックサブシステムにより実行可能であり、前記無線通信プロトコルは第１の無線通信プロトコルであり、第２の無線通信プロトコルを介しても前記外部装置に接続する。命令は、追加的に又は代替的に、前記第１の無線通信プロトコル及び前記第２の無線通信プロトコルのそれぞれについての一以上の性能特性を監視し、一以上の性能特性に基づいて、前記第１の無線通信プロトコル及び前記第２の無線通信プロトコルのうちの１つを介して、前記外部装置と通信するように実行可能である。命令は、前記外部装置によって発せられたビーコン信号を検出することによって前記外部装置に接続するように実行可能である。命令は、追加的又は代替的に、一以上の追加の外部装置に接続するように実行可能であってもよい。 前記命令は、追加的に又は代替的に、前記ロジックサブシステムに、前記外部装置から、前記外部装置の前記画面の向き、フレームレート、及び解像度のうちの一以上に関する情報を受信するように実行可能であってもよい。命令は、追加的に又は代替的に、外部装置を介してなされたプログラムに対するユーザ入力を受信するように実行可能であってもよいし、外部装置上のタッチ入力に対応する位置信号を含んでもよい。
他の一実施例として提供されるウェアラブル計算装置は、音声入力を受け取るように構成された音響レシーバと、オーディオ出力を提供するように構成されたスピーカと、外部装置とリモートサービスに接続するように構成された通信サブシステムと、命令を実行するように構成されたロジックサブシステムと、前記ロジックサブシステムにより実行可能な命令を有する記憶サブシステムであって、前記ロジックサブシステムに、コンピュータネットワークを介して前記リモートサービスに接続させ、前記外部装置に接続し、前記ウェアラブル計算装置上でローカルにプログラムを実行し、前記音響レシーバが受け取った音声入力と、前記スピーカにより提供されるオーディオ出力とにより、前記プログラムのオーディオベースの対話を行い、前記プログラムの画面ベースの対話に到達したとき、ユーザに、前記外部装置と対話するように通知し、画面ベースの対話のために、前記リモートサービスから前記画像データを取得するよう、前記外部装置に命令し、前記画面ベースの対話中に前記外部装置からユーザ入力情報を受信する。命令は、追加的に又は代替的に、第１の無線通信プロトコル及び第２の無線通信プロトコルを介して外部装置に接続して、第１の無線通信プロトコル及び第２の無線通信プロトコルのそれぞれについて一以上の性能特性を監視し、前記一以上の性能特性に基づいて、前記第１の無線通信プロトコル及び前記第２の無線通信プロトコルのうちの１つを介して前記外部装置と通信するように実行可能であってもよい。命令は、追加的に又は代替的に、リモートサービスを介して外部装置からユーザ入力情報を受信するように実行可能であってもよい。命令は、付加的又は代替的に、外部装置から直接的にユーザ入力情報を受信し、外部装置から直接受信したユーザ入力情報をリモートサービスに転送するように実行可能であってもよい。 前記命令は、追加的に又は代替的に、前記ロジックサブシステムに、前記外部装置から、前記外部装置の前記画面の向き、フレームレート、及び解像度のうちの一以上に関する情報を受信するように実行可能であってもよい。追加的に又は代替的に、前記ユーザ入力は前記外部装置へのタッチ入力に対応する位置信号を含んでもよい。
他の一実施例により提供される、音響レシーバとスピーカとを有するウェアラブル計算装置における方法は、プログラムを実行するステップと、無線通信プロトコルを介して外部装置と接続するステップと、前記音響レシーバが受け取った音声入力と、前記スピーカにより提供されるオーディオ出力とにより、前記プログラムのオーディオベースの対話を行うステップと、前記プログラムの画面ベースの対話に到達したとき、前記スピーカにより、ユーザに、前記外部装置と対話するように通知するステップと、前記外部装置の画面の向きに関する向き情報を前記外部装置から受信するステップと、前記外部装置の画面を介して提示するため、前記向き情報に基づいて前記外部装置に画像データを提供するステップと、前記画面ベースの対話中に前記外部装置からユーザ入力情報を受信するステップとを含む。本方法は、追加的に又は代替的に、前記無線通信プロトコルは第１の無線通信プロトコルであり、第２の無線通信プロトコルを介しても前記外部装置に接続する。本方法は、追加的に又は代替的に、前記第１の無線通信プロトコル及び前記第２の無線通信プロトコルのそれぞれについての一以上の性能特性を監視し、一以上の性能特性に基づいて、前記第１の無線通信プロトコル及び前記第２の無線通信プロトコルのうちの１つを介して、前記外部装置と通信する。本方法は、追加的に又は代替的に、前記ユーザ入力は前記外部装置へのタッチ入力に対応する位置信号を含む。本方法は、追加的に又は代替的に、コンピュータネットワークを介してリモートサービスを接続するステップを備え、前記外部装置からユーザ入力情報を受信するステップは、前記リモートサービスを介して前記ユーザ入力情報を受信するステップを含む。上記の例のいずれか又はすべては、様々な実装において任意の適切な方法で組み合わせることができる。

Claims (13)

  1. ウェアラブル計算装置であって、
    音声入力を受け取るように構成された音響レシーバと、
    オーディオ出力を提供するように構成されたスピーカと、
    外部装置に接続するように構成された通信サブシステムと、
    命令を実行するように構成されたロジックサブシステムと、
    前記ロジックサブシステムにより実行可能な命令を有する記憶サブシステムであって、前記ロジックサブシステムに、
    プログラムを実行し、
    無線通信プロトコルにより外部装置と接続し、
    前記音響レシーバが受け取った音声入力と、前記スピーカにより提供されるオーディオ出力とにより、前記プログラムのオーディオベースの対話を行い、
    前記プログラムの画面ベースの対話に到達したとき、前記スピーカにより、ユーザに、前記外部装置と対話するように通知し、
    前記外部装置の画面による提示のため、画像データを前記外部装置に提供させる、記憶サブシステムとを有する、
    ウェアラブル計算装置。
  2. 前記無線通信プロトコルは第１の無線通信プロトコルであり、前記命令は前記ロジックサブシステムによって実行可能であり、前記ロジックサブシステムに、第２の無線通信プロトコルを介しても前記外部装置に接続させる、
    請求項１に記載のウェアラブル計算装置。
  3. 前記命令は、前記ロジックサブシステムにより実行可能であり、前記ロジックサブシステムに、前記第１の無線通信プロトコル及び前記第２の無線通信プロトコルのそれぞれについての一以上の性能特性を監視し、一以上の性能特性に基づいて、前記第１の無線通信プロトコル及び前記第２の無線通信プロトコルのうちの１つを介して、前記外部装置と通信させる、請求項２に記載のウェアラブル計算装置。
  4. 前記命令は、前記ロジックサブシステムによって実行可能であり、前記外部装置によって発せられたビーコン信号を検出することによって前記外部装置に接続させる、
    請求項１に記載のウェアラブル計算装置。
  5. 前記命令は、ロジックサブシステムによって実行可能であり、前記ロジックサブシステムに、一以上の追加の外部装置に接続させる、
    請求項１に記載のウェアラブル計算装置。
  6. 前記命令は、前記ロジックサブシステムによって実行可能であり、前記ロジックサブシステムに、前記外部装置から、前記外部装置の前記画面の向き、フレームレート、及び解像度のうちの一以上に関する情報を受信させる、
    請求項１に記載のウェアラブル計算装置。
  7. 前記命令は、ロジックサブシステムによって実行可能であり、前記ロジックサブシステムに、外部装置を介して作成されたプログラムのユーザ入力を受け取らせる、
    請求項１に記載のウェアラブル計算装置。
  8. 前記ユーザ入力は前記外部装置へのタッチ入力に対応する位置信号を含む、
    請求項７に記載のウェアラブル計算装置。
  9. 音響レシーバ及びスピーカを備えるウェアラブル計算装置における方法であって、
    プログラムを実行するステップと、
    無線通信プロトコルを介して外部装置と接続するステップと、
    前記音響レシーバが受け取った音声入力と、前記スピーカにより提供されるオーディオ出力とにより、前記プログラムのオーディオベースの対話を行うステップと、
    前記プログラムの画面ベースの対話に到達したとき、前記スピーカにより、ユーザに、前記外部装置と対話するように通知するステップと、
    前記外部装置の画面の向きに関する向き情報を前記外部装置から受信するステップと、
    前記外部装置の画面を介して提示するため、前記向き情報に基づいて前記外部装置に画像データを提供するステップと、
    前記画面ベースの対話中に前記外部装置からユーザ入力情報を受信するステップと、を含む方法。
  10. 前記無線通信プロトコルは第１の無線通信プロトコルであり、第２の無線通信プロトコルを介しても前記外部装置に接続するステップをさらに含む、
    請求項９に記載の方法。
  11. さらに、
    前記第１の無線通信プロトコル及び第２の無線通信プロトコルのそれぞれについて一以上の性能特性を監視するステップと、
    前記一以上の性能特性に基づいて、前記第１の無線通信プロトコル及び前記第２の無線通信プロトコルのうちの１つを介して前記外部装置と通信するステップを含む、
    請求項１０に記載の方法。
  12. 前記ユーザ入力情報は前記外部装置へのタッチ入力に対応する位置信号を含む、
    請求項９に記載の方法。
  13. さらに、コンピュータネットワークを介してリモートサービスを接続するステップを備え、前記外部装置からユーザ入力情報を受信するステップは、前記リモートサービスを介して前記ユーザ入力情報を受信するステップを含む、
    請求項９に記載の方法。
JP2017529693A 2014-12-05 2015-11-28 音声ベース装置の外部視覚的インタラクション Pending JP2018505463A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/562,491 2014-12-05
US14/562,491 US11327711B2 (en) 2014-12-05 2014-12-05 External visual interactions for speech-based devices
PCT/US2015/062850 WO2016089713A1 (en) 2014-12-05 2015-11-28 External visual interactions for speech-based devices

Publications (1)

Publication Number Publication Date
JP2018505463A true JP2018505463A (ja) 2018-02-22

Family

ID=55024236

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017529693A Pending JP2018505463A (ja) 2014-12-05 2015-11-28 音声ベース装置の外部視覚的インタラクション

Country Status (6)

Country Link
US (1) US11327711B2 (ja)
EP (1) EP3227886A1 (ja)
JP (1) JP2018505463A (ja)
KR (1) KR102542734B1 (ja)
CN (1) CN107005739B (ja)
WO (1) WO2016089713A1 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9949008B2 (en) 2015-08-29 2018-04-17 Bragi GmbH Reproduction of ambient environmental sound for acoustic transparency of ear canal device system and method
US9843853B2 (en) 2015-08-29 2017-12-12 Bragi GmbH Power control for battery powered personal area network device system and method
US9949013B2 (en) 2015-08-29 2018-04-17 Bragi GmbH Near field gesture control system and method
US9972895B2 (en) 2015-08-29 2018-05-15 Bragi GmbH Antenna for use in a wearable device
US9905088B2 (en) 2015-08-29 2018-02-27 Bragi GmbH Responsive visual communication system and method
US10104458B2 (en) 2015-10-20 2018-10-16 Bragi GmbH Enhanced biometric control systems for detection of emergency events system and method
US9866941B2 (en) 2015-10-20 2018-01-09 Bragi GmbH Multi-point multiple sensor array for data sensing and processing system and method
US9980189B2 (en) 2015-10-20 2018-05-22 Bragi GmbH Diversity bluetooth system and method
US9653075B1 (en) * 2015-11-06 2017-05-16 Google Inc. Voice commands across devices
US9939891B2 (en) 2015-12-21 2018-04-10 Bragi GmbH Voice dictation systems using earpiece microphone system and method
US9980033B2 (en) 2015-12-21 2018-05-22 Bragi GmbH Microphone natural speech capture voice dictation system and method
US10085091B2 (en) 2016-02-09 2018-09-25 Bragi GmbH Ambient volume modification through environmental microphone feedback loop system and method
US10085082B2 (en) 2016-03-11 2018-09-25 Bragi GmbH Earpiece with GPS receiver
US10045116B2 (en) 2016-03-14 2018-08-07 Bragi GmbH Explosive sound pressure level active noise cancellation utilizing completely wireless earpieces system and method
US10052065B2 (en) 2016-03-23 2018-08-21 Bragi GmbH Earpiece life monitor with capability of automatic notification system and method
US10015579B2 (en) 2016-04-08 2018-07-03 Bragi GmbH Audio accelerometric feedback through bilateral ear worn device system and method
US10013542B2 (en) 2016-04-28 2018-07-03 Bragi GmbH Biometric interface system and method
US10201309B2 (en) 2016-07-06 2019-02-12 Bragi GmbH Detection of physiological data using radar/lidar of wireless earpieces
US10045110B2 (en) 2016-07-06 2018-08-07 Bragi GmbH Selective sound field environment processing system and method
US10062373B2 (en) 2016-11-03 2018-08-28 Bragi GmbH Selective audio isolation from body generated sound system and method
US10205814B2 (en) 2016-11-03 2019-02-12 Bragi GmbH Wireless earpiece with walkie-talkie functionality
US10063957B2 (en) * 2016-11-04 2018-08-28 Bragi GmbH Earpiece with source selection within ambient environment
US10045117B2 (en) 2016-11-04 2018-08-07 Bragi GmbH Earpiece with modified ambient environment over-ride function
US10045112B2 (en) 2016-11-04 2018-08-07 Bragi GmbH Earpiece with added ambient environment
US10058282B2 (en) 2016-11-04 2018-08-28 Bragi GmbH Manual operation assistance with earpiece with 3D sound cues
US10506327B2 (en) 2016-12-27 2019-12-10 Bragi GmbH Ambient environmental sound field manipulation based on user defined voice and audio recognition pattern analysis system and method
US10405081B2 (en) 2017-02-08 2019-09-03 Bragi GmbH Intelligent wireless headset system
US10582290B2 (en) 2017-02-21 2020-03-03 Bragi GmbH Earpiece with tap functionality
US10771881B2 (en) 2017-02-27 2020-09-08 Bragi GmbH Earpiece with audio 3D menu
US11544104B2 (en) 2017-03-22 2023-01-03 Bragi GmbH Load sharing between wireless earpieces
US10575086B2 (en) 2017-03-22 2020-02-25 Bragi GmbH System and method for sharing wireless earpieces
US11694771B2 (en) 2017-03-22 2023-07-04 Bragi GmbH System and method for populating electronic health records with wireless earpieces
US11380430B2 (en) 2017-03-22 2022-07-05 Bragi GmbH System and method for populating electronic medical records with wireless earpieces
US10708699B2 (en) 2017-05-03 2020-07-07 Bragi GmbH Hearing aid with added functionality
US11116415B2 (en) 2017-06-07 2021-09-14 Bragi GmbH Use of body-worn radar for biometric measurements, contextual awareness and identification
US11013445B2 (en) 2017-06-08 2021-05-25 Bragi GmbH Wireless earpiece with transcranial stimulation
US10075539B1 (en) 2017-09-08 2018-09-11 Google Inc. Pairing a voice-enabled device with a display device
US10344960B2 (en) 2017-09-19 2019-07-09 Bragi GmbH Wireless earpiece controlled medical headlight
US11272367B2 (en) 2017-09-20 2022-03-08 Bragi GmbH Wireless earpieces for hub communications
US20190340568A1 (en) * 2018-05-04 2019-11-07 Microsoft Technology Licensing, Llc Inventory tracking via wearable device
CN112513978A (zh) * 2018-08-09 2021-03-16 谷歌有限责任公司 热词辨识和被动辅助
KR20200091278A (ko) * 2019-01-22 2020-07-30 삼성전자주식회사 음성 입력과 관련된 비주얼 정보를 표시하는 방법 및 이를 지원하는 전자 장치
KR20200095651A (ko) 2019-02-01 2020-08-11 삼성전자주식회사 고 동적 범위 콘텐트를 재생하는 전자 장치 및 그 방법
CN109767773A (zh) * 2019-03-26 2019-05-17 北京百度网讯科技有限公司 基于语音交互终端的信息输出方法和装置
US11769134B2 (en) * 2021-03-22 2023-09-26 International Business Machines Corporation Multi-user interactive ad shopping using wearable device gestures

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7526314B2 (en) * 2002-02-20 2009-04-28 Hewlett-Packard Development Company, L.P. Remote data storage and retrieval for portable electronics
US20050182847A1 (en) * 2004-01-21 2005-08-18 Dell Products L.P. System and method for dynamic switching between wireless network protocols
US7613478B2 (en) * 2004-03-15 2009-11-03 General Electric Company Method and system for portability of clinical images using a high-quality display and portable device
US20060203758A1 (en) 2005-03-11 2006-09-14 Samsung Electronics Co., Ltd. Mobile terminal for relaying multimedia data to an external display device
US20070238484A1 (en) * 2006-03-28 2007-10-11 Sony Ericsson Mobile Communications Ab Wireless peripheral with a multi-function control
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20090017910A1 (en) 2007-06-22 2009-01-15 Broadcom Corporation Position and motion tracking of an object
US8055296B1 (en) * 2007-11-06 2011-11-08 Sprint Communications Company L.P. Head-up display communication system and method
US8594467B2 (en) 2008-12-19 2013-11-26 Microsoft Corporation Interactive virtual display system for ubiquitous devices
US8436789B2 (en) 2009-01-16 2013-05-07 Microsoft Corporation Surface puck
EP2401865B1 (en) * 2009-02-27 2020-07-15 Foundation Productions, Llc Headset-based telecommunications platform
US20100302141A1 (en) 2009-05-28 2010-12-02 Subramonian Shankar Display and Interaction Environment for Mobile Devices
US20120309363A1 (en) * 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US8743696B2 (en) 2009-08-07 2014-06-03 Cisco Technology, Inc. Mobile transport solution for offloading to an alternate network
KR101605347B1 (ko) 2009-12-18 2016-03-22 삼성전자주식회사 휴대단말의 외부 출력 제어 방법 및 장치
US10705794B2 (en) * 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
GB201010821D0 (en) 2010-06-28 2011-03-30 Nokia Oyj Mehtod and apparatus for communicating via a gateway
US8725133B2 (en) * 2011-02-15 2014-05-13 Lg Electronics Inc. Method of transmitting and receiving data, display device and mobile terminal using the same
US20120229270A1 (en) 2011-03-11 2012-09-13 Christopher Morley Wearable biofeedback system
WO2012154938A1 (en) 2011-05-10 2012-11-15 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
US8590023B2 (en) 2011-06-30 2013-11-19 Intel Corporation Mobile device and method for automatic connectivity, data offloading and roaming between networks
KR101315303B1 (ko) * 2011-07-11 2013-10-14 한국과학기술연구원 착용형 디스플레이 장치 및 컨텐츠 디스플레이 방법
US20130018659A1 (en) 2011-07-12 2013-01-17 Google Inc. Systems and Methods for Speech Command Processing
EP2575128A3 (en) 2011-09-30 2013-08-14 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
WO2013050070A1 (en) 2011-10-05 2013-04-11 Nokia Siemens Networks Oy Mechanism for triggering offloading procedure in case of traffic congestion
US9159322B2 (en) * 2011-10-18 2015-10-13 GM Global Technology Operations LLC Services identification and initiation for a speech-based interface to a mobile device
KR20130064548A (ko) 2011-12-08 2013-06-18 주식회사 온비트 목적지 정보 제공 시스템 및 방법과 이를 위한 착용형 무선통신장치
US20130147686A1 (en) 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
US9203563B2 (en) 2012-07-02 2015-12-01 Intel Corporation Devices and methods for radio communication network guided traffic offload
CN103533148A (zh) 2012-07-03 2014-01-22 华移联科（沈阳）技术有限公司 一种变屏手机及其使用方法
CN103535051B (zh) 2012-08-02 2017-01-11 庞博文 带互动显示屏的耳机
US8971182B2 (en) 2012-08-07 2015-03-03 Lg Electronics Inc. Method for data traffic offloading and apparatus using the same
US9392851B2 (en) 2012-10-30 2016-07-19 Bin Wai Lam Methods, systems, and apparatuses for incorporating wireless headsets, terminals, and communication devices into fashion accessories and jewelry
US10185416B2 (en) 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US11237719B2 (en) * 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US10423214B2 (en) 2012-11-20 2019-09-24 Samsung Electronics Company, Ltd Delegating processing from wearable electronic device
US10528135B2 (en) 2013-01-14 2020-01-07 Ctrl-Labs Corporation Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
CN105073073B (zh) 2013-01-25 2018-12-07 胡海 用于声音可视化及声源定位的设备与方法
US9606635B2 (en) 2013-02-15 2017-03-28 Microsoft Technology Licensing, Llc Interactive badge
US9807495B2 (en) * 2013-02-25 2017-10-31 Microsoft Technology Licensing, Llc Wearable audio accessories for computing devices
US11334314B2 (en) * 2013-10-25 2022-05-17 Voyetra Turtle Beach, Inc. Networked gaming headset with automatic social networking
US9400634B2 (en) * 2013-10-28 2016-07-26 Google Technology Holdings LLC Systems and methods for communicating notifications and textual data associated with applications
US11256294B2 (en) * 2014-05-30 2022-02-22 Apple Inc. Continuity of applications across devices
US10015234B2 (en) * 2014-08-12 2018-07-03 Sony Corporation Method and system for providing information via an intelligent user interface
US9564130B2 (en) * 2014-12-03 2017-02-07 Samsung Electronics Co., Ltd. Wireless controller including indicator
US10992719B2 (en) * 2017-11-14 2021-04-27 Rovi Guides, Inc. Systems and methods for establishing a voice link between users accessing media

Also Published As

Publication number Publication date
EP3227886A1 (en) 2017-10-11
US11327711B2 (en) 2022-05-10
KR102542734B1 (ko) 2023-06-12
WO2016089713A1 (en) 2016-06-09
US20160162259A1 (en) 2016-06-09
CN107005739A (zh) 2017-08-01
CN107005739B (zh) 2020-09-29
KR20170092668A (ko) 2017-08-11

Similar Documents

Publication Publication Date Title
JP2018505463A (ja) 音声ベース装置の外部視覚的インタラクション
JP7274527B2 (ja) ウェアラブルデバイスの状態に基づいたコンパニオン通信デバイスの動作の変更
TWI839532B (zh) 計算裝置及延伸實境整合
KR102415870B1 (ko) 적응적으로 작업 수행의 주체를 변경하기 위한 장치 및 방법
US10725972B2 (en) Continuous and concurrent device experience in a multi-device ecosystem
KR102386285B1 (ko) 이어폰을 통한 어플리케이션별 오디오 출력 제어 방법 및 이를 구현한 전자 장치
WO2021109925A1 (zh) 应用分享方法、电子设备及计算机可读存储介质
CN111083684A (zh) 控制电子设备的方法及电子设备
US20200112711A1 (en) Electronic device and method for providing virtual device via at least portion of content
EP3502838B1 (en) Apparatus, method and system for identifying a target object from a plurality of objects
EP2807534B1 (en) Methods and devices to determine a preferred electronic device
KR102188101B1 (ko) 오디오 처리 방법 및 그 전자 장치
US20140337769A1 (en) Method and apparatus for using electronic device
KR102378440B1 (ko) 전자 장치 및 전자 장치의 오디오 출력 방법
CN114073057B (zh) 使用客户端音频参数的服务器侧绘制音频的方法和系统
WO2021104251A1 (zh) 控制方法及第一电子设备
CN107278289B (zh) 基于系统能力的用户体验的动态调节
WO2021208893A1 (zh) 音频输出方式的切换方法及电子设备
JP2013225833A (ja) 通信システム、通信装置およびプログラム
JP6493483B2 (ja) 通信装置、方法およびプログラム
KR20200031062A (ko) 이어셋 제어 방법 및 시스템
US10897788B2 (en) Wireless connection establishment between devices
KR20240035251A (ko) 전자 장치 및 이의 제어 방법
JP2023542402A (ja) 着信プロンプト方法及び電子デバイス