JP2019537086A - オーディオコンテンツおよびビジュアルコンテンツのための管理システム - Google Patents

オーディオコンテンツおよびビジュアルコンテンツのための管理システム Download PDF

Info

Publication number
JP2019537086A
JP2019537086A JP2019512270A JP2019512270A JP2019537086A JP 2019537086 A JP2019537086 A JP 2019537086A JP 2019512270 A JP2019512270 A JP 2019512270A JP 2019512270 A JP2019512270 A JP 2019512270A JP 2019537086 A JP2019537086 A JP 2019537086A
Authority
JP
Japan
Prior art keywords
user
audio
devices
display
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019512270A
Other languages
English (en)
Other versions
JP6731545B2 (ja
Inventor
サムター,ジョージ・コーディ
ケリー,クリストファー・ジェイムズ
テイト,マシュー・デイビッド
チャンデル,アロク
ブレナン,シェーン・ライリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2019537086A publication Critical patent/JP2019537086A/ja
Application granted granted Critical
Publication of JP6731545B2 publication Critical patent/JP6731545B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10Multimedia information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/542Event management; Broadcasting; Multicasting; Notifications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/224Monitoring or handling of messages providing notification on incoming messages, e.g. pushed notifications of received messages

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

メッセージコンテンツを管理するためのシステム、装置、および方法が提供される。一実施形態では、方法は、1つ以上のコンピューティングデバイスが、オーディオコンテンツとビジュアルメディアコンテンツとを含むメッセージを受信するステップを含む。方法はさらに、1つ以上のコンピューティングデバイスが、オーディオコンテンツを表わす第1のセットのデータをオーディオデバイスに送信するステップとを含む。オーディオデバイスは、オーディオデバイスのユーザにオーディオコンテンツを伝達するように構成されている。方法は、1つ以上のコンピューティングデバイスが、ビジュアルメディアコンテンツを表わす第2のセットのデータを表示デバイスに送信するステップを含む。表示デバイスは、ユーザに対してビジュアルメディアコンテンツを表示するように構成されている。方法はさらに、1つ以上のコンピューティングデバイスが、表示デバイス上のビジュアルメディアコンテンツを閲覧させるための通知をオーディオデバイスのユーザに提供するステップを含む。

Description

分野
本開示は、概して、デバイスエコシステム内の異なるまたは相反する技術的能力または技術的条件を管理することに関する。
背景
個人が同時にいくつかの個人用の電子デバイスを携帯することがしばしばある。それは、携帯電話、タブレット、ラップトップコンピュータなどを含み得る。ある人にメッセージ(例えば、電子メール)が送信されると、メッセージはその人のデバイスの各々で受信され得る。メッセージは、テキスト部分と画像部分とを含み得る。各デバイスは、可聴音および/または振動によってメッセージの受信をユーザに通知し得る。しかしながら、デバイスの技術的能力の違い、またはデバイスにおいて実施されている技術的条件(例えば、リフレッシュレート、処理など)の違いに起因して、各通知が異なるタイミングでユーザに配信される場合がある。さらに、各デバイスは、技術的理由により、受信時に電子メールのメッセージおよび画像を閲覧することが適当ではない場合がある。例えば、ユーザが歩道を歩いている最中であり、ラップトップコンピュータを閲覧できないかもしれない。デバイスのうちの1つが、画像の描写も含めてユーザに対してメッセージを音声で読み上げたとしても、ユーザはメッセージの内容を完全には理解できないかもしれない。
概要
本明細書に記載のさまざまな実現例は、いくつかのデバイスの一群における異なるデバイスに係る異なる(または相反する)技術的能力/技術的条件を、如何にして管理するかという技術的問題を解決することに向けられる。本開示の実施形態の局面および利点は、以下の記載において一部が説明され、または、その記載から知ることができ、または、実施形態の実施によって知ることができるであろう。
本開示の局面の一例は、メッセージコンテンツを管理するための、コンピュータによって実現される方法に向けられる。方法は、1つ以上のコンピューティングデバイスが、オーディオコンテンツとビジュアルメディアコンテンツとを含むメッセージを受信するステップを含む。方法は、1つ以上のコンピューティングデバイスが、オーディオコンテンツを表わす第1のセットのデータをオーディオデバイスに送信するステップを含む。オーディオデバイスは、オーディオデバイスのユーザにオーディオコンテンツを伝達するように構成されている。方法は、1つ以上のコンピューティングデバイスが、ビジュアルメディアコンテンツを表わす第2のセットのデータを表示デバイスに送信するステップを含む。表示デバイスは、ユーザに対してビジュアルメディアコンテンツを表示するように構成されている。方法は、1つ以上のコンピューティングデバイスが、表示デバイス上のビジュアルメディアコンテンツを閲覧させるための通知をオーディオデバイスのユーザに提供するステップを含む。このように、表示デバイスにおいて実施されている特定の技術的条件を示すもの、特に、ビジュアルメディアコンテンツが表示デバイス上で閲覧可能であることを示すものが、通知によって提供される。
本開示の局面の別の例は、メッセージコンテンツを管理するためのコンピューティングシステムに向けられる。システムは、1つ以上のプロセッサと、命令を格納する1つ以上の有形の非一時的なコンピュータ読取可能な媒体とを備え、命令は、1つ以上のプロセッサによって実行されると、通信範囲内にある複数のユーザデバイスを検出することをコンピューティングシステムに行わせる。命令はさらに、複数のユーザデバイスのうちの少なくとも第1のユーザデバイスをオーディオデバイスとして選択し、複数のユーザデバイスのうちの少なくとも第2のユーザデバイスを表示デバイスとして選択することをコンピューティングシステムに行わせる。命令はさらに、オーディオコンテンツとビジュアルメディアコンテンツとを含むメッセージを受信することをコンピューティングシステムに行わせる。命令はさらに、オーディオコンテンツを表わす第1のセットのデータを第1のユーザデバイスに送信することをコンピューティングシステムに行わせる。第1のユーザデバイスは、第1のユーザデバイスのユーザに対してオーディオコンテンツを伝達するように構成されている。命令はさらに、ビジュアルメディアコンテンツを表わす第2のセットのデータを第2のユーザデバイスに送信することをコンピューティングシステムに行わせる。第2のユーザデバイスは、ユーザに対してビジュアルメディアコンテンツを表示するように構成されている。
本開示の局面のさらに別の例は、1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに動作を行わせるコンピュータ読取可能な命令を格納する1つ以上の有形の非一時的なコンピュータ読取可能な媒体に向けられる。動作はさらに、通信範囲内にある複数のユーザデバイスを検出することを含む。動作はさらに、複数のユーザデバイスの少なくとも部分集合における各ユーザデバイスの1つ以上の能力およびステータスを判定することを含む。動作はさらに、ユーザデバイスの各々の1つ以上の能力およびステータスに少なくとも部分的に基づいて、ユーザデバイスの部分集合のうちの少なくとも1つのユーザデバイスをオーディオデバイスとして選択し、ユーザデバイスの部分集合のうちの少なくとも1つのユーザデバイスを表示デバイスとして選択することを含む。動作はさらに、オーディオコンテンツとビジュアルメディアコンテンツとを含むメッセージを受信することを含む。動作はさらに、オーディオコンテンツを表わす第1のセットのデータをオーディオデバイスに送信することを含む。オーディオデバイスは、オーディオデバイスのユーザに対してオーディオコンテンツを伝達するように構成されている。動作はさらに、ビジュアルメディアコンテンツを表わす第2のセットのデータを表示デバイスに送信することを含む。表示デバイスは、ユーザに対してビジュアルメディアコンテンツを表示するように構成されている。動作はさらに、表示デバイス上のビジュアルメディアコンテンツを閲覧させるための通知をオーディオデバイスのユーザに提供することを含む。
本開示の局面の他の例は、メッセージコンテンツを管理するための、システム、装置、方法、有形の非一時的なコンピュータ読取可能な媒体、メモリデバイス、および電子デバイスに向けられる。
さまざまな実施形態の上記および他の特徴、局面、および利点は、以下の記載および添付の特許請求の範囲を参照することによって、より良く理解されるであろう。本明細書に組み込まれ、本明細書の一部を構成する添付の図面は、本開示の実施形態を図示するとともに、以下の記載と合わせて、関連する原理を説明するのに役立つ。
当業者に向けられた実施形態の詳細な説明を明細書で述べる。明細書では、添付の図面に言及する。
本開示の実施形態の例に従う複数のユーザデバイスの例を示す図である。 本開示の実施形態の例に従うユーザデバイスの序列の例を示す図である。 本開示の実施形態の例に従うシステムの例を示す図である。 本開示の実施形態の例に従うシステムの例のユーザ実装例を示す図である。 本開示の実施形態の例に従うシステムの例の別のユーザ実装例を示す図である。 本開示の実施形態の例に従う方法の例のフローチャートを示す図である。 本開示の実施形態の例に従うシステムの例を示す図である。
詳細な説明
実施形態について詳細に述べる。実施形態の1つ以上の例を図面に示している。各例は、実施形態を説明するために提供されるものであって、本開示を限定するものではない。実際、本開示の範囲または精神から逸脱することなく、実施形態をさまざまに変更および変形可能であることは、当業者には明らかであろう。例えば、ある実施形態の一部として図示または説明された特徴を別の実施形態で用いることによって、さらに他の実施形態を作り出すことが可能である。したがって、本開示の局面が、このような変更例および変形例をカバーすることが意図される。
本開示の局面の例は、ユーザデバイスエコシステム内のメッセージコンテンツを管理することに向けられる。エコシステムは、複数のユーザデバイス(例えば、ウェアラブルユーザデバイス)を含んでもよく、それらのうちのいくつかは、ブローカーデバイス、オーディオデバイス、および表示デバイスとして機能し得る。例えば、ブローカーデバイスは、ユーザによって装着されている他のユーザデバイス(例えば、ブルートゥース(登録商標)ヘッドセット、およびディスプレイ付きスマートウォッチなど)の存在を検出可能なユーザの携帯電話であってもよい。ブローカーデバイスは、オーディオデバイスとして使用するためのブルートゥースヘッドセットを選択し、表示デバイスとして使用するためのスマートウォッチを選択し得る。ブローカーデバイスは、オーディオコンテンツとビジュアルメディアコンテンツとを含むメッセージを受信し、そのようなコンテンツをオーディオデバイスおよび表示デバイスを介してユーザに伝達することを統括し得る。例えば、携帯電話は、テキスト(例えば、オーディオコンテンツ)、およびその中に埋め込まれた画像(例えば、ビジュアルメディアコンテンツ)を含むテキストメッセージを受信し得る。ブローカーデバイスは、必要に応じて、テキストをユーザに対して再生可能な形式に変換し、それをオーディオデバイス(例えば、ブルートゥースヘッドセット)に送信し得る。ブローカーデバイスは、ビジュアルメディアコンテンツを表示デバイス(例えば、スマートウォッチ)に送信し得る。ブルートゥースヘッドセットは、メッセージのテキストをユーザに伝達し、メッセージのうちの画像を含む部分を得た場合には、ブルートゥースヘッドセットは、スマートウォッチ上で閲覧可能なビジュアルメディアコンテンツ(例えば、画像)が存在することを知らせる通知をユーザに提供し得る。通知は、例えば「ウォッチを見て下さい。」などのフレーズや、音声(例えば、「ビープ」)などを含み得る。次いで、スマートウォッチは、ユーザが閲覧できるようにビジュアルメディアコンテンツを表示させ得る。このようにして、システムは、エコシステム内の個々のユーザデバイスのさまざまな能力を利用することによって、ユーザへのメッセージの伝達を統括することができる。
より特定的には、本開示の局面に従うシステムの例は、複数のユーザデバイスを含み得る。ユーザデバイスは、マルチデバイスエコシステム内に含まれ得る。例えば、上述のように、ユーザデバイスは、携帯電話、ブルートゥースヘッドセット、コンピュータ制御のウォッチ(例えば、スマートウォッチ)、コンピュータ制御のアイウェア、コンピュータ制御のヘッドウェア、他のタイプのウェアラブルコンピューティングデバイスなどの、ウェアラブルユーザデバイスであってもよい。別の例では、ユーザデバイスは、デスクトップコンピュータ、統合デバイス(例えば、グーグルクロームキャスト(登録商標))、テレビ、スピーカーシステムなどの、「非ウェアラブル」ユーザデバイスであってもよい。ユーザデバイスのうちの1つ以上は、エコシステムのための、1つ以上のブローカーデバイス、オーディオデバイス、および/または、表示デバイスとして機能し得る。
ブローカーデバイスは、エコシステム内のいずれのユーザデバイスをオーディオデバイスおよび表示デバイスとして機能させるかを選択し得る。例えば、ブローカーデバイスは、いずれのユーザデバイスがエコシステム内にあるか(例えば、いずれのユーザデバイスが当該ブローカーデバイスの通信範囲内にあるか)を検出し得る。ブローカーデバイスは、各ユーザデバイスの1つ以上の能力およびステータスを判定し得る。能力は、オーディオ能力、表示能力、処理能力、パワー能力などを含み得る。ユーザデバイスのステータスは、デバイスがアクティブ(例えば、現在処理中、ダウンロード中、アップロード中)であるか否か、デバイスがパッシブ(例えば、スリープモード、画面ロック中)であるか否か、および/または、ユーザデバイスが現在使用中(例えば、ユーザがデバイスと対話中)であるか否かを示し得る。ブローカーデバイスは、少なくとも部分的にデバイスの能力およびステータスに基づいて、オーディオデバイスとして潜在的に使用可能なものとして、および/または表示デバイスとして潜在的に使用可能なものとして、1つ以上のユーザデバイスを特定(例えば、ランク付け)し得る。
一例として、ユーザの携帯電話は、少なくとも1つのユーザデバイスをオーディオデバイスとして選択し、少なくとも1つのユーザデバイスを表示デバイスとして選択することのできるブローカーデバイスとして機能し得る。携帯電話は、ブルートゥースヘッドセット、コンピュータ制御のアイウェア、およびディスプレイ付きスマートウォッチが、当該携帯電話の通信範囲内にあることを検出し得る。ブルートゥースヘッドセットおよびスマートウォッチはともに、聞こえるように音を出力するためのスピーカーを含み得る。このように、携帯電話は、オーディオデバイスとして潜在的に使用可能なものとして、ブルートゥースヘッドセットおよびスマートウォッチの両方を特定し得る。しかしながら、オーディオデバイスとして潜在的に使用可能なものとして、ブルートゥースヘッドセットはスマートウォッチよりも優先(例えば、上位にランク付け)され得る。なぜなら、ブルートゥースヘッドセットはスマートウォッチよりも高いオーディオ能力(例えば、より高品質なスピーカー、よりプライベートなオーディオ配信)を有するからである。スマートウォッチおよびコンピュータ制御のアイウェアはともに、表示デバイスとして潜在的に使用可能なものとして特定され得る。しかしながら、表示デバイスとして潜在的に使用可能なものとして、スマートウォッチはコンピュータ制御のアイウェアよりも優先(例えば、上位にランク付け)され得る。なぜなら、コンピュータ制御のアイウェアが(例えば、ユーザのポケットの中で)パッシブである間、スマートウォッチはアクティブであり得るからである。したがって、携帯電話(例えば、ブローカーデバイス)は、オーディオデバイスとして使用するためにブルートゥースヘッドセットを選択し、表示デバイスとして使用するためにスマートウォッチを選択し得る。追加的および/または代替的に、本明細書でさらに説明するように、携帯電話自体がオーディオデバイスおよび/または表示デバイスとして機能してもよい。
ブローカーデバイスは、オーディオデバイスおよび表示デバイスを介して異なるタイプのコンテンツをユーザに配信することを統括し得る。例えば、ブローカーデバイスは、オーディオコンテンツとビジュアルメディアコンテンツとを含むメッセージを受信し得る。メッセージは、テキストメッセージ、電子メールメッセージ、ポッドキャスト、セミナー、オーディオブック、オーディオイラストブック、テレビプログラム、ストリーミングデータ、記事、文書、および/または、ユーザが聴いたり、および/または、読んだりすることのできる他の如何なるタイプの情報も含み得る。メッセージは、オーディオコンテンツとビジュアルメディアコンテンツとを含み得る。オーディオコンテンツは、聞こえるように出力可能なオーディオ形式(例えば、WAV、AIFF、AU、FLAC、MP3、可逆的または不可逆的に圧縮された他の形式)のデータ、および/または、聞こえるように出力可能な形式に変換可能なテキスト形式(例えば、doc、pdf、txt、html、xml、他の形式)のデータを含み得る。ビジュアルメディアコンテンツは、画像データ、動画、絵文字、ステッカー(例えば、bitmoji)、マップ、GIF、MIME、テキストブックフィギュア、グラフィック描写(例えば、ヒートマップ)、ダイヤグラム、アニメーション、イラスト、および/または、ユーザが閲覧可能な他のタイプの情報を含み得る。
ブローカーデバイスは、メッセージのオーディオコンテンツと、メッセージのビジュアルメディアコンテンツとを特定し、それらをそれぞれオーディオデバイスと表示デバイスとに分配し得る。例えば、携帯電話(例えば、ブローカーデバイス)は、テキストメッセージを受信し得る。テキストメッセージは、テキストデータ(例えば、「私の犬を見て。かわいいでしょう?」)と、画像データ(例えば、犬の画像)とを含み得る。携帯電話は、テキストデータをオーディオコンテンツとして特定し、それを(必要に応じて)オーディオ形式に変換し、それをブルートゥースヘッドセット(例えば、オーディオデバイス)に送信し得る。ブルートゥースヘッドセットは、テキストをユーザに伝達するように構成され得る。さらに、携帯電話は、画像をビジュアルメディアコンテンツとして特定し、それをスマートウォッチ(例えば、表示デバイス)に送信し得る。スマートウォッチは、ユーザに対して犬の画像を表示するように構成され得る。
ブローカーデバイスは、ユーザがオーディオコンテンツを聴いている際の適切な時にビジュアルメディアコンテンツを閲覧することができるように、ユーザに通知を提供し得る。通知は、表示デバイス上でビジュアルメディアコンテンツが閲覧可能であることをユーザに示すことのできる用語、フレーズ、イアコン、音声、ノイズ、振動、などであり得る。いくつかの実現例では、ブローカーデバイスは、通知を表わすデータをオーディオデバイスに送信し得る。オーディオデバイスは、通知をオーディオデバイスのユーザに対して伝達し得る。通知は、動作(例えば、「ウォッチを見て下さい。」というフレーズ)、コンテンツのタイプ(例えば、「写真/動画/絵文字の閲覧」)、および/または、実際のコンテンツ(例えば、「犬の」)を示し得る。追加的および/または代替的に、ブローカーデバイスは、通知を表わすデータを表示デバイスに送信し得る。表示デバイスは通知(例えば、振動)をユーザに提供し得る。いずれの実現例においても、ユーザがテキストメッセージを読んだ場合に、ビジュアルメディアコンテンツを閲覧する可能性が最も高いであろう時に、ユーザに通知を提供することができる。これは、例えば、オーディオコンテンツがユーザに伝達される前、オーディオコンテンツが(例えば、ブルートゥースヘッドセットを介して)ユーザに伝達されている最中、および/または、オーディオコンテンツがユーザに伝達された後であってもよい。いくつかの実現例では、表示デバイスは、ユーザが閲覧しようとする動作(例えば、視線を投げかけるジェスチャー(glance gesture))に応答して、および/または、設定された時間(例えば、通知が提供された後、30秒間)の間、ビジュアルメディアコンテンツを表示し得る。
いくつかの実現例では、ブローカーデバイスは、コンテンツがユーザに配信されている際に、オーディオデバイスおよび/または表示デバイスとして使用するための異なるデバイスを選択し得る。例えば、ブローカーデバイスは、少なくとも1つのユーザデバイスに関係するステータスの変更を判定し、オーディオデバイスおよび/または表示デバイスとして異なるユーザデバイスを選択し得る。一例として、オーディオコンテンツ(例えば、メッセージのテキスト)がブルートゥースヘッドセットを介してユーザに提供されている最中に、ユーザがポケットからコンピュータ制御のアイウェアを取り外し、そのアイウェアを(例えば、顔の上で)使用し始める場合がある。携帯電話(例えば、ブローカーデバイス)は、コンピュータ制御のアイウェアのステータスが(例えば、パッシブから現在使用中へ)変更されたことを検出し得る。したがって、携帯電話は、コンピュータ制御のアイウェアを表示デバイスとして選択し、ビジュアルメディアコンテンツ(例えば、犬の画像)を表わすデータをコンピュータ制御のアイウェアに送信し得る。コンピュータ制御のアイウェアは、ビジュアルメディアコンテンツをユーザに対して表示し得る。
本開示のシステムおよび方法は、ユーザデバイスコンピューティング技術の向上をもたらす。例えば、システムおよび方法は、オーディオコンテンツを表わす第1のセットのデータを(ユーザに伝達するために)オーディオデバイスに送信し、ビジュアルメディアコンテンツを表わす第2のセットのデータを(ユーザに対して表示するために)表示デバイスに送信し、表示デバイス上のビジュアルメディアコンテンツを閲覧させるための通知をユーザに提供することによって、より効果的にメッセージコンテンツの配信を統括することができる。デバイス能力およびステータスに少なくとも部分的に基づいて、ある複数のユーザデバイスに異なるタイプのコンテンツ(例えば、オーディオコンテンツ、ビジュアルメディアコンテンツ)を選択的に提供することによって、システムおよび方法は、確実に、最も効果的にユーザにメッセージコンテンツを提示することができる。さらに、システムおよび方法は、(メッセージ全体を各デバイスに送信するのではなく)該当デバイスが提示すべき必要なコンテンツのみを送信することによって、ユーザデバイスの処理リソースおよび電源を節約することができる。さらに、本明細書に記載のシステムおよび方法は、マルチデバイスエコシステム内のユーザデバイスを同期させて、各デバイスの最も適切な機能を利用することができる。したがって、ユーザは、フィデリティーが最も高い状態でユーザデバイスを体験することができる。これにより、システムはデバイス使用を管理することができるとともに、ユーザ体験をばらばらにする原因となり得る反復的な非同期のコンテンツ配信を排除することができる。
本開示の局面の例に従ってユーザへの異なるタイプのコンテンツの配信を統括することによって、マルチデバイスエコシステムは、当該エコシステム内のデバイスのさまざまな能力を効果的に利用することができる。さらに、ビジュアルメディアコンテンツをいつ閲覧すべきかについては、ユーザに通知を提供することによって、ユーザは他のタスク(例えば、歩行)に集中したままでいることができ、そのコンテンツを閲覧するか否かを選ぶことができる。このように、このシステムおよび方法では、ユーザデバイスの能力を利用することによって、ユーザがまだメッセージを受信しているうちにマルチタスクを効果的に行なうことができる。
次に、図面を参照して、本開示の実施形態の例をより詳細に説明する。図1は、本開示の実施形態の例に従う複数のユーザデバイス100の例を示す。複数のユーザデバイス100は、マルチデバイスエコシステム内に含まれてもよく、および/または、マルチデバイスエコシステムを構成してもよい。複数のユーザデバイス100は、任意の好適なタイプの携帯型コンピューティングデバイス、ユーザに付随するデバイス、電話、スマートフォン、コンピュータ制御のウォッチ(例えば、スマートウォッチ)、コンピュータ制御のアイウェア、コンピュータ制御のヘッドウェア、他のタイプのウェアラブルコンピューティングデバイス、タブレット、携帯情報端末(PDA)、ラップトップコンピュータ、デスクトップコンピュータ、統合デバイス、オーディオシステム、テレビ、ゲームシステム、メディアプレーヤー、電子書籍リーダー、テレビプラットフォーム、ナビゲーションシステム、デジタルカメラ、アプライアンス、埋込まれたコンピューティングデバイス、音声システム、または、本明細書に記載の動作を実行するように構成された他の任意のタイプの携帯型および/または非携帯型コンピューティングデバイスを含み得る。いくつかの実現例では、複数のユーザデバイス100は、1つ以上のウェアラブルコンピューティングデバイス(例えば、携帯電話、ブルートゥースヘッドセット、スマートウォッチ、コンピュータ制御のアイウェア、コンピュータ制御のヘッドウェア)を含み得る。いくつかの実現例では、複数のユーザデバイス100は、デスクトップコンピュータ、統合デバイス(例えば、グーグルクロームキャスト(登録商標))、テレビ、スピーカーシステムなどの、「非ウェアラブル」ユーザデバイスであってもよい。
1つ以上のコンピューティングデバイスは、1つ以上のブローカーデバイス102として機能するように構成され得る。ブローカーデバイス102は、例えば、本明細書に記載のメッセージコンテンツを管理するための機能を果たすソフトウェアアプリケーションを含み得る。例えば、ブローカーデバイス102(例えば、1つ以上のコンピューティングデバイス)は、通信範囲104内にある複数のユーザデバイス100を検出するように構成され得る。通信範囲104は、例えば、ブローカーデバイス102が1つ以上の他のユーザデバイス106A〜Dにデータを少なくとも送信することのできる範囲であってもよい。いくつかの実現例では、通信範囲104は、ブローカーデバイス102およびユーザデバイス106A〜Dがデータを互いに送信および/または受信することのできる範囲であってもよい。いくつかの実現例では、ブローカーデバイス102およびユーザデバイス106A〜Dは、ユーザに付随するものであってもよく、および/または、ユーザのメッセージを受信および/または送信するための許可/認可が与えられたものであってもよい。いくつかの実現例では、ブローカーデバイス102は、サーバ側システム上に実装され得る。
ブローカーデバイス102は、ユーザデバイス106A〜Dを検索および特定するように構成され得る。例えば、ブローカーデバイス102は、いずれかのユーザデバイス106A〜Dが通信範囲104内にあるか否かを判定するための1つ以上の第1の信号を(例えば、ブルートゥースプロトコル、UWB、RFを介して)送信し得る。第1の信号は符号化され、受信デバイスからの応答信号を要求および/または誘発し得る。例えば、1つ以上のユーザデバイス106A〜Dは、第1の信号を受信し、1つ以上の第2の信号をブローカーデバイス102に送信し得る。第2の信号は、ユーザデバイス106A〜Dが通信範囲104内にあること、および/または、ユーザデバイス106A〜Dがブローカーデバイス102からデータを受信可能であることを示し得る。また、第2の信号は、追加的および/または代替的に、(例えば、第2の信号を送信した)それぞれのユーザデバイス106A〜Dを示し得る。ブローカーデバイス102は、第2の信号に少なくとも部分的に基づいて、(例えば、通信範囲104内にある)1つ以上のユーザデバイス106A〜Dを特定するように構成され得る。
ブローカーデバイス102によってユーザデバイス106A〜Dを特定するための手法を説明したが、これに限定することを意図するものではない。ユーザデバイス106A〜Dが通信範囲104内にあるか否か、および/または、どのユーザデバイス106A〜Dが通信範囲104内にあるか、および/または、ユーザデバイス106A〜Dがブローカーデバイス102からデータを受信可能であるか否か、および/または、どのユーザデバイス106A〜Dがブローカーデバイス102からデータを受信可能であるかをブローカーデバイス102が判定するために、さまざまな技術および/または方法が用いられ得ることを、当業者ならば理解するであろう。例えば、いくつかの実現例では、ユーザデバイス106A〜Dは、ブローカーデバイス102から第1の信号を受信せずに、ブローカーデバイス102に信号(例えば、通信範囲104内にあるユーザデバイス106A〜Dを表示および/または特定する信号)を提供してもよい。
ブローカーデバイス102は、ユーザデバイス106A〜Dに関係する1つ以上のパラメータ108を判定するように構成され得る。例えば、ブローカーデバイス102は、複数のユーザデバイス100の少なくとも部分集合における各ユーザデバイスの1つ以上の能力110および/またはステータス112を判定するように構成され得る。1つ以上の能力110は、オーディオ能力114A、表示能力114B、処理能力114C、パワー能力114D、および/または、それぞれのユーザデバイス106A〜Dの他の能力を含み得る。ユーザデバイス106A〜Dのオーディオ能力114Aは、例えば、それぞれのユーザデバイス106A〜Dのオーディオハードウェア(および/または、関連ソフトウェア)のタイプ、質、明瞭性、量、ボリュームレベル、プライバシーレベル(例えば、ヘッドホン、スピーカー)などを示すものであり得る。ユーザデバイス106A〜Dの表示能力114Bは、例えば、それぞれのユーザデバイス106A〜Dの表示ハードウェア(および/または、関連ソフトウェア)のタイプ、質、明瞭性、解像度、鮮明さ、量、プライバシーレベル(例えば、画面サイズ、他人から隠す能力)などを示すものであり得る。ユーザデバイス106A〜Dのステータス112は、ユーザデバイスの現在の動作状態を示すものであり得る。例えば、ステータス112は、それぞれのユーザデバイス106A〜Dがアクティブステータス116A(例えば、現在処理中、ダウンロード中、アップロード中)であるか否かを示してもよく、それぞれのユーザデバイス106A〜Dがパッシブステータス116B(例えば、スリープモード、画面ロック中)であるか否かを示してもよく、および/または、ユーザデバイスが現在使用中ステータス116C(例えば、ユーザが当該デバイスと対話中である)であるか否かを示してもよい。追加的および/または代替的に、ステータス112は、ユーザデバイスがオンかオフかを示すものであり得る。ブローカーデバイス102は、各ユーザデバイスの能力110および/またはステータス112を(例えば、連続的に/周期的に/予定に従って)監視し、例えば、ユーザデバイスに関係する能力110および/またはステータス112の変更を判定するように構成され得る。
ブローカーデバイス102は、オーディオデバイスとして潜在的に使用可能なものとして、および/または表示デバイスとして潜在的に使用可能なものとして、1つ以上のユーザデバイスを特定するように構成され得る。いくつかの実現例では、ブローカーデバイス102は、ユーザデバイス106A〜Dに関係するパラメータ108に少なくとも部分的に基づいて、オーディオデバイスおよび/または表示デバイスとして潜在的に使用可能なものとして、1つ以上のユーザデバイス106A〜Dを特定するように構成され得る。これは、ユーザデバイス106A〜Dの能力110および/またはステータス112の評価を含み得る。
ブローカーデバイス102は、1つ以上のユーザデバイスの各々の1つ以上の能力110およびステータス112に少なくとも部分的に基づいて、オーディオデバイスとして潜在的に使用可能なものとして、1つ以上のユーザデバイスを特定するように構成され得る。一例として、複数のユーザデバイス100は、ブローカーデバイス102として機能し得るユーザの携帯電話を含み得る。携帯電話は、複数のユーザデバイスが通信範囲104内にあることを検出し得る。ユーザデバイスの少なくとも部分集合は、第1のユーザデバイス106A(例えば、ブルートゥースヘッドセット)、第2のユーザデバイス106B(例えば、スマートウォッチ)、第3のユーザデバイス106C(例えば、コンピュータ制御のアイウェア)、および第4のユーザデバイス106D(例えば、タブレット)を含み得る。ブローカーデバイス102(例えば、携帯電話)は、第1のユーザデバイス106A(例えば、ブルートゥースヘッドセット)、第2のユーザデバイス106B(例えば、スマートウォッチ)、および第4のユーザデバイス106D(例えば、タブレット)が、聞こえるように音を出力するためのオーディオ出力コンポーネント(例えば、スピーカー、ヘッドホン)を有していることを特定し得る。このように、ブローカーデバイス102は、オーディオデバイスとして潜在的に使用可能なものとして、第1、第2、および第4のユーザデバイス106A〜B、Dを特定し得る。
図2に示すように、ブローカーデバイス102は、オーディオデバイスとして潜在的に使用可能なものとして、これらのユーザデバイスをランク付けし得る。このようなランク付けは、ユーザデバイスの各々の1つ以上の能力110および/またはステータス112に少なくとも部分的に基づいてもよい。例えば、オーディオデバイスとして潜在的に使用可能なものとして、第1のユーザデバイス106A(例えば、ブルートゥースヘッドセット)は第2のユーザデバイス106B(例えば、スマートウォッチ)よりも優先(例えば、上位にランク付け)され得る。なぜなら、第1のユーザデバイス106Aは第2のユーザデバイス106Bよりも高いオーディオ能力(例えば、より高品質なスピーカー、よりプライベートなオーディオ配信)を有し得るからである。追加的および/または代替的に、第2のユーザデバイス106B(例えば、スマートウォッチ)は第4のユーザデバイス106D(例えば、タブレット)よりも優先(例えば、上位にランク付け)され得る。なぜなら、第2のユーザデバイス106Bは、(例えば、より小型のスピーカーによって)第4のユーザデバイス106Dよりもプライベートにオーディオコンテンツをユーザに配信できるからである。したがって、ブローカーデバイス102は、オーディオデバイスとして潜在的に使用可能なものとして、第1、第2、および第4のユーザデバイス106A〜B、Dを、その順でランク付けし得る。
ブローカーデバイス102は、1つ以上のユーザデバイスの各々の1つ以上の能力110およびステータス112に少なくとも部分的に基づいて、表示デバイスとして潜在的に使用可能なものとして、1つ以上のユーザデバイスを特定するように構成され得る。例えば、ブローカーデバイス102(例えば、携帯電話)は、第2のユーザデバイス106B(例えば、スマートウォッチ)、第3のユーザデバイス106C(例えば、コンピュータ制御のアイウェア)、および第4のユーザデバイス106D(例えば、タブレット)が、ビジュアルメディアコンテンツをユーザに閲覧可能にするための表示出力コンポーネント(例えば、表示画面)を有していることを特定し得る。このように、ブローカーデバイス102は、表示デバイスとして潜在的に使用可能なものとして、第2のユーザデバイス106B、第3のユーザデバイス106C、および第4のユーザデバイス106Dを特定し得る。
図2に示すように、ブローカーデバイス102は、表示デバイスとして潜在的に使用可能なものとして、これらのユーザデバイスをランク付けし得る。このようなランク付けは、ユーザデバイスの各々の1つ以上の能力110および/またはステータス112に少なくとも部分的に基づいてもよい。例えば、表示デバイスとして潜在的に使用可能なものとして、第2のユーザデバイス106B(例えば、スマートウォッチ)は第3のユーザデバイス106C(例えば、コンピュータ制御のアイウェア)よりも優先(例えば、上位にランク付け)され得る。なぜなら、第3のユーザデバイス106Cがパッシブステータス116Bである(例えば、ユーザのポケットの中で画面ロック中である)間、第2のユーザデバイス106Bはアクティブステータス116A(例えば、処理中)、および/または現在使用中ステータス116Cであり得るからである。追加的および/または代替的に、第3のユーザデバイス106C(例えば、コンピュータ制御のアイウェア)は第4のユーザデバイス106D(例えば、タブレット)よりも優先(例えば、上位にランク付け)され得る。なぜなら、第3のユーザデバイス106Cは第4のユーザデバイス106D(例えば、タブレット表示画面)よりも高いビジュアル能力を有し得る(例えば、光学ヘッド付きディスプレイによって、よりプライベートで高品質なビジュアルコンテンツの配信をユーザに対して行なう)からである。したがって、ブローカーデバイス102は、表示デバイスとして潜在的に使用可能なものとして、第2、第3、および第4のユーザデバイス106B〜Dを、その順でランク付けし得る。
このようにして、ブローカーデバイス102は、ユーザにコンテンツを伝達するためのオーディオデバイスおよび/または表示デバイスとして潜在的に使用可能なユーザデバイスの1つ以上の序列200(図2に図示)を作成し得る。1つ以上の序列200は、複数のユーザデバイス100の少なくとも部分集合におけるそれぞれのユーザデバイス106A〜Dの1つ以上の能力110および/またはステータス112に少なくとも部分的に基づいてもよい。序列200は、各機能についてのそれらのデバイスの優先順位に少なくとも部分的に基づいて編成されたユーザデバイスのリスト、ランク付け、優先度、順位などを含み得る。ブローカーデバイス102は、オーディオデバイスおよび/または表示デバイスとして使用するためのユーザデバイスを選択する際に、1つ以上の序列200を表わすデータを格納、および/または、そのデータにアクセスし得る。このように、本明細書に記載の方法で使用可能なデバイスの序列を特定することによって、本開示のシステムおよび方法は、メッセージコンテンツを特定してそれを最も適切なデバイスに割当て、計算リソースを節約し、ユーザデバイスを用いたユーザの体験を向上させることができる。
潜在的に使用可能なものとしてユーザデバイス106A〜Dを特定して序列200を作成するための手法を説明したが、これに限定することを意図するものではない。当業者ならば、さまざまな技術および/または方法が使用され得ることを理解するであろう。例えば、いくつかの実現例では、ブローカーデバイス102は、ユーザデバイス106A〜Dに対して、オーディオデバイスおよび/または表示デバイスとしてのそれぞれの潜在的使用可能性に関して重み付けすることによって序列200を作成してもよい。各ユーザデバイスに与えられる重みは、1つ以上のパラメータ108に少なくとも部分的に基づいてもよい。
いくつかの実現例では、ユーザデバイスは、オーディオデバイスおよび表示デバイスの両方として、潜在的に使用可能なものとして特定され得る。例えば、図2に示すように、ユーザデバイスのうちの1つ以上(例えば、第2のユーザデバイス106B、第4のユーザデバイス106D)は、オーディオデバイスとして潜在的に使用可能なユーザデバイスの序列、および、表示デバイスとして潜在的に使用可能なユーザデバイスの序列に含まれ得る。このようなケースは、ある特定のユーザデバイスが、当該ユーザデバイスをオーディオデバイスおよび/または表示デバイスとして機能させるオーディオ能力およびビジュアル能力を有する場合に生じ得る。
いくつかの実現例では、ユーザデバイスの序列200にブローカーデバイス102が含まれることもある。例えば、ブローカーデバイス102は、ブローカーデバイス102の能力および/またはステータスに少なくとも部分的に基づいて、オーディオデバイスおよび/または表示デバイスとして潜在的に使用可能なものとして、1つ以上のブローカーデバイス102を特定し得る。一例として、ユーザの携帯電話がブローカーデバイス102として機能する場合、携帯電話は、そのオーディオ能力(例えば、スピーカー)に起因してオーディオデバイスとして潜在的に使用可能なものとして特定されてもよく、および/または、そのビジュアル能力(例えば、表示画面)に起因して表示デバイスとして潜在的に使用可能なものとして特定されてもよい。さらに、ユーザの携帯電話は、現在使用中ステータス116Cであり得る。その場合、その携帯電話は、表示デバイスとして潜在的に使用可能な最も優先度の高い(最も上位にランク付けされる)ユーザデバイスとなる。図2では、1つ以上の序列200において、ブローカーデバイス102がリストの最後に記載されているが、これに限定することを意図するものではない。いくつかの実現例では、ブローカーデバイス102は、序列200における任意の位置(例えば、オーディオデバイスおよび/または表示デバイスとして潜在的に使用可能な最も優先度の高いデバイスとしての位置を含む)にランク付けされ得る。
いくつかの実現例では、ブローカーデバイス102は、ユーザデバイス106A〜Dの能力110および/またはステータス112の変更に少なくとも部分的に基づいて、1つ以上の序列200を調整するように構成され得る。上述のように、ブローカーデバイス102は、複数のユーザデバイス100のうちの1つ以上のユーザデバイスの能力110および/またはステータス112を(例えば、1つ以上の通信を介して)監視するように構成され得る。ブローカーデバイス102は、監視された能力および/またはステータスに少なくとも部分的に基づいて、オーディオデバイスとして潜在的に使用可能なユーザデバイスの序列200を調整し得る。追加的および/または代替的に、ブローカーデバイス102は、監視された能力および/またはステータスに少なくとも部分的に基づいて、表示デバイスとして潜在的に使用可能なユーザデバイスの序列200を調整し得る。
例えば、ブローカーデバイス102は、ユーザデバイス106A〜Dの能力110の変更に少なくとも部分的に基づいて、1つ以上の序列200を調整し得る。一例として、ユーザは、第2のユーザデバイス106B(例えば、スマートウォッチ)のオーディオ能力114Aの低下(例えば、スピーカーの損傷)により、第2のユーザデバイス106Bを外してもよい。ブローカーデバイス102は、(例えば、第2のユーザデバイス106Bとの間の1つ以上の通信を介して)能力110の変更を特定し、(例えば、損傷したスピーカーによって)低下したオーディオ能力114Aに少なくとも部分的に基づいて、オーディオデバイスとしての潜在的使用可能性に関して、序列200における第2のユーザデバイス106Bのランクを下げてもよい。
追加的および/または代替的に、ブローカーデバイス102は、ユーザデバイス106A〜Dのステータス112の変更に少なくとも部分的に基づいて、1つ以上の序列200を調整し得る。例えば、ユーザがポケットから第3のユーザデバイス106C(例えば、コンピュータ制御のアイウェア)を取り外し、第3のユーザデバイス106Cを(例えば、顔の上で)使用し始める場合がある。ブローカーデバイス102は、第3のユーザデバイス106Cのステータス112の(例えば、パッシブから現在使用中への)変更を検出/特定し得る。したがって、ブローカーデバイス102は、(例えば、パッシブステータスから現在使用中ステータスへ)変更されたステータス112に少なくとも部分的に基づいて、表示デバイスとしての潜在的使用可能性に関して、序列200における第3のユーザデバイス106Cのランクが上がるように、序列200を調整し得る。
いくつかの実現例では、1つ以上の新たなユーザデバイスが1つ以上の序列200に追加され得る。例えば、図1に戻って、ブローカーデバイス102は、複数のユーザデバイス100(例えば、デバイスエコシステム)に追加される1つ以上の新たなユーザデバイス118があるか否かを(例えば、連続的に/周期的に/予定に従って)監視するように構成され得る。これは、通信範囲104内にある、および/または、ユーザに付随するデバイスを含み得る。例えば、ユーザは、新たなユーザデバイス118(例えば、ラップトップコンピュータ)をオンにしたり、使用を開始したり、新たなユーザデバイス118の範囲内に移動したりし得る。ブローカーデバイス102は、新たなユーザデバイス118が複数のユーザデバイス100に追加されたこと(および/または、通信範囲104内にあること)を検出し、当該新たなユーザデバイス118の1つ以上の能力110および/またはステータス112を判定するように構成され得る。さらに、ブローカーデバイス102は、新たなユーザデバイス118の各々の1つ以上の能力110および/またはステータス112に少なくとも部分的に基づいて、オーディオデバイスおよび/または表示デバイスとして潜在的に使用可能なものとして、新たなユーザデバイス118を特定し得る。いくつかの実現例では、ブローカーデバイス102は、オーディオデバイスおよび/または表示デバイスとして潜在的に使用可能な新たなユーザデバイス118を、1つ以上の序列200に追加し得る。
図2に戻って、ブローカーデバイス102は、オーディオデバイスおよび/または表示デバイスとして使用するための1つ以上のユーザデバイスを選択するように構成され得る。この選択は、パラメータ108に少なくとも部分的に基づいてもよい。ブローカーデバイス102は、それぞれのユーザデバイスの1つ以上の能力110および/またはステータス112に少なくとも部分的に基づいて、ユーザデバイスの部分集合(例えば、106A〜D)のうちの少なくとも1つのユーザデバイス(例えば、106A)をオーディオデバイスとして選択し、ユーザデバイスの部分集合のうちの少なくとも1つのユーザデバイス(例えば、106B)を表示デバイスとして選択し得る。追加的および/または代替的に、ブローカーデバイス102は、1つ以上の序列200に少なくとも部分的に基づいて、オーディオデバイスおよび/または表示デバイスとして使用するためのユーザデバイスを選択し得る。一例として、ブローカーデバイス102は、複数のユーザデバイス100のうちの少なくとも第1のユーザデバイス(例えば、106A)をオーディオデバイスとして選択し、複数のユーザデバイスのうちの少なくとも第2のユーザデバイス(例えば、106B)を表示デバイスとして選択し得る。第1のユーザデバイス106Aは、オーディオデバイスとして使用するための、(例えば、序列において)最も優先度が高く、1番目にランク付けされ、最優先のデバイスである。第2のユーザデバイス106Bは、表示デバイスとして使用するための、(例えば、序列において)最も優先度が高く、1番目にランク付けされ、最優先のデバイスである(図2に図示)。最も優先度が高く、トップにランク付けされたユーザデバイスがオーディオデバイスおよび/または表示デバイスとして使用できない場合には、ブローカーデバイス102は、序列200における2番目のユーザデバイスを選択し得る。いくつかの実現例では、ブローカーデバイス102がオーディオデバイスおよび/または表示デバイスとして使用可能な1つ以上のユーザデバイスを見つけるまで、これが続けられてもよい。いくつかの実現例では、ブローカーデバイス102は、必要に応じて、パッシブステータス116Bであるユーザデバイス(例えば、ロックされた画面上にビジュアルメディアコンテンツが表示されているユーザデバイス)を選択し得る。
図3は、本開示の実施形態の例に従うシステム300の例を示す。図示のように、システム300は、ブローカーデバイス102と、オーディオデバイス302と、表示デバイス304とを含み得る。上述のように、少なくとも第1のユーザデバイス(例えば、106A)がオーディオデバイス302として使用され、および/または、少なくとも第2のユーザデバイス(例えば、106B)が表示デバイス304として使用され得る。ブローカーデバイス102は、オーディオデバイス302および表示デバイス304で、異なるタイプのコンテンツをユーザに配信するように構成され得る。
ブローカーデバイス102は、メッセージ306を受信するように構成され得る。メッセージ306は、テキストメッセージ、電子メールメッセージ、カレンダーメッセージ/招待状/リマインダー、ポッドキャスト、セミナー、オーディオブック、オーディオイラストブック、テレビプログラム、ラジオプログラム、記事、文書、ソーシャルメディアメッセージ、ストリーミングデータを表わすデータ、および/または、ユーザが読んだり、および/または、聴いたりすることのできる他の任意のタイプの情報を表わすデータを含み得る。いくつかの実現例では、ブローカーデバイス102は、別のコンピューティングデバイス308(例えば、別のユーザの携帯電話、クラウドベースのサーバ)からメッセージ306(例えば、テキストメッセージ、電子メールメッセージ)を受信し得る。いくつかの実現例では、ブローカーデバイス102は、当該ブローカーデバイス102に関連付けられた、または当該ブローカーデバイス102に含まれる1つ以上のメモリデバイスからメッセージ306(例えば、ポッドキャスト)を受信したり、獲得したり、メッセージ306にアクセスしたりし得る。いくつかの実現例では、ブローカーデバイス102は、当該ブローカーデバイス102上で実行中のソフトウェアアプリケーションからメッセージを受信し得る。
メッセージ306は、異なるタイプのコンテンツを含み得る。例えば、メッセージ306は、オーディオコンテンツ310などの第1のタイプのコンテンツと、ビジュアルメディアコンテンツ312などの第2のタイプのコンテンツとを含み得る。オーディオコンテンツ310は、聞こえるように出力可能なオーディオ形式(例えば、WAV、AIFF、AU、FLAC、MP3、可逆的または不可逆的に圧縮された他の形式)のデータ、および/または、聞こえるように出力可能な形式に変換可能なテキスト形式(例えば、doc、pdf、txt、html、xml、他の形式)などの別の形式のデータを含み得る。ビジュアルメディアコンテンツ312は、画像データ、動画、絵文字、ステッカー(例えば、bitmoji)、マップ、GIF、MIME、テキストブックフィギュア、グラフィック描写(例えば、ヒートマップ)、ダイヤグラム、アニメーション、イラスト、および/または、ユーザが閲覧可能な他のタイプの情報を含み得る。いくつかの実現例では、さらなる文脈情報をユーザに提供するために、テキスト形式のコンテンツ(例えば、太字フォントのテキスト、感嘆符)がビジュアルメディアコンテンツとして表示されてもよい。
ブローカーデバイス102は、メッセージ306に含まれる異なるタイプのコンテンツを特定するように構成され得る。例えば、いくつかの実現例では、メッセージ306は、複数のフィールドを含むメッセージ通知とともに、ブローカーデバイス102によって受信され得る。少なくとも1つのフィールドは、第1のタイプのコンテンツ(例えば、オーディオコンテンツ310)を含んでもよく、少なくとも1つのフィールドは、第2のタイプのコンテンツ(例えば、ビジュアルメディアコンテンツ312)を含んでもよい。ブローカーデバイス102は、異なるタイプのコンテンツを分離して異なる状態にし得る。例えば、ブローカーデバイス102は、オーディオコンテンツ310をビジュアルメディアコンテンツ312から分離し得る。追加的および/または代替的に、メッセージ306は、異なるタイプのコンテンツを特定することを可能にするアプリケーションプログラミングインターフェース(API)を介して、ブローカーデバイス102に提供され得る。いくつかの実現例では、オーディオコンテンツ310および/またはビジュアルメディアコンテンツ312は、APIを介してブローカーデバイス102のために特定され得る。
ブローカーデバイス102は、異なるタイプのコンテンツをユーザデバイスに送信するように構成され得る。例えば、ブローカーデバイス102は、第1のタイプのコンテンツ(例えば、オーディオコンテンツ310)を表わす第1のセットのデータ314を、(例えば、オーディオデバイス302として機能する)第1のユーザデバイス106Aに送信するように構成され得る。第1のユーザデバイス106Aは、第1のユーザデバイス106Aのユーザに、第1のタイプのコンテンツ(例えば、オーディオコンテンツ310)を伝達するように構成され得る。ブローカーデバイス102は、第2のタイプのコンテンツ(例えば、ビジュアルメディアコンテンツ312)を表わす第2のセットのデータ316を、(例えば、表示デバイス304として機能する)第2のユーザデバイス106Bに送信するように構成され得る。第2のユーザデバイス106Bは、第2のタイプのコンテンツ(例えば、ビジュアルメディアコンテンツ312)をユーザに対して表示するように構成され得る。
一例として、ブローカーデバイス102(例えば、携帯電話)は、テキストメッセージを受信し得る。テキストメッセージは、テキストデータ(例えば、「私の犬を見て。かわいいでしょう?」)と、画像データ(例えば、犬の画像)とを含み得る。ブローカーデバイス102は、テキストデータをオーディオコンテンツ310として特定し、それを(必要に応じて)オーディオ形式に変換し、オーディオコンテンツ310を表わすデータをオーディオデバイス312(例えば、ブルートゥースヘッドセット)に送信し得る。オーディオデバイス312は、テキストをユーザに伝達するように構成され得る。さらに、ブローカーデバイス102(例えば、携帯電話)は、画像をビジュアルメディアコンテンツ312として特定し、ビジュアルメディアコンテンツ312を表わすデータを表示デバイス304(例えば、スマートウォッチ)に送信し得る。表示デバイス304は、ユーザに対して犬の画像を表示するように構成され得る。
ブローカーデバイス102は、(表示デバイス304として機能する)第2のユーザデバイス106B上のビジュアルメディアコンテンツ312をユーザが適切な時に閲覧できるように、(オーディオデバイス302として機能する)第1のユーザデバイス106Aのユーザに通知を提供するように構成され得る。通知は、表示デバイス304上でビジュアルメディアコンテンツ312が閲覧可能であることをユーザに示すことのできる用語、フレーズ、イアコン、音声、ノイズ、振動、などであり得る。例えば、ブローカーデバイス102は、通知を表わすデータ320をオーディオデバイス302(例えば、第1のユーザデバイス106A)に送信するように構成され得る。オーディオデバイス302(例えば、第1のユーザデバイス106A)は、オーディオデバイス302のユーザに通知を伝達するように構成され得る。追加的および/または代替的に、ブローカーデバイス102は、通知を表わすデータ320を、表示デバイス304(例えば、第2のユーザデバイス106B)に送信するように構成され得る。表示デバイス304(例えば、第2のユーザデバイス106B)は、ユーザに通知を提供するように構成され得る。
図4は、本開示の実施形態の例に従うシステム300の例のユーザ実装例400を示す。図示のように、ブローカーデバイス102、オーディオデバイス302、および/または表示デバイス304は、ユーザ402に装着され、または他の方法で保持されるウェアラブルデバイスであり得る。例えば、ブローカーデバイス102は、ユーザ402の携帯電話を含んでもよく、オーディオデバイス302は第1のユーザデバイス106A(例えば、ブルートゥースヘッドセット)を含んでもよく、表示デバイス304は第2のユーザデバイス106B(例えば、スマートウォッチ)を含んでもよい。上述のように、ブローカーデバイス102は、オーディオコンテンツ310(例えば、テキスト)とビジュアルメディアコンテンツ312(例えば、画像)とを含むメッセージ306(例えば、テキストメッセージ)を受信し得る。ブローカーデバイス102は、オーディオコンテンツ310(例えば、オーディオ形式に変換されたテキスト)を表わすデータをオーディオデバイス302(例えば、ブルートゥースヘッドセット)に送信し得る。オーディオデバイス302は、メッセージ306のテキストをユーザ402に伝達し得る。また、ブローカーデバイス102は、ビジュアルメディアコンテンツ312(例えば、画像)を表わすデータを表示デバイス304(例えば、スマートウォッチ)に送信し得る。表示デバイス304は、メッセージ306の画像をユーザ402に伝達し得る。
ユーザ402がビジュアルメディアコンテンツ312を適切な時に閲覧できるように、ブローカーデバイス102は、オーディオデバイス302を介してユーザ402に通知404を提供し得る。通知404は、例えば、「ウォッチを見て下さい。」、「Xさんから画像が届きました。ウォッチに表示されています。」などのフレーズ、音声などを含み得る。追加的および/または代替的に、ブローカーデバイス102は、表示デバイス304を介してユーザ402に通知406を提供し得る。通知406は、例えば、振動、ビジュアル通知(例えば、光の点滅)などを含み得る。いくつかの実現例では、通知406は、フレーズ、音声などを含み得る。通知404、406がユーザ402に提供されるのは、オーディオコンテンツ310がユーザ402に伝達される前であってもよく、オーディオコンテンツ310がユーザ402に伝達されている最中であってもよく、および/または、オーディオコンテンツ310がユーザ402に伝達された後であってもよい。このようにして、ユーザがテキストメッセージを読んだ場合に、ビジュアルメディアコンテンツを閲覧する可能性が最も高いであろうタイミングで、ユーザに通知を提供することができる。これにより、複数のユーザデバイスを用いたユーザの体験を向上させることができる。
いくつかの実現例では、ユーザ402がシステムおよび方法を使用すればするほど、および/または、システムおよび方法に慣れれば慣れるほど、通知404、406が精妙さを増してもよい。例えば、通知が初めてユーザ402に提供される場合、通知404は、あるフレーズ(例えば、「ウォッチを見て下さい。」)を含み得る。通知が閾値の回数だけユーザ402に提供されると、通知404が精妙さを増してもよい。例えば、閾値に達すると、通知404は、フレーズ(例えば、「ウォッチを見て下さい。」)ではなく音声(例えば、「ビープ」)を含んでもよい。ブローカーデバイス102および/またはユーザデバイスは、ユーザ402に提供された通知回数、通知回数の閾値、および/または、通知回数の閾値に達したか否かを判定および格納(例えば、関連メモリデバイス内)するように構成され得る。
表示デバイス304は、異なる時間方式に従ってビジュアルメディアコンテンツ312を表示するように構成され得る。表示デバイス304は、オーディオコンテンツ310および/または通知404、406がユーザ402に伝達される前、オーディオコンテンツ310および/または通知404、406がユーザ402に伝達されている最中、および/または、オーディオコンテンツ310および/または通知404、406がユーザ402に伝達された後に、ビジュアルメディアコンテンツ312を表示するように構成され得る。例えば、通知404、406は第1の時408にオーディオデバイス302のユーザ402に提供され、表示デバイス304は、第1の時408にユーザに対してビジュアルメディアコンテンツ312を表示するように構成され得る。いくつかの実現例では、表示デバイス304は、通知404、406がユーザ402に提供される前または後のある時間(例えば、決まった時間、デフォルト時間、ユーザが設定した時間、コンテンツに応じて異なった時間)でビジュアルメディアコンテンツ312を表示し始めてもよい。
いくつかの実現例では、表示デバイス304は、時間410(「t」)の間ビジュアルメディアコンテンツ312を表示し得る。時間410は、デフォルト時間であってもよく、および/または、(例えば、ユーザインターフェースを介して)ユーザ402によって設定された時間であってもよい。いくつかの実現例では、時間410は、ビジュアルメディアコンテンツ312のタイプ(例えば、動画、画像、絵文字)に少なくとも部分的に基づいて変化してもよい。例えば、表示デバイス304は、通知404、406がユーザ402に提供される前または後の時(例えば、第1の時408)から10秒間、20秒間、30秒間、1分間などの間、画像を表示するように構成され得る。別の例では、ビジュアルメディアコンテンツ312は、動画を含み得る。表示デバイス304は、通知404、406がユーザ402に提供されると同時に(または提供された後)、動画を再生し始めてもよい。いくつかの実現例では、ユーザ402は、表示デバイス304と対話することにより、動画を巻き戻し、早送り、再生、一時停止、停止、終了し得る。
いくつかの実現例では、表示デバイス304は、ユーザ402による動作に少なくとも部分的に基づいて、ビジュアルメディアコンテンツ312をユーザ402に伝達するように構成され得る。例えば、表示デバイス304は、ユーザ402が閲覧しようとする動作412に少なくとも部分的に基づいて、ユーザ402に対してビジュアルメディアコンテンツ312を表示するように構成され得る。閲覧しようとする動作412は、例えば、表示デバイス304によって検出可能な視線を投げかけるジェスチャーであってもよい。いくつかの実現例では、表示デバイス304は、閲覧しようとする動作412に応答してビジュアルメディアコンテンツ312を表示するように構成され得る。表示デバイス304は、(例えば、表示デバイス304による)閲覧しようとする動作412の検出時に開始される動作ウィンドウ内に、ビジュアルメディアコンテンツ312(例えば、画像)を表示するように構成され得る。いくつかの実現例では、表示デバイス304は、ビジュアルメディアコンテンツ312を表示し、さらに、当該ビジュアルメディアコンテンツ312が表示され続けるために必要な、閲覧しようとする動作412の時間枠を含んでもよい。いくつかの実現例では、表示デバイス304は、ユーザ402が閲覧しようとする動作412を行なうまでは、ユーザ402に対してビジュアルメディアコンテンツ312を表示しなくてもよい。
あるタイプのビジュアルメディアコンテンツについては、表示デバイス304は、通知404、406をユーザ402に提供することなく、ビジュアルメディアコンテンツをユーザ402に対して表示するように構成され得る。例えば、メッセージ306は、絵文字が含まれたテキスト部分を含む電子メールメッセージを含み得る。本明細書で記載するように、テキスト部分は、オーディオデバイス302によってユーザ402に伝達され得る。絵文字を示すデータは、ブローカーデバイス102によって表示デバイス304に送信され得る。ブローカーデバイス102がユーザ402に通知を提供することなく、表示デバイス304は、絵文字がテキスト部分に現れるタイミングでユーザ402に対して絵文字を表示してもよい。例えば、当初から絵文字が入っていた電子メールテキストのセンテンスをオーディオデバイス302が伝達する際には、表示デバイス304は、通知404、406をユーザ402に提供することなく絵文字を表示してもよい。このようにして、システムおよび方法は、ユーザによるメッセージ306の文脈理解のために重要度が低いビジュアルメディアコンテンツ312の場合には、ユーザ402に消極的に提供するように構成されてもよい。
オーディオコンテンツ310および/またはビジュアルメディアコンテンツ312がユーザ402に伝達されている最中であっても、ブローカーデバイス102は、オーディオデバイス302および/または表示デバイス304として、新たなデバイスを選択するように構成されてもよい。例えば、ブローカーデバイス102は、複数のユーザデバイス100のうちの少なくとも1つのユーザデバイスに関係するステータス112の変更を判定するように構成され得る。ブローカーデバイス102は、ステータス112の変更に少なくとも部分的に基づいて、(当初に選択されたものとは)異なるユーザデバイスを、オーディオデバイス302および/または表示デバイス304として選択するように構成され得る。一例として、図5に示すように、オーディオコンテンツ310(例えば、メッセージのテキスト)がオーディオデバイス302(例えば、ヘッドセット)を介してユーザ402に提供されている最中に、ユーザ402がポケットから第3のユーザデバイス106C(例えば、コンピュータ制御のアイウェア)を取り外し、そのデバイスを(例えば、顔の上で)使用し始める場合がある。ブローカーデバイス102は、第3のユーザデバイス106Cのステータス112が(例えば、パッシブステータスから現在使用中ステータスへ)変化したことを検出し得る。ブローカーデバイス102は、第3のユーザデバイス106C(例えば、コンピュータ制御のアイウェア)を表示デバイス304として選択し、ビジュアルメディアコンテンツ312(例えば、画像)を表わすデータを第3のユーザデバイス106Cに送信するように構成され得る。第3のユーザデバイス106Cは、ユーザ402に対してビジュアルメディアコンテンツ312を表示し得る。いくつかの実現例では、コンテンツがユーザ402に伝達されている最中であっても、ブローカーデバイス102は新たなユーザデバイス(例えば、118)が追加されたことを検出し、オーディオデバイス302および/または表示デバイス304として使用するために、その新たなユーザデバイスを選択するように構成され得る。
図6は、本開示の実施形態の例に従う、メッセージコンテンツを管理する方法600の例のフローチャートを示す。方法600のうちの1つ以上の部分は、例えば、図1および図7に示すブローカーデバイスおよび/またはユーザデバイスなどのコンピューティングデバイスによって実現することが可能である。図6は、例示および説明のために、特定の順序で行なわれるステップを示す。当業者ならば、本明細書で提供される開示内容を用いると、本明細書で説明されているいずれの方法のステップも、本開示の範囲から逸脱することなく、さまざまな態様で適合、再編成、発展、省略、または変更され得ることを理解するであろう。
方法600は、(602)において、1つ以上のユーザデバイスを検出することを含み得る。例えば、1つ以上のブローカーデバイス102(例えば、1つ以上のコンピューティングデバイス)は、当該1つ以上のブローカーデバイス102の通信範囲104内の1つのユーザデバイスおよび/または複数のユーザデバイス100を検出し得る。方法600は、(604)において、ユーザデバイスの1つ以上のパラメータを判定することを含み得る。例えば、ブローカーデバイス102は、複数のユーザデバイス100の少なくとも部分集合における各ユーザデバイス106A〜Dの1つ以上の能力110およびステータス112を判定し得る。本明細書で記載するように、1つ以上の能力110は、例えば、オーディオ能力114Aおよび/または表示能力114Bのうちの少なくとも1つを示すものであり得る。(ユーザデバイスの)ステータス112は、例えば、アクティブステータス116A、パッシブステータス116B、および現在使用中ステータス116Cのうちの少なくとも1つを示すものであり得る。
方法600は、(606)において、オーディオデバイスとして潜在的に使用可能なものとして、1つ以上のユーザデバイスを特定することを含み得る。例えば、ブローカーデバイス102は、1つ以上のユーザデバイスの各々の1つ以上の能力110および/またはステータス112に少なくとも部分的に基づいて、オーディオデバイス302として潜在的に使用可能なものとして、ユーザデバイスの少なくとも部分集合のうちの1つ以上のユーザデバイス(例えば、106A〜B、D)を特定し得る。これは、上述のように、1つ以上のユーザデバイスの各々の1つ以上の能力110および/またはステータス112に少なくとも部分的に基づいて、オーディオデバイス302として潜在的に使用可能なものとして、1つ以上のユーザデバイスを(例えば、ブローカーデバイス102によって)ランク付けすることを含み得る。例えば、ブローカーデバイス102は、図2に示すような、オーディオデバイス302として潜在的に使用可能なユーザデバイスの序列200を作成し得る。
方法600は、(608)において、表示デバイスとして潜在的に使用可能なものとして、1つ以上のユーザデバイスを特定することを含み得る。例えば、ブローカーデバイス102は、1つ以上のユーザデバイスの各々の1つ以上の能力110および/またはステータス112に少なくとも部分的に基づいて、表示デバイス304として潜在的に使用可能なものとして、ユーザデバイスの少なくとも部分集合のうちの1つ以上のユーザデバイス(例えば、106B〜D)を特定し得る。これは、本明細書で記載するように、1つ以上のブローカーデバイス102が、1つ以上のユーザデバイスの各々の1つ以上の能力110およびステータス112に少なくとも部分的に基づいて、表示デバイス304として潜在的に使用可能なものとして1つ以上のユーザデバイスをランク付けすることを含み得る。例えば、ブローカーデバイス102は、ユーザデバイスの各々の能力110および/またはステータス112に少なくとも部分的に基づいて、表示デバイス304として潜在的に使用可能なユーザデバイスの序列200を作成し得る。いくつかの実現例では、上述のように、ブローカーデバイス102は、オーディオデバイス302および/または表示デバイス304として潜在的に使用可能なものとして、1つ以上のブローカーデバイス自体を特定し得る。
方法600は、(610)において、オーディオデバイスおよび表示デバイスを選択することを含み得る。ブローカーデバイス102は、パラメータ108、1つ以上の序列200などに少なくとも部分的に基づいて、オーディオデバイス302および/または表示デバイス304として使用するための1つ以上のユーザデバイスを選択し得る。例えば、ブローカーデバイス102は、オーディオデバイス302として使用するために、複数のユーザデバイス100のうちの第1のユーザデバイス106Aを選択し、表示デバイス304として使用するために、複数のユーザデバイス100のうちの第2のユーザデバイス106Bを選択し得る。いくつかの実現例では、ブローカーデバイス102は、オーディオデバイス302および/または表示デバイス304とは異なるデバイスであってもよい。いくつかの実現例では、ブローカーデバイス102は、オーディオデバイス302および/または表示デバイス304として機能してもよい。上述のように、1つ以上のブローカーデバイス102(例えば、コンピューティングデバイス)、オーディオデバイス302、および/または表示デバイス304のうちの少なくとも1つは、ウェアラブルデバイスであってもよい。
追加的および/または代替的に、ブローカーデバイス102(例えば、コンピューティングデバイス)、オーディオデバイス302、および/または表示デバイス304のうちの少なくとも1つは、非ウェアラブルデバイスであってもよい。一例として、複数のユーザデバイスは、ユーザの家の中の、統合デバイス(例えば、グーグルクロームキャスト(登録商標))、スピーカーシステム、および、テレビを含み得る。統合デバイスは、ユーザの家のデバイスエコシステム内の他のデバイスを検出することのできるブローカーデバイス102として機能してもよい。統合デバイスは、オーディオデバイス302として使用するためにスピーカーシステムを選択し、表示デバイス304として使用するためにテレビを選択し得る。
方法600は、(612)および(614)において、メッセージを受信し、そのメッセージのオーディオコンテンツとビジュアルメディアコンテンツとを特定することを含み得る。例えば、ブローカーデバイス102は、オーディオコンテンツ310とビジュアルメディアコンテンツ312とを含むメッセージ306を受信し得る。いくつかの実現例では、ブローカーデバイス102は、メッセージ306受信の前、最中、および/または後に、ステップ(602)〜(610)のうちの1つ以上を行ってもよい。ブローカーデバイス102は、本明細書で記載するように、メッセージ306に含まれるオーディオコンテンツ310とビジュアルメディアコンテンツ312とを特定し得る。ブローカーデバイス102は、(616)において、オーディオコンテンツ310を表わす第1のセットのデータ314をオーディオデバイス302に送信し得る。また、ブローカーデバイス102は、(618)において、ビジュアルメディアコンテンツ312を表わす第2のセットのデータ316を表示デバイス304に送信し得る。オーディオデバイス302は、当該オーディオデバイス302のユーザ402にオーディオコンテンツ310を伝達するように構成され得る。また、表示デバイス304は、ユーザ402に対してビジュアルメディアコンテンツ312を表示するように構成され得る。いくつかの実現例では、オーディオデバイス302がオーディオコンテンツ310をユーザに伝達している際に、表示デバイス304はビジュアルメディアコンテンツ312を表示するように構成され得る。
一例として、ブローカーデバイス102として機能する統合デバイス(例えば、グーグルクロームキャスト(登録商標))は、教育のセミナーポッドキャストなどのメッセージ306を受信し得る。統合デバイスは、ポッドキャストのオーディオコンテンツ310(例えば、講義部分)、および、ポッドキャストを聴いている際にユーザ402に表示される任意のビジュアルメディアコンテンツ312(例えば、ダイヤグラム、チャート、インフォグラフィックスを用いた表示)を特定し得る。統合デバイスは、講義を表わすデータをオーディオデバイス302(例えば、スピーカーシステム)に送信し、表示を表わすデータを表示デバイス304(例えば、テレビ)に送信し得る。スピーカーシステムは、ユーザ402に対して講義(例えば、オーディオコンテンツ)を再生するように構成されてもよく、テレビは、対応するビジュアルメディアコンテンツ312(例えば、ダイヤグラム、チャート、インフォグラフィックスを用いた表示)をユーザ402に対して表示するように構成され得る。
方法600は、(620)において、閲覧可能なビジュアルメディアコンテンツをユーザに通知することを含み得る。例えば、ブローカーデバイス102は、表示デバイス304上のビジュアルメディアコンテンツ312を閲覧させるための通知をオーディオデバイス302のユーザに提供し得る。そのようにするために、いくつかの実現例では、ブローカーデバイス102は、通知404を表わすデータ320をオーディオデバイス302に送信し得る。オーディオデバイス302(例えば、スピーカーシステム)は、オーディオデバイス304のユーザに、通知404(例えば、「テレビを見て下さい。」というフレーズ)を伝達するように構成されている。通知は第1の時408にオーディオデバイス302のユーザに提供され、表示デバイス304は、第1の時408にユーザに対してビジュアルメディアコンテンツ312を表示するように構成され得る。例えば、スピーカーシステムは、講義の中で説明されているダイヤグラムがテレビ上に表示されたときに、ユーザにテレビを見るように伝えてもよい。本明細書で記載するように、いくつかの実現例では、オーディオデバイス302のユーザに通知が伝達され、表示デバイス304は、ユーザが閲覧しようとする動作(例えば、視線を投げかけるジェスチャー)に少なくとも部分的に基づいて、ユーザに対してビジュアルメディアコンテンツ312を表示するように構成され得る。
いくつかの実現例では、方法600は、(622)において、ユーザデバイスステータスの変更を判定すること、(624)において、1つ以上の異なるユーザデバイスをオーディオデバイスおよび/または表示デバイスとして選択することを含み得る。例えば、ブローカーデバイス102は、複数のユーザデバイス100のうちの少なくとも1つのユーザデバイスに関係するステータス112の変更を判定し得る。いくつかの実現例では、ブローカーデバイス102は、ステータス112の変更に少なくとも部分的に基づいて、第1のユーザデバイス106Aとは異なるユーザデバイスをオーディオデバイス302として選択し得る。例えば、ユーザがタブレットを使用し始めたことを統合デバイスが検出した場合、(ブローカーデバイス102として機能する)統合デバイスは、(スピーカーシステムの代わりに)そのタブレットを選択してユーザに講義を伝達してもよい。いくつかの実現例では、ブローカーデバイス102は、ステータス112の変更に少なくとも部分的に基づいて、第2のユーザデバイス106Bとは異なるユーザデバイスを表示デバイス304として選択してもよい(例えば、図5に図示)。
図7は、本開示の実施形態の例に従うシステム700の例を示す。システム700は、1つ以上のブローカーデバイス702と、1つ以上のユーザデバイス704とを含み得る。ブローカーデバイス702は、本明細書で記載するようなブローカーデバイス(例えば、102)に対応し得る。ユーザデバイス704は、本明細書で記載するようなユーザデバイス(例えば、106A〜D、118)に対応し得る。ブローカーデバイス702およびユーザデバイス704は、ウェアラブルおよび/または非ウェアラブルユーザデバイスのエコシステムなどの、複数のユーザデバイス(例えば、100)に含まれ得る。さらに、ブローカーデバイス702およびユーザデバイス704は、1つ以上のネットワーク706を介して互いに通信し得る。
ブローカーデバイス702は、1つ以上のコンピューティングデバイス708を含み得る。1つ以上のコンピューティングデバイス708は、1つ以上のプロセッサ710Aと1つ以上のメモリデバイス710Bとを含み得る。プロセッサ710Aは、マイクロプロセッサ、マイクロコントローラ、集積回路、特定用途向け集積回路(ASIC)、デジタルシグナルプロセッサ(DSP)、フィールド・プログラマブル・ゲート・アレイ(FPGA)、論理デバイス、1つ以上の中央処理装置(CPU)、画像を効率的にレンダリングすること、または他の特殊な計算を実行することに特化したグラフィックス・プロセッシング・ユニット(GPU)などの、如何なる好適な処理デバイスを含んでもよい。メモリデバイス710Bは、1つ以上のコンピュータ読取可能な媒体を含み得る。1つ以上のコンピュータ読取可能な媒体は、非一時的なコンピュータ読取可能な媒体、RAM、ROM、ハードドライブ、フラッシュメモリ、または他のメモリデバイスを含むが、これらに限定されない。
メモリデバイス710Bは、プロセッサ710Aがアクセス可能な情報(プロセッサ710Aによって実行され得る命令710Cを含む)を格納し得る。命令710Cは、任意の好適なプログラミング言語で記述されたソフトウェアであってもよいし、または、ハードウェアで実現されてもよい。追加的および/または代替的に、命令710Cは、プロセッサ710Aにおいて論理的および/または仮想的に分離したスレッドで実行されてもよい。
命令710Cは、プロセッサ710Aによって実行されることによって、プロセッサ710A(および/またはコンピューティングシステム700)に動作を行わせてもよい。例えば、システム700のブローカーデバイス702は、コンピュータ読取可能な命令を格納する1つ以上の有形の非一時的なコンピュータ読取可能な媒体を含み得る。コンピュータ読取可能な命令は、1つ以上のプロセッサ710Aによって実行されると、当該1つ以上のプロセッサ710A(および/またはコンピューティングシステム)に動作を行わせる。動作は、本明細書で記載するようなブローカーデバイス102が構成される動作および機能のうちの任意のもの、ブローカーデバイス102の動作および機能のうちの任意のもの、メッセージコンテンツを管理するための動作および機能(例えば、方法600)、および/または、ブローカーデバイス102の他の任意の動作または機能を含み得る。一例として、動作は、本明細書で記載するように、通信範囲内にある複数のユーザデバイスを検出すること、複数のユーザデバイスの少なくとも部分集合における各ユーザデバイスの1つ以上の能力およびステータスを判定すること、それぞれのユーザデバイスの1つ以上の能力およびステータスに少なくとも部分的に基づいて、ユーザデバイスの部分集合のうちの少なくとも1つのユーザデバイスをオーディオデバイスとして選択し、ユーザデバイスの部分集合のうちの少なくとも1つのユーザデバイスを表示デバイスとして選択すること、オーディオコンテンツとビジュアルメディアコンテンツとを含むメッセージを受信すること、オーディオコンテンツを表わす第1のセットのデータをオーディオデバイスに送信すること、ビジュアルメディアコンテンツを表わす第2のセットのデータを表示デバイスに送信すること、および/または、表示デバイス上のビジュアルメディアコンテンツを閲覧させるための通知をオーディオデバイスのユーザに提供することを含み得る。
また、命令710Cがプロセッサ710Aによって実行されることによって、メッセージコンテンツのタイプが特定されてもよい。いくつかの実現例では、命令710Cがプロセッサ710Aによって実行されることによって、メッセージのオーディオコンテンツが、オーディオデバイスのユーザに伝達可能な形式に変換されてもよい。例えば、命令710Cは、プロセッサによって実行されることによって、プロセッサ710Cに、テキストコンテンツを示すデータをパースさせ、そのデータをユーザに聞こえるように出力可能な形式に変換させてもよい。
1つ以上のメモリデバイス710Bは、1つ以上のプロセッサ710Aによって検索、操作、作成、または格納され得るデータ710Dも含み得る。データ710Dは、例えば、メッセージ306、オーディオコンテンツ310および/またはビジュアルメディアコンテンツ312を表わすデータ314、316、パラメータ108に関係するデータ、1つ以上の序列200に関係するデータ、システム700の別のコンポーネントに関係するデータ、通知(例えば、404、406)に関係するデータ、および/または、本明細書に記載の他の任意のデータ/情報を含み得る。
いくつかの実現例では、コンピューティングデバイス708は、オーディオ出力コンポーネント710Eおよび/または表示出力コンポーネント710Fを含み得る。オーディオ出力コンポーネント710Eは、ユーザに聞こえるようにオーディオコンテンツを出力するためのハードウェアを含み得る。例えば、オーディオ出力コンポーネント710Eは、1つ以上のスピーカー、イヤホン、ヘッドセット、ハンドセットなどを含み得る。表示出力デバイス710Fは、ユーザに対してビジュアルメディアコンテンツを表示するためのハードウェアを含み得る。例えば、表示出力デバイス710Fは、表示画面、CRT、LCD、プラズマ画面、タッチスクリーン、テレビ、プロジェクタなどを含み得る。いくつかの実現例では、コンピューティングデバイス708は、1つ以上のセンサ710Gを含み得る。センサ710Gは、運動センサ、位置センサ、熱センサ、加速度計、ジャイロスコープ、および/または他のタイプのセンサを含み得る。センサ710Gは、例えば、ユーザが閲覧しようとする動作(例えば、視線を投げかけるジェスチャー)を検出するように構成され得る。
また、コンピューティングデバイス708は、システム700のうちの1つ以上の他のコンポーネント(例えば、ユーザデバイス704)と通信してデータを送信および/または受信するために用いられる通信インターフェース710Hも含み得る。通信インターフェース710Hは、例えば、送信機、受信機、ポート、コントローラ、アンテナ、または他の好適なコンポーネントを含む1つ以上のネットワークにインタフェースするための任意の好適なコンポーネントを含み得る。
ユーザデバイス704は、1つ以上のプロセッサ712Aと1つ以上のメモリデバイス712Bとを含み得る。プロセッサ712Aは、マイクロプロセッサ、マイクロコントローラ、集積回路、特定用途向け集積回路(ASIC)、デジタルシグナルプロセッサ(DSP)、フィールド・プログラマブル・ゲート・アレイ(FPGA)、論理デバイス、1つ以上の中央処理装置(CPU)、画像を効率的にレンダリングすること、または他の特殊な計算を実行することに特化したグラフィックス・プロセッシング・ユニット(GPU)などの、如何なる好適な処理デバイスを含んでもよい。メモリデバイス712Bは、1つ以上のコンピュータ読取可能な媒体を含み得る。1つ以上のコンピュータ読取可能な媒体は、非一時的なコンピュータ読取可能な媒体、RAM、ROM、ハードドライブ、フラッシュメモリ、または他のメモリデバイスを含むが、これらに限定されない。
メモリデバイス712Bは、プロセッサ712Aがアクセス可能な情報(プロセッサ710Aによって実行され得る命令712Cを含む)を格納し得る。命令712Cは、任意の好適なプログラミング言語で記述されたソフトウェアであってもよいし、または、ハードウェアで実現されてもよい。追加的および/または代替的に、命令712Cは、プロセッサ712Aにおいて論理的および/または仮想的に分離したスレッドで実行されてもよい。命令710Cは、プロセッサ710Aによって実行されることによって、プロセッサ710A(および/またはユーザデバイス704)に動作を行わせてもよい。例えば、システム700のユーザデバイス704は、コンピュータ読取可能な命令を格納する1つ以上の有形の非一時的なコンピュータ読取可能な媒体を含み得る。コンピュータ読取可能な命令は、1つ以上のプロセッサ712Aによって実行されると、当該1つ以上のプロセッサ712Aに動作を行わせる。動作は、本明細書で記載するようなユーザデバイス106A〜D、118のために構成される動作および機能のうちの任意のもの、ユーザデバイス106A〜D、118の動作および機能のうちの任意のもの、メッセージコンテンツおよび/または通知を受信および伝達するための動作および機能、および/または、ユーザデバイスの他の任意の動作または機能を含み得る。
1つ以上のメモリデバイス712Bは、1つ以上のプロセッサ712Aによって検索、操作、作成、または格納され得るデータ712Dも含み得る。データ712Dは、例えば、オーディオコンテンツ310および/またはビジュアルメディアコンテンツ312を表わすデータ314、316、パラメータ108に関係するデータ、1つ以上の序列200に関係するデータ、ユーザに関係するデータ、システム700の別のコンポーネントに関係するデータ、通知(例えば、404、406)に関係するデータ320、および/または、本明細書に記載の他の任意のデータ/情報を含み得る。
いくつかの実現例では、ユーザデバイス704は、オーディオ出力コンポーネント712Eおよび/または表示出力コンポーネント712Fを含み得る。オーディオ出力コンポーネント712Eは、ユーザに聞こえるようにオーディオコンテンツを出力するためのハードウェアを含み得る。例えば、オーディオ出力コンポーネント712Eは、1つ以上のスピーカー、イヤホン、ヘッドセット、ハンドセットなどを含み得る。表示出力デバイス712Fは、ユーザに対してビジュアルメディアコンテンツを表示するためのハードウェアを含み得る。例えば、表示出力デバイス712Fは、表示画面、CRT、LCD、プラズマ画面、タッチスクリーン、テレビ、プロジェクタなどを含み得る。いくつかの実現例では、ユーザデバイス704は、1つ以上のセンサ712Gを含み得る。センサ712Gは、運動センサ、位置センサ、熱センサ、加速度計、ジャイロスコープ、および/または他のタイプのセンサを含み得る。センサ712Gは、例えば、ユーザが閲覧しようとする動作(例えば、視線を投げかけるジェスチャー)を検出するように構成され得る。
また、ユーザデバイス704は、システム700のうちの1つ以上の他のコンポーネント(例えば、ブローカーデバイス702)と通信してデータを提供および/または受信するために用いられる通信インターフェース712Hも含み得る。通信インターフェース712Hは、例えば、送信機、受信機、ポート、コントローラ、アンテナ、または他の好適なコンポーネントを含む1つ以上のネットワークにインタフェースするための任意の好適なコンポーネントを含み得る。
ネットワーク706は、ローカルエリアネットワーク(例えば、イントラネット)、ワイドエリアネットワーク(例えば、インターネット)、セルラーネットワーク、またはそれらのうちの何らかの組み合わせなど、如何なるタイプの通信ネットワークであってもよい。ネットワーク706は、ブローカーデバイス702とユーザデバイス704との間の直接の接続(有線および/または無線)を含み得る。一般的に、ブローカーデバイス702とユーザデバイス704との間の通信は、さまざまな通信プロトコル(例えば、TCP/IP、HTTP、SMTP、FTP)、符号または形式(例えば、HTML、XML)、および/または、保護方式(例えば、VPN、セキュアHTTP、SSL)を用いて、任意のタイプの有線接続および/または無線接続によってネットワークインターフェースを介して行なうことができる。
本明細書に記載される技術では、サーバ、データベース、ソフトウェアアプリケーション、および他のコンピュータに基づくシステム、ならびに、行なわれる動作、およびそれらのシステムとの間でやり取りされる情報について言及されている。コンピュータに基づくシステムに本来備わっている柔軟性により、コンポーネント間のタスクおよび機能の構成、組み合わせ、および分割が様々に可能であることを、当業者ならば認識するであろう。例えば、本明細書に記載のサーバ処理は、単一のサーバを用いて実施してもよいし、または、協働する複数のサーバを用いて実施してもよい。データベースおよびアプリケーションは、単一のシステムに実装されてもよいし、または、複数のシステム間に分配されてもよい。分配されたコンポーネントは、逐次動作してもよいし、または、並行して動作してもよい。
さらに、本明細書においてサーバで実行されるものとして説明されたコンピューティングタスクは、代わりにユーザデバイスで実行されてもよい。同様に、本明細書においてユーザデバイス(例えば、ブローカーデバイス)で実行されるものとして説明されたコンピューティングタスクは、代わりにサーバで実行されてもよい。
本主題を、その実施形態および方法の具体例に関して詳細に説明したが、当業者が上述の記載を理解すれば、それらの実施形態の変更、変形、および均等物を容易に生み出すことができることが理解されるであろう。したがって、本開示の範囲は限定ではなく例示であって、この主題の開示内容は、当業者に容易に明らかになるであろう本主題への変更、変形、および/または追加を除外するものではない。

Claims (20)

  1. メッセージコンテンツを管理するための、コンピュータによって実現される方法であって、
    1つ以上のコンピューティングデバイスが、オーディオコンテンツとビジュアルメディアコンテンツとを含むメッセージを受信するステップと、
    前記1つ以上のコンピューティングデバイスが、前記オーディオコンテンツを表わす第1のセットのデータをオーディオデバイスに送信するステップとを含み、前記オーディオデバイスは、前記オーディオデバイスのユーザに前記オーディオコンテンツを伝達するように構成されており、前記方法はさらに、
    前記1つ以上のコンピューティングデバイスが、前記ビジュアルメディアコンテンツを表わす第2のセットのデータを表示デバイスに送信するステップを含み、前記表示デバイスは、前記ユーザに対して前記ビジュアルメディアコンテンツを表示するように構成されており、前記方法はさらに、
    前記1つ以上のコンピューティングデバイスが、前記表示デバイス上の前記ビジュアルメディアコンテンツを閲覧させるための通知を前記オーディオデバイスの前記ユーザに提供するステップを含む、方法。
  2. 前記通知は、前記ビジュアルメディアコンテンツが前記表示デバイス上で閲覧可能であることを前記ユーザに示すオーディオ通知であり、
    前記1つ以上のコンピューティングデバイスが前記通知を前記オーディオデバイスの前記ユーザに提供するステップは、
    前記1つ以上のコンピューティングデバイスが、前記通知を表わすデータを前記オーディオデバイスに送信するステップを含み、前記オーディオデバイスは、前記オーディオデバイスの前記ユーザに前記通知を伝達するように構成されている、請求項1に記載のコンピュータによって実現される方法。
  3. 前記通知は第1の時に前記オーディオデバイスの前記ユーザに提供され、
    前記表示デバイスは、前記第1の時に前記ユーザに対して前記ビジュアルメディアコンテンツを表示するように構成されている、請求項2に記載のコンピュータによって実現される方法。
  4. 前記通知は前記オーディオデバイスの前記ユーザに伝達され、
    前記表示デバイスは、前記ユーザが閲覧しようとする動作に少なくとも部分的に基づいて、前記ユーザに対して前記ビジュアルメディアコンテンツを表示するように構成されている、請求項2に記載のコンピュータによって実現される方法。
  5. 前記閲覧しようとする動作は、前記表示デバイスによって検出可能な視線を投げかけるジェスチャーである、請求項4に記載のコンピュータによって実現される方法。
  6. 前記1つ以上のコンピューティングデバイスが、前記1つ以上のコンピューティングデバイスの通信範囲内にある複数のユーザデバイスを検出するステップと、
    前記1つ以上のコンピューティングデバイスが、前記複数のユーザデバイスの少なくとも部分集合における各ユーザデバイスの1つ以上の能力およびステータスを判定するステップと、
    前記1つ以上のコンピューティングデバイスが、前記1つ以上のユーザデバイスの各々の前記1つ以上の能力および前記ステータスに少なくとも部分的に基づいて、前記オーディオデバイスとして潜在的に使用可能なものとして、前記ユーザデバイスの少なくとも部分集合のうちの1つ以上のユーザデバイスを特定するステップと、
    前記1つ以上のコンピューティングデバイスが、前記1つ以上のユーザデバイスの各々の前記1つ以上の能力および前記ステータスに少なくとも部分的に基づいて、前記表示デバイスとして潜在的に使用可能なものとして、前記ユーザデバイスの少なくとも部分集合のうちの1つ以上のユーザデバイスを特定するステップと、
    前記1つ以上のコンピューティングデバイスが、前記オーディオデバイスとして使用するために前記複数のデバイスのうちの第1のユーザデバイスを選択し、前記表示デバイスとして使用するために前記複数のユーザデバイスのうちの第2のユーザデバイスを選択するステップとをさらに含む、先行する請求項のいずれか1項に記載のコンピュータによって実現される方法。
  7. 前記1つ以上のコンピューティングデバイスが、前記オーディオデバイスとして潜在的に使用可能なものとして前記ユーザデバイスの少なくとも部分集合のうちの1つ以上のユーザデバイスを特定するステップは、
    前記1つ以上のコンピューティングデバイスが、前記1つ以上のユーザデバイスの各々の前記1つ以上の能力および前記ステータスに少なくとも部分的に基づいて、前記オーディオデバイスとして潜在的に使用可能なものとして前記1つ以上のユーザデバイスをランク付けするステップを含む、請求項6に記載のコンピュータによって実現される方法。
  8. 前記1つ以上のコンピューティングデバイスが、前記表示デバイスとして潜在的に使用可能なものとして前記ユーザデバイスの少なくとも部分集合のうちの1つ以上のユーザデバイスを特定するステップは、
    前記1つ以上のコンピューティングデバイスが、前記1つ以上のユーザデバイスの各々の前記1つ以上の能力および前記ステータスに少なくとも部分的に基づいて、前記表示デバイスとして潜在的に使用可能なものとして前記1つ以上のユーザデバイスをランク付けするステップを含む、請求項6または7に記載のコンピュータによって実現される方法。
  9. 前記1つ以上のコンピューティングデバイスが、前記複数のユーザデバイスのうちの少なくとも1つのユーザデバイスに関係する前記ステータスの変更を判定するステップと、
    前記1つ以上のコンピューティングデバイスが、前記ステータスの変更に少なくとも部分的に基づいて、前記第1のユーザデバイスとは異なるユーザデバイスを、前記オーディオデバイスとして選択するステップとをさらに含む、請求項6〜8のいずれか1項に記載のコンピュータによって実現される方法。
  10. 前記1つ以上のコンピューティングデバイスが、前記複数のユーザデバイスのうちの少なくとも1つのユーザデバイスに関係する前記ステータスの変更を判定するステップと、
    前記1つ以上のコンピューティングデバイスが、前記ステータスの変更に少なくとも部分的に基づいて、前記第2のユーザデバイスとは異なるユーザデバイスを、前記表示デバイスとして選択するステップとをさらに含む、請求項6〜9のいずれか1項に記載のコンピュータによって実現される方法。
  11. 前記1つ以上の能力は、オーディオ能力および表示能力のうちの少なくとも1つを示す、請求項6〜10のいずれか1項に記載のコンピュータによって実現される方法。
  12. 前記ステータスは、アクティブステータス、パッシブステータス、および現在使用中ステータスのうちの少なくとも1つを示す、請求項6〜11のいずれか1項に記載のコンピュータによって実現される方法。
  13. 前記1つ以上のコンピューティングデバイスは、前記オーディオデバイスおよび前記表示デバイスとは異なるデバイスである、請求項1〜12のいずれか1項に記載のコンピュータによって実現される方法。
  14. 前記1つ以上のコンピューティングデバイス、前記オーディオデバイス、および前記表示デバイスのうちの少なくとも1つは、ウェアラブルデバイスである、請求項1〜13のいずれか1項に記載のコンピュータによって実現される方法。
  15. メッセージコンテンツを管理するためのコンピューティングシステムであって、
    1つ以上のプロセッサと、
    命令を格納する1つ以上の有形の非一時的なコンピュータ読取可能な媒体とを備え、前記命令は、前記1つ以上のプロセッサによって実行されると、
    通信範囲内にある複数のユーザデバイスを検出することと、
    前記複数のユーザデバイスのうちの少なくとも第1のユーザデバイスをオーディオデバイスとして選択し、前記複数のユーザデバイスのうちの少なくとも第2のユーザデバイスを表示デバイスとして選択することと、
    オーディオコンテンツとビジュアルメディアコンテンツとを含むメッセージを受信することと、
    前記オーディオコンテンツを表わす第1のセットのデータを前記第1のユーザデバイスに送信することとを前記コンピューティングシステムに行わせ、前記第1のユーザデバイスは、前記第1のユーザデバイスのユーザに対して前記オーディオコンテンツを伝達するように構成されており、前記命令はさらに、
    前記ビジュアルメディアコンテンツを表わす第2のセットのデータを前記第2のユーザデバイスに送信することを前記コンピューティングシステムに行わせ、前記第2のユーザデバイスは、前記ユーザに対して前記ビジュアルメディアコンテンツを表示するように構成されている、コンピューティングシステム。
  16. 前記命令はさらに、
    前記第2のユーザデバイス上の前記ビジュアルメディアコンテンツを閲覧させるための通知を前記第1のユーザデバイスのユーザに提供することを、前記コンピューティングシステムに行わせる、請求項15に記載のコンピューティングシステム。
  17. 前記オーディオデバイスの前記ユーザに前記通知を提供するために、前記命令は、
    前記通知を表わすデータを前記第2のユーザデバイスに送信することを前記コンピューティングシステムに行わせ、前記第2のユーザデバイスは、前記ユーザに前記通知を提供するように構成されている、請求項16に記載のコンピューティングシステム。
  18. 前記第2のユーザデバイスは、ある時間の間、前記ビジュアルメディアコンテンツを表示するように構成されている、請求項15、16、または17に記載のコンピューティングシステム。
  19. 1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに動作を行わせるコンピュータ読取可能な命令を格納する1つ以上の有形の非一時的なコンピュータ読取可能な媒体であって、前記動作は、
    通信範囲内にある複数のユーザデバイスを検出することと、
    前記複数のユーザデバイスの少なくとも部分集合における各ユーザデバイスの1つ以上の能力およびステータスを判定することと、
    前記ユーザデバイスの各々の前記1つ以上の能力および前記ステータスに少なくとも部分的に基づいて、前記ユーザデバイスの部分集合のうちの少なくとも1つのユーザデバイスをオーディオデバイスとして選択し、前記ユーザデバイスの部分集合のうちの少なくとも1つのユーザデバイスを表示デバイスとして選択することと、
    オーディオコンテンツとビジュアルメディアコンテンツとを含むメッセージを受信することと、
    前記オーディオコンテンツを表わす第1のセットのデータを前記オーディオデバイスに送信することとを含み、前記オーディオデバイスは、前記オーディオデバイスのユーザに対して前記オーディオコンテンツを伝達するように構成されており、前記動作はさらに、
    前記ビジュアルメディアコンテンツを表わす第2のセットのデータを表示デバイスに送信することを含み、前記表示デバイスは、前記ユーザに対して前記ビジュアルメディアコンテンツを表示するように構成されており、前記動作はさらに、
    前記表示デバイス上の前記ビジュアルメディアコンテンツを閲覧させるための通知を前記オーディオデバイスの前記ユーザに提供することを含む、1つ以上の有形の非一時的なコンピュータ読取可能な媒体。
  20. 前記表示デバイスは、前記オーディオデバイスが前記オーディオコンテンツを伝達している際に、前記ビジュアルメディアコンテンツを表示するように構成されている、請求項19に記載の1つ以上の有形の非一時的なコンピュータ読取可能な媒体。
JP2019512270A 2016-09-16 2017-08-25 オーディオコンテンツおよびビジュアルコンテンツのための管理システム Active JP6731545B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/267,286 2016-09-16
US15/267,286 US10225218B2 (en) 2016-09-16 2016-09-16 Management system for audio and visual content
PCT/US2017/048595 WO2018052687A1 (en) 2016-09-16 2017-08-25 Management system for audio and visual content

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020116243A Division JP7005698B2 (ja) 2016-09-16 2020-07-06 オーディオコンテンツおよびビジュアルコンテンツのための管理システム

Publications (2)

Publication Number Publication Date
JP2019537086A true JP2019537086A (ja) 2019-12-19
JP6731545B2 JP6731545B2 (ja) 2020-07-29

Family

ID=59829477

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019512270A Active JP6731545B2 (ja) 2016-09-16 2017-08-25 オーディオコンテンツおよびビジュアルコンテンツのための管理システム
JP2020116243A Active JP7005698B2 (ja) 2016-09-16 2020-07-06 オーディオコンテンツおよびビジュアルコンテンツのための管理システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020116243A Active JP7005698B2 (ja) 2016-09-16 2020-07-06 オーディオコンテンツおよびビジュアルコンテンツのための管理システム

Country Status (7)

Country Link
US (2) US10225218B2 (ja)
EP (1) EP3513290B1 (ja)
JP (2) JP6731545B2 (ja)
KR (2) KR102338240B1 (ja)
CN (1) CN109804353A (ja)
DE (1) DE202017105256U1 (ja)
WO (1) WO2018052687A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11171900B1 (en) * 2018-03-14 2021-11-09 Whatsapp Llc Techniques for media endpoint configuration
EP3689011B1 (en) * 2018-12-18 2022-03-30 Rovi Guides, Inc. Systems and methods for device selection and modified output upon receiving notifications
CN109981904B (zh) * 2019-03-28 2021-06-22 维沃移动通信有限公司 一种音量控制方法及终端设备
US11269590B2 (en) 2019-06-10 2022-03-08 Microsoft Technology Licensing, Llc Audio presentation of conversation threads
US11367429B2 (en) 2019-06-10 2022-06-21 Microsoft Technology Licensing, Llc Road map for audio presentation of communications
CN111404802A (zh) * 2020-02-19 2020-07-10 华为技术有限公司 通知处理系统、方法以及电子设备
US20210314768A1 (en) * 2020-04-01 2021-10-07 Google Llc Bluetooth multipoint algorithm and private notifications
US20210390137A1 (en) * 2020-06-10 2021-12-16 Enel X North America, Inc. Techniques for determining machine operation using audio
US20220360838A1 (en) * 2021-05-04 2022-11-10 Harman International Industries, Incorporated Direct media connection of a rear-seat entertainment unit

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6985913B2 (en) 2000-12-28 2006-01-10 Casio Computer Co. Ltd. Electronic book data delivery apparatus, electronic book device and recording medium
JP4729171B2 (ja) 2000-12-28 2011-07-20 インテレクチュアル ベンチャーズ ホールディング 56 エルエルシー 電子書籍装置および音声再生システム
JP2002335502A (ja) 2001-05-08 2002-11-22 Canon Inc 映像音声情報通信システム、テレビ会議端末装置、携帯端末装置、テレビ会議通信情報転送方法及び記憶媒体
JP2006012056A (ja) 2004-06-29 2006-01-12 Canon Inc 携帯端末装置、電子メール読み上げ方法、制御プログラムおよび記憶媒体
JP2007173920A (ja) 2005-12-19 2007-07-05 Matsushita Electric Ind Co Ltd 通信端末装置、外部装置、通信システム及び情報通知方法
JP2008048036A (ja) 2006-08-11 2008-02-28 Sharp Corp 情報処理装置、情報処理方法及びテレビ電話
JP2011022817A (ja) 2009-07-16 2011-02-03 Aves Inc 広報受信装置
US9313311B2 (en) 2010-03-05 2016-04-12 Johnson Controls Technology Company Method for using a communication system connected to a plurality of mobile devices and prioritizing the mobile devices, communication system, and use thereof
US9717090B2 (en) 2010-12-31 2017-07-25 Microsoft Technology Licensing, Llc Providing notifications of call-related services
US9426229B2 (en) * 2012-06-29 2016-08-23 Nokia Technologies Oy Apparatus and method for selection of a device for content sharing operations
JP5977612B2 (ja) 2012-07-24 2016-08-24 シャープ株式会社 ソース機器、シンク機器、システム、プログラム及び記憶媒体
US10133546B2 (en) * 2013-03-14 2018-11-20 Amazon Technologies, Inc. Providing content on multiple devices
US20150350146A1 (en) 2014-05-29 2015-12-03 Apple Inc. Coordination of message alert presentations across devices based on device modes
CN105721920B (zh) * 2014-12-04 2019-04-02 中国移动通信集团公司 一种媒体在多设备上协同播放的方法、装置及终端

Also Published As

Publication number Publication date
JP2020173843A (ja) 2020-10-22
JP6731545B2 (ja) 2020-07-29
JP7005698B2 (ja) 2022-01-21
EP3513290A1 (en) 2019-07-24
US10225218B2 (en) 2019-03-05
US20180083899A1 (en) 2018-03-22
US11303591B2 (en) 2022-04-12
KR20190042082A (ko) 2019-04-23
DE202017105256U1 (de) 2017-12-07
KR102233806B1 (ko) 2021-03-30
KR102338240B1 (ko) 2021-12-10
KR20210035345A (ko) 2021-03-31
WO2018052687A1 (en) 2018-03-22
CN109804353A (zh) 2019-05-24
EP3513290B1 (en) 2022-11-30
US20190158442A1 (en) 2019-05-23

Similar Documents

Publication Publication Date Title
JP7005698B2 (ja) オーディオコンテンツおよびビジュアルコンテンツのための管理システム
RU2641711C1 (ru) Предоставление своевременных рекомендаций относительно медиа
US10019220B2 (en) Control method and apparatus thereof
WO2014014927A2 (en) System and method for delivering alerts
JP2016062239A (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
US20180286381A1 (en) Information processing method
CN106658064B (zh) 虚拟礼物展示方法及装置
CN113923499B (zh) 显示控制方法、装置、设备及存储介质
CN111596995B (zh) 展示方法、装置和电子设备
CN107278289B (zh) 基于系统能力的用户体验的动态调节
WO2015198783A1 (ja) 情報処理装置、情報処理方法及びプログラム
EP3535639B1 (en) Controlling display of content using an external display device
CN107273218B (zh) 经由对接接口的通知生成
WO2019005217A1 (en) METHODS, SYSTEMS AND MEDIA FOR PRESENTING NOTIFICATIONS ON ASSOCIATED DEVICES
US10356188B2 (en) Dynamic update of tips on a device
CA2938042C (en) Selecting a communication mode
KR20230097000A (ko) 애플리케이션 계층 렌더링의 지능형 관리
EP3128424A1 (en) Electronic device and storage medium
KR101641610B1 (ko) 자료 송수신 방법 및 자료 송수신 디바이스
EP2860953A1 (en) Sharing graphical content among mobile computer devices in a communication network
Hindman et al. A DESIGNER'S GUIDE TO THE INTERNET OF WEARABLE THINGS
EP2899948A1 (en) Method for managing data and electronic device thereof
CN117156116A (zh) 图像传输方法、装置、设备、系统及介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190508

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200706

R150 Certificate of patent or registration of utility model

Ref document number: 6731545

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250