JP2017532645A - 通話中のリアルタイム共有 - Google Patents

通話中のリアルタイム共有 Download PDF

Info

Publication number
JP2017532645A
JP2017532645A JP2017511257A JP2017511257A JP2017532645A JP 2017532645 A JP2017532645 A JP 2017532645A JP 2017511257 A JP2017511257 A JP 2017511257A JP 2017511257 A JP2017511257 A JP 2017511257A JP 2017532645 A JP2017532645 A JP 2017532645A
Authority
JP
Japan
Prior art keywords
content
shared
real
remote
party
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017511257A
Other languages
English (en)
Other versions
JP2017532645A5 (ja
JP6700254B2 (ja
Inventor
ウールジー,ケリー
ハマークイスト,ピーター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2017532645A publication Critical patent/JP2017532645A/ja
Publication of JP2017532645A5 publication Critical patent/JP2017532645A5/ja
Application granted granted Critical
Publication of JP6700254B2 publication Critical patent/JP6700254B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/401Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046Interoperability with other network applications or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/54Store-and-forward switching systems 
    • H04L12/56Packet switching systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12Messaging; Mailboxes; Announcements
    • H04W4/14Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/16Communication-related supplementary services, e.g. call-transfer or call-hold

Abstract

スマートフォン、タブレット、又はパーソナルコンピュータ(PC)などのコンピューティングデバイス上で動作するリアルタイム共有コンポーネントは、ローカル共有当事者が通話中に遠隔当事者とコンテンツを共有できるように構成される。リアルタイム共有コンポーネントは、共有コンテンツが、共有のペーシングを制御し、意図的に共有されたコンテンツのみを遠隔当事者が見ることができ、その他のコンテンツは見られないようにプライバシを維持し、共有コンテンツを遠隔当事者が保存できる方法及び時期を制御し、共有コンテンツをズーム及びパンし、グラフィックスによる強調表示及び/又はテキストによる注釈付けを行えるようにしながら、音声ナレーションにより共有当事者にとって使用可能なコンテンツを選択し、遠隔当事者と共有できる、キュレーションエキスペリエンスになるようにするツール、制御部、及び機能を表出する。【選択図】 図9

Description

[0001] 人はしばしば電話中に個人情報を共有することを希望し、往々にして自分の電話又はコンピュータ上にあるコンテンツを通話中に効果的に共有することができる。伝統的なスマートフォンは、個人が電子メール、テキスト通信、ソーシャルネットワーク又はクラウドストレージシステムへのポストなどにより写真、ビデオ、又は文書を送信する非同期共有を実現することができる。このような非同期共有は多くのアプリケーションで申し分なく機能することができ、コンテンツ共有を可能にするが、ユーザエキスペリエンスは依然として幾分一貫性を欠き脈絡のないものになるおそれがある。
[0002] この背景技術は、以下に続く概要及び詳細な説明に関する簡潔な情況を紹介するために提供されている。この背景技術は、請求されている主題の範囲を決定する際の支援となるためのものではなく、請求されている主題を上記で提示された不利点又は問題の一部又は全部を解決する実現例に限定するものと見なされるためのものでもない。
[0003] スマートフォン、タブレット、又はパーソナルコンピュータ(PC)などのコンピューティングデバイス上で動作するリアルタイム共有コンポーネントは、ローカル共有当事者が通話中に遠隔当事者とコンテンツを共有できるように構成される。リアルタイム共有コンポーネントは、共有コンテンツが、共有のペーシング(pacing)を制御し、(意図的に共有されたコンテンツのみを遠隔当事者が見ることができ、その他のコンテンツは見られないように)プライバシを維持し、共有コンテンツを遠隔当事者が保存できる方法及び時期を制御し、共有コンテンツをズーム及びパンし、グラフィックスによる強調表示及び/又はテキストによる注釈付けを行えるようにしながら、音声ナレーションにより共有当事者にとって使用可能なコンテンツを選択し、遠隔当事者と共有できる、キュレーションされたエキスペリエンスになるようにするツール、制御部、及び機能を表出する。
[0004] 様々な例示的な例では、共有コンテンツは、写真、文書、ファイル、ビデオ、オーディオ、アプリケーション、位置及び連絡先情報など、共有当事者の装置上に記憶されている(及び/又は遠隔記憶装置からその装置にとって使用可能な)種々のタイプのコンテンツを含むことができる。また、共有コンテンツは、写真、ビデオ、オーディオなど、生で取得したコンテンツも含むことができる。遠隔当事者の装置がリアルタイム共有コンポーネントを備えて構成されない場合、クライアントアプリケーションをインストールする必要なしに、外部ウェブサービスを使用して、従来のウェブブラウザを介して遠隔装置上にキュレーション共有体験を提供することができる。
[0005] 有利なことに、その共有が、複数個の共有コンテンツ間の円滑な移行によりコンテンツ提示がまとまりのある系統立った専門家的なものに見える、遠隔当事者のためのキュレーションエキスペリエンスになるようにすることにより、リアルタイム共有コンポーネントは、複数のアプリケーションを起動してそれらの間で切り換える必要なしに通話エキスペリエンス内での共有を容易にしながら、共有当事者を積極的に関与させるものである。
[0006] この概要は、以下の詳細な説明に更に記載されている諸概念の選択を簡略形で紹介するために提供されている。この概要は、請求されている主題の重要な特徴又は本質的な特徴を識別するためのものではなく、請求されている主題の範囲を決定する際に手助けとなるためのものでもない。更に、請求されている主題は、本明細書のいずれかの部分で言及されている不利点の一部又は全部を解決する実現例に限定されない。上記の主題は、コンピュータ制御の装置、コンピュータプロセス、コンピューティングシステムとして、又は1つ以上のコンピュータ可読媒体などの製品として実現可能であることは認識されるであろう。上記及び様々なその他の特徴は、以下の詳細な説明を読み、関連の図面を検討することにより明白なものになるであろう。
[0007]通信能力を有する装置がネットワークにより対話する例示的な環境を示している。 [0008]装置間の例示的な通信を示している。 [0009]複数の装置ユーザ間の例示的な共有を示している。 [0010]アプリケーション層、オペレーティングシステム(OS)層、及びハードウェア層を含む例示的な層別アーキテクチャを示している。 [0011]共有可能コンテンツの例示的なタクソノミーを示している。 [0012]ユーザとリアルタイム共有コンポーネントとの間の例示的なインターフェースを示している。 [0012]ユーザとリアルタイム共有コンポーネントとの間の例示的なインターフェースを示している。 [0012]ユーザとリアルタイム共有コンポーネントとの間の例示的なインターフェースを示している。 [0013]リアルタイム共有コンポーネントへの例示的な入力並びにリアルタイム共有コンポーネントによってサポート可能な特徴及び機能の例示的なタクソノミーを示している。 [0014]リアルタイム共有コンポーネントが装置上にインスタンス化可能なデジタルアシスタントと対話する例示的な配置を示している。 [0015]通話中に共有セッション内の様々なポイントで装置上に表示される例示的なユーザインターフェース(UI)の画面キャプチャを示している。 [0015]通話中に共有セッション内の様々なポイントで装置上に表示される例示的なユーザインターフェース(UI)の画面キャプチャを示している。 [0015]通話中に共有セッション内の様々なポイントで装置上に表示される例示的なユーザインターフェース(UI)の画面キャプチャを示している。 [0015]通話中に共有セッション内の様々なポイントで装置上に表示される例示的なユーザインターフェース(UI)の画面キャプチャを示している。 [0015]通話中に共有セッション内の様々なポイントで装置上に表示される例示的なユーザインターフェース(UI)の画面キャプチャを示している。 [0015]通話中に共有セッション内の様々なポイントで装置上に表示される例示的なユーザインターフェース(UI)の画面キャプチャを示している。 [0015]通話中に共有セッション内の様々なポイントで装置上に表示される例示的なユーザインターフェース(UI)の画面キャプチャを示している。 [0015]通話中に共有セッション内の様々なポイントで装置上に表示される例示的なユーザインターフェース(UI)の画面キャプチャを示している。 [0015]通話中に共有セッション内の様々なポイントで装置上に表示される例示的なユーザインターフェース(UI)の画面キャプチャを示している。 [0015]通話中に共有セッション内の様々なポイントで装置上に表示される例示的なユーザインターフェース(UI)の画面キャプチャを示している。 [0015]通話中に共有セッション内の様々なポイントで装置上に表示される例示的なユーザインターフェース(UI)の画面キャプチャを示している。 [0015]通話中に共有セッション内の様々なポイントで装置上に表示される例示的なユーザインターフェース(UI)の画面キャプチャを示している。 [0015]通話中に共有セッション内の様々なポイントで装置上に表示される例示的なユーザインターフェース(UI)の画面キャプチャを示している。 [0015]通話中に共有セッション内の様々なポイントで装置上に表示される例示的なユーザインターフェース(UI)の画面キャプチャを示している。 [0015]通話中に共有セッション内の様々なポイントで装置上に表示される例示的なユーザインターフェース(UI)の画面キャプチャを示している。 [0015]通話中に共有セッション内の様々なポイントで装置上に表示される例示的なユーザインターフェース(UI)の画面キャプチャを示している。 [0015]通話中に共有セッション内の様々なポイントで装置上に表示される例示的なユーザインターフェース(UI)の画面キャプチャを示している。 [0015]通話中に共有セッション内の様々なポイントで装置上に表示される例示的なユーザインターフェース(UI)の画面キャプチャを示している。 [0015]通話中に共有セッション内の様々なポイントで装置上に表示される例示的なユーザインターフェース(UI)の画面キャプチャを示している。 [0015]通話中に共有セッション内の様々なポイントで装置上に表示される例示的なユーザインターフェース(UI)の画面キャプチャを示している。 [0016]それぞれの装置上にインスタンス化されたリアルタイム共有コンポーネント間の例示的な対話を示している。 [0017]1つの装置上のリアルタイム共有コンポーネントと、遠隔サービスプロバイダと、他の装置上のクライアントコンポーネントとの間の例示的な対話を示している。 [0018]共有コンテンツへのリンクを提供する、装置によって表出された例示的なUIの画面キャプチャを示している。 [0019]本発明の通話中のリアルタイム共有を実現する場合に実行可能な例示的な方法を示している。 [0019]本発明の通話中のリアルタイム共有を実現する時に実行可能な例示的な方法を示している。 [0020]本発明の通話中のリアルタイム共有を実現するために部分的に使用可能なパーソナルコンピュータ(PC)などの例示的なコンピュータシステムの簡略ブロック図である。 [0021]本発明の通話中のリアルタイム共有を実現するために部分的に使用可能な例示的な装置のブロック図を示している。 [0022]例示的なモバイルデバイスのブロック図である。 [0023]例示的なマルチメディアコンソールのブロック図である。
[0024] 図面内では同様の参照番号は同様の要素を示している。他に指示がない限り、諸要素は一定の尺度で描かれているわけではない。図面に表示されている特定のUIが特定の実現例の必要に応じて図示されているものから変動しうることを強調しておく。UIは図面ではポートレートモードで示されているが、本発明の配置はランドスケープモードを使用して実現することもできる。
[0025] 従来の通話中の非同期共有中に、スマートフォン、パーソナルコンピュータ(PC)、又はその他のコンピューティングプラットフォームを使用すると、しばしば、共有当事者と共有コンテンツを受信する遠隔当事者のどちらにとっても一貫性を欠き脈絡のないエキスペリエンスになるおそれがある。遠隔当事者は、コンテンツについて述べている時に送信側とは異なるペースでフォトスライドショーなどの共有コンテンツを見るおそれがある。また、送信側は、典型的に、強調表示すべき又は遠隔当事者の注意を引きつけたいコンテンツの特定の領域を引き出すことができない。混乱が発生するおそれがあり、送信側は、遠隔当事者が通話内の特定の瞬間に何を閲覧しているかを絶えずチェックして確認しなければならない。この問題は、管理すべき複数の共有コンテンツ項目がある場合に特に悪化するおそれがある。また、遠隔当事者の装置上に保存するためにコンテンツが使用可能である場合、共有当事者はそのコンテンツを制御できなくなるおそれもある。
[0026] 本発明の通話中のリアルタイム共有は、同じ物理的位置で共有が実行される時にそのエキスペリエンスをミラーリングする通話中のユーザエキスペリエンスを提供し、即ち、リアルタイム共有コンポーネントは、共有するためのものではないコンテンツが遠隔当事者によって見られないように保護し、共有コンテンツが遠隔当事者によって保存可能であるかどうかについてユーザ制御を可能にするので、共有当事者は、共有コンテンツ提示のペースを制御し、コンテンツ内の特定の領域を強調表示し、プライバシを制御することができる。
[0027] 次に図面を参照すると、図1は、通信ネットワーク115により通信するそれぞれの装置110を様々なユーザ105が使用する例示的な通信環境100を示している。装置110は、音声及びビデオによる通話及びメッセージ通信などの様々な通信能力を提供し、典型的に、様々なその他の特徴に加えて、インターネットブラウジング及びマルチメディア(例えば、音楽、ビデオなど)消費などのデータを消費するアプリケーションをサポートする。装置110は、例えば、音声及び/又はマルチメディア(即ち、ビデオ)通話を行い受信し、メッセージ通信(例えば、テキスト通信)に従事し、アプリケーションを使用し、データを使用するサービスにアクセスし、ワールドワイドウェブをブラウズするなどのためにユーザがしばしば使用する、ユーザ機器、モバイルフォン、セルフォン、フィーチャーフォン、タブレットコンピュータ、及びスマートフォンを含むことができる。しかしながら、通信能力を備えて構成され、通信ネットワーク115に接続できる限り、代替タイプの電子装置も通信環境100内で使用可能であると構想されている。このような代替装置は様々に、ハンドヘルドコンピューティングデバイス、PDA(パーソナルデジタルアシスタント)、ポータブルメディアプレーヤ、ファブレット装置(即ち、スマートフォン/タブレット複合装置)、ウェアラブルコンピュータ、GPS(全地球測位システム)システムなどのナビゲーション装置、ラップトップPC(パーソナルコンピュータ)、デスクトップコンピュータ、マルチメディアコンソール、ゲーミングシステム、ネットワーク化及び/又は遠隔制御カメラ(例えば、室内及び自宅監視カメラ、装着式カメラ、ウェブカム、PC、タブレット、及びその他のコンピューティングデバイスとともに使用される外部カメラ、車両内の遠隔カメラなど)などを含む。以下に続く考察では、「装置」という用語の使用は、通信能力を備えて構成され、通信ネットワーク115への接続が可能なすべての装置を対象として含むためのものである。
[0028] 環境100内の様々な装置110は、種々の特徴、機能性、及び能力(ここでは一般に「特徴」と呼ばれる)をサポートすることができる。所与の装置上でサポートされる特徴の一部はその他の装置上でサポートされるものと同様のものにすることができ、その他の特徴は所与の装置に固有ものである可能性がある。様々な装置110上でサポートされる特徴間の重複及び/又は特殊性の程度は、実現例により変動する可能性がある。例えば、幾つかの装置110は接触制御、ジェスチャ認識、及びボイスコマンドをサポートすることができ、その他の装置はより制限されたUIを使用可能にすることができる。幾つかの装置はビデオ消費及びインターネットブラウジングをサポートすることができ、その他の装置はより制限されたメディア処理及びネットワークインターフェースの特徴をサポートすることができる。
[0029] 図示の通り、装置110は、様々なユーザエキスペリエンスを実現するために、通信ネットワーク115にアクセスすることができる。通信ネットワークは、セルラーネットワーク、衛星ネットワーク、Wi−Fi及びイーサネットネットワークなどのIP(インターネットプロトコル)ネットワーク、公衆交換電話網(PSTN)、及び/又はBluetoothネットワークなどの短距離ネットワークを含む、様々な組み合わせ又は部分組み合わせで、様々なネットワークタイプ及びネットワークインフラストラクチャのいずれかを含むことができる。ネットワークインフラストラクチャは、例えば、移動体通信事業者、企業、インターネットサービスプロバイダ(ISP)、電話サービスプロバイダ、データサービスプロバイダなどによってサポートすることができる。モバイルデバイス110が1つ以上のコンテンツプロバイダ125によって提供されるコンテンツにアクセスでき、場合によってはサービスプロバイダ130にアクセスできるように、通信ネットワーク115は典型的にインターネット120への接続をサポートするインターフェースを含む。
[0030] 装置110及び通信ネットワーク115は装置間通信を可能にするように構成することができる。図2に示されているように、このような装置間通信200は、例えば、音声通話205、メッセージング会話210、及びビデオ通話215を含むことができる。装置間通信200のためのサポートは、装置110上で実行される様々なアプリケーションを使用して提供することができる。
[0031] 通信200は、本発明の通話中のリアルタイム共有をサポートするために使用することができる。この共有は、ローカル共有当事者1051と単一の遠隔当事者105Nとの間又は図3に示されているように電話会議シナリオにおけるローカル共有当事者と複数の遠隔当事者との間で実現することができる。場合によっては、遠隔当事者のうちの1人以上はこのローカル当事者及び/又は他の当事者との共有を実現することもできる。また、共有は、2つ以上のネットワーク接続を使用して実現することもできる。例えば、通話及び共有セッションに関連するオーディオは部分的にPSTN又は移動体通信事業者ネットワークにより伝達することができ、ピクチャ、ビデオなどの共有コンテンツはWi−Fi又はその他のネットワークにより伝達することができる。
[0032] 本発明の通話中のリアルタイム共有は、所与の装置上でインスタンス化されたコンポーネントを使用して実現することができる。加えて、後述するように、リアルタイム共有は、遠隔サービスプロバイダ(例えば、図1のサービスプロバイダ130)によってサポートされるウェブサービスを使用して全部又は一部を実現することもできる。図4は、通信アプリケーション及びその他のコンポーネントをサポートする例示的な層別アーキテクチャ400を示している。アーキテクチャ400は典型的にソフトウェアで実現されるが、場合によっては、ソフトウェア、ファームウェア、及び/又はハードウェアの組み合わせも使用することができる。アーキテクチャ400は複数の層に配置され、アプリケーション層405、OS(オペレーティングシステム)層410、及びハードウェア層415を含む。ハードウェア層415は、装置110によって使用される様々なハードウェア(例えば、入力及び出力装置、ネットワーク化及び無線ハードウェアなど)の抽象概念をその上の層に提供する。この例示的な例では、ハードウェア層は、マイクロフォン420と、例えば、有線又は無線ヘッドセット/イヤホン、外部スピーカ/装置などを含むことができるオーディオエンドポイント425と、装置のスピーカーフォン428とをサポートする。
[0033] この例示的な例のアプリケーション層405は、様々なアプリケーション(アプリ)430(例えば、ウェブブラウザ、地図アプリケーション、電子メールアプリケーションなど)並びに電話アプリ435、メッセージ通信アプリ440、及びSkype(登録商標)などのビデオ通話アプリ445をサポートする。これらのアプリケーションはしばしば、ローカルで実行中のコードを使用して実現される。しかしながら、場合によっては、これらのアプリケーションは、線460によって示されるようにサービスプロバイダ130又はその他のクラウドベースのリソースによってサポートされるものなど、遠隔サーバ又はその他のコンピューティングプラットフォームによって提供されるサービス及び/又は遠隔コード実行を頼りにする場合がある。アプリ430、435、440、及び445はここではアプリケーション層405にインスタンス化されたコンポーネントとして示されているが、所与のアプリケーションによって提供される機能性は、OS層又はハードウェア層のいずれかでサポートされるコンポーネントを使用して全部又は一部を実現することができる。
[0034] OS層410は、リアルタイム共有コンポーネント450及び様々なその他のOSコンポーネント455をサポートする。場合によっては、リアルタイム共有コンポーネント450はサービスプロバイダと対話することができる。即ち、幾つかの実現例のリアルタイム共有コンポーネント450は、サービスプロバイダ130でサポートされるか又はその他の遠隔リソースを使用してサポートされる遠隔コード実行を部分的に使用するか又は完全に使用することができる。加えて、これは、本明細書に記載されている様々な特徴及び機能を実現するために必要に応じて、その他のOSコンポーネント455(及び/又はアーキテクチャ400の他の層にインスタンス化されたその他のコンポーネント)を使用するか及び/又はそれらと対話することができる。リアルタイム共有コンポーネント450は代替的に、点線の楕円形を使用して図4に示されているように、OS層とアプリケーション層の両方にインスタンス化された要素を使用してインスタンス化するか、又は1つのアプリケーションとして構成することができる。また、リアルタイム共有コンポーネント450によって提供される機能性は、アプリケーション層又はハードウェア層のいずれかでサポートされるコンポーネントを使用して全部又は一部を実現できることも認識されるであろう。
[0035] 本発明のリアルタイム共有を使用して、様々なタイプのコンテンツを共有することができる。図5は共有可能コンテンツ500の例示的なタクソノミーを示している。供給可能コンテンツは装置上にローカルに記憶することができるか又は装置から離れて遠隔に記憶することができるが依然として装置にとってアクセス可能であることは注目に値する。例えば、共有可能コンテンツはクラウドストアに記憶することができ、ローカルエリアネットワークなどのネットワーク上で使用可能にすることができ、他の装置への接続を使用してアクセスすることなどもできる。
[0036] 図5に示されているように、共有可能コンテンツ500は、既存の/前に取得したコンテンツ505(例えば、市販のコンテンツ及び/又はユーザ生成コンテンツ(UGC)など)並びにライブイベント(例えば、コンサート、講演、スポーツイベント、オーディオ解説/口述、ビデオカタログ(ビデオブログ)など)に関連するコンテンツ510の両方を含むことができる。図5に示されている共有可能コンテンツは、例示的であり、網羅するためのものではない。使用されるコンテンツのタイプは、特定の実現例の必要に応じて変動する可能性がある。
[0037] 既存の共有可能コンテンツの例示的な例は、画像515、オーディオ520、ビデオ525、マルチメディア530、ファイル535、アプリケーション540、及び共有当事者の位置及び/又は連絡先情報などのその他の共有可能コンテンツ545を含む。
[0038] ユーザは典型的に、所与の装置110によってサポートされる特徴及び機能性次第で、幾つかのやり方でリアルタイム共有コンポーネント450(図4)と対話することができる。例えば、図6に示されているように、リアルタイム共有コンポーネント450は、ユーザ105が装置110上でのユーザエキスペリエンスのリアルタイム共有を支持して物理的対話610を使用できるようにする有形のユーザインターフェース605を表出することができる。このような物理的対話は、タッチスクリーン上のタップ、フリック、ドラッグなどのようなタッチベースの入力を使用して、ボタン、メニュー、キーボードなどの物理的及び/又は仮想制御部の操作を含むことができる。幾つかの実現例では、リアルタイム共有コンポーネントは、それによりユーザが音声710を使用して装置110に様々な入力を提供するための図7に示されている自然言語ユーザインターフェース705又は代替的にボイスコマンドベースのユーザインターフェース(図示せず)を表出することができる。その他の実現例では、リアルタイム共有コンポーネント450は、それによりユーザ105がジェスチャ810を使用して装置110に入力を提供するための図8に示されているジェスチャユーザインターフェース805を表出することができる。場合によっては、ユーザインターフェースの組み合わせを使用することができ、その場合、ユーザは、例えば、音声と物理的入力の両方を使用して、リアルタイム共有コンポーネント450及び装置110と対話することができることは注目に値する。ユーザのジェスチャは、光学的感知、接触感知、近接感知などの様々な技法を使用して感知することができる。
[0039] 図9は、典型的にリアルタイム共有コンポーネント450によってサポート可能な機能900の例示的なタクソノミーを示している。リアルタイム共有コンポーネント450への入力は典型的にユーザ入力905(このようなユーザ入力は、場合によっては、ローカル当事者及び遠隔当事者の一方又は両方から所与の共有セッションへの入力を含むことができる)、内部ソースからのデータ910、及び外部ソースからのデータ915を含むことができる。例えば、内部ソースからのデータ910は、装置110上のGPS(全地球測位システム)コンポーネント又は何らかのその他の位置認識コンポーネントによって報告される装置110の現行ジオロケーションを含むことができる。外部ソースによるデータ915は、例えば、サービスプロバイダ130(図1)などの外部システム、データベース、サービスなどによって提供されるデータを含む。様々な入力を単独で又は様々な組み合わせで使用して、リアルタイム共有コンポーネント450が動作する時に文脈データ920を使用できるようにすることができる。文脈データは、例えば、時間/日付、ユーザの位置、言語、スケジュール、装置にインストールされているアプリケーション、ユーザの好み、ユーザの挙動(このような挙動はユーザへの通知及びユーザの同意によりモニター/追跡される)、記憶されている連絡先(場合によっては、外部ソーシャルネットワーキングサービスによって維持されているものなどのローカルユーザ又は遠隔ユーザのソーシャルグラフへのリンクを含む)、通話履歴、メッセージ通信履歴、閲覧履歴、装置タイプ、装置の能力、通信ネットワークタイプ及び/又はそこで提供される特徴/機能性、モバイルデータプランの制約/制限、通信に対するその他の当事者に関連するデータ(例えば、当事者のスケジュール、好みなど)などを含むことができる。リアルタイム共有コンポーネントによる文脈使用の追加の例示的な例は以下に提供する。
[0040] 図示の通り、機能900は例示的に、(参照番号925によって示されているように)ナレーションによりキュレーションユーザエキスペリエンスをサポートするリアルタイム共有モードを実現することを含む。(図3に示され、付随テキストに記載されているように)このようなキュレーションユーザエキスペリエンスは単一の遠隔当事者及び/又は複数の遠隔当事者により実現することができ、場合によって、共有は双方向に行うことができる。また、機能900は、様々なUIを表面化して特定の項目を共有のために選択できるようにすること(930)と、共有準備を共有提示から分離し、共有コンテンツが遠隔当事者によってどのように保存されるかを制御することにより、共有当事者のプライバシを維持すること(935)と、共有のペース及び提示を制御するためのツールをユーザに提供することであって、後述するようにこのような制御を遠隔当事者に選択的に渡すことができること(940)と、強調表示、コメント、ズーム、パン、注釈付け、キュレーション、アニメーション化、着色、シェーディング、追加のコンテンツ又はエキスペリエンスへのリンクの追加、或いはテレストレーション(telestrating)のためのツールを提供すること(945)と、その他の特徴及び機能性を提供しサポートすること(950)も含むことができる。機能900のリストは網羅するためのものではなく、本発明の通話中のリアルタイム共有の特定の実現例のために必要に応じてリアルタイム共有コンポーネントによってその他の機能を提供することができる。
[0041] 幾つかの実現例では、リアルタイム共有コンポーネント450は、装置110上で動作可能なパーソナルデジタルアシスタントと相互運用するように構成することができる。図10に示されているように、パーソナルデジタルアシスタント1010は、ユーザと対話すること1015(例えば、自然言語ユーザインターフェース及び/又はその他のユーザインターフェースによる)、タスクを実行すること1020(例えば、ユーザのカレンダに予定を書き留めること、メッセージ及び電子メールを送信することなど)、サービスを提供すること1025(例えば、ユーザからの質問に答えること、宛先への方向をマッピングすることなど)、情報を収集すること1030(例えば、書籍又は映画についてユーザから要求された情報を見つけること、最も近いイタリアンレストランの位置を特定することなど)、装置を操作すること1035(例えば、好みを設定すること、画面の明るさを調節すること、Wi−Fi及びBluetoothなどの無線接続をオン及びオフにすることなど)、及び様々なその他の機能を実行すること1040を例示的に含む、様々な機能1000を表出することができる。機能1000のリストは網羅するためのものではなく、本発明の通話中のリアルタイム共有の特定の実現例のために必要に応じてデジタルアシスタントによってその他の機能を提供することができる。
[0042] 図9に示されている配置と同様に、デジタルアシスタント1010への入力は、ユーザ入力905、内部ソースからのデータ910、外部ソースからのデータ915、及び文脈データ920を含むことができる。
[0043] 図11〜図30は、通話中に共有セッション内の様々なポイントで装置上に表示される例示的なリアルタイム共有ユーザインターフェース(UI)の画面キャプチャを示している。図11は、遠隔当事者に対してローカル共有当事者によって通話が開始された時に音声通話電話アプリ435(図4)によって表出することができるUI1100を示している。この特定の例では、通話及び共有は単一の遠隔当事者によって実現される。しかしながら、この例は例示的なものであり、本発明のリアルタイム共有を使用して複数当事者(即ち、電話会議)も実現可能であることは認識できるであろう。図面に示されているすべてのUIは例示的なものであり、情報の提示、表出される特徴及び制御部、並びにUIの全体的なルックアンドフィールは実現例によって示されているものから変動する可能性があることは注目に値する。図11に示されているように、UI1100は、被呼側(即ち、ここでは「ドン・リード」という名前の遠隔当事者)のピクチャと名前、呼び出された番号、及びUIの最下部の様々な通話制御部1105を示している。
[0044] ユーザ(即ち、ローカル共有当事者)が、ここではタッチスクリーン上のタッチ1115又はその他の対話を使用して、電話アプリのUI上に表出されている共有ボタン1110を選択すると、ユーザが遠隔当事者とのリアルタイム共有セッションを開始できるように図12に示されているように共有UI1200が表面化される。リアルタイム共有コンポーネント450(図4)は典型的に、ユーザがリアルタイム共有UIと対話しながら遠隔当事者と会話し続けることができるように、スピーカーフォンモードで動作するように装置を自動的に切り換える。
[0045] UI1200は、タッチによってユーザが呼び出すことができる幾つかの共有オプション1205を提供する。この例では、ユーザはタッチ1215を使用して、様々なその他のタイプのコンテンツを共有するための様々なオプションの中からピクチャ及びビデオオプション1220を選択する。ユーザの選択アクションにより、遠隔当事者と共有するために使用可能なアルバムコンテンツの垂直にスクロール可能なウィンドウ1305を提供する図13のUI1300が表面化され、ユーザはタッチ1315を使用して「ルカ・サッカー」という名前のアルバムコンテンツ1310を選択している。代替実現例では、ユーザはパーソナルデジタルアシスタント1010(図10)又はローカル装置にとって使用可能な同様のユーティリティを呼び出して、共有するためのコンテンツを選択することができる。従って、パーソナルデジタルアシスタントへの自然言語インターフェースを使用して、ユーザは「先週末のハイキングの写真とビデオを探して」又は「父とのピクチャを見せて」又は「先月メキシコで取った自分と妻とのピクチャを見せて」と言うことができ、パーソナルデジタルアシスタント1010は、そのステートメントを解析して適切なコンテンツを突き止めて表面化することができる。
[0046] 図14のUI1400に示されているように、ユーザ選択に応答して、アルバムは、写真とビデオの両方を含む個々の共有可能コンテンツのサムネイル1410を表示する垂直にスクロール可能なウィンドウ1405として開く(例示を明瞭にするために実際のサムネイル画像は図14には示されていない)。ユーザは、例えば、適切な対応するサムネイル1410をタッチすることにより、共有するためにアルバム内の1つ以上のコンテンツを選択することができる。この例では、ユーザは、特定のサブセットのコンテンツを選択せず、共有ボタン1420上のタッチ1415を使用してアルバム内のすべてのコンテンツを共有している。このアクションは、テキスト列確認1505と、それぞれコンテンツを共有するか又はキャンセルするためのボタン1510及び1515を表出するUI1500を表示させるものである。この例では、ユーザは、タッチ1520を使用して、通話中に遠隔当事者とアルバムのコンテンツをすべて共有している。
[0047] この時点で、選択されたコンテンツは遠隔ユーザに提示するための前段階状態であり、ユーザの用意ができるまでいかなるコンテンツも遠隔当事者と共有されない。図16のUI1600に示されているように、ユーザの装置上の共有画面1605は「グレイアウト状態」になり、選択されたコンテンツのいずれも現在、遠隔当事者と共有されていないことを示す。ユーザがキュレーション共有エキスペリエンスを開始する用意ができると、図17のUI1700に示されているように、コンテンツサムネイル1710上のタッチ1705により共有画面が明るくなり、その選択されたコンテンツが遠隔ユーザと共有される。
[0048] 図18は、テキスト列1815(「共有」)とともにUI上のウィンドウ1810内に現在共有されているコンテンツ1805を表示して、表示されているコンテンツが共有中であることをユーザに示すUI1800を示している。リアルタイム共有コンポーネント450(図4)により、ユーザは共有のペーシングについて完全な制御を行使することができる。この例では、UIは、ユーザが遠隔ユーザに対してアルバム内の他のコンテンツを提示したいと希望する時に表示ウィンドウ1810内に示されているコンテンツをユーザが水平にスクロールできるように構成される。上記のように、ユーザは、共有中に音声ナレーションを提供し続けることができる。また、ユーザは、共有エキスペリエンスを強化するために図9に付随するテキストに記載されている様々なツールも使用することができる。例えば、ユーザは、特定の共有セッションに名前を付けられるようにするツールを使用し、次に共有コンテンツの提示にタイトルページを付けるためのその他のツールを使用したいと希望することができる。また、ユーザは、例えば、共有写真にタグ付けされた人の名前及び/又は共有コンテンツに文脈上関連する可能性のある他のコンテンツ及び/又はエキスペリエンスへのリンクを含む可能性のあるアニメーション化した終了「クレジット」を制作するためのツールを使用することもできる。
[0049] 図19のUI1900の一連の画面キャプチャに示されているように、ユーザ105は、タッチアンドドラッグ操作(挿入図面1902に示されている通り)を使用して、アルバム内の次のコンテンツ1915(即ち、30の2項目)をアクティブ共有ウィンドウ1910内にスクロールすることができる。この例では、次のコンテンツは56秒のビデオクリップである。このビデオクリップは、ユーザが表出されている再生ボタン1920を押した時に開始することができる。図20のUI2000に示されているように、ユーザが通話中に遠隔ユーザとのキュレーションリアルタイム共有セッションの一部としてビデオクリップをスクラブし、休止し、再生を再開するなどを行えるように、ビデオトランスポート制御部2005を表出することができる。
[0050] リアルタイム共有コンポーネントは様々なコンテンツ制御特徴を表面化することができる。ユーザが遠隔当事者のアバター又は名前の上でタッチ2010を使用すると、図21のUI2100に例示的に示されているようにコンテンツ制御オプションが提供される。ここでは、遠隔ユーザが現在共有されているコンテンツを遠隔ユーザの装置に保存できるかどうかを尋ねるテキスト列2105がUI上に表示される。それぞれ遠隔ユーザによるこのような保存を許可するか又は阻止するためのボタン2110及び2115が表示される。ここでは、ユーザはタッチ2120を使用して、遠隔ユーザが現在共有されているコンテンツ(即ち、ビデオクリップ)のコピーを保存するのを許可する。
[0051] 特定の実現例の必要に応じるために、その他のコンテンツ制御オプションも表出し使用することができる。例えば、共有コンテンツは、限られた持続期間の間及び/又はユーザ指定の時間間隔中に遠隔当事者によるダウンロードのためにアクセス可能になるように構成することができる。その他の実現例では、共有セッションが終了した後、限られた持続期間の間及び/又はユーザ指定の時間間隔中にのみ、遠隔から閲覧されるように共有コンテンツを配置することができる。場合によっては、遠隔当事者による共有後セッションアクセスを容易にするために、ユーザの共有コンテンツのためのホストとしてサービスプロバイダ130(図1)を使用することができる。その後、サービスプロバイダは、このような場合にユーザのために時間制限及び/又はコンテンツ制御を施行することができる。
[0052] ユーザが遠隔当事者による共有コンテンツの保存を不能にすることを選んだ場合、遠隔当事者が画面キャプチャの特徴及び/又はユーティリティを使用してこのような不能を回避することを阻止するために様々な技法を使用することができる。例えば、装置のオペレーティングシステムによってサポートされる画面キャプチャの特徴は、幾つかの実現例では遠隔装置上で不能及び/又は無効にすることができる。サードパーティーアプリケーションが画面キャプチャのために遠隔装置で使用されるシナリオでは、表示される共有コンテンツは、依然として遠隔ユーザがそのコンテンツを見られるようにするが、例えば、ウォーターマークなどを使用して画面キャプチャをあまり魅力的ではないものにする、様々な処理を含むことができる。また、幾つかの実現例では、遠隔装置での共有コンテンツの保存を不能にするために時間的ディザリング、コンテンツリフレッシュ速度の操作、スクランブル、及び/又は暗号化のうちの1つ以上を使用して共有コンテンツを処理することもできる。
[0053] 図22は、リアルタイム共有の他の例を示すUI2200を示している。この例では、ユーザは、265個のコンテンツを含む「カメラロール」という名前のアルバムを選択している。装置のタッチスクリーン上で複数のタッチインスタンスを使用して、ユーザはUI上で強調表示されている10枚の写真からなるサブセット2205を選択している。共有のためにアルバムのサブセットのみをこのように選択できるようにすると、文脈上適切なコンテンツを共有できるようにすることによりキュレーションユーザエキスペリエンスを強化しながら、何らかのコンテンツが共有されないように確保したいと希望するユーザのためのプライバシ保護を容易にする。ユーザはタッチ2210を使用して、選択されたコンテンツを通話中に遠隔当事者と共有する。
[0054] 選択されたコンテンツは、図23のUI2300に示されているように遠隔ユーザに提示するための前段階状態である。共有画面2305は、この場合もグレイアウト状態になり、選択されたコンテンツ(即ち、10枚の写真)のいずれも現在、遠隔当事者と共有されていないことを示す。ユーザがキュレーション共有エキスペリエンスを開始する用意ができると、コンテンツサムネイル上のタッチにより共有画面が明るくなり、その選択されたコンテンツが遠隔ユーザと共有される。上記のように、ローカルユーザは共有のペーシング及び提示について完全な制御を行使することができる。しかしながら、状況によっては、ユーザは提示に関する制御を選択的に遠隔ユーザに与えることができる。例えば、ローカルユーザは近くの販売店で販売されている自動車に関する一連の写真を示している可能性があり、遠隔ユーザはそれ以前に示された特定のピクチャに関する質問又はコメントを有する。ローカルユーザは、関心のあるピクチャに戻る方法をローカルユーザに対して口頭で説明しなければならない代わりに、遠隔ユーザが提示内の関心のあるピクチャに戻れるように一時的制御を遠隔ユーザに与えることができる。
[0055] 図24及び図25は、本発明のリアルタイム共有を容易にするために通話中に代替的に使用できるその他のUI2400及び2500の例示的な例を示している。ここでは、選択されたアルバム内のコンテンツが水平にスクロール可能なサムネイルのフィルムストリップ2405として表示される。アクティブ共有ウィンドウ2410は、遠隔当事者と共有するためにユーザが選択されたコンテンツ項目をフィルムストリップから共有ウィンドウ内にドラッグできるように構成される。図示の通り、ユーザはタッチ2415を使用してビデオクリップを選択し、共有ウィンドウ2410内にドラッグしている。図25に示されているように表出された再生ボタン2520をユーザが押すと、ビデオクリップを開始することができる。
[0056] 場合によっては、複数のコンテンツ項目を共有ウィンドウ2410内にドラッグすることができ、その後、そのコンテンツ項目は、ドラッグされ、ウィンドウ内に配置された特定の順序でリアルタイム共有セッション中に表示される(例えば、上記の図19に示され、付随テキストに記載されているように、ユーザはリアルタイム共有セッション中にコンテンツ項目間を水平にスクロールすることができる)。代替的に、特定のコンテンツを共有した後、リアルタイム共有のために、ユーザはUI2400に戻り、他のコンテンツ項目を選択し、共有ウィンドウ2410内にドラッグすることができる。所与のリアルタイム共有セッションは典型的に、共有コンテンツに関する文脈を維持する方式で実現される。例えば、ビデオは共有コンテンツ内でインラインで再生され、共有ワードプロセシング文書は垂直スクロールをサポートし、オーディオコンテンツは埋め込み型音量調節を含むなどである。このような文脈は典型的に共有セッションに対してローカル装置及び遠隔装置の両方に維持することができる。
[0057] 図26は、強調表示及び注釈又はコメントを共有コンテンツ項目に追加し、ズームイン及びズームアウト及び/又はパンによってコンテンツ提示を制御するために様々なツール2605がユーザに対して表出される例示的なUI2600を示している。表出される特定のツール及び提供される特徴は、特定の実現例の必要に応じて変動する可能性があり、すべての実現例ですべてのツールをサポートする必要があるわけではない。場合によっては、カラー、シェーディング、透明性、アニメーション、その他の効果もサポートすることができる。また、描画ツールは、ラインスムージングが実現され、完全な形状(即ち、円、正方形など)が描かれるように、「スマート」ツールになるように配置することができる。使用されるスムージング及び形状完成の程度は、幾つかの実現例ではユーザ選択可能にすることができる。
[0058] この例では、ユーザはペンツールを使用して、表示されている写真の特定の部分の周りに強調表示の円を描き、注釈(即ち、キャプション)を追加している。強調表示はリアルタイム共有セッション中に生で実現することができるか、又は代替的にユーザは、完成した強調表示コンテンツ項目のみが共有されるように提示ステージング中にツールを使用することができる。図27に示されているように、強調表示を含む共有コンテンツ項目は、遠隔ユーザの装置上に示されるUI2700上に表示される。
[0059] 共有コンテンツがビデオである場合、強調表示ツールキットを拡張して、図28のUI2800に示されているテレストレーションツール2805などの追加のツールを含むことができる。テレストレーションツール2805は、例えば、プロのスポーツイベントの放送で実行されるのと同様にビデオが休止している間に様々な色の線及び形状を使用して、ユーザがリアルタイム共有セッション内にビデオの一部分をマークアップし、強調表示できるように、様々なテレストレーション機能を表出することができる。ビデオトランスポート制御部2810は、ユーザが所望の通りにビデオを再生し、休止し、スクラブできるように提供される。
[0060] 上記のリアルタイム共有の例示的な例は音声通話に関連して記載されているが、リアルタイム共有はビデオ通話に関連して実現することもできる。図29及び図30に示されているように、ビデオ通話アプリ(例えば、図4のアプリ445)によって表出されたUI2900及び3000は、表示のためにその中に共有コンテンツを配置できる比較的大きい描画面を提供する。図29では、ユーザの装置(即ち、ローカル共有当事者)上のUI2900は、大表示2905内の遠隔当事者のビデオ画像、ユーザの小さい挿入表示2910、並びに提示ツール及びその他の提示準備UIとともに共有コンテンツを示すアクティブ共有ウィンドウ2915を適宜表示するように配置することができる。
[0061] 幾つかの実現例では、共有ウィンドウ2915は、ユーザによってUI2900上の特定の位置に配置するか及び/又はサイズを拡大又は縮小することができる。例えば、ユーザは、共有ウィンドウ2915を所望の位置にタッチアンドドラッグし、ピンチ及びスプレッドなどのマルチタッチジェスチャを使用してウィンドウを拡大縮小することができる。
[0062] 図30では、UI3000は遠隔当事者の装置上に表示される。ユーザの装置上のUI2900と同様に、遠隔当事者のUI3000は、もう一方の当事者(即ち、ローカル共有当事者)の大表示3005、挿入表示3010、及び共有ウィンドウ3015を含む。ここでは、共有ウィンドウ3015はローカル共有当事者によって提供された共有コンテンツを示しており、従って、コンテンツ準備/提示UI又は前段階状態のコンテンツを表出していない。幾つかの実現例では、遠隔当事者の装置上の共有ウィンドウ3015は、UI上でユーザ位置決め及びサイズ変更が可能である。
[0063] 幾つかのリアルタイム共有シナリオでは、共有に参加している装置のそれぞれは(2人以上の当事者間での共有の単一インスタンス又は複数インスタンスにかかわらず)、リアルタイム共有ユーザエキスペリエンスをサポートするためにリアルタイム共有コンポーネントがインストールされ、実行している可能性がある。これは図31に示されており、同図では(参照番号3105によって示されている)対話は典型的に、共有3110を容易にするために装置110のそれぞれのリアルタイム共有コンポーネント450の個々のインスタンス間で行われる。
[0064] その他のリアルタイム共有シナリオでは、共有に参加している当事者のうちの1人以上はリアルタイム共有コンポーネント450がインスタンス化されていない可能性がある。このような場合、リアルタイム共有は依然として、図32に示されているように遠隔サービスプロバイダ130によって提供される能力を活用することにより、特徴及びユーザエキスペリエンスの一式で実現することができる。サービスプロバイダ130は、共有3215中に供給するためにローカルリアルタイム共有コンポーネント450からの共有コンテンツをサービスプロバイダによってクライアントに支給できるように、遠隔装置上のブラウザ又はその他のアプリケーションなどのウェブサービスクライアント3210にウェブサービス3205を提供することができる。
[0065] ローカル共有当事者が共有セッションを開始すると、サービスプロバイダ130は、遠隔装置上で使用可能なメッセージ通信アプリケーション3225にメッセージ3220を送信することができる。例えば、メッセージ3220は、共有コンテンツへのリンク及びウェブサービス3205によって容易になるリアルタイムキュレーション共有エキスペリエンスを含み、SMS(ショートメッセージサービス)を使用して移送されるテキストメッセージにすることができる。
[0066] メッセージ3220がメッセージ通信アプリケーション3225によって受信されると、典型的に、UI、例えば、図33に示されているUI3300にそのメッセージを表面化することができる。この例では、メッセージ送信側は「共有サービス」として識別され、表示されたメッセージ3305は、典型的に名前でローカル共有当事者を識別する簡潔なメッセージを含み、遠隔当事者がキュレーションリアルタイム共有セッションに参加するために辿ることができるリンク3310を含む。
[0067] 図34は、リアルタイム共有を実現するための例示的な方法3400のフローチャートを示している。特に指定がない限り、以下のフローチャートに示され、付随テキストに記載されている方法又はステップは、特定の順序又は順番に限定されない。加えて、方法又はそのステップの幾つかは同時に行われるか又は実行することができ、所与の実現例では、このような実現例の要件次第ですべての方法又はステップを実行しなければならないわけではなく、幾つかの方法又はステップは任意選択で使用することができる。
[0068] ステップ3405では、ローカル共有当事者が遠隔当事者とのリアルタイム共有を開始するためのUIが表出される。上記の通り、このUIは、音声通話アプリケーション又はビデオ通話アプリケーションによって表出されるUIに組み込むことができる。ステップ3410では、ローカル共有当事者が共有のために使用可能なコンテンツの中から選択できるようにする。ステップ3415では、ローカル共有当事者のプライバシが維持されるように共有準備がアクティブ共有ウィンドウから分離した状態に保持される。即ち、遠隔当事者は、そのシーンの背後で行われているローカル共有当事者のアクティビティのいずれかではなく、アクティブ共有ウィンドウ内に置かれている共有コンテンツのみを見る。例えば、前段階状態のコンテンツは示されず、共有コンテンツ及びその提示を制御、準備、整形、又は修正するためにリアルタイム共有アプリケーションによって表出されるツールも示されない。
[0069] ステップ3420では、ローカル共有当事者は共有コンテンツの提示のペーシングを制御するために前段階からアクティブ共有にコンテンツを移動させることが可能になる。このような移動は、アクティブ共有ウィンドウ内のコンテンツ項目間で水平スクロールすること、フィルムストリップからアクティブ共有ウィンドウに項目を移動することなどを含む、上記の様々なやり方で達成することができる。
[0070] ステップ3425では、共有コンテンツを強調表示するためのツールが提供される。強調表示は典型的に前段階状態である間にコンテンツが共有される前に実行することができるか、或いは強調表示は実際に共有されている間にコンテンツに対して実行することができ、その結果、遠隔当事者はそれが行われると強調表示がリアルタイムで追加されるのを見ることができる。強調表示は、線、グラフィック図形、グラフィックオブジェクト、テキスト、カラー、透明性、シェーディング又はアニメーション、及び/又はこれらの組み合わせのうちの1つ以上を使用して実現することができる。ステップ3430では、共有コンテンツの提示に付随するナレーションを形成する音声入力がローカル共有当事者から受信される。ステップ3435では、UI上で共有ウィンドウを再位置決めし、サイズ変更することが可能になる。ステップ3440では、通話が終了した後に共有コンテンツを制御することが可能になる。このようなコンテンツ制御の仕組みは「痕跡(leave behind)」又は形見(souvenir)と呼ぶことができ、ローカル共有当事者には、共有コンテンツを遠隔当事者によって保存できるかどうかを制御するため、通話後に共有コンテンツにアクセスするため、保存せずにストリームとして共有コンテンツを閲覧するためなどのオプションがリアルタイム共有コンポーネントによって提供される。模範的な痕跡は、例えば、通話中に提供された共有コンテンツ及びナレーションを含む共有セッションのビデオファイルを含むことができる。
[0071] ステップ3445では、所与の共有セッションを休止し、一時停止し、次に再始動することが可能になる。例えば、電話中に共有を休止し、同じ通話内でその後再開することができる。代替的に、共有を完全に停止し、その後別の通話でもう一度(例えば、初めから又は共有が中断したところから)ピックアップすることもできる。いずれの場合も、ユーザが容易に共有エキスペリエンスを再始動できるようにするために、共有セッションデータは持続することができる。場合によっては、ユーザが異なる通話で異なる時間に異なる遠隔ユーザに対して同じ提示を行えるように、このような共有セッションデータを使用することもできる。
[0072] 図35は、サービスプロバイダ(例えば、図1のサービスプロバイダ130)によってサポートされるウェブサービスを使用してリアルタイム共有を容易にするための例示的な方法3500のフローチャートを示している。ステップ3505では、ローカル装置上で動作しているリアルタイム共有コンポーネントから共有コンテンツが受信される。場合によっては、共有コンテンツは受信されないが、その他の方法でリアルタイム共有セッションの開始がサービスプロバイダに指示される。応答として、ステップ3510では、サービスプロバイダがネットワークによりリアルタイム共有エキスペリエンスにアクセスするために辿ることができるリンクを含むメッセージを遠隔装置に送信する。例えば、このメッセージはSMSにより送信されるテキストメッセージにすることができる。
[0073] ステップ3515では、遠隔当事者がリンクを辿ると、遠隔装置上で実行しているクライアントにウェブサービスが提供される。このウェブサービスは、ブラウザ又はその他のアプリケーションなどのウェブサービスクライアント内にリアルタイム共有エキスペリエンスを供給することができる。ステップ3520では、共有コンテンツ提示のペーシングを制御するための入力が受信される。ステップ3525では、この入力に応答して、ウェブサービスが共有コンテンツを提示する。
[0074] 図36は、それにより本発明の通話中のリアルタイム共有を実現可能なPC、クライアントマシン、又はサーバなどの例示的なコンピュータシステム3600の簡略ブロック図である。コンピュータシステム3600は、プロセッサ3605と、システムメモリ3611と、システムメモリ3611を含む様々なシステムコンポーネントをプロセッサ3605に結合するシステムバス3614とを含む。システムバス3614は、様々なバスアーキテクチャのいずれかを使用して、メモリバス又はメモリコントローラ、周辺バス、或いはローカルバスを含む幾つかのタイプのバス構造のいずれかにすることができる。システムメモリ3611は、読み取り専用メモリ(ROM)3617及びランダムアクセスメモリ(RAM)3621を含む。スタートアップ時など、コンピュータシステム3600内の要素間の情報転送を支援する基本ルーチンを含む基本入出力システム(BIOS)3625はROM3617に記憶される。コンピュータシステム3600は、内部に配置されたハードディスク(図示せず)から読み取り、そこに書き込むためのハードディスクドライブ3628、取り外し可能磁気ディスク3633(例えば、フロッピーディスク)から読み取るか又はそこに書き込むための磁気ディスクドライブ3630、及びCD(コンパクトディスク)、DVD(デジタル多用途ディスク)、又はその他の光学媒体などの取り外し可能光ディスク3643から読み取るか又はそこに書き込むための光ディスクドライブ3638を更に含むことができる。ハードディスクドライブ3628、磁気ディスクドライブ3630、及び光ディスクドライブ3638は、それぞれ、ハードディスクドライブインターフェース3646、磁気ディスクドライブインターフェース3649、及び光学ドライブインターフェース3652によってシステムバス3614に接続される。これらのドライブ及びそれに関連するコンピュータ可読記憶媒体は、コンピュータシステム3600に関するコンピュータ可読命令、データ構造、プログラムモジュール、及びその他のデータの不揮発性記憶を可能にする。この例示的な例は、ハードディスク、取り外し可能磁気ディスク3633、及び取り外し可能光ディスク3643を含むが、本発明の通話中のリアルタイム共有の幾つかの適用例では、磁気カセット、フラッシュメモリカード、デジタルビデオディスク、データカートリッジ、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)など、コンピュータによってアクセス可能なデータを記憶できるその他のタイプのコンピュータ可読記憶媒体も使用することができる。加えて、本明細書で使用されるコンピュータ可読記憶媒体という用語は、あるメディタイプの1つ以上のインスタンス(例えば、1つ以上の磁気ディスク、1つ以上のCDなど)を含む。本明細書及び特許請求の範囲のため、「コンピュータ可読記憶媒体」という語句及びその変形例は、電波、信号、及び/又はその他の過渡的な及び/又は無形の通信媒体を含まない。
[0075] ハードディスク、磁気ディスク3633、光ディスク3643、ROM3617、又はRAM3621には、オペレーティングシステム3655、1つ以上のアプリケーションプログラム3657、その他のプログラムモジュール3660、及びプログラムデータ3663を含む幾つかのプログラムモジュールを記憶することができる。ユーザは、キーボード3666及びマウスなどのポインティングデバイス3668などの入力装置を介してコンピュータシステム3600にコマンド及び情報を入力することができる。その他の入力装置(図示せず)としては、マイクロフォン、ジョイスティック、ゲームパッド、衛星通信用パラボラアンテナ、スキャナ、トラックボール、タッチパッド、タッチスクリーン、タッチセンス装置、ボイスコマンドモジュール又は装置、ユーザモーション又はユーザジェスチャキャプチャ装置などを含むことができる。これら及びその他の入力装置は、しばしば、システムバス3614に結合されるシリアルポートインターフェイス3671を介してプロセッサ3605に接続されるが、パラレルポート、ゲームポート、又はユニバーサルシリアルバス(USB)などのその他のインターフェースによって接続することもできる。モニター3673又はその他のタイプの表示装置も、ビデオアダプタ3675などのインターフェースを介してシステムバス3614に接続される。モニター3673に加えて、パーソナルコンピュータは典型的に、スピーカ及びプリンタなどのその他の周辺出力装置(図示せず)を含む。図36に示されている例示的な例は、ホストアダプタ3678、小型コンピュータシステムインターフェース(SCSI)バス3683、及びSCSIバス3683に接続された外部記憶装置3676も含む。
[0076] コンピュータシステム3600は、遠隔コンピュータ3688などの1つ以上の遠隔コンピュータへの論理接続を使用して、ネットワーク化された環境で動作可能である。遠隔コンピュータ3688は、他のパーソナルコンピュータ、サーバ、ルータ、ネットワークPC、ピアデバイス、又はその他の共通ネットワークノードとして選択することができ、典型的にコンピュータシステム3600に関係する上記の要素のうちの多く又はすべてを含むが、図36には単一の代表的な遠隔メモリ/記憶装置3690のみが示されている。図36に描写されている論理接続は、ローカルエリアネットワーク(LAN)3693及び広域ネットワーク(WAN)3695を含む。このようなネットワーキング環境は、しばしば、例えば、オフィス、企業全体のコンピュータネットワーク、イントラネット、及びインターネット内に配備される。
[0077] LANネットワーキング環境で使用される場合、コンピュータシステム3600はネットワークインターフェース又はアダプタ3696を介してローカルエリアネットワーク3693に接続される。WANネットワーキング環境で使用される場合、コンピュータシステム3600は典型的にブロードバンドモデム3698、ネットワークゲートウェイ、又はインターネットなどの広域ネットワーク3695により通信を確立するためのその他の手段を含む。ブロードバンドモデム3698は、内部又は外部にある可能性があり、シリアルポートインターフェイス3671を介してシステムバス3614に接続される。ネットワーク化された環境では、コンピュータシステム3600に関連するプログラムモジュール又はその一部分は遠隔メモリ記憶装置3690に記憶することができる。図36に示されているネットワーク接続は例示的なものであり、本発明の通話中のリアルタイム共有の適用例の特定の要件次第でコンピュータ間で通信リンクを確立するためのその他の手段を使用できることは注目に値する。
[0078] 図37は、本発明の通話中のリアルタイム共有を提供するために本明細書に記載されている様々なコンポーネントを実行可能な装置のための例示的なアーキテクチャ3700を示している。従って、図37に示されているアーキテクチャ3700は、サーバコンピュータ、モバイルフォン、PDA、スマートフォン、デスクトップコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、GPS装置、ゲーミングコンソール、及び/又はラップトップコンピュータのために適応可能なアーキテクチャを示している。アーキテクチャ3700は、本明細書に提示されているコンポーネントの任意の態様を実行するために使用することができる。
[0079] 図37に示されているアーキテクチャ3700は、CPU(中央演算処理装置)3702と、RAM3706及びROM3708を含むシステムメモリ3704と、メモリ3704をCPU3702に結合するシステムバス3710とを含む。スタートアップ時など、アーキテクチャ3700内の要素間の情報転送を支援する基本ルーチンを含む基本入出力システムはROM3708に記憶される。アーキテクチャ3700は、アプリケーション、ファイルシステム、及びオペレーティングシステムを実現するために使用されるソフトウェアコード又はその他のコンピュータで実行されるコードを記憶するための大容量記憶装置3712を更に含む。
[0080] 大容量記憶装置3712は、バス3710に接続された大容量記憶装置コントローラ(図示せず)を介してCPU3702に接続される。大容量記憶装置3712及びそれに関連するコンピュータ可読記憶媒体はアーキテクチャ3700に関する不揮発性記憶を可能にする。
[0081] 本明細書に含まれるコンピュータ可読記憶媒体の記述はハードディスク又はCD−ROMドライブなどの大容量記憶装置を指しているが、当業者であれば、コンピュータ可読記憶媒体はアーキテクチャ3700によってアクセスできる任意の使用可能な記憶媒体にすることができることを認識するであろう。
[0082] 限定ではなく一例として、コンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又はその他のデータなどの情報の記憶のために任意の方法又は技術で実現された揮発性及び不揮発性で取り外し可能及び取り外し不能な媒体を含むことができる。例えば、コンピュータ可読媒体は、RAM、ROM、EPROM(消去可能プログラム可能読み取り専用メモリ)、EEPROM(電気的消去可能プログラム可能読み取り専用メモリ)、フラッシュメモリ又はその他のソリッドステートメモリ技術、CD−ROM、DVD、HD−DVD(高精細DVD)、ブルーレイ、又はその他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置又はその他の磁気記憶装置、或いは所望の情報を記憶するために使用することができ、アーキテクチャ3700によってアクセスできる任意のその他の媒体を含むが、これらに限定されない。
[0083] 様々な実施形態により、アーキテクチャ3700は、ネットワークによる遠隔コンピュータへの論理接続を使用して、ネットワーク化された環境で動作することができる。アーキテクチャ3700は、バス3710に接続されたネットワークインターフェースユニット3716を介してネットワークに接続することができる。ネットワークインターフェースユニット3726はその他のタイプのネットワーク及び遠隔コンピュータシステムに接続するために使用できることも認識されるであろう。また、アーキテクチャ3700は、キーボード、マウス、又は電子ペン(図37には示されていない)を含む幾つかのその他の装置からの入力を受信して処理するための入出力コントローラ3718も含むことができる。同様に、入出力コントローラ3718は、表示画面、プリンタ、又はその他のタイプの出力装置(同じく図37には示されていない)に出力を提供することができる。
[0084] 本明細書に記載されているソフトウェアコンポーネントは、CPU3702にロードされて実行されると、CPU3702及びアーキテクチャ3700全体を汎用コンピューティングシステムから、本明細書に提示されている機能性を容易にするようにカスタマイズされた専用コンピュータシステムに変換できることは認識されるであろう。CPU3702は、任意の数のトランジスタ又はその他のディスクリート回路エレメントから構築することができ、これらのエレメントは個別に又は集合的に任意の数の状態を呈することができる。より具体的には、CPU3702は、本明細書に開示されているソフトウェアモジュール内に含まれる実行可能命令に応答して、有限状態機械として動作することができる。これらのコンピュータ実行可能命令は、CPU3702が状態間でどのように遷移するかを指定することによりCPU3702を変換することができ、それによりCPU3702を構成するトランジスタ又はその他のディスクリートハードウェアエレメントを変換することができる。
[0085] 本明細書に提示されているソフトウェアモジュールをコード化することにより、本明細書に提示されているコンピュータ可読記憶媒体の物理的構造を変換することもできる。この物理的構造の具体的な変換は、本明細書の種々の実現例における様々な要因次第である。このような要因の例としては、コンピュータ可読記憶媒体を実現するために使用される技術、コンピュータ可読記憶媒体が一次記憶装置として特徴付けられるか又は二次記憶装置として特徴付けられるかなどを含むことができるが、これらに限定されない。例えば、コンピュータ可読記憶媒体が半導体ベースのメモリとして実現される場合、本明細書に開示されているソフトウェアは、半導体メモリの物理的状態を変換することによりコンピュータ可読記憶媒体上にコード化することができる。例えば、ソフトウェアは、半導体メモリを構成するトランジスタ、コンデンサ、又はその他のディスクリート回路エレメントの状態を変換することができる。また、ソフトウェアは、その上にデータを記憶するためにこのようなコンポーネントの物理的状態を変換することもできる。
[0086] 他の例として、本明細書に開示されているコンピュータ可読記憶媒体は、磁気又は光学技術を使用して実現することができる。このような実現例では、本明細書に提示されているソフトウェアは、ソフトウェアがそこにコード化された時に磁気媒体又は光学媒体の物理的状態を変換することができる。このような変換は、所与の磁気媒体内の特定の位置の磁気特性を変更することを含むことができる。また、このような変換は、所与の光学媒体内の特定の位置の物理的特徴又は特性を変更して、その位置の光学特性を変更することも含むことができる。この考察を容易にするためにのみ提供された上記の例により、本明細書の範囲及び精神を逸脱せずに、物理的媒体のその他の変換も可能である。
[0087] 上記に鑑みて、本明細書に提示されているソフトウェアコンポーネントを記憶し実行するために、多くのタイプの物理的変換がアーキテクチャ3700内で行われることは認識されるであろう。また、アーキテクチャ3700が、ハンドヘルドコンピュータ、組み込み型コンピュータシステム、スマートフォン、PDA、及び当業者にとって知られているその他のタイプのコンピューティングデバイスを含む、その他のタイプのコンピューティングデバイスを含むことができることも認識されるであろう。また、アーキテクチャ3700は、図37に示されているコンポーネントをすべて含むわけではなく、図37に明示的に示されていないその他のコンポーネントを含むことができ、或いは図37に示されているものとは完全に異なるアーキテクチャを使用できることも企図されている。
[0088] 図38は、一般に3802で示され、様々な任意選択のハードウェア及びソフトウェアコンポーネントを含むモバイルフォン又はスマートフォンなどの例示的なモバイルデバイス110の機能ブロック図である。モバイルデバイス内の任意のコンポーネント3802は他のどのコンポーネントとも通信することができるが、例示しやすくするために、すべての接続が示されているわけではない。このモバイルデバイスは、様々なコンピューティングデバイス(例えば、セルフォン、スマートフォン、ハンドヘルドコンピュータ、PDAなど)のいずれにすることもでき、セルラー又は衛星ネットワークなどの1つ以上の移動体通信ネットワーク3804との無線双方向通信を可能にすることができる。
[0089] 例示されているデバイス110は、信号符号化、データ処理、入出力処理、電力制御、及び/又はその他の機能などのタスクを実行するためのコントローラ又はプロセッサ3810(例えば、信号プロセッサ、マイクロプロセッサ、マイクロコントローラ、ASIC(特定用途向け集積回路)、又はその他の制御及び処理論理回路)を含むことができる。オペレーティングシステム3812は、電力状態、ロックより上の状態(above−lock state)、及びロックより下の状態(below−lock state)を含む、コンポーネント3802の割り振り及び使用法を制御することができ、1つ以上のアプリケーションプログラム3814のサポートを提供する。アプリケーションプログラムは、共通モバイルコンピューティングアプリケーション(例えば、画像キャプチャアプリケーション、電子メールアプリケーション、カレンダ、連絡先マネージャ、ウェブブラウザ、メッセージ通信アプリケーション)又は任意のその他のコンピューティングアプリケーションを含むことができる。
[0090] 例示されているモバイルデバイス110はメモリ3820を含むことができる。メモリ3820は取り外し不能メモリ3822及び/又は取り外し可能メモリ3824を含むことができる。取り外し不能メモリ3822は、RAM、ROM、フラッシュメモリ、ハードディスク、又はその他の周知の記憶装置技術を含むことができる。取り外し可能メモリ3824は、フラッシュメモリ又はGSM(世界移動電話規格)システムで周知の加入者同定モジュール(SIM)カード、或いは「スマートカード」などのその他の周知の記憶装置技術を含むことができる。メモリ3820は、データ及び/又はオペレーティングシステム3812及びアプリケーションプログラム3814を実行するためのコードを記憶するために使用することができる。データ例としては、1つ以上の有線又は無線ネットワークを介して1つ以上のネットワークサーバ又はその他の装置に送信し及び/又はそれから受信するためのウェブページ、テキスト、画像、音声ファイル、ビデオデータ、又はその他のデータセットを含むことができる。
[0091] また、メモリ3820は、コンピュータ可読命令、データ構造、プログラムモジュール、又はその他のデータなどの情報の記憶のために任意の方法又は技術で実現された1つ以上のコンピュータ可読記憶媒体として配置するか又はそれを含むことができる。例えば、コンピュータ可読媒体としては、RAM、ROM、EPROM、EEPROM、フラッシュメモリ、又はその他のソリッドステートメモリ技術、CD−ROM(コンパクトディスクROM)、DVD(デジタル多用途ディスク)、HD−DVD(高精細DVD)、ブルーレイ、又はその他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、又はその他の磁気記憶装置、或いは所望の情報を記憶するために使用することができ、モバイルデバイス110によってアクセスできる任意のその他の媒体を含むが、これらに限定されない。
[0092] メモリ3820は、国際移動体加入者識別番号(IMSI)などの加入者識別番号及び国際移動体装置識別番号(IMEI)などの装置識別番号を記憶するために使用することができる。このような識別番号は、ユーザ及び装置を識別するためにネットワークサーバに伝送することができる。モバイルデバイス110は、タッチスクリーン3832、音声認識、ボイスコマンドなどのための音声入力の実現のためのマイクロフォン3834、カメラ3836、物理的キーボード3838、トラックボール3840、及び/又は近接センサ3842などの1つ以上の入力装置3830と、スピーカ3852及び1つ以上のディスプレイ3854などの1つ以上の出力装置3850とをサポートすることができる。場合によっては、ジェスチャ認識を使用するその他の入力装置(図示せず)も使用することができる。その他の可能な出力装置(図示せず)は圧電又は触覚出力装置を含むことができる。幾つかの装置は2つ以上の入出力機能を果たすことができる。例えば、タッチスクリーン3832及びディスプレイ3854は結合して単一の入出力装置にすることができる。
[0093] 無線モデム3860は、アンテナ(図示せず)に結合することができ、当技術分野で十分理解されているように、プロセッサ3810と外部装置との間の双方向通信をサポートすることができる。モデム3860は、総称的に示されており、移動体通信ネットワーク3804と通信するためのセルラーモデム及び/又はその他の無線ベースのモデム(例えば、Bluetooth3864又はWi−Fi3862)を含むことができる。無線モデム3860は典型的に、単一セルラーネットワーク内、セルラーネットワーク間、又はモバイルデバイスと公衆交換電話網(PSTN)との間のデータ及び音声通信のためにGSMネットワークなどの1つ以上のセルラーネットワークとの通信のために構成される。
[0094] モバイルデバイスは、少なくとも1つの入出力ポート3880、電源3882、GPS受信機などの衛星航法システム受信機3884、加速度計3886、ジャイロスコープ(図示せず)、及び/又はUSBポート、IEEE1394(FireWire)ポート、及び/又はRS−232ポートにすることができる物理的コネクタ3890を更に含むことができる。どのコンポーネントも削除することができ、その他のコンポーネントを追加することもできるので、例示されているコンポーネント3802は必須ではなく、すべてを含むものでもない。
[0095] 図39はマルチメディアコンソール1104の例示的な機能ブロック図である。マルチメディアコンソール1104は、レベル1キャッシュ3902とレベル2キャッシュ3904とフラッシュROM(読み取り専用メモリ)3906とを有する中央演算処理装置(CPU)3901を有する。レベル1キャッシュ3902及びレベル2キャッシュ3904はデータを一時的に記憶し、このため、メモリアクセスサイクル数を削減し、それにより処理速度及びスループットを改善する。CPU3901は、2つ以上のコアと、その結果、追加のレベル1キャッシュ3902及びレベル2キャッシュ3904とを備えて構成することもできる。フラッシュROM3906は、マルチメディアコンソール1104の電源がONになった時にブートプロセスの初期フェーズ中にロードされる実行可能コードを記憶することができる。
[0096] グラフィック処理ユニット(GPU)3908及びビデオエンコーダ/ビデオコーデック(コーダ/デコーダ)3914は、高速及び高解像度のグラフィック処理のためのビデオ処理パイプラインを形成する。データはバスを介してGPU3908からビデオエンコーダ/ビデオコーデック3914に伝達される。ビデオ処理パイプラインは、テレビ又はその他のディスプレイに伝送するためにA/V(オーディオ/ビデオ)ポート3940にデータを出力する。メモリコントローラ3910は、限定されないが、RAMなどの様々なタイプのメモリ3912へのプロセッサアクセスを容易にするためにGPU3908に接続される。
[0097] マルチメディアコンソール1104は、好ましくはモジュール3918上に実現される、I/Oコントローラ3920、システム管理コントローラ3922、オーディオ処理ユニット3923、ネットワークインターフェースコントローラ3924、第1のUSB(ユニバーサルシリアルバス)ホストコントローラ3926、第2のUSBコントローラ3928、及びフロントパネルI/Oサブアセンブリ3930を含む。USBコントローラ3926及び3928は、周辺コントローラ3942(1)及び3942(2)、無線アダプタ3948、及び外部メモリデバイス3946(例えば、フラッシュメモリ、外部CD/DVD ROMドライブ、取り外し可能媒体など)のためのホストとして機能する。ネットワークインターフェースコントローラ3924及び/又は無線アダプタ3948はネットワーク(例えば、インターネット、ホームネットワークなど)へのアクセスを可能にし、イーサネットカード、モデム、Bluetoothモジュール、ケーブルモデムなどを含む、多種多様な様々な有線又は無線アダプタコンポーネントのいずれかにすることができる。
[0098] システムメモリ3943は、ブートプロセス中にロードされるアプリケーションデータを記憶するために提供される。メディアドライブ3944が提供され、DVD/CDドライブ、ハードドライブ、又はその他の取り外し可能メディアドライブなどを含むことができる。メディアドライブ3944は、マルチメディアコンソール1104の内部又は外部にあってもよい。アプリケーションデータは、マルチメディアコンソール1104によって実行、再生などのためにメディアドライブ3944を介してアクセスすることができる。メディアドライブ3944は、シリアルATAバスなどのバス又はその他の高速接続(例えば、IEEE1394)を介してI/Oコントローラ3920に接続される。
[0099] システム管理コントローラ3922は、マルチメディアコンソール1104の可用性を保証することに関連する様々なサービス機能を提供する。オーディオ処理ユニット3923及びオーディオコーデック3932は、高い忠実度及びステレオ処理を備えた対応するオーディオ処理パイプラインを形成する。オーディオデータは、通信リンクを介してオーディオ処理ユニット3923とオーディオコーデック3932との間で伝達される。オーディオ処理パイプラインは、オーディオ能力を有する外部オーディオプレーヤ又はデバイスによる再現のためにA/Vポート3940にデータを出力する。
[00100] フロントパネルI/Oサブアセンブリ3930は、電源ボタン3950及び取り出しボタン3952の機能性並びにマルチメディアコンソール1104の外面上に表出している任意のLED(発光ダイオード)又はその他のインジケータをサポートする。システム電源モジュール3936はマルチメディアコンソール1104のコンポーネントに電力を提供する。ファン3938はマルチメディアコンソール1104内の回路を冷却する。
[00101] マルチメディアコンソール1104内のCPU3901、GPU3908、メモリコントローラ3910、及び様々なその他のコンポーネントは、様々なバスアーキテクチャのいずれかを使用して、シリアルバス及びパラレルバス、メモリバス、周辺バス、及びプロセッサ又はローカルバスを含む、1つ以上のバスを介して相互接続される。一例として、このようなアーキテクチャは周辺装置相互接続(PCI)バス、PCIエクスプレスバスなどを含むことができる。
[00102] マルチメディアコンソール1104の電源がONになると、アプリケーションデータはシステムメモリ3943からメモリ3912及び/又はキャッシュ3902及び3904にロードされ、CPU3901上で実行することができる。アプリケーションは、マルチメディアコンソール1104上で使用可能な種々の媒体タイプにナビゲートする際に一貫したユーザエキスペリエンスを提供するグラフィカルユーザインターフェースを提示することができる。動作中に、メディアドライブ3944内に含まれるアプリケーション及び/又はその他の媒体は、追加の機能性をマルチメディアコンソール1104に提供するためにメディアドライブ3944から起動するか又は再生することができる。
[00103] マルチメディアコンソール1104は、単にこのシステムをテレビ又はその他のディスプレイに接続することにより、スタンドアロンシステムとして操作することができる。このスタンドアロンモードでは、マルチメディアコンソール1104により1人以上のユーザがシステムと対話するか、映画を見るか、又は音楽を聴くことができる。しかしながら、ブロードバンド接続の一体化がネットワークインターフェースコントローラ3924又は無線アダプタ3948を介して使用可能になっている場合、マルチメディアコンソール1104は更に、より大きいネットワークコミュニティの参加者として操作することができる。
[00104] マルチメディアコンソール1104の電源がONになると、マルチメディアコンソールオペレーティングシステムによるシステム使用のために設定量のハードウェアリソースが予約される。これらのリソースは、メモリの予約(例えば、16MB)、CPU及びGPUサイクル(例えば、5%)、ネットワーキング帯域幅(例えば、8kbps)などを含むことができる。これらのリソースはシステムブート時に予約されるので、予約されたリソースはアプリケーションの視点からは存在しない。
[00105] 特に、メモリ予約は好ましくは、起動カーネル、同時システムアプリケーション、及びドライバを収容するのに十分な大きさである。CPU予約は好ましくは、予約されたCPU使用量がシステムアプリケーションによって使用されない場合にアイドルスレッドが未使用のサイクルを消費するように一定である。
[00106] GPU予約に関しては、システムアプリケーションによって生成された軽量メッセージ(例えば、ポップアップ)は、GPU割り込みを使用して、オーバレイ内にポップアップを供給するためのコードをスケジュールすることにより表示される。オーバレイに必要なメモリの量はオーバレイエリアサイズ次第であり、オーバレイは好ましくは画面解像度につれて拡大縮小する。同時システムアプリケーションによってフルユーザインターフェースが使用される場合、アプリケーション解像度とは無関係の解像度を使用することが好ましい。周波数を変更し、TV再同期を引き起こす必要性が除去されるように、スケーラを使用してこの解像度を設定することができる。
[00107] マルチメディアコンソール1104がブートし、システムリソースが予約された後、システム機能を提供するために同時システムアプリケーションが実行される。システム機能は、上記の予約されたシステムリソース内で実行される1組のシステムアプリケーションにカプセル化される。オペレーティングシステムカーネルは、システムアプリケーションスレッド対ゲーミングアプリケーションスレッドであるスレッドを識別する。システムアプリケーションは好ましくは、一貫したシステムリソース視点をアプリケーションに提供するために所定の時間及び間隔でCPU3901上で動作するようにスケジュールされる。このスケジューリングは、コンソール上で動作するゲーミングアプリケーションに関するキャッシュ崩壊を最小限にするためである。
[00108] 同時システムアプリケーションがオーディオを必要とする場合、オーディオ処理は時間感度のためにゲーミングアプリケーションに対して非同期的にスケジュールされる。マルチメディアコンソールアプリケーションマネージャ(以下に記載する)は、システムアプリケーションがアクティブである時にゲーミングアプリケーションのオーディオレベル(例えば、消音、減衰)を制御する。
[00109] 入力装置(例えば、コントローラ3942(1)及び3942(2))はゲーミングアプリケーションとシステムアプリケーションによって共有される。入力装置は予約されたリソースではないが、それぞれがデバイスの焦点を有することになるようにシステムアプリケーションとゲーミングアプリケーションとの間で切り換えられる。アプリケーションマネージャは好ましくはゲーミングアプリケーションの知識を知らずに入力ストリームの切り換えを制御し、ドライバは焦点切り換えに関する状態情報を維持する。
[00110] 上記に基づいて、通話中のリアルタイム共有のための技術が本明細書に開示されていることは認識されるであろう。本明細書に提示されている主題はコンピュータ構造上の特徴、方法論及び変形行為、特定のコンピューティング機械、並びにコンピュータ可読記憶媒体に特有の言語で記載されているが、特許請求の範囲に定義されている本発明は必ずしも本明細書に記載されている特定の特徴、行為、又は媒体に限定されないことを理解するべきである。むしろ、特定の特徴、行為、及び媒体は特許請求の範囲を実現する形式例として開示されている。
[00111] 上記の主題は例示のみのために提供されており、限定として解釈することはできない。例示され記載されている実施形態例及び適用例に従わず、以下の特許請求の範囲に明記されている本発明の真の精神及び範囲を逸脱せずに、本明細書に記載されている主題に対して様々な修正及び変更を行うことができる。

Claims (14)

  1. 装置内に配置された1つ以上のプロセッサによって実行される場合に、通話中にローカル装置及び遠隔装置を使用してそれぞれのローカル当事者及び遠隔当事者間でコンテンツのリアルタイム共有のための方法を実装させる命令を記憶する1つ以上のコンピュータ可読メモリであって、
    前記通話中に前記リアルタイム共有を開始するためのユーザインターフェース(UI)を表出させることと、
    共有のためにコンテンツの選択を可能にすることであって、共有可能コンテンツが前記ローカル装置にとってローカルに使用可能であるか又は前記ローカル装置が遠隔ソースから使用可能であることと、
    コンテンツの前段階を可能にすることであって、前記遠隔当事者が前段階状態のコンテンツを閲覧できないように前記前段階状態のコンテンツが現在共有されているコンテンツから分離していることと、
    前記ローカル当事者が前記遠隔当事者との共有コンテンツ項目のインスタンスの提示のペーシングを制御できるように、前記ローカル当事者が前段階から現在共有されているコンテンツにコンテンツを移動できるようにすることと、
    前記遠隔当事者のために共有コンテンツの一部分を強調表示するためのツールを提供することであって、前記強調表示がグラフィックス又はテキスト注釈付けを含むことと、
    を含む、1つ以上のコンピュータ可読メモリ。
  2. 前記リアルタイム共有が開始される場合に、前記ローカル装置上のスピーカーフォン機能を可能にすることを更に含む、請求項1に記載の1つ以上のコンピュータ可読メモリ。
  3. 前記ローカル装置上の通話アプリケーションによって表出されたUIの一部として前記リアルタイム共有を開始するための前記UIを表出することであって、前記通話アプリケーションが、音声通話アプリケーション又はビデオ通話アプリケーションのうちの1つであることを更に含む、請求項1に記載の1つ以上のコンピュータ可読メモリ。
  4. ズーム及びパンを含む、前記共有コンテンツの提示を制御するためのツールを提供することを更に含む、請求項1に記載の1つ以上のコンピュータ可読メモリ。
  5. 前記ローカル当事者が、前段階状態のコンテンツ間でスクロールすることにより、又はスクロール可能なフィルムストリップ内に提示された前段階状態のコンテンツを現在共有されているコンテンツのアクティブ共有ウィンドウ内にドラッグすることにより、前段階状態のコンテンツを現在共有されているコンテンツに移動できるように前記UIが構成される、請求項1に記載の1つ以上のコンピュータ可読メモリ。
  6. 前記共有ウィンドウを再位置決めし、サイズ変更できるようにすることを更に含む、請求項5に記載の1つ以上のコンピュータ可読メモリ。
  7. 共有コンテンツのインスタンスがビデオコンテンツである場合に、テレストレーションツール又はビデオトランスポート制御部のうちの1つを提供することを更に含む、請求項1に記載の1つ以上のコンピュータ可読メモリ。
  8. 前記通話が終了した後に前記遠隔当事者による共有コンテンツへのアクセスを制御することを可能にするための制御部を提供することを更に含み、前記制御が、共有コンテンツを保存できるようにすること、前記終了後に所定の時間間隔の間、共有コンテンツにアクセスできるようにすること、又は共有コンテンツを保存するのではなくストリーミングできるようにすることのうちの1つを含む、請求項1に記載の1つ以上のコンピュータ可読メモリ。
  9. 前記共有可能コンテンツが、ライブで取得したコンテンツ又は前に取得したコンテンツのうちの1つである、請求項1に記載の1つ以上のコンピュータ可読メモリ。
  10. 前記ツールが、線、グラフィック図形、グラフィックオブジェクト、テキスト、カラー、透明性、シェーディング、又はアニメーションのうちの1つ以上を使用して強調表示を可能にする、請求項1に記載の1つ以上のコンピュータ可読メモリ。
  11. ローカル当事者によって使用されるローカル装置と遠隔当事者によって使用される遠隔装置との間で、通話中のリアルタイム共有を容易にするための方法であって、前記方法が、
    前記ローカル装置上で動作するリアルタイム共有コンポーネントから共有コンテンツを受信するステップであって、前記共有コンテンツが前記ローカル装置で使用可能なコンテンツの中から前記ローカル当事者によって選択され、前記リアルタイム共有コンポーネントによって表出されたユーザインターフェース(UI)上の共有ウィンドウ内に前記ローカル当事者によって配置されるステップと、
    ネットワークにより前記遠隔装置にメッセージを送信するステップであって、前記メッセージが前記ローカル当事者によって制御されたキュレーションリアルタイム共有エキスペリエンスへのリンクを含むステップと、
    前記遠隔当事者が前記リンクを辿った時に、前記遠隔装置上のウェブサービスクライアントによりサービスを実現するステップであって、前記サービスが前記遠隔当事者のための前記キュレーションリアルタイム共有エキスペリエンスをサポートするステップと、
    前記リアルタイム共有コンポーネントと通信して、前記サービスによる供給コンテンツの提示を制御するために前記ローカル当事者からの入力を受信するステップと、
    を含む、方法。
  12. 前記ウェブサービスクライアントがウェブブラウザであり、前記入力に応答して前記キュレーションリアルタイム共有エキスペリエンスを適合させることを更に含む、請求項11に記載の方法。
  13. 前記入力がコンテンツ提示ペーシングを表し、前記ペーシングに応答して前記サービスにより個々の共有コンテンツ項目を示すことにより前記キュレーションリアルタイム共有エキスペリエンスを適合させることを更に含む、請求項11に記載の方法。
  14. 前記メッセージがSMS(ショートメッセージサービス)により送信される、請求項11に記載の方法。
JP2017511257A 2014-09-10 2015-09-10 通話中のリアルタイム共有 Active JP6700254B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/482,960 US10057305B2 (en) 2014-09-10 2014-09-10 Real-time sharing during a phone call
US14/482,960 2014-09-10
PCT/US2015/049262 WO2016040535A1 (en) 2014-09-10 2015-09-10 Real-time sharing during a phone call

Publications (3)

Publication Number Publication Date
JP2017532645A true JP2017532645A (ja) 2017-11-02
JP2017532645A5 JP2017532645A5 (ja) 2018-09-20
JP6700254B2 JP6700254B2 (ja) 2020-05-27

Family

ID=54186307

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017511257A Active JP6700254B2 (ja) 2014-09-10 2015-09-10 通話中のリアルタイム共有

Country Status (11)

Country Link
US (1) US10057305B2 (ja)
EP (1) EP3192220B1 (ja)
JP (1) JP6700254B2 (ja)
KR (1) KR102350329B1 (ja)
CN (1) CN106716954B (ja)
AU (1) AU2015315114B2 (ja)
BR (1) BR112017003124A2 (ja)
CA (1) CA2959718C (ja)
MX (1) MX2017002793A (ja)
RU (1) RU2702049C2 (ja)
WO (1) WO2016040535A1 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6328797B2 (ja) 2014-05-30 2018-05-23 アップル インコーポレイテッド 1つのデバイスの使用から別のデバイスの使用への移行
US10235366B2 (en) 2016-08-16 2019-03-19 Microsoft Technology Licensing, Llc Activity gallery view in communication platforms
US11150795B2 (en) * 2016-11-28 2021-10-19 Facebook, Inc. Systems and methods for providing content
US20190207946A1 (en) * 2016-12-20 2019-07-04 Google Inc. Conditional provision of access by interactive assistant modules
US10412175B2 (en) * 2017-01-13 2019-09-10 Panasonic Intellectual Property Management Co., Ltd. Information communication apparatus and information communication method
CN110383861B (zh) * 2017-03-03 2021-05-18 华为技术有限公司 一种通话中共享信息的方法及终端
KR102323797B1 (ko) * 2017-05-22 2021-11-09 삼성전자 주식회사 전자 장치 및 그의 정보 공유 방법
WO2019031621A1 (ko) * 2017-08-08 2019-02-14 라인 가부시키가이샤 통화 중 감정을 인식하여 인식된 감정을 활용하는 방법 및 시스템
US10607035B2 (en) * 2017-08-31 2020-03-31 Yeo Messaging Ltd. Method of displaying content on a screen of an electronic processing device
US10356234B2 (en) 2017-08-31 2019-07-16 Uniti, Llc Enhanced calling systems and methods
US10372298B2 (en) 2017-09-29 2019-08-06 Apple Inc. User interface for multi-user communication session
US10237324B1 (en) * 2017-11-21 2019-03-19 International Business Machines Corporation System and method for web conferencing presentation pre-staging
DK180130B1 (da) 2018-05-07 2020-06-02 Apple Inc. Multi-participant live communication user interface
US10993110B2 (en) * 2018-07-13 2021-04-27 Nvidia Corp. Connectionless fast method for configuring Wi-Fi on displayless Wi-Fi IoT device
EP3682345B1 (en) 2018-08-07 2021-11-24 Google LLC Assembling and evaluating automated assistant responses for privacy concerns
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US10681300B1 (en) * 2019-02-14 2020-06-09 Avaya Inc. Split screen for video sharing
CN111835920B (zh) * 2019-04-17 2022-04-22 百度在线网络技术(北京)有限公司 通话处理方法、装置、设备及存储介质
CN110049198A (zh) * 2019-04-22 2019-07-23 杭州数金在线云科技有限公司 一种基于互联网的语音业务交互方法和系统
CN113329201B (zh) * 2020-02-28 2022-09-02 华为技术有限公司 一种增强的视频通话方法和系统、电子设备
KR20210135683A (ko) 2020-05-06 2021-11-16 라인플러스 주식회사 인터넷 전화 기반 통화 중 리액션을 표시하는 방법, 시스템, 및 컴퓨터 프로그램
US11079913B1 (en) 2020-05-11 2021-08-03 Apple Inc. User interface for status indicators
CN112311754B (zh) * 2020-06-02 2022-09-30 北京字节跳动网络技术有限公司 交互方法、装置和电子设备
CN111880695B (zh) * 2020-08-03 2024-03-01 腾讯科技(深圳)有限公司 一种屏幕共享方法、装置、设备及存储介质
US11930240B2 (en) 2020-11-11 2024-03-12 Motorola Mobility Llc Media content recording with sensor data
CN114691060A (zh) 2020-12-29 2022-07-01 摩托罗拉移动有限责任公司 在设备屏幕记录期间管理的个人内容
CN114691061A (zh) 2020-12-29 2022-07-01 摩托罗拉移动有限责任公司 在扩展显示屏幕记录期间管理的个人内容
US11431891B2 (en) 2021-01-31 2022-08-30 Apple Inc. User interfaces for wide angle video conference
CN114915744A (zh) * 2021-02-09 2022-08-16 摩托罗拉移动有限责任公司 为受限屏幕记录而管理的记录内容
US11449188B1 (en) 2021-05-15 2022-09-20 Apple Inc. Shared-content session user interfaces
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
CN113489937B (zh) * 2021-07-02 2023-06-20 北京字跳网络技术有限公司 视频共享方法、装置、设备及介质
KR102536806B1 (ko) * 2021-08-11 2023-05-26 라인플러스 주식회사 인스턴트 메시징 애플리케이션을 통해 통화 중 콘텐츠를 공유하는 방법 및 시스템
US11620770B1 (en) 2021-09-23 2023-04-04 International Business Machines Corporation Object oriented screen overlay
US11812135B2 (en) 2021-09-24 2023-11-07 Apple Inc. Wide angle video conference
CN117478686A (zh) * 2022-07-22 2024-01-30 华为技术有限公司 共享方法、电子设备及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080307324A1 (en) * 2007-06-08 2008-12-11 Apple Inc. Sharing content in a videoconference session
US20110044438A1 (en) * 2009-08-20 2011-02-24 T-Mobile Usa, Inc. Shareable Applications On Telecommunications Devices
JP2012256278A (ja) * 2011-06-10 2012-12-27 Nec Corp コンテンツ共有システム、コンテンツ共有端末、サーバ、コンテンツ共有方法、および、コンピュータ・プログラム
JP2013016944A (ja) * 2011-07-01 2013-01-24 Active Node Co Ltd 携帯端末、携帯端末を用いた通信方法及びプログラム
US20140018053A1 (en) * 2012-07-13 2014-01-16 Lg Electronics Inc. Mobile terminal and controlling method thereof
US20140081633A1 (en) * 2012-09-19 2014-03-20 Apple Inc. Voice-Based Media Searching

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3753244B2 (ja) * 2002-11-27 2006-03-08 日本電気株式会社 リアルタイムウェブ共有システム
US7096024B2 (en) * 2003-01-31 2006-08-22 Qualcomm, Incorporated Method and apparatus to initiate point-to-point call during shared-channel delivery of broadcast content in a wireless telephone network
US7434166B2 (en) * 2003-06-03 2008-10-07 Harman International Industries Incorporated Wireless presentation system
US7802095B2 (en) * 2004-02-03 2010-09-21 Music Public Broadcasting, Inc. Method and system for preventing unauthorized recording of media content on a Macintosh operating system
EP1596613A1 (en) 2004-05-10 2005-11-16 Dialog Semiconductor GmbH Data and voice transmission within the same mobile phone call
US8867779B2 (en) * 2008-08-28 2014-10-21 Microsoft Corporation Image tagging user interface
US20100080361A1 (en) 2008-09-29 2010-04-01 Conrad Edward Houghton Method for Sharing Audio-only content, Audio-Visual content, and Visual-only content between Subscribers on a Telephone call
BR112013008185A2 (pt) * 2010-10-04 2016-06-21 Interdigital Patent Holdings transferência (iut) entre equipamentos do usuário (ue) se sessões colaborativas que incluem as informações sobre a sessão da mídia
US20120287231A1 (en) 2011-05-12 2012-11-15 Sreekanth Ravi Media sharing during a video call
EP2718840A4 (en) 2011-06-08 2015-03-04 Vidyo Inc SYSTEMS AND METHODS FOR ENHANCING INTERACTIVE CONTENT SHARING IN VIDEO COMMUNICATION SYSTEMS
US8494123B2 (en) 2011-07-01 2013-07-23 Apple Inc. On-hold visual menu from a user's communications device
US9112930B2 (en) 2012-10-26 2015-08-18 Microsoft Technology Licensing, Llc Updating services during real-time communication and sharing-experience sessions
US9477380B2 (en) * 2013-03-15 2016-10-25 Afzal Amijee Systems and methods for creating and sharing nonlinear slide-based mutlimedia presentations and visual discussions comprising complex story paths and dynamic slide objects

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080307324A1 (en) * 2007-06-08 2008-12-11 Apple Inc. Sharing content in a videoconference session
US20110044438A1 (en) * 2009-08-20 2011-02-24 T-Mobile Usa, Inc. Shareable Applications On Telecommunications Devices
JP2012256278A (ja) * 2011-06-10 2012-12-27 Nec Corp コンテンツ共有システム、コンテンツ共有端末、サーバ、コンテンツ共有方法、および、コンピュータ・プログラム
JP2013016944A (ja) * 2011-07-01 2013-01-24 Active Node Co Ltd 携帯端末、携帯端末を用いた通信方法及びプログラム
US20140018053A1 (en) * 2012-07-13 2014-01-16 Lg Electronics Inc. Mobile terminal and controlling method thereof
US20140081633A1 (en) * 2012-09-19 2014-03-20 Apple Inc. Voice-Based Media Searching

Also Published As

Publication number Publication date
CN106716954B (zh) 2020-06-19
RU2702049C2 (ru) 2019-10-03
JP6700254B2 (ja) 2020-05-27
RU2017107454A (ru) 2018-09-07
EP3192220A1 (en) 2017-07-19
AU2015315114A1 (en) 2017-03-16
BR112017003124A2 (pt) 2017-11-28
KR20170051445A (ko) 2017-05-11
EP3192220B1 (en) 2021-08-04
RU2017107454A3 (ja) 2019-04-17
CA2959718C (en) 2022-05-17
MX2017002793A (es) 2017-06-19
US20160072861A1 (en) 2016-03-10
CN106716954A (zh) 2017-05-24
US10057305B2 (en) 2018-08-21
CA2959718A1 (en) 2016-03-17
WO2016040535A1 (en) 2016-03-17
KR102350329B1 (ko) 2022-01-11
AU2015315114B2 (en) 2019-03-21

Similar Documents

Publication Publication Date Title
JP6700254B2 (ja) 通話中のリアルタイム共有
US11169654B2 (en) Task completion across devices using a shared work space
US9432314B2 (en) Quick navigation of message conversation history
WO2020147665A1 (zh) 文件处理方法、装置、终端及存储介质
US10871868B2 (en) Synchronized content scrubber
JP6301555B2 (ja) アプリケーションを提示およびインストールするための装置、方法、およびグラフィカルユーザインタフェース
CN107113468B (zh) 一种移动计算设备以及实现的方法、计算机存储介质
US10212103B2 (en) Smart automatic composition of short messaging responses
US20160150009A1 (en) Actionable souvenir from real-time sharing
KR102213548B1 (ko) 전자 콘텐츠 저장소로부터 스크린샷을 자동으로 분리 및 선택하기 위한 기법
US10592534B2 (en) Automated aggregation of social contact groups
US20160150281A1 (en) Video-based user indicia on social media and communication services
WO2019242274A1 (zh) 一种内容处理方法及装置
WO2016049875A1 (en) Device and method for capturing, sharing and watching video messages
WO2016049882A1 (en) Device and method for capturing, sharing and watching video messages

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20170420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180813

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190530

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190826

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200218

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200408

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200430

R150 Certificate of patent or registration of utility model

Ref document number: 6700254

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250