JP2007053755A - 電子送信装置 - Google Patents

Abstract

【課題】ユーザ維持モードを使用して他のユーザと通信するときに、データの複数のストリームの配送を調整する
【解決手段】本発明の電子送信装置は、第１ユーザ維持モードを備える。該第１ユーザ維持モードは、第１および第２ビデオデータストリームの少なくとも一方が電子受信装置に送信される場合、該第１および第２ビデオデータストリームの他方の該電子受信装置への送信を制御する。第１ユーザ維持モードが能動的にユーザフィードバックを感知している間、第１および第２ビデオデータストリームの一方が電子受信装置に送信され、他方が保留される。当該電子送信装置および電子受信装置のユーザが、協調して、ビデオデータを共有することができるように、第１表示領域に表示されるビデオデータが、電子受信装置に送信される第１および第２ビデオデータストリームの一方と同期化される。
【選択図】図１

Description

本発明は、ユーザ維持モードによるオーディオストリームおよびビデオストリームを制御する方法、装置、および、該方法および装置の製品に関する。

モバイルおよび固定コンピュータ装置のユーザは、通信形態から選択する種々の形態と通信モードを有している。通信の形態には、テキスト、オーディオおよびビデオの一つまたはそれ以上の組み合わせが含まれ、通信モードには全二重または半二重が含まれている。通信の種々の形態とモードとを提供するために現存するサービスにはＳＭＳ（ショートメッセージサービス）、ＭＭＳ（マルチメディアメッセージサービス）、ＩＭ（テキストメッセージのようなインスタントメッセージ）およびＰＴＴ（プッシュトウトーク、例えば、ネクステルコミュニケーションインコーポレイテッド（Ｎｅｘｔｅｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｉｎｃ．）によるダイレクトコネクト（登録商標）ウォーキートーキー（Ｄｉｒｅｃｔ Ｃｏｎｎｅｃｔ Ｗａｌｋｉｅ−Ｔａｌｋｉｅ））が含まれる。これらの異なるサービスは、一つまたはそれ以上の通信プロトコル（例えば、ＰＯＴＳ、ＩＳＤＮ、ＣＤＭＡ、ＧＳＭおよびＩＰ）を使用する固定および／または無線通信ネットワークを使用して、作動することができる。

これらの異なる通信形態およびモードは、ユーザによる異なった責任レベルを要求するスタイルの種類および組み合わせを使用してユーザが通信することを可能にする。例えば、全二重通信はよりユーザ参入的(user-intrusive)であり、半二重通信よりも注意を必要とする。このユーザ参入式は「プライバシー」を単に低減する以上に深く通信に影響を与える。すなわち、インタラクションに入ったり、抜けたりする過程をどのように管理するかに影響する。接続を許容し、あるいは（例えば、電話会議において）接続の開状態の維持を許容することは、アテンション（注意を引くこと)に関する第三者の要求を拒否することが社会的に困難であること、を意味している。（さらなる背景については、非特許文献１および非特許文献２参照。）

アテンションに関する第三者の要求を拒否することに対する多数の社会的な困難は、全二重通信チャネルの性質に起因しており、チャネルの実時間観点あるいはチャネルがそれ自体「常開」であるという事実に起因していない。例えば、ＩＭは「開」を使用して双方向チャネルを作動する。非特許文献１におけるＩＭ使用の研究は、ユーザがＩＭを好む基本的理由を以下のように示している。すなわち、「チャネル」が開であり、また送られるべきメッセージのために常に利用可能であるにもかかわらず、メッセージが実際に送られるときにのみ情報が渡される、ことである。同様の結果が、半二重、「プッシュトゥトーク」（ＰＴＴ）セルラー音響通信サービスの使用に関する非特許文献２における研究にも見受けられる。すなわち、「常開」チャネルであっても、情報の送信が実際のメッセージに制限されるチャネルは、チャネルの相手が存在および／または利用可能であるかどうかを決定するために、チャネルの他方側が、チャネルを遡って「見る」ことができないことを意味している。

この情報(affordance)は「もっともらしい否認権(plausible deniability)」として知られることになった。ＩＭまたはＩＭライクなシステムにおいて、到来メッセージの無視、到来メッセージに対する応答の遅延または対話途中におけるメッセージに対する応答の停止は、社会的に、より許容される。「もっともらしい否認権」のために、他者はなぜ応答が来ないのか見極めることができず、一般的に応答の欠如につながる「何かが起こった」（例えば、先約、対話の同時発生(co-present conversation)等）と想定する。これは電話またはテレビ会議に使用されるのとは対照的に、ＩＭまたはＰＴＴが通信に使用されたときに、通信能力がより低いことを意味している。

ＭＭＳ、ＩＭまたはＰＴＴは（負荷が）軽い機能の通信機器を使用しており、これらの通信機器によって使用されるデータを共有するための解決策は、ユーザの所望する経験の共有（例えば、インタラクティブ共有）ではなく、通信機器の機能性（例えば、メッセージング、ブラウジング等）に向けられている。さらに、この種の軽い機能の通信機器は、しばしばインタラクティブ共有による対話において望まれる即時性を提供できない。この種の軽い機能の通信機器を使用しての対話中、データのインタラクティブ共有を満足させるために、対話中のデータ送信のアクティブコントロールを介して通信している相手側と情報が共有されていることを、ユーザは知る必要がある。そのようにするために、共有は一方向ではなく相互的でなければならない。さらに、このような共有は、その内容が一連のコントリビューションで明らかに関連を持つように、インタラクションにおいてユーザにデータの位置付けをさせることによって、実行されなければならない。このようにすることにより、ユーザは対話において一方向ではなく相互的にデ−タを共有し、また対話全体を通してそのアテンションに焦点を合わせることができる。
米国特許出願公開第２００４／０１８３７４９ Ａ１号明細書（「人と装置との間で通信する方法および装置（Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ Ｆｏｒ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｂｅｔｗｅｅｎ Ｈｕｍａｎｓ Ａｎｄ Ｄｅｖｉｃｅｓ）」） 米国特許出願公開第２００３／００５６２２０ Ａ１号明細書（「複数オーディオストリームおよび複数ビデオストリームを共有および制御するシステムおよび方法（Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｓｈａｒｉｎｇ Ａｎｄ Ｃｏｎｔｒｏｌｌｉｎｇ Ｍｕｌｔｉｐｌｅ Ａｕｄｉｏ Ａｎｄ Ｖｉｄｅｏ Ｓｔｒｅａｍｓ）」） ナーディ（Ｎａｒｄｉ，Ｂ．Ａ．）、ホワイタッカー（Ｗｈｉｔｔａｋｅｒ，Ｓ．）およびブラドナー（Ｂｒａｄｎｅｒ，Ｅ．）による「インタラクションおよびアウタラクション：アクションにおけるインスタントメッセージング（Ｉｎｔｅｒａｃｔｉｏｎ ａｎｄ ｏｕｔｅｒａｃｔｉｏｎ：Ｉｎｓｔａｎｔ Ｍｅｓｓａｇｉｎｇ ｉｎ Ａｃｔｉｏｎ）」、コンピュータ支援共同作業に関するＡＣＭ会議録（Ｐｒｏｃ．ＡＣＭ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｓｕｐｐｏｒｔｅｄ Ｃｏｏｐｅｒａｔｉｖｅ Ｗｏｒｋ）、ＡＣＭ、２０００年、頁７９〜８８ ウッドルフ（Ｗｏｏｄｒｕｆｆ，Ａ）およびアオキ（Ａａｏｋｉ，Ｐ．Ｍ．）による「プッシュトゥトークがいかにしてトークを押しつけないようにするか（Ｈｏｗ Ｐｕｓｈ−ｔｏ−Ｔａｌｋ Ｍａｋｅｓ Ｔａｌｋ Ｌｅｓｓ Ｐｕｓｈｙ）」、コンピュータ支援共同作業に関するＡＣＭ ＳＩＧＧＲＯＵＰ会議録（Ｐｒｏｃ．ＡＣＭ ＳＩＧＧＲＯＵＰ Ｃｏｎｆ．ｏｎ Ｓｕｐｐｏｒｔｉｎｇ Ｇｒｏｕｐ Ｗｏｒｋ）、ＡＣＭ、２００３年、頁１７０〜１７９ アリス オー（Ａｌｉｃｅ Ｏｈ）、ハロルド フォックス（Ｈａｒｏｌｄ Ｆｏｘ）、マックス ヴァン クリーク（Ｍａｘ Ｖａｎ Ｋｌｅｅｋ）、アアロン アドラー（Ａａｒｏｎ Ａｄｌｅｒ）、クルジスズトフ ガジョス（Ｋｒｚｙｓｚｔｏｆ Ｇａｊｏｓ）、ルイスフィリッペ モレンシー（Ｌｏｕｉｓ−Ｐｈｉｌｉｐｐｅ Ｍｏｒｅｎｃｙ）、トレヴァー ダレル（Ｔｒｅｖｏｒ Ｄａｒｒｅｌｌ）による「ルックトゥトークの評価：共同環境における注視知覚インターフェース（Ｅｖａｌｕａｔｉｎｇ Ｌｏｏｋ−ｔｏ−Ｔａｌｋ： Ａ Ｇａｚｅ−Ａｗａｒｅ Ｉｎｔｅｒｆａｃｅ Ｉｎ Ａ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｅｎｖｉｒｏｎｍｅｎｔ）」、ＣＨＩ ２００２ 議事録 テツロー チノ（Ｔｅｔｓｕｒｏ Ｃｈｉｎｏ）、カズヒロ フクイ（Ｋａｚｕｈｉｒｏ Ｆｕｋｕｉ）、カオル スズキ（Ｋａｏｒｕ Ｓｕｚｕｋｉ）、「ゲーズトゥトーク：メタコミュニケーション設備による非言語インターフェース（‘ＧａｚｅＴｏＴａｌｋ’：Ａ Ｎｏｎｖｅｒｂａｌ Ｉｎｔｅｒｆａｃｅ ｗｉｔｈ Ｍｅｔａ−Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｆａｃｉｌｉｔｙ）」、（ポスター・セッション）アイ・トラッキング・リサーチ・アンド・アプリケーションズ、２０００年； バハ ジャバリン（Ｂａｈａ Ｊａｂａｒｉｎ）、ジェイムズ ウ（Ｊａｍｅｓ Ｗｕ）、ロエル ヴァーテガアル（Ｒｏｅｌ Ｖｅｒｔｅｇａａｌ）およびレンコ グリゴロフ（Ｌｅｎｋｏ Ｇｒｉｇｏｒｏｖ）、「物理的知覚代用によるアイコンタクトを介する遠隔対話の確立（Ｅｓｔａｂｌｉｓｈｉｎｇ Ｒｅｍｏｔｅ Ｃｏｎｖｅｒｓａｔｉｏｎ Ｔｈｒｏｕｇｈ Ｅｙｅ Ｃｏｎｔａｃｔ ｗｉｔｈ Ｐｈｙｓｉｃａｌ Ａｗａｒｅｎｅｓｓ Ｐｒｏｘｉｅｓ）」、ＣＨＩ拡大アブストラクト、２００３年、頁９４８〜９４９

上記したように、ユーザが、データとインタラクションしながら、もしくは、ユーザがデータを参照しながら、経験を共有できる一方で、常開システムよりも低い責任レベルを保有する対話をユーザに許容する改善された（負荷が）軽い機能の通信機器の必要性が存続している。本発明は、ユーザ維持モードを使用して他のユーザと通信するときに、オーディオおよびビデオ、またはこれらの組み合わせのようなデータの複数のストリームの配送を調整する、改善された方法、装置、および、該方法および装置の製品を提供する。

本願で説明される種々の実施形態は、電子受信装置にデータストリーム（例えば、オーディオまたはビデオ）を送信する電子送信装置、電子送信方法、および、該装置および方法の製品を提供する。電子送信装置は、電子受信装置への異なるデータストリームの送信を制御するユーザ維持モードを有する。動作について説明すると、ユーザ維持モードが能動的にユーザフィードバックを感知している間、電子受信装置に目下送信されているデータストリームは保留され、ユーザ維持モードに関連するデータストリームがその代わりに送信される。電子送信装置および電子受信装置のユーザに対して、データを協調して共有させるために、電子受信装置に表示されたデータが、電子受信装置に送信されるデータストリームと同期化される。

本発明の種々の実施形態の一態様によれば、ユーザ維持モードは電子送信装置のユーザから検出される知覚フィードバックを使用する能動状態に維持される。この知覚フィードバックは測定可能な触覚的、視覚的、聴覚的または情動的ユーザ動作の一つまたはそれ以上の組み合わせからもたらされる。触覚的動作は、例えば、ボタンが押されたことを検出したとき、または、本体部分に固定された加速度計が動きを検出したときに測定される。視覚動作は、例えば、画像分析がターゲットへの注視を検出したときに測定できる。聴覚的動作は、例えば、オーディオ分析が、スピーチが継続していること、または、スピーチ音がないこと、を検出したときに測定できる。情動的動作は、例えば、皮膚応答センサまたは音声ストレス分析装置が継続する生物学的応答を検出したときに測定できる。

本発明の上記態様および上記以外の態様は、添付図面に関連する以下の説明から明白になるであろう。図面において、同様の構成要素には同様の参照符号を付す。

Ａ．用語の定義

以下に定義する用語は、特許請求の範囲および図面を含む本明細書全体にわたって以下に示される意味を有する。
「ビデオ」は、一連の画像または単一の画像を意味するために使用される。
「ユーザ維持モード」は、ユーザ維持動作を示す検出されたフィードバックの存在下で「アクティブ」すなわち「オン」状態に置かれているモード制御を意味するために使用され；モード制御は、ユーザ維持動作を示す検出されたフィードバックの不在下で「インアクティブ」すなわち「オフ」状態に置かれている。
「チャネル」は、二つまたはそれ以上の装置間に確立されたネットワークを介する全二重または半二重送信経路を意味するために使用される。

Ｂ．対話システム

図１は複数対話の各ユーザによって使用できる通信機（または電子装置）１００を示している。この通信機１００は、オーディオ通信およびビデオ通信を受信するように適応されたモバイルコンピュータ装置または固定コンピュータ装置であってもよい。実施形態によっては、通信機１００は一つまたはそれ以上のユーザ維持モード（ＵＭＭ）を検出するための一つまたはそれ以上のセンサを含んでもよい。ユーザ維持モードは、参加者間の共有応答を生成するために、同期式（すなわち、非同期の、メッセージ式ではない方法）で対話に参加している通信機間でオーディオおよびビデオを送信するために使用される。これにより、対話の参加者は自然に(conversationally) 内容に反応することができる。対話内でデータ（例えば、オーディオ、テキスト、画像および／またはビデオ）を同期化することによって、対話内で言及されたように、データを位置付けする自動機構をユーザ維持モードが提供する。

通信機１００は、ユーザ維持モードで使用する複数の表示領域１０２を含む。表示領域１０２は、各々別個の表示領域であってもよいし、１つの共通表示領域の部分（例えば、複数のウインドウを使用する単一表示スクリーン）として視認されてもよい。各表示領域は、別個であってもよいし、対話に参加するユーザ数によっては、各々が一つまたはそれ以上のビデオシーンを示すために分割される一つまたはそれ以上の表示スクリーンの組み合わせであってもよい。図１に示した実施形態において、表示領域１０２は、対話中に受信されるビデオを提示するための表示領域１０２Ａと、対話中に送信されるビデオを提示するための表示領域１０２Ｂと、テキスト、オーディオおよびビデオまたはこれらのいずれかの組み合わせのような、通信機１００（例えば、近距離位置または遠距離位置）からアクセスすることができるデータを選択する（例えば、ポインター制御装置１１２で）ための表示領域１０２Ｃと、を含む。

ここに開示する実施形態によれば、一つの通信機から別の通信機（または遠隔記憶ロケーションから双方の通信機へ）送信されるビデオデータが同期化され、これによって対話に参加するユーザは、異なる通信機で同時に出現する被送信および／または被受信ビデオを有することで自然な対話を経験する（例えば、同時にフィルムを見る）。これは、フィルムクリップについて話し合う対話に参加しているユーザに、自分たちの対話を自分たちの通信機上に表示されている画像データと同期化させる必要なく、フィルムの同じ瞬間を参照していることを知らせることができる。例えば、受信側通信機および送信側通信機で表示画像データの映像を同期化するため、送信中遭遇する遅延に応じて、送信側通信機または受信側通信機のいずれかで、投影(projection)が遅延される。

さらに、通信機１００はユーザ維持モードを作動するための複数のボタン１０４を含む。図１に示す実施形態において、ボタン１０４はユーザ維持モードを作動するためにユーザによって積極的に押圧されるスイッチであり、ボタンはユーザによって開放されると、その非作動状態に自動的に復帰する。別の方法において、ボタン１０４はユーザのタッチの存在を（例えば、圧力、キャパシタンスまたは熱を介して）検出するセンサであってもよい。ボタン１０４を押し下げると共に被ロック常オン位置に摺動させることによってユーザ維持モードを無効にすることができる（例えば、常オン位置に設定）。

ボタン１０４は種々のデータストリームの送信を制御する。すなわち、「プッシュトゥストリームマイク」ボタン１０４Ａは、マイクロフォン１０６によって記録されたオーディオデータの記録および／または送信を作動する。「プッシュトゥストリームオーディオ」ボタン１０４Ｂは、再生されている表示領域１０２Ｃを使用して選択された、またはスピーカ１０７で再生させるべく選択されたオーディオファイルのストリームを送信する。「プッシュトゥストリームカメラ」ボタン１０４Ｃは被捕捉媒体ストリーム（例えば、カメラ１０８によって記録されたビデオデータおよびマイクロフォン１０６によって捕捉されたオーディオデータ）の記録および／または送信を作動させる。「プッシュトゥストリームビデオ」ボタン１０４Ｄは再生されているかまたは再生されるよう選択された表示領域１０２Ｃを使用して、選択されたストリームビデオデータを送信する。ユーザ維持モードで制御されたデータストリームは、全二重または半二重チャネルを使用して通信機１００間で送信することができる。さらに、データストリームにおいて、ビデオデータは、オーディオのような付加的データ要素をビデオデータと共に含めることができる。

さらに、通信機は、一つまたはそれ以上の光源（例えば、光源１１０）と光センサ（例えば、光センサ１１１）を含んでいてもよい注視モニタを備えていてもよく、該注視モニタは、ユーザの目による注視の方向を記録し検出する。検出された注視はユーザ維持モードを作動させるために使用される（例えば、注視がターゲットに合焦されたままになっている間、ユーザ維持モードが作動する）。当該技術において知られているように、光源１１０は赤外線を放出してもよく、検出された瞳孔の中心と角膜の後方からの反射との相対位置を追跡することによって、注視をモニタするために、該赤外線は光センサ１１１によって検出される。一実施形態によれば、注視プロフィールを記録して、ユーザボタン１０４が作動されたときに、確立された各ユーザ規定可能位置と関連付けることができる。その後、較正がされると、異なるユーザ維持モードを規定する異なるターゲットに対する検出された注視を、対話中、画像データおよび音声データの送信を自動的に作動（および非作動）するように使用することができる。

公知の瞳孔／角膜反射（ＰＣＣＲ）法を使用する別の実施形態において、光センサ１１１は赤外線を感知するビデオカメラであり、従来の電荷結合素子（ＣＣＤ）および相補的酸化金属半導体（ＣＭＯＳ）画像センサに基づいた多数のカメラに当てはまる。さらに別の実施形態において、単一画像センサがカメラ１０８と光センサ１１１の両方を動作させるために使用される。注視モニタ操作に関する他の背景が、特許文献１、非特許文献３〜５に説明されている。

注視モニタおよび検出操作は、例えば、対話中に受信されたビデオを見るためにビデオ表示領域１０２Ａで、または、メモリ内に記憶されたビデオデータを見るためにビデオ表示領域１０２Ｃで、ユーザによって実行される注視の焦点を検出するために、ボタン１０５を使用して結合されてもよい。対話中、ユーザの焦点が、一つのビデオ表示領域から別の表示領域にターゲットを変更すると、例えば、対話の一部（例えば、画像またはビデオ・クリップ）を形成する部分を見るために選択された記録ビデオと、カメラ１０８によるユーザの記録ビデオと、の間で、ユーザに送信されたビデオを自動的に切り替えることができる。これによって、異なる注視ユーザ維持モードを使用して、対話中の関連する画像内容を自動的に位置付けする。

さらに、通信機はユーザ維持モードから知覚フィードバックを検出するための一つまたはそれ以上の入力ポート１１４を含めることもできる。より詳しく説明すると、ユーザ維持モード（すなわち、ＵＭＭ）を表すために通信機１００と一体化されるか、入力ポート１１４に結合される機構の例は、触覚的微細運動（例えば、ボタンを押す、キーをまわす、フットペダルを踏む、圧力センサを押圧する、ヒート・センサに触れる、コンピュータ映像を使用して身体位置をモニタする、データグローブのような触覚装置で身体運動を感知する）；触覚的粗大運動（例えば、コンピュータ映像によって測定できるジェスチャを保つ、着用した加速度計の動作を検出する）；視覚（例えば、コンピュータ映像によって測定できるターゲットに注視を保つ、プルキンエ画像に基づいたアイトラッカー等）；聴覚（例えば、一つまたはそれ以上のマイク、のど当て振動センサ、音響器官に向けられた超短パルスレーダーを含んでもよい音響モニタを使用して測定できる音声または非音声の継続）、および情動（電気皮膚反応センサ、筋電計または音声ストレスアナライザーの一つまたはそれ以上を含んでもよい情動モニタを使用して測定できる生物学的応答の継続）、を含むことができる。ユーザ維持モードを検出するためのこれらの機構の共通要素は、ユーザがモーダル(modal)動作を持続したいと欲する限り、一般的に運動感覚フィードバックを包含する動作を維持しなければならないことである。

Ｃ．ユーザ維持モードによる操作

図２はユーザ維持モードを使用する対話を実行する方法を示す。図２に示した方法は、プッシュトゥストリームカメラボタン１０４Ｃ（図１に示す）を使用して通信機１００Ａで作動する第１ユーザ維持モード（ＵＭＭ１）の使用と、ビデオストリーム用プッシュボタン１０４Ｄ（図１に示す）を使用して通信機１００Ａで作動する第２ユーザ維持モード（ＵＭＭ２）の使用を示す。これまでに説明したように、通信機１００Ａの出力表示装置１０２Ｂと通信機１００Ｂの入力表示装置１０２Ａとに表示されたビデオは、ＵＭＭ１およびＵＭＭ２を使用して送信が初期化された後、調整される。

より詳しく説明すると、図２は、通信機１００Ａを操作するユーザのカメラ１０８によって記録されたビデオ２０４と、通信機１００Ａのメモリ内に記憶されたビデオ２０６（例えば、被選択文書または画像のビデオ）と、の間を、ＵＭＭボタン１０４Ｃおよび１０４Ｄを使用してトグルする一つの方法を示す。通信機１００Ｂのユーザとの対話中に、異なる画像データ２０４と２０６との間でトグルする場合、作動中のおよび非作動中のＵＭＭ１とＵＭＭ２との間をトグルすることによって画像データ２０４と２０６とが関連するように、通信機１００Ａのユーザは対話中の異なる画像データ２０４と２０６を同期して位置付けすることができる。

別の実施形態において、図１に示したＵＭＭボタン１０４Ｃと１０４Ｄは、二つのボタンの代わりに、作動ＵＭＭ１とＵＭＭ２との間のトグルを伴う単一ボタンであってもよい。さらに、別の実施形態において、ボタン１０４Ｃまたは１０４Ｄのうち一つを被ロック位置に置くことができる（すなわち、維持するためにユーザによってユーザフィードバックが要求されないので、効率的にそのＵＭＭ状態をオフにすることができる）。一方、「常開」画像データストリーム２０４にデータ２０６を散りばめるために、通信機１００Ａのユーザは他の被ロックＵＭＭを作動（すなわち、開始）し、次に、不作動（すなわち、終了）にする。本実施形態において、常開画像データストリームを一時停止すると共に、別の画像データを散りばめるための割り込みとして、作動ＵＭＭボタンが効果的に作動する。さらなる実施形態において、両ＵＭＭボタン１０４Ｃと１０４Ｄが同時に作動して、送信を実行させ、続いて二つのストリームを通信機１００Ａの出力表示装置１０２Ｂと通信機１００Ｂの入力表示装置１０２Ａとに同時に表示させることができる。

Ｄ．別の操作実施形態

別の操作実施形態において、通信機１００は、特許文献２に記載の発明を使用して作動させることができる。この別の作動環境は、同期化方法によって無線機器間で共有される（負荷の）軽いマルチメディアコンテンツをサポートし、これによって、データストリームを制御するために、ユーザ維持モードを使用して装置間で配送されるコンテンツに、ユーザは自然に反応することができる。この別の実施形態において、例えば、日時、ロケーション、通信の相手、送信遅延および実行される操作に基づいて、記録データに関して採る動作を規定することができる通信機に設定されたユーザの好みによって、選択されたオーディオデータおよび／またはビデオデータを優先付けるための種々のスキームと関連して、図１に示したプッシュトゥストリームオーディオボタン１０４Ｂとプッシュトゥストリームビデオボタン１０４Ｄとを使用することができる。

本実施形態の一つの例において、マルチメディアプレゼンテーションが記憶源（例えば、図１に示した通信機１００のメモリまたはメディアフレームバッファ）からアクセスされ、通信機１００を操作するユーザに提示された後、プッシュトゥストリームボタンが、オーディオまたはビデオのサイドコメントを（例えば、図１に示された表示装置１０２Ｃとポインター制御装置１１２を使用して）位置付けするために使用できる。その後、マルチメディアプレゼンテーションは、通信機を操作する少なくとも一人のユーザに同時に送信される。操作について説明すると、通信機１００は、ピーキングおよびスレ−ビングのような同期化の異なるモードをユーザに提供するように適応された、（特許文献２に開示されたような）制御装置およびインタラクティブプログラムを含んでいてもよい。ピーキングは、別のユーザが見るかまたは聞いているものをユーザが見たり、聞いたりできる場合の一時的な短い時間である。スレ−ビングは、ユーザが受信中の通信機に接続でき、かつ、ユーザの端末が提示しているものを提示する場合の一時的な長い時間である。受信中の通信機はユーザがキャンセル命令を発するまでスレーブ状態を維持する。

本実施形態の別の例において、各通信機は、これまでに説明し、図２に示したプッシュ共有に加え、プルモードのデータ共有に適応することができる。プッシュ共有は、受信者の事前許諾または情報（例えば、受信者のプロフィールおよびシステム、またはユーザの状態、例えば、受信者のホワイトリスト、対話への参加等による）を伴うデータまたは伴わないデータを送信する通信機を包含しているのに対し、プル共有はデータを求める通信機を包含する。

本実施形態のさらに別の例において、各通信機１００Ａおよび１００Ｂは、ビデオデータまたは画像データ２０６（例えば、動画クリップまたは画像のような選択された文書のビデオデータまたは画像データ）のローカルコピーを記憶（または事前記憶もしくはキャッシュ）するように適応されている。代替的な実施形態において、図２に示したように異なるビデオデータまたは画像データ２０４および２０６間でトグルする場合、通信機１００Ａを操作するユーザのカメラ１０８によってリアルタイムに記憶されたデータのみが通信機１００Ｂに送信される必要がある。よって、被選択ビデオのローカルコピーが通信機１００Ｂに記憶される場合、被選択ビデオのローカルコピーで再生の開始と終了がなされる時間（または位置）を送信することによって、通信機１００Ａは通信機１００Ｂに図２に示したビデオデータストリーム２０６を送信することができる。

Ｅ．その他

図１に示した通信機１００を好適に使用することによって、通信機１００のユーザは、一つまたはそれ以上のユーザ維持モードを使用して、種々のソース（例えば、捕捉または事前記録された）からもたらされる別の形態のデータ（例えば、オーディオおよび／またはビデオ）を対話に差し挟むことができる。通信は、同期内容の共有および通信を可能にするユーザ維持モードを伴う装置を使用して実行される。各ユーザ維持モードは、共有対話経験を生成するために、ユーザ生成フィードバックを介して、データ送信を開始し、終了することによって、対話中の内容を位置付けするための（負荷の）軽いインターフェースを可能にする。

ユーザ維持モードでストリーム中へのデータを差し挟むことを同期化することにおいて、ユーザは対話における同様の応答を共有することができ、これはより自然な対話の経験に貢献する。さらなる利点は、全ての通信チャネルがユーザ維持モードを使用して制御される場合に、全体としてのインタラクションが「もっともらしい否認権」を有することである。これは、社会的に受容できる、便利で（負荷の）軽い方法で、ユーザが自己の対応を管理することを可能にする。なお、同一のユーザ維持モードのもっともらしい拒否権の目的のために、活性化作用を全てのストリームに適用したり、または、ストリームが送信されるチャネルが半二重（全二重とは対照的に）であったりする必要はない。必要なのは、各ストリームの送信が、積極的（もしくは能動的）ユーザ制御のある形態下にあることのみである。

当業者は、通信機１００が有線汎用コンピュータ（例えば、マルチメヂィアワークステーション）またはモバイル汎用コンピュータ（例えば、カメラ付き携帯電話）、またはこれらの組み合わせ（例えば、ドッキングステーションを伴うマルチメディアラップトップ）で実施することができることを認識できるであろう。この種の汎用コンピュータはハードウエアおよびソフトウエアを含む。ハードウエアは、例えば、メモリ（ＲＯＭ，ＲＡＭ等）（例えば、ユーザ維持モードを操作するための処理命令を記憶する）、プロセッサ（すなわち、ＣＰＵ）（例えば、処理命令を実行するためにメモリに結合された）、固定記憶装置（例えば、ＣＤ−ＲＯＭ、ハードドライブ、フロッピー（登録商標）ドライブ、テープドライブ等）、ユーザＩ／ＯおよびネットワークＩ／Ｏを備えている。ユーザＩ／Ｏにはカメラ、マイクロフォン、スピーカ、キーボード、ポインティングデバイス（例えば、ポインティングスティック、マウス等）および表示装置が含まれていてもよい。ネットワークＩ／Ｏは例えばインターネットのようなネットワークに接続される。汎用コンピュータのソフトウエアは、オペレーティングシステムおよびユーザ維持モードの機能を提供するアプリケーションソフトウエアを含む。

さらに、プログラミングソフトウエア、ファームウエア、ハードウエア、もしくは、これらの任意の組み合わせを生成するための標準的なプログラミングおよび／または工学技術を使用することによって、機械（すなわち、システム）、プロセス（すなわち、方法）、もしくは製品として、上記実施形態が実施されてもよいことが当業者には認識されるであろう。図１および図２に関する記載は、異なる可能な実施形態の理解を提供することを意味することが当業者には理解されるであろう。したがって、動作の順番の変更、少なくとも一の動作の平行実行、および／または、いくつかの動作の追加または削除が、代替的な実施形態においてなされてもよい。

複数相手との対話の各ユーザによって使用できる通信機を示す図である。 ユーザ維持モードを使用して対話を実行する方法を示す図である。

符号の説明

１００ 通信機
１０２ 表示領域
１０４ ボタン
１０６ マイク
１０７ スピーカ
１０８ カメラ
１１０ 光源
１１１ 光センサ

Claims (3)

1. データストリームを電子受信装置と通信する電子送信装置であって、
   前記電子受信装置に送信されるビデオデータストリームを表示する第１表示領域と、
   第１ビデオデータストリームを記録するカメラと、
   第２ビデオデータストリームの少なくとも一部を記憶するメモリと、
   前記第１ビデオストリームおよび第２ビデオデータストリームの少なくとも一方が前記電子受信装置に送信される場合、該第１ビデオストリームおよび第２ビデオデータストリームの他方の該電子受信装置への送信を制御する第１ユーザ維持モードと、
   を備え、
   前記第１ユーザ維持モードが能動的にユーザフィードバックを感知している間、前記第１ビデオデータストリームおよび第２ビデオデータストリームの一方が前記電子受信装置に送信され、該第１ビデオデータストリームおよび第２ビデオデータストリームの他方が保留され、
   当該電子送信装置および前記電子受信装置のユーザが、協調して、ビデオデータを共有することができるように、前記第１表示領域に表示されるビデオデータが、前記電子受信装置に送信される前記第１ビデオデータストリームおよび第２ビデオデータストリームの一方と同期化される、
   電子送信装置。
2. データストリームを電子受信装置と通信する電子送信装置であって、
   前記電子受信装置から受信されるオーディオデータストリームと、該電子受信装置に送信されるオーディオデータストリームと、の少なくとも一つを再生するスピーカと、
   第１オーディオデータストリームを記録するマイクロフォンと、
   第２オーディオデータストリームを記憶するメモリと、
   前記第１オーディオデータストリームおよび第２オーディオデータストリームの少なくとも一方が前記電子受信装置に送信される場合、該第１オーディオデータストリームおよび第２オーディオデータストリームの一方の送信を制御する第１ユーザ維持モードと、
   を備え、
   前記第１ユーザ維持モードが能動的にユーザフィードバックを感知している間、前記第１オーディオデータストリームおよび第２オーディオデータストリームの一方が前記電子受信装置に送信され、該第１オーディオデータストリームおよび第２オーディオデータストリームの他方が保留され、
   注視モニタを動作状態に維持するために、当該電子送信装置を操作しているユーザがターゲットに対する注視を維持している限り、前記第１ユーザ維持モードが動作される、
   電子送信装置。
3. データストリームを電子受信装置に通信する電子送信装置であって、
   前記電子受信装置から受信されるオーディオデータストリームおよび該電子受信装置に送信されるオーディオデータストリームの少なくとも一つを再生するスピーカと、
   第１オーディオデータストリームを記録するマイクロフォンと、
   第２オーディオデータストリームを記憶するメモリと、
   前記第１オーディオデータストリームおよび第２オーディオデータストリームの少なくとも一方が前記電子受信装置に送信される場合、該第１オーディオデータストリームおよび第２オーディオデータストリームの他方の送信を制御する第１ユーザ維持モードと、
   を備え、
   前記第１ユーザ維持モードが能動的にユーザフィードバックを感知している間、前記第１オーディオデータストリームおよび第２オーディオデータストリームの一方が前記電子受信装置に送信され、該第１オーディオデータストリームおよび第２オーディオデータストリームの他方が保留され、
   当該電子送信装置を操作しているユーザが、情動モニタを動作状態に維持するように、生物学的応答を維持している限り、前記第１ユーザ維持モードが作動される、
   電子送信装置。

Images