JP2007208458A - 通信システム、通信端末および通信方法 - Google Patents

Abstract

【課題】リアルタイムで映像を送受信する通信システムにおいて、自分方で閲覧している任意の映像を相手方に送り、かつその映像に関する操作を相手方からもできるようにする。
【解決手段】通信端末１ｂの操作特定信号送信部１１ｆは、リモコン６０に入力された映像コンテンツに関係する操作を特定する制御パケット（操作特定信号）を通信端末１ａに送信する（Ｂ３）。通信端末１ａは、通信端末１ｂから操作特定信号を受信すると（Ａ３）、受信した操作特定信号に従って通信端末１ｂに入力された映像コンテンツに関係する操作を特定する（Ａ４）。通信端末１ａは、特定された映像コンテンツに関係する操作に応じた処理を行う（Ａ５）。
【選択図】 図１２

Description

本発明は通信システム、通信端末および通信方法に係り、特に画像ないし音声による双方向コミュニケーションを提供するシステム、端末および方法に関する。

従来、ある端末で閲覧しているコンテンツを所望の別の端末にも同じように表示させる技術が開発されている。例えば特許文献１によると、スペシャリストである営業活動支援者が操作するオペレータ用コンピュータ、およびオペレータ用コンピュータと遠隔した状態で営業担当者が操作するエージェント用コンピュータの両者に、プロキシモジュールと、プロキシモジュールからコンテンツキャッシュ更新イベントを受信することができるブラウザモジュールとを備えたプロキシサーバ付きブラウザをそれぞれ設定し、両仮想ブラウザ間の同期をとる。これらが設定されたコンピュータをネットワークで更新接続可能とし、オペレータ用コンピュータには更新情報取得用のＷｅｂサーバを接続して情報複写システムを構成し、オペレータ用コンピュータにおいて取得したＷｅｂページ等の閲覧対象情報が自動的に複写されて、エージェント用コンピュータに表示されるようにする。
特許公開２００３−１２２６９４号公報

ところで、ＴＶ電話、ＴＶ会議システムにみられるような通信ネットワークを介して接続された端末同士でリアルタイムに複数の映像を相互に交信する場合、自分方端末から相手方端末に送る映像の１つとして予め用意された静止画や動画を選択できるようにすると便宜である。

特許文献１の技術では、オペレータ用コンピュータで複写された閲覧対象がエージェントコンピュータに表示されるだけであり、自分方端末、相手方端末の双方が、所望の映像を相手に送り、かつ相手から受けるという双方向性は全く示唆されていない。

また、特許文献１の技術では、単にオペレータ用コンピュータの閲覧画面をエージェントコンピュータに複写するだけであり、エージェント用コンピュータで閲覧対象を自由に操作できるのか、仮に操作できたとしてもその操作がオペレータ用コンピュータでどのように扱われるのか不明である。

本発明の目的は、リアルタイムで映像を送受信する通信システムにおいて、自分方で閲覧している任意の映像を相手方に送り、かつその映像に関する操作を相手方からもできるようにすることにある。

上述の課題を解決するため、本発明は、被写体映像と映像コンテンツとを送信する送信側端末と、送信側端末から被写体映像と映像コンテンツとを受信して画面に表示する受信側端末とを備える通信システムにおいて、受信側端末は、画面に表示された映像コンテンツに関する各種の入力操作を受け付ける受信側操作部と、受信側操作部に入力された映像コンテンツに関する操作を特定する信号である操作特定信号を送信側通信端末に送信する操作特定信号送信部とを備え、送信側端末は、操作特定信号を受信する操作特定信号受信部と、操作特定信号受信部の受信した操作特定信号に従って受信側端末における映像コンテンツに関する操作を特定し、特定された受信側端末における操作を入力操作と見なす送信側操作部とを備える。

この発明によると、各種の映像コンテンツ入力系統から入力された映像コンテンツを送信側端末から受信する受信側端末から、その映像コンテンツに関係する操作を特定する信号を送信側端末に送る。送信側端末は、該信号に基づき、受信側端末でなされた入力操作を自分方の入力操作とみなす。これにより、受信側端末のユーザは、送信側端末から送られてくる相手の被写体映像と映像コンテンツと音声を視聴しながら、送信側端末に入力される映像コンテンツに関する遠隔操作を行うことができる。

特に、受信側端末と送信側端末の構成を組み合わせたものを新たに受信側端末ないし送信側端末とすれば、双方が互いに送受信する映像と音声によって対話しながら、相手方の端末に入力される映像コンテンツに関する操作を自分方の端末から遠隔で入力できる。

ここで、受信側端末は、受信した映像コンテンツと受信側操作部の受け付けた映像コンテンツに関する入力操作を示す映像とを合成して表示するとよい。

こうすると、受信側端末で行われた映像コンテンツに対する入力操作を受信側端末で視覚できる。

また、送信側端末は、１または複数の映像コンテンツの入力系統の一覧を画面に表示し、画面に表示された映像コンテンツの入力系統の一覧から送信側操作部への入力操作により任意に指定された入力系統の映像コンテンツを、受信側端末に送信してもよい。

ここで、１または複数の映像コンテンツの入力系統を例示すると、コンテンツサーバ、Ｗｅｂサーバ、可搬性記録媒体の情報読取装置、スチルカメラもしくはビデオカメラまたはこれらの一部または全部の組み合わせが挙げられる。

映像コンテンツに関する各種の入力操作の一例としては、プリント注文する画像の指定、再生映像の指定、映像コンテンツデータの元データのダウンロード要求が挙げられる。

本発明は、被写体映像と映像コンテンツとを相手方の通信端末に送信する通信端末であって、相手方の通信端末に入力された、映像コンテンツに関する操作を特定する信号である操作特定信号を相手方の通信端末から受信する操作特定信号受信部と、操作特定信号受信部の受信した操作特定信号に従って相手方の通信端末における映像コンテンツに関する操作を特定し、特定された相手方の通信端末における操作を入力操作と見なす送信側操作部と、を備える。

また、本発明は、相手方の通信端末から、被写体映像と映像コンテンツとを受信して画面に表示する通信端末であって、画面に表示された映像コンテンツに関する操作を特定する信号である操作特定信号を相手方の通信端末に送信する操作特定信号送信部を備える。

本発明は、被写体映像と映像コンテンツとを送信する送信側端末と、送信側端末から被写体映像と映像コンテンツとを受信して画面に表示する受信側端末とを備える通信システムで用いられる通信方法に関する。この方法は、受信側端末の画面に表示された映像コンテンツに関する入力操作を受け付けるステップと、受け付けられた映像コンテンツに関する操作を特定する信号である操作特定信号を送信するステップと、操作特定信号を受信するステップと、受信した操作特定信号に従って受信側端末における映像コンテンツに関する操作を特定し、特定された受信側端末における操作を送信側端末における入力操作と見なすステップと、を含む。

この発明によると、各種の映像コンテンツ入力系統から入力された映像コンテンツを送信側端末から受信する受信側端末から、その映像コンテンツに関係する操作を特定する信号を送信側端末に送る。送信側端末は、該信号に基づき、受信側端末でなされた入力操作を自分方の入力操作とみなす。これにより、受信側端末のユーザは、送信側端末から送られてくる相手の被写体映像と映像コンテンツと音声を視聴しながら、送信側端末に入力される映像コンテンツに関する遠隔操作を行うことができる。

特に、受信側端末と送信側端末の構成を組み合わせたものを新たに受信側端末ないし送信側端末とすれば、双方が互いに送受信する映像と音声によって対話しながら、相手方の端末に入力される映像コンテンツに関する操作を自分方の端末から遠隔で入力できる。

図１は本発明の好ましい実施形態に係る映像音声通信システムのブロック図である。このシステムは、同等の構成を有する通信端末１ａと通信端末１ｂとがインターネットなどのネットワーク１０を介して接続されており、互いに映像と音声を送受信する。

通信端末１ａと通信端末１ｂとは同様の構成であり、両者を区別するのはネットワークの通信相手を区別するためにすぎず、以下の説明において、両者の役割の全部または一部を入れ換えることもできることに注意を要する。両者をネットワークの通信相手として区別する必要がなければ、まとめて通信端末１と表すこともある。

ネットワーク１０は、例えばＡＤＳＬ、光ファイバ（ＦＴＴＨ）、ケーブルテレビなどのブロードバンドネットワークや、ＩＳＤＮなどのナローバンドネットワーク、ＵＷＢ（Ultra Wide Band）やＷｉ−Ｆｉ（Wireless Fidelity）といったＩＥＥＥ ８０２．ｘｘ準拠の無線通信などで構成される。

本実施形態では、ネットワーク１０は、所定値の帯域（通信速度）が常に確保できるかどうかは保証されていないベストエフォート型ネットワークを想定する。ネットワーク１０は、電話局と自宅の距離やADSLモデム間の通信速度、トラフィックの増減、セッションの相手方の通信環境などの各種要因で、公称されている最大帯域が実質的に制限されることがある。実効値が公称値の数分の一以下になる場合も多い。ネットワーク１０の帯域は、ビット毎秒（bps）で表される。例えば、ＦＴＴＨの公称帯域は１００Ｍｂｐｓなどが一般的であるが、実際には、数百ｋｂｐｓにまで制限されることがある。

通信端末１ａと通信端末１ｂとの接続経路は、ＳＩＰ（Session Initiation Protocol）サーバで構成された交換台サーバ６がネットワークアドレス（グローバルＩＰアドレスなど）、ポート、識別子（ＭＡＣアドレスなど）を用いて指定する。名称や電子メールアドレスなど通信端末１のユーザに関する情報や通信端末１の接続に関する情報（アカウント情報）はアカウントデータベース（ＤＢ）８ａ内に格納されており、アカウント管理サーバ８によって管理されている。アカウント情報はＷｅｂサーバ７を介してアカウント管理サーバ８に接続した通信端末１から更新・変更・削除することもできる。Ｗｅｂサーバ７は、メールを送信するメールサーバ、ファイルのダウンロードを行うファイルサーバも兼ねている。

通信端末１ａは、マイク３ａ、カメラ４ａ、スピーカ２ａ、モニタ５ａと接続され、カメラ４ａで撮影された映像とマイク３ａで集音された音声がネットワーク１０を介して通信端末１ｂに送信される。通信端末１ｂも、マイク３ｂ、カメラ４ｂ、スピーカ２ｂ、モニタ５ｂと接続され、同様に映像と音声とを通信端末１ａに送信できる。

通信端末１ｂが受信した映像と音声はモニタ５ｂ、スピーカ２ｂに出力され、通信端末１ａが受信した映像と音声はそれぞれモニタ５ａ、スピーカ２ａに出力される。なお、マイク３とスピーカ２はヘッドセットとして一体構成してもよい。

図２は通信端末１の詳細構成を示すブロック図である。

通信端末１の本体外面には、音声入力端子３１、映像入力端子３２、音声出力端子３３、映像出力端子３４が設けられており、それぞれマイク３、カメラ４、スピーカ２、モニタ５と接続される。

外部入力端子３０−１は、ＩＥＥＥ１３９４系の入力端子であり、デジタルビデオカメラ７０からＤＶ方式その他の仕様に従った動画像／静止画像／音声データの入力を受ける。外部入力端子３０−２は、デジタルスチルカメラ７１からＪＰＥＧ仕様その他の仕様に従った静止画像の入力を受ける。

音声入力端子３１に接続されたマイク３からオーディオデータ化部１４に入力された音声信号と、ＮＴＳＣデコーダ１５の生成した色差信号は、ＭＰＥＧ４エンコーダなどの高画質対応符号器で構成されたＣＨ１符号化部１２−１によってデジタル圧縮符号化されてストリームデータ（リアルタイム配信可能な形式のコンテンツデータ）に変換される。このストリームデータをＣＨ１ストリームデータとよぶ。

スイッチャ７８によってデータ入力元となった、Ｗｅｂブラウザモジュール４３がＷｅｂコンテンツサーバ９０からダウンロードした静止画像もしくは動画像、デジタルビデオカメラ７０からの静止画像もしくは動画像、デジタルスチルカメラ７１からの静止画像もしくは動画像、ストリーミングモジュール４４がストリーミングサーバ９１からダウンロードした動画像、または記録メディア７３からの動画像もしくは静止画像のいずれか１つ（以下、これらの画像入力元を、デジタルビデオカメラ７０等の映像コンテンツ入力元と略称することもある）を含んだ映像信号と、スイッチャ７８によってデータ入力元となった、ストリーミングモジュール４４がストリーミングサーバ９１からダウンロードした音声またはデジタルビデオカメラ７０からの音声を含んだ音声信号（以下、これらの音声入力元を、デジタルビデオカメラ７０等の音声入力元と略称することもある）とは、ＭＰＥＧ４エンコーダなどの高画質対応符号器で構成されたＣＨ２符号化部１２−２によってデジタル圧縮符号化されてストリームデータに変換される。このストリームデータをＣＨ２ストリームデータとよぶ。

ＣＨ２符号化部１２−２は、デジタルビデオカメラ７０等から入力される静止画を、動画像に変換して出力する機能を有する。この機能の詳細は後述する。

合成部５１−１は、ＣＨ１ストリームデータと、ＣＨ２ストリームデータとを合成したストリームデータ（合成ストリームデータ）を作成し、パケット化部２５に出力する。

合成ストリームデータはパケット化装置２５によってパケット化され、一旦送信バッファ２６に記憶される。送信バッファ２６は、通信インターフェース１３を介し、パケットを一定のタイミングでネットワーク１０に送出する。送信バッファ２６は、例えば、３０フレーム毎秒の動画像が取り込まれると、１パケットに１フレームのデータを記憶して送出する能力を有する。

なお、本実施形態では、ネットワーク１０の伝送帯域の減少が推定されても、伝送フレームレートを低下させること、すなわちフレームを間引くことは行わない。これは映像の動きがカクカクして滑らかでなくなるのを防ぐためである。

映像／音声データ分離部４５−１は、外部入力端子３０−１から入力された多重化データから映像データと音声データとを分離する。

映像／音声データ分離部４５−１によって分離された動画像データまたは静止画データは、それぞれ動画デコーダ４１または静止画デコーダ４２によって復号化された後、フレーム画像として所定時間間隔ごとに映像バッファ８０に一時的に記憶される。なお、映像バッファ８０に記憶される１秒あたりのフレーム数（フレームレート）は、後述のビデオキャプチャバッファ５４のフレームレート（例えば３０ｆｐｓ（frame per second））と合致させる必要がある。

映像／音声データ分離部４５−１によって分離された音声データは、音声デコーダ４７−２によって復号化された後、音声バッファ８１に一時的に記憶される。

ＮＴＳＣデコーダ１５は、カメラ４から入力されたＮＴＳＣ信号を輝度信号および色差信号に変換するカラーデコーダであり、ＮＴＳＣ信号 をＹ／Ｃ 分離回路により輝度信号と搬送色信号とに分離し、さらに搬送色信号を色信号復調回路により復調して色差信号（Ｃｂ，Ｃｒ）を生成する。

オーディオデータ化部１４は、マイク３から入力されたアナログオーディオ音声信号をデジタルデータに変換してオーディオキャプチャバッファ５３に出力する。

スイッチャ（スイッチング回路）７８は、制御部１１の制御に従い、映像バッファ８０への入力映像を、デジタルビデオカメラ７０の動画像もしくは静止画像、デジタルスチルカメラ７１からの静止画像、メディアリーダ７４によって記録メディア７３から読み込まれた動画像または静止画像のいずれか１つに切り替える。

合成部５１−２は、デジタルビデオカメラ７０等の映像コンテンツ入力元からの映像と、ＣＨ１復号化部１３−１、ＣＨ２復号化部１３−２から復号化された動画フレーム画像とを合成し、この合成画像を映像出力部１７に出力する。こうして得られた合成画像はモニタ５に表示される。

相手方の通信端末１は、ＣＨ１符号化部１２−１の符号化した映像データ、ＣＨ２符号化部１２−２の符号化した映像データをそれぞれストリーム化回路２２により個別にストリーム化したあと、ＣＨ１符号化部１２−１の符号化したストリームデータはＣＨ１復号化部１３−１で、ＣＨ２符号化部１２−２の符号化したストリームデータはＣＨ２復号化部１３−２でそれぞれ動画像ないし音声に復号化され、合成部５１−２に出力される。

合成部５１−２は、カメラ４の映像すなわち自分映像、ＣＨ１復号化部１３−１の復号化した動画像すなわち相手映像、およびＣＨ２復号化部１３−２の復号化した動画像すなわち映像コンテンツを、モニタ５の表示画面における表示エリアに収まるようリサイズして合成する。リサイズはリモコン６０から入力される表示モード切替に応じて行われる。

図３はモニタ５に表示される映像の配置の一例を示す。この図に示すように、モニタ３４には、相手方の通信端末１のカメラ４の映像（相手映像）が第１の表示エリアＸ１に、相手方の通信端末１のデジタルビデオカメラ７０等の映像コンテンツ入力元から入力された映像（映像コンテンツ）が第２の表示エリアＸ２に、自分方のカメラ４から入力された映像（自分映像）が第３の表示エリアＸ３に表示される。

第１の表示エリアＸ１ないし第３の表示エリアＸ３に配置される映像はこの図に示したものに限定されず、後述する表示モードの設定に応じて切り替わる。

その他、自分方のスイッチャ７８に対するデジタルビデオカメラ７０等の映像コンテンツ入力元その他の情報をリスト化したコンテンツメニューＭ、各種のメッセージやお知らせを表示するメッセージ＆情報表示エリアＹが、それぞれ１画面内に収まるよう縮小されて、各々重複しないエリアに表示される。

なお、この図では１表示画面中の各表示エリアＸ１〜Ｘ３が所定の面積比に従って分割表示されているが、この画面分割の仕方は色々変形可能である。また、複数映像全てを必ずしも１画面内で同時に表示する必要はなく、リモコン６０の所定操作に応じて表示モードを切り替え、自分映像のみ、相手映像のみもしくは映像コンテンツのみ、あるいはそれらの一部を組み合わせて表示するようにしてもよい。表示モードについては後述する。

コンテンツメニューＭではリモコン６０の操作によって任意の項目を選択できる。制御部１１は、リモコン６０の項目選択操作に応じて映像コンテンツの入力元をスイッチャ７８によって切り替える制御を行う。これにより、映像コンテンツとして表示すべき映像を任意に選択することができる。ここでは、「Ｗｅｂサーバ」項目を選択するとＷｅｂブラウザモジュール４３がＷｅｂコンテンツサーバ９０から取得したＷｅｂコンテンツ、「コンテンツサーバ」項目を選択するとストリーミングモジュール４４がストリーミングサーバ９１から取得したストリーミングコンテンツが、「ＤＶ」項目を選択するとデジタルビデオカメラ７０からの映像が、「スチル」項目を選択するとデジタルスチルカメラ７１からの映像が、「メディア」項目を選択すると記録メディア７３から読み込まれた映像が映像コンテンツとなる。

ＣＨ１符号化部１２−１は、オーディオキャプチャバッファ５３から供給されるマイク３からの音声のキャプチャデータを順次ＭＰＥＧ方式などに従って圧縮符号化する。符号化された音声データは、パケット化部２５によりパケット化されて相手方の通信端末１へストリーム送信される。

ＣＨ２符号化部１２−２は、スイッチャ７８によって音声入力元となった、ストリーミングモジュール４４からの音声またはデジタルビデオカメラ７０からの音声のいずれか一方（デジタルビデオカメラ７０等の音声入力元）をＭＰＥＧ方式などに従って圧縮符号化する。符号化された音声データは、パケット化部２５によりパケット化されて相手方の通信端末１へストリーム送信される。

ＣＨ１復号化部１３−１は、ＣＨ１符号化部１２−１が符号化した音声データを復号化する。ＣＨ２復号化部１３−２は、ＣＨ２符号化部１２−２が符号化した音声データを復号化する。

合成部５１−２は、ＣＨ１復号化部１３−１の復号化した音声データと、ＣＨ２復号化部１３−２の復号化した音声データとを合成し、この合成音声データを音声出力部１６に出力する。こうして、相手方の通信端末１のマイク３で集音された音声および相手方の通信端末１に接続されたデジタルビデオカメラ７０等から得られた音声が自分方のスピーカ２によって再生される。

帯域推定部１１ｃは、ネットワーク１０のジッタ（ゆらぎ）などから伝送帯域を推定する。

符号化制御部１１ｅは、推定された伝送帯域に応じてＣＨ１符号化部１２−１、ＣＨ２符号化部１２−２の映像伝送ビットレートを変化させる。即ち、伝送帯域が低下していくことを推定すれば映像伝送ビットレートを低下させ、伝送帯域が増加していくことを推定すれば映像伝送ビットレートを増加させる。こうすることで、伝送帯域を超えるパケット送出によりパケットロスが発生するのを防ぐことができ、伝送帯域の変化に応じたスムースなストリームデータ送信を行える。

帯域推定部１１ｃによる具体的な帯域推定は、例えば次のようにすればよい。相手方の通信端末１ｂからＳＲ(Sender Report)タイプのＲＴＣＰパケット（ＲＴＣＰ ＳＲ）を受信すると、ＲＴＣＰ ＳＲパケットのヘッダ内にあるsequence number fieldのシーケンス番号を計数することで受信したＲＴＣＰ ＳＲの損失数を算出する。そして、当該損失数が記述されたＲＲ(Receiver Report)タイプのＲＴＣＰパケット（ＲＴＣＰ ＲＲ）を相手方の通信端末１に送信する。ＲＴＣＰ ＲＲには、ＲＴＣＰ ＳＲの受信からＲＴＣＰ ＲＲの送信までの時間（便宜上応答時間と呼ぶ）も記述されている。

相手方の通信端末１ｂがＲＴＣＰ ＲＲを受信すると、ＲＴＣＰ ＳＲの送信時刻からＲＴＣＰ ＲＲの受信時刻までの時間から応答時間を引いた時間であるＲＴＴ（Round Trip Time）を算出する。また、ＲＴＣＰ ＳＲの送出パケット数とＲＴＣＰ ＲＲの損失数を参照し、定期期間内における(損失数)/(送出パケット数)=パケット損失率を算出する。このＲＴＴとパケット損失率を通信状態レポートとする。

監視パケットを出す間隔は、１０秒から数１０秒に一回あたりが適当と考えられるが、１回の監視パケット試行での推定では、ネットワーク状態が正確に把握できない時も多いため、複数回に分けて行い、その平均等を取って推定する方が推定確度は増す。監視パケットの数量を多くすると,それ自体が帯域を狭める要因ともなるので、全体の通信量の２−３％に留めておくのが好ましい。

なお、以上に説明した以外にも、各種のQoS(Quality of Service)制御技術を帯域推定部１１ｃに用いることで通信状態レポートを得ることができる。

なお、推定した伝送帯域に応じて音声符号化のビットレートを変化させてもよいが、音声の伝送帯域は映像に比較して帯域への寄与率が低いため、固定としても問題はない。

通信インターフェース１３を介して他の通信端末１から受信したストリームデータのパケットは一旦受信バッファ２１に記憶されたあと、一定のタイミングでストリーム化装置２２に出力される。受信バッファ２１のゆらぎ吸収バッファ２１ａは、当該パケットの伝送遅延時間が変動して到着間隔がばらついても、連続的な再生をするためにパケット受信から再生開始までに遅延を付加する。ストリーム化装置２２は、パケットデータをストリーム再生データに再構成する。

ＣＨ１復号化部１３−１、ＣＨ２復号化部１３−２はＭＰＥＧ４デコーダなどで構成された映像音声復号化装置である。

表示制御部１１ｄは、リモコン６０から入力された画面切替信号に応じて合成部５１−２を制御し、ＣＨ１復号化部１３−１で復号化した映像データ（ＣＨ１映像データ）と、ＣＨ２復号化部１３−２で復号化した映像データ（ＣＨ２映像データ）と、ＮＴＳＣデコーダ１５から入力した映像データ（自分映像）と、映像バッファ８０から入力した映像データ（映像コンテンツ）の全部もしくは一部を合成して出力する（合成出力）か、あるいはそれらの映像データのうちいずれか１つを他のものと全く合成しないまま出力する（スルー出力）。合成部５１−２から出力された映像データは映像出力部１７でＮＴＳＣ信号に変換されてモニタ５に出力される。

図４〜図９は合成された映像データを表示したモニタ５の画面を例示する。このそれぞれの画面は、リモコン６０による表示モード切替操作により順次切り替わる。

図４は、合成部５１−２がカメラ４からの映像データ（自分映像）だけを、その他の映像データと合成せずに映像出力部１７にスルー出力した場合におけるモニタ５の画面表示を示す。この画面では自分方のカメラ４で撮影した映像（自分映像）だけが全画面表示される。

図５は、合成部５１−２がＣＨ１復号化部１３−１からの映像データ（相手映像）だけを、その他の映像データと合成せずに映像出力部１７にスルー出力した場合におけるモニタ５の画面表示を示す。この画面では相手方のカメラ４で撮影した映像（相手映像）だけが全画面表示される。

図６は、合成部５１−２がＣＨ１復号化部１３−１からの映像データ（相手映像）と自分方のカメラ４からの映像データ（自分映像）とを合成して映像出力部１７に出力した場合におけるモニタ５の画面表示を示す。この画面では、相手映像と自分映像がそれぞれ表示エリアＸ１、Ｘ３に表示される。

図７は、合成部５１−２がＣＨ１復号化部１３−１からの映像データ（相手映像）とＣＨ２復号化部１３−２からの映像データ（映像コンテンツ）と自分方のカメラ４からの映像データ（自分映像）とを合成して映像出力部１７に出力した場合におけるモニタ５の画面表示を示す。この画面では、相手映像が表示エリアＸ１、映像コンテンツが表示エリアＸ２、自分映像が表示エリアＸ３に収まるようにリサイズされて表示される。かつ、表示エリアＸ１、Ｘ３は、表示エリアＸ１が表示エリアＸ３に比して大きくなるような所定の面積比を保っている。

図８は、合成部５１−２がＣＨ１復号化部１３−１からの映像データ（相手映像）とＣＨ２復号化部１３−２からの映像データ（映像コンテンツ）と自分方のカメラ４からの映像データ（自分映像）とを合成して映像出力部１７に出力した場合におけるモニタ５の画面表示を示す。この画面では、映像コンテンツが表示エリアＸ１、相手映像が表示エリアＸ２、自分映像が表示エリアＸ３に表示されている。

図９は、合成部５１−２がＣＨ２復号化部１３−２からの映像データ（映像コンテンツ）だけを、その他の映像データと合成せずに映像出力部１７にスルー出力した場合におけるモニタ５の画面表示を示す。この画面では映像コンテンツだけが表示される。

図１０は各表示エリアＸ１〜Ｘ３の面積比の一例を示す。ここでは、４：３の画面比の画面を９つのタイルに等分割し、表示エリアＸ１の面積は４タイル、表示エリアＸ２、Ｘ３の面積は１タイルとなっている。また、コンテンツメニュー表示エリアＭの面積は１タイル、メッセージ・情報表示エリアの面積は２タイルとなっている。

通信端末１ｂは、リモコン６０から画面切替信号が入力されると、その画面切替信号が入力されたことを示す制御パケットを、ネットワーク１０を介して通信端末１ａに送信する。同様の機能は通信端末１ａも有する。

符号化制御部１１ｅは、相手方の通信端末１から受信した制御パケットで識別される表示エリアＸ１、Ｘ２もしくはＸ３の面積比に応じ、相手方の通信端末１のモニタ５の表示エリアＸ１、Ｘ２もしくはＸ３にそれぞれ表示される映像（上記制御パケットで特定可能）の伝送帯域を推定伝送帯域の範囲内で割り当て、割り当てられた伝送帯域内にデータが収まるよう（パケットのオーバーフローが生じないよう）、ＣＨ１符号化部１２−１およびＣＨ２符号化部１２−２の量子化回路１１７を制御する。

なお、ＣＨ１復号化部１３−１、ＣＨ２復号化部１３−２で復号化された音声データは音声出力部１６でアナログ音声信号に変換されてスピーカ２に出力される。必要であれば、自分方のデジタルビデオカメラ７０等から入力された音声データとコンテンツデータに含まれる音声データとを合成部５１−２で合成して音声出力部１６に出力することもできる。

通信インターフェース１３には、ネットワーク端子６１が設けられており、この端子が各種ケーブルによりブロードバンドルータやＡＤＳＬモデムなどと接続されることでネットワーク１０と接続される。ネットワーク端子６１は単数または複数設けられる。

なお、通信インターフェース１３がファイアウォールやＮＡＴ機能（Network Address Translation、グローバルＩＰアドレスとプライベートＩＰアドレスの相互変換を行う）を有するルータと接続されると、ＳＩＰによる通信端末１同士の直接接続ができない問題（いわゆるＮＡＴ越え）が生じることが当業者で認識されている。通信端末１同士を直接接続して映像音声送受信の遅延を最小化するには、STUN(Simple Traversal of UDP through NATs)サーバ３０を利用したＳＴＵＮ技術や、UPnP(Universal Plug and Play) サーバによるＮＡＴ越え機能を通信端末１に実装することが好ましい。

制御部１１は、各種のボタンやキーから構成される操作部１８もしくはリモコン６０からの操作入力に基づいて通信端末１内の各回路を統括制御する。制御部１１は、ＣＰＵなどの演算装置で構成され、自分方表示モード通知部１１ａ、相手方表示モード検出部１１ｂ、帯域推定部１１ｃ、表示制御部１１ｄ、符号化制御部１１ｅ、操作特定信号送信部１１ｆの各機能を記憶媒体２３に記憶されたプログラムによって実現する。

各通信端末１を一意に識別するアドレス（必ずしもグローバルＩＰアドレスと同義ではない）、アカウント管理サーバ８が通信端末１を認証するのに必要なパスワード、通信端末１の起動プログラムは、電源オフ状態でもデータを保持可能な不揮発性の記憶媒体２３に記憶されている。ここに記憶されたプログラムは、アカウント管理サーバ８から提供されるアップデートプログラムにより最新のバージョンに更新できる。

制御部１１の各種処理に必要なデータは、一時的にデータを記憶するＲＡＭで構成されたメインメモリ３６に記憶される。

通信端末１にはリモコン受光回路６３が設けられており、このリモコン受光回路６３にはリモコン受光部６４が接続されている。リモコン受光回路６３は、リモコン６０からリモコン受光部６４に入射した赤外線信号をデジタル信号に変換して制御部１１へ出力する。制御部１１は、リモコン受光回路６３から入力したデジタル赤外線信号に応じて各種動作を制御する。

発光制御回路２４は、制御部１１の制御によって、通信端末１の外面に設けられたＬＥＤ６５の発光・点滅・点灯の制御を行う。発光制御回路２４にはコネクタ６６を介してフラッシュランプ６７を接続することもでき、発光制御回路２４は、フラッシュランプ６７の発光・点滅・点灯の制御も行う。ＲＴＣ２０は内蔵時計である。

図１１はＣＨ１符号化部１２−１、ＣＨ２符号化部１２−２に共通する要部構成を示したブロック図である。ＣＨ１符号化部１２−１・ＣＨ２符号化部１２−２（まとめて符号化部１２と表すこともある）は、画像入力部１１１、動きベクトル検出回路１１４、動き補償回路１１５、ＤＣＴ１１６、量子化回路１１７、可変長符号化器（ＶＬＣ）１１８、符号化制御部１１ｅ、静止ブロック検出部１２４、静止ブロック記憶部１２５等を備えている。この装置は、動き補償予測符号化と、ＤＣＴによる圧縮符号化を組み合わせたＭＰＥＧ方式の映像符号化装置の構成を一部含んでいる。

画像入力部１１１は、ビデオキャプチャバッファ５４や映像バッファ８０に蓄積された映像（カメラ４の動画像のみ、デジタルビデオカメラ７０等から入力された動画像もしくは静止画像のみ、あるいはそれらの動画像および静止画像の合成画像からなる動画像）をフレームメモリ１２２に入力する。

動きベクトル検出回路１１４は、画像入力部１１１から入力されたデータが表す現在のフレーム画像を、フレームメモリ１２２に記憶されている前のフレーム画像と比較することで、動きベクトルを検出する。この動きベクトルの検出は、入力された現在のフレーム画像を複数のマクロブロックに分割し、個々のマクロブロックを単位として、前のフレーム画像上に各々設定した探索範囲内で被探索マクロブロックを適宜動かしながら誤差演算を繰り返すことで、被探索マクロブロックに最も類似しているマクロブロック（誤差が最小となるマクロブロック）を探索範囲内から探し出し、該マクロブロックと被探索マクロブロックとのずれ量及びずれの方向を被探索マクロブロックについての動きベクトルとする。そして、各マクロブロック毎に求めた動きベクトルを各マクロブロック毎の誤差を考慮して合成することで、予測符号化における予測差分を最小とする動きベクトルを求めることができる。

動き補償回路１１５は、検出した動きベクトルに基づき予測用参照画像に対して動き補償を行うことで予測画像のデータを生成し、減算器１２３へ出力する。減算器１２３は、画像入力部１１１からから入力されたデータが表す現在のフレーム画像から、動き補償回路１１５から入力されたデータが表す予測画像を減算することで、予測差分を表す差分データを生成する。

減算器１２３にはＤＣＴ（離散コサイン変換）部１１６、量子化回路１１７、ＶＬＣ１１８が順次接続されている。ＤＣＴ１１６は、減算器１２３から入力された差分データを任意のブロック毎に直交変換して出力し、量子化回路１１７は、ＤＣＴ１１６から入力された直交変換後の差分データを所定の量子化ステップで量子化してＶＬＣ１１８へ出力する。また、ＶＬＣ１１８には動き補償回路１１５が接続されており、動き補償回路１１５から動きベクトルのデータも入力される。

ＶＬＣ１１８は、直交変換・量子化を経た差分データを２次元ハフマン符号により符号化すると共に、入力された動きベクトルのデータもハフマン符号により符号化し、両者を多重化する。そして、符号化制御部１１ｅから出力される符号化ビットレートに基づいて定められたレートで、可変長符号化動画像データを出力する。可変長符号化動画像データはパケット化部２５に出力され、画像圧縮情報としてネットワーク１０にパケット送出される。量子化回路１１７の符号量（ビットレート）は符号化制御部１１ｅによって制御される。

ＶＬＣ１１８の作成する符号化動画像データのデータ構造は、階層構造をなしており、下位から、ブロック層、マクロブロック層、スライス層、ピクチャ層、ＧＯＰ層およびシーケンス層となっている。

ブロック層は、ＤＣＴを行う単位であるＤＣＴブロックからなる。マクロブロック層は、複数のＤＣＴブロックで構成される。スライス層は、ヘッダ部と、１以上のマクロブロックより構成される。ピクチャ層は、ヘッダ部と、１以上のスライス層とから構成される。ピクチャは、１画面に対応する。ＧＯＰ層は、ヘッダ部と、フレーム内符号化に基づくピクチャであるＩピクチャと、予測符号化に基づくピクチャであるＰおよびＢピクチャとから構成される。Ｉピクチャは、それ自身の情報のみで復号化が可能であり、ＰおよびＢピクチャは、予測画像として前あるいは前後の画像が必要とされ、単独では復号化されない。

また、シーケンス層、ＧＯＰ層、ピクチャ層、スライス層およびマクロブロック層の先頭には、それぞれ所定のビットパターンからなる識別コードが配され、識別コードに続けて、各層の符号化パラメータが格納されるヘッダ部が配される。

スライス層に含まれるマクロブロックは、複数のＤＣＴブロックの集合であり、画面（ピクチャ）を格子状（例えば８画素×８画素）に分割したものである。スライスは、例えばこのマクロブロックを水平方向に連結してなる。画面のサイズが決まると、１画面当たりのマクロブロック数は、一意に決まる。

ＭＰＥＧのフォーマットにおいては、スライス層が１つの可変長符号系列である。可変長符号系列とは、可変長符号を復号化しなければデータの境界を検出できない系列である。ＭＰＥＧストリームの復号時には、スライス層のヘッダ部を検出し、可変長符号の始点と終点とを見つけ出す。

ここで、フレームメモリ１２２に入力された画像データが静止画のみであれば、全マクロブロックの動きベクトルは零となり、Ｉピクチャのみで復号化が可能となる。そうすると、Ｂ、Ｐピクチャを送らなくて済む。このため、ネットワーク１０の伝送帯域幅が狭まっても、静止画を動画として、比較的精細に相手方の通信端末１に送ることができる。

また、フレームメモリ１２２に入力された画像データが静止画と動画の合成画像であっても、静止画に相当するマクロブロックの動きベクトルは零となり、その部分はスキップドマクロとしてデータを送らずに済む。

フレームメモリ１２２に入力された画像データが静止画のみである場合は、フレームレートを落とし、その代わりＩピクチャの符号量を増やすようにしてもよい。これにより、動きのない静止画を精細に表示することができる。

自分方の通信端末１ａのスイッチャ７８によって静止画の入力元がＷｅｂブラウザモジュール４３、デジタルビデオカメラ７０、デジタルスチルカメラ７１またはメディアリーダ７３のいずれに切り替わっても、入力元の種類とは無関係に、静止画に相当する部分のマクロブロックが動きベクトル零となるようなフレーム動画像が相手方の通信端末１ｂにリアルタイムで送信される。このため、自分方の通信端末１ａでスイッチャ７８による静止画の入力元が不定期に切り替わっても、これに追従して、相手方の通信端末１に送信されるフレーム動画像がすみやかに切り替わり、結果的に相手方の通信端末１ｂで表示される静止画もすみやかに切り替わる。

次に、図１２のフローチャートに従い、通信端末１ａと通信端末１ｂとの間で行われる動作を説明する。

まず、通信端末１ａは、リモコン６０からデジタルビデオカメラ７０等の映像コンテンツ入力元を選択する信号（入力元選択信号）が入力された場合、制御部１１はこの入力元選択信号に従ってスイッチャ（スイッチング回路）７８を制御し、映像バッファ８０への入力映像を切り替える（Ａ１）。

通信端末１ａは、映像コンテンツ入力元から供給された映像コンテンツおよびカメラ４から供給された被写体映像をそれぞれ符号化してパケットデータを順次通信端末１ｂに送出する（Ａ２）。また、通信端末１ａにおいて行った映像コンテンツに対する操作を示す操作状態映像、例えばカーソルやマウスポインタの移動を示す映像を図示しないＯＳＤ回路などによって作成し、この操作状態映像を映像コンテンツと合成して送出してもよい。こうすると、通信端末１ｂにおいて通信端末１ａの操作状態を表示できる。

なお上述したように、通信端末１ａは、デジタルスチルカメラ７１などから入力された静止画像も動画像としてリアルタイム送出することに注意を要する。

通信端末１ｂは、通信端末１ａから受信したパケットをストリーム化し、リモコン６０で設定された表示モードに応じた表示エリアに被写体映像もしくは映像コンテンツの一方またはそれらの両方をモニタ５ｂに再生表示する（Ｂ１）。

通信端末１ｂは、モニタ５ｂに再生表示された映像コンテンツに関係する操作をリモコン６０から受け付ける（Ｂ２）。「映像コンテンツに関係する操作」の具体例は後述する。

通信端末１ｂの操作特定信号送信部１１ｆは、リモコン６０に入力された映像コンテンツに関係する操作を特定する制御パケット（操作特定信号）を通信端末１ａに送信する（Ｂ３）。

通信端末１ａは、通信端末１ｂから操作特定信号を受信すると（Ａ３）、受信した操作特定信号に従って通信端末１ｂに入力された映像コンテンツに関係する操作を特定する（Ａ４）。

通信端末１ａは、特定された映像コンテンツに関係する操作に応じた処理を行う（Ａ５）。

さて、「映像コンテンツに関係する操作」と「特定された操作に応じた処理」を映像コンテンツの入力元ごとに例示列挙すると、次のようになる。

・映像コンテンツの入力元がデジタルスチルカメラ７１や記録メディア７３であれば、「映像コンテンツに関係する操作」は、現にモニタ５ｂに再生表示されている静止画像のうちプリント注文する静止画像の指定。あるいは該再生表示されている静止画像の元画像ファイル自体を通信端末１ａから通信端末１ｂに送信するよう通信端末１ａに要求するコマンドの指定。あるいは再生表示したい静止画像を、デジタルスチルカメラ７１や記録メディア７３に記録されている画像の中で、あるいは予め閲覧の許可された画像（例えば閲覧許可する画像のみを振り分けたフォルダ内の画像やＤＰＯＦフォーマットで記録された画像）の中で任意に切り替える指定。また、「特定された操作に応じた処理」とは、プリント注文する静止画像として指定された静止画像をプリント店９３に送信すること。あるいは通信端末１ｂから送信要求された静止画像の元画像ファイルを通信端末１ｂに送信すること。あるいは再生表示したい静止画像として指定された静止画像をストリーム送信すること。

・映像コンテンツの入力元がデジタルビデオカメラ７０であれば、デジタルビデオカメラ７０に記録されている映像コンテンツの中で再生したい映像の指定。あるいは現に再生されている映像コンテンツの再生開始、再生終了、早送り、巻き戻し、一時停止、一時停止解除の指定。あるいは該再生表示されている動画像の元画像ファイル自体を通信端末１ａから通信端末１ｂに送信するよう通信端末１ａに要求するコマンドの指定。また、「特定された操作に応じた処理」とは、指定に応じた映像コンテンツのストリーム送信の開始、終了、映像の早送り、映像の巻き戻し、映像の一時停止、映像の一時停止解除。あるいは通信端末１ｂから送信要求された動画像の元画像ファイルを通信端末１ｂに送信すること。

・映像コンテンツの入力元がＷｅｂコンテンツサーバ９０であれば、現に表示されているＷｅｂページの上下左右のスクロール、拡縮、移動の指定。あるいは、現に表示されているＷｅｂページに埋め込まれたハイパーリンク先へのジャンプの指定。商品購入フォームなど各種入力フォームへの情報の入力と入力された情報のＷｅｂコンテンツサーバ９０への送信の指定。また、「特定された操作に応じた処理」とは、指定に応じて必要なＷｅｂコンテンツのダウンロード、必要なデータのアップロード。

・映像コンテンツの入力元がストリーミングサーバ９１であれば、現に再生されている映像コンテンツの早送り、巻き戻し、一時停止、再生再開の指定。「特定された操作に応じた処理」とは、指定に応じた映像コンテンツのストリームのダウンロードの開始、終了、ダウンロードした映像の再生、早送り、巻き戻し、一時停止、一時停止解除。

これらの動作を図で例示すると次のようになる。例えば、通信端末１ａにおいて、映像コンテンツの入力元として「スチル」すなわちデジタルスチルカメラ７１がモニタ５ａのコンテンツメニュー表示エリアＭから選択されたとする（図１３）。この場合、デジタルスチルカメラ７１に記憶されている静止画像ファイルのファイル名の一覧がモニタ５ｂのコンテンツメニュー表示エリアＭに表示される（図示は省略）。

通信端末１ｂにおいて、この一覧から所望の画像ファイル名をリモコン６０の操作で選択すると、選択されたファイル名を示す操作特定信号が通信端末１ａに送信される。通信端末１ａは操作特定信号を受信すると、操作特定信号に従って、通信端末１ｂで選択されたファイル名と該ファイル名の付与された静止画像ファイルをデジタルスチルカメラ７１内で特定し、この静止画像ファイルに記録される静止画像を動画像としてストリーム送信する。

通信端末１ｂのモニタには、コンテンツメニュー表示エリアＭから選択された静止画像のストリーム動画像が映像コンテンツとして表示されるとともに、相手方のカメラ４ａで撮像した被写体（相手映像）も自分方のカメラ４ｂで撮像した被写体（自分映像）も表示される（図１４）。

表示された静止画像が気に入れば、通信端末１ｂから通信端末１ａに対してプリント注文やアルバム作成依頼をプリント店９３に送信するよう要求したり、ストリーム動画像でなく静止画像ファイルそのものを送るように通信端末１ａに対して要求するコマンドを送信することもできる。

相手方のユーザとは、映像および音声でコミュニケーションを取りながら互いに同じ静止画像を同時に閲覧していくことができるため、遠隔した当事者同士が同じ画像についてリアルタイムで対話したりプリント注文すべき画像を決めることができる。

ただし、プリント注文やアルバム作成依頼に関しては、無制限に認めると不都合なので、通信端末１ａのリモコン６０などの操作によって許可が入力された場合にのみ注文指示をプリント店９３に送信するようにしてもよい。

また、デジタルスチルカメラ７１内のどの画像も自由に閲覧されると困る場合もあるから、通信端末１ａのリモコン６０などの操作によって許可が入力された場合にのみ、通信端末１ｂのコンテンツメニュー表示エリアＭから選択された静止画像のストリーム動画像を送るようにしてもよい。

あるいは、例えば、通信端末１ａにおいて、映像コンテンツの入力元として「ＤＶ」すなわちデジタルビデオカメラ７０がモニタ５ａのコンテンツ表示エリアＭから選択されたとする（図１５）。この場合、デジタルスチルカメラ７１に記憶されている動画像ファイルのファイル名の一覧がモニタ５ｂのコンテンツメニュー表示エリアＭに表示される（図示は省略）。

通信端末１ｂにおいて、この一覧から所望の画像ファイル名をリモコン６０の操作で選択すると、選択されたファイル名を示す操作特定信号が通信端末１ａに送信される。通信端末１ａは操作特定信号を受信すると、操作特定信号に従って、通信端末１ｂで選択されたファイル名と該ファイル名の付与された動画像ファイルを特定し、この動画像ファイルに記録される動画像をストリーム送信する。

通信端末１ｂのモニタ５ｂには、選択された動画像が映像コンテンツとして表示されるとともに、相手方のカメラ４ａで撮像した被写体も表示される（図１６）。

この場合もやはり相手方のユーザと映像および音声でコミュニケーションを取りながら互いに同じ動画像ファイルを同時に閲覧していくことができるため、遠隔した当事者同士が同じ動画像についてリアルタイムで対話することができる。

あるいは、例えば、通信端末１ａにおいて、映像コンテンツの入力元として「コンテンツサーバ」すなわちストリーミングサーバ９１がモニタ５ａのコンテンツ表示エリアＭから選択されたとする（図１７）。この場合、ストリーミングサーバ９１に記憶されている動画像コンテンツのコンテンツ名の一覧がモニタ５ｂのコンテンツメニュー表示エリアＭに表示される（図示は省略）。

通信端末１ａにおいて、この一覧から所望のコンテンツ名をリモコン６０の操作で選択すると、選択されたコンテンツ名を示す操作特定信号が通信端末１ａに送信される。通信端末１ａは操作特定信号を受信すると、操作特定信号に従って、通信端末１ｂで選択されたコンテンツ名と該コンテンツ名の付与された動画像コンテンツを特定し、この動画像コンテンツをストリーミングサーバ９１からダウンロードした上、このダウンロードした動画像をストリーム送信する。ストリーミングサーバ９１からのデータは通信端末１ａを介して通信端末１ｂに送られるため、ストリーミングサーバ９１から通信端末１ｂへデータ送信する必要がなく、ストリーミングサーバ９１の負荷は増加しない。

通信端末１ｂのモニタには、選択された動画像が映像コンテンツとして表示されるとともに、相手方のカメラ４ａで撮像した被写体も表示される（図１８）。

この場合もやはり相手方のユーザと映像および音声でコミュニケーションを取りながら互いに同じ動画像コンテンツを同時に閲覧していくことができるため、遠隔した当事者同士が同じ動画像についてリアルタイムで対話することができる。

あるいは、例えば、通信端末１ａにおいて、映像コンテンツの入力元として「Ｗｅｂサーバ」すなわちＷｅｂコンテンツサーバ９０がモニタ５ａのコンテンツ表示エリアＭから選択されたとする（図１９）。この場合、Ｗｅｂコンテンツサーバ９０に記憶されているＷｅｂコンテンツ（例えばＷｅｂページ）のコンテンツ名の一覧がモニタ５ｂのコンテンツメニュー表示エリアＭに表示される（図示は省略）。

通信端末１ｂにおいて、この一覧から所望のコンテンツ名をリモコン６０の操作で選択すると、選択されたコンテンツ名を示す操作特定信号が通信端末１ａに送信される。通信端末１ａは操作特定信号を受信すると、操作特定信号に従って、通信端末１ｂで選択されたコンテンツ名と該コンテンツ名の付与されたコンテンツを特定し、このＷｅｂコンテンツをＷｅｂコンテンツサーバ９０からダウンロードした上、このダウンロードしたＷｅｂコンテンツを動画像としてストリーム送信する。通信端末１ｂのモニタには、選択されたＷｅｂコンテンツが映像コンテンツとして表示されるとともに、相手方のカメラ４ａで撮像した被写体も表示される（図２０）。リモコン６０による表示モード切り替えに応じて、Ｗｅｂコンテンツの表示位置を表示エリアＸ１に、相手方の被写体映像を表示エリアＸ２に表示してもよい（図２１）。

また、通信端末１ｂは、自分方のリモコン６０等から入力された操作状態を示す映像（ポインタなど）を、通信端末１ａから受信した映像と合成して表示してもよい（図２１）。こうすると、通信端末１ｂで、相手方から受け取った映像に対する自分の操作状況がよく分かる。

ただし、通信端末１ａから指定された入力フォームへの情報が、通信端末１ｂに送られると不都合な場合もあるので、通信端末１ａのリモコン６０などの操作によって許可が入力された場合にのみＷｅｂコンテンツをストリーム送信してもよい。

また、Ｗｅｂコンテンツのアクセスに関しても、無制限に認めると不都合なので、通信端末１ａのリモコン６０などの操作によって許可が入力された場合にのみＷｅｂコンテンツをストリーム送信してもよい。

いずれにせよ、この場合もやはり相手方のユーザと映像および音声でコミュニケーションを取りながら互いに同じＷｅｂコンテンツを同時に閲覧していくことができるため、遠隔した当事者同士が同じＷｅｂコンテンツについてリアルタイムで対話することができる。

第１実施形態に係る映像音声通信システムのブロック図 通信端末のブロック図 モニタ５に表示される画面の一例を示す図 全画面自分映像表示モードの概念説明図 全画面相手映像表示モードの概念説明図 ＰｏｕｔＰ画面（通常対話）表示モードの概念説明図 ＰｏｕｔＰ画面（コンテンツ対話(１)）表示モードの概念説明図 ＰｏｕｔＰ画面（コンテンツ対話(２)）表示モードの概念説明図 全画面（コンテンツ対話(３)）表示モードの概念説明図 表示エリアを画定するタイルの概念説明図 符号化部の詳細ブロック図 通信端末の動作を示すフローチャート コンテンツ映像入力元として「スチル」すなわちデジタルスチルカメラが選択された状態を示す図 選択された静止画像のストリーム動画像が映像コンテンツとして表示されるとともに、相手方のカメラで撮像した被写体も表示された状態を示す図 コンテンツ映像入力元として「ＤＶ」すなわちデジタルビデオカメラが選択された状態を示す図 選択された動画像のストリーム動画像が映像コンテンツとして表示されるとともに、相手方のカメラで撮像した被写体も表示された状態を示す図 コンテンツ映像入力元として「コンテンツサーバ」すなわちストリーミングサーバが選択された状態を示す図 選択された動画像が映像コンテンツとして表示されるとともに、相手方のカメラで撮像した被写体も表示された状態を示す図 コンテンツ映像入力元として「Ｗｅｂサーバ」すなわちＷｅｂコンテンツサーバが選択された状態を示す図 選択されたＷｅｂコンテンツが映像コンテンツとして表示されるとともに、相手方のカメラで撮像した被写体も表示された状態を示す図 自分方のリモコン等から入力された操作を示す映像を、相手方の通信端末から受信した映像と合成して表示した状態を示す図

符号の説明

１１ａ：自分方表示モード通知部、１１ｂ：相手方表示モード検出部、１１ｅ：符号化制御部、１１ｆ：操作特定信号送信部

Claims (8)

1. 被写体映像と映像コンテンツとを送信する送信側端末と、前記送信側端末から被写体映像と映像コンテンツとを受信して画面に表示する受信側端末とを備える通信システムであって、
   前記受信側端末は、前記画面に表示された映像コンテンツに関する各種の入力操作を受け付ける受信側操作部と、前記受信側操作部に入力された映像コンテンツに関する操作を特定する信号である操作特定信号を前記送信側通信端末に送信する操作特定信号送信部とを備え、
   前記送信側端末は、前記操作特定信号を受信する操作特定信号受信部と、前記操作特定信号受信部の受信した操作特定信号に従って前記受信側端末における前記映像コンテンツに関する操作を特定し、特定された前記受信側端末における操作を入力操作と見なす送信側操作部とを備える通信システム。
2. 前記受信側端末は前記映像コンテンツと前記受信側操作部の受け付けた映像コンテンツに関する入力操作を示す映像とを合成して前記画面に表示する請求項１に記載の通信システム。
3. 前記送信側端末は、１または複数の映像コンテンツの入力系統の一覧を画面に表示し、前記画面に表示された映像コンテンツの入力系統の一覧から前記送信側操作部への入力操作により任意に指定された入力系統の映像コンテンツを、前記受信側端末に送信する請求項１または２に記載の通信システム。
4. 前記１または複数の映像コンテンツの入力系統は、コンテンツサーバ、Ｗｅｂサーバ、可搬性記録媒体の情報読取装置、スチルカメラもしくはビデオカメラまたはこれらの一部または全部の組み合わせを含む請求項１〜３のいずれかに記載の通信システム。
5. 前記映像コンテンツに関する各種の入力操作は、プリント注文する画像の指定、再生映像の指定、映像コンテンツデータの元データのダウンロード要求を含む請求項１〜４のいずれかに記載の通信システム。
6. 被写体映像と映像コンテンツとを相手方の通信端末に送信する通信端末であって、
   前記相手方の通信端末に入力された、前記映像コンテンツに関する操作を特定する信号である操作特定信号を前記相手方の通信端末から受信する操作特定信号受信部と、
   前記操作特定信号受信部の受信した操作特定信号に従って前記相手方の通信端末における前記映像コンテンツに関する操作を特定し、特定された前記相手方の通信端末における操作を入力操作と見なす前記送信側操作部と、
   を備える通信端末。
7. 相手方の通信端末から、被写体映像と映像コンテンツとを受信して画面に表示する通信端末であって、
   前記画面に表示された映像コンテンツに関する操作を特定する信号である操作特定信号を前記相手方の通信端末に送信する操作特定信号送信部を備える通信端末。
8. 被写体映像と映像コンテンツとを送信する送信側端末と、前記送信側端末から被写体映像と映像コンテンツとを受信して画面に表示する受信側端末とを備える通信システムで用いられる通信方法あって、
   前記受信側端末の画面に表示された映像コンテンツに関する入力操作を受け付けるステップと、
   受け付けられた映像コンテンツに関する操作を特定する信号である操作特定信号を送信するステップと、
   前記操作特定信号を受信するステップと、
   受信した操作特定信号に従って前記受信側端末における前記映像コンテンツに関する操作を特定し、特定された前記受信側端末における操作を前記送信側端末における入力操作と見なすステップと、
   を含む通信方法。
   

Images