JP2004259263A - アプリケーション連携システム、アプリケーション連携方法、およびネットワーク端末装置 - Google Patents

Abstract

【課題】 発表している地点から離れた多地点において、発表内容の映像や音声を途切れることがなく表示、再生可能であり、さらに装置内部の演算処理の負担を軽減できるアプリケーション連携システム等を提供する。
【解決手段】 発信側装置に、発信側装置上で動作しているアプリケーションへの指示を出力する第一のアプリケーション制御部と、第一のアプリケーション制御部から出力された指示を上記受信側装置に送信する送信部とを備え、受信側装置に、上記発信側装置からの上記指示を受信する受信部と、受信した指示を当該受信側装置上で動作するアプリケーションに出力する第二のアプリケーション制御部とを備えるアプリケーション連携システムを提供する。
【選択図】 図２

Description

本発明は、マルチメディア会議において、発表者が利用するアプリケーションの動作に連動して会議の参加者のアプリケーションを動作させるアプリケーション連携システム、ネットワーク端末装置等を提供するものである。

現在、各種の通信事業者により、一般消費者あるいは企業ユーザを対象とした様々な通信サービスが提供されている。これら通信サービスの一つとして、多地点の一般電話、携帯電話、ＰＨＳ等を結んで同時に会話を実施する音声会議サービスが提供されている（例えば、コーラスラインサービス）。

一方で、インターネット市場の拡大に伴い、Ｗｅｂ上において文字データ、画像データ、音楽等のデータ系の情報を多数のユーザが共有するテキスト会議サービス、テキストチャット型サービスも提供されている（例えば、Ｗｅｂ会議室）。

上記のような音声会議サービスやテキスト会議サービスである、ネットワーク提供型会議サービスでは、ユーザニーズやビジネス形態の多様化を背景に、リアルタイムの音声会議サービスとデータ系サービスの相互連動の実現が望まれている。

また、近年では、ＶｏＩＰ（Voice over IP）技術の進展により、インターネットなどのＩＰ（Internet protocol）パケット網上で、双方向のリアルタイム音声通信を行うインターネット電話というアプリケーションも普及し始めている。

そこで、従来のマルチメディア会議サービスを提供するシステムは、画像情報の共有部、ホワイトボード共有部、話者画面の表示部、任意情報の検索部、任意情報の掲示部、会議での議事録作成部の中の何れか１つ以上を装備したデータ系会議と、リアルタイム音声会議との連動を実現している。また、音声会議においては、電話端末のような回線交換用音声通信端末と、インターネット電話端末のようなＶｏＩＰ通信端末が混在したマルチメディア会議サービスを提供している（例えば、特許文献１参照。）。
特開２００１−２９２１３８号公報（第１−７項、第２図）

一般的に、伝送媒体共有型のネットワークを用いて通信している場合は、ある端末がある時刻に伝送できる情報量は、その瞬間に他の端末が伝送している情報量によって左右される。このため、ある端末がデータを伝送しようとするとき、すべて遅延無く伝送できる保証はない。実際に、発表者の映像と音声に加えて発表者側の端末装置に表示しているアプリケーションの出力映像を同時に送信しようとする場合には、送信すべきデータ量が多大となるため、音声データと画像データのズレや、トラフィック量の増大によるデータの伝達の遅延等が起こるといった問題がある。つまり、受信側では音声に対して画像が遅れて表示され、あるいは途切れたり、発表者の音声（会話）がその発声から明らかに遅れて到着する場合には会話がギクシャクしてしまったりするのである。

特に従来の技術では、発信元の端末装置ユーザが発表している映像を、ネットワークで接続された複数の受信側の端末装置に送信することで、多地点に存在する複数のユーザが発表している資料の映像を共有していた。また、これと同時に例えば発表者の映像を動画として送信していた。このため、発表している資料の映像が切り替わる度に資料の映像を受信装置側に送信しなければならず、資料の映像の切り替え毎にトラフィックの増大により発表者および資料の映像が途切れるという問題があった。なお、このような問題に対して、次世代インターネットプロトコルであるＩＰｖ６（Internet Protocol Version 6）が実装されようとしている。現行のＩＰｖ４（Internet Protocol Version 4）をベースに、管理できるアドレス空間の増大、セキュリティ機能の追加、優先度に応じたデータの送信などの改良を施したＩＰｖ６によれば、ネットワークカメラ（またはデジタルカメラ）のＡＶパケット情報を優先して送受信するように制御することができる。

しかし、特に、上述したマルチメディア会議サービスを提供する場合、文字が多用された画面に近接して使用するコンピュータと、動画をスクリーンから離れて見る家庭用ＴＶの双方で満足できる解像度を満たす必要があり、２Ｍ画素／フレームの解像度が必要とされている。これは、図１１に示すＨＤＴＶ１１００に該当し、即ちハイビジョン品質（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ：ＨＤ）レベルの解像度である。今後、このようなハイビジョン品質が通常となり、さらに複数のＡＶ情報が頻繁に送受信されるようになると、当然ネットワークのトラフィック量も増加する。このため、ＩＰｖ６の採用によりＡＶ情報を優先して送信するようにしてもネットワークトラフィック量に係る上記問題を完全に解決することはできないと考えられる。

さらに、受信側でのデータの処理においても問題が生じる。つまり発信元の端末装置における映像の切り替わりに伴い、受信端末装置では変化前の映像から変化後の映像に切り替える処理を行なうため、当該受信端末装置の内部処理が増大し、ＶｏＩＰによる音声を順次処理出来なくなるため音声が途絶えるという問題があった。この点においても、ハイビジョン化によるデータ量の増大により、さらに顕著な問題となることが予想される。

本発明では、発表している地点から離れた多地点において、発表内容の映像や音声を途切れることがなく表示、再生可能であり、さらに装置内部の演算処理の負担を軽減できるアプリケーション連携システム、ネットワーク端末装置等を提供することを目的とする。

本発明は、上記目的を達成するために以下の手段を採用している。すなわち、本発明は、ネットワークを介して接続された発信側装置、受信側装置間でアプリケーションを連携動作させるアプリケーション連携システムを前提としている。ここで、発信側装置に、発信側装置上で動作しているアプリケーションへの指示を出力する第一のアプリケーション制御部と、第一のアプリケーション制御部から出力された指示を上記受信側装置に送信する送信部とを備える。つまり、第一のアプリケーション制御部は、自装置上で動作しているアプリケーションに指示を送信すると共に、送信部が当該指示を受信側装置にも送信するのである。そして、受信側装置には、発信側装置からの上記指示を受信する受信部と、受信した指示を受信側装置上で動作するアプリケーションに出力する第二のアプリケーション制御部とを備える。

以上によれば、発信側装置のアプリケーションにより出力されている発表資料の映像データを送信することなく、受信側装置でも発表資料を連動して表示させることが可能であるため、ネットワークのトラフィック量の軽減と受信側装置の演算処理の負担を軽減し、発表している地点から離れた多地点において、発表者の映像や音声及び発表資料のアプリケーション出力映像を途切れることがなく出力することができる。

また、発信側装置または受信側装置の少なくとも一方に、相手側装置にて動作しているアプリケーション種、アプリケーションの状態、アプリケーション上で使用されているアプリケーションデータ、の少なくとも１つについて自装置との整合性をチェックするアプリケーション・データ管理部を備える構成がある。

この構成では、発表者側のアプリケーションで利用しているアプリケーションデータと、その他の会議参加者のアプリケーションで利用しているアプリケーションデータとが異なり、アプリケーション連携動作がおかしくなるというような不具合を回避することができる。

また、送信部は、受信側装置のアドレス情報と、上記受信側装置上で動作するアプリケーションが利用するコンテンツと、当該コンテンツを上記受信側装置に送信する旨の送信指示とを所定のサーバに送信すると共に、受信部は、上記サーバより上記コンテンツを受信して上記受信側装置上で動作するアプリケーションに引き渡す構成がある。

さらに、送信部は、上記受信側装置上で動作するアプリケーションが利用するコンテンツを所定のサーバに送信し、当該サーバのアドレス情報を上記受信側装置の受信部に送信すると共に、受信部は、受信した上記サーバのアドレス情報に基づいて上記サーバより上記コンテンツを受信し、上記受信側装置上で動作するアプリケーションに引き渡す構成としてもよい。

このようにすれば、発信側装置は会議等でコンテンツが必要となる以前の適当な時にコンテンツをサーバに送信しておくことができ、あるいは使用するコンテンツがサーバに格納された後であれば、各地点の事情に応じて適当な時にコンテンツを受け取ることができる。

また、発信側装置は、さらに映像入力部に入力された映像信号と音声入力部に入力された音声信号とアプリケーション制御部から出力された指示とを同期させて送信部に出力する第一の時間制御部を備え、受信側装置は、同期された映像信号と音声信号と指示とを受け取り当該映像と音声と指示とを同期させて出力する第二の時間制御部を備える構成がある。

この構成では、同期を行うことで音声データと画像データのズレや、トラフィック量の増大によるデータの伝達の遅延等の問題を緩和することが可能となる。

なお、映像入力部より入力される映像信号が、ハイビジョン品質の映像の信号である場合には、映像が占めるデータ量が多大になり、さらに受信側装置でも大量の処理が必要になるため本発明による効果が顕著に現れる。

ここで、アプリケーション連携システム、ネットワーク端末装置は、コンピュータを用いて具体化することができる。その場合、上述した各部は、コンピュータ上でプログラムを動作させることにより具体化される。

本発明のアプリケーション連携システム、アプリケーション連携方法、およびネットワーク端末装置によれば、発信装置側のユーザが発表している資料の複製データを受信装置側にも設定してアプリケーションを動作させておいて、発信側装置のユーザからのアプリケーション出力切り替え指示または予め設定された条件に基づいて各拠点のアプリケーションから出力される映像信号を切り替える。結果として、ネットワークのトラフィック量の軽減と受信側装置の演算処理の負担を軽減し、発表している地点から離れた多地点において、発表者の映像や音声及び発表資料のアプリケーション出力映像を途切れることがなく出力することができるという効果を有する。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

（実施の形態１）
図１に、本発明のネットワーク端末装置を用いたマルチメディア会議システムにおけるアプリケーション連携システムの概要を説明するための概念図を示す。

ネットワーク端末装置１００、２００、３００は、マルチメディア会議システムにおけるユーザ側端末として利用される。また、ネットワーク端末装置１００は発表者が利用するものとして、発表者側に設置されており、ネットワーク端末装置２００、３００は各会議に参加する参加者の拠点に設置されているものとする。なお、以後、単に参加者と称した場合には発表者は含まないものとする。

各拠点のネットワーク端末装置１００、２００、３００は各々プロジェクター４００、５００、６００に接続されており、ネットワーク端末装置から出力される映像信号を受け取り、スクリーン８００、９００、１０００に受け取った映像を投影する。

本発明では、発表者側のネットワーク端末装置１００で発表資料のアプリケーションデータを映像信号としてプロジェクター４００へ出力し、発表者の指示または予め設定された条件に基づいてプロジェクター４００へ出力する映像信号を切り替えるようになっている。ここでいう発表者の指示とは、プロジェクター上に投影された映像を用いて実際に発表をしているユーザが、発表資料を出力しているアプリケーションに対して画面を切り替える指示をすることをいう。また、ここでいう予め設定された条件とは、発表資料を出力しているアプリケーションに対して、画面を切り替える指示のタイミングをユーザが予めアプリケーションに設定することで出力映像を自動的に切り替える場合のアプリケーションに設定する切り替えタイミングなどをいう。

ここで、図２を用いてネットワーク端末装置について説明する。図２にアプリケーション連携システムの構成を示すブロック図を示す。

図２におけるネットワーク端末装置１００は、以下に示す各部をバス１１２で接続することで具現化できる。

アプリケーション動作部１０１は、会議に利用する発表資料を読み込んで映像データに変換して出力するアプリケーションを動作させる。

入力指示部１１０は、アプリケーションが出力する映像の切り替えなどの指示を、当該装置に対してユーザが入力するためのものであり、マウスやキーボードなどが該当する。

アプリケーション制御部１０２は、入力指示部１１０から入力された発表者の指示または予め設定された条件に基づいて、上記アプリケーションに所定の動作をさせるための指示を出力する。

送信部１０３は、上記アプリケーション制御部１０２から出力される指示が該ネットワーク端末装置１００から発信された場合に、他のユーザが使用しているネットワーク端末装置（例えば、ネットワーク端末装置２００、３００）に送信する。

受信部１０４は、他のネットワーク端末装置（例えば、ネットワーク端末装置２００、３００）のユーザが、当該他のネットワーク端末装置で動作するアプリケーションに指示を行った場合に、その指示を受信する。

Ｉ／Ｆ処理部１０５は、当該ネットワーク端末装置１００の外部機器と通信を行うためのネットワークへの接続を行う。

ＩＰ音声変換部１０６は、インターネットなどのＩＰパケット網上で、双方向のリアルタイム音声通信を行うための、ＩＰパケット信号と音声信号との変換を行う。

スピーカー１０７は、上記ＩＰ音声変換部１０６で変換された音声信号を出力する。また、マイク１０８は、音声を音声信号として上記ＩＰ音声変換部１０６に入力する。

映像出力部１０９は、上記アプリケーション動作部１０１で動作しているアプリケーションから出力される映像信号を、当該ネットワーク端末装置１００に接続された表示部に出力する。

アドレス設定部１１１は当該装置のアドレス及び通信先装置のアドレスの入力を受け付け、入力されたアドレスを格納する。

アプリケーション・データ管理部１１５は、各装置間で動作するアプリケーションのバージョンや状態、読み込まれているアプリケーションデータの整合性（同一性）等をチェックする。

ネットワーク端末装置２００、３００は、上記ネットワーク端末装置１００と同様の機能を有するネットワーク端末装置である。なお、ネットワーク端末装置２００の２０１〜２１１またはネットワーク端末装置３００の３０１〜３１１は、ネットワーク端末装置１００の１０１〜１０９に対応した番号を付しており、同様に動作するものであるため、ここでは説明を省略する。

プロジェクター４００、５００、６００は各々ネットワーク端末装置１００、２００、３００に接続されており、上記映像信号出力部１０９、２０９、３０９からの映像信号を受けて（図２おいて図示省略の）スクリーンに映像を投射する。つまり上記表示部として機能する。

次に、アプリケーション連携システムの動作について図１、図２、図３を用いて説明する。図３はアプリケーション連携システムにおける処理の流れを示すフローチャートである。

ここで、図１、図２に示すネットワーク端末装置１００がＡ地点に設置されており、ネットワーク端末装置２００がＢ地点に、ネットワーク端末装置３００がＣ地点に設置されているとする。Ａ地点のネットワーク端末装置１００とＢ地点のネットワーク端末装置２００、及びＣ地点のネットワーク端末装置３００とはネットワーク７００を介して通信可能に接続されている。また、いずれか一つのネットワーク端末装置から他を呼び出して、呼び出しを受けたネットワーク端末装置のユーザが呼び出しに応答すると、双方向の音声通話が可能になる。以下、説明を簡単にするため、Ａ地点とＢ地点の２拠点間での会議を例に説明する。

まず、ネットワーク端末装置１００のアプリケーション動作部１０１上で動作するアプリケーションには、アプリケーションデータが発表で使用する発表資料として読み込まれている。そして、アプリケーション制御部１０２は、発表者の指示または予め設定された条件に基づいて上記アプリケーションに指示を送信し、結果として当該アプリケーションはプロジェクター４００へ出力する映像信号を切り替える。

また、発表者から会議参加者に対して事前に発表資料である電子ファイルを送付し、各地点（例えばＢ地点）の会議参加者は予め受け取った電子ファイルをネットワーク端末装置２００のアプリケーションに読み込むことで、発表者と同一条件、即ちスタンバイ状態にする（図３：ステップＳ１０１）。なお、Ａ地点とＢ地点で利用される上記アプリケーションは同一である。

この際、各ネットワーク端末装置に備えられたアプリケーション・データ管理部１１５、２１５、３１５は、スタンバイ状態にする電子ファイルが当会議で使用するものに相違ないか否かをそれぞれ通信でチェックするようにしても良い。例えば、当会議で使用するファイル名やファイルの作成日時などの発表資料に関する情報を、アプリケーション・データ管理部２１３アプリケーション・データ管理部１１３に問合せて、発表資料に関する情報が同じであるか否かをチェックする。このようにすれば、発表者側のアプリケーションで起動した発表資料と、その他の会議参加者のアプリケーションで起動した発表資料が異なり、アプリケーション連携動作がおかしくなるというような不具合を回避することができる。また同時に、上記アプリケーション・データ管理部は、利用されているアプリケーションがバージョンも含めて同一か否か、あるいは当該アプリケーションの状態が同一か否かをチェックするようにしてもよい。ここで言う状態とは、当該アプリケーションが入力可能状態であるか（フォーカスを有するか）や、アプリケーションの表示サイズが所定の範囲内にあるかといった状態である。当該チェックにより、アプリケーションの連携動作を保障するのである。

次に、各地点で使用するネットワーク端末装置の制御モードの設定を行う。例えば、発表者側のＡ地点で使用するネットワーク端末装置１００には、指示（アプリケーション制御信号）を入力指示部から受け取るモード（通常制御モード）とする。その他の会議参加者（例えばＢ地点）で使用するネットワーク端末装置２００の場合には、指示を受信部を介して外部から受け取るモード（遠隔制御モード）に設定する。（図３：ステップＳ１０２）。なお、当該設定は、入力指示部より制御モード信号を用いて行われる。

ここで、図２、図４を用いて制御モードによるアプリケーション制御部１０２、２０２、３０２の動作の違いについて説明する。図４はアプリケーション制御部の内部構成の概要を示すブロック図である。

第一のアプリケーション連携部１０２Ａは、ネットワーク端末装置１００の外部のアプリケーションを連携動作させるための指示を入力指示部１１０から受け取り、送信部１０３に送信する。

また、制御指示選択部１０２Ｃは、入力指示部１１０からの指示と受信部１０４にて受信した指示とを、上記予め設定された制御モードに基づいて選択的に出力する。つまり、制御モードが通常制御モードの場合、入力指示部より入力された指示をアプリケーション動作部、即ちアプリケーションに出力し、遠隔制御モードの場合、受信部にて受信した指示をアプリケーションに出力する。

第二のアプリケーション連携部１０２Ｂは、アプリケーション動作部上で動作しているアプリケーションに、制御指示選択部１０２Ｃから受け取った指示を送信する。

なお、ネットワーク端末装置２００の２０２Ａ、２０２Ｂ、２０２Ｃまたはネットワーク端末装置３００の３０２Ａ、３０２Ｂ、３０２Ｃは、ネットワーク端末装置１００の１０２Ａ、１０２Ｂ、１０２Ｃに対応した番号を付しており、同様に動作するものである。従って、ここでは２０２Ａ、２０２Ｂ、２０２Ｃまたは３０２Ａ、３０２Ｂ、３０２Ｃの説明を省略する。

上記各部による処理を一連の流れとして以下に記す。

各ネットワーク端末装置１００、２００は、アドレス設定部１１１、２１１を備えており、本体側のアドレス設定をすれば、ネットワークへの接続を実行するだけで双方向の通信が可能になる。すなわち、Ａ地点のネットワーク端末装置１００側のユーザが通信相手先（ここではＢ地点のネットワーク端末装置２００）を指定し、ネットワークを介して接続を実行する。これに対して、接続相手先が当該接続要求を受け入れると双方向通信が可能になる（図３：ステップＳ１０３→ステップＳ１０４）。

双方向の通信が可能になった状態で、Ａ地点のユーザとその他の地点（例えば、Ｂ地点）のユーザとの間で音声での通信が可能となる。また、この状態で、ネットワーク端末装置は、アプリケーションに対して制御指示があるか否かの待ち状態になる（図３：ステップＳ１０５）。

発表者は、入力指示部１１０からネットワーク端末装置１００に対してアプリケーション出力映像を切り替えるように指示する（あるいは、予めアプリケーションに切り替えタイミングを設定し、切り替えタイミングの設定に基づいてアプリケーション出力映像の切り替え指示行う）（図３：ステップＳ１０６）。会議の場において主に必要とされるアプリケーションへの指示はアプリケーションの出力映像の変更であるが、ここで言う、「アプリケーション出力映像を切り替える」指示とは、アプリケーションに対する何らかの指示をすべて含む。つまり、出力映像の切り替え以外の指示がアプリケーションに送信されても同様である。言い換えると、上記指示にはアプリケーションからの出力映像は含まれない。

ネットワーク端末装置１００のアプリケーション制御部１０２は、発表者の指示を受け取ると、当該指示をアプリケーション動作部１０１に送信する。また、アプリケーション制御部１０２は、送信部１０３を介してその他の会議参加者（例えばＢ地点）側で使用するネットワーク端末装置２００に対して上記指示を送信する（図３：ステップＳ１０７）。

ネットワーク端末装置２００は、発表者側のネットワーク端末装置１００から送信された上記指示を受信部２０４で受け取り、ネットワーク端末装置２００のアプリケーション制御部２０２に送信する（図３：ステップＳ１０８）。

アプリケーション制御部２０２は、受信したアプリケーションからの出力映像を切り替える制御指示をアプリケーションに送信する（図３：ステップＳ１０９）。これにより、ネットワーク端末装置２００側のアプリケーションから出力される映像は、Ａ地点のネットワーク端末装置１００からの指示に基づいて切り替えられ、結果として、Ａ地点のアプリケーション出力映像の切り替えに連動してＢ地点のアプリケーション出力映像を切り替えることが可能となる。

以上説明したように、本発明によれば、発表者側のネットワーク端末装置ユーザが発表している資料の複製データを受信側のネットワーク端末装置にも設定してアプリケーションを動作させておいて、発信元のネットワーク端末装置ユーザからのアプリケーション出力切り替え指示等に基づいて各拠点のアプリケーションから出力される映像信号を切り替えるようにしたので、大容量の画像データを受信側に送信する必要がない。結果として、発表している地点から離れた多地点において、発表内容の映像と同様の映像を途切れることなく、さらに遅延などを生じることなく再生することができる。また、映像に関して受信するデータはアプリケーションに対する指示のみであるため、装置内部の演算処理の負担を軽減することが可能となる。当然、各地点のアプリケーション、アプリケーションの状態、アプリケーションデータの整合性は、アプリケーション・データ管理部間の通信により保障される。

なお、会議中の音声信号は、各拠点のネットワーク端末装置のマイク１０８（２０８、３０８）から装置内に取り込まれてＩＰ音声変換部１０６（２０６、３０６）で音声信号から音声ＩＰパケットデータに変換される。ここで、ネットワーク端末装置１００のマイク１０８で取り込んだ音声信号を他地点のネットワーク端末装置２００、３００に送信する場合を例に音声の送信について説明する。ネットワーク端末装置１００のＩＰ音声変換部１０６で変換された音声ＩＰパケットデータは、送信部１０３からネットワーク７００を介して音声ＩＰパケットデータを送信する装置（例えば、ネットワーク端末装置１００）以外の会議に参加している他のネットワーク端末装置（例えば、ネットワーク端末装置２００、３００）へ送信される。音声パケットデータを受け取る側の装置（例えば、ネットワーク端末装置２００、３００）は受信部（例えば、２０４、３０４）で音声パケットデータを受信する。受信部で受信した音声パケットデータはＩＰ音声変換部（例えば、２０６、３０６）で音声信号に変換されて、スピーカ（例えば、２０７、３０７）で再生される。また、一台のネットワーク端末装置２００の受信部で複数の音声パケットデータを受け取った場合、音声パケットデータはＩＰ音声変換部２０６で音声信号に変換された後、に合成処理がされるようにしても良い。このようにすれば、複数の会議参加者の音声をリアルタイムで再生することができる。これに加えて、アプリケーションデータの切り替えを、従来のように表示データを送信するのではなく、上述したように表示切り替えの指示の送受信のみにより可能としたので、従来のリアルタイム型電話会議に比べて効率的かつ経済的にマルチメディア会議を実現できる。

また、上記説明では、アプリケーション出力映像切り替えを例にネットワーク端末装置１００側のアプリケーションとネットワーク端末装置２００側のアプリケーションが連携して出力映像を切り替える動作を説明したが、本発明はこれに限定されるものではなく、各地点のネットワーク端末装置の動作を同様に制御するための指示を送受信することによりその他の動作の連携についても同様に実現できる。

（実施の形態２）
本実施の形態２では、インターネット上のサーバにコンテンツを格納しておき、コンテンツが必要な時に、端末の一つからサーバに対してコンテンツの送信を要求する場合のアプリケーション連携システムについて説明する。

図５に本発明の実施の形態２に係るアプリケーション連携システムの概要を説明するための概念図を示す。

また、図６に本発明の実施の形態２に係るアプリケーション連携システムの構成を示すブロック図を示す。

ネットワーク端末装置Ａ１００、Ａ２００、Ａ３００はマルチメディア会議システムにおけるユーザ側のネットワーク端末装置である。また、ネットワーク端末装置Ａ１００は、発表者側に設置されており、ネットワーク端末装置Ａ２００、Ａ３００は各会議の拠点に設置されている。また、各ネットワーク端末装置Ａ１００、Ａ２００、Ａ３００は、実施の形態１のネットワーク端末装置１００、２００、３００と同様に構成されており、同様の機能を有するものとし、ここでは重複した説明は省略する。

サーバＡ８００はネットワーク端末装置からコンテンツ送信要求を受けて、各ネットワーク端末装置にコンテンツを送信するが、以下に示す各部をバス８０６で接続することで具現化できる。なお、図６のサーバＡ８００は、本実施の形態２で必要な構成要素のみを示すこととする。

コンテンツ格納部８０１は、外部からネットワーク７００や可搬記録メディアなどを介して受け取ったコンテンツを格納する。

ユーザ情報管理部８０２は、サーバへ例えば会議資料等のコンテンツを送信またはサーバからコンテンツを受信するユーザを管理する。

受信部８０４は、当該装置外部のネットワーク端末装置からコンテンツを受信または受信したコンテンツを当該装置外部の所定のネットワーク端末装置に配信する指示などを受信する。

送信部８０３は、上記受信部８０４で受信したコンテンツ配信指示に基づいて当該装置外部の所定のネットワーク端末装置へコンテンツを送信する。

Ｉ／Ｆ処理部８０５は、当該サーバＡ８００の外部機器と通信を行うために、ネットワークへの接続処理を行う。

次に、本実施の形態２のアプリケーション連携システムの動作について図５、図６、図７を用いて説明する。図７は本実施の形態２のアプリケーション連携システムにおける処理の流れを示すフローチャートである。ここでは主に実施の形態１と異なる処理について説明する。なお、実施の形態１と同様に図５、図６に示すネットワーク端末装置Ａ１００がＡ地点に設置されており、ネットワーク端末装置Ａ２００がＢ地点に、ネットワーク端末装置Ａ３００がＣ地点に設置されているとする。Ａ地点のネットワーク端末装置Ａ１００とＢ地点のネットワーク端末装置Ａ２００、及びＣ地点のネットワーク端末装置Ａ３００とはネットワーク７００を介して通信可能に接続されている。以下、説明を簡単にするため、Ａ地点とＢ地点の２拠点間での会議を例に説明する。

ネットワーク端末装置Ａ１００のアプリケーション動作部１０１で動作するアプリケーションには、予め発表で使用する資料が読み込まれている。そして、アプリケーション制御部１０２は、発表者の指示または予め設定された条件に基づいて出力される指示を、上記アプリケーションに送信する。この結果、アプリケーションが（図示省略の）プロジェクターに出力する映像が切り替わる。また、ネットワーク端末装置Ａ１００の送信部１０３は、発表で使用するコンテンツをサーバＡ８００へ送信する（図７：ステップＳ２０１）。

続いてサーバＡ８００は、ネットワーク端末装置Ａ１００からのコンテンツをネットワーク７００、Ｉ／Ｆ処理部８０５、受信部８０４を介して受け取り、コンテンツ格納部８０１に格納する（図７:ステップＳ２０２）。

なお、コンテンツの受け取り方法はネットワーク端末装置からネットワーク経由で受け取ることに限定されず、例えば、可搬媒体などを経由で受け取ることも可能である。また、コンテンツは、ネットワーク端末装置Ａ１００側の発表者の資料に限定されず、例えば、Ａ１００、Ａ２００、Ａ３００の各ネットワーク端末装置以外により作成されたものでも良い。この場合、各ネットワーク端末装置以外で作成されたコンテンツに対して各端末での使用権限が必要であることはいうまでもない。

さて、ネットワーク端末装置Ａ１００は他の端末Ａ２００を呼び出して双方向の通信が可能になると、コンテンツを他の端末に送信する旨の送信指示を、他の端末のアドレス情報と共にサーバＡ８００に対して送信する（図７：ステップＳ２０３）。

サーバＡ８００はネットワーク端末装置Ａ１００から受け取った他の端末のアドレス情報を基にコンテンツを他の端末に送信する（図７：ステップＳ２０４）。

各ネットワーク端末装置はサーバＡ８００からコンテンツを受け取り、各ネットワーク端末装置のアプリケーションでコンテンツを読み込む（図７：ステップＳ２０５）。

各地点のネットワーク端末装置にコンテンツ、すなわち発表で用いるアプリケーションデータの読み込みが完了したら、各地点のネットワーク端末装置で動作するアプリケーションのモードを設定する（図３：ステップＳ１０２）。

以降は、実施の形態１と同様に順次処理を実行する（図３：ステップＳ１０３〜Ｓ１０９）。

以上に説明した本実施の形態２のアプリケーション連携システムおよびアプリケーション連携方法によれば、受信側装置でコンテンツを使用する前に発信側装置からサーバへコンテンツを送信し、受信側装置はサーバを介して発信側装置からコンテンツ受け取る。したがって、発信側装置は会議等でコンテンツが必要となる以前の適当な時にコンテンツをサーバに送信しておくことができる。

なお、上記実施の形態２では、ネットワーク端末装置Ａ１００は他の端末Ａ２００を呼び出して双方向の通信が可能になった時点で、コンテンツを他の端末に送信するように他の端末のアドレスと共に送信指示をサーバＡ８００に対して送る例を説明したが、各ネットワーク端末装置がサーバＡ８００からコンテンツを受信するタイミングはこれに限定されず、ネットワーク端末装置Ａ１００側の発表者が実際にコンテンツを用いた発表を行う以前に各地点のアプリケーションが連携動作可能な状態に設定可能であれば良い。

例えば、コンテンツと配信先ネットワーク端末装置のアドレスとをネットワーク端末装置Ａ１００からサーバＡ８００に対して事前に送信しておき、サーバＡ８００はコンテンツをコンテンツ格納部８０１に格納すると共に、配信先ネットワーク端末装置のアドレスをユーザ管理部に登録しておく。また、ネットワーク端末装置Ａ１００は他の端末にコンテンツ取得先情報（ここではサーバＡ８００のアドレス情報など）を送信しておく。他のネットワーク端末装置Ａ２００はネットワーク７００に接続したら、サーバＡ８００にコンテンツ送信要求を出す。サーバＡ８００は他のネットワーク端末装置Ａ２００からコンテンツ送信要求を受けたら、ユーザ情報管理部のユーザアドレスとこれに対応したコンテンツを送信する。

このようにすれば、各ネットワーク端末装置はネットワーク７００に接続されて、通信可能な状態になったときにコンテンツ送信要求をサーバＡ８００に送ることでコンテンツを受け取ることができるので、使用するコンテンツがサーバＡ８００に格納された後であれば、各地点の事情に応じて適当な時にコンテンツを受け取ることができる。

また、上記実施の形態２では、ネットワーク端末装置Ａ１００、Ａ２００、Ａ３００は実施の形態１のネットワーク端末装置１００、２００、３００と同様の構成・機能を有すると説明したが、端末装置はネットワーク端末装置のように会議用の装置に特化したものでなくても、ここで説明した機能を実現し得る構成を有するもの、例えば、パーソナルコンピュータなどであっても良い。
（実施の形態３）
本実施の形態３では、映像と音声とアプリケーションの制御とを同期するアプリケーション連携システムについて説明する。

図８に、本発明の実施の形態３に係るアプリケーション連携システムのブロック図を示す。また、図９に本発明の実施の形態３に係る時間制御部のブロック図を示す。

ネットワーク端末装置Ｂ１００は、発表者側に設置されており、ネットワーク端末装置Ｂ２００、Ｂ３００は各会議の拠点に設置されている。また、各ネットワーク端末装置Ｂ１００、Ｂ２００、Ｂ３００は、実施の形態１のネットワーク端末装置１００、２００、３００と同様の機能を有するものであり、時間制御部１１３、２１３、３１３が各端末に追加されている。ここでは、実施の形態１で既に説明した同様の機能についての重複した説明は省略する。

以下に、時間制御部の処理について図８、図９、図１０を用いて説明する。

図８、図９に示す時間制御部１１３、２１３、３１３は、多重データ生成部１１３Ａ（２１３Ａ、３１３Ａ）と、再生タイミング制御部１１３Ｂ（２１３Ｂ、３１３Ｂ）とより構成されている。多重データ生成部１１３Ａ（２１３Ａ、３１３Ａ）は、映像信号、音声信号、アプリケーション制御信号を、所定周期の同期信号と同期させて多重化されたパケットデータを生成する。なお、アプリケーション制御信号とは、アプリケーションに対する指示を伝達する信号である。また、再生タイミング制御部１１３Ｂ（２１３Ｂ、３１３Ｂ）は、送信側端末装置から受け取ったパケットデータから映像信号、音声信号、アプリケーション制御信号をそれぞれ分離して映像と音声とアプリケーション制御とが同期するように制御する。

なお、ここでは、同期信号も一つのチャネルとして扱っているが、ビット多重方式のように多重データ生成時にフレーム区切りを示すための同期信号を一定周期で埋め込み、受信側ではこの同期信号を検出して、同期信号と各ビットが映像信号と音声信号とアプリケーション制御信号のどのメディアに対応するかを識別して同期するようにしても良い。

図８に示す映像入力部１１４、２１４、３１４は、端末装置側に設置された（図示省略の）デジタルカメラまたはネットワークカメラからの映像を当該端末装置に取り込む。

図９の多重データ生成部１１３Ａ、２１３Ａ、３１３Ａは、当該端末装置が送信側端末装置として動作するときに、映像入力部１１４からの映像信号とマイク１０８からの音声信号と、アプリケーション制御部１０２より出力されるアプリケーション制御信号と、同期信号とを多重化したパケットデータを生成して、送信部１０３、２０３、３０３に送信する。

図９の再生タイミング制御部１１３Ｂ、２１３Ｂ、３１３Ｂは、当該端末装置が受信端末装置として動作するときに、受信部１０４、２０４、３０４で受信したパケットデータから映像信号と音声信号とアプリケーション制御信号と同期信号とを分離して、映像と音声とアプリケーションデータの再生との同期を取りながら出力する。

図１０に本発明の実施の形態３に係るアプリケーション連携システムにおける映像信号と音声信号とアプリケーション制御信号と同期信号のタイミング図を示す。図１０Ａは、発表者側端末装置おけるタイミング図であり、図１０Ｂは、発表者以外の端末装置におけるタイミング図である。

図１０Ａに示す映像信号Ａは、発表者側端末装置であるネットワーク端末装置Ｂ１００の映像入力部１１４に接続された図示省略のデジタルカメラやネットワークカメラから入力された動画や静止画等より入力される。図１０Ａに示す音声信号Ａは、ネットワーク端末装置Ｂ１００のマイク１０８から入力される。図１０Ａに示すアプリケーション制御信号Ａは、ネットワーク端末装置Ｂ１００の内部のアプリケーションを制御するための信号であり、アプリケーション制御部１０２から出力される。図１０Ａに示す同期信号Ａは、ネットワーク端末装置Ｂ１００の内部の映像信号Ａと音声信号Ａとアプリケーション制御信号Ａとを同期させる基準となる信号であり、ネットワーク端末装置Ｂ１００内部で発生させる。

図１０Ｂの映像信号Ｂは、発表者以外の端末装置であるネットワーク端末装置Ｂ２００、Ｂ３００の映像入力部２１４、３１４に接続された図示省略のデジタルカメラまたはネットワークカメラから入力された動画や静止画等より入力される。図１０Ｂに示す音声信号Ｂは、ネットワーク端末装置Ｂ２００、Ｂ３００のマイク２０８、３０８から入力される。図１０Ｂに示す同期信号Ｂは、ネットワーク端末装置Ｂ２００、Ｂ３００の内部の映像信号Ｂと音声信号Ｂとを同期させる基準となる信号であり、ネットワーク端末装置Ｂ２００、Ｂ３００内部で発生させる。

まず最初に、発表者側端末装置としてのネットワーク端末装置Ｂ１００は、時間制御部１１３の多重データ生成部で図１０Ａに示すような各信号を同期させて多重データ化したパケットデータを生成して、送信部１０３により当該端末装置の外部に送信する。

発表者以外の端末装置であるネットワーク端末装置Ｂ２００、Ｂ３００は、上記パケットデータを受け取り、時間制御部２１３、３１３の再生タイミング制御部２１３Ｂ、３１３Ｂで同期させて出力（再生）する。すなわち、ネットワーク端末装置Ｂ２００、Ｂ３００は、受け取った映像信号Ａを（図示省略の）表示部の一部に表示し、音声信号Ａをスピーカー１０７で再生し、アプリケーション制御信号に基づいてアプリケーションに指示を送信する。結果として、指示を受信したアプリケーションは、アプリケーションデータを（図示省略の）表示部の一部に表示する。

一方、発表者以外の端末装置であるネットワーク端末装置Ｂ２００、Ｂ３００は、時間制御部２１３、３１３の多重データ生成部で図１０Ｂに示すような各信号を同期させて多重データ化したパケットデータを生成して、送信部２０３、３０３により当該端末装置の外部に送信する。このときの送信端側末装置でネットワーク端末装置Ｂ２００（またはＢ３００）以外の端末装置であるネットワーク端末装置Ｂ１００、Ｂ３００（またはＢ２００）は、パケットデータを受け取り、時間制御部１１３、３１３（または２１３）の再生タイミング制御部１１３Ｂ、３１３Ｂ（または２１３Ｂ）で同期させて出力する。すなわち、ネットワーク端末装置Ｂ１００、Ｂ３００（またはＢ２００）は、受け取った映像信号Ｂを（図示省略の）表示部の一部に表示し、音声信号Ｂをスピーカー１０７、３０７（または２０７）で再生する。

このように、発表者以外の端末装置のいずれも、自端末装置の映像信号Ｂと音声信号Ｂを他端末装置に送信することができる。なお、受信側装置は、それぞれの端末装置から受け取った映像や音声の再生を切り替え可能な構成とするのが好ましい。すなわち、例えば発表者による発表が行われている場合に、（図示省略の）表示部で表示する映像やスピーカー１０７、３０７（または２０７）で再生する音声は、発表者側端末装置のものを再生し、他の端末装置側から意見や質問などがある場合は、再生タイミング制御部が他の端末装置側の映像や音声に切り替える。

以上に説明したように、本発明の実施の形態３によれば映像信号と音声信号に加えアプリケーション制御信号と同期信号を多重データ化したパケットデータとして端末装置間で送受信している。従って、発表者側端末装置側に表示しているアプリケーションの画面データを他の端末装置に送る従来の方法に比べて送信するデータ量を軽減し、さらに他の端末装置におけるパケットデータ受信処理を軽減できるので、発表者側端末装置以外の端末装置においても発表者側端末装置と同様のタイミングで映像と音声を再生しながらアプリケーション（発表資料などの切り替え）を制御することができる。また、映像がハイビジョン品質である場合には、特に端末装置におけるパケットデータ送受信処理を軽減できるので、映像と音声のズレなどに対する効果が顕著に現れる。

また、再生タイミング制御部が、入力されたパケットに従って映像および／又は音声を切り替えるので、発表者側の状況に加えて、他の受信者の状況も把握可能である。

本発明に係るネットワーク端末装置、アプリケーション連携システム、アプリケーション連携方法、およびそのプログラムは、送信側のディスプレイ等の映像を送ることなく、各場所にて映像の共有が可能である。従って、一般公衆電話網、インターネット網、ＤＳＬ網、専用線網等のネットワークを介して複数ユーザが共通の会議に参加する多地点のマルチメディア会議システムの端末装置として有用である。

本発明の本実施の形態１に係るアプリケーション連携システムの概要を説明するための概念図 本発明の本実施の形態１に係るアプリケーション連携システムの構成を示すブロック図 本発明の本実施の形態１に係るアプリケーション連携システムの処理の流れを示す図 本発明の実施の形態１のアプリケーション制御部の内部構成の概要を示すブロック図 本発明の本実施の形態２に係るアプリケーション連携システムの概要を説明するための概念図 本発明の実施の形態２に係るアプリケーション連携システムの構成を示すブロック図 本実施の形態２のアプリケーション連携システムにおける処理の流れを示す図 本発明の本実施の形態３に係るアプリケーション連携システムの構成を示すブロック図 本発明の実施の形態３に係る時間制御部のブロック図 アプリケーション連携システムにおける映像信号、音声信号、アプリケーション制御信号、同期信号のタイミング図 ディジタル映像の符号化・復号化処理に必要とされる演算量と伝送速度を示す図

符号の説明

１００，２００，３００ ネットワーク端末装置
１０１ アプリケーション動作部
１０２ アプリケーション制御部
１０２Ａ 第一のアプリケーション連携部
１０２Ｂ 第二のアプリケーション連携部
１０２Ｃ 制御指示選択部
１０３ 送信部
１０４ 受信部
１０５ Ｉ／Ｆ処理部
１０６ ＩＰ音声変換部
１０７ スピーカー
１０８ マイク
１０９ 映像信号出力部
１１０ 入力指示部
１１１ アドレス設定部
１１２ バス
１１３ 時間制御部
１１４ 映像入力部
１１５ アプリケーション・データ管理部

Claims (16)

1. ネットワークを介して接続された発信側装置、受信側装置間でアプリケーションを連携動作させるアプリケーション連携システムにおいて、
   発信側装置に、
   当該発信側装置上で動作しているアプリケーションへの指示を出力する第一のアプリケーション制御部と、
   上記第一のアプリケーション制御部から出力された指示を上記受信側装置に送信する送信部とを備え、
   受信側装置に、
   上記発信側装置からの上記指示を受信する受信部と、
   上記受信した指示を、当該受信側装置上で動作するアプリケーションに出力する第二のアプリケーション制御部と
   を備えることを特徴とするアプリケーション連携システム。
2. さらに、上記発信側装置または受信側装置の少なくとも一方に、相手側装置にて動作しているアプリケーション種、上記発信側装置にて動作しているアプリケーションの状態、上記発信側装置のアプリケーション上で使用されているアプリケーションデータ、の少なくとも１つについて自装置との整合性をチェックするアプリケーション・データ管理部を備える請求項１に記載のアプリケーション連携システム。
3. 上記送信部は、上記受信側装置のアドレス情報と、上記受信側装置上で動作するアプリケーションが利用するコンテンツと、当該コンテンツを上記受信側装置に送信する旨の送信指示とを所定のサーバに送信すると共に、
   上記受信部は、上記サーバより上記コンテンツを受信して上記受信側装置上で動作するアプリケーションに引き渡す請求項１に記載のアプリケーション連携システム。
4. 上記送信部は、上記受信側装置上で動作するアプリケーションが利用するコンテンツを所定のサーバに送信し、当該サーバのアドレス情報を上記受信側装置の受信部に送信すると共に、
   上記受信部は、受信した上記サーバのアドレス情報に基づいて上記サーバより上記コンテンツを受信し、上記受信側装置上で動作するアプリケーションに引き渡す請求項１に記載のアプリケーション連携システム。
5. 上記発信側装置は、さらに映像入力部に入力された映像信号と音声入力部に入力された音声信号と上記アプリケーション制御部から出力された上記指示とを同期させて上記送信部に出力する第一の時間制御部を備え、
   上記受信側装置は、上記同期された映像信号と音声信号と指示とを受け取り当該映像と音声と指示とを同期させて出力する第二の時間制御部を備える請求項１記載のアプリケーション連携システム。
6. 上記映像入力部より入力される映像信号は、ハイビジョン品質の映像の信号である請求項５に記載のアプリケーション連携システム。
7. ネットワークを介して接続された他のネットワーク端末装置との間でアプリケーションを連携動作させるネットワーク端末装置において、
   当該ネットワーク端末装置上で動作しているアプリケーションへの指示を出力するアプリケーション制御部と、
   上記アプリケーション制御部から出力された指示を上記他のネットワーク端末装置に送信する送信部とを備えることを特徴とするネットワーク端末装置。
8. さらに、上記他のネットワーク端末装置にて動作しているアプリケーション種、上記発信側装置にて動作しているアプリケーションの状態、上記発信側装置のアプリケーション上で使用されているアプリケーションデータ、の少なくとも１つについて自ネットワーク端末装置との整合性をチェックするアプリケーション・データ管理部を備える請求項７に記載のネットワーク端末装置。
9. 上記アプリケーション制御部は、さらに他のネットワーク端末装置からの指示を受信し、自ネットワーク端末装置上で動作しているアプリケーションに出力する請求項７に記載のネットワーク端末装置。
10. 上記アプリケーション制御部は、上記他のネットワーク端末装置からの指示をアプリケーションに出力する遠隔制御モードと、自ネットワーク端末装置上で行われた指示をアプリケーションに出力する通常制御モードとをユーザの設定に基づいて切り替える請求項９に記載のネットワーク端末装置。
11. さらに映像入力部に入力された映像信号と音声入力部に入力された音声信号と上記アプリケーション制御部から出力された上記指示とを同期させて上記送信部に出力する第一の時間制御部を備える請求項８に記載のネットワーク端末装置。
12. ネットワークを介して接続された他のネットワーク端末装置との間でアプリケーションを連携動作させるネットワーク端末装置において、
    上記他のネットワーク端末装置より、自ネットワーク端末装置上で動作しているアプリケーションへの指示を受信する受信部と、
    上記受信した指示を自ネットワーク端末装置上で動作しているアプリケーションに出力するアプリケーション制御部とを備えることを特徴とするネットワーク端末装置。
13. 上記受信部は、同期された映像信号と音声信号と指示とを受信すると共に、
    上記受信した映像信号と音声信号と指示とを同期させて上記アプリケーション制御部に出力する第二の時間制御部を備える請求項１２に記載のネットワーク端末装置。
14. ネットワークを介して接続された発信側装置、受信側装置間でアプリケーションを連携動作させるアプリケーション連携方法において、
    当該発信側装置上で動作しているアプリケーションへの指示を出力する第一のアプリケーション制御ステップと
    上記第一のアプリケーション制御ステップにて出力された指示を上記受信側装置に送信する送信ステップと、
    上記発信側装置からの上記指示を受信する受信ステップと、
    上記受信した指示を、当該受信側装置上で動作するアプリケーションに出力する第二のアプリケーション制御ステップとを備える
    ことを特徴とするアプリケーション連携方法。
15. 上記送信ステップの前段に、さらに映像入力部に入力された映像信号と音声入力部に入力された音声信号と上記アプリケーション制御ステップにて出力された上記指示とを同期させて出力する第一の時間制御ステップと、
    上記アプリケーション制御ステップの前段に、受信ステップにて受信した映像信号と音声信号と指示とを同期させて出力する第二の時間制御ステップと
    を備える請求項１４に記載のアプリケーション連携方法。
16. ネットワークを介して接続された他の端末との間でアプリケーションを連携動作させるコンピュータに、
    当該コンピュータで動作しているアプリケーションへの指示を出力する第一のアプリケーション制御ステップと、
    上記第一のアプリケーション制御ステップにて出力された指示を上記受信側装置に送信する送信ステップと、
    を実行させることを特徴とするプログラム。

Images