JP2010016449A - グループ通信装置及びグループ通信プログラム - Google Patents

Abstract

【課題】同種メディアにおける同期を実現することが可能なグループ通信を提供する。
【解決手段】ユーザ端末のそれぞれからメディアデータを受信する手段と、受信したメディアデータそれぞれのデータ到達遅延時間から最大データ到達遅延時間を求め、該最大データ到達遅延時間と他のデータ到達遅延時間の差が所定時間以上である場合にミキシング時刻の補正が必要であると判定する手段と、ミキシング時刻の補正が必要であると判定された場合に、受信したメディアデータのミキシングを行うミキシング時刻を最大データ到達遅延時間と他のデータ到達遅延時間の差に基づいて補正する手段と、補正したミキシング時刻に基づいて、受信したメディアデータのミキシングを行う手段と、ミキシングされたメディアデータをユーザ端末のそれぞれに配信する手段とを備えた。
【選択図】図１

Description

本発明は、移動端末や固定端末など異種端末が混在するグループ通信において、グループ通信に参加するユーザの状況の変化に応じてミキシング時刻を制御するグループ通信装置及びグループ通信プログラムに関する。

従来から、複数種類のメディアのデータをインターネット経由で取得しその同期再生を少ないＣＰＵの負荷で行うことが可能なメディア同期システムが知られている（例えば、特許文献１参照）。
また、街頭などに設置する大画面モニタなどに表示する公共用のコンテンツに対応したユーザ個別のデータやコンテンツを、ユーザのリクエストに応じて個別に送信することができ、さらに異なるネットワーク環境や再生プラットフォーム上においても、公共用及びユーザ個別用のコンテンツのメディアデータを、それぞれ同期をとりながら配信及び再生することが可能なコンテンツ配信装置も知られている（例えば、特許文献２参照）。
特開２００５−００６０３７号公報 特開２００６−２４４０６０号公報

しかしながら、特許文献１に示すメディア同期システムにあっては、映像や音声などの複数のコンテンツの送受信を、同一のネットワークならびに同一の端末で受信し、効率的なコンテンツ間の同期が実現可能であるが、異なるネットワークならびに異なる端末において同期させることが困難であるという問題がある。
また、特許文献２に示すコンテンツ配信装置にあっては、異なるネットワークならびに異なる端末間においてもコンテンツの同期を実現することは可能であるが、コンテンツの受信中にユーザ端末が移動し、ネットワークに対する接続環境が変わった場合に同期を追従させることが困難であるという問題がある。

本発明は、このような事情に鑑みてなされたもので、ユーザの状況に応じて、ユーザの使用する通信端末や端末の接続するネットワークが変化した場合においても、メディアデータのミキシング時刻を動的に制御することで、同種メディアにおける同期を実現することが可能なグループ通信装置及びグループ通信プログラムを提供することを目的とする。

本発明は、複数のユーザ端末との間で通信回線を確立して、該ユーザ端末間においてメディアデータによる情報通信を行うグループ通信装置であって、前記ユーザ端末のそれぞれからメディアデータを受信するデータ受信手段と、前記受信したメディアデータそれぞれのデータ到達遅延時間から最大データ到達遅延時間を求め、該最大データ到達遅延時間と他のデータ到達遅延時間の差が所定時間以上である場合にミキシング時刻の補正が必要であると判定する判定手段と、前記判定手段によって前記ミキシング時刻の補正が必要であると判定された場合に、前記受信したメディアデータのミキシングを行うミキシング時刻を前記最大データ到達遅延時間と他のデータ到達遅延時間の差に基づいて補正する補正手段と、前記補正手段によって補正したミキシング時刻に基づいて、前記受信したメディアデータのミキシングを行うミキシング手段と、前記ミキシング手段によってミキシングされたメディアデータを前記ユーザ端末のそれぞれに配信する配信手段とを備えたことを特徴とする。

本発明は、前記メディアデータは、メディア種毎に優先度が設定されており、前記補正手段は、優先度が高いメディア種のメディアデータに基づいて前記ミキシング時刻を補正し、優先度の低いメディア種のメディアデータのミキシング時刻は、前記優先度の高いメディアデータのミキシング時刻に応じて補正することを特徴とする。

本発明は、複数のユーザ端末との間で通信回線を確立して、該ユーザ端末間においてメディアデータによる情報通信を行うグループ通信装置上のコンピュータに、グループ通信時に必要なメディアデータのミキシング時刻を補正する処理行わせるグループ通信プログラムであって、前記ユーザ端末のそれぞれからメディアデータを受信するデータ受信ステップと、前記受信したメディアデータそれぞれのデータ到達遅延時間から最大データ到達遅延時間を求め、該最大データ到達遅延時間と他のデータ到達遅延時間の差が所定時間以上である場合にミキシング時刻の補正が必要であると判定する判定ステップと、前記判定ステップによって前記ミキシング時刻の補正が必要であると判定された場合に、前記受信したメディアデータのミキシングを行うミキシング時刻を前記最大データ到達遅延時間と他のデータ到達遅延時間の差に基づいて補正する補正ステップと、前記補正ステップによって補正したミキシング時刻に基づいて、前記受信したメディアデータのミキシングを行うミキシングステップと、前記ミキシングステップによってミキシングされたメディアデータを前記ユーザ端末のそれぞれに配信する配信ステップとをコンピュータに行わせることを特徴とする。

本発明は、前記メディアデータは、メディア種毎に優先度が設定されており、前記補正ステップは、優先度が高いメディア種のメディアデータに基づいて前記ミキシング時刻を補正し、優先度の低いメディア種のメディアデータのミキシング時刻は、前記優先度の高いメディアデータのミキシング時刻に応じて補正することを特徴とする。

本発明によれば、グループ通信を行う場合に、ユーザの状況に応じて、ユーザの使用する通信端末や端末の接続するネットワークが変化した場合においても、メディアデータのミキシング時刻を動的に制御することができるため、同種メディアデータの同期外れを防止することができるという効果が得られる。

以下、本発明の一実施形態によるグループ通信装置を図面を参照して説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号Ｓは、複数のユーザ端末間において双方向の情報通信を実現させる管理サーバである。符号Ａ１、Ａ２、Ｂ１、Ｂ２、Ｃ１、Ｃ２は、それぞれユーザＡ、ユーザＢ、ユーザＣが使用するユーザ端末（以下、単に端末と称する）であり、各ユーザの端末間で双方向の情報通信を行う。ここでは、３ユーザの例を示しているが、４以上のユーザであってもよい。また、ユーザＡ、Ｂ、Ｃは、それぞれ２つの端末を使用する例を示しているが、ユーザは、少なくとも１つの端末を使用すればよく、１ユーザで３以上の端末を使用するようにしてもよい。ここでは、一例として、各ユーザＡ、Ｂ、Ｃの２つの端末のうち、１つは、画像を表示する機能（ディスプレイ）と、画像を撮像する機能（カメラ）を有する端末（例えば、パソコン）であり、もう１つは、音声の集音機能（マイク）及び音声の発音機能を（スピーカ）を有する端末（例えば、携帯電話端末）であるものとして説明する。符号Ｎは、６つの端末Ａ１、Ａ２、Ｂ１、Ｂ２、Ｃ１、Ｃ２及び管理サーバＳが接続されるＩＰ通信網である。６つの端末Ａ１、Ａ２、Ｂ１、Ｂ２、Ｃ１、Ｃ２のそれぞれは、常時ＩＰ通信網Ｎに接続されていてもよいし、必要に応じて、ＩＰ通信網Ｎに接続動作を行うことにより接続されるものであってもよい。また、図１に示すＩＰ通信網Ｎは、１つの通信網として表現しているが、複数のＩＰ通信網が相互に接続された構成であってもよい。

次に、図１を参照して、グループ通信を行う場合の基本動作を説明する。グループ通信の適用例として、ここでは、複数ユーザによるテレビ会議を行うものとして説明する。管理サーバＳは、各端末から映像や音声などのメディアデータ受信し、受信した各メディアデータをミキシングし、ミキシングしたメディアデータを各端末へ配信する機能を実現するものである。ユーザが端末を起動すると、各端末は管理サーバＳへ各端末のユーザ情報を送信する。ユーザ情報には、ユーザ名、各端末のネットワーク上のアドレス（ＩＰアドレスなど）、送受信するメディアデータの種類（映像、音声など）、メディアデータの優先度情報が含まれる。

次に、管理サーバＳは、各端末からユーザ情報を取得すると、内部のユーザ管理テーブルにユーザ情報を格納し、ユーザ名を基に各ユーザが使用する端末をグループ化する。そして、各端末は、優先度の高いメディアデータの生成時刻とデータ出力時刻を管理サーバへ送信する。優先度は、ユーザが予め決めておくものであり、例えば、映像の優先度は高く、音声の優先度は低く設定する。管理サーバＳは、これらのメディアデータの情報を取得すると、生成時刻に近いメディアデータのデータ出力遅延（メディアデータが生成されてから出力されるまでの時間）を比較する。比較した結果、データ出力遅延が最大となるメディアデータに合わせて、他のメディアデータの差分を計算する。その差分を対応する端末に対して送信する。各端末は、その情報に基づき、メディアデータの出力間隔をスライドさせることでメディアデータの出力時刻を制御する。

次に、管理サーバＳは、優先度の高いメディアデータを送受信する端末と同じユーザが使用するその他の端末（優先度の低いメディアデータを送受信する端末）のネットワーク上のアドレスをユーザ管理テーブルから取得する。その取得したアドレスに対して、該当する優先度の高いメディアデータの生成時刻と出力時刻を送信する。それらの情報を受信した端末は、その情報に基づいてメディアの出力時刻を制御する。

一方、各端末は、ユーザの情報が変更されると、変更した情報を管理サーバＳへ送信する。例えば、複数のユーザでテレビ会議を行っていた際に、あるユーザが外出するため、そのユーザだけ携帯電話を使用した音声通信のみに変更した場合である。このとき、音声通信の優先度が高かった場合、管理サーバは優先度の低い映像通信がなくなるため、その音声データの生成時刻や出力時刻を端末へ送信することを停止する。一方、映像通信の優先度が高かった場合、参照する生成時刻や出力時刻が消失する。このような管理サーバＳの処理動作によって、グループ通信を用いたテレビ会議が行われることになる。

ここで、図３を参照して、グループ通信におけるメディアデータの同期外れについて説明する。一方のユーザの端末（例えば端末Ａ２）から他方のユーザの端末（例えば端末Ｂ２）へ音声によるメディアデータのパケットを送信する場合（図３（ａ）参照）、ｍ番目のパケットが送信側の端末Ａ２に生成されてから受信側の端末Ｂ２において出力されるまでの時間Ａ（これを出力遅延という）が１５０ｍｓを超えることを同期外れが発生したものとする。また、送信側の端末Ａ２において連続するパケットが生成された間隔の時間Ｂ（これを生成間隔という）と、受信側の端末Ｂ２において、この連続するパケットが出力された間隔の時間Ｃ（これを出力間隔という）との差Ｄ（Ｃ−Ｂ）が１６０ｍｓを超えることを同期外れが発生したものとする。

また、一方のユーザの端末（例えば端末Ａ１、Ａ２）から他方のユーザの端末（例えば端末Ｂ１、Ｂ２）へ画像と音声のメディアデータのパケットを送信する場合（図３（ｂ）参照）、送信側の端末Ａ１において画像データ生成された時刻と、この画像に同期するべき端末Ａ２において音声データが生成された時刻の差の時間Ｂ（生成間隔）と、受信側の端末Ｂ２において、この２つのパケットが出力された間隔の時間Ｃ（出力間隔）との差Ｄ（Ｃ−Ｂ）が１６０ｍｓを超えることを同期外れが発生したものとする。本発明は、このような同期外れを発生させないために、メディアデータの出力時刻を制御するものである。

次に、図３を参照して、図１に示す管理サーバＳが、同期外れを発生させないようにしながら各端末へ配信するべきメディアデータのミキシングを行う動作を説明する。ここでは、ユーザＡは、端末Ａ１により映像のメディアデータの送受信を行い、端末Ａ２により音声のメディアデータの送受信を行うものとする。また、ユーザＢ、ＣについてもユーザＡと同様に、端末Ｂ１、Ｃ１により映像のメディアデータを送受信し、端末Ｂ２、Ｃ２により音声のメディアデータの送受信を行うものとする。また、映像のメディアをマスタメディアとし、音声のメディアをスレーブメディアとして、マスタメディアは、スレーブメディアより優先度が高く設定されているものとして説明する。

まず、管理サーバＳは、グループ通信に参加するユーザの端末Ａ１、Ａ２、Ｂ１、Ｂ２、Ｃ１、Ｃ２のそれぞれから音声や映像のメディアデータを受信する（ステップＳ１）と、各メディアデータについてデータ到達遅延時間を求める。データ到達遅延時間とは、各メディアデータが端末内において生成されてから管理サーバＳに到着するまでの時間である。そして、管理サーバＳは、求めたデータ到達遅延時間のうち、最大データ到達遅延時間を求め、この最大データ到達遅延と他のメディアのデータ到達遅延時間との差を計算する（ステップＳ２）。

次に、管理サーバＳは、求めたデータ到達遅延時間の差（最大データ到達遅延と他のメディアのデータ到達遅延時間との差）に基づいて、ミキシング時刻を補正する必要があるか否かを判定する（ステップＳ３）。この判定は、求めた差が閾値（例えば、８０ｍｓ）以上であれば、そのマスタメディアのミキシング時刻の補正が必要であると判定する。この判定は、ミキシングするべきマスタメディアデータ（ここでは、映像データ）の全てについて行う。

この判定の結果、ミキシング時刻を補正する必要がなければ、次に続くステップＳ４、５を実行しない。一方、ミキシング時刻を補正する必要がある場合、管理サーバＳは、マスタメディアデータのミキシング時刻を補正する（ステップＳ４）。この補正は、最大のデータ到達遅延時間と、データ到達遅延時間の小さいマスタメディアのデータ到達遅延時間の差が０になるように、データ到達遅延時間の小さいマスタメディアデータのミキシング時刻を遅らせるように補正することにより行う。すなわち、最も遅いマスタメディアデータに合わせてミキシングが行われるようにミキシング時刻を補正する。

次に、管理サーバＳは、スレーブメディアデータのミキシング時刻を補正する（ステップＳ５）。スレーブメディアデータは、同一ユーザの端末が送信するマスタメディアデータのミキシング時刻に合わせて、ミキシング時刻を補正する。例えば、端末Ａ１がマスタメディアを送信し、端末Ａ２がスレーブメディアを送受信している場合、端末Ａ１のミキシング時刻に合わせて、スレーブメディアデータのミキシング時刻を補正する。

スレーブメディアデータのミキシング時刻の補正は以下のように行う。まず、マスタメディアデータの生成時刻（Ｔ^Ｍｉ _ｘ）の中で、スレーブメディアデータの生成時刻（Ｔ^Ｓｉ _ｘ）に最も近いマスタメディアデータのミキシング時刻（Ｍ^Ｍｉ _ｘ）を、メディア間同期に利用してミキシング理想時刻（Ｉ^Ｓｉ _ｘ）を決定する。ミキシング理想時刻（Ｉ^Ｓｉ _ｘ）は、（１）式によって求める。
Ｉ^Ｓｉ _ｘ＝Ｍ^Ｍｉ _ｘ＋（Ｔ^Ｓｉ _ｘ−Ｔ^Ｍｉ _ｘ） ・・・（１）
ただし、スレーブメディアデータのミキシング時刻前に、条件｜Ｔ^Ｓｉ _ｘ−Ｔ^Ｍｉ _ｘ｜＞｜Ｔ^Ｓｉ _ｘ−Ｔ^Ｍｉ _ｘ＋ｙ｜を満たすときは、（２）式によって理想時刻を修正する。
Ｉ^Ｓｉ _ｘ＝Ｍ^Ｍｉ _ｘ＋ｙ＋（Ｔ^Ｓｉ _ｘ−Ｔ^Ｍｉ _ｘ＋ｙ） ・・・（２）

次に、管理サーバＳにおけるデータ到着時刻Ａ^Ｓｉ _ｘと理想時刻Ｉ^Ｓｉ _ｘを比較し、（３）式により最大となる値をミキシング補正時刻とすることによりミキシング補正時刻（ｍ^Ｓｉ _ｘ）を決定する。
ｍ^Ｓｉ _ｘ＝ｍａｘ（Ｉ^Ｓｉ _ｘ，Ａ^Ｓｉ _ｘ） ・・・（３）

次に、管理サーバＳは、補正したミキシング時刻に合わせてマスタメディアデータ及びスレーブメディアデータのそれぞれをミキシングして（ステップＳ６）、このミキシングしたメディアデータを各端末に対して配信する（ステップＳ７）。管理サーバＳは、図２に示す処理動作を、グループ通信が終了するまで繰り返し行う。図２に示す処理動作を繰り返し行い、繰り返し処理毎に到達遅延時間差を求めてミキシング時刻の補正が必要か否かを判定し、補正が必要であればミキシング時刻を補正するようにしたため、グループ通信処理中に、端末の増減が発生してもその都度必要があればミキシング時刻が補正されるので同期外れを発生させることなくグループ通信を実行することができる。

なお、ユーザの周辺状況の変化により、マスタメディアを送受信する端末を離脱させたときは、マスタメディアを送受信する端末が１台以上存在する場合、まずマスタメディアデータのミキシング時刻に基づいてミキシングを行い、これにあわせてスレーブメディアデータのミキシング時刻を補正すればよい。また、マスタメディアデータを送受信する端末が離脱し、かつスレーブメディアを送受信する端末が１台以上存在する場合、管理サーバＳはスレーブメディアデータのミキシングは、スレーブメディアデータがマスタメディアデータであるものとして、マスタメディアデータのミキシング時刻に基づいてミキシングを行えばよい。

このように、ユーザの状況に応じて、ユーザの使用する端末や端末の接続するネットワークが変化した場合においても、メディアデータのミキシング時刻を動的に制御するようにしたため、同種メディアデータにおける同期外れの発生を防止することができる。また、各メディアのデータ到達遅延時間に応じて、優先して出力するメディアデータのミキシング時刻に合わせて他のメディアのミキシング時刻を動的に補正制御するようにしたため、グループ通信の通信品質低下を抑制することができる。

以上説明したように、複数の異種端末を使用したグループ通信において、各メディアデータの到達時間が異なる場合においても、リアルタイム性を維持しつつ、ミキシング時刻の同期を実現することが可能となり、ユーザは、違和感なくメディアデータを受信することができるため、良好な情報通信を行うことができる。また、異種端末間で異種コンテンツの同期を実現することができ、ユーザは、様々な端末を利用することができる。また、ユーザが使用する端末や接続するネットワークが変化した場合においても、異種のコンテンツを、リアルタイム性を維持しつつ、異種端末間で同期を実現することが可能となり、ユーザは、違和感なくコンテンツを受信することができる。

なお、図１に示す管理サーバＳの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりグループ通信におけるメディアデータのミキシング制御処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

本発明の一実施形態の構成を示すブロック図である。 図１に示す管理サーバＳの動作を示すフローチャートである。 同期外れの定義を示す説明図である。

符号の説明

Ｓ・・・管理サーバ、Ｎ・・・ＩＰ通信網、Ａ１、Ａ２、Ｂ１、Ｂ２、Ｃ１、Ｃ２・・・端末

Claims (4)

1. 複数のユーザ端末との間で通信回線を確立して、該ユーザ端末間においてメディアデータによる情報通信を行うグループ通信装置であって、
   前記ユーザ端末のそれぞれからメディアデータを受信するデータ受信手段と、
   前記受信したメディアデータそれぞれのデータ到達遅延時間から最大データ到達遅延時間を求め、該最大データ到達遅延時間と他のデータ到達遅延時間の差が所定時間以上である場合にミキシング時刻の補正が必要であると判定する判定手段と、
   前記判定手段によって前記ミキシング時刻の補正が必要であると判定された場合に、前記受信したメディアデータのミキシングを行うミキシング時刻を前記最大データ到達遅延時間と他のデータ到達遅延時間の差に基づいて補正する補正手段と、
   前記補正手段によって補正したミキシング時刻に基づいて、前記受信したメディアデータのミキシングを行うミキシング手段と、
   前記ミキシング手段によってミキシングされたメディアデータを前記ユーザ端末のそれぞれに配信する配信手段と
   を備えたことを特徴とするグループ通信装置。
2. 前記メディアデータは、メディア種毎に優先度が設定されており、前記補正手段は、優先度が高いメディア種のメディアデータに基づいて前記ミキシング時刻を補正し、優先度の低いメディア種のメディアデータのミキシング時刻は、前記優先度の高いメディアデータのミキシング時刻に応じて補正することを特徴とする請求項１に記載のグループ通信装置。
3. 複数のユーザ端末との間で通信回線を確立して、該ユーザ端末間においてメディアデータによる情報通信を行うグループ通信装置上のコンピュータに、グループ通信時に必要なメディアデータのミキシング時刻を補正する処理行わせるグループ通信プログラムであって、
   前記ユーザ端末のそれぞれからメディアデータを受信するデータ受信ステップと、
   前記受信したメディアデータそれぞれのデータ到達遅延時間から最大データ到達遅延時間を求め、該最大データ到達遅延時間と他のデータ到達遅延時間の差が所定時間以上である場合にミキシング時刻の補正が必要であると判定する判定ステップと、
   前記判定ステップによって前記ミキシング時刻の補正が必要であると判定された場合に、前記受信したメディアデータのミキシングを行うミキシング時刻を前記最大データ到達遅延時間と他のデータ到達遅延時間の差に基づいて補正する補正ステップと、
   前記補正ステップによって補正したミキシング時刻に基づいて、前記受信したメディアデータのミキシングを行うミキシングステップと、
   前記ミキシングステップによってミキシングされたメディアデータを前記ユーザ端末のそれぞれに配信する配信ステップと
   をコンピュータに行わせることを特徴とするグループ通信プログラム。
4. 前記メディアデータは、メディア種毎に優先度が設定されており、前記補正ステップは、優先度が高いメディア種のメディアデータに基づいて前記ミキシング時刻を補正し、優先度の低いメディア種のメディアデータのミキシング時刻は、前記優先度の高いメディアデータのミキシング時刻に応じて補正することを特徴とする請求項３に記載のグループ通信プログラム。

Images