JP2008277929A

JP2008277929A - 通信処理システム、セッション制御サーバ及びメディア変換サーバ並びにそれらに用いるセッション接続方法

Info

Publication number: JP2008277929A
Application number: JP2007116284A
Authority: JP
Inventors: Tetsuya Nitta; 哲也新田
Original assignee: NEC Engineering Ltd
Current assignee: NEC Engineering Ltd
Priority date: 2007-04-26
Filing date: 2007-04-26
Publication date: 2008-11-13

Abstract

【課題】異なるメディア種別とメディア処理手段を搭載する端末間でもセッションを確立することを可能にする。
【解決手段】端末５及び端末６間のセッションを確立するに際し、セッション制御サーバ３が、端末５で使用可能なメディア処理手段と端末６で使用可能なメディア処理手段とを比較し、端末５で使用可能なメディア処理手段の中から端末６との通信に適したメディア処理手段を選択するとともに、端末５で使用可能なメディア処理手段の中から端末６との通信に適したメディア処理手段を選択し、メディア変換サーバ４が、選択されたメディア処理手段を用いて端末５から送信されたメディアストリームを受信し、受信したメディアストリームを端末６の選択されたメディア処理手段で処理可能な符号化方式に変換して端末６に送信することを特徴とする通信処理システム１。
【選択図】図１

Description

本発明は、音声データ、映像データ、テキストデータ等の様々なメディアを用いて通信を行う通信処理システム等に関し、特に、リアルタイム通信でメディアを送受信するシステム等に関する。

通信技術の進歩に伴って、映像データ、音声データ等のリアルタイム通信が可能となり、さらに、ＳＩＰ（Session Initiation Protocol）などを利用すれば、複数の相手ともリアルタイム通信することが可能である。リアルタイム通信は、端末間でセッションを確立するときに、発信端末に搭載のアプリケーション（メディア処理手段）を着信端末に通知し、それに対応するメディア処理手段を着信端末が選択して発信端末に通知することで実現する。

この種のリアルタイム通信におけるセッション確立手段としては、例えば、特許文献１に記載の通信端末装置が知られている。該通信端末装置は、メディア情報のデータ形態を変換して、音声データとテキストデータを相互に変換するメディア変換部と、セッションの接続状態を制御するセッション接続制御部とを備え、相手側のメディア処理手段を指定するアプリケーション指定情報をセッションの接続要求信号に含ませるとともに、発信側が指定したメディア処理手段を相手側で使用している場合に、発信端末から送信されるメディアを代替のメディアに変換するように構成される。

この通信端末装置によれば、例えば、相手側端末が特定の発信端末と音声データを使用して通信している状態で、他の発信端末からセッション要求があると、他の発信端末からの音声データをテキストデータに変換するとともに、相手側端末からのテキストデータを音声データに変換するように設定する。これにより、相手側端末は、特定の発信端末との対話を継続したまま、他の発信端末とはテキストデータを用いて対話することができ、複数の相手と同時にリアルタイム通信することが可能となる。
特開２００６−２１０９７３号公報

しかしながら、従来のリアルタイム通信におけるセッション確立は、発信端末と着信端末で合意されたメディア処理手段で行われるので、発信端末と着信端末で共通のメディア処理手段を搭載する必要があり、異なるメディア処理手段を搭載した端末同士では、セッションの確立ができないという欠点がある。また、特許文献１に記載の通信端末装置でも、発信端末がセッション接続要求に受信アプリケーションを指定するため、異なるメディア処理手段を搭載する端末とリアルタイム通信することは不可能である。

さらに、確立したセッションは、一方の端末からセッションの更新要求（オファー）を他方の端末に対して送信し、更新要求を受けた端末が更新に対する応答（アンサー）を返信することで、メディアの変更を含むセッション内容の更新を行うことができるが、オファー側からの更新内容が受け入れられない場合は、アンサー側でセッションの更新を拒否することができる。このため、セッションの更新が拒否されると、オファー側は、一度セッションを切断し、再度新しい内容でセッションを確立し直さなければならない。特に、特許文献１に記載のように、複数の端末と同時に通信している状態で、セッション変更を望むような場合には、通信中の端末の各々に対して、セッションを送信する必要が生じ、セッションの変更までに長時間を要するという問題がある。

そこで、本発明は、上記従来の技術における問題点に鑑みてなされたものであって、異なるメディア種別とメディア処理手段を搭載する端末間でもセッションを確立でき、また、メディア種別やメディア処理手段を変更するときに、セッションを切断することなく、速やかにメディア種別やメディア処理手段を更新できることなどを実現する通信処理システム等を提供することを目的とする。

上記目的を達成するため、本発明は、第１及び第２端末間のセッションを確立する通信処理システムであって、前記第１端末で使用可能なメディア処理手段と前記第２端末で使用可能なメディア処理手段とを比較し、前記第１端末で使用可能なメディア処理手段の中から前記第２端末との通信に適したメディア処理手段を選択するとともに、前記第２端末で使用可能なメディア処理手段の中から前記第１端末との通信に適したメディア処理手段を選択するセッション制御サーバと、選択されたメディア処理手段を用いて前記第１端末から送信されたメディアストリームを受信し、受信したメディアストリームを前記第２端末の選択されたメディア処理手段で処理可能な符号化方式に変換して前記第２端末に送信するメディア変換サーバとを備えることを特徴とする。

そして、本発明によれば、第１及び第２端末の各々が搭載するメディア処理手段に柔軟に対応しながらセッションを確立することができ、異なるメディア種別とメディア処理手段を搭載する端末間でもセッションを確立することが可能となる。

前記通信処理システムにおいて、前記セッション制御サーバが、前記第１及び第２端末の少なくとも一方からメディア処理手段を変更する旨の信号を受信したときに、変更後のメディア処理手段を示す情報を前記メディア変換サーバに送信し、前記メディア変換サーバが、前記変更後のメディア処理手段を示す情報に基づいてメディア変換の設定を変更し、前記変更後のメディア処理手段と対応させて、前記受信したメディアストリームの符号化方式を変換するように構成することができる。この構成によれば、セッションを切断することなく、速やかにメディア種別やメディア処理手段を更新することが可能となる。

また、本発明は、第１及び第２端末間の通信を中継するセッション制御サーバであって、前記第１端末で使用可能なメディア処理手段と前記第２端末で使用可能なメディア処理手段とを比較し、前記第１端末で使用可能なメディア処理手段の中から前記第２端末との通信に適したメディア処理手段を選択するとともに、前記第２端末で使用可能なメディア処理手段の中から前記第１端末との通信に適したメディア処理手段を選択するメディア処理部と、前記第１端末から送信されたメディアストリームの符号化方式を変換して前記第２端末に送信するメディア変換サーバに前記メディア処理部の選択結果を送信する送信部とを備えることを特徴とする。本発明によれば、前記発明と同様に、異なるメディア種別とメディア処理手段を搭載する端末間でもセッションを確立することが可能となる。

前記セッション制御サーバにおいて、前記第１及び第２端末の少なくとも一方からメディア処理手段を変更する旨の信号を受信したときに、変更後のメディア処理手段を示す情報を前記メディア変換サーバに送信するように構成することができる。この構成によれば、セッションを切断することなく、速やかにメディア種別やメディア処理手段を更新することが可能となる。

前記セッション制御サーバにおいて、前記第１端末からメディア処理手段を変更する旨の信号を受信するのに応答して、前記第１端末がメディア処理手段を変更する旨の信号を前記第２端末に送信し、前記第２端末からメディア処理手段の変更を拒否する旨の回答信号を受信したときに、前記第１端末の変更後のメディア処理手段を示す情報を前記メディア変換サーバに送信するように構成することができる。この構成によれば、着信端末側でメディア処理手段の変更を拒否した場合でも、セッションを切断することなく、メディア種別やメディア処理手段を更新することが可能となる。

前記セッション制御サーバにおいて、前記メディア処理部が、前記第１端末で使用可能なメディア処理手段と前記第２端末で使用可能なメディア処理手段とを比較した結果、共通のメディア処理手段が存在しないときに、前記通信に適したメディア処理手段を選択するように構成することができる。この構成によれば、共通のメディア処理手段が存在しないときに限って、通信に適したメディア処理手段の選択を行い、共通のメディア処理手段が存在するときには、そのメディア処理手段を用いて直ちにセッションを確立するため、スムーズにセッションを確立することが可能となる。

前記セッション制御サーバにおいて、前記第１端末からセッション確立要求信号を受けて、前記第１端末が使用可能なメディア処理手段の情報を取得するとともに、前記セッション確立要求信号を前記第２端末に転送し、その応答信号から前記第２端末が使用可能なメディア処理手段の情報を取得するように構成することができる。この構成によれば、セッション確立の開始時に、第１端末が使用可能なメディア処理手段の情報と、第２端末が使用可能なメディア処理手段の情報とを取得することができるため、セッション確立及びメディア変換の設定を円滑に行うことが可能となる。

さらに、本発明は、第１及び第２端末間の通信を中継し、前記第１端末から送信されたメディアストリームに変換処理を施して前記第２端末に送信するメディア変換サーバであって、前記第１端末で使用可能なメディア処理手段の中から選択された前記第２端末との通信に適したメディア処理手段を示す情報と、前記第２端末で使用可能なメディア処理手段の中から選択された前記第１端末との通信に適したメディア処理手段を示す情報とを受信する受信部と、前記受信部で受信された情報を記憶する記憶部と、選択されたメディア処理手段を用いて前記第１端末から送信されたメディアストリームを受信し、受信したメディアストリームを前記第２端末の選択されたメディア処理手段で処理可能な符号化方式に変換して前記第２端末に送信する変換処理部とを備えることを特徴とする。本発明によれば、前記発明と同様に、異なるメディア種別とメディア処理手段を搭載する端末間でもセッションを確立することが可能となる。

前記メディア変換サーバにおいて、前記受信部が、前記第１及び第２端末の少なくとも一方がメディア処理手段を変更したときに、変更後のメディア処理手段を示す情報を受信し、前記記憶部が、前記受信部で受信した前記変更後のメディア処理手段を示す情報を記憶し、前記変換処理部が、前記変更後のメディア処理手段を示す情報に基づいてメディア変換の設定を変更し、前記変更後のメディア処理手段と対応させて、前記受信したメディアストリームの符号化方式を変換するように構成することができる。この構成によれば、セッションを切断することなく、速やかにメディア種別やメディア処理手段を更新することが可能となる。

前記メディア変換サーバにおいて、前記変換処理部が、前記第１端末が送受信するメディアの種類数が前記第２端末が送受信するメディアの種類数より多いときに、前記第１端末から受信したメディアストリームの中から前記第２端末で処理不可能なメディアストリームを削除して前記第２端末に送信するとともに、前記第２端末から受信したメディアストリームに、前記第１端末で処理可能なメディアストリームを追加して前記第１端末に送信するように構成することができる。この構成によれば、第１及び第２端末の双方に、過不足なく、メディアストリームを送信することが可能となる。

また、本発明は、第１及び第２端末間のセッションを確立するセッション接続方法であって、前記第１端末で使用可能なメディア処理手段と前記第２端末で使用可能なメディア処理手段とを比較し、前記第１端末で使用可能なメディア処理手段の中から前記第２端末との通信に適したメディア処理手段を選択するとともに、前記第２端末で使用可能なメディア処理手段の中から前記第１端末との通信に適したメディア処理手段を選択する第１ステップと、選択されたメディア処理手段を用いて前記第１端末から送信されたメディアストリームを、前記第２端末の選択されたメディア処理手段で処理可能な符号化方式に変換して前記第２端末に送信する第２ステップとを有することを特徴とする。本発明によれば、前記発明と同様に、異なるメディア種別とメディア処理手段を搭載する端末間でもセッションを確立することが可能となる。

前記セッション接続方法において、前記第１及び第２端末の少なくとも一方からメディア処理手段を変更する旨の信号を受信したときに、変更後のメディア処理手段を示す情報を前記メディア変換サーバに送信するステップを有し、前記第２ステップで、前記変更後のメディア処理手段と対応させて、前記受信したメディアストリームの符号化方式を変換することができる。この構成によれば、セッションを切断することなく、速やかにメディア種別やメディア処理手段を更新することが可能となる。

以上のように、本発明によれば、異なるメディア種別とメディア処理手段を搭載する端末間でもセッションを確立でき、また、メディア種別やメディア処理手段を変更するときに、セッションを切断することなく、速やかにメディア種別やメディア処理手段を更新できることなどを実現することが可能となる。

次に、本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明にかかる通信処理システムの全体構成図である。この通信処理システム１は、端末５と、端末６と、セッション制御サーバ３と、メディア変換サーバ４とを備え、これらは、ネットワーク２を介して接続される。

端末５、６は、ＩＰ電話機、携帯電話機及びパーソナルコンピュータ等の通信端末であり、ＳＩＰやＨ．２４８／megaco等のセッション確立プロトコルを処理する機能を備える。本実施の形態においては、端末５及び端末６間でセッションが確立され、リアルタイム通信が行われる。

セッション制御サーバ３は、端末５及び端末６間でのリアルタイム通信を確立すべく、決められた手順に従って、セッションの確立やメディア情報の交換等を行う装置であり、図２に示すように、セッション処理部３１と、セッション記憶部３２と、メディア処理部３３と、メディア記憶部３４と、呼制御プロトコル処理部３５と、トランスポートプロトコル処理部３６と、ネットワークプロトコル処理部３７とを備える。

セッション処理部３１は、端末５、６から送信されるセッション制御信号を処理してセッション情報を取得するものであり、セッション記憶部３２は、セッション処理部３１で取得したセッション情報を記憶するものである。メディア処理部３３は、各端末５、６が使用可能なアプリケーション（メディア処理手段）等を示すメディア情報をセッション制御信号から取得するとともに、取得したメディア情報に基づいて、通信時に使用するメディア処理手段を確定するものである。

メディア記憶部３４は、メディア処理部３３で取得したメディア情報を記憶するものであり、呼制御プロトコル処理部３５は、セッション処理部３１で取得したセッション情報と、メディア処理部３３で確定したメディア処理手段を示すメディア情報とをメディア変換サーバ４に送信するためのものである。また、トランスポートプロトコル処理部３６は、ＴＣＰ／ＵＤＰを処理する機能を有するものであり、ネットワークプロトコル処理部３７は、ＩＰ層以下の処理を行う機能を有するものである。

図１に戻り、メディア変換サーバ４は、端末５、６の一方から送信される音声データ等のメディアストリームを、端末５、６の他方で処理可能なメディアストリームに変換する装置であり、図３に示すように、呼制御プロトコル処理部４１と、端末情報記憶部４２と、メディアストリーム処理部４３と、音声データ変換部４４と、トランスポートプロトコル処理部４５と、ネットワークプロトコル処理部４６とを備える。

呼制御プロトコル処理部４１は、セッション制御サーバ３から送信された呼制御信号を処理し、セッション情報及びメディア情報を取得するものであり、端末情報記憶部４２は、呼制御プロトコル処理部４１で取得されたセッション情報及びメディア情報に基づいて、各端末５、６の端末情報４２ａを記憶するものである。端末情報記憶部４２に記憶される端末情報４２ａは、例えば、図４に示すデータ構成を有し、「呼識別子」と、発信端末の識別子である「送信元識別子」と、メディアの種類を示す「メディア種別」と、メディア処理手段の種類を示す「コーデック」とから構成される。

図３に戻り、メディアストリーム処理部４３は、音声データ、映像データ等のメディアストリームを処理するものであり、音声データ変換部４４は、音声データ及びテキストデータを相互に変換するものである。トランスポートプロトコル処理部４５及びネットワークプロトコル処理部４６は、セッション制御サーバ３のトランスポートプロトコル処理部３６及びネットワークプロトコル処理部３７と同一の機能を有するものである。

また、メディアストリーム処理部４３は、音声データを処理する音声データ処理部４７と、映像データを処理する映像データ処理部４８と、テキストデータを処理するテキストデータ処理部４９と、映像データを追加するときに用いる映像データを格納する映像データ記憶部５０と、メディアストリームの変換手順を制御するメディアストリーム制御部５１とを備える。

次に、図１の通信処理システム１の動作について、図１〜図９を参照して説明する。尚、以下の説明においては、端末５は、テレビ電話等の機能を利用して音声データＡと映像データＢからなるメディアストリームを送受信し、端末６は、ＩＰ電話等の機能を利用して音声データＣのみからなるメディアストリームを送受信する場合を例にとって説明する。また、端末５の音声データを処理するメディア処理手段と、端末６の音声データを処理するメディア処理手段とは、互いに異なるものであるとする。

端末５及び端末６間のセッション確立にあたっては、図５に示すように、まず、発信端末である端末５が、通信に用いるメディア種別と、使用可能なメディア処理手段とを設定し、それらを示すメディア情報をセッション確立要求信号に規定して、セッション制御サーバ３に送信する（ステップＳ１、Ｓ２）。

セッション制御サーバ３は、セッション確立要求信号を受信し、セッション処理部３１において、セッション確立要求信号からセッション情報を取得してセッション記憶部３２に記憶する（ステップＳ３）。これと併せ、メディア処理部３３において、セッション確立要求信号からメディア情報を取得し、使用可能なものとして設定されたメディア処理手段を、端末５のメディア処理手段としてメディア記憶部３４に記憶する（ステップＳ４）。

次いで、端末５のメディア処理手段に、メディア変換サーバ４で処理可能なメディア手段を追加して、通信に使用可能なメディア処理手段として設定し、それらを示すメディア情報をセッション確立要求信号に載せて端末６に送信する（ステップＳ５、Ｓ６）。尚、メディア変換サーバ４で処理可能なメディア手段は、予めメディア変換サーバ４からセッション制御サーバ３に通知され、セッション制御サーバ３のメディア記憶部３４に記憶されている。

端末６は、セッション確立要求信号を受信すると、自端末で使用可能なメディア処理手段を設定し、セッション確立応答信号に規定してセッション制御サーバ３に送信する（ステップＳ７、Ｓ８）。

セッション制御サーバ３は、端末６からのセッション確立応答信号を受信すると、セッション処理部３１において、セッション確立応答信号が端末５に対する応答であるか否かを判定する。そして、セッション確立応答信号から端末６のセッション情報を取得し、セッション記憶部３２に記憶済みの端末５のセッション情報と関連付けて、セッション記憶部３２に記憶する（ステップＳ９）。このセッション情報の関連付けは、呼識別子をキーとして、端末５のセッション情報と端末６のセッション情報を記憶することにより行う。

次いで、セッション処理部３１において、セッション確立応答信号からメディア情報を取得し、端末６で使用可能なメディア処理手段をメディア記憶部３４に記憶する（ステップＳ１０）。このときも、呼識別子をキーとして、端末５のメディア処理手段と、端末６のメディア手段とを関連付けて記憶する。尚、本実施の形態においては、セッション情報及びメディア情報を別個に記憶しているが、セッション情報及びメディア情報を一元的に記憶してもよい。

次に、メディア処理部３３において、各端末５、６で使用可能なメディア処理手段を比較し、共通のメディア処理手段が存在するか否かを判定する（ステップＳ１１）。本例では、端末５、６は、互いに異なるメディア処理手段を使用し、共通のメディア処理手段が存在しないため、メディア処理部３３は、端末５で使用可能なメディア処理手段の中から端末６との通信に適したメディア処理手段を選択する。これと同時に、端末６で使用可能なメディア処理手段の中から端末５との通信に適したメディア処理手段を選択し、端末５，６の各々について、通信に使用すべきメディア処理手段として確定する（ステップＳ１２）。

尚、通信に適したメディア処理手段の選択は、メディア変換の容易さやコーデックの圧縮率等を基準にして行うことができる。例えば、端末５が音声データを処理可能なメディア手段として、ＰＣＭＵ／８０００、ＰＣＭＡ／８０００及びＧ７２９／８０００を搭載し、端末６が音声データを処理可能なメディア処理手段としてＧ７２６／８０００を搭載する場合には、通信に使用するメディア手段には、各々、Ｇ７２９／８０００とＧ７２６／８０００を選択する。

ここでは、端末５が通信時に使用すべきメディア処理手段として、映像データＡの処理にメディア処理手段Ａ’を選択し、音声データＢの処理にメディア処理手段Ｂ’を選択したものとする。また、端末６が通信時に使用すべきメディア処理手段としては、音声データＣを処理可能なメディア処理手段Ｃ’を選択したものとする。

各端末５、６のメディア処理手段Ａ’〜Ｃ’を確定すると、端末５、６のセッション情報と、確定したメディア手段Ａ’〜Ｃ’を示すメディア情報とを呼制御プロトコル処理部３５に通知し、呼制御信号をメディア変換サーバ４に送信する（ステップＳ１３）。

メディア変換サーバ４は、呼制御プロトコル処理部４１において、呼制御信号からセッション情報及びメディア情報を取得し、端末情報記憶部４２に記憶する（ステップＳ１４）。このときの端末情報４２ａの呼識別子（図４参照）は、セッション情報を関連付けるときに用いた呼識別子を援用することも可能であり、新規に割り当てることも可能である。また、送信元識別子には、発信端末のＩＰアドレスが記憶され、メディア種別及びコーデックには、発信端末が通信に用いるメディアの種類、及びそのメディアを処理するメディア処理手段が記憶される。

端末情報４２ａを端末情報記憶部４２に記憶すると、メディア変換サーバ４は、呼制御応答信号をセッション制御サーバ３に送信する（ステップＳ１５）。

セッション制御サーバ３は、呼制御プロトコル処理部３５において、メディア変換サーバ４からの呼制御応答信号を解析し、応答が返ってきたことをセッション処理部３１に通知する。セッション処理部３１は、確定した端末５のメディア処理手段Ａ’、Ｂ’を示すメディア情報をメディア処理部３３から取得し、セッション確立応答信号に載せて端末５に送信する（ステップＳ１６）。同時に、確定した端末６のメディア処理手段Ｃ’を示すメディア情報を取得し、セッション確認応答信号に載せて端末６に送信する（ステップＳ１７）。

端末５は、セッション制御サーバ３からのセッション確立応答信号を受信し、それに応答して、通信時に使用するメディア処理手段をメディア処理手段Ａ’、Ｂ’に設定するとともに、確認応答信号をセッション制御サーバ３に送信する（ステップＳ１８）。

これにより、端末５及び端末６間でリアルタイム通信が可能となるが、その際、端末５及び端末６間をメディア変換サーバ４が中継し、端末５から送信するメディア（音声データＡ及び映像データＢ）を端末６で処理可能な符号化方式に変換するとともに、端末６から送信するメディア（音声データＣ）を端末５で処理可能な符号化方式に変換する（ステップＳ１９、Ｓ２０）。

メディアの変換処理にあたっては、まず、端末５が、図５のセッション確立処理で確定したメディア処理手段Ａ’、Ｂ’を用いて、映像データＡ及び音声データＢからなるメディアストリームを生成し、メディア変換サーバ４に送信する。メディア変換サーバ４は、端末５からのメディアストリームを受信し、メディアストリーム処理部４３において、以下のようにしてメディアストリームを処理する。

メディアストリーム処理部４３は、図６に示すように、ポート番号に基づいて、受信したメディアストリームがリアルタイム通信データであるか否かを判定する（ステップＳ３０）。ここに、リアルタイム通信データとは、ＲＴＰ（Real-time Transport Protocol）などのプロトコルでやり取りされるデータであり、音声データや映像データ等が該当する。次いで、メディアストリーム処理部４３は、メディアストリームのメディア種別を特定するとともに、送信元識別子であるＩＰアドレスをメディアストリームから取得する（ステップＳ３１）。

次に、取得したＩＰアドレスを検索キーに用いて、端末情報記憶部４２に記憶されている端末５の端末情報（図４の４２ｂ参照）を取得するとともに、取得した端末情報中の呼識別子を検索キーに用いて、送信先の端末６の端末情報（図４の４２ｃ参照）を取得する（ステップＳ３２）。次いで、取得した端末６の端末情報中のメディア種別に、テキストデータが記録されているか否かを判定する（ステップＳ３３）。図４に示すように、本例では、送信先である端末６のメディア種別は、音声データであるため（４２ｃ参照）、ステップＳ３４〜Ｓ３８の処理を実行する。

ステップＳ３４〜Ｓ３８の処理は、端末５からのメディアストリームに含まれる映像データＡ及び音声データＢの各々について行うものであり、まずは、映像データＡを対象として、受信したメディアストリームが映像データであるか否かを判定する（ステップＳ３４）。

映像データＡは映像データであるため、ステップＳ３５に移行し、送信先の端末６が映像データを処理可能か否かを判定する。このステップＳ３５の処理は、先のステップＳ３２で取得した端末６の端末情報を用いて行い、端末６の端末情報中のメディア種別に映像データが記録されている否かに基づいて、映像データを処理可能か否かを判定する。

上述のとおり、端末６の端末情報に記録されているメディア種別は、音声データであるため（図４の４２ｃ参照）、映像データＡを破棄し、今度は、音声データＢを対象として、ステップＳ３４〜Ｓ３８の処理を実行する。

まず、映像データＡの場合と同様に、受信したメディアストリームが映像データであるか否かを判定し（ステップＳ３４）、音声データＢは映像データではないため、次に、音声データを扱うメディア処理手段が端末５と端末６で同一であるか否かを判定する（ステップＳ３６）。本例では、図４の４２ｂ及び４２ｃのコーデックが異なり、音声データを処理するメディア処理手段が端末５と端末６で異なるので、次に、音声データ処理部４７において、音声データＢを端末６のメディア処理手段Ｃ’で処理可能な符号化方式に変換する（ステップＳ３７）。そして、符号化方式を変換したメディアストリームを端末６に送信し、端末５からの送信内容を端末６に伝達する（ステップＳ３８）。

尚、端末６からの送信内容を端末５に伝達する場合も、上記ステップＳ３０〜Ｓ３８の処理を実行し、端末６から送信される音声データＣを端末５のメディア処理手段Ｂ’で扱うことができる符号化方式に変換した後に、端末５に送信する。

このように、本実施の形態においては、端末５で使用可能なメディア処理手段の中から端末６との通信に適したメディア処理手段を選択するとともに、端末６で使用可能なメディア処理手段の中から端末５との通信に適したメディア処理手段を選択し、選択したメディア手段で処理可能なメディアの符号化方式が端末５と端末６とで相違する場合には、メディアの符号化方式を変換して送受信するようにしている。特に、端末５と端末６が送受信するメディアが何れも音声データであり、同じデータ形態であっても、音声データを処理するメディア処理手段が端末５と端末６とで相違すれば、音声データの符号化方式を各端末５、６のメディア処理手段で処理可能な方式に相互変換するため、各端末５、６が搭載するメディア処理手段に柔軟に対応しながらセッションを確立することができ、異なるメディア種別とメディア処理手段を搭載する端末間でもセッションを確立することが可能となる。

続いて、端末５及び端末６とのセッションが確立された後に、端末５が通信に使用するメディア種別を映像データ及び音声データからテキストデータに変更する場合について説明する。尚、テキストデータは、文字情報やチャットなどを想定したものである。

端末５がメディア種別を変更する場合には、図８に示すように、まず、端末５が、メディア種別を映像データＡ及び音声データＢからテキストデータＤに変更するとともに、メディア処理手段をメディア処理手段Ａ’、Ｂ’からテキストデータＤの文字コードＤ’に変更し（ステップＳ５０）、変更内容をセッション更新信号に載せてセッション制御サーバ３に送信する（ステップＳ５１）。

セッション制御サーバ３は、端末５からのセッション更新要求信号を受信すると、セッション処理部３１において、セッション更新であることを確認するとともに、セッション更新信号から端末５のセッション情報を取得して、セッション記憶部３２に記憶する（ステップＳ５２）。

次いで、メディア処理部３３において、セッション更新信号からメディア情報を取得し、取得したメディア情報をメディア記憶部３４に記憶する（ステップＳ５３）。次に、セッション処理部３１において、端末５のメディア種別をテキストデータＤに更新する旨のセッション更新要求信号を生成し、プロトコル処理部３６、３７を介して、端末６に送信する（ステップＳ５４）。

端末６は、セッション更新要求信号を受信すると、セッションの更新を許容するか否かを判定する（ステップＳ５５）。端末６では、音声データＣを処理するメディア処理手段Ｃ’を端末５との通信に用いており、セッションの更新を受け入れることができないため、許容できない旨をセッション更新応答信号に設定し、セッション制御サーバ３に送信する（ステップＳ５６）。

セッション制御サーバ３は、セッション処理部３１において、セッション更新応答信号の内容を解析し、セッション更新の拒否の回答であることを把握する（ステップＳ５７）。次いで、端末５のセッション情報及びメディア情報をセッション記憶部３２及びメディア記憶部３４から取得して呼制御プロトコル処理部３５に通知するとともに、呼制御プロトコル処理部３５から呼制御信号をメディア変換サーバ４に送信し、端末５についてのみ、セッション情報及びメディア情報を更新する（ステップＳ５８、Ｓ５９）。

メディア変換サーバ４は、呼制御プロトコル処理部４１において、端末５のセッション情報及びメディア情報を呼制御信号から取得し、端末情報記憶部４２の端末情報４２ａを更新する（ステップＳ６０）。このとき、端末情報４２ａは、図９に示すように、メディア種別が、音声データからテキストデータに変更され、コーデックが、テキストデータＤの文字コードＤ’に変更される（図９の４２ｄ参照）。メディア変換サーバ４は、端末情報記憶部４２の端末情報４２ａを更新すると、呼制御応答信号をセッション制御サーバ３に送信する（ステップＳ６１）。

セッション制御サーバ３は、呼制御プロトコル処理部３５において、メディア変換サーバ４からの呼制御応答信号を解析し、応答があった旨をセッション処理部３１に通知する。次いで、セッション処理部３１が、端末５のメディア情報を更新した旨をセッション更新応答信号に載せて端末５に送信するとともに、端末６に対して確認応答信号を送信する（ステップＳ６２、Ｓ６３）。

端末５は、セッション制御サーバ３からのセッション更新応答信号を受信し、確認応答信号をセッション制御サーバ３に送信する（ステップＳ６４）。

その後は、変更されたメディア種別及びメディア処理手段で、端末５及び端末６間でリアルタイム通信が行われるが、端末６では、端末５でのメディア種別等の変更を受け入れていない。このため、端末５が発信するテキストデータをメディア変換サーバ４で音声データに変換して端末６に送信するとともに、端末６が発信する音声データをテキストデータに変換して端末５に送信する。

メディアの変換処理にあたっては、まず、端末５が、図８のセッション更新処理によって変更したメディア処理手段を用いて、テキストデータＤからなるメディアストリームを生成し、メディア変換サーバ４に送信する。メディア変換サーバ４は、端末５からのメディアストリームを受信し、メディアストリーム処理部４３において、以下のように、テキストデータのメディアストリームを処理する。

メディアストリーム処理部４３は、図６に示すように、まず、ポート番号に基づいて、受信したメディアストリームがリアルタイム通信データであるか否かを判定する（ステップＳ３０）。受信したメディアストリームは、テキストデータであるため、リアルタイム通信データに該当せず、図７のステップＳ４０に移行して、送信元識別子である送信元のＩＰアドレスをＩＰヘッダから取得する。

次いで、取得したＩＰアドレスを検索キーに用いて、端末情報記憶部４２に記憶されている端末５の端末情報（図９の４２ｄ参照）を取得するとともに、取得した端末情報中の呼識別子を検索キーに用いて、送信先の端末６の端末情報（図９の４２ｃ参照）を取得する（ステップＳ４１）。次に、音声データ変換部４４において、端末５から送信されたテキストデータを音声データに変換するとともに、音声データ処理部４７において、変換した音声データを端末６のメディア処理手段Ｃ’で処理可能な符号化方式に変換する（ステップＳ４２、Ｓ４３）。

次いで、端末６が映像データのメディアが必要であるか否かを判定し（ステップＳ４４）、本例では、端末６は、音声データのみ使用可能であるため、ステップＳ４６に移行する。そして、符号化方式を変換したメディアストリームを端末６に送信し、端末５からの送信内容を端末６に伝達する。

一方、端末６から端末５に対して音声データを送信する場合には、端末５から端末６に対してテキストデータを送信する場合と同様に、まず、端末６から送信されたメディアストリームがリアルタイム通信データであるか否かを判定する（図６のステップＳ３０）。音声データは、リアルタイム通信データであるため、ステップＳ３１に移行し、送信元である端末６のＩＰアドレス及び端末情報を取得する（ステップＳ３１、Ｓ３２）。

次いで、端末５のメディア種別を判定し（ステップＳ３３）、端末５のメディア種別がテキストデータであるため、音声データ変換部４４において、音声データをテキストデータに変換する（ステップＳ４７）。次に、変換されたテキストデータの文字コードを端末５の文字コードＤ’に変換し、端末５の文字形式でテキストデータを端末５に送信する（ステップＳ４８、Ｓ４９）。

このように、本実施形態によれば、セッション制御サーバ３が、端末５のメディア処理手段を変更する旨のセッション更新要求信号を受信したときに、変更後のメディア処理手段（文字コードＤ’）を示すメディア情報をメディア変換サーバ４に送信し、メディア変換サーバ４は、変更後のメディア処理手段と対応させて、端末５及び端末６間のメディアストリームを変換するため、セッションを継続した状態で、メディア種別及びメディア処理手段を変更することができる。特に、複数の端末と同時に通信している状態でも、メディア種別及びメディア処理手段を変更する旨をセッション制御サーバ３に通知し、メディア変換サーバ４のメディア変換設定を変更するのみで足りるため、短時間でメディア種別及びメディア処理手段を更新することが可能となる。

尚、上記の例では、端末６のメディア種別が音声データのみであるため、ステップＳ４４の後にステップＳ４６に移行し、ステップＳ４５の処理を経由しないが、このステップＳ４５の処理は、端末６のメディア種別が映像データを含む場合に、端末５から送信されるテキストデータに映像データを追加するものである。この際に追加する映像データは、図３の映像データ記憶部５０に記憶される映像データであり、例えば、景色、建物、植物、動物及び端末のユーザ等の動画データやアニメーション等を用いることができる。また、この処理は、端末５のメディア種別がテキストデータである場合のみならず、例えば、端末５のメディア種別が音声データである場合にも行うことができる。

本発明にかかる通信処理システムを示す全体構成図である。図１のセッション制御サーバの構成を示すブロック図である。図１のメディア変換サーバの構成を示すブロック図である。図３の端末情報のデータ構成を示す模式図である。セッション確立方法を示すシーケンス図である。メディア変換方法を示すフローチャートである。メディア変換方法を示すフローチャートである。セッション更新方法を示すシーケンス図である。セッション更新時の端末情報のデータ構成を示す模式図である。

符号の説明

１通信処理システム
２ネットワーク
３セッション制御サーバ
４メディア変換サーバ
５、６端末
３１セッション処理部
３２セッション記憶部
３３メディア処理部
３４メディア記憶部
３５呼制御プロトコル処理部
３６トランスポートプロトコル処理部
３７ネットワークプロトコル処理部
４１呼制御プロトコル処理部
４２端末情報記憶部
４２ａ〜４２ｄ端末情報
４３メディアストリーム処理部
４４音声データ変換部
４５トランスポートプロトコル処理部
４６ネットワークプロトコル処理部
４７音声データ処理部
４８映像データ処理部
４９テキストデータ処理部
５０映像データ記憶部
５１メディアストリーム制御部

Claims

第１及び第２端末間のセッションを確立する通信処理システムであって、
前記第１端末で使用可能なメディア処理手段と前記第２端末で使用可能なメディア処理手段とを比較し、前記第１端末で使用可能なメディア処理手段の中から前記第２端末との通信に適したメディア処理手段を選択するとともに、前記第２端末で使用可能なメディア処理手段の中から前記第１端末との通信に適したメディア処理手段を選択するセッション制御サーバと、
選択されたメディア処理手段を用いて前記第１端末から送信されたメディアストリームを受信し、受信したメディアストリームを前記第２端末の選択されたメディア処理手段で処理可能な符号化方式に変換して前記第２端末に送信するメディア変換サーバとを備えることを特徴とする通信処理システム。
前記セッション制御サーバは、前記第１及び第２端末の少なくとも一方からメディア処理手段を変更する旨の信号を受信したときに、変更後のメディア処理手段を示す情報を前記メディア変換サーバに送信し、
前記メディア変換サーバは、前記変更後のメディア処理手段を示す情報に基づいてメディア変換の設定を変更し、前記変更後のメディア処理手段と対応させて、前記受信したメディアストリームの符号化方式を変換することを特徴とする請求項１に記載の通信処理システム。
第１及び第２端末間の通信を中継するセッション制御サーバであって、
前記第１端末で使用可能なメディア処理手段と前記第２端末で使用可能なメディア処理手段とを比較し、前記第１端末で使用可能なメディア処理手段の中から前記第２端末との通信に適したメディア処理手段を選択するとともに、前記第２端末で使用可能なメディア処理手段の中から前記第１端末との通信に適したメディア処理手段を選択するメディア処理部と、
前記第１端末から送信されたメディアストリームの符号化方式を変換して前記第２端末に送信するメディア変換サーバに前記メディア処理部の選択結果を送信する送信部とを備えることを特徴とするセッション制御サーバ。
前記第１及び第２端末の少なくとも一方からメディア処理手段を変更する旨の信号を受信したときに、変更後のメディア処理手段を示す情報を前記メディア変換サーバに送信することを特徴とする請求項３に記載のセッション制御サーバ。
前記第１端末からメディア処理手段を変更する旨の信号を受信するのに応答して、前記第１端末がメディア処理手段を変更する旨の信号を前記第２端末に送信し、前記第２端末からメディア処理手段の変更を拒否する旨の回答信号を受信したときに、前記第１端末の変更後のメディア処理手段を示す情報を前記メディア変換サーバに送信することを特徴とする請求項３又は４に記載のセッション制御サーバ。
前記メディア処理部は、前記第１端末で使用可能なメディア処理手段と前記第２端末で使用可能なメディア処理手段とを比較した結果、共通のメディア処理手段が存在しないときに、前記通信に適したメディア処理手段を選択することを特徴とする請求項３、４又は５に記載のセッション制御サーバ。
前記第１端末からセッション確立要求信号を受けて、前記第１端末が使用可能なメディア処理手段の情報を取得するとともに、前記セッション確立要求信号を前記第２端末に転送し、その応答信号から前記第２端末が使用可能なメディア処理手段の情報を取得することを特徴とする請求項３乃至６の何れかに記載のセッション制御サーバ。
第１及び第２端末間の通信を中継し、前記第１端末から送信されたメディアストリームに変換処理を施して前記第２端末に送信するメディア変換サーバであって、
前記第１端末で使用可能なメディア処理手段の中から選択された前記第２端末との通信に適したメディア処理手段を示す情報と、前記第２端末で使用可能なメディア処理手段の中から選択された前記第１端末との通信に適したメディア処理手段を示す情報とを受信する受信部と、
前記受信部で受信された情報を記憶する記憶部と、
選択されたメディア処理手段を用いて前記第１端末から送信されたメディアストリームを受信し、受信したメディアストリームを前記第２端末の選択されたメディア処理手段で処理可能な符号化方式に変換して前記第２端末に送信する変換処理部とを備えることを特徴とするメディア変換サーバ。
前記受信部は、前記第１及び第２端末の少なくとも一方がメディア処理手段を変更したときに、変更後のメディア処理手段を示す情報を受信し、
前記記憶部は、前記受信部で受信した前記変更後のメディア処理手段を示す情報を記憶し、
前記変換処理部は、前記変更後のメディア処理手段を示す情報に基づいてメディア変換の設定を変更し、前記変更後のメディア処理手段と対応させて、前記受信したメディアストリームの符号化方式を変換することを特徴とする請求項８に記載のメディア変換サーバ。
前記変換処理部は、前記第１端末が送受信するメディアの種類数が前記第２端末が送受信するメディアの種類数より多いときに、前記第１端末から受信したメディアストリームの中から前記第２端末で処理不可能なメディアストリームを削除して前記第２端末に送信するとともに、前記第２端末から受信したメディアストリームに、前記第１端末で処理可能なメディアストリームを追加して前記第１端末に送信することを特徴とする請求項８又は９に記載のメディア変換サーバ。
第１及び第２端末間のセッションを確立するセッション接続方法であって、
前記第１端末で使用可能なメディア処理手段と前記第２端末で使用可能なメディア処理手段とを比較し、前記第１端末で使用可能なメディア処理手段の中から前記第２端末との通信に適したメディア処理手段を選択するとともに、前記第２端末で使用可能なメディア処理手段の中から前記第１端末との通信に適したメディア処理手段を選択する第１ステップと、
選択されたメディア処理手段を用いて前記第１端末から送信されたメディアストリームを、前記第２端末の選択されたメディア処理手段で処理可能な符号化方式に変換して前記第２端末に送信する第２ステップとを有することを特徴とするセッション接続方法。
前記第１及び第２端末の少なくとも一方からメディア処理手段を変更する旨の信号を受信したときに、変更後のメディア処理手段を示す情報を前記メディア変換サーバに送信するステップを有し、
前記第２ステップは、前記変更後のメディア処理手段と対応させて、前記受信したメディアストリームの符号化方式を変換することを特徴とする請求項１１に記載のセッション接続方法。