JP2006210973A

JP2006210973A - 通信端末装置およびそのセッション接続方法

Info

Publication number: JP2006210973A
Application number: JP2005016301A
Authority: JP
Inventors: Junko Ami; 淳子網; Shinya Murai; 信哉村井
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2005-01-25
Filing date: 2005-01-25
Publication date: 2006-08-10

Abstract

【課題】複数の相手と同時にリアルタイムでのコミュニケーションを行うことのできる通信端末装置を提供する。
【解決手段】メディア情報の入出力に使用されるリソースの使用状況を管理するリソース管理部３と、メディア情報のデータ形態を変換するメディア変換部５と、セッション接続制御部４とを備え、セッション接続制御部４は、端末から受信したセッション接続要求に基づき、メディア変換部によるメディア情報の変換可能なデータ形態を判定し、この変換可能なデータ形態とリソース管理部にて管理されているリソースの使用状況とに基づいて、セッション接続先のアプリケーションでのセッション接続要求の受け入れの可否を判定する。セッション接続要求を受け入れる場合、端末から送信されたメディア情報のデータ形態をメディア変換部にて変換してアプリケーションに提供する。
【選択図】図１

Description

本発明は、音声、映像、テキストデータなどの様々なメディア種別のメディア情報を、ネットワークを通じて他の端末との間でセッションを接続してやりとりする通信端末装置およびそのセッション接続方法に関する。

人が複数の異なる相手と同時にリアルタイムでのコミュニケーションをとることは困難である。このため一般に、ネットワークを通じて他の端末との間で音声や映像などのメディア情報をやりとりする、たとえばＩＰ電話端末、テレビ電話端末、あるいはこれらの機能を実現するアプリケーションを備えたＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）などの通信端末装置では、同時に複数の相手、あるいは複数の相手が構成する一つの会議を接続先として通信することが想定されていない。

たとえば、ＩＰネットワーク上で音声通話を実現する技術であるＶｏＩＰ（ＶｏｉｃｅｏｖｅｒＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）で利用されるプロトコルとしてＳＩＰ（ＳｅｓｓｉｏｎＩｎｉｔｉａｔｉｏｎＰｒｏｔｏｃｏｌ）やＨ．３２３などがある。これらＳＩＰやＨ．３２３などのプロトコルを用いたＶｏＩＰシステムでは、端末は、別の端末より、あるクライアント・アプリケーション宛てのセッション接続要求を受けとると、そのクライアント・アプリケーションにてセッション接続要求の受け入れが可能であるかどうかを判定し、受け入れ可能であれば、この旨を示す応答をセッション接続要求元である端末に応答することによって音声通話のためのセッション（コネクション）が端末間において設定される（たとえば特許文献１参照）。ここで、そのクライアント・アプリケーションに既にセッションが設定されている場合には、別の端末からのセッション接続要求は拒否される。しかしてセッション接続要求元である端末は、既存のセッションが解放されるのを待ってから、改めてセッション接続要求を試みることになる。
特開２００４−２５９１００号公報

通信端末装置では同時に複数の相手とコミュニケーションを行うことが想定されていないため、次にコミュニケーションをとることを希望している他の端末のユーザは、自分の順番が回ってくるまで待機していなければならない。このため、緊急に連絡をとれる保証がなく、用途が制限される。

また、ＩＰ電話、テレビ電話などの複数のクライアント・アプリケーションを実行可能な通信端末装置では、テレビ電話によるコミュニケーションの実行中は音声の入出力に必要なスピーカやマイクなどのリソースが消費されるために、このときＩＰ電話へのセッション接続要求を受け入れることができない。また、ＩＰ電話によるコミュニケーションの実行中もスピーカやマイクなどのリソースが消費されるために、このときテレビ電話へのセッション接続要求を受け入れることができない。

本発明はこのような事情を鑑み、複数の相手と同時にリアルタイムでのコミュニケーションを行うことのできる通信端末装置およびそのセッション接続方法を提供することを目的としている。

上記の目的を達成するために、第１に、本発明は、ネットワークを通じて他の端末との間でセッションを接続してメディア情報をやりとりする１以上のアプリケーションを実行可能な通信端末装置であって、端末からメディア情報に先立って送信される、当該メディア情報のデータ形態を示す情報およびセッション接続先のアプリケーションを指定する情報を含むセッション接続要求を受信する受信クライアント・アプリケーション制御部と、メディア情報の入出力に使用されるリソースの使用状況を管理するリソース管理部と、メディア情報のデータ形態を変換するメディア変換部と、セッション接続要求に含まれるメディア情報のデータ形態を示す情報からメディア変換部によるメディア情報の変換可能なデータ形態を判定し、この変換可能なデータ形態とリソース管理部にて管理されているリソースの使用状況とに基づいて、セッション接続要求に含まれる前記セッション接続先のアプリケーションでの該セッション接続要求の受け入れの可否を判定するセッション接続制御部とを具備することを特徴とする。

第２に、第１の発明において、セッション接続制御部は、メディア情報、または、メディア変換部にてデータ形態を変換したメディア情報の入出力に必要なリソースに空きがある場合に、セッション接続先のアプリケーションにてセッション接続要求を受け入れることを判定することを特徴とする。

第３に、第２の発明において、セッション接続制御部は、アプリケーションにてセッション接続要求を受け入れることを判定した場合、端末から送信されたメディア情報のデータ形態をメディア変換部にて変換してアプリケーションに提供することを特徴とする。

第４に、第１の発明において、セッション接続制御部は、端末から複数のデータ形態のメディア情報のやりとりを要求するセッション接続要求が受信されたとき、少なくとも、一部のデータ形態のメディア情報、または、メディア変換部にてデータ形態を変換した一部のデータ形態のメディア情報の入出力に必要なリソースに空きがある場合に、アプリケーション特定部にて特定されたアプリケーションにてセッション接続要求を受け入れることを判定することを特徴とする。

第５に、第４の発明において、セッション接続制御部は、アプリケーションによるセッション接続要求を受け入れることを判定した場合、端末から送信された、一部のデータ形態のメディア情報、またはデータ形態を変換した一部のデータ形態のメディア情報をアプリケーションに提供し、その他のデータ形態のメディア情報を破棄することを特徴する。第６に、第１ないし第５のいずれかの発明において、セッション接続制御部は、端末から第１のデータ形態で送信されたメディア情報をメディア変換部を用いて第２のデータ形態に変換し、かつユーザから第２のデータ形態で入力されたメディア情報をメディア変換部を用いて第１のデータ形態に変換して端末へ送信することを特徴とする。

第７に、第６の発明において、第１のデータ形態が音声データ、第２のデータ形態がテキストデータであることを特徴とする。

第８に、第７の発明において、テキストデータの複数の定型文があらかじめ記憶されたテキストデータ定型文記憶部と、テキストデータ定型文記憶部に記憶された複数の定型文の中から、端末にメディア情報として送信すべき定型文をユーザに選択させ、ユーザからの入力テキストデータとする定型文選択手段とをさらに具備する構成とする。

第９に、第１の発明において、セッション接続要求はセッションの優先度に関する情報を含んでおり、セッション接続制御部は、接続中のセッションの優先度を保持し、新たに受信したセッション接続要求に含まれるセッションの優先度と接続中のセッションの優先度とを比較し、新たに受信したセッション接続要求の優先度が高ければ、これらのセッションで共通に使用するリソースの利用先を新たに受信したセッション接続要求のセッションに切り替えることを特徴とする。

第１０に、第３の発明において、セッション接続制御部は、セッション接続状況の変化に応じて、解放されたリソースの利用先をセッション接続中のアプリケーションに切り替えるとともに、このアプリケーションと端末との間でのメディア情報のやりとりを、利用可能となったリソースを用いて行う形態に切り替える構成とする。

本発明の請求項１〜１０記載の通信端末装置およびそのセッション接続方法によれば、複数の相手と同時にリアルタイムでのコミュニケーションを行うことができる。

以下、本発明の実施の形態を図面を参照して説明する。
図１は本発明の一実施形態にかかる通信端末装置におけるセッション接続制御に関連する機能の構成を示すブロック図である。

同図に示すように、この通信端末装置１００は、ネットワーク入出力部１、受信クライアント・アプリケーション制御部２、リソース管理部３、セッション接続制御部４、セッション接続制御部４、メディア変換部５、メディア制御部６、および対ユーザ入出力部７を備えている。

また、この通信端末装置１００は、ハードウェア要素として、たとえば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）と、ＣＰＵのワークエリアなどとして用いられるメインメモリと、各種のプログラムやデータなどを記憶するハードディスクドライブやフラッシュメモリなとの不揮発性の記憶装置と、音声を出力するスピーカと、音声を入力するマイクと、映像を取り込むカメラと、映像を出力する表示装置と、キーボードやマウスなどの入力装置と、インターネットなどのネットワークと接続するためのネットワーク接続装置などを備えている。

ネットワーク入出力部１は、ネットワーク１１を通じて他の端末Ａ，Ｂとの間で、セッション接続要求とその応答、さらには映像、音声、テキストなどのメディア情報の入出力を行う手段である。ここで、図２に示すように、他の端末Ａ，Ｂからメディア情報に先立って送信されるセッション接続要求２０には、セッション接続要求のコマンド本体２１と、メディア情報のデータ形態（映像、音声、テキストデータ、符号化方式など）を示すデータ形態情報２２と、セッション接続先のクライアント・アプリケーションを指定するアプリケーション指定情報２３とが含まれている。

受信クライアント・アプリケーション制御部２は、ネットワーク入出力部１を通じて他の端末Ａ，Ｂからセッション接続要求を受け取り、このセッション接続要求に含まれるアプリケーション指定情報に基づき、セッション接続の受け入れ先のクライアント・アプリケーションを特定する。受信クライアント・アプリケーション制御部２は、通信端末装置１００にて実行可能な複数のクライアント・アプリケーションに関する情報２４を保持しており、この情報２４を参照して、上記のアプリケーション指定情報に対応するクライアント・アプリケーションを特定する。

クライアント・アプリケーションとしては、たとえば、他の端末Ａ，Ｂの間での音声を用いたリアルタイムでのコミュニケーションを行うためのＩＰ電話、他の端末Ａ，Ｂとの間での主に音声と映像を用いたリアルタイムでのコミュニケーションを行うためのテレビ電話、音楽データの受信と再生を実現するための音楽プレーヤ、主に音声と動画の受信と再生を実現するためのビデオプレーヤ、テキストデータのやりとりによるリアルタイムでのコミュニケーションを行うためのチャットなどがある。

リソース管理部３は、たとえば、図３に示すように、音声、映像、テキストなどのメディア情報の入出力に利用される、スピーカ、マイク、カメラ、映像用の表示画面、テキストデータ用の表示画面、テキストデータ用の入力装置などのリソースの使用状況を管理する手段であり、各々のクライアント・アプリケーションの起動と停止に応じて、各々のリソースごとに使用／未使用の状況をリアルタイムに管理する。

一般にＩＰ電話の場合にはスピーカとマイク、テレビ電話の場合にはスピーカ、マイク、カメラ、映像用の表示画面が必要なリソースとなるが、本実施形態では、データ形態を変換したメディア情報をクライアント・アプリケーションにて扱うことができるように、ＩＰ電話、テレビ電話の各々のクライアント・アプリケーションに機能的な拡張が施されている。すなわち、音声の出力に代えてこの音声から変換されたテキストデータを表示する機能、音声の入力に代えて音声合成するテキストデータの入力を行う機能などである。

セッション接続制御部４は、ネットワーク入出力部１にて受信したセッション接続要求に含まれるデータ形態情報に基づき、メディア変換部５によるメディア情報の変換可能なデータ形態を判定し、この変換可能なデータ形態とリソース管理部３にて管理されているリソースの使用状況とに基づいて、受信クライアント・アプリケーション制御部２にて特定されたクライアント・アプリケーションによるセッション接続要求の受け入れの可否を判定し、この判定結果に応じてセッション接続要求元である端末Ａ，Ｂへセッション接続の可否をネットワーク入出力部１を通して応答する手段である。

メディア変換部５は、ネットワーク入出力部１を通してセッション接続要求元である他の端末Ａ，Ｂから受信したメディア情報のデータ形態を変換する手段である。メディア変換部５は、具体的には、音声データを認識してテキストデータに変換する音声認識機能部５ａ、テキストデータを音声合成する音声合成機能部５ｂなどを備えている。

メディア制御部６は、メディア変換部５を管理し、セッション接続制御部４に対してメディア変換部５によって実施可能なメディア変換の種類（変換元のデータ形態と変換先のデータ形態との関係）を通知したり、メディア変換部５に実施させるメディア変換の種類を指定したりする手段である。

図４はメディア変換部５にて実施可能なメディア変換の種類の例を示している。この例では、音声認識機能部５ａにより、Ｇ．７１１，Ｇ．７２９の音声データをＥＵＣ（ＥｘｔｅｎｄｅｄＵｎｉｘ（登録商標）Ｃｏｄｅ）のテキストデータに変換できること、さらに、音声合成機能部５ｂにより、ＥＵＣまたはＡＳＣＩＩ（ＡｍｅｒｉｃａｎＳｔａｎｄａｒｄＣｏｄｅｆｏｒＩｎｆｏｒｍａｔｉｏｎＩｎｔｅｒｃｈａｎｇｅ）のテキストデータをＧ．７２９の音声データに変換できることが示されている。また、音声認識機能部５ａ、音声合成機能部５ｂの他に、動画を一定時間おきの静止画に変換する画像変換機能部などを追加してもよい。

対ユーザ入出力部７は、受信した音声、映像、テキストなどのメディア情報をスピーカや表示装置などを通してユーザに出力したり、ユーザよりマイク、キーボード、カメラなどを通して入力された音声、テキスト、映像などのメディア情報を取り込む手段である。

次に、この実施形態の通信端末装置１００において、ネットワーク１１に接続された他の端末（たとえば端末Ａ）からセッション接続要求を受けて、その端末Ａへ応答を返すまでのセッション接続制御の動作を説明する。図５は、このセッション接続制御の流れを示すフローチャートである。

まず、通信端末装置１００は、他の端末Ａからのセッション接続要求をネットワーク入出力部１にて受信する（ステップ５０１）。ネットワーク入出力部１にて受信されたセッション接続要求は受信クライアント・アプリケーション制御部２へわたされる。受信クライアント・アプリケーション制御部２は、受け取ったセッション接続要求に含まれるアプリケーション指定情報２３と内部に保持しているクライアント・アプリケーションに関する情報２４に基づいてセッション接続の受け入れ先のクライアント・アプリケーションを特定し、その結果をセッション接続要求に含まれているメディア情報のデータ形態情報２２とともにセッション接続制御部４へ通知する（ステップ５０２）。

セッション接続制御部４は、受信クライアント・アプリケーション制御部２より特定クライアント・アプリケーションとメディア情報のデータ形態情報２２の通知を受けると、まず、リソース管理部３のリソース管理表３０の内容（リソースの使用状況）を読み込み、特定クライアント・アプリケーションが使用するリソースが利用可能であるかどうかを判定する（ステップ５０３）。すなわち、特定クライアント・アプリケーションが使用するリソースが現在未使用ならば利用可能であることを判定し、使用中であれば利用不可であることを判定する。

セッション接続制御部４は、特定クライアント・アプリケーションが使用するリソースが利用可能であることを判定すると、その特定クライアント・アプリケーションにてセッション接続要求を受け入れる手続きを行い、セッション接続要求を受け入れる旨の応答をネットワーク入出力部１を通じてセッション接続要求元の端末Ａへ送信する（ステップ５０４）。この後、セッション接続制御部４はリソース管理部３に対してリソース管理表３０の更新を要求し、この要求を受けたリソース管理部３はリソース管理表３０の更新を行う（ステップ５０５）。

また、セッション接続制御部４は、特定クライアント・アプリケーションが使用するリソースが現在利用不可であることを判定した場合、メディア変換部５にてメディア情報のデータ形態の変換を実施すればセッション接続要求を受け入れることが可能であるかどうかを判定する（ステップ５０７）。すなわち、セッション接続制御部４は、まず、メディア制御部６にて管理されているメディア変換（メディア情報のデータ形態の変換）の種類を参照し、このメディア変換の種類とセッション接続要求に含まれるデータ形態情報２２に基づき実施可能なメディア変換の種類を特定する。次に、セッション接続制御部４は、リソース管理部３のリソース管理表３０を参照し、当該メディア変換を実施すれば特定クライアント・アプリケーションにおいてセッション接続要求を受け入れることが可能であるかどうかを判定する。セッション接続要求を受け入れることが可能であれば、セッション接続制御部４は、その特定クライアント・アプリケーションにてメディア変換を実施することを条件としてセッション接続要求を受け入れる手続きを行い、セッション接続要求を受け入れる旨の応答をネットワーク入出力部１を通じてセッション接続要求元の端末へ送信する（ステップ５０８）。この後、セッション接続制御部４はリソース管理部３に対してリソース管理表３０の更新を要求し、この要求を受けたリソース管理部３はリソース管理表３０の更新を行う（ステップ５０９）。

また、メディア変換を実施しても、その変換後のデータ形態のメディア情報の入出力に必要なリソースに空きがない場合には、セッション接続制御部４は、ネットワーク入出力部１を通じて、セッション接続要求の受け入れを拒否する旨の通知をセッション接続要求元の端末に送信する（ステップ５１０）。

その後、通信端末装置１００のクライアント・アプリケーションにより他の端末Ａとの間でのメディア情報のやりとり、すなわちリアルタイムでのコミュニケーションが開始される。この際、特定のメディア変換を条件としてセッション接続要求を受け入れていた場合には、通信端末装置１００にて受信されたメディア情報は、メディア変換部５にてデータ形態が変換されてからクライアント・アプリケーションに提供される。

クライアント・アプリケーションにて処理された音声、映像、テキストなどのメディア情報は、対ユーザ入出力部７により、たとえばスピーカや表示装置などを通してユーザに提供される。また、クライアント・アプリケーションは、たとえばマイク、カメラ、キーボードなどを用いてユーザから入力された音声、映像、テキストなどのメディア情報を対ユーザ入出力部７を通して取り込み、ネットワーク入出力部１を通してセッション接続要求元である端末Ａへ送信する。

通信端末装置１００のクライアント・アプリケーションによる他の端末Ａとの間でのメディア情報のやりとりが終了し、セッション接続が解放されると、そのクライアント・アプリケーションによって使用されていたリソースが解放される。これにより、リソース管理部３はリソース管理表３０の更新を行う。

次に、より具体的な動作例を説明する。
本実施形態の通信端末装置１００において、テレビ電話のクライアント・アプリケーションが動作している場合を想定する。ここで、テレビ電話は音声と映像を用いたコミュニケーションのほか、音声に代えてテキストデータを用いてコミュニケーションを行う機能を有する。

ある端末との間でテレビ電話によるコミュニケーションが行われているとき、図６に示すように、音声の入出力、映像の入力、および１つの映像の出力のためのリソースは使用中となる。テキストデータの入出力のためのリソースは未使用である。この場合に、別の端末から、テキストデータの入出力のためのリソースのみを利用するチャットなどのクライアント・アプリケーションを指定するセッション接続要求を通信端末装置１００が受けた場合には、このセッション接続要求はメディア情報のデータ形態の変換を実施することなく、チャットなどのクライアント・アプリケーションにて受け入れられる。

これに対して、音声や映像のリソースを使用するＩＰ電話やテレビ電話などのクライアント・アプリケーションを指定するセッション接続要求を受けた場合には、既に音声の入出力のためのリソースが使用中であるため、メディア情報のデータ形態の変換を実施することなしにそのセッション接続要求を受け入れることはできない。そこで、この場合には、メディア情報のデータ形態の変換を実施すればセッション接続要求を受け入れることが可能であるかどうかの判定がセッション接続制御部４にて行われる。この場合、音声をテキストデータに変換すれば、現在未使用であるテキストデータ入出力用のリソースを用いることで、セッション接続要求を受け入れることが可能であることが判定される。

次に、メディア変換の実施を条件にセッション接続要求を受け入れる場合の第１の動作例として、通信端末装置１００が端末Ｂとのテレビ電話中に端末ＡからＩＰ電話のセッション接続要求を受けた場合の動作を説明する。

図７はかかる動作を説明するためのネットワークの構成を示す図、図８は図７のネットワークにおける通信端末装置１００と各端末Ａ，Ｂとの間での情報のやりとりの手順を示す図である。

本実施形態の通信端末装置１００と端末Ｂとの間でテレビ電話による音声と映像（動画）を用いたコミュニケーションが行われているものとする（Ｓ１）。このとき、別の端末ＡからＩＰ電話のセッション接続要求を通信端末装置１００が受けた場合（Ｓ２）、通信端末装置１００のセッション接続制御部４は、メディア制御部６にて管理されている、メディア変換部５によって実施可能なメディア変換の種類を参照して音声データとテキストデータとの間でのメディア変換が可能であることを判定するとともに、リソース管理部３のリソース管理表３０（図６）から現在テキストデータ入出力用のリソースが未使用であることを判定する（Ｓ３）。これにより、セッション接続制御部４は、セッション接続要求を受け入れることを決定し、ネットワーク１１を通じて端末Ａにセッション接続要求の受け入れが可能である旨を応答する（Ｓ４）。このとき、端末Ａに、通信端末装置１００では音声がテキストデータで表示される旨を、セッション接続要求に対する応答に付加するなどして、端末Ａのユーザに通知するようにしてもよい。

端末Ａは、セッション接続要求の受け入れ可能の応答を受信すると、ネットワーク１１を通じて音声データを通信端末装置１００へ送信する（Ｓ５）。通信端末装置１００は、端末Ａより受信した音声データをメディア変換部５の音声認識機能部５ａによりテキストデータに変換してＩＰ電話のクライアント・アプリケーションへわたす。これにより、通信端末装置１００のテキスト表示画面３１に端末Ａからの音声をテキスト化した情報が表示される（Ｓ６）。

通信端末装置１００から端末Ａへは、通信端末装置１００のユーザがキーボードなどのテキストデータ入力用のリソースを用いて入力したテキストデータをメディア変換部５の音声合成機能部５ｂにて音声化した情報が送信される（Ｓ７，Ｓ８）。これにより、通信端末装置１００において、端末Ｂとの間でテレビ電話によるコミュニケーションを行いつつ、端末Ａとの間でＩＰ電話によるコミュニケーションを行うことができる。

ところで、メディア変換部５にて音声に変換されるテキストデータの入力に関しては、あらかじめ用意しておいた会話用の定型文を利用することがユーザの負担を軽減するために有効である。たとえば、メディア変換を実施することでセッション接続要求が受け入れ可能であることが判定されたことを契機に、記憶装置から読み出された定型文の候補が表示装置に表示される。図９に定型文の候補の表示例を示す。このように表示された定型文の候補の中からユーザがマウスなどを用いて任意の定型文を選択することによって、その選択された定型文のテキストデータがメディア変換部５の音声合成機能部５ｂにて音声に変換されて送信される。

さらには、上記の定型文を選択する手間も省くために、あらかじめ設定しておいた定型文を自動的に音声に変換して送信するようにしてもよい。この際、相手の音声をテキスト化した情報がテキスト表示画面に表示されたことを契機として、上記の自動的な定型文音声の送信を行うようにしてもよい。

また、通信端末装置１００がテレビ電話でコミュニケーションを行っている端末Ｂのユーザとの会話の内容を、ＩＰ電話で接続中の端末Ａのユーザにそのまま聞かせるために、端末Ｂとの間で送受信される音声データを、通信端末装置１００から端末Ａへそのまま流すようにしてもよい。

さらに、通信端末装置１００と端末Ｂとのテレビ電話によるセッション接続が端末ＡとのＩＰ電話によるセッション接続よりも先に終了した場合、テレビ電話によって使用されていた音声の入出力のためのリソースが解放されるので、これを契機に、それらのリソースの使用先を端末Ａとの間でのＩＰ電話によるコミュニケーションへ自動的に切り替えるようにしてもよい。

さらに、音声の入出力のためのリソースが未使用であっても、たとえば予め設定しておいた特定の相手とのＩＰ電話やテレビ電話によるコミュニケーションには、音声の入出力のためのリソースを使用せずに、メディア変換による音声とテキストデータとの変換を行ってテキストデータの入出力のためのリソースを利用した通話を行うようにしてもかまわない。

次に、メディア情報のデータ形態の変換を実施すればセッション接続要求を受け入れることが可能である場合の第２の動作例として、通信端末装置１００が端末Ｂとのテレビ電話中に端末Ａから同じくテレビ電話のセッション接続要求を受けた場合の動作を説明する。

図１０はかかる動作を説明するためのネットワークの構成を示す図、図１１は図１０のネットワークにおける通信端末装置１００と各端末Ａ，Ｂとの間での情報のやりとりの手順を示す図である。

本実施形態の通信端末装置１００と端末Ｂとの間で、テレビ電話による音声と映像（動画）を用いたコミュニケーションが行われているものとする（Ｓ１１）。このとき、他の端末Ａからテレビ電話のセッション接続要求を通信端末装置１００が受けた場合（Ｓ１２）、通信端末装置１００のセッション接続制御部４は、メディア制御部６にて管理されている、メディア変換部５によって実施可能なメディア変換の種類を参照して音声データとテキストデータとの間でのメディア変換が可能であることを判定するとともに、リソース管理部３のリソース管理表３０（図６）から現在テキストデータ入出力用のリソースが未使用であることを判定する（Ｓ１３）。この結果、セッション接続制御部４は、セッション接続要求を受け入れることを決定し、ネットワーク１１を通じて端末Ａにセッション接続要求の受け入れが可能である旨を応答する（Ｓ１４）。このとき、端末Ａに、通信端末装置１００では音声がテキストデータで表示される旨を、セッション接続要求に対する応答に付加するなどして、端末Ａのユーザに通知するようにしてもよい。

端末Ａは、セッション接続要求の受け入れ可能の応答を受信すると、ネットワーク１１を通じて音声データおよび映像データを通信端末装置１００へ送信する（Ｓ１５）。通信端末装置１００は、端末Ａより受信した音声データをメディア変換部５の音声認識機能部５ａによりテキストデータに変換してテレビ電話のクライアント・アプリケーションへわたす。これにより、通信端末装置１００のテキスト表示画面３１に端末Ａからの音声をテキスト化した情報が表示される。また、通信端末装置１００は、端末Ａから送信された映像データを受信するものの、この映像データは他のデータ形態で代替して出力することは不可であることを、メディア制御部６にて管理されているメディア変換の種類を参照して判断する。この結果、通信端末装置１００は受信した映像データを破棄する（Ｓ１６）。

通信端末装置１００から端末Ａへは、通信端末装置１００のユーザがキーボードなどのテキストデータ入力用のリソースを用いて入力したテキストデータをメディア変換部５の音声合成機能部５ｂにて音声化した情報が送信される（Ｓ１７，Ｓ１８）。これにより、通信端末装置１００では、端末Ｂとの間でテレビ電話によるコミュニケーションを行いつつ、端末Ａとの間で音声のみによるコミュニケーションを行うことができる。

また、通信端末装置１００と端末Ｂとのテレビ電話によるセッション接続が端末Ａとのセッション接続よりも先に終了した場合、端末Ｂとのテレビ電話によって使用されていた音声と映像の入出力のためのリソースが解放されるので、これを契機に、それらのリソースの利用先を、端末Ａとのテレビ電話のコミュニケーションに自動的に切り替えるようにしてもよい。

次に、本実施形態の通信端末装置１００において、音楽プレーヤなどのクライアント・アプリケーションが、ネットワーク１１を通じて音楽データをダウンロードして再生しているときに、他の端末からテレビ電話のクライアント・アプリケーションを指定するセッション接続要求を受けた場合の動作を説明する。

通信端末装置１００において、音楽プレーヤのクライアント・アプリケーションが動作しているときは、図１２に示すように、リソース管理表３０の音声の出力のためのリソース（スピーカなど）が使用中となる。

このとき、端末Ａから、テレビ電話のクライアント・アプリケーションを指定するセッション接続要求を受けた場合、音声入力のためのリソース（マイクなど）は未使用であるため自分の発声をマイクから入力することはできるが、音声の出力のためのリソース（スピーカなど）は使用中であるため、相手の音声を聞くことができない。この場合、セッション接続制御部４は、音声データをテキストデータに変換すればセッション接続要求を受け入れることが可能であると判断し、セッション接続要求元である端末Ａにセッション接続要求を受け入れる旨の通知をネットワーク入出力部１を通じて応答する。そしてリソース管理部３のリソース管理表３０のテキストデータ表示用のリソースを一つ使用中に更新する。

次に、本実施形態の通信端末装置の変形例を説明する。
本実施形態の通信端末装置１００へ送信されるセッション接続要求には、コミュニケーションの優先度を示す情報を付加するようにしてもよい。セッション接続要求を受けた通信端末装置１００のセッション接続制御部４は、現在接続中のセッションの優先度を保持しており、これらのセッションの優先度と新たに受けたセッション接続要求の優先度とを比較する。この比較で、新たに受けたセッション接続要求の優先度が高ければ、新旧のセッションで共通に使用するリソースの有無を調べ、共通に使用するリソースが有る場合には、そのリソースの利用先を新たなセッションに切り替える。これにより、後発のセッション接続要求であっても、重要度の高いコミュニケーションを本来の入出力形態で行うことができるようになる。

上記の実施形態において、通信端末装置１００は、メディア情報のデータ形態の変換を実施すればセッション接続要求を受け入れることが可能と判定した場合に、その旨をセッション接続要求元に応答するものとしたが、はじめに、メディア情報のデータ形態の変換を実施しなければセッション接続要求を受け入れられない旨を示す拒否応答をセッション接続要求元へ返し、同じセッション接続要求元から、再度セッション接続要求が届いたときに初めて、セッション接続要求を受け入れる旨を応答するようにしてもよい。これにより、セッション接続要求元である端末のユーザは、通信端末装置１００では自分の音声がテキスト化されて表示されることを承諾した上でコミュニケーションに入ることができる。

また、セッション接続要求元である端末は、上記の拒否応答を受信した場合に、通信端末装置１００に未使用のリソースを問い合わせ、この問い合わせに対して通信端末装置１００から他の端末に未使用のリソースを通知するようにしてもよい。セッション接続要求元である端末は、この通知を基に、セッション接続要求の受け入れ先を、未使用のリソースを利用したクライアント・アプリケーションへ変更して、セッション接続要求を再度行う。

たとえば、通信端末装置１００が既にテレビ電話によるコミュニケーションを行っているとき、通信端末装置１００は新たなセッション接続要求元である端末からの未使用のリソースを問い合わせを受けた場合に、テキストデータの入力と出力のための各リソースが未使用であることを新たなセッション接続要求元である端末に通知する。新たなセッション接続要求元である端末は、その通知を受けると、これらのリソースを用いてコミュニケーションを行うことのできるクライアント・アプリケーション、たとえばチャットにセッション接続要求の受け入れ先を変更する。

また、通信端末装置１００から新たなセッション接続要求元である端末にセッション接続拒否を返す際に、このセッション接続拒否に未使用のリソースの情報を付加して送信するようにしてもよい。これにより、未使用リソースの通知のための通信が１往復不要になり、高速化を図れる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。たとえば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の一実施形態にかかる通信端末装置におけるセッション接続制御に関連する機能の構成を示すブロック図である。セッション接続要求の構成を示す図である。リソース管理部のリソース管理表の例を示す図である。メディア変換部にて実施可能なメディア変換の種類の例を示す図である。図１の通信端末装置におけるセッション接続制御の流れを示すフローチャートである。テレビ電話によるコミュニケーションが行われているときのリソース管理表を示す図である。図１の通信端末装置がテレビ電話中に別の端末からＩＰ電話のセッション接続要求を受けた場合の動作を説明するためのネットワーク構成を示す図である。図７のネットワーク構成における通信端末装置と各端末との間での情報のやりとりの手順を示す図である。テキストデータの入力に関して、あらかじめ用意しておいた会話用の定型文を利用する方法を説明するための図である。図１の通信端末装置がテレビ電話中に他の端末から同じくテレビ電話のセッション接続要求を受けた場合の動作を説明するためのネットワーク構成を示す図である。図１０のネットワーク構成における通信端末装置と各端末との間での情報のやりとりの手順を示す図である。図１の通信端末装置において音楽プレーヤのクライアント・アプリケーションが動作しているときのリソース管理表を示す図である。

符号の説明

１…ネットワーク入出力部、２…受信クライアント・アプリケーション制御部、３…リソース管理部、４…セッション接続制御部、５…メディア変換部、５ａ…音声認識機能部、５ｂ…音声合成機能部、６…メディア制御部、７…対ユーザ入出力部、１１…ネットワーク、２０…セッション接続要求、２１…コマンド本体、２２…データ形態情報、２３…アプリケーション指定情報、３０…リソース管理表、３１…テキスト表示画面、１００…通信端末装置

Claims

ネットワークを通じて他の端末との間でセッションを接続してメディア情報をやりとりする１以上のアプリケーションを実行可能な通信端末装置であって、
前記他の端末から前記メディア情報に先立って送信される、当該メディア情報のデータ形態を示す情報およびセッション接続先のアプリケーションを指定する情報を含むセッション接続要求を受信する受信クライアント・アプリケーション制御部と、
前記メディア情報の入出力に使用されるリソースの使用状況を管理するリソース管理部と、
前記メディア情報のデータ形態を別のデータ形態に変換するメディア変換部と、
前記セッション接続要求に含まれる前記メディア情報のデータ形態を示す情報から前記メディア変換部による前記メディア情報の変換可能なデータ形態を判定し、この変換可能なデータ形態と前記リソース管理部にて管理されている前記リソースの使用状況とに基づいて、前記セッション接続要求に含まれる前記セッション接続先のアプリケーションでの該セッション接続要求の受け入れの可否を判定するセッション接続制御部と
を具備することを特徴とする通信端末装置。
前記セッション接続制御部は、前記メディア情報、または、前記メディア変換部にてデータ形態を変換したメディア情報の入出力に必要なリソースに空きがある場合に、前記セッション接続先のアプリケーションにて前記セッション接続要求を受け入れることを判定することを特徴とする請求項１に記載の通信端末装置。
前記セッション接続制御部は、前記アプリケーションにて前記セッション接続要求を受け入れることを判定した場合、前記端末から送信された前記メディア情報のデータ形態を前記メディア変換部にて変換して前記アプリケーションに提供することを特徴とする請求項２に記載の通信端末装置。
前記セッション接続制御部は、前記端末から複数のデータ形態のメディア情報のやりとりを要求するセッション接続要求が受信されたとき、少なくとも、一部のデータ形態のメディア情報、または、前記メディア変換部にてデータ形態を変換した一部のデータ形態のメディア情報の入出力に必要なリソースに空きがある場合に、前記セッション接続先のアプリケーションにて前記セッション接続要求を受け入れることを判定することを特徴とする請求項１に記載の通信端末装置。
前記セッション接続制御部は、前記アプリケーションによる前記セッション接続要求を受け入れることを判定した場合、前記端末から送信された、前記一部のデータ形態のメディア情報、または前記データ形態を変換した一部のデータ形態のメディア情報を前記アプリケーションに提供し、その他のデータ形態のメディア情報を破棄することを特徴する請求項４に記載の通信端末装置。
前記セッション接続制御部は、前記端末から前記第１のデータ形態で送信されたメディア情報を前記メディア変換部を用いて前記第２のデータ形態に変換し、かつユーザから前記第２のデータ形態で入力されたメディア情報を前記メディア変換部を用いて前記第１のデータ形態に変換して前記端末へ送信することを特徴とする請求項１ないし５のいずれか１項に記載の通信端末装置。
前記第１のデータ形態が音声データ、前記第２のデータ形態がテキストデータであることを特徴とする請求項６に記載の通信端末装置。
前記テキストデータの複数の定型文があらかじめ記憶されたテキストデータ定型文記憶部と、
前記テキストデータ定型文記憶部に記憶された複数の定型文の中から、前記端末にメディア情報として送信すべき定型文をユーザに選択させ、前記ユーザからの入力テキストデータとする定型文選択手段と
をさらに具備することを特徴とする請求項７に記載の通信端末装置。
前記セッション接続要求はセッションの優先度に関する情報を含んでおり、
前記セッション接続制御部は、接続中のセッションの優先度を保持し、新たに受信した前記セッション接続要求に含まれるセッションの優先度と前記接続中のセッションの優先度とを比較し、新たに受信したセッション接続要求の優先度が高ければ、これらのセッションで共通に使用するリソースの利用先を前記新たに受信したセッション接続要求のセッションに切り替えることを特徴とする請求項１に記載の通信端末装置。
前記セッション接続制御部は、セッション接続状況の変化に応じて、解放されたリソースの利用先をセッション接続中のアプリケーションに切り替えるとともに、このアプリケーションと前記端末との間でのメディア情報のやりとりを、利用可能となったリソースを用いて行う形態に切り替えることを特徴とする請求項３に記載の通信端末装置。
ネットワークを通じて他の端末との間でセッションを接続してメディア情報をやりとりする１以上のアプリケーションを実行可能な通信端末装置のセッション接続方法であって、
受信クライアント・アプリケーション制御部により、前記他の端末から前記メディア情報に先立って送信されるセッション接続要求を受信するステップと、
セッション接続制御部により、前記受信したセッション接続要求に基づき、前記メディア情報の変換可能なデータ形態を判定し、この変換可能なデータ形態と前記メディア情報の入出力に使用されるリソースの使用状況とに基づいて、前記セッション接続先のアプリケーションでの前記セッション接続要求の受け入れの可否を判定する判定ステップと
を具備することを特徴とする通信端末装置のセッション接続方法。
前記判定ステップは、前記メディア情報、または、前記データ形態を変換したメディア情報の入出力に必要なリソースに空きがある場合に、前記セッション接続先のアプリケーションにて前記セッション接続要求を受け入れることを判定することを特徴とする請求項１１に記載の通信端末装置のセッション接続方法。
前記判定ステップにより、前記アプリケーションにて前記セッション接続要求を受け入れることが判定された場合、前記端末から送信された前記メディア情報のデータ形態を変換して前記アプリケーションに提供するデータ変換ステップをさらに有することを特徴とする請求項１２に記載の通信端末装置のセッション接続方法。
前記判定ステップは、前記端末から複数のデータ形態のメディア情報のやりとりを要求するセッション接続要求が受信されたとき、少なくとも、一部のデータ形態のメディア情報、または、前記データ形態を変換した一部のデータ形態のメディア情報の入出力に必要なリソースに空きがある場合に、前記アプリケーション特定部により特定されたアプリケーションにて前記セッション接続要求を受け入れることを判定することを特徴とする請求項１１に記載の通信端末装置のセッション接続方法。
前記判定ステップにより、前記アプリケーションにて前記セッション接続要求を受け入れることが判定された場合、前記端末から送信された、前記一部のデータ形態のメディア情報、または前記データ形態を変換した一部のデータ形態のメディア情報を前記アプリケーションに提供し、その他のデータ形態のメディア情報を破棄するステップをさらに有することを特徴とする請求項１４に記載の通信端末装置のセッション接続方法。
前記端末から送信されたメディア情報のデータ形態を第１のデータ形態、この前記端末から送信されたメディア情報の変換先のデータ形態を第２のデータ形態として、ユーザから前記第２のデータ形態で入力されたメディア情報のデータ形態を前記第１のデータ形態に変換して前記端末へ送信するステップをさらに有することを特徴とする請求項１１ないし１５のいずれか１項に記載の通信端末装置のセッション接続方法。
前記第１のデータ形態が音声データ、前記第２のデータ形態がテキストデータであることを特徴とする請求項１６に記載の通信端末装置のセッション接続方法。
テキストデータの定型文の候補があらかじめテキストデータ定型文記憶部に記憶しておき、このテキストデータ定型文記憶部に記憶されたテキストデータの定型文の候補の中から任意の定型文をユーザに選択させ、前記ユーザからの入力テキストデータとすることを特徴とする請求項１７に記載の通信端末装置のセッション接続方法。
前記セッション接続要求はセッションの優先度に関する情報を含んでおり、
前記判定ステップは、接続中のセッションの優先度を保持し、新たに受信した前記セッション接続要求に含まれるセッションの優先度と前記接続中のセッションの優先度とを比較し、新たに受信したセッション接続要求の優先度が高ければ、これらのセッションで共通に使用するリソースの利用先を前記新たに受信したセッション接続要求のセッションに切り替えることを特徴とする請求項１１に記載の通信端末装置のセッション接続方法。
セッション接続状況の変化に応じて、解放されたリソースの利用先をセッション接続中のアプリケーションに切り替えるとともに、このアプリケーションと前記端末との間でのメディア情報のやりとりを、利用可能となったリソースを用いて行う形態に切り替えるステップをさらに有することを特徴とする請求項１１に記載の通信端末装置のセッション接続方法。