JP2005293065A - 情報コミュニケーション装置、情報コミュニケーションプログラムおよび情報コミュニケーションプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】 サービスを介した通信相手とサービスではサポートされていないデータを追加してやりとりをすることが可能な情報コミュニケーション装置を提供する。
【解決手段】 インターネット電話サービス利用装置１００は、先に確立したセッション上で送受信したいデータを追加できないときには、データ送信相手と先に確立したセッションの情報を利用したネゴシエーションを行って、新たなセッションを確立して、所望のデータのやりとりを行なう。また、上記の新たなセッションの情報は、セッション情報保持部において、元になる現在通信中のセッションと関連付けて管理される。
【選択図】 図１

Description

この発明は、ネットワークを介して通信相手とネゴシエーションを行なって確立したセッションを用いて、音声や画像などのデータや情報の送受信を行なう情報コミュニケーション装置、そのような送受信をコンピュータに制御させるための情報コミュニケーションプログラム、ならびにそのような情報コミュニケーションプログラムを記録した記録媒体に関する。

インターネットプロトコル（ＩＰ：Internet Protocol）は、ネットワークのことを意識せずに、インターネット上の多様なコンピュータデバイス間での処理についての規定であり、ＩＰをベースにして規定されたアプリケーションレベルのプロトコルを用いてマルチメディアの双方向な通信が実現されている。

具体的には、ネットワークに接続された装置間で、各装置上のプロセス間で音声や映像などの通信を行なうためのセッションを確立するためのプロトコルＳＩＰ（Session Initiation Protocol）やセッションでやりとりする内容に関する情報をやりとりするためのＳＤＰ（Session DescrＩＰtion Protocol）、音声や文字、映像といったメディアストリームのパケット化に関するＲＴＰ（Real-Time Transport Protocol ）などといったアプリケーションレベルのプロトコルが規定されている。

これらのプロトコルに基づいたマルチメディア双方向通信の１つの例として、インターネット電話に代表されるリアルタイム音声通話がある。一般に、インターネット電話サービスは、サービス提供者ごとに、インターネット上の装置同士での音声通話のほかに、ゲートウェイを介することによって一般の固定電話網などの音声電話端末との相互通話や、電話番号−ＩＰアドレス変換を含む接続管理、課金や認証、音声以外に映像を加えたＴＶ電話など、さまざまな機能を組み合わせたインターネット電話サービスとして、ユーザに提供されている。

インターネット電話サービスで使用するプロトコルについては、標準化が先行したＨ．３２３が先に普及したが、上記のＳＩＰがデファクト標準化されつつある。いずれにしても、インターネット上でサービスを提供する装置であるサーバを介して通信を行なう装置間でデータ送受信するためのセッションを確立したうえで、そのセッションに基づいて音声等のマルチメディアデータは直接装置間で通信することが基本である。

インターネット電話のほかには、音声通話、電子会議、ビデオ・オン・デマンドなどが提供されはじめられているが、インターネット上のプロトコル、技術をもとにすることにおり、やりとりするデータの種類などを自由に規定して、さまざまなサービスを考案し、ユーザに提供することが可能になってきている。

以下に、複数のメディアデータのやりとりを可能にすることに関する先行技術挙げる。

特許文献１（特開平９−１６８０６３号公報）のように、音声通話に関連する補助データの送受信を可能にする技術がある。これは音声データのほかに補助データの送受信を行なうというものである。

特許文献２（特開２００２−２５１４５４号公報）は、文字、音声、画像を用いたコミュニケーションを可能にするシステムである。文字、音声、画像のそれぞれのアプリケーションが相手と通信するものである。

特許文献３（特開２００３−８７７８号公報）は、通話相手の画面のデータを取得して、自分の画面に表示するもので、マルチ通信と呼ぶ音声と画面データの両方を中継するサーバを用いるものである。

特許文献４（特開２００１−２９８５４５号公報）は、リアルタイム音声会議とデータ系会議の連動運営を実現するマルチメディア会議サービス提供システム。サービスを提供するサーバを介して会議参加相手と通信することになり、各端末はサービスのサーバと接続して、それを経由してデータを送受信する。

特許文献５（特開２００３−６０７３号公報）は、音声と画像から成るオーディオビジュアルデータと、webなどの表示データのコミュニケーションをするシステムである。

特許文献６（特開２０００−１７２６１１号公報）は、ＴＶ電話会議システムで、ＴＶ電話会議の画面のほかに、会議参加者の端末上webブラウザで表示しているページが変わるとそれに連動して会議参加者が閲覧しているwebブラウザのページが切り替わる。
サービス提供者が規定したサービスを利用中に、そのサービスとともにデータ送受信を利用したい場合であっても、一般にはサービスとしてはそうしたデータは送受信することが想定されていないので、サービスで確立したセッションにおいてデータの送受信することはできない。

たとえば、インターネット音声電話のサービスを利用して音声通話を行なっている最中に、音声通話サービスの通信セッションを使って、地図や説明資料などのデータを通話相手に提供したり、逆に相手の持っている資料などのデータを受け取って閲覧したりすることはできない。

このような事情は、たとえ、端末装置としては、そうしたデータを保持しており、かつアプリケーションとしては音声通話に加えてそうしたデータ送受信する能力を双方がもっている場合であっても、変わらない。

サービス提供者は、規定したサービスのために想定したデータをやりとるするためのセッション確立のためのネゴシエーションについてはサーバを介して発呼者と被呼者の端末間で中継するものの、サービスとして想定していないようなデータをネゴシエーションするようなセッション設定のシグナルのやりとりは許さない。

先に挙げたいずれの先行特許技術を用いたとしても、あらかじめ端末同士でどのようなデータをどのように送り合うかが決まっていないような場合、追加して通信するデータをどのように端末間でネゴシエーションして通信できるようにするかという点が課題となるが、上記のネゴシエーションやデータの通信がサーバを介して通信されるような場合、サーバがネゴシエーションのための通信や実際に送信するデータを規定しているものが多い。インターネット電話やＴＶ会議システムの多くがそうである、そうしたサーバにおいて規定以外のデータのやりとりを可能にする技術は上記のいずれの技術にも含まれていない。
特開平９−１６８０６３号公報 「通話システムの端末装置」 特開２００２−２５１４５４号公報 「インターネットを用いたコミュニケーションシステム及びこのコミュニケーションシステムを利用した応対システム」 特開２００３−８７７８号公報 「インターネットマルチ通話システム」 特開２００１−２９８５４５号公報 「電話利用型マルチメディア会議サービス提供システム」 特開２００３−６０７３号公報 「ネットワークアクセスシステム及び当該システムを用いたネットワークアクセス方法」 特開２０００−１７２６１１号公報 「テレビ電話システム」

サービス提供者が許可していないデータの送受信を実現するためには、サービス非提供のデータ送受信のために別のセッションをサービスでコミュニケーションしている相手と確立する必要がある。しかしながら、サービスを介してコミュニケーションしている相手とは、サービスのサーバを介してセッションのシグナリングをおこなっており、コミュニケーション相手と直接シグナリングするための情報、具体的にはシグナルの送信先アドレスなどの情報は分からない。

また、仮にセッション確立の要求先が分かったとして、セッション確立の要求を受け付ける側は、新たに受信したセッション確立の要求が現在コミュニケーションしているセッションと関連するもので、コミュニケーション中のセッションではデータが送受信できないので補助的なセッションを確立しようとしているものであるということを認識することができない。

さらに、セッションの確立要求時に関連するセッションを指定して要求したり、セッション確立後に複数のセッションを関連付ける要求を行ったりして、相手に関連付けを知らせることができたとしても、コミュニケーション中のセッションと関連付けるのが正しいかを双方で確認することは難しい。

また、コミュニケーション中のセッションと新たに確立したセッションを関連付けたとしても、それらの関連付けて管理する従来技術が存在していない。たとえば、音声コミュニケーション用のセッションと画像送信用のセッションとを関連づけて管理するような場合を考えてみる。単純な関連付けのみを管理している場合には、音声コミュニケーション用のセッションを切断しても、画像送受信用のセッションが残ってしまうような場合が考えられる。ところが、セキュリティ面を考慮すると、音声コミュニケーション用のセッションで会話している間だけ画像の送受信を許すといった運用を行なう方が好ましい場合がある。

以上のような問題を鑑み、本願発明が解決しようとする課題は、サービス提供者が提供するサーバを介して確立したセッションのシグナリング情報を利用して、サービス提供者が提供するサーバを介さずに別のセッションを確立する技術を提供することにある。

また、本願発明が解決しようとする別の課題は、相手から新しいセッションの確立が要求された場合に、当該新しいセッションが既存のセッションとの対応付けられていることを知るための技術を提供することにある。

また、本願発明が解決しようとする別の課題は、相手に新しいセッションの確立が要求して確立された際に、相手において当該新しいセッションが既存のセッションとの対応付けられていることを確認するための技術を提供することにある。

また、本願発明が解決しようとする別の課題は、基になるセッションに関連付けられた付加的なセッションが基になるセッションが確立されている間のみ確立することができ、基になるセッションが切断された場合には付加的なセッションも切断され、基になるセッションが確立していない状態では付加的なセッションのみが確立することはない、といった基になるセッションと付加的なセッションとを管理するための技術を提供することにある。

上記のような課題を解決するために、本発明のある局面では、情報コミュニケーション装置は、
通信相手装置とデータ通信を行なうための接続としてのセッションの確立およびセッションの制御を行なうセッション制御手段と、セッション制御手段が確立したセッションに関する情報を保持、管理するセッション情報保持手段と、セッション情報保持手段が保持する情報を用いて、確立済みのセッションでデータの送受信を行なうデータ送受信手段とを備え、セッション制御手段は、既に確立されているセッションの通信相手に対して該セッション確立時にデータ送信先アドレスとして取得したアドレスに対して、セッション確立を要求する通信を行なって、新たなセッションを確立させる。

したがって、このような情報コミュニケーション装置は、セッションを確立して通信している相手装置に対して、サーバの制限等で確立しているセッションを変更するなどしても通信できない種類のデータをやりとりするためのセッションを確立して、通信できるようにすることができる。

また、本発明の他の局面に従うと、情報コミュニケーション装置は、通信相手装置とデータ通信を行なうための接続としてのセッションの確立およびセッションの制御を行なうセッション制御手段と、セッション制御手段が確立したセッションに関する情報を保持、管理するセッション情報保持手段と、セッション情報保持手段が保持する情報を用いて確立済みのセッションでデータの送受信を行なうデータ送受信手段とを備え、セッション制御手段は、既に確立されているセッションのデータ送信先アドレスとして取得したアドレスに対して、セッション識別情報で特定される該セッションを主体となるセッションとして指定した新たなセッション確立を要求する通信を行なって、該セッションに従属する新たなセッションを確立し、さらにセッション情報保持手段に該セッションに従属する新たなセッションとして関連付けて管理させる。

したがって、これらの装置によって、既存のセッションでの通信に加えて、他のデータをやりとりするためのセッションを新たに確立しても、そのセッションを関連付けて管理できるため、セッションを同一視したり、連動させたりなどすることができる。

また、本発明のさらに他の局面に従うと、情報コミュニケーション装置は、通信相手装置とデータ通信を行なうための接続としてのセッションの確立およびセッションの制御を行なうセッション制御手段と、セッション制御手段が確立したセッションに関する情報を保持、管理するセッション情報保持手段と、セッション情報保持手段が保持する情報を用いて確立済みのセッションでデータの送受信を行なうデータ送受信手段とを備え、セッション制御手段は、既に確立されているセッションのセッション識別情報で特定される該セッションを主体となるセッションとして指定した新たなセッション確立を要求する通信を受けて、新たなセッションを指定された主体となるセッションに従属するセッションとして関連付けてセッション情報保持手段に管理させる。

また、好ましくは、主体となるセッションを指定したセッション確立を要求する通信のデータは、該要求から確立した新たなセッションを主体となるセッションに関連付けたときにセッション確立の要求元の装置に返信されるメインセッション確認データを含み、主体となるセッションでメインセッション確認データの受信を検出することによって、通信相手装置において新たに確立したセッションが指定の主体となるセッションと正しく関連付けされたことを確認するサブセッション確認手段を備える。

また、好ましくは、セッション制御手段は、主体となるセッションを指定したセッション確立要求に該要求から確立した新たなセッションを主体となるセッションに関連付けされたときにセッション確立の要求元の装置に返信されることを期待するメインセッション確認データを付加する関連付け確認データ付加手段を含み、主体となるセッションでメインセッション確認データの受信を検出することによって、通信相手装置において新たに確立したセッションが指定の主体となるセッションと正しく関連付けされたことを確認するサブセッション確認手段を備える。

また、好ましくは、新たなセッション確立を要求する通信のデータは、新たなセッション確立を要求する通信のデータをもとに新たに確立したセッションの主体となるセッションを通知するメインセッション確認データを含み、セッション制御手段がセッション情報保持手段に新たなセッションを主体となるセッションに関連付けて管理させると、関連付けた主体となるセッションでメインセッション確認データに基づくデータを主体となるセッションで送信するメインセッション確認返信手段をさらに備える。

また、好ましくは、セッション制御手段は、既に確立されているセッションのセッション識別情報で特定される該セッションを主体となるセッションとして指定した新たなセッション確立を要求する通信から新たに確立したセッションを主体となるセッションと関連付けた場合に返信されることが期待されているメインセッション確認データを抽出するメインセッション確認データ抽出手段を含み、セッション制御手段がセッション情報保持手段に新たなセッションを主体となるセッションに関連付けて管理させると、関連付けた主体となるセッションでメインセッション確認データに基づくデータをメインセッションのデータとして送信するメインセッション確認返信手段をさらに備える。

したがって、これらの装置を用いると、既存のセッションに対して新たにセッションを関連付けて確立させるような場合に、新たなセッションの確立を要求した装置が所望のセッションを確かに関連付けたかを確認することができる。

好ましくは、主体となるセッションは音データを通信するものであり、メインセッション確認データは必要の度に生成される文字列であって、サブセッション確認手段は、指定のメインセッション確認データをＤＴＭＦ音データとして受信し、該ＤＴＭＦ音データを主体となるセッションで検出することによって、新たなセッションが正しく関連付けされたことを確認する。

好ましくは、主体となるセッションは音データを通信するものであり、メインセッション確認データは必要の度に生成される文字列であって、メインセッション確認返信手段は、メインセッション確認データの文字列から生成したＤＴＭＦ音データを主体となるセッションで返信する。

したがって、これらの装置を用いると、既存の音声通信のセッションに対し、異なるデータをやりとりする新しいセッションを確立して、新しいセッションは既存の音声通信セッションと関連付けるとともに、どのセッションと関連付けたかを確認することができる。

さらに、好ましくは、セッション制御手段は、セッション情報保持手段において、第１のセッションの主体となるセッションとして関連付けられて管理されている第２のセッションの切断を要求されると、第１のセッションを切断したうえで要求された第２のセッションの切断を行なう。

したがって、これらの装置を用いると、主体となるセッションを補足するためのデータのやりとりのために確立したセッションが主体となるセッションが切断された後も残ってしまうことがないようにすることができる。

さらに、また、好ましくは、指定されたデータ間で同期をとってデータの入力、または出力するデータ同期入出力手段を備え、セッション制御手段は、現在確立されているセッションに関連付けて管理される新たなセッションの確立の要求、もしくはそれに対する応答の通信内に、新たに確立するセッションの通信データと同期させる現在確立されているセッション中の通信データを指定する情報を付加する同期データ指定情報付加手段を含み、データ同期入出力手段は、データ同期に関する情報に従って同期をとってセッションの通信データの入出力を行なう。

したがって、これらの装置を用いると、主体となるセッションで通信しているデータとそれを補助するために確立したセッションで通信しているデータを同期させて入出力することで、異なるセッションで通信しても同期したデータを受けてコミュニケーションを行なうことができる。

さらに、好ましくは、既に確立されているセッションはインターネット電話の音声通話サービスを用いた音声通話セッションであり、既に確立されているセッションの通信相手に対して新たなセッションの確立を要求する通信を行なうことで、新たに確立するセッションは音声通話セッションを介してはやりとりできない静止画、動画、もしくは他のアプリケーションの利用可能データを通信する。

したがって、これらの装置を用いると、インターネット上のＶｏＩＰ技術を用いた音声コミュニケーション（音声通話）のサービスを利用している際に、サービスがサポートしないような通話相手に静止画像や動画像、もしくはこれらの装置上で利用可能なあらゆるアプリケーションデータなどをやりとりして、より多くのメディアを利用したコミュニケーションを行なうことが可能になる。

同様に、上記の各手段をコンピュータが所有するハードウェアを利用して実現させる各機能を含むプログラムをコンピュータに導入して実行させることによって、上記装置と同様のことが実現される。そのようなプログラムはネットワーク等を用いたダウンロードによって導入される場合もあるし、コンピュータが読み取り可能な記録媒体に記録され、記録媒体によって配布され、コンピュータに導入される場合もある。

本発明では、装置間やプログラム間でセッションを確立してデータ送受信を行なって利用する機能に対して、該セッションには追加して送受信できないデータについても端末装置、もしくはプログラムが本発明を利用することによって、の主たる機能の通信相手に対して、主たる機能で送受信する以外のデータを送受信して、よりリッチな機能として利用することができる。

例えば、サービス提供者が提供するサーバを介して特定のデータ種のみを送受信するセッションしか確立できないような場合でも、当該特定のデータ種のみを送受信するセッション確立時に入手した情報を基に、サービス提供者が提供するサーバを介さずに相手と直接セッションを確立することができる。相手と直接確立したセッションでは、当該特定のデータ種以外の任意のデータを交換できる。

また、サービス提供者が提供するサーバを介さずに直接セッションの確立要求を受けた場合でも、サービス提供者が提供するサーバを介したセッションとの関連付けが確認できるため、安心して新しいセッションを確立することができる。
また、サービス提供者が提供するサーバを介さずに直接セッションの確立要求を送る側にとっても、新しいセッションが確立したことをＶｏＩＰサービス提供者が提供するサーバを介したセッション経由で確認できるため、安心して新しいセッションを使用することができる。

また、サービス提供者が提供するサーバを介さずに直接確立したセッションは、サービス提供者が提供するサーバを介したセッションが存続している間のみ有効であり、知らない間にサービス提供者が提供するサーバを介さないセッションを用いてデータが送受信されてしまうようなことがない。

以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。

（実施の形態１）
図１は、本発明を用いた情報コミュニケーション装置の一例である、インターネット電話サービス利用装置１００の機能構成を表すものである。なお、以下に説明するとおり、本発明は、情報コミュニケーション装置をコンピュータ上で動作させるためのプログラム、もしくはそのようなプログラムを記録した記憶媒体によっても実現可能である。

音声入力部１０１は、インターネット電話サービス利用装置１００に内蔵された音声入力マイクを含み、ユーザの音声入力を受け付ける。受け付けた音声データは、データ送受信部１０８に渡され、エンコード処理後データが、通信部１０５を用いて、通話相手の装置に送られる。

音声出力部１０２は、音声を出力するためにインターネット電話サービス利用装置１００に内蔵のスピーカーを含み、インターネット電話サービスを介して通話相手の装置から受信したデータをデータ送受信部１０８がデコードして音声出力する。

情報表示部１０３は、インターネット電話サービス利用装置１００内蔵の液晶パネルを含み、サービスアプリケーション部１１０の制御にしたがって、テキストや画像などの情報をユーザに表示する。

情報入力部１０４は、インターネット電話サービス利用装置１００内蔵のキーボード、および上記液晶パネルを用いたペンタッチによる入力を含む入力のための構成要素であり、これを用いて、発呼時に電話番号を入力したり、音声通話以外のテキストや画像のデータやりとりに関する操作を行なったりする。

通信部１０５は、ネットワークインタフェイスを含む外部ネットワークとの通信を行うための構成要素であり、インターネット電話サービス利用装置１００に内蔵されている。

本インターネット電話サービス利用装置１００は、インターネット電話サービスを用いてインターネットを利用した音声通話を行なう機能をもつとともに、サービスアプリケーション部１１０によって、ユーザデータ保持部１０９が、ユーザデータ保持部１０９内の記憶装置（図示せず）上で管理するユーザデータを、通話相手との間でやりとりすることが可能なものである。

そのような機能を実施するために、セッション確立部１０６、セッション情報保持部１０７、データ送受信部１０８、ユーザデータ保持部１０９、サービスアプリケーション部１１０、第２セッション確立部１１１のすべての機能を含むようなコミュニケーションソフトウェア１１２が、装置のハードウェアを用いて機能を実現させる。

コミュニケーションソフトウェア１１２は、インターネット電話サービス利用装置１００にあらかじめ組み込まれたソフトウェアであってもよいし、また汎用的なパーソナルコンピュータ装置やＰＤＡなどの携帯端末にインストールして利用可能なアプリケーションプログラムであってもよい。また、ソフトウェアの一部分がインターネット電話サービス利用装置１００に組み込まれており、インストールしてそのＡＰＩ（Application Program Interface）を利用してプログラムとして動作するような場合もある。

セッション確立部１０６は、サービスアプリケーション部１１０からの指示にしたがって、通信部１０５を用いて、外部ネットワークに対しデータを通信するための接続（以下、しばしば、「セッション」と呼ぶ）の確立、変更、終了などのネゴシエーションを行なう。

セッション確立部１０６は、後述の第２セッション確立部 １１１とともにセッション制御を行う。本実施の形態においては、ＩＰ（インターネットプロトコル）で標準化されているＳＩＰ（Session Initiation Protocol）に従ったシグナリングを行なう。セッション確立部１０６は、ネゴシエーションの結果やそれに関する情報はセッション情報保持部１０７に通知する。

また、セッション確立部１０６は音声電話の着呼を受ける機能を持つ。セッション確立部１０６は、セッション確立の要求を受け付けると、着呼したことをサービスアプリケーション部１００に伝える。サービスアプリケーション部１００は、音声通話の着呼があったことを着信音と着信画面表示を行なってユーザに知らせ、ユーザが着呼を受け付けると、セッション確立の応答を返すようにセッション確立部１０６に答える。後述するサブセッション確立要求を受け付けた場合は、上記の通常のセッション同様、セッション確立部１０６は、サービスアプリケーション部１００にサブセッション確立の着呼があったことを伝え、サービスアプリケーション部１００が同様に音やＧＵＩ（Graphical User Interface）を用いてユーザに伝え、ユーザがサブセッション確立を受け付ける操作を行なうと、セッション確立部１０６にそのことを伝える。セッション確立部１０６は、通信部１０５を用いて発呼元に対して応答を返信するとともに、セッション情報保持部１０７に確立したセッション情報を追加する。サブセッション確立要求であった場合にはセッション情報保持部１０７に確立したセッション情報を追加するとともに、要求中のメインセッション確認データを変換してＤＴＭＦ（Dial Tone Multi Frequency）音を生成し、要求中で指定のメインセッションを使って送信する。メインセッション確認データについては後で詳細に説明する。

セッション情報保持部１０７は、上記のように、セッション確立部１０６がＳＩＰシグナリングを行なった結果を受け取って、それにしたがってコミュニケーションソフトウェア１１２が接続処理を行なうと、通信可能なセッションに関する情報を記憶装置上に記録して管理する。セッションに関する情報にはＳＩＰを用いたシグナリングにより相手から取得したデータ送信先のアドレスやポートが含まれる。また、セッション間の関連性についての情報も含まれ、後述の第２セッション確立部１１１からセッション間の関連付けを通知されるとそれに関する情報をセッションに関する情報に追加、更新して保持する。

データ送受信部１０８は、サービスアプリケーション部１１０の制御のもと、セッション確立部１０６や後述する第２セッション確立部１１１が確立して、その情報がセッション情報保持部１０７で保持、管理されているセッション情報にしたがって、音声通話データやそれ以外のコミュニケーションデータの送受信を通信部１０５を用いて行ない、サービスアプリケーション部１１０を介して、ユーザの指示に従った通話相手へのユーザデータの提供や通話相手からのデータの表示などを行なう。

ユーザデータ保持部１０９は、ユーザデータを記憶装置上に保持、管理するもので、画像や映像、テキストなどのデータから、ワープロや表計算などのアプリケーションデータなどをファイルとして管理する。

サービスアプリケーション部１１０は、音声通話ならびに、その最中に通話相手と情報データをやりとりするためのグラフィックユーザインタフェイスを含むアプリケーションプログラムである。インターネット電話サービスを利用して音声通話を行なうための発呼、着呼などの音声電話機能のためのユーザインタフェイスとともに、通話中に相手に提示するデータを選択したり、逆に相手から提示されたデータの中から閲覧したり、取得したりするデータを選択したりするインタフェイスを持ち、ユーザの入力に従ったセッション確立部１０６を用いたセッションのネゴシエーションやデータ送受信部１０８を用いてデータを通話相手に送信したり、受信したデータをユーザに表示したりする。

なお、最初に張ったセッションで通信するデータ以外のデータを通信する第２のセッションを第１のセッションと関連付けないような場合には、セッション確立部１０６を用いて通常のセッションを確立すればよい。たとえば、音声電話サービスを用いて音声データを第１のセッションでやりとりしていたが、一方がビデオを紹介して、ビデオデータを提供するようになった場合に、第１の音声セッションと第２のビデオ視聴のセッションがそれぞれ独立して管理可能になる。

第２セッション確立部１１１は、音声通話中に通話相手に音声以外のデータを送受信するためのセッションを確立するシグナリングを行なうものであり、本発明のセッション制御のための構成の一部である。

本発明では、最初に張った第1のセッションをメインセッション、最初に張ったセッションで通信するデータ以外のデータを通信する第２のセッションをサブセッションと呼ぶこととする。サブセッションは、メインセッションと関連づけられて管理される。すなわち、メインセッションを確立している間のみ、新しいサブセッションを確立することが可能である。メインセッションが切断された場合には、メインセッションに関連するサブセッションは全て切断される。逆に、サブセッションが切断されても、関連付けられたメインセッションは切断されることはない。また、メインセッションが確立していない状態でサブセッションが確立されることはない。

本実施の形態では、ＳＩＰをベースに、メインのセッションである音声通話に対して、音声通話中にそれ以外の情報を送受信するためにメインセッションに関連付けたセッション（サブセッション）の確立を要求する。その際、サブセッション確立の要求は、通常のＳＩＰに従った接続要求メッセージではなく、ＳＩＰをベースに規格を拡張したサブセッション確立要求を送信する。

本実施の形態においてセッション管理のために拡張しているポイントは、メインセッション指定情報として主体となるセッションである音声通話セッションの識別子（セッション識別情報）を付加している点と、サブセッションとして管理することを確認するためにサブセッション確認用のメインセッション確認データを付加している点である。また、サブセッション確立要求は、既に確立している音声通話のセッションにおける音声データ送信先のＩＰアドレスに対して送信する。既に確立されている音声データ送信先のＩＰアドレスはセッション情報保持部１０７で保持されているので、そこから取得できる。第２セッション確立部１１１は、サブセッション確立要求を送信すると、メインセッション指定情報で指定したセッションでの受信データをチェックして、メインセッション確認データに対応するＤＴＭＦ音が受信されるかをチェックする。該当するＤＴＭＦ音が検出されれば、セッション情報保持部１０７にメインセッションとサブセッションの関連付けを行なうよう通知して、関連付けて管理させる。つまり、サブセッションをメインセッションに従属するセッションとして登録するサブセッション確認部としての機能を含む。

なお、簡略な実施例として、ＤＴＭＦ音の検出を確認せずにサブセッションが確立されればそれだけで関連付けて登録する場合もありうる。

図２は、図１に示したインターネット電話サービス利用装置１００を用いて、音声通話とともに、通話に関連するサブデータを送受信するシーンでの各機器間でのシグナリングとセッション送受信について、模式的に示した図である。

セッション確立に関するシグナリングにはＳＩＰに従ったメッセージ送受信で行っているので、セッション確立の要求メッセージは”INVITE”で表している。また、サブセッション確立のシグナリングはＳＩＰを拡張したものなので、”SUB-INVITE”と表している。細い矢印はセッション確立処理のシグナリング、太い矢印は確立したセッションを表している。

図２にしたがって、各処理を説明する。

ｉ）発呼側のインターネット電話サービス利用装置２０２は、インターネット電話サービスサーバ２０１を介して発呼処理を行なう。ここでは、通話相手の電話番号を指定したＳＩＰのINVITEメッセージがインターネット電話サービスサーバ２０１に向けて送信される。

ｉｉ）インターネット電話サービスサーバ ２０１は、ＳＩＰプロキシサーバの機能を含んでおり、INVITEメッセージの電話番号に相当するユーザ端末のＩＰアドレスをデータベースから検索して、そのアドレスに対してＳＩＰプロキシとしてＳＩＰ INVITEメッセージを転送することを行なう。

ｉｉｉ）着信側のインターネット電話サービス利用装置 ２０３はINVITEを受信すると、ユーザに着信音、着信表示で知らせ、ユーザがＧＵＩ上で「通話」ボタンを押すと、セッションを確立の応答”OK”をインターネット電話サービスサーバ ２０１に返す。

ｉｖ）インターネット電話サービスサーバ ２０１は、インターネット電話サービス利用装置 ２０３に転送したＳＩＰ INVITEメッセージに対する応答(“OK”)を発呼元のインターネット電話サービス利用装置 ２０２にＳＩＰプロキシサーバとして転送する。

ｖｉ）インターネット電話サービス利用装置 ２０２はOKを受信すると、音声通話のセッションが確立でき、そのセッションを使ってインターネット電話サービス利用装置 ２０３と音声データを送受信して、音声通話を行なう。

ｖｉｉ）インターネット電話サービス利用装置 ２０２は、通話の途中で自身が持っているデータを通話相手と共有することを考えた。共有するデータを指定して「データ送信」ボタンを押すと、サブセッションを張る要求(SUB-INVITE)を通話相手の音声データ送信先の装置に直接送信する。なお、この例では、サブセッションの確立もインターネット電話サービス利用装置 ２０２側から行なっているが、もちろん、インターネット電話サービス利用装置 ２０３からも同様にできる。

ｖｉｉｉ−１）インターネット電話サービス利用装置 ２０３は、ＳＩＰシグナリング同様に“OK”を返すとともに、ｖｉｉｉ−２）音声通話用のメインセッションでサブセッションを張る要求(SUB-INVITE)中のメインセッション確認データを変換して生成したＤＴＭＦ音をメインセッションで送信する。

この結果、サブセッションが確立され、双方でメインセッションを補足するセッションとして管理され、このセッションを使って、双方の装置間で音声以外のデータのやりとり（ｉｘ）ができる。

図３は、図２で概略を説明した内容をシーケンス図にしたものである。

音声通話開始時には、インターネット電話サービスサーバ２０１に対して、”050-1234-5678”という電話番号を指定して、ＳＩＰのINVITEメッセージ（Ｆ３０１）を送信することによって発呼を行なう。

インターネット電話サービスサーバ２０１は、電話番号”050-1234-5678”の電話番号に相当するユーザ端末の現在のＩＰアドレス(12.34.56.72)を検索して取得し、それを使って受け取ったINVITEメッセージ（Ｆ３０２）をＳＩＰプロキシとして転送する。インターネット電話サービス利用装置２０３は受信したINVITE （Ｆ３０２）を受け付けてセッション確立する場合はOK（Ｆ３０３）をＳＩＰプロキシ経由で返し、インターネット電話サービスサーバ２０２がOK（Ｆ３０４）を受信する。

その結果、音声通話用のセッションは確立され、音声データを送受信するための情報（コーデックやデータ送信先のＩＰアドレス、ポート番号）はOK(Ｆ３０３、Ｆ３０４)とともに受け渡され、装置間で音声データは直接送受信される（Ｓ１）。

インターネット電話サービス利用装置２０３は、確立した音声通話セッションにおける音声データの送信先の情報として、インターネット電話サービス利用装置２０３のＩＰアドレス(12.34.56.72)を知る。

その後、音声通話中に相手に写真を見せたくなったときに、写真のデータを指定すると、そのデータをやりとりするための第２のセッションを確立するため、サブセッション確立用の要求を、直接、メインセッションのデータ送信先アドレス(12.34.56.72)に対してサブセッション確立要求（Ｆ３０５）を送信する。その際に、メインセッションのセッション識別子をメインセッション情報として、またリクエストごとに設定するサブセッション関連付けの確認用データ（メインセッション確認データ）が情報として含まれたメッセージとなっている。

なお、図３においてやり取りされる具体的なメッセージ例は、図８から図１３を用いてあとで説明する。

インターネット電話サービス利用装置２０３は、サブデータのやりとりを受け付けるとOK（Ｆ３０６）を返すとともに、確認用データから生成したＤＴＭＦ音をメインセッションＳ１で送信（Ｆ３０７）し、確立したサブセッションＳ２はそのメインセッションとなるＳ１と関連付けて管理する。インターネット電話サービス利用装置 ２０２はＤＴＭＦ音をメインセッションＳ１で受け取ると、Ｓ２が確かに通話相手にメインセッションＳ１と関連付けたということを確認し、自身でもサブセッションＳ２はそのメインセッションとなるＳ１と関連付けて管理するように登録する。

図４は、サブセッションの接続を要求する側（サブセッション発呼側）の装置での処理フロー図である。図２においては、インターネット電話サービス利用装置２０２がそれにあたる。インターネット電話サービス利用装置２０２はインターネット電話サービス利用装置２０３と音声通話中であるときに、ユーザはアプリケーションＧＵＩを用いて、通話相手に送信するデータを選択する（Ｓ４０１）。

サービスアプリケーション部１１０は、選択されたデータの種類がセッション確立部１０６に現在通信しているセッション、この場合は音声通話のセッションに追加して通信可能かを問い合わせ(Ｓ４０２)、その結果から追加可能か否かを判定する(Ｓ４０３)。

セッション確立部１０６はＳＩＰに従ったシグナリングを行なうことで追加可能か判断できる。

現セッションに追加可能ならば、データ送受信部１０８はＳＩＰに従ったシグナリングを行い、セッションに選択したデータ送受信を追加し、その結果に従ったセッション情報保持部１０７のセッション情報を更新する(Ｓ４０４)。

現在のセッションに追加できない場合は、第２セッション確立部１１１に選択データを通信するためのサブセッション確立を要求する。第２セッション確立部１１１は、セッション情報保持部１０７から現在通信しているセッション情報からデータ送信先のアドレスを取得する(Ｓ４０５)。

セッション情報については図１４、図１５を用いて後で説明する。

取得したアドレスに対して選択されたデータを通信するためのセッションとしてのサブセッション確立要求のメッセージ（シグナルと呼ぶこともある）を送信する。なお、サブセッション確立要求には現在通信しているセッションのセッションID（接続要求時のコールIDが接続後はセッションIDとして使用する。）を指定し、同時にメインセッション確認データを生成して付ける(Ｓ４０６)。

送信後は、要求に対する応答とメインセッションでのサブセッション確認データの受信の監視を開始する(Ｓ４０７)。セッション確立要求、サブセッション確立要求の際に送受信するメッセージ（シグナル）については図１０から図１３を用いて後で説明する。

第２セッション確立部１１１は、送信したサブセッション確立要求に対する応答を受信し(Ｓ４０８)、セッションが確立したかを確認する(Ｓ４０９)。確立できた場合は確立したセッション情報をセッション情報保持部１０７に仮登録する(Ｓ４１０)。

セッション情報の仮登録については図１５の説明で行なう。（確認を伴わない実施ではここで関連付けをセッション情報保持部１０７に登録し、セッション情報を更新する。）
第２セッション確立部１１１は引き続き、通信部で受信するデータを監視し、所定時間の間、送信したサブセッション接続要求に付けたメインセッション確認データに相当するＤＴＭＦ音のデータが届くかを監視し(Ｓ４１１)、対応するＤＴＭＦ音が届いたか確認し(Ｓ４１２)、関連付けをセッション情報保持部１０７に登録し、セッション情報を更新する(Ｓ４１３)。所定の時間がたってもＤＴＭＦ音が届かない場合、または受信したＤＴＭＦ音を変換して得られたデータがメインセッション確認データに一致しない場合にはセッション情報を削除し、セッションを切断して、サービスアプリケーション部１１０のユーザインタフェイスを介してユーザに通信できなかったことを伝える(Ｓ４１４)。

メインのセッションでの応答を確認しないでシグナリングのみでサブセッションとして発呼側でのみ関連付けて登録したり、関連付けしないような場合もありうる。

図５は、サブセッション接続を受け付ける側の装置の処理フローである。

サブセッション接続を受け付ける機能がある装置は、コミュニケーションソフトウェア起動時にサブセッション確立要求受付のプロセスも起動され、通信部１０５の受信データでサブセッション確立要求の受信監視を開始する(Ｓ５０１)。通常は常にこのプロセスが動作しているが、ユーザ入力などでサブセッションの受付を中止イベントがあるかを確認し(Ｓ５０２)、合った場合はプロセスを終了する(Ｓ５０２)。

中止イベントがない間は受信したメッセージを抽出し(Ｓ５０３)、サブセッション接続要求であるかを確認する(Ｓ５０４)。

サブセッション接続要求でなければ無視して引き続き監視を続ける(Ｓ５０４)。

一方、サブセッション接続要求を受信すると、サービスアプリケーション部１１１を介して、ＧＵＩや着信音でユーザに告知し、受け付けるか否かについてのユーザの判断入力を受け取る(Ｓ５０５)。

ユーザの入力を確認し(Ｓ５０６)、接続OKの入力であった場合は接続受諾の応答を返信する(Ｓ５０８)。

接続拒否の入力だった場合は接続拒否の応答を返す(Ｓ５０７)。接続受諾の応答を返信した後、サブセッション確立要求からメインセッション確認データを取り出してＤＴＭＦ音に変換し、サブセッション確立要求で指定のメインセッションで送信する(Ｓ５０９)。そして、確立したセッションをサブセッションとしてセッション情報保持部１０７に登録する(Ｓ５１０)。なお、メインセッション確認データの返信機能は、セッションの関連付けを必要としないような実施の形態をとる場合においては省略することも可能である。

図６は、本実施形態におけるインターネット電話サービス利用装置１００の装置外観である。

インターネット電話サービス利用装置１００は、液晶パネル６０１を備え、液晶パネル上でタッチペン６０２を使った入力が可能である。また、電話番号などの数字入力のためのハードキー６０３を装備する。装置本体上にマイク６０４、およびスピーカ６０５、イヤホン接続ジャック６０６を備え、これらを利用して音声の入出力を行なう。また、内蔵する無線ＬＡＮ（Local Area Network）通信インタフェイスに接続する外部アンテナ６０７がある。

図７は、インターネット電話サービス利用装置１００のハードウェア構成である。

図７において、通信部７０１は、無線ＬＡＮ機能を含む通信インタフェイスのハードウェアであり、含まれる外部アンテナを介して外部と通信を行なう。ＣＰＵ７０２は、ソフトウェアに基づく演算処理を行なうためのものである。

フラッシュメモリ７０３にはユーザデータやソフトウェア実行のためのメモリーとして使用する。ＲＯＭ（Read Only Memory）７０４には組み込みソフトウェアなどのデータを記憶するものである。

表示入出力部７０５は液晶パネルおよびその周辺ハードウェアであり、データの表示やパネルタッチ入力を受け付ける。音声出力部７０６はスピーカー及びその周辺ハードウェアであり、音声出力を行う。音声入力部はマイクを含む音声入力のためのハードウェアである。キー入力部７０８は、ハードキーおよびその周辺でキー入力を受け付けるためのものである。

図８から図１１はＳＩＰのメッセージの例であり、インターネット標準のＳＩＰのセッション確立時のメッセージINVITEとセッション確立時の応答（”200 OK”）を表現したものである。なお、本発明の説明に不要なメッセージ内の一部情報は省略している。これらのメッセージは、図２、および図３で説明した接続の場合を例にしている。

図８は、図２でのメインセッションである音声通話セッション確立を要求するときにインターネット電話サービス利用装置２０２からインターネット電話サービスサーバ２０１に送信するＳＩＰメッセージ（シグナル）である。

ＳＩＰプロキシとしての役割をもつインターネット電話サービスサーバ２０１は、図８のメッセージから、宛先の電話番号(050-123-4567)に対応する利用者端末であるインターネット電話サービス利用装置２０３のＩＰアドレス(12.34.56.72)を解決して、図９のメッセージをインターネット電話サービス利用装置２０２に送信する。音声(audio)データをＲＴＰ／ＡＶＰ（Realtime Transport Protocol / Audio/Video profile）プロトコルを用いて、サンプリングレート8000HzのＧＳＭコーデックデータを送受信するセッションを要求するもので、インターネット電話サービス利用装置２０２(12.34.56.71)側では6001番ポートを使用することを宣言している。

図１０の”200 OK”メッセージが要求と同じ経路をたどり、インターネット電話サービスサーバ２０１のＳＩＰプロキシを介して、図１１の”200 OK”メッセージとして接続要求元のインターネット電話サービス利用装置２０２に届き、ネゴシエーションが完了して、セッションが確立されたことになる。

本実施形態においては、ＳＩＰをベースにして本発明の接続中のセッションに従属するサブセッション確立用に情報を付加する仕様を規定して本発明を実現している。

図１２、図１３は、サブセッション接続用メッセージの例である。

本実施形態においては標準的なＳＩＰプロトコルを用いるが、サブセッション接続の機能を追加するためにＳＩＰメッセージで規定されている”Call-Info”ヘッダの機能を拡張する。元来、”Call-Info”ヘッダは、リクエスト送信時に発呼側、レスポンス送信時には着呼側のユーザに関する情報を使用目的を指定して送信するためのものである。たとえば、使用目的として「アイコン」を指定して発呼者を示すURLの情報を送信することによって着信側でアイコンに使用する画像データを通知することに使用できる。使用目的として「サブセッション接続」を追加し、呼の識別子によるメインセッションや関連付けの情報をメッセージを一緒に送信する。フォーマットは以下のように規定する。

Call-Info:<main:(メインセッションのCall-ID)>purpose=SubSession,
<code:(レスポンス送信用コード)>purpose=RequestCode,
<sync:(メインセッション中の同期メディア)>purpose=Sync
「purpose=SubSession」はサブセッション接続の要求の際、必須である。

「purpose=RequestCode」の情報はサブセッションの関連付けの確認をコード返信によって相手に要求する際につけるオプションの情報である。また、メインセッションで通信するメディアで同期させるものが有る場合につける情報が「purpose=Sync」で指定する情報であり、これもオプションである。
具体的には、図１２、図１３では、以下のような情報をつけている。

Call-Info:
<main:123123123123@12.34.56.71>;purpose=SubSession,
<code:7777@12.34.56.71>;purpose=RequestCode
図１２のメッセージでは、これが既に確立している123123123123@12.34.56.7のCall-IDを持つセッションと関連付けるセッションの確立要求であること、関連付けた場合には7777@12.34.56.71のコードを返信することを要求している。

図１３のレスポンスのメッセージは、上記の２つの要求を受け付けた返信であることを示すために関連付けたメインセッションのCall-IDと指定のリクエストコードを返信に含めている。リクエストコードはメインセッションで送信可能なデータに変換しても送信される。

本実施の形態ではＳＩＰに対し上記のような機能拡張を規定した。しかし、本発明はこの機能拡張フォーマットの規定に限定されるものではない。すなわち、セッションの関連付けのためのセッション指定情報や関連付けを確認するための情報、同期必要性の有無など、メインセッションとサブセッションでのデータ送受信に関連して指定する情報を含めてネゴシエーションできるようにする方法であれば他の方法でも構わない。

図１４、図１５は接続中のセッションに関する情報であるセッション情報データの例である。セッション情報データとは装置内でセッションを管理するために保持、管理するデータである。

図１４の方は、セッション確立部を用いて、ＳＩＰで普通に音声通話するために確立したセッションの情報を保持するためのデータである。セッション識別子（セッションＩＤ）は接続要求時のコール-ID（Call-ID）が使用され、Mediaにはこのセッションでのデータ送受信についての情報が記録されている。図１４の例では、オーディオデータについて、サンプリングレート8000HzのＧＳＭコーデックデータで、ＲＴＰ／ＡＶＰを用いて通信する。双方のデータを受信するためのアドレスとポート番号の組に関する情報である。通常、セッションを関連付けるための情報”relation”はmainに設定される。

図１５は、サブセッションとして確立したセッションの情報である。サブセッションの場合は、発呼側は”200 OK”の応答を受けた時点では、”relation”はtmpとして設定されるが、確認データの受信を受けて、サブセッションであることが記録される。

図１５の場合は、123123123123@12.34.56.71をIDに持つセッションのサブセッションであることを表している。

セッション確立部１０６がシグナルを受信するなどして、セッションを切断するときには、セッション情報保持部１０７を参照して、切断するセッションのセッション情報を削除要求するとともに、保持しているセッション情報のなかで、”relation”に切断するセッションのIDを指定してサブセッション登録されているものを切断するシグナリングを行なうようセッション確立部１０６に指示し、セッションが切断されたことが通知されれば、セッション情報を削除する。このような処理を行なうことにより、切断を指示されたセッションがメインセッションである場合には、当該メインセッション、および、関連付けられたすべてのサブセッションが切断される。また、切断を指示されたセッションがサブセッションである場合には、当該サブセッションに対してサブセッション登録されているセッションは存在しないため、当該サブセッションのみが切断されるが、メインセッションは切断されない。

図１６から図１８は、アプリケーションのＧＵＩを説明する図である。

図１６は、本装置において、通話相手とやりとりするデータを選択するためのものであり、「4/12 サッカーの試合の写真」や「4/19 ピアノ発表会の写真」とした静止画データや、「4/19 ピアノ発表会のビデオ」などの動画データ、BGMの音楽データ、「4/20 会議資料」などのオフィスソフトのファイルを選択することができる。これらのデータは、フラッシュメモリ上にファイルシステムとして保持し、それをタイトル付けしてサービスアプリケーション部内で登録しておくことができる。

図１７は、図１６で選択された「4/12 サッカーの試合の写真」に基づいてサブセッションが確立した通話相手の装置で、各写真データに対応するサムネイルデータを取得して表示している。サムネイルを選択すると、実際の写真データを取得して、表示することができる。

図１８はビデオデータを選択したときの表示画面であり、動画再生画面上に送信された動画データをエンコードして再生する。

図１８のように、音声通話にビデオ映像を追加するように、複数のストリーミングデータをやりとりする場合に、データを同期させるために、サブセッションを確立する際に、メインセッションで通信するデータと同期をとることをリクエストすることを可能にする第２の実施の形態がある。第２の実施形態において、図１に示した第１の実施形態とほぼ同様であり、セッション情報保持部１０７に保持するセッション情報、およびセッション情報を利用して送受信するデータの出力制御を行なう機能がサービスアプリケーション部１１０に追加される。接続手順も図３に示したシーケンス図と同様であり、サブセッション接続用のINVITEメッセージの内容が異なる。

図１９は、図１２に示したサブセッションのINVITEメッセージに代えて、サブセッションで音声データと同期させて動画像データをやりとりするためのサブセッション確立のためのINVITEメッセージの例である。図１２のメッセージ例と比較して、Call-Infoヘッダに以下の情報が追加されている。

<sync:audio 6001 RTP/AVP 4>;purpose=Sync
これは、本セッションで送信されるデータを、メインセッションによって6001番ポートで受信されるオーディオデータと同期させて出力するようリクエストすることを意味する。

図１９のメッセージに従ってセッションが確立され、同期リクエストも承認されると、メインセッションで6001番ポートに向けて送信する音声データと本セッションで送信するペイロードタイプ31のビデオデータ（クロックレート90000HzのH.261エンコーディングデータ）間で同期をとった出力が行われることが期待される。

図１９のリクエストメッセージをもとに確立されるサブセッションについてのセッション情報は図２０のようになりセッション情報保持部１０７に保持される。図２０のセッション情報内の”Relation”の情報は、指定のメインセッションに対するサブセッションであることを示す情報( sub(123123123123@12.34.56.71) )の他に、指定の音声データと同期する必要があることを示す情報( sync(audio((ＧＳＭ/8000, ＲＴＰ／ＡＶＰ),(12.34.56.71:600１１２.34.56.72:6001)) )が含まれている。

データ送受信部１０８は、図２０のセッション情報から、6002ポートで受信するビデオデータを6001ポートで受信するオーディオデータと同期して出力する。そのために、それぞれのポートで受信したRTPデータパケットをバッファリングし、音声コーデックのデコーダ用バッファにデータを書きこむ時刻と同時刻に送出された映像データを映像コーデックのデコーダ用バッファに書き込む。ただし、それぞれのコーデック、パラメータなどからバッファリングを含むデコード推定所要時間差があらかじめ設定しておいた規定値を超えるような場合はその所要時間の差を考慮して、処理の短い方のデータを遅らせてデコーダ用バッファに書き込むことで調整する。デコードされたそれぞれのデータは、音声出力部１０１と情報表示部１０３にデータを受け渡され、それぞれから出力される。

以上のデータの同期の方法は、あくまで一例である。RTPパケットの送出時刻ではなく、メディアデータ自身に時刻情報を含ませ、デコード後、音声出力部１０１や情報表示部１０３に受け渡すところで同期をとるなど、複数のデータの同期をとるための他の手法を利用することも可能である。

以上に説明した実施の例からも分かるように本特許を用いることで、主体となる通信である音声通話に加えて他のデータをやりとりすることができ、音声会話に画像や映像などの情報を加えたコミュニケーションが可能になる。

また、サービスアプリケーション部１１１を変更することで、ＧＵＩやデータを使った処理を多様な装置に作りかえることができ、それはすべて本発明の一部と言える。

（第２の実施形態）
メインセッションとサブセッションとの関連づけの情報として、サブセッションで交換するメッセージの中にメインセッションのセッション識別情報を付加しなくとも、関連づけすることは可能である。

例えば、メインセッションである音声通話に対して音声通話中に新たなセッションの確立が要求された場合、新たなセッションの確立要求に含まれる情報を参照して、新たなセッションが音声通話のサブセッションであるとみなす方法である。具体的には、新たなセッションの確立要求において、(1)セッション確立要求の送信元アドレスが既に確立しているセッションの相手アドレスと一致する、(2)セッション確立要求の送信先アドレスが既に確立しているセッションの自アドレスと一致する、(3)新たなセッション確立要求で要求されているサービス(例えば画像送受信サービス)はサブセッションにて扱われるべきサービスであると自端末においてあらかじめ設定されている、といった条件が満たされる場合に、新たなセッションが音声通話のサブセッションであるとみなす。

この実施形態では、サブセッションで交換するメッセージの中にメインセッションのセッション識別情報とみなす必要はない。

（プログラムとしての実施形態）
以上、本発明の装置における実施形態を説明したが、コミュニケーションソフトウェア１１２に相当する機能をもつプログラムも本発明の一部（情報コミュニケーションプログラム）であり、そのプログラムを記録した記録媒体も発明に含まれる。プログラムを後からインストールすることが可能な装置（たとえば、ＰＣやＰＤＡなどの携帯端末）でも、通信部、音声や表示などの入出力部を装置のものに置き換えて、本発明をプログラムとして実施することができる。

（本発明の適用例）
本発明を利用できる例としては、以下のような例がある。ただし、本発明の範囲はもっと一般的であるので、これらの例に限定されるものではない。
１）通話中に先日のサッカーの試合の話題になり、そのとき撮影したデジカメ写真の電子アルバムを通話相手に見せる。相手はそのなかから、見たいもの、欲しいものを選択するとそのデータを取得することができる。
２）社外で販売活動をしている社員から電話で報告があった。現在の販売実績や在庫状況を聞かれたので、社内にある最新の販売データ、在庫データのファイルを選択して、通話相手に提供。双方で同じ資料を見ながら、質問があれば、それは資料のどこに載っているなどとガイドしながらデータを利用することができる。
３）電話中に、今度新しいビデオカメラを買うつもりだという話題が出た。候補にしている機種の写真を送り、どの色がいいかとか意見を聞くことができる。具体的に写真の部分に動的にマークをつけたりして、「この部分が格好いいよね。」などと音声だけではやりとりできないコミュニケーションを行なう。

また、メインの通信をインターネット電話サービスを用いた音声通話で実施しているが、もちろん、それに限定するものではなく、あらゆる通信サービスに対して機能追加する用途に利用可能である。

図２１と図２２を用いて、本発明を用いて音声コミュニケーションに映像を追加するビジュアルコミュニケーションを例示する。

構成としては、一方はＡＤＳＬやＦＴＴＨなどを用いてインターネットに接続したＰＣ２１０２である。ＰＣ２１０２上にはクライアントソフトウェアがインストールされており、インターネット電話サービス２１０１を利用した音声インターネット電話が可能である。インスタントメッセージクライアントのインターネット電話機能を利用することも可能である。

一方、接続相手は、ブロードバンドルータ２１０３を介して宅内ＬＡＮ上の機器がインターネットに接続している。ＶｏＩＰ電話機２１０４は、ブロードバンドルータを介して、インターネット電話サービス２１０１を利用する。ブロードバンドルータ２１０３はＵＰｎＰ ＩＧＤ（Universal Plug and Play InternetGateway Device）を利用して宅内のローカルアドレスを持った機器が宅外からのアクセスも可能にしている。宅内ネットワーク上のＰＣのＷｉｎｄｏｗｓ（Ｒ）ＭｅｓｓｅｎｇｅｒがＵＰｎＰ対応ルータを用いると音声チャットが可能になることと同じである。

このような構成において、ＰＣ２１０２とＶｏＩＰ電話機２０１４は、インターネット電話サービス(ＳＩＰプロキシ機能を含むサーバ)を介して音声通話セッションのためのシグナリングを行ない、その結果、音声データを送受信して、音声通話を実現している。

図２２は、図２１のようにして音声通話セッションが確立されて音声通話中に、たとえば、ＰＣの接続されたカメラの映像を通話相手に送信してＴＶ電話として機能させたり、ＰＣ内のデジカメ写真データやアプリケーションデータなどを送信したりする。

ネットワークＴＶはネットワークに接続して、確立されたセッションで受信したストリーミング動画像やデジタル写真画像を表示する通信ソフトウェアが内蔵された通信機能をもったＴＶである。通信機能は通信アダプタのような形で実現される場合もある。この場合に、ＰＣ側のクライアントからカメラ画像やＨＤＤ内のデジカメ画像を選択して送信指示すると、ネットワークＴＶ２１０５に対して音声通話に関するサブセッションとして映像送信用の接続要求シグナリングが行なわれ、その結果、確立したセッションでデータを通信して相手に画像などを見せることを実現する。本発明を用いることによって、図２１、図２２で示したこのシーンを実現することができる。機器の構成や通信するデータなどはあくまで一例であるので、多くの類似するシーンで同様のことが実現可能である。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の情報コミュニケーション装置の実施例としてのインターネット電話サービス利用装置 １００の機能構成を表すものである。 インターネット電話サービス利用装置を用いて、音声とデータの２つの通信をおこなうための接続を確立するためのシグナリングと確立したセッションを図示したものである。 図２の接続を確立するための接続シーケンス図である。 データ通信用の第２のセッションを確立する処理の発呼側のフローである。 データ通信用の第２のセッションを確立する処理の着呼側のフローである。 本発明の実施例における装置の外観である。 本発明の実施例におけるハード構成図である。 ＳＩＰプロキシに対して送信する音声通話用の発呼シグナルを説明する図である。 ＳＩＰプロキシが転送した発呼シグナルを説明する図である。 着呼側がセッション確立を受け付けたときにＳＩＰプロキシに返す”200 OK”シグナルを説明する図である。 ＳＩＰプロキシが発呼元の装置に転送する”200 OK”シグナルを説明する図である。 サブセッション確立のための要求シグナルを説明する図である。 サブセッション確立のための要求に対する応答シグナルを説明する図である。 セッション情報データを説明する図である。 サブセッションのセッション情報を説明する図である。 コミュニケーションで追加するデータを選択する画面の例である。 サブセッションをデータを受けた側で取得した写真データのサムネイルを表示、選択する画面の例である。 サブセッションでビデオデータを取得して再生している画面の例である。 メインセッションの音声データとサブセッションの映像データを同期して出力するようネゴシエーションするサブセッション確立要求メッセージの例である。 図１９のメッセージによって確立したサブセッションのセッション情報である。 映像付加可能な構成で音声通話を行なうシーンを示す図である。 図２１で示した音声通話の状態から映像を送受信するサブセッションを確立して音声コミュニケーションに映像を追加したビジュアルコミュニケーションを行なうシーンを示す図である。

符号の説明

１００ インターネット電話サービス利用装置、１０１ 音声入力部、１０２ 音声出力部、１０３ 情報表示部、１０４ 情報入力部、１０５ 通信部、１０６ セッション確立部、１０７ セッション情報保持部、１０８ データ送受信部、１０９ ユーザデータ保持部、１１０ サービスアプリケーション部、１１１ 第２セッション確立部、１１２ コミュニケーションソフトウェア。

Claims (23)

1. 通信相手装置とデータ通信を行なうための接続としてのセッションの確立および前記セッションの制御を行なうセッション制御手段と、
   前記セッション制御手段が確立した前記セッションに関する情報を保持、管理するセッション情報保持手段と、
   前記セッション情報保持手段が保持する情報を用いて、確立済みの前記セッションでデータの送受信を行なうデータ送受信手段とを備え、
   前記セッション制御手段は、既に確立されている前記セッションの通信相手に対して該セッション確立時にデータ送信先アドレスとして取得したアドレスに対して、セッション確立を要求する通信を行なって、新たなセッションを確立させることを特徴とする、情報コミュニケーション装置。
2. 通信相手装置とデータ通信を行なうための接続としてのセッションの確立および前記セッションの制御を行なうセッション制御手段と、
   前記セッション制御手段が確立した前記セッションに関する情報を保持、管理するセッション情報保持手段と、
   前記セッション情報保持手段が保持する情報を用いて確立済みのセッションでデータの送受信を行なうデータ送受信手段とを備え
   前記セッション制御手段は、既に確立されている前記セッションのデータ送信先アドレスとして取得したアドレスに対して、セッション識別情報で特定される該セッションを主体となるセッションとして指定した新たなセッション確立を要求する通信を行なって、該セッションに従属する新たなセッションを確立し、さらに前記セッション情報保持手段に該セッションに従属する新たなセッションとして関連付けて管理させることを特徴とする、情報コミュニケーション装置。
3. 通信相手装置とデータ通信を行なうための接続としてのセッションの確立および前記セッションの制御を行なうセッション制御手段と、
   前記セッション制御手段が確立した前記セッションに関する情報を保持、管理するセッション情報保持手段と、
   前記セッション情報保持手段が保持する情報を用いて確立済みの前記セッションでデータの送受信を行なうデータ送受信手段とを備え、
   前記セッション制御手段は、既に確立されているセッションのセッション識別情報で特定される該セッションを主体となるセッションとして指定した新たなセッション確立を要求する通信を受けて、新たなセッションを指定された主体となるセッションに従属するセッションとして関連付けて前記セッション情報保持手段に管理させることを特徴とする、情報コミュニケーション装置。
4. 前記主体となるセッションを指定したセッション確立を要求する通信のデータは、該要求から確立した新たなセッションを前記主体となるセッションに関連付けたときにセッション確立の要求元の装置に返信されるメインセッション確認データを含み、
   前記主体となるセッションで前記メインセッション確認データの受信を検出することによって、前記通信相手装置において新たに確立したセッションが指定の前記主体となるセッションと正しく関連付けされたことを確認するサブセッション確認手段を備えることを特徴とする、請求項２に記載の情報コミュニケーション装置。
5. 前記セッション制御手段は、前記主体となるセッションを指定したセッション確立要求に該要求から確立した新たなセッションを前記主体となるセッションに関連付けされたときにセッション確立の要求元の装置に返信されることを期待するメインセッション確認データを付加する関連付け確認データ付加手段を含み、前記主体となるセッションで前記メインセッション確認データの受信を検出することによって、前記通信相手装置において新たに確立したセッションが指定の前記主体となるセッションと正しく関連付けされたことを確認するサブセッション確認手段を備えることを特徴とする、請求項２に記載の情報コミュニケーション装置。
6. 前記新たなセッション確立を要求する通信のデータは、前記新たなセッション確立を要求する通信のデータをもとに新たに確立したセッションの主体となるセッションを通知するメインセッション確認データを含み、
   前記セッション制御手段が前記セッション情報保持手段に新たなセッションを主体となるセッションに関連付けて管理させると、関連付けた前記主体となるセッションで前記メインセッション確認データに基づくデータを前記主体となるセッションで送信するメインセッション確認返信手段をさらに備えることを特徴とする、請求項３に記載の情報コミュニケーション装置。
7. 前記セッション制御手段は、既に確立されているセッションのセッション識別情報で特定される該セッションを主体となるセッションとして指定した新たなセッション確立を要求する通信から新たに確立したセッションを主体となるセッションと関連付けた場合に返信されることが期待されているメインセッション確認データを抽出するメインセッション確認データ抽出手段を含み、
   前記セッション制御手段が前記セッション情報保持手段に新たなセッションを主体となるセッションに関連付けて管理させると、関連付けた前記主体となるセッションで前記メインセッション確認データに基づくデータをメインセッションのデータとして送信するメインセッション確認返信手段をさらに備えることを特徴とする、請求項３に記載の情報コミュニケーション装置。
8. 前記主体となるセッションは音データを通信するものであり、前記メインセッション確認データは必要の度に生成される文字列であって、
   前記サブセッション確認手段は、指定の前記メインセッション確認データをＤＴＭＦ音データとして受信し、該ＤＴＭＦ音データを前記主体となるセッションで検出することによって、新たなセッションが正しく関連付けされたことを確認する、請求項４または５に記載の情報コミュニケーション装置。
9. 前記主体となるセッションは音データを通信するものであり、前記メインセッション確認データは必要の度に生成される文字列であって、
   前記メインセッション確認返信手段は、前記メインセッション確認データの文字列から生成したＤＴＭＦ音データを前記主体となるセッションで返信することを特徴とする、請求項６または７に記載の情報コミュニケーション装置。
10. 前記セッション制御手段は、前記セッション情報保持手段において、第１のセッションの主体となるセッションとして関連付けられて管理されている第２のセッションの切断を要求されると、前記第１のセッションを切断したうえで要求された前記第２のセッションの切断を行なうことを特徴とする、請求項２〜９のいずれか１項に記載の情報コミュニケーション装置。
11. 指定されたデータ間で同期をとってデータの入力、または出力するデータ同期入出力手段を備え、
    前記セッション制御手段は、現在確立されている前記セッションに関連付けて管理される前記新たなセッションの確立の要求、もしくはそれに対する応答の通信内に、前記新たに確立するセッションの通信データと同期させる現在確立されている前記セッション中の通信データを指定する情報を付加する同期データ指定情報付加手段を含み、
    前記データ同期入出力手段は、前記データ同期に関する情報に従って同期をとってセッションの通信データの入出力を行なうことを特徴とする、請求項２〜１０のいずれか１項に記載の情報コミュニケーション装置。
12. 前記既に確立されているセッションはインターネット電話の音声通話サービスを用いた音声通話セッションであり、
    前記既に確立されているセッションの通信相手に対して前記新たなセッションの確立を要求する通信を行なうことで、前記新たに確立するセッションは前記音声通話セッションを介してはやりとりできない静止画、動画、もしくは他のアプリケーションの利用可能データを通信することを特徴とする、請求項１〜１１のいずれか１項に記載の情報コミュニケーション装置。
13. コンピュータに情報コミュニケーション方法を実行させるためのプログラムであって、
    通信相手装置とデータ通信を行なうための接続としてのセッションの確立および前記セッションの制御をコンピュータに行なわせるセッション制御ステップと、
    前記セッション制御機能によって確立されたセッションに関する情報を前記コンピュータに保持、管理させるセッション情報保持ステップと、
    前記セッション情報保持機能によって保持される情報を用いて確立済みのセッションでデータの送受信を前記コンピュータに行なわせるデータ送受信ステップとを備え、
    前記セッション制御ステップはさらに、前記既に確立されているセッションの通信相手に対して該セッション確立時にデータ送信先アドレスとして取得したアドレスに対してコンピュータにセッション確立を要求する通信を行なわせて新たなセッションを確立させるステップを含むことを特徴とする、情報コミュニケーションプログラム。
14. コンピュータに情報コミュニケーション方法を実行させるためのプログラムであって、
    通信相手装置とデータ通信を行なうための接続としてのセッションの確立やその制御を通信によってコンピュータに行なわせるセッション制御ステップと、
    前記セッション制御機能によって確立されたセッションに関する情報を前記コンピュータに保持、管理させるセッション情報保持ステップと、
    前記セッション情報保持機能によって保持される情報を用いて確立済みのセッションでデータの送受信を前記コンピュータに行なわせるデータ送受信ステップとを備え、
    前記セッション制御ステップは、さらに、既に確立されているセッションのデータ送信先アドレスとして取得したアドレスに対して、セッション識別情報で特定される該セッションを主体となるセッションとして指定した新たなセッション確立を要求する通信を前記コンピュータに行なわせて該セッションに従属する新たなセッションを確立し、さらに前記セッション情報保持機能を用いて前記コンピュータに該セッションに従属する新たなセッションとして関連付けて管理させるステップを含むことを特徴とする、情報コミュニケーションプログラム。
15. コンピュータに情報コミュニケーション方法を実行させるためのプログラムであって、
    通信相手装置とデータ通信を行なうための接続としてのセッションの確立やその制御を通信によってコンピュータに行なわせるセッション制御ステップと、
    前記セッション制御機能によって確立されたセッションに関する情報を前記コンピュータに保持、管理させるセッション情報保持ステップと、
    前記セッション情報保持機能によって保持される情報を用いて確立済みのセッションでデータの送受信を前記コンピュータに行なわせるデータ送受信ステップとを備え、
    前記セッション制御ステップは、さらに、既に確立されているセッションのセッション識別情報で特定される該セッションを主体となるセッションとして指定した新たなセッション確立を要求する通信を受けて、新たなセッションを指定された前記主体となるセッションに従属するセッションとして関連付けて前記セッション情報保持機能をもちいてコンピュータに管理させるステップを含むことを特徴とする、情報コミュニケーションプログラム。
16. 前記主体となるセッションを指定したセッション確立を要求する通信のデータは、該要求から確立した新たなセッションを前記主体となるセッションに関連付けたときにセッション確立の要求元の装置に返信されるメインセッション確認データを含み、
    前記メインセッション確認データを検出することによって、相手装置において新たに確立したセッションが指定の前記主体となるセッションと正しく関連付けされたことをコンピュータに知らせるサブセッション確認ステップをさらに備えることを特徴とする、請求項１４に記載の情報コミュニケーションプログラム。
17. 前記新たなセッション確立を要求する通信のデータは、新たに確立したセッションの主体となるセッションを通知するメインセッション確認データを含み、
    前記セッション制御ステップは、さらに、前記セッション情報保持機能に新たなセッションを主体となるセッションに関連付けて管理させ、関連付けた主体となるセッションで前記メインセッション確認データ、もしくはそれに相当するデータをコンピュータに送信させるメインセッション確認返信ステップを含むことを特徴とする、請求項１５に記載の情報コミュニケーションプログラム。
18. 前記主体となるセッションは音データを通信するものであり、前記メインセッション確認データは任意の文字列であって、
    前記サブセッション確認ステップは、指定の前記メインセッション確認データをＤＴＭＦ音データとして受信して、該ＤＴＭＦ音データを前記主体となるセッションで前記コンピュータに検出させるステップを含むことを特徴とする、請求項１６に記載の情報コミュニケーションプログラム。
19. 前記主体となるセッションは音データを通信するものであり、前記メインセッション確認データは任意の文字列であって、
    前記メインセッション確認返信ステップは、前記メインセッション確認データの文字列から生成したＤＴＭＦ音データを前記コンピュータに前記主体となるセッションで返信するステップを含むことを特徴とする、請求項１７に記載の情報コミュニケーションプログラム。
20. 前記セッション制御ステップは、前記セッション情報保持機能において第１のセッションの主体となるセッションとして関連付けられて管理されている第２のセッションの切断を要求されると、前記第１のセッションを前記コンピュータに切断させたうえで要求されたセッションを切断させるステップを含むことを特徴とする、請求項１４〜１９のいずれか１項に記載の情報コミュニケーションプログラム。
21. 指定されたデータ間で同期をとってデータの入力、または出力を前記コンピュータにさせるデータ同期入出力ステップをさらに備え、
    現在確立されているセッションに関連付けて管理される新たなセッションの確立を要求する通信データは、前記現在確立されているセッションと新たに確立するセッションの間で同期させる通信データを指定する同期データ指定情報を含み、
    前記セッション制御ステップは、前記同期データ指定情報によって確立されたセッション間のデータ同期に関する情報をコンピュータ上に保持させるステップを含み、
    前記データ同期入出力ステップは、前記データ同期に関する情報に従って同期をとってセッションの通信データの入出力を前記コンピュータに行なわせるステップを含むことを特徴とする、請求項１３〜２０のいずれか１項に記載の情報コミュニケーションプログラム。
22. 既に確立されているセッションはインターネット電話の音声通話サービスを用いた音声通話セッションであり、前記既に確立されているセッションの通信相手に対して新たなセッションの確立を要求する通信をコンピュータに行なわせ、新たに確立するセッションは前記音声通話セッションを介してはやりとりできない静止画、動画、もしくは他のアプリケーションの利用可能データをコンピュータに通信させることを特徴とする、請求項１３〜２１のいずれか１項に記載の情報コミュニケーションプログラム。
23. 請求項１３〜２２のいずれか１項に記載の情報コミュニケーションプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images