JP2006262411A - 音声映像通信システム - Google Patents

Abstract

【課題】自分のプライバシを守りながら、かつ相手に対しても十分な伝達効果を有するように自分のアウェアネス情報を相手に伝達すること。
【解決手段】本発明は、複数のユーザ端末３００と、複数のユーザ端末間でなされる音声及び映像による通信を中継する中継手段４００，５００とを通信ネットワーク６００により接続してなる音声映像通信システム１００である。中継手段は、ユーザ端末から送信された状態情報を、送信元のユーザ端末に関連付けて記憶装置４３０に記憶する状態情報登録部４２２と、ユーザ端末から要求された通信相手ユーザの状態情報を、記憶装置４３０から検索する状態情報検索部４２３と、状態情報検索部４２３によって検索された通信相手ユーザの状態情報を、要求元のユーザ端末に送信する状態情報配信部４２４とを備えている。
【選択図】 図２

Description

本発明は、一般に、通信ネットワークを介して複数のユーザ端末間でなされる音声及び映像による通信を中継する技術に関し、更に詳しくは、通信前のユーザのアウェアネス情報を相手側ユーザに事前に知らせることが可能な音声映像通信システムに関する。

近年、ネットワーク環境の整備により、ＰＣや電子メールに代表される非同期（非リアルタイム）型の通信システムが提供されている。これら非同期型通信システムでは、これまでの電話に代表される同期（リアルタイム）型の通信システムと異なり、受信者側の都合（在・不在や状況）に依存することなく、発信者側の都合により自由にメッセージを送信することが可能であり、ビジネス用途だけでなく、日常的な通信場面においてもその利便性が高いことが知られている。

しかしながら、これら非同期型通信システムによるメッセージのやり取りでは、通信の目的や相手のその時々の様子をテキストの内容のみから考慮・想像するなど、通常の電話以上に受信者側でメッセージの行間を読む能力が要求される。そのため、このような通信形態に不慣れなユーザにとっては扱いにくいという一面がある。

このことからも、電話に代表される同期型通信システムの重要性は依然として高いのが現状である。特に最近では、広帯域ネットワーク環境の整備に伴い、ＴＶ電話に代表される映像を介した同期型通信システムの開発が盛んである。これらの通信システムでは、通信時において音声に加えて映像を介することにより、従来の通信システムと比較してお互いの表情や様子など、相手の状況をより正確に把握することが可能であり、同期型通信を活性化させると同時に非同期型に不慣れなユーザに対しても通信の機会を増やす効果が期待されている。

しかしながら、このような映像を介した同期型通信システムでは、通信を開始する（相手を呼び出す）際において発呼側ユーザが被呼側ユーザの状況に配慮することが必要となる。具体的には、被呼側のユーザが在宅か不在か、忙しいか忙しくないか、あるいは着替え中かそうでないかなど、相手が応答できる状況にあるかどうか発呼側ユーザが配慮しなければならず、映像を介した同期型通信を行うに際して一つの心理的な障壁となる。そのため、特に日常生活場面においては、映像を介した同期型通信は明確かつ重要な連絡事項がある場合や緊急事態の場合などにその利用が限定されているのが現状である。

そこで最近では、同期型通信の普及を促進するために、同期型通信に、通信する相手となるお互いの存在や状況に関する情報である「アウェアネス」情報を伝達することを組み込むことが提案されている。

その第一の方法は、例えば、下記特許文献１で開示されているように、常時接続ネットワーク環境を利用して、受信者側の存在や状況を同期型通信の実施前に常時伝達する方法である。具体的には、リアルタイムで取得した映像（動画）や一定周期で取得した画像（静止画）により、お互いのアウェアネス情報が事前に常時伝達される。

また、その第二の方法は、例えば、下記非特許文献１で開示されているように、通信システムの稼動状況やセンサからの入力情報に応じて、あらかじめユーザ毎に登録したアイコンの表示／非表示や、その位置・大きさ等を変化させることより、お互いのアウェアネス情報が常時交換される方法である。

このようなアウェアネス情報の伝達により、相手の存在や状況を事前に把握することが可能となり、映像を介した同期型通信を利用する際の心理的な障壁を低くすることができる。
特開平１１−３２３１５号公報 http://messenger.msn.co.jp/

しかしながら、このような従来のアウェアネス情報の伝達方法では、以下のような問題がある。

すなわち、第一の方法では、アウェアネス情報を映像や画像によって常時伝達することにより、相手の存在や状況に関する情報を正確に把握することが可能である一方で、相手を常に「監視」している状態と同等になり、個人のプライバシの侵害という問題が生じる。

一方、第二の方法では、個人のプライバシの侵害を解消するという点では有効であるが、見る側にとっては、相手のアウェアネス情報が、ある一定の範囲（あらかじめ登録されたアイコンの変化のみ）で繰り返し提示されることとなり、変化に乏しく、日常的に新たな通信を誘発する「きっかけ」にはなりにくいという問題がある。

本発明はこのような事情に鑑みてなされたものであり、最近の通信時の映像から取得した静止画等、既に相手に開示済みの画像情報を、自分のアウェアネスとして相手に伝達することにより、プライバシの問題を解消すると同時に、アイコンほど単調ではなく、変化をつけて相手側に伝達できるために、相手に対して通信を喚起させることが可能な音声映像通信システムを提供することを目的とする。

上記の目的を達成するために、本発明では、以下のような手段を講じる。

すなわち、請求項１の発明は、複数のユーザ端末と、複数のユーザ端末間でなされる音声及び映像による通信を中継する中継手段とを通信ネットワークにより接続してなる音声映像通信システムである。

ここでユーザ端末は、当該ユーザ端末のユーザの状態情報を取得する状態情報取得手段と、状態情報取得手段により取得した状態情報を中継手段へ送信する状態情報送信手段と、音声情報及び映像情報を中継手段に送信し、中継手段から通信相手ユーザが操作するユーザ端末へと配信されるようにした情報送信手段と、予め定めた通信相手ユーザが操作するユーザ端末から送信され、中継手段によって配信された音声情報及び映像情報を受信する情報受信手段と、情報受信手段によって受信された映像情報から、通信相手ユーザの画像を取得し、記憶する相手画像記憶手段と、中継手段に対して、通信相手ユーザの状態情報を要求する状態情報要求手段と、状態情報要求手段からの要求に応じて中継手段から送信された通信相手ユーザの状態情報に基づいて、相手画像記憶手段に記憶された通信相手ユーザの画像を取得し、取得した画像をディスプレイ装置から表示させる画像表示手段とを備えている。

また、中継手段は、ユーザ端末の状態情報送信手段から送信された状態情報を、送信元のユーザ端末に関連付けて記憶する状態情報記憶手段と、ユーザ端末の状態情報要求手段から要求された通信相手ユーザの状態情報を、状態情報記憶手段から検索する状態情報検索手段と、状態情報検索手段によって検索された通信相手ユーザの状態情報を、要求元のユーザ端末に送信する状態情報返信手段とを備えている。

また、請求項２の発明は、請求項１の発明の音声映像通信システムにおいて、相手画像記憶手段は、情報受信手段によって受信された映像情報から、予め定めた時間間隔で、かつ予め定めた個数内で通信相手ユーザの画像を周期的に取得し、記憶する。更に、画像表示手段は、状態情報要求手段からの要求に応じて中継手段から送信された通信相手ユーザの状態情報に基づいて、相手画像記憶手段に記憶された通信相手ユーザの複数の画像のうち、予め定めた個数の画像を取得し、これら取得した各画像を、一つずつ周期的にディスプレイ装置から表示させる。

本発明によれば、最近の通信時の映像から取得した静止画等、既に相手に開示済みの画像情報を、自分のアウェアネスとして相手に伝達することにより、プライバシの問題を解消すると同時に、アイコンほど単調ではなく、変化をつけて相手側に伝達できるために、相手に対して通信を喚起させることが可能な音声映像通信システムを実現することができる。

以下に、本発明を実施するための最良の形態について図面を参照しながら説明する。

図１は、本発明の実施の形態に係る音声映像通信システムの構成例を示す概念図である。

すなわち、本発明の実施の形態に係る音声映像通信システム１００は、各ユーザの自宅等に設置されるユーザ端末３００（＃１，＃２，＃３，・・・，＃ｎ）（以下、集合的にユーザ端末３００と表す）と、各ユーザ端末３００から送信される各ユーザ端末３００毎の状態情報を管理するアウェアネス情報管理サーバ４００と、複数のユーザ端末３００間でなされる通信に際して送受信される音声及び映像を中継する映像・音声配信管理サーバ５００とをネットワーク６００により互いに接続してなる。ネットワーク６００は、例えばインターネット、専用回線、光通信などの広域通信網等からなる。

また図２は、ユーザ端末３００とアウェアネス情報管理サーバ４００の詳細構成例を示す機能ブロック図である。

ユーザ端末３００は、ユーザ端末本体３２０と、ユーザ端末本体３２０に接続された音声入力用のマイク３４０、映像入力用のカメラ３５０、人感センサ等の状態情報取得部３６０、キーボードやマウス等の情報入力用の入力装置３７０、映像出力用のディスプレイ装置３８０、及び音声出力用のスピーカ３９０を備えている。

なお、入力装置３７０及びディスプレイ装置３８０に代えて、タッチパネルやペンによる入力機能付きのディスプレイ装置を用いても良い。このような入力機能付のディスプレイ装置は、キーボードやマウス等の操作に不慣れな高齢者等であっても、容易に操作することができる。

更にユーザ端末本体３２０は、図示しないＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、及びハードディスクのほか、ネットワーク６００を介してアウェアネス情報管理サーバ４００及び映像・音声配信管理サーバ５００と情報の送受信を行うモデム等の通信処理部３１０、音声符号化部３２１、映像符号化部３２２、ユーザ情報設定部３２３、ユーザ情報記憶部３２４、状態情報記憶部３２５、状態情報提示部３２６、相手画像記憶部３２７、映像復号化部３２８、及び音声復号化部３２９を備えている。

音声符号化部３２１は、マイク３４０からの音声情報を符号化した後に通信処理部３１０に出力する。映像符号化部３２２は、カメラ３５０からの映像情報を符号化した後に通信処理部３１０に出力する。

ユーザ情報設定部３２３は、入力装置３７０からなされる、ユーザ端末３００を操作するユーザの個人データや、このユーザの通信相手である相手ユーザに関する個人データの入力を入力装置３７０から受け付ける。そして、受け付けた個人データをユーザ情報記憶部３２４に書き込み、記憶させる。また、ユーザからの要求に応じて、ユーザ情報記憶部３２４に記憶されている個人データを取り出し、通信処理部３１０に出力する。

ユーザ情報記憶部３２４は、ハードディスク内に設けられ、ユーザ情報設定部３２３によって書き込まれる個人データを記憶する。

状態情報記憶部３２５は、ハードディスク内に設けられ、状態情報取得部３６０によって取得された状態情報を記憶する。また、相手ユーザのユーザ端末３００から送信された後に、アウェアネス情報管理サーバ４００によって、ネットワーク６００を経由して配信された相手ユーザの状態情報を、通信処理部３１０から取得して記憶する。更には、記憶した状態情報を、通信処理部３１０に送る。ここで状態情報とは、ユーザの在・不在情報を含む。このような在・不在情報は、状態情報取得部３６０として、人間を感知した場合には在信号を出力し、人間を感知しない場合には何も信号を出力しない例えば赤外線センサのような人感センサを採用することによって取得することができる。

状態情報提示部３２６は、状態情報記憶部３２５に記憶されている状態情報を、ユーザからの要求に応じて取り出し、ディスプレイ装置３８０から表示させたり、通信処理部３１０に出力する。また、状態情報記憶部３２５に記憶されている相手ユーザの状態情報に基づいて、相手画像記憶部３２７に記憶されている相手ユーザの静止画像情報（後述する）を取り出し、ディスプレイ装置３８０から表示させる。

映像復号化部３２８は、相手ユーザのユーザ端末３００から送信された後に、映像・音声配信管理サーバ５００によって、ネットワーク６００を経由して配信された符号化された映像情報を通信処理部３１０から受ける。そして、この符号化された映像情報を復号した後に、ディスプレイ装置３８０から表示させるとともに、相手画像記憶部３２７に書き込み、ここに記憶させる。

相手画像記憶部３２７は、ハードディスク内に設けられ、映像復号化部３２８から送られた映像情報から、予め設定した時間間隔及び数量（枚数）内で、静止画像情報を周期的に取得し、記憶する。また、この記憶した静止画像情報は、ユーザから要求があった場合には、状態情報提示部３２６によって取得される。

なお、相手画像記憶部３２７は、このように静止画像情報を取得し、記憶することに代えて、映像復号化部３２８から送られた映像情報をそのまま記憶するようにしても良い。この場合、状態情報提示部３２６は、状態情報記憶部３２５に記憶されている相手ユーザの状態情報に基づいて、相手画像記憶部３２７に記憶されている映像情報を取り出し、ディスプレイ装置３８０から表示させる。

音声復号化部３２９は、相手ユーザのユーザ端末３００から送信された後に、映像・音声配信管理サーバ５００によって、ネットワーク６００を経由して配信された符号化された音声情報を通信処理部３１０から受ける。そして、この符号化された音声情報を復号した後に、スピーカ３９０から出力させる。

次に、アウェアネス情報管理サーバ４００について説明する。

アウェアネス情報管理サーバ４００は、ユーザ端末３００からのユーザの個人データや、このユーザの通信相手である相手ユーザの個人データに基づいて、各ユーザの状態情報を所定のユーザ端末３００に配信する。

このアウェアネス情報管理サーバ４００は、図示しないＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、及びハードディスクのほか、ネットワーク６００を介して各ユーザ端末３００と情報の送受信を行う通信処理部４１０と、状態情報登録部４２２と、状態情報検索部４２３と、状態情報配信部４２４と、ハードディスク内に設けられた記憶装置４３０とを備えている。

状態情報登録部４２２は、通信処理部４１０が、ネットワーク６００を介してユーザ端末３００より受信した各ユーザの状態情報を、送信元のユーザ端末３００に関連付けて記憶装置４３０に書き込み、記憶させる。

状態情報検索部４２３は、通信処理部４１０が、ネットワーク６００を介してユーザ端末３００より受信した要求に基づいて、指定されたユーザの状態情報を、記憶装置４３０から検索する。

状態情報配信部４２４は、状態情報検索部４２３によって検索された状態情報を、通信処理部４１０に出力し、この状態情報を、通信処理部４１０から、要求元のユーザ端末３００に配信させる。

映像・音声配信管理サーバ５００は、ユーザ端末３００の通信処理部３１０から送信された映像情報及び音声情報を、ネットワーク６００を介して取得する。そして、これら取得した映像情報及び音声情報を、相手側のユーザ端末３００に配信する。

次に、以上のように構成した本発明の実施の形態に係る音声映像通信システムの動作について説明する。

図３は、本発明の実施の形態に係る音声映像通信システムによって、ユーザＡとユーザＢとが通信する場合における動作を示すフローチャートである。図３では、一例として、不在であったユーザＡが戻って来てからユーザＢとの通信を開始するという２人のユーザ間の通信動作を示しているが、ユーザの人数はシステムが定める範囲であれば２人に限定されるものではなく、３人以上のユーザ間でなされる通信についても、本発明の音声映像通信システムは適用可能である。また、通話開始に至るまでのユーザの状態は、多々あり、本発明の音声映像通信システムの動作が、図３に示すような不在であったユーザＡが戻って来てからユーザＢとの通信を開始する場合に限られるものではないことは言うまでもない。

ここで、アウェアネス情報管理サーバ４００には、ユーザＡとユーザＢとがそれぞれ通信相手であると登録されていると仮定する。これによって、記憶装置４３０に記憶された様々なユーザからの状態情報のうち、ユーザＡ及びユーザＢの状態情報が状態情報検索部４２３によって検索される。そして、検索されたユーザＡの状態情報が、状態情報配信部４２４からの指示に基づいて、通信処理部４１０からネットワーク６００を経由してユーザＢのユーザ端末３００（＃Ｂ）に配信され、検索されたユーザＢの状態情報が、状態情報配信部４２４からの指示に基づいて、通信処理部４１０からネットワーク６００を経由してユーザＡのユーザ端末３００（＃Ａ）に配信される。また、ユーザ端末３００（＃Ａ）からの音声情報及び映像情報が、ネットワーク６００を経由して映像・音声配信管理サーバ５００によって一旦取得された後、再びネットワーク６００を経由してユーザ端末３００（＃Ｂ）へ配信される。同様に、ユーザ端末３００（＃Ｂ）からの音声情報及び映像情報が、ネットワーク６００を経由して映像・音声配信管理サーバ５００によって一旦取得された後、再びネットワーク６００を経由してユーザ端末３００（＃Ａ）へ配信される。

さて、不在であるユーザＡのユーザ端末３００（＃Ａ）のディスプレイ装置３８０の分割画面３８１からは、図４にその一例を示すように、相手ユーザであるユーザＢの過去の会話中の静止画が表示される（Ｓ０ａ）。これは、ユーザ端末３００（＃Ａ）には、アウェアネス情報管理サーバ４００から、ユーザＢが在室しているという状態情報が送られ、これに応じて、ユーザ端末３００（＃Ａ）の相手画像記憶部３２７に記憶されている静止画像の中から、状態情報提示部３２６によって、相手ユーザであるユーザＢの静止画像が取得され、ディスプレイ装置３８０から表示されるからである。また、ディスプレイ装置３８０からは、図４に示すように、ユーザＡがユーザＢの他にも通信相手として登録しているユーザＣ及びユーザＤ用の分割画面３８２，３８３も与えられている。ユーザＣ及びユーザＤともに在室であれば、図４に示すように、ユーザＣの過去の会話中の静止画が分割画面３８２から、ユーザＤの過去の会話中の静止画が分割画面３８３からそれぞれ表示される。ディスプレイ装置３８０から一度に表示される分割画面のセットは、マウスによってスクロールボタン３８５，３８６を上下操作することにより、変えることができる。また、分割画面３８４は、どのユーザにも設定されておらず未登録となっているが、マウスを用いて設定ボタン３８７を押し、相手ユーザの情報を入力することにより、新たなユーザを登録することができる。

一方、在室しているユーザＢのユーザ端末３００（＃Ｂ）のディスプレイ装置３８０からは、図５にその一例を示すように、ユーザＡが設定された分割画面３８１からは何も表示されない（Ｓ０ｂ）。これは、ユーザ端末３００（＃Ｂ）には、アウェアネス情報管理サーバ４００から、ユーザＡが不在であるという状態情報が送られているからである。図５は、ユーザＢがユーザＡの他にも通信相手として登録しているユーザＥ及びユーザＦがともに在室しているので、ユーザＥ及びユーザＦ用の分割画面３８２，３８３からそれぞれユーザＥ及びユーザＦの過去の会話中の静止画が表示されている例を示している。

さて、ユーザＡが帰宅後、ユーザ端末３００（＃Ａ）が設置されている部屋に入ると、ユーザ端末３００（＃Ａ）の状態情報取得部３６０によりユーザＡが「在室」状態にあることを示す状態情報が状態情報記憶部３２５に記憶される（Ｓ１ａ）。これは、例えば状態情報取得部３６０として赤外線センサである人感センサを用いた場合には、この赤外線センサが人間の存在を感知した場合に出力する感知信号を状態情報とすることができる。そして、記憶された状態情報は、通信処理部３１０によって、ネットワーク６００を介してアウェアネス情報管理サーバ４００に送信される（Ｓ２ａ）。

このようにしてユーザ端末３００（＃Ａ）から状態情報を受信したアウェアネス情報管理サーバ４００では、状態情報登録部４２２によって、記憶装置４３０に記憶されているユーザＡの状態情報が「不在」から「在室」へと更新される（Ｓ３）。

一方、ユーザ端末３００（＃Ｂ）からは、ユーザ情報設定部３２３により登録したユーザ自身の個人データ（ユーザＢの識別番号等）と、相手ユーザに関する個人データ（ユーザＡの識別番号、事前の状態情報等）とが、予め設定した時間間隔で、アウェアネス情報管理サーバ４００へと送信され、アウェアネス情報管理サーバ４００に対して、ユーザＡの状態情報をユーザ端末３００（＃Ｂ）に送信するよう要求がなされる（Ｓ４ｂ）。

この要求に応じてアウェアネス情報管理サーバ４００では、状態情報検索部４２３によって、記憶装置４３０から、ユーザＡの状態情報が検索される（Ｓ５）。そして、検索した状態情報が、前回検索された状態情報と比較して変化している場合（例えば、「不在」から「在室」に変化している場合）（Ｓ６：Ｙｅｓ）には、該当するユーザＡの状態情報（「在室」）が、ユーザ端末３００（＃Ｂ）に配信される。これに応じて、ユーザ端末３００（＃Ｂ）では、相手画像記憶部３２７に記憶されている静止画像の中から、状態情報提示部３２６によって、相手ユーザであるユーザＡの静止画像が取得され、ディスプレイ装置３８０から表示される（Ｓ８）。これによって、ユーザＢは、ユーザＡが帰宅したことを把握することができる。

一方、ステップＳ６において、変化がない場合（Ｓ６：Ｎｏ）には、ユーザ端末３００（＃Ｂ）のディスプレイ装置３８０から表示される状態に変更はない（Ｓ７ｂ）。

次に、ユーザＡがユーザＢとの通信を開始する際には、ユーザ端末３００（＃Ａ）のディスプレイ装置３８０に表示された図４に示すような相手ユーザ一覧表示の中から、入力装置３７０を用いて、ユーザＢの分割画面３８１を選択し、呼出ボタン３８８を選択することにより、ネットワーク６００及び映像・音声配信管理サーバ５００を介して、ユーザ端末３００（＃Ｂ）に、ユーザＡからの呼出が伝えられる（Ｓ９ａ）。これに対して、ユーザＢが、ユーザ端末３００（＃Ｂ）の入力装置３７０により応答操作を行うことで、映像・音声配信管理サーバ５００を介したユーザ端末３００（＃Ａ）とユーザ端末３００（＃Ｂ）との映像及び音声による通信が確立され、ユーザ端末３００（＃Ａ）から送信された映像情報及び音声情報はネットワーク６００を介して映像・音声配信管理サーバ５００に取得された後に、映像・音声配信管理サーバ５００によってネットワーク６００を介してユーザ端末３００（＃Ｂ）に配信される。一方、ユーザ端末３００（＃Ｂ）から送信された映像情報及び音声情報はネットワーク６００を介して映像・音声配信管理サーバ５００に取得された後に、映像・音声配信管理サーバ５００によってネットワーク６００を介してユーザ端末３００（＃Ａ）に配信される。このようにして、ユーザＡとユーザＢとの間での映像及び音声による対面通信が開始される（Ｓ１０）。

このようにして通信が開始された各ユーザ端末３００（＃Ａ，＃Ｂ）では、各ユーザ端末３００の状態が「在室」から「話中」に変化したことに伴い、状態情報記憶部３２５に「話中」を意味する状態情報が記憶される。これによって、ユーザ端末３００（＃Ａ）のディスプレイ装置３８０からは、図６に示すように、ステップＳ１０において、映像・音声配信管理サーバ５００によってネットワーク６００を介してユーザ端末３００（＃Ｂ）からユーザ端末３００（＃Ａ）に配信されたユーザＢのリアルタイムによる映像情報が、ユーザＢの状態が表示される分割画面３８１から表示される。同様に、ユーザ端末３００（＃Ｂ）のディスプレイ装置３８０からも、図６に示すように、ユーザＡの状態が表示される分割画面３８１から、ユーザＡのリアルタイムによる映像情報が表示される。また、状態情報記憶部３２５に記憶された状態情報が、通信処理部３１０に出力され、そこからネットワーク６００を介してアウェアネス情報管理サーバ４００に送信される（Ｓ１１ａ，Ｓ１１ｂ）。

各ユーザ端末３００（＃Ａ，＃Ｂ）からの状態情報を受信したアウェアネス情報管理サーバ４００では、状態情報登録部４２２によって、記憶装置４３０に記憶されている各ユーザＡ，Ｂの状態情報が「在室」から「話中」へと更新される（Ｓ１２）。

一方、各ユーザ端末３００（＃Ａ，＃Ｂ）では、相手画像記憶部３２７によって、お互いの会話中の静止画像が、事前に設定した一定時間間隔・枚数内で、周期的に取得され、記憶される（Ｓ１２ａ，Ｓ１２ｂ）。これは、ステップＳ１０で開始された通話が終了するまで繰り返される（Ｓ１４ａ）。会話を終了する場合には、図４に示すように、ディスプレイ装置３８０に表示された切ボタン３８９をマウス等により選択することによってなされる。

そして、会話が終了すると（Ｓ１４：Ｙｅｓ、Ｓ１５）、各ユーザ端末３００（＃Ａ，＃Ｂ）では、ユーザの状態が「話中」から「在室」に変化したことに伴い、各ユーザ端末３００（＃Ａ，＃Ｂ）の状態情報記憶部３２５に状態情報が「在室」に更新されるとともに、この更新された状態情報が状態情報提示部３２６によって通信処理部３１０に送られ、更に通信処理部３１０からネットワーク６００を介してアウェアネス情報管理サーバ４００に送信される（Ｓ１６ａ，Ｓ１６ｂ）。

このようにして各ユーザ端末３００（＃Ａ，＃Ｂ）から状態情報を受信したアウェアネス情報管理サーバ４００では、記憶装置４３０に記憶されている各ユーザの状態情報が、状態情報登録部４２２によって「話中」から「在室」へ更新される（Ｓ１７）。

そして、ユーザ端末３００（＃Ａ）には、アウェアネス情報管理サーバ４００から、ユーザＢの状態情報「在室」が送られ、これに応じて、ユーザ端末３００（＃Ａ）の相手画像記憶部３２７に記憶されている静止画像の中から、状態情報提示部３２６によって、ユーザＢの静止画像が取得され、ディスプレイ装置３８０から表示される（Ｓ１８ａ）。同様に、ユーザ端末３００（＃Ｂ）には、アウェアネス情報管理サーバ４００から、ユーザＡの状態情報「在室」が送られ、これに応じて、ユーザ端末３００（＃Ｂ）の相手画像記憶部３２７に記憶されている静止画像の中から、状態情報提示部３２６によって、ユーザＡの静止画像が取得され、ディスプレイ装置３８０から表示される（Ｓ１８ａ）。

このとき、一定時間が経過した後には、状態情報提示部３２６が、相手画像記憶部３２７に記憶されているユーザＡの静止画像から別の静止画像を取得し、ディスプレイ装置３８０から表示される静止画像を、この取得した静止画像に変更するようにしても良い。これを繰り返すことによって、一定時間毎に、ユーザＡの別の静止画像が、ディスプレイ装置３８０から表示されるようになる。また、予め定めた枚数のユーザＡの異なる静止画像を対象に、一定時間間隔毎に表示画像を変更させるような連続表示も可能である。

上述したように、本発明の実施の形態に係る音声映像通信システムにおいては、上記のような作用により、映像及び音声による通信を行う前に、お互いのアウェアネスを、最近の会話時の映像から自動的に取得した画像のような、相手に開示済みの情報によって伝達することができ、プライバシの侵害を解消すると同時に、映像及び音声による通信をスムースに開始できるようになる。

また上述したようなアウェアネスに用いる画像を、任意に変えることができるために、通信相手に対して注意や関心を常に想起させ、新たな通信機会を喚起することも可能となる。

以上、本発明を実施するための最良の形態について、添付図面を参照しながら説明したが、本発明はかかる構成に限定されない。特許請求の範囲の発明された技術的思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の技術的範囲に属するものと了解される。

本発明の実施の形態に係る音声映像通信システムの構成例を示す概念図。 ユーザ端末とアウェアネス情報管理サーバの詳細構成例を示す機能ブロック図。 本発明の実施の形態に係る音声映像通信システムによって、ユーザＡとユーザＢとが通信する場合における動作を示すフローチャート。 ディスプレイ装置から表示される相手ユーザ一覧の例を示す模式図。 ディスプレイ装置から表示される相手ユーザ一覧の例を示す模式図。 ディスプレイ装置から表示される相手ユーザ一覧の例を示す模式図。

符号の説明

１００…音声映像通信システム、３００…ユーザ端末、３１０…通信処理部、３２０…ユーザ端末本体、３２１…音声符号化部、３２２…映像符号化部、３２３…ユーザ情報設定部、３２４…ユーザ情報記憶部、３２５…状態情報記憶部、３２６…状態情報提示部、３２７…相手画像記憶部、３２８…映像復号化部、３２９…音声復号化部、３４０…マイク、３５０…カメラ、３６０…状態情報取得部、３７０…入力装置、３８０…ディスプレイ装置、３８１〜３８４…分割画面、３８５，３８６…スクロールボタン、３８７…設定ボタン、３８８…呼出ボタン、３８９…切ボタン、３９０…スピーカ、４００…アウェアネス情報管理サーバ、４１０…通信処理部、４２２…状態情報登録部、４２３…状態情報検索部、４２４…状態情報配信部、４３０…記憶装置、５００…映像・音声配信管理サーバ、６００…ネットワーク

Claims (2)

1. 複数のユーザ端末と、前記複数のユーザ端末間でなされる音声及び映像による通信を中継する中継手段とを通信ネットワークにより接続してなる音声映像通信システムであって、
   前記ユーザ端末は、
   当該ユーザ端末のユーザの状態情報を取得する状態情報取得手段と、
   前記状態情報取得手段により取得した状態情報を前記中継手段へ送信する状態情報送信手段と、
   音声情報及び映像情報を前記中継手段に送信し、前記中継手段から前記通信相手ユーザが操作するユーザ端末へと配信されるようにした情報送信手段と、
   予め定めた通信相手ユーザが操作するユーザ端末から送信され、前記中継手段によって配信された音声情報及び映像情報を受信する情報受信手段と、
   前記情報受信手段によって受信された映像情報から、前記通信相手ユーザの画像を取得し、記憶する相手画像記憶手段と、
   前記中継手段に対して、前記通信相手ユーザの状態情報を要求する状態情報要求手段と、
   前記状態情報要求手段からの要求に応じて前記中継手段から送信された前記通信相手ユーザの状態情報に基づいて、前記相手画像記憶手段に記憶された前記通信相手ユーザの画像を取得し、取得した画像をディスプレイ装置から表示させる画像表示手段とを備え、
   前記中継手段は、
   前記ユーザ端末の状態情報送信手段から送信された状態情報を、送信元のユーザ端末に関連付けて記憶する状態情報記憶手段と、
   前記ユーザ端末の状態情報要求手段から要求された前記通信相手ユーザの状態情報を、前記状態情報記憶手段から検索する状態情報検索手段と、
   前記状態情報検索手段によって検索された前記通信相手ユーザの状態情報を、要求元のユーザ端末に送信する状態情報返信手段とを備えた音声映像通信システム。
2. 前記相手画像記憶手段は、前記情報受信手段によって受信された映像情報から、予め定めた時間間隔で、かつ予め定めた個数内で前記通信相手ユーザの画像を周期的に取得して、記憶し、
   前記画像表示手段は、前記状態情報要求手段からの要求に応じて前記中継手段から送信された前記通信相手ユーザの状態情報に基づいて、前記相手画像記憶手段に記憶された前記通信相手ユーザの複数の画像のうち、予め定めた個数の画像を取得し、これら取得した各画像を、一つずつ周期的に前記ディスプレイ装置から表示させるようにした請求項１に記載の音声映像通信システム。

Images