JP2006245655A - 通信端末及び通信システム - Google Patents

Abstract

【課題】従来の通信端末における諸問題を解決し、映像ないし音声によるコミュニケーションをさらに促進できるようにする。
【解決手段】本発明の映像音声通信システムは、同等の構成を有する通信端末１ａと通信端末１ｂとがインターネットなどのネットワーク１０を介して接続されており、互いに映像と音声を通信する。通信端末１ａと通信端末１ｂとの接続経路は、ＳＩＰ（Session Initiation Protocol）サーバで構成された交換台サーバ６がネットワークアドレス（グローバルＩＰアドレスなど）、ポート、識別子（ＭＡＣアドレスなど）を用いて指定する。名称や電子メールアドレスなど通信端末１のユーザに関する情報や通信端末１の接続に関する情報（アカウント情報）はアカウントデータベース（ＤＢ）８ａ内に格納されており、アカウント管理サーバ８によって管理されている。
【選択図】 図１

Description

本発明は通信端末及び通信システムに係り、特に画像ないし音声による双方向コミュニケーションを提供する端末及びシステムに関する。

近年の大容量データ通信網の普及に伴い、画像と音声による双方向コミュニケーションが一般家庭でも容易に行えるようになっている。例えば非特許文献１の通信端末は、本体部から倒立可能に取り付けられたアーム部、アーム部に設けられたテレビカメラを備えており、また、家庭用テレビへの映像信号出力端子、ヘッドセットの音声入出力端子、ＡＤＳＬなどの通信回線への回線端子を有している。通信端末を通信回線に接続し、テレビと接続して、別途通知された登録情報（会員番号やパスワード）を入力した後、相手方の電話番号を入力して、同じ構成の通信端末と通信回線経由で接続する。接続が確立すると、テレビカメラで撮影した相手方の映像が自分のテレビに映し出されるとともにし、ヘッドセットのマイクから入力した相手方の音声が自分のヘッドセットのヘッドフォンから出力される。このように、テレビカメラとヘッドセットで互いに映像音声を送信しあってコミュニケーションを図ることができる。

非特許文献１の通信端末は、以下のような構成も有している。

（１）映像入力端子が設けられており、アーム部に設けられたテレビカメラの他、外部カメラからの映像も相手方に送ることができる。

（２）発信先を短縮ダイヤルとして事前登録することができ、電話番号を入力しなくても、リストから発信先を指定するだけで発信できる。

（３）テレビに映し出される映像は相手方だけでなく、自分側の端末で撮影した映像も映し出すことができ、いずれか一方を親画面、他方を子画面として画面の大小に差を設けることができる。

（４）アーム部を倒して本体に収納することで自分が撮影されないようにできる。

（５）テレビカメラで撮影した静止画を送信できる。
「ギンガネット電話 ＷＡＲＰＧＡＴＥ取扱説明書」［平成１７年２月１６日検索］、インターネットＵＲＬ＜http://www.ginganet.co.jp/personal/torisetsu.htm#50x＞

上記非特許文献１の技術は、上記のような構成を有するが、以下のような問題がある。

（１）アーム部を倒さずに着信に応答すると自分の映像が送られてしまう。このため、アーム部を倒した後に着信に応答するという手順を踏まなければならず、面倒である。

（２）接続する相手方の電話番号をユーザがいちいち入力しなければならない。

（３）自分を子画面で映し出すと、実際に目で見た感覚（正像）となるが、ユーザによっては、バックミラー同様左右反転した映像（鏡像）で見たい場合がある。

（４）静止画では、相手方不在時のメッセージ等を残すことができない。

本発明はこのような問題点に鑑みてなされたもので、従来の通信端末における上述の諸問題を解決し、映像ないし音声によるコミュニケーションをさらに促進できるようにすることを目的とする。

上述の課題を解決するため、本願発明に係る通信端末は、ネットワークを介して所望の相手方の通信端末と接続する通信部と、被写体を継続的に撮像して動画像を得る撮像部と、前記撮像部から得られた動画像を前記相手方の通信端末にリアルタイムで送信する送信部と、前記相手方の通信端末から動画像をリアルタイムで受信する受信部と、前記撮像部から得られた動画像及び／又は前記受信部の受信した動画像をリアルタイムで表示する表示部とを備えた通信端末であって、前記表示部は前記撮像部から得られた動画像の正像と前記正像の左右を反転した鏡像とを切り替え自在に表示する。

こうすれば、自分の動画像が正しく撮影されているかを、鏡を見るように容易に視認でき、特に聴覚障害者の手話コミュニケーションの際、自分の手話が本当に正しく相手方に伝わっているかを確認するのに有用である。

前記表示部は前記正像又は前記鏡像の画質を落として表示してもよい。

相対的に視認の重要性の低い自分の動画像の画質を落として通信端末の処理負荷を低減できる。

前記表示部は、撮像部から得られた動画像又は前記受信部の受信した動画像のいずれか一方を切り替え表示してもよいし、前記正像又は前記鏡像のいずれか一方と前記受信部の受信した動画像とを親子画面で表示してもよい。

また、本発明に係る通信端末は、ネットワークを介して所望の相手方の通信端末と接続する通信部と、被写体を継続的に撮像して動画像を得る撮像部と、前記撮像部から得られた動画像を前記相手方の通信端末にリアルタイムで送信する送信部と、前記相手方の通信端末から動画像をリアルタイムで受信する受信部と、前記撮像部から得られた動画像及び／又は前記受信部の受信した動画像をリアルタイムで表示する表示部とを備えた通信端末であって、前記撮像部から得られた動画像の送信を保留する操作入力を受け付ける操作部を備え、前記送信部は前記操作入力に応じて前記撮像部から得られた動画像の送信を保留する。

通信が確立しても、身だしなみが整っていないなどの場合に直ちに自画像を相手方に送信すると不都合なことがある。このため、ユーザ操作に応じて自画像の送信を保留できると便利である。

前記操作部は前記動画像の送信の保留を解除する操作入力を受け付け、前記送信部は前記操作入力に応じて前記動画像の送信の保留を解除してもよい。

また、本発明に係る通信端末は、ネットワークを介して所望の相手方の通信端末と接続する通信部と、被写体を継続的に撮像して動画像を得る撮像部と、音声を集音する集音部と、前記撮像部から得られた動画像及び前記集音部の集音した音声を前記相手方の通信端末にリアルタイムで送信する送信部と、前記相手方の通信端末から動画像及び音声をリアルタイムで受信する受信部と、前記撮像部から得られた動画像及び／又は前記受信部の受信した動画像をリアルタイムで表示する表示部と、前記受信部の受信した音声をリアルタイムで出力する音声出力部とを備えた通信端末であって、前記撮像部から得られた動画像と前記集音部の集音した音声とを再生可能な留守録ファイルを記録する記録部を備え、前記送信部は前記留守録ファイルを前記相手方の通信端末に送信する。

接続要求先のユーザが不在の場合でも、映像と音声を再生する留守録ファイルを送信することで、必要なメッセージを伝えることができる。

前記受信部は前記相手方の通信端末から留守録モードの設定通知を受信し、前記送信部は前記留守録モードの設定通知の受信に応じて前記留守録ファイルを前記相手方の通信端末に送信する。

接続要求先のユーザが不在の場合であることを、留守録モードの設定通知によって検知し、これに応じて留守録ファイルを送信することが好ましい。

また、本発明に係る通信端末は、ネットワークを介して所望の相手方の通信端末と接続する通信部と、被写体を継続的に撮像して動画像を得る撮像部と、音声を集音する集音部と、前記撮像部から得られた動画像及び前記集音部の集音した音声を前記相手方の通信端末にリアルタイムで送信する送信部と、前記相手方の通信端末から動画像及び音声をリアルタイムで受信する受信部と、前記撮像部から得られた動画像及び／又は前記受信部の受信した動画像をリアルタイムで表示する表示部と、前記受信部の受信した音声をリアルタイムで出力する音声出力部とを備えた通信端末であって、前記相手方の通信端末からの接続要求に対して自動応答する留守録モードを設定する留守録モード設定部を備え、前記通信部は前記留守録モードの設定に応じて前記相手方の通信端末からの接続要求に自動応答して通信を確立する通信端末。

接続要求先のユーザが不在でも、留守録モードの設定に応じて自動的に通信を確立できる。

この通信端末は、前記受信部は前記留守録モードの設定に応じて前記相手方の通信端末から送信された動画像と音声とを再生可能な留守録ファイルを受信し、前記受信した留守録ファイルを保存する。

そして、前記表示部は前記留守録ファイルに従って動画像を表示し、前記音声出力部は前記留守録ファイルに従って音声を出力する。

留守録モード設定時に相手方から送信された留守録ファイルを保存しておき、後から好きな時に再生して相手方のメッセージを確認することができる。

本発明に係る通信システムは、通信端末のユーザのメールアドレスを含む情報及び前記通信端末の接続に関する情報を含むユーザプロファイル情報を記憶するデータベースと、前記ユーザプロファイル情報に従って接続要求元の通信端末と接続要求先の通信端末との接続の確立を仲介する仲介サーバと、前記ユーザプロファイル情報に従って前記接続要求先の通信端末のユーザのメールアドレスに電子メールを送信するメールサーバと、を備える。

接続要求先の通信端末のユーザのメールアドレスに電子メールを送信することで、そのメールアドレスを有する各種情報端末（携帯電話機やパソコンなど）で接続要求があったことを確認できる。

本発明に係る通信システムは、接続要求元の通信端末と前記接続要求元の通信端末から指定された接続要求先の通信端末とからなる１対の通信端末と、通信端末のユーザに関する情報及び前記通信端末の接続に関する情報を含むユーザプロファイル情報を記憶するデータベースを備えた管理サーバと、前記ユーザプロファイル情報に従って前記接続要求元の通信端末と前記接続要求先の通信端末との接続の確立を仲介する仲介サーバと、前記ユーザプロファイル情報の一部又は全部を前記通信端末にダウンロードするファイルサーバと、を備え、前記管理サーバは前記接続要求元の通信端末と接続の確立した接続要求先の通信端末に関するユーザプロファイル情報を前記接続要求元の通信端末にダウンロードすることを前記ファイルサーバに許可する。

さらに、前記接続要求元の通信端末は前記ダウンロードしたユーザプロファイル情報に従って接続要求先の通信端末を指定する。

一旦接続が確立した相手方を接続要求先に指定するのにユーザプロファイル情報（相手方の名前、アドレスなどを含む）を用いれば、接続要求先の指定に必要な情報を逐一入力する必要がなくなる。

本発明に係る通信システムは、接続要求元の通信端末と前記接続要求元の通信端末から指定された接続要求先の通信端末とがネットワークを介して接続された通信システムであって、前記接続要求元の通信端末は前記接続要求先の通信端末として指定可能な複数の通信端末を各サービス提供者に対応して分類した情報を記憶しており、前記接続要求元の通信端末は所望のサービス提供者の指定を受け付け、前記指定されたサービス提供者に対応して分類された複数の通信端末のいずれか１つを接続要求先の通信端末に指定する。

ある一カ所のサービス提供者が複数の通信端末を設置しているが、どの通信端末に接続しても同じサービスを受けることができる場合、そのサービス提供者が設置した通信端末を接続要求先の通信端末として一括指定できることが好ましい。このため、本発明に係る通信システムでは、接続要求元の通信端末から指定されたサービス提供者に対応して分類された複数の通信端末のいずれか１つを接続要求先の通信端末に指定する。

上述したように、本発明の通信端末は、従来の通信端末に存する課題を解決し、映像ないし音声によるコミュニケーションをさらに促進できる。

以下、添付した図面を参照し本発明の好ましい実施の形態を説明する。

＜第１実施形態＞
図１は本発明の好ましい実施形態に係る映像音声通信システムのブロック図である。このシステムは、同等の構成を有する通信端末１ａと通信端末１ｂ（まとめて通信端末１と表すこともある）とがインターネットなどのネットワーク１０を介して接続されており、互いに映像と音声を通信する。

通信端末１ａと通信端末１ｂとの接続経路は、ＳＩＰ（Session Initiation Protocol）サーバで構成された交換台サーバ６がネットワークアドレス（グローバルＩＰアドレスなど）、ポート、識別子（ＭＡＣアドレスなど）を用いて指定する。名称や電子メールアドレスなど通信端末１のユーザに関する情報や通信端末１の接続に関する情報（アカウント情報）はアカウントデータベース（ＤＢ）８ａ内に格納されており、アカウント管理サーバ８によって管理されている。アカウント情報はＷｅｂサーバ７を介してアカウント管理サーバ８に接続した通信端末１から更新・変更・削除することもできる。Ｗｅｂサーバ７は、メールを送信するメールサーバ、ファイルのダウンロードを行うファイルサーバも兼ねている。

通信端末１ａは、マイク３ａ、カメラ４ａ、スピーカ２ａ、モニタ５ａと接続され、カメラ４ａで撮影された映像とマイク３ａで集音された音声がネットワーク１０を介して通信端末１ｂに送信される。通信端末１ｂも、マイク３ｂ、カメラ４ｂ、スピーカ２ｂ、モニタ５ｂと接続され、同様に映像と音声とを通信端末１ａに送信できる。

通信端末１ｂが受信した映像と音声はモニタ５ｂ、スピーカ２ｂに出力され、通信端末１ａが受信した映像と音声はそれぞれモニタ５ａ、スピーカ２ａに出力される。なお、マイク３とスピーカ２はヘッドセットとして一体構成してもよい。

図２は通信端末１の詳細構成を示すブロック図である。

通信端末１の本体外面には、音声入力端子３１、映像入力端子３２、音声出力端子３３、映像出力端子３４が設けられており、それぞれマイク３、カメラ４、スピーカ２、モニタ５と接続される。

音声入力端子３１に接続されたマイク３から音声入力部１４に入力された音声信号と、映像入力端子３２に接続されたカメラ４から映像入力部１５に入力された映像信号は、ＭＰＥＧ４エンコーダなどの高画質対応符号器で構成された符号化部１１ａによってデジタル圧縮符号化されてストリームデータ（リアルタイム配信可能な形式のコンテンツデータ）に変換される。

ストリームデータはパケット化装置２５によってパケット化され、一旦送信バッファ２６に記憶される。送信バッファ２６は、通信インターフェース１３を介し、パケットを一定のタイミングでネットワーク１０に送出する。送信バッファ２６は、例えば、３０フレーム毎秒の動画像が取り込まれると、１パケットに１フレームのデータを記憶して送出する能力を有する。

なお、帯域推定部１１ｃは、ネットワーク１０のジッタ（ゆらぎ）などから伝送帯域を推定し、推定した伝送帯域に応じて符号化部１１ａの符号化ビットレートを変化させる。即ち、伝送帯域が低下していくことを推定すれば伝送ビットレートを低下させ、伝送帯域が増加していくことを推定すれば伝送ビットレートを増加させる。こうすることで、伝送帯域を超えるパケット送出によりパケットロスが発生するのを防ぐことができ、伝送帯域の変化に応じたスムースなストリームデータ送信を行える。

一方、通信インターフェース１３を介して他の通信端末１から受信したストリームデータのパケットは一旦受信バッファ２１に記憶されたあと、一定のタイミングでストリーム化装置２２に出力される。ストリーム化装置２２は、パケットデータをコンテンツデータに再構成する。コンテンツデータはＭＰＥＧ４デコーダなどで構成された復号化部１１ｂによって復号化される。コンテンツデータに含まれる映像データは映像出力部１７でＮＴＳＣ信号に変換されてモニタ５に出力される。コンテンツデータに含まれる音声データは音声出力部１６でアナログ音声信号に変換されてスピーカ２に出力される。

通信インターフェース１３には、ネットワーク端子６１が設けられており、この端子が各種ケーブルによりブロードバンドルータやＡＤＳＬモデムなどと接続されることでネットワーク１０と接続される。

なお、通信インターフェース１３がファイアウォールやＮＡＴ機能（Network Address Translation、グローバルＩＰアドレスとプライベートＩＰアドレスの相互変換を行う）を有するルータと接続されると、ＳＩＰによる通信端末１同士の直接接続ができない問題（いわゆるＮＡＴ越え）が生じることが当業者で認識されている。STUN(Simple Traversal of UDP through NATs)サーバ３０やUPnP(Universal Plug and Play) サーバなどのＮＡＴ越え機能に対応した中継サーバを設けて通信端末１同士の接続を中継してもよいが、映像音声送受信の遅延を生じさせないためには、中継サーバを介さない各種のＮＡＴ越え機能を通信端末１に実装することが好ましい（例えば、特願２００３−３５２９５０を参照）。

制御部１１は、各種のボタンやキーから構成される操作部１８からの操作入力に基づいて通信端末１内の各回路を統括制御する。制御部１１は、ＣＰＵなどの演算装置で構成され、符号化部１１ａ、復号化部１１ｂ、帯域推定部１１ｃ、表示制御部１１ｄ、留守録管理部１１ｅの各機能を記憶媒体２３に記憶されたプログラムによって実現する。

表示制御部１１ｄはモニタ５への映像信号出力を制御し、以下簡略のため、モニタ５へ出力される映像信号は全て表示制御部１１ｄによって制御されるものとする。ただし、通信端末１からモニタ５へ出力される映像信号を、通常のテレビ放送信号に切り替えてもよい。

表示制御部１１ｄは、カメラ４から入力された画像あるいはネットワークを介して受信したストリーミング映像を左右反転させた鏡像を生成して表示させることもできる。

各通信端末１を一意に識別するアドレス（必ずしもグローバルＩＰアドレスとは同義ではない）、アカウント管理サーバ８が通信端末１を認証するのに必要なパスワード、通信端末１の起動プログラムは、電源オフ状態でもデータを保持可能なＲＯＭ３５に記憶されている。ＲＯＭ３５はフラッシュＲＯＭなどで構成され、記憶されたプログラムは、アカウント管理サーバ８から提供されるアップデートプログラムにより最新のバージョンに更新できる。

制御部１１の各種処理に必要なデータは、一時的にデータを記憶するＲＡＭで構成されたメインメモリ３６に記憶される。

記憶媒体２３は、コンパクトフラッシュカードのようなリムーバブルメディアであり、主に映像・音声データの読み取り／書き込みに用いられる。記憶媒体２３は、制御部１１のアプリケーションプログラムも記憶させることができ、アカウント管理サーバ８から提供されるアップデートプログラムにより最新のバージョンに更新できる。

また、通信端末１にはリモコン受光回路６３が設けられており、このリモコン受光回路６３にはリモコン受光部６４が接続されている。リモコン受光回路６３は、リモコン６０からリモコン受光部６４に入射した赤外線信号をデジタル信号に変換して制御部１１へ出力する。制御部１１は、リモコン受光回路６３から入力したデジタル赤外線信号に応じて各種動作を制御する。

発光制御回路２４は、制御部１１の制御によって、通信端末１の外面に設けられたＬＥＤ６５の発光・点滅・点灯の制御を行う。発光制御回路２４にはコネクタ６６を介してフラッシュランプ６７を接続することもでき、発光制御回路２４は、フラッシュランプ６７の発光・点滅・点灯の制御も行う。ＲＴＣ２０は内蔵時計である。

図３は通信端末１の外観を示す正面斜視図である。通信端末１は倒立型の筐体を備えたセットトップボックス（ＳＴＢ）であり、筐体前面には、リモコン受光部６４、電源スイッチ等から構成される操作部１８、「着信」ランプ、「留守録」ランプなどからなる複数のＬＥＤ６５、映像入力端子３２、映像出力端子３３等が設けられている。なお、図示しないが、筐体後面には、ネットワーク端子６１、音声入力端子３１、音声出力端子３３等が設けられている。

次に、図４のフローチャートに沿って通信端末１の動作を説明する。

まず、通信端末１の電源スイッチがオンにされると、通信端末１はＲＯＭの起動プログラムをメインメモリ３６に展開して起動する。起動が完了すると、電源オン時にカメラ４で撮影した画像（自画像）をモニタ５に表示する（Ｓ１）。ユーザは、自画像を見ることで通信端末１が正常に起動したことを容易に確認できる。

この状態で操作部１８またはリモコン６０のいずれかのキー・スイッチが操作されると、制御部１１は、通信Ｉ／Ｆ１３がネットワーク１０と接続されているか否かを判定し、接続されていれば、メニュー画面をモニタ５に表示する（Ｓ２）。

図５はメニュー画面の一例である。メニュー画面７０には、「テレビ電話をかける」アイコン７０ａ、「留守録」アイコン７０ｂ、「各種サービス」アイコン７０ｃ、「アドレス帳」アイコン７０ｄ、「着信履歴」アイコン７０ｅ、「発信履歴」アイコン７０ｆ、「設定」アイコン７０ｇが設けられており、リモコン６０に設けられた十字ボタンの上下キーを押下することで所望のアイコンを選択できる。アイコンの選択後、リモコン６０に設けられた決定キーが押下されると、制御部１１は、選択されたアイコンに応じた動作を開始する。

「テレビ電話をかける」アイコン７０ａが選択された場合は「テレビ電話をかける」サブルーチン（Ｓ３）に移行する。「留守録」アイコン７０ｂが選択された場合は「留守録」サブルーチン（Ｓ４）に移行する。「各種サービス」アイコン７０ｃが選択された場合は「各種サービス」サブルーチン（Ｓ５）に移行する。「アドレス帳」アイコン７０ｄが選択された場合は「アドレス帳」サブルーチン（Ｓ６）に移行する。「着信履歴」アイコン７０ｅが選択された場合は「着信履歴」サブルーチン（Ｓ７）に移行する。「発信履歴」アイコン７０ｆが選択された場合は「発信履歴」サブルーチン（Ｓ８）に移行する。「設定」アイコン７０ｇが選択された場合は「設定」サブルーチン（Ｓ９）に移行する。

各サブルーチンにおける処理の概要を説明すると、「テレビ電話をかける」サブルーチン（Ｓ３）では指定された相手方の通信端末１との通信を確立する。「留守録」サブルーチン（Ｓ４）では、リモコン６０や操作部１８の操作によって留守録モードの設定／解除等をすることができる。「各種サービス」サブルーチン（Ｓ５）では、Ｗｅｂサーバ７への各種コンテンツの配信要求とその受信を行うことができる。「アドレス帳」サブルーチン（Ｓ６）では、アドレス帳情報の閲覧・更新・追加・修正と、アドレス帳情報に登録された相手ごとの着信許可・着信拒否の設定を行える。「着信履歴」サブルーチン（Ｓ７）では、着信履歴の閲覧及び着信履歴に基づく発信先の選択を行える。「発信履歴」サブルーチン（Ｓ８）では、発信履歴の閲覧及び発信履歴に基づく発信先の選択を行える。「設定」サブルーチン（Ｓ９）では、Ｗｅｂサーバ７に対する各種コンテンツやアップデート用プログラムの配信要求とその受信を行うことができる。

ここで、図６のフローチャートを参照し、「テレビ電話をかける」サブルーチンの動作を説明する。

メニュー画面で「テレビ電話をかける」アイコン７０ａが選択されると、「テレビ電話をかける」画面７１をモニタ５に表示する（Ｓ１０）。

図７は「テレビ電話をかける」画面７１の表示例を示す。この画面には、「アドレスを入力」アイコン７１ａ、「アドレス帳から」アイコン７１ｂ、「着信履歴から」アイコン７１ｃ、「発信履歴から」アイコン７１ｄ、「戻る」アイコン７１ｅが設けられている。この画面でもリモコン６０に設けられた十字ボタンの上下キーを押下することで所望のアイコンを選択できる。アイコンの選択後、リモコン６０に設けられた決定キーが押下されると、制御部１１は、選択されたアイコンに応じた動作を開始する。

「アドレスを入力」アイコン７１ａが選択されると、相手方となる通信端末１のアドレスを直接入力する画面が表示される（Ｓ１１、図８参照）。この画面でリモコン６０に設けられた十字キーを上下してアドレスを構成する各桁の入力ボックスに数字を入力し、決定キーを押下することで、相手方となる通信端末１のアドレスを確定する。アドレスが確定すると、制御部１１は、入力されたアドレスの通信端末１と接続する動作を開始する。

「アドレス帳から」アイコン７１ｂが選択されると、記憶媒体２３に記憶されたアドレス帳情報に従い、相手方となる各通信端末１の名称とアドレスを含むアドレス帳情報が一覧表示される（Ｓ１２、図９参照）。

図９に示すように、アドレス帳情報は通信端末１の名称やアドレスなど、相手方となる通信端末１の接続に関する情報を含んでおり、ＤＢ８ａにアカウント情報の一部として格納されている。アカウント管理サーバ８は、通信端末１の要求に応じてアドレス帳情報のダウンロードを許可し、Ｗｅｂサーバ７を介してアドレス帳情報をダウンロードさせる。ただし、どの通信端末１に関するアドレス帳情報も無制限にダウンロードするのではなく、相手方の通信端末１から接続要求（着信）が許可された場合、着信の許可された通信端末１に関するアドレス帳情報のダウンロードを許可する。アドレス帳情報には携帯電話機９の電子メールアドレスも含まれており、各通信端末１のユーザが保有する携帯電話機９の電子メールアドレスと通信端末１のアドレスとを一対一に対応させてアドレス帳情報に登録することもできる。

リモコン６０に設けられた十字ボタンの上下キーを押下すると、アドレス帳情報の一覧から所望の名称及びアドレスを示したアイコンを選択できる。アイコンの選択後、リモコン６０に設けられた決定キーが押下されると、制御部１１は、選択されたアイコンの示す相手方の通信端末１と接続する動作を開始する。

「着信履歴から」アイコン７１ｃが選択されると、過去に呼設定要求の発信元となった各通信端末１の名称及びアドレスが着信履歴として一覧表示される（Ｓ１３、図１０参照）。着信履歴は記憶媒体２３に記憶されている。この画面でも、所望の名称及びアドレスを示したアイコンを選択できる。アイコンの選択後、リモコン６０に設けられた決定キーが押下されると、制御部１１は、選択されたアイコンの示す相手方の通信端末１と接続する動作を開始する。

「発信履歴から」アイコン７１ｄが選択されると、過去に呼設定要求の発信先として指定した各通信端末１の名称及びアドレスを発信履歴として一覧表示する（Ｓ１４、図１１参照）。発信履歴は記憶媒体２３に記憶されている。この画面でも、所望の名称及びアドレスを示したアイコンを選択できる。アイコンの選択後、リモコン６０に設けられた決定キーが押下されると、制御部１１は、選択されたアイコンの示す相手方の通信端末１と接続する動作を開始する。

上記のＳ１１〜Ｓ１４で通信の相手方となる通信端末１のアドレスが指定されると、相手方端末との接続確立動作を開始する（Ｓ１５）。

このシステムでは、発信元の通信端末１ａと着信先の通信端末１ｂ間のセッション確立要求を交換台サーバ６が仲介することで接続（セッション）が確立する（プロキシ（Proxy）モード）ものとして説明する。ただし、セッションを開始させるには、ＳＩＰで採用されているリダイレクト（Redirect）モードとプロキシ（Proxy）モードのいずれであってもよい。

図１２は、プロキシモードによるセッション確立の流れの概略を示している。まず、発信側の通信端末１ａは、交換台サーバ６に対して接続先となる通信端末１ｂのアドレスを通知して呼設定要求を送信する。交換台サーバ６はアカウント情報に従って通信端末１ａが真正であるか否かを特定し、真正であれば呼設定要求を送信する。通信端末１ｂは呼設定要求の受信（着信）後、呼の受け付け応答を送信する。この応答は、交換台サーバ６を経由して通信端末１ａに送信される。通信端末１ａは呼の受け付け応答受信後、通信端末１ｂにACK要求を送信することにより応答の受信を確認する。ACK要求は交換台サーバ６によって転送されるか、あるいは、通信端末１ｂに直接送信される。以上で通信端末１ａと通信端末１ｂの間の通信が可能になる。

通信端末１ａは、呼設定要求を送信してから呼の受け付け応答を受信するまでの間、モニタ５ａに「呼び出し中です」などといったメッセージを表示するとともに、一般電話の呼び出し音に相当する音声をスピーカ２から出力する。

呼設定要求を受信した通信端末１ｂは、リモコン６０の決定ボタンの押下などで着信を許可する指示が操作部１８から入力されるまでの間、ＬＥＤ６５の「着信」ランプを点滅させるとともに、一般電話の呼び出し音に相当する音声をスピーカ２から出力する。ＬＥＤ６５の点滅の代わりに、あるいはＬＥＤ６５の点滅とともに、別途通信端末１ｂに接続されたフラッシュランプ６７を点滅させてもよい。こうすると、呼び出し音の聞こえないような騒音の発生する環境や聴覚障害者にとっても着信があったことが容易に分かる。

通信端末１ａは、通信端末１ｂの電源が入っていない、着信を許可する指示が入力されず所定時間内に呼の受け付け応答を受信しない、あるいは通信端末１ｂにおいて通信端末１ａに着信拒否を設定していた場合、「接続できませんでした」などといったメッセージをモニタ５ａに表示する。また、通信端末１ｂが既に別の通信端末１と通信中である場合は、通信端末１ａは、「使用中で接続できませんでした」などといったメッセージをモニタ５ａに表示する。さらに、通信端末１ｂが留守録モードに設定されている場合、映像と音声を所定時間ファイルに記録し、このファイルを通信端末１ｂに送信する。留守録モード設定時の動作は後述する。

一方、着信拒否が設定されておらず、かつ着信を許可する指示が操作部１８またはリモコン６０から入力されると、通信端末１ｂは、呼の受け付け応答を通信端末１ａに送信して通信が確立する。

図１３は、呼設定要求を受信した通信端末１ｂの動作を詳細に示す。

まず、通信端末１ｂは、呼設定要求の送信元である通信端末１ａのアドレスをモニタ５に表示する（Ｓ５０）。通信端末１ａに関する情報がアドレス帳情報に登録されている場合は、該アドレスに対応する名称も合わせて表示する。

次に、接続を許可するか否か、即ち呼の受け付け応答を通信端末１ａに送信するか否かの指示を操作部１８またはリモコン６０の操作で受け付ける（Ｓ５１）。接続を許可する指示が受け付けられた場合は呼の受け付け応答を通信端末１ａに送信してＳ５２に移行する。接続を許可する指示が受け付けられなかった場合はＳ６０に移行して留守録モードが設定されているか否かを判断し、留守録モードが設定されていれば、留守録保存（Ｓ６１）を開始する。留守録保存の詳細は後述する。

通信が確立すると、互いに映像と音声のストリームデータを送受信しあうことで、リアルタイムの映像再生を伴った音声会話が可能となるが、通信確立後、直ちに自画像を相手方に送信すると、身だしなみが整っていない場合などは不都合である。このため、通信が確立すると、自画像をモニタ５に表示し（Ｓ５２）、自分の外見を確認できるようにする。

操作部１８またはリモコン６０の操作により、自画像の送信保留が指定されると（Ｓ５３で“Ｙ”）、符号化部１１ａは、カメラ４から入力された映像データの符号化を停止し、通信端末１ａへの自画像送信を保留する（Ｓ５４）。

一方、操作部１８またはリモコン６０の操作により、自画像の送信保留の解除が指定されると（Ｓ５５で“Ｙ”）、符号化部１１ａは、カメラ４から入力された映像データの符号化を行うことで通信端末１ａへの自画像送信の保留を解除する（Ｓ５６）。この際、「相手に映像が送られています」などといったメッセージも合わせて表示してもよい。

一方、通信端末１ａからの映像ストリームデータは、上述の送信保留がされない限りリアルタイムに送られてくるから、これを単独で、あるいは自画像とともにモニタ５に表示する（Ｓ５７の表示サブルーチン）。音声はスピーカ２で再生する。表示サブルーチンについては後述する。Ｓ５３〜Ｓ５７の動作は、通信が切断される（Ｓ５８で“Ｙ”）まで繰り返される。

なお、デフォルトで自画像のストリームデータを送信する、あるいは送信しない設定を「設定」サブルーチンでできるようにしてもよい。

表示サブルーチンでは次のような動作を行う。表示制御部１１ｄは、操作部１８またはリモコン６０の操作に応じ、カメラ４で撮影した自画像ＳＩとストリーミング映像ＰＩとの表示切り替えを行い、また、自画像ＳＩとストリーミング映像ＰＩとを親子画面表示（ピクチャインピクチャ表示）する。さらに、表示制御部１１ｄは、操作部１８またはリモコン６０の操作に応じ、自画像ＳＩあるいはストリーミング映像ＰＩの左右を反転した鏡像と正像との切り替えも行う。

図１４に示すように、表示制御部１１ｄは、カメラ４で撮影した自画像ＳＩを表示するが（Ｓ５２）、操作部１８またはリモコン６０の操作に応じ、自画像ＳＩをストリーミング映像ＰＩに切り替える。図１５はストリーミング映像ＰＩの表示例である。

また、図１６に示すように、表示制御部１１ｄは、操作部１８またはリモコン６０の操作に応じ、カメラ４で撮影した自画像ＳＩを、相手方の通信端末１から送られてきたストリーミング映像ＰＩとともにモニタ５に親子画面表示する。自画像ＳＩまたはストリーミング映像ＰＩのいずれを親画面に表示するかも操作部１８またはリモコン６０の操作で選択できる。図１６では、ストリーミング映像ＰＩが親画面、自画像ＳＩが子画面に表示されているが、この関係を逆転させてもよい。

さらに、表示制御部１１ｄは、リモコン６０などの操作に応じ、自画像ＳＩあるいはストリーミング映像ＰＩの左右を反転した鏡像と正像との表示切り替えをする。

図１７は正像の自画像ＳＩの左右が反転された鏡像ＳＩ’がストリーミング映像ＰＩとともに親子画面表示されている状態を示している。こうすると、特に、自画像ＳＩが正しく撮影されているかを、鏡を見るように容易に視認でき、特に聴覚障害者の手話コミュニケーションの際、自分の手話が本当に正しく相手方に伝わっているかを確認するのに有用である。必要であればストリーミング映像ＰＩの左右を反転してもよい。自画像ＳＩや鏡像ＳＩ’を大まかに確認できれば足りる場合は、自画像ＳＩの画質をストリーミング映像ＰＩに比して低画質に落としてもよく、こうすることで制御部１１の処理負担を軽減できる。

次に、留守録保存サブルーチンの詳細を説明する。留守録保存サブルーチンでは、相手方の通信端末１から呼設定要求を受信すると、これに応じて相手方から受信した所定時間のストリームデータを記憶媒体２３に記憶する動作を行う。

図１８は通信端末１ｂが呼設定要求を受信したときに留守録モードが設定されている場合の通信端末１ａ、１ｂの動作の流れを示すフローチャートである。

通信端末１ｂは、留守録モードが設定されていると、自動的に呼の受け付け応答を通信端末１ａに送信して通信を確立させるとともに、留守録モードが設定されている旨を通信端末１ｂに通知する（Ｓ７０）。留守録モードが設定されていれば、着信を許可する指示なしに自動的に呼の受け付け応答を返信する。ただし、通信端末１ａの着信拒否が設定されている場合は通信を確立しない。

通信端末１ａは、通信端末１ｂに留守録モードが設定されている通知を受信すると、相手方に送るべき映像と音声を所定時間（例えば３０秒間）記録するように表示メッセージや音声で促す。リモコン６０などの操作で留守録メッセージの記録開始が指示されると、留守録管理部１１ｅは、所定時間カメラ４とマイク３からから入力される映像信号および／または音声信号を、音声と映像とを同期して再生可能なファイル形式（例えばMP4ファイル）に圧縮保存する（Ｓ７１）。このファイルを留守録ファイルという。

通信端末１ａは、留守録ファイルの保存が終了すると、留守録ファイルを通信端末１ｂに送信する（Ｓ７２）。

通信端末１ｂは、留守録ファイルを受信すると、これを記憶媒体２３に保存する（Ｓ７３）。通信端末１ｂは、留守録ファイルの保存が正常に終了すると、ＬＥＤ６５の「留守録」ランプを点滅させ、従来の電話機と同様留守録があることを通知する。その後、通信端末１ａとの接続を切断する（Ｓ７４）。

なお、上述のＳ７０、Ｓ７３、Ｓ７４が留守録保存サブルーチンに相当する。

記憶媒体２３に保存された留守録ファイルの再生／消去は、「留守録」サブルーチン（Ｓ４）で行うことができる。留守録ファイルが複数保存されていれば一覧表示してもよい。全ての留守録ファイルの再生が終了すれば、ＬＥＤ６５の「留守録」ランプの点滅を終了させる。

また、留守録ファイルは、映像や音声データ以外にも、静止画データ、テキストデータ、ｈｔｍｌデータなどの各種データを含んでいてもよい。

以上、本システムにおける通信端末１間での通信の概要を説明したが、本システムは以下の動作も行う。

通信端末１ａから通信端末１ｂに間接（プロキシモード）あるいは直接（リダイレクトモード）に呼設定要求が送信されると、Ｗｅｂサーバ７は、着信先の通信端末１ｂのアドレスに対応する携帯電話機９のメールアドレスに、着信があったことを示す電子メールを送出する。

図１９はこの動作の流れを示すフローチャートである。

まず、交換台サーバ６が通信端末１ａから呼設定要求を受信すると（＃１）、交換台サーバ６は、呼設定要求の受信相手となる通信端末１ｂのアドレスをＷｅｂサーバ７に通知する（＃２）。Ｗｅｂサーバ７は、通信端末１ｂのアドレスを受信すると、このアドレスに対応する電子メールアドレスを返送するようアカウント管理サーバ８に要求する（＃３）。アカウント管理サーバ８は、ＤＢ８ａを参照し、Ｗｅｂサーバ７から通知されたアドレスに対応する電子メールアドレスを検索・抽出し、この電子メールアドレスをＷｅｂサーバ７に通知する（＃４）。Ｗｅｂサーバ７は、電子メールアドレスの通知を受信すると、この電子メールアドレスに対して、「着信がありました」などといったメッセージを含む電子メールを送信する。

こうすると、通信端末１ｂに着信があることが携帯電話機９でも確認でき、通信端末１ｂの目前にユーザがいなくても呼設定要求を知らせることができる。また、普段から携帯電話機９を使用する機会の多い聴覚障害者にとっては、携帯電話機９のバイブレーションモードで着信があるのを認識でき便利である。

＜第２実施形態＞
第１実施形態では、通信端末１ａが呼設定要求を送信する相手方は、個人が保有する１つの通信端末１ｂを主に想定している。しかし、図２０に示すように、ある特定のサービスを提供する相手方（各種物品の販売者、手話通訳など各種サービスの提供者、消防・警察などの緊急通報の受信先など。以下サービス提供者という）に複数の通信端末１ｂ−１、１ｂ−２・・が設置されている場合、通信端末１ａのユーザが特定のサービス提供者に属する通信端末１ｂ−１、１ｂ−２・・のアドレスを１つずつ特定して呼設定要求を順次送信していくのは非常に煩雑であり、緊急時使用や複雑な操作に不慣れな者の使用には耐えない。このため、従来のコールハンティングと同様の仕組みが必要となる。

このような問題に対処するため、ＤＢ８ａのアドレス帳情報では、各サービス提供者に対応する複数の通信端末１ｂのアドレスをサービス提供者ごとに分類しておき、通信端末１ａは、ダウンロードしたアドレス帳情報のサービス提供者の分類に従って接続相手方となる複数の通信端末１ｂ−１、１ｂ−２・・のアドレスを一括して特定する。

具体的には、図２１の「各種サービス」サブルーチンにおいて、アドレス帳情報で予め分類されたサービス提供者の中から所望のサービス提供者をアイコンで選択させ（Ｓ８１）、選択されたサービス提供者に対応して分類された複数の通信端末１ｂ−１、１ｂ−２・・のアドレスをアドレス帳から一括して特定する（Ｓ８２）。

この後、一括特定されたアドレスに呼設定要求を送信するのであるが（Ｓ８３）、その方式は様々な形態を取りうる。

例えば、あるサービス提供者に対応して分類されたアドレスの中に代表アドレスを設定しておき、設定された代表アドレスに呼設定要求を送信する（シーケンシャル方式）ようにしてもよい。

あるいは、一括特定されたアドレスに順次呼設定要求を送信する（ラウンドロビン方式）ようにしてもよい。

あるいは、一括特定されたアドレスを有する通信端末１ｂ−１、１ｂ−２・・の内、前回の呼設定要求受信から最も長い時間が経過している（着信待ちが長い）通信端末１ｂを特定して順次呼設定要求を送信する（ユニフォーム方式）ようにしてもよい。

あるいは、一括特定されたアドレスに全て同時に呼設定要求を送信する（同報方式）ようにしてもよい。

いずれの方式を採用しても、選択した所望のサービス提供者が設置した通信端末１ｂ−１、１ｂ−２・・のいずれか１つには着信できるのであるから、通信端末１ｂ−１、１ｂ−２・・のアドレスを１つずつ特定して呼設定要求を順次送信していく操作は必要なく、複数の相手方からの着信を複数の通信端末１で対応するコールセンターのような施設では特に有用である。

第１実施形態に係る映像音声通信システムのブロック図 通信端末のブロック図 通信端末の正面斜視図 通信端末の動作の概要を示すフローチャート メニュー画面の一例を示す図 「テレビ電話をかける」サブルーチンの動作を示すフローチャート 「テレビ電話をかける」画面の一例を示す図 「アドレス入力」画面の一例を示す図 「アドレス帳」画面の一例を示す図 「着信履歴」画面の一例を示す図 「発信履歴」画面の一例を示す図 通信確立動作を示すフローチャート 着信先の通信端末の動作の詳細を示すフローチャート 自画像の一例を示す図 ストリーミング映像の一例を示す図 親子画面表示の一例を示す図 親子画面表示（鏡像）の一例を示す図 留守録保存動作を示すフローチャート 電子メールによる着信通知動作を示すフローチャート 第２実施形態に係る映像音声通信システムのブロック図 第２実施形態に係る「各種動作」サブルーチンの動作を示すフローチャート

符号の説明

１：通信端末、２：スピーカ、３：マイク、４：カメラ、５：モニタ、６：交換台サーバ、７：Ｗｅｂサーバ、８：アカウント管理サーバ、３０：ＳＴＵＮサーバ

Claims (14)

1. ネットワークを介して所望の相手方の通信端末と接続する通信部と、被写体を継続的に撮像して動画像を得る撮像部と、前記撮像部から得られた動画像を前記相手方の通信端末にリアルタイムで送信する送信部と、前記相手方の通信端末から動画像をリアルタイムで受信する受信部と、前記撮像部から得られた動画像及び／又は前記受信部の受信した動画像をリアルタイムで表示する表示部とを備えた通信端末であって、
   前記表示部は前記撮像部から得られた動画像の正像と前記正像の左右を反転した鏡像とを切り替え自在に表示する通信端末。
2. 前記表示部は前記正像又は前記鏡像の画質を落として表示する請求項１に記載の通信端末。
3. 前記表示部は前記正像又は前記鏡像のいずれか一方と前記受信部の受信した動画像とを親子画面で表示する請求項１又は２に記載の通信端末。
4. ネットワークを介して所望の相手方の通信端末と接続する通信部と、被写体を継続的に撮像して動画像を得る撮像部と、前記撮像部から得られた動画像を前記相手方の通信端末にリアルタイムで送信する送信部と、前記相手方の通信端末から動画像をリアルタイムで受信する受信部と、前記撮像部から得られた動画像及び／又は前記受信部の受信した動画像をリアルタイムで表示する表示部とを備えた通信端末であって、
   前記撮像部から得られた動画像の送信を保留する操作入力を受け付ける操作部を備え、
   前記送信部は前記操作入力に応じて前記撮像部から得られた動画像の送信を保留する通信端末。
5. 前記操作部は前記動画像の送信の保留を解除する操作入力を受け付け、
   前記送信部は前記操作入力に応じて前記動画像の送信の保留を解除する請求項４に記載の通信端末。
6. ネットワークを介して所望の相手方の通信端末と接続する通信部と、被写体を継続的に撮像して動画像を得る撮像部と、音声を集音する集音部と、前記撮像部から得られた動画像及び前記集音部の集音した音声を前記相手方の通信端末にリアルタイムで送信する送信部と、前記相手方の通信端末から動画像及び音声をリアルタイムで受信する受信部と、前記撮像部から得られた動画像及び／又は前記受信部の受信した動画像をリアルタイムで表示する表示部と、前記受信部の受信した音声をリアルタイムで出力する音声出力部とを備えた通信端末であって、
   前記撮像部から得られた動画像と前記集音部の集音した音声とを再生可能な留守録ファイルを記録する記録部を備え、
   前記送信部は前記留守録ファイルを前記相手方の通信端末に送信する通信端末。
7. 前記受信部は前記相手方の通信端末から留守録モードの設定通知を受信し、
   前記送信部は前記留守録モードの設定通知の受信に応じて前記留守録ファイルを前記相手方の通信端末に送信する請求項６に記載の通信端末。
8. ネットワークを介して所望の相手方の通信端末と接続する通信部と、被写体を継続的に撮像して動画像を得る撮像部と、音声を集音する集音部と、前記撮像部から得られた動画像及び前記集音部の集音した音声を前記相手方の通信端末にリアルタイムで送信する送信部と、前記相手方の通信端末から動画像及び音声をリアルタイムで受信する受信部と、前記撮像部から得られた動画像及び／又は前記受信部の受信した動画像をリアルタイムで表示する表示部と、前記受信部の受信した音声をリアルタイムで出力する音声出力部とを備えた通信端末であって、
   前記相手方の通信端末からの接続要求に対して自動応答する留守録モードを設定する留守録モード設定部を備え、
   前記通信部は前記留守録モードの設定に応じて前記相手方の通信端末からの接続要求に自動応答して通信を確立する通信端末。
9. 前記受信部は前記留守録モードの設定に応じて前記相手方の通信端末から送信された動画像と音声とを再生可能な留守録ファイルを受信し、
   前記受信した留守録ファイルを保存する保存部を備える請求項８に記載の通信端末。
10. 前記表示部は前記留守録ファイルに従って動画像を表示し、
    前記音声出力部は前記留守録ファイルに従って音声を出力する請求項９に記載の通信端末。
11. 通信端末のユーザのメールアドレスを含む情報及び前記通信端末の接続に関する情報を含むユーザプロファイル情報を記憶するデータベースと、
    前記ユーザプロファイル情報に従って接続要求元の通信端末と接続要求先の通信端末との接続の確立を仲介する仲介サーバと、
    前記ユーザプロファイル情報に従って前記接続要求先の通信端末のユーザのメールアドレスに電子メールを送信するメールサーバと、
    を備える通信システム。
12. 接続要求元の通信端末と前記接続要求元の通信端末から指定された接続要求先の通信端末とからなる１対の通信端末と、
    通信端末のユーザに関する情報及び前記通信端末の接続に関する情報を含むユーザプロファイル情報を記憶するデータベースを備えた管理サーバと、
    前記ユーザプロファイル情報に従って前記接続要求元の通信端末と前記接続要求先の通信端末との接続の確立を仲介する仲介サーバと、
    前記ユーザプロファイル情報の一部又は全部を前記通信端末にダウンロードするファイルサーバと、
    を備え、
    前記管理サーバは前記接続要求元の通信端末と接続の確立した接続要求先の通信端末に関するユーザプロファイル情報を前記接続要求元の通信端末にダウンロードすることを前記ファイルサーバに許可する通信システム。
13. 前記接続要求元の通信端末は前記ダウンロードしたユーザプロファイル情報に従って接続要求先の通信端末を指定する請求項１２に記載の通信システム。
14. 接続要求元の通信端末と前記接続要求元の通信端末から指定された接続要求先の通信端末とがネットワークを介して接続された通信システムであって、
    前記接続要求元の通信端末は前記接続要求先の通信端末として指定可能な複数の通信端末を各サービス提供者に対応して分類した情報を記憶しており、
    前記接続要求元の通信端末は所望のサービス提供者の指定を受け付け、前記指定されたサービス提供者に対応して分類された複数の通信端末のいずれか１つを接続要求先の通信端末に指定する通信システム。

Images