JP2010239641A - 通信装置、通信システム、通信装置の制御プログラム、および通信装置の制御プログラムを記録した記録媒体 - Google Patents

Abstract

【課題】複数台の通信装置が参加するテレビ電話にかかる通信コストを低減させることができる通信装置を提供する。
【解決手段】本発明に係る携帯通信端末は、公衆回路網を通じて画像情報および音声情報を送受信し、他の携帯通信端末との間でテレビ電話による通話を行うものであり、この他の携帯通信装置とは異なる携帯通信端末１ｂから画像情報および音声情報を近距離無線通信にて受信する入出力データ処理部３３と、入出力データ処理部３３により受信した画像情報および音声情報と、他の携帯通信端末から受信した画像情報および音声情報とを組み合わせるミキシング部３４と、を備える。
【選択図】図１

Description

本発明は、公衆回路網を通じて画像情報および音声情報を送受信し、第１通信装置との間でテレビ電話による通話を行う通信装置、通信システム、通信装置の制御プログラム、および通信装置の制御プログラムを記録した記録媒体に関するものである。

近年、携帯電話機など携帯可能な通信装置が普及しており、日常生活の中でこのような通信装置を利用する機会が増えている。また、この通信装置は、技術の進歩に伴い、例えば、テレビ電話機能、音楽・映像再生機能、およびカメラ機能など様々な付加的な機能を有するようになっている。

ところで、テレビ電話機能を有する通信装置によりテレビ電話を実行する場合、大きな表示領域を有する表示装置に画像を表示させて視聴したいといった要望がある。このような要望を実現するために、例えば、表示画面に表示している通話先などの画像と通話先から受信した音声を、テレビ受信機などの表示装置にケーブルなどを利用した有線通信によって出力する通信装置が提案されている（例えば、株式会社エヌ・ティ・ティ・ドコモのＳＨ９０１ｉＣ（シャープ株式会社製））。

また、例えば、特許文献１では、テレビ受信機で再生可能なデータ形式に変換した画像情報を、近距離無線接続によって接続したテレビ受信機に送信することができる携帯電話機が開示されている。この携帯電話機では、画像情報をテレビ受信機に送信することにより、該テレビ受信機が有するより大きな表示領域において画像を表示させることができる。しかしながらこの特許文献１に開示された携帯電話機では、画像と音声とを組み合わせこれらの情報を表示情報に送信する構成が示されていない。このため、本願発明のテレビ電話のように音声情報と画像情報との両者の情報を利用して成り立つ通信を考慮したものではない。

また、携帯電話機が有するテレビ電話機能を利用して複数人が参加可能なテレビ会議システムの例として、株式会社エヌ・ティ・ティ・ドコモが提供する「Ｍ−stageビジュアルネット」などの会議システムサービスが挙げられる。

この「Ｍ−stageビジュアルネット」では、表示装置に画像を表示可能とする通信装置それぞれが、ビジュアルネットセンタと呼ばれるサーバに接続することにより実現できるサービスである。すなわち、「Ｍ−stageビジュアルネット」は、ビジュアルネットセンタによって、テレビ会議システムを実現しており、本願発明のように他の通信装置とテレビ電話を行っている通信装置によって複数人が参加可能となるシステムを提供するものではない。また、この「Ｍ−stageビジュアルネット」では、テレビ会議システムを利用する場合、各通信装置は、ビジュアルネットセンタへの接続が必要となり、通信装置ごとに通話およびサービス利用金が発生してしまう。

また、特許文献２では、複数台によって会話を行うことが可能な携帯端末が開示されている。すなわち、特許文献２に示す携帯端末では、例えば、携帯端末Ａから携帯端末Ｂに向けて音声を伝達する際に、携帯端末Ｃから受信した音声もミキシングして送信することができる。しかしながら、この特許文献２は、本願発明のテレビ電話のように音声情報と画像情報との両者の情報を利用して成り立つ通信を考慮したものではない。

特開２００３−２４４２８９号公報（２００３年８月２９日公開） 特開平１１−２７５６３７号公報（１９９９年１０月８日公開）

しかしながら、上記従来の構成では、異なる拠点にある通信装置間で行われるテレビ電話において、送受信される画像情報および音声情報を複数人が利用できるように、ユーザフレンドリーに出力することができないという問題が生じる。

具体的には、従来の構成では、テレビ電話の通話先から受信した画像情報および音声情報を出力するためには、上記した、株式会社エヌ・ティ・ティ・ドコモのＳＨ９０１ｉＣ（シャープ株式会社製）の通信装置のようにケーブルなどを用いて、出力先との接続を確立させる必要がある。

しかしながら、ケーブルなど有線によって通信装置と表示装置とを接続し、画像および音声を伝送する場合、ケーブルの有する長さなど物理的な制限、あるいは接続の設定に関わるわずらわしさといった問題が生じる。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、テレビ電話の通話先である第１通信装置との間で送受信される画像情報および音声情報を、複数人で共有できるようにユーザフレンドリーに出力させることができる通信装置、通信システム、通信装置の制御プログラム、および通信装置の制御プログラムを記録した記録媒体を実現することにある。

本発明に係る表示装置は、公衆回路網を通じて画像情報および音声情報を送受信し、第１通信装置との間でテレビ電話による通話を行う通信装置であって、前記第１通信装置とは異なる第２通信装置から画像情報および音声情報を近距離無線通信にて受信する画像音声受信手段と、前記画像音声受信手段により受信した画像情報および音声情報と、前記第１通信装置から受信した画像情報および音声情報とを組み合わせる組み合わせ手段と、を備えることを特徴とする。

本発明に係る表示装置は、上記した構成において、前記第１通信装置から受け付けた画像情報および音声情報、あるいは前記組み合わせ手段により組み合わせた画像情報および音声情報を、近距離無線通信により出力する近距離無線出力手段を備えるように構成されていてもよい。

本発明に係る表示装置は、上記した構成において、前記組み合わせ手段で作成した画像情報および音声情報を有線通信により出力する有線出力手段と、前記画像情報および音声情報の出力先に対する、前記近距離無線出力手段および有線出力手段による接続状況を判定する接続状況判定手段と、前記接続状況判定手段によって判定した結果に応じて、前記近距離無線出力手段または有線出力手段のいずれかを選択する出力選択手段とを備えるように構成されていてもよい。

本発明に係る表示装置は、上記した構成において、前記近距離無線出力手段または有線出力手段による、前記画像情報および音声情報の出力の成否を判定する出力成否判定手段と、画像情報に基づき画像を表示するための表示部と、音声を出力する音声出力部とをさらに備え、前記出力成否判定手段が、前記画像情報および音声情報の出力に成功しなかったと判定した場合、前記第１通信装置から受け付けた画像情報、あるいは前記組み合わせ手段により組み合わせた画像情報に基づく画像を、前記表示部に表示させるとともに、該第１通信装置から受け付けた音声情報、あるいは前記組み合わせ手段により組み合わせた音声情報に基づく音声を前記音声出力部により出力させるように構成されていてもよい。

本発明に係る通信システムは、上記した構成の通信装置と、前記通信装置と公衆回路網を通じて画像情報および音声情報を送受信し、テレビ電話による通話を行う第１通信装置と、前記通信装置と、近距離無線通信により画像情報および音声情報の送受信を行う、少なくとも１台以上の、前記第１通信装置とは異なる第２通信装置と、画像情報に基づく画像および音声情報に基づく音声を再生する再生装置とを備え、前記通信装置は、前記第１通信装置から受信した画像情報および音声情報あるいは前記組み合わせ手段により組み合わせた組み合わせ情報を、前記近距離無線出力手段または有線出力手段のいずれかによって前記再生装置に出力することを特徴とする。

本発明の実施形態を示すものであり、基地局を介して他の携帯通信端末と通信を確立する携帯通信端末が備えるテレビ電話制御部の要部構成の一例を示すブロック図である。 本発明の実施形態を示すものであり、携帯通信装置の要部構成を示すブロック図である。 本実施の形態に係るテレビ電話システムの要部構成を示す図である。 本実施の形態に係る再生装置と携帯通信端末との間の接続を有線により確立させた場合における一例を示す図である。 再生装置に送信する、組み合わせた画像情報に基づく表示の一例を示す図である。 公衆回路網を通じてテレビ電話を行っている通話先の携帯通信端末に送信する画像情報に基づく表示の一例を示す図である。 本実施の形態に係る携帯通信端末におけるテレビ電話会議処理の一例を示すフローチャートである。 本発明の実施形態を示すものであり、本実施の形態に係る携帯通信端末が備える参加処理部の有する機能ブロックの一例を示すブロック図である。 本実施の形態に係る携帯通信端末における参加処理の一例を示すフローチャートである。 ＩｒＳｉｍｐｌｅ方式、ＩｒＤＡ方式、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または無線ＬＡＮそれぞれの通信方式における、最大通信レート、消費電力、送信距離、実効帯域、接続時間（秒）、転送時間(秒)、およびトータル転送時間（秒）それぞれの比較値を示す表である。 本実施の形態に係る携帯通信端末における赤外線受発光部の設置位置の一例を示す図である。 本実施の形態に係る携帯通信端末における赤外線受発光部の設置位置の比較例を示す図であり、同図（ａ）は、携帯通信端末の内側から見た図であり、同図（ｂ）は、携帯通信端末の側部から見た図である。 本実施の形態に係る携帯通信端末における赤外線受発光部の設置位置の一例を示す図であり、同図（ａ）は、携帯通信端末の内側から見た図であり、同図（ｂ）は、携帯通信端末の側部から見た図である。

本発明の一実施形態について図１ないし図１３に基づいて説明すると以下の通りである。すなわち、本実施の形態に係るテレビ電話システム（通信システム）１００は、図３に示すように、同一拠点（屋内Ａ）にある複数の携帯通信端末（通信装置・第１通信装置・第２通信装置）１と、該拠点とは別の拠点である屋外Ｂにある携帯通信端末１との間でテレビ会議を行うシステムである。なお、この図３は、本実施の形態に係るテレビ電話システム１００の要部構成を示す図である。

なお、本実施形態においてこれ以降では説明の便宜上、屋内Ａにある携帯通信端末１…のうち屋外Ｂの携帯通信端末１とテレビ電話を行う携帯通信端末を携帯通信端末（通信装置）１ａと称する。また、この携帯通信端末１ａ以外に屋内Ａに存在する携帯通信端末…を携帯通信端末（第２通信装置）１ｂ…と称する。また、屋外Ｂに存在する携帯通信端末を携帯通信端末（第１通信装置）１ｃと称する。

また、これら携帯通信端末１ａ、携帯通信端末１ｂ…、および携帯通信端末１ｃを特に区別する必要がない場合は、携帯通信端末１と称する。

より具体的には、上記テレビ電話システム１００は、異なる拠点にある複数の携帯通信端末１ａ・１ｂ・１ｃと、該携帯通信端末１ａ・１ｂ・１ｃそれぞれから受信した画像情報および音声情報を組み合わせたミキシング情報に基づき、携帯通信端末１ａ・１ｂ・１ｃそれぞれのユーザの顔画像と、該ユーザそれぞれの発言（音声）とを出力する再生装置２とを備えてなる構成である。なお、この再生装置２は、例えば画像と音声とをともに出力できるテレビジョン（テレビ受信機）などによって実現できる。

すなわち、上記テレビ電話システム１００では、屋内Ａにある携帯通信端末１ａと屋外Ｂにある携帯通信端末１ｃとが基地局(不図示)を介してテレビ電話を実行している。また、携帯通信端末１ａと携帯通信端末１ｂ…それぞれとの間では、赤外線を利用した近距離無線により接続可能となっている。さらにまた、携帯通信端末１ａと再生装置２との間も、同様に近距離無線により接続可能となっている。なお、本実施形態では、この赤外線を利用した近距離無線通信では、「ＩｒＳｉｍｐｌｅ」方式を採用している。

また、携帯通信端末１ａと再生装置２との間では、図４に示すように、ＵＳＢ、ＩＥＥＥ１３９４などの有線ケーブルを利用した接続によっても接続可能とすることができる。

ここで、上記したテレビ電話システム１００が備える携帯通信端末１の構成について図２を参照して説明する。図２は本発明の実施形態を示すものであり、携帯通信装置１の要部構成を示すブロック図である。

図２に示すように、本実施の形態に係る携帯通信装置１は、アンテナ１０、着信信号検出部１１、回線閉結部１２、ＲＦ処理部１３、ベースバンド処理部１４、オーディオＩ／Ｆ１５、携帯通信制御部１６、撮像部１７、第１近距離無線通信部（無線出力手段）１８、有線通信部（有線出力手段）１９、第２近距離無線通信部（画像音声受信手段）２０、入力部２１、表示部２２、およびテレビ電話制御部３０を備えてなる構成である。

着信信号検出部１１は、アンテナ１０を介して基地局から受信した信号に基づき、別の拠点にある他の携帯通信端末（例えば、携帯通信端末１ｃ）からの着信の有無を検出するものである。着信信号検出部１１は、検出した結果を携帯通信制御部１６に通知する。また、着信信号検出部１１はアンテナ１０を介して受信した信号を後述する回線閉結部１２を通じてＲＦ処理部１３に送信する。

回線閉結部１２は、携帯通信制御部１６からの指示に応じて、通信回線のＯＮおよびＯＦＦの制御を行うものであり、例えば、他の携帯通信端末との通信を確立する場合は通信回線をＯＮし、通信を切断する場合はＯＦＦするように切り替える。

ＲＦ処理部１３は、当該携帯通信端末１と基地局との間でやり取りする信号の強さを制御するものである。ＲＦ処理部１３は、電波を遠くまで飛ばせるように信号の送信電力を増幅する送信アンプ（不図示）、および携帯通信端末１から基地局へ信号を送信する際に無線信号に変換し、基地局から受信した無線信号にその逆の処理をする変復調器(不図示)などから構成される。

ベースバンド処理部１４は、携帯通信端末１と基地局との間で確実に通信するために、受発信する信号そのものに対して処理を施すものである。また、このベースバンド処理部１４は、信号を受信する際は、複数のデータ信号が混在する中から、自端末に向けられて基地局から送信されたデータ信号を抽出したり、複数の電波信号を受信して１つの電波に合成することで、受信能力を高めたりするなどの処理も行う。

すなわち、このベースバンド処理部１４による処理によって、基地局を介して他の携帯通信端末から送信されてくる音声をオーディオＩ／Ｆ１５を通じてスピーカ（音声出力部）２４から出力したり、マイク（音声入力部）２３から入力される音声を、オーディオＩ／Ｆ１５を通じて受信し、基地局を介して他の携帯通信端末に送信したりすることができるようになっている。

さらに、本実施の形態に係る携帯通信端末１は、他の携帯通信端末とテレビ電話を実行することができるように構成されている。したがって、テレビ電話を行う場合、携帯通信端末１では、このベースバンド処理部１４が、他の携帯通信端末から受信した音声をオーディオＩ／Ｆ１５を通じてスピーカ２４から出力するとともに、該他の携帯通信端末から受信した画像と一緒に携帯通信制御部１６を通じてテレビ電話制御部３０にも送信する。

オーディオＩ／Ｆ１５は、ベースバンド処理部１４から受信した音声信号を、スピーカ２４を通じて外部に出力させたり、マイク２３を通じて受信した音声信号をベースバンド処理部１４に送信したりするものである。

携帯通信制御部１６は、本実施の形態に係る携帯通信端末１が公衆回路網を通じて他の携帯通信端末と通信を行うことができるように、当該携帯通信端末１が備える各部の各種制御を行うものである。この携帯通信制御部１６は、特には、上記した着信信号検出部１１、回線閉結部１２、ＲＦ処理部１３、ベースバンド処理部１４、およびオーディオＩ／Ｆの各部の各種制御を行う。

また、携帯通信制御部１６は、当該携帯通信端末１と上記他の携帯通信端末との間でテレビ電話を行う場合、ベースバンド処理部１４において抽出された、他の携帯通信端末から受信した音声情報および画像情報をテレビ電話制御部３０に渡す。その一方で、後述する撮像部１７において撮影された携帯通信端末１のユーザの画像情報を、テレビ電話制御部３０を通じて受信すると、この画像情報とマイク２３から入力された音声情報とを共にベースバンド処理部１４に送り、これら音声情報と画像情報とを他の携帯通信端末に向けて送信するように制御する。

撮像部１７は、携帯通信端末１のユーザの通話状況を画像でテレビ電話の通話先に伝えることができるように、テレビ電話制御部３０からの指示に応じて、ユーザの撮影を行うものである。この撮像部１７は、例えばＣＣＤ（charge coupled device）やＣＭＯＳによって実現できる。

撮像部１７は撮影して得られた画像情報をテレビ電話制御部３０に送信する。

第１近距離無線通信部１８は、テレビ電話制御部３０からの指示に応じて、再生装置２に対して、音声情報と画像情報とを無線で送信するものである。

有線通信部１９は、テレビ電話制御部３０からの指示に応じて、再生装置２に対して、音声情報と画像情報とをケーブルなど有線によって送信するものである。

なお、後述するが、これら第１近距離無線通信部１８と有線通信部１９とにおいて、音声情報と画像情報との伝送時にどちらを利用可能とするのか切り替えることができるようになっている。

第２近距離無線通信部２０は、屋内Ａにある他の携帯通信端末（例えば携帯通信端末１ｂ…）それぞれとの間で無線接続を確立し、画像情報および音声情報の入力を受け付けるものである。受け付けた画像情報および音声情報をテレビ電話制御部３０に送信する。

なお、第１近距離無線通信部１８および第２近距離無線通信部２０は、赤外線を利用した、特には、「ＩｒＳｉｍｐｌｅ」方式による近距離無線で接続可能となっている。また、有線通信部１９では、上述したように、ＵＳＢ、ＩＥＥＥ１３９４などの有線接続によって接続可能となっている。

入力部２１は、携帯通信端末１への操作指示または情報などを入力するためのものであり、該入力部２１は、例えば、テンキー、十字キー、操作キー、あるいはタッチパネル等によって実現できる。

表示部２２は、テレビ電話制御部３０からの指示に応じて、画像情報に基づく表示を行うものである。

テレビ電話制御部３０は、携帯通信端末１が備える各部を制御して、該携帯通信端末１における、テレビ電話に関わる各種処理を実行するものである。特に、テレビ電話制御部３０は、撮像部１７、第１近距離無線通信部１８、有線通信部１９、第２近距離無線通信部２０、入力部２１、および表示部２２を制御する。

参加処理制御部４０は、本実施の形態に係る携帯通信端末１が、基地局を介してテレビ電話を実施している他の携帯通信端末を利用して、該テレビ電話に参加できるよう各種処理を実行するものである。特に、参加処理制御部４０は、撮像部１７、第２近距離無線通信部２０、入力部２１、および表示部２２を制御する。

すなわち、本実施形態の携帯通信端末１は、基地局を介して他の携帯通信端末とテレビ電話を実施することができるとともに、テレビ電話を実施している他の携帯通信端末を利用して該テレビ電話に参加することができる。つまり、携帯通信端末１がテレビ電話を実施する場合(携帯通信端末１ａとして振舞う場合)、上記テレビ電話制御部３０が携帯通信制御部１６と協働して、上記した各部を制御する。一方、携帯通信端末１がテレビ電話に参加するように制御する場合（携帯通信端末１ｂとして振舞う場合）、参加処理部４０が、携帯通信制御部１６と協働して携帯通信端末１が備える各部を制御する。

また、このテレビ電話制御部３０による制御と参加処理部４０による制御とは切り替え可能となっている。

ここで、以下において本実施の形態に係る携帯通信端末１ａとして機能する携帯通信端末１に関して、該携帯通信端末１が備えるテレビ電話制御部３０の詳細について図１を参照して説明する。

（テレビ電話制御部の構成）
図１は、本実施の形態に係る携帯通信端末１が備えるテレビ電話制御部３０における要部構成の一例を示すブロック図である。この図１は、基地局を介して他の携帯通信端末と通信を確立する携帯通信端末１ａが備えるテレビ電話制御部３０の要部構成の一例を示すブロック図である。なお、図１において直線は画像情報、点線は音声情報、矢印は、制御信号の流れを示す。

図１に示すように、携帯通信端末１は、テレビ電話制御部３０が、機能ブロックとして、画像処理部３１、音声処理部３２、入出力データ処理部（画像音声受信手段）３３、ミキシング部（組み合わせ手段）３４、出力画像処理部３５、出力音声処理部３６、表示制御部３７、および通信選択部（無線出力手段・有線出力手段・接続状況判定手段・出力選択手段・出力成否判定手段）３８を備える構成である。

上記画像処理部３１は、携帯通信制御部１６を介して画像情報を受信し、ミキシング部３４に送信したり、撮像部１７から画像情報を受信し、ミキシング部３４に送信したりするものである。また、この画像処理部３１は、後述するミキシング部３４によって組み合わされた画像情報を携帯通信制御部１６に渡し、携帯通信端末１ｃに対して送信するように指示するものでもある。

上記音声処理部３２は、携帯通信制御部１６を介して音声情報を受信し、ミキシング部３４に送信したり、後述するミキシング部３４によって組み合わされた音声情報を携帯通信制御部１６に渡し、携帯通信端末１ｃに対して送信したりするように指示するものでもある。

なお、上記画像処理部３１および音声処理部３２それぞれは、携帯通信制御部１６あるいはミキシング部３４に画像情報および音声情報を渡す際、両者の同期が取れるように出力タイミングを調整している。

入出力データ処理部３３は、第２近距離無線通信部２０を制御し、携帯通信制御部１ｂ…から送信された情報を受け付けるものである。入出力データ処理部３３は、受信した情報の中から音声情報と画像情報とをそれぞれ抽出し、ミキシング部３６に入力する。

ミキシング部３４は、画像処理部３１および音声処理部３２を通じて携帯通信制御部１６から受信した携帯通信端末１ｃからの画像情報および音声情報と、第２近距離無線通信部２０によって受信した携帯通信端末１ｂ…からの画像情報および音声情報とを組み合わせるものである。ミキシング部３４は、この組み合わせた画像情報を再生装置２に送信するように出力画像処理部３５に指示するとともに、組み合わせた音声情報を再生装置２に送信するように出力音声処理部３６に指示する。

また、ミキシング部３４は、画像処理部３１から受信した撮像部１７により取得された画像情報と、音声処理部３２から受信したマイク２３からの音声情報と、第２近距離無線通信部２０によって受信した携帯通信端末１ｂ…からの画像情報および音声情報とを組み合わせるものでもある。ミキシング部３４は、この組み合わせた画像情報を、公衆回路網を通じて通信している携帯通信端末１ｃに送信するよう画像処理部３１に指示するとともに、組み合わせた音声情報を、公衆回路網を通じて通信している携帯通信端末１ｃに送信するよう音声処理部３２に指示する。

なお、上記組み合わせた画像情報とは、例えば、再生装置２に送信する画像情報の場合、テレビ会議の参加者、すなわち携帯通信端末１ｂ…のユーザと携帯通信端末１ｃのユーザそれぞれとの画像を同一表示領域で表示可能となるようなデータである。このデータは、具体的には、例えば図５に示すように表示領域を複数分割し各ユーザの顔画像がこれら分割された表示領域ぞれぞれで表示されるようなデータである。

一方、携帯通信装置１ｃに送信する画像情報は、例えば図６に示すように、携帯通信端末１ａのユーザおよび携帯通信端末１ｂ…のユーザそれぞれの画像が、分割された表示領域において表示可能となるデータである。

なお、再生装置２に送信する画像情報は、携帯通信端末１ｃおよび携帯通信端末１ｂ…それぞれのユーザの画像を１表示領域で表示可能としたデータであったが、この画像情報にさらに携帯通信端末１ａのユーザの顔画像情報が含まれていてもよい。この場合は、ミキシング部３４は、携帯通信端末１ｂ…のユーザと携帯通信端末１ｃのユーザそれぞれとの画像に加えて、撮像部１７で撮影された携帯通信端末１ａのユーザの画像を同一表示領域で表示可能となるようにする。

また、組み合わせた音声情報とは、例えば、再生装置２に送信する音声情報の場合、携帯通信端末１ｂ…のユーザ、および携帯通信端末１ｃのユーザそれぞれで発話された音声を時系列に合成したデータである。一方、携帯通信端末１ｃに送信する、組み合わせた音声情報は、携帯通信端末１ｂ…のユーザ、および携帯通信端末１ｃのユーザそれぞれで発話された音声を時系列に合成したデータである。

なお、再生装置２に送信する、組み合わせた音声情報は、携帯通信端末１ｃおよび携帯通信端末１ｂ…それぞれのユーザが発話した音声を時系列に合成したものであったが、これにさらに携帯通信端末１ａのユーザの音声も合成する構成であってもよい。このような構成の場合、ミキシング部３４は、携帯通信端末１ｃから受信した音声と携帯通信端末１ｂ…それぞれから受信した音声とに加えて、マイク２３から入力された携帯通信端末１ａのユーザの音声を合成する。

出力画像処理部３５は、ミキシング部３４により組み合わせられた画像情報を取得し、再生装置２において表示可能なデータ形式に変換するものである。出力画像処理部３５は、変換したデータを、通信選択部３８を通じて有線通信部１９または第２近距離無線通信部２０に送信する。

出力音声処理部３６は、ミキシング部３４により組み合わせられた音声情報を取得し、再生装置２において出力可能となるようにデータ形式を変換するものである。出力音声処理部３６は、変換したデータを、通信選択部３８を通じて有線通信部１９または第２近距離無線通信部２０に送信する。

なお、出力画像処理部３５が出力する画像情報と、出力音声処理部３６が出力する音声情報とは、両者が一致したタイミングで有線通信部１９または第２近距離無線通信部２０に送信されるように設定されている。

表示制御部３７は、表示部２２を制御して画像情報に基づく表示を実行させるものである。例えば、本実施の形態に係る携帯通信端末１ａでは、室内Ａに再生装置２が存在せず、携帯通信端末１ｃから受信した画像情報と音声情報および携帯通信端末１ｂ…それぞれから受信した画像情報と音声情報を組み合わせて出力することができない場合がある。

このような場合、表示制御部３７は、携帯通信端末１ａの表示部２２に携帯通信端末１ｃから受信した画像情報および携帯通信端末１ｂ…それぞれから受信した画像情報とを組み合わせて表示させるように制御する。

すなわち、通信選択部３８が、室内Ａに再生装置２がないため通信が確立できなかったことを検知すると、出力画像処理部３５から受信した、組み合わされた画像情報を表示制御部３７に送信する。そして、通信選択部３８は、表示部２２でこの画像情報を表示させるように、表示制御部３７に対して指示する。そして、表示制御部３７は、この通信選択部３８からの指示に応じて組み合わされた画像情報に基づく表示を行う。

また、通信選択部３８が、室内Ａに再生装置２がないため通信が確立できなかったことを検知すると、出力音声処理部３６から受信した、組み合わされた音声情報を携帯通信制御部１６に送信する。そして、通信選択部３８は、スピーカ２４からこの音声情報に基づく音声を出力させるように、携帯通信制御部１６に対して指示する。そして、携帯通信制御部１６は、この通信選択部３８からの指示に応じて組み合わされた音声情報に基づく音声をスピーカ２４から出力するようにオーディオＩ／Ｆ１５を制御する。

なお、上記したように室内Ａに再生装置２が存在しない場合以外にも、再生装置２に対して携帯通信端末１ｃから受信した画像情報と音声情報、および携帯通信端末１ｂ…それぞれから受信した画像情報と音声情報を組み合わせて出力させることができない場合がある。例えば、再生装置２と当該携帯通信端末１ａとの接続が上手く確立できない場合である。このような場合にも、携帯通信端末１ｃから受信した画像情報と、携帯通信端末１ｂ…それぞれから受信した画像情報とを組み合わせて表示部２２で表示させ、携帯通信端末１ｃから受信した音声情報と、携帯通信端末１ｂ…それぞれから受信した音声情報とを組み合わせてスピーカ２２から出力させる。

一方、本実施の形態に係る携帯通信端末１では、室内Ａにおける再生装置２において、携帯通信端末１ｃから受信した画像情報および携帯通信端末１ｂ…それぞれから受信した画像情報とを組み合わせて表示させている場合、表示部２２では、当該携帯通信端末１ａのユーザの画像を表示させるように構成されている。このため、この場合では、通信選択部３８が有線通信部１９または第２近距離無線通信部２０いずれかを選択して画像情報および音声情報を出力すると、撮像部１７を起動し当該携帯通信端末１ａのユーザの画像を取得するように画像処理部３１に指示する。そして、この通信選択部３８からの指示に応じて、画像処理部３１が撮像部１７を制御して携帯通信端末１ａのユーザの画像情報を取得し、該取得した画像情報を表示制御部３７に送信する。表示制御部３７は、携帯通信端末１のユーザの画像を画像処理部３１から取得すると、表示部２２を制御して該ユーザの画像を表示させる。

通信選択部３８は、ミキシング部３４により組み合わされた（ミキシングされた）画像情報および音声情報の出力経路を選択するものである。すなわち、本実施形態では説明の便宜上、室内Ａには再生装置２が１台だけ存在しているが、該再生装置２が複数台あり、それぞれと通信可能に接続される場合、通信選択部３８は、入力部２１によって入力された指示情報に応じて接続先とする再生装置２を選択することができる。より具体的には下記のようにして通信選択部３８は、下記のようにして接続先とする再生装置２を選択することができる。

すなわち、通信選択部３８は、室内Ａにある複数の再生装置２…それぞれとの接続確立時に取得した接続先の識別情報を、有線通信部１９または第２近距離無線通信部２０を通じて受信する。そして、受信した情報を表示制御部３７に送信し、表示部２２において表示させるように指示する。この指示に応じて表示部２２に送信先候補としての再生装置２…を示す情報を表示させると、ユーザは、この表示を参照して入力部２１を操作して、画像情報および音声情報の出力先となる再生装置２を選択する。このユーザから入力された選択を示す情報を通信選択部３８は受け付けると、該情報に応じて選択された再生装置２に有線通信部１９または第２近距離無線通信部２０を通じて送信させる。

また、通信選択部３８は、再生装置２との接続方式を有線通信とするのか、あるいは無線通信とするのか選択し、有線通信部１８または第１近距離無線通信部１８による接続を制御するものでもある。すなわち、本実施の形態に係る携帯通信端末１ａは、再生装置２との間の接続を、有線ケーブルを介した有線通信と、赤外線などによる無線通信とによって確立することができる。

ところで、本実施の形態に係る携帯通信端末１では、再生装置２との間において、音声情報および画像情報を送信する前に、有線による接続が確立されていることを確認した場合、該有線による接続を優先して選択するように構成されている。

すなわち、通信選択部３８は、音声情報および画像情報を再生装置２に送信する前に、有線通信部１９から、有線通信により再生装置２との接続が確立されている旨の通知を受信した場合、この有線通信部１９に画像情報および音声情報を渡し、再生装置２に送信するように指示する。

また、通信選択部３８は、上記したように、ミキシング部３４により組み合わされた画像情報および音声情報を再生装置２に有線通信部１９または第１近距離無線通信部１８を通じて送信することができない場合、この画像情報を表示部２２に表示させ、音声情報をスピーカ２４から出力させるように制御するものでもある。

なお、上記した第１近距離無線通信部１８を制御する通信選択部３８および第２近距離無線通信部２０を制御する入出力データ処理部３３では、特に図示しないが下記の各部をさらに備えることが好ましい。

すなわち、テレビ電話システム１００が例えば室内Ａおよび屋外Ｂにおいて複数セット存在する場合、各テレビ電話システム１００が相互に干渉しあうことを防ぐために不図示の無線状態管理部を備える。さらにまた、携帯通信端末１ａと携帯通信端末１ｂとの間において、テレビ電話会議に参加できる携帯通信端末１ｂ…に制限を設ける場合、参加可能な携帯通信端末１ｂのＩＤを管理するセキュリティ保護部をさらに備える。

（参加処理部の構成）
次に、本実施の形態に係る携帯通信端末１ｂとして機能する携帯通信端末１に関して、該携帯通信端末１が備える参加処理部４０の詳細について図８を参照して説明する。図８は、本実施の形態に係る携帯通信端末１が備える参加処理部４０における要部構成の一例を示すブロック図である。なお、図８において直線は画像情報、点線は音声情報、矢印は、制御信号の流れを示す。

図８に示すように、携帯通信端末１では、参加処理部４０が、機能ブロックとして、近距離無線受付処理部４１、携帯通信実行判定部４２、出力データ選択部４３、表示制御部４４、撮像制御部４５、および参加データ生成部４６を備える構成である。

上記近距離無線受付処理部４１は、第２近距離無線通信部２０を制御して、テレビ電話を実行している他の携帯通信端末１（携帯通信端末１ａ）と近距離無線通信を実行するものである。近距離無線受付処理部４１は、後述する出力データ選択部４３からの指示に応じて、第２近距離無線通信部２０を制御して他の携帯通信端末１（携帯通信端末１ａ）から画像情報および音声情報を取得する。そして、近距離無線受付処理部４１は、取得した画像情報を表示制御部４４に、音声情報を携帯通信制御部１６にそれぞれ送信し、画像情報および音声情報を出力させたりすることができる。また、近距離無線受付処理部４１は、参加データ生成部４６から受信した当該携帯通信端末１のユーザに関する画像情報および音声情報を、第２近距離無線通信部２０を制御して他の携帯通信端末１（携帯通信端末１ａ）に送信することもできる。

携帯通信実行判定部４２は、近距離無線受付部４１で受け付けた、接続先である携帯通信端末１ａとの接続状況を示す情報に基づき、テレビ電話制御部３０によるテレビ電話会議処理に切り替えるか否かを判定するものである。すなわち、携帯通信実行判定部４２は、近距離無線受付処理部４１から第２近距離無線通信部２０による、携帯通信端末１ａに対する接続状況を示す情報を受信している。そして、携帯通信端末１ａとの接続が確立されていないと判定した場合、携帯通信実行判定部４２は、テレビ電話制御部３０に基地局を介して他の携帯通信端末（携帯通信端末１ｃ）とのテレビ電話を実行するように指示する。

出力データ選択部４３は、近距離無線受付部４１で受け付けた、携帯通信端末１ａから再送装置２への音声情報および画像情報の送信の成否を示す情報に基づき、表示部２２において、携帯通信端末１ａから受信した、組み合わされた画像情報を表示させ、音声情報を出力させるのか、あるいは、撮像部１７により取得した画像情報を表示させるのかを決定するものでもある。

すなわち、携帯通信端末１ａは、再生装置２に画像情報および音声情報を送信する際、これら情報の送信の成否を示す情報を、通信選択部３８が入力出力データ処理部３３に通知している。そして、入力出力データ処理部３３は、上記通知を受信すると第２近距離無線通信部２０を通じて、携帯通信端末１ｂ…それぞれに該通知を送信するように構成されている。したがって、携帯通信端末１ｂでは、近距離無線受付処理部４１が第２近距離無線通信部２０を介してこの通知を受信することができる。

表示制御部４４は、表示部２２を制御して、例えば近距離無線受付処理部４１または撮像制御部４５から受信した画像情報に基づく表示を行うものである。撮像制御部４５は、表示制御部４４または参加データ生成部４６からの指示に応じて撮像部１７を制御して起動させるものである。

参加データ生成部４６は、入力部２１から入力されたテレビ電話への参加指示に応じて、携帯通信制御部１６に指示して当該携帯通信端末１のユーザの音声と、撮像制御部４５に指示して上記ユーザの画像とをそれぞれ取得するものである。参加データ生成部４６は、画像情報と音声情報とを取得すると、近距離無線通信受付部４１に渡し、第２近距離無線通信部２０によって他の携帯通信端末（携帯通信端末１ａ）に送信するように指示する。

ここで、上記した携帯通信端末１の各ブロック、特に携帯通信制御部１６、テレビ電話制御部３０が備える各部、および参加処理部４０が備える各部は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、携帯通信端末１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである携帯通信端末１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記携帯通信端末１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、携帯通信端末１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

（テレビ電話会議処理）
次に、上述した構成を有する携帯通信端末１の、テレビ電話会議に関わる処理（テレビ電話会議処理）についての処理フローを、図７を参照して説明する。この図７は、本実施の形態に係る携帯通信端末１におけるテレビ電話会議処理の一例を示すフローチャートである。すなわち、テレビ電話会議における携帯通信端末１ａ側における処理フローを説明する。

まず、携帯通信端末１ａは、携帯通信端末１ｃと基地局を介して通信を確立し、テレビ電話を開始する（Ｓ１１）。

すなわち、携帯通信端末１ａと携帯通信端末１ｃとの間で基地局を介して通信が確立されると、この通信が確立された旨を示す情報が携帯通信制御部１６からテレビ電話制御部３０に通知される。

テレビ電話制御部３０では、入出力データ処理部３３が携帯通信制御部１６から通信が確立された旨の通知を受信すると第２近距離無線通信部２０によって通信可能な範囲に存在する室内Ａの携帯通信端末１ｂ…それぞれと接続を確立できるように、近距離無線通信の準備（ネゴシエーション）を行う（Ｓ１２）。なお、この近距離無線通信の準備の際、携帯通信端末１ａは、自信が基地局を介して携帯通信端末１ｃと通信を確立している旨を示す情報を携帯通信端末１ｂ…それぞれに通知するように構成されている。

次に、携帯通信端末１ａでは、入出力データ処理部３３が、携帯通信端末１ｂ…それぞれとの無線による接続に成功したか否かを判定する（Ｓ１３）。この判定において、「ＮＯ」の場合、すなわち、無線による接続に失敗して接続が確立できない場合は、このテレビ電話会議処理を終了する。

一方、ステップＳ１３の判定において「ＹＥＳ」の場合は、入出力データ処理部３３からの指示に応じて、第２近距離無線通信部２０が、各携帯通信端末１ｂから画像情報および音声情報を取得する（Ｓ１４）。

次に、携帯通信端末１ａでは、携帯通信制御部１６は、基地局を介して通信している屋外Ｂにある携帯通信端末１ｃから画像情報および音声情報を取得する（Ｓ１５）。なお、このステップＳ１４とステップＳ１５との処理の順番は、入れ替わっていてもよいし、両者が同時に行われてもよい。

ここで、ユーザからテレビ電話会議処理の終了が指示されているかどうかをテレビ電話制御部３０が確認する（Ｓ１６）。ステップＳ１６の確認において「ＹＥＳ」の場合、テレビ電話制御部３０は、自信が備える各部の処理を停止させるとともに、携帯通信制御部１６に携帯通信端末１ｃとの通信処理を終了するように指示する。なお、このテレビ電話会議処理の終了指示は、ユーザが入力部２１を操作して行うことができる。

一方、ステップＳ１６において「ＮＯ」の場合、携帯通信端末１ａでは、ミキシング部３４が、携帯通信制御部１６から送信され、画像処理部３１および音声処理部３２それぞれを通じて受信した携帯通信端末１ｃの画像情報および音声情報と、入出力データ処理部３３が第２近距離無線通信部２０を制御して受信した各携帯通信端末１ｂ…それぞれの画像情報および音声情報とを組み合わせる処理を行う（Ｓ１７）。

上記した画像情報および音声情報の組み合わせ処理を行うと、この組み合わせた画像情報を出力画像処理部３５に、音声情報を出力音声処理部３６にそれぞれ送信する。出力画像処理部３５および出力音声処理部３６それぞれが画像情報および音声情報を受信すると、該画像情報と音声情報とを再生装置２において再生可能なデータに変換し、画像情報と音声情報との同期を取り出力させるタイミングを一致させて通信選択部３８に渡す。

通信選択部３８は、画像情報および音声情報を受信すると、これら情報を再生装置２に向けて送信するための通信経路を選択する（Ｓ１８）。すなわち、通信選択部３８は、音声情報および画像情報を受信すると、有線通信部１９に対して、再生装置２と通信可能に接続されているか否か問い合わせる。すなわち、本実施形態では、上記したように、有線通信により再生装置２との間の接続が確立されている場合、該有線通信によって音声情報および画像情報を再生装置２に送信するように設定されている。

そこで、有線通信部１９に対する問い合わせに対する返答の結果、有線通信により再生装置２との間の接続が確立されている場合は、通信選択部３８は音声情報および画像情報を、有線通信部１９を制御して再生装置２に送信する。

一方、上記問い合わせに対する返答により、有線通信により再生装置２との間の接続が確立されていない場合、表示制御部３７に選択可能な通信経路、すなわち、有線通信部１９によって有線で再生装置２まで送信するのか、あるいは、第１近距離無線通信部１８によって無線で再生装置２まで送信するのか選択可能とする表示を行わせる。

表示制御部２２は、通信選択部３８からの指示に応じて、表示部２２において選択可能な通信経路として有線通信による音声情報および画像情報の送信と、無線通信による音声情報および画像情報の送信とを表示させる。この表示を参照して、ユーザは、入力部２１を操作して有線で音声情報および画像情報を再生装置２に送信するのか、あるいは無線によって音声情報および画像情報を再生装置２に送信するのか選択する。

このユーザからの選択指示に応じて、通信選択部３８は、音声情報および画像情報を有線通信部１９または第１近距離無線通信部１８に渡し、再生装置２に送信させるように指示する。

この通信選択部３８からの指示に応じて、有線通信部１９または第１近距離無線通信部１８は、再生装置２との間で通信の準備を行う（Ｓ１９）。そして、有線通信部１９または第１近距離無線通信部１８は、再生装置２との間での接続を確立すると（Ｓ２０において「ＹＥＳ」）、組み合わせた画像情報および音声情報を再生装置２に送信する（Ｓ２１）。なお、このステップＳ１４〜ステップＳ２１までの処理は、ステップＳ１６においてユーザからテレビ電話会議処理の終了を示す指示を受信するまで継続される。

また、ステップＳ２０において「ＮＯ」の場合、すなわち再生措置２との接続がうまく確立できない場合は、再度ステップＳ１４以降の処理をやり直す。

以上のように、テレビ電話の通知先である携帯通信端末１ｃから受信した画像情報および音声情報を、当該携帯通信端末１ａの近傍にある携帯通信端末１ｂ…から受信した画像情報および音声情報とそれぞれ組み合わせることができる。そして、組み合わせた画像情報および音声情報を有線通信または無線通信によって再生装置２に送信することができる。

このため、携帯通信端末１ａと携帯通信端末１ｃとの間でテレビ電話を実行するだけで、再生装置２において携帯通信端末１ｃ、および携帯通信端末１ｂ…それぞれのユーザの画像および音声を出力させることができる。したがって、本実施の形態に係るテレビ電話システム１００では、携帯通信端末１ａと携帯通信端末１ｃとの間でテレビ電話を実行するだけで、携帯通信端末１ｃ、および携帯通信端末１ｂ…それぞれのユーザを含めたテレビ電話会議を実行することができる。

また、携帯通信端末１ａは、上記組み合わせた画像情報および音声情報を有線通信部１９により有線通信で、あるいは第１近距離無線通信部１８により無線通信で再生装置２に送信することができる。このため、有線通信または無線通信のいずれか選択して上記画像情報および音声情報を再生装置２に送信することができる。

特に有線接続の接続準備が既に整っている場合は、有線通信部１９によって上記画像情報および音声情報を出力させ、接続準備が整っていない場合では、有線通信部１９と第１近距離無線通信部１８とを選択することができるように構成されている。

このため、有線通信による接続準備が整っている場合は。画像情報および音声情報の送信方式として有線通信を選択し、そうでない場合では接続準備としてケーブルの配置を行う必要がない無線通信を選択することができる。このため、携帯通信端末１ａから再送装置２への画像情報および音声情報の出力処理をユーザフレンドリーに行うことができる。

（参加処理）
以上、携帯通信端末１ａとして実施するテレビ電話会議処理について説明した。次に、携帯通信端末１ｂとして行われる上記テレビ電話会議処理への参加に関わる処理（参加処理）について処理フローを、図９を参照して説明する。すなわち、携帯通信端末１ａと携帯通信端末１ｃとの間で実施されているテレビ電話会議に携帯通信端末１ｂが参加する場合について、該携帯通信端末１ｂにおける処理について説明する。

まず、携帯通信端末１ｂは、近距離無線通信による通信可能な範囲にある他の携帯通信端末のうち、携帯通信端末１ｃと基地局を介して通信を行っている携帯通信端末１ａとの間での接続を確立できるように、近距離無線通信の準備を行う（Ｓ３１）。すなわち、上記したステップＳ１２において、携帯通信端末１ａは携帯通信端末１ｃと基地局を介して通信を確立すると、室内Ａにある携帯通信端末１ｂ…と近距離無線通信の準備を行う。この携帯通信端末１ａによる準備に応じて、携帯通信端末１ｂ側も携帯通信端末１ａとの間で無線による接続を確立できるように応答する。

ここで、携帯通信端末１ａとの間で無線による接続が確立された場合（Ｓ３２において「ＹＥＳ」）、携帯通信端末１ａから画像情報および音声情報を受信する（Ｓ３３）。なお、ここで受信する音声情報と画像情報とは、屋外Ｂにある携帯通信端末１ｃのユーザの画像情報および音声情報と、すでに携帯通信端末１ａと接続を確立した他の携帯通信端末１ｂ…それぞれのユーザの画像情報および音声情報とを組み合わせた情報である。

一方、ステップＳ３２において「ＮＯ」の場合、つまり、携帯通信端末１ａとの間での接続を確立することができなかった場合、携帯通信端末１ｂは、基地局を介して携帯通信端末１ｃとテレビ電話を実施し、テレビ電話会議処理を行う（Ｓ３９）。

すなわち、携帯通信端末１ｂでは、参加処理部４０の近距離無線受付処理部４１が携帯通信端末１ａとの間での接続状況を示す情報を、第２近距離無線通信部２０を通じて受信する。そして、近距離無線受付処理部４１は、受信した接続状況を携帯通信実行判定部４２に通知する。携帯通信実行判定部４２は、受信した接続状況の情報に基づき、携帯通信端末１ａとの間での接続が確立できたか否かを判定する。この判定において接続が確立していないと判定される場合、携帯通信実行判定部４２は、携帯通信制御部１６に指示して携帯通信端末１ｃとの間での接続を確立し、テレビ電話を実施するように指示する。

なお、携帯通信端末１ａとの間で、この無線による接続が確立されていない場合とは、具体的には、屋内Ａにおいて携帯通信端末１ｃと通信を行っている携帯通信端末１ａが存在しない場合である。このような場合、携帯通信端末１ｂ自信が屋外Ｂの携帯通信端末１ｃと基地局を介して接続を確立しテレビ電話を実施する。すなわち、携帯通信端末１ｂが携帯通信端末１ａの役割を果たすこととなる。あるいは、屋内Ａにおける携帯通信端末１ａの通信可能な範囲に携帯通信端末１ｂが存在しない場合も含まれる。このような場合、携帯通信端末１ｂ自信が屋外Ｂの携帯通信端末１ｃと基地局を介して接続を確立しテレビ電話を実施する。

なお、このステップＳ３９におけるテレビ電話会議処理の説明は、上記図７に示した、テレビ電話会議処理と同様であるため省略する。

一方、携帯通信端末１ａとの間で無線による接続を確立し携帯通信端末１ａから画像情報および音声情報を受信した場合は、この受信した画像情報および音声情報が再生装置２にも出力されているか否かを判定する（Ｓ３４）。具体的には、上記したように携帯通信端末１ａは、有線通信部１９または第１近距離無線通信部１８を通じて再生装置２に画像情報および音声情報を送信する際、送信の成否を示す情報を通信選択部３８が入力出力データ処理部３３に通知している。そして、入力出力データ処理部３３は、上記通知を受信すると第２近距離無線通信部２０を通じて、携帯通信端末１ｂ…それぞれに該通知を送信するように構成されている。

したがって、携帯通信端末１ｂでは、近距離無線受付処理部４１が第２近距離無線通信部２０を介してこの通知を受信することができる。近距離無線受付処理部４１は、再生装置２に画像情報および音声情報の送信の成否を示す通知を受信すると、この通知を出力データ選択部４３に送信する。出力データ選択部４３は、近距離無線受付処理部４１から受信した通知に基づき、携帯通信端末１ａから再生装置２に画像情報および表示情報が送信されているか否かを判定する。

そして、このステップＳ３４における判定において、画像情報および音声情報を再生装置２に携帯通信端末１ａから出力していると判定した場合（Ｓ３４において「ＹＥＳ」）、出力データ選択部４３は、表示制御部４４に、当該携帯通信端末１ｂのユーザの画像情報を表示部２２に表示させるように指示する。

表示制御部４４は、出力データ選択部４３からの上記した指示を受信すると、撮像制御部４５に携帯通信端末１ｂのユーザの画像情報を取得するように指示する。この指示に応じて撮像制御部４５は、撮像部２２を制御してユーザの撮影を行い該ユーザの画像情報を取得する。そして、撮像制御部４５は取得した画像情報を表示制御部４４に送信し、該表示制御部４４はこの画像情報に基づく表示（自画像の表示）を表示部２２において行う（Ｓ４０）。

一方、携帯通信端末１ａから再生装置２に対して音声情報および画像情報を出力していない場合（ステップＳ３４において「ＮＯ」の場合）、携帯通信端末１ｂは、表示部２において、第２近距離無線通信部２０を介して近距離無線受付処理部４１が受信した画像情報に基づく表示を行う。また、この場合、携帯通信端末１ｂは、スピーカ２４から、第１近距離無線通信部２０を介して近距離無線受付処理部４１が受信した音声情報に基づく出力を行う（Ｓ３５）。

すなわち、出力データ選択部４３は、近距離無線受付処理部４１から受信した通知に基づき、携帯通信端末１ａから再生装置２に画像情報および表示情報が送信されていないと判定すると、近距離無線受付処理部４１に、携帯通信端末１ａから受信した画像情報および音声情報の出力を指示する。近距離無線受付処理部４１は、出力データ選択指示部４３からの指示に応じて、携帯通信端末１ａから受信した画像情報を表示制御部４４に送信する。そして、表示制御部４４が、表示部２２を制御して画像情報に基づく表示を行う。また、近距離無線受付処理部４１は、音声情報を携帯通信制御部１６に送信する。そして、携帯通信制御部１６は、オーディオＩ／Ｆ１５を制御してスピーカ２４から音声情報に基づく出力を行う。

このように本実施の携帯通信端末１ｂでは、携帯通信端末１ａから再生装置２に画像情報および音声情報が出力されていない場合、携帯通信端末１ａにおいて組み合わされた画像情報および音声情報それぞれを組み合わせた情報であるミキシング情報を、当該携帯通信端末１ｂの表示部２２およびスピーカ２４で出力することができる。

一方、携帯通信端末１ａから再生装置２に画像情報および音声情報が出力されている場合、当該携帯通信端末１ｂの表示部２２において該携帯通信端末１ｂのユーザの画像を表示させることができる。このように、ここまでのステップＳ３５までの処理によって、携帯通信端末１ｂは、携帯通信端末１ａとの間での接続を確立する。そして、表示部２２に当該携帯通信端末１ｂのユーザの画像もしくは携帯通信端末１ａから受信した画像情報を表示させるとともに、携帯通信端末１ｂから受信した音声情報を出力させてテレビ電話会議参加の準備を完了する。そして、携帯通信端末１ｂは、テレビ電話会議参加準備を終了すると、テレビ電話会議への参加処理を行う。

すなわち、携帯通信端末１ｂのユーザが、携帯通信端末１ａと携帯通信端末１ｃとの間で実施されているテレビ電話に参加するために、入力部２１を操作して該ユーザの画像および音声の入力の開始を指示する。そして、このユーザからの指示は、参加処理部４０の参加データ生成部４６に通知される。

参加データ生成部４６は、入力部２１から受信した指示に応じて、参加データ生成部４６は、携帯通信制御部１６に対してマイク２３を通じて入力されたユーザの音声を取得し送信するように指示する。さらに、参加データ生成部４６は、撮像制御部４５に対して、撮像部１７を起動させユーザの画像を取得し、送信するように指示する。

この参加データ生成部４６からの指示に応じて携帯通信制御部１６は、オーディオＩ／Ｆ１５を制御して、マイク２３から入力された音声を該参加データ生成部４６に送信する。また、この参加データ生成部４６からの指示に応じて、撮像制御部４５は、撮像部１７を起動させ、ユーザの画像を取得し、参加データ生成部４６に送信する。

このようにして携帯通信端末１ｂでは、当該携帯通信端末１ｂのユーザの画像および音声の入力を実行する（Ｓ３６）。

携帯通信端末１ｂのユーザの音声情報および画像情報を取得すると、参加データ生成部４６は、これらの情報を合わせて近距離無線受付処理部４１に送信し第２近距離無線通信部２０を通じて携帯通信端末１ａに送信するように指示する。

この参加データ生成部４６からの指示に応じて、近距離無線受付処理部４１は、携帯通信端末１ｂのユーザの画像情報および音声情報を、第２近距離無線通信部２０を制御して携帯通信端末１ａに送信する（Ｓ３７）。そして、次に携帯通信端末１ｂのユーザから処理終了を示す指示が入力された場合（Ｓ３８において「ＹＥＳ」）、参加処理を終了する。一方、ユーザから処理終了を示す指示が入力されていない場合（Ｓ３８において「ＮＯ」）、ステップＳ３３に戻って上記した処理を繰りかえし、ユーザから処理終了を指示する情報を受け付けるまで参加処理を続行する。

（第１近距離無線通信部および第２近距離無線通信部）
なお、上記したように本実施の形態に係る携帯通信端末１が備える第１近距離無線通信部１８および第２近距離無線通信部２０は、赤外線を利用した無線通信により接続を行うようになっている。特に、この無線通信方式には、転送速度が速い高速無線通信方式「ＩｒＳｉｍｐｌｅ」を用いている。

この「ＩｒＳｉｍｐｌｅ」は、赤外線通信ＩｒＤＡ方式のプロトコルを効率化させデータの転送速度を高速とすることができるため、赤外線通信ＩｒＤＡ方式のプロトコルを用いた赤外線通信よりも好適である。また、ＩｒＤＡ方式とも互換性があるため、通信相手が赤外線通信ＩｒＤＡ方式を採用している機種にも対応できる。

なお、本実施の形態に係る携帯通信端末１では、上記第１近距離無線通信部１８および第２近距離無線通信部２０に高速無線通信方式「ＩｒＳｉｍｐｌｅ」を用いているがこれに限定されるものではなく、例えば、他のＩｒＤＡ方式、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または無線ＬＡＮを利用することができる。しかしながら、本実施形態のテレビ電話会議のようにリアルタイムに画像および音声を再生装置２において再生する必要がある場合、携帯通信端末１と該再生装置２との間におけるデータ転送にかかる時間ができるだけ小さくなることが好ましい。また、携帯通信端末１は携帯されることを想定された設計となっているため、大容量のバッテリーを搭載することができない。このため、できるだけ、データの転送処理にかかる消費電力が小さくなる方が好ましい。

例えば、第１近距離無線通信部１８および第２近距離無線通信部２０において、ＩｒＳｉｍｐｌｅ方式、ＩｒＤＡ方式、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または無線ＬＡＮそれぞれを利用した場合についてデータの転送時間は図１０に示すようになる。図１０は、ＩｒＳｉｍｐｌｅ方式、ＩｒＤＡ方式、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または無線ＬＡＮそれぞれの通信方式における、最大通信レート、消費電力、送信距離、実効帯域、接続時間（秒）、転送時間(秒)、およびトータル転送時間（秒）それぞれの比較値を示す表である。

なお、図１０における物理階層規格ＩｒＤＡ１．３（ＳＩＲ）とは、赤外線通信に通信速度が最大１１５．２ｋｂｐｓ方式を利用した場合であり、ＩｒＤＡ１．３（ＦＩＲ）とは、赤外線通信に通信速度が最大４Ｍｂｐｓ方式を利用した場合である。また、ＩｒＳｉｍｐｌｅ方式も通信速度が最大１１５．２ｋｂｐｓの場合と最大４Ｍｂｐｓの場合とがある。

図１０を参照すると、第１近距離無線通信部１８および第２近距離無線通信部２０による通信距離が、１ｍ以内といった比較的近距離で行われる場合、画像情報および音声情報などのデータの転送にかかる合計時間および転送時の消費電力を考慮すると、本実施形態のようにＩｒＳｉｍｐｌｅ方式による通信方式が有利である。特に、接続処理にかかる時間（接続時間）が他の通信方式よりも短く、また消費電力が２００Ｗ程度である。

なお、第１近距離無線通信部１８および第２近距離無線通信部２０による通信が、１０ｍ以内といった距離で行う必要がある場合では、第１近距離無線通信部１８および第２近距離無線通信部２０は、Ｂｌｕｅｔｏｏｔｈ１．１による通信方式を採用することが好ましい。

このように、要求される通信距離とデータ転送にかかる時間とデータ転送に必要となる消費電力とを考慮して適切に第１近距離無線通信部１８および第２近距離無線通信部２０の通信方式が決定されることが好適である。

また、本実施の形態にかかる携帯通信端末１は、第１近距離無線通信部１８および第２近距離無線通信部２０がＩｒＳｉｍｐｌｅによる通信方式で行われる構成であった。ところで、赤外線通信では、接続先との間で指向性の制限があり、赤外線受発光部６０を接続相手の赤外線受発光部に向けて操作する必要がある。そこで、本実施の形態に係る携帯通信端末１では、当該携帯通信端末１の筐体において赤外線受発光部６０ａが、図１１のように、携帯通信端末１の筐体の外側の上端部分となるように配置されている。なお、筐体の外側とは、携帯通信端末１において表示部２２および入力部２１が配されている面とは逆側であり、上端部とは携帯通信端末１においてスピーカ２４が設けられている側である。

本実施の形態に係る携帯通信端末１では、このように赤外線受発光部６０ａが配されているため、例えば図１２（ａ）および図１２（ｂ）に示すような、携帯通信端末１の筐体内の上端面側に赤外線受発光部６０ｂが設けられる構成よりも、この赤外線受発光部６０ａの面積を大きくすることができる。このため、本実施形態に係る赤外線受光部６０ａの方が、図１２(ａ)及び図１２（ｂ）に示す赤外線受光部６０ｂよりも第１近距離無線通信部１８および第２近距離無線通信部２０による通信を安定して行うことができる。

なお、携帯通信端末１における赤外線受光部６０は、上記した配置位置に限定されるものではなく、例えば、図１３（ａ）および図１３（ｂ）に示すように配置される構成であってもよい。すなわち、図１３（ａ）および図１３（ｂ）に示すように、赤外線受光部６０ｃは、携帯通信端末１の筐体内の上端面側に設けられ、必要に応じて赤外線受光部６０ｃの端部が携帯通信端末１の筐体における外側面の一部に現れるように回転できる構成となっている。このように赤外線受光部６０ｃを回転可能な構成とすることにより、第１近距離無線通信部１８及び第２近距離無線通信部２０による接続における通信可能な範囲を拡大させることができる。

また、本実施の形態に係る携帯通信装置１では、音声情報および画像情報を送信する前に、有線による接続が確立されていることを確認した場合、通信選択部３８が有線による接続を優先して選択するように構成されていた。

しかしながらこれに限定されるものではなく、音声情報および画像情報を再生装置２に送信する前に、該再生装置２との間での接続を有線によって確立するのか、あるいは無線によって確立するのかユーザによって選択できるように構成されていてもよい。すなわち、通信選択部３８は、画像情報および音声情報を再生装置２に送信する前に、表示制御部３６に対して、再生装置２への接続を有線により確立するのか、あるいは無線により確立するのか問い合わせる表示を行うように指示する。

この通信選択部３８からの指示に応じて、表示制御部３６は、表示部２２に再生装置２への接続を有線により確立するのか、あるいは無線により確立するのか問い合わせる表示を行う。そして、ユーザがこの表示部２２における表示内容を確認し、入力部２１を操作して接続を確立する方法を指示する旨の情報を入力する。この入力部２１から入力された情報を受け付けると、通信選択部３８は、この情報によって指示された通信方法を選択して再生装置２との接続を確立させる。

なお、有線によるデータ伝送と無線によるデータ伝送とを比較した場合、有線によって画像情報および音声情報を伝送させる場合、画像情報用に画像信号信号線と音声情報用に音声信号信号線とのそれぞれ別々の信号線が必要となる。しかしながら、無線により音声情報および画像情報を伝送させる場合、このような別々の信号線に対応する信号波を設ける必要がなく、パケット単位で画像と音声とをそれぞれ分割して、同一信号波で伝送することができる。

また、本実施の形態に係る携帯通信装置１は、画像情報および音声情報を再生装置２に出力する構成であるが、再生装置２が表示機能のみを有し、別途スピーカが設けられている場合は、画像情報は再生装置２に送信し、音声情報はこの別途設けられたスピーカに送信する構成であってもよい。

なお、本実施の形態に係る携帯通信端末１ａは、携帯通信端末１ｃから受信した画像情報および音声情報と、携帯通信端末１ｂ…それぞれから受信した音声情報および画像情報を再生装置２に出力できる構成であったが、室内Ａに携帯通信端末１ａのみが存在する場合は、携帯通信端末１ｃから受信した音声情報および画像情報を再生装置２に出力する。

また、本実施の形態に係る携帯通信端末１ａは、携帯通信端末１ｃから受信した画像情報および音声情報と、携帯通信端末１ｂ…それぞれから受信した音声情報および画像情報を再生装置２に出力できる構成であったが、携帯通信端末１ｃから音声情報または画像情報のみを受信した場合、該音声情報または画像情報と、携帯通信端末１ｂ…それぞれから受信した音声情報または画像情報とを組み合わせて再生装置２に出力する構成であってもよい。

なお、本実施の形態に係る携帯通信端末１（携帯通信端末１ｂ）は、屋外Ｂにある携帯通信端末１ｃと通信している他の携帯通信端末１ａが再生装置２に対して、画像情報および音声情報を出力している場合、当該携帯通信端末１ｂのユーザの自画像を表示する構成であった（ステップＳ４０）。しかしながら、この構成に限定されるものではなく、例えば、携帯通信端末１ｂの消費電力を抑えるために、表示部２２の表示が非表示に切り替わる構成であってもよい。

また、本実施の形態に係る携帯通信端末１ａでは、屋外Ｂにある携帯通信端末１ｃから受信した画像情報および音声情報と、携帯通信端末１ｂから受信した画像情報および音声情報とをそれぞれ組み合わせて再生装置２に出力する場合、この出力に成功した場合は、当該携帯通信端末１ａのユーザの画像を表示部２２において表示させる構成であった。

しかしながら、携帯通信端末１ａのユーザの画像を表示部２２において表示させる代わりに、該表示部の表示を非表示に切り替える構成であってもよい。

なお、本実施の形態に係る携帯通信端末１ａが、屋外Ｂにある他の携帯通信端末１ｂとの間で音声情報および画像情報を送受信する構成であった。また、屋内Ａにある携帯通信端末１ｂから携帯通信端末１ａに画像情報および音声情報を送信する構成であった。さらには、携帯通信端末１ａから再生装置２に画像情報および音声情報を送信する構成でもあった。しかしながらこの伝送させるデータは、画像情報または音声情報のいずれか一方であってもよい。このため、例えば音声情報のみを伝送させる場合は、再生装置２において出力される音声を屋内Ａで共有することができる。

また、本実施の形態に係る携帯通信端末１は、下記の特徴を有するものとしてもよい。すなわち、他の携帯通信端末１（携帯通信端末１ｃ）と公衆回路網を通じてテレビ電話を行う携帯通信制御部１６と、上記テレビ電話により携帯通信端末１ｃから送信された画像情報および／または音声情報を近距離無線により出力する第１近距離無線通部１８と、これら画像情報および／または音声情報を出力先で再生可能となるように変換する出力画像処理部３５および／または出力音声処理部３６とを備え、第１近距離無線通信部１８は、出力画像処理部３５および／または出力音声処理部３６により変換した画像および／または音声を出力するように構成されていてもよい。

また、本実施の形態に係る携帯通信端末１ａは、上記した構成において、有線によって再生装置２と接続する有線通信部１９と、有線通信部１９による接続が有効となっているか否かを判定し、この判定結果に応じて、上記画像情報および／または音声情報の送信手段として、上記有線通信部１９または第１近距離無線通信部１８のいずれを選択するかを決定する通信選択部３８をさらに備える構成であることが好ましい。

また、上記携帯通信端末１ａは、他の携帯通信端末（携帯通信端末１ｃ）とテレビ電話を実行する際に、再生装置２と接続し、テレビ電話で取得した画像情報および音声情報を該再生装置２に出力する構成であってもよい。

また、本実施の形態に係る携帯通信端末１ａは、通信選択部３８が、有線通信部１９により再生装置２と通信可能に接続されたと判定した場合、該有線通信部１９により画像情報および音声情報を再生装置２に出力するように構成されていることが好ましい。

また、本実施の形態に係る携帯通信端末１ａは、音声情報および画像情報の通信手段として通信選択部３８が有線通信部１９または第１近距離無線通信部１８のいずれを選択しているかを示す情報を表示するように構成されていてもよい。

また、上記再生装置２と上記携帯通信端末装置１ａ・１ｂ…・１ｃとを備える通信システムにおいて、上記携帯通信端末１ａから画像情報および音声情報が上記再生装置２に送信中の場合、該携帯通信端末１ａおよび携帯通信端末１ｂ…それぞれは、自装置が備える表示部２２における表示を停止するように構成されていることが好ましい。

また、上記通信システムにおいて、上記携帯通信端末１ａから画像情報および音声情報を上記再生装置２に送信中、上記携帯通信端末１ｂおよび携帯通信端末１ｃそれぞれは、自装置が備えるスピーカ２４における音声の出力を停止することが好ましい。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

以上のように、本発明に係る表示装置は、以下の構成を有してもよい。

すなわち、本発明に係る通信装置は、公衆回路網を通じて画像情報および音声情報を送受信し、第１通信装置との間でテレビ電話による通話を行う通信装置であって、上記第１通信装置から受け付けた画像情報および音声情報を無線通信により出力する無線出力手段を備えた構成であってもよい。

上記構成によると、上記無線出力手段を備えているため、テレビ電話による通話先である第１通信装置から受け付けた画像情報および音声情報を出力させることができる。このため、例えば、テレビ受信機など、画像情報に基づく表示と音声情報に基づく音声出力とを行うことができる装置などに画像情報および音声情報を出力する場合、これら画像情報および音声情報を、再生装置を取り巻く複数のユーザ間で共有することができる。

また、上記無線出力手段が無線通信によって画像情報および音声情報を出力する構成である。このため、例えば有線通信によって出力する構成と比較してケーブルをつなげるなど操作上の煩雑性が生じたり、出力先に接続したケーブルによって当該通信装置が物理的に拘束されるなどの問題が生じたりすることを防ぎ、画像情報および音声情報をユーザフレンドリーに出力し利用することできる。

したがって、本発明に係る通信装置は、第１通信装置との間で送受信される画像情報および音声情報を、複数人で共有できるようにユーザフレンドリーに出力させることができるという効果を奏する。

また、本発明に係る通信装置は、上記した構成において、上記無線出力手段は、赤外線を利用した無線通信により画像情報および音声情報を出力するように構成されていることが好ましい。

上記構成によると、無線出力手段は、赤外線を利用した無線通信により画像情報および音声情報を出力するため、出力先との接続にかかる時間を低減させることができる。したがって、第１通信装置から受け付けた画像情報および音声情報を出力先で反応よく再生等行うことができる。

また、本発明に係る通信装置は、上記した構成において、上記第１通信装置から取得した画像情報および音声情報を有線通信により出力する有線出力手段と、画像情報および音声情報の出力先に対する、上記無線出力手段および有線出力手段による接続状況を判定する接続状況判定手段と、上記接続状況判定手段によって判定した結果に応じて、上記無線出力手段または有線出力手段のいずれかを選択する出力選択手段とを備えるように構成されていることが好ましい。

上記構成によると、有線出力手段を備えているため、有線通信により第１通信装置から受け付けた画像情報および音声情報を出力することができる。また、接続状況判定手段と出力選択手段を備えているため、有線出力手段および無線出力手段による出力先との接続状況に応じて、画像情報および音声情報を出力する通信方式として有線通信または無線通信を選択することができる。

このため、例えば、無線による通信を確立させることが困難な環境下では、有線により上記画像情報および音声情報を出力させるなど接続先との接続状況に応じて適切に出力することができる。

また、本発明に係る通信装置は、上記した構成において、上記接続状況判定手段が、有線出力手段により画像情報および音声情報の出力先と通信可能に接続していると判定した場合、上記出力選択手段は、画像情報および音声情報を出力する通信方式として有線通信を選択するように構成されていてもよい。

上記構成によると、有線出力手段により画像情報および音声情報の出力先と通信可能に接続していると判定した場合、通信方式として有線通信を選択する。すなわち、有線通信による接続準備がすでに完了している場合、無線通信よりも確度よく出力先に画像情報および音声情報を出力できる有線通信を選択することができる。

また、有線通信による接続準備がすでに完了していることを確認して、画像情報および音声情報の通信方式として有線通信を選択するため、ケーブルの接続や接続にかかる設定などの操作を省くことができ効率的に画像情報および音声情報を出力することができる。

また、本発明に係る通信装置は、上記した構成において、当該通信装置のユーザの画像情報を取得する撮像部と、画像情報に基づき画像を表示するための表示部と、上記無線出力手段または有線出力手段による、上記画像情報および音声情報の出力の成否を判定する出力成否判定手段とを備え、上記出力成否判定手段が、上記画像情報および音声情報の出力に成功したと判定した場合、上記撮像部により取得された画像情報に基づく画像を上記表示部に表示させるように構成されていることが好ましい。

上記構成によると、出力成否判定手段を備えているため、上記無線出力手段または有線出力手段による、画像情報および音声情報の出力の成否を判定することができる。また、この出力成否判定手段により、画像情報および音声情報の出力に成功したと判定される場合、撮像部により撮像された画像を表示部で表示させることができる。

このように、画像情報および音声情報の出力に成功した場合、撮像部により取得した当該通信装置のユーザの画像情報を表示部に表示させることにより、例えば、本発明に係る通信装置がユーザの画像および音声の入力用として機能するものであり、第１通信装置から受け付けた画像情報および音声情報は出力先にて再生されるというように、本発明に係る通信装置の役割を明示的に示すことができる。

また、本発明に係る通信装置は、上記した構成において、音声を出力する音声出力部をさらに備え、上記出力成否判定手段が、上記画像情報および音声情報の出力に成功しなかったと判定した場合、上記第１通信装置から取得した画像情報に基づく画像を上記表示部に表示させるとともに、該第１通信装置から取得した音声情報に基づく音声を音声出力部により出力することが好ましい。

上記構成によると、出力成否判定手段により、画像情報および音声情報の出力に成功しなかったと判定される場合、第１通信装置から取得した画像情報に基づく画像を上記表示部に表示させることができるとともに、音声情報を音声出力部により出力することができる。

ところで、画像情報および音声情報の出力に成功しなかった場合とは、これら画像情報および音声情報の出力先となる装置が存在しない場合、あるいは、出力先となる装置との接続を上手く確立できなかった場合などである。

このように、上記画像情報および音声情報の出力に成功しなかった場合、本発明に係る通信装置は自装置に備えられた表示部にこの画像情報を表示させるとともに、音声出力部から音声情報の出力を行うことができる。したがって、画像情報および音声情報を出力先に出力させることができない場合であっても、該画像情報および音声情報を出力させ、ユーザに提供することができる。

また、本発明に係る通信装置は、上記した構成において、音声の入力を受け付ける音声入力部と、音声を出力する音声出力部とをさらに備え、上記出力成否判定手段が、上記画像情報および音声情報の出力に成功しなかったと判定した場合、上記第１通信装置から受け付けた画像情報に基づく画像と撮像部により撮影された画像とを、上記表示部に表示させるとともに、上記第１通信装置から受け付けた音声情報と上記音声入力部により受け付けた当該通信装置のユーザの音声情報とを上記音声出力部により出力させる構成であってもよい。

上記構成によると、出力成否判定手段により、画像情報および音声情報の出力に成功しなかったと判定される場合、第１通信装置から受け付けた画像情報に基づく画像とともに撮像部により撮影された画像を、上記表示部に表示させることができる。

また、第１通信装置から取得した音声情報に基づく音声とともに音声入力部により受け付けた音声を、上記音声出力部で出力することができる。

ところで、画像情報および音声情報の出力に成功しなかった場合とは、これら画像情報および音声情報の出力先となる装置が存在しない場合、あるいは、出力先となる装置との接続を上手く確立できなかった場合などである。

このように、上記画像情報および音声情報の出力に成功しなかった場合、本発明に係る通信装置は自装置に備えられた表示部にて、第１通信装置から受け付けた画像情報とともに、自装置で撮影した画像情報の出力を行うことができる。また、本発明に係る通信装置は自装置に備えられた音声出力部にて、第１通信装置から受け付けた音声情報とともに、自装置で入力した音声情報の出力を行うことができる。

したがって、本発明に係る通信装置は、上記他の第１通信装置と当該通信装置との画像情報および音声情報を出力先に出力させることができない場合であっても、該画像情報および音声情報を自装置にて出力させることができ、ユーザに提供することができる。

また、本発明に係る通信装置は、上記した構成において、テレビ電話の通話先である上記第１通信装置とは異なる第２通信装置から画像情報および音声情報を受信する画像音声受信手段と、画像音声受信手段により受信した画像情報および音声情報と、上記第１通信装置から受信した画像情報および音声情報とを組み合わせる組み合わせ手段とを備え、上記無線出力手段または有線出力手段が、上記組み合わせ手段により組み合わせた音声情報と画像情報とを出力するように構成されていてもよい。

上記構成によると、組み合わせ手段を備えているため、第１通信装置から受信した画像情報および音声情報を、第２通信装置から受信した画像情報および音声情報と組み合わせることができる。例えば、第１通信装置から受信した画像情報と第２通信装置から受信した画像情報とを組み合わせるとは、両者の画像情報に基づく画像がそれぞれを同一表示領域において共に表示できるように画像情報を変換させることである。

また、例えば、第１通信装置から受信した音声情報と第２通信装置から受信した音声情報とを組み合わせるとは、両者の音声情報が発言された順に時系列に出力されるように音声情報が変換されることである。

このように本発明に係る通信装置は、組み合わせ手段を備えているため、第１通信装置により撮影された画像と第２通信装置により撮影された画像とを共に出力するとともに、第１通信装置から出力される音声と第２通信装置から出力される音声とを組み合わせて出力することができる。

したがって、本発明に係る通信装置は、第１通信装置と公衆回路網を介してテレビ電話を行うだけで、第２通信装置を含めた複数台によるテレビ電話を行うことができる。このため、この複数台によるテレビ電話は、本発明に係る通信装置と第１通信装置との間での通話料金だけで実現できるため、テレビ電話を実行するために必要となるコストを低減させることができる。

また、本発明に係る通信装置は、上記した構成において、テレビ電話の通話先である上記第１通信装置とは異なる第２通信装置から画像情報および音声情報を受信する画像音声受信手段と、画像音声受信手段により受信した画像情報および音声情報と、上記第１通信装置から受信した画像情報および音声情報と、上記撮像部により取得された画像情報および音声入力部により受け付けた音声情報とをそれぞれ組み合わせる組み合わせ手段とを備え、上記無線出力手段または有線出力手段が、上記組み合わせ手段により組み合わせた音声情報と画像情報とを出力するように構成されていてもよい。

上記構成によると、組み合わせ手段を備えているため、第１通信装置から受信した画像情報および音声情報、第２通信装置から受信した画像情報および音声情報、撮像部により取得した画像情報および音声入力部により受け付けた音声情報それぞれを組み合わせることができる。例えば、第１通信装置から受信した画像情報と第２通信装置から受信した画像情報と撮像部により取得した画像情報とを組み合わせるとは、これらの画像情報に基づく画像がそれぞれを同一表示領域において共に表示できるように画像情報を変換させることである。

また、例えば、第１通信装置から受信した音声情報と第２通信装置から受信した音声情報と音声入力部により受け付けた音声情報とを組み合わせるとは、これの音声情報が発言された順に時系列に出力されるように音声情報が変換されることである。

このように本発明に係る通信装置は、組み合わせ手段を備えているため、第１通信装置により撮影された画像、第２通信装置により撮影された画像、撮像部により撮影された画像それぞれを共に出力するとともに、第１通信装置から出力される音声、第２通信装置から出力される音声、音声入力部により受け付けた音声それぞれを組み合わせて出力することができる。

したがって、本発明に係る通信装置は、第１通信装置と公衆回路網を介してテレビ電話を行うだけで、第２通信装置を含めた複数台によるテレビ電話を行うことができる。このため、この複数台によるテレビ電話は、本発明に係る通信装置と第１通信装置との間での通話料金だけで実現できるため、テレビ電話を実行するために必要となるコストを低減させることができる。

本発明に係る通信装置は、上記した課題を解決するために、公衆回路網を通じて画像情報および音声情報を送受信し、第１通信装置との間でテレビ電話による通話を行う通信装置であって、上記第１通信装置から取得した画像情報または音声情報を無線通信により出力する無線出力手段と、上記第１通信装置とは異なる第２通信装置から画像情報または音声情報を受信する画像音声受信手段と、画像音声受信手段により受信した画像情報と上記第１通信装置から受信した画像情報とを、または画像音声受信手段により受信した音声情報と上記第１通信装置から受信した画像情報とを組み合わせる組み合わせ手段とを備え、上記無線出力手段は、上記組み合わせ手段により組み合わせた音声情報または画像情報を出力することを特徴とする。

上記構成によると、組み合わせ手段を備えているため、第１通信装置から受信した画像情報または音声情報を、第２通信装置から受信した画像情報または音声情報とを組み合わせることができる。例えば、第１通信装置から受信した画像情報と第２通信装置から受信した画像情報とを組み合わせるとは、両者の画像情報に基づく画像がそれぞれを同一表示領域において共に表示できるように画像情報を変換させることである。

また、例えば、第１通信装置から受信した音声情報と第２通信装置から受信した音声情報とを組み合わせるとは、両者の音声情報が発言された順に時系列に出力されるように音声情報が変換されることである。

このように本発明に係る通信装置は、組み合わせ手段を備えているため、第１通信装置により撮影された画像と第２通信装置により撮影された画像とを共に出力することができる。あるいは、第１通信装置から出力される音声と第２通信装置から出力される音声とを共に出力することもできる。

したがって、本発明に係る通信装置は、他の第１通信装置と公衆回路網を介してテレビ電話を行うだけで、他の第２通信装置を含めた複数台での音声または画像による通信を行うことができる。このため、この複数台によるテレビ電話は、本発明に係る通信装置と他の第１通信装置との間での通話料金だけで実現できるため、複数台での音声または画像による通信に必要となるコストを低減させることができる。

また、本発明に係る通信システムは、上記した課題を解決するために、第１通信装置から受け付けた画像情報および音声情報を無線通信により出力する無線出力手段と、上記第１通信装置から取得した画像情報および音声情報を有線通信により出力する有線出力手段と、画像情報および音声情報の出力先に対する、上記無線出力手段および有線出力手段による接続状況を判定する接続状況判定手段と、上記接続状況判定手段によって判定した結果に応じて、上記無線出力手段または有線出力手段のいずれかを選択する出力選択手段と、当該通信装置のユーザの画像情報を取得する撮像部と、画像情報に基づき画像を表示するための表示部と、上記無線出力手段または有線出力手段による、上記画像情報および音声情報の出力の成否を判定する出力成否判定手段と、音声の入力を受け付ける音声入力部と、音声を出力する音声出力部と、テレビ電話の通話先である上記第１通信装置とは異なる第２通信装置から画像情報および音声情報を受信する画像音声受信手段と、画像音声受信手段により受信した画像情報および音声情報と、上記第１通信装置から受信した画像情報および音声情報とを組み合わせる組み合わせ手段とを備える通信装置と、上記通信装置と公衆回路網を通じて画像情報および音声情報を送受信し、テレビ電話による通話を行う第１通信装置と、上記通信装置に画像情報および音声情報を送信する上記第１通信装置とは異なる第２通信装置と、上記第１通信装置から受信した画像情報および音声情報と、上記第２通信装置から受信した画像情報および音声情報とを、上記組み合わせ手段により組み合わせた組み合わせ情報を上記通信装置から受信し、受信した組み合わせ情報に基づき画像情報および音声情報を再生する再生装置とを備えることを特徴とする。

本発明に係る通信システムは、第１通信装置により撮影された画像と第２通信装置により撮影された画像とを共に出力するとともに、第１通信装置から出力される音声と第２通信装置から出力される音声とを共に出力することができる。このため、本発明に係る通信システムは、他の第１通信装置と公衆回路網を介してテレビ電話を行うだけで、他の第２通信装置を含めたテレビ電話を行うことができる。したがって、本発明に係る通信システムは、この複数台によるテレビ電話は、通信装置と他の第１通信装置との間での通話料金だけで実現できるため、テレビ電話を実行するために必要となるコストを低減させることができる。

また、本発明に係る通信システムは、上記した課題を解決するために、第１通信装置から受け付けた画像情報および音声情報を無線通信により出力する無線出力手段と、上記第１通信装置から取得した画像情報および音声情報を有線通信により出力する有線出力手段と、画像情報および音声情報の出力先に対する、上記無線出力手段および有線出力手段による接続状況を判定する接続状況判定手段と、上記接続状況判定手段によって判定した結果に応じて、上記無線出力手段または有線出力手段のいずれかを選択する出力選択手段と、当該通信装置のユーザの画像情報を取得する撮像部と、画像情報に基づき画像を表示するための表示部と、上記無線出力手段または有線出力手段による、上記画像情報および音声情報の出力の成否を判定する出力成否判定手段と、音声の入力を受け付ける音声入力部と、音声を出力する音声出力部と、テレビ電話の通話先である上記第１通信装置とは異なる第２通信装置から画像情報および音声情報を受信する画像音声受信手段と、画像音声受信手段により受信した画像情報および音声情報と、上記第１通信装置から受信した画像情報および音声情報と、上記撮像部により取得された画像情報および音声入力部により受け付けた音声情報とをそれぞれ組み合わせる組み合わせ手段とを備えた通信装置と、上記通信装置と公衆回路網を通じて画像情報および音声情報を送受信し、テレビ電話による通話を行う第１通信装置と、上記通信装置に画像情報および音声情報を送信する上記第１通信装置とは異なる第２通信装置と、上記第１通信装置から受信した画像情報および音声情報と、上記第２通信装置から受信した画像情報および音声情報と、上記撮像部により取得された画像情報および音声入力部により受け付けた音声情報とをそれぞれ上記組み合わせ手段により組み合わせた組み合わせ情報を上記通信装置から受信し、受信した組み合わせ情報に基づき画像情報および音声情報を再生する再生装置とを備えることを特徴とする。

本発明に係る通信システムは、第１通信装置により撮影された画像と第２通信装置により撮影された画像と、撮像により撮影された画像とを共に出力するとともに、第１通信装置から出力される音声と第２通信装置から出力される音声と音声入力部により受け付けた音声情報とを共に出力することができる。このため、本発明に係る通信システムは、第１通信装置と公衆回路網を介してテレビ電話を行うだけで、第２通信装置を含めたテレビ電話を行うことができる。したがって、本発明に係る通信システムは、この複数台によるテレビ電話は、通信装置と第１通信装置との間での通話料金だけで実現できるため、テレビ電話を実行するために必要となるコストを低減させることができる。

なお、上記通信装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記通信装置をコンピュータにて実現させる通信装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

すなわち、上記表示装置および上記表示方法は、下記の効果を奏するものとして説明できる。

本発明に係る通信装置は、以上のように、公衆回路網を通じて画像情報および音声情報を送受信し、第１通信装置との間でテレビ電話による通話を行う通信装置であって、上記第１通信装置から受け付けた画像情報および音声情報を無線通信により出力する無線出力手段を備える。

したがって、本発明に係る通信装置は、第１通信装置との間で送受信される画像情報および音声情報を、複数人で共有できるようにユーザフレンドリーに出力させることができるという効果を奏する。

本発明に係る通信装置は、以上のように、公衆回路網を通じて画像情報および音声情報を送受信し、第１通信装置との間でテレビ電話による通話を行う通信装置であって、上記第１通信装置から取得した画像情報または音声情報を無線通信により出力する無線出力手段と、上記第１通信装置とは異なる第２通信装置から画像情報または音声情報を受信する画像音声受信手段と、画像音声受信手段により受信した画像情報と上記第１通信装置から受信した画像情報とを、または画像音声受信手段により受信した音声情報と上記第１通信装置から受信した画像情報とを組み合わせる組み合わせ手段とを備え、上記無線出力手段は、上記組み合わせ手段により組み合わせた音声情報または画像情報を出力する。

したがって、本発明に係る通信装置は、他の第１通信装置と公衆回路網を介してテレビ電話を行うだけで、他の第２通信装置を含めた複数台での音声または画像による通信を行うことができる。このため、この複数台によるテレビ電話は、本発明に係る通信装置と他の第１通信装置との間での通話料金だけで実現できるため、複数台での音声または画像による通信に必要となるコストを低減させることができるという効果を奏する。

本発明に係る通信システムは、以上のように、第１通信装置から受け付けた画像情報および音声情報を無線通信により出力する無線出力手段と、上記第１通信装置から取得した画像情報および音声情報を有線通信により出力する有線出力手段と、画像情報および音声情報の出力先に対する、上記無線出力手段および有線出力手段による接続状況を判定する接続状況判定手段と、上記接続状況判定手段によって判定した結果に応じて、上記無線出力手段または有線出力手段のいずれかを選択する出力選択手段と、当該通信装置のユーザの画像情報を取得する撮像部と、画像情報に基づき画像を表示するための表示部と、上記無線出力手段または有線出力手段による、上記画像情報および音声情報の出力の成否を判定する出力成否判定手段と、音声の入力を受け付ける音声入力部と、音声を出力する音声出力部と、テレビ電話の通話先である上記第１通信装置とは異なる第２通信装置から画像情報および音声情報を受信する画像音声受信手段と、画像音声受信手段により受信した画像情報および音声情報と、上記第１通信装置から受信した画像情報および音声情報とを組み合わせる組み合わせ手段とを備える通信装置と、上記通信装置と公衆回路網を通じて画像情報および音声情報を送受信し、テレビ電話による通話を行う第１通信装置と、上記通信装置に画像情報および音声情報を送信する上記第１通信装置とは異なる第２通信装置と、上記第１通信装置から受信した画像情報および音声情報と、上記第２通信装置から受信した画像情報および音声情報とを、上記組み合わせ手段により組み合わせた組み合わせ情報を上記通信装置から受信し、受信した組み合わせ情報に基づき画像情報および音声情報を再生する再生装置とを備える。

本発明に係る通信システムは、第１通信装置により撮影された画像と第２通信装置により撮影された画像とを共に出力するとともに、第１通信装置から出力される音声と第２通信装置から出力される音声とを共に出力することができる。このため、本発明に係る通信システムは、他の第１通信装置と公衆回路網を介してテレビ電話を行うだけで、他の第２通信装置を含めたテレビ電話を行うことができる。したがって、本発明に係る通信システムは、この複数台によるテレビ電話は、通信装置と他の第１通信装置との間での通話料金だけで実現できるため、テレビ電話を実行するために必要となるコストを低減させることができるという効果を奏する。

また、本発明に係る通信システムは、以上のように、第１通信装置から受け付けた画像情報および音声情報を無線通信により出力する無線出力手段と、上記第１通信装置から取得した画像情報および音声情報を有線通信により出力する有線出力手段と、画像情報および音声情報の出力先に対する、上記無線出力手段および有線出力手段による接続状況を判定する接続状況判定手段と、上記接続状況判定手段によって判定した結果に応じて、上記無線出力手段または有線出力手段のいずれかを選択する出力選択手段と、当該通信装置のユーザの画像情報を取得する撮像部と、画像情報に基づき画像を表示するための表示部と、上記無線出力手段または有線出力手段による、上記画像情報および音声情報の出力の成否を判定する出力成否判定手段と、音声の入力を受け付ける音声入力部と、音声を出力する音声出力部と、テレビ電話の通話先である上記第１通信装置とは異なる第２通信装置から画像情報および音声情報を受信する画像音声受信手段と、画像音声受信手段により受信した画像情報および音声情報と、上記第１通信装置から受信した画像情報および音声情報と、上記撮像部により取得された画像情報および音声入力部により受け付けた音声情報とをそれぞれ組み合わせる組み合わせ手段とを備えた通信装置と、上記通信装置と公衆回路網を通じて画像情報および音声情報を送受信し、テレビ電話による通話を行う第１通信装置と、上記通信装置に画像情報および音声情報を送信する上記第１通信装置とは異なる第２通信装置と、上記第１通信装置から受信した画像情報および音声情報と、上記第２通信装置から受信した画像情報および音声情報と、上記撮像部により取得された画像情報および音声入力部により受け付けた音声情報とをそれぞれ上記組み合わせ手段により組み合わせた組み合わせ情報を上記通信装置から受信し、受信した組み合わせ情報に基づき画像情報および音声情報を再生する再生装置とを備える。

本発明に係る通信システムは、第１通信装置により撮影された画像と第２通信装置により撮影された画像と、撮像により撮影された画像とを共に出力するとともに、第１通信装置から出力される音声と第２通信装置から出力される音声と音声入力部により受け付けた音声情報とを共に出力することができる。このため、本発明に係る通信システムは、第１通信装置と公衆回路網を介してテレビ電話を行うだけで、第２通信装置を含めたテレビ電話を行うことができる。したがって、本発明に係る通信システムは、この複数台によるテレビ電話は、通信装置と第１通信装置との間での通話料金だけで実現できるため、テレビ電話を実行するために必要となるコストを低減させることができるという効果を奏する。

本発明に係る通信装置は、無線通信により第２通信装置から受信した画像情報および音声情報と、テレビ電話の通話先である第１通信装置から公衆回路網を通じて取得した画像情報および音声情報とを組み合わせて再生装置に出力することができる。このため、各人の通信装置を利用して異なる拠点に存在する複数人が参加可能なテレビ電話会議を行うために適用できる。

１ 携帯通信端末（通信装置・第１通信装置・第２通信装置）
１ａ 携帯通信端末（通信装置）
１ｂ 携帯通信端末（第２通信装置）
１ｃ 携帯通信端末（第１通信装置）
２ 再生装置
１７ 撮像部
１８ 第１近距離無線通信部（無線出力手段）
１９ 有線通信部（有線出力手段）
２０ 第２近距離無線通信部（画像音声受信手段）
２２ 表示部
２３ マイク（音声入力部）
２４ スピーカ（音声出力部）
３０ テレビ電話制御部
３３ 入出力データ処理部（画像音声受信手段）
３４ ミキシング部（組み合わせ手段）
３５ 出力画像処理部
３６ 出力音声処理部
３８ 通信選択部（無線出力手段・有線出力手段・接続状況判定手段・出力選択手段・出力成否判定手段）
４０ 参加処理部
４１ 近距離無線受付処理部
４２ 携帯通信実行判定部
４３ 出力データ選択部
１００ テレビ電話システム（通信システム）

Claims (7)

1. 公衆回路網を通じて画像情報および音声情報を送受信し、第１通信装置との間でテレビ電話による通話を行う通信装置であって、
   前記第１通信装置とは異なる第２通信装置から画像情報および音声情報を近距離無線通信にて受信する画像音声受信手段と、
   前記画像音声受信手段により受信した画像情報および音声情報と、前記第１通信装置から受信した画像情報および音声情報とを組み合わせる組み合わせ手段と、を備えることを特徴とする通信装置。
2. 前記第１通信装置から受け付けた画像情報および音声情報、あるいは前記組み合わせ手段により組み合わせた画像情報および音声情報を、近距離無線通信により出力する近距離無線出力手段を備えることを特徴とする請求項１に記載の通信装置。
3. 前記組み合わせ手段で作成した画像情報および音声情報を有線通信により出力する有線出力手段と、
   前記画像情報および音声情報の出力先に対する、前記近距離無線出力手段および有線出力手段による接続状況を判定する接続状況判定手段と、
   前記接続状況判定手段によって判定した結果に応じて、前記近距離無線出力手段または有線出力手段のいずれかを選択する出力選択手段とを備えることを特徴とする請求項２に記載の通信装置。
4. 前記近距離無線出力手段または有線出力手段による、前記画像情報および音声情報の出力の成否を判定する出力成否判定手段と、
   画像情報に基づき画像を表示するための表示部と、
   音声を出力する音声出力部とをさらに備え、
   前記出力成否判定手段が、前記画像情報および音声情報の出力に成功しなかったと判定した場合、前記第１通信装置から受け付けた画像情報、あるいは前記組み合わせ手段により組み合わせた画像情報に基づく画像を、前記表示部に表示させるとともに、該第１通信装置から受け付けた音声情報、あるいは前記組み合わせ手段により組み合わせた音声情報に基づく音声を前記音声出力部により出力させることを特徴とする請求項３に記載の通信装置。
5. 請求項２から４のいずれか１項に記載の通信装置と、
   前記通信装置と公衆回路網を通じて画像情報および音声情報を送受信し、テレビ電話による通話を行う第１通信装置と、
   前記通信装置と、近距離無線通信により画像情報および音声情報の送受信を行う、少なくとも１台以上の、前記第１通信装置とは異なる第２通信装置と、
   画像情報に基づく画像および音声情報に基づく音声を再生する再生装置とを備え、
   前記通信装置は、前記第１通信装置から受信した画像情報および音声情報、あるいは前記組み合わせ手段により組み合わせた組み合わせ情報を、前記近距離無線出力手段または有線出力手段のいずれかによって前記再生装置に出力することを特徴とする通信システム。
6. 請求項１〜４いずれか１項に記載の通信装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための通信装置の制御プログラム。
7. 請求項６に記載の通信装置の制御プログラムを記録したコンピュータの読取り可能な記録媒体。

Images