以下、図面を参照しながら、この発明の実施の形態について説明する。
図1は、実施の形態としての双方向コミュニケーションシステム10の構成例を示している。この双方向コミュニケーションシステム10は、複数(図1には2個のみ図示)のコミュニケーション端末装置100が、互いに、LAN(Local Area Network)、インターネット等のネットワーク200を介して接続されて構成されている。
図2は、コミュニケーション端末装置100における画像データ送信系の構成例を示している。すなわち、この図1においては、画像データの受信系、音声データの送信系、受信系については、図示が省略されている。このコミュニケーション端末装置100は、カメラ110と、端末本体120を備えている。
カメラ110は、制御部111と、撮像部112と、撮像信号処理部113を有している。制御部111は、カメラ110の各部の動作を制御する。この制御部111は、CPUで構成される。撮像部112は、図示しない撮像レンズおよび撮像素子を有しており、被写体を撮像して、当該被写体に対応した撮像信号を出力する。撮像素子は、CCD(Charged Coupled Device)あるいはCMOS(ComplementaryMetal-Oxide Semiconductor)等の撮像素子である。撮像信号処理部113は、撮像部112から出力される撮像信号(アナログ信号)のサンプルホールドおよび利得制御、アナログ信号からデジタル信号への変換、さらにホワイトバランス調整、ガンマ補正等を行って、画像データ(撮像画像データ)を出力する。
端末本体120は、制御部121、リモートコントロール信号受信部122(以下、「リモコン受信部122」という)と、画像圧縮部123と、不揮発性メモリ124と、画像切り替え部125と、パケタイズ部126と、通信インタフェース(通信I/F)127を有している。
制御部121は、端末本体120の各部の動作を制御する。この制御部121は、CPUで構成される。リモコン受信部122は、ユーザ操作に対応してリモートコマンダ170から発生される、例えば赤外線等のリモートコントロール信号を受信する。リモコン受信部122は、制御部121に接続されている。このリモコン受信部122は、受信したリモートコントロール信号に対応した操作信号を、制御部121に供給する。
画像圧縮部123は、カメラ110から出力される画像データを圧縮符号化する。この画像圧縮部123は、画像データに対して、例えば、ITU(International Telecommunication Union)によって標準化されたH.323等の所定規格に準拠した圧縮方式で圧縮処理を施し、圧縮画像データ(圧縮符号化された画像データ)を生成する。
不揮発性メモリ124は、記憶部を構成し、圧縮符号化されているミュート用画像データを記憶する。画像切り替え部125は、画像圧縮部123から出力される圧縮画像データ、または不揮発性メモリ124から読み出されるミュート用画像データを選択的に取り出す。パケタイズ部126は、画像切り替え部125で取り出される圧縮画像データを、所定フォーマットでパケット化する。通信インタフェース127は、パケタイズ部126で得られたパケットデータを、ネットワーク200を介して、他のコミュニケーション端末装置100に送信する。
図2に示すコミュニケーション端末装置100の画像データ送信系の動作を説明する。カメラ110の撮像部112により被写体が撮像される。例えば、双方向コミュニケーションシステム10がテレビ会議システムを構成している場合、被写体は会議参加者である。この撮像部112から出力される撮像信号(アナログ信号)は撮像信号処理部113に供給される。撮像信号処理部113では、当該撮像信号に対して、サンプルホールドおよび利得制御等のアナログ信号処理、A/D変換処理、さらにはホワイトバランス調整、ガンマ補正等のデジタル信号処理が施されて、画像データ(撮像画像データ)が生成される。
カメラ110の撮像信号処理部113で生成された画像データは、端末本体120の画像圧縮部123に供給される。画像圧縮部123では、画像データに対して圧縮処理が施され、圧縮画像データが生成される。この圧縮画像データは画像切り替え部125に供給される。
画像切り替え部125では、ミュート解除状態にあるとき、画像圧縮部123からの圧縮画像データ(撮像画像データ)が取り出される。一方、ミュート状態にあるとき、制御部121の制御により不揮発性メモリ124からミュート用画像データが読み出されて画像切り替え部125に供給され、画像切り替え部125では、当該ミュート用画像データが取り出される。
ミュート解除状態およびミュート状態のいずれにするかは制御部121により制御される。すなわち、ミュート解除状態で、リモートコマンダ170上のミュートボタンがユーザによって押圧操作され、リモコン受信部122でミュート制御用のリモートコントロール信号が受信されるとき、制御部121は、ミュートオン操作があったものと判定し、ミュート解除状態からミュート状態に切り替える。逆に、ミュート状態で、同様に、リモコン受信部122でミュート制御用のリモートコントロール信号が受信されるとき、制御部121は、ミュートオフ操作があったものと判定し、ミュート状態からミュート解除状態に切り替える。この場合、制御部121は、ミュート制御部を構成している。
画像切り替え部125で取り出された圧縮画像データはパケタイズ部126に供給される。パケタイズ部126では、圧縮画像データが、所定フォーマットによりパケット化される。パケタイズ部126でパケット化されて得られたパケットデータは、通信インタフェース127により、ネットワーク200を介して、他のコミュニケーション端末装置100に送信される。
この場合、ミュート解除状態にあるとき、他のコミュニケーション端末装置100には撮像画像データが送信され、当該他のコミュニケーション端末装置100のディスプレイには撮像画像が表示される。一方、ミュート状態にあるとき、他のコミュニケーション端末装置100にはミュート用画像データが供給され、当該他のコミュニケーション端末装置100のディスプレイにはミュート用画像が表示される。
図3は、図2に対応したコミュニケーション端末装置100の全体の構成例を示している。この図3において、図2と対応する部分には同一符号を付し、適宜、説明を省略する。このコミュニケーション端末装置100は、カメラ110と、端末本体120と、ディスプレイ130と、マイクロホン140と、スピーカ150と、外部入力端子160を備えている。
カメラ110は、制御部111と、撮像部112と、撮像信号処理部113を有している。制御部111は、カメラ110の各部の動作を制御する。撮像部112は、図示しない撮像レンズおよび撮像素子を有しており、被写体を撮像して、当該被写体に対応した撮像信号を出力する。撮像信号処理部113は、撮像部112から出力される撮像信号(アナログ信号)のサンプルホールドおよび利得制御、アナログ信号からデジタル信号への変換、さらにホワイトバランス調整、ガンマ補正等を行って、画像データ(撮像画像データ)を出力する。
端末本体120は、制御部121と、リモコン受信部122と、不揮発性メモリ124と、画像切り替え部125と、通信インタフェース(通信I/F)127と、画像圧縮/伸長部181と、パケタイズ/デパケタイズ部182と、表示処理部183と、音声ミュート部191と、A/D変換器192と、エコーキャンセラ193と、音声圧縮/伸長部194と、D/A変換器195を有している。
制御部121は、端末本体120の各部の動作を制御する。リモコン受信部122は、ユーザ操作に対応してリモートコマンダ170から発生される、例えば赤外線等のリモートコントロール信号を受信する。リモコン受信部122は、受信したリモートコントロール信号に対応した操作信号を、制御部121に供給する。
画像圧縮/伸長部181は、カメラ110から出力される画像データ、または、例えば、コンピュータ、あるいはDVD(Digital Versatile Disc)プレーヤ等の画像再生装置から外部入力端子160に入力された画像データに対して、例えば、ITUによって標準化されたH.323等の所定規格に準拠した圧縮方式によって圧縮処理を施し、圧縮画像データ(圧縮符号化された画像データ)を生成する。
この場合、画像圧縮/伸長部181は、ミュート解除状態にあって、撮像画像データを他のコミュニケーション端末装置100に送信する際には、カメラ110から出力される画像データに対して圧縮処理を施し、圧縮符号化された画像データを生成する。また、画像圧縮/伸長部181は、ミュート状態にあって、外部入力端子160に入力される画像データを、ミュート用画像データとして、他のコミュニケーション端末装置100に送信する際には、当該外部入力端子160に入力される画像データに対して、圧縮処理を施し、圧縮画像データを生成する。
また、画像圧縮/伸長部181は、ミュート用画像の登録時には、カメラ110から出力される画像データ、または外部入力端子160に入力される画像データに対して圧縮処理を施し、圧縮画像データを生成する。ここで、ミュート用画像の登録は、ユーザがリモートコマンダ170を操作することで行われる。
また、画像圧縮/伸長部181は、パケタイズ/デパケタイズ部182で再構成された、他のコミュニケーション端末装置100からの圧縮画像データに対して、伸長処理を施し、復号化された画像データ(受信画像データ)を生成する。
さらに、画像圧縮/伸長部181は、画像切り替え部125から出力される圧縮画像データに対して、適宜、伸長処理を施し、復号化された画像データ(送信画像データ)を生成する。
不揮発性メモリ124は、記憶部を構成し、ミュート用画像データを記憶する。ここで、不揮発性メモリ124には、予め、一個または複数個の、ミュート用画像データが記憶されている。また、この実施の形態においては、当該不揮発性メモリ124に、カメラ110から出力される画像データ、または外部入力端子160に入力される画像データを書き込み、所定個数のミュート用画像データを新たに登録できる。制御部121のミュート用画像の登録時における制御処理については後述する。
画像切り替え部125は、画像圧縮/伸長部181から出力される圧縮画像データ、または不揮発性メモリ124から読み出された圧縮符号化されたミュート用画像データを選択的に取り出し、パケタイズ/デパケタイズ部182に送出する。
この場合、画像切り替え部125は、ミュート解除状態にあって、撮像画像データを、他のコミュニケーション端末装置100に送信する際には、画像圧縮/伸長部181で生成される圧縮画像データを取り出す。また、画像切り替え部125は、ミュート状態にあって、不揮発性メモリ124に記憶されているミュート用画像データを他のコミュニケーション端末装置100に送信する際には、当該不揮発性メモリ124から読み出されるミュート用画像データを取り出す。
上述したように、不揮発性メモリ124には、複数個のミュート用画像データの記憶が可能とされている。この実施の形態においては、不揮発性メモリ124に複数個のミュート用画像データが記憶されている場合、使用すべきミュート用画像データを設定できる。制御部121のミュート用画像の設定時における制御処理については後述する。
また、画像切り替え部125は、ミュート状態にあって、外部入力端子160に入力される画像データを、ミュート用画像データとして、他のコミュニケーション端末装置100に送信する際には、画像圧縮/伸長部181で生成される圧縮画像データを取り出す。
パケタイズ/デパケタイズ部182は、画像切り替え部125で取り出される圧縮画像データ、およびが音声圧縮/伸長部194で得られる圧縮音声データを、所定フォーマットでパケット化し、得られたパケットデータを通信インタフェース127に送出する。また、パケタイズ/デパケタイズ部182は、通信インタフェース127で受信される、他のコミュニケーション端末装置100から送られてくるパケットデータから、圧縮画像データおよび圧縮音声データを抽出し、抽出された圧縮画像データを画像圧縮/伸長部181に送出し、抽出された圧縮音声データを音声圧縮/伸長部194に送出する。
通信インタフェース127は、パケタイズ/デパケタイズ部182で得られたパケットデータを、ネットワーク200を介して、他のコミュニケーション端末装置100に送信する。また、通信インタフェース127は、他のコミュニケーション端末装置100からネットワーク200を介して送られてくるパケットデータを受信し、パケタイズ/デパケタイズ部182に送出する。
表示処理部183には、カメラ110から出力される画像データ(撮像画像データ)、外部入力端子160に入力される画像データ、画像圧縮/伸長部181で得られる2つの復号化画像データ(受信画像データ、送信画像データ)が供給される。表示処理部183は、これらの画像データをそのままあるいは加工した後に、ディスプレイ130に供給する。
例えば、他のコミュニケーション端末装置100との間で通信中にあり、全画面表示を行う場合、表示処理部183は、画像圧縮/伸長部181で得られる受信画像データをそのままディスプレイ130に供給する。この場合、ディスプレイ130には、他のコミュニケーション端末装置100から受信された画像データによる画像が全画面表示される。
また、例えば、他のコミュニケーション端末装置100との間で通信中にあり、2画面表示を行う場合、表示処理部183は、画像圧縮/伸長部181で得られる受信画像データ、送信画像データに基づいて、これら2つの画像データに係る画像を同一画面上に並べて表示するための新たな画像データを生成し、当該新たな画像データをディスプレイ130に供給する。この場合、ディスプレイ130には、他のコミュニケーション端末装置100から受信された画像データによる画像、および他のコミュニケーション端末装置100に送信される画像データによる画像が、並べて表示される。
また、例えば、ミュート用画像の登録時には、表示処理部183は、カメラ110から出力される画像データ(撮像画像データ)または外部入力端子160に入力される画像データをそのままディスプレイ130に供給する。この場合、ディスプレイ130には、不揮発性メモリ124に書き込まれる画像データによる画像が表示される。
また、例えば、ミュート用画像の設定時には、表示処理部183は、画像圧縮/伸長部181で得られる送信画像データをそのままディスプレイ130に供給する。この場合、ディスプレイ130には、不揮発性メモリ124から読み出されるミュート画像データによる画像が表示される。
音声ミュート部191は、マイクロホン140とA/D変換器192との間に配置される。音声ミュート部191は、ミュート解除状態では、マイクロホン140からA/D変換器192に供給される音声信号のレベルを減衰させない。一方、音声ミュート部191は、ミュート状態では、マイクロホン140からA/D変換器192に供給される音声信号のレベルを減衰させる。
A/D変換器192は、マイクロホン140から供給される音声信号(アナログ信号)をデジタル信号に変換する。エコーキャンセラ193は、音声圧縮/伸長部194で得られる復号化音声データに基づいて補正信号を生成し、A/D変換器192で得られる音声データを、当該補正信号により補正して、通話品質を確保する。
音声圧縮/伸長部194は、A/D変換器192からエコーキャンセラ193で補正された音声データ(送信音声データ)に対して、上述した画像データと同様に、H.323等の所定規格に準拠した圧縮方式の圧縮処理を施し、圧縮音声データを生成する。また、音声圧縮/伸長部194は、パケタイズ/デパケタイズ部182で再構成された、他のコミュニケーション端末装置100からの圧縮音声データに対して、伸長処理を施し、復号化された音声データ(受信音声データ)を生成する。
図3に示すコミュニケーション端末装置100の通信時の動作を説明する。まず、送信系の動作を説明する。
カメラ110の撮像部112により被写体が撮像される。例えば、双方向コミュニケーションシステム10(図1参照)がテレビ会議システムを構成している場合、被写体は会議参加者である。この撮像部112から出力される撮像信号(アナログ信号)は撮像信号処理部113に供給される。撮像信号処理部113では、当該撮像信号に対して、サンプルホールドおよび利得制御等のアナログ信号処理、A/D変換処理、さらにはホワイトバランス調整、ガンマ補正等のデジタル信号処理が施されて、画像データ(撮像画像データ)が生成される。
カメラ110の撮像信号処理部113で生成された画像データは、端末本体120の画像圧縮/伸長部181に供給される。また、外部入力端子160に入力される、コンピュータ、画像再生装置等からの画像データも、画像圧縮/伸長部181に供給される。
この画像圧縮/伸長部181以降の画像送信系の動作を、ミュート解除状態およびミュート状態に場合分けして説明する。
まず、ミュート解除状態にある場合について説明する。画像圧縮/伸長部181では、カメラ110からの画像データ(撮像画像データ)に対して圧縮処理が施され、圧縮画像データが生成される。そして、この圧縮画像データは画像切り替え部125を介してパケタイズ/デパケタイズ部182に供給される。
次に、ミュート状態にあり、外部入力端子160に入力される画像データをミュート用画像データとして用いる場合について説明する。画像圧縮/伸長部181では、外部入力端子160に入力される画像データに対して圧縮処理が施され、圧縮画像データが生成される。そして、この圧縮画像データは画像切り替え部125を介してパケタイズ/デパケタイズ部182に供給される。
また、ミュート状態にあり、不揮発性メモリ124に記憶されているミュート用画像データを用いる場合について説明する。この場合、画像圧縮/伸長部181では圧縮処理は行われない。不揮発性メモリ124からは、制御部121の制御により、予め使用すべきミュート用画像データとして設定されている所定のミュート用画像データが読み出される。そして、このミュート用画像データは画像切り替え部125を介してパケタイズ/デパケタイズ部182に供給される。
なお、ミュート状態において、外部入力端子160に入力される画像データおよび不揮発性メモリ124に記憶されているミュート用画像データのいずれを使用するかは、ユーザは、リモートコマンダ170による操作により、適宜、変更可能とされている。
また、マイクロホン140から出力される音声信号は音声ミュート部191を介してA/D変換器192に供給されて、アナログ信号からデジタル信号に変換される。音声ミュート部191は、マイクロホン140とA/D変換器192との間に配置される。音声ミュート部191において、マイクロホン140からA/D変換器192に供給される音声信号のレベルは、ミュート解除状態にあるときは減衰されないが、ミュート状態にあるときは減衰される。
A/D変換器192で得られる音声データはエコーキャンセラ193を介して音声圧縮/伸長部194に供給される。この音声圧縮/伸長部194では、音声データ(送信音声データ)に対して圧縮処理が施され、圧縮音声データが生成される。そして、この圧縮音声データがパケタイズ/デパケタイズ部182に供給される。
パケタイズ/デパケタイズ部182では、画像切り替え部125から供給される圧縮画像データおよび音声圧縮/伸長部194から供給される圧縮音声データが、所定フォーマットでパケット化され、得られたパケットデータは、通信インタフェース127により、ネットワーク200を介して、他のコミュニケーション端末装置100に送信される。
これにより、ミュート解除状態にあるとき、他のコミュニケーション端末装置100には、カメラ110から出力される画像データ(撮像画像データ)が供給され、当該画像データによる画像が表示される。また、ミュート解除状態にあるとき、他のコミュニケーション端末装置100には、マイクロホン140からの音声信号がレベル減衰されずに供給され、当該音声信号による音声が出力される。
一方、ミュート状態にあるとき、他のコミュニケーション端末装置100には、外部入力端子160に入力される画像データ、あるいは不揮発性メモリ124から読み出されるミュート用画像データが供給され、当該画像データによるミュート用画像が表示される。また、ミュート状態にあるとき、他のコミュニケーション端末装置100には、マイクロホン140からの音声信号がレベル減衰されて供給され、音声はミューティングされる。
ここで、ミュート解除状態およびミュート状態のいずれにするかは制御部121により制御される。すなわち、ミュート解除状態で、リモートコマンダ170上のミュートボタンがユーザによって押圧操作され、リモコン受信部122でミュート制御用のリモートコントロール信号が受信されるとき、制御部121は、ミュートオン操作があったものと判定し、ミュート解除状態からミュート状態に切り替える。逆に、ミュート状態で、同様に、リモコン受信部122でミュート制御用のリモートコントロール信号が受信されるとき、制御部121は、ミュートオフ操作があったものと判定し、ミュート状態からミュート解除状態に切り替える。
図4のフローチャートは、制御部121におけるミュート制御処理を示している。制御部121は、ステップST1において、処理を開始し、その後に、ステップST2に移る。なお、初期状態では、ミュート解除状態にあるものとする。ステップST2において、制御部121は、ミュートオン操作があったか否かを判定する。
ミュートオン操作があったと判定するとき、制御部121は、ステップST3において、音声をミュートする。つまり、制御部121は、音声ミュート部191を制御し、マイクロホン140からA/D変換器192に供給される音声信号のレベルを減衰させる。
そして、制御部121は、ステップST4において、撮像画像からミュート用画像に切り替える。つまり、制御部121は、外部入力端子160に入力される画像データをミュート用画像データとして用いるときは、画像圧縮/伸長部181では外部入力端子160に入力される画像データに対して圧縮処理が施され、画像切り替え部125では画像圧縮/伸長部181で得られた圧縮画像データが取り出されるように制御する。また、制御部は、不揮発性メモリ124に記憶されているミュート用画像データを用いるときは、不揮発性メモリ124からミュート用画像データが読み出され、画像切り替え部125では不揮発性メモリ124から読み出されたミュート用画像データが取り出されるように制御する。
次に、制御部121は、ステップST5において、ミュートオフ操作があったか否かを判定する。ミュートオフ操作があったとき、制御部121は、ステップST6において、音声ミュートを解除する。つまり、制御部121は、音声ミュート部191を制御し、マイクロホン140からA/D変換器192に供給される音声信号のレベルを減衰させないようにする。
そして、制御部121は、ステップST7において、ミュート用画像から撮像画像に切り替える。つまり、制御部121は、画像圧縮/伸長部181ではカメラ110から出力される画像データに対して圧縮処理が施され、画像切り替え部125では画像圧縮/伸長部181で得られた圧縮画像データが取り出されるように制御する。
制御部121は、ステップST7の処理の後、ステップST2に戻る。これにより、リモートコマンダ170上のミュートボタンがユーザによって押圧操作され、リモコン受信部122でミュート制御用のリモートコントロール信号が受信される毎に、コミュニケーション端末装置100は、制御部121の制御により、交互に、ミュート解除状態またはミュート状態とされる。
次に、受信系の動作を説明する。
通信インタフェース127で受信される、他のコミュニケーション端末装置100からネットワーク200を介して送られてくるパケットデータは、パケタイズ/デパケタイズ部182に供給される。パケタイズ/デパケタイズ部182では、通信インタフェース127から供給されるパケットデータから、圧縮画像データおよび圧縮音声データが抽出され、圧縮画像データは画像圧縮/伸長部181に供給され、圧縮音声データは音声圧縮/伸長部194に供給される。
画像圧縮/伸長部181では、パケタイズ/デパケタイズ部182から供給される圧縮画像データに対して伸長処理が施され、復号化された画像データ(受信画像データ)が生成される。この画像データは、表示処理部183に供給される。そして、ディスプレイ130に全画面表示が行われる場合には、表示処理部183からディスプレイ130に、画像圧縮/伸長部181で得られる受信画像データがそのまま供給され、ディスプレイ130には、他のコミュニケーション端末装置100からの受信画像データによる画像が全画面表示される。
また、ディスプレイ130に2画面表示が行われる場合には、画像圧縮/伸長部181では、画像切り替え部125から出力される圧縮画像データに対して伸長処理が施され、復号化された画像データ(送信画像データ)が生成される。この場合、表示処理部183では、画像圧縮/伸長部181で得られる受信画像データ、送信画像データに基づいて、これら2つの画像データに係る画像を同一画面上に並べて表示するための新たな画像データが生成される。そして、表示処理部183からディスプレイ130には当該新たな画像データが供給され、ディスプレイ130には、他のコミュニケーション端末装置100からの受信画像データによる画像、および他のコミュニケーション端末装置100に送信される送信画像データによる画像が、並べて表示される。
図5(a)(b)は、図3に示すように構成されている端末装置Aと端末装置Bの間で通信を行っている場合における、各端末装置のディスプレイ130の表示例を示している。図5(a)は、全画面表示の例であって、端末装置Aおよび端末装置Bのいずれも、ミュート解除状態にある場合を示している。この場合、端末装置Aおよび端末装置Bのいずれにおいても、ディスプレイ130には、互いに相手側の撮像画像が表示される。
また、図5(b)は、全画面表示の例であって、端末装置Bはミュート解除状態にあるが、端末装置Aはユーザのリモートコマンダ170の操作により、ミュート状態とされた場合を示している。この場合、端末装置Aのディスプレイ130には端末装置Bの撮像画像が表示されるが、端末装置Bのディスプレイ130にはミュート用画像が表示される。
また、図6(a)(b)も、図3に示すように構成されている端末装置Aと端末装置Bの間で通信を行っている場合における、各端末装置のディスプレイ130の表示例を示している。図6(a)は、2画面表示の例であって、端末装置Aおよび端末装置Bのいずれも、ミュート解除状態にある場合を示している。この場合、端末装置Aおよび端末装置Bのいずれにおいても、ディスプレイ130には、相手側の撮像画像(大きな画像)および自分の撮像画像(小さな画像)が表示される。
また、図6(b)は、全画面表示の例であって、端末装置Bはミュート解除状態にあるが、端末装置Aはユーザのリモートコマンダ170の操作により、ミュート状態とされた場合を示している。この場合、端末装置Aのディスプレイ130には端末装置Bの撮像画像(大きな画像)およびミュート用画像(小さな画像)が表示され、端末装置Bのディスプレイ130にはミュート用画像(大きな画像)および自分の撮像画像(小さな画像)が表示される。
また、音声圧縮/伸長部194では、パケタイズ/デパケタイズ部182から供給される圧縮音声データに対して伸長処理が施され、復号化された音声データ(受信音声データ)が生成される。この受信音声データは、エコーキャンセラ193を介してD/A変換器195に供給され、デジタル信号からアナログ信号に変換される。そして、このD/A変換器195から出力される受信音声信号はスピーカ150に供給される。これにより、スピーカ150から、受信音声信号による音声が出力される。
次に、図3に示すコミュニケーション端末装置100のミュート画像の登録時の動作を説明する。上述したように、不揮発性メモリ124に、カメラ110から出力される画像データ、または外部入力端子160に入力される画像データを書き込み、所定個数のミュート用画像データを新たに登録できる。
図7のフローチャートは、制御部121におけるミュート用画像登録時における制御処理を示している。この場合、制御部121は、ミュート用画像登録部を構成する。
まず、制御部121は、ステップST11において、ユーザのミュート用画像の登録開始操作に基づいて、処理を開始し、その後に、ステップST12に移る。そして、制御部121は、ステップST12において、ユーザにより、ミュート用画像として登録する画像として、外部入力画像または撮像画像が選択されると、ステップST13に移る。このステップST13において、制御部121は、選択された画像をディスプレイ130に表示する。
この場合、ステップST12で外部入力画像が選択されたときは、表示処理部183からディスプレイ130に、外部入力端子160に入力される画像データが供給されるように制御され、ディスプレイ130には外部入力画像が表示される。また、ステップST12で撮像画像が選択されたときは、表示処理部183からディスプレイ130に、カメラ110から出力される画像データ(撮像画像データ)が供給されるように制御され、ディスプレイ130には撮像画像が表示される。このようにディスプレイ130に外部入力画像または撮像画像が表示されることで、ユーザは、ミュート用画像として登録される外部入力画像または撮像画像を予め確認できる。
次に、制御部121は、ステップST14において、ユーザによる決定操作があったか否かを判定する。決定操作がないとき、制御部121は、ステップST15において、ユーザによるキャンセル操作があったか否かを判定する。キャンセル操作がないとき、制御部121は、ステップST14に戻る。
ステップST14において、決定操作があったとき、制御部121は、ステップST16に移る。このステップST16において、制御部121は、1フレーム分の画像データをミュート用画像データとして、不揮発性メモリ124に書き込む。この場合、ステップST12で外部入力画像が選択されたときは、画像圧縮/伸長部181では外部入力端子160に入力される画像データに対して圧縮処理が施され、得られた圧縮画像データが不揮発性メモリ124に書き込まれる。また、ステップST12で撮像画像が選択されたときは、画像圧縮/伸長部181ではカメラ110から出力される画像データ(撮像画像データ)に対して圧縮処理が施され、得られた圧縮画像データが不揮発性メモリ124に書き込まれる。
制御部121は、ステップST16の処理の後、ステップST17において、処理を終了する。なお、制御部121は、ステップST15でキャンセル操作があったとき、直ちに、ステップST17に移り、処理を終了する。
次に、図3に示すコミュニケーション端末装置100のミュート画像の設定時の動作を説明する。上述したように、不揮発性メモリ124には、複数個のミュート用画像データの記憶が可能とされており、使用すべきミュート用画像データを設定できる。
図8のフローチャートは、制御部121におけるミュート用画像設定時における制御処理を示している。この場合、制御部121は、ミュート用画像設定部を構成する。
まず、制御部121は、ステップST21において、ユーザのミュート用画像の設定開始操作に基づいて、処理を開始し、その後、ステップST22において、N=1に設定する。そして、制御部121は、ステップST23において、不揮発性メモリ124からN番目のミュート用画像データを読み出し、ディスプレイ130に表示する。この場合、不揮発性メモリ124から読み出されるN番目のミュート用画像データは画像切り替え部125を介して画像圧縮/伸長部181に供給されて伸長処理が施され、得られた画像データが表示処理部183からディスプレイ130に供給されるように制御される。これにより、ディスプレイ130には、N番目のミュート用画像によるミュート画像が表示される。これにより、ユーザは、N番目のミュート用画像による画像を予め確認できる。
次に、制御部121は、ステップST24において、ユーザによる決定操作があったか否かを判定する。決定操作がないとき、制御部121は、ステップST25において、次指定操作があったか否かを判定する。次指定操作がないとき、制御部121は、ステップST24に戻る。
ステップST25で、次指定操作があったとき、制御部121は、ステップST26において、Nの値を1だけ増加する。そして、制御部121は、ステップST27において、NがNmaxより大きいか否かを判定する。ここで、Nmaxは、不揮発性メモリ124に記憶されているミュート用画像データの個数を示している。制御部121は、NがNmaxより大きくないときはNの値をそのままとし、一方、NがNmaxより大きいときは、ステップST28において、N=1として、ステップST23に戻る。
ステップST24で、決定操作があったとき、制御部121は、ステップST29において、N番目のミュート用画像を、使用すべきミュート用画像に設定する。制御部121は、このステップST29の処理の後、ステップST30において、処理を終了する。
なお、図3に示すコミュニケーション端末装置100においては、画像ミュートの有効または無効、すなわち、画像ミュートの音声ミュートとの連動を有効にするか無効にするかを設定することができる。画像ミュートの音声ミュートとの連動が有効に設定されているとき、上述したように、ユーザによるミュートオン操作に対応して、音声ミュートおよび画像ミュートがオン状態となる。一方、画像ミュートの音声ミュートとの連動が無効に設定されているとき、ユーザによるミュートオン操作に対応して音声ミュートがオン状態となっても、画像ミュートはオフ状態のままとなる。
図9のフローチャートは、制御部121における、画像ミュートの音声ミュートとの連動設定時における制御処理を示している。この場合、制御部121は、画像ミュート設定部を構成する。
まず、制御部121は、ステップST41において、ユーザの設定開始操作に基づいて、処理を開始し、その後に、ステップST42に移る。このステップST42において、制御部121は、ユーザによる画像ミュート設定操作(画像ミュートの音声ミュートとの連動設定操作)があるか否かを判定する。画像ミュート設定操作があったとき、制御部121は、ステップST43において、音声ミュートとの連動が有効になっているか否かを判定する。音声ミュートとの連動が有効になっているとき、制御部121は、ステップST44において、音声ミュートとの連動を無効に設定し、その後に、ステップST45において、処理を終了する。一方、ステップST43で音声ミュートとの連動が無効になっているとき、制御部121は、ステップST46において、音声ミュートとの連動を有効に設定し、その後に、ステップST45において、処理を終了する。
画像ミュートが有効に設定されている場合、上述したように、ミュート状態にあっては、他のコミュニケーション端末装置100には、外部入力端子160に入力される画像データ、あるいは不揮発性メモリ124から読み出されるミュート用画像データが供給され、当該画像データによるミュート用画像が表示されると共に、他のコミュニケーション端末装置100には、マイクロホン140からの音声信号がレベル減衰されて供給され、音声はミューティングされる。
これに対して画像ミュートが無効に設定されている場合、ミュート状態にあっても、画像のミューティングは行われない。つまり、この場合、他のコミュニケーション端末装置100には、カメラ110から出力される画像データ(撮像画像データ)が供給され、当該画像データによる撮像画像が表示される。なお、この場合、他のコミュニケーション端末装置100には、マイクロホン140からの音声信号がレベル減衰されて供給され、音声はミューティングされる。
上述したように、図2、図3に示すコミュニケーション端末装置100においては、ユーザは、リモートコマンダ170上で画像ミュートの操作を行うことができ、わざわざカメラ位置まで行ってシャッターを操作することなどが必要でなく、画像ミュートのオンオフを頻繁に行う場合にあっても、画像ミュートの操作を簡単に行うことができる。
また、図2、図3に示すコミュニケーション端末装置100においては、不揮発性メモリ124に、外部入力端子160に入力される画像データまたはカメラ110から出力される画像データを不揮発性メモリ124にミュート用画像データとして書き込み、ミュート用画像を追加登録できる。したがって、ミュート状態で他のコミュニケーション端末装置100に送るミュート用画像として、例えばコンピュータで作成された画像、DVDプレーヤ等の画像再生装置で再生された画像、あるいは撮像画像など、種々の画像が使用可能となる。
また、図2、図3に示すコミュニケーション端末装置100においては、不揮発性メモリ124に記憶されている複数種類のミュート用画像データから、ユーザの選択操作に基づいて、使用すべきミュート用画像データを選択できる。したがって、ユーザは、複数種類のミュート用画像データから任意の画像データを選択して使用できる。
また、図2、図3に示すコミュニケーション端末装置100においては、端末本体120に撮像画像データまたはミュート用画像データを選択的に取り出す画像切り替え部125を有するようにされ、端末本体125の制御部121が、ミュート解除状態、あるいはミュート状態に応じて、当該画像切り替え部125を制御するものである。つまり、制御部121は、自身と同じ端末本体120に存在する画像切り替え部125の切り替え動作を制御するものであり、画像切り替えの制御系の構成が簡単となる。
また、図2、図3に示すコミュニケーション端末装置100においては、不揮発性メモリ124にはミュート用画像データとして圧縮画像データ(圧縮符号化された画像データ)が記憶されるものである。したがって、ミュート状態にあって、この不揮発性メモリ124からミュート用画像データを読み出して用いる場合、画像圧縮/伸長部181における圧縮処理(圧縮符号化動作)を停止でき、端末本体120における処理負荷を軽減でき、また省電力化を図ることができる。
また、図2、図3に示すコミュニケーション端末装置100においては、ユーザは、リモートコマンダ170上でミュートの操作を行うことで、画像と音声を同時にミュートすることができ、ユーザの操作手間を軽減できる。
また、図2、図3に示すコミュニケーション端末装置100においては、画像ミュートの有効または無効を設定できる。したがって、ユーザは、音声ミュートと同時に、画像ミュートを行い得るか否かを自由に設定できる。
次に、コミュニケーション端末装置100における画像データ送信系の他の構成例を説明する。図10は、コミュニケーション端末装置100における画像データ送信系の他の構成例を示している。すなわち、この図10においても、図2と同様に、画像データの受信系、音声データの送信系、受信系については、図示が省略されている。このコミュニケーション端末装置100は、カメラ110Aと、端末本体120Aを備えている。この図10において、図2と対応する部分には同一符号を付し、適宜、その説明を省略する。
カメラ110Aは、制御部111と、撮像部112と、撮像信号処理部113と、不揮発性メモリ114と、画像切り替え部115を有している。制御部111は、カメラ110Aの各部の動作を制御する。この制御部111は、CPUで構成される。撮像部112は、図示しない撮像レンズおよび撮像素子を有しており、被写体を撮像して、当該被写体に対応した撮像信号を出力する。撮像信号処理部113は、撮像部112から出力される撮像信号(アナログ信号)のサンプルホールドおよび利得制御、アナログ信号からデジタル信号への変換、さらにホワイトバランス調整、ガンマ補正等を行って、画像データ(撮像画像データ)を出力する。
不揮発性メモリ114は、記憶部を構成し、ミュート用画像データを記憶する。画像切り替え部115は、撮像信号処理部113から出力される画像データ(撮像画像データ)、または不揮発性メモリ114から読み出されるミュート用画像データを選択的に取り出し、カメラ110Aの出力とする。
端末本体120Aは、制御部121、リモコン受信部122と、画像圧縮部123と、パケタイズ部126と、通信インタフェース(通信I/F)127を有している。制御部121は、端末本体120Aの各部、さらにはカメラ110Aの動作を制御する。この制御部121は、CPUで構成される。リモコン受信部122は、ユーザ操作に対応してリモートコマンダ170から発生される、例えば赤外線等のリモートコントロール信号を受信する。リモコン受信部122は、制御部121に接続されている。このリモコン受信部122は、受信したリモートコントロール信号に対応した操作信号を、制御部121に供給する。
画像圧縮部123は、カメラ110Aから出力される画像データを圧縮符号化する。この画像圧縮部123は、画像データに対して、例えば、ITUによって標準化されたH.323等の所定規格に準拠した圧縮方式で圧縮処理を施し、圧縮画像データ(圧縮符号化された画像データ)を生成する。パケタイズ部126は、画像圧縮部123で生成される圧縮画像データを、所定フォーマットでパケット化する。通信インタフェース127は、パケタイズ部126で得られたパケットデータを、ネットワーク200を介して、他のコミュニケーション端末装置100に送信する。
図10に示すコミュニケーション端末装置100の画像データ送信系の動作を説明する。カメラ110Aの撮像部112により被写体が撮像される。例えば、双方向コミュニケーションシステム10がテレビ会議システムを構成している場合、被写体は会議参加者である。この撮像部112から出力される撮像信号(アナログ信号)は撮像信号処理部113に供給される。撮像信号処理部113では、当該撮像信号に対して、サンプルホールドおよび利得制御等のアナログ信号処理、A/D変換処理、さらにはホワイトバランス調整、ガンマ補正等のデジタル信号処理が施されて、画像データ(撮像画像データ)が生成される。この画像データは、画像切り替え部115に供給される。
画像切り替え部115では、ミュート解除状態にあるとき、撮像信号処理部113からの撮像画像データが取り出される。一方、ミュート状態にあるとき、端末本体120Aの制御部121からカメラ110Aの制御部111に制御情報が供給され、当該制御部111の制御により不揮発性メモリ114からミュート用画像データが読み出されて画像切り替え部115に供給され、画像切り替え部115では、当該ミュート用画像データが取り出される。この場合、制御部111は画像切り替え制御部を構成している。
ミュート解除状態およびミュート状態のいずれにするかは、端末本体120Aの制御部121により制御される。すなわち、ミュート解除状態で、リモートコマンダ170上のミュートボタンがユーザによって押圧操作され、リモコン受信部122でミュート制御用のリモートコントロール信号が受信されるとき、制御部121は、ミュートオン操作があったものと判定し、ミュート解除状態からミュート状態に切り替える。逆に、画像ミュート状態で、同様に、リモコン受信部122でミュート制御用のリモートコントロール信号が受信されるとき、制御部121は、ミュートオフ操作があったものと判定し、ミュート状態からミュート解除状態に切り替える。この場合、制御部121は、ミュート制御部を構成している。
カメラ110Aの画像切り替え部115で取り出される画像データ、つまりカメラ110Aから出力される画像データは、端末本体120Aの画像圧縮部123に供給される。画像圧縮部123では、画像データに対して圧縮処理が施され、圧縮画像データが生成される。この圧縮画像データはパケタイズ部126に供給される。パケタイズ部126では、圧縮画像データが、所定フォーマットによりパケット化される。パケタイズ部126でパケット化されて得られたパケットデータは、通信インタフェース127により、ネットワーク200を介して、他のコミュニケーション端末装置100に送信される。
この場合、ミュート解除状態にあるとき、他のコミュニケーション端末装置100には撮像画像データが送信され、当該他のコミュニケーション端末装置100のディスプレイには撮像画像が表示される。一方、ミュート状態にあるとき、他のコミュニケーション端末装置100にはミュート用画像データが供給され、当該他のコミュニケーション端末装置100のディスプレイにはミュート用画像が表示される。
図11は、図10に対応したコミュニケーション端末装置100の全体の構成例を示している。この図11において、図3、図10と対応する部分には同一符号を付し、適宜、説明を省略する。このコミュニケーション端末装置100は、カメラ110Aと、端末本体120Aと、ディスプレイ130と、マイクロホン140と、スピーカ150と、外部入力端子160を備えている。
カメラ110Aは、制御部111と、撮像部112と、撮像信号処理部113と、不揮発性メモリ114と、画像切り替え部115を有している。制御部111は、カメラ110Aの各部の動作を制御する。撮像部112は、被写体を撮像して、当該被写体に対応した撮像信号を出力する。撮像信号処理部113は、撮像部112から出力される撮像信号(アナログ信号)のサンプルホールドおよび利得制御、アナログ信号からデジタル信号への変換、さらにホワイトバランス調整、ガンマ補正等を行って、画像データ(撮像画像データ)を出力する。
不揮発性メモリ114は、記憶部を構成し、ミュート用画像データを記憶する。ここで、不揮発性メモリ114には、予め、一個または複数個の、ミュート用画像データが記憶されている。この不揮発性メモリ114に、撮像信号処理部113から出力される画像データを書き込み、所定個数のミュート用画像データを新たに登録できる。このミュート用画像の登録は、リモートコマンダ170からのユーザ操作に基づき、端末本体120Aの制御部121からカメラ110Aの制御部111に制御情報が供給され、当該制御部111の制御の下で行われる。
上述したように、不揮発性メモリ114には、複数個のミュート用画像データの記憶が可能とされている。不揮発性メモリ114に複数個のミュート用画像データが記憶されている場合、使用すべきミュート用画像データを設定できる。このミュート用画像の設定は、リモートコマンダ170からのユーザ操作に基づき、端末本体120Aの制御部121からカメラ110Aの制御部111に制御情報が供給され、当該制御部111の制御の下で行われる。
画像切り替え部115は、撮像信号処理部113から出力される画像データ(撮像画像データ)、または不揮発性メモリ114から読み出されるミュート用画像データを選択的に取り出し、カメラ110Aの出力とする。この場合、画像切り替え部115は、ミュート解除状態にあって、撮像画像データを、他のコミュニケーション端末装置100に送信する際には、撮像信号処理部113で得られた撮像画像データを取り出す。また、画像切り替え部115は、ミュート状態にあって、不揮発性メモリ114に記憶されているミュート用画像データを他のコミュニケーション端末装置100に送信する際には、当該不揮発性メモリ114から読み出されるミュート用画像データを取り出す。
また、画像切り替え部115は、ミュート用画像の登録時には、撮像信号処理部113から出力される画像データを取り出す。さらに、画像切り替え部115は、ミュート用画像データの設定時には、不揮発性メモリ114から読み出されるミュート用画像データを取り出す。
端末本体120Aは、制御部121と、リモコン受信部122と、通信インタフェース(通信I/F)127と、画像圧縮/伸長部181と、パケタイズ/デパケタイズ部182と、表示処理部183と、音声ミュート部191と、A/D変換器192と、エコーキャンセラ193と、音声圧縮/伸長部194と、D/A変換器195を有している。
制御部121は、端末本体120Aの各部の動作を制御する。リモコン受信部122は、ユーザ操作に対応してリモートコマンダ170から発生される、例えば赤外線等のリモートコントロール信号を受信する。リモコン受信部122は、受信したリモートコントロール信号に対応した操作信号を、制御部121に供給する。
画像圧縮/伸長部181は、カメラ110Aから出力される画像データ、または、例えば、コンピュータ、あるいはDVD(Digital Versatile Disc)プレーヤ等の画像再生装置から外部入力端子160に入力された画像データに対して、例えば、ITUによって標準化されたH.323等の所定規格に準拠した圧縮方式によって圧縮処理を施し、圧縮画像データ(圧縮符号化された画像データ)を生成する。
この場合、画像圧縮/伸長部181は、ミュート解除状態にあって、撮像画像データを、他のコミュニケーション端末装置100に送信する際、あるいは、ミュート状態にあって、不揮発性メモリ114から読み出されるミュート用画像データを、他のコミュニケーション端末装置100に送信する際には、カメラ110Aから出力される画像データに対して圧縮処理を施し、圧縮符号化された画像データを生成する。
また、画像圧縮/伸長部181は、ミュート状態にあって、外部入力端子160に入力される画像データを、ミュート用画像データとして、他のコミュニケーション端末装置100に送信する際には、当該外部入力端子160に入力される画像データに対して、圧縮処理を施し、圧縮画像データを生成する。
また、画像圧縮/伸長部181は、パケタイズ/デパケタイズ部182で再構成された、他のコミュニケーション端末装置100からの圧縮画像データに対して、伸長処理を施し、復号化された画像データ(受信画像データ)を生成する。
パケタイズ/デパケタイズ部182は、画像圧縮/伸長部181で生成された圧縮画像データ、および音声圧縮/伸長部194で得られる圧縮音声データを、所定フォーマットでパケット化し、得られたパケットデータを通信インタフェース127に送出する。また、パケタイズ/デパケタイズ部182は、通信インタフェース127で受信される、他のコミュニケーション端末装置100から送られてくるパケットデータから、圧縮画像データおよび圧縮音声データを抽出し、抽出された圧縮画像データを画像圧縮/伸長部181に送出し、抽出された圧縮音声データを音声圧縮/伸長部194に送出する。
通信インタフェース127は、パケタイズ/デパケタイズ部182で得られたパケットデータを、ネットワーク200を介して、他のコミュニケーション端末装置100に送信する。また、通信インタフェース127は、他のコミュニケーション端末装置100からネットワーク200を介して送られてくるパケットデータを受信し、パケタイズ/デパケタイズ部182に送出する。
表示処理部183には、カメラ110Aから出力される画像データ、外部入力端子160に入力される画像データ、画像圧縮/伸長部181で得られる復号化画像データ(受信画像データ)が供給される。表示処理部183は、これらの画像データをそのままあるいは加工した後に、ディスプレイ130に供給する。
例えば、他のコミュニケーション端末装置100との間で通信中にあり、全画面表示を行う場合、表示処理部183は、画像圧縮/伸長部181で得られる受信画像データをそのままディスプレイ130に供給する。この場合、ディスプレイ130には、他のコミュニケーション端末装置100から受信された画像データによる画像が全画面表示される。
また、例えば、他のコミュニケーション端末装置100との間で通信中にあり、2画面表示を行う場合、表示処理部183は、画像圧縮/伸長部181で得られる受信画像データ、およびカメラ110Aから出力される画像データまたは外部入力端子160に入力される画像データに基づいて、これら2つの画像データに係る画像を同一画面上に並べて表示するための新たな画像データを生成し、当該新たな画像データをディスプレイ130に供給する。この場合、ディスプレイ130には、他のコミュニケーション端末装置100から受信された画像データによる画像、および他のコミュニケーション端末装置100に送信される画像データによる画像が、並べて表示される。
また、例えば、ミュート用画像の登録時には、表示処理部183は、カメラ110Aから出力される画像データをそのままディスプレイ130に供給する。この場合、ディスプレイ130には、不揮発性メモリ124に書き込まれる画像データによる画像が表示される。また、例えば、ミュート用画像の設定時には、表示処理部183は、カメラ110Aから出力される画像データをそのままディスプレイ130に供給する。この場合、ディスプレイ130には、不揮発性メモリ124から読み出される画像データ(ミュート用画像データ候補)による画像が表示される。
音声ミュート部191は、マイクロホン140とA/D変換器192との間に配置される。音声ミュート部191は、ミュート解除状態では、マイクロホン140からA/D変換器192に供給される音声信号のレベルを減衰させない。一方、音声ミュート部191は、ミュート状態では、マイクロホン140からA/D変換器192に供給される音声信号のレベルを減衰させる。
A/D変換器192は、マイクロホン140から供給される音声信号(アナログ信号)をデジタル信号に変換する。エコーキャンセラ193は、音声圧縮/伸長部194で得られる復号化音声データに基づいて補正信号を生成し、A/D変換器192で得られる音声データを、当該補正信号により補正して、通話品質を確保する。
音声圧縮/伸長部194は、A/D変換器192からエコーキャンセラ193で補正された音声データ(送信音声データ)に対して、上述した画像データと同様に、H.323等の所定規格に準拠した圧縮方式の圧縮処理を施し、圧縮音声データを生成する。また、音声圧縮/伸長部194は、パケタイズ/デパケタイズ部182で再構成された、他のコミュニケーション端末装置100からの圧縮音声データに対して、伸長処理を施し、復号化された音声データ(受信音声データ)を生成する。
図11に示すコミュニケーション端末装置100の通信時の動作を説明する。まず、送信系の動作を説明する。
カメラ110Aの撮像部112により被写体が撮像される。例えば、双方向コミュニケーションシステム10(図1参照)がテレビ会議システムを構成している場合、被写体は会議参加者である。この撮像部112から出力される撮像信号(アナログ信号)は撮像信号処理部113に供給される。撮像信号処理部113では、当該撮像信号に対して、サンプルホールドおよび利得制御等のアナログ信号処理、A/D変換処理、さらにはホワイトバランス調整、ガンマ補正等のデジタル信号処理が施されて、画像データ(撮像画像データ)が生成される。
撮像信号処理部113から出力される画像データは、画像切り替え部115に供給される。この画像切り替え部115以降の画像送信系の動作を、ミュート解除状態およびミュート状態に場合分けして説明する。
まず、ミュート解除状態にある場合について説明する。カメラ110Aの画像切り替え部115では、撮像信号処理部113からの撮像画像データが取り出される。画像切り替え部115で取り出された撮像画像データは、カメラ110Aの出力画像データとして、端末本体120Aの画像圧縮/伸長部181に供給される。画像圧縮/伸長部181では、撮像画像データに対して圧縮処理が施され、圧縮画像データが生成される。そして、この圧縮画像データはパケタイズ/デパケタイズ部182に供給される。
次に、ミュート状態にあり、外部入力端子160に入力される画像データをミュート用画像データとして用いる場合について説明する。画像圧縮/伸長部181では、外部入力端子160に入力される画像データに対して圧縮処理が施され、圧縮画像データが生成される。そして、この圧縮画像データはパケタイズ/デパケタイズ部182に供給される。
また、ミュート状態にあり、カメラ110Aの不揮発性メモリ114に記憶されているミュート用画像データを用いる場合について説明する。この場合、不揮発性メモリ114からは、制御部111の制御により、予め使用すべきミュート用画像データとして設定されている所定のミュート用画像データが読み出される。そして、制御部111の制御により、画像切り替え部115では、不揮発性メモリ114から読み出されるミュート用画像データが取り出される。画像切り替え部115で取り出されたミュート用画像データは、カメラ110Aの出力画像データとして、端末本体120Aの画像圧縮/伸長部181に供給される。画像圧縮/伸長部181では、ミュート用画像データに対して圧縮処理が施され、圧縮画像データが生成される。そして、この圧縮画像データはパケタイズ/デパケタイズ部182に供給される。
なお、ミュート状態において、外部入力端子160に入力される画像データおよび不揮発性メモリ114に記憶されているミュート用画像データのいずれを使用するかは、ユーザは、リモートコマンダ170による操作により、適宜、変更可能とされている。
また、マイクロホン140から出力される音声信号は音声ミュート部191を介してA/D変換器192に供給されて、アナログ信号からデジタル信号に変換される。 音声ミュート部191は、マイクロホン140とA/D変換器192との間に配置される。音声ミュート部191において、マイクロホン140からA/D変換器192に供給される音声信号のレベルは、ミュート解除状態にあるときは減衰されないが、ミュート状態にあるときは減衰される。
A/D変換器192で得られる音声データはエコーキャンセラ193を介して音声圧縮/伸長部194に供給される。この音声圧縮/伸長部194では、音声データ(送信音声データ)に対して圧縮処理が施され、圧縮音声データが生成される。そして、この圧縮音声データがパケタイズ/デパケタイズ部182に供給される。
パケタイズ/デパケタイズ部182では、画像圧縮/伸長部181から供給される圧縮画像データおよび音声圧縮/伸長部194から供給される圧縮音声データが、所定フォーマットでパケット化され、得られたパケットデータは、通信インタフェース127により、ネットワーク200を介して、他のコミュニケーション端末装置100に送信される。
これにより、ミュート解除状態にあるとき、他のコミュニケーション端末装置100には、カメラ110Aの撮像信号処理部113で得られる撮像画像データが供給され、当該撮像画像データによる画像が表示される。また、ミュート解除状態にあるとき、他のコミュニケーション端末装置100には、マイクロホン140からの音声信号がレベル減衰されずに供給され、当該音声信号による音声が出力される。
一方、ミュート状態にあるとき、他のコミュニケーション端末装置100には、外部入力端子160に入力される画像データ、あるいは不揮発性メモリ114から読み出されるミュート用画像データが供給され、当該画像データによるミュート用画像が表示される。また、ミュート状態にあるとき、他のコミュニケーション端末装置100には、マイクロホン140からの音声信号がレベル減衰されて供給され、音声はミューティングされる。
ここで、ミュート解除状態およびミュート状態のいずれにするかは制御部121により制御される。すなわち、ミュート解除状態で、リモートコマンダ170上のミュートボタンがユーザによって押圧操作され、リモコン受信部122でミュート制御用のリモートコントロール信号が受信されるとき、制御部121は、ミュートオン操作があったものと判定し、ミュート解除状態からミュート状態に切り替える。逆に、ミュート状態で、同様に、リモコン受信部122でミュート制御用のリモートコントロール信号が受信されるとき、制御部121は、ミュートオフ操作があったものと判定し、ミュート状態からミュート解除状態に切り替える。制御部121からカメラ110Aの制御部111には、ミュート解除状態およびミュート状態のいずれにあるかの情報が制御情報として供給される。制御部111は、当該制御情報に基づいて、画像切り替え部115における切り替え、不揮発性メモリ114からのミュート用画像データの読み出しを、ミュート解除状態およびミュート状態の各状態に応じて制御する。
次に、受信系の動作を説明する。
通信インタフェース127で受信される、他のコミュニケーション端末装置100からネットワーク200を介して送られてくるパケットデータは、パケタイズ/デパケタイズ部182に供給される。パケタイズ/デパケタイズ部182では、通信インタフェース127から供給されるパケットデータから、圧縮画像データおよび圧縮音声データが抽出され、圧縮画像データを画像圧縮/伸長部181に供給され、圧縮音声データは音声圧縮/伸長部194に供給される。
画像圧縮/伸長部181では、パケタイズ/デパケタイズ部182から供給される圧縮画像データに対して伸長処理が施され、復号化された画像データ(受信画像データ)が生成される。この画像データは、表示処理部183に供給される。そして、ディスプレイ130に全画面表示が行われる場合には、表示処理部183からディスプレイ130に、画像圧縮/伸長部181で得られる受信画像データがそのまま供給され、ディスプレイ130には、他のコミュニケーション端末装置100からの受信画像データによる画像が全画面表示される。
また、ディスプレイ130に2画面表示が行われる場合には、表示処理部183では、画像圧縮/伸長部181で得られる受信画像データ、およびカメラ110Aから出力される画像データまたは外部入力端子160に入力される画像データに基づいて、これら2つの画像データに係る画像を同一画面上に並べて表示するための新たな画像データが生成される。そして、表示処理部183からディスプレイ130には当該新たな画像データが供給され、ディスプレイ130には、他のコミュニケーション端末装置100からの受信画像データによる画像、および他のコミュニケーション端末装置100に送信される送信画像データによる画像が、並べて表示される。
なお、ここで、送信画像データは、ミュート解除状態にあるときは撮像画像データであり、ミュート状態で外部入力端子160に入力される画像データを用いるときは当該画像データであり、さらにミュート状態で不揮発性メモリ114から読み出されるミュート用画像データを用いるときは当該ミュート用画像データである。
また、音声圧縮/伸長部194では、パケタイズ/デパケタイズ部182から供給される圧縮音声データに対して伸長処理が施され、復号化された音声データ(受信音声データ)が生成される。この受信音声データは、エコーキャンセラ193を介してD/A変換器195に供給され、デジタル信号からアナログ信号に変換される。そして、このD/A変換器195から出力される受信音声信号はスピーカ150に供給される。これにより、スピーカ150から、受信音声信号による音声が出力される。
次に、図11に示すコミュニケーション端末装置100のミュート画像の登録時の動作を説明する。上述したように、不揮発性メモリ114に、撮像信号処理部113で得られる撮像画像データを書き込み、所定個数のミュート用画像データを新たに登録できる。
リモートコマンダ170上でユーザのミュート用画像の登録開始操作があると、その操作情報が、端末本体120Aの制御部121、さらにはこの制御部121からカメラ110Aの制御部111に送られ、登録処理が開始される。この場合、画像切り替え部115では撮像信号処理部113からの撮像画像データが取り出され、表示処理部183からディスプレイ130には、当該撮像画像データが供給され、ディスプレイ130には撮像画像が表示される。このようにディスプレイ130に撮像画像が表示されることで、ユーザは、ミュート用画像として登録される撮像画像を予め確認できる。
この状態で、リモートコマンダ170上でユーザの決定操作があると、その操作情報が、端末本体120Aの制御部121、さらにはこの制御部121からカメラ110Aの制御部111に送られ、制御部111の制御により、撮像信号処理部113で得られる1フレーム分の画像データが不揮発性メモリ114に書き込まれて、新たなミュート用画像データの登録が行われる。
次に、図11に示すコミュニケーション端末装置100のミュート画像の設定時の動作を説明する。上述したように、不揮発性メモリ114には、複数個のミュート用画像データが記憶されている場合、使用すべきミュート用画像データを設定できる。
リモートコマンダ170上でユーザのミュート用画像の設定開始操作があると、その操作情報が、端末本体120Aの制御部121、さらにはこの制御部121からカメラ110Aの制御部111に送られ、設定処理が開始される。
この場合、不揮発性メモリ114からは1番目のミュート用画像データが読み出され、画像切り替え部115では不揮発性メモリ114から読み出されるミュート用画像データが取り出され、表示処理部183からディスプレイ130には、当該ミュート用画像データが供給され、ディスプレイ130には1番目のミュート用画像が表示される。
この状態で、リモートコマンダ170上でユーザの次指定操作があると、その操作情報が、端末本体120Aの制御部121、さらにはこの制御部121からカメラ110Aの制御部111に送られ、不揮発性メモリ114からは2番目のミュート用画像データが読み出され、ディスプレイ130には2番目のミュート用画像が表示される。以下、同様にして、ユーザが次指定操作を行う毎に、不揮発性メモリ114から次のミュート用画像データが読み出され、そのミュート用画像データによる画像がディスプレイに130に表示される。
不揮発性メモリ114から所定のミュート用画像データが読み出され、それによるミュート用画像がディスプレイ130に表示されている状態で、リモートコマンダ170上でユーザの次指定操作があると、その操作情報が、端末本体120Aの制御部121、さらにはこの制御部121からカメラ110Aの制御部111に送られ、当該所定のミュート用画像データが、使用すべきミュート用画像データとして設定される。
なお、図11に示すコミュニケーション端末装置100においても、図3に示すコミュニケーション端末装置100と同様に、ユーザによるミュートオン操作があった際に、他のコミュニケーション端末装置100に送信する画像を撮像画像からミュート用画像に切り替える画像ミュートを、有効または無効に設定することができる。
上述したように、図10、11に示すコミュニケーション端末装置100においては、上述の図2、図3に示すコミュニケーション端末装置100と同様に、ユーザは、リモートコマンダ170上で画像ミュートの操作を行うことができ、わざわざカメラ位置まで行ってシャッターを操作することなどが必要でなく、画像ミュートのオンオフを頻繁に行う場合にあっても、画像ミュートの操作を簡単に行うことができる等の効果を奏する。
また、図10、11に示すコミュニケーション端末装置100においては、カメラ110Aが不揮発性メモリ114および画像切り替え部115を備えるものであり、ミュート状態で、不揮発性メモリ114に記憶されているミュート用画像データを用いる場合、カメラ110Aの制御部111の制御より、不揮発性メモリ114からミュート用画像データが読み出され、また、画像切り替え部115で当該ミュート用画像データが取り出されるようにされる。したがって、端末本体120Aの制御部(ミュート制御部)121は、単にカメラ110Aの制御部(切り替え制御部)111にミュート解除状態およびミュート状態のいずれの状態にあるかの制御情報を供給するだけでよく、制御部(ミュート制御部)121構成するCPUの処理負荷を軽減できる。
10・・・双方向コミュニケーションシステム、100・・・コミュニケーション端末装置、110,110A・・・カメラ、111・・・制御部、112・・・撮像部、113・・・撮像信号処理部、114・・・不揮発性メモリ、115・・・画像切り替え部、120,120A・・・端末本体、121・・・制御部、122・・・リモートコントロール信号受信部、123、画像圧縮部、124・・・不揮発性メモリ、125・・・画像切り替え部、126・・・パケタイズ部、127・・・通信インタフェース(通信I/F)、130・・・ディスプレイ、140・・・マイクロホン、150・・・スピーカ、160・・・外部入力端子、170・・・リモートコマンダ、181・・・画像圧縮/伸長部、182・・・パケタイズ/デパケタイズ部、183・・・表示処理部、191・・・音声ミュート部、192・・・A/D変換器、193・・・エコーキャンセラ、194・・・音声圧縮/伸長部、195・・・D/A変換器、200・・・ネットワーク