JP2003348556A - テレビ電話システムおよびその端末装置 - Google Patents

Abstract

(57)【要約】 【課題】多種多様な性能および表示画面サイズをもつ端
末装置に対応し、効率よく映像を符号化して送受信でき
るテレビ電話システム及びその端末装置を提供すること
である。 【解決手段】本発明のテレビ電話システムおよびその端
末装置では、端末装置が受信に適した映像の符号化方
式、画素単位のサイズ、フレームレート、ビットレー
ト、及びキーフレームの挿入間隔等を不揮発性のメモリ
に格納する。受信側の端末装置は、上記情報を送信側の
端末装置に通知し、送信側の端末装置は、該情報をもと
に撮像した映像を符号化して送信する。また、送信側の
端末装置は、撮像映像のサイズ、送信側端末装置が送信
に適した画素単位のサイズ、受信側の端末装置において
受信等に適した画素単位のサイズの内、最も小さいサイ
ズ以下のサイズの映像を前記撮像した映像から切り出し
て、符号化及び送信する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像を符号化して
送受信するテレビ電話システムおよびその端末装置に係
り、特に映像の送受信能力が異なる端末装置からなるテ
レビ電話システムおよびその端末装置に関する。

【０００２】

【従来の技術】テレビ電話システムに関する規格として
は、例えばITU-Tで勧告化されているH.323等がある。こ
の勧告では、さらに同ITU-Tで勧告化されており、テレ
ビ電話システムを構築する上で必要となる以下の勧告を
使用する。呼の確立および通信相手のアドレス解決、通
信可否制御、および通信経路の帯域制御を行うためのH.
225.0勧告、端末装置間で伝送する映像や音声の符号化
方式等をネゴシエーションするためのH.245勧告、送信
映像を符号化するためのH.261およびH.263勧告、送信音
声を符号化するためのG.711、G.722、G.723.1、G.728、
およびG.729勧告である。

【０００３】また、このH.323勧告では、符号化された
音声/映像データの伝送プロトコルおよび音声/映像デー
タのフロー制御のプロトコルとして、それぞれRTP(Real
-timeTransport Protocol)およびRTCP(RTP Control Pro
tocol)を使用することが決められており、これらの勧告
やプロトコルに準拠することにより、テレビ電話システ
ムを構築することが可能となっている。

【０００４】特に、端末装置間で伝送する映像や音声の
符号化方式等をネゴシエーションするためのH.245勧告
では、受信側の端末装置が復号化可能な映像や音声の符
号化方式を送信側の端末装置に通知することが可能とな
っている。また、受信側の端末装置が復号化可能な映像
のサイズとして、CIF(Common Intermediate Format)やQ
CIF(Quarter CIF)等の決められたサイズを指定し、送信
側の端末装置に通知することが可能となっており、機種
の異なる端末装置間での映像の送受信が可能となってい
る。

【０００５】

【発明が解決しようとする課題】しかしながら、端末装
置の表示画面のサイズには、多種多様なものがあり、こ
れらは画素単位で異なっている。例えば携帯電話やPDA
(Personal Digital Assistants)等の携帯端末装置で
は、携帯性の向上や低コスト化が考慮され、表示画面が
小さくされたものや、逆に、見易さが考慮され、表示画
面が大きくされたものなどがあり、表示に適した映像の
解像度も画素単位で異なっている。このため、これらの
端末装置の表示画面は必ずしもCIFやQCIFといった決め
られたサイズではなく、これらの端末装置にCIFやQCIF
といった決められたサイズの映像を符号化および送信す
ることは、端末装置の性能を活かしきれないか、または
無駄に大きな映像を符号化および復号化することにより
処理量に無駄が生じる結果となる。

【０００６】また、端末装置の中には、低価格化の観点
からそれに搭載されているメモリや処理装置の性能に制
限があるものも存在し、これらの制限から、復号化可能
な映像のサイズのみでなく、復号化可能な映像のフレー
ムレート、ビットレート、およびキーフレームの挿入間
隔に制限があるものもある。この場合、端末装置が持つ
制限を越えた映像が送られると、映像の動きがぎこちな
くなるばかりでなく、最悪の場合受信した映像を復号化
および表示ができない場合がある。なお、フレームレー
トとは１秒間中の画像の枚数であり，ビットレートとは
１秒間中のデータ量をビット単位で示したものである。
また，キーフレームとは映像を構成する画像において、
他の画像を参照することなく復号することが可能な画像
である。

【０００７】さらに、端末装置での処理に目を向ける
と、映像を送信する場合には、撮像した映像を受信側の
端末装置における復号化可能な映像のサイズに拡大縮小
して、符号化するとともに、前記撮像した映像を送信側
の端末装置における表示画面の自映像表示エリアのサイ
ズに拡大縮小して、該自映像表示エリアに表示する必要
がある。また、同時に、受信した映像を復号化して、相
手映像表示エリアのサイズに合わせて拡大縮小して、該
相手映像表示エリアに表示する必要があり、多大のメモ
リ量と処理能力を必要とする。このため、端末装置が高
価になるという問題があった。

【０００８】

【課題を解決するための手段】本発明は以上を鑑みて発
明されたものであり、、多種多様な表示画面のサイズを
もつ端末装置に対応し、該表示画面のサイズが画素単位
で異なっている場合でも効率よく映像を符号化して送受
信できるテレビ電話システムおよびその端末装置を提供
する。

【０００９】また、端末装置において、復号化、表示、
および受信可能な映像のサイズのみでなく，復号化，表
示，および受信可能なフレームレート、ビットレート、
およびキーフレームの挿入間隔に制限がある場合でも、
これらの制限に合わせて映像の符号化および送信を行
い、受信した映像がスムーズに動作可能なテレビ電話シ
ステムおよびその端末装置を提供する。

【００１０】また、端末装置において、以下の処理に要
する処理量を削減し、低コストな端末装置にてテレビ電
話システムを構築可能とするテレビ電話システムおよび
その端末装置を提供する。 （１）送信する映像の符号化 （２）送信する映像の自映像表示エリアへの表示 （３）受信した映像の復号化 （４）受信した映像の相手映像表示エリアへの表示 上記課題を解決するため、本発明のテレビ電話システム
およびその端末装置では、端末装置における撮像映像の
水平方向サイズおよび垂直方向サイズを不揮発性のメモ
リに格納する。また、端末装置が符号化および送信に適
した映像の符号化方式、任意の画素単位の水平方向サイ
ズ、任意の画素単位の垂直方向サイズ、フレームレー
ト、任意の数値のビットレート、およびキーフレームの
挿入間隔を不揮発性のメモリに格納する。

【００１１】さらに、端末装置が復号、表示、および受
信に適した映像の符号化方式、任意の画素単位の水平方
向サイズ、任意の画素単位の垂直方向サイズ、フレーム
レート、任意の数値のビットレート、およびキーフレー
ムの挿入間隔を不揮発性のメモリに格納する。そして、
受信側の端末装置が、前記不揮発性のメモリから、復号
化、表示、および受信に適した符号化方式、任意の画素
単位の映像サイズ、フレームレート、任意の数値のビッ
トレート、およびキーフレームの挿入間隔を読み出し、
これらの情報を送信側の端末装置に通知し、送信側の端
末装置はこれらの通知された情報に基づいて送信する映
像の属性を決定して符号化を行う。

【００１２】また、送信側の端末装置は、「撮像した映
像のサイズ」と、「該送信側の端末装置において符号化
および送信に適した任意の画素単位の映像サイズ」と、
「前記通知された受信側の端末装置において復号化、表
示、および受信に適した任意の画素単位の映像サイズ」
を基にして送信映像のサイズを決定し、該決定したサイ
ズの映像を撮像した映像から切り出して取得し、該切り
出して取得した映像を拡大あるいは縮小することなく符
号化して送信する。

【００１３】さらに、前記送信側の端末装置は、前記撮
像した映像から切り出して取得した映像を該送信側の端
末装置の自映像表示エリアに拡大あるいは縮小して表示
し、受信側の端末装置では、受信した映像を復号化し
て、縮小することなく相手映像表示エリアに表示する。

【００１４】

【発明の実施の形態】以下、本発明にかかる実施例につ
いて図面を参照して説明する。図１は本発明の実施例に
かかるテレビ電話システムの構成図である。図１に示す
ように、本実施例にかかるテレビ電話システムは、少な
くとも２つの通信拠点Ａ００１および通信拠点Ｂ００２
から構成される。

【００１５】通信拠点Ａ００１は、少なくとも端末装置
１０１と、無線アクセスポイント１０７と、ルータ１０
６と、ゲートキーパ１０２から構成され、無線アクセス
ポイント１０７と、ルータ１０６と、ゲートキーパ１０
２は、それぞれＬＡＮ等のネットワークで接続されてい
るとともに、ネットワーク１０３に接続されている。同
様に、通信拠点Ｂ００２は、少なくとも端末装置１０５
と、無線アクセスポイント１０９と、ルータ１０８と、
ゲートキーパ１０４から構成され、無線アクセスポイン
ト１０９と、ルータ１０８と、ゲートキーパ１０４は、
それぞれＬＡＮ等のネットワークで接続されているとと
もに、ネットワーク１０３に接続されている。

【００１６】ここで、ネットワーク１０３はインターネ
ット等に代表されるIPネットワークや公衆電話回線網あ
るいはISDNによって構成される。

【００１７】端末装置１０１および端末装置１０５は、
本システムの利用者が音声および映像のデータを送受信
可能な端末装置であり、例えば図２に示すような携帯電
話型の端末装置２００あるいは図３に示すようなPDA型
の端末装置３００とすることができる。なお、図２およ
び図３において、２０１および３０１は端末装置本体で
あり、映像を入力するためのカメラ２０２および３０
２、液晶等により構成され映像を表示するための表示画
面２０３および３０３、端末装置における動作設定情報
や通信相手の電話番号を入力するための操作ボタン２０
４および３０４、音声を出力するためのスピーカ２０５
および３０５、音声を入力するためのマイク２０６およ
び３０６、および無線により無線アクセスポイント１０
７および１０９とデータの送受信を行うためのアンテナ
２０７および３０７を備えている。

【００１８】無線アクセスポイント１０７および１０９
は、例えば既存の無線ＬＡＮアクセスポイントとするこ
とができ、端末装置１０１および１０５との無線による
データ送受信が可能である。

【００１９】無線アクセスポイントは、例えば、無線LA
Nアクセスポイント、Bluetoothのアクセスポイント、携
帯電話の基地局等が挙げられるが、端末装置をネットワ
ークを介して相手の端末装置に接続する機能を有する機
器であれば代替可能である。

【００２０】ゲートキーパ１０２および１０４は、例え
ばコンピュータシステムで構成され、端末装置間の呼制
御や、端末装置のアドレス管理、電話番号をキーにした
通信先の端末装置のアドレス検索および取得を行う。

【００２１】ルータ１０６および１０８は、例えばコン
ピュータシステムにより構成され、通信先のアドレスの
端末装置までの通信経路の決定およびデータの送信を行
う。

【００２２】これらの装置により、例えば端末装置１０
１から通信先である端末装置１０５の電話番号が入力さ
れると、無線アクセスポイント１０７経由で端末装置１
０５の電話番号がゲートキーパ１０２に通知され、ゲー
トキーパ１０２において、端末装置１０５の電話番号を
キーにして端末装置１０５のアドレスが検索および取得
される。そして、取得されたアドレスが無線アクセスポ
イント１０７経由で端末装置１０１に通知され、端末装
置１０１は、無線アクセスポイント１０７、ルータ１０
６、ネットワーク１０３、ルータ１０８、および無線ア
クセスポイント１０９を介して端末装置１０５にデータ
を送信することが可能となる。また、このとき、端末装
置１０５は、端末装置１０１から端末装置１０１のアド
レスを受信して、無線アクセスポイント１０９、ルータ
１０８、ネットワーク１０３、ルータ１０６、無線アク
セスポイント１０７を介して端末装置１０１にデータを
送信することが可能となり、端末装置１０１と端末装置
１０５は互いにデータの送受信が可能となる。

【００２３】さて、上記において、ゲートキーパ、ルー
タ、および無線アクセスポイントについては、既に利用
されているものを適用可能であるので、詳細な説明を省
略し、以下では端末装置の構成および動作内容について
説明する。まず、端末装置の構成を説明する。図４は端
末装置の構成を示すブロック図である。図４に示すよう
に端末装置は、中央処理装置５０１と、記憶装置５０２
と、音声入力装置５０３と、音声出力装置５０４と、映
像入力装置５０５と、表示装置５０６と、設定入力装置
５０７と、通信制御/入出力装置５０８と、二次記憶装
置５０９から構成され、これらはバス５１０を介して互
いにデータのやり取りが可能なように構成されている。

【００２４】なお、これらの端末装置を構成する装置と
しては、既存の装置を利用することが可能である。すな
わち、設定入力装置５０７は、操作ボタン等によって実
現され、本端末装置の利用者は、本設定入力装置５０７
により、本端末装置における動作設定情報や通信先の電
話番号を入力する。また、本端末装置の利用者は、本設
定入力装置５０７により、通信の開始や終了を指示する
ことが可能である。通信制御/入出力装置５０８は、例
えば無線LANにおける無線LANカードとアンテナによって
構成され、無線によりゲートキーパとデータの送受信を
行う。音声入力装置５０３は、マイク等によって構成さ
れ、外部の音声を端末装置内に入力する。映像入力装置
５０５は、カメラ等により構成され、外部の映像を端末
装置内に入力する。音声出力装置５０４は、スピーカ等
によって構成され、音声を出力する。表示装置５０６
は、液晶等により構成され、映像を表示する。

【００２５】中央処理装置５０１は、汎用のプロセッサ
であり、本端末装置の動作を規定するプログラムに基づ
き、本端末装置における動作を制御するとともに、音声
入力装置５０３および映像入力装置５０５からの音声デ
ータおよび映像データの取得、映像データの切り出しお
よび表示装置５０６への表示、およびこれらの音声デー
タおよび映像データの符号化、パケット生成、通信制御
/入出力装置５０８を介して相手端末へのパケット送信
を行う。

【００２６】また、通信制御/入出力装置５０８を介し
てパケットを受信し、受信したパケットから符号化され
た映像および音声のデータを取得して、これらの映像お
よび音声データの復号化を行って、復号化された音声デ
ータを音声出力装置５０４を介して出力するとともに、
復号化された映像データを表示装置５０６へ表示する。
記憶装置５０２は、RAMやROM等によって構成され、中央
処理装置５０１で実行されるプログラム、音声入力装置
５０３によって入力された音声データ、映像入力装置５
０５によって入力された映像データ、通信制御/入出力
装置５０８によって入出力されるデータ、中央処理装置
５０１によって符号化した映像データ、符号化した音声
データ、復号化された映像データ、および復号化された
音声データ等、中央処理装置５０１で処理されるデータ
を格納する。二次記憶装置５０９は、例えばフラッシュ
メモリ等の不揮発性メモリにより構成され、通話相手の
電話番号を含む電話帳データ等を格納することが可能で
ある。

【００２７】また、本二次記憶装置５０９には、前記映
像入力装置５０５により取得する映像の水平方向サイズ
および垂直方向サイズを格納する。なお、本水平方向サ
イズおよび垂直方向サイズは画素単位で格納される。ま
た、本二次記憶装置５０９には、本端末装置で符号化お
よび送信に適した映像の符号化方式、任意の画素単位の
水平方向サイズ、任意の画素単位の垂直方向サイズ、フ
レームレート、任意の数値のビットレート、およびキー
フレームの挿入間隔を格納する。また、本端末装置で符
号化および送信に適した映像の符号化方式が複数存在す
る場合には、それぞれの符号化方式ごとに、その符号化
方式で符号化および送信に適した映像の任意の画素単位
の水平方向サイズ、任意の画素単位の垂直方向サイズ、
フレームレート、任意の数値のビットレート、およびキ
ーフレームの挿入間隔を格納する。

【００２８】さらに、本二次記憶装置５０９には、本端
末装置で復号化、表示、および受信に適した映像の符号
化方式、任意の画素単位の水平方向サイズ、任意の画素
単位の垂直方向サイズ、フレームレート、任意の数値の
ビットレート、およびキーフレームの挿入間隔を格納す
る。また、本端末装置で復号化、表示、および受信に適
した映像の符号化方式が複数存在する場合には、それぞ
れの符号化方式ごとに、その符号化方式で復号化、表
示、および受信に適した映像の任意の画素単位の水平方
向サイズ、任意の画素単位の垂直方向サイズ、フレーム
レート、任意の数値のビットレート、およびキーフレー
ムの挿入間隔を格納する。

【００２９】次に、端末装置の中央処理装置により行わ
れる端末装置の動作内容を説明する。図５は端末装置の
中央処理装置５０１によって実行されるプログラムの処
理内容を示す図であり、同時に端末装置の動作内容を示
すフローチャートである。

【００３０】図５に示すように、端末装置は、ゲートキ
ーパを介して通信相手の端末装置との間に呼を確立する
（ステップ７０１）。

【００３１】続いて、端末装置は、ステップ７０１にお
ける呼の確立が失敗したか否かを判断し（ステップ７０
２）、失敗した場合には処理を終了する。一方、ステッ
プ７０２において、ステップ７０１における呼の確立が
成功したと判断した場合には、相手端末装置に自端末装
置の能力情報を通知する（ステップ７０３）。具体的に
は、自端末装置において符号化，送信，復号化，および
受信に適した音声の符号化方式およびビットレートの他
に、図６に示す通り、端末装置１０１’で符号化、送
信、復号化、表示、および受信に適した映像の符号化方
式、任意の画素単位の水平方向サイズ、任意の画素単位
の垂直方向サイズ、フレームレート、任意の数値のビッ
トレート、およびキーフレームの挿入間隔を、前記符号
化、送信、復号化、表示、および受信に適した映像の符
号化方式ごとに端末装置１０５’に送信することによっ
てなされる。ここで、キーフレームとは映像を構成する
画像において、他の画像を参照することなく復号するこ
とが可能な画像である。

【００３２】なお、端末装置において符号化，送信，復
号化，および受信に適した音声の符号化方式およびビッ
トレートの通知方法については、例えばH.245勧告で規
定されている方法等であるので説明を省略する。他方、
端末装置１０１’で符号化、送信、復号化、表示、およ
び受信に適した映像の符号化方式、任意の画素単位のサ
イズ、フレームレート、任意の数値のビットレート、お
よびキーフレームの挿入間隔を端末装置１０５’に通知
する方法としては、例えば図７に示す通り、端末装置で
符号化、送信、復号化、表示、および受信に適した映像
に関する情報の伝送の開始を示す識別子１００１に続い
て、端末装置で符号化および送信に適した映像に関する
情報の開始を示す識別子１００２を送信し、続いて端末
装置で符号化および送信に適した映像に関する情報とし
て、映像の符号化方式を示す識別子１００３、映像の任
意の画素単位の水平方向サイズ１００４、任意の画素単
位の垂直方向サイズ１００５、フレームレート１００
６、キーフレームの挿入間隔１００７、任意の数値のビ
ットレート１００８、および端末装置で符号化および送
信に適した映像に関する情報の終了を示す識別子１００
９を送信する。

【００３３】なお、本端末装置で符号化および送信に適
した映像の符号化方式が複数存在する場合には、それぞ
れの符号化方式ごとに上記１００２乃至１００９のセッ
トを送信する。さらに、これらの端末装置で符号化およ
び送信に適した映像に関する情報に続いて、端末装置で
復号化、表示、および受信に適した映像に関する情報の
開始を示す識別子１０１０を送信し、続いて端末装置で
復号化、表示、および受信に適した映像に関する情報と
して、映像の符号化方式を示す識別子１０１１、映像の
任意の画素単位の水平方向サイズ１０１２、任意の画素
単位の垂直方向サイズ１０１３、フレームレート１０１
４、キーフレームの挿入間隔１０１５、任意の数値のビ
ットレート１０１６、および端末装置で復号化、表示、
および受信に適した映像に関する情報の終了を示す識別
子１０１７を送信する。

【００３４】なお、本端末装置で復号化、表示、および
受信に適した映像の符号化方式が複数存在する場合に
は、それぞれの符号化方式ごとに上記１０１０乃至１０
１７のセットを送信する。そして最後に端末装置で符号
化、送信、復号化、表示、および受信に適した映像に関
する情報の伝送の終了を示す識別子１０１８を送信す
る。

【００３５】ここで、端末装置で符号化、送信、復号
化、表示、および受信に適した映像に関する情報の伝送
の開始を示す識別子１００１、端末装置で符号化、送
信、復号化、表示、および受信に適した映像に関する情
報の伝送の終了を示す識別子１０１８、端末装置で符号
化および送信に適した映像に関する情報の開始を示す識
別子１００２、端末装置で符号化および送信に適した映
像に関する情報の終了を示す識別子１００９、端末装置
で復号化、表示、および受信に適した映像に関する情報
の開始を示す識別子１０１０、端末装置で復号化、表
示、および受信に適した映像に関する情報の終了を示す
識別子１０１７は、それぞれ別の、ある決められた識別
子あるいは数値とすれば良い。

【００３６】また、端末装置で符号化および送信に適し
た映像の符号化方式を示す識別子１００３および端末装
置で復号化、表示、および受信に適した映像の符号化方
式を示す識別子１０１１は、例えばH.263勧告で規定さ
れている符号化方式を示す場合には「１」とするなど、
ある決められた識別子あるいは数値とすれば良い。ま
た、端末装置で符号化および送信に適した映像の任意の
画素単位の水平方向サイズ１００４および端末装置で符
号化および送信に適した映像の任意の画素単位の垂直方
向サイズ１００５は、端末装置で符号化および送信に適
した映像のサイズの画素数を送ればよい。この場合、例
えば、ある端末装置で水平方向最大１６０画素、垂直方
向最大１２０画素の映像を符号化および送信できる場合
には、端末装置で符号化および送信に適した映像の任意
の画素単位の水平方向サイズ１００４は「１６０」、端
末装置で符号化および送信に適した映像の任意の画素単
位の垂直方向サイズ１００５は「１２０」とすれば良
い。

【００３７】また、端末装置で符号化および送信に適し
た映像のフレームレート１００６、端末装置で符号化お
よび送信に適した映像のキーフレームの挿入間隔１００
７、および端末装置で符号化および送信に適した映像の
任意の数値のビットレート１００８は、端末装置で符号
化および送信に適した映像のフレームレート、キーフレ
ームの挿入間隔、およびビットレートを数値で送ればよ
い。この場合、例えば、ある端末装置で最大１５フレー
ム／秒、キーフレームの間隔が最大５フレーム、および
ビットレートが最大６０Ｋｂｐｓの映像を符号化および
送信できる場合には、端末装置で符号化および送信に適
した映像のフレームレート１００６は「１５」、端末装
置で符号化および送信に適した映像のキーフレームの挿
入間隔１００７は「５」、および端末装置で符号化およ
び送信に適した映像の任意の数値のビットレート１００
８は「６００００」とすればよい。

【００３８】同様に、端末装置で復号化、表示、および
受信に適した映像の任意の画素単位の水平方向サイズ１
０１２および端末装置で復号化、表示、および受信に適
した映像の任意の画素単位の垂直方向サイズ１０１３
は、端末装置で復号化、表示、および受信に適した映像
のサイズの画素数を送れば良い。この場合、例えば、あ
る端末装置で水平方向最大３２０画素、垂直方向最大２
４０画素の映像を復号化、表示、および受信できる場合
には、端末装置で復号化、表示、および受信に適した映
像の任意の画素単位の水平方向サイズ１０１２は「３２
０」、端末装置で復号化、表示、および受信に適した映
像の任意の画素単位の垂直方向サイズ１０１３は「２４
０」となる。

【００３９】また、端末装置で復号化、表示、および受
信に適した映像のフレームレート１０１４、端末装置で
復号化、表示、および受信に適した映像のキーフレーム
の挿入間隔１０１５、および端末装置で復号化、表示、
および受信に適した映像の任意の数値のビットレート１
０１６は、端末装置で復号化、表示、および受信に適し
た映像のフレームレート、キーフレームの挿入間隔、お
よびビットレートを数値で送ればよい。

【００４０】この場合、例えば、ある端末装置で最大３
０フレーム／秒、キーフレームの間隔が最大１５フレー
ム、およびビットレートが最大１００Ｋｂｐｓの映像を
復号化、表示、および受信できる場合には、端末装置で
復号化、表示、および受信に適した映像のフレームレー
ト１０１４は「３０」、端末装置で復号化、表示、およ
び受信に適した映像のキーフレームの挿入間隔１０１５
は「１５」、および端末装置で復号化、表示、および受
信に適した映像の任意の数値のビットレート１０１６は
「１０００００」とすればよい。ここで、これらのデー
タは決められたビット数で送られても良いし、それぞれ
ある識別子とともに送られても良い。これにより、デー
タ間の区切りを識別できる。また、これらのデータは、
例えば端末装置の二次記憶装置５０９に格納されてお
り、これを読み出すことにより送信すれば良い。

【００４１】さて、図５における説明に戻り、端末装置
は、図６における９０４に示すように、相手端末装置か
ら送信された相手端末の能力情報を受信することによっ
て、相手端末の能力情報を得る（ステップ７０４）。こ
れはステップ７０３で既に説明したことと同様に、相手
端末装置がその端末装置において復号化および受信に適
した音声の符号化方式およびビットレート、および図７
に示す符号化、送信、復号化、表示、および受信に適し
た映像の情報を送信し、それを受信することによってな
される。

【００４２】続いて、端末装置は、送信する映像および
音声の属性を決定する（ステップ７０５）。ここで、送
信する音声の属性とは，送信する音声の符号化方式およ
びビットレート等であり，送信する映像の属性とは，送
信する映像の符号化方式、サイズ、フレームレート、キ
ーフレームの挿入間隔、およびビットレート等である。
ここで、送信する音声の符号化方式およびビットレート
の決定方法については説明を省略し、送信する映像の符
号化方式、サイズ、フレームレート、キーフレームの挿
入間隔、およびビットレートを決定方法について説明す
る。まず、送信する映像の符号化方式としては、本端末
装置が符号化および送信に適した映像の符号化方式と受
信側の端末装置が復号、表示、および受信に適した映像
の符号化方式とで一致する符号化方式を選択する。な
お、本端末装置が符号化および送信に適した映像の符号
化方式については、本端末装置の二次記憶装置５０９か
ら読み出すことにより得られる。

【００４３】また、受信側の端末装置が復号、表示、お
よび受信に適した映像の符号化方式については、上記ス
テップ７０４で得た相手端末の能力情報に含まれている
ので、これを利用することができる。次に、送信する映
像のサイズとしては、例えば、「ステップ７０６で取得
する映像の水平方向サイズ」と、「本端末装置が符号化
および送信に適した映像の任意の画素単位の水平方向サ
イズ」と、「受信側の端末装置が復号、表示、および受
信に適した映像の任意の画素単位の水平方向サイズ」の
内、最も小さいサイズ以下のサイズを送信する映像の水
平方向サイズとし、「ステップ７０６で取得する映像の
垂直方向サイズ」と、「本端末装置が符号化および送信
に適した映像の任意の画素単位の垂直方向サイズ」と、
「受信側の端末装置が復号、表示、および受信に適した
映像の任意の画素単位の垂直方向サイズ」の内、最も小
さいサイズ以下のサイズを送信する映像の垂直方向サイ
ズとすることにより決定できる。

【００４４】なお、本端末装置がステップ７０６で取得
する映像の水平方向サイズおよび垂直方向サイズ、およ
び本端末装置が符号化および送信に適した映像の任意の
画素単位の水平方向サイズおよび任意の画素単位の垂直
方向サイズについては、本端末装置の二次記憶装置５０
９から読み出すことにより得ることができる。また、受
信側の端末装置が復号、表示、および受信に適した映像
の任意の画素単位の水平方向サイズおよび任意の画素単
位の垂直方向サイズについては、上記ステップ７０４で
得た相手端末の能力情報に含まれているので、これを利
用することができる。次に、送信する映像のフレームレ
ートとしては、例えば、本端末装置が符号化および送信
に適した映像のフレームレートと受信側の端末装置が復
号、表示、および受信に適した映像のフレームレートの
内、小さいほうのフレームレート以下のフレームレート
を符号化および送信する映像のフレームレートとすれば
良い。

【００４５】なお、本端末装置が符号化および送信に適
した映像のフレームレートについては、本端末装置の二
次記憶装置５０９から読み出すことにより得ることがで
きる。また、受信側の端末装置が復号、表示、および受
信に適した映像のフレームレートについては、上記ステ
ップ７０４で得た相手端末の能力情報に含まれているの
で、これを利用することができる。次に、送信する映像
おけるキーフレームの挿入間隔としては、例えば、本端
末装置が符号化および送信に適した映像のキーフレーム
の挿入間隔と受信側の端末装置が復号、表示、および受
信に適した映像のキーフレームの挿入間隔の内、小さい
ほうのキーフレームの挿入間隔以下のキーフレームの挿
入間隔を符号化および送信する映像のキーフレームの挿
入間隔とすれば良い。なお、本端末装置が符号化および
送信に適した映像のキーフレームの挿入間隔について
は、本端末装置の二次記憶装置５０９から読み出すこと
により取得することができる。また、受信側の端末装置
が復号、表示、および受信に適した映像のキーフレーム
の挿入間隔については、上記ステップ７０４で得た相手
端末の能力情報に含まれているので、これを利用するこ
とができる。

【００４６】次に、送信する映像のビットレートとして
は、例えば、本端末装置が符号化および送信に適した映
像の任意の数値のビットレートと受信側の端末装置が復
号、表示、および受信に適した映像の任意の数値のビッ
トレートの内、小さいほうのビットレート以下のビット
レートを符号化および送信する映像のビットレートとす
れば良い。なお、本端末装置が符号化および送信に適し
た映像の任意の数値のビットレートについては、本端末
装置の二次記憶装置５０９から読み出すことにより得る
ことができる。また、受信側の端末装置が復号、表示、
および受信に適した映像の任意の数値のビットレートに
ついては、上記ステップ７０４で得た相手端末の能力情
報に含まれているので、これを利用することができる。

【００４７】さて、図５における説明に戻り、端末装置
は、映像入力装置からの映像の取得および音声入力装置
からの音声の取得を開始する（ステップ７０６）。な
お、本映像の取得および音声の取得処理は中央処理装置
５０１において他の処理と並行して実行される１つのプ
ログラムとすればよい。

【００４８】続いて、端末装置は、映像入力装置５０５
により取得した映像データからステップ７０５で決定し
た送信する映像のサイズ分の映像の切り出しを開始する
（ステップ７０７）。これは例えば、図８に示す通り、
映像入力装置５０５から記憶装置５０２内に取得した映
像１１０１の中心を中心として、送信する映像のサイズ
分の映像１１０２を切り出し、映像データ１１０２’を
生成することにより実施される。または、設定入力装置
５０７によりユーザから切り出し位置が指定されるよう
にしても良い。なお、図８では一例として映像入力装置
５０５から記憶装置５０２内に取得した映像の水平方向
サイズおよび垂直方向サイズが、それぞれ６４０画素お
よび４８０画素であり、ステップ７０５で決定した送信
する映像の水平方向サイズおよび垂直方向サイズ、すな
わち切り出す映像の水平方向サイズおよび垂直方向サイ
ズが、それぞれ３２０画素および２４０画素である場合
を示している。なお、本映像の切り出し処理は中央処理
装置５０１において他の処理と並行して実行される１つ
のプログラムとすれば良い。

【００４９】さて、端末装置は、続いて本映像の切り出
し処理で切り出した映像の表示を開始する（ステップ７
０８）。これは、図８に示すように切り出した映像１１
０２’を端末装置においてあらかじめ決められた自映像
表示エリア１１０２’’のサイズにあわせて拡大あるい
は縮小して該自映像表示エリア１１０２’’に表示すれ
ばよい。なお、本自映像の表示処理は中央処理装置５０
１において他の処理と並行して実行される１つのプログ
ラムとすればよい。

【００５０】続いて、端末装置は、上記映像の切り出し
処理で切り出した映像の符号化および音声入力装置５０
３から取得した音声の符号化を開始する（ステップ７０
９）。ここで、音声の符号化については、ステップ７０
５で決定した送信する音声の属性に準拠して符号化す
る。また、映像の符号化についても同様に、ステップ７
０５で決定した送信する映像の属性に準拠して符号化す
る。なお、本映像および音声データの符号化処理は中央
処理装置５０１において他の処理と並行して実行される
１つのプログラムとすればよい。ただし、本発明の特徴
として、映像の符号化処理において、映像のサイズにつ
いては、上記映像の切り出し処理で切り出した映像が既
にステップ７０５で決定した映像のサイズに準拠してい
るので拡大あるいは縮小等をする必要はなく、このまま
のサイズで符号化を行えばよい。

【００５１】続いて、端末装置は、上記映像および音声
データの符号化処理で符号化した音声および映像のデー
タの多重化およびパケットの生成を開始し（ステップ７
１０）、生成されたパケットの通信相手の端末装置への
送信を開始する（ステップ７１１）。なお、本パケット
の生成処理およびパケットの送信処理は，それぞれ中央
処理装置５０１において他の処理と並行して実行される
プログラムとすればよい。

【００５２】続いて、端末装置は、通信相手の端末装置
からのパケットの受信を開始し（ステップ７１２）、受
信したパケットから符号化された映像データおよび音声
データの取得を開始して（ステップ７１３）、取得した
符号化された映像データの復号化および音声データの復
号化を開始（ステップ７１４）し、復号化した相手映像
の表示開始（ステップ７１５）および復号化した相手音
声の出力を開始する（ステップ７１６）。なお、本パケ
ットの受信処理、受信したパケットからの符号化された
映像データおよび音声データの取得処理、符号化された
映像データの復号化および音声データの復号化処理、復
号化した相手映像の表示処理、および復号化した相手音
声の出力処理は、それぞれ中央処理装置５０１において
他の処理と並行して実行されるプログラムとすればよ
い。ただし、本発明の特徴として、復号化した相手映像
の表示処理においては以下の注目すべき点がある。

【００５３】すなわち、復号化された映像１１０
２’’’は、図８に示すように、符号化された映像のサ
イズと同じであり、送信側の端末装置において取得した
映像から切り出した映像１１０２’のサイズと同じであ
るため、この映像を受信した端末装置の表示画面のサイ
ズと等しいかあるいはそれより小さいはずである。この
ため、復号化した相手映像の表示においては、図８に示
すように、復号化した映像１１０２’’’を縮小するこ
となく、表示画面３０３に表示することが可能である。
なお、もし、復号化した映像１１０２’’’が表示画面
３０３より小さい場合には、例えば、復号化した映像１
１０２’’’を表示画面３０３の中心に配置し、映像を
表示していない部分を黒色表示してもよいし、復号化し
た映像１１０２’’’を表示画面３０３のサイズに合わ
せて拡大して表示してもよい。

【００５４】さて、端末装置は本端末装置の利用者から
終了が指示されるか、または、通信相手の端末装置から
通話の終了を指示するデータを受信するまで待ち（ステ
ップ７１７）、本端末装置の利用者から終了が指示され
たか、または、通信相手の端末装置から通話の終了を指
示するデータを受信した場合には、相手音声の出力を終
了し（ステップ７１８）、相手映像の表示を終了する
（ステップ７１９）。また、映像データの復号化および
音声データの復号化を終了し（ステップ７２０）、受信
したパケットからの符号化された映像データおよび音声
データの取得を終了して（ステップ７２１）、通信相手
の端末装置からのパケットの受信を終了する（ステップ
７２２）ことにより、通信相手の音声および映像の受信
を終了する。

【００５５】さらに、上記ステップ７１７において，本
端末装置の利用者から終了が指示されたか、または、通
信相手の端末装置から通話の終了を指示するデータを受
信した場合には，さらに通信相手の端末装置へのパケッ
トの送信を終了し（ステップ７２３）、パケットの生成
を終了して（ステップ７２４）、送信する映像の符号化
および音声の符号化を終了する（ステップ７２５）。ま
た、自映像表示エリアへの映像表示を終了し（ステップ
７２６）、映像入力装置から入力した映像の切り出しを
終了して（ステップ７２７）、映像入力装置からの映像
の取得および音声入力装置からの音声の取得を終了する
（ステップ７２８）。なお、これらの終了処理は各処理
を行うプログラムを終了することによって実現できる。

【００５６】そして、端末装置は、ゲートキーパを介し
て通信相手の端末装置との間の呼を解放して（ステップ
７２９）、本端末装置における処理を終了する。なお、
ゲートキーパを介して通信相手の端末装置との間の呼を
解放する方法、手順、および処理内容については、説明
を省略する。

【００５７】なお，本発明の実施例においては，二次記
憶装置５０９には、映像のサイズに関する情報が画素単
位で格納されていたが，必ずしもこの限りではなく，例
えばビット単位あるいはバイト単位等，映像のサイズに
関して画素単位の数値に換算可能な単位で格納されてい
ても良く，この場合には，映像のサイズに関する情報を
使用する際に画素単位の数値に変換して用いればよい。
また，本発明の実施例においては，「端末装置で符号化
および送信に適した映像の任意の画素単位の水平方向サ
イズ」および「端末装置で符号化および送信に適した映
像の任意の画素単位の垂直方向サイズ」として、該端末
装置で符号化および送信に適した映像のサイズの画素数
を送ればよいと記載したが，必ずしもこの限りではな
く，例えば映像のサイズを示すビット数あるいはバイト
数等，映像のサイズに関して画素単位の数値に換算可能
な数値を送るようにしてもよい。この場合には，これら
の情報を受信する端末装置がこれらの情報を画素単位の
数値に変換して用いればよい。また，以上の説明におい
ては、映像入力装置から取得した映像に対して、ステッ
プ７０５で決定した送信する映像のサイズ分の映像の切
り出し、自映像の表示処理では、この切り出した映像を
自映像表示エリアに表示するとともに、映像データの符
号化処理では、この切り出した映像をステップ７０９で
符号化したが、これを例えば以下のように変更してもよ
い。すなわち、図９に示すように、自映像の表示処理に
おいては映像入力装置５０５から取得した映像１１０１
に対して、ステップ７０５で決定した送信する映像のサ
イズ分の枠１５０１をつけるなどしてマーキングし、こ
の枠がつけられた映像１１０１’’をステップ７０８で
自映像表示エリア１５０２に表示するとともに、映像デ
ータの符号化処理では、この枠で囲まれた内部の映像１
５０３を符号化する。この場合、やはり受信側の端末で
受信および復号化された映像１５０３’は、送信側の端
末装置において取得した映像に対して枠がつけられた内
部の映像１１０１’のサイズと同じであるため、この映
像を受信した端末装置の表示画面のサイズと等しいかあ
るいはそれより小さくなる。このため、復号化した相手
映像の表示においては、復号化した映像１５０３’を縮
小することなく、表示画面３０３に表示することが可能
であり、上記で説明した映像を切り出す場合と同様の効
果が得られる。

【００５８】なお、マーキングの位置については、映像
入力装置５０５から取得した映像１１０１の中心をマー
キングの領域の中心とすればよい。または、設定入力装
置５０７によって、ユーザからマーキングの位置が指定
されるようにしても良い。

【００５９】また、以上の説明では、送信側の端末にお
いて、映像入力装置から取得した映像から送信する映像
のサイズ分の映像を切り出す、あるいは送信する映像の
サイズ分の枠をつけるなどしてマーキングし、この枠で
囲まれた内部の映像を符号化するとしたが、例えばパー
ソナルコンピュータ等のように高性能な端末装置の場合
には、必ずしもこの限りではなく、映像入力装置から取
得した映像を縮小するようにしても良い。また、端末装
置は映像を送信する際に，その端末装置の性能を判断し
て、映像入力装置から取得した映像を切り出すか縮小す
るかを判断し、この判断結果に応じて映像入力装置から
取得した映像から送信する映像のサイズ分の映像を切り
出すか縮小するようにしても良い。この場合、図１０に
示すように、中央処理装置５０１がステップ１００１に
おいて、映像の切り出しを行うか縮小を行うか判断す
る。これは、例えば映像入力装置から取得した数フレー
ム分の映像を送信する映像のサイズに縮小して符号化す
るとともに、自映像表示エリアのサイズに縮小して、ス
テップ７０５で決定した送信する映像の属性に準拠して
符号化が可能か否かを判断することにより判断可能であ
る。

【００６０】すなわち、中央処理装置５０１がステップ
１００１において，映像入力装置から取得した映像を送
信する映像のサイズに縮小して符号化するとともに、自
映像表示エリアのサイズに縮小して、ステップ７０５で
決定した送信する映像の属性に準拠して符号化すること
が可能と判断した場合は映像入力装置から取得した映像
を縮小すると判断する。一方、中央処理装置５０１がス
テップ１００１において，映像入力装置から取得した映
像を送信する映像のサイズに縮小して符号化するととも
に、自映像表示エリアのサイズに縮小した場合、ステッ
プ７０５で決定した送信する映像の属性に準拠して符号
化することが不可能と判断した場合には、映像入力装置
から取得した映像を切り出すと判断する。続いて、ステ
ップ１００１において映像入力装置から取得した映像を
切り出すと判断した場合には、前述の通り映像の切り出
しを開始し、一方、ステップ１００１において映像入力
装置から取得した映像を縮小すると判断した場合には、
映像入力装置から取得した映像の縮小を開始する（ステ
ップ１００２）。

【００６１】また、この場合、自映像表示開始処理で
は、ステップ１００１において映像入力装置から取得し
た映像を切り出すと判断した場合には、前述の通り切り
出した映像の表示を開始し、ステップ１００１において
映像入力装置から取得した映像を縮小すると判断した場
合には、映像入力装置から取得した映像を自映像表示エ
リアのサイズにあわせて拡大あるいは縮小して表示する
（ステップ７０８’）。

【００６２】また、本端末装置における処理を終了する
際には、ステップ１００１において映像入力装置から取
得した映像を切り出すと判断したかどうかを判断して
（ステップ１００３）、映像を切り出すと判断した場合
には、前述の通り切り出し処理を終了し、映像を縮小す
ると判断した場合には、ステップ１００２で開始してい
る映像の縮小処理を終了する。なお、図１０において、
図５と同じ内容の処理については同じ番号を付してあ
る。また、本発明の実施形態の説明では、映像の取得お
よび音声の取得処理、映像の切り出し処理、映像の縮小
処理、自映像の表示処理、映像および音声データの符号
化処理、パケットの生成処理、パケットの受信処理、受
信したパケットからの符号化された映像データおよび音
声データの取得処理、符号化された映像データの復号化
および音声データの復号化処理、復号化した相手映像の
表示処理、および復号化した相手音声の出力処理を，そ
れぞれ中央処理装置５０１において実行されるプログラ
ムとしたが、これらの処理をそれぞれハードウェアによ
り実現してもよい。

【００６３】

【発明の効果】本発明によれば、表示画面の属性が異な
っている場合でも効率よく情報を送受信できる。また、
端末装置に必要となるメモリ量や処理能力を少なくし、
低コストな端末装置にて情報通信システムを構築するこ
とが可能である。

【図面の簡単な説明】

【図１】本発明の実施例にかかるテレビ電話システムの
構成図である。

【図２】本発明の実施例にかかるテレビ電話システムに
おける端末装置の一例を示す図であり、特に携帯電話型
の端末装置を示す図である。

【図３】本発明の実施例にかかるテレビ電話システムに
おける端末装置の他の例を示す図であり、特にPDA型の
端末装置を示す図である。

【図４】本発明の実施例にかかるテレビ電話システムに
おける端末装置の構成の一例を示す図である。

【図５】本発明の実施例にかかるテレビ電話システムに
おける端末装置の動作内容を示す図である。

【図６】本発明の実施例にかかるテレビ電話システムに
おける端末装置が相手側の端末装置に自端末装置の能力
情報を通知することおよび相手端末装置から送信された
相手端末装置の能力情報を受信することによって、相手
端末の能力情報を得ることを示す図であり、特に端末装
置間で符号化、送信、復号化、表示、および受信に適し
た映像の符号化方式、任意の画素単位のサイズ、フレー
ムレート、キーフレームの挿入間隔、および任意の数値
のビットレートを通知しあうことを示す図である。

【図７】本発明の実施例にかかるテレビ電話システムに
おける端末装置間で符号化、送信、復号化、表示、およ
び受信に適した映像の符号化方式、任意の画素単位のサ
イズ、フレームレート、キーフレームの挿入間隔、およ
び任意の数値のビットレートを通知しあう際の送受信す
るデータの構造を示す図である。

【図８】本発明の実施例にかかるテレビ電話システムに
おける端末装置が映像入力装置から取得した映像に対し
て、送信する映像のサイズ分の映像を切り出し、この切
り出した映像を自映像表示エリアに表示するとともに、
この切り出した映像を符号化し、相手側の端末装置に送
信することを示す図である。また、受信側の端末装置で
は、この映像を復号化し、縮小することなく、表示画面
に表示することが可能であることを示す図である。

【図９】本発明の実施例にかかるテレビ電話システムに
おける端末装置が映像入力装置から取得した映像に対し
て、送信する映像のサイズ分の枠をつけ、この枠がつけ
られた映像を自映像表示エリアに表示するとともに、こ
の枠で囲まれた内部の映像を符号化し、相手側の端末装
置に送信することを示す図である。また、受信側の端末
装置では、この映像を復号化し、縮小することなく、表
示画面に表示することが可能であることを示す図であ
る。

【図１０】本発明の実施例にかかるテレビ電話システム
における端末装置の動作内容を示す図であり、特に端末
装置の性能を判断して、映像入力装置から取得した映像
を切り出すか縮小するかを判断し、この判断結果に応じ
て映像入力装置から取得した映像から、送信する映像の
サイズ分の映像を切り出すか縮小する場合の端末装置の
動作内容を示す図である。

【符号の説明】

００１…通信拠点Ａ ００２…通信拠点Ｂ １０１…端末装置 １０２…ゲートキーパ １０３…ネットワーク １０４…ゲートキーパ １０５…端末装置 １０６…ルータ １０７…無線アクセスポイント １０８…ルータ １０９…無線アクセスポイント ２００…端末装置 ２０１…端末装置本体 ２０２…カメラ ２０３…表示画面 ２０４…操作ボタン ２０５…スピーカ ２０６…マイク ２０７…アンテナ ３００…端末装置 ３０１…端末装置本体 ３０２…カメラ ３０３…表示画面 ３０４…操作ボタン ３０５…スピーカ ３０６…マイク ３０７…アンテナ ５０１…中央処理装置 ５０２…記憶装置 ５０３…音声入力装置 ５０４…音声出力装置 ５０５…映像入力装置 ５０６…表示装置 ５０７…設定入力装置 ５０８…通信制御/入出力装置 ５０９…二次記憶装置 ５１０…バス

───────────────────────────────────────────────────── フロントページの続き (72)発明者 荻原 一親 茨城県ひたちなか市稲田1410番地 株式会 社日立製作所モバイル端末事業部内 (72)発明者 横沢 達 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所デジタルメディア開発本 部内 (72)発明者 友兼 武郎 神奈川県川崎市麻生区王禅寺1099番地 株 式会社日立製作所システム開発研究所内 Ｆターム(参考） 5C064 AA01 AC04 AC06 AC13 AC15 AC16 AC18 AD02 AD08 AD14 5K067 AA13 BB04 DD52 DD54 EE02 FF02 FF23 FF31

Claims (20)

【特許請求の範囲】
1. 【請求項１】少なくとも２つの端末装置の間で映像を送
   受信するテレビ電話システムであって、第１の端末装置
   は、該第１の端末装置が受信に適した映像に関する情報
   を第２の端末装置に通知し、前記第２の端末装置は、前
   記映像に関する情報に基づき、映像を処理した後に前記
   第１の端末装置に処理後の映像を送信することを特徴と
   するテレビ電話システム。
2. 【請求項２】請求項１記載のテレビ電話システムであっ
   て、前記第１の端末装置は、前記映像に関する情報とし
   て、前記第１の端末装置が復号化、表示、または受信に
   適した映像のサイズを任意の画素単位で通知することを
   特徴とするテレビ電話システム。
3. 【請求項３】請求項１記載のテレビ電話システムであっ
   て、前記第１の端末装置は、前記映像に関する情報とし
   て、前記第１の端末装置が復号化、表示、または受信に
   適した映像のフレームレートを通知することを特徴とす
   るテレビ電話システム。
4. 【請求項４】請求項１記載のテレビ電話システムであっ
   て、前記第１の端末装置は、前記映像に関する情報とし
   て、前記第１の端末装置が復号化、表示、および受信に
   適した映像のビットレートを任意の数値で通知すること
   を特徴とするテレビ電話システム。
5. 【請求項５】請求項１記載のテレビ電話システムであっ
   て、前記第１の端末装置は、前記映像に関する情報とし
   て、前記第１の端末装置が復号化、表示、および受信に
   適した映像のキーフレームの挿入間隔を通知することを
   特徴とするテレビ電話システム。
6. 【請求項６】外部の音声を該端末装置に入力するための
   音声入力手段と、外部の映像を該端末装置に入力するた
   めの映像入力手段と、該音声入力手段により入力した音
   声を符号化する音声データ符号化手段と、該映像入力手
   段により入力した映像を符号化する映像データ符号化手
   段と、受信した符号化音声データを復号化する音声デー
   タ復号化手段と、受信した符号化映像データを復号化す
   る映像データ復号化手段と、復号化した音声を外部に出
   力するための音声出力手段と、復号化した映像を表示す
   るための表示手段と、符号化された音声データおよび映
   像データを送受信するための通信手段と、通信相手の端
   末装置において復号化、表示、および受信に適した映像
   のサイズに関する情報を取得する相手端末能力取得手段
   と、を有する端末装置であって、該端末装置はさらに前
   記映像入力手段で入力した映像から送信すべき映像デー
   タを生成する送信映像生成手段を備え、該送信映像生成
   手段は、前記相手端末能力取得手段で取得した通信相手
   の端末装置において復号化、表示、および受信に適した
   映像のサイズ以下のサイズを送信映像サイズとして決定
   し、前記映像入力手段で入力した映像から該送信映像サ
   イズ分の映像を切り出すことにより送信すべき映像デー
   タを生成し、前記映像データ符号化手段は、該送信映像
   生成手段によって生成された映像データを符号化するこ
   とを特徴とするテレビ電話システムの端末装置。
7. 【請求項７】請求項６に記載のテレビ電話システムの端
   末装置であって、該端末装置は、さらに切り出し位置指
   定手段を備え、該切り出し位置指定手段により、前記送
   信映像生成手段において前記映像入力手段で入力した映
   像から該送信映像サイズ分の映像を切り出す際の切り出
   し位置を指定できることを特徴としたテレビ電話システ
   ムの端末装置。
8. 【請求項８】請求項６乃至請求項７に記載のテレビ電話
   システムの端末装置であって、前記送信映像生成手段
   は、前記映像入力手段により入力した映像のサイズと、
   該端末装置において符号化および送信に適した映像のサ
   イズと、前記相手端末能力取得手段で取得した通信相手
   の端末装置において復号化、表示、および受信に適した
   映像のサイズの内、最も小さい水平方向のサイズ以下を
   水平方向サイズとし，最も小さい垂直方向のサイズ以下
   を垂直方向サイズとして送信映像サイズを決定し、前記
   映像入力手段で入力した映像から該送信映像サイズ分の
   映像を切り出すことにより送信すべき映像データを生成
   することを特徴とするテレビ電話システムの端末装置。
9. 【請求項９】請求項６または請求項８のいずれかに記載
   のテレビ電話システムの端末装置であって、前記送信映
   像生成手段は、該端末装置において前記映像入力手段に
   より入力した映像を前記決定した送信映像サイズに縮小
   するだけの性能があるか否かを判断し、該性能があると
   判断した場合には、前記映像入力手段により入力した映
   像を前記決定した送信映像サイズに縮小することによ
   り、送信すべき映像データを生成し、前記性能がないと
   判断した場合には、前記映像入力手段で入力した映像か
   ら該送信映像サイズ分の映像を切り出すことにより送信
   すべき映像データを生成することを特徴とするテレビ電
   話システムの端末装置。
10. 【請求項１０】請求項６乃至請求項９のいずれかに記載
    のテレビ電話システムの端末装置であって、前記表示手
    段は、前記送信映像生成手段によって生成された送信す
    べき映像データをあらかじめ定められたエリアに表示す
    ることを特徴とするテレビ電話システムの端末装置。
11. 【請求項１１】請求項１０に記載のテレビ電話システム
    の端末装置であって、該端末装置は、さらに送信映像領
    域マーキング手段を備え、該送信映像領域マーキング手
    段は、前記送信映像生成手段によって生成された送信す
    べき映像データの領域を、前記映像入力手段により入力
    した映像中にマーキングし、前記表示手段は、該マーキ
    ングされた映像データをあらかじめ定められたエリアに
    表示することを特徴とするテレビ電話システムの端末装
    置。
12. 【請求項１２】請求項６乃至請求項１１のいずれかに記
    載のテレビ電話システムの端末装置であって、前記相手
    端末能力取得手段は、前記通信相手の端末装置において
    復号化、表示、および受信に適した映像のサイズを任意
    の画素単位で取得することを特徴とするテレビ電話シス
    テムの端末装置。
13. 【請求項１３】請求項６乃至請求項１２のいずれかに記
    載のテレビ電話システムの端末装置であって、該端末装
    置は、さらに自端末能力通知手段を備え、該自端末能力
    通知手段は、該自端末装置において復号化、表示、およ
    び受信に適した映像のサイズを任意の画素単位で相手端
    末装置に通知することを特徴とするテレビ電話システム
    の端末装置。
14. 【請求項１４】請求項１３に記載のテレビ電話システム
    の端末装置であって、前記映像データ復号化手段では、
    受信した符号化映像データを縮小することなく復号化
    し、前記表示手段は、前記復号化した映像を縮小するこ
    となくあらかじめ定められたエリアに表示することを特
    徴とするテレビ電話システムの端末装置。
15. 【請求項１５】外部の音声を該端末装置に入力するため
    の音声入力手段と、外部の映像を該端末装置に入力する
    ための映像入力手段と、該音声入力手段により入力した
    音声を符号化する音声データ符号化手段と、該映像入力
    手段により入力した映像を符号化する映像データ符号化
    手段と、受信した符号化音声データを復号化する音声デ
    ータ復号化手段と、受信した符号化映像データを復号化
    する映像データ復号化手段と、復号化した音声を外部に
    出力するための音声出力手段と、復号化した映像を表示
    するための表示手段と、符号化された音声データおよび
    映像データを送受信するための通信手段と、を備えた端
    末装置であって、該端末装置は、さらに通信相手の端末
    装置において復号化、表示、および受信に適した映像の
    フレームレートを取得する相手端末能力取得手段を備
    え、前記映像データ符号化手段は、該相手端末能力取得
    手段により取得した通信相手の端末装置において復号
    化、表示、および受信に適した映像のフレームレート以
    下のフレームレートで前記映像入力手段から入力した映
    像を符号化することを特徴とするテレビ電話システムの
    端末装置。
16. 【請求項１６】請求項１５に記載のテレビ電話システム
    の端末装置であって、該端末装置は、さらに自端末能力
    通知手段を備え、該自端末能力通知手段は、該自端末装
    置において復号化、表示、および受信に適した映像のフ
    レームレートを相手端末装置に通知することを特徴とす
    るテレビ電話システムの端末装置。
17. 【請求項１７】外部の音声を該端末装置に入力するため
    の音声入力手段と、外部の映像を該端末装置に入力する
    ための映像入力手段と、該音声入力手段により入力した
    音声を符号化する音声データ符号化手段と、該映像入力
    手段により入力した映像を符号化する映像データ符号化
    手段と、受信した符号化音声データを復号化する音声デ
    ータ復号化手段と、受信した符号化映像データを復号化
    する映像データ復号化手段と、復号化した音声を外部に
    出力するための音声出力手段と、復号化した映像を表示
    するための表示手段と、符号化された音声データおよび
    映像データを送受信するための通信手段と、を備えた端
    末装置であって、該端末装置は、さらに通信相手の端末
    装置において復号化、表示、および受信に適した映像の
    ビットレートを任意の数値で取得する相手端末能力取得
    手段を備え、前記映像データ符号化手段は、該相手端末
    能力取得手段により取得した通信相手の端末装置におい
    て復号化、表示、および受信に適した映像のビットレー
    ト以下のビットレートで前記映像入力手段から入力した
    映像を符号化することを特徴とするテレビ電話システム
    の端末装置。
18. 【請求項１８】請求項１７に記載のテレビ電話システム
    の端末装置であって、該端末装置は、さらに自端末能力
    通知手段を備え、該自端末能力通知手段は、該自端末装
    置において復号化、表示、および受信に適した映像のビ
    ットレートを任意の数値で相手端末装置に通知すること
    を特徴とするテレビ電話システムの端末装置。
19. 【請求項１９】外部の音声を該端末装置に入力するため
    の音声入力手段と、外部の映像を該端末装置に入力する
    ための映像入力手段と、該音声入力手段により入力した
    音声を符号化する音声データ符号化手段と、該映像入力
    手段により入力した映像を符号化する映像データ符号化
    手段と、受信した符号化音声データを復号化する音声デ
    ータ復号化手段と、受信した符号化映像データを復号化
    する映像データ復号化手段と、復号化した音声を外部に
    出力するための音声出力手段と、復号化した映像を表示
    するための表示手段と、符号化された音声データおよび
    映像データを送受信するための通信手段と、を備えた端
    末装置であって、該端末装置は、さらに通信相手の端末
    装置において復号化、表示、および受信に適した映像の
    キーフレームの挿入間隔を取得する相手端末能力取得手
    段を備え、前記映像データ符号化手段は、該相手端末能
    力取得手段により取得した通信相手の端末装置において
    復号化、表示、および受信に適した映像のキーフレーム
    の挿入間隔を元にして、前記映像入力手段から入力した
    映像を符号化する際のキーフレームの挿入間隔を決定
    し、該キーフレームの挿入間隔でキーフレームを挿入し
    つつ前記映像入力手段から入力した映像を符号化するこ
    とを特徴とするテレビ電話システムの端末装置。
20. 【請求項２０】請求項１９に記載のテレビ電話システム
    の端末装置であって、該端末装置は、さらに自端末能力
    通知手段を備え、該自端末能力通知手段は、該自端末装
    置において復号化、表示、および受信に適した映像のキ
    ーフレームの挿入間隔を相手端末装置に通知することを
    特徴とするテレビ電話システムの端末装置。