JP2005130356A

JP2005130356A - テレビ電話システム及びその通信方法、並びに通信端末

Info

Publication number: JP2005130356A
Application number: JP2003365879A
Authority: JP
Inventors: Naoyuki Suzuki; 直行鈴木; Hideaki Matsuo; 英明松尾; Satoru Haneda; 哲羽田; Takahiro Makino; 崇弘牧野
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-10-27
Filing date: 2003-10-27
Publication date: 2005-05-19

Abstract

【課題】通信端末における処理量や通信端末間で伝送するデータ量を削減しつつ、テレビ電話における表現を多様化することを可能にする。
【解決手段】テレビ電話システムにおける送信側の携帯電話端末Ａ２０は、キー入力部２１３に入力されたキー操作入力等の指示入力に応じて、グラフィックデータベース２４１のグラフィックデータや音楽データベース２４２の音楽データを参照し、受信側の携帯電話端末Ｂ４０に対する制御情報を制御情報作成部２４３で生成する。この制御情報をデータエンコード部２６３でエンコードし、テレビ電話通信回線３０のデータチャネル３２を使用して送信する。受信側の携帯電話端末Ｂ４０では、伝送された制御情報を解析し、この解析結果に基づいて、動画像や音声の送受信及び再生表示を行いながら、対応するグラフィックの描画や音楽の再生等を行う。
【選択図】図２

Description

本発明は、動画像情報を含むデータを通信端末間で送受信するテレビ電話システム及びその通信方法、並びに通信端末に関する。

複数の通信端末及びネットワーク等から構成されるテレビ電話システムでは、各通信端末で撮影された映像が音声と共にネットワークを介して相手端末に送られる。このため、離れた場所にいる相手とでも顔を見ながら会話することができる。相手の顔を見ながら会話することができれば、声のトーンだけでなく相手の表情を視覚的に確認することができるため、よりリアルな高いレベルのコミュニケーションをとることができるといったメリットがある。最近では、通信手段の広帯域化によって、有線回線を用いたテレビ電話装置だけでなく、移動体通信の携帯電話装置などでもリアルタイムに画像の送受信を行えるようになってきている。

このようなテレビ電話システムは、視覚情報の伝送により高いコミュニケーション力を備えているが、使用者や使用状況などによっては、自端末で撮影した映像をそのまま相手端末に送信したくない場合もある。例えば、使用者のプライバシなどを考慮し、服装や顔の細部、周囲の背景など、通信相手に伝えたくない情報については伝送せずに、テレビ電話を利用したいという要求がある。

そこで、通信端末において撮影した顔画像から顔の表情を抽出してアニメーション化したり、使用者が設定した仮想のキャラクタを用いて、この仮想キャラクタに撮影画像等を基に生成した動き情報を付加するなどして、生成したグラフィック及びアニメーションを伝送する方法が提案されている。例えば、特許文献１には、入力した顔画像に応じて顔の特徴点のデータを抽出し、この顔画像に対応して用いるモデルデータを読み出して顔の特徴点のデータ及びモデルデータを受信側の情報端末装置に送り、受信側では、受信した特徴点のデータに基づいてモデルデータの対応する特徴点のデータを変更して表情に合ったモデルデータを生成し、生成したモデルデータにレンダリングを施すことにより、送信者の表情を反映させたモデル画像を生成して動画表示するものが開示されている。

しかし、撮影した動画像に複雑なコンピュータグラフィックを合成して伝送する場合、グラフィック生成やエンコード等の画像処理時の処理量が増大したり、相手端末へ伝送するデータ量が増加し、リアルタイムでの伝送が困難なことがある。通信端末における処理能力や通信端末間で伝送可能な通信帯域には限りがあるため、例えば、動画像に合成するコンピュータグラフィックの情報量が多いと、データをエンコードする際の符号量のエントロピーが増加し、エンコード−伝送−デコード等の処理がリアルタイムに実施できなくなる。また、リアルタイムで動画像の送受信及び表示を行いながら、通信端末において多様な拡張機能を実行したいという要求もある。

特開２００３−１６４７５号公報

本発明は、上記事情に鑑みてなされたもので、通信端末における処理量や通信端末間で伝送するデータ量を削減しつつ、テレビ電話における表現を多様化することが可能なテレビ電話システム及びその通信方法、並びに通信端末を提供することを目的とする。

本発明は、第１に、動画像情報を含むデータを複数の通信端末間で送受信するテレビ電話システムであって、第１の通信端末は、指示入力に応じて、通信相手となる第２の通信端末に対する制御情報を生成する制御情報生成手段と、前記制御情報を動画像用チャネルとは別のデータチャネルを使用して送信する制御情報送信手段とを備え、第２の通信端末は、前記第１の通信端末より伝送された制御情報を解析する制御情報解析手段と、前記制御情報に応じた拡張機能を実行する拡張機能実行手段とを備えるテレビ電話システムを提供する。

この構成により、通信端末における処理量や通信端末間で伝送するデータ量を削減しつつ、拡張機能を実行することができ、テレビ電話における表現を多様化することが可能となる。

また、第２に、本発明の一態様として、上記のテレビ電話システムであって、前記第１の通信端末は、前記制御情報生成手段によって音楽再生を指示する制御情報を生成し、この生成した制御情報を前記制御情報送信手段によって前記データチャネルを使用して前記第２の通信端末へ送信するものであり、前記第２の通信端末は、前記拡張機能実行手段として音楽再生手段を備え、前記制御情報解析手段による前記制御情報の解析結果に基づき、前記音楽再生手段によって対応する音楽の再生を行うものも含まれる。

この構成により、通信端末における処理量や動画像用チャネルを介して通信端末間で伝送するデータ量を増加させることなく、動画像の通信とともに音楽の再生を行うことが可能となる。

また、第３に、本発明の一態様として、上記のテレビ電話システムであって、前記第１の通信端末は、前記制御情報送信手段によって前記制御情報とともに対応する音楽データを前記データチャネルを使用して前記第２の通信端末へ送信するものであり、前記第２の通信端末は、前記音楽再生手段によって前記第１の通信端末から伝送された音楽データの再生を行うものも含まれる。

この構成により、データチャネルを使用して音楽データを伝送することで、動画像用チャネルにおけるデータ量を増加させることなく、動画像の通信とともに音楽の再生を行うことが可能となる。

また、第４に、本発明の一態様として、上記のテレビ電話システムであって、前記第１の通信端末は、前記制御情報生成手段によってグラフィックの描画を指示する制御情報を生成し、この生成した制御情報を前記制御情報送信手段により前記データチャネルを使用して前記第２の通信端末へ送信するものであり、前記第２の通信端末は、前記拡張機能実行手段としてグラフィック描画手段を備え、前記制御情報解析手段による前記制御情報の解析結果に基づき、前記グラフィック描画手段によって対応するグラフィックデータを用いてグラフィックの描画を行うものも含まれる。

この構成により、通信端末における処理量や動画像用チャネルを介して通信端末間で伝送するデータ量を増加させることなく、動画像の通信とともにグラフィックの描画を行うことができ、例えば描画画像の動画像との置き換え、描画画像と動画像との合成などの多様な表現を行える拡張機能を容易に実行することが可能となる。

また、第５に、本発明の一態様として、上記のテレビ電話システムであって、前記第１の通信端末は、前記制御情報生成手段によってグラフィックの描画を指示する制御情報を生成し、この生成した制御情報とともに対応するグラフィックデータを前記制御情報送信手段により前記データチャネルを使用して前記第２の通信端末へ送信するものであり、前記第２の通信端末は、前記拡張機能実行手段としてグラフィック描画手段を備え、前記制御情報解析手段による前記制御情報の解析結果に基づき、前記グラフィック描画手段によって前記第１の通信端末から伝送されたグラフィックデータを用いてグラフィックの描画を行うものも含まれる。

この構成により、データチャネルを使用して制御情報とともにグラフィックデータを伝送することで、動画像用チャネルにおけるデータ量を増加させることなく、動画像の通信とともにグラフィックの描画を行うことが可能となる。

また、第６に、本発明の一態様として、上記のテレビ電話システムであって、前記第１の通信端末は、入力された動画像の特徴点を検出する特徴点検出手段を備え、前記制御情報生成手段によってグラフィックの描画を指示する指示情報と前記特徴点に関する特徴点情報とを含む制御情報を生成し、この生成した制御情報を前記制御情報送信手段により前記データチャネルを使用して前記第２の通信端末へ送信するものであり、前記第２の通信端末は、前記第１の通信端末より伝送された動画像とグラフィック描画した描画画像とを合成する合成手段を備え、前記制御情報解析手段による前記制御情報の解析結果に基づき、前記グラフィック描画手段によって対応するグラフィックデータを用いてグラフィックの描画を行い、前記合成手段によって前記動画像中の前記特徴点に対応する位置に前記描画した描画画像を合成するものも含まれる。

この構成により、動画像中の顔等の特徴点を検出し、この特徴点に対応する位置にグラフィックの描画を行うことで、通信端末における処理量や動画像用チャネルを介して通信端末間で伝送するデータ量を増加させることなく、動画像の通信とともにこの動画像に合わせた高機能なグラフィックの描画を行うことが可能となる。

また、第７に、本発明の一態様として、上記のテレビ電話システムであって、前記第１の通信端末は、入力された動画像の特徴点を検出する特徴点検出手段を備え、前記制御情報生成手段によってグラフィックの描画を指示する指示情報と前記特徴点に関する特徴点情報とを含む制御情報を生成し、この生成した制御情報とともに対応するグラフィックデータを前記制御情報送信手段により前記データチャネルを使用して前記第２の通信端末へ送信するものであり、前記第２の通信端末は、前記第１の通信端末より伝送された動画像とグラフィック描画した描画画像とを合成する合成手段を備え、前記制御情報解析手段による前記制御情報の解析結果に基づき、前記グラフィック描画手段によって前記第１の通信端末から伝送されたグラフィックデータを用いてグラフィックの描画を行い、前記合成手段によって前記動画像中の前記特徴点に対応する位置に前記描画した描画画像を合成するものも含まれる。

この構成により、動画像中の顔等の特徴点を検出し、データチャネルを使用して制御情報とともにグラフィックデータを伝送して、前記特徴点に対応する位置にグラフィックの描画を行うことで、動画像用チャネルにおけるデータ量を増加させることなく、動画像の通信とともにこの動画像に合わせた高機能なグラフィックの描画を行うことが可能となる。

また、第８に、本発明の一態様として、上記のテレビ電話システムであって、前記第１の通信端末は、入力された動画像の動きを検出する動作検出手段を備え、前記制御情報生成手段によってグラフィックの描画を指示する指示情報と前記特徴点情報と前記動きに関する動作情報とを含む制御情報を生成し、この生成した制御情報を前記制御情報送信手段により前記データチャネルを使用して前記第２の通信端末へ送信するものであり、前記第２の通信端末は、前記制御情報解析手段による前記制御情報の解析結果に基づき、前記グラフィック描画手段によって対応するグラフィックデータを用いてグラフィックの描画を行い、前記合成手段によって前記特徴点の位置及び動作に応じて前記描画した描画画像と前記動画像とを合成するものも含まれる。

この構成により、動画像中の顔等の特徴点を検出するとともに、この動画像の動きを検出し、これらの特徴点の位置及び動作に応じて描画した描画画像と動画像とを合成することで、通信端末における処理量や動画像用チャネルを介して通信端末間で伝送するデータ量を増加させることなく、動画像の通信とともにこの動画像に合わせた多様な表現のグラフィックの描画を行うことが可能となる。

また、第９に、本発明の一態様として、上記のテレビ電話システムであって、前記第１の通信端末は、入力された動画像の動きを検出する動作検出手段を備え、前記制御情報生成手段によってグラフィックの描画を指示する指示情報と前記特徴点情報と前記動きに関する動作情報とを含む制御情報を生成し、この生成した制御情報とともに対応するグラフィックデータを前記制御情報送信手段により前記データチャネルを使用して前記第２の通信端末へ送信するものであり、前記第２の通信端末は、前記制御情報解析手段による前記制御情報の解析結果に基づき、前記グラフィック描画手段によって前記第１の通信端末から伝送されたグラフィックデータを用いてグラフィックの描画を行い、前記合成手段によって前記特徴点の位置及び動作に応じて前記描画した描画画像と前記動画像とを合成するものも含まれる。

この構成により、動画像中の顔等の特徴点を検出するとともに、この動画像の動きを検出し、データチャネルを使用して制御情報とともにグラフィックデータを伝送して、これらの特徴点の位置及び動作に応じて描画した描画画像と動画像とを合成することで、動画像用チャネルにおけるデータ量を増加させることなく、動画像の通信とともにこの動画像に合わせた多様な表現のグラフィックの描画を行うことが可能となる。

また、第１０に、本発明の一態様として、上記いずれかのテレビ電話システムであって、前記第１の通信端末は、前記指示入力に応じた拡張機能を自端末で実行する手段として、音楽再生手段とグラフィック描画手段の少なくとも一方を含む拡張機能実行手段を備えるものも含まれる。

この構成により、指示入力に応じて自端末において音楽再生やグラフィックの描画等の拡張機能を実行して、テレビ電話システムによる動画像の送受信を行いながら、音楽の再生出力や描画画像の表示等を行うことができる。

また、第１１に、本発明の一態様として、上記いずれかのテレビ電話システムであって、前記第２の通信端末は、前記グラフィックの描画に際してグラフィックデータの動作パターンに基づいて描画画像の配置予測を行う配置予測手段を備え、前記グラフィック描画手段によって前記配置予測結果に応じた位置にグラフィックの描画を行うものも含まれる。

この構成により、例えばデータチャネルにおける制御情報伝送時のタイムラグ等を考慮して、描画画像が配置される位置を伝送時間差に合わせて予測し、より適切な位置にグラフィックの描画画像を描画して動画像と合成することが可能となる。

本発明は、第１２に、動画像情報を含むデータを複数の通信端末間で送受信するテレビ電話システムに用いる通信端末であって、入力された動画像のデータを動画像用チャネルを使用して通信相手の通信端末に送信する動画像情報送信手段と、指示入力に応じて、この指示入力に対応する拡張機能を実行させるための前記通信相手の通信端末に対する制御情報を生成する制御情報生成手段と、前記制御情報を前記動画像用チャネルとは別のデータチャネルを使用して送信する制御情報送信手段とを備える通信端末を提供する。

この構成により、通信端末における処理量や通信端末間で伝送するデータ量を削減しつつ、通信相手の通信端末に制御情報を送信して拡張機能を実行させることができ、テレビ電話における表現を多様化することが可能となる。

また、第１３に、本発明の一態様として、上記の通信端末であって、前記制御情報生成手段は、音楽再生を指示する制御情報とグラフィックの描画を指示する制御情報の少なくとも一方を含む制御情報を生成するものも含まれる。

この構成により、通信端末における処理量や動画像用チャネルを介して通信端末間で伝送するデータ量を増加させることなく、通信相手の通信端末において動画像の通信とともに音楽の再生やグラフィックの描画を実行させることが可能となる。

本発明は、第１４に、動画像情報を含むデータを複数の通信端末間で送受信するテレビ電話システムに用いる通信端末であって、動画像用チャネルを使用して通信相手の通信端末から伝送された動画像のデータを再生する動画像再生手段と、前記動画像用チャネルとは別のデータチャネルを使用して前記通信相手の通信端末から伝送された制御情報を解析する制御情報解析手段と、前記制御情報の解析結果に基づき、この制御情報に応じた拡張機能を実行する拡張機能実行手段とを備える通信端末を提供する。

この構成により、通信端末における処理量や通信端末間で伝送するデータ量を削減しつつ、通信相手の通信端末からの制御情報に応じて拡張機能を実行することができ、テレビ電話における表現を多様化することが可能となる。

また、第１５に、本発明の一態様として、上記の通信端末であって、前記拡張機能実行手段は、前記制御情報に応じて音楽再生を行う音楽再生手段と前記制御情報に応じてグラフィックの描画を行うグラフィック描画手段の少なくとも一方を含むものも含まれる。

この構成により、通信端末における処理量や動画像用チャネルを介して通信端末間で伝送するデータ量を増加させることなく、通信相手の通信端末からの制御情報に応じて動画像の通信とともに音楽の再生やグラフィックの描画を行うことが可能となる。

本発明は、第１６に、動画像情報を含むデータを複数の通信端末間で送受信するテレビ電話システムの通信方法であって、送信側の第１の通信端末において、入力された動画像のデータを動画像用チャネルを使用して通信相手となる第２の通信端末に送信するステップと、指示入力に応じて、この指示入力に対応する拡張機能を実行させるための前記第２の通信端末に対する制御情報を生成するステップと、前記制御情報を動画像用チャネルとは別のデータチャネルを使用して送信するステップとを有する通信方法を提供する。

この手順により、通信端末における処理量や通信端末間で伝送するデータ量を削減しつつ、通信相手の通信端末に制御情報を送信して拡張機能を実行させることができ、テレビ電話における表現を多様化することが可能となる。

また、第１７に、本発明の一態様として、上記の通信方法であって、前記制御情報を生成するステップにおいて、音楽再生を指示する制御情報とグラフィックの描画を指示する制御情報の少なくとも一方を含む制御情報を生成するものも含まれる。

この手順により、通信端末における処理量や動画像用チャネルを介して通信端末間で伝送するデータ量を増加させることなく、通信相手の通信端末において動画像の通信とともに音楽の再生やグラフィックの描画を実行させることが可能となる。

本発明は、第１８に、動画像情報を含むデータを複数の通信端末間で送受信するテレビ電話システムの通信方法であって、受信側の第２の通信端末において、動画像用チャネルを使用して通信相手となる第１の通信端末から伝送された動画像のデータを再生するステップと、前記動画像用チャネルとは別のデータチャネルを使用して前記第１の通信端末から伝送された制御情報を解析するステップと、前記制御情報の解析結果に基づき、この制御情報に応じた拡張機能を実行するステップとを有する通信方法を提供する。

この手順により、通信端末における処理量や通信端末間で伝送するデータ量を削減しつつ、通信相手の通信端末からの制御情報に応じて拡張機能を実行することができ、テレビ電話における表現を多様化することが可能となる。

また、第１９に、本発明の一態様として、上記の通信方法であって、前記拡張機能を実行するステップにおいて、前記制御情報に応じて、音楽再生とグラフィックの描画の少なくとも一方を実行するものも含まれる。

この手順により、通信端末における処理量や動画像用チャネルを介して通信端末間で伝送するデータ量を増加させることなく、通信相手の通信端末からの制御情報に応じて動画像の通信とともに音楽の再生やグラフィックの描画を行うことが可能となる。

本発明によれば、通信端末における処理量や通信端末間で伝送するデータ量を削減しつつ、テレビ電話における表現を多様化することが可能なテレビ電話システム及びその通信方法、並びに通信端末を提供できる。

本実施形態では、テレビ電話システムの例として、通信端末に撮像手段を備えた携帯電話端末を用い、移動体通信網の無線通信手段によって動画像や音声の情報を送受信する場合の構成を説明する。なお、携帯電話端末の代わりに、撮像手段及び通信手段を備えた携帯情報端末（ＰＤＡ）などを用いても同様に実施可能である。また、携帯型の通信端末だけでなく、有線回線によって情報通信を行うテレビ電話端末などにも適用可能である。

図１は本発明の実施形態に用いる携帯電話端末の構成を示すブロック図である。携帯電話端末は、使用者自身等の撮影を行うカメラ１１、音声入力を行うマイク１２、音声出力を行うスピーカ１３、使用者が各種情報や指示等の操作入力を行うキー操作部１４、画像等の各種情報を表示するＬＣＤ等からなる表示部１５、各種信号処理を行う信号処理部１６、無線通信信号の変復調処理等を行う無線部１７、無線通信信号の送受波を行うアンテナ１８を備えて構成される。

信号処理部１６は、カメラ１１で撮影された画像データの処理、マイク１２から入力された音声データの処理、スピーカ１３に出力する音声データの処理などの信号処理を行うものである。この信号処理部１６では、ＭＰＥＧ４のビデオコーデック規格等に準拠した動画像の画像データや音声データの圧縮（符号化）、伸長（復号化）とともに、後述する制御情報の生成や解析、グラフィック描画、画像合成などが行われる。

上記構成の携帯電話端末をテレビ電話システムに適用してテレビ電話の通信を行う場合、カメラ１１において、使用者自身の顔等の画像が撮影され、得られた動画または静止画の画像データが信号処理部１６へ転送される。また、マイク１２により使用者の声等が入力され、その音声データが信号処理部１６へ転送される。信号処理部１６では、前記画像データ及び音声データに関してテレビ電話システムの伝送規格に応じた信号処理が行われ、符号化された伝送データが生成される。この伝送データは、無線部１７において変調処理されてアンテナ１８より送信され、移動体通信網を介して通信相手の携帯電話端末等に送られる。

また、通信相手の通信端末から送られてきた伝送データは、アンテナ１８及び無線部１７により受信されて復調処理された後、信号処理部１６においてテレビ電話システムの伝送規格に応じた信号処理が行われて復号化され、画像データ及び音声データが復元される。そして、通信相手の顔等の動画または静止画の画像が表示部１５に表示され、通信相手の声等がスピーカ１３より再生出力される。

図２は本発明の実施形態のテレビ電話システムにおける送信側の携帯電話端末の機能構成を示すブロック図である。送信側の携帯電話端末Ａ２０は、入力部２１、出力部２２、特徴検出部２３、データ処理部２４、合成部２５、エンコーダ２６を有して構成される。これらのうち、データ処理部２４、特徴検出部２３、合成部２５、エンコーダ２６の機能は、図１の信号処理部１６により実現される。

入力部２１は、図１のカメラ１１、マイク１２、キー操作部１４などの入力デバイスにより実現されるものであり、カメラ１１で撮影した画像データを入力するカメラ入力部２１１、マイク１２で取得した音声データを入力する音声入力部２１２、キー操作部１４の操作による操作信号を入力するキー入力部２１３、内部的に乱数を発生させてランダムにタイムアウトするランダムタイマ部２１４を有している。出力部２２は、図１の表示部１５、スピーカ１３などの出力デバイスにより実現されるものであり、表示部１５の表示画面に画像を表示出力する画像出力部２２１、スピーカ１３より音声を出力する音声出力部２２２を有している。

特徴検出部２３は、カメラ入力部２１１により入力した撮影画像データの特徴を検出するもので、被写体となる人物の顔の特徴点を検出する顔特徴検出部２３１、被写体となる人物の動きを検出する動作検出部２３２を有している。顔特徴検出部２３１は、特徴点検出手段の一例に相当するもので、特徴点として、顔を構成する主要な部位である眉、目、鼻、口などの各部位の特徴となる点を抽出する。動作検出部２３２は、動作検出手段の一例に相当するもので、首を縦や横に振るなどの頭部の動作を検出する。

データ処理部２４は、入力部２１や特徴検出部２３からの入力情報に基づいて処理を行うもので、コンピュータグラフィックのアニメーション等を生成するための素材となるグラフィックデータを格納するグラフィックデータベース２４１、楽曲などを再生するための音楽データを格納する音楽データベース２４２を有している。また、データ処理部２４は、前記入力情報、グラフィックデータ、音楽データ等に基づいて通信相手の通信端末において利用する制御情報を作成する制御情報作成部２４３、前記グラフィックデータを用いて描画を行うグラフィック描画部２４４を有している。制御情報作成部２４３は、制御情報生成手段の機能を実現するものである。

合成部２５は、カメラ入力部２１１により入力した動画像の撮影画像データである動画像データ（以下ではビデオデータと称する）と、グラフィック描画部２４４で描画したグラフィックの描画データとを合成処理し、合成画像データを画像出力部２２１に送出するものである。合成部２５における合成処理は、例えば、画像情報として重畳可能な複数のサーフェイスを有するものとし、ビデオデータによるビデオサーフェイスと描画データによるグラフィックサーフェイスとを重ね合わせて合成するような処理が行われる。

エンコーダ２６は、カメラ入力部２１１により入力したビデオデータをエンコードするビデオエンコード部２６１、音声入力部２１２により入力した音声データをエンコードする音声エンコード部２６２、制御情報作成部２４３で生成した制御情報やグラフィックデータベース２４１からのグラフィックデータをエンコードするデータエンコード部２６３を有している。このエンコーダ２６により、テレビ電話システムにおいて用いられる伝送規格（３Ｇ−３２４Ｍなど）に準拠したビデオデータ及び音声データの符号化、及び制御情報またはグラフィックデータを含む制御データの符号化が行われ、テレビ電話通信用の圧縮されたデータが生成される。

送信側の携帯電話端末Ａ２０からのビデオデータ、音声データ、及び制御データは、Ｗ−ＣＤＭＡ方式の移動体通信網などによるテレビ電話通信回線３０を介して受信側の携帯電話端末Ｂ４０へ伝送される。このテレビ電話通信回線３０は、データ伝送チャネルとして、ビデオデータ及び音声データを伝送する音声・ビデオチャネル３１と、制御データを伝送するデータチャネル３２とを有している。携帯電話端末Ａ２０は、エンコーダ２６からのビデオデータ、音声データ、及び制御データを送信する送信手段を備えており、ビデオデータ及び音声データを音声・ビデオチャネル３１を使用して送信する動画像情報送信手段と、制御データをデータチャネル３２を使用して送信する制御情報送信手段との機能を有している。この送信手段の機能は、図１の信号処理部１６及び無線部１７によって実現される。

図３は本発明の実施形態のテレビ電話システムにおける受信側の携帯電話端末の機能構成を示すブロック図である。受信側の携帯電話端末Ｂ４０は、出力部４１、データ処理部４２、合成部４３、デコーダ４４を有して構成される。これらのうち、データ処理部４２、合成部４３、デコーダ４４の機能は、図１の信号処理部１６により実現される。

出力部４１は、前記表示部１５、スピーカ１３などの出力デバイスにより実現されるものであり、表示部１５の表示画面に画像を表示出力する画像出力部４１１、スピーカ１３より音声を出力する音声出力部４１２を有している。音声出力部４１２は、拡張機能実行手段としての音楽再生手段の機能を実現するものである。

デコーダ４４は、携帯電話端末Ａ２０から伝送されたビデオデータをデコードするビデオデコード部４４１、携帯電話端末Ａ２０から伝送された音声データをデコードする音声デコード部４４２、携帯電話端末Ａ２０から伝送された制御情報またはグラフィックデータを含む制御データをデコードするデータデコード部４４３を有している。このデコーダ４４により、テレビ電話通信用に符号化されて伝送されてきたビデオデータ及び音声データの復号化、及び制御情報またはグラフィックデータを含む制御データの復号化が行われ、通信端末で再生可能なデータとして復元される。

データ処理部４２は、デコーダ４４からの入力情報に基づいて処理を行うもので、携帯電話端末Ａ２０から伝送されデータデコード部４４３でデコードされた制御情報を解析する制御情報解析部４２２を有している。制御情報解析部４２２は、制御情報解析手段の機能を実現するものである。また、データ処理部４２は、コンピュータグラフィックのアニメーション等を生成するための素材となるグラフィックデータと、このアニメーション等の描画データの配置予測を行うための動作パターン情報とを格納するグラフィックデータベース４２１を有している。さらに、データ処理部４２は、制御情報解析部４２２で解析した制御情報とグラフィックデータ及び動作パターンとに基づいて描画データの配置を予測する配置予測部４２３、前記配置予測部４２３からのグラフィックデータを含む出力データを用いて描画を行うグラフィック描画部４２４を有している。グラフィック描画部４２４は、拡張機能実行手段としてのグラフィック描画手段の機能を実現するものであり、配置予測部４２３は、配置予測手段の機能を実現するものである。

合成部４３は、合成手段の機能を実現するもので、携帯電話端末Ａ２０から伝送されビデオデコード部４４１でデコードされた動画像のビデオデータと、グラフィック描画部４２４で描画したグラフィックの描画データとを合成処理し、合成画像データを画像出力部４１１に送出するものである。合成部４３における合成処理は、送信側の携帯電話端末Ａ２０と同様、例えば、画像情報として重畳可能な複数のサーフェイスを有するものとし、ビデオデータによるビデオサーフェイスと描画データによるグラフィックサーフェイスとを重ね合わせて合成するような処理が行われる。

次に、上述した携帯電話端末Ａ２０及び携帯電話端末Ｂ４０を用いたテレビ電話システムにおける通信時の動作をいくつかの実施形態によって説明する。

本実施形態では、テレビ電話通信回線３０におけるデータチャネル３２を使用し、制御情報やグラフィックデータを伝送することにより、音声・ビデオチャネル３１においてビデオデータ及び音声データに付加して描画データなどを伝送しなくとも、相手側の通信端末で描画データの生成を行ってビデオデータに描画データを合成するなどの動作が可能となる。また、このとき、制御情報によって、相手側の通信端末を制御したり、相手側の通信端末におけるグラフィックデータの描画に際して描画位置や描画内容（動きなど）などを指示することができる。さらに、データチャネル３２を使用して音楽データを伝送し、相手側の通信端末でテレビ電話とともに音楽再生を行うことも可能である。なお、制御情報を用いて相手側の通信端末を制御する際の制御内容としては、撮影画像に追加するグラフィックの描画だけでなく、音声出力や、表示部における他の画像表示等、携帯電話端末における各種動作の制御を行うことも可能である。

上記動作により、テレビ電話システムの機能を拡張するとともに、これに伴う音声・ビデオチャネル３１における伝送データ量の増加を抑制することができ、通信回線における伝送負荷及び通信端末における処理負荷を軽減できる。このため、リアルタイムでテレビ電話による動画像及び音声の通信を行いながら、グラフィックの表示や音楽再生などの機能を追加して実行できる。

（第１の実施形態）
図４は第１の実施形態の動作における送信側の携帯電話端末Ａ２０の動作手順を示すフローチャート、図５は第１の実施形態の動作における受信側の携帯電話端末Ｂ４０の動作手順を示すフローチャートである。第１の実施形態は、データチャネル３２を使用して送信側の携帯電話端末Ａ２０から制御情報を送信し、受信側の携帯電話端末Ｂ４０で拡張機能としてグラフィックの描画を行ってビデオデータに合成する例である。

送信側の携帯電話端末Ａ２０では、入力部２１のキー入力部２１３においてキー入力があると（ステップＳ１１）、このキー入力に応じて、制御情報作成部２４３において受信側の携帯電話端末Ｂ４０に対する制御情報を作成する（ステップＳ１２）。キー入力の例としては、例えば、撮影画像データに対するグラフィックの追加、撮影画像データに似せてアニメーション化したグラフィックへの置き換え、仮想キャラクタのグラフィックへの置き換え、追加等を行うグラフィックの選択等を指示するキー操作部１４による入力操作が挙げられる。

なお、制御情報を作成する指示入力として、前記キー入力の代わりに、音声入力部２１２での音声入力における使用者からの音声指示、カメラ入力部２１１でのカメラ入力における被写体の顔の表情等による画像データの内容や変化、ランダムタイマ部２１４でのランダムタイマのカウントアップによるランダムな時間間隔毎のトリガ入力などを用いることもできる。

ステップＳ１２において、制御情報作成部２４３は、指示入力の内容に対応して、グラフィックデータベース２４１のグラフィックデータ１０１を参照し、グラフィックを描画するための制御情報を作成する。この制御情報には、描画するグラフィック素材の識別情報、グラフィックの描画を実行する描画フラグ、描画位置情報、動き情報などが含まれる。

次に、データエンコード部２６３において前記生成した制御情報をエンコードし（ステップＳ１３）、エンコードした制御データをデータチャネル３２を使用して携帯電話端末Ｂ４０へ送信する（ステップＳ１４）。このとき、制御情報の伝送と並行して、カメラ入力部２１１により入力したビデオデータをビデオエンコード部２６１でエンコードするとともに、音声入力部２１２により入力した音声データを音声エンコード部２６２でエンコードし、これらのエンコードしたビデオデータ及び音声データを音声・ビデオチャネル３１を使用して携帯電話端末Ｂ４０へ送信する。

また、グラフィック描画部２４４において、前記指示入力の内容に対応して、グラフィックデータベース２４１からグラフィックデータ１０１を読み出し、三次元グラフィックのレンダリング処理等によってグラフィックの描画を行う（ステップＳ１５）。そして、合成部２５において、携帯電話端末Ａ２０で撮影した画像データ１０２、すなわちカメラ入力部２１１により入力したビデオデータと、グラフィック描画部２４４で描画したグラフィックの描画データとを合成する（ステップＳ１６）。この合成処理した画像データを出力部２２の画像出力部２２１により表示出力することで（ステップＳ１７）、表示部１５に自端末により撮影した画像とグラフィック描画した画像とが合成表示される。また、音声入力部２１２により入力した音声データは、出力部２２の音声出力部２２２より再生出力される。

受信側の携帯電話端末Ｂ４０では、送信側の携帯電話端末Ａ２０から制御データを受信すると（ステップＳ２１）、この受信した制御データをデータデコード部４４３においてデコードし（ステップＳ２２）、デコードした制御情報を制御情報解析部４２２において解析する（ステップＳ２３）。このとき、制御情報の解析と並行して、携帯電話端末Ａ２０から受信したビデオデータをビデオデコード部４４１でデコードするとともに、音声データを音声デコード部４４２でデコードする。

次に、グラフィック描画部４２４において、制御情報解析部４２２での制御情報の解析結果に基づき、描画フラグに従ってグラフィックデータベース４２１からグラフィックデータ１０３を読み出し、三次元グラフィックのレンダリング処理等によってグラフィックの描画を行う（ステップＳ２４）。そして、合成部４３において、携帯電話端末Ａ２０から伝送された画像データ１０４、すなわちビデオデコード部４４１によりデコードしたビデオデータと、グラフィック描画部４２４で描画したグラフィックの描画データとを合成する（ステップＳ２５）。この合成処理した画像データを出力部４１の画像出力部４１１により表示出力することで（ステップＳ２６）、表示部１５に相手端末より伝送された撮影画像と伝送された制御情報に基づき自端末でグラフィック描画した画像とが合成表示される。また、音声デコード部４４２でデコードした音声データは、出力部４１の音声出力部４１２より再生出力される。

ここで、第１の実施形態における表示部１５での合成画像の表示例を示す。図６はカメラ１１で撮影した撮影画像の例を示す図、図７は撮影画像にグラフィックの描画画像及びテキスト表示画像を合成した合成画像の例を示す図である。

図６のようなカメラ１１で撮影した顔画像６１に対して、キー操作部１４によりグラフィックの追加機能を指示するキー入力を行うと、上述した一連の処理が実行され、図７のように顔画像６１にグラフィックの描画画像６２やテキスト表示画像６３が合成表示される。ここでは、怒っている表情の顔画像６１に対応して、鬼の角を表現した描画画像６２と「怒ったぞー」のテキスト表示画像６３とを追加し、話者の感情を強調表現する機能の例を示している。このグラフィック追加機能は、使用者からの指示入力があった時、あるいはランダムな時間などに実行することができ、撮影画像にグラフィック等が追加されて合成表示される。なお、撮影画像に合成するグラフィック等の描画画像の例としては、顔画像に追加する要素や顔画像と置き換える仮想キャラクタ等の画像の他に、背景等を表すフレーム画像や任意の位置に描画するスタンプ画像などを用いることもできる。

このとき、追加するグラフィックの描画画像等のデータは、ビデオデータ及び音声データと一緒に音声・ビデオチャネル３１により伝送するのではなく、データチャネル３２を用いて制御情報として伝送し、受信側の携帯電話端末において送られた制御情報を解析してグラフィックの描画を行い、伝送された撮影画像のビデオデータと合成するようにする。これにより、テレビ電話の機能拡張に伴って、音声・ビデオチャネル３１において伝送するデータ量が増加したり、送信側及び受信側の携帯電話端末においてエンコードやデコードを行う際の処理量が増加することを抑制できる。

したがって、本実施形態によれば、テレビ電話システムにおいてリアルタイムで動画像のビデオデータや音声データを伝送して再生しながら、データの処理や伝送における負荷の軽減を図りつつ、テレビ電話における表現を多様化することができる。

（第２の実施形態）
図８は第２の実施形態の動作における送信側の携帯電話端末Ａ２０の動作手順を示すフローチャート、図９は第２の実施形態の動作における受信側の携帯電話端末Ｂ４０の動作手順を示すフローチャートである。第２の実施形態は、データチャネル３２を使用して送信側の携帯電話端末Ａ２０から制御情報及び音楽データを送信し、送信側の携帯電話端末Ａ２０及び受信側の携帯電話端末Ｂ４０で拡張機能として音楽の再生を行う例である。

送信側の携帯電話端末Ａ２０では、入力部２１のキー入力部２１３においてキー入力があると（ステップＳ３１）、このキー入力に応じて、制御情報作成部２４３において受信側の携帯電話端末Ｂ４０に対する制御情報を作成する（ステップＳ３２）。キー入力の例としては、例えば、音楽データの再生、再生する楽曲の選択等を指示するキー操作部１４による入力操作が挙げられる。

なお、制御情報を作成する指示入力として、前記キー入力の代わりに、音声入力部２１２での音声入力における使用者からの音声指示、ランダムタイマ部２１４でのランダムタイマのカウントアップによるランダムな時間間隔毎のトリガ入力などを用いることもできる。

ステップＳ３２において、制御情報作成部２４３は、指示入力の内容に対応して、音楽データベース２４２から音楽データ１０５を読み出すとともに、この音楽データ１０５を参照して、音楽データを再生するための制御情報を作成する。この制御情報には、再生する楽曲の識別情報、曲名やアーティスト名などの楽曲情報などが含まれる。

次に、データエンコード部２６３において前記生成した制御情報及び音楽データをエンコードし（ステップＳ３３）、エンコードした制御データをデータチャネル３２を使用して携帯電話端末Ｂ４０へ送信する（ステップＳ３４）。このとき、制御情報の伝送と並行して、カメラ入力部２１１により入力したビデオデータをビデオエンコード部２６１でエンコードし、このエンコードしたビデオデータを音声・ビデオチャネル３１を使用して携帯電話端末Ｂ４０へ送信する。

また、音楽データベース２４２から読み出した音楽データ１０５を出力部２２の音声出力部２２２へ送り、音声出力部２２２より再生出力することによって、音楽データの演奏を行う（ステップＳ３５）。また、携帯電話端末Ａ２０で撮影されカメラ入力部２１１により入力されたビデオデータは、出力部２２の画像出力部２２１により表示出力され、表示部１５に自端末により撮影した画像が表示される。

受信側の携帯電話端末Ｂ４０では、送信側の携帯電話端末Ａ２０から制御データを受信すると（ステップＳ４１）、この受信した制御データをデータデコード部４４３において制御情報及び音楽データとしてデコードし（ステップＳ４２）、デコードした制御情報及び音楽データを制御情報解析部４２２において解析する（ステップＳ４３）。このとき、制御情報の解析と並行して、携帯電話端末Ａ２０から受信したビデオデータをビデオデコード部４４１でデコードする。

次に、制御情報解析部４２２での制御情報の解析結果に基づき、携帯電話端末Ａ２０から送られた音楽データを出力部４１の音声出力部４１２へ送り、音声出力部４１２より再生出力することによって、音楽データの演奏を行う（ステップＳ４４）。この音楽再生機能は、使用者からの指示入力があった時、あるいはランダムな時間などに実行することができ、予め設定した楽曲または選択指示した楽曲等の所定の音楽データが演奏される。また、携帯電話端末Ａ２０から伝送されビデオデコード部４４１によりデコードされたビデオデータは、出力部４１の画像出力部４１１により表示出力され、表示部１５に相手端末より伝送された撮影画像が表示される。

なお、本実施形態の変形例として、受信側の携帯電話端末Ｂ４０にも音楽データベースを設け、送信側の携帯電話端末Ａ２０から受信側の携帯電話端末Ｂ４０へは制御情報のみを伝送して、受信側の携帯電話端末Ｂ４０において制御情報に基づいて音楽データの読み出し、再生を行うようにすることも可能である。

この第２の実施形態によれば、テレビ電話システムにおいてリアルタイムで動画像のビデオデータを伝送して再生しながら、データの処理や伝送における負荷の軽減を図りつつ、音楽再生の機能拡張が可能であり、双方の携帯電話端末で所望の音楽の再生を行うことができる。

（第３の実施形態）
図１０は第３の実施形態の動作における送信側の携帯電話端末Ａ２０の動作手順を示すフローチャート、図１１は第３の実施形態の動作における受信側の携帯電話端末Ｂ４０の動作手順を示すフローチャートである。第３の実施形態は、データチャネル３２を使用して送信側の携帯電話端末Ａ２０から制御情報とともにグラフィックデータを送信し、受信側の携帯電話端末Ｂ４０で拡張機能としてグラフィックの描画を行ってビデオデータに合成する例である。

送信側の携帯電話端末Ａ２０では、入力部２１のキー入力部２１３においてキー入力があると（ステップＳ５１）、このキー入力に応じて、対応するグラフィックデータ１０１をグラフィックデータベース２４１から読み出すとともに、制御情報作成部２４３において受信側の携帯電話端末Ｂ４０に対する制御情報を作成する（ステップＳ５２）。キー入力の例としては、第１の実施形態と同様、撮影画像データに対するグラフィックの追加、撮影画像データに似せてアニメーション化したグラフィックへの置き換え、仮想キャラクタのグラフィックへの置き換え、追加等を行うグラフィックの選択等を指示するキー操作部１４による入力操作が挙げられる。

ステップＳ５２において、制御情報作成部２４３は、指示入力の内容に対応して、グラフィックデータベース２４１のグラフィックデータ１０１を参照し、グラフィックを描画するための制御情報を作成する。この制御情報には、描画するグラフィック素材の識別情報、描画位置、動き情報などが含まれる。

次に、データエンコード部２６３において前記生成した制御情報及び読み出したグラフィックデータをエンコードし（ステップＳ５３）、エンコードした制御データをデータチャネル３２を使用して携帯電話端末Ｂ４０へ送信する（ステップＳ５４）。このとき、制御情報の伝送と並行して、カメラ入力部２１１により入力したビデオデータをビデオエンコード部２６１でエンコードするとともに、音声入力部２１２により入力した音声データを音声エンコード部２６２でエンコードし、これらのエンコードしたビデオデータ及び音声データを音声・ビデオチャネル３１を使用して携帯電話端末Ｂ４０へ送信する。

また、グラフィック描画部２４４において、前記指示入力の内容に対応して、グラフィックデータベース２４１から読み出したグラフィックデータ１０１を用いて、三次元グラフィックのレンダリング処理等によってグラフィックの描画を行う（ステップＳ５５）。そして、合成部２５において、携帯電話端末Ａ２０で撮影した画像データ１０２、すなわちカメラ入力部２１１により入力したビデオデータと、グラフィック描画部２４４で描画したグラフィックの描画データとを合成する（ステップＳ５６）。この合成処理した画像データを出力部２２の画像出力部２２１により表示出力することで（ステップＳ５７）、表示部１５に自端末により撮影した画像とグラフィック描画した画像とが合成表示される。また、音声入力部２１２により入力した音声データは、出力部２２の音声出力部２２２より再生出力される。

受信側の携帯電話端末Ｂ４０では、送信側の携帯電話端末Ａ２０から制御データを受信すると（ステップＳ６１）、この受信した制御データをデータデコード部４４３において制御情報及びグラフィックデータとしてデコードし（ステップＳ６２）、デコードした制御情報及びグラフィックデータを制御情報解析部４２２において解析する（ステップＳ６３）。このとき、制御情報の解析と並行して、携帯電話端末Ａ２０から受信したビデオデータをビデオデコード部４４１でデコードするとともに、音声データを音声デコード部４４２でデコードする。

次に、グラフィック描画部４２４において、制御情報解析部４２２での制御情報の解析結果に基づき、送信側の携帯電話端末Ａ２０から伝送されたグラフィックデータ１０１を用いて、三次元グラフィックのレンダリング処理等によってグラフィックの描画を行う（ステップＳ６４）。そして、合成部４３において、携帯電話端末Ａ２０から伝送された画像データ１０４、すなわちビデオデコード部４４１によりデコードしたビデオデータと、グラフィック描画部４２４で描画したグラフィックの描画データとを合成する（ステップＳ６５）。この合成処理した画像データを出力部４１の画像出力部４１１により表示出力することで（ステップＳ６６）、表示部１５に相手端末より伝送された撮影画像と伝送された制御情報及びグラフィックデータに基づき自端末でグラフィック描画した画像とが合成表示される。このグラフィック追加機能は、使用者からの指示入力があった時、あるいはランダムな時間などに実行することができ、撮影画像にグラフィック等が追加されて合成表示される。また、音声デコード部４４２でデコードした音声データは、出力部４１の音声出力部４１２より再生出力される。

このように第３の実施形態では、データチャネル３２を用いてグラフィックデータを伝送し、受信側の携帯電話端末において送られたグラフィックデータを用いてグラフィックの描画を行い、伝送された撮影画像のビデオデータと合成するようにする。これにより、テレビ電話システムにおいてリアルタイムで動画像のビデオデータや音声データを伝送して再生しながら、グラフィック追加機能を実行してグラフィックの描画画像を撮影画像に合成することが可能となる。したがって、第１の実施形態と同様、データの処理や伝送における負荷の軽減を図りつつ、テレビ電話における表現を多様化することができる。

（第４の実施形態）
図１２は第４の実施形態の動作における送信側の携帯電話端末Ａ２０の動作手順を示すフローチャートである。第４の実施形態は、第１の実施形態の動作に加えて撮影画像の顔の特徴点検出を行う例である。

送信側の携帯電話端末Ａ２０では、入力部２１のカメラ入力部２１１においてカメラ入力があり、キー入力部２１３におけるキー入力などの指示入力があったときに（ステップＳ１１）、入力された撮影画像の顔画像から顔の特徴点を検出する処理を行う（ステップＳ７１）。このとき、特徴点として、顔を構成する主要な部位である眉、目、鼻、口などの各部位の特徴となる点を抽出する。

また、前記指示入力に応じて、制御情報作成部２４３において受信側の携帯電話端末Ｂ４０に対する制御情報をグラフィックデータ１０１を参照して作成する（ステップＳ１２）。このとき、制御情報作成部２４３は、制御情報としてステップＳ７１で検出した特徴点情報を含むようにする。

ステップＳ１３〜ステップＳ１７の処理は図４に示した第１の実施形態と同様である。すなわち、データエンコード部２６３において、生成した制御情報をエンコードし、エンコードした制御データをデータチャネル３２を使用して携帯電話端末Ｂ４０へ送信する。また、グラフィック描画部２４４において、前記指示入力の内容に応じて、制御情報に対応するグラフィックデータ１０１を読み出して前記検出した特徴点の位置にグラフィックの描画を行い、合成部２５において、自端末で撮影した撮影画像のビデオデータと描画したグラフィックの描画データとを合成する。そして、合成処理した画像データを出力部２２の画像出力部２２１により表示出力する。

受信側の携帯電話端末Ｂ４０における動作は、図５のステップＳ２１〜Ｓ２６に示した第１の実施形態の処理と同様である。すなわち、送信側の携帯電話端末Ａ２０から制御データを受信すると、この制御データを制御情報としてデコードし、デコードした特徴点情報を含む制御情報を解析する。そして、グラフィック描画部４２４において、制御情報の解析結果に基づき、制御情報に対応するグラフィックデータ１０３を読み出し、携帯電話端末Ａ２０より通知された特徴点の位置にグラフィックの描画を行う。

次いで、合成部４３において、相手端末より伝送された撮影画像のビデオデータと、同じく相手端末より伝送された特徴点情報を含む制御情報に基づき自端末で描画したグラフィックの描画データとを合成する。そして、合成処理した画像データを出力部４１の画像出力部４１１により表示出力する。このグラフィック追加機能は、使用者からの指示入力があった時、あるいはランダムな時間などに実行することができ、撮影画像にグラフィック等が追加されて合成表示される。

このように第４の実施形態では、撮影画像にグラフィックの描画画像を合成する場合に、顔の特徴点情報を用いてその対応位置にグラフィックを描画して合成することができる。このとき、第１の実施形態と同様、テレビ電話システムにおいてデータの処理や伝送における負荷を増加させることなく、リアルタイムで動画像のビデオデータや音声データを伝送して再生しながら、グラフィック追加機能を実行し、テレビ電話における表現を多様化することができる。

（第５の実施形態）
図１３は第５の実施形態の動作における送信側の携帯電話端末Ａ２０の動作手順を示すフローチャートである。第５の実施形態は、第３の実施形態の動作に加えて撮影画像の顔の特徴点検出を行う例である。

送信側の携帯電話端末Ａ２０では、入力部２１のカメラ入力部２１１においてカメラ入力があり、キー入力部２１３におけるキー入力などの指示入力があったときに（ステップＳ５１）、入力された撮影画像の顔画像から顔の特徴点を検出する処理を行う（ステップＳ７１）。このとき、特徴点として、顔を構成する主要な部位である眉、目、鼻、口などの各部位の特徴となる点を抽出する。

また、前記指示入力に応じて、対応するグラフィックデータ１０１を読み出すとともに、制御情報作成部２４３において受信側の携帯電話端末Ｂ４０に対する制御情報をグラフィックデータ１０１を参照して作成する（ステップＳ５２）。このとき、制御情報作成部２４３は、制御情報としてステップＳ７１で検出した特徴点情報を含むようにする。

ステップＳ５３〜ステップＳ５７の処理は図１０に示した第３の実施形態と同様である。すなわち、データエンコード部２６３において、生成した制御情報及び読み出したグラフィックデータをエンコードし、エンコードした制御データをデータチャネル３２を使用して携帯電話端末Ｂ４０へ送信する。また、グラフィック描画部２４４において、前記指示入力の内容に応じて、制御情報に対応するグラフィックデータ１０１を用いて前記検出した特徴点の位置にグラフィックの描画を行い、合成部２５において、自端末で撮影した撮影画像のビデオデータと描画したグラフィックの描画データとを合成する。そして、合成処理した画像データを出力部２２の画像出力部２２１により表示出力する。

受信側の携帯電話端末Ｂ４０における動作は、図１１のステップＳ６１〜Ｓ６６に示した第３の実施形態の処理と同様である。すなわち、送信側の携帯電話端末Ａ２０から制御データを受信すると、この制御データを制御情報及びグラフィックデータとしてデコードし、デコードした特徴点情報を含む制御情報及びグラフィックデータを解析する。そして、グラフィック描画部４２４において、制御情報の解析結果に基づき、携帯電話端末Ａ２０から伝送されたグラフィックデータ１０１を用いて、携帯電話端末Ａ２０より通知された特徴点の位置にグラフィックの描画を行う。

次いで、合成部４３において、相手端末より伝送された撮影画像のビデオデータと、同じく相手端末より伝送された特徴点情報を含む制御情報及びグラフィックデータに基づき自端末で描画したグラフィックの描画データとを合成する。そして、合成処理した画像データを出力部４１の画像出力部４１１により表示出力する。このグラフィック追加機能は、使用者からの指示入力があった時、あるいはランダムな時間などに実行することができ、撮影画像にグラフィック等が追加されて合成表示される。

このように第５の実施形態では、撮影画像にグラフィックの描画画像を合成する場合に、第３の実施形態と同様にデータチャネル３２を用いてグラフィックデータを伝送し、第４の実施形態と同様に顔の特徴点情報を用いてその対応位置にグラフィックを描画して合成することができる。このとき、第１の実施形態と同様、テレビ電話システムにおいてデータの処理や伝送における負荷を増加させることなく、リアルタイムで動画像のビデオデータや音声データを伝送して再生しながら、グラフィック追加機能を実行し、テレビ電話における表現を多様化することができる。

（第６の実施形態）
図１４は第６の実施形態の動作における送信側の携帯電話端末Ａ２０の動作手順を示すフローチャートである。第６の実施形態は、第４の実施形態の動作に加えてさらに撮影画像の動作検出を行う例である。

さらに、入力された撮影画像の顔画像において、特徴点の変位などから顔画像の動きを検出する処理を行う（ステップＳ７２）。このとき、動作情報として、首を横に振る、縦に振るなどの被写体の頭部の動作を検出する。

また、前記指示入力に応じて、制御情報作成部２４３において受信側の携帯電話端末Ｂ４０に対する制御情報をグラフィックデータ１０１を参照して作成する（ステップＳ１２）。このとき、制御情報作成部２４３は、制御情報としてステップＳ７１で検出した特徴点情報及びステップＳ７２で検出した動作情報を含むようにしたり、あるいは、検出した動作に応じた指示内容を含むようにする。

ステップＳ１３〜ステップＳ１７の処理は図４に示した第１の実施形態と同様である。すなわち、データエンコード部２６３において、生成した制御情報をエンコードし、エンコードした制御データをデータチャネル３２を使用して携帯電話端末Ｂ４０へ送信する。また、グラフィック描画部２４４において、前記指示入力の内容に応じて、制御情報に対応するグラフィックデータ１０１を読み出し、前記検出した特徴点の位置及び動作に従ってグラフィックの描画を行い、合成部２５において、自端末で撮影した撮影画像のビデオデータと描画したグラフィックの描画データとを合成する。そして、合成処理した画像データを出力部２２の画像出力部２２１により表示出力する。

受信側の携帯電話端末Ｂ４０における動作は、図５のステップＳ２１〜Ｓ２６に示した第１の実施形態の処理と同様である。すなわち、送信側の携帯電話端末Ａ２０から制御データを受信すると、この制御データを制御情報としてデコードし、デコードした特徴点情報及び動作情報を含む制御情報を解析する。そして、グラフィック描画部４２４において、制御情報の解析結果に基づき、制御情報に対応するグラフィックデータ１０３を読み出し、携帯電話端末Ａ２０より通知された特徴点の位置及び動作に従ってグラフィックの描画を行う。このとき、例えば、顔画像における頭の動作に応じたアニメーションやテキスト表示として、肯定や否定を表現するグラフィック、「はい」「いいえ」等の文字などを描画する。

次いで、合成部４３において、相手端末より伝送された撮影画像のビデオデータと、同じく相手端末より伝送された特徴点情報及び動作情報を含む制御情報に基づき自端末で描画したグラフィックの描画データとを合成する。そして、合成処理した画像データを出力部４１の画像出力部４１１により表示出力する。このグラフィック追加機能は、使用者からの指示入力があった時、あるいはランダムな時間などに実行することができ、撮影画像にグラフィック等が追加されて合成表示される。

このように第６の実施形態では、撮影画像にグラフィックの描画画像を合成する場合に、顔の特徴点情報及び動作情報を用いてその対応位置及び動きに合わせてグラフィックを描画して合成することができる。このとき、第１の実施形態と同様、テレビ電話システムにおいてデータの処理や伝送における負荷を増加させることなく、リアルタイムで動画像のビデオデータや音声データを伝送して再生しながら、グラフィック追加機能を実行し、テレビ電話における表現を多様化することができる。

（第７の実施形態）
図１５は第７の実施形態の動作における送信側の携帯電話端末Ａ２０の動作手順を示すフローチャートである。第７の実施形態は、第５の実施形態の動作に加えてさらに撮影画像の動作検出を行う例である。

また、前記指示入力に応じて、対応するグラフィックデータ１０１を読み出すとともに、制御情報作成部２４３において受信側の携帯電話端末Ｂ４０に対する制御情報をグラフィックデータ１０１を参照して作成する（ステップＳ５２）。このとき、制御情報作成部２４３は、制御情報としてステップＳ７１で検出した特徴点情報及びステップＳ７２で検出した動作情報を含むようにしたり、あるいは、検出した動作に応じた指示内容を含むようにする。

ステップＳ５３〜ステップＳ５７の処理は図１０に示した第３の実施形態と同様である。すなわち、データエンコード部２６３において、生成した制御情報及び読み出したグラフィックデータをエンコードし、エンコードした制御データをデータチャネル３２を使用して携帯電話端末Ｂ４０へ送信する。また、グラフィック描画部２４４において、前記指示入力の内容に応じて、制御情報に対応するグラフィックデータ１０１を用いて前記検出した特徴点の位置及び動作に従ってグラフィックの描画を行い、合成部２５において、自端末で撮影した撮影画像のビデオデータと描画したグラフィックの描画データとを合成する。そして、合成処理した画像データを出力部２２の画像出力部２２１により表示出力する。

受信側の携帯電話端末Ｂ４０における動作は、図１１のステップＳ６１〜Ｓ６６に示した第３の実施形態の処理と同様である。すなわち、送信側の携帯電話端末Ａ２０から制御データを受信すると、この制御データを制御情報及びグラフィックデータとしてデコードし、デコードした特徴点情報及び動作情報を含む制御情報とグラフィックデータとを解析する。そして、グラフィック描画部４２４において、制御情報の解析結果に基づき、携帯電話端末Ａ２０から伝送されたグラフィックデータ１０１を用いて、携帯電話端末Ａ２０より通知された特徴点の位置及び動作に従ってグラフィックの描画を行う。このとき、例えば、顔画像における頭の動作に応じたアニメーションやテキスト表示として、肯定や否定を表現するグラフィック、「はい」「いいえ」等の文字などを描画する。

次いで、合成部４３において、相手端末より伝送された撮影画像のビデオデータと、同じく相手端末より伝送された特徴点情報及び動作情報を含む制御情報とグラフィックデータとに基づき自端末で描画したグラフィックの描画データとを合成する。そして、合成処理した画像データを出力部４１の画像出力部４１１により表示出力する。このグラフィック追加機能は、使用者からの指示入力があった時、あるいはランダムな時間などに実行することができ、撮影画像にグラフィック等が追加されて合成表示される。

このように第７の実施形態では、撮影画像にグラフィックの描画画像を合成する場合に、第３の実施形態と同様にデータチャネル３２を用いてグラフィックデータを伝送し、第６の実施形態と同様に顔の特徴点情報及び動作情報を用いてその対応位置及び動きに合わせてグラフィックを描画して合成することができる。このとき、第１の実施形態と同様、テレビ電話システムにおいてデータの処理や伝送における負荷を増加させることなく、リアルタイムで動画像のビデオデータや音声データを伝送して再生しながら、グラフィック追加機能を実行し、テレビ電話における表現を多様化することができる。

（第８の実施形態）
図１６は第８の実施形態の動作における受信側の携帯電話端末Ｂ４０の動作手順を示すフローチャートである。第８の実施形態は、第１の実施形態の動作に加えてグラフィックの描画時に描画画像の配置予測を行う例である。

送信側の携帯電話端末Ａ２０における動作は、図４のステップＳ１１〜Ｓ１７に示した第１の実施形態の処理と同様である。すなわち、キー入力部２１３におけるキー入力などの指示入力があったタイミングで、この指示入力に応じて、制御情報作成部２４３において受信側の携帯電話端末Ｂ４０に対する制御情報をグラフィックデータ１０１を参照して作成する。そして、生成した制御情報をデータエンコード部２６３においてエンコードし、エンコードした制御データをデータチャネル３２を使用して携帯電話端末Ｂ４０へ送信する。また、グラフィック描画部２４４において、前記指示入力の内容に応じて、制御情報に対応するグラフィックデータ１０１を読み出してグラフィックの描画を行い、合成部２５において、自端末で撮影した撮影画像のビデオデータと描画したグラフィックの描画データとを合成する。そして、合成処理した画像データを出力部２２の画像出力部２２１により表示出力する。

受信側の携帯電話端末Ｂ４０では、送信側の携帯電話端末Ａ２０から制御データを受信すると（ステップＳ２１）、この受信した制御データをデータデコード部４４３においてデコードし（ステップＳ２２）、デコードした制御情報を制御情報解析部４２２において解析する（ステップＳ２３）。

次いで、制御情報解析部４２２での制御情報の解析結果に基づき、描画フラグに従ってグラフィックデータベース４２１からグラフィックデータ１０５を読み出し、このグラフィックデータ１０５に対応する動作パターンからグラフィックの描画画像の配置予測を行う（ステップＳ８１）。このとき、グラフィックデータの動作パターンを用いて、描画するグラフィックの動きを求め、時間に対応する描画画像の配置位置を算出し、データチャネル３２における制御情報伝送時のタイムラグ等を考慮して、描画画像が配置される位置を伝送時間差に合わせて予測する。

そして、グラフィック描画部４２４において、制御情報解析部４２２での制御情報の解析結果及び描画画像の配置予測結果に基づき、読み出したグラフィックデータ１０３を用いて配置予測位置にグラフィックの描画を行う（ステップＳ２４）。次いで、合成部４３において、携帯電話端末Ａ２０から伝送された画像データ１０４、すなわちビデオデコード部４４１によりデコードしたビデオデータと、グラフィック描画部４２４で描画したグラフィックの描画データとを合成する（ステップＳ２５）。この合成処理した画像データを出力部４１の画像出力部４１１により表示出力することで（ステップＳ２６）、表示部１５に相手端末より伝送された撮影画像と伝送された制御情報に基づき自端末で配置予測を行ってグラフィック描画した画像とが合成表示される。このグラフィック追加機能は、使用者からの指示入力があった時、あるいはランダムな時間などに実行することができ、撮影画像にグラフィック等が追加されて合成表示される。

このように第８の実施形態では、受信側の携帯電話端末において撮影画像にグラフィックの描画画像を合成する場合に、通信回線でのデータ伝送のタイムラグ等を考慮して配置予測を行うことによって、より適切な位置にグラフィックの描画画像を描画して合成することができる。なお、この第８の実施形態の動作は、第１の実施形態の他に、第４の実施形態、第６の実施形態などにも同様に適用することが可能である。

（第９の実施形態）
図１７は第９の実施形態の動作における受信側の携帯電話端末Ｂ４０の動作手順を示すフローチャートである。第９の実施形態は、第３の実施形態の動作に加えてグラフィックの描画時に描画画像の配置予測を行う例である。

送信側の携帯電話端末Ａ２０における動作は、図１１のステップＳ５１〜Ｓ５７に示した第３の実施形態の処理と同様である。すなわち、キー入力部２１３におけるキー入力などの指示入力があったタイミングで、この指示入力に応じて、対応するグラフィックデータ１０１をグラフィックデータベース２４１から読み出すとともに、制御情報作成部２４３において受信側の携帯電話端末Ｂ４０に対する制御情報をグラフィックデータ１０１を参照して作成する。そして、生成した制御情報及び読み出したグラフィックデータをデータエンコード部２６３においてエンコードし、エンコードした制御データをデータチャネル３２を使用して携帯電話端末Ｂ４０へ送信する。また、グラフィック描画部２４４において、前記指示入力の内容に応じて、読み出したグラフィックデータ１０１を用いてグラフィックの描画を行い、合成部２５において、自端末で撮影した撮影画像のビデオデータと描画したグラフィックの描画データとを合成する。そして、合成処理した画像データを出力部２２の画像出力部２２１により表示出力する。

受信側の携帯電話端末Ｂ４０では、送信側の携帯電話端末Ａ２０から制御データを受信すると（ステップＳ６１）、この受信した制御データをデータデコード部４４３において制御情報及びグラフィックデータとしてデコードし（ステップＳ６２）、デコードした制御情報及びグラフィックデータを制御情報解析部４２２において解析する（ステップＳ６３）。

次いで、制御情報解析部４２２での制御情報の解析結果に基づき、送信側の携帯電話端末Ａ２０から伝送されたグラフィックデータ１０１を用いて、このグラフィックデータ１０１に対応する動作パターンからグラフィックの描画画像の配置予測を行う（ステップＳ８１）。このとき、グラフィックデータの動作パターンによって、描画するグラフィックの動きを求め、時間に対応する描画画像の配置位置を算出し、データチャネル３２における制御情報伝送時のタイムラグ等を考慮して、描画画像が配置される位置を伝送時間差に合わせて予測する。

そして、グラフィック描画部４２４において、制御情報解析部４２２での制御情報の解析結果及び描画画像の配置予測結果に基づき、伝送されたグラフィックデータ１０１を用いて配置予測位置にグラフィックの描画を行う（ステップＳ６４）。次いで、合成部４３において、携帯電話端末Ａ２０から伝送された画像データ１０４、すなわちビデオデコード部４４１によりデコードしたビデオデータと、グラフィック描画部４２４で描画したグラフィックの描画データとを合成する（ステップＳ６５）。この合成処理した画像データを出力部４１の画像出力部４１１により表示出力することで（ステップＳ６６）、表示部１５に相手端末より伝送された撮影画像と伝送された制御情報及びグラフィックデータに基づき自端末で配置予測を行ってグラフィック描画した画像とが合成表示される。このグラフィック追加機能は、使用者からの指示入力があった時、あるいはランダムな時間などに実行することができ、撮影画像にグラフィック等が追加されて合成表示される。

このように第９の実施形態では、受信側の携帯電話端末において撮影画像にグラフィックの描画画像を合成する場合に、第８の実施形態と同様、通信回線でのデータ伝送のタイムラグ等を考慮して配置予測を行うことによって、より適切な位置にグラフィックの描画画像を描画して合成することができる。なお、この第９の実施形態の動作は、第３の実施形態の他に、第５の実施形態、第７の実施形態などにも同様に適用することが可能である。

本発明は、通信端末における処理量や通信端末間で伝送するデータ量を削減しつつ、テレビ電話における表現を多様化することが可能となる効果を有し、動画像情報を含む情報を相手端末との間で送受信するテレビ電話システム及びその通信方法、並びに通信端末等に有用である。

本発明の実施形態に用いる携帯電話端末の構成を示すブロック図本発明の実施形態のテレビ電話システムにおける送信側の携帯電話端末の機能構成を示すブロック図本発明の実施形態のテレビ電話システムにおける受信側の携帯電話端末の機能構成を示すブロック図第１の実施形態の動作における送信側の携帯電話端末Ａの動作手順を示すフローチャート第１の実施形態の動作における受信側の携帯電話端末Ｂの動作手順を示すフローチャート本実施形態におけるカメラで撮影した撮影画像の例を示す図本実施形態における撮影画像にグラフィックの描画画像及びテキスト表示画像を合成した合成画像の例を示す図第２の実施形態の動作における送信側の携帯電話端末Ａの動作手順を示すフローチャート第２の実施形態の動作における受信側の携帯電話端末Ｂの動作手順を示すフローチャート第３の実施形態の動作における送信側の携帯電話端末Ａの動作手順を示すフローチャート第３の実施形態の動作における受信側の携帯電話端末Ｂの動作手順を示すフローチャート第４の実施形態の動作における送信側の携帯電話端末Ａの動作手順を示すフローチャート第５の実施形態の動作における送信側の携帯電話端末Ａの動作手順を示すフローチャート第６の実施形態の動作における送信側の携帯電話端末Ａの動作手順を示すフローチャート第７の実施形態の動作における送信側の携帯電話端末Ａの動作手順を示すフローチャート第８の実施形態の動作における受信側の携帯電話端末Ｂの動作手順を示すフローチャート第９の実施形態の動作における受信側の携帯電話端末Ｂの動作手順を示すフローチャート

符号の説明

１１カメラ
１２マイク
１３スピーカ
１４キー操作部
１５表示部
１６信号処理部
１７無線部
１８アンテナ
２０携帯電話端末Ａ（送信側）
２１入力部
２１１カメラ入力部
２１２音声入力部
２１３キー入力部
２１４ランダムタイマ部
２２出力部
２２１画像出力部
２２２音声出力部
２３特徴検出部
２３１顔特徴検出部
２３２動作検出部
２４データ処理部
２４１グラフィックデータベース
２４２音楽データベース
２４３制御情報作成部
２４４グラフィック描画部
２５合成部
２６エンコーダ
２６１ビデオエンコード部
２６２音声エンコード部
２６３データエンコード部
３０テレビ電話通信回線
３１音声・ビデオチャネル
３２データチャネル
４０携帯電話端末Ｂ（受信側）
４１出力部
４１１画像出力部
４１２音声出力部
４２データ処理部
４２１グラフィックデータベース
４２２制御情報解析部
４２３配置予測部
４２４グラフィック描画部
４３合成部
４４デコーダ
４４１ビデオデコード部
４４２音声デコード部
４４３データデコード部

Claims

動画像情報を含むデータを複数の通信端末間で送受信するテレビ電話システムであって、
第１の通信端末は、
指示入力に応じて、通信相手となる第２の通信端末に対する制御情報を生成する制御情報生成手段と、
前記制御情報を動画像用チャネルとは別のデータチャネルを使用して送信する制御情報送信手段とを備え、
第２の通信端末は、
前記第１の通信端末より伝送された制御情報を解析する制御情報解析手段と、
前記制御情報に応じた拡張機能を実行する拡張機能実行手段とを備えるテレビ電話システム。
請求項１に記載のテレビ電話システムであって、
前記第１の通信端末は、前記制御情報生成手段によって音楽再生を指示する制御情報を生成し、この生成した制御情報を前記制御情報送信手段によって前記データチャネルを使用して前記第２の通信端末へ送信するものであり、
前記第２の通信端末は、前記拡張機能実行手段として音楽再生手段を備え、前記制御情報解析手段による前記制御情報の解析結果に基づき、前記音楽再生手段によって対応する音楽の再生を行うテレビ電話システム。
請求項２に記載のテレビ電話システムであって、
前記第１の通信端末は、前記制御情報送信手段によって前記制御情報とともに対応する音楽データを前記データチャネルを使用して前記第２の通信端末へ送信するものであり、
前記第２の通信端末は、前記音楽再生手段によって前記第１の通信端末から伝送された音楽データの再生を行うテレビ電話システム。
請求項１に記載のテレビ電話システムであって、
前記第１の通信端末は、前記制御情報生成手段によってグラフィックの描画を指示する制御情報を生成し、この生成した制御情報を前記制御情報送信手段により前記データチャネルを使用して前記第２の通信端末へ送信するものであり、
前記第２の通信端末は、前記拡張機能実行手段としてグラフィック描画手段を備え、前記制御情報解析手段による前記制御情報の解析結果に基づき、前記グラフィック描画手段によって対応するグラフィックデータを用いてグラフィックの描画を行うテレビ電話システム。
請求項１に記載のテレビ電話システムであって、
前記第１の通信端末は、前記制御情報生成手段によってグラフィックの描画を指示する制御情報を生成し、この生成した制御情報とともに対応するグラフィックデータを前記制御情報送信手段により前記データチャネルを使用して前記第２の通信端末へ送信するものであり、
前記第２の通信端末は、前記拡張機能実行手段としてグラフィック描画手段を備え、前記制御情報解析手段による前記制御情報の解析結果に基づき、前記グラフィック描画手段によって前記第１の通信端末から伝送されたグラフィックデータを用いてグラフィックの描画を行うテレビ電話システム。
請求項４に記載のテレビ電話システムであって、
前記第１の通信端末は、入力された動画像の特徴点を検出する特徴点検出手段を備え、前記制御情報生成手段によってグラフィックの描画を指示する指示情報と前記特徴点に関する特徴点情報とを含む制御情報を生成し、この生成した制御情報を前記制御情報送信手段により前記データチャネルを使用して前記第２の通信端末へ送信するものであり、
前記第２の通信端末は、前記第１の通信端末より伝送された動画像とグラフィック描画した描画画像とを合成する合成手段を備え、前記制御情報解析手段による前記制御情報の解析結果に基づき、前記グラフィック描画手段によって対応するグラフィックデータを用いてグラフィックの描画を行い、前記合成手段によって前記動画像中の前記特徴点に対応する位置に前記描画した描画画像を合成するテレビ電話システム。
請求項５に記載のテレビ電話システムであって、
前記第１の通信端末は、入力された動画像の特徴点を検出する特徴点検出手段を備え、前記制御情報生成手段によってグラフィックの描画を指示する指示情報と前記特徴点に関する特徴点情報とを含む制御情報を生成し、この生成した制御情報とともに対応するグラフィックデータを前記制御情報送信手段により前記データチャネルを使用して前記第２の通信端末へ送信するものであり、
前記第２の通信端末は、前記第１の通信端末より伝送された動画像とグラフィック描画した描画画像とを合成する合成手段を備え、前記制御情報解析手段による前記制御情報の解析結果に基づき、前記グラフィック描画手段によって前記第１の通信端末から伝送されたグラフィックデータを用いてグラフィックの描画を行い、前記合成手段によって前記動画像中の前記特徴点に対応する位置に前記描画した描画画像を合成するテレビ電話システム。
請求項６に記載のテレビ電話システムであって、
前記第１の通信端末は、入力された動画像の動きを検出する動作検出手段を備え、前記制御情報生成手段によってグラフィックの描画を指示する指示情報と前記特徴点情報と前記動きに関する動作情報とを含む制御情報を生成し、この生成した制御情報を前記制御情報送信手段により前記データチャネルを使用して前記第２の通信端末へ送信するものであり、
前記第２の通信端末は、前記制御情報解析手段による前記制御情報の解析結果に基づき、前記グラフィック描画手段によって対応するグラフィックデータを用いてグラフィックの描画を行い、前記合成手段によって前記特徴点の位置及び動作に応じて前記描画した描画画像と前記動画像とを合成するテレビ電話システム。
請求項７に記載のテレビ電話システムであって、
前記第１の通信端末は、入力された動画像の動きを検出する動作検出手段を備え、前記制御情報生成手段によってグラフィックの描画を指示する指示情報と前記特徴点情報と前記動きに関する動作情報とを含む制御情報を生成し、この生成した制御情報とともに対応するグラフィックデータを前記制御情報送信手段により前記データチャネルを使用して前記第２の通信端末へ送信するものであり、
前記第２の通信端末は、前記制御情報解析手段による前記制御情報の解析結果に基づき、前記グラフィック描画手段によって前記第１の通信端末から伝送されたグラフィックデータを用いてグラフィックの描画を行い、前記合成手段によって前記特徴点の位置及び動作に応じて前記描画した描画画像と前記動画像とを合成するテレビ電話システム。
請求項１〜９のいずれか一項に記載のテレビ電話システムであって、
前記第１の通信端末は、前記指示入力に応じた拡張機能を自端末で実行する手段として、音楽再生手段とグラフィック描画手段の少なくとも一方を含む拡張機能実行手段を備えるテレビ電話システム。
請求項４〜９のいずれか一項に記載のテレビ電話システムであって、
前記第２の通信端末は、前記グラフィックの描画に際してグラフィックデータの動作パターンに基づいて描画画像の配置予測を行う配置予測手段を備え、前記グラフィック描画手段によって前記配置予測結果に応じた位置にグラフィックの描画を行うテレビ電話システム。
動画像情報を含むデータを複数の通信端末間で送受信するテレビ電話システムに用いる通信端末であって、
入力された動画像のデータを動画像用チャネルを使用して通信相手の通信端末に送信する動画像情報送信手段と、
指示入力に応じて、この指示入力に対応する拡張機能を実行させるための前記通信相手の通信端末に対する制御情報を生成する制御情報生成手段と、
前記制御情報を前記動画像用チャネルとは別のデータチャネルを使用して送信する制御情報送信手段とを備える通信端末。
請求項１２に記載の通信端末であって、
前記制御情報生成手段は、音楽再生を指示する制御情報とグラフィックの描画を指示する制御情報の少なくとも一方を含む制御情報を生成するものである通信端末。
動画像情報を含むデータを複数の通信端末間で送受信するテレビ電話システムに用いる通信端末であって、
動画像用チャネルを使用して通信相手の通信端末から伝送された動画像のデータを再生する動画像再生手段と、
前記動画像用チャネルとは別のデータチャネルを使用して前記通信相手の通信端末から伝送された制御情報を解析する制御情報解析手段と、
前記制御情報の解析結果に基づき、この制御情報に応じた拡張機能を実行する拡張機能実行手段とを備える通信端末。
請求項１４に記載の通信端末であって、
前記拡張機能実行手段は、前記制御情報に応じて音楽再生を行う音楽再生手段と前記制御情報に応じてグラフィックの描画を行うグラフィック描画手段の少なくとも一方を含む通信端末。
動画像情報を含むデータを複数の通信端末間で送受信するテレビ電話システムの通信方法であって、
送信側の第１の通信端末において、
入力された動画像のデータを動画像用チャネルを使用して通信相手となる第２の通信端末に送信するステップと、
指示入力に応じて、この指示入力に対応する拡張機能を実行させるための前記第２の通信端末に対する制御情報を生成するステップと、
前記制御情報を動画像用チャネルとは別のデータチャネルを使用して送信するステップとを有する通信方法。
請求項１６に記載のテレビ電話システムの通信方法であって、
前記制御情報を生成するステップにおいて、音楽再生を指示する制御情報とグラフィックの描画を指示する制御情報の少なくとも一方を含む制御情報を生成する通信方法。
動画像情報を含むデータを複数の通信端末間で送受信するテレビ電話システムの通信方法であって、
受信側の第２の通信端末において、
動画像用チャネルを使用して通信相手となる第１の通信端末から伝送された動画像のデータを再生するステップと、
前記動画像用チャネルとは別のデータチャネルを使用して前記第１の通信端末から伝送された制御情報を解析するステップと、
前記制御情報の解析結果に基づき、この制御情報に応じた拡張機能を実行するステップとを有する通信方法。
請求項１８に記載のテレビ電話システムの通信方法であって、
前記拡張機能を実行するステップにおいて、前記制御情報に応じて、音楽再生とグラフィックの描画の少なくとも一方を実行する通信方法。