JP2004248146A - テレビ電話システムおよびテレビ電話端末装置 - Google Patents

Abstract

【課題】主として個人間でのテレビ電話での通信において、より豊かな表現でのコミュニケーションを可能とする。
【解決手段】送信側のテレビ電話端末装置は、人物像を含む撮影画像３１を継続的に受信側のテレビ電話端末装置へ送信する。送信側のユーザがキー押下操作を行うと、その操作情報が受信側のテレビ電話端末装置へ送信される。受信側のテレビ電話端末装置は、人物像データを含む撮影画像データを受信し、表示画面上に表示するとともに、前記操作情報を受信したとき、撮影画像データ中の人物像データを抽出して、この人物像を前記操作情報に対応した背景画像と合成して表示する。
【選択図】 図７

Description

【０００１】
【発明の属する技術分野】
本発明は、テレビ電話システムおよびテレビ電話端末装置に関する。
【０００２】
【従来の技術】
従来、テレビ電話は専用の機器を必要とするためにコストが高く、利用は企業や公官庁などに限られていた。
【０００３】
しかし、近年、通信技術やデバイス技術等の発達に伴い、携帯電話端末装置にテレビ電話機能が搭載されるようになった。
【０００４】
【発明が解決しようとする課題】
このような携帯電話端末装置が普及すれば、テレビ電話が企業間だけでなく個人間でも利用されるようになってくると考えられる。テレビ電話では音声の他に画像の通信が可能であるため、単なる電話に比べて相手人物の表情が分かり、より豊かなコミュニケーションが行える。
【０００５】
しかし、個人間での通信ではさらにエンターテインメントを目的とした、より楽しいコミュニケーションが行えることが望ましい。
【０００６】
本発明はこのような背景においてなされたものであり、その目的は、主として個人間でのテレビ電話での通信において、より豊かな表現でのコミュニケーションを可能とするテレビ電話システムおよびテレビ電話端末装置を提供することにある。
【０００７】
【課題を解決するための手段】
本発明によるテレビ電話システムは、テレビ電話端末装置同士の間での撮影画像データおよび音声データを送受信するテレビ電話システムであって、送信側のテレビ電話端末装置は、人物像を含む撮影画像を継続的に受信側のテレビ電話端末装置へ送信するとともに、送信側のユーザによる操作部の操作時に操作情報を受信側のテレビ電話端末装置へ送信し、受信側のテレビ電話端末装置は、前記人物像データを含む撮影画像データを受信し、表示画面上に表示するとともに、前記操作情報を受信したとき、前記撮影画像データ中の人物像データを抽出して、この人物像を前記操作情報に対応した背景画像と合成して表示することを特徴とする。
【０００８】
この構成により、送信側のユーザは、操作部の操作によって、相手側の表示される自己の撮影画像の背景画像を、当該操作に応じた別の背景画像に置き換えることができる。前記操作情報は前記操作部のキー押下情報である。
【０００９】
前記テレビ電話端末装置は、さらに、前記抽出された人物像データの表示属性を前記操作情報に基づいて変更させる手段をさらに備えてもよい。この表示属性には、例えば、人物像の縮小処理、移動、消滅、色変換、透明度変換等の処理を含みうる。
【００１０】
本発明によるテレビ電話端末装置は、ユーザの入力操作を受け付ける操作部と、人物像を含む撮影画像データを受信する受信する手段と、受信した撮影画像データを表示する表示部と、前記操作部による操作情報および人物像を含む撮影画像データを送信する送信する手段と、受信した撮影画像データから人物像データを抽出する手段と、前記操作情報に応じて用意された背景画像データを記憶しておく手段と、前記操作情報を受信したとき、その操作情報に対応した背景画像データを読み出すとともに受信撮影画像データから人物像データを抽出し、この人物像データを前記背景画像データと合成して前記表示部に表示する手段とを備えたことを特徴とする。
【００１１】
この端末装置は、相手端末装置とテレビ電話中、相手の送信した撮影画像を表示し、相手から前記操作情報を受けると、その背景画像を、当該操作情報に応じた別の背景画像に置換して表示する。
【００１２】
本発明は、上記のようなテレビ電話端末装置の実現するために端末装置にインストールされる、上記各手段を実現する機能を備えたコンピュータプログラムおよびその記録媒体として把握することも可能である。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１４】
図１に本発明のテレビ電話システムの概略構成を示す。このシステムは複数のテレビ電話端末装置１０Ａ，１０Ｂと、これらの間の通信を媒介する通信ネットワーク１５とからなる。以下、端末装置を単に端末ともいう。テレビ電話端末１０（１０Ａ，１０Ｂを総称）は、図では携帯電話機として示しているが、テレビ電話機能を備えていれば、パーソナルコンピュータ（ＰＣ）のような非携帯の装置であってもよい。テレビ電話端末１０ＡのユーザＡとテレビ電話端末１０ＢのユーザＢとがテレビ電話通信を行っているとき、一方のテレビ電話端末のカメラ５の撮影画像およびマイク１１からの音声が他方に相互に伝送され、他方のユーザのテレビ電話端末において撮影画像が表示部６に表示され、音声がスピーカ１２から放出される。本実施の形態では、一方のユーザ、例えばユーザＡがテレビ電話端末１０Ａの操作部８の所定の操作キーを押下することにより、そのキー押下情報が相手側のテレビ電話端末１０Ｂに伝わる。これにより、テレビ電話端末１０Ｂは、表示中の撮影画像から人物像（ユーザＡ）の背景画像を現実の画像から、当該操作キー対応に予め用意された背景画像に置き換える。その後も人物像は通常どおり受信した撮影画像が反映される。別の操作キーを押下すれば、これに応じて背景画像も切り替わる。背景画像の置き換えに加えて、後述するように人物像の表示属性を変えることも可能である。このような受信側の表示画面の変化は送信側のキー操作によって生じるが、この効果は予め定めた時間継続し、その時間経過後に自動的に通常の画像に復帰する。また、受信側のユーザのキー操作によって強制的に元の画像に戻すようにしてもよい。携帯テレビ電話端末において、ユーザが、このような背景画像の置換を行わないように初期設定を行うことも可能である。
【００１５】
なお、「所定の操作キー」は、必ずしも単独の物理的なキーである必要はなく、複数の操作キーの組み合わせ、あるいは画面上に表示されたメニュー項目やボタンであってもよい。本明細書ではこのようなすべての指示要素を総称して「操作キー」という。
【００１６】
図２に携帯テレビ電話端末１０の概略構成を示す。携帯テレビ電話端末１０は、アンテナ１、無線部２、ベースバンド部３、制御部４、撮影部５、表示部６、記憶部７、操作部８、マイク１１、スピーカ１２を有する。制御部４は、本実施の形態では、ＭＰＥＧ４等の動画および音声の符号化方式を採用している。ＭＰＥＧ４では、撮像した話者と背景とを別々に符号化することができ、話者の画像は独立した１つのオブジェクトとして扱うことができる。撮影部５はＣＣＤのような撮像素子を含むカメラを有する。表示部６はＬＣＤのような表示デバイスを有する。
【００１７】
図３により、図２の制御部４の機能を説明する。制御部４は、情報抽出部４１、オブジェクト操作部４２、画像合成部４３の各部の機能を有し、テレビ電話の相手からの受信情報３０を受ける。この受信情報３０には、相手のテレビ電話端末のカメラで撮影された画像情報が含まれる。相手が所定のキー操作を行った場合には、そのキー押下情報も含まれる。情報抽出部４１は、画像情報から発信者の人物像である発信者オブジェクト情報３２とその背景画像情報３３とを分離して抽出し、発信者オブジェクト情報３２をオブジェクト操作部４２に送るとともに、背景画像情報３３を画像合成部４３へ送る。受信情報３０にキー押下情報が含まれる場合には、情報抽出部４１はキー押下情報３４を抽出してこれを制御信号として、オブジェクト操作部４２および記憶部７に送る。オブジェクト操作部４２は、キー押下情報３４を受けたとき、所定の時間、発信者オブジェクト情報３２に対して、人物像の表示属性の変更処理を行う。この表示属性の変更処理には、例えば、人物像の縮小処理、移動、消滅、色変換、透明度変換等の処理が含まれる。オブジェクト操作部４２は、キー押下情報３４を受けない間は、発信者オブジェクト情報３２をそのまま後段へ出力する。記憶部７は、キー押下情報３４に対応する壁紙画像データを記憶した壁紙バッファ７１を有し、キー押下情報３４を受けて対応する壁紙画像データ３６を画像合成部４３へ出力する。壁紙画像は、キー対応に予め用意された、実際の背景画像に置き換えるべき置換用の予め用意された背景画像である。画像合成部４３は、キー押下情報３４の有無および内容に応じて、オブジェクト操作部４２から出力された発信者オブジェクト情報３５と、背景画像３３または壁紙バッファ７１からの壁紙画像データ３６とを合成して、合成画像情報３７として表示部６へ出力する。すなわち、キー押下情報３４を受けない間は、発信者オブジェクト情報３５と背景画像３３とを合成して、合成画像情報３７として表示部６へ出力する一方、キー押下情報３４を受けた場合にはその内容に応じて、所定の時間、発信者オブジェクト情報３５と、壁紙バッファ７１からの壁紙画像データ３６とを合成して、合成画像情報３７として表示部６へ出力する。
【００１８】
図４に壁紙バッファ７１に格納されたキー押下情報に対応する壁紙画像の例を示す。本実施の形態ではキー押下情報は携帯テレビ電話端末のテンキーに対応したものであり、これらのそれぞれのキーに、怒、喜、悲、愛、等の感情情報を対応させ、壁紙画像もこれらの感情を表すアイコンや文字列を含むものとしている。感情の例としては、これらの他、苦、恥、驚、笑、寂等が考えられる。なお、個人間での通信において感情を反映させるといっても、これはあくまでユーザの意思で選択するものであり、実際の感情と直接的に関係があるとは限らないものである。
【００１９】
図５は壁紙バッファ７１内の壁紙画像データの構成例を示す。この例では、データテーブル５０１がキーＩＤと対応する壁紙画像ＩＤとを対応づけ、各壁紙画像ＩＤ（＃）に対応する画像データ５０２も記憶部７に格納しておく。
【００２０】
図６は、壁紙バッファ７１内の他の壁紙画像データの構成例を示す。この例では、データテーブル６０１として、壁紙画像ＩＤと人物属性とを規定している。「人物属性」は背景画像を壁紙画像で置き換えるときに人物像に対して付与する上述したような表示属性を示している。各壁紙画像ＩＤ（＃）に対応する画像データ６０２も記憶部７に格納しておく。
【００２１】
図７は、携帯テレビ電話端末の表示部６の画面の推移を示している。受信情報のうちの発信者画像３１が所定の周期（例えば１秒間に１５回）で更新されて表示される。発信者画像３１は発信者オブジェクト（人物像）３２と、背景画像３３とからなっている。発信者が所定のキーを押下した場合、人物像である発信者オブジェクト３２が縮小等される。人物像を縮小するのは、背景画像に置き換える壁紙画像を相対的に強調して見やすくするためである。「縮小等」の「等」の意味は、上述した図６のデータテーブル６０１における「人物属性」に対応した表示属性変更処理である。この縮小等された画像３５は押下キーに対応する壁紙画像３６（図の例では「喜」）と合成され、その合成画像３７が所定時間表示される。この所定時間の間も人物像は受信情報に基づいて周期的に更新され、発信者の表情の変化を反映する。所定時間経過後に、背景画像をそのまま表示する元の画像に復帰する。「所定の時間」は予め定めた時間であり、例えば数秒程度である。
【００２２】
図８は本実施の形態における携帯テレビ電話端末の受信・表示処理の一例を示している。この例は図５のデータテーブル５０１を利用する場合に相当する。携帯テレビ電話端末は、無線部２（図１）により、テレビ電話の利用時、通信相手からのデータを受信し（Ｓ１１）、制御部４の情報抽出部４１によりオブジェクト情報および制御情報を抽出する（Ｓ１２）。発信者のキー入力による感情指定があった場合（Ｓ１３，Ｙｅｓ）、情報抽出部４１からキー押下情報３４が取り出され、記憶部７はこのキー押下情報３４に従って壁紙バッファ７１から壁紙画像を選択する（Ｓ１４）。また、画像合成部４３はキー押下情報３４に従って人物オブジェクトを縮小する（Ｓ１５）。画像合成部は、この縮小された人物オブジェクトデータと前記選択された壁紙画像データとを合成する（Ｓ１６）。表示部６は、このようにして得られた合成画像を表示する（Ｓ１９）。
【００２３】
ステップＳ１３においてキー入力による感情指定がない場合、壁紙画像変更から所定の時間が経過しているかどうかをチェックする（Ｓ１７）。経過していなければ、ステップＳ１６に移行し、壁紙画像データと人物オブジェクトデータの合成を行う。所定時間が経過している場合には、画像合成部３６は、人物オブジェクトと背景画像データとを合成し（Ｓ１８）、表示部６がこの合成画像を表示する（Ｓ１９）。このような処理はテレビ電話利用中、繰り返して実行される。
【００２４】
図９は本実施の形態における携帯テレビ電話端末の受信・表示処理の他の例を示している。この例は図５のデータテーブル６０１を利用する場合に相当する。図９のステップＳ２１〜Ｓ３０の処理は図８の処理に類似している。すなわち、図８の処理のステップＳ１５に対応する図９のステップＳ２５の後に、キー押下情報に基づいてデータテーブル６０１の参照の結果、人物オブジェクトの属性変更するステップＳ２６を追加した以外、図８と図９の処理は同じである。
【００２５】
以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも、種々の変形、変更が可能である。例えば、壁紙画像で背景画像を置き換える場合に人物像を縮小するようにしたが、この縮小処理は必須のものではない。また、キー押下情報は感情の種類に対応するものとしたが、必ずしも感情に限るものではない。壁紙画像による背景画像の置き換えはキー押下後の所定の時間で自動的にキャンセルされるようにしたが、次のキー押下まで持続するようにすることも可能である。また、壁紙画像は静止画を想定したが、予め定めた動画であってもよい。
【００２６】
【発明の効果】
本発明によれば、テレビ電話において発信者のキー操作に応じて相手の表示画面における実際の背景画像を当該キー操作に対応した人為的な背景画像に置き換えることができ、これによって、主として個人間におけるテレビ電話でのコミュニケーションをさらに豊かにすることができる。
【図面の簡単な説明】
【図１】本発明のテレビ電話システムの概略構成を示す図である。
【図２】図１のシステムにおける携帯テレビ電話端末の概略構成を示すブロック図である。
【図３】図２に示した携帯テレビ電話端末の制御部の機能を示すブロック図である。
【図４】図２に示した壁紙バッファに格納されたキー押下情報に対応する壁紙画像の例を示す図である。
【図５】図２に示した壁紙バッファ内の壁紙画像データの構成例を示す図である。
【図６】図２に示した壁紙バッファ内の壁紙画像データの他の構成例を示す図である。
【図７】図２に示した携帯テレビ電話端末の表示部の画面の推移を示す図である。
【図８】本発明の実施の形態における携帯テレビ電話端末の受信・表示処理の一例を示すフローチャートである。
【図９】本発明の実施の形態における携帯テレビ電話端末の受信・表示処理の他の例を示すフローチャートである。
【符号の説明】
１…アンテナ、２…無線部、３…ベースバンド部、４…制御部、５…カメラ（撮像部）、６…表示部、７…記憶部、８…操作部、１０，１０Ａ，１０Ｂ…携帯テレビ電話端末、１１…マイク、１２…スピーカ

Claims (8)

1. テレビ電話端末装置同士の間での撮影画像データおよび音声データを送受信するテレビ電話システムであって、
   送信側のテレビ電話端末装置は、人物像を含む撮影画像を継続的に受信側のテレビ電話端末装置へ送信するとともに、送信側のユーザによる操作部の操作時に操作情報を受信側のテレビ電話端末装置へ送信し、
   受信側のテレビ電話端末装置は、前記人物像データを含む撮影画像データを受信し、表示画面上に表示するとともに、前記操作情報を受信したとき、前記撮影画像データ中の人物像データを抽出して、この人物像を前記操作情報に対応した背景画像と合成して表示する
   ことを特徴とするテレビ電話システム。
2. 前記操作情報は前記操作部のキー押下情報である請求項１記載のテレビ電話システム。
3. 前記抽出された人物像データの表示属性を前記操作情報に基づいて変更させる手段をさらに備えたことを特徴とする請求項１記載のテレビ電話システム。
4. 前記操作部は複数の操作キーを有し、別個の操作キーに対して別個の背景画像データが予め割り当てられていることを特徴とする請求項２記載のテレビ電話システム。
5. ユーザの入力操作を受け付ける操作部と、
   人物像を含む撮影画像データを受信する受信する手段と、
   受信した撮影画像データを表示する表示部と、
   前記操作部による操作情報および人物像を含む撮影画像データを送信する送信する手段と、
   受信した撮影画像データから人物像データを抽出する手段と、
   前記操作情報に応じて用意された背景画像データを記憶しておく手段と、
   前記操作情報を受信したとき、その操作情報に対応した背景画像データを読み出すとともに受信撮影画像データから人物像データを抽出し、この人物像データを前記背景画像データと合成して前記表示部に表示する手段と、
   を備えたことを特徴とするテレビ電話端末装置。
6. 前記操作情報は前記操作部のキー押下情報である請求項５記載のテレビ電話端末装置。
7. 前記抽出された人物像データの表示属性を前記操作情報に基づいて変更させる手段をさらに備えたことを特徴とする請求項５記載のテレビ電話端末装置。
8. 前記操作部は複数の操作キーを有し、別個の操作キーに対して別個の背景画像データが予め割り当てられていることを特徴とする請求項６記載のテレビ電話端末装置。

Images