JP2011259013A - テレビ電話システム及びテレビ電話システムの制御方法 - Google Patents

Abstract

【課題】通信中の相手とのコミュニケーションを活性化させ、コミュニケーションツールとしての性能を向上することができるテレビ電話システムを提供する。
【解決手段】テレビ電話システムは、ネットワークを介して通信可能に接続される第１通信端末と第２通信端末との間の通信を制御するテレビ電話システムであって、前記通信時の前記第１通信端末の状況を表す状況情報を取得する取得手段と、前記取得手段が取得した状況情報に所定条件下で合致する合成用データをデータベースから選択する選択手段と、前記選択手段が選択した合成用データと前記第１通信端末の通話者の所定の画像とを合成する合成手段と、前記通話者より前記第１通信端末に音声入力された音声信号と前記合成手段が合成した合成画像とを関連付けて前記第２通信端末へ送信する送信手段と、を有する。
【選択図】図５

Description

本開示は、画像及び音声による通信を行うテレビ電話システムの技術に関する。

通信端末を利用したコミュニケーションの一例として、音声通信を行いながら画像を送信するシステム（以下、「テレビ電話システム」という。）が知られている。テレビ電話システムでは、通信端末にビデオカメラとモニター画面を設け、当該ビデオカメラで撮像した映像を音声と一緒に送信することで、通話者が相手の顔を見ながら会話をすることができるように構成されている。このようなテレビ電話システムの機能は、固定又は携帯電話端末やＩＰ電話端末などの通信端末に搭載され、ユーザ同士のコミュニケーションツールとして利用されている。また、特に会議向けに設計されたテレビ会議システムにおいても活用されている。

テレビ電話システムの一例として、下記非特許文献１には、Ｐ２Ｐ技術を応用したテレビ電話機能付き音声通話ソフトが開示されている。当該音声通話ソフトでは、例えば、予め所定の設定をしておくことにより、ユーザの状況に応じて「退席中」「取込中」などの状態を示すアイコンが、他のユーザの通信装置に表示されることが開示されている。

ｓｋｙｐｅ、"ｓｋｙｐｅボタンを活用 ログイン状態を表示するｓｋｙｐｅボタン"、[online]、[平成２２年５月２７日検索」、インターネット＜ＵＲＬ：http://www.skype.com/intl/ja/tell-a-friend/get-a-skype-button/＞

上述したようなテレビ電話システムでは、相手の映像が音声と一緒に送信されるので、通話者は相手の表情を見ながら会話をすることができる。そのため、コミュニケーションがよりスムーズになるというメリットがある。一方、カメラの存在によって、通話者には相手に見られているという意識が生じるため、このような意識がコミュニケーションにマイナスの影響を与えてしまう場合もある。また、通話時の状況やプライバシー等の観点から、映像の一部又は全部を相手に伝えたくないような場合には、そのような映像の送信が、逆にコミュニケーションの妨げとなり得る。

また、テレビ電話システムにおける通話時の映像は、その場で撮影される映像であるため、リアリティや臨場感を生むことができる。一方、例えば、夜に屋外で通話をした場合などは、映像中の背景はただ単に真っ暗になってしまう。そのような場合には、周囲の状況を相手に伝えることが困難である上に、かかる映像を送信することで帯域を無駄に使用していることにもなり得る。

また、テレビ電話システムがコミュニケーションツールとしてより快適に利用されるためには、クオリィティの高い(情報量の多い)映像配信が要求されるところ、映像配信のクオリティを高くしようとすると、ネットワークの帯域不足などの問題が生じる。特に、加入者系無線通信システム等のように端末から基地局への上り回線の使用帯域が制限されている場合には、ボトルネックになりやすい。

しかしながら、上記特許文献１は、ユーザの状態を示すアイコンを他のユーザに通知することを開示したものに過ぎず、上述したようなテレビ電話システムが有する問題については、何ら考慮されていない。

したがって、通信中の相手とのコミュニケーションを活性化させ、コミュニケーションツールとしての性能を向上することができるテレビ電話システムを実現することが望まれる。また、ネットワークの帯域幅を節約しつつ、コミュニケーションツールとしての性能を維持及び向上することができるテレビ電話システムが望まれる。

本開示に係るテレビ電話システムは、ネットワークを介して通信可能に接続される第１通信端末と第２通信端末との間の通信を制御するテレビ電話システムである。テレビ電話システムは、前記通信時の前記第１通信端末の状況を表す状況情報を取得する取得手段と、前記取得手段が取得した状況情報に所定条件下で合致する合成用データをデータベースから選択する選択手段と、前記選択手段が選択した合成用データと前記第１通信端末の通話者の所定の画像とを合成する合成手段と、前記通話者より前記第１通信端末に音声入力された音声信号と前記合成手段が合成した合成画像とを関連付けて前記第２通信端末へ送信する送信手段と、を有する。

前記状況情報は、前記通信時の時間を表す時間情報、前記通信時の前記第１通信端末の現在位置を表す位置情報及び前記通信時の前記第１通信端末の周囲の環境を表す環境情報のうちの少なくとも１つを含むことができる。

前記データベースには、前記合成用データとしての背景データと当該背景データによって表される背景の状況情報とを対応付けて格納してもよい。

前記通話者の所定の画像は、前記第１通信端末が有するカメラにより前記通信中に撮像された撮像画像でもよい。前記通話者の所定の画像は、前記データベースに格納されている前記通話者のアバタでもよい。

前記システムは、前記第１通信端末と前記第２通信端末とそれぞれ通信可能に構成されたサーバを有し、前記第１通信端末は、前記取得手段を有し、前記サーバは、前記選択手段、前記合成手段及び前記送信手段を有することができる。

前記システムは、前記第１通信端末と前記第２通信端末とそれぞれ通信可能に構成されたサーバを有し、前記第１通信端末は、前記取得手段、前記合成手段及び前記送信手段を有し、前記サーバは、前記選択手段を有することができる。

前記第１通信端末は、前記取得手段、前記選択手段、前記合成手段及び前記送信手段を有することができる。

また、本開示に係る制御方法は、ネットワークを介して通信可能に接続される第１通信端末と第２通信端末との間の通信を制御するシステムにおける制御方法である。制御方法は、前記通信時の前記第１通信端末の状況を表す状況情報を取得することと、前記取得した状況情報に所定条件下で合致する合成用データをデータベースから選択することと、前記選択した合成用データと前記第１通信端末の通話者の所定の画像とを合成することと、前記通話者より前記第１通信端末に音声入力された音声信号と前記合成した合成画像とを関連付けて前記第２通信端末へ送信することと、を有する。

また、本開示に係るプログラムは、上記方法の各処理をコンピュータに実行させることを特徴とする。本開示のプログラムは、ＣＤ−ＲＯＭ等の光学ディスク、磁気ディスク、半導体メモリなどの各種の記録媒体を通じて、又は通信ネットワークなどを介してダウンロードすることにより、コンピュータにインストール又はロードすることができる。

なお、本明細書等において、手段とは、単に物理的手段を意味するものではなく、その手段が有する機能をソフトウェアによって実現する場合も含む。また、１つの手段が有する機能が２つ以上の物理的手段により実現されても、２つ以上の手段の機能が１つの物理的手段により実現されてもよい。

テレビ電話システムの概略構成の一例を示すブロック図である。 通信端末の構成一例を示すブロック図である。 サーバの構成の一例を示すブロック図である。 データベースのデータ構造の一例を表す図である。 第１の実施形態に係るテレビ電話制御処理の流れの一例を示すフローチャートである。 通信端末のディスプレイに表示される画面の一例である。 第２の実施形態に係るテレビ電話制御処理の流れの一例を示すフローチャートである。 第３の実施形態に係るテレビ電話制御処理の流れの一例を示すフローチャートである。 第４の実施形態に係るテレビ電話制御処理の流れの一例を示すフローチャートである。

［第１の実施形態］
［テレビ電話システムの概略構成］
図１は、第１の実施形態におけるテレビ電話システム（以下、「本システム」という）の概略構成を示すブロック図である。なお、テレビ電話システムは、ビデオ通話システムとも呼ばれる。同図に示すように、本システムは、第１通信端末１、第２通信端末２及びサーバ３を含み、サーバ３はデータベース４を有している。第１及び第２通信端末（以下、「通信端末」という。）とサーバ３は、所定の通信ネットワークＮ（電話回線、ＬＡＮ、インターネット、専用線、パケット通信網、それらの組み合わせ等のいずれであってもよく、有線、無線の両方を含む）を介して相互に通信可能に構成されている。なお、通信ネットワークＮの構成に必要に応じて含まれる交換機やゲートウェイなどの従来技術の構成については記載を省略している。また、同図では、通信端末について２台を記載しているが、例えば３地点以上のテレビ会議など設計に応じて３台以上とすることもできる。また、同図では１台のサーバを記載しているが、当該サーバの機能を複数台のサーバに分散することもできる。

［通信端末の概略構成］
図２は、第１通信端末１の概略構成を示すブロック図である。第１通信端末１は、制御手段１０１、記憶手段１０２、操作手段１０３、表示手段１０４、音声処理手段１０５、マイク１０６、スピーカ１０７、通信手段１０８、センサ１０９、ＧＰＳ受信機１１０、画像処理手段１１１、カメラ１１２及びタイマ１１３等を主に含んでいる。なお、第２通信端末２は、第１通信端末１と同一の構成を有するため、説明を省略する。第１通信端末１は、音声と画像による通信を行う機能（以下、「テレビ電話機能」又は「ビデオ通話機能」という。）を備えていればよく、その構成に特に限定はないが、例えば、ＰＣ、ＩＰ電話、固定電話、携帯電話、テレビ会議用機器、その他の通信装置等が該当する。第１通信端末１は、例えば、図示しないＣＰＵが、ＲＯＭ等に記憶された所定のプログラムを実行し、ＲＡＭに展開されたデータを用いて処理することで、上述した各種機能実現手段として機能することができる。なお、第１通信端末１は、音声通話が可能な従来の電話装置が有する各種機能を有していてもよい。

制御手段１０１は、第１通信端末１の全体の動作を制御する。記憶手段１０２は、テレビ電話に必要な各種データを格納するメモリなどの記憶装置であり、例えば、カメラ１１２が被写体を撮影した場合、当該撮像画像を、撮影時の日時情報や位置情報、環境情報などと対応付けて格納する。なお、環境情報については後述する。

操作手段１０３は、ユーザから各種指示を受け付けるものであり、例えば、マウス、キーボード、タッチパネル、リモートコントローラなどが該当する。表示手段１０４は、カメラ１１２が撮像した撮像画像や第２通信端末２より受信した相手の画像などを表示するものであり、例えば、ＬＣＤディスプレイなどが該当する。

音声処理手段１０５は、マイク１０６より入力され又はスピーカ１０７に出力される音声信号について、例えば、Ｄ／Ａ変換、ノイズ除去、音声圧縮符号化などの音声信号処理を実行するものであり、第１通信端末１の仕様や設計に応じた既存方式の技術を適用することができる。なお、マイク１０６及びスピーカ１０７は、音声入力手段及び音声出力手段とも呼ばれる。

通信手段１０８は、通信ネットワークＮを介してサーバその他のネットワークに接続された装置に対して、音声データや画像データを含む各種データを入出力可能に構成され、例えば、ＰＰＰドライバやＴＣＰ／ＩＰドライバなどの通信モジュールを有している。また、通信手段１０８は、テレビ電話を実現するための既存の各種通信モジュールを有することができ、その内容に特に限定はないが、例えばＨ．３２３やＳＩＰプロトコルなどが該当する。

センサ１０９は、第１通信端末１の環境を表すための各種情報を検出する検出手段であり、例えば、ノイズセンサ（マイクロフォン）、光センサ、速度センサ、温湿度センサ、赤外線センサ、超音波センサ、視覚センサなどの既存の各種センサが該当する。センサ１０９は、仕様や設計に応じたものを適宜用いることができ、１種類のセンサ又は２種類以上のセンサを複合的に組み合わせることができる。センサ１０９による検出結果（及び検出結果によって特定される情報）を「環境情報」といい、通話時や被写体撮像時に第１通信端末１(ユーザ)が置かれた環境を主に表すために用いられる。環境情報は、仕様や設計に応じた内容を設定することができ、特に限定はないが、例えば、音量、照度、カラー、速度、温室度情報などが該当する。環境情報を後述する位置情報や時間情報と複合的に組み合わせて利用することにより、例えば通話時のユーザの状態や周囲の状況を特定することができる。

ＧＰＳ受信機１１０は、第１通信端末１の現在位置を測定する測位手段であり、例えば、ＧＰＳ衛星信号を所定の受信間隔で受信し処理することによって第１通信端末１の現在位置（緯度・経度）を測位する。なお、同図では、説明の便宜上、ＧＰＳ受信機１１０をセンサ１０９と別に記載しているが、ＧＰＳ受信機１１０もセンサの１つである。

画像処理手段１１１は、カメラ１１２で撮影した画像（静止画又は動画）に対して所定の画像処理を施し、撮影時の状況情報（時間情報、位置情報、環境情報）と対応付けて記憶手段１０２に格納する。画像処理手段１１１の処理内容に特に限定はないが、画像編集や画像圧縮のほか、基本画像（例：背景画像）に別の画像（例：本人画像）を合成する画像合成の機能を有している。また、パターン認識や特徴抽出に関する既存技術を利用して、撮像画像から通話者の画像（本人撮像画像）と背景となる画像（背景撮像画像）を認識する機能を備えている。なお、状況情報については後述する。

カメラ１１２は、被写体を撮影する撮像手段であり、例えば、ビデオカメラやＷｅｂカメラなどが該当する。

タイマ１１３は、時間を計る計時手段である。

［サーバの概略構成］
図３は、サーバの概略構成を示すブロック図である。同図に示すように、サーバ３は、通信手段３０１、制御手段３０２及びデータベース４を含み、制御手段３０２は、接続中継手段３０３、プレゼンス情報特定手段３０４、状況情報受信手段３０５、合成用データ選択手段３０６及び合成手段３０７等の機能実現手段を含んでいる。サーバ３は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ、ユーザインタフェース、ディスプレイ、および通信インタフェース等のハードウェアを備える汎用又は専用のコンピュータにより構成することができ、ＣＰＵが、メモリまたは外部記憶装置などに記憶された所定のプログラムを実行することにより、上述した各種手段として機能することができる。

通信手段３０１は、通信ネットワークＮを介して通信端末その他のネットワークに接続された装置に対して、音声データや画像データを含む各種データを入出力可能に構成され、例えば、ＰＰＰドライバやＴＣＰ／ＩＰドライバなどの通信モジュールを有している。また、通信手段３０１は、テレビ電話を実現するための既存の各種通信モジュールを有することができ、その内容に特に限定はないが、例えばＨ．３２３やＳＩＰプロトコルなどが該当する。制御手段３０２は、サーバ３全体の動作を制御するものであり、後述する各手段を有する。

接続中継手段３０３は、第１通信端末１と第２通信端末２との間でテレビ電話（ビデオ通話）が行われるように両者間の通信接続を中継するものであり、具体的には、第１通信端末１より第２通信端末２への発呼を受信すると、第１通信端末１と第２通信端末２との間の通信路を接続中継手段３０３を介して確立する。そして、第１通信端末１から送信される音声及び画像データを受信すると、当該音声データと合成後の画像データを関連付けて第２通信端末２へ送信し、その逆を実行する。なお、「関連付け」とは、例えば、音声データと画像（映像）データの同期や多重化処理等の従来技術を実行することにより、第２通信端末２において音声と画像（映像）とが同時に再生されるようにすることである。

プレゼンス情報特定手段３０４は、発信者に対して着信者の着信時の状況を通知する。具体的には、着信者の通信端末より当該着信時の状況情報（時間情報、位置情報、環境情報）を取得すると、当該状況情報に基づいて、着信者の現在の状況を表す情報（以下、「プレゼンス情報」という。）を特定する。プレゼンス情報は、その内容に特に限定はないが、本実施形態では、データベース４に格納されている背景画像をプレゼンス情報として用いる場合について説明する。例えば、着信者の状況情報（時間情報と位置情報）に合致するプレゼンス情報として、着信者が会議中であることを表す会議室の画像を特定したり、着信者の状況情報（時間情報、位置情報及び速度情報）に合致するプレゼンス情報として、着信者が電車に乗って移動中であることを表す画像を特定したりすることができる。

状況情報受信手段３０５は、第１通信端末１又は第２通信端末２から、それぞれの通信端末（又は通話者）の状況を表す状況情報を受信する。状況情報は、通信端末（ユーザ）が置かれた状況を表す情報であり、時間情報、位置情報（座標情報）及び環境情報のうちの少なくとも１つの情報を含み、２つ以上の情報を複合的に組み合わせてもよい。

合成用データ選択手段３０６は、通信端末より送信される画像に合成される合成用データを、当該通信端末より送信される合成モード選択情報及び状況情報に基づいてデータベース４より選択する。合成用データ選択手段３０６は、例えば、合成モード選択情報により選択されたモードが、撮像画像に背景画像を合成する背景合成モード（第１モード）である場合は、受信した状況情報に所定条件下で合致する背景データ（画像や音声）をデータベース４より選択する。所定条件は、仕様や設計に応じて適宜設定することができ、その内容に特に限定はないが、例えば、受信した状況情報に含まれる位置情報、時間情報及び環境情報のうちの少なくとも１つの情報（又はこれら情報の任意の組み合わせ）の値が、データベース４の背景データの該当する状況情報の値に略一致することなどが該当する。また、合成モード選択情報により選択されたモードが、撮像画像にアバタを合成するアバタ合成モード（第２モード）である場合は、当該通信端末のユーザに対応するアバタデータをデータベース４より選択する。なお、合成モード選択情報により選択されたモードが、データベース４の背景画像にユーザのアバタを合成するアバタ背景合成モード（第３モード）である場合は、状況情報に合致する背景データ（画像や音声）とユーザに対応するアバタデータをデータベース４より選択する。

合成手段３０７は、通信端末より送信された撮像画像（リアルタイム画像）とデータベース４に格納されている合成用データ（画像、音声、テキスト等）（登録済画像等）とを合成する。また、データベース４に格納されている合成用データ同士を合成することもできる。画像合成には、仕様や設計に応じた従来技術を適宜適用することができ、その合成方法に特に限定はないが、本実施形態では、基本となる画像を背景画像とし、これに合成される被合成画像を通話者の本人画像（アバタを含む）として説明する。なお、合成手段３０７は、パターン認識や特徴抽出に関する既存技術を利用して、撮像画像から本人画像と背景画像を認識する機能を備えている。

カメラ１１２は、被写体を撮影する撮像手段であり、例えば、ビデオカメラやＷｅｂカメラなどが該当する。

データベース４は、テレビ電話に必要な各種データを格納するものであり、例えばリレーショナルデーターベースのような既存技術を適用して構築することができる。図４は、データベース４のデータ構造の一例を示す図である。なお、図４（Ａ）〜（Ｃ）に示すデータ構造は一例であり、仕様や設計に応じて、データ項目を適宜追加・変更・削除することができる。

図４（Ａ）は、データベース提供者等によって予め用意される背景データを格納するデータベースであり、背景データと当該背景データによって表される背景の状況情報とを対応づけて格納している。例えば、データ項目として、背景データを一意的に識別する識別情報を格納する「背景ＩＤ」、背景データへのポインタを格納する「背景データ」、背景データによって表される被写体の位置を表す「緯度」及び「経度」（座標情報）、被写体の時間を格納する「時間」、被写体の環境を表す情報を格納する「環境情報」などを有している。なお、背景データは、そのデータ形式について特に限定はなく、動画及び静止画のほか、音声やテキストデータなども含まれる。同図では、背景データが画像である場合の例が示されている。また、環境情報は、通信端末が置かれた周囲の環境を表す情報であり、その内容に特に限定はないが、例えば、各種センサによって検出可能な音量、照度、カラー、速度、温湿度などが格納される。また、同じ被写体について、時間（朝、昼、夜）、天候（晴、曇、雨、雪）、季節（春、夏、秋、冬）等に応じて異なる内容の画像を格納してもよい。

図４（Ｂ）は、ユーザによって登録される背景データを格納するデータベースであり、背景データと当該背景画像によって表される背景の状況情報とを対応付けて格納している。例えば、データ項目として、ユーザを一意的に識別する識別情報を格納する「ユーザＩＤ」、「背景画像」、「緯度」、「経度」、「時間」、「環境情報」などを有している。

図４（Ｃ）は、アバタデータを格納するデータベースであり、例えば、データ項目として、「ユーザＩＤ」と、アバタを一意的に識別する識別情報を格納する「アバタＩＤ」と、アバタデータへのポインタを格納する「アバタデータ」などを有している。

［テレビ電話制御処理の流れ］
図５を参照して、第１の実施形態に係るテレビ電話制御処理について説明する。なお、後述するフローチャートに示す各処理ステップは処理内容に矛盾を生じない範囲で任意に順番を変更して又は並列に実行することができる。また、各処理ステップ間に他のステップを追加してもよい。また、便宜上１ステップとして記載されているステップは、複数ステップに分けて実行することができる一方、便宜上複数ステップに分けて記載されているものは、１ステップとして把握することができる。

なお、以下の処理では、第１通信端末１が第２通信端末２へ発呼する場合のテレビ電話制御処理の流れについて説明し、第２通信端末２から第１通信端末１へ同様に実行される処理については説明を省略している。

テレビ電話の開始前に、ユーザは、第１通信端末１にて所定の被写体を撮像することができる（Ｓ１０１）。ここでは、ユーザが、観光先で風景を撮像したものとする。ユーザが撮像画像のアップロードを指示すると、第１通信端末１は、図示しないタイマより撮影時間を、ＧＰＳ受信機１１０より現在位置を、センサ１０９より環境情報をそれぞれ取得し、これらを含む状況情報、撮像画像及びユーザＩＤ（ＵＩＤ）を含む画像登録要求をサーバ３へ送信する（Ｓ１０２）。サーバ３は、受信した撮像画像を状況情報及びユーザＩＤと対応付けてデータベース４に登録する（Ｓ１０３）（図４（Ｂ））。

第１通信端末１は、ユーザよりテレビ電話開始指示を受け付ける（Ｓ１０４）。テレビ電話開始指示には、相手先の通信端末を特定する相手先特定情報（例えば、電話番号やＩＰアドレスなど）と、画像の合成モードを選択する合成モード選択情報とが含まれている。第１通信端末１は、相手先特定情報と合成モード選択情報を含む発呼（テレビ電話開始要求）をサーバ３へ送信する（Ｓ１０５）。なお、ここでは、合成モードの例として、撮像画像に背景を合成する背景合成モード（第１モード）又は撮像画像にアバタを合成するアバタ合成モード（第２モード）が選択される場合について説明する。また、第２通信端末２が相手先として特定されている。

サーバ３は、第１通信端末１より発呼を受け付けると、当該発呼に含まれる相手先特定情報に基づいて第２通信端末２へ着信要求を送信する（Ｓ１０６）。第２通信端末２は、着信要求を受け付けると（Ｓ１０７）、例えば着信音を出力してユーザに通知するとともに、状況情報（時間情報、位置情報、環境情報）を取得して、サーバ３へ送信する（Ｓ１０８）。

サーバ３は、第２通信端末２から受信した状況情報に基づいて、第２通信端末２の現在状況を表す背景データ（プレゼンス情報）をデータベース４より抽出する。そして、第２通信端末２を呼び出し中であることを示す呼出中通知とプレゼンス情報とを、第１通信端末１へ送信する（Ｓ１０９）。第１通信端末１は、呼出中通知を受け付けると、呼び出し音出力を開始し、プレゼンス情報を受信すると、これを表示手段１０４に表示する（Ｓ１１０）。これにより、発信者は、着信者の位置や状況（例えば、会議中、睡眠中、旅行中など）を知ることができる。なお、着信者が現在の状況をサーバ３に対して通知しておくことにより、サーバ３は、着信者に着信呼出を送出する前に、発信者に着信者の状況を通知するようにしてもよい。

第２通信端末２においてユーザが呼び出しに応答すると、第２通信端末２は、応答した旨をサーバ３へ送信し（Ｓ１１１）、サーバ３は、これを第１通信端末１へ送信する（Ｓ１１２）。これにより、第１通信端末１と第２通信端末２との間にサーバ３を介してテレビ電話のための通信路が確立する（Ｓ１１３）。

第１通信端末１は、状況情報（現在時間、現在位置、環境情報）をＧＰＳ受信機１１０やセンサ１０９等から取得する（Ｓ１１４）。また、カメラ１１２による被写体の撮像を開始するとともに（Ｓ１１５）、ユーザより音声入力を受け付ける（Ｓ１１６）。

第１通信端末１は、音声データ、撮像画像（本人撮像画像又は背景撮像画像）、状況情報及びユーザＩＤを関連付けてサーバ３へ送信する（Ｓ１１７）。なお、第１通信端末１は、合成モードとして背景合成モードが選択されている場合は、撮像画像から本人画像と背景画像を認識し、本人画像のみを抽出した本人撮像画像を生成して送信する。一方、第１通信端末１は、合成モードとしてアバタ合成モードが選択されている場合は、撮像画像には本人画像が含まれていないことが前提となるから、撮像画像をそのまま背景撮像画像として送信する。

サーバ３は、第１通信端末１から、音声データ、撮像画像、状況情報を受信すると、Ｓ１０４にて取得した合成モード選択情報より合成方法を判断する（Ｓ１１９）。

サーバ３は、背景合成モードであると判断した場合は（Ｓ１２０；背景モード）、状況情報によって特定される合成用背景データをデータベース４から特定する（Ｓ１２１）。そして、受信した本人撮像画像と特定した合成用背景データとを合成する（Ｓ１２２）。なお、合成モード選択情報においてユーザの背景データを使用することが指定されている場合は、状況情報に合致するユーザの背景データをデータベース４から特定する。

一方、サーバ３は、アバタ合成モードであると判断した場合は（Ｓ１２０；アバタモード）、ユーザＩＤに合致するアバタデータを合成用データとしてデータベース４から特定し、受信した背景撮像画像と特定したアバタデータとを合成する（Ｓ１２３）。

サーバ３は、音声データと合成画像を関連づけて第２端末装置２へ送信する（Ｓ１２４）。第２端末装置２は、受信した音声データに基づく音声をスピーカより出力し、合成画像をディスプレイに出力する（Ｓ１２５）。図６は、第２端末装置２のディスプレイに表示される合成画像の一例を示す図である。

図６（Ａ）は、背景合成モードの一例を示している。例えばユーザが旅行先から友人に向けて夏の夜に電話をかけた場合、第１通信端末１のカメラで背景を撮影しても真っ暗になってしまうものの、旅行先の雰囲気を相手に伝えたいと思う場合がある。また、ホテルの部屋から電話をかけたいものの、部屋が汚れているので相手に見せたくないと思う場合がある。図６（Ａ）によれば、ユーザの位置情報（例：観光地Ａ）、時間情報（例：夏の夜）より特定される旅行先の画像（例：夏の夜に撮影された観光地Ａの登録済画像）上に会話中のユーザ本人の動画（リアルタイム画像）が重畳表示される。その結果、真っ暗な映像を送ったり乱雑な部屋を相手に見せたりすることなく、ユーザの音声と旅行中の雰囲気の双方を相手へ伝えることができるので、コミュニケーションをよりスムーズに運ぶきっかけとなる。

また、図６（Ａ）の背景合成モードによれば、第１通信端末１からサーバ３へは本人撮像画像のみが送信され、背景撮像画像のような大きなサイズのデータは送信されないので、第１通信端末１及びサーバ３間の使用帯域を少なく抑えることができる。一方、サーバ３から第２通信端末２へは合成画像が送信されるので使用帯域が大きくなるものの、サーバ３及び第２通信端末２間の通信に留めることができる。特に無線通信の場合には、基地局から通信端末への下り回線に比べて、通信端末から基地局への上り回線は、通信端末のエネルギ制限等の観点から使用帯域が制限されているところ、上記実施形態の構成によれば、上りと下りの帯域を効率的に使用しながら、ユーザの状況情報（背景画像）を相手に送信することができるようになる。さらに、例えば第２通信端末２に近いサーバ３を選択することによって使用帯域を節約することが可能である。

なお、環境情報（例：温湿度情報）により天候（例：雨）が特定される場合には、当該天候の旅行先の画像（例：雨の観光地Ａの登録済画像）を送信したり、環境情報（例：速度情報）によりユーザの移動形態（例：電車移動）が特定される場合には、当該旅行先の移動手段の画像（例：旅行先の駅や電車の登録済画像）を送信したりしてもよい。

一方、図６（Ｂ）は、アバタ合成モードの一例を示している。例えばユーザが、旅行先から友人に向けて昼間に電話をかけ、目の前の状況をそのまま相手に伝えたい場合がある。図６（Ｂ）によれば、ユーザの撮影した風景の画像（リアルタイム画像）上にユーザのアバタ（登録済画像）が重畳表示されるので、ユーザの伝えたい風景を音声と一緒にそのまま相手へ伝えることができ、両者の会話がより弾むきっかけとなる。

なお、図６（Ａ）（Ｂ）の画像には、ユーザの現在位置や時間等より特定されるレストランや観光スポット等に関するテキスト情報や音声情報を重畳表示してもよい。

なお、図６（Ｃ）は、背景合成モードの変形例であり、通話時間の経過に応じて背景データを変更する様子を示している。図６（Ｃ）によれば、ユーザの本人画像の背景である旅行先の画像が、所定タイミングでスライドショーのように変わってゆくので、相手方を退屈させることなく会話のヒントを増やすことができる。また、ユーザがアップロードした背景データが選択された場合には、ユーザが撮影した画像が経時的に背景表示されるようにしてもよい。

また、図６（Ｄ）は、データベース４の背景データとアバタデータとを合成するアバタ背景合成モード（第３モード）の一例を示している。ここでは、第１通信端末１より撮像画像が送信されず、状況情報のみが送信され、サーバ３が状況情報によって特定される背景にユーザのアバタを重畳表示する様子を示している。図６（Ｄ）によれば、旅行先の画像とアバタとが表示されるので、旅行先の風景は相手に送りたいが自分の映像は送りたくないような場合に利用することができる。また、第１通信端末１からサーバ３へは音声と状況情報のみが送信されるので、第１通信端末１及びサーバ３間の使用帯域を少なく抑えながら、ユーザの音声と周囲の状況の双方を相手に伝達することができるようになる。

以降、ユーザより切断が指示されるまで、第１通信端末１が音声と撮像画像をサーバ３へ送信すると、サーバ３は、撮像画像を合成用背景データと合成し、当該合成画像と音声を第２通信端末へ送信する（Ｓ１２６）。同様に、第２通信端末２が音声と撮像画像をサーバ３へ送信すると、サーバ３は、撮像画像を合成用背景データと合成し、当該合成画像と音声を第１通信端末へ送信する（Ｓ１２６）。これにより、第１通信端末１と第２通信端末２との間でサーバ３を介してテレビ電話による通話が行われる。

第１通信装置１は、ユーザにより切断が指示されると、所定の切断要求をサーバ３へ送信する（Ｓ１２７）。サーバ３は、切断要求を受信すると、これを第２端末装置２へ送信する（Ｓ１２８）。第２端末装置２は、切断要求に応答し、例えば、受話器を置いたり切断ボタンを押下したりする。

［第２の実施形態］
次に、図７を参照して、第２の実施形態に係るテレビ電話システムによる制御処理について説明する。第２の実施形態が第１の実施形態と主に異なる点は、第２の実施形態では、サーバ３の代わりに第１通信端末１が本人画像と背景画像を合成する点である。以下、第２の実施形態が第１の実施形態と同様の構成については、説明を省略する。

第１通信端末１と第２通信端末２は、図５に示す通信路確立処理（Ｓ１０４〜Ｓ１１２）をサーバを介さずに実行することによりテレビ電話のための通信路を確立する（Ｓ２０１）。

第１通信端末１は、第１通信端末１の状況情報（時間情報、位置情報、環境情報）を取得し（Ｓ２０２）、状況情報を含む背景画像取得要求をサーバ３へ送信する（Ｓ２０４）。サーバ３は、背景画像取得要求を受信すると、当該要求に含まれる状況情報（時間情報、位置情報、環境情報）に合致する合成用背景データをデータベース４から特定する（Ｓ２０５）。そして、特定した合成用背景データを第１通信端末１へ送信する（Ｓ２０６）。

第１通信端末１は、カメラ１１２により本人（通話者）を撮像し（Ｓ２０７）、当該撮像画像から本人画像を抽出することにより生成した本人撮像画像と、受信した合成用背景データを合成する（Ｓ２０８）。また、第１通信端末１は、マイク１０６を介してユーザの音声入力を受け付ける（Ｓ２０９）。

第１通信端末１は、音声データと合成画像を関連づけて第２通信端末２へ送信する（Ｓ２１０）。第２通信端末２は、音声データと合成画像を受信すると、音声データに基づく音声をスピーカより出力し、合成画像をディスプレイより出力する（Ｓ２１１）。

第１通信端末１及び第２通信端末２は、Ｓ２０２〜Ｓ２１０の処理を繰り返すことにより、音声通話中に合成画像を互いに送受信する。

なお、第１通信端末１は、背景画像取得要求の代わりにアバタ取得要求を送信することにより背景データの代わりにアバタデータをサーバ３より取得し、背景撮像画像にアバタを合成して合成画像を生成するようにしてもよい。

［第３の実施形態］
次に、図８を参照して、第３の実施形態に係るテレビ電話システムによる制御処理について説明する。第３の実施形態が第１及び第２の実施形態と主に異なる点は、第３の実施形態では、第１通信端末１がサーバ３を介さずに画像合成を行い、第２通信端末２へ合成画像を送信する点である。この場合には、第１及び第２の実施形態においてサーバ３が有するデータベース４を、第１通信端末１が有することになる。以下、第３の実施形態が第１又は第２の実施形態と同様の構成については、説明を省略する。

第１通信端末１は、被写体（例えば、背景）を撮影すると（Ｓ３０１）、撮像画像と状況情報とを対応付けて第１通信端末１のデータベース４に格納する（Ｓ３０２）。そして、ユーザよりテレビ電話開始指示の入力を受け付ける（Ｓ３０３）。

第１通信端末１と第２通信端末２とは、例えば、発呼、着呼、プレゼンス情報表示、応答などの図５に示す処理を、サーバ３を介さずに実行することにより、両者間でテレビ電話のための通信路を確立する（Ｓ３０４）。

第１通信端末１は、第１通信端末１の状況情報を取得し（Ｓ３０５）、状況情報（時間情報、位置情報、環境情報）に合致する合成用背景データをデータベース４から特定する（Ｓ３０６）。そして、カメラ１１２により本人を撮像し（Ｓ３０７）、撮像した撮像画像から本人画像を抽出することにより生成した本人撮像画像と、特定した合成用背景データを合成する（Ｓ３０８）。また、第１通信端末１は、マイク１０６を介してユーザの音声入力を受け付ける（Ｓ３０９）。

第１通信端末１は、音声データと合成画像を関連づけて第２通信端末２へ送信する（Ｓ３１０）。第２通信端末２は、音声データに基づく音声をスピーカより出力し、合成画像をディスプレイより出力する（Ｓ３１１）。

第１通信端末１及び第２通信端末２は、Ｓ３０５〜Ｓ３１０の処理を繰り返すことにより、音声通話中に合成画像を互いに送受信する。

［第４の実施形態］
次に、図９を参照して、第４の実施形態に係るテレビ電話システムによる制御処理について説明する。第４の実施形態が、第１乃至第３の実施形態と主に異なる点は、第４の実施形態では、サーバ３が、第１通信端末１より送信される撮像画像をそのまま相手へ送信する一方、撮像画像から背景画像を抽出して差替用背景画像を生成しておき、所定時間が経過したタイミングで、撮像画像中の背景画像を生成した背景画像に差し替えて送信する点である。以下、第４の実施形態が第１乃至第３の実施形態と同様の構成については、説明を省略する。

第１通信端末１は、ユーザよりテレビ電話開始指示の入力を受け付けると、例えば、図５に示す発呼処理を実行することにより、サーバ３を介して第２通信端末２との間で通信路を確立する（Ｓ４０１）。

第１通信端末１は、カメラ１１２により背景を含む本人を撮像し（Ｓ４０２）、マイク１０６を介してユーザの音声入力を受け付ける（Ｓ４０３）。そして、音声データと撮像画像を関連づけてサーバ３へ送信する（Ｓ４０４）。サーバ３は、受信した音声データと撮像画像を第２通信端末２へ送信する（Ｓ４０５）とともに、撮像画像を後述する画像処理のために所定の記憶領域に格納する。第２通信端末２は、音声データに基づく音声をスピーカより出力し、撮像画像をディスプレイより出力する。

第１通信端末１は、Ｓ４０２〜Ｓ４０５の処理を繰り返すことにより、サーバ３を介して音声通話中の撮像画像を第２端末装置２へ送信する（Ｓ４０６）。

一方、サーバ３は、パターン認識や特徴抽出に関する既存技術を利用して、格納した撮像画像を解析することにより、撮像画像を複数の画像、例えば本人画像（第１画像）と背景画像（第２画像）とに分離し、背景画像のみを抽出する（Ｓ４０７）。そして、抽出された背景画像に基づいて、差替用背景画像を生成する（Ｓ４０８）。差替用背景画像は、例えば抽出された背景画像よりも解像度を低くするなどしてデータサイズを小さくする。

サーバ３は、例えば通話開始から所定時間が経過しているか否かを判断し（Ｓ４０９）、経過していない場合（Ｓ４０９；ＮＯ）は、差替用背景画像の生成処理を実行する。一方、通話開始から所定時間経過している場合は（Ｓ４０９；ＹＥＳ）は、送信された撮像画像から本人画像のみを抽出し、当該抽出した本人画像を、生成した差替用背景画像と合成する（Ｓ４１０）。そして、合成画像を第２通信端末２へ音声データと一緒に送信する（Ｓ４１１）。第２通信端末２は、音声データに基づく音声をスピーカより出力し、合成画像をディスプレイより出力する。

以降、ユーザより切断が指示されるまで、第１通信端末１が音声と撮像画像をサーバ３へ送信すると、サーバ３は、撮像画像中の本人画像と差替用画像とを合成し、音声と合成画像を第２通信端末２へ送信する（Ｓ４１２）。同様に、第２通信端末２が音声と撮像画像をサーバ３へ送信すると、サーバ３は、撮像画像中の本人画像と差替用画像とを合成し、音声と合成画像を第１通信端末１へ送信する（Ｓ４１２）。これにより、第１通信端末１と第２通信端末２との間でサーバ３を介してテレビ電話による通話が行われる。

以上によれば、差替用背景画像を利用することにより、サーバ３が第１通信端末１から送信された撮像画像をそのまま第２通信端末２へ送信する場合に比べて、サーバ３と第２通信端末２間の使用帯域を節約することができるようになる。

なお、本開示は、上記した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。

例えば、上記実施形態では、状況情報に基づいて合成用の背景画像を特定し、当該特定した背景画像を本人画像に合成する場合について説明したが、例えば、サーバ３は、合成時のネットワークのトラフィック量を検出し、当該検出したトラフィック量に応じて特定した背景画像の画質を変更し、変更後の背景画像を合成して送信するようにしても良い。例えば、トラフィック量が多い場合は背景画像の画質を下げたり、トラフィック量が少ない場合は背景画像の画質を上げたりすることにより、効率的に合成画像を送信することが可能になる。

１…第１通信端末、２…第２通信端末、３…サーバ、４…データベース、Ｎ…通信ネットワーク、１０１…制御手段、１０２…記憶手段、１０３…操作手段、１０４…表示手段、１０５…音声処理手段、１０６…マイク、１０７…スピーカ、１０８…通信手段、１０９…センサ、１１０…ＧＰＳ受信機、１１１…画像処理手段、１１２…カメラ、３０１…通信手段、３０２…制御手段、３０３…接続中継手段、３０４…プレゼンス情報特定手段、３０５…状況情報受信手段、３０６…合成用データ選択手段、３０７…合成手段

Claims (13)

1. ネットワークを介して通信可能に接続される第１通信端末と第２通信端末との間の通信を制御するテレビ電話システムであって、
   前記通信時の前記第１通信端末の状況を表す状況情報を取得する取得手段と、
   前記取得手段が取得した状況情報に所定条件下で合致する合成用データをデータベースから選択する選択手段と、
   前記選択手段が選択した合成用データと前記第１通信端末の通話者の所定の画像とを合成する合成手段と、
   前記通話者より前記第１通信端末に音声入力された音声信号と前記合成手段が合成した合成画像とを関連付けて前記第２通信端末へ送信する送信手段と、を有し、
   前記状況情報は、
   前記通信時の時間を表す時間情報、前記通信時の前記第１通信端末の現在位置を表す位置情報及び前記通信時の前記第１通信端末の周囲の環境を表す環境情報のうちの少なくとも１つを含み、
   前記データベースは、
   前記合成用データとしての背景データと当該背景データによって表される背景の状況情報とを対応付けて格納しており、
   前記通話者の所定の画像は、前記第１通信端末が有するカメラにより前記通信中に撮像された撮像画像、又は前記データベースに格納されている前記通話者のアバタであり、
   前記取得手段は、前記第１通信端末が有し、
   前記選択手段は、前記第１通信端末と前記第２通信端末とそれぞれ通信可能に構成されたサーバが有し、
   前記合成手段及び前記送信手段は、前記第１通信端末又はサーバが有する
   ことを特徴とするテレビ電話システム。
2. ネットワークを介して通信可能に接続される第１通信端末と第２通信端末との間の通信を制御するテレビ電話システムであって、
   前記通信時の前記第１通信端末の状況を表す状況情報を取得する取得手段と、
   前記取得手段が取得した状況情報に所定条件下で合致する合成用データをデータベースから選択する選択手段と、
   前記選択手段が選択した合成用データと前記第１通信端末の通話者の所定の画像とを合成する合成手段と、
   前記通話者より前記第１通信端末に音声入力された音声信号と前記合成手段が合成した合成画像とを関連付けて前記第２通信端末へ送信する送信手段と、
   を有することを特徴とするテレビ電話システム。
3. 前記状況情報は、
   前記通信時の時間を表す時間情報、前記通信時の前記第１通信端末の現在位置を表す位置情報及び前記通信時の前記第１通信端末の周囲の環境を表す環境情報のうちの少なくとも１つを含むことを特徴とする請求項２に記載のテレビ電話システム。
4. 前記データベースには、
   前記合成用データとしての背景データと当該背景データによって表される背景の状況情報とを対応付けて格納していることを特徴とする請求項２又は３に記載のテレビ電話システム。
5. 前記通話者の所定の画像は、前記第１通信端末が有するカメラにより前記通信中に撮像された撮像画像であることを特徴とする請求項２乃至４いずれか１項に記載のテレビ電話システム。
6. 前記通話者の所定の画像は、前記データベースに格納されている前記通話者のアバタであることを特徴とする請求項２乃至４いずれか１項に記載のテレビ電話システム。
7. 前記システムは、前記第１通信端末と前記第２通信端末とそれぞれ通信可能に構成されたサーバを有し、
   前記第１通信端末は、前記取得手段を有し、
   前記サーバは、前記選択手段、前記合成手段及び前記送信手段を有することを特徴とする請求項２乃至６いずれか１項に記載のテレビ電話システム。
8. 前記システムは、前記第１通信端末と前記第２通信端末とそれぞれ通信可能に構成されたサーバを有し、
   前記第１通信端末は、前記取得手段、前記合成手段及び前記送信手段を有し、
   前記サーバは、前記選択手段を有することを特徴とする請求項２乃至６いずれか１項に記載のテレビ電話システム。
9. 前記第１通信端末は、前記取得手段、前記選択手段、前記合成手段及び前記送信手段を有することを特徴とする請求項２乃至６いずれか１項に記載のテレビ電話システム。
10. ネットワークを介して通信可能に接続される第１通信端末と第２通信端末との間の通信を制御するサーバであって、
    合成用データを格納するデータベースと、
    通話者より前記第１通信端末に音声入力された音声信号と、前記第１通信端末が有するカメラにより撮像された前記通話者の撮像画像と、前記第１通信端末の状況を表す状況情報と、を当該第１通信端末より受信する受信手段と、
    前記受信手段が受信した状況情報に所定条件下で合致する合成用データを前記データベースから選択する選択手段と、
    前記選択手段が選択した合成用データと前記通話者の撮像画像とを合成する合成手段と、
    前記受信手段が受信した音声信号と前記合成手段が合成した合成画像とを関連付けて前記第２通信端末へ送信する送信手段と、
    を有することを特徴とするサーバ。
11. ネットワークを介して通信可能に接続される第１通信端末と第２通信端末との間の通信を制御するサーバであって、
    通話者より前記第１通信端末に音声入力された第１の音声信号と、当該第１の音声入力時に前記第１通信端末が有するカメラにより撮像された第１の撮像画像と、を当該第１通信端末より受信する第１の受信手段と、
    前記受信手段が受信した第１の音声信号と前記第１の撮像画像とを関連付けて前記第２通信端末へ送信する第１の送信手段と、
    前記第１の受信手段が受信した前記第１の撮像画像を前記通話者の本人画像と背景画像とに分離し、当該分離された背景画像に基づいて差替用背景画像を生成する生成手段と、
    前記通話者より前記第１通信端末に音声入力された第２の音声信号と、当該第２の音声入力時に前記第１通信端末が有するカメラにより撮像された第２の撮像画像と、を当該第１通信端末より受信する第２の受信手段と、
    前記第２の受信手段が受信した第２の撮像画像から前記通話者の本人画像を抽出し、当該抽出した本人画像と前記生成した差替用背景画像とを合成する合成手段と、
    前記受信手段が受信した第２の音声信号と前記合成手段が合成した合成画像とを関連付けて前記第２通信端末へ送信する第２の送信手段と、
    を有することを特徴とするサーバ。
12. ネットワークを介して通信可能に接続される第１通信端末と第２通信端末との間の通信を制御するサーバにおける制御方法であって、
    通話者より前記第１通信端末に音声入力された音声信号と、前記第１通信端末が有するカメラにより撮像された前記通話者の撮像画像と、前記第１通信端末の状況を表す状況情報と、を当該第１通信端末より受信することと、
    前記受信した状況情報に所定条件下で合致する合成用データをデータベースから選択することと、
    前記選択した合成用データと前記通話者の撮像画像とを合成することと、
    前記受信した音声信号と前記合成した合成画像とを関連付けて前記第２通信端末へ送信することと、
    を有することを特徴とする制御方法。
13. ネットワークを介して通信可能に接続される第１通信端末と第２通信端末との間の通信を制御するシステムにおける制御方法であって、
    前記通信時の前記第１通信端末の状況を表す状況情報を取得することと、
    前記取得した状況情報に所定条件下で合致する合成用データをデータベースから選択することと、
    前記選択した合成用データと前記第１通信端末の通話者の所定の画像とを合成することと、
    前記通話者より前記第１通信端末に音声入力された音声信号と前記合成した合成画像とを関連付けて前記第２通信端末へ送信することと、
    を有することを特徴とする制御方法。

Images