JP2006121158A - テレビ電話システム - Google Patents

Abstract

【課題】携帯情報端末を用い、通信する情報量を低減し、かつ使用者の表情等の情感を高効率に伝達できるテレビ電話システムを提供すること。
【解決手段】少なくとも画像による通信を行なうテレビ電話システムであって、携帯情報端末１００と、携帯情報端末１００と通信を行なう他のテレビ電話２００とを含み、携帯情報端末１００は、携帯情報端末１００の使用者ＯＢＳの顔画像６００のうち少なくとも特定領域を撮像する撮像部１０４と、撮像された画像から特定領域の画像を抽出する抽出部１０９と、抽出された画像をテレビ電話へ送信するための入出力部１０３とを有する。
【選択図】 図４

Description

本発明は、テレビ電話システム、特に携帯情報端末を用いるテレビ電話システムに関するものである。

近年、一人の人間が複数のコンピュータを使用するネットワーク社会、いわゆるユビキタス・ネットワーク社会が提唱されている。ユビキタス・ネットワーク社会では、インターネット等の情報ネットワークに、いつでも、どこからでもアクセスできる環境が実現できる。このようなアクセスに使う情報端末は、パソコンに限られず、例えば携帯電話等も用いることができる。

また、携帯電話も通話とディスプレイ認識とを同時に行なえる表示機能付き携帯情報装置としての構成が提案されている（例えば、特許文献１参照。）。特許文献１に開示されている構成では、小型のディスプレイをホログラム素子により遠方に拡大投影する。これにより、例えば通話をしながら表示画像情報を見ることができる。さらに、ホログラム素子を介して遠方の物体の透過像を同時に観察できる。この表示機能付き携帯情報装置は、実視野の像に重畳させてデジタル情報を表示する、いわゆるシースルービュアー（ｓｅｅ−ｔｈｒｏｕｇｈ ｖｉｅｗｅｒ）として用いることができる。

特開２００１−３０８９９７号公報

近年、情報化社会の発達に伴い、音声に加えて画像の通信を行なうことができるテレビ電話システムのニーズが高まってきている。テレビ電話システムでは、例えば通信している相手の表情等を見ることで、情感豊かなコミュニケーションを行なうことができる。ここで、例えば携帯可能な小型な情報端末により画像通信を行なうときは、情報端末の処理能力に応じて、できるだけ少ない情報量で、効率良く「表情」等の情報を通信することが望ましい。

本発明は、上記に鑑みてなされたものであって、携帯情報端末を用い、通信する情報量を低減し、かつ使用者の表情等の情感を高効率に伝達できるテレビ電話システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明によれば、少なくとも画像による通信を行なうテレビ電話システムであって、携帯情報端末と、前記携帯情報端末と通信を行なう他の情報端末とを含み、前記携帯情報端末は、前記携帯情報端末の使用者の顔画像のうち少なくとも特定領域を撮像する撮像部と、撮像された画像から前記特定領域の画像を抽出する抽出部と、前記抽出された画像を前記他の情報端末へ送信するための送信部とを有することを特徴とするテレビ電話システムを提供できる。

また、本発明の好ましい態様によれば、前記携帯情報端末は、さらに、所定の情報を表示する情報表示部と、前記情報表示部に表示された情報を実視野に重畳的に表示する半透過光学素子とを有することが望ましい。

また、本発明の好ましい態様によれば、前記特定領域は前記顔画像のうち眼近傍の領域であることが望ましい。

また、本発明の好ましい態様によれば、前記特定領域は前記顔画像のうち一方の眼近傍の領域であることが望ましい。

また、本発明の好ましい態様によれば、前記特定領域は前記顔画像のうち一方の眼のさらに略半分の近傍の領域であることが望ましい。

また、本発明の好ましい態様によれば、前記顔画像のうち、少なくとも２つの異なる状態の口元の画像データを格納する口画像データ格納部をさらに有し、前記口画像データ格納部は、前記携帯情報端末と前記他の情報端末とのいずれか一方に設けられていることが望ましい。

また、本発明の好ましい態様によれば、前記携帯情報端末は、さらに前記使用者の音声を検出する音声センサを有し、前記音声センサの出力に基づいて前記口画像データ格納部に格納されている口元の画像データを選択して前記他の情報端末に表示することが望ましい。

また、本発明の好ましい態様によれば、前記口元の画像データは、口が開いた状態の画像データと、口が閉じた状態の画像データとからなることが望ましい。

また、本発明の好ましい態様によれば、前記口元の画像データは、日本語についての５つの母音を発声しているときのそれぞれの口元の形状を示す画像データであることが望ましい。

また、本発明の好ましい態様によれば、前記口元の画像データは、口元の略半分の領域の画像データであることが望ましい。

また、本発明の好ましい態様によれば、前記送信部は、前記抽出された前記特定領域の画像データを、前記他の情報端末に逐次送信することが望ましい。

また、本発明の好ましい態様によれば、前記特定領域は、さらに口元の近傍を含み、
前記送信部は、眼近傍の画像データに加えて口元の画像データを前記他の情報端末へ逐次送信することが望ましい。

本発明に係るテレビ電話システムでは、携帯情報端末を用いる。そして、携帯情報端末が備える撮像部は、携帯情報端末の使用者の顔画像の全体ではなく、顔画像の一部である少なくとも特定領域を含む領域を撮像する。また、抽出部は、撮像された画像データから特定領域の部分を抽出する。「特定領域」とは、例えば、顔画像のうちの眼近傍の領域をいう。そして、送信部は、抽出された画像データを、通信相手側の装置である他の情報端末へ送信する。ここで、特定領域を除いた顔全体の画像データは、例えば、他の情報端末内に格納されている。本発明によれば、携帯情報端末、例えばシースルービュアーを用いたテレビ電話システムを提供できる。また、送信部は、使用者の顔全体の画像データのうちの一部の特定領域の画像データを送信する。このため、携帯情報端末の使用者の顔全体の画像データを常時送信する必要はない。これにより、できるだけ少ない情報量で、効率良く「表情」等の情報を通信できるという効果を奏する。

以下に、本発明に係るテレビ電話システムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本発明の実施例１に係るテレビ電話システムの概略構成を示す図である。使用者ＯＢＳは、携帯情報端末１００を用いて観察物ＯＢＪを観察する。携帯情報端末１００は、撮像部１０４と、電子情報表示部１０１と、半透過光学素子１０２とを有する。撮像部１０４として、小型カメラを用いることができる。電子情報表示部１０１として、液晶表示パネルや有機ＥＬパネルを用いることができる。また、半透過光学素子１０２は、ホログラム素子、ハーフミラーを用いることができる。これにより、携帯情報端末１００は、いわゆるシースルービュアーを構成する。

また、携帯情報端末１００は、相手側のテレビ電話２００と通信を行なう。テレビ電話２００は、他の情報端末に対応する。テレビ電話２００は、画像表示部２０１と、撮像部２０２と、音声通話部２０３とを備える。画像表示部２０１は、通信相手である使用者ＯＢＳの顔画像データを表示する。撮像部２０２は、テレビ電話２００を使用している者（不図示）の、例えば顔画像を撮像する。音声通話部２０３は、使用者ＯＢＳからの音声データの出力、及びテレビ電話２００を使用している者の音声データの入力を行なう。

図２−１、図２−２は、携帯情報端末１００の斜視図である。半透過光学素子１０２は、観察物ＯＢＪからの光を透過し、電子情報表示部１０１からの光を使用者ＯＢＳの方向へ反射する。これにより、半透過光学素子１０２は、電子情報表示部１０１に表示された所定の情報を観察物ＯＢＪの実視野に重畳的に表示する。また、携帯情報端末１００は、テン（１０）キー１３０を備えている。使用者ＯＢＳは、テンキー１３０により、数字、アルファベット、記号等を入力できる。テンキー１３０の下部には、音声センサ１０５が設けられている。音声センサ１０５は、例えばマイクロフォンである。音声センサ１０５は、使用者ＯＢＳの音声データを検出する。なお、音声センサは、破線で示す音声センサ１０５の位置に設けても良い。使用者ＯＢＳが携帯情報端末１００をシースルービュアーとして使用するときは、破線で示す音声センサ１０５を設ける。使用者ＯＢＳが携帯情報端末１００を携帯電話機として使用するときは、実線で示す音声センサ１０５を設ける。また、これら２つの音声センサ１０５を同時に設けても良い。以下、全ての実施例について同様である。

図３−１は、携帯情報端末１００を上面からみた構成を示す。図３−２は、携帯情報端末１００の断面構成を示す。図３−３は、携帯情報端末１００を底面から見た構成を示す。図３−２に示すように、使用者ＯＢＳは、半透過光学素子１０２を透過して観察物ＯＢＪを実視野で観察する。同時に、電子情報表示部１０１に表示された情報の像は、半透過光学素子１０２により使用者ＯＢＳの方向へ反射される。これにより、使用者ＯＢＳは、観察物ＯＢＪを実視野で観察しつつ、重畳して情報を認識できる。また、撮像部１０４は、使用者ＯＢＳの顔画像のうち、少なくとも特定領域を撮像する位置に設けられている。「特定領域」の詳細に関しては後述する。

図４は、本実施例に係るテレビ電話システムの機能ブロック図である。図４において、携帯情報端末１００とテレビ電話２００とは無線通信可能に構成されている。携帯情報端末１００の撮像部１０４は、使用者ＯＢＳの顔画像のうち少なくとも特定領域を撮像する。ここで、図６−１、６−２に、使用者ＯＢＳの顔画像６００の例を示す。図６−１は、使用者ＯＢＳが口を閉じて話をしていない状態、即ち音声を発していない状態を示す。また、図６−２は、使用者ＯＢＳが微笑みながら、口を開けて音声を発している状態を示す。図６−１、６−２から明らかなように、使用者ＯＢＳの表情、感情を表すとき、顔画像のうち眼近傍の画像データｅｙ１、ｅｙ２が寄与する割合が大きい。また、使用者ＯＢＳが、音声を発しているか、否かに対応して、口元の画像データｍ１、ｍ２が異なる状態となる。画像データｍ１は、口元を閉じている状態である。また、画像データｍ２は、口元を開いている状態である。顔画像のその他の部分、例えば、耳、鼻、額、顎、頭髪等の部分に関しては、使用者ＯＢＳの感情表現に寄与する割合は、眼近傍の画像データｅｙ１、ｅｙ２に比較して少ない。このため、「特定領域」として、顔画像のうち眼近傍の領域を用いる。これにより、携帯情報端末１００は、眼近傍の画像データのみをテレビ電話２００側へ逐次送信、即ちリアルタイムで送信する。この結果、通信する情報量を低減しつつ、使用者の表情等の情感を効率良く伝達できる。

図４に戻って説明を続ける。抽出部１０９は、撮像部１０４が撮像した画像データから特定領域の画像データを抽出する。例えば、撮像部１０４は、使用者ＯＢＳの眼近傍の領域をやや広めに撮像する。そして、抽出部１０９は、送信に必要な特定領域の画像データ、例えば図６−３に示すような一方の目近傍の画像データｅｙＲを抽出する。また、撮像部１０４は、当初から送信に必要な特定領域の画像データを撮像しても良い。この時、抽出部１０９は、撮像部１０４が撮像した画像データを、そのまま用いる。

また、音声センサ１０５は、上述したように、使用者ＯＢＳの音声情報を検出する。音声認識部１０６は、音声センサ１０５からの音声データの有無、または音声データの内容の認識を行なう。口画像データ格納部１０７は、使用者ＯＢＳの顔画像のうち、少なくとも２つの異なる状態の口元の画像データを格納する。本実施例では、口画像データ格納部１０７は、図６−３に示すような、口が開いた状態の画像データｍｏｐと、口を閉じた状態の画像データｍｃとを格納している。

また、基本画像データ格納部１０８には、図６−３に示すような基本画像データ６１０が予め格納されている。基本画像データ６１０は、眼近傍の画像データを除いた顔画像データである。基本画像データ６１０は、使用者ＯＢＳの顔の輪郭、頭髪部分、鼻、耳等を含んでいる固定の静止画像である。なお、本実施例では、基本画像データ６１０は、口を閉じた状態の画像データｍｃを予め含んでいるものとする。

図４に示す入出力部１０３は、後述する手順に従って、基本画像データ６１０と、抽出された眼近傍の画像データｅｙＲと、必要に応じて口画像データｍｏとをテレビ電話２００に対して送信する。テレビ電話２００の画像データ合成部２１０は、基本画像データ６１０と、眼近傍の画像データｅｙＲと、必要に応じて口画像データｍｏとを合成する。ここで、眼近傍の画像データｅｙＲは、一方の眼の画像データである。このため、画像データ合成部２１０は、画像データｅｙＲを２つ並べて表示する。このとき、顔画像の中心を軸とする線対称になるように画像データｅｙＲを表示することが望ましい。テレビ電話２００の画像表示部２０１は、使用者ＯＢＳの合成された画像データを表示する。また、音声通話部２０３は、使用者ＯＢＳの音声データを出力する。なお、基本画像データ６１０には、他方の眼の静止画像を予め含ませておいても良い。このとき、画像データ合成部２１０は、一方の眼の画像データｅｙＲのみを合成する。

次に、テレビ電話システムの送信手順について説明する。図５は、送信手順を示すフローチャートである。ステップＳ５０１において、携帯情報端末１００の電源をＯＮにする。そして、使用者ＯＢＳは、携帯情報端末１００からテレビ電話２００へ電話をかける。これにより、携帯情報端末１００とテレビ電話２００との通信が開始される。

ステップＳ５０２において、携帯情報端末１００の基本画像データ格納部１０８に格納されている基本画像データ６１０がテレビ電話２００へ送信される。基本画像データ６１０は、一度だけ送信すればよい。このため、基本画像データ６１０の送信は、逐次行なう必要はない。

ステップＳ５０３において、撮像部１０４と抽出部１０９とにより、特定領域の画像データ、例えば一方の眼近傍の画像データｅｙＲが得られる。そして、ステップＳ５０４において、入出力部１０３は、特定領域の画像データをテレビ電話２００へ送信する。

また、ステップＳ５０５において、音声センサ１０５の出力結果に基づいて音声データがあるか、否かが判断される。ステップＳ５０５の判断結果が真（Ｙｅｓ）のときは、ステップＳ５０７において、口画像データ格納部１０７に格納されている口が開いた状態の画像データｍｏが選択される。選択された画像データｍｏは、入出力部１０３を介して、テレビ電話２００へ送信される。これに対して、ステップＳ５０５の判断結果が偽（Ｎｏ）のときは、ステップＳ５０６へ進む。ステップＳ５０６において、口画像データの切替えを行なわない。

ステップＳ５０８において、音声データが有るときは、画像データ合成部２１０は、基本画像データ６１０と、一方の眼近傍の画像データｅｙＲと、口画像データｍｏとの合成を行なう。また、上述したように、基本画像データ６１０には、口を閉じた状態の画像データｍｃが予め表示されている。このため、音声データが無いときは、ステップ５０５で口画像データの切替えを行なわない。この結果、そのままの口を閉じた状態の画像データｍｃが維持される。このとき、画像データ合成部２１０は、口を閉じた状態の基本画像データ６１０に対して、一方の眼近傍の画像データｅｙＲの合成を行なう。これにより、情報携帯端末１００は、所定の静止画像である口元の画像データｍｏｐを適宜送信すれば良い。このように、口元に関する画像データは、使用者の口元の画像データをリアルタイムで撮像して送信する必要がない。この結果、通信する情報量を低減できる。また、テレビ電話２００を見ている人は、使用者ＯＢＳが口を開けている画像が表示されているとき、使用者ＯＢＳの音声を聞くことができる。従って、テレビ電話による自然な会話を行なうことができる。

ここで、撮像部１０４は、使用者ＯＢＳの眼近傍の領域を、単位時間あたり所定のコマ数でリアルタイムの撮像を行なっている。そして、入出力部１０３は、特定領域の画像である一方の眼近傍の画像データｅｙＲを逐次送信する。これにより、テレビ電話２００に対して、通信する情報量を低減して、かつ使用者ＯＢＳの表情、情感をリアルタイムに送信できる。また、本実施例では、基本画像データ６１０を通信の開始時に１回送信するだけで良い。そして、特定領域の画像、例えば、眼近傍の画像データのみを逐次送信している。この結果、低減された情報送信量で、効率良く使用者ＯＢＳの表情等を伝達できる。

なお、本実施例の携帯情報端末１００によれば、半透過光学素子１０２に重畳される情報は使用者ＯＢＳのみが見ることができる。このため、使用者ＯＢＳの周辺にいる第三者が半透過光学素子１０２に表示されている情報を認識することを防止できる。従って、携帯情報端末１００では、周囲の第三者から表示されている情報を覗かれることを低減できる。従って、情報保護の観点から使用者ＯＢＳのプライバシーを保護できる。

（変形例）
図７は、本実施例の第１の変形例のテレビ電話システムの機能ブロックを示す図である。本変形例では、テレビ電話２００が、口画像データ格納部１０７を有している点が実施例１と異なる。実施例１と同一の部分には同一の符号を付し、重複する説明は省略する。口画像データ格納部１０７がテレビ電話２００側に設けられていると、情報携帯端末１００のメモリ容量を低減できる。さらに、画像データ合成部２１０は、音声認識部１０６の認識結果に基づいて、口画像データ格納部１０７に格納されている口元の画像データｍｏを適宜選択する。このため、音声データがあるときに、携帯情報端末１００はテレビ電話２００へ口元の画像データｍｏを送信する必要がない。この結果、実施例１に比較して、さらに通信する情報量を低減できる。

図８は、本実施例の第２の変形例のテレビ電話システムの機能ブロックを示す図である。本変形例では、テレビ電話２００は、口画像データ格納部１０７に加えて、さらに、音声認識部１０６を備えている。このとき、携帯情報端末１００の入出力部１０３は、音声センサ１０５による検出結果のみをテレビ電話２００へ送信する。このため、携帯情報端末１００の構成を簡素化できる。

図９は、本発明の実施例２に係るテレビ電話システムにおける基本画像データ６１０を示す。本実施例では、撮像部１０４は、顔画像のうち両方の眼近傍を含む画像データを撮像する。抽出部１０９は、特定領域の画像データｅｙＲ、ｅｙＬを抽出する。また、口画像データ格納部１０７は、日本語についての５つの母音を発声しているときのそれぞれの口元の形状を示す画像データを格納する。画像データｍａは、使用者ＯＢＳが音声「あ」を発音するときの口元の形状を示す。画像データｍｉは、使用者ＯＢＳが音声「い」を発音するときの口元の形状を示す。画像データｍｕは、使用者ＯＢＳが音声「う」を発音するときの口元の形状を示す。画像データｍｅは、使用者ＯＢＳが音声「え」を発音するときの口元の形状を示す。画像データｍｏは、使用者ＯＢＳが音声「お」を発音するときの口元の形状を示す。

図１０は、本実施例の携帯情報端末１００の機能ブロックを示す。本実施例は、テレビ電話システム２００が基本画像データ格納部１０８を備えている点が上記実施例１と異なる。実施例１と同一の部分には同一の符号を付し、重複する説明は省略する。

携帯情報端末１００の音声センサ１０５は、使用者ＯＢＳからの音声データを検出する。音声認識部１０６は、音声データの出力に基づいて、音声データの発音内容を認識する。例えば、音声認識部１０６は、使用者ＯＢＳが発した音声データに含まれる日本語の母音を認識する。そして、口画像データ格納部１０７に格納されている異なる５つの口元の画像データｍａ、ｍｉ、ｍｕ、ｍｅ、ｍｏのうち、音声認識部１０６により認識された母音に対応するデータが選択される。日本語の母音の情報と、この母音に対応する口元の画像データとの対応関係は予めテーブル（不図示）に格納されている。例えば、音声認識部１０６が、音声データに基づいて、母音「あ」を認識したときは、口元の画像データｍａが選択される。入出力部１０３は、選択された口元の画像データｍａをテレビ電話２００へ送信する。

本実施例では、テレビ電話２００が基本画像データ格納部１０８を備えている。基本画像データ格納部１０８には、実施例１で説明したような顔全体の画像データ６１０が予め格納されている。これにより、基本画像データ６１０をテレビ電話２００へ送信する必要がない。従って、本実施例では、通信する情報量をさらに低減できる。また、実施例１では、２種類の口元の画像データｍｏｐ、ｍｃを用いている。これに対して、本実施例では、５種類の口元の画像データｍａ、ｍｉ、ｍｕ、ｍｅ、ｍｏを用いる。従って、本実施例では、さらに使用者ＯＢＳの表情等の情感を正確に表現できる。

（変形例）
図１１は、本実施例の第１の変形例のテレビ電話システムの機能ブロックを示す図である。本変形例では、テレビ電話２００が、口画像データ格納部１０７を有している点が実施例２と異なる。実施例１と同一の部分には同一の符号を付し、重複する説明は省略する。口画像データ格納部１０７がテレビ電話２００側に設けられていると、情報携帯端末１００のメモリ容量を低減できる。さらに、画像データ合成部２１０は、音声認識部１０６の認識結果に基づいて、口画像データ格納部１０７に格納されている口元の画像データｍａ、ｍｉ、ｍｕ、ｍｅ、ｍｏを適宜選択する。このため、音声データがあるときに、携帯情報端末１００はテレビ電話２００へ口元の画像データｍａ、ｍｉ、ｍｕ、ｍｅ、ｍｏのいずれか一つを送信する必要がない。この結果、実施例２に比較して、さらに通信する情報量を低減できる。なお、口元の画像データは、日本語の５つの母音に限られず、基本音声とすることができるものであれば良い。さらに、５つの母音に加えて、さらに子音に対応する口元の画像データを用いることもできる。

図１２は、本実施例の第２の変形例のテレビ電話システムの機能ブロックを示す図である。本変形例では、テレビ電話２００は、口画像データ格納部１０７に加えて、さらに、音声認識部１０６を備えている。このとき、携帯情報端末１００の入出力部１０３は、音声センサ１０５による検出結果のみをテレビ電話２００へ送信する。このため、携帯情報端末１００の構成を簡素化できる。

図１３は、本発明の実施例３に係るテレビ電話システムにおける基本画像データ６１０を示す。本実施例では、撮像部１０４は、顔画像のうち一方の眼のさらに半分の領域近傍を含む画像データを撮像する。このとき、抽出部１０９は、画像データｅｙＲの半分の領域を抽出する。例えば、抽出部１０９は、一方の眼近傍の画像データのうち図１３で斜線を付した半分の領域は用いずに、残りの半分の画像データｅｙＲを抽出する。

また、本実施例では、眼近傍の画像データに加え、口元の画像データもリアルタイムに送信する構成である。図１４−１、１４−２は、本実施例に係る携帯情報端末４００の斜視構成を示す。本実施例の携帯情報端末４００の機能ブロックは、例えば図４に示すような実施例１の機能ブロックと同一である。実施例１と異なり、撮像部１０４が、半透過光学素子１０２の端部近傍に設けられている。これにより、撮像部１０４は、使用者ＯＢＳの顔画像のより広い領域を撮像できる。撮像部１０４は、使用者ＯＢＳの眼近傍と口元とを含んだ領域を撮像する。そして、抽出部１０９は、眼近傍の画像データに加えて、口元の画像データを抽出する。入出力部１０３は、一方の眼のさらに半分の領域の画像データｅｙＲと、口元の画像データｍｒとを逐次、リアルタイムに送信する。なお、本実施例では、撮像部１０４が撮像した口元の画像データｍｒを、そのまま送信している。このため、図４で示したような、音声認識部１０６、口画像データ格納部１０７等は不要である。

画像データ合成部２１０は、基本画像データ６１０に対して、眼近傍の画像データｅｙＲを合成する。ここで、画像データｅｙＲは、一方の眼の半分の領域の画像データである。このため、２つの画像データｅｙＲを合成して一方の眼近傍の画像データを作成する。さらに、実施例１と同様に、顔画像の中心を軸とする線対称になるように画像データｅｙＲを表示する。また、画像データ構成部２１０は、逐次送信されてくる口元の画像データｍｒも基本画像データ６１０に合成する。これにより、通信する情報量を低減し、かつテレビ電話２００側に使用者ＯＢＳの表情等の情感をさらに正確に伝達できる。

さらに、本実施例において、口元の画像データｍｒの半分の領域を送信する構成でも良い。図１３において、口元の画像データｍｒｈは、口元の画像データｍｒのうち斜線を付した領域を用いない例を示す。このとき、画像データ合成部２１０は、口元の画像データｍｒｈを２つ分合成して、一つの口元の画像データを作成する。これによれば、一つの口元の画像データｍｒをリアルタイムで送信するときに比較して、略半分の通信情報量とすることができる。

（変形例）
図１５−１、１５−２は、実施例３の変形例に係る携帯情報端末４００の斜視構成を示す。実施例３と異なり、撮像部１０４は、半透過光学素子１０２により反射する使用者ＯＢＳの顔画像を撮像できる位置に設けられている。これにより、撮像部１０４は、使用者ＯＢＳの顔画像のより広い領域を撮像できる。

以上説明した実施例１、実施例２、実施例３では、携帯情報端末とテレビ電話との間で通信する例を説明している。しかしながら、本発明はこれに限られない。例えば、図１６に示すように、携帯情報端末１００と、テレビ電話２００との間にサーバーコンピュータ５００を設ける構成でも良い。そして、上述した音声認識部１０６、口画像データ格納部１０７、抽出部１０９、画像データ合成部２１０、基本画像データ格納部１０８の機能を適宜サーバーコンピュータ５００が備える。これにより、携帯情報端末１００、テレビ電話２００の構成を簡素化できる。また、携帯情報端末１００側で画像データ合成を行なうこともできる。

また、特定領域は眼近傍の画像データに限られない。使用者ＯＢＳの表情等を効率良く伝達できる部分であれば顔画像のどこの領域でも良い。例えば、眼近傍に領域に加えて、眉近傍の領域でも良い。さらに、顔画像のうち、感情表現に従って変化した領域部分の画像データを送信する構成とすることもできる。

また、携帯情報端末とテレビ電話との通信形態は、ＰＨＳ回線、携帯電話回線、有線ＬＡＮ、無線ＬＡＮ、赤外線通信等のデータ転送を行なえるものであれば良い。さらに、上記各実施例では、使用者が携帯情報端末を手で把持して使用する例を説明している。しかしながら、本発明は、携帯情報端末に限られず、例えば公知のヘッドマウントディスプレイに上述した携帯情報端末の機能を持たせても良い。このように、本発明は、その趣旨を逸脱しない範囲で、適宜変形が可能である。

以上のように、本発明に係るテレビ電話システムは、携帯情報端末を用い、通信する情報量を低減し、かつ使用者の表情等の情感を高効率に伝達できるシステムに適している。

実施例１に係るテレビ電話システムの概略構成を示す図である。 実施例１の携帯情報端末の斜視構成を示す図である。 実施例１の携帯情報端末の斜視構成を示す他の図である。 携帯情報端末の上面図である。 携帯情報端末の断面図である。 携帯情報端末の底面図である。 実施例１のテレビ電話システムの機能ブロック図である。 実施例１において情報を表示する手順を示すフローチャートである。 使用者の顔画像を示す図である。 使用者の顔画像を示す他の図である。 基本画像データ等を示す図である。 実施例１の第１の変形例のテレビ電話システムの機能ブロック図である。 実施例１の第２の変形例のテレビ電話システムの機能ブロック図である。 実施例２における基本画像データ等を示す図である。 実施例２のテレビ電話システムの機能ブロック図である。 実施例２の第１の変形例のテレビ電話システムの機能ブロック図である。 実施例２の第２の変形例のテレビ電話システムの機能ブロック図である。 実施例２における基本画像データ等を示す図である。 実施例３の携帯情報端末の斜視構成を示す図である。 実施例３の携帯情報端末の斜視構成を示す他の図である。 実施例３の変形例の携帯情報端末の斜視構成を示す図である。 実施例３の変形例の携帯情報端末の斜視構成を示す他の図である。 変形例に係るテレビ電話システムの概略構成を示す図である。

符号の説明

１０１ 電子情報表示部
１０２ 半透過光学素子
１０３ 入出力部
１０４ 撮像部
１０５ 音声センサ
１０６ 音声認識部
１０７ 口画像データ格納部
１０８ 基本画像データ格納部
１０９ 抽出部
２００ テレビ電話
２０１ 画像表示部
２０２ 撮像部
２０３ 音声通話部
２１０ 画像データ合成部
３００ 携帯情報端末
４００ 携帯情報端末
５００ サーバーコンピュータ
６００ 顔画像
６１０ 基本画像データ
ＯＢＳ 使用者
ＯＢＪ 観察物

Claims (12)

1. 少なくとも画像による通信を行なうテレビ電話システムであって、
   携帯情報端末と、
   前記携帯情報端末と通信を行なう他の情報端末とを含み、
   前記携帯情報端末は、
   前記携帯情報端末の使用者の顔画像のうち少なくとも特定領域を撮像する撮像部と、
   撮像された画像から前記特定領域の画像を抽出する抽出部と、
   前記抽出された画像を前記他の情報端末へ送信するための送信部とを有することを特徴とするテレビ電話システム。
2. 前記携帯情報端末は、さらに、
   所定の情報を表示する電子情報表示部と、
   前記情報表示部に表示された情報を実視野に重畳的に表示する半透過光学素子とを有することを特徴とする請求項１に記載のテレビ電話システム。
3. 前記特定領域は前記顔画像のうち眼近傍の領域であることを特徴とする請求項１乃至請求項２に記載のテレビ電話システム。
4. 前記特定領域は前記顔画像のうち一方の眼近傍の領域であることを特徴とする請求項１乃至請求項３のいずれか１項に記載のテレビ電話システム。
5. 前記特定領域は前記顔画像のうち一方の眼のさらに略半分の近傍の領域であることを特徴とする請求項４に記載のテレビ電話システム。
6. 前記顔画像のうち、少なくとも２つの異なる状態の口元の画像データを格納する口画像データ格納部をさらに有し、
   前記口画像データ格納部は、前記携帯情報端末と前記他の情報端末とのいずれか一方に設けられていることを特徴とする請求項１乃至請求項５のいずれか１項に記載のテレビ電話システム。
7. 前記携帯情報端末は、さらに前記使用者の音声を検出する音声センサを有し、
   前記音声センサの出力に基づいて前記口画像データ格納部に格納されている口元の画像データを選択して前記他の情報端末に表示することを特徴とする請求項６に記載のテレビ電話システム。
8. 前記口元の画像データは、口が開いた状態の画像データと、口が閉じた状態の画像データとからなることを特徴とする請求項７に記載のテレビ電話システム。
9. 前記口元の画像データは、日本語についての５つの母音を発声しているときのそれぞれの口元の形状を示す画像データであることを特徴とする請求項７に記載のテレビ電話システム。
10. 前記口元の画像データは、口元の略半分の領域の画像データであることを特徴とする請求項７に記載のテレビ電話システム。
11. 前記送信部は、前記抽出された前記特定領域の画像データを、前記他の情報端末に逐次送信することを特徴とする請求項１乃至請求項１０のいずれか１項に記載のテレビ電話システム。
12. 前記特定領域は、さらに口元の近傍を含み、
    前記送信部は、眼近傍の画像データに加えて口元の画像データを前記他の情報端末へ逐次送信することを特徴とする請求項３に記載のテレビ電話システム。
    
    

Images