JP2005323340A - 通信端末及び通信方法 - Google Patents

Abstract

【課題】自端末が要求するレベルの機能を通信相手端末に実行させる。
【解決手段】通信機能を有し、テレビ電話装置２が搭載する機能と共通の機能を搭載するテレビ電話装置１であって、テレビ電話装置１が搭載する機能を実行させる為のデータ及びテレビ電話装置２が搭載する機能を実行させる為のデータを生成する表示画像生成部１３Ａと、テレビ電話装置２が搭載する機能を実行させる為のデータを送信するデータ送信部１１Ａと、を備える。
【選択図】 図１

Description

本発明は、通信機能を有し、通信相手端末が搭載する機能と共通の機能を搭載する通信端末及びその通信方法に関する。

従来、ユーザを撮影した映像に代わってアバターと呼ばれるキャラクタを通信相手端末に送る機能を持たせたテレビ電話装置が開発されている（例えば、特許文献１参照）。

特開２００３−１０９０３６号公報（第３頁、第４頁、第２図）

しかしながら、従来のテレビ電話装置においては、全てのテレビ電話装置が同一の処理能力を有しているとは限らず、処理能力に差のあるテレビ電話装置同士間で通信を行う場合には、処理能力の低いテレビ電話装置に合わせることになり、これらのテレビ電話装置間で処理がスムーズにいかないという問題がある。

本発明は、上記事情に鑑みてなされたものであり、自端末が要求するレベルの機能を通信相手端末に実行させることができる通信端末及び通信方法を提供することを目的とする。

本発明の通信端末は、通信機能を有し、通信相手端末が搭載する機能と共通の機能を搭載する通信端末であって、自端末が搭載する機能を実行させる為のデータ及び通信相手端末が搭載する機能を実行させる為のデータを生成するデータ生成手段と、前記通信相手端末が搭載する機能を実行させる為のデータを送信する送信手段と、を備える。

上記構成によれば、自端末が搭載する機能を実行させる為のデータ及び通信相手端末が搭載する機能を実行させる為のデータを生成するデータ生成手段を備えることにより、通信相手端末の端末能力が自端末より低い場合であっても、自端末が要求するレベルの機能を通信相手端末に実行させることができる。

また、本発明の通信端末は、テレビ電話機能を有し、入力されたデータを解析する入力データ解析手段と、解析結果に基づいて、自端末側のデータと通信相手端末側のデータとを整合させたデータを前記生成手段に出力するデータ整合手段と、を有する。また、本発明の通信端末は、入力されたデータとして、画像データ、音声データ及びキー入力データから選択した少なくとも１つのデータを前記入力データ解析手段へ入力する入力手段を備える。上記構成によれば、入力されたデータを解析する入力データ解析手段を備えることにより、入力されたデータを反映したデータを生成できる。

さらに、本発明の通信方法は、通信機能を有し、通信相手端末が搭載する機能と共通の機能を搭載する通信端末の通信方法であって、自端末が搭載する機能を実行させる為のデータ及び通信相手端末が搭載する機能を実行させる為のデータを生成し、前記通信相手端末が搭載する機能を実行させる為のデータを送信する。

本発明によれば、自端末が搭載する機能を実行させる為のデータ及び通信相手端末が搭載する機能を実行させる為のデータを生成することにより、通信相手端末の端末能力が自端末より低い場合であっても、自端末が要求するレベルの機能を通信相手端末に実行させることができる。

（実施の形態１）
図１は、本発明の実施の形態１を説明するためのテレビ電話システムの概略構成図である。図1に示すテレビ電話システムは、通信機能を有し、通信相手端末が搭載する機能と共通の機能を搭載し、互いに端末能力が異なるテレビ電話装置１及び２を備えており、ネットワーク３を介して互いに通信可能に構成されている。テレビ電話装置１とテレビ電話装置２との間の通信には例えばＩＰ（インターネットプロトコル）が用いられる。本実施の形態では、テレビ電話装置１の端末能力がテレビ電話装置２の端末能力よりも高い場合について説明する。なお、テレビ電話装置１は、テレビ電話装置２と共通に用いられるキャラクタ（アバターと呼ばれるユーザの分身として使用されるキャラクタ）を生成する機能を有し、テレビ電話装置２との通話中にユーザの顔画像の代りにキャラクタを表示するものとする。以下、テレビ電話装置１とテレビ電話装置２に共通する部分には同一の数字を付し、さらにテレビ電話装置１とテレビ電話装置２を区別するために、テレビ電話装置１には「Ａ」を、テレビ電話装置２には「Ｂ」を付加することとする。

テレビ電話装置１及び２は、入力データ部１０Ａ、１０Ｂ、データ送信部１１Ａ、１１Ｂ、データ受信部１２Ａ、１２Ｂ、表示画像生成部１３Ａ、１３Ｂ、テレビ電話表示部１４Ａ、１４Ｂを共通して有する。テレビ電話装置１は、更にキャラクタデータ格納部１５、表情・感情解析部１６、動作データ生成部１７、動作整合部１８を有している。テレビ電話装置１の表示画像生成部１３Ａは、テレビ電話装置１（自端末）が搭載する機能を実行させる為のデータ及びテレビ電話装置２（通信相手端末）が搭載する機能を実行させる為のデータを生成し、データ送信部１１Ａは、テレビ電話装置２が搭載する機能を実行させる為のデータを送信する。また、テレビ電話装置１の表情・感情解析部１６は、入力されたデータを解析し、動作データ生成部１７は、解析結果に基づいて、テレビ電話装置１側のデータとテレビ電話装置２側のデータとを整合させたデータを表示画像生成部１３Ａに出力する。また、テレビ電話装置１の入力データ部１０Ａは、入力されたデータとして、画像データ、音声データ及びキー入力データから選択した少なくとも１つのデータを表情・感情解析部１６へ入力する。

入力データ部１０Ａ及び１０Ｂは、カメラ、マイク、キー入力部（いずれも図示略）など各種入力手段と接続され、ユーザの表情、感情、動作を表す情報（ユーザ情報）の取得に使用される。テレビ電話装置２の入力データ部１０Ｂは、入力されたデータとして、画像データ、音声データ及びキー入力データから選択した少なくとも１つのデータを、データ送信部１１Ｂ及びデータ受信部１２Ａを介して、表情・感情解析部１６へ入力する。データ送信部１１Ａは、テレビ電話装置２に表示させる画像データを送信する。データ送信部１１Ｂは、テレビ電話装置２のユーザの表情や感情を表す情報をテレビ電話装置１に送信する。データ受信部１２Ａは、テレビ電話装置２から送信されるテレビ電話装置２のユーザの表情や感情を表す情報を受信する。データ受信部１２Ｂは、テレビ電話装置１から送信される画像データを受信する。

表示画像生成部１３Ａは、入力データ部１０Ａからの入力データ及び入力データ部１０Ｂからの入力データに基づいて、テレビ電話表示部１４Ａに表示させる画像及びテレビ電話表示部１４Ｂに表示させる画像を生成する。また、表示画像生成部１３Ａは、生成した、テレビ電話表示部１４Ｂに表示させる画像データをデータ送信部１１Ａに渡す。

表示画像生成部１３Ｂは、データ受信部１２Ｂを介して取得した、表示画像生成部１３Ａで生成された画像データから表示画像を生成する。なお、表示画像生成部１３Ｂは、取得した画像データを加工せずにテレビ電話表示部１４Ｂにそのまま表示させてもよい。テレビ電話表示部１４Ａは、液晶ディスプレイを有し、表示画像生成部１３Ａで生成された画像を表示する。テレビ電話表示部１４Ｂは、液晶ディスプレイを有し、表示画像生成部１３Ｂで生成された画像を表示する。キャラクタデータ格納部１５には、キャラクタ画像を作成するためのデータが格納されている。キャラクタデータは、テレビ電話装置１及び２にキャラクタを表示するための画像データであり、動作データ生成部１７で生成される動作データに対応して複数個用意されている。なお、本実施の形態では２種類のキャラクタを表示可能としている。

表情・感情解析部１６は、入力データ部１０Ａからの映像データ、音声データ又はキー入力データを基にテレビ電話装置１のユーザの表情、感情を解析する。また、表情・感情解析部１６は、テレビ電話装置２からの映像データ、音声データ又はキー入力データを基にテレビ電話装置２のユーザの表情、感情を解析する。表情・感情解析部１６は、ユーザの顔画像が入力されている場合に顔画像を解析し、笑っている、怒っている等の表情や感情を検知する。

表情・感情を検知する方法としては、例えば周期的に取得する映像入力データから、顔認識処理を行い、検出した眉・目・口等の各顔部位の特徴点座標の平均値を求め、平均表情特徴点座標とする。そして、今回取得した映像入力データによって顔認識処理を行った眉・目・口等の各顔部位の特徴点座標と平均表情特徴点座標とを比較し、各顔部位の変化が特定の条件を満たした場合、「笑う」・「驚く」・「悲しむ」等の表情・感情を検知する。図２は、「笑う」・「驚く」・「悲しむ」の場合の顔認識処理を模式的に示した図である。この図において、”□”は顔認識処理による検出点を示し、眉・目・口それぞれに複数個設定される。図２（ａ）は、フレーム毎の顔認識処理による平均表情特徴点座標を示している。図２（ｂ）は「笑う」の場合の表情特徴点座標、図２（ｃ）は「驚く」の場合の表情特徴点座標、図２（ｄ）は「悲しむ」の場合の表情特徴点座標をそれぞれ示している。

「笑う」の場合は、眉両端が上方向に閾値Ｗ３以上変化し、目下端が上方向に閾値Ｗ２以上変化し、口両端が上方向に閾値Ｗ１以上変化するという３つの条件全て満たす。「驚く」の場合は、眉両端が上方向に閾値Ｏ１以上変化し、目上下幅が閾値Ｏ２以上増加し、口上下幅が閾値Ｏ１以上増加するという３つの条件を全て満たす。「悲しむ」の場合は、眉両端が下方向に閾値Ｎ１以上変化し、目上下幅が閾値Ｎ２以上減少し、口両端が下方向に閾値Ｎ３以上変化するという３つの条件を全て満たす。

また、表情・感情解析部１６は、一定時間の顔の動きを検出することにより、「首を振る」・「頷く」等の動作を検知する。図３は、「首を振る」・「頷く」の場合の顔認識処理を模式的に示した図である。この図において、上記同様に、”□”は顔認識処理による検出点を示し、眉・目・口それぞれに複数個設定される。図３（ａ）は「首を振る」の場合の表情特徴点座標の変化、図３（ｂ）は「頷く」の場合の表情特徴点座標の変化をそれぞれ示している。「首を振る」の場合は、表情特徴点座標が顔中心より横方向に閾値Ｋ１以上変化、顔中心より反対方向に閾値Ｋ２以上変化するという２つの条件を満たす。「頷く」の場合は、表情特徴点座標が顔中心より下方向に閾値Ｕ１以上変化、顔中心より上方向に閾値Ｕ２以上変化するという２つの条件を満たす。

また、表情・感情解析部１６は、キー入力データを解析し、各キーに対応付けられた表情・感情を検知する。ここで、キー操作部（図示略）の各キーには様々な表情、感情が対応付けされており、ユーザが通話中に自分の表情、感情に合致するキーを操作（押下）することで、表情・感情解析部１６は、表情・感情を検知し、表情・感情に対応する動作を決定する。例えば「怒る」という表情・感情が「１」のキーに対応付けられており、ユーザが当該キーを押下することで「怒る」という動作が確定される。また、「笑う」という表情・感情が「２」のキーに対応付けられており、ユーザが当該キーを押下することで「笑う」が確定される。また、「驚く」という表情・感情が「３」のキーに対応付けられており、ユーザが当該キーを押下することで「驚く」が確定される。また、「怯える」という表情・感情が「４」のキーに対応付けられており、ユーザが当該キーを押下することで「怯える」が確定される。

また、「手を上げる」という動作が「５」のキーに対応付けられており、ユーザが当該キーを押下することで、「手を上げる」という動作が確定される。また、「突き飛ばす」という動作が「６」のキーに対応付けられており、ユーザが当該キーを押下することで、「突き飛ばす」という動作が確定される。また、「攻撃する」という動作が「７」のキーに対応付けられており、ユーザが当該キーを押下することで、「攻撃する」という動作が確定される。また、「手をつなぐ」という動作が「８」のキーに対応付けられており、ユーザが当該キーを押下することで、「手をつなぐ」という動作が確定される。また、「抱きつく」という動作が「９」のキーに対応付けられており、ユーザが当該キーを押下することで、「抱きつく」という動作が確定される。

上述した顔認識処理により検知した表情・感情から、表情・感情変換処理により単独動作テーブルまたは相互動作テーブルに対応づけられ、キャラクタの「笑う」、「驚く」、「悲しむ」、「首を振る」、「頷く」、「手をつなぐ」「抱きつく」という動作が確定される。

また、表情・感情解析部１６は、音声データを解析してユーザが大声を出した等の感情を検知する。感情を検知する方法としては、例えば音声入力データのリズムが速くなり、音が大きくなった場合「笑う」、リズムがそのままで、音が大きくなった場合「驚く」、リズムが遅く、音が小さくなった場合「悲しむ」といったようにリズム・音の大小の変化からユーザの感情を検知する。検知した感情から、表情・感情変換処理により単独動作テーブルまたは相互動作テーブルに対応づけられ、キャラクタの「笑う」「驚く」、「悲しむ」、「手をつなぐ」「抱きつく」という動作が確定される。

このように、表情・感情解析部１４は、映像データ、音声データ、キー入力データを基にユーザの表情、感情を解析する。そして、解析した結果を動作データ生成部１７に入力する。なお、映像データ、音声データ、キー入力データの全てを必要とすることはなく、そのうちの１つでも構わない。

図４は、動作データ生成部１７及び動作整合部１８が使用する動作テーブルの一例を示す図である。動作データ生成部１７は、表情・感情解析部１６の解析結果に基づいて、図４に示すテーブルを参照して、テレビ電話装置１のユーザとテレビ電話装置２のユーザそれぞれの表情、感情に応じた動作データを生成する。図４（ａ）はテレビ電話装置１側の単独動作テーブルＴＡであり、キャラクタＣａ単独の動作データの集合を示す。図４（ｂ）はテレビ電話装置２側の単独動作テーブルＴＢであり、キャラクタＣｂ単独の動作データの集合を示す。図４（ｃ）はテレビ電話装置１及び２の相互動作テーブルＴＣであり、相手のキャラクタＣａ又はＣｂに影響を与える動作データの集合を示す。

動作データ生成部１７は、テレビ電話装置１の入力データＩＡが単独動作を示す場合は単独動作テーブルＴＡから動作データＤＡを生成し、テレビ電話装置２の入力データＩＢが単独動作を示す場合は単独動作テーブルＴＢから動作データＤＢを生成し、テレビ電話装置１の入力データＩＡが相互動作を示す場合は相互動作テーブルＴＣから動作データＤＡを生成し、テレビ電話装置２の入力データＩＢが相互動作を示す場合は相互動作テーブルＴＣから動作データＤＢを生成する。

ここで、一例として、テレビ電話装置１において、入力データＩＡとして映像データが入力された場合の映像データと動作データＤＡとの関係を図５に示す。この場合、テレビ電話装置１の動作であるので、図５（ａ）（図４（ａ））の単独動作テーブルＴＡと図５（ｃ）（図４（ｃ））の相互動作テーブルＴＣが使用される。また、図５（ｄ）は、表情・感情解析部１６が使用する表情・感情解析テーブルの一例を示す図である。この表情・感情解析テーブルには、表情・感情解析部１６が解析した結果が一時的に保持される。

（１）テレビ電話装置１の入力データＩＡが「笑う」という感情を示す映像データである場合、「笑う」という動作データＤＡが生成される。
（２）テレビ電話装置１の入力データＩＡが「悲しむ」という感情を示す映像データである場合、「泣く」という動作データＤＡが生成される。
（３）テレビ電話装置１の入力データＩＡが「驚く」という感情を示す映像データである場合、「驚く」という動作データＤＡが生成される。
（４）テレビ電話装置１の入力データＩＡが「怒り」という動作を示す映像データである場合、「攻撃する」という動作データＤＡが生成される。
（５）テレビ電話装置１の入力データＩＡが「首を振る」という動作を示す映像データである場合、「突き飛ばす」という動作データＤＡが生成される。
（６）テレビ電話装置１の入力データＩＡが「頷く」という動作を示す映像データである場合、「手をつなぐ」という動作データＤＡが生成される。

また、テレビ電話装置１において、入力データＩＡとして音声データが入力された場合の音声データと動作データＤＡとの関係を図６に示す。この場合もテレビ電話装置１の動作であるので、図６（ａ）（図４（ａ））の単独動作テーブルＴＡと図６（ｃ）（図４（ｃ））の相互動作テーブルＴＣが使用される。

（１）テレビ電話装置１の入力データＩＡが「笑う」という感情を示す音声データである場合、「笑う」という動作データＤＡが生成される。
（２）テレビ電話装置１の入力データＩＡが「悲しむ」という感情を示す音声データである場合、「泣く」という動作データＤＡが生成される。
（３）テレビ電話装置１の入力データＩＡが「驚く」という感情を示す音声データである場合、「驚く」という動作データＤＡが生成される。
（４）テレビ電話装置１の入力データＩＡが「怒る」という感情を示す音声データである場合、「攻撃する」という動作データＤＡが生成される。
（５）テレビ電話装置１の入力データＩＡが「大声を出す」という感情を示す音声データである場合、「突き飛ばす」という動作データＤＡが生成される。
（６）テレビ電話装置１の入力データＩＡが「無言」という感情を示す音声データである場合、「怯える」という動作データＤＡが生成される。

上記の例は、テレビ電話装置１についてあったが、テレビ電話装置２においても、入力データＩＢが映像、音声を問わず同様である。つまり、テレビ電話装置１の入力データＩＡが入力データＩＢに置き換わり、動作データＤＡが動作データＤＢに置き換わる。また、当然ながらテレビ電話装置２の場合は、図４（ｂ）の単独動作テーブルＴＢと図４（ｃ）相互動作テーブルＴＣが使用される。

動作データ生成部１７は、上述のようにして生成した動作データＤＡ、ＤＢを表示画像生成部１３Ａと動作整合部１８それぞれに入力する。動作整合部１８は、動作データＤＡ及びＤＢの整合をとるものであり、以下のように動作データＤＡ、ＤＢの整合を行う。
（１）動作データＤＡ、動作データＤＢが共に単独動作のデータの場合、そのまま動作データＤＡと動作データＤＢを出力する（例：キャラクタＣａが「笑い」、キャラクタＣｂが「泣く」）

図７は、動作整合部の動作概要を示す図であり、（２）に示す場合の動作整合部１８の動作概要を示す。
（２）動作データＤＡが単独動作のデータで、動作データＤＢが相互動作のデータの場合は、動作データＤＢを優先させる。動作データＤＢは相互動作テーブルＴＣ内の主動作データを出力し、動作データＤＡは相互動作テーブルＴＣ内の主動作データに対応した受動作データを出力する（例：キャラクタＣｂが「突き飛ばす」と、キャラクタＣａが「吹き飛ぶ」）。図７に示すように、動作整合される前は動作データＤＡが「笑う」、動作データＤＢが「突き飛ばす」であり、相互動作である動作データＤＢが優先されることから、「笑う」の動作データＤＡは「吹き飛ぶ」の動作データＤＡ´になる。
（３）動作データＤＡが相互動作のデータで、動作データＤＢが単独動作のデータの場合、（２）の場合と同様である（例：キャラクタＣａが「突き飛ばす」と、キャラクタＣｂが「吹き飛ぶ」）
（４）動作データＤＡ、動作データＤＢが共に相互動作のデータである場合、例えば時間的に早く取得された方を優先し、上位側の相互動作の動作データを出力する（例：動作データＤＡが優先された場合、キャラクタＣａが「攻撃する」と、キャラクタＣｂが「倒れる」）

動作データ生成部１７は、表情・感情解析部１６からの入力データが無い（映像データ、音声データ、キー入力データのいずれも入力されない）ときには、図５及び図６に示すように、単独動作テーブルＴＡ、ＴＢの「デフォルト動作」の動作データを生成する。

表示画像生成部１３Ａは、動作データ生成部１７で生成された動作データＤＡ又は動作データＤＡを動作整合部１８で整合させた動作データＤＡ´に対応するキャラクタデータをキャラクタデータ格納部１５から取得し、テレビ電話表示部１４Ａに画像を表示させる。また、動作データ生成部１７で生成されたテレビ電話装置２用の動作データＤＢ又は動作データＤＢを動作整合部１８で整合させた動作データＤＢ´に対応するキャラクタデータをキャラクタデータ格納部１５から取得し、データ送信部１１Ａからテレビ電話装置２に送信する。

テレビ電話表示部１４Ａには、例えば「突き飛ばす」という相互動作の動作データＤＡと、「笑う」、「泣く」、「驚く」又は「怯える」という単独動作の動作データＤＢとが生成された場合、動作データＤＡによる表示即ち図１に示すように、テレビ電話装置１のキャラクタＣａがテレビ電話装置２のキャラクタＣｂを突き飛ばしているキャラクタ画像が表示され、他方のテレビ電話表示部１４Ｂには、整合された動作データＤＢ´による表示即ち図１に示すようにテレビ電話装置２のキャラクタＣｂがテレビ電話装置１のキャラクタＣａによって突き飛ばされているキャラクタ画像が表示される。

なお、図１のテレビ電話表示部１４Ａとテレビ電話表示部１４Ｂに表示されるキャラクタ画像は、動作データＤＢが相互動作の動作データで、かつその発生タイミングが動作データＤＡより後である場合も同様になる。但し、時間の前後で優先を決定しない場合はこの限りではない。

図８は、テレビ電話装置１の動作を示すフローチャートである。まず、テレビ電話装置１は、テレビ電話装置２との間で通話を開始する（ＳＴ１０）。テレビ電話装置２と通話を開始すると、入力データ部１０Ａから入力データＩＡを取得する（ＳＴ１１）。すなわち、映像データ、音声データ、キー入力データの少なくとも１つを取得する。次いで、取得した入力データＩＡからテレビ電話装置１のユーザの表情、感情を解析する（ＳＴ１２）。例えば、テレビ電話装置１のユーザの笑い顔を撮影すると、「笑う」という解析結果を得る。

入力データＩＡから表情、感情を解析した後、テレビ電話装置２からの入力データＩＢの受信を開始する（ＳＴ１３）。テレビ電話装置２から送信された入力データＩＢを受信すると、入力データＩＢからテレビ電話装置２のユーザの表情、感情を解析する（ＳＴ１４）。例えば、テレビ電話装置２のユーザの泣いた顔を取り込んだとすると、「泣く」という解析結果を得る。入力データＩＡの解析結果から動作データＤＡを生成し（ＳＴ１５）、続けて入力データＩＢの解析結果から動作データＤＢを生成する（ＳＴ１６）。

動作データＤＡ及びＤＢを生成した後、これらのうち１つでも相互動作であれば、整合を行う（ＳＴ１７）。２つとも相互動作であれば、時間的に先に発生した入力データによる動作データが主動作となるように整合を行う。動作データＤＡ及びＤＢの整合を行った後、テレビ電話表示部１４Ａ及び１４Ｂに表示するキャラクタの表示画像を生成する（ＳＴ１８）。そして、テレビ電話装置２用のキャラクタの表示画像データをテレビ電話装置２に送信する（ＳＴ１９）。テレビ電話装置２にキャラクタの表示画像データを送信した後、テレビ電話装置１用のキャラクタの表示画像をテレビ電話表示部１４Ａに表示する（ＳＴ２０）。通話中は（ＳＴ２１のＮｏの場合）、上記ＳＴ１１からＳＴ２０までの処理を繰り返し行い、通話が終了すると（ＳＴ２１のＹｅｓの場合）、処理を終了する。

図９は、動作整合部１８の動作を示すフローチャートである。まず、動作整合部１８は、動作データＤＡの入力を受け（ＳＴ２０）、動作データＤＡの有無を判定する（ＳＴ２１）。動作データＤＡが無い場合（ＳＴ２１の「無し」）は動作データＤＡをデフォルトの動作データＤＡに変更する（ＳＴ２２）。これに対して、動作データＤＡが有る場合（ＳＴ２１の「有り」の場合）は動作データＤＢの入力を受け（ＳＴ２３）、動作データＤＢの有無を判定する（ＳＴ２４）。動作データＤＢが無い場合（ＳＴ２４の「無し」の場合）は、動作データＤＢをデフォルトの動作データＤＢに変更する（ＳＴ２５）。

これに対して、動作データＤＢが有る場合（ＳＴ２１４「有り」の場合）は、動作データＤＡ、ＤＢの組み合わせ優先順位を決定する（ＳＴ２６）。この場合、単独動作と相互動作の場合は相互動作の方が優先され、相互動作同士の場合は例えば入力データが取得された時間の早い方が選択される。動作データＤＡ、ＤＢの組み合わせ優先順位を決定した後、その優先順位に従って動作データＤＡ、ＤＢを変更する（ＳＴ２７）。すなわち、上述したように、動作データＤＡが「笑う」、動作データＤＢが「突き飛ばす」の場合、相互動作である動作データＤＢが優先され、これによって「笑う」の動作データＤＡが「吹き飛ぶ」の動作データＤＡ´に変更される。動作データＤＡ、ＤＢの変更後、これらを出力する（ＳＴ２８）。

図１０は、テレビ電話装置２の動作を示すフローチャートである。まず、テレビ電話装置２は、テレビ電話装置１との間で通話を開始する（ＳＴ４０）。テレビ電話装置１と通話を開始すると、入力データ部１０Ｂから入力データＩＢを取得する（ＳＴ４１）。すなわち、映像データ、音声データ、キー入力データの少なくとも１つを取得する。次いで、取得した入力データＩＢをテレビ電話装置１に送信する（ＳＴ４２）。入力データＩＢをテレビ電話装置１に送信した後、キャラクタの表示画像データの受信を行う（ＳＴ４３）。テレビ電話装置１から送信されたキャラクタの表示画像データを受信できると、テレビ電話表示部１４Ｂにキャラクタの表示画像を表示する（ＳＴ４４）。通話中は（ＳＴ４５のＮｏの場合）、上記ＳＴ４１からＳＴ４５までの処理を繰り返し行い、通話が終了すると（ＳＴ４５のＹｅｓの場合）、処理を終了する。

このように、以上説明したテレビ電話システムによれば、テレビ電話装置１が、自端末で表示する画像データに加え、通信相手端末（テレビ電話装置２）に表示させる画像データを生成し、テレビ電話装置２に表示させる画像データをテレビ電話装置２に送信することにより、通信相手端末の端末能力が自端末より低い場合であっても、自端末が要求するレベルの機能を通信相手端末に実行させることができる。

なお、以上の説明では、テレビ電話装置１及び２に表示させるキャラクタデータをテレビ電話装置１が有する場合について説明したが、通話開始時にテレビ電話装置２からテレビ電話装置１にキャラクタデータを送信してもよい。また、以上、動作に対応する画像データをキャラクタデータ格納部１５から取得してテレビ電話装置２に送信する場合について説明したが、表示させる画像の基となるキャラクタデータを通話開始時に送信し、通話中にはキャラクタの動作に相当する差分データのみを送信してもよい。これにより、従来のように通話中に画像データ全てを送信するのに比べてデータ通信量が低減できる。

なお、上記実施の形態では、単独動作として「笑う」、「泣く」、「驚く」、「怯える」、「怒る」、「叫ぶ」、相互動作として「突き飛ばす」→「吹き飛ぶ」、「攻撃する」→「倒れる」、「手をつなぐ」→「手をつなぐ」、「抱きつく」→「抱きつかれる」を例に挙げた画像、これらに限定されるものではなく、様々な例を挙げることができる。また、単独動作のデータでも相互動作のデータとすることもできる。例えば、「叫ぶ」に対して「驚く」を相互動作にすることができる。

また、上記実施の形態では、キー操作による動作の確定として、単にキーを操作（押下）すると、そのキーに割り当てられた動作を確定するようにしたが、キーの操作の仕方（例えば押下し続ける、断続的に押下する、強弱を付けて押下するなど）によっては新たな動作を確定できるようにしてもよい。

（実施の形態２）
図１１は、本発明の実施の形態２を説明するためのテレビ電話システムの概略構成図である。図１１に示すテレビ電話システムは、通信機能を有し、通信相手端末が搭載する機能と共通の機能を搭載し、互いに端末能力が同程度のテレビ電話装置４及び５を備える。図１１では、図１の各部と共通する部分に同一の符号を付けており、さらに双方が共にキャラクタデータ格納部、表情・感情解析部、動作データ生成部、動作整合部を備えているので、これらのブロックに付す符号には、テレビ電話装置４側には「Ａ」を、テレビ電話装置５側には「Ｂ」を付けている。また、テレビ電話装置４及び５は、通話開始時に互いのキャラクタデータの交換を行うので、互いに相手のキャラクタデータを保存するためのキャラクタデータ保存部１９Ａ、１９Ｂを有している。

図１２は、テレビ電話装置４の動作を示すフローチャートである。まず、テレビ電話装置４は、テレビ電話装置５との間で通話を開始する（ＳＴ５０）。テレビ電話装置５と通話を開始すると、キャラクタデータ格納部１５Ａに格納しているキャラクタデータＣＡをテレビ電話装置５に送信する（ＳＴ５１）。キャラクタデータＣＡの送信後、相手テレビ電話装置５から送信されるキャラクタデータＣＢの受信を開始し（Ｓ５２）、キャラクタデータＣＢが送信されてくると、それをキャラクタデータ保存部１９Ａに格納する（ＳＴ５３）。

キャラクタデータＣＢを受信し保存した後、入力データＩＡを取得する（ＳＴ５４）。すなわち、自機の入力データ部１０Ａから映像データ、音声データ、キー入力データを少なくとも１つ取得する。入力データＩＡを取得すると、それから自機のユーザの表情、感情を解析する（ＳＴ５５）。例えばユーザの笑い顔を撮影した場合には「笑う」という解析結果を得る。自機ユーザの表情、感情を解析した後、その解析結果から自機ユーザの表情、感情に応じた動作データＤＡを生成する（ＳＴ５６）。そして、生成した動作データＤＡを相手テレビ電話装置５に送信する（ＳＴ５７）。動作データＤＡの送信後、相手テレビ電話装置５からの動作データＤＢの受信を開始する（ＳＴ５８）。

テレビ電話装置５の動作データＤＢを取得すると、その動作データＤＢと自端末の動作データＤＡのうち１つでも相互動作であれば整合を行う（ＳＴ５９）。２つとも相互動作の場合は、例えば時間的に先に得られた方が主動作となるように整合を行う。この整合処理の詳細については後述する。動作データＤＡ及びＤＢの整合を行った後、動作データＤＡを基にキャラクタの表示画像を生成して（ＳＴ６０）、テレビ電話表示部１４Ａに表示する（ＳＴ６１）。通話中は（ＳＴ６２のＮｏの場合）、上記ＳＴ５４からＳＴ６２までの処理を繰り返し行い、通話が終了すると（ＳＴ６２のＹｅｓの場合）、処理を終了する。

図１３は、動作整合部１８Ａの動作を示すフローチャートである。まず、動作整合部１８Ａは、動作データ生成部１７Ａで生成される動作データＤＡを取り込むための処理を開始し（ＳＴ７０）、動作データＤＡの有無を判定する（ＳＴ７１）。動作データＤＡの入力が無い場合（ＳＴ７１の「無し」の場合）、デフォルトの動作データＤＡに変更する（ＳＴ７２）。これに対して、動作データＤＡが入力された場合（ＳＴ２１の「有り」の場合）、入力された動作データＤＡを相手テレビ電話装置５に送信する（ＳＴ７３）。この動作データＤＡの送信後、相手テレビ電話装置５からの動作データＤＢを受信するための処理を開始し（ＳＴ７４）、動作データＤＢの有無を判定する（ＳＴ７５）。動作データＤＢが得られなかった場合（ＳＴ７６の「無し」）は、デフォルトの動作データＤＢに変更する（ＳＴ７６）。

これに対して、動作データＤＢが得られた場合（ＳＴ７５の「有り」）は、動作データＤＡ、ＤＢの組み合わせ優先順位を決定する（ＳＴ７７）。この場合、単独動作と相互動作の場合は相互動作の方を優先し、相互動作同士の場合は例えば時間的に先に得られた方が選択される。但し、時間で決定する場合は、最初に通信を開始したときにテレビ電話装置４とテレビ電話装置５との間で時間合わせが行われる。

このようにして動作データＤＡ、ＤＢの組み合わせ優先順位を決定した後、その優先順位に従って動作データＤＡ、ＤＢを変更する（ＳＴ７８）。すなわち、上述したように動作データＤＡが「笑う」、動作データＤＢが「突き飛ばす」の場合、相互動作である動作データＤＢが優先され、これによって「笑う」の動作データＤＡが「吹き飛ぶ」の動作データＤＡ´に変更される。動作データＤＡ及びＤＢの変更後、これらを出力する（ＳＴ７９）。

図１４は、テレビ電話装置５の動作を示すフローチャートである。まず、テレビ電話装置５は、テレビ電話装置４との間で通話を開始する（ＳＴ９０）。テレビ電話装置４と通話を開始すると、キャラクタデータ格納部１５Ｂに格納しているキャラクタデータＣＢをテレビ電話装置４に送信する（ＳＴ９１）。キャラクタデータＣＢの送信後、相手テレビ電話装置４から送信されるキャラクタデータＣＡの受信を開始し（Ｓ９２）、キャラクタデータＣＡが送信されてくると、それをキャラクタデータ保存部１９Ｂに格納する（ＳＴ９３）。

キャラクタデータＣＡを受信し保存した後、入力データＩＢを取得する（ＳＴ９４）。すなわち、自端末の入力データ部１０Ｂから映像データ、音声データ、キー入力データを少なくとも１つ取得する。入力データＩＢを取得すると、それから自端末のユーザの表情、感情を解析する（ＳＴ９５）。例えばユーザの泣き顔を撮影した場合には「泣く」という解析結果を得る。自端末ユーザの表情、感情を解析した後、その解析結果から自端末ユーザの表情、感情に応じた動作データＤＢを生成する（ＳＴ９６）。そして、生成した動作データＤＢを相手テレビ電話装置４に送信する（ＳＴ９７）。動作データＤＢの送信後、相手テレビ電話装置４からの動作データＤＡの受信を開始する（ＳＴ９８）。

相手テレビ電話装置４の動作データＤＡを取得すると、その動作データＤＡと自端末の動作データＤＢのうち１つでも相互動作であれば整合を行う（ＳＴ９９）。２つとも相互動作の場合は、例えば時間的に先に得られた方が主動作となるように整合を行う。この整合処理の詳細については後述する。動作データＤＢ及びＤＡの整合を行った後、動作データＤＢを基にキャラクタの表示画像を生成して（ＳＴ１００）、テレビ電話表示部１４Ｂに表示する（ＳＴ１０１）。通話中は（ＳＴ１０２のＮｏの場合）、上記ＳＴ９４からＳＴ１０２までの処理を繰り返し行い、通話が終了すると（ＳＴ１０２のＹｅｓの場合）、処理を終了する。

図１５は、動作整合部１８Ｂの動作を示すフローチャートである。まず、動作整合部１８Ｂは、動作データ生成部１７Ｂで生成される動作データＤＢを取り込むための処理を開始し（ＳＴ１１０）、動作データＤＢの有無を判定する（ＳＴ１１１）。動作データＤＢの入力が無い場合（ＳＴ１１１の「無し」の場合）、デフォルトの動作データＤＢに変更する（ＳＴ１１２）。これに対して、動作データＤＢが入力された場合（ＳＴ１１１の「有り」の場合）、入力された動作データＤＢを相手テレビ電話装置４に送信する（ＳＴ１１３）。この動作データＤＢの送信後、相手テレビ電話装置４からの動作データＤＡを受信するための処理を開始し（ＳＴ１１４）、動作データＤＡの有無を判定する（ＳＴ１１５）。動作データＤＡが得られなかった場合（ＳＴ１１５の「無し」）は、デフォルトの動作データＤＡに変更する（ＳＴ１１６）。

これに対して、動作データＤＡが得られた場合（ＳＴ１１５の「有り」）は、動作データＤＢ、ＤＡの組み合わせ優先順位を決定する（ＳＴ１１７）。この場合、単独動作と相互動作の場合は相互動作の方を優先し、相互動作同士の場合は例えば時間的に先に得られた方が選択される。但し、時間で決定する場合は、最初に通信を開始したときにテレビ電話装置５とテレビ電話装置４との間で時間合わせが行われる。

このようにして動作データＤＢ、ＤＡの組み合わせ優先順位を決定した後、その優先順位に従って動作データＤＢ、ＤＡを変更する（ＳＴ１１８）。すなわち、動作データＤＢが「泣く」、動作データＤＡが「突き飛ばす」の場合、相互動作である動作データＤＡが優先され、これによって「泣く」の動作データＤＢが「吹き飛ぶ」の動作データＤＢ´に変更される。動作データＤＢ、ＤＡの変更後、これらを出力する（ＳＴ１１９）。

（実施の形態３）
図１６は、本発明の実施の形態３を説明するためのテレビ電話システムの概略構成図である。図１６に示すテレビ電話システムは、通信機能を有し、通信相手端末が搭載する機能と共通の機能を搭載し、互いに端末能力が同程度のテレビ電話装置６及び７を備える。図１６では、図１の各部と共通する部分に同一の符号を付けており、さらにテレビ電話装置６は、テレビ電話装置１のキャラクタデータ格納部１５に代わる画像加工データ格納部２０と、動作データ生成部１７に代わる画像加工決定部２１と、動作整合部１８に代わる動作加工整合部２２とを備えているので、これらのブロックに付す符号には、テレビ電話装置６側には「Ａ」を、テレビ電話装置７側には「Ｂ」を付けている。

本実施の形態は、作成する表示画像及び送信画像を、キャラクタではなくカメラ入力画像を元にした加工画像としている。テレビ電話画像はテレビ電話装置６及び７の双方の画像からなり、表示データの合成処理を全てテレビ電話装置６のみで行う。なお、表示データの合成処理を全てテレビ電話装置７のみで行うようにしても構わない。図１７はテレビ電話装置６及び７で撮影されたカメラ画像の一例を示す図である。図１７（ａ）はテレビ電話装置６のユーザを撮影したカメラ画像ＰＩＡであり、図１７（ｂ）はテレビ電話装置７のユーザを撮影したカメラ画像ＰＩＢである。テレビ電話装置６及び７で撮影されたこれらのカメラ画像ＰＩＡ、ＰＩＢは、図１６に示すようにテレビ電話装置６のテレビ電話表示部１４Ａとテレビ電話装置７のテレビ電話表示部１４Ｂそれぞれに合成された形で表示される。

図１８は、画像加工決定部２１及び画像加工整合部２２が使用する動作テーブルの一例を示す図である。画像加工決定部２１は、表情・感情解析部１６の解析結果に基づいて、図１８に示すテーブルを参照して、テレビ電話装置６のユーザとテレビ電話装置７のユーザそれぞれの表情、感情に応じた画像加工データを生成する。図１８（ａ）はテレビ電話装置６側の単独加工テーブルＴＤ、図１８（ｂ）はテレビ電話装置２側の単独加工テーブルＴＥであり、それぞれ相手画像に影響を与えない画像加工データの集合を示す。図１８（ｃ）はテレビ電話装置６及び７の相互動作テーブルＴＦであり、相手画像に影響を与える画像加工データの集合を示す。

画像加工決定部２１は、テレビ電話装置６の入力データＩＡが単独加工を示す場合は単独加工テーブルＴＤから画像加工データＤＰＡを生成し、テレビ電話装置７の入力データＩＢが単独加工を示す場合は単独加工テーブルＴＥから画像加工データＤＰＢを生成し、テレビ電話装置６の入力データＩＡが相互動作を示す場合は相互加工テーブルＴＦから画像加工データＤＡＰを生成し、テレビ電話装置７の入力データＩＢが相互動作を示す場合は相互加工テーブルＴＦから画像加工データＤＰＢを生成する。

一例として、以下の画像加工データを生成する。
（１）特定のキー入力があったら、カメラ画像に吹き出しを入れる画像加工データを生成する。
（２）カメラ画像で顔が笑ったら、カメラ画像にハートマークを入れる画像加工データを生成する。
（３）ユーザが大声を出したときに、カメラ画像を拡大する画像加工データを生成する。
画像加工決定部２１は、生成した画像加工データＤＰＡ及びＤＰＢを画像加工データ格納部２０に格納する。

画像加工整合部２２は、画像加工決定部２１で決定されて画像加工データ格納部２０に格納されたテレビ電話装置６の画像加工データＤＰＡとテレビ電話装置７の画像加工データＤＰＢとから画像加工方法の整合をとる。例えば、テレビ電話装置６の画像加工データが「拡大」のときに、テレビ電話装置７の画像加工データが「縮小」になる。

画像加工整合部２２は、画像加工データの組み合わせにより、以下の４通りの動作を行う。
（１）画像加工データＤＰＡ、画像加工データＤＰＢが共に単独加工テーブルＴＤ、ＴＥのデータの場合は、そのまま画像加工データＤＰＡと画像加工データＤＰＢを出力する。
（２）画像加工データＤＰＡが単独加工テーブルＴＤのデータで、画像加工データＤＰＢが相互加工テーブルＴＦのデータの場合は、画像加工データＤＰＢを優先させる。画像加工データＤＰＢは、相互加工テーブルＴＦ内の主動作データを出力し、画像加工データＤＰＡは相互加工テーブルＴＦ内の主動作データに対応した受動作データを出力する。例えば、テレビ電話装置６のユーザの画像が拡大し、テレビ電話装置７のユーザの画像が縮小する。
（３）画像加工データＤＰＡが相互加工テーブルＴＦのデータで、画像加工データＤＰＢが単独加工テーブルＴＥのデータの場合も同様である。例えば、テレビ電話装置６のユーザの画像が拡大し、テレビ電話装置７のユーザの画像が縮小する。
（４）画像加工データＤＰＡ、画像加工データＤＰＢが共に相互加工テーブルＴＦのデータである場合には、時間情報からより早く決定された画像加工データを優先し、上位側の相互加工テーブルＴＦのデータを出力する。

図１９は、上記（２）の場合の画像加工整合部２２の動作概要を示す図である。この図に示すように、画像加工整合される前は画像加工データＤＰＡが「ハート」、画像加工データＤＰＢが「カナヅチ」であり、相互動作である画像加工データＤＰＢが優先されることから、「ハート」の画像加工データＤＰＡは「タンコブ」の画像加工データＤＰＡ´になる。
なお、有効な入力がされていない（画像、音声、キー入力のいずれか）ために、何も画像加工データが選択されていない場合は、単独加工テーブルＴＤ、ＴＥの「デフォルト」を出力する。

図１６において、表示画像生成部１３Ａは、画像加工整合部２２にて整合がとられたテレビ電話装置６のカメラ画像及び画像加工データとテレビ電話装置７のカメラ画像及び画像加工データから表示データを生成する。表示画像生成部１３Ａで生成された表示データはテレビ電話表示部１４Ａに入力されて表示データに基づく画像が表示される。データ送信部１１Ａは、表示画像生成部１３Ａで生成された表示データをテレビ電話装置７へ送信する。テレビ電話装置７では、テレビ電話装置６のデータ送信部１１Ａから送信された表示データを受信し、それをテレビ電話表示部１４Ｂに表示させる。

図２０は、テレビ電話装置６の動作を示すフローチャートである。まず、テレビ電話装置６は、テレビ電話装置７との間で通話を開始する（ＳＴ１３０）。テレビ電話装置７と通話を開始すると、入力データ部１０Ａから入力データＩＡを取得する（ＳＴ１３１）。すなわち、映像データ、音声データ、キー入力データの少なくとも１つを取得する。次いで、取得した入力データＩＡからテレビ電話装置６のユーザの表情、感情を解析する（ＳＴ１３２）。例えば、テレビ電話装置６のユーザの笑い顔を撮影すると、「笑う」という解析結果を得る。

入力データＩＡから表情、感情を解析した後、テレビ電話装置７からの入力データＩＢの受信を開始する（ＳＴ１３３）。テレビ電話装置７から送信された入力データＩＢを受信すると、入力データＩＢからテレビ電話装置７のユーザの表情、感情を解析する（ＳＴ１３４）。例えば、テレビ電話装置７のユーザの泣いた顔を取り込んだとすると、「泣く」という解析結果を得る。入力データＩＡの解析結果から画像加工データＤＰＡを決定し（ＳＴ１３５）、続けて入力データＩＢの解析結果から画像加工データＤＰＢを決定する（ＳＴ１３６）。

画像加工データＤＰＡ及びＤＰＢを生成した後、これらのうち１つでも相互動作であれば、整合を行う（ＳＴ１３７）。２つとも相互動作であれば、時間的に先に発生した入力データによる動作データが主動作となるように整合を行う。画像加工データＤＰＡ及びＤＰＢの整合を行った後、テレビ電話表示部１４Ａ及び１４Ｂに表示するキャラクタの表示画像を生成する（ＳＴ１３８）。そして、テレビ電話装置７用のキャラクタの表示画像データをテレビ電話装置７に送信する（ＳＴ１３９）。テレビ電話装置７にキャラクタの表示画像データを送信した後、テレビ電話装置６用のキャラクタの表示画像をテレビ電話表示部１４Ａに表示する（ＳＴ１４０）。通話中は（ＳＴ１４１のＮｏの場合）、上記ＳＴ１３１からＳＴ１４０までの処理を繰り返し行い、通話が終了すると（ＳＴ１４１のＹｅｓの場合）、処理を終了する。

図２１は、画像加工整合部２２の動作を示すフローチャートである。まず、画像加工整合部２２は、画像加工データＤＰＡの入力を受け（ＳＴ１５０）、画像加工データＤＰＡの有無を判定する（ＳＴ１５１）。画像加工データＤＰＡが無い場合（ＳＴ１５１の「無し」）は画像加工データＤＰＡをデフォルトの画像加工データＤＰＡに変更する（ＳＴ１５２）。これに対して、画像加工データＤＰＡが有る場合（ＳＴ１５１の「有り」の場合）は画像加工データＤＰＢの入力を受け（ＳＴ１５３）、画像加工データＤＰＢの有無を判定する（ＳＴ１５４）。画像加工データＤＰＢが無い場合（ＳＴ１５４の「無し」の場合）は、画像加工データＤＰＢをデフォルトの画像加工データＤＰＢに変更する（ＳＴ１５５）。

これに対して、画像加工データＤＰＢが有る場合（ＳＴ１５４の「有り」の場合）は、画像加工データＤＰＡ、ＤＰＢの組み合わせ優先順位を決定する（Ｓ１５６）。この場合、単独加工と相互加工の場合は相互加工の方が優先され、相互加工同士の場合は例えば入力データが取得された時間の早い方が選択される。画像加工データＤＰＡ、ＤＰＢの組み合わせ優先順位を決定した後、その優先順位に従って画像加工データＤＰＡ、ＤＰＢを変更する（ＳＴ１５７）。すなわち、上述したように、画像加工データＤＰＡが「ハート」、画像加工データＤＰＢが「カナヅチ」の場合、相互動作である画像加工データＤＰＢが優先され、これによって「ハート」の画像加工データＤＰＡが「タンコブ」の画像加工データＤＰＡ´に変更される。画像加工データＤＰＡ、ＤＰＢの変更後、これらを出力する（ＳＴ１５８）。

図２２は、テレビ電話装置７の動作を示すフローチャートである。まず、テレビ電話装置７は、テレビ電話装置６との間で通話を開始する（ＳＴ１６０）。テレビ電話装置６と通話を開始すると、入力データ部１０Ｂから入力データＩＢを取得する（ＳＴ１６１）。すなわち、映像データ、音声データ、キー入力データの少なくとも１つを取得する。次いで、取得した入力データＩＢをテレビ電話装置６に送信する（ＳＴ１６２）。入力データＩＢをテレビ電話装置６に送信した後、画像加工された表示画像データの受信を行う（ＳＴ１６３）。テレビ電話装置６から送信された表示画像データを受信できると、テレビ電話表示部１４Ｂに表示する（ＳＴ１６４）。通話中は（ＳＴ１６５のＮｏの場合）、上記ＳＴ１６１からＳＴ１６５までの処理を繰り返し行い、通話が終了すると（ＳＴ１６５のＹｅｓの場合）、処理を終了する。

本発明は、自端末が搭載する機能を実行させる為のデータ及び通信相手端末が搭載する機能を実行させる為のデータを生成することにより、通信相手端末の端末能力が自端末より低い場合であっても、自端末が要求するレベルの機能を通信相手端末に実行させることができる効果を有し、通信機能を有し、通信相手端末が搭載する機能と共通の機能を搭載する通信端末及びその通信方法等に有用である。

本発明の実施の形態１を説明するためのテレビ電話システムの概略構成図 表情・感情解析部１６における顔認識処理を示す図 表情・感情解析部１６における顔認識処理を示す図 動作データ生成部１７及び動作整合部１８が使用する動作テーブルの一例を示す図 動作整合部１８の動作概要を示す図（１） 動作整合部１８の動作概要を示す図（２） 動作整合部１８の動作概要を示す図（３） テレビ電話装置１の動作を示すフローチャート 動作整合部１８の動作を示すフローチャート テレビ電話装置２の動作を示すフローチャート 本発明の実施の形態２を説明するためのテレビ電話システムの概略構成図 テレビ電話装置４の動作を示すフローチャート 動作整合部１８Ａの動作を示すフローチャート テレビ電話装置５の動作を示すフローチャート 動作整合部１８Ｂの動作を示すフローチャート 本発明の実施の形態３を説明するためのテレビ電話システムの概略構成図 テレビ電話装置６とテレビ電話装置７で撮影された画像を示す図 画像加工決定部２１及び画像加工整合部２２が使用する動作テーブルの一例を示す図 画像加工整合部２２の動作概要を示す図 テレビ電話装置６の動作を示すフローチャート 動作整合部１８Ａの動作を示すフローチャート テレビ電話装置７の動作を示すフローチャート

符号の説明

１、２、４、５、６、７ テレビ電話装置
３ ネットワーク
１０Ａ、１０Ｂ 入力データ部
１１Ａ、１１Ｂ データ送信部
１２Ａ、１２Ｂ データ受信部
１３Ａ、１３Ｂ 表示画像生成部
１４Ａ、１４Ｂ テレビ電話表示部
１５、１５Ａ、１５Ｂ キャラクタデータ格納部
１６Ａ、１６Ｂ 表情・感情解析部
１７、１７Ａ、１７Ｂ 動作データ生成部
１８、１８Ａ、１８Ｂ 動作整合部
１９Ａ、１９Ｂ キャラクタデータ保存部
２０ 画像加工データ格納部
２１ 画像加工決定部
２２ 画像加工整合部

Claims (4)

1. 通信機能を有し、通信相手端末が搭載する機能と共通の機能を搭載する通信端末であって、
   自端末が搭載する機能を実行させる為のデータ及び通信相手端末が搭載する機能を実行させる為のデータを生成するデータ生成手段と、
   前記通信相手端末が搭載する機能を実行させる為のデータを送信する送信手段と、
   を備える通信端末。
2. 請求項１記載の通信端末であって、
   テレビ電話機能を有し、
   入力されたデータを解析する入力データ解析手段と、
   解析結果に基づいて、自端末側のデータと通信相手端末側のデータとを整合させたデータを前記生成手段に出力するデータ整合手段と、
   を有する通信端末。
3. 請求項２記載の通信端末であって、
   入力されたデータとして、画像データ、音声データ及びキー入力データから選択した少なくとも１つのデータを前記入力データ解析手段へ入力する入力手段を備える通信端末。
4. 通信機能を有し、通信相手端末が搭載する機能と共通の機能を搭載する通信端末の通信方法であって、
   自端末が搭載する機能を実行させる為のデータ及び通信相手端末が搭載する機能を実行させる為のデータを生成し、
   前記通信相手端末が搭載する機能を実行させる為のデータを送信する通信方法。

Images