JP2003283604A - 表情伝送機能付情報端末装置 - Google Patents
表情伝送機能付情報端末装置Info
- Publication number
- JP2003283604A JP2003283604A JP2002077771A JP2002077771A JP2003283604A JP 2003283604 A JP2003283604 A JP 2003283604A JP 2002077771 A JP2002077771 A JP 2002077771A JP 2002077771 A JP2002077771 A JP 2002077771A JP 2003283604 A JP2003283604 A JP 2003283604A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- facial expression
- data
- selecting
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
- H04N2007/145—Handheld terminals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mobile Radio Communication Systems (AREA)
- Telephonic Communication Services (AREA)
- Telephone Function (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
(57)【要約】
【課題】 コミュニケーションの範囲を広範囲に対応さ
せた画像通信によりコミュニケーションを図ることがで
きる表情伝送機能付情報端末装置の提供。 【解決手段】 携帯電話機100は、信号処理部10にてデ
ータ選択部18の選択スイッチSW1で画像データ44（端子
a)と３次元的なキャラクタ画像データ50（端子b)の供給
元を選択して画像データ44, 50のいずれかを出力する。
選択スイッチSW2は、キャラクタ表情抽出合成部20に画
像データ44を供給するか否かを選択する。選択スイッチ
SW1, SW2は、それぞれ、端子aとオープン状態の選択の
組合せおよび端子bとオン状態の選択の組合せを切換制
御信号52に同期して切り換える。画像データ44, 50のい
ずれかの画像を出力するから、専用機器だけでなく、従
来の機器でも通信が可能になる。
せた画像通信によりコミュニケーションを図ることがで
きる表情伝送機能付情報端末装置の提供。 【解決手段】 携帯電話機100は、信号処理部10にてデ
ータ選択部18の選択スイッチSW1で画像データ44（端子
a)と３次元的なキャラクタ画像データ50（端子b)の供給
元を選択して画像データ44, 50のいずれかを出力する。
選択スイッチSW2は、キャラクタ表情抽出合成部20に画
像データ44を供給するか否かを選択する。選択スイッチ
SW1, SW2は、それぞれ、端子aとオープン状態の選択の
組合せおよび端子bとオン状態の選択の組合せを切換制
御信号52に同期して切り換える。画像データ44, 50のい
ずれかの画像を出力するから、専用機器だけでなく、従
来の機器でも通信が可能になる。
Description
【０００１】
【発明の属する技術分野】本発明は、たとえば、携帯電
話機やコンピュータにおけるコミュニケーションに寄与
する表情伝送機能付情報端末装置に関するものである。
話機やコンピュータにおけるコミュニケーションに寄与
する表情伝送機能付情報端末装置に関するものである。
【０００２】
【従来の技術】従来、電話機は、一般的に音声のみを伝
送している。また、画像伝送装置は、たとえばテレビ会
議システムのように音声およびライブの映像を伝送する
ものがある。近年、携帯電話機においてもリアルタイム
な画像通信が行われつつある。
送している。また、画像伝送装置は、たとえばテレビ会
議システムのように音声およびライブの映像を伝送する
ものがある。近年、携帯電話機においてもリアルタイム
な画像通信が行われつつある。
【０００３】このようなリアルタイムな画像通信が携帯
電話機で行われることにより、単に音声および映像の通
信が個人のプライバシーに影響を及ぼしてきている。こ
の影響を最小限に抑えるとともに、通信相手とのコミュ
ニケーションを円滑に行う上で通信相手の表情を加味し
た画像を伝送し、この伝送された画像を表示する試みが
提案されている。現在では、さらにこの提案が実用化さ
れようとしている。
電話機で行われることにより、単に音声および映像の通
信が個人のプライバシーに影響を及ぼしてきている。こ
の影響を最小限に抑えるとともに、通信相手とのコミュ
ニケーションを円滑に行う上で通信相手の表情を加味し
た画像を伝送し、この伝送された画像を表示する試みが
提案されている。現在では、さらにこの提案が実用化さ
れようとしている。
【０００４】
【発明が解決しようとする課題】ところで、現在、実用
化を目指している新たな画像伝送装置では、扱うデータ
の種類が特化されている。すなわち、画像データでは画
像データ同士が伝送され、表情に関するデータでは、表
情データ同士のデータが伝送される。このようにデータ
の種類が同種のデータ同士と限定的に使用されている。
この画像伝送装置は、専用の機種同士の間でしか使用で
きない状況にある。この状況のため、新たな画像伝送装
置は、これまで伝送可能であった画像伝送装置間との通
信ができなくなる場合も発生してしまう。
化を目指している新たな画像伝送装置では、扱うデータ
の種類が特化されている。すなわち、画像データでは画
像データ同士が伝送され、表情に関するデータでは、表
情データ同士のデータが伝送される。このようにデータ
の種類が同種のデータ同士と限定的に使用されている。
この画像伝送装置は、専用の機種同士の間でしか使用で
きない状況にある。この状況のため、新たな画像伝送装
置は、これまで伝送可能であった画像伝送装置間との通
信ができなくなる場合も発生してしまう。
【０００５】本発明はこのような従来技術の欠点を解消
し、コミュニケーションの範囲を広範囲に対応させた画
像通信によりコミュニケーションを図ることができる表
情伝送機能付情報端末装置を提供することを目的とす
る。
し、コミュニケーションの範囲を広範囲に対応させた画
像通信によりコミュニケーションを図ることができる表
情伝送機能付情報端末装置を提供することを目的とす
る。
【０００６】
【課題を解決するための手段】本発明は上述の課題を解
決するために、取り込んだ第１の画像データに含まれる
顔の表情における特徴的な部位の情報を表情情報として
抽出し、この抽出した表情情報または表情情報と選択し
た第２の画像データとを合成した第３の画像データを伝
送する情報端末装置において、画像データから表情情報
を抽出し、表情情報に対応する第２の画像データの部位
をこの抽出した表情情報に応じて変化させた第３の画像
データを合成する画像合成手段と、第１の画像データお
よび第３の画像データの供給元および供給先の少なくと
も一方を選択するデータ選択手段とを含むことを特徴と
する。
決するために、取り込んだ第１の画像データに含まれる
顔の表情における特徴的な部位の情報を表情情報として
抽出し、この抽出した表情情報または表情情報と選択し
た第２の画像データとを合成した第３の画像データを伝
送する情報端末装置において、画像データから表情情報
を抽出し、表情情報に対応する第２の画像データの部位
をこの抽出した表情情報に応じて変化させた第３の画像
データを合成する画像合成手段と、第１の画像データお
よび第３の画像データの供給元および供給先の少なくと
も一方を選択するデータ選択手段とを含むことを特徴と
する。
【０００７】本発明の表情伝送機能付情報端末装置は、
データ選択手段で第１の画像データおよび第３の画像デ
ータの供給元および供給先の少なくとも一方の選択が使
用者により行われる。この選択した画像データを出力す
ることにより、装置は、第３の画像データを扱う専用の
情報機器としてだけでなく、通信相手が第１の画像デー
タを扱う情報機器でも第３の画像データを受信して通信
することができる。選択により、装置が第１の画像デー
タを出力する場合、これまでの通信を行うことは言うま
でもない。
データ選択手段で第１の画像データおよび第３の画像デ
ータの供給元および供給先の少なくとも一方の選択が使
用者により行われる。この選択した画像データを出力す
ることにより、装置は、第３の画像データを扱う専用の
情報機器としてだけでなく、通信相手が第１の画像デー
タを扱う情報機器でも第３の画像データを受信して通信
することができる。選択により、装置が第１の画像デー
タを出力する場合、これまでの通信を行うことは言うま
でもない。
【０００８】
【発明の実施の形態】次に添付図面を参照して本発明に
よる表情伝送機能付情報端末装置の実施例を詳細に説明
する。
よる表情伝送機能付情報端末装置の実施例を詳細に説明
する。
【０００９】本実施例は、本発明の表情伝送機能付情報
端末装置を携帯電話機100の信号処理部10に適用した場
合である。本発明と直接関係のない部分について図示お
よび説明を省略する。以下の説明で、信号はその現れる
接続線の参照番号で指示する。
端末装置を携帯電話機100の信号処理部10に適用した場
合である。本発明と直接関係のない部分について図示お
よび説明を省略する。以下の説明で、信号はその現れる
接続線の参照番号で指示する。
【００１０】信号処理部10には、送信側として音声キャ
プチャ部12、映像キャプチャ部14、音声エンコーダ16、
データ選択部18、キャラクタ表情抽出合成部20、画像エ
ンコーダ22、同期処理部24、送受信処理部26、受信側と
して画像デコーダ28、音声デコーダ30、同期処理部32、
液晶コントローラ34および出力アンプ36が含まれてい
る。
プチャ部12、映像キャプチャ部14、音声エンコーダ16、
データ選択部18、キャラクタ表情抽出合成部20、画像エ
ンコーダ22、同期処理部24、送受信処理部26、受信側と
して画像デコーダ28、音声デコーダ30、同期処理部32、
液晶コントローラ34および出力アンプ36が含まれてい
る。
【００１１】音声キャプチャ部12には、図示しないマイ
クから入力されるアナログ音声信号38をディジタル音声
信号40に変換する機能を有するA/D変換回路がある。音
声キャプチャ部12は、変換したディジタル音声信号40を
音声エンコーダ16に出力する。映像キャプチャ部14に
は、図示しないカメラから入力されるアナログの撮像信
号42をディジタル画像データ（以下、単に画像データと
いう）44に変換する機能を有するA/D変換回路がある。
また、映像キャプチャ部14は、供給される撮像信号42を
A/D変換した画像データ44を液晶コントローラ34および
データ選択部18に供給する。後述する液晶コントローラ
34は、図示しない液晶モニタ（または液晶パネル）に表
示させる三原色RGBの画像信号46を出力する。
クから入力されるアナログ音声信号38をディジタル音声
信号40に変換する機能を有するA/D変換回路がある。音
声キャプチャ部12は、変換したディジタル音声信号40を
音声エンコーダ16に出力する。映像キャプチャ部14に
は、図示しないカメラから入力されるアナログの撮像信
号42をディジタル画像データ（以下、単に画像データと
いう）44に変換する機能を有するA/D変換回路がある。
また、映像キャプチャ部14は、供給される撮像信号42を
A/D変換した画像データ44を液晶コントローラ34および
データ選択部18に供給する。後述する液晶コントローラ
34は、図示しない液晶モニタ（または液晶パネル）に表
示させる三原色RGBの画像信号46を出力する。
【００１２】音声エンコーダ16には、供給されるディジ
タル音声信号40に対して圧縮符号化処理を施すエンコー
ド処理回路が用いられている。音声エンコーダ16は、圧
縮符号化した音声データ48を同期処理部24に出力する。
タル音声信号40に対して圧縮符号化処理を施すエンコー
ド処理回路が用いられている。音声エンコーダ16は、圧
縮符号化した音声データ48を同期処理部24に出力する。
【００１３】データ選択部18は、本実施例において選択
スイッチSW1, SW2を有している。選択スイッチSW1は、
画像データの供給元を選択するスイッチである。選択ス
イッチSW1では、端子aが映像キャプチャ部14の出力端子
と接続され、端子aに画像データ44が供給されている。
また、選択スイッチSW1では、端子bがキャラクタ表情抽
出合成部20の出力端子と接続され、後述する３次元的に
表示されるキャラクタ画像データ50が供給されている。
選択スイッチSW1は、端子cと画像エンコーダ22が接続さ
れ、選択した画像データが画像エンコーダ22に入力され
る。選択スイッチSW2は、画像データ44をキャラクタ表
情抽出合成部20に供給するか否かを選択する。キャラク
タ表情抽出合成部20には、選択スイッチSW2を経た画像
データ44aが供給される。
スイッチSW1, SW2を有している。選択スイッチSW1は、
画像データの供給元を選択するスイッチである。選択ス
イッチSW1では、端子aが映像キャプチャ部14の出力端子
と接続され、端子aに画像データ44が供給されている。
また、選択スイッチSW1では、端子bがキャラクタ表情抽
出合成部20の出力端子と接続され、後述する３次元的に
表示されるキャラクタ画像データ50が供給されている。
選択スイッチSW1は、端子cと画像エンコーダ22が接続さ
れ、選択した画像データが画像エンコーダ22に入力され
る。選択スイッチSW2は、画像データ44をキャラクタ表
情抽出合成部20に供給するか否かを選択する。キャラク
タ表情抽出合成部20には、選択スイッチSW2を経た画像
データ44aが供給される。
【００１４】データ選択部18には、図示しないシステム
制御部から切換制御信号52が供給されている。３次元的
なキャラクタ画像データ50を画像エンコーダ22に供給す
る上で選択スイッチSW2をオンにし、選択スイッチSW1を
端子b側に切り換えることから、選択スイッチSW1, SW2
は、切換制御信号52に同期して切り換える。
制御部から切換制御信号52が供給されている。３次元的
なキャラクタ画像データ50を画像エンコーダ22に供給す
る上で選択スイッチSW2をオンにし、選択スイッチSW1を
端子b側に切り換えることから、選択スイッチSW1, SW2
は、切換制御信号52に同期して切り換える。
【００１５】キャラクタ表情抽出合成部20には、図２に
示すように、表情抽出部200、表情合成部202、キャラク
タ管理部204および専用キャラクタ格納部206が含まれて
いる。表情抽出部200は、供給される画像データ44aに含
まれる顔の画像領域に着目し、顔の特徴部位を表す特徴
点の位置を抽出する。この特徴点は、画像データの表情
を反映したデータ、すなわち表情データを示している。
表情抽出部200は、抽出した表情データ208を表情合成部
202に送る。
示すように、表情抽出部200、表情合成部202、キャラク
タ管理部204および専用キャラクタ格納部206が含まれて
いる。表情抽出部200は、供給される画像データ44aに含
まれる顔の画像領域に着目し、顔の特徴部位を表す特徴
点の位置を抽出する。この特徴点は、画像データの表情
を反映したデータ、すなわち表情データを示している。
表情抽出部200は、抽出した表情データ208を表情合成部
202に送る。
【００１６】ここで、表情抽出部200は、最初の表情デ
ータを表情合成部202に送った後、１つ前の画像データ
から得られた表情データとの現在の表情データの差分を
表情差分データとして送るようにしてもよい。表情差分
データは、表情データに比べてデータ量を抑えることが
できる。
ータを表情合成部202に送った後、１つ前の画像データ
から得られた表情データとの現在の表情データの差分を
表情差分データとして送るようにしてもよい。表情差分
データは、表情データに比べてデータ量を抑えることが
できる。
【００１７】表情合成部202は、あらわに図示しないが
選択したキャラクタ画像データ210の特徴点の位置を供
給される表情データ208に応じて変化する新たな位置を
算出する演算機能部と、演算結果に応じた新たな位置に
ポリゴンを配し、実際にキャラクタの骨格に貼り付ける
ようにレンダリングを行うレンダリング部を有してい
る。表情合成部202は、１枚の画像データが持つ顔の表
情を反映させた３次元的に表示させたキャラクタ画像デ
ータ50を出力する。
選択したキャラクタ画像データ210の特徴点の位置を供
給される表情データ208に応じて変化する新たな位置を
算出する演算機能部と、演算結果に応じた新たな位置に
ポリゴンを配し、実際にキャラクタの骨格に貼り付ける
ようにレンダリングを行うレンダリング部を有してい
る。表情合成部202は、１枚の画像データが持つ顔の表
情を反映させた３次元的に表示させたキャラクタ画像デ
ータ50を出力する。
【００１８】キャラクタ管理部204は、専用キャラクタ
格納部206のR/W制御を行い、キャラクタ画像、使用者、
登録、認証、使用許諾の可否、使用制限時間、現在使用
中の経過時間および累積使用時間、課金納付機能ならび
にこの納付の有無等の情報を対応付けて管理するデータ
ベース的な情報管理機能を有する。キャラクタ管理部20
4は、入力操作部からの操作に応じて所望のキャラクタ
を選択し、変更させる機能も備えている。
格納部206のR/W制御を行い、キャラクタ画像、使用者、
登録、認証、使用許諾の可否、使用制限時間、現在使用
中の経過時間および累積使用時間、課金納付機能ならび
にこの納付の有無等の情報を対応付けて管理するデータ
ベース的な情報管理機能を有する。キャラクタ管理部20
4は、入力操作部からの操作に応じて所望のキャラクタ
を選択し、変更させる機能も備えている。
【００１９】さらに、キャラクタ管理部204は、送受信
処理部26との間で送受信データ54の伝送が行われ、送受
信データ54のうち、受信データとしてキャラクタ画像デ
ータを外部からダウンロードし、送信データとして使用
に関するデータを送受信処理部26を介して、たとえばAS
P（Access Signaling Protocol）サーバにアップロード
している。
処理部26との間で送受信データ54の伝送が行われ、送受
信データ54のうち、受信データとしてキャラクタ画像デ
ータを外部からダウンロードし、送信データとして使用
に関するデータを送受信処理部26を介して、たとえばAS
P（Access Signaling Protocol）サーバにアップロード
している。
【００２０】ここで、ASPサーバは、ゲートウェイに対
してIP（Internet Protocol)ネットワーク側の機器がサ
ポートするプロトコルに従って動作させる装置である。
してIP（Internet Protocol)ネットワーク側の機器がサ
ポートするプロトコルに従って動作させる装置である。
【００２１】専用キャラクタ格納部206は、メモリであ
る。専用キャラクタ格納部206では、信号線212を介して
ダウンロードしたキャラクタ画像データがキャラクタ管
理部204による書込み制御に応じて保存され、キャラク
タ管理部204の読出し制御に応じて選択したキャラクタ
画像データが読み出される。専用キャラクタ格納部206
には、自分の好きなキャラクタを複数格納している。
る。専用キャラクタ格納部206では、信号線212を介して
ダウンロードしたキャラクタ画像データがキャラクタ管
理部204による書込み制御に応じて保存され、キャラク
タ管理部204の読出し制御に応じて選択したキャラクタ
画像データが読み出される。専用キャラクタ格納部206
には、自分の好きなキャラクタを複数格納している。
【００２２】図１に戻って、画像エンコーダ22は、供給
される画像データ、すなわち画像データ44およびキャラ
クタ画像データ50のいずれか一方を取り込んで、この画
像データに圧縮符号化を施す回路を用いている。画像エ
ンコーダ22は、圧縮符号化した画像データ56を同期処理
部24に出力する。画像エンコーダ22は、データ選択部18
からの画像データに対して共用して処理することがで
き、エンコーダを１つで済ませることができる。
される画像データ、すなわち画像データ44およびキャラ
クタ画像データ50のいずれか一方を取り込んで、この画
像データに圧縮符号化を施す回路を用いている。画像エ
ンコーダ22は、圧縮符号化した画像データ56を同期処理
部24に出力する。画像エンコーダ22は、データ選択部18
からの画像データに対して共用して処理することがで
き、エンコーダを１つで済ませることができる。
【００２３】同期処理部24は、音声データ48と画像デー
タ56を入力し、これらのデータにおけるタイミング同期
をとった送信データ58を送受信処理部26に出力する。こ
の処理を施すことにより、相手側の画像表示機器にキャ
ラクタやキャプチャした顔画像を表示した際に「口」の
動きと音声の出力を違和感なく合わせることができる。
これにより、コミュニケーションを高めることができ
る。
タ56を入力し、これらのデータにおけるタイミング同期
をとった送信データ58を送受信処理部26に出力する。こ
の処理を施すことにより、相手側の画像表示機器にキャ
ラクタやキャプチャした顔画像を表示した際に「口」の
動きと音声の出力を違和感なく合わせることができる。
これにより、コミュニケーションを高めることができ
る。
【００２４】送受信処理部26は、送信においてあらかじ
め決められたデータ形式に合わせて送信データ58や送受
信データ54のうちの送信データを、たとえばパケット化
し、所定の周波数の電波60により図示しない基地局に送
出する。また、送受信処理部26は、受信において基地局
からの電波60を受信し、データ形式にパッキングされて
いる受信データにデパケット化を施して画像データ62お
よび音声データ64のデータ分離処理を行っている。送受
信処理部26は、受信した画像データ62および音声データ
64を画像デコーダ28と音声デコーダ30のそれぞれに出力
する。また、送受信処理部26は、前述したように、ASP
サーバからダウンロードしたキャラクタ画像データ54を
キャラクタ表情抽出合成部20に供給している。
め決められたデータ形式に合わせて送信データ58や送受
信データ54のうちの送信データを、たとえばパケット化
し、所定の周波数の電波60により図示しない基地局に送
出する。また、送受信処理部26は、受信において基地局
からの電波60を受信し、データ形式にパッキングされて
いる受信データにデパケット化を施して画像データ62お
よび音声データ64のデータ分離処理を行っている。送受
信処理部26は、受信した画像データ62および音声データ
64を画像デコーダ28と音声デコーダ30のそれぞれに出力
する。また、送受信処理部26は、前述したように、ASP
サーバからダウンロードしたキャラクタ画像データ54を
キャラクタ表情抽出合成部20に供給している。
【００２５】画像デコーダ28は、供給される画像データ
62に対する伸長復号処理を施す回路を用いている。画像
データ62は、通信相手がキャプチャした顔の画像データ
そのものや通信相手が選択したキャラクタ画像データで
あってもよい。画像デコーダ28は、伸長復号した画像デ
ータ66を同期処理部32に出力する。音声デコーダ30は、
供給される音声データ64に対する伸長復号処理を施す回
路を用いている。音声デコーダ30は、伸長復号した音声
データ68を同期処理部32に出力する。
62に対する伸長復号処理を施す回路を用いている。画像
データ62は、通信相手がキャプチャした顔の画像データ
そのものや通信相手が選択したキャラクタ画像データで
あってもよい。画像デコーダ28は、伸長復号した画像デ
ータ66を同期処理部32に出力する。音声デコーダ30は、
供給される音声データ64に対する伸長復号処理を施す回
路を用いている。音声デコーダ30は、伸長復号した音声
データ68を同期処理部32に出力する。
【００２６】同期処理部32は、供給される画像データ66
および音声データ68の同期をとる処理回路ならびに音声
データ68をアナログ信号に変換するD/A変換器を用いて
いる。これにより、相手側の通信画像を表示させた際に
画像の表情に合わせた音声出力が可能になる。同期処理
部32は、タイミング調整された画像データ70と音声信号
72をそれぞれ、液晶コントローラ34と出力アンプ36に供
給している。
および音声データ68の同期をとる処理回路ならびに音声
データ68をアナログ信号に変換するD/A変換器を用いて
いる。これにより、相手側の通信画像を表示させた際に
画像の表情に合わせた音声出力が可能になる。同期処理
部32は、タイミング調整された画像データ70と音声信号
72をそれぞれ、液晶コントローラ34と出力アンプ36に供
給している。
【００２７】液晶コントローラ34は、供給される画像デ
ータを前述した液晶モニタに表示させる制御を行う回路
である。本実施例では、３つの画像データ44, 50, 70が
液晶コントローラ34に供給されている。液晶コントロー
ラ34は、画像データ44, 50を同じ大きさの画像に表示さ
せ、画像データ70を最も大きい画像に表示させる制御を
行っている。これにより、液晶モニタには、相手の画像
を表示させながら、通信するユーザ本人と相手に送出す
るキャラクタの画像が表示される。したがって、携帯電
話機100は、信号処理部10の処理により相手にどのよう
に見えているかをモニタすることができる。
ータを前述した液晶モニタに表示させる制御を行う回路
である。本実施例では、３つの画像データ44, 50, 70が
液晶コントローラ34に供給されている。液晶コントロー
ラ34は、画像データ44, 50を同じ大きさの画像に表示さ
せ、画像データ70を最も大きい画像に表示させる制御を
行っている。これにより、液晶モニタには、相手の画像
を表示させながら、通信するユーザ本人と相手に送出す
るキャラクタの画像が表示される。したがって、携帯電
話機100は、信号処理部10の処理により相手にどのよう
に見えているかをモニタすることができる。
【００２８】出力アンプ36は、供給される音声信号72を
増幅する増幅回路を用いている。出力アンプ36は、増幅
した音声信号74を図示しないスピーカに出力する。
増幅する増幅回路を用いている。出力アンプ36は、増幅
した音声信号74を図示しないスピーカに出力する。
【００２９】このように構成して、画像の供給元を切り
換えてエンコードした画像を送出することにより、キャ
ラクタ画像通信だけでなく、従来の画像通信も行うこと
ができることから、携帯電話機100との画像通信対象者
を増やし、サービスの提供を向上させることができる。
換えてエンコードした画像を送出することにより、キャ
ラクタ画像通信だけでなく、従来の画像通信も行うこと
ができることから、携帯電話機100との画像通信対象者
を増やし、サービスの提供を向上させることができる。
【００３０】なお、同期処理部24, 32は、音声および画
像の同期に問題が生じない場合、配設しなくてもよい。
ただし、この場合、同期処理部32に配設していたD/A変
換器を出力アンプ36の前段に配設している。これによ
り、音声データ68が出力アンプ36にアナログ信号で供給
される。
像の同期に問題が生じない場合、配設しなくてもよい。
ただし、この場合、同期処理部32に配設していたD/A変
換器を出力アンプ36の前段に配設している。これによ
り、音声データ68が出力アンプ36にアナログ信号で供給
される。
【００３１】次に携帯電話機100の動作について図１お
よび図３を参照しながら簡単に説明する。携帯電話機10
0には、カメラ80、マイクロフォン82、キー操作部84、
液晶モニタ86およびスピーカ88が配設されている。この
ように配設することにより、映像および音声のサンプリ
ングを使用者と対向した同一方向から得ることができ
る。カメラ80は、携帯電話機100の使用者を撮影する機
能を有している。カメラ80には、光学レンズ80aを介し
て図示しないが撮像部の２次元の固体撮像素子に入射光
を送り、電気信号に変換している。この変換された信号
が図１の撮像信号42であり、映像キャプチャ部14に供給
される。
よび図３を参照しながら簡単に説明する。携帯電話機10
0には、カメラ80、マイクロフォン82、キー操作部84、
液晶モニタ86およびスピーカ88が配設されている。この
ように配設することにより、映像および音声のサンプリ
ングを使用者と対向した同一方向から得ることができ
る。カメラ80は、携帯電話機100の使用者を撮影する機
能を有している。カメラ80には、光学レンズ80aを介し
て図示しないが撮像部の２次元の固体撮像素子に入射光
を送り、電気信号に変換している。この変換された信号
が図１の撮像信号42であり、映像キャプチャ部14に供給
される。
【００３２】図３に戻って、マイクロフォン82は、携帯
電話機100における周囲空間での音を図１に示したアナ
ログ音声信号38に変換する装置である。アナログ音声信
号38は、音声キャプチャ部12に供給される。音声キャプ
チャ部12および映像キャプチャ部14では、アナログ音声
信号38および撮像信号42をそれぞれディジタル化し、音
声データ40および画像データ44にする。画像データ44は
液晶コントローラ34にも供給される。
電話機100における周囲空間での音を図１に示したアナ
ログ音声信号38に変換する装置である。アナログ音声信
号38は、音声キャプチャ部12に供給される。音声キャプ
チャ部12および映像キャプチャ部14では、アナログ音声
信号38および撮像信号42をそれぞれディジタル化し、音
声データ40および画像データ44にする。画像データ44は
液晶コントローラ34にも供給される。
【００３３】図３のキー操作部84には、英数字、ひらが
なや機能を選択するスイッチ機能等が割り付けられたキ
ーやたとえばジョイスティックタイプやトラックボール
タイプのスイッチが配設されている。これらのキーの１
つに画像選択指示信号をシステム制御部（図示せず）に
供給する機能を持たせている。データ選択部18には、画
像選択指示信号に応じてシステム制御部から供給される
切換制御信号52が供給される。
なや機能を選択するスイッチ機能等が割り付けられたキ
ーやたとえばジョイスティックタイプやトラックボール
タイプのスイッチが配設されている。これらのキーの１
つに画像選択指示信号をシステム制御部（図示せず）に
供給する機能を持たせている。データ選択部18には、画
像選択指示信号に応じてシステム制御部から供給される
切換制御信号52が供給される。
【００３４】データ選択部18は、切換制御信号52に応動
して画像データの供給元の切換と画像データ44の供給可
否の切換えが同時に行われる。これにより、データ選択
部18は、画像データ44およびキャラクタ画像データ50の
いずれか一方を選択している。また、画像データ44は、
キャラクタ画像データ50が選択された場合、キャラクタ
表情抽出合成部20に供給される。キャラクタ表情抽出合
成部20は、表情を反映させて生成したキャラクタ画像デ
ータ50をデータ選択部18および液晶コントローラ34に供
給される。
して画像データの供給元の切換と画像データ44の供給可
否の切換えが同時に行われる。これにより、データ選択
部18は、画像データ44およびキャラクタ画像データ50の
いずれか一方を選択している。また、画像データ44は、
キャラクタ画像データ50が選択された場合、キャラクタ
表情抽出合成部20に供給される。キャラクタ表情抽出合
成部20は、表情を反映させて生成したキャラクタ画像デ
ータ50をデータ選択部18および液晶コントローラ34に供
給される。
【００３５】送信側としての同期処理部24では、音声エ
ンコーダ16および画像エンコーダ22から供給される音声
データ48および画像データ56の同期化が図られ、送受信
処理部26に送信データ58が供給される。送受信処理部26
は通信相手に対して送信データ60を出力する。
ンコーダ16および画像エンコーダ22から供給される音声
データ48および画像データ56の同期化が図られ、送受信
処理部26に送信データ58が供給される。送受信処理部26
は通信相手に対して送信データ60を出力する。
【００３６】データ受信を説明すると、送受信処理部26
を介してそれぞれ分離した圧縮符号化された画像データ
62および音声データ64が画像デコーダ28と音声デコーダ
30にそれぞれ供給される。画像に着目すると、通信相手
からの画像データ62が画像デコーダ28で画像伸長処理お
よび復号処理が施され、同期処理部32を介して画像デー
タ70が液晶コントローラ34に供給される。
を介してそれぞれ分離した圧縮符号化された画像データ
62および音声データ64が画像デコーダ28と音声デコーダ
30にそれぞれ供給される。画像に着目すると、通信相手
からの画像データ62が画像デコーダ28で画像伸長処理お
よび復号処理が施され、同期処理部32を介して画像デー
タ70が液晶コントローラ34に供給される。
【００３７】液晶コントローラでは、供給される３つの
画像データ44, 50, 70を表示する液晶モニタ86における
表示領域の大きさがそれぞれ、図３の領域86a, 86b, 86
cとなるように調整している。図１のデータ選択部18が
示すように、画像データ44が選択された場合、領域86b
には、領域86aと同じ画像が表示されることになる。こ
の場合、別な情報や画像を表示させるとよい。また、携
帯電話機100は、３つの画面分割表示に限定することな
く、分割数や位置関係および領域の大きさを自由に選択
して表示させるようにするとよい。
画像データ44, 50, 70を表示する液晶モニタ86における
表示領域の大きさがそれぞれ、図３の領域86a, 86b, 86
cとなるように調整している。図１のデータ選択部18が
示すように、画像データ44が選択された場合、領域86b
には、領域86aと同じ画像が表示されることになる。こ
の場合、別な情報や画像を表示させるとよい。また、携
帯電話機100は、３つの画面分割表示に限定することな
く、分割数や位置関係および領域の大きさを自由に選択
して表示させるようにするとよい。
【００３８】このように携帯電話機100の切換操作に応
動した信号処理部10を行うことにより、画像表示を行い
ながらのユーザ通信適用範囲を専用機器同士の場合に比
べて広く機器に対応できるから、使用者に提供するサー
ビスを高めることができる。
動した信号処理部10を行うことにより、画像表示を行い
ながらのユーザ通信適用範囲を専用機器同士の場合に比
べて広く機器に対応できるから、使用者に提供するサー
ビスを高めることができる。
【００３９】次に本発明の表情伝送機能付情報端末装置
を適用した携帯電話機100における変形例を図４に示
す。図１の信号処理部10と共通する構成要素に対して同
じ参照番号を付して、説明を省略する。本実施例では、
データ選択部18およびキャラクタ表情抽出合成部20が図
１の場合と異なっている。
を適用した携帯電話機100における変形例を図４に示
す。図１の信号処理部10と共通する構成要素に対して同
じ参照番号を付して、説明を省略する。本実施例では、
データ選択部18およびキャラクタ表情抽出合成部20が図
１の場合と異なっている。
【００４０】データ選択部18には、４つの選択スイッチ
SW3, SW4, SW5およびSW6が含まれている。選択スイッチ
SW3は、画像データ44の供給先を選択するスイッチであ
る。選択スイッチSW4は、同期処理部24に供給する画像
データ56aの供給元を選択するスイッチである。さらに
接続関係を説明すると、選択スイッチSW3では、映像キ
ャプチャ部14と端子aとが接続され、端子bと画像エンコ
ーダ22とが接続され、端子cとキャラクタ表情抽出合成
部20の入力端20aとが接続されている。選択スイッチSW4
では、画像エンコーダ22と端子aとが接続され、キャラ
クタ表情合成部20の出力端20bと端子bとが接続され、端
子cと同期処理部24とが接続されている。選択スイッチS
W3, SW4は、ともに、切換制御信号52aに応動して同期切
換えが同方向に行われる。キャラクタ表情抽出合成部20
は、出力端20bを介して表情データ212を選択スイッチSW
4の端子bに出力する。
SW3, SW4, SW5およびSW6が含まれている。選択スイッチ
SW3は、画像データ44の供給先を選択するスイッチであ
る。選択スイッチSW4は、同期処理部24に供給する画像
データ56aの供給元を選択するスイッチである。さらに
接続関係を説明すると、選択スイッチSW3では、映像キ
ャプチャ部14と端子aとが接続され、端子bと画像エンコ
ーダ22とが接続され、端子cとキャラクタ表情抽出合成
部20の入力端20aとが接続されている。選択スイッチSW4
では、画像エンコーダ22と端子aとが接続され、キャラ
クタ表情合成部20の出力端20bと端子bとが接続され、端
子cと同期処理部24とが接続されている。選択スイッチS
W3, SW4は、ともに、切換制御信号52aに応動して同期切
換えが同方向に行われる。キャラクタ表情抽出合成部20
は、出力端20bを介して表情データ212を選択スイッチSW
4の端子bに出力する。
【００４１】このように配設することにより、携帯電話
機100は、キャラクタ表情抽出合成部20からの表情デー
タも圧縮符号化して出力することができるようになる。
機100は、キャラクタ表情抽出合成部20からの表情デー
タも圧縮符号化して出力することができるようになる。
【００４２】受信側の選択スイッチSW5, SW6もそれぞ
れ、供給先と供給元を選択する選択スイッチである。選
択スイッチSW5には、端子aに送受信処理部26を介して画
像データまたは表情データが供給される。ここで、画像
データは、キャラクタ画像データも含まれている。選択
スイッチSW5では、端子bとキャラクタ表情抽出合成部20
の入力端20cとが接続され、端子cと画像デコーダ28とが
接続されている。キャラクタ表情抽出合成部20には、選
択スイッチSW5の端子bを介して表情データ62aが供給さ
れる。
れ、供給先と供給元を選択する選択スイッチである。選
択スイッチSW5には、端子aに送受信処理部26を介して画
像データまたは表情データが供給される。ここで、画像
データは、キャラクタ画像データも含まれている。選択
スイッチSW5では、端子bとキャラクタ表情抽出合成部20
の入力端20cとが接続され、端子cと画像デコーダ28とが
接続されている。キャラクタ表情抽出合成部20には、選
択スイッチSW5の端子bを介して表情データ62aが供給さ
れる。
【００４３】また、選択スイッチSW6は、供給元として
端子a, bがそれぞれ、キャラクタ表情抽出合成部20の出
力端20dと画像デコーダ28と接続されている。選択スイ
ッチSW5, SW6も、ともに、切換制御信号52bに応動して
同期切換えが同方向に行われる。したがって、キャラク
タ表情抽出合成部20は、相手があらかじめ指定している
キャラクタに対応した３次元的なキャラクタ画像データ
50aを生成し、選択スイッチSW6の端子aに出力する。
端子a, bがそれぞれ、キャラクタ表情抽出合成部20の出
力端20dと画像デコーダ28と接続されている。選択スイ
ッチSW5, SW6も、ともに、切換制御信号52bに応動して
同期切換えが同方向に行われる。したがって、キャラク
タ表情抽出合成部20は、相手があらかじめ指定している
キャラクタに対応した３次元的なキャラクタ画像データ
50aを生成し、選択スイッチSW6の端子aに出力する。
【００４４】このようにデータ選択部18で切換選択を行
うことにより、同期処理部32には表情データに対応して
生成された３次元的なキャラクタ画像データ50a、従来
の画像データおよび相手側にて生成されたキャラクタ画
像データのいずれかが供給される。同期処理部32は、選
択スイッチSW6からの供給されると音声データ68との同
期処理を行って画像データ70を液晶コントローラ34に供
給する。液晶コントローラ34には、キャラクタ表情抽出
合成部20から前述したように使用者本人の表情が加味さ
れた３次元的なキャラクタ画像データ50も供給されてい
る。液晶コントローラ34は、先の実施例と同様に３つの
画像データ44, 50, 70を図示しない液晶モニタに供給し
て３分割された画像表示を行う。
うことにより、同期処理部32には表情データに対応して
生成された３次元的なキャラクタ画像データ50a、従来
の画像データおよび相手側にて生成されたキャラクタ画
像データのいずれかが供給される。同期処理部32は、選
択スイッチSW6からの供給されると音声データ68との同
期処理を行って画像データ70を液晶コントローラ34に供
給する。液晶コントローラ34には、キャラクタ表情抽出
合成部20から前述したように使用者本人の表情が加味さ
れた３次元的なキャラクタ画像データ50も供給されてい
る。液晶コントローラ34は、先の実施例と同様に３つの
画像データ44, 50, 70を図示しない液晶モニタに供給し
て３分割された画像表示を行う。
【００４５】次に本実施例におけるキャラクタ表情抽出
合成部20の構成を簡単に説明する（図５を参照）。キャ
ラクタ表情抽出合成部20は、基本的に図２に示した構成
と同じであり、新たに相手用キャラクタ格納部214が配
設されている。先の実施例と共通する構成要素には、同
じ参照番号を付している。
合成部20の構成を簡単に説明する（図５を参照）。キャ
ラクタ表情抽出合成部20は、基本的に図２に示した構成
と同じであり、新たに相手用キャラクタ格納部214が配
設されている。先の実施例と共通する構成要素には、同
じ参照番号を付している。
【００４６】相手用キャラクタ格納部214は、専用キャ
ラクタ格納部206と同じメモリである。相手用キャラク
タ格納部214は、キャラクタ管理部204の制御に応じてあ
らかじめ通信相手によって指定されたキャラクタ画像デ
ータが格納されている。相手用キャラクタ格納部214が
キャラクタ画像データを保有していない場合、前述した
例と同様に携帯電話機100は、図示しない外部のIPネッ
トワークに接続されたASPサーバに該当するキャラクタ
の使用を要求する。
ラクタ格納部206と同じメモリである。相手用キャラク
タ格納部214は、キャラクタ管理部204の制御に応じてあ
らかじめ通信相手によって指定されたキャラクタ画像デ
ータが格納されている。相手用キャラクタ格納部214が
キャラクタ画像データを保有していない場合、前述した
例と同様に携帯電話機100は、図示しない外部のIPネッ
トワークに接続されたASPサーバに該当するキャラクタ
の使用を要求する。
【００４７】ASPサーバでは、このキャラクタに対する
使用登録、課金に応じた使用料の納付情報、使用時間等
を考慮し、キャラクタ画像に対する使用許可（登録・認
証）を使用者毎に判断している。キャラクタ画像の使用
許可された場合、携帯電話機100には、ASPサーバからキ
ャラクタ画像データがダウンロードされる。所望のキャ
ラクタ画像データは、信号処理部10の信号線54を介して
キャラクタ管理部204に供給される。キャラクタ管理部2
04は、供給されたキャラクタ画像データを相手用キャラ
クタ格納部214に書込み制御を施す。キャラクタ管理部2
04では、専用キャラクタ格納部206の動作制御も行わ
れ、所望するキャラクタ画像データが前述した項目に関
して管理されている。
使用登録、課金に応じた使用料の納付情報、使用時間等
を考慮し、キャラクタ画像に対する使用許可（登録・認
証）を使用者毎に判断している。キャラクタ画像の使用
許可された場合、携帯電話機100には、ASPサーバからキ
ャラクタ画像データがダウンロードされる。所望のキャ
ラクタ画像データは、信号処理部10の信号線54を介して
キャラクタ管理部204に供給される。キャラクタ管理部2
04は、供給されたキャラクタ画像データを相手用キャラ
クタ格納部214に書込み制御を施す。キャラクタ管理部2
04では、専用キャラクタ格納部206の動作制御も行わ
れ、所望するキャラクタ画像データが前述した項目に関
して管理されている。
【００４８】キャラクタ表情抽出合成部20の動作を説明
する。表情抽出部200に画像データ44が供給されると、
顔の画像から表情をあらわす部位（特徴点）の表情デー
タを抽出する。抽出した表情データは、表情抽出部200
から表情データ208, 212として出力される。表情合成部
202には、表情データ208および通信相手側からの表情デ
ータ62aが供給されている。キャラクタ画像でなく、通
常の画像データを送出するとき、選択スイッチSW3で端
子b側が選択されるので、このとき、キャラクタ表情合
成部202は、表情の変化するキャラクタ画像を生成しな
い。
する。表情抽出部200に画像データ44が供給されると、
顔の画像から表情をあらわす部位（特徴点）の表情デー
タを抽出する。抽出した表情データは、表情抽出部200
から表情データ208, 212として出力される。表情合成部
202には、表情データ208および通信相手側からの表情デ
ータ62aが供給されている。キャラクタ画像でなく、通
常の画像データを送出するとき、選択スイッチSW3で端
子b側が選択されるので、このとき、キャラクタ表情合
成部202は、表情の変化するキャラクタ画像を生成しな
い。
【００４９】選択スイッチSW3が端子cに切り換えられる
と、携帯電話機100は、選択スイッチSW4の端子bを介し
て表情データ212を相手側に送信する。表情合成部202に
は、使用者本人が選択したキャラクタ画像を専用キャラ
クタ格納部206から読み出し、キャラクタ管理部204を介
して供給される。表情合成部202は、使用者本人が希望
する３次元のキャラクタ画像に表情データ208を対応さ
せてキャラクタ画像データ50を生成し、液晶コントロー
ラ34に出力する。
と、携帯電話機100は、選択スイッチSW4の端子bを介し
て表情データ212を相手側に送信する。表情合成部202に
は、使用者本人が選択したキャラクタ画像を専用キャラ
クタ格納部206から読み出し、キャラクタ管理部204を介
して供給される。表情合成部202は、使用者本人が希望
する３次元のキャラクタ画像に表情データ208を対応さ
せてキャラクタ画像データ50を生成し、液晶コントロー
ラ34に出力する。
【００５０】次に選択スイッチSW5にて端子c側が選択さ
れていると、表情データ62aは表情合成部202に供給され
ない。また、選択スイッチSW5が端子b側にあると、表情
データ62aが表情合成部202の入力端20cに供給される。
この場合、キャラクタ管理部204には、相手用キャラク
タ格納部214から相手が所望するキャラクタ画像データ2
16を読み出し、表情合成部202に供給する。
れていると、表情データ62aは表情合成部202に供給され
ない。また、選択スイッチSW5が端子b側にあると、表情
データ62aが表情合成部202の入力端20cに供給される。
この場合、キャラクタ管理部204には、相手用キャラク
タ格納部214から相手が所望するキャラクタ画像データ2
16を読み出し、表情合成部202に供給する。
【００５１】表情合成部202では、供給される表情デー
タ62aを用いてキャラクタ画像データ216に対して顔表情
の特徴点を変化させ、レンダリング処理を施す。これに
より、表情合成部202では３次元的なキャラクタ画像デ
ータ50aが生成される。表情合成部202は、キャラクタ画
像データ50aを選択スイッチSW6の端子a側に供給する。
タ62aを用いてキャラクタ画像データ216に対して顔表情
の特徴点を変化させ、レンダリング処理を施す。これに
より、表情合成部202では３次元的なキャラクタ画像デ
ータ50aが生成される。表情合成部202は、キャラクタ画
像データ50aを選択スイッチSW6の端子a側に供給する。
【００５２】このように動作することにより、個々の選
択に応じて表示データ208, 62aが供給される。この供給
される表示データ208, 62aに対応する３次元的なキャラ
クタ画像データ50, 50aを液晶モニタに表示させること
ができる。また、通信の相手側から表示データ62aが供
給されなくても、３次元的なキャラクタ画像データ62が
そのまま供給されていれば、液晶モニタにその３次元的
なキャラクタ画像を表示を行うことができる。
択に応じて表示データ208, 62aが供給される。この供給
される表示データ208, 62aに対応する３次元的なキャラ
クタ画像データ50, 50aを液晶モニタに表示させること
ができる。また、通信の相手側から表示データ62aが供
給されなくても、３次元的なキャラクタ画像データ62が
そのまま供給されていれば、液晶モニタにその３次元的
なキャラクタ画像を表示を行うことができる。
【００５３】さらに、前述した２つの実施例を合わせて
も有利な携帯電話機100を提供することができる（図６
を参照）。図６に示すように、データ選択部18には、選
択スイッチSW2, SW4, SW5, SW6, SW7が配設されてい
る。各選択スイッチの接続関係は、前述した各実施例の
場合と同じであるから、説明を省略する。また、選択ス
イッチSW5, SW6は、前述した変形例とまったく同じ構成
で、動作も同じである。
も有利な携帯電話機100を提供することができる（図６
を参照）。図６に示すように、データ選択部18には、選
択スイッチSW2, SW4, SW5, SW6, SW7が配設されてい
る。各選択スイッチの接続関係は、前述した各実施例の
場合と同じであるから、説明を省略する。また、選択ス
イッチSW5, SW6は、前述した変形例とまったく同じ構成
で、動作も同じである。
【００５４】本実施例は、先の実施例と選択スイッチSW
2, SW4およびSW7の切換制御の点が異なっている。すな
わち、選択スイッチSW2, SW4およびSW7が個々に切り換
えられている。選択スイッチSW7には切換制御信号52c、
選択スイッチSW2には切換制御信号52d、そして選択スイ
ッチSW4には切換制御信号52eがそれぞれ、供給されてい
る。選択スイッチSW7は、選択スイッチSW1に相当するも
のである。ただし、選択スイッチSW7には、画像データ4
4および３次元的なキャラクタ画像データ50のいずれも
選択しない中立状態を選択する端子dが配設されてい
る。これにより、選択スイッチSW7は、何も選択しない
オープン状態を提供することができる。各切換制御信号
52c, 52d, 52eの条件は以下の通りである。
2, SW4およびSW7の切換制御の点が異なっている。すな
わち、選択スイッチSW2, SW4およびSW7が個々に切り換
えられている。選択スイッチSW7には切換制御信号52c、
選択スイッチSW2には切換制御信号52d、そして選択スイ
ッチSW4には切換制御信号52eがそれぞれ、供給されてい
る。選択スイッチSW7は、選択スイッチSW1に相当するも
のである。ただし、選択スイッチSW7には、画像データ4
4および３次元的なキャラクタ画像データ50のいずれも
選択しない中立状態を選択する端子dが配設されてい
る。これにより、選択スイッチSW7は、何も選択しない
オープン状態を提供することができる。各切換制御信号
52c, 52d, 52eの条件は以下の通りである。
【００５５】携帯電話機100がキャプチャした本人の画
像データを伝送する場合、選択スイッチSW7を端子a側に
切り換え、選択スイッチSW2をオープンにし、選択スイ
ッチSW4を端子a側に切り換える。表情を反映させた３次
元的なキャラクタ画像データを伝送する場合、選択スイ
ッチSW7を端子b側に切り換え、選択スイッチSW2を閉じ
て接続し、選択スイッチSW4を端子a側に切り換える。
像データを伝送する場合、選択スイッチSW7を端子a側に
切り換え、選択スイッチSW2をオープンにし、選択スイ
ッチSW4を端子a側に切り換える。表情を反映させた３次
元的なキャラクタ画像データを伝送する場合、選択スイ
ッチSW7を端子b側に切り換え、選択スイッチSW2を閉じ
て接続し、選択スイッチSW4を端子a側に切り換える。
【００５６】また、キャプチャした本人の画像データを
基に表情データ212を伝送する場合、選択スイッチSW7の
端子d側に切り換えて中立にすることによってオープン
状態にし、選択スイッチSW2を閉じて接続し、選択スイ
ッチSW4を端子b側に切り換える。これにより、表示デー
タ212が相手側に出力される。選択スイッチSW7の選択状
況が図６に示されている。
基に表情データ212を伝送する場合、選択スイッチSW7の
端子d側に切り換えて中立にすることによってオープン
状態にし、選択スイッチSW2を閉じて接続し、選択スイ
ッチSW4を端子b側に切り換える。これにより、表示デー
タ212が相手側に出力される。選択スイッチSW7の選択状
況が図６に示されている。
【００５７】このようにデータ選択部18において個々に
選択スイッチを切り換えることにより、本人のキャプチ
ャした画像データ、３次元的なキャラクタ画像データお
よび表情データのいずれか１つを送信することができ、
受信においても表情データを区別するだけでこれまでの
端末装置やキャラクタ通信用の専用端末装置に対応する
ことができる。相手側の端末装置を選ぶことがなくなる
から、コミュニケーション範囲を専用端末装置に比べて
広げることができる。これにより、使用者に提供するサ
ービスを高めることができる。
選択スイッチを切り換えることにより、本人のキャプチ
ャした画像データ、３次元的なキャラクタ画像データお
よび表情データのいずれか１つを送信することができ、
受信においても表情データを区別するだけでこれまでの
端末装置やキャラクタ通信用の専用端末装置に対応する
ことができる。相手側の端末装置を選ぶことがなくなる
から、コミュニケーション範囲を専用端末装置に比べて
広げることができる。これにより、使用者に提供するサ
ービスを高めることができる。
【００５８】なお、本発明は、無線伝送する携帯電話機
100に限定されるものでなく、有線伝送する情報端末装
置にも適用できることは言うまでもない。たとえばイン
ターネット等に接続された端末装置でも使用することが
できる。また、キャラクタに対する表情データだけを対
象にする場合、画像の圧縮伸長処理用のモジュールを用
いなくてもよい。
100に限定されるものでなく、有線伝送する情報端末装
置にも適用できることは言うまでもない。たとえばイン
ターネット等に接続された端末装置でも使用することが
できる。また、キャラクタに対する表情データだけを対
象にする場合、画像の圧縮伸長処理用のモジュールを用
いなくてもよい。
【００５９】以上のように構成することにより、選択ス
イッチを切り換えて、供給される画像データをエンコー
ドしているので、本人のキャプチャした画像データでし
か通信できない情報端末装置および３次元的なキャラク
タ画像データの通信を行う情報端末装置の両方に対応す
ることができ、相手側の端末装置を選ぶことがなくなる
から、コミュニケーション範囲を専用端末装置に比べて
広げることができる。これにより、使用者に提供するサ
ービスを高めることができる。
イッチを切り換えて、供給される画像データをエンコー
ドしているので、本人のキャプチャした画像データでし
か通信できない情報端末装置および３次元的なキャラク
タ画像データの通信を行う情報端末装置の両方に対応す
ることができ、相手側の端末装置を選ぶことがなくなる
から、コミュニケーション範囲を専用端末装置に比べて
広げることができる。これにより、使用者に提供するサ
ービスを高めることができる。
【００６０】表情データおよびどんなキャラクタを選択
するかのキャラクタ指示情報を送信しても３次元的なキ
ャラクタ画像データの通信を行うことができる。これに
より、構成要素の削減が可能になる。また、３次元的な
キャラクタ画像データを圧縮符号化して送信する場合に
比べて表情データおよびキャラクタ指示情報だけ送るこ
とから送信するデータ量を大幅に減らすことができる。
３次元的なキャラクタ画像データの通信に要する費用を
抑えることができる。
するかのキャラクタ指示情報を送信しても３次元的なキ
ャラクタ画像データの通信を行うことができる。これに
より、構成要素の削減が可能になる。また、３次元的な
キャラクタ画像データを圧縮符号化して送信する場合に
比べて表情データおよびキャラクタ指示情報だけ送るこ
とから送信するデータ量を大幅に減らすことができる。
３次元的なキャラクタ画像データの通信に要する費用を
抑えることができる。
【００６１】また、画像データや表情データを伝送する
個々の条件に応じて選択して送信し、送信されてきた条
件に対応して受信し、画像データを得ることにより、コ
ミュニケーションを可能にする範囲を専用端末装置に比
べて広げて、使用者に提供するサービスを高め、選択す
る条件設定に応じてより一層に通信の負担も軽減するこ
とができる。
個々の条件に応じて選択して送信し、送信されてきた条
件に対応して受信し、画像データを得ることにより、コ
ミュニケーションを可能にする範囲を専用端末装置に比
べて広げて、使用者に提供するサービスを高め、選択す
る条件設定に応じてより一層に通信の負担も軽減するこ
とができる。
【００６２】
【発明の効果】このように本発明の表情伝送機能付情報
端末装置によれば、データ選択手段で第１の画像データ
および第３の画像データの供給元および供給先の少なく
とも一方の選択が使用者により行われることから、この
装置は、第３の画像データを扱う専用の情報機器だけで
なく、第１の画像データの情報機器でも第３の画像デー
タを受け取ることができ、対応機器の範囲を広がるから
使用者に提供するサービスをより向上させることができ
る。
端末装置によれば、データ選択手段で第１の画像データ
および第３の画像データの供給元および供給先の少なく
とも一方の選択が使用者により行われることから、この
装置は、第３の画像データを扱う専用の情報機器だけで
なく、第１の画像データの情報機器でも第３の画像デー
タを受け取ることができ、対応機器の範囲を広がるから
使用者に提供するサービスをより向上させることができ
る。
【図１】本発明の表情伝送機能付情報端末装置を適用し
た携帯電話機の信号処理部を概略的に示すブロック図で
ある。
た携帯電話機の信号処理部を概略的に示すブロック図で
ある。
【図２】図１のキャラクタ表情抽出合成部における概略
的な構成を示すブロック図である。
的な構成を示すブロック図である。
【図３】本発明を適用した携帯電話機を正面側から見た
正面図である。
正面図である。
【図４】本発明を適用した信号処理部における信号処理
部の変形例を示すブロック図である。
部の変形例を示すブロック図である。
【図５】図４のキャラクタ表情抽出合成部における概略
的な構成を示すブロック図である。
的な構成を示すブロック図である。
【図６】本発明を適用した信号処理部における信号処理
部のさらなる変形例を示すブロック図である。
部のさらなる変形例を示すブロック図である。
10 携帯電話機
18 データ選択部
20 キャラクタ表情抽出合成部
22 画像エンコーダ
28 画像デコーダ
34 液晶コントローラ
SW1, SW2 選択スイッチ
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成１５年２月３日（２００３．２．３）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】請求項３
【補正方法】変更
【補正内容】
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】請求項４
【補正方法】変更
【補正内容】
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正内容】
【００６１】また、画像データや表情データを伝送する
個々の条件に応じて選択して送信し、送信されてきた条
件に対応して受信し、画像データを得ることにより、コ
ミュニケーションを可能にする範囲を専用端末装置に比
べて広げて、使用者に提供するサービスを高め、選択す
る条件設定に応じてより一層、通信の負担も軽減するこ
とができる。
個々の条件に応じて選択して送信し、送信されてきた条
件に対応して受信し、画像データを得ることにより、コ
ミュニケーションを可能にする範囲を専用端末装置に比
べて広げて、使用者に提供するサービスを高め、選択す
る条件設定に応じてより一層、通信の負担も軽減するこ
とができる。
─────────────────────────────────────────────────────
フロントページの続き
Ｆターム(参考） 5B050 AA08 BA08 BA09 BA12 EA13
EA19 EA24 EA28 FA02
5B057 AA20 BA02 CA12 CA16 CB12
CB16 CC01 CE08 DA16 DB02
DC05
5C064 AA01 AB04 AC04 AC06 AC13
AC16 AC22
5K027 AA11 BB02 CC08 FF22 MM17
Claims (9)
- 【請求項１】 取り込んだ第１の画像データに含まれる
顔の表情における特徴的な部位の情報を表情情報として
抽出し、該抽出した表情情報または前記表情情報と選択
した第２の画像データとを合成した第３の画像データを
伝送する情報端末装置において、該装置は、 前記画像データから前記表情情報を抽出し、前記表情情
報に対応する第２の画像データの部位を該抽出した表情
情報に応じて変化させた第３の画像データを合成する画
像合成手段と、 第１の画像データおよび第３の画像データの供給元およ
び供給先の少なくとも一方を選択するデータ選択手段と
を含むことを特徴とする表情伝送機能付情報端末装置。 - 【請求項２】 請求項１に記載の装置において、前記デ
ータ選択手段は、前記供給元の画像データとして第１の
画像データと第３の画像データのいずれか一方を選択す
る第１の選択手段と、 前記画像合成手段への第１の画像データの供給を選択す
る第２の選択手段とを含み、 第１および第２の選択手段は、それぞれ第３の画像デー
タの選択と第１の画像データの供給を同期して選択する
ことを特徴とする表情伝送機能付情報端末装置。 - 【請求項３】 請求項１に記載の装置において、前記デ
ータ選択手段は、第１の画像データに対する前記供給先
を選択する第３の選択手段と、 第１の画像データと前記画像合成手段にて抽出した表情
情報とのいずれか一方の出力元を選択する第４の選択手
段と、 該装置と通信する相手側から供給されるデータが前記表
情情報と前記画像データのいずれかに応じて該データの
供給先に選択する第５の選択手段と、 第５の選択手段からのデータと前記画像合成手段で合成
した第４の画像データのいずれか一方の出力元を選択す
る第６の選択手段とを含み、 第３および第４の選択手段ならびに第５および第６の選
択手段は、それぞれ同期選択することを特徴とする表情
伝送機能付情報端末装置。 - 【請求項４】 請求項１に記載の装置において、前記デ
ータ選択手段は、第１の画像データ、第３の画像データ
および両画像データの選択に対する中立のいずれか一つ
を選択する第７の選択手段と、 第１の画像データを前記画像合成手段に供給するか否か
を選択する第２の選択手段と、 第７の選択手段から供給される第１および第３の画像デ
ータのいずれか一方と第２の選択手段を閉状態にして供
給される第１の画像データから抽出した表情情報のいず
れか一方の出力元を選択する第４の選択手段と、 該装置と通信する相手側から供給されるデータが前記表
情情報と前記画像データのいずれかに応じて該データの
供給先に選択する第５の選択手段と、 第５の選択手段からのデータと前記画像合成手段で合成
した第４の画像データのいずれか一方の出力元を選択す
る第６の選択手段とを含み、 第５および第６の選択手段は、それぞれ同期選択し、第
１ないし第４の選択手段は、任意に切り換えることを特
徴とする表情伝送機能付情報端末装置。 - 【請求項５】 請求項１ないし４のいずれかに記載の装
置において、該装置は、第１の画像データおよび第３の
画像データとともに、該装置と通信する相手側から供給
される画像データおよび第４の画像データのいずれか一
方を同一画面上に分割して表示させる表示制御手段を含
むことを特徴とする表情伝送機能付情報端末装置。 - 【請求項６】 請求項１ないし４のいずれかに記載の装
置において、前記画像合成手段は、第１の画像データか
ら表情情報を抽出する表情抽出手段と、 前記表情情報に応じて第２の画像データの部位を変化さ
せて第３の画像データを合成し、第２の画像データの使
用に関する情報を管理する合成管理手段と、 該装置の使用者が選択した第２の画像データを格納する
第１のメモリ手段とを含む表情伝送機能付情報端末装
置。 - 【請求項７】 請求項６に記載の装置において、前記画
像合成手段は、該装置と通信する相手が選択した第２の
画像データを格納する第２のメモリ手段を含み、 前記合成管理手段は、第２のメモリ手段から供給される
第２の画像データに対して通信相手から供給される表情
情報に応じて第４の画像データを生成することを特徴と
する表情伝送機能付情報端末装置。 - 【請求項８】 請求項６または７に記載の装置におい
て、前記合成管理手段は、前記通信相手が供給する第２
の画像データを選択する指示情報に応じて第２のメモリ
手段を制御し、該指示情報に対応する第２の画像データ
の欠如に応じて外部の装置とアクセスして該外部の装置
から第２の画像データをダウンロードすることを特徴と
する表情伝送機能付情報端末装置。 - 【請求項９】 請求項８に記載の装置において、前記合
成管理手段は、前記外部の装置とのアクセスしながら、
所望する第２の画像データ、該装置の使用者、登録、認
証、第２の画像データの使用許諾の可否、第２の画像デ
ータの使用制限時間、現在使用中の経過時間および累積
使用時間、課金納付機能ならびに該納付の可否を管理す
ることを特徴とする表情伝送機能付情報端末装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002077771A JP2003283604A (ja) | 2002-03-20 | 2002-03-20 | 表情伝送機能付情報端末装置 |
| US10/330,351 US7277115B2 (en) | 2002-03-20 | 2002-12-30 | Communication terminal device capable of transmitting visage information |
| EP20030250058 EP1347646A3 (en) | 2002-03-20 | 2003-01-03 | Communication terminal for transmission of facial information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002077771A JP2003283604A (ja) | 2002-03-20 | 2002-03-20 | 表情伝送機能付情報端末装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003283604A true JP2003283604A (ja) | 2003-10-03 |
Family
ID=27785290
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002077771A Pending JP2003283604A (ja) | 2002-03-20 | 2002-03-20 | 表情伝送機能付情報端末装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7277115B2 (ja) |
| EP (1) | EP1347646A3 (ja) |
| JP (1) | JP2003283604A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005099262A1 (ja) * | 2004-04-07 | 2005-10-20 | Matsushita Electric Industrial Co., Ltd. | 通信端末及び通信方法 |
| WO2006070680A1 (ja) * | 2004-12-28 | 2006-07-06 | Oki Electric Industry Co., Ltd. | 画像合成装置 |
| JP2017212557A (ja) * | 2016-05-24 | 2017-11-30 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 制御装置、対話システム、制御方法及びコンピュータプログラム |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3948988B2 (ja) * | 2002-03-27 | 2007-07-25 | 三洋電機株式会社 | カメラ付き携帯電話機 |
| TWI278817B (en) * | 2003-03-31 | 2007-04-11 | Toshiba Matsushita Display Tec | Display device |
| KR100657065B1 (ko) * | 2004-01-29 | 2006-12-13 | 삼성전자주식회사 | 휴대단말기의 캐릭터 처리 장치 및 방법 |
| US20060083194A1 (en) * | 2004-10-19 | 2006-04-20 | Ardian Dhrimaj | System and method rendering audio/image data on remote devices |
| US7962854B2 (en) * | 2004-10-19 | 2011-06-14 | Sony Ericsson Mobile Communications Ab | Systems, methods and computer program products for displaying content on multiple display screens using handheld wireless communicators |
| EP1847956A4 (en) * | 2005-02-07 | 2013-01-09 | Nec Corp | IMAGE PROCESSING DEVICE |
| US20080028092A1 (en) * | 2006-07-28 | 2008-01-31 | Bo Shen | Method and device for customizing video communications |
| US8644803B1 (en) * | 2008-06-13 | 2014-02-04 | West Corporation | Mobile contacts outdialer and method thereof |
| JP5483012B2 (ja) * | 2010-03-25 | 2014-05-07 | ソニー株式会社 | テレビ電話機能付きテレビジョン |
| KR101788598B1 (ko) * | 2010-09-01 | 2017-11-15 | 엘지전자 주식회사 | 이동 단말기 및 그의 정보보안 설정방법 |
| KR101862128B1 (ko) * | 2012-02-23 | 2018-05-29 | 삼성전자 주식회사 | 얼굴을 포함하는 영상 처리 방법 및 장치 |
| TW201615008A (en) * | 2014-10-09 | 2016-04-16 | Kuo-Ching Chiang | Portable device with recording transform module |
| CN104951304B (zh) * | 2015-06-16 | 2017-12-26 | 长春理工大学 | 面部表情捕获数据的转存与发送方法 |
| KR20170052976A (ko) * | 2015-11-05 | 2017-05-15 | 삼성전자주식회사 | 모션을 수행하는 전자 장치 및 그 제어 방법 |
| CN106303565B (zh) * | 2016-08-12 | 2019-06-18 | 广州华多网络科技有限公司 | 视频直播的画质优化方法和装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5426460A (en) | 1993-12-17 | 1995-06-20 | At&T Corp. | Virtual multimedia service for mass market connectivity |
| JP3167865B2 (ja) * | 1994-07-28 | 2001-05-21 | 株式会社半導体エネルギー研究所 | 情報処理装置 |
| WO1999057900A1 (en) | 1998-05-03 | 1999-11-11 | John Karl Myers | Videophone with enhanced user defined imaging system |
| JP2001275095A (ja) * | 2000-03-27 | 2001-10-05 | Sony Corp | 通信方法、通信サービス装置、通信端末装置および通信システム |
| JP3642716B2 (ja) * | 2000-04-19 | 2005-04-27 | 三菱電機株式会社 | テレビ電話装置及び通話方法 |
| JP4385490B2 (ja) * | 2000-05-12 | 2009-12-16 | ソニー株式会社 | 携帯端末装置 |
| CN1186936C (zh) * | 2000-05-22 | 2005-01-26 | 松下电器产业株式会社 | 图像通信终端 |
-
2002
- 2002-03-20 JP JP2002077771A patent/JP2003283604A/ja active Pending
- 2002-12-30 US US10/330,351 patent/US7277115B2/en not_active Expired - Fee Related
-
2003
- 2003-01-03 EP EP20030250058 patent/EP1347646A3/en not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005099262A1 (ja) * | 2004-04-07 | 2005-10-20 | Matsushita Electric Industrial Co., Ltd. | 通信端末及び通信方法 |
| WO2006070680A1 (ja) * | 2004-12-28 | 2006-07-06 | Oki Electric Industry Co., Ltd. | 画像合成装置 |
| JP2017212557A (ja) * | 2016-05-24 | 2017-11-30 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 制御装置、対話システム、制御方法及びコンピュータプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US7277115B2 (en) | 2007-10-02 |
| EP1347646A3 (en) | 2004-05-19 |
| EP1347646A2 (en) | 2003-09-24 |
| US20040204060A1 (en) | 2004-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003283604A (ja) | 表情伝送機能付情報端末装置 | |
| US9836267B2 (en) | Image/audio playback device of mobile communication terminal | |
| CN102761702B (zh) | 用于移动通信设备中的图像重叠的方法以及成像系统 | |
| JP2004312685A (ja) | 携帯端末機の画像表示装置及び方法 | |
| EP1467564B1 (en) | Videophone with screen display setting method | |
| JPH0549024A (ja) | パソコン連携式テレビ電話装置 | |
| US20050140802A1 (en) | Method for synthesizing photographed image with background scene in appratus having a camera | |
| KR20040068008A (ko) | 비디오 처리 기능을 갖는 단말기 및 그 처리 방법 | |
| JP2007150877A (ja) | 通信端末およびその表示方法 | |
| JP2005215158A (ja) | 画像表示装置およびその制御方法 | |
| JP2000175168A (ja) | 代理画像通信装置及び方法 | |
| KR20100000547A (ko) | 다자간 영상 통화 서비스 제공 방법 및 장치 | |
| JP3178871B2 (ja) | 画像通信装置 | |
| JP2006325092A (ja) | 電話通信システム、電話通信方法、中継サーバー及び携帯電話機 | |
| JP2002027050A (ja) | 携帯テレビ電話装置 | |
| JP2000184342A (ja) | Ｐｃカード及びそれを用いたパーソナルコンピュータ | |
| JPH03292084A (ja) | テレビ電話装置 | |
| KR20020096599A (ko) | 거울기능을 가지는 휴대용 복합 통신단말기 및 그 구현방법 | |
| JP3475541B2 (ja) | 画像通信端末装置 | |
| JP2001128131A (ja) | 画像通信システム、通信端末装置及び記録媒体 | |
| JP2004214766A (ja) | 携帯電話機 | |
| JP2006101327A (ja) | テレビドアホン装置 | |
| KR20060100625A (ko) | 영상 편집 기능을 가지는 이동통신 단말기 및 그 방법 | |
| KR20050001149A (ko) | 화상합성 기능을 갖는 이동통신단말기 | |
| JP2004349899A (ja) | 携帯電話端末及びそれに用いるテレビ電話機能設定方法並びにそのプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20040206 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20040315 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040406 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040607 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050422 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050707 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20051007 |