JP2006065684A - アバタ通信システム - Google Patents
アバタ通信システム Download PDFInfo
- Publication number
- JP2006065684A JP2006065684A JP2004249071A JP2004249071A JP2006065684A JP 2006065684 A JP2006065684 A JP 2006065684A JP 2004249071 A JP2004249071 A JP 2004249071A JP 2004249071 A JP2004249071 A JP 2004249071A JP 2006065684 A JP2006065684 A JP 2006065684A
- Authority
- JP
- Japan
- Prior art keywords
- avatar
- image
- data
- terminal device
- lip shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】 受信手段30は、携帯電話装置2からの音声および動画像を受信する。音声認識手段32は、受信した音声について音声認識を行い、音素に対応する口唇形状を生成する。動画像認識手段34は、受信した動画像に基づいて、口唇形状を含む顔の表情を認識する。アバタ動作決定手段36は、音声認識手段32の出力と動画像認識手段34の出力とに基づいて、アバタの動作を示すアバタ動作データを生成する。アバタ動作決定手段36は、さらに、属性データに基づいて、アバタ動作を修正する。送信手段40は、得られたアバタ動作データを相手方の携帯電話装置に送信する。
【選択図】 図3
Description
前記第1の端末装置は、
第1の操作者の画像を撮像する撮像手段と、撮像手段によって取得した第1の操作者の画像を、サーバ装置に送信するための送信手段と、を備えており、
前記サーバ装置は、
第1の端末装置から送信されてきた画像を受信する受信手段と、アバタデータを記録するアバタデータ記録手段と、属性データを記録した属性データ記録手段と、送信されてきた画像に基づいて、前記アバタデータによるアバタの動作を決定するとともに、前記属性データに基づいて当該アバタ動作を修正するアバタ動作決定手段と、前記アバタ動作を示す情報を第2の端末装置に送信するための送信手段と、を備えており、
前記第2の端末装置は、
サーバ装置から送信されてきたアバタ動作を示す情報を受信する受信手段と、受信したアバタ動作を示す情報に基づいて、アバタ画像を変化させてアバタ動画像を生成するアバタ動画像生成手段と、生成されたアバタ動画像を、第2の操作者に提示するための表示手段と、を備えることを特徴としている。
(1)システムの全体構成
図1に、この発明の一実施形態によるアバタ通信システムの全体構成を示す。このシステムは、操作者の有する携帯電話装置2、8、およびこれら携帯電話装置2、8と通信回線4を介して接続されたサーバ装置6を備えている。携帯電話装置2、8は、いずれも、動画を撮像し、表示する機能を有している。
図2に、携帯電話装置2の機能ブロック図を示す。なお、携帯電話装置8も同様の構成である。音声取得手段10は、操作者の音声を電気信号に変換する。撮像手段12は、操作者の動画を撮像して電気信号に変換する。送信手段14は、これら音声および動画像を、通信回線4を介してサーバ装置6に送信するものである。
図3に、サーバ装置6の機能ブロック図を示す。受信手段30は、携帯電話装置2からの音声および動画像を受信する。音声認識手段32は、受信した音声について音声認識を行い、音素に対応する口唇形状を生成する。動画像認識手段34は、受信した動画像に基づいて、口唇形状を含む顔の表情を認識する。
図4に、携帯電話装置2のハードウエア構成を示す。なお、携帯電話装置8も同じ構成である。CPU50には、ディスプレイ52、スピーカ54、通信回路56、キー58、マイク60、カメラ62、メモリ64が接続されている。
図5に、サーバ装置6のハードウエア構成を示す。CPU70には、ディスプレイ72、メモリ74、通信回路76、キーボード/マウス78、ハードディスク80、CD−ROMドライブ82が接続されている。ハードディスク80には、オペレーティングシステム90、アバタ通信プログラム94、アバタデータ96などが記録されている。アバタ通信プログラム94は、オペレーティングシステム90と協働して、機能を発揮するものである。また、アバタデータ96は、図7に示すように、複数種類の立体アバタ画像を備えている。各立体アバタ画像には、アバタIDが付されている。また、立体アバタ画像として、基本形態だけでなく、笑った形態、微笑んだ形態、怒った形態など、様々な形態が記録されている。
図6に、アバタ通信プログラム94のうちの、アバタ画像選択処理の部分のフローチャートを示す。
7-1 アバタ画像の動作決定
上記実施形態では、特徴点A〜Wの比較パラメータが最も類似するアバタ画像の表情を選択するようにしている。しかし、次のようにして、アバタ画像の動作を決定するようにしてもよい。
また、上記各実施形態では、予め用意したアバタを、ユーザが選択するようにしている。しかし、携帯電話端末装置2から送信されてきたユーザの画像に基づいて、当該ユーザの画像を変形してアバタを生成するようにしてもよい。この場合には、通信に先立って、アバタの生成を行う必要がある。
なお、上記実施形態では、音声認識に基づいてテキストを得て、口唇形状を生成しているが、音声に変えてキー58から入力されたテキストに基づいて口唇形状を生成してもよい。この場合、画像認識に基づく口唇形状の決定は行わず、テキストに基づく口唇形状だけを用いてアバタを動作させることができる。また、画像認識のための画像を別途撮像し、この画像認識に基づく口唇形状と、テキストに基づく口唇形状を統合して口唇形状を決定し、アバタを動作させるようにしてもよい。
上記実施形態では、図17に示すように、各音素に対しての口唇の形状は一定である。しかし、操作者の選択した性格に応じて、同じ音素であっても口唇形状を変えるようにしてもよい。これにより、「豪放」な印象を与える口唇の動き、「しとやか」な印象を与える口唇の動きなどを表現することができる。さらに、性格に応じて、アバタの表情を変化させるようにしてもよい。
32・・・音声認識手段
34・・・動画像認識手段
36・・・アバタ動作決定手段
38・・・口唇形状決定手段
40・・・送信手段
Claims (4)
- 第1の端末装置、第2の端末装置、サーバ装置を備えたアバタ通信システムであって、
前記第1の端末装置は、
第1の操作者の画像を撮像する撮像手段と、
撮像手段によって取得した第1の操作者の画像を、サーバ装置に送信するための送信手段と、
を備えており、
前記サーバ装置は、
第1の端末装置から送信されてきた画像を受信する受信手段と、
アバタデータを記録するアバタデータ記録手段と、
属性データを記録した属性データ記録手段と、
送信されてきた画像に基づいて、前記アバタデータによるアバタの動作を決定するとともに、前記属性データに基づいて当該アバタ動作を修正するアバタ動作決定手段と、
前記アバタ動作を示す情報を第2の端末装置に送信するための送信手段と、
を備えており、
前記第2の端末装置は、
サーバ装置から送信されてきたアバタ動作を示す情報を受信する受信手段と、
受信したアバタ動作を示す情報に基づいて、アバタ画像を変化させてアバタ動画像を生成するアバタ動画像生成手段と、
生成されたアバタ動画像を、第2の操作者に提示するための表示手段と、
を備えていることを特徴とするアバタ通信システム。 - 第1の端末装置および第2の端末装置と通信可能なサーバ装置であって、
アバタデータを記録するアバタデータ記録手段と、
属性データを記録した属性データ記録手段と、
第1の端末装置から送信されてきた画像に基づいて、前記アバタデータによるアバタの動作を決定するとともに、前記属性データに基づいて当該アバタ動作を修正するアバタ動作決定手段と、
前記アバタ動作を示す情報を第2の端末装置に送信するための送信手段と、
を備えたサーバ装置。 - アバタデータおよび属性データに基づいてアバタ動作を決定する処理をコンピュータに行わせるためのプログラムであって、
第1の端末装置から送信されてきた画像に基づいて、前記アバタデータによるアバタの動作を決定する処理と、
前記属性データに基づいて当該アバタ動作を修正する処理と、
をコンピュータに実行させるためのアバタ動作決定プログラム。 - 請求項1〜3のいずれかのシステム、装置またはプログラムにおいて、
サーバ装置には、複数の属性データ記録されており、
サーバ装置は、第1の端末装置から属性決定データを受け取り、受け取った属性決定データに基づいて、何れの属性データを用いるかを選択することを特徴とするもの。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004249071A JP2006065684A (ja) | 2004-08-27 | 2004-08-27 | アバタ通信システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004249071A JP2006065684A (ja) | 2004-08-27 | 2004-08-27 | アバタ通信システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006065684A true JP2006065684A (ja) | 2006-03-09 |
Family
ID=36112113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004249071A Pending JP2006065684A (ja) | 2004-08-27 | 2004-08-27 | アバタ通信システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006065684A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100115022A1 (en) * | 2008-11-06 | 2010-05-06 | Disney Enterprises, Inc. | System and method for server-side avatar pre-rendering |
WO2010095388A1 (ja) * | 2009-02-18 | 2010-08-26 | 日本電気株式会社 | 動作対象制御装置、動作対象制御システム、動作対象制御方法及びプログラム |
JP2010238133A (ja) * | 2009-03-31 | 2010-10-21 | Namco Bandai Games Inc | プログラム、情報記憶媒体、口形状制御方法及び口形状制御装置 |
KR20110056664A (ko) * | 2009-11-23 | 2011-05-31 | 삼성전자주식회사 | 이동통신 단말기에서 영상 통화 방법 및 장치 |
KR101189052B1 (ko) | 2009-08-17 | 2012-10-10 | 에스케이플래닛 주식회사 | 영상통화 중 감정 전달 시스템 및 방법 |
-
2004
- 2004-08-27 JP JP2004249071A patent/JP2006065684A/ja active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100115022A1 (en) * | 2008-11-06 | 2010-05-06 | Disney Enterprises, Inc. | System and method for server-side avatar pre-rendering |
JP2010113719A (ja) * | 2008-11-06 | 2010-05-20 | Disney Enterprises Inc | サーバサイドアバタープリレンダリングのシステム及び方法 |
US8745152B2 (en) | 2008-11-06 | 2014-06-03 | Disney Enterprises, Inc. | System and method for server-side avatar pre-rendering |
WO2010095388A1 (ja) * | 2009-02-18 | 2010-08-26 | 日本電気株式会社 | 動作対象制御装置、動作対象制御システム、動作対象制御方法及びプログラム |
JP5582135B2 (ja) * | 2009-02-18 | 2014-09-03 | 日本電気株式会社 | 動作対象制御装置、動作対象制御システム、動作対象制御方法及びプログラム |
JP2014186744A (ja) * | 2009-02-18 | 2014-10-02 | Nec Corp | 動作対象制御装置、動作対象制御システム、動作対象制御方法及びプログラム |
JP2010238133A (ja) * | 2009-03-31 | 2010-10-21 | Namco Bandai Games Inc | プログラム、情報記憶媒体、口形状制御方法及び口形状制御装置 |
US8612228B2 (en) | 2009-03-31 | 2013-12-17 | Namco Bandai Games Inc. | Character mouth shape control method |
KR101189052B1 (ko) | 2009-08-17 | 2012-10-10 | 에스케이플래닛 주식회사 | 영상통화 중 감정 전달 시스템 및 방법 |
KR20110056664A (ko) * | 2009-11-23 | 2011-05-31 | 삼성전자주식회사 | 이동통신 단말기에서 영상 통화 방법 및 장치 |
KR101647305B1 (ko) * | 2009-11-23 | 2016-08-10 | 삼성전자주식회사 | 이동통신 단말기에서 영상 통화 방법 및 장치 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10528801B2 (en) | Method and system for incorporating contextual and emotional visualization into electronic communications | |
US8830244B2 (en) | Information processing device capable of displaying a character representing a user, and information processing method thereof | |
WO2023119557A1 (ja) | アバター表示装置、アバター生成装置及びプログラム | |
US6909453B2 (en) | Virtual television phone apparatus | |
WO2020203999A1 (ja) | コミュニケーション支援システム、コミュニケーション支援方法、および画像制御プログラム | |
JP4449723B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US11948241B2 (en) | Robot and method for operating same | |
US20160134840A1 (en) | Avatar-Mediated Telepresence Systems with Enhanced Filtering | |
US6943794B2 (en) | Communication system and communication method using animation and server as well as terminal device used therefor | |
WO2017137947A1 (en) | Producing realistic talking face with expression using images text and voice | |
JP2010519791A (ja) | 通信ネットワーク、およびテキストから音声へ・テキストから顔の動画への変換装置 | |
JP2006330958A (ja) | 画像合成装置、ならびにその装置を用いた通信端末および画像コミュニケーションシステム、ならびにそのシステムにおけるチャットサーバ | |
JPH09138767A (ja) | 感情表現の通信装置 | |
WO2008087621A1 (en) | An apparatus and method for animating emotionally driven virtual objects | |
CN115909015B (zh) | 一种可形变神经辐射场网络的构建方法和装置 | |
CN114787759A (zh) | 交流支持程序、交流支持方法、交流支持系统、终端装置以及非语言表达程序 | |
JP2006065683A (ja) | アバタ通信システム | |
JP6796762B1 (ja) | 仮想人物対話システム、映像生成方法、映像生成プログラム | |
CN112669846A (zh) | 交互系统、方法、装置、电子设备及存储介质 | |
WO2018158852A1 (ja) | 通話システム及びコミュニケーションシステム | |
JP2006065684A (ja) | アバタ通信システム | |
JP2018075657A (ja) | 生成プログラム、生成装置、制御プログラム、制御方法、ロボット装置及び通話システム | |
JP5894505B2 (ja) | 画像コミュニケーションシステム、画像生成装置及びプログラム | |
KR100395491B1 (ko) | 아바타 기반 음성 언어 번역 시스템에서의 화상 통신 방법 | |
JP2022071968A (ja) | 顔画像処理システム、顔画像生成用情報提供装置、顔画像生成用情報提供方法および顔画像生成用情報提供プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20061115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20061115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070501 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070801 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070806 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070831 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070905 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070928 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20071003 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071225 |