JP2006065683A - アバタ通信システム - Google Patents
アバタ通信システム Download PDFInfo
- Publication number
- JP2006065683A JP2006065683A JP2004249068A JP2004249068A JP2006065683A JP 2006065683 A JP2006065683 A JP 2006065683A JP 2004249068 A JP2004249068 A JP 2004249068A JP 2004249068 A JP2004249068 A JP 2004249068A JP 2006065683 A JP2006065683 A JP 2006065683A
- Authority
- JP
- Japan
- Prior art keywords
- avatar
- lip shape
- voice
- image
- lip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【解決手段】 受信手段30は、携帯電話装置2からの音声および動画像を受信する。音声認識手段32は、受信した音声について音声認識を行い、音素に対応する口唇形状を生成する。動画像認識手段34は、受信した動画像に基づいて、口唇形状を含む顔の表情を認識する。アバタ動作決定手段36は、音声認識手段32の出力と動画像認識手段34の出力とに基づいて、アバタの動作を示すアバタ動作データを生成する。アバタ動作決定手段36は、口唇形状決定手段38を含んでいる。口唇形状決定手段38は、音声認識手段32による口唇形状と、動画像認識手段34による口唇形状とを統合して口唇動作データ(アバタ動作データの一部)を決定する。送信手段40は、得られたアバタ動作データを相手方の携帯電話装置に送信する。
【選択図】 図3
Description
前記サーバ装置は、第1の端末装置から送信されてきた音声および画像を受信する受信手段と、受信した音声に基づいて音声認識を行い、認識した音素に対応する口唇形状の時間的変化を認識する音声認識手段と、受信した画像に基づいて、口唇形状の時間的変化を認識する画像認識手段と、音声認識手段によって認識された口唇形状の時間的変化を、画像認識手段によって認識された口唇形状の時間的変化によって修正し、口唇形状の時間的変化を決定するアバタ動作決定手段と、
前記音声およびアバタ動作決定手段によって決定された口唇形状の時間的変化に関する情報を第2の端末装置に送信するための送信手段とを備えており、
前記第2の端末装置は、サーバ装置から送信されてきた音声および口唇形状の時間的変化に関する情報を受信する受信手段と、受信した口唇形状の時間的変化に関する情報に基づいて、アバタ画像の口唇形状を変化させてアバタ動画像を生成するアバタ動画像生成手段と、生成されたアバタ動画像を、第2の操作者に提示するための表示手段と、受信した音声を出力するための音声出力手段とを備えていることを特徴としている。
(1)システムの全体構成
図1に、この発明の一実施形態によるアバタ通信システムの全体構成を示す。このシステムは、操作者の有する携帯電話装置2、8、およびこれら携帯電話装置2、8と通信回線4を介して接続されたサーバ装置6を備えている。携帯電話装置2、8は、いずれも、動画を撮像し、表示する機能を有している。
図2に、携帯電話装置2の機能ブロック図を示す。なお、携帯電話装置8も同様の構成である。音声取得手段10は、操作者の音声を電気信号に変換する。撮像手段12は、操作者の動画を撮像して電気信号に変換する。送信手段14は、これら音声および動画像を、通信回線4を介してサーバ装置6に送信するものである。
図3に、サーバ装置6の機能ブロック図を示す。受信手段30は、携帯電話装置2からの音声および動画像を受信する。音声認識手段32は、受信した音声について音声認識を行い、音素に対応する口唇形状を生成する。動画像認識手段34は、受信した動画像に基づいて、口唇形状を含む顔の表情を認識する。
図4に、携帯電話装置2のハードウエア構成を示す。なお、携帯電話装置8も同じ構成である。CPU50には、ディスプレイ52、スピーカ54、通信回路56、キー58、マイク60、カメラ62、メモリ64が接続されている。
図5に、サーバ装置6のハードウエア構成を示す。CPU70には、ディスプレイ72、メモリ74、通信回路76、キーボード/マウス78、ハードディスク80、CD−ROMドライブ82が接続されている。ハードディスク80には、オペレーティングシステム90、アバタ通信プログラム94、アバタデータ96などが記録されている。アバタ通信プログラム94は、オペレーティングシステム90と協働して、機能を発揮するものである。また、アバタデータ96は、図7に示すように、複数種類の立体アバタ画像を備えている。各立体アバタ画像には、アバタIDが付されている。また、立体アバタ画像として、基本形態だけでなく、笑った形態、微笑んだ形態、怒った形態など、様々な形態が記録されている。
図6に、アバタ通信プログラム94のうちの、アバタ画像選択処理の部分のフローチャートを示す。
7-1 アバタ画像の動作決定
上記実施形態では、特徴点A〜Wの比較パラメータが最も類似するアバタ画像の表情を選択するようにしている。しかし、次のようにして、アバタ画像の動作を決定するようにしてもよい。
また、上記各実施形態では、予め用意したアバタを、ユーザが選択するようにしている。しかし、携帯電話端末装置2から送信されてきたユーザの画像に基づいて、当該ユーザの画像を変形してアバタを生成するようにしてもよい。この場合には、通信に先立って、アバタの生成を行う必要がある。
なお、上記実施形態では、音声認識に基づいてテキストを得て、口唇形状を生成しているが、音声に変えてキー58から入力されたテキストに基づいて口唇形状を生成してもよい。この場合、画像認識に基づく口唇形状の決定は行わず、テキストに基づく口唇形状だけを用いてアバタを動作させることができる。また、画像認識のための画像を別途撮像し、この画像認識に基づく口唇形状と、テキストに基づく口唇形状を統合して口唇形状を決定し、アバタを動作させるようにしてもよい。
上記実施形態では、図17に示すように、各音素に対しての口唇の形状は一定である。しかし、操作者の選択した性格に応じて、同じ音素であっても口唇形状を変えるようにしてもよい。これにより、「豪放」な印象を与える口唇の動き、「しとやか」な印象を与える口唇の動きなどを表現することができる。さらに、性格に応じて、アバタの表情を変化させるようにしてもよい。
32・・・音声認識手段
34・・・動画像認識手段
36・・・アバタ動作決定手段
38・・・口唇形状決定手段
40・・・送信手段
Claims (5)
- 第1の端末装置、第2の端末装置、サーバ装置を備えたアバタ通信システムであって、
前記第1の端末装置は、
第1の操作者の音声を取得する音声取得手段と、
第1の操作者の画像を撮像する撮像手段と、
音声取得手段、撮像手段によって取得した第1の操作者の音声および画像を、サーバ装置に送信するための送信手段と、
を備えており、
前記サーバ装置は、
第1の端末装置から送信されてきた音声および画像を受信する受信手段と、
受信した音声に基づいて音声認識を行い、認識した音素に対応する口唇形状の時間的変化を認識する音声認識手段と、
受信した画像に基づいて、口唇形状の時間的変化を認識する画像認識手段と、
音声認識手段によって認識された
口唇形状の時間的変化を、画像認識手段によって認識された口唇形状の時間的変化によって修正し、口唇形状の時間的変化を決定するアバタ動作決定手段と、
前記音声およびアバタ動作決定手段によって決定された口唇形状の時間的変化に関する情報を第2の端末装置に送信するための送信手段と、
を備えており、
前記第2の端末装置は、
サーバ装置から送信されてきた音声および口唇形状の時間的変化に関する情報を受信する受信手段と、
受信した口唇形状の時間的変化に関する情報に基づいて、アバタ画像の口唇形状を変化させてアバタ動画像を生成するアバタ動画像生成手段と、
生成されたアバタ動画像を、第2の操作者に提示するための表示手段と、
受信した音声を出力するための音声出力手段と、
を備えていることを特徴とするアバタ通信システム。 - 第1の端末装置および第2の端末装置と通信可能なサーバ装置であって、
第1の端末装置から送信されてきた音声に基づいて音声認識を行い、認識した音素に対応する口唇形状の時間的変化を認識する音声認識手段と、
第1の端末装置から送信されてきた画像に基づいて、口唇形状の時間的変化を認識する画像認識手段と、
音声認識手段によって認識された口唇形状の時間的変化を、画像認識手段によって認識された口唇形状の時間的変化によって修正し、口唇形状の時間的変化を決定するアバタ動作決定手段と、
前記音声およびアバタ動作決定手段によって決定された口唇形状の時間的変化に関する情報を第2の端末装置に送信するための送信手段と、
を備えたサーバ装置。 - 口唇形状を決定する処理をコンピュータに行わせるためのプログラムであって、
与えられた音声に基づいて音声認識を行い、認識した音素に対応する口唇形状の時間的変化を認識する音声認識処理と、
前記音声に対応するものとして与えられた画像に基づいて、口唇形状の時間的変化を認識する動画像認識処理と、
音声認識処理によって認識された口唇形状の時間的変化を、動画像認識処理によって認識された口唇形状の時間的変化によって修正し、口唇形状の時間的変化を決定するアバタ動作決定処理と、
をコンピュータに実行させるための口唇形状決定プログラム。 - 請求項1〜3のいずれかのシステム、装置またはプログラムにおいて、
サーバ装置は、第1の端末装置から属性決定データを受け取り、
前記音声認識手段は、当該属性決定データに応じて、同じ音素に対しても、当該属性を表す異なる口唇形状を生成することを特徴とするもの。 - 請求項1〜4のいずれかのシステム、装置またはプログラムにおいて、
サーバ装置は、第1の端末装置から属性決定データを受け取り、
前記アバタ動作決定手段は、前記属性決定データに基づいて口唇形状を含むアバタ動画像を修正することを特徴とするもの。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004249068A JP2006065683A (ja) | 2004-08-27 | 2004-08-27 | アバタ通信システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004249068A JP2006065683A (ja) | 2004-08-27 | 2004-08-27 | アバタ通信システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006065683A true JP2006065683A (ja) | 2006-03-09 |
Family
ID=36112112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004249068A Pending JP2006065683A (ja) | 2004-08-27 | 2004-08-27 | アバタ通信システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006065683A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8396708B2 (en) | 2009-02-18 | 2013-03-12 | Samsung Electronics Co., Ltd. | Facial expression representation apparatus |
JP2015172883A (ja) * | 2014-03-12 | 2015-10-01 | 株式会社コナミデジタルエンタテインメント | 端末装置、情報通信方法及び情報通信プログラム |
JP2018514020A (ja) * | 2015-04-07 | 2018-05-31 | インテル コーポレイション | アバターキーボード |
CN108831463A (zh) * | 2018-06-28 | 2018-11-16 | 广州华多网络科技有限公司 | 唇语合成方法、装置、电子设备及存储介质 |
CN109920422A (zh) * | 2019-03-15 | 2019-06-21 | 百度国际科技(深圳)有限公司 | 语音交互方法及装置、车载语音交互设备及存储介质 |
EP3605439A4 (en) * | 2017-03-31 | 2020-02-05 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM |
WO2021036644A1 (zh) * | 2019-08-29 | 2021-03-04 | 腾讯科技(深圳)有限公司 | 一种基于人工智能的语音驱动动画方法和装置 |
JP2022023907A (ja) * | 2017-05-16 | 2022-02-08 | アップル インコーポレイテッド | 絵文字の記録及び送信 |
US11682182B2 (en) | 2018-05-07 | 2023-06-20 | Apple Inc. | Avatar creation user interface |
US11733769B2 (en) | 2020-06-08 | 2023-08-22 | Apple Inc. | Presenting avatars in three-dimensional environments |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11219421A (ja) * | 1998-01-30 | 1999-08-10 | Toshiba Corp | 画像認識装置及び画像認識装置方法 |
-
2004
- 2004-08-27 JP JP2004249068A patent/JP2006065683A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11219421A (ja) * | 1998-01-30 | 1999-08-10 | Toshiba Corp | 画像認識装置及び画像認識装置方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8396708B2 (en) | 2009-02-18 | 2013-03-12 | Samsung Electronics Co., Ltd. | Facial expression representation apparatus |
JP2015172883A (ja) * | 2014-03-12 | 2015-10-01 | 株式会社コナミデジタルエンタテインメント | 端末装置、情報通信方法及び情報通信プログラム |
JP2018514020A (ja) * | 2015-04-07 | 2018-05-31 | インテル コーポレイション | アバターキーボード |
EP3605439A4 (en) * | 2017-03-31 | 2020-02-05 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM |
JP2022023907A (ja) * | 2017-05-16 | 2022-02-08 | アップル インコーポレイテッド | 絵文字の記録及び送信 |
US11682182B2 (en) | 2018-05-07 | 2023-06-20 | Apple Inc. | Avatar creation user interface |
CN108831463A (zh) * | 2018-06-28 | 2018-11-16 | 广州华多网络科技有限公司 | 唇语合成方法、装置、电子设备及存储介质 |
CN109920422A (zh) * | 2019-03-15 | 2019-06-21 | 百度国际科技(深圳)有限公司 | 语音交互方法及装置、车载语音交互设备及存储介质 |
WO2021036644A1 (zh) * | 2019-08-29 | 2021-03-04 | 腾讯科技(深圳)有限公司 | 一种基于人工智能的语音驱动动画方法和装置 |
US11733769B2 (en) | 2020-06-08 | 2023-08-22 | Apple Inc. | Presenting avatars in three-dimensional environments |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10528801B2 (en) | Method and system for incorporating contextual and emotional visualization into electronic communications | |
JP4449723B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
WO2023119557A1 (ja) | アバター表示装置、アバター生成装置及びプログラム | |
US6909453B2 (en) | Virtual television phone apparatus | |
CN110446000B (zh) | 一种生成对话人物形象的方法和装置 | |
US11948241B2 (en) | Robot and method for operating same | |
US6943794B2 (en) | Communication system and communication method using animation and server as well as terminal device used therefor | |
US20120223952A1 (en) | Information Processing Device Capable of Displaying A Character Representing A User, and Information Processing Method Thereof. | |
US20070009180A1 (en) | Real-time face synthesis systems | |
JPH09138767A (ja) | 感情表現の通信装置 | |
JP2003248841A (ja) | バーチャルテレビ通話装置 | |
CN110413108B (zh) | 虚拟画面的处理方法、装置、系统、电子设备及存储介质 | |
JP6711044B2 (ja) | 画像処理装置、表示装置、アニメーション生成方法及びプログラム | |
CN110794964A (zh) | 虚拟机器人的交互方法、装置、电子设备及存储介质 | |
WO2008087621A1 (en) | An apparatus and method for animating emotionally driven virtual objects | |
JP2006065683A (ja) | アバタ通信システム | |
CN115909015B (zh) | 一种可形变神经辐射场网络的构建方法和装置 | |
CN115049016A (zh) | 基于情绪识别的模型驱动方法及设备 | |
JP2006065684A (ja) | アバタ通信システム | |
JP5894505B2 (ja) | 画像コミュニケーションシステム、画像生成装置及びプログラム | |
WO2022091426A1 (ja) | 顔画像処理システム、顔画像生成用情報提供装置、顔画像生成用情報提供方法および顔画像生成用情報提供プログラム | |
KR100395491B1 (ko) | 아바타 기반 음성 언어 번역 시스템에서의 화상 통신 방법 | |
KR100919104B1 (ko) | 발신자의 3차원 얼굴 표시장치 및 방법 | |
JP2005057431A (ja) | テレビ電話端末装置 | |
JP2006048352A (ja) | キャラクタ映像表示機能付き通信端末およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20061115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20061115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070423 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070723 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070726 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070822 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070827 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070921 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070927 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071217 |