JP2003233389A - アニメーション画像生成装置、及び同装置を内蔵した携帯電話、並びにアニメーション画像生成方法 - Google Patents
アニメーション画像生成装置、及び同装置を内蔵した携帯電話、並びにアニメーション画像生成方法Info
- Publication number
- JP2003233389A JP2003233389A JP2002034465A JP2002034465A JP2003233389A JP 2003233389 A JP2003233389 A JP 2003233389A JP 2002034465 A JP2002034465 A JP 2002034465A JP 2002034465 A JP2002034465 A JP 2002034465A JP 2003233389 A JP2003233389 A JP 2003233389A
- Authority
- JP
- Japan
- Prior art keywords
- animation image
- lip
- animation
- sync
- formant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】
【課題】 プログラムに依存することなく実時間音声あ
るいは既録音の音声からリップシンク・アニメーション
画像を生成する。 【解決手段】 本発明のアニメーション画像生成装置
は、音声を分析して母音を特徴づけるフォルマント情報
を抽出するフォルマント情報抽出部１と、抽出されたフ
ォルマント情報の変化に追随してリップシンク・アニメ
ーション画像を生成するリップシンク・アニメーション
画像生成部２から成る。また、リップシンク・アニメー
ション画像生成部２は、抽出される低次のフォルマント
周波数の相対的位置関係により母音を識別する母音識別
部２１と、識別された母音に同期してあらかじめ用意さ
れたリップアニメーション画像を選択出力するリップア
ニメーション画像選択出力部２４から成る。
るいは既録音の音声からリップシンク・アニメーション
画像を生成する。 【解決手段】 本発明のアニメーション画像生成装置
は、音声を分析して母音を特徴づけるフォルマント情報
を抽出するフォルマント情報抽出部１と、抽出されたフ
ォルマント情報の変化に追随してリップシンク・アニメ
ーション画像を生成するリップシンク・アニメーション
画像生成部２から成る。また、リップシンク・アニメー
ション画像生成部２は、抽出される低次のフォルマント
周波数の相対的位置関係により母音を識別する母音識別
部２１と、識別された母音に同期してあらかじめ用意さ
れたリップアニメーション画像を選択出力するリップア
ニメーション画像選択出力部２４から成る。
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、音声に同期してア
ニメーション画像のリップ形状が変化する、アニメーシ
ョン画像生成装置、及び同装置を内蔵した携帯電話、並
びにアニメーション画像生成方法に関する。
ニメーション画像のリップ形状が変化する、アニメーシ
ョン画像生成装置、及び同装置を内蔵した携帯電話、並
びにアニメーション画像生成方法に関する。
【０００２】
【従来の技術】パーソナルコンピュータや携帯電話にお
いて、音声に同期してアニメーション画像の口形状が変
化する技術（以下、リップシンク・アニメーションと称
する）を実装したものが存在する。具体的には、特開平
６−１６２１６６号公報に開示されている。同公報によ
れば、音声合成システムまたは実音声から発音情報を抽
出し、その発音情報に基づきリップアニメーション画像
を制御する技術が開示されている。
いて、音声に同期してアニメーション画像の口形状が変
化する技術（以下、リップシンク・アニメーションと称
する）を実装したものが存在する。具体的には、特開平
６−１６２１６６号公報に開示されている。同公報によ
れば、音声合成システムまたは実音声から発音情報を抽
出し、その発音情報に基づきリップアニメーション画像
を制御する技術が開示されている。
【０００３】
【発明が解決しようとする課題】しかしながら上記した
技術は、あらかじめプログラムされた内容に基づきリッ
プアニメーション形状が変化するものであり、例えば、
携帯電話における着信メールの読み上げ等に同期した実
時間でのリップシンク・アニメーションが表示されるも
のではない。既録音の音声についても同様である。
技術は、あらかじめプログラムされた内容に基づきリッ
プアニメーション形状が変化するものであり、例えば、
携帯電話における着信メールの読み上げ等に同期した実
時間でのリップシンク・アニメーションが表示されるも
のではない。既録音の音声についても同様である。
【０００４】本発明は上記事情に鑑みてなされたもので
あり、プログラムに依存することなく、実時間音声ある
いは既録音の音声からリップシンク・アニメーション画
像を生成することができる、アニメーション画像生成装
置並びに同装置を内蔵した携帯電話、及びアニメーショ
ン画像生成プログラムを提供することを目的とする。
あり、プログラムに依存することなく、実時間音声ある
いは既録音の音声からリップシンク・アニメーション画
像を生成することができる、アニメーション画像生成装
置並びに同装置を内蔵した携帯電話、及びアニメーショ
ン画像生成プログラムを提供することを目的とする。
【０００５】
【課題を解決するための手段】上記した課題を解決する
ために本発明は、音声を分析して母音を特徴づけるフォ
ルマント情報を抽出するフォルマント情報抽出手段と、
前記抽出されたフォルマント情報の変化に追随してリッ
プシンク・アニメーション画像を生成するリップシンク
・アニメーション画像生成手段と、を備えたことを特徴
とする。本発明によれば、リップシンク・アニメーショ
ン画像生成手段が、フォルマント情報抽出手段により抽
出されたフォルマント情報の変化に追随してリップシン
ク・アニメーション画像を生成するため、プログラムに
依存することなく、既録音、あるいは実時間音声のリッ
プシンク・アニメーション表示を可能としたアニメーシ
ョン画像生成装置を提供することができる。
ために本発明は、音声を分析して母音を特徴づけるフォ
ルマント情報を抽出するフォルマント情報抽出手段と、
前記抽出されたフォルマント情報の変化に追随してリッ
プシンク・アニメーション画像を生成するリップシンク
・アニメーション画像生成手段と、を備えたことを特徴
とする。本発明によれば、リップシンク・アニメーショ
ン画像生成手段が、フォルマント情報抽出手段により抽
出されたフォルマント情報の変化に追随してリップシン
ク・アニメーション画像を生成するため、プログラムに
依存することなく、既録音、あるいは実時間音声のリッ
プシンク・アニメーション表示を可能としたアニメーシ
ョン画像生成装置を提供することができる。
【０００６】また、本発明において、前記リップシンク
・アニメーション画像生成手段は、前記フォルマント情
報抽出手段により抽出される低次のフォルマント周波数
の相対的位置関係により母音を識別する母音識別手段
と、前記識別された母音に同期してあらかじめ用意され
たリップアニメーション画像を選択出力するリップアニ
メーション画像選択出力手段と、を備えたことを特徴と
する。本発明によれば、リップアニメーション画像選択
出力手段が、母音識別手段により識別された母音に同期
してあらかじめ用意されたリップアニメーション画像を
選択出力するため、音声の定常部位に連動して、既録
音、あるいは実時間音声のリップシンク・アニメーショ
ン画像表示を可能としたアニメーション画像生成装置を
提供することができる。
・アニメーション画像生成手段は、前記フォルマント情
報抽出手段により抽出される低次のフォルマント周波数
の相対的位置関係により母音を識別する母音識別手段
と、前記識別された母音に同期してあらかじめ用意され
たリップアニメーション画像を選択出力するリップアニ
メーション画像選択出力手段と、を備えたことを特徴と
する。本発明によれば、リップアニメーション画像選択
出力手段が、母音識別手段により識別された母音に同期
してあらかじめ用意されたリップアニメーション画像を
選択出力するため、音声の定常部位に連動して、既録
音、あるいは実時間音声のリップシンク・アニメーショ
ン画像表示を可能としたアニメーション画像生成装置を
提供することができる。
【０００７】また、本発明において、前記リップシンク
・アニメーション画像生成手段は、子音を識別し、前記
識別された子音に同期してあらかじめ用意されたリップ
アニメーション画像を選択出力するリップアニメーショ
ン画像選択出力手段、を備えたことを特徴とする。本発
明によれば、リップアニメーション画像選択出力手段
が、音声の過渡部位である子音を認識して識別された子
音に同期してあらかじめ用意されたリップアニメーショ
ン画像を選択出力することにより、よりリアルで表現豊
かなリップシンク・アニメーション画像表示を可能とし
たアニメーション画像生成装置を提供することができ
る。
・アニメーション画像生成手段は、子音を識別し、前記
識別された子音に同期してあらかじめ用意されたリップ
アニメーション画像を選択出力するリップアニメーショ
ン画像選択出力手段、を備えたことを特徴とする。本発
明によれば、リップアニメーション画像選択出力手段
が、音声の過渡部位である子音を認識して識別された子
音に同期してあらかじめ用意されたリップアニメーショ
ン画像を選択出力することにより、よりリアルで表現豊
かなリップシンク・アニメーション画像表示を可能とし
たアニメーション画像生成装置を提供することができ
る。
【０００８】上記した課題を解決するために本発明は、
着信音声を分析して母音を特徴づけるフォルマント情報
を抽出するフォルマント情報抽出手段と、着信時、あら
かじめ設定された発信者別のリップアニメーション画像
を読み出し、前記抽出されたフォルマント情報の変化に
同期してリップシンク・アニメーション画像を生成する
リップシンク・アニメーション画像生成手段と、を備え
たことを特徴とする。本発明によれば、リップシンク・
アニメーション画像生成手段が、フォルマント情報抽出
手段により抽出されたフォルマント情報の変化に追随し
てリップシンク・アニメーション画像を生成するため、
既録音、あるいは実時間音声のリップシンク・アニメー
ション表示を可能とした携帯電話を提供することができ
る。
着信音声を分析して母音を特徴づけるフォルマント情報
を抽出するフォルマント情報抽出手段と、着信時、あら
かじめ設定された発信者別のリップアニメーション画像
を読み出し、前記抽出されたフォルマント情報の変化に
同期してリップシンク・アニメーション画像を生成する
リップシンク・アニメーション画像生成手段と、を備え
たことを特徴とする。本発明によれば、リップシンク・
アニメーション画像生成手段が、フォルマント情報抽出
手段により抽出されたフォルマント情報の変化に追随し
てリップシンク・アニメーション画像を生成するため、
既録音、あるいは実時間音声のリップシンク・アニメー
ション表示を可能とした携帯電話を提供することができ
る。
【０００９】また、本発明は、着信時におけるリップア
ニメーション画像表示は、ハンズフリー通話モードにお
いてのみ有効とするモード制御手段、を備えたことを特
徴とする。本発明によれば、モード制御手段が、着信時
におけるリップアニメーション画像表示をハンズフリー
通話モードにおいてのみ有効とするため、通話中に意味
のないアニメーション画像表示を無効にすることがで
き、無駄な電力消費を回避した携帯電話を提供すること
ができる。
ニメーション画像表示は、ハンズフリー通話モードにお
いてのみ有効とするモード制御手段、を備えたことを特
徴とする。本発明によれば、モード制御手段が、着信時
におけるリップアニメーション画像表示をハンズフリー
通話モードにおいてのみ有効とするため、通話中に意味
のないアニメーション画像表示を無効にすることがで
き、無駄な電力消費を回避した携帯電話を提供すること
ができる。
【００１０】また、本発明において、通常モードにおい
てはメールテキストを音声変換して音声出力すると共に
リップシンク・アニメーション表示を行い、マナーモー
ドにおいては前記音声出力を禁止してリップシンク・ア
ニメーション表示を行うモード制御手段、を備えたこと
を特徴とする。本発明によれば、モード制御手段が、通
話モード時、メールテキストを音声変換して音声出力す
ると共にリップシンク・アニメーション表示を行い、マ
ナーモード時、音声出力を禁止してリップシンク・アニ
メーション表示を行うため、メールテキストの読み上げ
をモードによって制御可能な携帯電話を提供することが
できる。
てはメールテキストを音声変換して音声出力すると共に
リップシンク・アニメーション表示を行い、マナーモー
ドにおいては前記音声出力を禁止してリップシンク・ア
ニメーション表示を行うモード制御手段、を備えたこと
を特徴とする。本発明によれば、モード制御手段が、通
話モード時、メールテキストを音声変換して音声出力す
ると共にリップシンク・アニメーション表示を行い、マ
ナーモード時、音声出力を禁止してリップシンク・アニ
メーション表示を行うため、メールテキストの読み上げ
をモードによって制御可能な携帯電話を提供することが
できる。
【００１１】上記した課題を解決するために本発明は、
アニメーション画像生成装置においてリップシンク・ア
ニメーション画像を生成するアニメーション画像生成方
法であって、音声を分析して母音を特徴づけるフォルマ
ント情報を抽出するステップと、前記抽出されたフォル
マント情報の変化に追随してリップシンク・アニメーシ
ョン画像を生成するステップと、を含むことを特徴とす
る。本発明によれば、抽出されたフォルマント情報の変
化に追随してリップシンク・アニメーション画像を生成
するため、既録音、あるいは実時間音声のリップシンク
・アニメーション表示が可能になる。
アニメーション画像生成装置においてリップシンク・ア
ニメーション画像を生成するアニメーション画像生成方
法であって、音声を分析して母音を特徴づけるフォルマ
ント情報を抽出するステップと、前記抽出されたフォル
マント情報の変化に追随してリップシンク・アニメーシ
ョン画像を生成するステップと、を含むことを特徴とす
る。本発明によれば、抽出されたフォルマント情報の変
化に追随してリップシンク・アニメーション画像を生成
するため、既録音、あるいは実時間音声のリップシンク
・アニメーション表示が可能になる。
【００１２】
【発明の実施の形態】図１は、本発明のアニメーション
画像生成装置の内部構成を機能展開して示したブロック
図である。以下に示す各ブロックは、具体的にはＣＰＵ
ならびにメモリを含む周辺ＬＳＩで構成され、ＣＰＵが
メモリに記録されたプログラムを読み出し実行すること
により、そのブロックが持つ機能を実現するものであ
る。
画像生成装置の内部構成を機能展開して示したブロック
図である。以下に示す各ブロックは、具体的にはＣＰＵ
ならびにメモリを含む周辺ＬＳＩで構成され、ＣＰＵが
メモリに記録されたプログラムを読み出し実行すること
により、そのブロックが持つ機能を実現するものであ
る。
【００１３】本発明のアニメーション画像生成装置は、
フォルマント情報抽出部１と、リップシンク・アニメー
ション（ＬＳＡ）画像生成部２で構成される。フォルマ
ント情報抽出部１は、音声を分析して母音を特徴づける
フォルマント情報を抽出する機能を持つ。ＬＳＡ画像生
成部２は、フォルマント情報抽出部１で抽出されたフォ
ルマント情報の変化に追随してリップシンク・アニメー
ション画像を生成する機能を持ち、母音識別部２１と、
子音識別部２２と、パラメータ演算部２３と、ＬＡ画像
選択出力部２４と、ＬＡ画像データベース（ＤＢ）２５
で構成される。
フォルマント情報抽出部１と、リップシンク・アニメー
ション（ＬＳＡ）画像生成部２で構成される。フォルマ
ント情報抽出部１は、音声を分析して母音を特徴づける
フォルマント情報を抽出する機能を持つ。ＬＳＡ画像生
成部２は、フォルマント情報抽出部１で抽出されたフォ
ルマント情報の変化に追随してリップシンク・アニメー
ション画像を生成する機能を持ち、母音識別部２１と、
子音識別部２２と、パラメータ演算部２３と、ＬＡ画像
選択出力部２４と、ＬＡ画像データベース（ＤＢ）２５
で構成される。
【００１４】母音識別部２１は、フォルマント情報抽出
部１により抽出される低次のフォルマント周波数の相対
的位置関係により母音を識別する機能を持ち、子音識別
部２２は、子音を識別する機能を持つ。また、パラメー
タ演算部２３は、母音識別部２１、子音識別部２２によ
って識別された母音、子音パラメータを加工してフォル
マント合成を行い、予め多数のＬＡ画像が蓄積されたＬ
Ａ画像ＤＢ２５から適切なＬＡ画像を選択出力するため
のデータを生成する機能を持つ。ＬＡ画像選択出力部２
４は、パラメータ演算部２３によって出力されるデータ
に基づき、識別された母音、あるいは子音との組み合わ
せに同期してあらかじめ用意されたＬＡ画像を選択出力
する機能を持つ。
部１により抽出される低次のフォルマント周波数の相対
的位置関係により母音を識別する機能を持ち、子音識別
部２２は、子音を識別する機能を持つ。また、パラメー
タ演算部２３は、母音識別部２１、子音識別部２２によ
って識別された母音、子音パラメータを加工してフォル
マント合成を行い、予め多数のＬＡ画像が蓄積されたＬ
Ａ画像ＤＢ２５から適切なＬＡ画像を選択出力するため
のデータを生成する機能を持つ。ＬＡ画像選択出力部２
４は、パラメータ演算部２３によって出力されるデータ
に基づき、識別された母音、あるいは子音との組み合わ
せに同期してあらかじめ用意されたＬＡ画像を選択出力
する機能を持つ。
【００１５】図２は、図１に示すアニメーション画像生
成装置の動作を説明するために引用したフローチャート
であり、具体的には、本発明のアニメーション画像生成
プログラムの処理手順を示す。以下、図２に示すフロー
チャートを参照しながら図１に示すアニメーション画像
生成装置の動作について説明する。
成装置の動作を説明するために引用したフローチャート
であり、具体的には、本発明のアニメーション画像生成
プログラムの処理手順を示す。以下、図２に示すフロー
チャートを参照しながら図１に示すアニメーション画像
生成装置の動作について説明する。
【００１６】普通、母音には数個のフォルマントがあっ
て、周波数の低いほうから第１、第２、第３……フォル
マントと呼ばれる。フォルマントは、発声者、性別、年
齢等により大幅に変動があり、発声時、前後につなげて
発声される音素の影響を受けてその周波数が変動する性
質を持つ。母音を特徴付けるフォルマントは、低次のフ
ォルマントであって、特に、第１および第２フォルマン
トの寄与が大きい。図３、図４に、ＣＳＭ（複合正弦波
モデル）分析における分析結果を、それぞれ男性と女性
の実測値（縦軸に５母音別の利得、横軸に周波数を示
す）で示している。図中、（ａ）は、基本ピッチ成分、
（ｂ）は、第１フォルマント、（ｃ）は第２フォルマン
トを示す。
て、周波数の低いほうから第１、第２、第３……フォル
マントと呼ばれる。フォルマントは、発声者、性別、年
齢等により大幅に変動があり、発声時、前後につなげて
発声される音素の影響を受けてその周波数が変動する性
質を持つ。母音を特徴付けるフォルマントは、低次のフ
ォルマントであって、特に、第１および第２フォルマン
トの寄与が大きい。図３、図４に、ＣＳＭ（複合正弦波
モデル）分析における分析結果を、それぞれ男性と女性
の実測値（縦軸に５母音別の利得、横軸に周波数を示
す）で示している。図中、（ａ）は、基本ピッチ成分、
（ｂ）は、第１フォルマント、（ｃ）は第２フォルマン
トを示す。
【００１７】そこで、フォルマント情報抽出部１は、音
声を分析して母音を特徴づけるフォルマント情報を抽出
し（ステップＳ２１）、抽出されたフォルマント情報を
ＬＳＡ画像生成部２へ引き渡し、フォルマント分析およ
び分析結果に基づくＬＳＡ画像生成を行う。ここでは、
ＣＳＭによりフォルマント分析を行うこととしたが、他
に、ＦＦＴ（Fast Fourier Transform）によりスペク
トル包絡を得る他に、ＬＰＣ（線形予測）に基づく方法
がある（ステップＳ２２）。これらフォルマント分析法
については周知の技術であるため、ここでの説明は省略
する。
声を分析して母音を特徴づけるフォルマント情報を抽出
し（ステップＳ２１）、抽出されたフォルマント情報を
ＬＳＡ画像生成部２へ引き渡し、フォルマント分析およ
び分析結果に基づくＬＳＡ画像生成を行う。ここでは、
ＣＳＭによりフォルマント分析を行うこととしたが、他
に、ＦＦＴ（Fast Fourier Transform）によりスペク
トル包絡を得る他に、ＬＰＣ（線形予測）に基づく方法
がある（ステップＳ２２）。これらフォルマント分析法
については周知の技術であるため、ここでの説明は省略
する。
【００１８】リップシンクは、主に５母音（ア・イ・ウ
・エ・オ）のタイプによりあらかじめＬＡ画像ＤＢ２５
に用意されたリップ画像を切替えることにより実現され
る。これは、音声の定常部位に連動させる場合であっ
て、母音識別部２１で、第１フォルマントと第２フォル
マントの相対位置関係により母音を識別し（ステップＳ
２３）、パラメータ演算部２３で合成して得られるデー
タに基づき、ＬＡ画像選択出力部２４がＬＡ画像ＤＢ２
５をアクセスすることによって得られる（ステップＳ２
４、Ｓ２５）。
・エ・オ）のタイプによりあらかじめＬＡ画像ＤＢ２５
に用意されたリップ画像を切替えることにより実現され
る。これは、音声の定常部位に連動させる場合であっ
て、母音識別部２１で、第１フォルマントと第２フォル
マントの相対位置関係により母音を識別し（ステップＳ
２３）、パラメータ演算部２３で合成して得られるデー
タに基づき、ＬＡ画像選択出力部２４がＬＡ画像ＤＢ２
５をアクセスすることによって得られる（ステップＳ２
４、Ｓ２５）。
【００１９】なお、音声の過渡部、すなわち、子音を認
識して上記したリップシンクを制御すれば、よりリアル
で表現性豊かなリップアニメーション画像の生成が可能
である。このときの子音は、子音識別部２２で検出され
る。また、音声を分析して母音、子音を検出する技術、
ならびに、検出したパラメータを加工してフォルマント
合成する技術は、特許２７５４９６５号に詳細に開示さ
れているため、ここでの説明は省略する。
識して上記したリップシンクを制御すれば、よりリアル
で表現性豊かなリップアニメーション画像の生成が可能
である。このときの子音は、子音識別部２２で検出され
る。また、音声を分析して母音、子音を検出する技術、
ならびに、検出したパラメータを加工してフォルマント
合成する技術は、特許２７５４９６５号に詳細に開示さ
れているため、ここでの説明は省略する。
【００２０】上記した本発明のアニメーション画像生成
装置の携帯電話への応用が図５に示されている。図５に
おいて、１０は携帯電話本体であり、図示せぬアンテ
ナ、変復調部、ＣＯＤＥＣ他、マイクロプロセッサ内蔵
の制御部で構成される。１１は上記したアニメーション
画像生成装置である。１２はテキスト−音声変換装置で
あり、メールテキストを読み上げるときに使用される。
上記した携帯電話本体１０、アニメーション画像生成装
置１１、テキスト−音声変換装置１２は、いずれもモー
ド制御部１３によってその動作モードが制御される。
装置の携帯電話への応用が図５に示されている。図５に
おいて、１０は携帯電話本体であり、図示せぬアンテ
ナ、変復調部、ＣＯＤＥＣ他、マイクロプロセッサ内蔵
の制御部で構成される。１１は上記したアニメーション
画像生成装置である。１２はテキスト−音声変換装置で
あり、メールテキストを読み上げるときに使用される。
上記した携帯電話本体１０、アニメーション画像生成装
置１１、テキスト−音声変換装置１２は、いずれもモー
ド制御部１３によってその動作モードが制御される。
【００２１】ここで、動作モードとして用意されるもの
に、通常モードの他に、ハンズフリー（ＨＦ）モード、
マナーモードがある。すなわち、通話時における発信者
のリップアニメーション表示は、モード制御部１３のコ
ントロールにより、ハンズフリー通話時にのみ有効とす
る。これは、受話口に耳をあてて通話しているときにア
ニメーション表示しても意味がないことへの対応であ
り、この場合無駄な表示動作が省けるため、携帯電話の
バッテリ延命化に寄与する。なお、発信者別のアニメー
ション画像をあらかじめＤＢ化しておき、着信時、発信
者のアニメーション画像が出現してそのリップ形状を制
御することによりリアリティが増す。
に、通常モードの他に、ハンズフリー（ＨＦ）モード、
マナーモードがある。すなわち、通話時における発信者
のリップアニメーション表示は、モード制御部１３のコ
ントロールにより、ハンズフリー通話時にのみ有効とす
る。これは、受話口に耳をあてて通話しているときにア
ニメーション表示しても意味がないことへの対応であ
り、この場合無駄な表示動作が省けるため、携帯電話の
バッテリ延命化に寄与する。なお、発信者別のアニメー
ション画像をあらかじめＤＢ化しておき、着信時、発信
者のアニメーション画像が出現してそのリップ形状を制
御することによりリアリティが増す。
【００２２】一方、メールテキストの読み上げ時、通常
モードにおいては、テキスト−音声変換装置１２により
入力テキストが音声変換され、更に読み上げ音声がリッ
プシンク・アニメーション画像に変換され表示される。
この場合、テキスト表示、読み上げ音声出力、リップア
ニメーション表示が共になされる。これに対し、マナー
モードが設定されていた場合、テキスト−音声変換装置
１２により入力テキストが音声変換されるが、モード制
御部１３により音声出力は禁止される。また、読み上げ
音声は、アニメーション画像生成装置１１によりリップ
シンク・アニメーション画像に変換され表示される。こ
の場合、テキスト表示、リップアニメーション表示は共
になされる。なお、テキスト表示は、音声またはリップ
アニメーション画像に同期して色替えまたはスクロール
表示されることとする。
モードにおいては、テキスト−音声変換装置１２により
入力テキストが音声変換され、更に読み上げ音声がリッ
プシンク・アニメーション画像に変換され表示される。
この場合、テキスト表示、読み上げ音声出力、リップア
ニメーション表示が共になされる。これに対し、マナー
モードが設定されていた場合、テキスト−音声変換装置
１２により入力テキストが音声変換されるが、モード制
御部１３により音声出力は禁止される。また、読み上げ
音声は、アニメーション画像生成装置１１によりリップ
シンク・アニメーション画像に変換され表示される。こ
の場合、テキスト表示、リップアニメーション表示は共
になされる。なお、テキスト表示は、音声またはリップ
アニメーション画像に同期して色替えまたはスクロール
表示されることとする。
【００２３】以上説明のように、本発明によれば、フォ
ルマント情報に基づく母音情報を得てリップ形状を制御
することにより、プログラムに依存することなく、実時
間音声あるいは既録音の音声からリップシンク・アニメ
ーション画像を生成することが可能となる。なお、上述
の実施の形態では、アニメーション画像生成装置の応用
例として携帯電話についてのみ示したが、ＰＤＡ（Pers
onal Digital Assistants）等、携帯電話機能付き情
報機器にも同様に応用可能である。また、図１に示すフ
ォルマント情報抽出部１、ＬＳＡ画像生成装置２、母音
識別部２１、子音識別部２２、パラメータ演算部２３、
ＬＡ画像選択出力部のそれぞれで実行される手順をコン
ピュータ読取り可能な記録媒体に記録し、この記録媒体
に記録されたプログラムをコンピュータシステムに読み
込ませ、実行することにより、本発明のアニメーション
画像生成装置が実現されるものとする。ここでいうコン
ピュータシステムとは、ＯＳや周辺機器等のハードウェ
アを含む。
ルマント情報に基づく母音情報を得てリップ形状を制御
することにより、プログラムに依存することなく、実時
間音声あるいは既録音の音声からリップシンク・アニメ
ーション画像を生成することが可能となる。なお、上述
の実施の形態では、アニメーション画像生成装置の応用
例として携帯電話についてのみ示したが、ＰＤＡ（Pers
onal Digital Assistants）等、携帯電話機能付き情
報機器にも同様に応用可能である。また、図１に示すフ
ォルマント情報抽出部１、ＬＳＡ画像生成装置２、母音
識別部２１、子音識別部２２、パラメータ演算部２３、
ＬＡ画像選択出力部のそれぞれで実行される手順をコン
ピュータ読取り可能な記録媒体に記録し、この記録媒体
に記録されたプログラムをコンピュータシステムに読み
込ませ、実行することにより、本発明のアニメーション
画像生成装置が実現されるものとする。ここでいうコン
ピュータシステムとは、ＯＳや周辺機器等のハードウェ
アを含む。
【００２４】更に、「コンピュータシステム」は、ＷＷ
Ｗシステムを利用している場合であれば、ホームページ
提供環境（あるいは表示環境）も含むものとする。更に
また、「コンピュータ読取り可能な記録媒体」とは、Ｒ
ＯＭの他に、フレキシブルディスク、光磁気ディスク、
ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内
蔵されるハードディスク等の記憶装置のことをいう。さ
らに「コンピュータ読取り可能な記録媒体」とは、イン
ターネット等のネットワークや電話回線等の通信回線を
介してプログラムが送信された場合のシステムやクライ
アントとなるコンピュータシステム内部の揮発性メモリ
（ＲＡＭ）のように、一定時間プログラムを保持してい
るものも含むものとする。
Ｗシステムを利用している場合であれば、ホームページ
提供環境（あるいは表示環境）も含むものとする。更に
また、「コンピュータ読取り可能な記録媒体」とは、Ｒ
ＯＭの他に、フレキシブルディスク、光磁気ディスク、
ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内
蔵されるハードディスク等の記憶装置のことをいう。さ
らに「コンピュータ読取り可能な記録媒体」とは、イン
ターネット等のネットワークや電話回線等の通信回線を
介してプログラムが送信された場合のシステムやクライ
アントとなるコンピュータシステム内部の揮発性メモリ
（ＲＡＭ）のように、一定時間プログラムを保持してい
るものも含むものとする。
【００２５】更にまた、上記プログラムは、このプログ
ラムを記憶装置等に格納したコンピュータシステムか
ら、伝送媒体を介して、あるいは、伝送媒体中の伝送波
により他のコンピュータシステムに伝送されてもよい。
ここで、プログラムを伝送する「伝送媒体」は、インタ
ーネット等のネットワーク（通信網）や電話回線等の通
信回線（通信線）のように情報を伝送する機能を有する
媒体のことをいう。更にまた、上記プログラムは、前述
した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに
記録されているプログラムとの組み合わせで実現できる
もの、いわゆる差分ファイル（差分プログラム）であっ
ても良い。
ラムを記憶装置等に格納したコンピュータシステムか
ら、伝送媒体を介して、あるいは、伝送媒体中の伝送波
により他のコンピュータシステムに伝送されてもよい。
ここで、プログラムを伝送する「伝送媒体」は、インタ
ーネット等のネットワーク（通信網）や電話回線等の通
信回線（通信線）のように情報を伝送する機能を有する
媒体のことをいう。更にまた、上記プログラムは、前述
した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに
記録されているプログラムとの組み合わせで実現できる
もの、いわゆる差分ファイル（差分プログラム）であっ
ても良い。
【００２６】以上、この発明の実施形態について図面を
参照して詳述してきたが、具体的な構成はこの実施形態
に限られるものではなく、この発明の要旨を逸脱しない
範囲の設計等も含まれる。
参照して詳述してきたが、具体的な構成はこの実施形態
に限られるものではなく、この発明の要旨を逸脱しない
範囲の設計等も含まれる。
【００２７】
【発明の効果】以上説明のように本発明によれば、抽出
されたフォルマント情報の変化に追随してリップシンク
・アニメーション画像を生成するため、プログラムに依
存することなく、既録音、あるいは実時間音声のリップ
シンク・アニメーション表示が可能になる。また、母音
の他に、音声の過渡部位である子音を認識し、識別され
た子音に同期してあらかじめ用意されたリップアニメー
ション画像を選択出力することにより、よりリアルで表
現豊かなリップシンク・アニメーション画像表示を可能
とすることができる。また、本発明を携帯電話に応用す
ることにより、メールテキストの読み上げ等、動作モー
ドに従うリップシンク・アニメーション表示を実現でき
る。
されたフォルマント情報の変化に追随してリップシンク
・アニメーション画像を生成するため、プログラムに依
存することなく、既録音、あるいは実時間音声のリップ
シンク・アニメーション表示が可能になる。また、母音
の他に、音声の過渡部位である子音を認識し、識別され
た子音に同期してあらかじめ用意されたリップアニメー
ション画像を選択出力することにより、よりリアルで表
現豊かなリップシンク・アニメーション画像表示を可能
とすることができる。また、本発明を携帯電話に応用す
ることにより、メールテキストの読み上げ等、動作モー
ドに従うリップシンク・アニメーション表示を実現でき
る。
【図１】 本発明のアニメーション画像生成装置の内部
構成を機能展開して示したブロック図である。
構成を機能展開して示したブロック図である。
【図２】 図１に示すアニメーション画像生成装置の動
作を説明するために引用したフローチャートである。
作を説明するために引用したフローチャートである。
【図３】 本発明実施形態の動作を説明するために引用
したグラフであり、ＣＳＭ分析結果である実測値を示
す。
したグラフであり、ＣＳＭ分析結果である実測値を示
す。
【図４】 本発明実施形態の動作を説明するために引用
したグラフであり、ＣＳＭ分析結果である実測値を示
す。
したグラフであり、ＣＳＭ分析結果である実測値を示
す。
【図５】 本発明の形態電話への応用例を示すブロック
図である。
図である。
１…フォルマント情報抽出部、２…リップシンク・アニ
メーション（ＬＳＡ）画像生成部、１０…携帯電話本
体、１１…アニメーション画像生成装置、１２…テキス
ト−音声変換装置、１３…モード制御部、２１…母音識
別部、２２…子音識別部、２３…パラメータ演算部、２
４…リップアニメーション（ＬＡ）画像選択出力部、２
５…リップアニメーション（ＬＡ）画像ＤＢ。
メーション（ＬＳＡ）画像生成部、１０…携帯電話本
体、１１…アニメーション画像生成装置、１２…テキス
ト−音声変換装置、１３…モード制御部、２１…母音識
別部、２２…子音識別部、２３…パラメータ演算部、２
４…リップアニメーション（ＬＡ）画像選択出力部、２
５…リップアニメーション（ＬＡ）画像ＤＢ。
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｇ１０Ｌ 3/00 ５５１Ａ
Claims (7)
- 【請求項１】 音声を分析して母音を特徴づけるフォル
マント情報を抽出するフォルマント情報抽出手段と、 前記抽出されたフォルマント情報の変化に追随してリッ
プシンク・アニメーション画像を生成するリップシンク
・アニメーション画像生成手段と、を備えたことを特徴
とするアニメーション画像生成装置。 - 【請求項２】 前記リップシンク・アニメーション画像
生成手段は、 前記フォルマント情報抽出手段により抽出される低次の
フォルマント周波数の相対的位置関係により母音を識別
する母音識別手段と、 前記識別された母音に同期してあらかじめ用意されたリ
ップアニメーション画像を選択出力するリップアニメー
ション画像選択出力手段と、を備えたことを特徴とする
請求項１に記載のアニメーション画像生成装置。 - 【請求項３】 前記リップシンク・アニメーション画像
生成手段は、 子音を識別し、前記識別された子音に同期してあらかじ
め用意されたリップアニメーション画像を選択出力する
リップアニメーション画像選択出力手段、を備えたこと
を特徴とする請求項１または２に記載のアニメーション
画像生成装置。 - 【請求項４】 着信音声を分析して母音を特徴づけるフ
ォルマント情報を抽出するフォルマント情報抽出手段
と、 着信時、あらかじめ設定された発信者別のリップアニメ
ーション画像を読み出し、前記抽出されたフォルマント
情報の変化に同期してリップシンク・アニメーション画
像を生成するリップシンク・アニメーション画像生成手
段と、を備えたことを特徴とする携帯電話。 - 【請求項５】 着信時におけるリップアニメーション画
像表示は、ハンズフリー通話モードにおいてのみ有効と
するモード制御手段、を備えたことを特徴とする請求項
４に記載の携帯電話。 - 【請求項６】 通常モードにおいてはメールテキストを
音声変換して音声出力すると共にリップシンク・アニメ
ーション表示を行い、マナーモードにおいては前記音声
出力を禁止してリップシンク・アニメーション表示を行
うモード制御手段、を備えたことを特徴とする請求項４
に記載の携帯電話。 - 【請求項７】 アニメーション画像生成装置においてリ
ップシンク・アニメーション画像を生成するアニメーシ
ョン画像生成方法であって、 音声を分析して母音を特徴づけるフォルマント情報を抽
出するステップと、前記抽出されたフォルマント情報の
変化に追随してリップシンク・アニメーション画像を生
成するステップと、を含むことを特徴とするアニメーシ
ョン画像生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002034465A JP2003233389A (ja) | 2002-02-12 | 2002-02-12 | アニメーション画像生成装置、及び同装置を内蔵した携帯電話、並びにアニメーション画像生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002034465A JP2003233389A (ja) | 2002-02-12 | 2002-02-12 | アニメーション画像生成装置、及び同装置を内蔵した携帯電話、並びにアニメーション画像生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003233389A true JP2003233389A (ja) | 2003-08-22 |
Family
ID=27776958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002034465A Pending JP2003233389A (ja) | 2002-02-12 | 2002-02-12 | アニメーション画像生成装置、及び同装置を内蔵した携帯電話、並びにアニメーション画像生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003233389A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1507391A2 (en) * | 2003-08-14 | 2005-02-16 | Nec Corporation | A portable telephone including an animation function and a method of controlling the same |
| CN1319042C (zh) * | 2004-02-26 | 2007-05-30 | 世嘉股份有限公司 | 语音分析设备和语音分析方法 |
| CN100413339C (zh) * | 2005-03-11 | 2008-08-20 | 乐金电子(中国)研究开发中心有限公司 | 便携终端的影像和语音信号的同步装置及其方法 |
| JP2010238133A (ja) * | 2009-03-31 | 2010-10-21 | Namco Bandai Games Inc | プログラム、情報記憶媒体、口形状制御方法及び口形状制御装置 |
| WO2021212985A1 (zh) * | 2020-04-21 | 2021-10-28 | 北京字节跳动网络技术有限公司 | 声学网络模型训练方法、装置及电子设备 |
-
2002
- 2002-02-12 JP JP2002034465A patent/JP2003233389A/ja active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1507391A2 (en) * | 2003-08-14 | 2005-02-16 | Nec Corporation | A portable telephone including an animation function and a method of controlling the same |
| EP1507391A3 (en) * | 2003-08-14 | 2005-03-30 | Nec Corporation | A portable telephone including an animation function and a method of controlling the same |
| CN1319042C (zh) * | 2004-02-26 | 2007-05-30 | 世嘉股份有限公司 | 语音分析设备和语音分析方法 |
| US7680660B2 (en) | 2004-02-26 | 2010-03-16 | Sega Corporation | Voice analysis device, voice analysis method and voice analysis program |
| CN100413339C (zh) * | 2005-03-11 | 2008-08-20 | 乐金电子(中国)研究开发中心有限公司 | 便携终端的影像和语音信号的同步装置及其方法 |
| JP2010238133A (ja) * | 2009-03-31 | 2010-10-21 | Namco Bandai Games Inc | プログラム、情報記憶媒体、口形状制御方法及び口形状制御装置 |
| US8612228B2 (en) | 2009-03-31 | 2013-12-17 | Namco Bandai Games Inc. | Character mouth shape control method |
| WO2021212985A1 (zh) * | 2020-04-21 | 2021-10-28 | 北京字节跳动网络技术有限公司 | 声学网络模型训练方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11727914B2 (en) | Intent recognition and emotional text-to-speech learning | |
| JP6113302B2 (ja) | 音声データの伝送方法及び装置 | |
| US10650810B2 (en) | Determining phonetic relationships | |
| US8706488B2 (en) | Methods and apparatus for formant-based voice synthesis | |
| US9922641B1 (en) | Cross-lingual speaker adaptation for multi-lingual speech synthesis | |
| CN105957515B (zh) | 声音合成方法、声音合成装置和存储声音合成程序的介质 | |
| JP2023022150A (ja) | 双方向音声翻訳システム、双方向音声翻訳方法及びプログラム | |
| US20130041669A1 (en) | Speech output with confidence indication | |
| JP5750380B2 (ja) | 音声翻訳装置、音声翻訳方法および音声翻訳プログラム | |
| JP4914295B2 (ja) | 力み音声検出装置 | |
| US8768701B2 (en) | Prosodic mimic method and apparatus | |
| US12027165B2 (en) | Computer program, server, terminal, and speech signal processing method | |
| CN112133277B (zh) | 样本生成方法及装置 | |
| US20230206897A1 (en) | Electronic apparatus and method for controlling thereof | |
| JP2009008910A (ja) | 音声読み上げのための装置、プログラム及び方法 | |
| CN113948062B (zh) | 数据转换方法及计算机存储介质 | |
| JP6013104B2 (ja) | 音声合成方法、装置、及びプログラム | |
| CN113838169B (zh) | 一种基于文本驱动的虚拟人微表情表达方法 | |
| JP2003233389A (ja) | アニメーション画像生成装置、及び同装置を内蔵した携帯電話、並びにアニメーション画像生成方法 | |
| CN113539239B (zh) | 语音转换方法、装置、存储介质及电子设备 | |
| CN113870828A (zh) | 音频合成方法、装置、电子设备和可读存储介质 | |
| JP5949634B2 (ja) | 音声合成システム、及び音声合成方法 | |
| KR20220116660A (ko) | 인공지능 스피커 기능을 탑재한 텀블러 장치 | |
| JP2011141470A (ja) | 素片情報生成装置、音声合成システム、音声合成方法、及び、プログラム | |
| Ghimire et al. | Enhancing the quality of nepali text-to-speech systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050816 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060418 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060619 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060725 |