JP2001179667A - 同期制御装置および方法、並びに記録媒体 - Google Patents
同期制御装置および方法、並びに記録媒体Info
- Publication number
- JP2001179667A JP2001179667A JP37377999A JP37377999A JP2001179667A JP 2001179667 A JP2001179667 A JP 2001179667A JP 37377999 A JP37377999 A JP 37377999A JP 37377999 A JP37377999 A JP 37377999A JP 2001179667 A JP2001179667 A JP 2001179667A
- Authority
- JP
- Japan
- Prior art keywords
- phoneme
- information
- processing
- generating
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 37
- 230000001360 synchronised effect Effects 0.000 title claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 12
- 230000005236 sound signal Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 241001465754 Metazoa Species 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 abstract description 21
- 238000003786 synthesis reaction Methods 0.000 abstract description 21
- 210000000056 organ Anatomy 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 102220538112 Modulator of macroautophagy TMEM150B_A63H_mutation Human genes 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
- G10L2021/105—Synthesis of the lips movements from speech, e.g. for talking heads
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Toys (AREA)
- Manipulator (AREA)
Abstract
(57)【要約】
【課題】 発声タイミングと調音器官を模擬した部位の
動作を同期させる。 【解決手段】 音声言語情報生成部部２は、ロボットが
発話する単語の音声言語情報を生成する。音声合成部４
は、音声言語情報から音韻情報と音韻継続時間を算出す
る。また、調整済みの音韻継続時間に基づいて合成音声
データを生成する。調音動作生成部５は、音韻情報に基
づいて調音動作時間を算出する。音声動作調整部６は、
音韻継続時間と調音動作時間を調整する。調音動作実行
部７は、調整済みの調音動作時間に基づいて調音器官１
６を動作させる。
動作を同期させる。 【解決手段】 音声言語情報生成部部２は、ロボットが
発話する単語の音声言語情報を生成する。音声合成部４
は、音声言語情報から音韻情報と音韻継続時間を算出す
る。また、調整済みの音韻継続時間に基づいて合成音声
データを生成する。調音動作生成部５は、音韻情報に基
づいて調音動作時間を算出する。音声動作調整部６は、
音韻継続時間と調音動作時間を調整する。調音動作実行
部７は、調整済みの調音動作時間に基づいて調音器官１
６を動作させる。
Description
【０００１】
【発明の属する技術分野】本発明は、同期制御装置およ
び方法、並びに記録媒体に関し、例えば、ロボットの頭
部に設けられる調音器官の動きを模擬した部位の動作
と、合成した音声の出力を同期させる場合に用いて好適
な同期制御装置および方法、並びに記録媒体に関する。
び方法、並びに記録媒体に関し、例えば、ロボットの頭
部に設けられる調音器官の動きを模擬した部位の動作
と、合成した音声の出力を同期させる場合に用いて好適
な同期制御装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】人や動物を模擬したロボットには、口や
顎等を模擬した部位が可動するようなもの（例えば、顎
を上下することにより口を開閉するようなもの）が存在
し、口や顎等の動きとともに音声を出力するものも存在
する。
顎等を模擬した部位が可動するようなもの（例えば、顎
を上下することにより口を開閉するようなもの）が存在
し、口や顎等の動きとともに音声を出力するものも存在
する。
【０００３】
【発明が解決しようとする課題】そのようなロボットに
おいて、例えば、「あ」の音の出力タイミングのときに
は、口等が「あ」の音を発声する形をし、「い」の音の
出力タイミングのときには、口等が「い」の音を発声す
る形をするように、発声する言葉に対応して口等を動作
するようにすれば、よりリアルに人間等を模擬すること
になる。しかしながら、そのようなロボットは存在して
いない。
おいて、例えば、「あ」の音の出力タイミングのときに
は、口等が「あ」の音を発声する形をし、「い」の音の
出力タイミングのときには、口等が「い」の音を発声す
る形をするように、発声する言葉に対応して口等を動作
するようにすれば、よりリアルに人間等を模擬すること
になる。しかしながら、そのようなロボットは存在して
いない。
【０００４】本発明はこのような状況に鑑みてなされた
ものであり、音声合成による発声する言葉と発声タイミ
ングに、調音器官を模擬した部位の動作を対応させるこ
とにより、よりリアルに人間等を模擬したロボットを実
現することを目的とする。
ものであり、音声合成による発声する言葉と発声タイミ
ングに、調音器官を模擬した部位の動作を対応させるこ
とにより、よりリアルに人間等を模擬したロボットを実
現することを目的とする。
【０００５】
【課題を解決するための手段】本発明の同期制御装置
は、言語情報を用いて複数の音韻からなる音韻情報を生
成する音韻情報生成手段と、音韻情報生成手段が生成し
た音韻情報に対応して、音韻継続時間を算出する算出手
段と、音韻情報生成手段が生成した音韻情報に対応し
て、可動部位の動作時間を演算する演算手段と、算出手
段が算出した音韻継続時間と、演算手段が演算した動作
時間を調整する調整手段と、調整手段が調整した音韻継
続時間に基づいて、合成音声情報を生成する合成音声情
報生成手段と、合成音声情報生成手段が生成した合成音
声情報に基づいて、音声信号を合成する合成手段と、調
整手段が調整した動作時間に基づいて、可動部位の動作
を制御する動作制御手段とを含むことを特徴とする。
は、言語情報を用いて複数の音韻からなる音韻情報を生
成する音韻情報生成手段と、音韻情報生成手段が生成し
た音韻情報に対応して、音韻継続時間を算出する算出手
段と、音韻情報生成手段が生成した音韻情報に対応し
て、可動部位の動作時間を演算する演算手段と、算出手
段が算出した音韻継続時間と、演算手段が演算した動作
時間を調整する調整手段と、調整手段が調整した音韻継
続時間に基づいて、合成音声情報を生成する合成音声情
報生成手段と、合成音声情報生成手段が生成した合成音
声情報に基づいて、音声信号を合成する合成手段と、調
整手段が調整した動作時間に基づいて、可動部位の動作
を制御する動作制御手段とを含むことを特徴とする。
【０００６】前記調整手段は、音韻毎に対応する音韻継
続時間と動作時間を比較して、長い方を用いて短い方を
置換して調整するようにすることができる。
続時間と動作時間を比較して、長い方を用いて短い方を
置換して調整するようにすることができる。
【０００７】前記調整手段は、任意の音韻に対応する音
韻継続時間と動作時間の開始タイミングまたは終了タイ
ミングのうち、少なくとも一方を揃えて調整するように
することができる。
韻継続時間と動作時間の開始タイミングまたは終了タイ
ミングのうち、少なくとも一方を揃えて調整するように
することができる。
【０００８】前記調整手段は、全ての音韻に対応する音
韻継続時間と動作時間のうちの一方を、他方で置換して
調整するようにすることができる。
韻継続時間と動作時間のうちの一方を、他方で置換して
調整するようにすることができる。
【０００９】前記調整手段は、音韻毎に対応する音韻継
続時間と動作時間の開始タイミングまたは終了タイミン
グのうち、少なくとも一方を揃え、不足する時間を無処
理時間で補充して調整するようにすることができる。
続時間と動作時間の開始タイミングまたは終了タイミン
グのうち、少なくとも一方を揃え、不足する時間を無処
理時間で補充して調整するようにすることができる。
【００１０】前記調整手段は、全ての音韻に対応する音
韻継続時間と動作時間を比較して、短い方を比例的に伸
張して調整するようにすることができる。
韻継続時間と動作時間を比較して、短い方を比例的に伸
張して調整するようにすることができる。
【００１１】前記動作制御手段は、動物の調音器官の動
きを模擬した可動部位の動作を制御するようにすること
ができる。
きを模擬した可動部位の動作を制御するようにすること
ができる。
【００１２】本発明の同期制御装置は、可動部位に掛か
る外力的作用を検知する検知手段をさらに含むことがで
きる。
る外力的作用を検知する検知手段をさらに含むことがで
きる。
【００１３】前記合成手段と前記動作制御手段のうち、
少なくとも一方は、検知手段の検知結果に対応して実行
中の処理を変更するようにすることができる。
少なくとも一方は、検知手段の検知結果に対応して実行
中の処理を変更するようにすることができる。
【００１４】本発明の同期制御方法は、言語情報を用い
て複数の音韻からなる音韻情報を生成する音韻情報生成
ステップと、音韻情報生成ステップの処理で生成された
音韻情報に対応して、音韻継続時間を算出する算出ステ
ップと、音韻情報生成ステップの処理で生成された音韻
情報に対応して、可動部位の動作時間を演算する演算ス
テップと、算出ステップの処理で算出された音韻継続時
間と、演算ステップの処理で演算された動作時間を調整
する調整ステップと、調整ステップの処理で調整された
音韻継続時間に基づいて、合成音声情報を生成する合成
音声情報生成ステップと、合成音声情報生成ステップの
処理で生成された合成音声情報に基づいて、音声信号を
合成する合成ステップと、調整ステップの処理で調整さ
れた動作時間に基づいて、可動部位の動作を制御する動
作制御ステップとを含むことを特徴とする。
て複数の音韻からなる音韻情報を生成する音韻情報生成
ステップと、音韻情報生成ステップの処理で生成された
音韻情報に対応して、音韻継続時間を算出する算出ステ
ップと、音韻情報生成ステップの処理で生成された音韻
情報に対応して、可動部位の動作時間を演算する演算ス
テップと、算出ステップの処理で算出された音韻継続時
間と、演算ステップの処理で演算された動作時間を調整
する調整ステップと、調整ステップの処理で調整された
音韻継続時間に基づいて、合成音声情報を生成する合成
音声情報生成ステップと、合成音声情報生成ステップの
処理で生成された合成音声情報に基づいて、音声信号を
合成する合成ステップと、調整ステップの処理で調整さ
れた動作時間に基づいて、可動部位の動作を制御する動
作制御ステップとを含むことを特徴とする。
【００１５】本発明の記録媒体のプログラムは、言語情
報を用いて複数の音韻からなる音韻情報を生成する音韻
情報生成ステップと、音韻情報生成ステップの処理で生
成された音韻情報に対応して、音韻継続時間を算出する
算出ステップと、音韻情報生成ステップの処理で生成さ
れた音韻情報に対応して、可動部位の動作時間を演算す
る演算ステップと、算出ステップの処理で算出された音
韻継続時間と、演算ステップの処理で演算された動作時
間を調整する調整ステップと、調整ステップの処理で調
整された音韻継続時間に基づいて、合成音声情報を生成
する合成音声情報生成ステップと、合成音声情報生成ス
テップの処理で生成された合成音声情報に基づいて、音
声信号を合成する合成ステップと、調整ステップの処理
で調整された動作時間に基づいて、可動部位の動作を制
御する動作制御ステップとを含むことを特徴とする。
報を用いて複数の音韻からなる音韻情報を生成する音韻
情報生成ステップと、音韻情報生成ステップの処理で生
成された音韻情報に対応して、音韻継続時間を算出する
算出ステップと、音韻情報生成ステップの処理で生成さ
れた音韻情報に対応して、可動部位の動作時間を演算す
る演算ステップと、算出ステップの処理で算出された音
韻継続時間と、演算ステップの処理で演算された動作時
間を調整する調整ステップと、調整ステップの処理で調
整された音韻継続時間に基づいて、合成音声情報を生成
する合成音声情報生成ステップと、合成音声情報生成ス
テップの処理で生成された合成音声情報に基づいて、音
声信号を合成する合成ステップと、調整ステップの処理
で調整された動作時間に基づいて、可動部位の動作を制
御する動作制御ステップとを含むことを特徴とする。
【００１６】本発明の同期制御装置、同期制御方法、お
よび記録媒体のプログラムにおいては、言語情報を用い
て複数の音韻からなる音韻情報が生成され、生成された
音韻情報に対応して音韻継続時間が算出される。また、
生成された音韻情報に対応して可動部位の動作時間が演
算される。また、算出された音韻継続時間と演算された
動作時間が調整され、調整された音韻継続時間に基づい
て合成音声情報が生成され、生成された合成音声情報に
基づいて音声信号が合成される。さらに、調整された動
作時間に基づいて可動部位の動作が制御される。
よび記録媒体のプログラムにおいては、言語情報を用い
て複数の音韻からなる音韻情報が生成され、生成された
音韻情報に対応して音韻継続時間が算出される。また、
生成された音韻情報に対応して可動部位の動作時間が演
算される。また、算出された音韻継続時間と演算された
動作時間が調整され、調整された音韻継続時間に基づい
て合成音声情報が生成され、生成された合成音声情報に
基づいて音声信号が合成される。さらに、調整された動
作時間に基づいて可動部位の動作が制御される。
【００１７】
【発明の実施の形態】図１は、本発明を適用したロボッ
トの音声出力、および、顎、唇、喉、舌、鼻孔などの調
音器官を模擬した部位の動作を制御する部分の構成例を
示している。この構成例は、例えばロボットの頭部に設
けられる。
トの音声出力、および、顎、唇、喉、舌、鼻孔などの調
音器官を模擬した部位の動作を制御する部分の構成例を
示している。この構成例は、例えばロボットの頭部に設
けられる。
【００１８】入力部１は、マイクロフォンと音声認識機
能（いずれも不図示）を有し、マイクロフォンに入力さ
れる音声信号（例えば、「こんにちは」など、ロボット
に復唱させる言葉、または、ロボットに対して問い掛け
る言葉）を音声認識機能によりテキストデータに変換し
て、音声言語情報生成部２に供給する。なお、外部から
音声言語情報生成部２に、テキストデータを入力するよ
うにしてもよい。
能（いずれも不図示）を有し、マイクロフォンに入力さ
れる音声信号（例えば、「こんにちは」など、ロボット
に復唱させる言葉、または、ロボットに対して問い掛け
る言葉）を音声認識機能によりテキストデータに変換し
て、音声言語情報生成部２に供給する。なお、外部から
音声言語情報生成部２に、テキストデータを入力するよ
うにしてもよい。
【００１９】音声言語情報生成部部２は、ロボットに対
話させるときにおいて、入力部１から入力されるテキス
トデータに対して返事となる言葉の音声言語情報（発声
する単語を表すもの）を生成して制御部３に出力する。
音声言語情報生成部部２はまた、ロボットに復唱させる
ときにおいて、入力部１から入力されるテキストデータ
をそのまま制御部３に出力する。音声言語情報は仮名文
字、英文字、発音記号などのテキストデータを用いて表
される。
話させるときにおいて、入力部１から入力されるテキス
トデータに対して返事となる言葉の音声言語情報（発声
する単語を表すもの）を生成して制御部３に出力する。
音声言語情報生成部部２はまた、ロボットに復唱させる
ときにおいて、入力部１から入力されるテキストデータ
をそのまま制御部３に出力する。音声言語情報は仮名文
字、英文字、発音記号などのテキストデータを用いて表
される。
【００２０】制御部３は、ドライブ１１を制御して、磁
気ディスク１２、光ディスク１３、光磁気ディスク１
４、または半導体メモリ１５に記憶されている制御用プ
ログラムを読み出し、読み出した制御用プログラムに基
づいて各部を制御する。
気ディスク１２、光ディスク１３、光磁気ディスク１
４、または半導体メモリ１５に記憶されている制御用プ
ログラムを読み出し、読み出した制御用プログラムに基
づいて各部を制御する。
【００２１】具体的には、制御部３は、音声言語情報生
成部２から入力される音声言語情報としてのテキストデ
ータを音声合成部４に供給し、音声合成部４からの音韻
情報を調音動作生成部５に供給し、調音動作生成部５か
らの調音動作時間と、音声合成部４からの音韻情報およ
び音韻継続時間を音声動作調整部６に供給する。制御部
３はまた、音声動作調整部６からの調整済みの音韻継続
時間を音声合成部４に供給し、音声動作調整部６からの
調整済みの調音動作時間を調音動作実行部７に供給す
る。制御部３はさらに、音声合成部４からの合成音声デ
ータを音声出力部９に供給する。制御部３はさらに、外
部センサ８からの検出情報に対応して、調音動作実行部
７および音声出力部９の処理を停止、再開、または中断
する。
成部２から入力される音声言語情報としてのテキストデ
ータを音声合成部４に供給し、音声合成部４からの音韻
情報を調音動作生成部５に供給し、調音動作生成部５か
らの調音動作時間と、音声合成部４からの音韻情報およ
び音韻継続時間を音声動作調整部６に供給する。制御部
３はまた、音声動作調整部６からの調整済みの音韻継続
時間を音声合成部４に供給し、音声動作調整部６からの
調整済みの調音動作時間を調音動作実行部７に供給す
る。制御部３はさらに、音声合成部４からの合成音声デ
ータを音声出力部９に供給する。制御部３はさらに、外
部センサ８からの検出情報に対応して、調音動作実行部
７および音声出力部９の処理を停止、再開、または中断
する。
【００２２】音声合成部４は、制御部３から入力され
る、音声言語情報生成部２からの音声言語情報としての
テキストデータ（例えば、「こんにちは」）から、図２
に示すように、音韻情報（いまの場合、「K O X N I CH
I W A」）を生成し、各音韻の音韻継続時間を算出して
制御部３に出力する。音声合成部４はまた、制御部３か
ら入力される、音声動作調整部６からの調整済みの音韻
継続時間に基づき、合成音声データを生成する。生成さ
れる合成音声データは、一般的に知られる規則合成音声
によるものや録音再生音によるものなどが挙げられる。
る、音声言語情報生成部２からの音声言語情報としての
テキストデータ（例えば、「こんにちは」）から、図２
に示すように、音韻情報（いまの場合、「K O X N I CH
I W A」）を生成し、各音韻の音韻継続時間を算出して
制御部３に出力する。音声合成部４はまた、制御部３か
ら入力される、音声動作調整部６からの調整済みの音韻
継続時間に基づき、合成音声データを生成する。生成さ
れる合成音声データは、一般的に知られる規則合成音声
によるものや録音再生音によるものなどが挙げられる。
【００２３】調音動作生成部５は、制御部３から入力さ
れる、音声合成部４からの音韻情報に基づき、図３に示
すように、各音韻に対応する調音動作命令（各調音器官
を模擬した部位の動作を指示する命令）と、当該動作の
動作時間である調音動作時間を算出して制御部３に出力
する。図３の例においては、調音器官１６として、顎、
唇、喉、舌、鼻孔が記述され、調音動作命令として、顎
の上下移動、唇の形状変化および開閉、舌の前後上下左
右の移動、喉の振幅および上下移動、鼻の形状変化が記
述されている。調音動作命令は、調音器官１６のうちの
１つに対して単独に指示するようにしてもよいし、調音
器官１６の複数を組み合わせて指示するようにしてもよ
い。
れる、音声合成部４からの音韻情報に基づき、図３に示
すように、各音韻に対応する調音動作命令（各調音器官
を模擬した部位の動作を指示する命令）と、当該動作の
動作時間である調音動作時間を算出して制御部３に出力
する。図３の例においては、調音器官１６として、顎、
唇、喉、舌、鼻孔が記述され、調音動作命令として、顎
の上下移動、唇の形状変化および開閉、舌の前後上下左
右の移動、喉の振幅および上下移動、鼻の形状変化が記
述されている。調音動作命令は、調音器官１６のうちの
１つに対して単独に指示するようにしてもよいし、調音
器官１６の複数を組み合わせて指示するようにしてもよ
い。
【００２４】音声動作調整部６は、制御部３から入力さ
れる、音声合成部４からの音韻継続時間と調音動作生成
部５からの調音動作時間を、所定の方法（詳細は後述す
る）に従って調整し、制御部３に出力する。例えば、音
韻継続時間と調音動作時間を、音韻毎に時間が長い方を
用いて短い方を置換するという方法に従って、図２に示
した音韻継続時間と、図３に示した調音動作時間を調整
する場合、音韻継続時間については、図４に示すように
音韻「Ｘ」、「Ｉ」、および「Ｗ」の各音韻継続時間が
調音動作時間と等しくなるように延長される。
れる、音声合成部４からの音韻継続時間と調音動作生成
部５からの調音動作時間を、所定の方法（詳細は後述す
る）に従って調整し、制御部３に出力する。例えば、音
韻継続時間と調音動作時間を、音韻毎に時間が長い方を
用いて短い方を置換するという方法に従って、図２に示
した音韻継続時間と、図３に示した調音動作時間を調整
する場合、音韻継続時間については、図４に示すように
音韻「Ｘ」、「Ｉ」、および「Ｗ」の各音韻継続時間が
調音動作時間と等しくなるように延長される。
【００２５】調音動作実行部７は、制御部３から入力さ
れる、調音動作生成部５からの調音動作命令と、音声動
作調整部６からの調整済みの調音動作時間に基づき、調
音器官１６を動作させる。
れる、調音動作生成部５からの調音動作命令と、音声動
作調整部６からの調整済みの調音動作時間に基づき、調
音器官１６を動作させる。
【００２６】外部センサ８は、例えば、調音器官１６に
含まれる口の内部に設けられ、口内に挿入された物体を
検知して検知情報を制御部３に出力する。
含まれる口の内部に設けられ、口内に挿入された物体を
検知して検知情報を制御部３に出力する。
【００２７】音声出力部９は、制御部３から入力され
る、音声合成部４からの合成音声データに対応する音声
をスピーカ１０に放音させる。
る、音声合成部４からの合成音声データに対応する音声
をスピーカ１０に放音させる。
【００２８】調音器官１６は、ロボットの頭部に設けら
れる顎、唇、喉、舌、鼻孔などを模擬した可動部位であ
る。
れる顎、唇、喉、舌、鼻孔などを模擬した可動部位であ
る。
【００２９】次に、ロボットの動作について、図５のフ
ローチャートを参照して説明する。ステップＳ１におい
て、入力部１のマイクロフォンに入力された音声信号
は、テキストデータに変換されて音声言語情報生成部２
に供給される。ステップＳ２において、音声言語情報生
成部部２は、入力部１から入力されたテキストデータに
対応する音声言語情報を制御部３に出力する。制御部３
は、音声言語情報生成部２から入力された音声言語情報
としてのテキストデータ（例えば、「こんにちは」）を
音声合成部４に供給する。
ローチャートを参照して説明する。ステップＳ１におい
て、入力部１のマイクロフォンに入力された音声信号
は、テキストデータに変換されて音声言語情報生成部２
に供給される。ステップＳ２において、音声言語情報生
成部部２は、入力部１から入力されたテキストデータに
対応する音声言語情報を制御部３に出力する。制御部３
は、音声言語情報生成部２から入力された音声言語情報
としてのテキストデータ（例えば、「こんにちは」）を
音声合成部４に供給する。
【００３０】ステップＳ３において、音声合成部４は、
制御部３から供給された音声言語情報生成部２からの音
声言語情報としてのテキストデータから、音韻情報（い
まの場合、「K O X N I CH I W A」）を生成し、各音韻
の音韻継続時間を算出して制御部３に出力する。制御部
３は、音声合成部４からの音韻情報を調音動作生成部５
に供給する。
制御部３から供給された音声言語情報生成部２からの音
声言語情報としてのテキストデータから、音韻情報（い
まの場合、「K O X N I CH I W A」）を生成し、各音韻
の音韻継続時間を算出して制御部３に出力する。制御部
３は、音声合成部４からの音韻情報を調音動作生成部５
に供給する。
【００３１】ステップＳ４において、調音動作生成部５
は、制御部３から供給された音声合成部４からの音韻情
報に基づき、各音韻に対応する調音動作命令と、調音動
作時間を算出して制御部３に出力する。制御部３は、調
音動作生成部５からの調音動作時間と、音声合成部４か
らの音韻情報および音韻継続時間を音声動作調整部６に
供給する。
は、制御部３から供給された音声合成部４からの音韻情
報に基づき、各音韻に対応する調音動作命令と、調音動
作時間を算出して制御部３に出力する。制御部３は、調
音動作生成部５からの調音動作時間と、音声合成部４か
らの音韻情報および音韻継続時間を音声動作調整部６に
供給する。
【００３２】ステップＳ５において、音声動作調整部６
は、制御部３から供給された音声合成部４からの音韻継
続時間と調音動作生成部５からの調音動作時間を、所定
の規則に従って調整し、制御部３に出力する。
は、制御部３から供給された音声合成部４からの音韻継
続時間と調音動作生成部５からの調音動作時間を、所定
の規則に従って調整し、制御部３に出力する。
【００３３】ここで、音韻継続時間と調音動作時間を調
整する第１乃至第５の方法について、図６乃至図１１を
参照して説明する。なお、以下の説明においては、ステ
ップＳ３で生成された音韻継続時間を図６(A)に示すも
のとし、ステップＳ４で生成された調音動作時間を図６
(B)に示すものとする。
整する第１乃至第５の方法について、図６乃至図１１を
参照して説明する。なお、以下の説明においては、ステ
ップＳ３で生成された音韻継続時間を図６(A)に示すも
のとし、ステップＳ４で生成された調音動作時間を図６
(B)に示すものとする。
【００３４】第１の方法は、各音韻の音韻継続時間と調
音動作時間を比較して、長い方の時間を用いて短い方の
時間を置き換えて調整する方法である。図７は、第１の
方法による調整結果を示している。例えば、図６の例に
おいて、音韻「Ｋ」、「ＣＨ」、「Ｗ」については、音
韻継続時間の方が調音動作時間よりも長いので、図７
(B)に示すように、韻継続時間が調音動作時間で置き換
えられる。反対に、図６の例において、音韻「Ｏ」、
「Ｘ」、「Ｎ」、「Ｉ」、「Ｉ」、および「Ａ」につい
ては、調音動作時間の方が音韻継続時間よりも長いの
で、図７(A)に示すように、調音動作時間が韻継続時間
で置き換えられる。
音動作時間を比較して、長い方の時間を用いて短い方の
時間を置き換えて調整する方法である。図７は、第１の
方法による調整結果を示している。例えば、図６の例に
おいて、音韻「Ｋ」、「ＣＨ」、「Ｗ」については、音
韻継続時間の方が調音動作時間よりも長いので、図７
(B)に示すように、韻継続時間が調音動作時間で置き換
えられる。反対に、図６の例において、音韻「Ｏ」、
「Ｘ」、「Ｎ」、「Ｉ」、「Ｉ」、および「Ａ」につい
ては、調音動作時間の方が音韻継続時間よりも長いの
で、図７(A)に示すように、調音動作時間が韻継続時間
で置き換えられる。
【００３５】第２の方法は、任意の音韻の開始タイミン
グまたは終了タイミングを同期させて調整する方法であ
る。図８は、第２の方法による調整結果を示している。
例えば、図８に示すように、音韻「Ｘ」の開始タイミン
グを同期させた場合、音韻「Ｋ」の音韻継続時間の開始
タイミング以前と、音韻「Ａ」の音韻継続時間の終了タ
イミング以降に不足部分が生じるが、それらの間は音声
を発声せず、調音動作のみ実行するように調整する。な
お、開始タイミングを同期させる音韻の指定は、ユーザ
が指定するようにしてもよいし、例えば、制御部３が所
定の規則に基づいて決定するようにしてもよい。
グまたは終了タイミングを同期させて調整する方法であ
る。図８は、第２の方法による調整結果を示している。
例えば、図８に示すように、音韻「Ｘ」の開始タイミン
グを同期させた場合、音韻「Ｋ」の音韻継続時間の開始
タイミング以前と、音韻「Ａ」の音韻継続時間の終了タ
イミング以降に不足部分が生じるが、それらの間は音声
を発声せず、調音動作のみ実行するように調整する。な
お、開始タイミングを同期させる音韻の指定は、ユーザ
が指定するようにしてもよいし、例えば、制御部３が所
定の規則に基づいて決定するようにしてもよい。
【００３６】第３の方法は、全ての音韻に対して音韻継
続時間または調音動作時間のうち、一方を他方で置き換
えて調整する方法である。図９は、第３の方法により、
調音動作時間を優先し、全ての音韻に対して音韻継続時
間を調音動作時間で置き換えることによって調整した結
果を示している。音韻継続時間または調音動作時間のう
ち、いずれを優先させるかについては、ユーザが選択す
るようにしてもよいし、例えば、制御部３が所定の規則
に基づいて選択するようにしてもよい。
続時間または調音動作時間のうち、一方を他方で置き換
えて調整する方法である。図９は、第３の方法により、
調音動作時間を優先し、全ての音韻に対して音韻継続時
間を調音動作時間で置き換えることによって調整した結
果を示している。音韻継続時間または調音動作時間のう
ち、いずれを優先させるかについては、ユーザが選択す
るようにしてもよいし、例えば、制御部３が所定の規則
に基づいて選択するようにしてもよい。
【００３７】第４の方法は、各音韻の開始タイミングま
たは終了タイミングを音韻継続時間と調音動作時間で同
期させ、不足する時間を空白（発声や調音動作を実行し
ない時間を指す）で埋めることにより調整する方法であ
る。図１０は、第４の方法による調整結果を示してい
る。例えば、図１０(B)に示すように、音韻「Ｋ」につ
いては、調音動作時間の開始タイミング以前に生じる不
足する時間を空白で埋め、図１０(A)に示すように、音
韻「Ｏ」、「Ｘ」、「Ｎ」、および「Ｉ」については、
音韻継続時間の開始タイミング以前に生じる不足する時
間を空白で埋めるようにする。
たは終了タイミングを音韻継続時間と調音動作時間で同
期させ、不足する時間を空白（発声や調音動作を実行し
ない時間を指す）で埋めることにより調整する方法であ
る。図１０は、第４の方法による調整結果を示してい
る。例えば、図１０(B)に示すように、音韻「Ｋ」につ
いては、調音動作時間の開始タイミング以前に生じる不
足する時間を空白で埋め、図１０(A)に示すように、音
韻「Ｏ」、「Ｘ」、「Ｎ」、および「Ｉ」については、
音韻継続時間の開始タイミング以前に生じる不足する時
間を空白で埋めるようにする。
【００３８】第５の方法は、音韻情報の中心に位置する
音韻の開始タイミングまたは終了タイミングを揃えて、
かつ、全音韻継続時間と全調音動作時間を比較して短い
方の時間を長い方の時間に等しくなるように比例的に伸
張する方法である。具体的には、例えば、音韻情報「K
O X N I CH I W A」の中心に位置する音韻「Ｉ」の開始
タイミングを揃え、いまの場合、全音韻継続時間（３０
０ミリ秒）の方が調音動作時間（５５０ミリ秒）よりも
短いので、音韻継続時間を５５０ミリ秒まで伸張する。
より具体的には、音韻「Ｉ」以前の音韻「Ｋ」、
「Ｏ」、「Ｘ」、および「Ｎ」の音韻継続時間を２（＝
３００／１５０）倍に伸張し、音韻「Ｉ」以降の音韻
「Ｉ」、「ＣＨ」、「Ｉ」、「Ｗ」、および「Ａ」の音
韻継続時間を１．２５（＝２５０／２００）倍に伸張す
る。
音韻の開始タイミングまたは終了タイミングを揃えて、
かつ、全音韻継続時間と全調音動作時間を比較して短い
方の時間を長い方の時間に等しくなるように比例的に伸
張する方法である。具体的には、例えば、音韻情報「K
O X N I CH I W A」の中心に位置する音韻「Ｉ」の開始
タイミングを揃え、いまの場合、全音韻継続時間（３０
０ミリ秒）の方が調音動作時間（５５０ミリ秒）よりも
短いので、音韻継続時間を５５０ミリ秒まで伸張する。
より具体的には、音韻「Ｉ」以前の音韻「Ｋ」、
「Ｏ」、「Ｘ」、および「Ｎ」の音韻継続時間を２（＝
３００／１５０）倍に伸張し、音韻「Ｉ」以降の音韻
「Ｉ」、「ＣＨ」、「Ｉ」、「Ｗ」、および「Ａ」の音
韻継続時間を１．２５（＝２５０／２００）倍に伸張す
る。
【００３９】以上のように、第１乃至第４の方法のうち
のいずれかの方法、あるいは第１乃至第４の方法を適宜
組み合わせた方法によって、音韻継続時間と調音動作時
間は調整されて制御部３に供給される。
のいずれかの方法、あるいは第１乃至第４の方法を適宜
組み合わせた方法によって、音韻継続時間と調音動作時
間は調整されて制御部３に供給される。
【００４０】図５に戻り、ステップＳ６において、制御
部３は、音声動作調整部６からの調整済みの音韻継続時
間を音声合成部４に供給し、音声動作調整部６からの調
整済みの調音動作時間と調音動作生成部５からの調音動
作命令を調音動作実行部７に供給する。音声合成部４
は、制御部３から入力された音声動作調整部６からの調
整済みの音韻継続時間に基づき、合成音声データを生成
して制御部３に出力する。制御部３はまた、音声合成部
４からの合成音声データを音声出力部９に供給する。音
声出力部９は、制御部３から入力された、音声合成部４
からの合成音声データに対応する音声をスピーカ１０に
放音させる。それと同期して、調音動作実行部７は、制
御部３から入力された、調音動作生成部５からの調音動
作命令と、音声動作調整部６からの調整済みの調音動作
時間に基づき、調音器官１６を動作する。
部３は、音声動作調整部６からの調整済みの音韻継続時
間を音声合成部４に供給し、音声動作調整部６からの調
整済みの調音動作時間と調音動作生成部５からの調音動
作命令を調音動作実行部７に供給する。音声合成部４
は、制御部３から入力された音声動作調整部６からの調
整済みの音韻継続時間に基づき、合成音声データを生成
して制御部３に出力する。制御部３はまた、音声合成部
４からの合成音声データを音声出力部９に供給する。音
声出力部９は、制御部３から入力された、音声合成部４
からの合成音声データに対応する音声をスピーカ１０に
放音させる。それと同期して、調音動作実行部７は、制
御部３から入力された、調音動作生成部５からの調音動
作命令と、音声動作調整部６からの調整済みの調音動作
時間に基づき、調音器官１６を動作する。
【００４１】以上のように、ロボットが動作することに
より、より自然に人や動物の発声動作を模擬することが
可能となる。
より、より自然に人や動物の発声動作を模擬することが
可能となる。
【００４２】なお、ステップＳ６の処理を実行中、外部
センサ８が調音器官１６である口の内部物体が挿入され
たことを検知した場合、検知情報が制御部３に供給さ
れ、それに対応して、制御部３は、調音動作実行部７お
よび音声出力部９の処理を停止、再開、または中断す
る。このようにすることで、物体が挿入されて口が動か
せないときには、声が出せない状態となるので、よりリ
アリティを増すことができる。 また、外部センサ８か
らの検出情報だけでなく、何らかの外力により、調音器
官１６の動作が妨げられた場合にも、音声出力部９の処
理を停止、再開、または中断するようにしてもよい。
センサ８が調音器官１６である口の内部物体が挿入され
たことを検知した場合、検知情報が制御部３に供給さ
れ、それに対応して、制御部３は、調音動作実行部７お
よび音声出力部９の処理を停止、再開、または中断す
る。このようにすることで、物体が挿入されて口が動か
せないときには、声が出せない状態となるので、よりリ
アリティを増すことができる。 また、外部センサ８か
らの検出情報だけでなく、何らかの外力により、調音器
官１６の動作が妨げられた場合にも、音声出力部９の処
理を停止、再開、または中断するようにしてもよい。
【００４３】このような制御は、いわば、調音動作の変
更に対応して、発声処理を変更する制御であるが、反対
に、例えば、発声する言葉が急に変更された場合、調音
動作も直ちに変更されるような、いわば、発声処理の変
更に対応して調音動作を変更するような制御を行うよう
にしてもよい。
更に対応して、発声処理を変更する制御であるが、反対
に、例えば、発声する言葉が急に変更された場合、調音
動作も直ちに変更されるような、いわば、発声処理の変
更に対応して調音動作を変更するような制御を行うよう
にしてもよい。
【００４４】なお、本実施の形態においては、音声言語
情報生成部２の出力を、例えば「こんにちは」のような
テキストデータとしたが、「K O X N I CH I W A」のよ
うな音韻情報を出力するようにしてもかまわない。
情報生成部２の出力を、例えば「こんにちは」のような
テキストデータとしたが、「K O X N I CH I W A」のよ
うな音韻情報を出力するようにしてもかまわない。
【００４５】また、本発明は、発声する音声の音韻と、
調音器官以外の部位の動作を同期させる場合にも適用す
ることが可能である。すなわち、例えば、図１２に示す
ように、音声の音韻と首の動作、あるいは手の動作を同
期させる場合にも適用することが可能である。
調音器官以外の部位の動作を同期させる場合にも適用す
ることが可能である。すなわち、例えば、図１２に示す
ように、音声の音韻と首の動作、あるいは手の動作を同
期させる場合にも適用することが可能である。
【００４６】さらに、本発明は、ロボットに限らず、例
えば、コンピュータグラフィクスにより表現されるキャ
ラクタの発声する音声の音韻と、当該キャラクタの動作
を同期させる場合ににも適用することが可能である。
えば、コンピュータグラフィクスにより表現されるキャ
ラクタの発声する音声の音韻と、当該キャラクタの動作
を同期させる場合ににも適用することが可能である。
【００４７】ところで、上述した一連の処理は、ハード
ウェアにより実行させることもできるが、ソフトウェア
により実行させることもできる。一連の処理をソフトウ
ェアにより実行させる場合には、そのソフトウェアを構
成するプログラムが、専用のハードウェアに組み込まれ
ているコンピュータ、または、各種のプログラムをイン
ストールすることで、各種の機能を実行することが可能
な、例えば汎用のパーソナルコンピュータなどに、記録
媒体からインストールされる。
ウェアにより実行させることもできるが、ソフトウェア
により実行させることもできる。一連の処理をソフトウ
ェアにより実行させる場合には、そのソフトウェアを構
成するプログラムが、専用のハードウェアに組み込まれ
ているコンピュータ、または、各種のプログラムをイン
ストールすることで、各種の機能を実行することが可能
な、例えば汎用のパーソナルコンピュータなどに、記録
媒体からインストールされる。
【００４８】この記録媒体は、図１に示すように、コン
ピュータとは別に、ユーザにプログラムを提供するため
に配布される、プログラムが記録されている磁気ディス
ク１２（フロッピディスクを含む）、光ディスク１３
（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digit
al Versatile Disc)を含む）、光磁気ディスク１４（Ｍ
Ｄ(Mini Disc)を含む）、もしくは半導体メモリ１５な
どよりなるパッケージメディアにより構成されるだけで
なく、コンピュータに予め組み込まれた状態でユーザに
提供される、プログラムが記録されているROMやハード
ディスクなどで構成される。
ピュータとは別に、ユーザにプログラムを提供するため
に配布される、プログラムが記録されている磁気ディス
ク１２（フロッピディスクを含む）、光ディスク１３
（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digit
al Versatile Disc)を含む）、光磁気ディスク１４（Ｍ
Ｄ(Mini Disc)を含む）、もしくは半導体メモリ１５な
どよりなるパッケージメディアにより構成されるだけで
なく、コンピュータに予め組み込まれた状態でユーザに
提供される、プログラムが記録されているROMやハード
ディスクなどで構成される。
【００４９】なお、本明細書において、記録媒体に記録
されるプログラムを記述するステップは、記載された順
序に従って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。
されるプログラムを記述するステップは、記載された順
序に従って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。
【００５０】
【発明の効果】以上のように、本発明の同期制御装置、
同期制御方法、および記録媒体のプログラムによれば、
言語情報を用いて複数の音韻からなる音韻情報を生成
し、生成された音韻情報に対応して音韻継続時間と可動
部位の動作時間を算出し、音韻継続時間と動作時間を調
整して、調整した動作時間に基づいて可動部位の動作を
制御するようにしたので、音声合成による発声する言葉
と発声タイミングに、調音器官を模擬した部位の動作を
同期させることが可能となり、よりリアルなロボットを
実現することが可能となる。
同期制御方法、および記録媒体のプログラムによれば、
言語情報を用いて複数の音韻からなる音韻情報を生成
し、生成された音韻情報に対応して音韻継続時間と可動
部位の動作時間を算出し、音韻継続時間と動作時間を調
整して、調整した動作時間に基づいて可動部位の動作を
制御するようにしたので、音声合成による発声する言葉
と発声タイミングに、調音器官を模擬した部位の動作を
同期させることが可能となり、よりリアルなロボットを
実現することが可能となる。
【図１】本発明を適用したロボットの音声出力、および
調音器官を模擬した部位の動作を制御する部分の構成例
を示すブロック図である。
調音器官を模擬した部位の動作を制御する部分の構成例
を示すブロック図である。
【図２】音韻情報および音韻継続時間の例を示す図であ
る。
る。
【図３】調音動作命令と調音動作時間の例を示す図であ
る。
る。
【図４】調整された音韻継続時間の例を示す図である。
【図５】本発明を適用してロボットの動作を説明するフ
ローチャートである。
ローチャートである。
【図６】対応する音韻継続時間と調音動作時間の例を示
す図である。
す図である。
【図７】第１の方法によって調整された音韻継続時間と
調音動作時間を示す図である。
調音動作時間を示す図である。
【図８】第２の方法によって調整された音韻継続時間と
調音動作時間を示す図である。
調音動作時間を示す図である。
【図９】第３の方法によって調整された音韻継続時間と
調音動作時間を示す図である。
調音動作時間を示す図である。
【図１０】第４の方法によって調整された音韻継続時間
と調音動作時間を示す図である。
と調音動作時間を示す図である。
【図１１】第５の方法によって調整された音韻継続時間
と調音動作時間を示す図である。
と調音動作時間を示す図である。
【図１２】音韻情報と調音器官以外の動作を同期させる
例を示す図である。
例を示す図である。
１ 入力部， ２ 音声言語情報生成部， ３ 制御
部， ４ 音声合成部，５ 調音動作生成部， ６ 音
声動作調整部， ７ 調音動作実行部， ８外部セン
サ， ９ 音声出力部， １０ スピーカ， １６ 調
音器官
部， ４ 音声合成部，５ 調音動作生成部， ６ 音
声動作調整部， ７ 調音動作実行部， ８外部セン
サ， ９ 音声出力部， １０ スピーカ， １６ 調
音器官
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） // Ａ６３Ｈ 3/33 Ｇ１０Ｌ 3/00 ５５１Ｈ (72)発明者 新田 朋晃 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 赤羽 誠 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 島川 真人 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 山崎 信英 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 小林 恵理香 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 2C150 CA01 CA02 DA23 DA25 DF01 DF03 DF21 DF33 ED31 ED42 ED59 EF16 FA01 3F059 DA05 DC00 FC00 5D015 KK01 5D045 AB11 9A001 HH18 HH19
Claims (12)
- 【請求項１】 音声信号の出力と可動部位の動作を同期
させる同期制御装置において、 言語情報を用いて複数の音韻からなる音韻情報を生成す
る音韻情報生成手段と、 前記音韻情報生成手段が生成した前記音韻情報に対応し
て、音韻継続時間を算出する算出手段と、 前記音韻情報生成手段が生成した前記音韻情報に対応し
て、前記可動部位の動作時間を演算する演算手段と、 前記算出手段が算出した前記音韻継続時間と、前記演算
手段が演算した前記動作時間を調整する調整手段と、 前記調整手段が調整した音韻継続時間に基づいて、合成
音声情報を生成する合成音声情報生成手段と、 前記合成音声情報生成手段が生成した前記合成音声情報
に基づいて、前記音声信号を合成する合成手段と、 前記調整手段が調整した動作時間に基づいて、前記可動
部位の動作を制御する動作制御手段とを含むことを特徴
とする同期制御装置。 - 【請求項２】 前記調整手段は、前記音韻毎に対応する
前記音韻継続時間と前記動作時間を比較して、長い方を
用いて短い方を置換して調整することを特徴とする請求
項１に記載の同期制御装置。 - 【請求項３】 前記調整手段は、任意の前記音韻に対応
する前記音韻継続時間と前記動作時間の開始タイミング
または終了タイミングのうち、少なくとも一方を揃えて
調整することを特徴とする請求項１に記載の同期制御装
置。 - 【請求項４】 前記調整手段は、全ての前記音韻に対応
する前記音韻継続時間と前記動作時間のうちの一方を、
他方で置換して調整することを特徴とする請求項１に記
載の同期制御装置。 - 【請求項５】 前記調整手段は、前記音韻毎に対応する
前記音韻継続時間と前記動作時間の開始タイミングまた
は終了タイミングのうち、少なくとも一方を揃え、不足
する時間を無処理時間で補充して調整することを特徴と
する請求項１に記載の同期制御装置。 - 【請求項６】 前記調整手段は、全ての前記音韻に対応
する前記音韻継続時間と前記動作時間を比較して、短い
方を比例的に伸張して調整することを特徴とする請求項
１に記載の同期制御装置。 - 【請求項７】 前記動作制御手段は、動物の調音器官の
動きを模擬した前記可動部位の動作を制御することを特
徴とする請求項１に記載の同期制御装置。 - 【請求項８】 前記可動部位に掛かる外力的作用を検知
する検知手段をさらに含むことを特徴とする請求項１に
記載の同期制御装置。 - 【請求項９】 前記合成手段と前記動作制御手段のう
ち、少なくとも一方は、前記検知手段の検知結果に対応
して実行中の処理を変更することを特徴とする請求項８
に記載の同期制御装置。 - 【請求項１０】 前記同期制御装置は、ロボットである
ことを特徴とする請求項１に記載の同期制御装置。 - 【請求項１１】 音声信号の出力と可動部位の動作を同
期させる同期制御装置の同期制御方法において、 言語情報を用いて複数の音韻からなる音韻情報を生成す
る音韻情報生成ステップと、 前記音韻情報生成ステップの処理で生成された前記音韻
情報に対応して、音韻継続時間を算出する算出ステップ
と、 前記音韻情報生成ステップの処理で生成された前記音韻
情報に対応して、前記可動部位の動作時間を演算する演
算ステップと、 前記算出ステップの処理で算出された前記音韻継続時間
と、前記演算ステップの処理で演算された前記動作時間
を調整する調整ステップと、 前記調整ステップの処理で調整された音韻継続時間に基
づいて、合成音声情報を生成する合成音声情報生成ステ
ップと、 前記合成音声情報生成ステップの処理で生成された前記
合成音声情報に基づいて、前記音声信号を合成する合成
ステップと、 前記調整ステップの処理で調整された動作時間に基づい
て、前記可動部位の動作を制御する動作制御ステップと
を含むことを特徴とする同期制御方法。 - 【請求項１２】 音声信号の出力と可動部位の動作を同
期させる同期制御用のプログラムであって、 言語情報を用いて複数の音韻からなる音韻情報を生成す
る音韻情報生成ステップと、 前記音韻情報生成ステップの処理で生成された前記音韻
情報に対応して、音韻継続時間を算出する算出ステップ
と、 前記音韻情報生成ステップの処理で生成された前記音韻
情報に対応して、前記可動部位の動作時間を演算する演
算ステップと、 前記算出ステップの処理で算出された前記音韻継続時間
と、前記演算ステップの処理で演算された前記動作時間
を調整する調整ステップと、 前記調整ステップの処理で調整された音韻継続時間に基
づいて、合成音声情報を生成する合成音声情報生成ステ
ップと、 前記合成音声情報生成ステップの処理で生成された前記
合成音声情報に基づいて、前記音声信号を合成する合成
ステップと、 前記調整ステップの処理で調整された動作時間に基づい
て、前記可動部位の動作を制御する動作制御ステップと
を含むことを特徴とするコンピュータが読み取り可能な
プログラムが記録されている記録媒体。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP37377999A JP4032273B2 (ja) | 1999-12-28 | 1999-12-28 | 同期制御装置および方法、並びに記録媒体 |
| EP00403640A EP1113422B1 (en) | 1999-12-28 | 2000-12-21 | Voice driven mouth animation system |
| DE60019248T DE60019248T2 (de) | 1999-12-28 | 2000-12-21 | Sprachgesteuertes Mundanimationssystem |
| US09/749,214 US6865535B2 (en) | 1999-12-28 | 2000-12-27 | Synchronization control apparatus and method, and recording medium |
| US10/927,998 US7080015B2 (en) | 1999-12-28 | 2004-08-26 | Synchronization control apparatus and method, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP37377999A JP4032273B2 (ja) | 1999-12-28 | 1999-12-28 | 同期制御装置および方法、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001179667A true JP2001179667A (ja) | 2001-07-03 |
| JP4032273B2 JP4032273B2 (ja) | 2008-01-16 |
Family
ID=18502746
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP37377999A Expired - Fee Related JP4032273B2 (ja) | 1999-12-28 | 1999-12-28 | 同期制御装置および方法、並びに記録媒体 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US6865535B2 (ja) |
| EP (1) | EP1113422B1 (ja) |
| JP (1) | JP4032273B2 (ja) |
| DE (1) | DE60019248T2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7241947B2 (en) | 2003-03-20 | 2007-07-10 | Sony Corporation | Singing voice synthesizing method and apparatus, program, recording medium and robot apparatus |
| JP2008026463A (ja) * | 2006-07-19 | 2008-02-07 | Denso Corp | 音声対話装置 |
| JP2009233764A (ja) * | 2008-03-26 | 2009-10-15 | Toyota Motor Corp | 動作生成装置、ロボット及び動作生成方法 |
| JP2011164763A (ja) * | 2010-02-05 | 2011-08-25 | Yamaha Corp | 制御情報生成装置および形状制御装置 |
| JP2012128440A (ja) * | 2012-02-06 | 2012-07-05 | Denso Corp | 音声対話装置 |
| JP2017213612A (ja) * | 2016-05-30 | 2017-12-07 | トヨタ自動車株式会社 | ロボットおよびロボットの制御方法 |
| JP2018001403A (ja) * | 2016-07-07 | 2018-01-11 | 深▲せん▼狗尾草智能科技有限公司Ｓｈｅｎｚｈｅｎ Ｇｏｗｉｌｄ Ｒｏｂｏｔｉｃｓ Ｃｏ．，Ｌｔｄ． | 音声と仮想動作を同期させる方法、システムとロボット本体 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0028810D0 (en) * | 2000-11-25 | 2001-01-10 | Hewlett Packard Co | Voice communication concerning a local entity |
| EP1699040A4 (en) * | 2003-12-12 | 2007-11-28 | Nec Corp | INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING PROGRAM |
| JP4661074B2 (ja) * | 2004-04-07 | 2011-03-30 | ソニー株式会社 | 情報処理システム、情報処理方法、並びにロボット装置 |
| JP4240001B2 (ja) * | 2005-05-16 | 2009-03-18 | コニカミノルタビジネステクノロジーズ株式会社 | データ収集装置及びプログラム |
| US8510112B1 (en) * | 2006-08-31 | 2013-08-13 | At&T Intellectual Property Ii, L.P. | Method and system for enhancing a speech database |
| US8510113B1 (en) | 2006-08-31 | 2013-08-13 | At&T Intellectual Property Ii, L.P. | Method and system for enhancing a speech database |
| US7472061B1 (en) * | 2008-03-31 | 2008-12-30 | International Business Machines Corporation | Systems and methods for building a native language phoneme lexicon having native pronunciations of non-native words derived from non-native pronunciations |
| JP5178607B2 (ja) * | 2009-03-31 | 2013-04-10 | 株式会社バンダイナムコゲームス | プログラム、情報記憶媒体、口形状制御方法及び口形状制御装置 |
| FR2947923B1 (fr) * | 2009-07-10 | 2016-02-05 | Aldebaran Robotics | Systeme et procede pour generer des comportements contextuels d'un robot mobile |
| CN106875947B (zh) * | 2016-12-28 | 2021-05-25 | 北京光年无限科技有限公司 | 用于智能机器人的语音输出方法和装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4896357A (en) * | 1986-04-09 | 1990-01-23 | Tokico Ltd. | Industrial playback robot having a teaching mode in which teaching data are given by speech |
| US6332123B1 (en) * | 1989-03-08 | 2001-12-18 | Kokusai Denshin Denwa Kabushiki Kaisha | Mouth shape synthesizing |
| JP3254994B2 (ja) * | 1995-03-01 | 2002-02-12 | セイコーエプソン株式会社 | 音声認識対話装置および音声認識対話処理方法 |
| US6208356B1 (en) * | 1997-03-24 | 2001-03-27 | British Telecommunications Public Limited Company | Image synthesis |
| KR100240637B1 (ko) * | 1997-05-08 | 2000-01-15 | 정선종 | 다중매체와의 연동을 위한 텍스트/음성변환 구현방법 및 그 장치 |
| US6064960A (en) * | 1997-12-18 | 2000-05-16 | Apple Computer, Inc. | Method and apparatus for improved duration modeling of phonemes |
| JPH11224179A (ja) * | 1998-02-05 | 1999-08-17 | Fujitsu Ltd | 対話インタフェース・システム |
| US6539354B1 (en) * | 2000-03-24 | 2003-03-25 | Fluent Speech Technologies, Inc. | Methods and devices for producing and using synthetic visual speech based on natural coarticulation |
-
1999
- 1999-12-28 JP JP37377999A patent/JP4032273B2/ja not_active Expired - Fee Related
-
2000
- 2000-12-21 DE DE60019248T patent/DE60019248T2/de not_active Expired - Fee Related
- 2000-12-21 EP EP00403640A patent/EP1113422B1/en not_active Expired - Lifetime
- 2000-12-27 US US09/749,214 patent/US6865535B2/en not_active Expired - Fee Related
-
2004
- 2004-08-26 US US10/927,998 patent/US7080015B2/en not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7241947B2 (en) | 2003-03-20 | 2007-07-10 | Sony Corporation | Singing voice synthesizing method and apparatus, program, recording medium and robot apparatus |
| JP2008026463A (ja) * | 2006-07-19 | 2008-02-07 | Denso Corp | 音声対話装置 |
| JP2009233764A (ja) * | 2008-03-26 | 2009-10-15 | Toyota Motor Corp | 動作生成装置、ロボット及び動作生成方法 |
| JP2011164763A (ja) * | 2010-02-05 | 2011-08-25 | Yamaha Corp | 制御情報生成装置および形状制御装置 |
| JP2012128440A (ja) * | 2012-02-06 | 2012-07-05 | Denso Corp | 音声対話装置 |
| JP2017213612A (ja) * | 2016-05-30 | 2017-12-07 | トヨタ自動車株式会社 | ロボットおよびロボットの制御方法 |
| JP2018001403A (ja) * | 2016-07-07 | 2018-01-11 | 深▲せん▼狗尾草智能科技有限公司Ｓｈｅｎｚｈｅｎ Ｇｏｗｉｌｄ Ｒｏｂｏｔｉｃｓ Ｃｏ．，Ｌｔｄ． | 音声と仮想動作を同期させる方法、システムとロボット本体 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6865535B2 (en) | 2005-03-08 |
| EP1113422B1 (en) | 2005-04-06 |
| DE60019248T2 (de) | 2006-02-16 |
| US20010007096A1 (en) | 2001-07-05 |
| JP4032273B2 (ja) | 2008-01-16 |
| US20050027540A1 (en) | 2005-02-03 |
| EP1113422A2 (en) | 2001-07-04 |
| DE60019248D1 (de) | 2005-05-12 |
| US7080015B2 (en) | 2006-07-18 |
| EP1113422A3 (en) | 2002-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4032273B2 (ja) | 同期制御装置および方法、並びに記録媒体 | |
| JP4296714B2 (ja) | ロボット制御装置およびロボット制御方法、記録媒体、並びにプログラム | |
| US7349852B2 (en) | System and method of providing conversational visual prosody for talking heads | |
| US8131551B1 (en) | System and method of providing conversational visual prosody for talking heads | |
| JP4687936B2 (ja) | 音声出力装置および音声出力方法、並びにプログラムおよび記録媒体 | |
| JP2001154681A (ja) | 音声処理装置および音声処理方法、並びに記録媒体 | |
| JP2003084800A (ja) | 音声による感情合成方法及び装置 | |
| JP2003271174A (ja) | 音声合成方法、音声合成装置、プログラム及び記録媒体、制約情報生成方法及び装置、並びにロボット装置 | |
| JP2003271173A (ja) | 音声合成方法、音声合成装置、プログラム及び記録媒体、並びにロボット装置 | |
| JP2001209820A (ja) | 感情表出装置及びプログラムを記録した機械読み取り可能な記録媒体 | |
| CN113112575B (zh) | 一种口型生成方法、装置、计算机设备及存储介质 | |
| Breazeal | Emotive qualities in lip-synchronized robot speech | |
| WO2002086861A1 (fr) | Processeur de langage | |
| JPH11242751A (ja) | アニメーション制御装置及び方法及び文読み上げ装置 | |
| JP5531654B2 (ja) | 制御情報生成装置および形状制御装置 | |
| JP2003337592A (ja) | 音声合成方法及び音声合成装置及び音声合成プログラム | |
| JP2005004107A (ja) | 歌声合成方法、歌声合成装置、プログラム及び記録媒体並びにロボット装置 | |
| JP7225642B2 (ja) | コミュニケーションロボット、制御方法及び制御プログラム | |
| Bernardet et al. | Speech breathing in virtual humans: An interactive model and empirical study | |
| JP2003058908A (ja) | 顔画像制御方法および装置、コンピュータプログラム、および記録媒体 | |
| JP2003271172A (ja) | 音声合成方法、音声合成装置、プログラム及び記録媒体、並びにロボット装置 | |
| JP2002258886A (ja) | 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体 | |
| JP3785892B2 (ja) | 音声合成装置及び記録媒体 | |
| JPH1166345A (ja) | 画像音響処理装置および記録媒体 | |
| JP2002318590A (ja) | 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060301 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070717 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070719 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070905 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070927 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071010 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |