JP2009258366A - 音声制御装置 - Google Patents

音声制御装置 Download PDF

Info

Publication number
JP2009258366A
JP2009258366A JP2008106923A JP2008106923A JP2009258366A JP 2009258366 A JP2009258366 A JP 2009258366A JP 2008106923 A JP2008106923 A JP 2008106923A JP 2008106923 A JP2008106923 A JP 2008106923A JP 2009258366 A JP2009258366 A JP 2009258366A
Authority
JP
Japan
Prior art keywords
vowel
feature amount
voice control
similarity
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008106923A
Other languages
English (en)
Other versions
JP4906776B2 (ja
Inventor
Seiichi Amashiro
成一 天白
Yasuo Sobashima
康雄 傍島
Yasuhiro Fujii
泰宏 藤井
Masaki Tsumori
正樹 津守
Takashi Shoji
高士 庄司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arcadia Co Ltd
Original Assignee
Arcadia Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arcadia Co Ltd filed Critical Arcadia Co Ltd
Priority to JP2008106923A priority Critical patent/JP4906776B2/ja
Publication of JP2009258366A publication Critical patent/JP2009258366A/ja
Application granted granted Critical
Publication of JP4906776B2 publication Critical patent/JP4906776B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】 音声の特徴自体によって直接的に制御を行うことを可能とした音声制御装置を提供する。
【手段】 音声取得部2は、音声を取得し電気信号に変換する。特徴量算出手段4は、音声電気信号を周波数解析し、特徴量を算出する。母音判定手段6は、算出した特徴量に基づいて、予め登録された母音との類似度に基づいて母音の判定を行う。制御手段8は、各母音を異なる方向に対応づけた平面または空間において、母音判定手段6によって判定された母音に対応する方向に、その類似度に対応する大きさのベクトルを想定する。制御手段8は、このようにして想定したベクトルに基づいて制御信号を出力する。このようにして、音声に基づいた制御を行うことができる。
【選択図】 図1

Description

この発明は音声に基づいて制御を行う音声制御装置に関するものである。
入力された音声の特徴を解析することにより入力された音を推定し、この音の並びによって制御を行う装置が提案されている(たとえば特許文献1)。このような装置によれば、ユーザは、手による操作を行わずとも声によって機器を制御することができるという効果がある。
特許第4026198号
しかしながら、入力された音声が意味する内容によって制御を行うことは、ユーザにとって分かりやすいものである反面、発話の仕方自体は直接的に制御に反映されず、その点において制御が間接的であった。
そこでこの発明は、音声の特徴自体によって直接的に制御を行うことを可能とした音声制御装置を提供することを目的とする。
この発明のいくつかの独立した特徴を以下に示す。
(1)(2)この発明に係る音声制御システムは、音声を取得し音声信号に変換する音声取得部と、音声取得部からの音声信号を周波数解析して特徴量を算出する特徴量算出手段と、前記特徴量算出手段によって算出した特徴量に基づいて、予め登録された母音との類似度に基づいて母音の判定を行う母音判定手段と、各母音を異なる方向に対応付けた平面または空間において、前記母音判定手段によって判定された母音に対応する方向に、その類似度に対応する大きさのベクトルを想定し、当該ベクトルの方向もしくは大きさまたはその双方によって制御を行う制御手段と、制御手段による制御結果を出力する出力部とを備えている。
したがって、入力された音声の母音との類似度に基づいてベクトルを想定し、当該ベクトルに基づいた制御を行うことができる。
(3)この発明に係る音声制御プログラムは、制御手段が、予め記録されたベクトルの方向および大きさの時間的変化と、算出したベクトルの方向および大きさの時間的変化とを比較し、その類似度に基づいて得点を算出することを特徴としている。
したがって、基準となる音声との対比において、入力された音声を得点付けすることができる。
(4)(5)この発明に係る歌唱力判定装置は、伴奏データを音として出力する伴奏出力部と、音声を取得し音声信号に変換する音声取得部と、音声取得部からの音声信号を周波数解析して特徴量を算出する特徴量算出手段と、前記特徴量算出手段によって算出した特徴量に基づいて、予め登録された母音との類似度に基づいて母音の判定を行う母音判定手段と、母音判定手段によって判定された母音の変化タイミングを、予め記録されている正解母音変化タイミングと比較し、その一致度に基づいて、歌唱力を判定する比較手段とを備えている。
したがって、母音変化のタイミングに基づいて歌唱力を判定することができる。
(6)(8)この発明に係る音声制御装置は、音声を取得し音声信号に変換する音声取得部と、音声取得部からの音声信号を周波数解析して特徴量を算出する特徴量算出手段と、前記特徴量算出手段によって算出した特徴量に基づいて、予め登録された各母音との類似度を算出する母音判定手段と、各母音を異なる方向に対応付けた平面または空間において、前記母音判定手段によって判定された各母音との類似度をマッピングし、前記平面または空間におけるマッピング位置に基づいて制御を行う制御手段と、制御手段による制御結果を出力する出力部とを備えている。
したがって、入力された音声の母音との類似度に基づいて平面または空間にマッピングを行い、当該マッピングに基づいた制御を行うことができる。
(7)(9)この発明に係る音声制御装置は、音声を取得し音声信号に変換する音声取得部と、音声取得部からの音声信号を周波数解析して少なくとも二以上の特徴量を算出する特徴量算出手段と、前記二以上の特徴量を異なる方向に対応付けた平面または空間において、前記二以上の特徴量をマッピングし、前記平面または空間におけるマッピング位置に基づいて制御を行う制御手段と、制御手段による制御結果を出力する出力部とを備えている。
したがって、入力された音声の周波数解析による特徴量に基づいて平面または空間にマッピングを行い、当該マッピングに基づいて制御を行うことができる。
(10)この発明に係る音声制御プログラムは、制御手段が、前記マッピング位置に基づいて表示部における制御対象を移動させるよう制御することを特徴としている。
したがって、入力した音声の周波数的な特徴に基づいて制御対象の移動を制御することができる。
(11)この発明に係る音声制御プログラムは、制御手段が、前記マッピング位置の時間的変化を表示部において表示するよう制御することを特徴としている。
したがって、入力した音声の周波数的な特徴量の時間的変化を視覚的に確認することができる。
この発明における「特徴量算出手段」は、実施形態では、図3のステップS2やMFCCチップ28がこれに対応する。
「母音判定手段」は、実施形態では、図3、図4のステップS3〜S8がこれに対応する。
「制御手段」は、実施形態では、図4のステップS9がこれに対応する。
「プログラム」とは、CPUにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
発明を実施するための形態
1.第一の実施形態
1.1全体構成
図1にこの発明の一実施形態による音声制御装置の機能ブロック図を示す。音声取得部2は、音声を取得し電気信号に変換する。特徴量算出手段4は、音声電気信号を周波数解析し、特徴量を算出する。母音判定手段6は、算出した特徴量に基づいて、予め登録された母音との類似度に基づいて母音の判定を行う。制御手段8は、各母音を異なる方向に対応づけた平面または空間において、母音判定手段6によって判定された母音に対応する方向に、その類似度に対応する大きさのベクトルを想定する。制御手段8は、このようにして想定したベクトルに基づいて制御信号を出力する。このようにして、音声に基づいた制御を行うことができる。
1.2ハードウエア構成
図1の音声制御装置のハードウエア構成を図2に示す。CPU18には、ディスプレイ12、操作部14、A/D変換器16、メモリ20、フラッシュメモリ22が接続されている。操作部14は、キーボードやポインティングデバイスなどである。マイク24は、A/D変換器16を介してCPU18に接続されている。フラッシュメモリ22には、音声制御プログラム、MFCCパラメータの基準値・分散値やアプリケーションプログラムが記録されている。
1.3音声制御プログラム
図3に、フラッシュメモリ22に記録された音声制御プログラムのフローチャートを示す。ユーザがマイクに発話すると、この音声信号はA/D変換器16によってディジタルデータに変換され、メモリ20に記録される。CPU18は、メモリ20に記録された音声データを、所定時間分(たとえば5秒)取り込む(ステップS1)。次に、CPU18は、取り込んだ音声データを周波数解析し、MFCCパラメータを算出する(ステップS2)。具体的には、音声データをケプストラム解析し、フィルタバンク分析によって12次までのスペクトル成分を算出する。図5にこのようにして算出したMFCCパラメータの例を示す。この実施形態では1次から12次までのパラメータを算出している。
次に、CPU18は、算出した各次のMFCCパラメータと、予め記録してある基準値との差を算出する(ステップS3)。ここで、基準値とは、予め特定または不特定の話者に「あ」「い」「う」「え」「お」(あるいはこれら母音を含む音)をマイク24から入力してもらい、それぞれについてMFCCパラメータを算出し、多くのデータの平均値を求めたものである。図6に、フラッシュメモリ22に記録されたMFCCパラメータの基準値の例を示す。上段には、各母音・各次数ごとのMFCCパラメータの平均値が示されている。下段には、各母音・各次数ごとのMFCCパラメータのばらつきを示す分散値が示されている。
CPU18は、ステップS2において算出した各次数のMFCCパラメータと、各母音ごとに、基準値である各次数のMFCCパラメータとの差を求める。図7に、入力された音声のMFCCパラメータ(図5のサンプル1)について算出した基準値との差を示す。
次に、CPU18は、算出した差を2乗する(ステップS4)。続いて、差の2乗を予め算出して記録しておいた図6の分散値で除する(ステップS5)。これにより、各パラメータごとのばらつきを正規化する。さらに、CPU18は、各母音ごとに、正規化した各次数の値を合計し平方根を算出し次数で除してスコアを算出する(ステップS6)。
以上のようにして、CPU18は、スコアを算出する。スコアの算出を数式で表すと、以下のようになる。
Figure 2009258366
ここで、Saは母音「あ」についてのスコア、Siは母音「い」についてのスコア・・・Soは母音「お」についてのスコアである。P1は、入力された音声のMFCCパラメータの1次のパラメータである。P2、P3・・・P12は、同様に、入力された音声のMFCCパラメータの2次から12次までのパラメータである。A1は、「あ」のMFCCパラメータ基準値の1次パラメータである。A2、A3・・・A12は、同様に、「あ」のMFCCパラメータ基準値の2次から12次までのパラメータである。I1、I2・・・I12は、「い」のMFCCパラメータ基準値の1次から12次パラメータである。U1、U2・・・U12は、「う」のMFCCパラメータ基準値の1次から12次パラメータである。E1、E2・・・E12は、「え」のMFCCパラメータ基準値の1次から12次パラメータである。O1、O2・・・O12は、「お」のMFCCパラメータ基準値の1次から12次パラメータである。a1、a2・・・a12は、「あ」のMFCCパラメータ基準値の1次から12次パラメータの分散値である。i1、i2・・・i12は、「い」のMFCCパラメータ基準値の1次から12次パラメータの分散値である。u1、u2・・・u12は、「う」のMFCCパラメータ基準値の1次から12次パラメータの分散値である。e1、e2・・・e12は、「え」のMFCCパラメータ基準値の1次から12次パラメータの分散値である。o1、o2・・・o12は、「お」のMFCCパラメータ基準値の1次から12次パラメータの分散値である。
上記のようにして、入力された音声が、いずれの母音に近いかを示すスコアを得ることができる。
次に、CPU18は、算出したスコアSa、Si、Su、Se、Soのいずれかが1を下回っているかどうかを判断する(ステップS7)。1未満のスコアがなければ、判定不能とし、ステップS1に戻って次の音声に対する処理を行う。
1未満のスコアがあれば、それらスコアの内で最も小さいものを選択し、それを判定母音とする(ステップS8)。たとえば、図8の上段(サンプル1)に示すようにスコアが算出された場合、1未満で最も小さいスコアSaが選択され、「あ」と判定することになる。
CPU18は、「あ」という判定結果とスコア(図8のサンプル1なら0.338)に基づいて、たとえば、ディスプレイ12のカーソルの移動を制御する(ステップS9)。具体的には、図9のような「あ」が上、「い」が下、「え」が右、「お」が左という平面を想定し、この平面上に判定結果をプロットする。上記の例であれば、「あ」の軸方向に対して、スコアSaの逆数をプロットする。CPU18は、このプロットした方向にカーソルを移動させる。したがって、入力された母音の方向に、その類似度(スコアの逆数)に応じてカーソルが移動されることになる。移動速度ないし移動加速度が類似度によって決定される。なお、この実施形態では、「う」と判定された場合には、そのカーソルの位置でクリックがされたものと判断する。
次に、CPU18は、ステップS1に戻って次の音声データの処理を行う。
この実施形態では、母音判定に基づいて制御を行うようにしている。マイク24から入力する音声は、「あ」から「お」までの母音でなくともよい。「か」「き」「く」・・・「わ」の音に含まれる母音を判定して、同様の制御ができるからである。
1.4その他の実施形態
(1)上記実施形態では、各母音を2次元平面の軸に配置しているが、図10Aに示すように、三次元以上の空間軸に配置し、これにしたがってマッピングし制御を行うようにしてもよい。
(2)上記実施形態では、MFCCパラメータを用いたが、FFT解析、LPC解析などの周波数解析を用いてもよい。
(3)上記実施形態では、母音判定を行った後、座標上へのマッピングを行っている。しかし、図11に示すように、母音判定を行わず、各母音の類似度に基づいて座標上にマッピングするようにしてもよい。図11において、YはスコアSaからSiを減じたものであり、XはスコアSeからSoを減じたものである。CPU18は、このようにして生成したベクトルVに基づいた制御を行う。
(4)上記実施形態では、各母音を平面または空間の軸に配置しているが、図10Bに示すように、特徴量(たとえばMFCCパラメータの各次の値)を平面または空間の軸に配置するようにしてもよい。
(5)また、特徴量としてフォルマント周波数を用い、これに基づいて平面または空間の軸に配置するようにしてもよい。たとえば、縦軸に第1フォルマント周波数、横軸に第2フォルマント周波数をとって、図10Cに示すように、この平面内における特徴量の移動をディスプレイに表示するようにしてもよい。
2.第二の実施形態
2.1全体構成
図12に、この発明の一実施形態による歌唱力判定装置の機能ブロック図を示す。音声取得部2、特徴量算出手段4、母音判定手段6は、第一の実施形態と同様である。この実施形態では、制御手段8は、比較手段81、読出手段82、計数手段84を備えている。読出手段82は、カラオケデータ83を読み出し表示部10a、音声出力部10bに与える。これにより音声出力部10bから、カラオケ演奏が出力され、表示部10aには演奏に合わせて歌詞が表示される。ユーザは、これに合わせて歌を歌う。
音声取得部2はこれを取得し、特徴量算出手段4を経て、母音判定手段6によって母音が判定される。母音判定手段6の判定出力は、比較手段81に与えられる。一方、読出手段82は、読み出したカラオケデータ83に記録されている母音変化のタイミングを比較手段81に与える。したがって、比較手段81は、ユーザの歌の母音変化のタイミングが、記録されているカラオケデータ83のタイミングと合致するかどうかを判断する。合致の度合いに応じて得点を算出し、計数手段84に出力する。計数手段84は、これを合計して得点を算出し、カラオケ演奏が終わった時点で、表示部10aに得点を表示する。以上のようにして、歌唱力を判定することができる。
2.2ハードウエア構成
図13に、図12の歌唱力判定装置のハードウエア構成を示す。この実施形態では、携帯電話装置に歌唱力判定プログラムを組み込んだものを例として示している。
CPU18には、ディスプレイ12、操作部14、MFCCチップ28、メモリ20、フラッシュメモリ22、スピーカ26が接続されている。なお、携帯電話装置の基本機能である通話部分については省略している。MFCCチップ28は、第一の実施形態にて説明したMFCCパラメータの演算を行うICである。スピーカ26は、音を出力するためのものである。フラッシュメモリ22には、歌唱力判定プログラム、カラオケデータなどが記録されている。
2.3歌唱力判定プログラムのフローチャート
図14に、歌唱力判定プログラムのフローチャートを示す。CPU18は、フラッシュメモリ22からカラオケデータを読み出す(ステップS51)。このカラオケデータには、伴奏データ、歌詞データと母音変化正解データが含まれている。母音変化正解データは、伴奏の進行に合致した歌の母音変化のタイミングを示すものである。
CPU18は、読み出した伴奏データをスピーカ26に出力する(ステップS52)。これにより、スピーカ26から伴奏が出力される。また、歌詞データをディスプレイ12に表示する。
ユーザは、この伴奏を聞き、歌詞データの表示を見て、伴奏に合うようにマイク24に向かって歌う。MFCCチップ28は、マイク24から入力された歌のMFCCパラメータを算出して出力する。CPU18は、これをメモリ20に取り込む(ステップS53)。さらに、CPU18は、取り込んだMFCCパラメータに基づいて母音判定を行う(ステップS54)。なお、全ての音は母音を含んでいるので、全ての音について母音判定を行うことができる。
CPU18は、入力された歌の母音の変化データと、予め記録していた母音変化正解データとを比較し、両者の合致度に基づいて得点を算出する(ステップS55)。たとえば、母音変化正解データが図15Aに示すようであったとし、入力された歌の母音変化データが図15Bに示すようであったとする。図15Aは、時間t0から「あ」が開始され、時間t2に「あ」が終了することが好ましいことが示されている。入力された歌は、時刻t1に「あ」が開始され、時刻t3に「あ」が終了しているので、t1−t0とt3−t2を合わせた誤差が生じている。CPU18は、この誤差の大きさにより得点付けを行う。誤差が小さければ得点は高く、誤差が大きければ得点は小さくなる。なお、母音変化正解データの示す母音と、入力された音の母音が異なる場合には得点は「0」となる。
CPU18は、このようにして算出した得点を合計していく(ステップS56)。次に、CPU18は、カラオケデータが終了したかどうかを判断する(ステップS57)。終了していなければ、ステップS51に戻って次のカラオケデータを読み出して処理を続ける。カラオケデータが終了していれば、CPU18は、得点をディスプレイに表示する(ステップS58)。この得点は、ステップS56において累計した得点の満点に対する割合として算出する。以上のようにして歌唱力の判定を行うことができる。
2.4その他の実施形態
(1)上記実施形態では、母音変化のタイミングによって歌唱力の判定を行った。しかし、声の大きさについて正解データとの比較を行い、上記のタイミングと大きさの双方によって得点を付けるようにしてもよい。
(2)上記実施形態では、歌唱力判定を行った。しかし、2人のプレイヤが交互に声を入力し、特定の母音に対する類似度に基づいて、綱引きなどのゲームを進行するようにしてもよい。
この発明の一実施形態による音声制御装置の機能ブロック図である。 音声制御装置のハードウエア構成を示す図である。 音声制御プログラムのフローチャートである。 音声制御プログラムのフローチャートである。 入力された音のMFCCパラメータの例である。 各母音の標準MFCCパラメータの例である。 標準MFCCパラメータとの差を算出したデータ例である。 算出されたスコアの例である。 制御のためのマッピング座標を示す図である。 他のマッピング座標例を示す図である。 他のマッピング座標例を示す図である。 この発明の一実施形態による歌唱力判定装置の機能ブロック図である。 歌唱力判定装置のハードウエア構成である。 歌唱力判定プログラムのフローチャートである。 正解母音変化データと入力された歌の母音変化データを示す図である。
符号の説明
2・・・音声取得部
4・・・特徴量算出手段
6・・・母音判定手段
8・・・制御手段
10・・・出力部

Claims (11)

  1. 音声を取得し音声信号に変換する音声取得部と、
    音声取得部からの音声信号を周波数解析して特徴量を算出する特徴量算出手段と、
    前記特徴量算出手段によって算出した特徴量に基づいて、予め登録された母音との類似度に基づいて母音の判定を行う母音判定手段と、
    各母音を異なる方向に対応付けた平面または空間において、前記母音判定手段によって判定された母音に対応する方向に、その類似度に対応する大きさのベクトルを想定し、当該ベクトルの方向もしくは大きさまたはその双方によって制御を行う制御手段と、
    制御手段による制御結果を出力する出力部と、
    を備えた音声制御装置。
  2. コンピュータによって音声制御装置を実現するための音声制御プログラムであって、
    音声取得部からの音声信号を周波数解析して特徴量を算出する特徴量算出手段と、
    前記特徴量算出手段によって算出した特徴量に基づいて、予め登録された母音との類似度に基づいて母音の判定を行う母音判定手段と、
    各母音を異なる方向に対応付けた平面または空間において、前記母音判定手段によって判定された母音に対応する方向に、その類似度に対応する大きさのベクトルを想定し、当該ベクトルの方向もしくは大きさまたはその双方によって制御を行う制御手段と、
    をコンピュータによって実現するための音声制御プログラム。
  3. 請求項2の音声制御プログラムにおいて、
    前記制御手段は、予め記録されたベクトルの方向および大きさの時間的変化と、算出したベクトルの方向および大きさの時間的変化とを比較し、その類似度に基づいて得点を算出することを特徴とする音声制御プログラム。
  4. 伴奏データを音として出力する伴奏出力部と、
    音声を取得し音声信号に変換する音声取得部と、
    音声取得部からの音声信号を周波数解析して特徴量を算出する特徴量算出手段と、
    前記特徴量算出手段によって算出した特徴量に基づいて、予め登録された母音との類似度に基づいて母音の判定を行う母音判定手段と、
    母音判定手段によって判定された母音の変化タイミングを、予め記録されている正解母音変化タイミングと比較し、その一致度に基づいて、歌唱力を判定する比較手段と、
    を備えた歌唱力判定装置。
  5. コンピュータによって歌唱力判定装置を実現するための歌唱力判定プログラムであって、
    音声取得部からの音声信号を周波数解析して特徴量を算出する特徴量算出手段と、
    前記特徴量算出手段によって算出した特徴量に基づいて、予め登録された母音との類似度に基づいて母音の判定を行う母音判定手段と、
    母音判定手段によって判定された母音の変化タイミングを、予め記録されている正解母音変化タイミングと比較し、その一致度に基づいて、歌唱力を判定する比較手段と、
    をコンピュータによって実現するための歌唱力判定プログラム。
  6. 音声を取得し音声信号に変換する音声取得部と、
    音声取得部からの音声信号を周波数解析して特徴量を算出する特徴量算出手段と、
    前記特徴量算出手段によって算出した特徴量に基づいて、予め登録された各母音との類似度を算出する母音判定手段と、
    各母音を異なる方向に対応付けた平面または空間において、前記母音判定手段によって判定された各母音との類似度をマッピングし、前記平面または空間におけるマッピング位置に基づいて制御を行う制御手段と、
    制御手段による制御結果を出力する出力部と、
    を備えた音声制御装置。
  7. 音声を取得し音声信号に変換する音声取得部と、
    音声取得部からの音声信号を周波数解析して少なくとも二以上の特徴量を算出する特徴量算出手段と、
    前記二以上の特徴量を異なる方向に対応付けた平面または空間において、前記二以上の特徴量をマッピングし、前記平面または空間におけるマッピング位置に基づいて制御を行う制御手段と、
    制御手段による制御結果を出力する出力部と、
    を備えた音声制御装置。
  8. コンピュータによって音声制御装置を実現するための音声制御プログラムであって、
    音声取得部からの音声信号を周波数解析して特徴量を算出する特徴量算出手段と、
    前記特徴量算出手段によって算出した特徴量に基づいて、予め登録された各母音との類似度を算出する母音判定手段と、
    各母音を異なる方向に対応付けた平面または空間において、前記母音判定手段によって判定された各母音との類似度をマッピングし、前記平面または空間におけるマッピング位置に基づいて制御を行う制御手段と、
    をコンピュータによって実現するための音声制御プログラム。
  9. コンピュータによって音声制御装置を実現するための音声制御プログラムであって、
    音声取得部からの音声信号を周波数解析して少なくとも二以上の特徴量を算出する特徴量算出手段と、
    前記二以上の特徴量を異なる方向に対応付けた平面または空間において、前記二以上の特徴量をマッピングし、前記平面または空間におけるマッピング位置に基づいて制御を行う制御手段と、
    をコンピュータによって実現するための音声制御プログラム。
  10. 請求項8または9の音声制御プログラムにおいて、
    前記制御手段は、前記マッピング位置に基づいて表示部における制御対象を移動させるよう制御することを特徴とする音声制御プログラム。
  11. 請求項8または9の音声制御プログラムにおいて、
    前記制御手段は、前記マッピング位置の時間的変化を表示部において表示するよう制御することを特徴とする音声制御プログラム。
JP2008106923A 2008-04-16 2008-04-16 音声制御装置 Expired - Fee Related JP4906776B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008106923A JP4906776B2 (ja) 2008-04-16 2008-04-16 音声制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008106923A JP4906776B2 (ja) 2008-04-16 2008-04-16 音声制御装置

Publications (2)

Publication Number Publication Date
JP2009258366A true JP2009258366A (ja) 2009-11-05
JP4906776B2 JP4906776B2 (ja) 2012-03-28

Family

ID=41385884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008106923A Expired - Fee Related JP4906776B2 (ja) 2008-04-16 2008-04-16 音声制御装置

Country Status (1)

Country Link
JP (1) JP4906776B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012042722A (ja) * 2010-08-19 2012-03-01 Tatsu Ifukube 音声生成装置およびその制御プログラム
JP2013190564A (ja) * 2012-03-13 2013-09-26 Yamaha Corp 音声評価装置
EP2816558A1 (en) 2013-06-17 2014-12-24 Fujitsu Limited Speech processing device and method
JP2015031729A (ja) * 2013-07-31 2015-02-16 ブラザー工業株式会社 情報処理装置、及びプログラム
JP2015031728A (ja) * 2013-07-31 2015-02-16 ブラザー工業株式会社 情報処理装置、及びプログラム
JP2015138177A (ja) * 2014-01-23 2015-07-30 ヤマハ株式会社 歌唱評価装置
US10403289B2 (en) 2015-01-22 2019-09-03 Fujitsu Limited Voice processing device and voice processing method for impression evaluation

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6255700A (ja) * 1985-09-04 1987-03-11 木村 正行 音声母音認識方法
JPS62157938A (ja) * 1985-12-28 1987-07-13 Fujitsu Ltd 音声によるカ−ソル位置制御方式
JPH0387921A (ja) * 1986-09-19 1991-04-12 Fujitsu Ltd 音声によるカ−ソル位置制御装置
JPH064096A (ja) * 1992-06-24 1994-01-14 Fujitsu Ltd 音声認識装置
JP2001195231A (ja) * 2000-01-12 2001-07-19 Ricoh Co Ltd 音声入力装置
JP2005242230A (ja) * 2004-02-27 2005-09-08 Yamaha Corp カラオケ装置
JP2007004153A (ja) * 2005-05-26 2007-01-11 Yamaha Corp 音声信号処理装置、音声信号処理方法および音声信号処理プログラム
JP2007199654A (ja) * 2005-12-26 2007-08-09 Advanced Telecommunication Research Institute International 音声処理装置、およびプログラム
WO2008025918A1 (fr) * 2006-09-01 2008-03-06 Voxler Procede d'analyse en temps reel de la voix pour le controle en temps reel d'un organe numerique et dispositif associe

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6255700A (ja) * 1985-09-04 1987-03-11 木村 正行 音声母音認識方法
JPS62157938A (ja) * 1985-12-28 1987-07-13 Fujitsu Ltd 音声によるカ−ソル位置制御方式
JPH0387921A (ja) * 1986-09-19 1991-04-12 Fujitsu Ltd 音声によるカ−ソル位置制御装置
JPH064096A (ja) * 1992-06-24 1994-01-14 Fujitsu Ltd 音声認識装置
JP2001195231A (ja) * 2000-01-12 2001-07-19 Ricoh Co Ltd 音声入力装置
JP2005242230A (ja) * 2004-02-27 2005-09-08 Yamaha Corp カラオケ装置
JP2007004153A (ja) * 2005-05-26 2007-01-11 Yamaha Corp 音声信号処理装置、音声信号処理方法および音声信号処理プログラム
JP2007199654A (ja) * 2005-12-26 2007-08-09 Advanced Telecommunication Research Institute International 音声処理装置、およびプログラム
WO2008025918A1 (fr) * 2006-09-01 2008-03-06 Voxler Procede d'analyse en temps reel de la voix pour le controle en temps reel d'un organe numerique et dispositif associe
JP2010501955A (ja) * 2006-09-01 2010-01-21 ヴォクスラー デジタル装置のリアルタイム制御のための音声のリアルタイム解析方法ならびに付帯する装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012042722A (ja) * 2010-08-19 2012-03-01 Tatsu Ifukube 音声生成装置およびその制御プログラム
JP2013190564A (ja) * 2012-03-13 2013-09-26 Yamaha Corp 音声評価装置
EP2816558A1 (en) 2013-06-17 2014-12-24 Fujitsu Limited Speech processing device and method
US9672809B2 (en) 2013-06-17 2017-06-06 Fujitsu Limited Speech processing device and method
JP2015031729A (ja) * 2013-07-31 2015-02-16 ブラザー工業株式会社 情報処理装置、及びプログラム
JP2015031728A (ja) * 2013-07-31 2015-02-16 ブラザー工業株式会社 情報処理装置、及びプログラム
JP2015138177A (ja) * 2014-01-23 2015-07-30 ヤマハ株式会社 歌唱評価装置
WO2015111671A1 (ja) * 2014-01-23 2015-07-30 ヤマハ株式会社 歌唱評価装置、歌唱評価方法及び歌唱評価プログラム
US10403289B2 (en) 2015-01-22 2019-09-03 Fujitsu Limited Voice processing device and voice processing method for impression evaluation

Also Published As

Publication number Publication date
JP4906776B2 (ja) 2012-03-28

Similar Documents

Publication Publication Date Title
US10789290B2 (en) Audio data processing method and apparatus, and computer storage medium
Sahidullah et al. Introduction to voice presentation attack detection and recent advances
EP3614377B1 (en) Object recognition method, computer device and computer readable storage medium
EP3553773B1 (en) Training and testing utterance-based frameworks
US9934775B2 (en) Unit-selection text-to-speech synthesis based on predicted concatenation parameters
JP4906776B2 (ja) 音声制御装置
TWI590228B (zh) 語音控制系統、電子裝置及語音控制方法
JP5200712B2 (ja) 音声認識装置、音声認識方法及びコンピュータプログラム
CN110706714B (zh) 说话者模型制作系统
EP3210205A1 (en) Sound sample verification for generating sound detection model
CN111508511A (zh) 实时变声方法及装置
CN112992109B (zh) 辅助歌唱系统、辅助歌唱方法及其非瞬时计算机可读取记录媒体
KR102495888B1 (ko) 사운드를 출력하기 위한 전자 장치 및 그의 동작 방법
CN110364140A (zh) 歌声合成模型的训练方法、装置、计算机设备以及存储介质
JP2012113087A (ja) 音声認識用wfst作成装置とそれを用いた音声認識装置と、それらの方法とプログラムと記憶媒体
CN103426429B (zh) 语音控制方法和装置
US10818308B1 (en) Speech characteristic recognition and conversion
JP2009210790A (ja) 選曲歌手分析推薦装置、その方法及びプログラム
CN112185342A (zh) 语音转换与模型训练方法、装置和系统及存储介质
CN112908308B (zh) 一种音频处理方法、装置、设备及介质
CN109064720B (zh) 位置提示方法、装置、存储介质及电子设备
Dong et al. I2r speech2singing perfects everyone's singing.
JP4839970B2 (ja) 韻律識別装置及び方法、並びに音声認識装置及び方法
JP6150276B2 (ja) 発声評価装置、発声評価方法、及びプログラム
CN111028823B (zh) 音频生成方法、装置、计算机可读存储介质及计算设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120105

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120110

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150120

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4906776

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees