JP2009258366A - 音声制御装置 - Google Patents
音声制御装置 Download PDFInfo
- Publication number
- JP2009258366A JP2009258366A JP2008106923A JP2008106923A JP2009258366A JP 2009258366 A JP2009258366 A JP 2009258366A JP 2008106923 A JP2008106923 A JP 2008106923A JP 2008106923 A JP2008106923 A JP 2008106923A JP 2009258366 A JP2009258366 A JP 2009258366A
- Authority
- JP
- Japan
- Prior art keywords
- vowel
- feature amount
- voice control
- similarity
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【手段】 音声取得部2は、音声を取得し電気信号に変換する。特徴量算出手段4は、音声電気信号を周波数解析し、特徴量を算出する。母音判定手段6は、算出した特徴量に基づいて、予め登録された母音との類似度に基づいて母音の判定を行う。制御手段8は、各母音を異なる方向に対応づけた平面または空間において、母音判定手段6によって判定された母音に対応する方向に、その類似度に対応する大きさのベクトルを想定する。制御手段8は、このようにして想定したベクトルに基づいて制御信号を出力する。このようにして、音声に基づいた制御を行うことができる。
【選択図】 図1
Description
1.1全体構成
図1にこの発明の一実施形態による音声制御装置の機能ブロック図を示す。音声取得部2は、音声を取得し電気信号に変換する。特徴量算出手段4は、音声電気信号を周波数解析し、特徴量を算出する。母音判定手段6は、算出した特徴量に基づいて、予め登録された母音との類似度に基づいて母音の判定を行う。制御手段8は、各母音を異なる方向に対応づけた平面または空間において、母音判定手段6によって判定された母音に対応する方向に、その類似度に対応する大きさのベクトルを想定する。制御手段8は、このようにして想定したベクトルに基づいて制御信号を出力する。このようにして、音声に基づいた制御を行うことができる。
図1の音声制御装置のハードウエア構成を図2に示す。CPU18には、ディスプレイ12、操作部14、A/D変換器16、メモリ20、フラッシュメモリ22が接続されている。操作部14は、キーボードやポインティングデバイスなどである。マイク24は、A/D変換器16を介してCPU18に接続されている。フラッシュメモリ22には、音声制御プログラム、MFCCパラメータの基準値・分散値やアプリケーションプログラムが記録されている。
図3に、フラッシュメモリ22に記録された音声制御プログラムのフローチャートを示す。ユーザがマイクに発話すると、この音声信号はA/D変換器16によってディジタルデータに変換され、メモリ20に記録される。CPU18は、メモリ20に記録された音声データを、所定時間分(たとえば5秒)取り込む(ステップS1)。次に、CPU18は、取り込んだ音声データを周波数解析し、MFCCパラメータを算出する(ステップS2)。具体的には、音声データをケプストラム解析し、フィルタバンク分析によって12次までのスペクトル成分を算出する。図5にこのようにして算出したMFCCパラメータの例を示す。この実施形態では1次から12次までのパラメータを算出している。
(1)上記実施形態では、各母音を2次元平面の軸に配置しているが、図10Aに示すように、三次元以上の空間軸に配置し、これにしたがってマッピングし制御を行うようにしてもよい。
2.1全体構成
図12に、この発明の一実施形態による歌唱力判定装置の機能ブロック図を示す。音声取得部2、特徴量算出手段4、母音判定手段6は、第一の実施形態と同様である。この実施形態では、制御手段8は、比較手段81、読出手段82、計数手段84を備えている。読出手段82は、カラオケデータ83を読み出し表示部10a、音声出力部10bに与える。これにより音声出力部10bから、カラオケ演奏が出力され、表示部10aには演奏に合わせて歌詞が表示される。ユーザは、これに合わせて歌を歌う。
図13に、図12の歌唱力判定装置のハードウエア構成を示す。この実施形態では、携帯電話装置に歌唱力判定プログラムを組み込んだものを例として示している。
図14に、歌唱力判定プログラムのフローチャートを示す。CPU18は、フラッシュメモリ22からカラオケデータを読み出す(ステップS51)。このカラオケデータには、伴奏データ、歌詞データと母音変化正解データが含まれている。母音変化正解データは、伴奏の進行に合致した歌の母音変化のタイミングを示すものである。
(1)上記実施形態では、母音変化のタイミングによって歌唱力の判定を行った。しかし、声の大きさについて正解データとの比較を行い、上記のタイミングと大きさの双方によって得点を付けるようにしてもよい。
4・・・特徴量算出手段
6・・・母音判定手段
8・・・制御手段
10・・・出力部
Claims (11)
- 音声を取得し音声信号に変換する音声取得部と、
音声取得部からの音声信号を周波数解析して特徴量を算出する特徴量算出手段と、
前記特徴量算出手段によって算出した特徴量に基づいて、予め登録された母音との類似度に基づいて母音の判定を行う母音判定手段と、
各母音を異なる方向に対応付けた平面または空間において、前記母音判定手段によって判定された母音に対応する方向に、その類似度に対応する大きさのベクトルを想定し、当該ベクトルの方向もしくは大きさまたはその双方によって制御を行う制御手段と、
制御手段による制御結果を出力する出力部と、
を備えた音声制御装置。 - コンピュータによって音声制御装置を実現するための音声制御プログラムであって、
音声取得部からの音声信号を周波数解析して特徴量を算出する特徴量算出手段と、
前記特徴量算出手段によって算出した特徴量に基づいて、予め登録された母音との類似度に基づいて母音の判定を行う母音判定手段と、
各母音を異なる方向に対応付けた平面または空間において、前記母音判定手段によって判定された母音に対応する方向に、その類似度に対応する大きさのベクトルを想定し、当該ベクトルの方向もしくは大きさまたはその双方によって制御を行う制御手段と、
をコンピュータによって実現するための音声制御プログラム。 - 請求項2の音声制御プログラムにおいて、
前記制御手段は、予め記録されたベクトルの方向および大きさの時間的変化と、算出したベクトルの方向および大きさの時間的変化とを比較し、その類似度に基づいて得点を算出することを特徴とする音声制御プログラム。 - 伴奏データを音として出力する伴奏出力部と、
音声を取得し音声信号に変換する音声取得部と、
音声取得部からの音声信号を周波数解析して特徴量を算出する特徴量算出手段と、
前記特徴量算出手段によって算出した特徴量に基づいて、予め登録された母音との類似度に基づいて母音の判定を行う母音判定手段と、
母音判定手段によって判定された母音の変化タイミングを、予め記録されている正解母音変化タイミングと比較し、その一致度に基づいて、歌唱力を判定する比較手段と、
を備えた歌唱力判定装置。 - コンピュータによって歌唱力判定装置を実現するための歌唱力判定プログラムであって、
音声取得部からの音声信号を周波数解析して特徴量を算出する特徴量算出手段と、
前記特徴量算出手段によって算出した特徴量に基づいて、予め登録された母音との類似度に基づいて母音の判定を行う母音判定手段と、
母音判定手段によって判定された母音の変化タイミングを、予め記録されている正解母音変化タイミングと比較し、その一致度に基づいて、歌唱力を判定する比較手段と、
をコンピュータによって実現するための歌唱力判定プログラム。 - 音声を取得し音声信号に変換する音声取得部と、
音声取得部からの音声信号を周波数解析して特徴量を算出する特徴量算出手段と、
前記特徴量算出手段によって算出した特徴量に基づいて、予め登録された各母音との類似度を算出する母音判定手段と、
各母音を異なる方向に対応付けた平面または空間において、前記母音判定手段によって判定された各母音との類似度をマッピングし、前記平面または空間におけるマッピング位置に基づいて制御を行う制御手段と、
制御手段による制御結果を出力する出力部と、
を備えた音声制御装置。 - 音声を取得し音声信号に変換する音声取得部と、
音声取得部からの音声信号を周波数解析して少なくとも二以上の特徴量を算出する特徴量算出手段と、
前記二以上の特徴量を異なる方向に対応付けた平面または空間において、前記二以上の特徴量をマッピングし、前記平面または空間におけるマッピング位置に基づいて制御を行う制御手段と、
制御手段による制御結果を出力する出力部と、
を備えた音声制御装置。 - コンピュータによって音声制御装置を実現するための音声制御プログラムであって、
音声取得部からの音声信号を周波数解析して特徴量を算出する特徴量算出手段と、
前記特徴量算出手段によって算出した特徴量に基づいて、予め登録された各母音との類似度を算出する母音判定手段と、
各母音を異なる方向に対応付けた平面または空間において、前記母音判定手段によって判定された各母音との類似度をマッピングし、前記平面または空間におけるマッピング位置に基づいて制御を行う制御手段と、
をコンピュータによって実現するための音声制御プログラム。 - コンピュータによって音声制御装置を実現するための音声制御プログラムであって、
音声取得部からの音声信号を周波数解析して少なくとも二以上の特徴量を算出する特徴量算出手段と、
前記二以上の特徴量を異なる方向に対応付けた平面または空間において、前記二以上の特徴量をマッピングし、前記平面または空間におけるマッピング位置に基づいて制御を行う制御手段と、
をコンピュータによって実現するための音声制御プログラム。 - 請求項8または9の音声制御プログラムにおいて、
前記制御手段は、前記マッピング位置に基づいて表示部における制御対象を移動させるよう制御することを特徴とする音声制御プログラム。 - 請求項8または9の音声制御プログラムにおいて、
前記制御手段は、前記マッピング位置の時間的変化を表示部において表示するよう制御することを特徴とする音声制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008106923A JP4906776B2 (ja) | 2008-04-16 | 2008-04-16 | 音声制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008106923A JP4906776B2 (ja) | 2008-04-16 | 2008-04-16 | 音声制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009258366A true JP2009258366A (ja) | 2009-11-05 |
JP4906776B2 JP4906776B2 (ja) | 2012-03-28 |
Family
ID=41385884
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008106923A Expired - Fee Related JP4906776B2 (ja) | 2008-04-16 | 2008-04-16 | 音声制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4906776B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012042722A (ja) * | 2010-08-19 | 2012-03-01 | Tatsu Ifukube | 音声生成装置およびその制御プログラム |
JP2013190564A (ja) * | 2012-03-13 | 2013-09-26 | Yamaha Corp | 音声評価装置 |
EP2816558A1 (en) | 2013-06-17 | 2014-12-24 | Fujitsu Limited | Speech processing device and method |
JP2015031729A (ja) * | 2013-07-31 | 2015-02-16 | ブラザー工業株式会社 | 情報処理装置、及びプログラム |
JP2015031728A (ja) * | 2013-07-31 | 2015-02-16 | ブラザー工業株式会社 | 情報処理装置、及びプログラム |
JP2015138177A (ja) * | 2014-01-23 | 2015-07-30 | ヤマハ株式会社 | 歌唱評価装置 |
US10403289B2 (en) | 2015-01-22 | 2019-09-03 | Fujitsu Limited | Voice processing device and voice processing method for impression evaluation |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6255700A (ja) * | 1985-09-04 | 1987-03-11 | 木村 正行 | 音声母音認識方法 |
JPS62157938A (ja) * | 1985-12-28 | 1987-07-13 | Fujitsu Ltd | 音声によるカ−ソル位置制御方式 |
JPH0387921A (ja) * | 1986-09-19 | 1991-04-12 | Fujitsu Ltd | 音声によるカ−ソル位置制御装置 |
JPH064096A (ja) * | 1992-06-24 | 1994-01-14 | Fujitsu Ltd | 音声認識装置 |
JP2001195231A (ja) * | 2000-01-12 | 2001-07-19 | Ricoh Co Ltd | 音声入力装置 |
JP2005242230A (ja) * | 2004-02-27 | 2005-09-08 | Yamaha Corp | カラオケ装置 |
JP2007004153A (ja) * | 2005-05-26 | 2007-01-11 | Yamaha Corp | 音声信号処理装置、音声信号処理方法および音声信号処理プログラム |
JP2007199654A (ja) * | 2005-12-26 | 2007-08-09 | Advanced Telecommunication Research Institute International | 音声処理装置、およびプログラム |
WO2008025918A1 (fr) * | 2006-09-01 | 2008-03-06 | Voxler | Procede d'analyse en temps reel de la voix pour le controle en temps reel d'un organe numerique et dispositif associe |
-
2008
- 2008-04-16 JP JP2008106923A patent/JP4906776B2/ja not_active Expired - Fee Related
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6255700A (ja) * | 1985-09-04 | 1987-03-11 | 木村 正行 | 音声母音認識方法 |
JPS62157938A (ja) * | 1985-12-28 | 1987-07-13 | Fujitsu Ltd | 音声によるカ−ソル位置制御方式 |
JPH0387921A (ja) * | 1986-09-19 | 1991-04-12 | Fujitsu Ltd | 音声によるカ−ソル位置制御装置 |
JPH064096A (ja) * | 1992-06-24 | 1994-01-14 | Fujitsu Ltd | 音声認識装置 |
JP2001195231A (ja) * | 2000-01-12 | 2001-07-19 | Ricoh Co Ltd | 音声入力装置 |
JP2005242230A (ja) * | 2004-02-27 | 2005-09-08 | Yamaha Corp | カラオケ装置 |
JP2007004153A (ja) * | 2005-05-26 | 2007-01-11 | Yamaha Corp | 音声信号処理装置、音声信号処理方法および音声信号処理プログラム |
JP2007199654A (ja) * | 2005-12-26 | 2007-08-09 | Advanced Telecommunication Research Institute International | 音声処理装置、およびプログラム |
WO2008025918A1 (fr) * | 2006-09-01 | 2008-03-06 | Voxler | Procede d'analyse en temps reel de la voix pour le controle en temps reel d'un organe numerique et dispositif associe |
JP2010501955A (ja) * | 2006-09-01 | 2010-01-21 | ヴォクスラー | デジタル装置のリアルタイム制御のための音声のリアルタイム解析方法ならびに付帯する装置 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012042722A (ja) * | 2010-08-19 | 2012-03-01 | Tatsu Ifukube | 音声生成装置およびその制御プログラム |
JP2013190564A (ja) * | 2012-03-13 | 2013-09-26 | Yamaha Corp | 音声評価装置 |
EP2816558A1 (en) | 2013-06-17 | 2014-12-24 | Fujitsu Limited | Speech processing device and method |
US9672809B2 (en) | 2013-06-17 | 2017-06-06 | Fujitsu Limited | Speech processing device and method |
JP2015031729A (ja) * | 2013-07-31 | 2015-02-16 | ブラザー工業株式会社 | 情報処理装置、及びプログラム |
JP2015031728A (ja) * | 2013-07-31 | 2015-02-16 | ブラザー工業株式会社 | 情報処理装置、及びプログラム |
JP2015138177A (ja) * | 2014-01-23 | 2015-07-30 | ヤマハ株式会社 | 歌唱評価装置 |
WO2015111671A1 (ja) * | 2014-01-23 | 2015-07-30 | ヤマハ株式会社 | 歌唱評価装置、歌唱評価方法及び歌唱評価プログラム |
US10403289B2 (en) | 2015-01-22 | 2019-09-03 | Fujitsu Limited | Voice processing device and voice processing method for impression evaluation |
Also Published As
Publication number | Publication date |
---|---|
JP4906776B2 (ja) | 2012-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10789290B2 (en) | Audio data processing method and apparatus, and computer storage medium | |
Sahidullah et al. | Introduction to voice presentation attack detection and recent advances | |
EP3614377B1 (en) | Object recognition method, computer device and computer readable storage medium | |
EP3553773B1 (en) | Training and testing utterance-based frameworks | |
US9934775B2 (en) | Unit-selection text-to-speech synthesis based on predicted concatenation parameters | |
JP4906776B2 (ja) | 音声制御装置 | |
TWI590228B (zh) | 語音控制系統、電子裝置及語音控制方法 | |
JP5200712B2 (ja) | 音声認識装置、音声認識方法及びコンピュータプログラム | |
CN110706714B (zh) | 说话者模型制作系统 | |
EP3210205A1 (en) | Sound sample verification for generating sound detection model | |
CN111508511A (zh) | 实时变声方法及装置 | |
CN112992109B (zh) | 辅助歌唱系统、辅助歌唱方法及其非瞬时计算机可读取记录媒体 | |
KR102495888B1 (ko) | 사운드를 출력하기 위한 전자 장치 및 그의 동작 방법 | |
CN110364140A (zh) | 歌声合成模型的训练方法、装置、计算机设备以及存储介质 | |
JP2012113087A (ja) | 音声認識用wfst作成装置とそれを用いた音声認識装置と、それらの方法とプログラムと記憶媒体 | |
CN103426429B (zh) | 语音控制方法和装置 | |
US10818308B1 (en) | Speech characteristic recognition and conversion | |
JP2009210790A (ja) | 選曲歌手分析推薦装置、その方法及びプログラム | |
CN112185342A (zh) | 语音转换与模型训练方法、装置和系统及存储介质 | |
CN112908308B (zh) | 一种音频处理方法、装置、设备及介质 | |
CN109064720B (zh) | 位置提示方法、装置、存储介质及电子设备 | |
Dong et al. | I2r speech2singing perfects everyone's singing. | |
JP4839970B2 (ja) | 韻律識別装置及び方法、並びに音声認識装置及び方法 | |
JP6150276B2 (ja) | 発声評価装置、発声評価方法、及びプログラム | |
CN111028823B (zh) | 音频生成方法、装置、计算机可读存储介质及计算设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100105 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110512 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120105 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120110 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150120 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4906776 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |