JP2010032599A - 音声処理装置およびプログラム - Google Patents
音声処理装置およびプログラム Download PDFInfo
- Publication number
- JP2010032599A JP2010032599A JP2008191973A JP2008191973A JP2010032599A JP 2010032599 A JP2010032599 A JP 2010032599A JP 2008191973 A JP2008191973 A JP 2008191973A JP 2008191973 A JP2008191973 A JP 2008191973A JP 2010032599 A JP2010032599 A JP 2010032599A
- Authority
- JP
- Japan
- Prior art keywords
- value
- prosody
- processing
- difference
- speech
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 230000005236 sound signal Effects 0.000 claims description 70
- 230000008859 change Effects 0.000 claims description 34
- 238000003754 machining Methods 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 8
- 230000007423 decrease Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 13
- 238000003860 storage Methods 0.000 description 13
- 230000001629 suppression Effects 0.000 description 12
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 9
- 239000013256 coordination polymer Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
- G10H1/366—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems with means for modifying or correcting the external signal, e.g. pitch correction, reverberation, changing a singer's voice
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Navigation (AREA)
- Toys (AREA)
- Exchange Systems With Centralized Control (AREA)
Abstract
【解決手段】特徴抽出部22は、音声の韻律に関する特徴量Fを音声信号S0から順次に抽出する。基準設定部24は、複数の特徴量Fの平均値を基準値Rとして設定する。差分算定部26は、基準値Rと各特徴量Fとの差分値を算定する。変数特定部28は、各差分値Rに対応した加工値Cを特定する。音声加工部30は、音声信号S0の各特徴量Fを加工値Cに応じて制御することで、音声信号S0の韻律を変化させた出力信号SOUTを生成する。
【選択図】図2
Description
図1は、本発明の第1実施形態に係る音声処理装置のブロック図である。図1に示すように、音声処理装置100は、演算処理装置10と記憶装置12とを含むコンピュータシステムで構成される。記憶装置12は、演算処理装置10が実行するプログラムや演算処理装置10が使用するデータを記憶する。例えば音声信号S0が記憶装置12に格納される。音声信号S0は、音声の時間軸上の波形を表すサンプル系列である。半導体記録媒体や磁気記録媒体などの公知の記録媒体が記憶装置12として任意に採用される。
F+C=(R+D)+(f(D)−D)
=R+f(D) ……(1)
次に、本発明の第2実施形態について説明する。なお、以下の各形態において作用や機能が第1実施形態と同様である要素については、以上と同じ符号を付して各々の詳細な説明を適宜に省略する。
図8は、本発明の第3実施形態に係る電気機器(例えば冷蔵庫や炊飯器などの家電機器)のブロック図である。図8に示すように、電気機器は、音声処理装置101を具備する。音声処理装置101は、制御値Uを生成して韻律制御部20に指示する制御部40を第1実施形態と同様の音声処理装置100に追加した構成である。図8に示すように、制御部40は、現在の時刻tを計測する計時部42を含む。
以上に例示した各形態には様々な変形が加えられる。具体的な変形の態様を例示すれば以下の通りである。なお、以下の例示から2以上の態様を任意に選択して組合せてもよい。
以上の形態においては、変数特定部28が関数F(F1〜F3)の演算を実行することで加工値C(CV,CP)を算定したが、差分値Dから加工値Cを特定する方法は任意である。例えば、差分値Dの各数値と加工値Cの各数値とを対応させたデータテーブルを事前に作成および保持し、差分算定部26が算定した差分値Dに対応する加工値Cを変数特定部28がデータテーブルから取得して音声加工部30に指示するという構成も採用される。
以上の各形態においては複数の特徴量Fの平均値を基準値Rとして利用したが、基準値Rの算定の方法は任意である。例えば、特徴抽出部22が抽出した複数の特徴量Fの一部から基準値Rを算定する構成や、特徴抽出部22が抽出した複数の特徴量Fの最大値や最小値を基準値Rとして使用した構成が採用される。さらに、音声信号S0とは無関係に基準値Rを設定した構成も好適である。
第3実施形態においては現在の時刻tに応じた制御値Uを制御部40が生成したが、制御部40による制御値Uの生成の基準は時刻tに限定されない。例えば、複数の利用者の各々について個別に制御値Uを登録しておき、複数の制御値Uのうち実際の利用者に対応する制御値Uを制御部40が選択して韻律制御部20に指示する構成も好適である。
韻律の制御に使用される特徴量Fは音量FVや音高FPに限定されない。例えば、音声信号S0の周波数スペクトル(パワースペクトル)のうち強度が最大となるピークの頂点からみて高域側の部分を近似する直線の傾きを、特徴抽出部22が特徴量Fとして抽出するとともに音声加工部30が変化させる構成においても、音声信号S0の韻律を変化させた出力信号SOUTが生成される。また、音量FVおよび音高FPの一方のみが特徴量Fとして抽出される構成も好適である。以上の説明から理解されるように、音声の韻律に関連する(韻律を特徴づける)数値が特徴量Fとして好適である。
以上の各形態においては音声信号S0の韻律を強調または抑制する場合を例示したが、韻律の強調および抑制の一方のみを実行する場合にも以上の各形態は同様に適用される。例えば音声処理装置100が韻律の強調に専用される場合、変数特定部28は、関数値fの絶対値が差分値Dの絶対値を上回るように差分値Dと関数値fとの関係を定義する関数F(F1A,F2A,F3A)を加工値Cの算定に使用する。
音声信号S0の供給元は記憶装置12に限定されない。例えば、周囲の音響を収音して音声信号S0を生成する収音装置(マイクロホン)や、可搬型の記録媒体に格納された音声信号S0を再生する再生装置も、音声信号S0の供給元として好適である。また、公知の音声合成技術で合成した音声信号S0から出力信号SOUTを生成する構成も採用される。
音声加工部30が生成した出力信号SOUTの出力先は放音装置16に限定されない。例えば、出力信号SOUTが記憶装置12に保持される構成や、出力信号SOUTが通信網を介して他の装置に送信される構成も採用される。
Claims (8)
- 音声の韻律に関連する特徴量を音声信号から順次に抽出する特徴抽出手段と、
基準値と前記各特徴量との差分値を算定する差分算定手段と、
前記各差分値に応じた加工値を特定する変数特定手段と、
前記音声信号の各特徴量を前記各加工値に応じて制御することで、前記音声信号の韻律を変化させた出力信号を生成する音声加工手段と
を具備する音声処理装置。 - 前記変数特定手段は、前記差分値に対応する関数値から当該差分値を減算した数値を前記加工値として算定し、
前記音声加工手段は、前記音声信号の前記各特徴量を前記各加工値だけ変化させることで前記出力信号を生成する
請求項1の音声処理装置。 - 前記変数特定手段は、韻律を強調する場合、絶対値が前記差分値の絶対値を上回るように設定された前記関数値から前記加工値を算定し、韻律を抑制する場合、絶対値が前記差分値の絶対値を下回るように設定された前記関数値から前記加工値を算定する
請求項2の音声処理装置。 - 前記変数特定手段は、前記差分値の絶対値が増加するほど前記差分値に対する前記加工値の変化率が増加するように前記加工値を算定する
請求項1から請求項3の何れかの音声処理装置。 - 前記変数特定手段は、前記差分値の絶対値が増加するほど前記差分値に対する前記加工値の変化率が減少するように前記加工値を算定する
請求項1から請求項3の何れかの音声処理装置。 - 前記変数特定手段は、前記差分値と前記加工値との関係を可変に制御する
請求項1から請求項5の何れかの音声処理装置。 - 前記特徴抽出手段が抽出した前記複数の特徴量に応じて前記基準値を設定する基準設定手段
を具備する請求項1から請求項6の何れかの音声処理装置。 - 音声の韻律に関連する特徴量を音声信号から順次に抽出する特徴抽出処理と、
基準値と前記各特徴量との差分値を算定する差分算定処理と、
前記各差分値に応じた加工値を特定する変数特定処理と、
前記音声信号の各特徴量を前記各加工値に応じて制御することで、前記音声信号の韻律を変化させた出力信号を生成する音声加工処理と
をコンピュータに実行させるプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008191973A JP5282469B2 (ja) | 2008-07-25 | 2008-07-25 | 音声処理装置およびプログラム |
EP09165378A EP2148324B1 (en) | 2008-07-25 | 2009-07-14 | Voice processing apparatus and method |
AT09165378T ATE503242T1 (de) | 2008-07-25 | 2009-07-14 | Vorrichtung und verfahren zur sprachverarbeitung |
DE602009000948T DE602009000948D1 (de) | 2008-07-25 | 2009-07-14 | Vorrichtung und Verfahren zur Sprachverarbeitung |
US12/460,650 US8315855B2 (en) | 2008-07-25 | 2009-07-22 | Voice processing apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008191973A JP5282469B2 (ja) | 2008-07-25 | 2008-07-25 | 音声処理装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010032599A true JP2010032599A (ja) | 2010-02-12 |
JP5282469B2 JP5282469B2 (ja) | 2013-09-04 |
Family
ID=41203631
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008191973A Expired - Fee Related JP5282469B2 (ja) | 2008-07-25 | 2008-07-25 | 音声処理装置およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US8315855B2 (ja) |
EP (1) | EP2148324B1 (ja) |
JP (1) | JP5282469B2 (ja) |
AT (1) | ATE503242T1 (ja) |
DE (1) | DE602009000948D1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012181345A (ja) * | 2011-03-01 | 2012-09-20 | Nippon Hoso Kyokai <Nhk> | 韻律変換装置およびプログラム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9875756B2 (en) * | 2014-12-16 | 2018-01-23 | Psyx Research, Inc. | System and method for artifact masking |
JP2018159759A (ja) * | 2017-03-22 | 2018-10-11 | 株式会社東芝 | 音声処理装置、音声処理方法およびプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1011083A (ja) * | 1996-06-24 | 1998-01-16 | Oki Electric Ind Co Ltd | テキスト音声変換装置 |
JP2001117578A (ja) * | 1999-10-21 | 2001-04-27 | Yamaha Corp | ハーモニー音付加装置及び方法 |
JP2003066982A (ja) * | 2001-08-30 | 2003-03-05 | Sharp Corp | 音声合成装置および音声合成方法、並びに、プログラム記録媒体 |
JP2003337592A (ja) * | 2002-05-21 | 2003-11-28 | Toshiba Corp | 音声合成方法及び音声合成装置及び音声合成プログラム |
JP2004252085A (ja) * | 2003-02-19 | 2004-09-09 | Fujitsu Ltd | 音声変換システム及び音声変換プログラム |
WO2006040908A1 (ja) * | 2004-10-13 | 2006-04-20 | Matsushita Electric Industrial Co., Ltd. | 音声合成装置及び音声合成方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE9601811L (sv) * | 1996-05-13 | 1997-11-03 | Telia Ab | Metod och system för tal-till-tal-omvandling med extrahering av prosodiinformation |
TW556150B (en) * | 2002-04-10 | 2003-10-01 | Ind Tech Res Inst | Method of speech segment selection for concatenative synthesis based on prosody-aligned distortion distance measure |
US8145491B2 (en) * | 2002-07-30 | 2012-03-27 | Nuance Communications, Inc. | Techniques for enhancing the performance of concatenative speech synthesis |
WO2008033095A1 (en) * | 2006-09-15 | 2008-03-20 | Agency For Science, Technology And Research | Apparatus and method for speech utterance verification |
JP2008191973A (ja) | 2007-02-06 | 2008-08-21 | Sony Corp | データ通信システム、端末装置、通信制御方法 |
JP5119700B2 (ja) * | 2007-03-20 | 2013-01-16 | 富士通株式会社 | 韻律修正装置、韻律修正方法、および、韻律修正プログラム |
-
2008
- 2008-07-25 JP JP2008191973A patent/JP5282469B2/ja not_active Expired - Fee Related
-
2009
- 2009-07-14 AT AT09165378T patent/ATE503242T1/de not_active IP Right Cessation
- 2009-07-14 DE DE602009000948T patent/DE602009000948D1/de active Active
- 2009-07-14 EP EP09165378A patent/EP2148324B1/en active Active
- 2009-07-22 US US12/460,650 patent/US8315855B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1011083A (ja) * | 1996-06-24 | 1998-01-16 | Oki Electric Ind Co Ltd | テキスト音声変換装置 |
JP2001117578A (ja) * | 1999-10-21 | 2001-04-27 | Yamaha Corp | ハーモニー音付加装置及び方法 |
JP2003066982A (ja) * | 2001-08-30 | 2003-03-05 | Sharp Corp | 音声合成装置および音声合成方法、並びに、プログラム記録媒体 |
JP2003337592A (ja) * | 2002-05-21 | 2003-11-28 | Toshiba Corp | 音声合成方法及び音声合成装置及び音声合成プログラム |
JP2004252085A (ja) * | 2003-02-19 | 2004-09-09 | Fujitsu Ltd | 音声変換システム及び音声変換プログラム |
WO2006040908A1 (ja) * | 2004-10-13 | 2006-04-20 | Matsushita Electric Industrial Co., Ltd. | 音声合成装置及び音声合成方法 |
Non-Patent Citations (3)
Title |
---|
CSNG200600928060; 立花隆輝他: '"読み上げ韻律との差分を使った強調韻律の学習"' 日本音響学会2005年春季研究発表会講演論文集 Vol.I(2005-03), pp.179-180 * |
JPN6012031382; 立花隆輝他: '"読み上げ韻律との差分を使った強調韻律の学習"' 日本音響学会2005年春季研究発表会講演論文集 Vol.I(2005-03), pp.179-180 * |
JPN6012031382; 立花隆輝他: '"読み上げ韻律との差分を使った強調韻律の学習"' 日本音響学会2005年春季研究発表会講演論文集-I- , 200503, pp.179-180 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012181345A (ja) * | 2011-03-01 | 2012-09-20 | Nippon Hoso Kyokai <Nhk> | 韻律変換装置およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
ATE503242T1 (de) | 2011-04-15 |
JP5282469B2 (ja) | 2013-09-04 |
US20100023321A1 (en) | 2010-01-28 |
US8315855B2 (en) | 2012-11-20 |
DE602009000948D1 (de) | 2011-05-05 |
EP2148324B1 (en) | 2011-03-23 |
EP2148324A1 (en) | 2010-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4747835B2 (ja) | オーディオ再生の効果付加方法およびその装置 | |
JP2007133035A (ja) | デジタル録音装置,デジタル録音方法,そのプログラムおよび記憶媒体 | |
JP2008233672A (ja) | マスキングサウンド生成装置、マスキングサウンド生成方法、プログラムおよび記録媒体 | |
JP2008103879A (ja) | オーディオ再生装置 | |
JP2006145867A (ja) | 音声処理装置およびプログラム | |
JP4983694B2 (ja) | 音声再生装置 | |
WO2015020025A1 (ja) | 音高補正装置及び音高補正方法 | |
JP2002215195A (ja) | 音楽信号処理装置 | |
JP5282469B2 (ja) | 音声処理装置およびプログラム | |
JP5340121B2 (ja) | オーディオ信号再生装置 | |
JP2012063614A (ja) | マスキング音生成装置 | |
EP3772224B1 (en) | Vibration signal generation apparatus and vibration signal generation program | |
JP4985570B2 (ja) | ディジタル音響信号処理方法及び処理装置 | |
JP2006017946A (ja) | 音声処理装置およびプログラム | |
JP2008072600A (ja) | 音響信号処理装置、音響信号処理プログラム、音響信号処理方法 | |
JP2006324786A (ja) | 音響信号処理装置およびその方法 | |
WO2017135350A1 (ja) | 記録媒体、音響処理装置および音響処理方法 | |
US20140324418A1 (en) | Voice input/output device, method and programme for preventing howling | |
JP2018072723A (ja) | 音響処理方法および音響処理装置 | |
JP6409417B2 (ja) | 音響処理装置 | |
JP6337698B2 (ja) | 音響処理装置 | |
KR20110025434A (ko) | 노래의 감성 향상 방법 및 장치 | |
JP5321171B2 (ja) | 音処理装置およびプログラム | |
JP6565206B2 (ja) | 音声処理装置および音声処理方法 | |
WO2019203124A1 (ja) | ミキシング装置、ミキシング方法、及びミキシングプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110520 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120607 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120619 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130430 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130513 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5282469 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |