JP2011090199A - 音声処理装置およびプログラム - Google Patents
音声処理装置およびプログラム Download PDFInfo
- Publication number
- JP2011090199A JP2011090199A JP2009244451A JP2009244451A JP2011090199A JP 2011090199 A JP2011090199 A JP 2011090199A JP 2009244451 A JP2009244451 A JP 2009244451A JP 2009244451 A JP2009244451 A JP 2009244451A JP 2011090199 A JP2011090199 A JP 2011090199A
- Authority
- JP
- Japan
- Prior art keywords
- δδf0
- differential value
- transition
- time
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
【解決手段】表示装置に表示される微分値画像は、同一時間位置における一次微分値ΔF0と二次微分値ΔΔF0との交差する座標がそれぞれ微分値平面上にプロットされたものとなっているが、これら座標の分布は、歌唱時に用いられる技巧に応じた特徴的なパターンとなる。
そのため、微分値画像において、ΔF0−ΔΔF0座標の分布が、歌唱時に用いた技巧に対応する特徴的なパターンとなっているか否かにより、歌唱時に用いるべき技巧が適切に行われているか否かをユーザに認識させることができるようになる。
【選択図】図7
Description
第2の構成において、前記音声入力手段は、ユーザが歌唱してなる歌唱音声を順次入力して、前記画像表示手段は、前記微分値平面のうち、同一時間位置tiにおける一次微分値ΔF0[ti]と二次微分値ΔΔF0[ti]との交差する座標を、それぞれ時間位置の順にプロットさせていく、ことを特徴としている。
第3の構成において、前記推移特定手段は、歌唱音声における時間軸に沿った各時間位置t1〜tnの基本周波数F0[t1]〜F0[tn]を特定する。さらに、前記推移特定手段により特定された基本周波数F0[t1]〜F0[tn]それぞれを、下記の式1により対数スケールに変換する対数変換手段、を備えており、前記一次微分手段は、前記対数変換手段により変換された基本周波数F0[t1]〜F0[tn]それぞれを時間微分することにより、基本周波数F0の推移を前記一次微分値ΔF0[t1]〜ΔF0[tn]の推移へと変換する。
第4の構成は、ユーザの指令を受けて、歌唱において用いられる1種類以上の技巧のうち、いずれかの技巧を用いて適切に歌唱した場合の歌唱音声に基づいてモデル化した前記微分値平面の画像を表示部に表示させるモデル表示手段、を備えている。そして、前記音声入力手段は、前記モデル表示手段による前記画像の表示以降、ユーザが歌唱してなる歌唱音声の入力を開始して、前記画像表示手段は、前記モデル表示手段により表示させられた前記画像における前記微分値平面上に、同一時間位置ti(1≦i≦n)の一次微分値ΔF0[ti]と二次微分値ΔΔF0[ti]との交差する座標をプロットする。
なお、上述したプログラムは、コンピュータシステムによる処理に適した命令の順番付けられた列からなるものであって、各種記録媒体や通信回線を介して音声処理装置や、これを利用するユーザ等に提供されるものである。
(1)ハードウェア構成
音声処理装置1は、図1に示すように、ユーザの歌唱音声に基づき、その歌唱時に用いられた技巧を画像として表示させるための装置であり、操作受付部10と、マイクロホン12と、音声入力部14と、音声出力部16と、スピーカ18と、記憶部20と、モニターインタフェース(モニタI/F)22と、制御部30と、を備えた周知のコンピュータシステムに実装されたものである。
また、音声入力部14は、マイクロホン12を介して音声信号を入力し、この音声信号を制御部30に出力する。
また、モニターインタフェース22は、制御部30からの指令に基づく画像信号を外付けの表示装置100に出力することにより、この表示装置100から画像信号で示される画像を表示させる。
(2)画像として表示させる「技巧」
本実施形態では、歌唱音声から以下に示す手順で生成する画像により「技巧」を表す。
例えば、図3に示すように、音高の切り換わりタイミングで音高を急激に下げる技巧「フォール」についてΔF0−ΔΔF0座標をプロットしたところ、微分値平面を一次微分値ΔF0の正負および二次微分値ΔΔF0の正負で分けた4つの領域のうち、一次微分値ΔF0が「負」となる左側の領域内で大きな楕円を描くように分布した。
このような技巧の練習を行えるようにすべく、本実施形態では、複数の技巧それぞれを適切に用いた場合における分布パターンがあらかじめモデル化されており、こうしてモデル化した分布パターン、または、分布パターンをプロットした微分値平面が、それぞれ記憶部20にモデルデータとして記憶されている。
(3)制御部30(のCPU33)による処理
以下に、制御部30のCPU33がROM31やRAM32に記憶されたプログラムに従って実行する各種処理の手順を説明する。
(3−1)技巧評価処理
はじめに、技巧評価処理の処理手順を図5に基づいて説明する。この技巧評価処理は、いずれかの技巧の指定を伴って、本技巧評価処理を開始するための操作が操作受付部10に対して行われた際に開始される。
次に、上記s120による歌唱音声の入力開始後、一定の評価時間(例えば10秒)が経過したか否かがチェックされる(s130)。この評価時間は、指定された技巧を用いて歌唱を行うのに必要な時間として定められたものである。
ここでは、一定時間長(例えば、64ms)のフレーム毎に窓関数(ハニング窓)により基本周波数F0[t]を特定し、この窓関数を一定時間(例えば、10ms)ずつシフトさせつつ、歌唱音声w[t]における時間軸に沿った各時間位置t1〜tnの基本周波数F0[t1]〜F0[tn]が順に特定される。ここで、各基本周波数F0を特定する具体的な手法としては、例えば、下記文献(※)に記載の推定手法を採用することが考えられる。
(※)後藤真孝,伊藤克亘,速水悟:自然発話中の有声休止箇所のリアルタイム検出システム信学論(D-II),Vol.83, No.11, pp.2330-2340 (2000)
そして、ここでは、上記のように特定した基本周波数F0[t1]〜F0[tn]が、以下に示す式1により対数スケールに変換され、これが基本周波数F0[t1]〜F0[tn]として以降の処理に用いられる。
(3−2)技巧練習処理
続いて、技巧練習処理の処理手順を図8に基づいて説明する。この技巧練習処理は、いずれかの技巧の指定を伴って、本技巧練習処理を開始するための操作が操作受付部10に対して行われた際に開始される。
次に、上記s330で歌唱音声の入力が開始された(または後述するs360で歌唱音声が取得された)以降、所定の単位時間(例えば、10ms)が経過したか否かがチェックされる(s340)。
また、上記s340で単位時間が経過したと判定された場合(s340:YES)、その単位時間内に入力された歌唱音声が取得される(s360)。
こうして、指定された技巧毎に定められた練習時間が経過するまでの間、上記s340〜s410が繰り返され、これにより、微分値平面上に順番に座標がプロットされることでその推移が画像として表示される(図7参照)。
(4)作用,効果
このように構成された音声処理装置1であれば、表示装置100に表示される画像は、ΔF0−ΔΔF0座標がそれぞれ微分値平面上にプロットされたものとなっているが(図7参照)、これら座標の分布は、上記『(2)画像として表示させる「技巧」』で示したように、歌唱時に用いられる技巧に応じた特徴的なパターンとなる。
(5)変形例
以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。
または、ii)所定の楽曲の歌唱を練習する、といったことのための処理を行うように構成
してもよい。
わせた楽曲を指定する操作を受け付けることとし、また、図9に示すように、s310において、第M番目に登場する技巧(第M技巧)に対応するモデルデータ(M)を読み出して、s410において、第M技巧に対応する練習時間が経過したか否かをチェックすると共に、このs410で「YES」と判定された場合に、以下に示すs420、s430が行われるようにするとよい。なお、ここで用いている「M」は、技巧練習処理の起動時に初期値「1」となっている変数Mの値である。
適切に歌唱した場合における一連のモデルデータのセットを用意しておき、技巧練習処理の起動に先立ち、その中からいずれかの楽曲を指定する操作を受け付けるようにする。
また、上記実施形態においては、歌唱音声の基本周波数を対数スケールに変換することにより、低周波数域に比較して高周波数域における微分値が大きくなることを防止するように構成されている。しかし、高周波数域における微分値が大きくなることを防止するためには、基本周波数を対数スケールに変換する以外に、例えば、テーラー展開などによる近似手法を用いることもできる。
(6)本発明との対応関係
以上説明した実施形態において、図5におけるs120,図8,図9におけるs330は本発明における音声入力手段であり、図5におけるs170,図8,図9におけるs370(繰り返し行われる場合を含む)は本発明における推移特定手段および対数変換手段であり、図5におけるs180,図8,図9におけるs380は本発明における一次微分手段であり、図5におけるs190,図8,図9におけるs390は本発明における二次微分手段であり、図5におけるs230,図8,図9におけるs320,s400は本発明における画像表示手段であり、図8,図9におけるs320は本発明におけるモデル表示手段である。
Claims (5)
- ユーザが歌唱してなる歌唱音声を入力する音声入力手段と、
前記音声入力手段により入力された歌唱音声に基づき、該歌唱音声における時間軸に沿った基本周波数の推移を特定する推移特定手段と、
前記推移特定手段により特定された基本周波数の推移を、該推移における時間軸に沿った各時間位置t1〜tnにおける基本周波数F0[t1]〜F0[tn]を時間微分してなる一次微分値ΔF0[t1]〜ΔF0[tn]の推移に変換する一次微分手段と、
前記一次微分手段により変換された一次微分値の推移を、該推移における時間軸に沿った各時間位置t1〜tnにおける一次微分値ΔF0[t1]〜ΔF0[tn]を更に時間微分してなる二次微分値ΔΔF0[t1]〜ΔΔF0[tn]の推移に変換する二次微分手段と、
前記一次微分手段により変換された一次微分値ΔF0[t1]〜ΔF0[tn]、および、前記二次微分手段により変換された二次微分値ΔΔF0[t1]〜ΔΔF0[tn]に基づき、一方の軸を一次微分値ΔF0の値とし、他方の軸を二次微分値ΔΔF0の値とする微分値平面に、同一時間位置ti(1≦i≦n)の一次微分値ΔF0[ti]と二次微分値ΔΔF0[ti]との交差する座標をプロットしてなる画像を表示部に表示させる画像表示手段と、を備えている
ことを特徴とする音声処理装置。 - 前記音声入力手段は、ユーザが歌唱してなる歌唱音声を順次入力して、
前記画像表示手段は、前記微分値平面のうち、同一時間位置iにおける一次微分値ΔF0[ti]と二次微分値ΔΔF0[ti]との交差する座標を、それぞれ時間位置の順にプロットさせていく
ことを特徴とする請求項1に記載の音声処理装置。 - 前記推移特定手段は、歌唱音声における時間軸に沿った各時間位置t1〜tnの基本周波数F0[t1]〜F0[tn]を特定して、
さらに、
前記推移特定手段により特定された基本周波数F0[t1]〜F0[tn]それぞれを、下記の式1により対数スケールに変換する対数変換手段、を備えており、
前記一次微分手段は、前記対数変換手段により変換された基本周波数F0[t1]〜F0[tn]それぞれを時間微分することにより、基本周波数F0の推移を前記一次微分値ΔF0[t1]〜ΔF0[tn]の推移へと変換する
ことを特徴とする請求項1または請求項2に記載の音声処理装置。
- ユーザの指令を受けて、歌唱において用いられる1種類以上の技巧のうち、いずれかの技巧を用いて適切に歌唱した場合の歌唱音声に基づいてモデル化した前記微分値平面の画像を表示部に表示させるモデル表示手段、を備えており、
前記音声入力手段は、前記モデル表示手段による前記画像の表示以降、ユーザが歌唱してなる歌唱音声の入力を開始して、
前記画像表示手段は、前記モデル表示手段により表示させられた前記画像における前記微分値平面上に、同一時間位置i(1≦i≦n)の一次微分値ΔF0[ti]と二次微分値ΔΔF0[ti]との交差する座標をプロットする
ことを特徴とする請求項1から請求項3のいずれか1項に記載の音声処理装置。 - コンピュータに、
ユーザが歌唱してなる歌唱音声を入力する音声入力手順と、
前記音声入力手順により入力された歌唱音声に基づき、該歌唱音声における時間軸に沿った基本周波数の推移を特定する推移特定手順と、
前記推移特定手順により特定された基本周波数の推移を、該推移における時間軸に沿った各時間位置t1〜tnにおける基本周波数F0[t1]〜F0[tn]を時間微分してなる一次微分値ΔF0[t1]〜ΔF0[tn]の推移に変換する一次微分手順と、
前記一次微分手順により変換された一次微分値の推移を、該推移における時間軸に沿った各時間位置t1〜tnにおける一次微分値ΔF0[t1]〜ΔF0[tn]を更に時間微分してなる二次微分値ΔΔF0[t1]〜ΔΔF0[tn]の推移に変換する二次微分手順と、
前記一次微分手順により変換された一次微分値ΔF0[t1]〜ΔF0[tn]、および、前記二次微分手順により変換された二次微分値ΔΔF0[t1]〜ΔΔF0[tn]に基づき、一方の軸を一次微分値ΔF0の値とし、他方の軸を二次微分値ΔΔF0の値とする微分値平面に、同一時間位置ti(1≦i≦n)の一次微分値ΔF0[ti]と二次微分値ΔΔF0[ti]との交差する座標をプロットしてなる画像を表示部に表示させる推移表示手順と、
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009244451A JP5378944B2 (ja) | 2009-10-23 | 2009-10-23 | 音声処理装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009244451A JP5378944B2 (ja) | 2009-10-23 | 2009-10-23 | 音声処理装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011090199A true JP2011090199A (ja) | 2011-05-06 |
JP5378944B2 JP5378944B2 (ja) | 2013-12-25 |
Family
ID=44108495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009244451A Active JP5378944B2 (ja) | 2009-10-23 | 2009-10-23 | 音声処理装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5378944B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014026055A (ja) * | 2012-07-25 | 2014-02-06 | Nippon Telegr & Teleph Corp <Ntt> | 音響信号分析方法、装置、及びプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08123454A (ja) * | 1994-10-28 | 1996-05-17 | Sofuitsuku:Kk | カラオケ練習装置および同装置における音程比較表示方法 |
JP2006276693A (ja) * | 2005-03-30 | 2006-10-12 | Yamaha Corp | 歌唱評価表示装置およびプログラム |
-
2009
- 2009-10-23 JP JP2009244451A patent/JP5378944B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08123454A (ja) * | 1994-10-28 | 1996-05-17 | Sofuitsuku:Kk | カラオケ練習装置および同装置における音程比較表示方法 |
JP2006276693A (ja) * | 2005-03-30 | 2006-10-12 | Yamaha Corp | 歌唱評価表示装置およびプログラム |
Non-Patent Citations (11)
Title |
---|
CSNG200700940013; 大石 康智 Yasunori OHISHI: '歌声の旋律と動的変動を特徴付けるための確率的な表現手法に関する検討 A stochastic representation of s' 情報処理学会研究報告 Vol.2007 No.81 IPSJ SIG Technical Reports , 20070801, p.111-118, 社団法人情報処理学会 Information Processing Socie * |
CSNG200900026008; 大石 康智 YASUNORI OHISHI: '相平面に描かれる歌声の基本周波数軌跡:歌唱者の意図する音高目標値系列の推定とハミング検索への応用 Su' 情報処理学会論文誌 論文誌ジャーナル Vol.49 No.11 [CD-ROM] IPSJ Journal , 20081115, p.3789-3797, 社団法人情報処理学会 Information Processing Socie * |
CSNG201000068004; 加古 達也 TATSUYA KAKO: '相平面に描かれるF<SB>0</SB>の動的変動成分を利用した歌唱様式の自動分類 Automatic Identification fo' 情報処理学会研究報告 平成21年度▲2▼ [CD-ROM] , 20090815, p.1-6, 社団法人情報処理学会 * |
CSNJ200810082384; 大石 康智 Yasunori Ohishi: '相平面を利用した歌声のF0軌跡の新しい表現方法' 電子情報通信学会2008年総合大会講演論文集 基礎・境界 PROCEEDINGS OF THE 2008 IEICE GENERAL CONF , 20080305, p.S-50〜S-51, 社団法人電子情報通信学会 * |
CSNJ201010092436; 加古 達也 Tatsuya KAKO: '相平面確率モデルを用いた歌唱様式の自動分類に関する研究' 日本音響学会 2009年 秋季研究発表会講演論文集CD-ROM [CD-ROM] , 20090917, p.869-870, 社団法人日本音響学会 * |
JPN6012065962; 大石 康智 Yasunori OHISHI: '歌声の旋律と動的変動を特徴付けるための確率的な表現手法に関する検討 A stochastic representation of s' 情報処理学会研究報告 Vol.2007 No.81 IPSJ SIG Technical Reports , 20070801, p.111-118, 社団法人情報処理学会 Information Processing Socie * |
JPN6012065964; 大石 康智 Yasunori Ohishi: '相平面を利用した歌声のF0軌跡の新しい表現方法' 電子情報通信学会2008年総合大会講演論文集 基礎・境界 PROCEEDINGS OF THE 2008 IEICE GENERAL CONF , 20080305, p.S-50〜S-51, 社団法人電子情報通信学会 * |
JPN6012065965; 大石 康智 YASUNORI OHISHI: '相平面に描かれる歌声の基本周波数軌跡:歌唱者の意図する音高目標値系列の推定とハミング検索への応用 Su' 情報処理学会論文誌 論文誌ジャーナル Vol.49 No.11 [CD-ROM] IPSJ Journal , 20081115, p.3789-3797, 社団法人情報処理学会 Information Processing Socie * |
JPN6012065967; 加古 達也 Tatsuya KAKO: '相平面確率モデルを用いた歌唱様式の自動分類に関する研究' 日本音響学会 2009年 秋季研究発表会講演論文集CD-ROM [CD-ROM] , 20090917, p.869-870, 社団法人日本音響学会 * |
JPN6012065968; 加古 達也 TATSUYA KAKO: '相平面に描かれるF<SB>0</SB>の動的変動成分を利用した歌唱様式の自動分類 Automatic Identification fo' 情報処理学会研究報告 平成21年度▲2▼ [CD-ROM] , 20090815, p.1-6, 社団法人情報処理学会 * |
JPN6012065968; 加古 達也 TATSUYA KAKO: '相平面に描かれるF0の動的変動成分を利用した歌唱様式の自動分類 Automatic Identification for Singing' 情報処理学会研究報告 平成21年度▲2▼ [CD-ROM] , 20090815, p.1-6, 社団法人情報処理学会 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014026055A (ja) * | 2012-07-25 | 2014-02-06 | Nippon Telegr & Teleph Corp <Ntt> | 音響信号分析方法、装置、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5378944B2 (ja) | 2013-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9818396B2 (en) | Method and device for editing singing voice synthesis data, and method for analyzing singing | |
CN109478399B (zh) | 演奏分析方法、自动演奏方法及自动演奏系统 | |
JP7448053B2 (ja) | 学習装置、自動採譜装置、学習方法、自動採譜方法及びプログラム | |
US10553240B2 (en) | Conversation evaluation device and method | |
EP2770499B1 (en) | Voice synthesizing method, voice synthesizing apparatus and computer-readable recording medium | |
JP6728754B2 (ja) | 発音装置、発音方法および発音プログラム | |
JP6728755B2 (ja) | 歌唱音発音装置 | |
JPH05232856A (ja) | 音声視覚化方法および装置ならびにそれを用いた語学学習装置 | |
JP2008225117A (ja) | ピッチ表示制御装置 | |
JP2007156330A (ja) | 相性判断機能付きカラオケ装置 | |
JP2011164162A (ja) | 演奏表情付け支援装置 | |
JP5378944B2 (ja) | 音声処理装置およびプログラム | |
JP4201679B2 (ja) | 波形発生装置 | |
WO2015111671A1 (ja) | 歌唱評価装置、歌唱評価方法及び歌唱評価プログラム | |
WO2022070639A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2008165079A (ja) | 歌唱者属性対抗歌合戦システム | |
JP5131130B2 (ja) | 追従性評価システム,カラオケシステムおよびプログラム | |
JP2009244567A (ja) | メロディライン特定システムおよびプログラム | |
JP5034642B2 (ja) | カラオケ装置 | |
JP2010085658A (ja) | 難易度推定システムおよびプログラム | |
JP5262875B2 (ja) | 追従性評価システム,カラオケシステムおよびプログラム | |
JP4612329B2 (ja) | 情報処理装置およびプログラム | |
JP2017156553A (ja) | カラオケ装置、および、カラオケ制御プログラム | |
JP4595852B2 (ja) | 演奏データ処理装置及びプログラム | |
JP2016177277A (ja) | 発音装置、発音方法および発音プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120302 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130903 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130926 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5378944 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |