JP2015169867A - 歌唱解析装置 - Google Patents
歌唱解析装置 Download PDFInfo
- Publication number
- JP2015169867A JP2015169867A JP2014045957A JP2014045957A JP2015169867A JP 2015169867 A JP2015169867 A JP 2015169867A JP 2014045957 A JP2014045957 A JP 2014045957A JP 2014045957 A JP2014045957 A JP 2014045957A JP 2015169867 A JP2015169867 A JP 2015169867A
- Authority
- JP
- Japan
- Prior art keywords
- singing
- advice
- voice
- music
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 claims abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 73
- 238000011156 evaluation Methods 0.000 claims description 43
- 238000000034 method Methods 0.000 description 41
- 239000011295 pitch Substances 0.000 description 40
- 230000008569 process Effects 0.000 description 25
- 230000008901 benefit Effects 0.000 description 9
- 230000033764 rhythmic process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000006872 improvement Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 241001342895 Chorus Species 0.000 description 2
- 235000014196 Magnolia kobus Nutrition 0.000 description 2
- 240000005378 Magnolia kobus Species 0.000 description 2
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
- G10H1/366—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems with means for modifying or correcting the external signal, e.g. pitch correction, reverberation, changing a singer's voice
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
【課題】歌唱者の歌唱の傾向に応じた適切なコメントを歌唱者に提示する。【解決手段】歌唱解析装置100は、事前に収録された複数の参照音声のうち対象歌唱者の歌唱音声Vに対応したグループの各参照音声の傾向に応じたコメント(例えば歌唱アドバイスA)を特定する解析処理部22と、解析処理部22が特定したコメントを対象歌唱者に提示する提示処理部24とを具備する。【選択図】図1
Description
本発明は、歌唱音声を解析する技術に関する。
歌唱者による過去の歌唱の傾向を利用した技術が従来から提案されている。例えば特許文献1には、過去の選曲の傾向(すなわち嗜好)に応じて各歌唱者を分類した複数のグループの各々について楽曲を事前に登録することで、個々の歌唱者の嗜好に合致した楽曲を歌唱者に提案する技術が開示されている。
特許文献1の技術は、各歌唱者による歌唱の傾向を楽曲の提案に利用する技術であるが、多数の歌唱者が楽曲を歌唱した場合の傾向(例えば楽曲のうち多数の歌唱者が失敗し易い箇所)や個々の歌唱者による歌唱の傾向(例えば高音域で音高の誤差が発生し易い等の傾向)を加味した歌唱のアドバイス(指摘や助言)、または、以上の傾向を加味して歌唱を評価した評価結果等のコメントを歌唱者に提示できれば、歌唱の効果的な改善が期待できる。以上の事情を考慮して、本発明は、歌唱者の歌唱の傾向に応じた適切なコメントを歌唱者に提示することを目的とする。
以上の課題を解決するために、本発明の歌唱解析装置は、事前に収録された複数の参照音声のうち対象歌唱者の歌唱音声に対応したグループの各参照音声の傾向に応じたコメントを特定する解析処理部と、解析処理部が特定したコメントを対象歌唱者に提示する提示処理部とを具備する。以上の構成では、対象歌唱者の歌唱音声に対応したグループの各参照音声の傾向が特定されるから、対象歌唱者の歌唱音声にとって適切なコメントを対象歌唱者に提示することが可能である。したがって、対象歌唱者の歌唱を効果的に改善できるという利点がある。
本発明の第1態様において、前記解析処理部は、前記対象歌唱者の歌唱音声に対応したグループの各参照音声の傾向に応じた歌唱アドバイスを前記コメントとして特定する。以上の態様では、対象歌唱者の歌唱音声に対応したグループの各参照音声の傾向に応じた歌唱アドバイスが特定されるから、対象歌唱者の歌唱音声にとって適切な歌唱アドバイスを対象歌唱者に提示することが可能である。
本発明の第1態様の好適例において、解析処理部は、対象歌唱者の歌唱音声と楽曲が共通する複数の参照音声を分類した複数のグループの各々について歌唱アドバイスを指定する参照情報を参照して、複数のグループのうち対象歌唱者の歌唱音声が属するグループの歌唱アドバイスを特定する。以上の態様では、対象歌唱者の歌唱音声と楽曲が共通する複数の参照音声を分類した複数のグループの各々について歌唱アドバイスを指定する参照情報を参照することで、対象歌唱者の歌唱音声が属するグループの歌唱アドバイスが特定されるから、楽曲毎に好適な歌唱アドバイスを提示できるという利点がある。また、対象歌唱者による楽曲の歌唱中に解析処理部が当該歌唱音声のグループを順次に更新する構成によれば、対象楽曲の区間毎に好適な歌唱アドバイスを提示できるという利点がある。なお、以上の各態様の具体例は、例えば第1実施形態として後述される。
本発明の第1態様において、解析処理部は、複数の参照音声のうち対象歌唱者の音声を収集したグループの各参照音声の傾向に応じて音楽属性毎に歌唱アドバイスを指定する参照情報を参照して、対象歌唱者が歌唱する楽曲のうち音楽属性に該当する箇所の歌唱アドバイスを特定する。以上の態様では、対象歌唱者の複数の参照音声の傾向に応じて音楽属性毎に歌唱アドバイスを指定する参照情報を参照することで、楽曲のうち音楽属性に該当する箇所の歌唱アドバイスが特定されるから、対象歌唱者毎に好適な歌唱アドバイス(例えば歌唱者毎の苦手な歌唱に対するアドバイス)を提示できるという利点がある。例えば、参照情報が、相前後する各音高の特定の音程を音楽属性として歌唱アドバイスを指定し、解析処理部が、対象歌唱者が歌唱する楽曲のうち特定の音程が存在する箇所について、参照情報にて当該音程に指定された歌唱アドバイスを特定する構成によれば、特定の音程で音高を変化させる歌唱が苦手な歌唱者に対し、苦手の克服のための効果的な歌唱アドバイスを提示することが可能である。なお、以上の態様の具体例は、例えば第2実施形態として後述される。
「音楽属性」は、楽曲の音楽的な属性(態様)を意味する。具体的には、音域(高/低)、演奏マーク(Aメロ、サビ等)、フレーズ等の特定の区間内での位置(出だし等)、音型(上昇、下降、同音連続、コブシ、修飾音)、音価(ロングトーン、短いパッセージ)、リズムの種類、レガート/スタッカート、テンポ、拍位置(2拍目のウラ等)、和音上の機能(ルート、非和声音)等が、「音楽属性」の概念に包含される。
「音楽属性」は、楽曲の音楽的な属性(態様)を意味する。具体的には、音域(高/低)、演奏マーク(Aメロ、サビ等)、フレーズ等の特定の区間内での位置(出だし等)、音型(上昇、下降、同音連続、コブシ、修飾音)、音価(ロングトーン、短いパッセージ)、リズムの種類、レガート/スタッカート、テンポ、拍位置(2拍目のウラ等)、和音上の機能(ルート、非和声音)等が、「音楽属性」の概念に包含される。
本発明の第2態様において、前記解析処理部は、前記解析処理部が特定した傾向に応じて前記対象歌唱者の歌唱音声を評価した評価結果を前記コメントとして特定する。以上の態様では、対象歌唱者の歌唱音声に対応したグループの各参照音声の傾向に応じて対象歌唱者の歌唱音声を評価した評価結果が提示されるから、対象歌唱者の歌唱音声にとって適切な評価結果を対象歌唱者に提示することが可能である。
ところで、多数の歌唱者が楽曲を歌唱した場合の傾向や個々の歌唱者による歌唱の傾向を加味して歌唱者の歌唱を評価すれば、歌唱の効果的な改善が期待できる。以上の事情を考慮して、本発明の他の態様に係る歌唱解析装置は、事前に収録された複数の参照音声のうち対象歌唱者の歌唱音声に対応したグループの各参照音声の傾向に応じて当該歌唱音声を評価する解析処理部を具備する。以上の構成によれば、歌唱者の歌唱の傾向に応じて歌唱音声が評価(典型的には採点)されるから、歌唱の改善に効果的に寄与し得る評価を実現できるという利点がある。
以上の各態様に係る歌唱解析装置は、歌唱アドバイスの提示に専用されるDSP(Digital Signal Processor)等のハードウェア(電子回路)によって実現されるほか、CPU(Central Processing Unit)等の汎用の演算処理装置とプログラムとの協働によっても実現される。本発明の好適な態様に係るプログラムは、事前に収録された複数の参照音声のうち対象歌唱者の歌唱音声に対応したグループの各参照音声の傾向に応じたコメントを特定する解析処理部、および解析処理部が特定したコメントを対象歌唱者に提示する提示処理部としてコンピュータを機能させる。また、他の態様に係るプログラムは、事前に収録された複数の参照音声のうち対象歌唱者の歌唱音声に対応したグループの各参照音声の傾向に応じて当該歌唱音声を評価する解析処理部としてコンピュータを機能させる。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性(non-transitory)の記録媒体であり、CD-ROM等の光学式記録媒体(光ディスク)が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、例えば、本発明のプログラムは、通信網を介した配信の形態で提供されてコンピュータにインストールされ得る。
また、以上の各態様に係る歌唱解析装置の動作方法(歌唱解析方法)としても本発明は特定される。本発明の好適な態様に係る歌唱解析方法は、事前に収録された複数の参照音声のうち対象歌唱者の歌唱音声に対応したグループの各参照音声の傾向に応じたコメントを特定する解析処理過程と、解析処理過程で特定したコメントを対象歌唱者に提示する提示処理過程とを包含する。また、他の態様に係る歌唱解析方法は、事前に収録された複数の参照音声のうち対象歌唱者の歌唱音声に対応したグループの各参照音声の傾向に応じて当該歌唱音声を評価する解析処理過程を包含する。
<第1実施形態>
図1は、本発明の第1実施形態に係る歌唱解析装置100の構成図である。歌唱解析装置100は、楽曲の歌唱に関する指摘や助言等のアドバイス(以下「歌唱アドバイス」という)を当該楽曲の歌唱者(以下「対象歌唱者」という)に提示するための情報処理装置であり、演算処理装置12と記憶装置14と収音装置16と表示装置18とを具備するコンピュータシステムで実現される。歌唱解析装置100は、例えば楽曲の伴奏音を再生するカラオケ装置として好適に利用される。
図1は、本発明の第1実施形態に係る歌唱解析装置100の構成図である。歌唱解析装置100は、楽曲の歌唱に関する指摘や助言等のアドバイス(以下「歌唱アドバイス」という)を当該楽曲の歌唱者(以下「対象歌唱者」という)に提示するための情報処理装置であり、演算処理装置12と記憶装置14と収音装置16と表示装置18とを具備するコンピュータシステムで実現される。歌唱解析装置100は、例えば楽曲の伴奏音を再生するカラオケ装置として好適に利用される。
収音装置16は、周囲の音響を収音する装置(マイクロホン)である。第1実施形態の収音装置16は、対象歌唱者が特定の楽曲(以下「対象楽曲」という)を歌唱した歌唱音声Vを収音する。なお、音声合成技術で合成された合成音声を歌唱音声Vとすることも可能である。表示装置18(例えば液晶表示パネル)は、演算処理装置12から指示された画像を表示する。第1実施形態では、対象楽曲の歌唱アドバイスAが表示装置18に表示される。具体的には、対象歌唱者による楽曲の歌唱中の各時点において、当該時点に好適な歌唱アドバイスAが順次に表示装置18に表示される。なお、歌唱アドバイスAを放音装置(例えばスピーカ)から音声で出力することも可能である。
記憶装置14は、演算処理装置12が実行するプログラムや演算処理装置12が使用する各種のデータを記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置14として任意に採用される。第1実施形態の記憶装置14は、複数の楽曲の各々について参照情報DAを記憶する。各参照情報DAは、当該楽曲の歌唱アドバイスAの特定に利用される。
図2は、任意の1個の楽曲の参照情報DAの説明図である。図2に例示される通り、参照情報DAの生成には参照音声群Qが利用される。参照音声群Qは、事前に収録された複数の歌唱音声(以下「参照音声」という)Rの集合である。参照音声群Qに包含される複数の参照音声Rは、不特定多数の歌唱者が任意の楽曲を歌唱した音声である。図2に例示される通り、任意の1個の楽曲の複数の参照音声(歌唱楽曲が共通する複数の参照音声)Rは、N個(Nは2以上の自然数)のグループG[1]〜G[N]に分類される。任意の楽曲に対応する1個のグループG[n](n=1〜N)には、相異なる歌唱者が当該楽曲を歌唱した複数の参照音声Rが包含される。
各参照音声Rの分類(クラスタリング)の仕方は任意であるが、音楽的な観点から複数の参照音声RをN個のグループG[1]〜G[N]に分類する方法が好適である。具体的には、楽曲の歌唱パートの旋律と参照音声Rとの異同の指標である評価指標(歌唱採点結果)Eの範囲毎(例えば100点満点の5点刻み)に各参照音声RをN個のグループG[1]〜G[N]に分類する方法や、楽曲内で時系列に算定される評価指標Eの傾向(例えば楽曲の後半で評価指標Eが増加する等の傾向)に応じて各参照音声RをN個のグループG[1]〜G[N]に分類する方法が採用され得る。
図2に例示される通り、第1実施形態の参照情報DAは、参照音声Rの相異なるグループG[n]に対応するN個の単位情報U[1]〜U[N]を包含する。単位情報U[N]について図2に代表的に例示される通り、任意の1個の単位情報U[n]は、楽曲の複数の時点(以下「指摘時点」という)T(T1,T2,……)の各々について歌唱アドバイスA(A1,A2,……)を指定する。歌唱アドバイスAの内容は指摘時点T毎に個別に設定される。
任意の1個の楽曲の単位情報U[n]は、当該楽曲の複数の参照音声RのうちグループG[n]に分類された各参照音声Rの音楽的な傾向を加味して生成される。具体的には、楽曲のうちグループG[n]の多数の参照音声Rにて歌唱を改善すべき各時点が指摘時点Tとして指定され、歌唱の改善の内容や改善のための助言または指摘(提案)を表現する文字列が歌唱アドバイスAとして指定される。
図3には、グループG[n]の複数の参照音声Rにわたる平均的な音高P[n]の時系列と、楽曲の模範的な音高P0の時系列とが併記されている。模範的な音高P0は、楽曲の楽譜で規定された各音符の音高の時系列や、評価指標Eが最大となるグループGの各参照音声Rの音高の平均値の時系列である。図3から理解される通り、グループG[n]の平均的な音高P[n]と模範的な音高P0との差異(音高の誤差)が極大となる時点が指摘時点Tとして指定され、当該時点での音高の誤差を改善するための文字列(例えば「音高に注意!」等のメッセージ)が歌唱アドバイスAとして指摘時点T毎に指定される。
図1の演算処理装置12は、記憶装置14に記憶されたプログラムを実行することで歌唱解析装置100の各要素を統括的に制御する。第1実施形態の演算処理装置12は、図1に例示される通り、対象楽曲を歌唱する対象歌唱者に歌唱アドバイスAを提示するための複数の機能(解析処理部22,提示処理部24)を実現する。なお、演算処理装置12の各機能を複数の装置に分散した構成や、演算処理装置12の機能の一部を専用の電子回路が実現する構成も採用され得る。
図1の解析処理部22は、対象歌唱者に提示すべき歌唱アドバイスAを特定する。第1実施形態の解析処理部22は、対象歌唱者の歌唱音声Vにとって好適な歌唱アドバイスAを対象楽曲の歌唱中に順次に特定する。図4は、解析処理部22が歌唱アドバイスAを特定するための処理(以下「歌唱アドバイス特定処理」という)のフローチャートである。対象楽曲の歌唱の開始(対象楽曲の伴奏音の再生開始)を契機として図4の歌唱アドバイス特定処理が開始される。
歌唱アドバイス特定処理を開始すると、解析処理部22は、対象楽曲が終了したか否かを判定する(SA1)。対象楽曲が終了していない場合(SA1:NO)、解析処理部22は、楽曲を時間軸上で所定長(固定長または可変長)毎に区分した複数の区間のうち1個の区間(以下「選択区間」という)の歌唱音声Vを収音装置16から取得する(SA2)。解析処理部22は、楽曲の各区間を先頭から末尾にかけてステップSA2の実行毎に順番に選択して選択区間の歌唱音声Vを取得する。
解析処理部22は、対象楽曲の複数の参照音声Rを分類したN個のグループG[1]〜G[N]のうち選択区間の歌唱音声Vが属するグループ(以下「所属グループ」という)Gを特定する(SA3)。具体的には、解析処理部22は、選択区間の歌唱音声Vについて評価指標Eを算定し、評価指標Eの相異なる範囲に対応するN個のグループG[1]〜G[N]のうち選択区間内の歌唱音声Vの評価指標Eが包含される範囲の1個のグループG[n]を所属グループGとして特定する。
解析処理部22は、記憶装置14に記憶された参照情報DAのN個の単位情報U[1]〜U[N]のうちステップSA3で特定した所属グループGに対応する単位情報Uを選択する(SA4)。すなわち、解析処理部22は、N個のグループG[1]〜G[N]のうち対象歌唱者の歌唱音声Vが属する所属グループGの各歌唱アドバイスAを特定する。以上の手順で選択区間の単位情報Uが特定されると、解析処理部22は処理をステップSA1に移行する。したがって、対象楽曲が終了するまで(SA1:YES)、対象楽曲の区間毎に所属グループGが順次に更新され、更新後の所属グループGに対応する単位情報U(歌唱アドバイスAの時系列)が順次に特定される。なお、対象楽曲の最初の区間が歌唱される段階(歌唱音声Vの未取得の段階)では、歌唱音声Vに対応する所属グループGが特定されないから、参照情報DAの各単位情報U[n]とは無関係に事前に用意された歌唱アドバイスA(例えば「感情を込めて歌いましょう」等の一般的なメッセージ)が対象歌唱者に提示される。
図1の提示処理部24は、以上に例示した歌唱アドバイス特定処理で解析処理部22が特定した歌唱アドバイスAを対象歌唱者に提示する。具体的には、提示処理部24は、解析処理部22が特定した単位情報Uが指定する各指摘時点Tから所定の時間だけ先行する時点において、単位情報Uが当該指摘時点Tについて指定する歌唱アドバイスAを表示装置18に表示させる。すなわち、歌唱音声Vが属する所属グループGの各参照音声Rのもとで改善すべき点(すなわち対象歌唱者の歌唱音声Vでも同様に改善すべきと推測される箇所)が対象歌唱者に順次に提示され、対象歌唱者は、対象楽曲のうち自身が失敗し易い箇所を特に注意して歌唱することが可能である。
以上に説明した通り、第1実施形態では、対象歌唱者の歌唱音声Vが属する所属グループGの複数の参照音声Rの傾向に応じた歌唱アドバイスAが対象歌唱者に提示される。すなわち、個々の対象歌唱者の歌唱音声Vにとって適切な歌唱アドバイスAが対象歌唱者に提示される。したがって、対象歌唱者の歌唱を効果的に改善できるという利点がある。
第1実施形態では特に、歌唱音声Vと楽曲が共通する複数の参照音声Rを分類した各グループG[n]について歌唱アドバイスAを指定する参照情報DAを参照することで歌唱アドバイスAが特定されるから、個々の楽曲に好適な歌唱アドバイスAが特定される。したがって、対象楽曲の歌唱音声Vにとって適切な歌唱アドバイスAを提示できるという前述の効果は格別に顕著である。また、第1実施形態では、対象歌唱者による対象楽曲の歌唱中に歌唱音声Vの所属グループGが対象楽曲の区間毎に順次に更新される。したがって、対象楽曲の区間毎に好適な歌唱アドバイスAを提示できるという利点がある。
<第2実施形態>
本発明の第2実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第1実施形態と同様である要素については、第1実施形態の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
本発明の第2実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第1実施形態と同様である要素については、第1実施形態の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
第2実施形態の記憶装置14は、第1実施形態の参照情報DAに代えて図5の参照情報DBを記憶する。参照情報DBの生成には、第1実施形態と同様の参照音声群Qのうち対象歌唱者の複数の参照音声Rの集合(グループ)が利用される。具体的には、参照音声群Qのうち対象歌唱者の複数の参照音声Rを解析することで、対象歌唱者に歌唱アドバイスAを提示すべき音楽属性X(典型的には対象歌唱者が失敗する傾向がある音楽属性X)が特定され、複数の音楽属性Xの各々(X1,X2,……)について歌唱アドバイスA(A1,A2,……)を指定する参照情報DBが任意の1人の対象歌唱者について記憶装置14に格納される。なお、参照情報DBは、複数の歌唱者の各々について参照情報DBが事前に生成され得るが、対象歌唱者による歌唱の直前に(すなわち歌唱毎に)当該対象歌唱者の参照情報DBを生成することも可能である。
音楽属性Xは、楽曲の歌唱パートの音楽的な属性(態様)を意味する。例えば、高音域の歌唱が苦手であるという傾向が複数の参照音声Rから解析された対象歌唱者の参照情報DBでは、「高音域」という音楽属性X1について「高音に注意!」等の歌唱アドバイスA1が指定される。特定の音程(例えば5度)で相前後する各音高の歌唱が苦手であるという傾向が複数の参照音声Rから解析された対象歌唱者の参照情報DBでは、「5度」という音楽属性X2(特定の音程)について「音高変化に注意!」等の歌唱アドバイスA2が指定される。また、特定のリズムの歌唱が苦手であるという傾向が解析された対象歌唱者の参照情報DBでは、「特定のリズム」という音楽属性X3について「リズムに注意!」等の歌唱アドバイスA3が指定され、楽曲のうち開始直後(歌い始め)等の特定の区間の歌唱が苦手であるという傾向が解析された対象歌唱者の参照情報DBでは、「開始直後」という音楽属性X4について「歌い始めに注意!」等の歌唱アドバイスA4が指定される。
図6は、第2実施形態の解析処理部22が歌唱アドバイスAを特定するための歌唱アドバイス特定処理のフローチャートである。第1実施形態と同様に、対象楽曲の歌唱の開始を契機として図6の歌唱アドバイス特定処理が開始される。
歌唱アドバイス特定処理を開始すると、解析処理部22は、対象歌唱者の参照情報DBを参照することで、対象楽曲のうち参照情報DBで指定される音楽属性Xに該当する箇所(以下「指摘区間」という)を探索する(SB1)。例えば、特定の音域(例えば高音域)が音楽属性Xとして参照情報DBで指定されている場合には、対象楽曲のうち当該音域の区間が指摘区間として探索され、特定の音程(例えば5度)が音楽属性Xとして参照情報DBで指定されている場合には、対象楽曲のうち当該音程で音高が前後する区間が指摘区間として探索される。また、特定のリズムが音楽属性Xとして参照情報DBで指定されている場合には対象楽曲のうち当該リズムの区間が指摘区間として探索され、特定の区間(例えば開始直後)が音楽属性Xとして参照情報DBで指定されている場合には対象楽曲のうち当該区間が指摘区間として探索される。なお、指摘区間の探索に複数種の音楽属性Xを加味することも可能である。例えば、「特定のリズム」かつ「特定の音程」の区間が指摘区間として探索される。
解析処理部22は、以上の手順で対象楽曲から探索した各指摘区間について歌唱アドバイスAを特定する(SB2)。具体的には、解析処理部22は、対象楽曲から探索された複数の指摘区間の各々について、当該指摘区間の音楽属性Xに対応する歌唱アドバイスAを参照情報DBから特定する。以上が第2実施形態における歌唱アドバイス特定処理の具体例である。
第2実施形態の提示処理部24は、以上に説明した歌唱アドバイス特定処理で解析処理部22が特定した歌唱アドバイスAを対象楽曲の指摘区間毎に対象歌唱者に提示する。具体的には、提示処理部24は、対象楽曲のうち各指摘区間の始点から所定の時間だけ先行する時点において、当該指摘区間について解析処理部22が特定した歌唱アドバイスAを表示装置18に表示させる。以上の説明から理解される通り、対象歌唱者にとって苦手であると推測される指摘区間の歌唱に先立ち、当該区間の歌唱を改善するための歌唱アドバイスAが対象歌唱者に順次に提示される。
以上に説明した通り、第2実施形態では、参照音声群Qのうち対象歌唱者の歌唱音声に対応したグループの傾向に応じた歌唱アドバイスAが対象歌唱者に提示されるから、第1実施形態と同様に、個々の対象歌唱者にとって適切な歌唱アドバイスAを対象歌唱者に提示することが可能である。第2実施形態では特に、参照音声群Qのうち対象歌唱者が過去に発声した複数の参照音声Rのグループの傾向に応じて音楽属性X毎に歌唱アドバイスAを指定する参照情報DBが参照されるから、個々の対象歌唱者にとって適切な歌唱アドバイスAを提示できるという効果は格別に顕著である。例えば、特定の音程を音楽属性Xとして歌唱アドバイスAを指定する参照情報DBが参照されるから、特定の音程で相前後する各音高の歌唱が苦手な歌唱者に対し、その克服のための効果的な歌唱アドバイスAを提示することが可能である。
<第3実施形態>
第1実施形態や第2実施形態では、対象歌唱者の歌唱音声Vが属する所属グループGの複数の参照音声Rの傾向に応じた歌唱アドバイスAを解析処理部22が特定した。第3実施形態の解析処理部22は、対象歌唱者の歌唱音声Vが属する所属グループGの複数の参照音声Rの傾向に応じて歌唱音声Vを評価(採点)した評価結果のコメントを特定する。具体的には、歌唱音声Vの所属グループGの各参照音声Rの傾向に応じた評価項目を重視して歌唱音声Vを評価した評価結果が特定される。
第1実施形態や第2実施形態では、対象歌唱者の歌唱音声Vが属する所属グループGの複数の参照音声Rの傾向に応じた歌唱アドバイスAを解析処理部22が特定した。第3実施形態の解析処理部22は、対象歌唱者の歌唱音声Vが属する所属グループGの複数の参照音声Rの傾向に応じて歌唱音声Vを評価(採点)した評価結果のコメントを特定する。具体的には、歌唱音声Vの所属グループGの各参照音声Rの傾向に応じた評価項目を重視して歌唱音声Vを評価した評価結果が特定される。
例えば、初心者は楽曲のサビの区間を主に記憶している(それ以外は余り記憶していない)という事情を考慮して、音量の変動量が大きく音高の誤差が大きい傾向がある参照音声RのグループG(すなわち初心者のグループ)に歌唱音声Vが属する場合、解析処理部22は、楽曲のうちサビの区間の評価の加重値を他区間と比較して大きい数値に設定して評価結果を算定する。また、抑揚の評価結果と比較して音高の評価結果が高い傾向がある参照音声RのグループGについて、解析処理部22は、音高の評価の加重値を抑揚等の他要素と比較して大きい数値に設定して評価結果を算定する。音高の評価結果と比較して抑揚の評価結果が高く各種の歌唱技法(コブシやシャクリ)の頻度が高い傾向がある参照音声RのグループGについて、解析処理部22は、抑揚や歌唱技法の評価の加重値を音高等の他要素と比較して大きい数値に設定して評価結果を算定する。また、音圧が大きく音高の変動量が大きい傾向(すなわち熱唱する傾向)がある参照音声RのグループGについて、解析処理部22は、抑揚の評価の加重値を他要素と比較して大きい数値に設定して評価結果を算定する。提示処理部24は、解析処理部22が特定した評価結果のコメントを表示装置18に表示させる。
第3実施形態では、対象歌唱者の歌唱音声Vが属する所属グループGの複数の参照音声Rの傾向に応じた評価結果のコメントが対象歌唱者に提示される。すなわち、個々の対象歌唱者の歌唱音声Vにとって適切なコメントが対象歌唱者に提示される。したがって、対象歌唱者の歌唱を効果的に改善できるという利点がある。なお、第3実施形態において、評価結果のコメントの提示を省略することも可能である。すなわち、対象歌唱者の歌唱音声Vが属する所属グループGの複数の参照音声Rの傾向に応じて歌唱音声Vを評価する装置(提示処理部24を省略した構成)としても本発明は実現され得る。
<変形例>
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2個以上の態様は適宜に併合され得る。
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2個以上の態様は適宜に併合され得る。
(1)第1実施形態では、楽曲毎の参照情報DAを事前に作成しておく構成を例示したが、各楽曲の歌唱毎に参照情報DAを実時間的に生成することも可能である。例えば、対象歌唱者の歌唱音声Vに音楽的な傾向が類似する各参照音声RのグループGを参照音声群Qから抽出し、当該グループGの各参照音声Rを利用して解析処理部22が参照情報DAを生成することも可能である。例えば、評価指標Eが歌唱音声Vに近い複数の参照音声R(例えば歌唱音声Vの評価指標Eや音高Pに対して±5%の範囲にある複数の参照音声R)のグループGに応じて参照情報DAを生成する構成が好適である。
(2)第1実施形態では、参照音声群Qのうち特定の楽曲に対応する複数の参照音声RをN個のグループG[1]〜G[N]に分類したが、参照音声Rの分類の仕方は、第1実施形態で既述した通り任意である。例えば、特定の楽曲に対応する複数の参照音声Rのうち評価指標Eの降順で上位に位置する所定個(例えば上位5%)の参照音声RをグループG[n]に分類することも可能である。
(3)前述の各形態では、グループG[n]の平均的な音高P[n]と模範的な音高P0との差異が極大となる時点を指摘時点Tとして選定したが、指摘時点Tの選定の仕方は以上の例示に限定されない。例えば、グループG[n]に包含される複数の参照音声Rの評価指標Eまたは音高の散布度(例えば分散や分布幅)が増加する時点や、複数の参照音声Rの評価指標Eの平均値が極小となる時点を指摘時点Tとして選定することも可能である。また、平均的な音高P[n]と模範的な音高P0との差異が所定の閾値を上回る時点を指摘時点Tとして選定することも可能である。
(4)第1実施形態では、対象楽曲の区間毎に所属グループGを更新したが、例えば選択区間を包含する複数の区間にわたる歌唱音声Vの評価指標Eに応じて選択区間の所属グループGを特定することも可能である。具体的には、評価指標Eの相異なる範囲に対応するN個のグループG[1]〜G[N]のうち、選択区間を最後尾とした複数の区間にわたる評価指標Eの加重和が包含される範囲のグループG[n]が所属グループGとして特定される。各区間の評価指標Eに適用される加重値は、例えば選択区間に近いほど大きい数値に設定される。
(5)複数の参照情報D(DA,DB)を利用者からの指示に応じて歌唱アドバイスAの特定に選択的に適用することも可能である。例えば第1実施形態では、指摘時点Tが多い参照情報DA1と指摘時点Tが少ない参照情報DA2との組を楽曲毎に用意し、解析処理部22が、利用者からの指示に応じて参照情報DA1と参照情報DA2とを選択的に利用する構成が採用される。参照情報DA1を適用した場合には対象楽曲内の多数の指摘時点Tで歌唱アドバイスAが提示され(すなわち辛目のアドバイス)、参照情報DA2を適用した場合には、歌唱アドバイスAが提示される指摘時点Tが減少する(すなわち甘目のアドバイス)。
(6)第2実施形態において、対象楽曲の区間毎に評価指標Eを算定し、指摘区間の評価指標Eが所定の基準値を上回る場合(すなわち、対象歌唱者が苦手を克服した場合)に対象歌唱者に通知することも可能である。以上の構成によれば、苦手の克服を対象歌唱者が認識できるから、対象歌唱者による歌唱の意欲を維持できるという利点がある。
(7)第1実施形態および第2実施形態においては歌唱アドバイスAの提示を例示し、第3実施形態においては評価結果の提示を例示したが、対象歌唱者に対する提示内容は以上の例示に限定されない。前述の各形態の例示から理解される通り、解析処理部22は、対象歌唱者の歌唱音声Vの所属グループGの各参照音声Rの傾向に応じたコメント(歌唱アドバイスAや評価結果)を特定する要素として包括的に表現される。
(8)通信カラオケ装置等の通信端末と通信するサーバ装置(例えばウェブサーバ)により歌唱解析装置100を実現することも可能である。例えば、第1実施形態の歌唱解析装置100をサーバ装置にて実現した構成では、通信端末から通信網を介して受信した歌唱音声Vの所属グループGに対応する歌唱アドバイスAを解析処理部22が特定し(歌唱アドバイス特定処理)、歌唱アドバイスAを対象歌唱者に提示させるための指令を提示処理部24が通信端末に送信する。
100……歌唱解析装置、12……演算処理装置、14……記憶装置、16……収音装置、18……表示装置、22……解析処理部、24……提示処理部。
Claims (7)
- 事前に収録された複数の参照音声のうち対象歌唱者の歌唱音声に対応したグループの各参照音声の傾向に応じたコメントを特定する解析処理部と、
前記解析処理部が特定したコメントを前記対象歌唱者に提示する提示処理部と
を具備する歌唱解析装置。 - 前記解析処理部は、前記対象歌唱者の歌唱音声に対応したグループの各参照音声の傾向に応じた歌唱アドバイスを前記コメントとして特定する
請求項1の歌唱解析装置。 - 前記解析処理部は、前記対象歌唱者の歌唱音声と楽曲が共通する複数の参照音声を分類した複数のグループの各々について歌唱アドバイスを指定する参照情報を参照して、前記複数のグループのうち前記対象歌唱者の歌唱音声が属するグループの歌唱アドバイスを特定する
請求項2の歌唱解析装置。 - 前記解析処理部は、前記対象歌唱者による楽曲の歌唱中に当該歌唱音声のグループを順次に更新する
請求項3の歌唱解析装置。 - 前記解析処理部は、複数の参照音声のうち前記対象歌唱者の音声を収集したグループの各参照音声の傾向に応じて音楽属性毎に歌唱アドバイスを指定する参照情報を参照して、前記対象歌唱者が歌唱する楽曲のうち前記音楽属性に該当する箇所の歌唱アドバイスを特定する
請求項2の歌唱解析装置。 - 前記参照情報は、相前後する各音高の特定の音程を前記音楽属性として歌唱アドバイスを指定し、
前記解析処理部は、前記対象歌唱者が歌唱する楽曲のうち前記特定の音程が存在する箇所について、前記参照情報にて当該音程に指定された歌唱アドバイスを特定する
請求項5の歌唱解析装置。 - 前記解析処理部は、前記解析処理部が特定した傾向に応じて前記対象歌唱者の歌唱音声を評価した評価結果を前記コメントとして特定する
請求項1の歌唱解析装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014045957A JP2015169867A (ja) | 2014-03-10 | 2014-03-10 | 歌唱解析装置 |
PCT/JP2015/057063 WO2015137360A1 (ja) | 2014-03-10 | 2015-03-10 | 歌唱解析装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014045957A JP2015169867A (ja) | 2014-03-10 | 2014-03-10 | 歌唱解析装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015169867A true JP2015169867A (ja) | 2015-09-28 |
Family
ID=54071803
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014045957A Pending JP2015169867A (ja) | 2014-03-10 | 2014-03-10 | 歌唱解析装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2015169867A (ja) |
WO (1) | WO2015137360A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000029473A (ja) * | 1998-07-08 | 2000-01-28 | Ricoh Co Ltd | 演奏曲再生装置 |
JP2007256617A (ja) * | 2006-03-23 | 2007-10-04 | Yamaha Corp | 楽曲練習装置および楽曲練習システム |
JP2011203479A (ja) * | 2010-03-25 | 2011-10-13 | Xing Inc | カラオケシステム、カラオケシステムの制御方法、及びカラオケシステムの制御プログラム並びにその情報記録媒体 |
JP2012173721A (ja) * | 2011-02-24 | 2012-09-10 | Yamaha Corp | 歌唱音声評価装置 |
JP2012203343A (ja) * | 2011-03-28 | 2012-10-22 | Yamaha Corp | 歌唱支援装置 |
-
2014
- 2014-03-10 JP JP2014045957A patent/JP2015169867A/ja active Pending
-
2015
- 2015-03-10 WO PCT/JP2015/057063 patent/WO2015137360A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000029473A (ja) * | 1998-07-08 | 2000-01-28 | Ricoh Co Ltd | 演奏曲再生装置 |
JP2007256617A (ja) * | 2006-03-23 | 2007-10-04 | Yamaha Corp | 楽曲練習装置および楽曲練習システム |
JP2011203479A (ja) * | 2010-03-25 | 2011-10-13 | Xing Inc | カラオケシステム、カラオケシステムの制御方法、及びカラオケシステムの制御プログラム並びにその情報記録媒体 |
JP2012173721A (ja) * | 2011-02-24 | 2012-09-10 | Yamaha Corp | 歌唱音声評価装置 |
JP2012203343A (ja) * | 2011-03-28 | 2012-10-22 | Yamaha Corp | 歌唱支援装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2015137360A1 (ja) | 2015-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9818396B2 (en) | Method and device for editing singing voice synthesis data, and method for analyzing singing | |
CN103187046B (zh) | 显示控制装置及方法 | |
JP2016136251A (ja) | 音楽コンテンツ及びリアルタイム音楽伴奏の自動採譜 | |
US20140278433A1 (en) | Voice synthesis device, voice synthesis method, and recording medium having a voice synthesis program stored thereon | |
JP6759545B2 (ja) | 評価装置およびプログラム | |
JP2008026622A (ja) | 評価装置 | |
JP6631199B2 (ja) | 技法判定装置 | |
JP5297662B2 (ja) | 楽曲データ加工装置、カラオケ装置、及びプログラム | |
JP6288197B2 (ja) | 評価装置及びプログラム | |
JP6102076B2 (ja) | 評価装置 | |
JP7232653B2 (ja) | カラオケ装置 | |
JP5919928B2 (ja) | 演奏評価装置及びプログラム | |
JP5447624B2 (ja) | カラオケ装置 | |
JP5585320B2 (ja) | 歌唱音声評価装置 | |
WO2015137360A1 (ja) | 歌唱解析装置 | |
JP5618743B2 (ja) | 歌唱音声評価装置 | |
JP6219750B2 (ja) | 歌唱対戦カラオケシステム | |
JP5830840B2 (ja) | 音声評価装置 | |
JP5416396B2 (ja) | 歌唱評価装置およびプログラム | |
JP6954780B2 (ja) | カラオケ装置 | |
JP5034642B2 (ja) | カラオケ装置 | |
JP2008040258A (ja) | 楽曲練習支援装置、動的時間整合モジュールおよびプログラム | |
JP2007240552A (ja) | 楽器音認識方法、楽器アノテーション方法、及び楽曲検索方法 | |
JP6074835B2 (ja) | 楽曲練習支援装置 | |
JP5186793B2 (ja) | カラオケ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180313 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180911 |