JP2015034923A - 音高補正装置 - Google Patents

Abstract

【課題】音高の補正後の音響を聴感的に自然な音響とする。【解決手段】補正値設定部５２は、音響信号ＸAの音高ＰAが、目標音高ＰREFを含む許容範囲外に位置する補正範囲の内側にある場合に音高ＰAの補正量が増加し、音響信号ＸAの音高ＰAが補正範囲の外側にある場合に音高の補正量が減少するように、補正量を規定する補正値Ａを設定する。補正処理部５４は、補正値設定部５２が設定した補正値Ａに応じて音響信号ＸAの音高ＰAを補正する。【選択図】図１

Description

本発明は、音声の音高（ピッチ）を補正する技術に関する。

利用者が発音した音声（典型的には楽曲の歌唱音）の音高を補正する技術が従来から提案されている。例えば特許文献１には、利用者が発音した音声の音高と楽曲を構成する各音符の音高との相違に応じて音声の音高を適正な音高に補正する構成が開示されている。

特開平７−４４１８４号公報

しかし、特許文献１の技術では、利用者が発音した音高が一律に楽曲の各音符の音高に正確に修正されるから、例えば、受聴者が実際には不快と知覚しない程度の音高の誤差や、利用者が歌唱表現（歌唱技巧）として意図的に付与した音高の誤差までも補正され、補正後の音声が聴感的に不自然な印象となる可能性がある。以上の事情を考慮して、本発明は、音高の補正後の音響を聴感的に自然な音響とすることを目的とする。

以上の課題を解決するために、本発明の第１態様に係る音高補正装置は、音響信号の音高を目標音高に応じて補正する要素であって、目標音高を含む許容範囲外に位置する補正範囲の内側に音響信号の音高がある場合に音高の補正量が増加し、音響信号の音高が補正範囲の外側にある場合に音高の補正量が減少するように、音響信号の音高を補正する音高補正部を具備する。以上の構成では、目標音高を含む許容範囲外に位置する補正範囲の内側に音響信号の音高がある場合に音高の補正量が増加するから、受聴者が特に不快感を知覚する補正範囲の内側に音響信号の音高が滞留することが抑制される。したがって、補正後の音声を、受聴者に不快感が知覚され難い聴感的に自然な音響とすることが可能である。

本発明の第２態様に係る音高補正装置は、音響信号の音高を目標音高に応じて補正する要素であって、目標音高を含む許容範囲外に位置する補正範囲の内側に音響信号の音高がある場合に音高の補正を実行し、音響信号の音高が補正範囲の外側にある場合に音高の補正を停止する音高補正部を具備する。以上の構成では、目標音高を含む許容範囲外に位置する補正範囲の内側に音響信号の音高がある場合に音高の補正が実行され、音響信号の音高が補正範囲の外側にある場合に音高の補正が停止されるから、受聴者が特に不快感を知覚する補正範囲の内側に音響信号の音高が滞留することが抑制される。したがって、補正後の音声を、受聴者に不快感が知覚され難い聴感的に自然な音響とすることが可能である。

本発明の好適な態様において、補正範囲は、許容範囲の低音側に位置する低音側補正範囲と、許容範囲の高音側に位置する高音側補正範囲とを含む。以上の態様では、許容範囲の低音側に低音側補正範囲が設定されるとともに許容範囲の高音側に高音側補正範囲が設定されるから、音響信号の音高が目標音高の低音側および高音側の何れにある場合も適切に補正することが可能である。低音側補正範囲と高音側補正範囲とで範囲幅を相違させた構成も好適である。

本発明の第１態様に係る音高補正装置の好適例において、音高補正部は、音響信号の音高の時間変換率の絶対値が閾値を下回るときには、音響信号の音高が補正範囲の内側にある場合に音高の補正量が増加し、音響信号の音高が補正範囲の外側にある場合に音高の補正量を減少させる一方、時間変化率の絶対値が閾値を上回るときには、音響信号の音高が補正範囲の内側にあるか否かに関わらず音高の補正量を減少させる。以上の態様では、音響信号の音高の時間変化率の絶対値が閾値を上回る場合（例えば音響信号の音高の変動が利用者の意図的な歌唱表現に起因すると推定される場合）には音高の補正が抑制される。したがって、意図的な歌唱表現を維持しながら音高を補正できるという効果が実現される。

本発明の第２態様に係る音高補正装置の好適例において、音高補正部は、音響信号の音高の時間変換率の絶対値が閾値を下回るときには、目標音高を含む許容範囲外に位置する補正範囲の内側に音響信号の音高がある場合に音高の補正を実行し、音響信号の音高が補正範囲の外側にある場合に音高の補正を停止する一方、時間変化率の絶対値が閾値を上回るときには、音響信号の音高が補正範囲の内側にあるか否かに関わらず音高の補正を停止する。以上の態様では、音響信号の音高の時間変化率の絶対値が閾値を上回る場合（例えば音響信号の音高の変動が利用者の意図的な歌唱表現に起因すると推定される場合）には音高の補正が停止される。したがって、意図的な歌唱表現を維持しながら音高を補正できるという効果が実現される。

本発明の好適な態様において、補正値設定部は補正範囲を可変に制御する。例えば、音響信号の音量、音響信号の音高、音響信号の音高と目標音高との関係の評価値、音響信号のビブラートの深度の少なくともひとつに応じて補正範囲を制御する構成が好適である。

以上の各態様に係る音高補正装置は、音響信号の処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）等の汎用の演算処理装置とプログラムとの協働によっても実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、例えば、本発明のプログラムは、通信網を介した配信の形態で提供されてコンピュータにインストールされ得る。また、本発明は、以上に説明した各態様に係る音高補正装置の動作方法（音高補正方法）としても特定される。

本発明の第１実施形態に係る音高補正装置のブロック図である。 目標音高と許容範囲と補正範囲との説明図である。 補正値設定部が実行する補正制御処理のフローチャートである。 補正前後にわたる音高の時間変化の模式図である。 第１実施形態の効果の説明図である。 第２実施形態における補正制御処理のフローチャートである。 音高補正装置の概念図である。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る音高補正装置１００のブロック図である。図１に例示される通り、音高補正装置１００には収音装置１２と放音装置１４とが接続される。収音装置１２は、利用者が発音した音声を収音することで音響信号ＸAを生成する。音響信号ＸAは、楽曲を歌唱した歌唱音の時間波形を表す音声信号である。音高補正装置１００は、音響信号ＸAの音高（ピッチ）の補正を含む各種の音響処理で音響信号Ｚを生成する音響処理装置であり、利用者が楽曲の伴奏音のもとで歌唱するためのカラオケ装置として好適に利用される。放音装置１４は、音高補正装置１００が生成した音響信号Ｚに応じた音響を再生する。なお、収音装置１２が生成した音響信号ＸAをアナログからデジタルに変換するＡ/Ｄ変換器や、音高補正装置１００が生成した音響信号Ｚをデジタルからアナログに変換するＤ/Ａ変換器の図示は便宜的に省略した。

図１に例示される通り、音高補正装置１００は、演算処理装置２２と記憶装置２４とを具備するコンピュータシステムで実現される。記憶装置２４は、演算処理装置２２が実行するプログラムや演算処理装置２２が使用する各種のデータを記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置２４として任意に採用される。なお、第１実施形態では、収音装置１２が生成した音響信号ＸAの音高を実時間的に補正する場合を例示するが、歌唱音を事前に収録した音響信号ＸAを記憶装置２４に記憶して音高の補正対象とすることも可能である。

第１実施形態の記憶装置２４は、楽曲データＭを楽曲毎に記憶する。各楽曲の楽曲データＭは、歌唱パートの旋律（ガイドメロディ）と伴奏パートの旋律とを指定する時系列データである。例えばＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠した形式で記述されたカラオケデータが楽曲データＭとして好適に利用される。

演算処理装置２２は、記憶装置２４に記憶されたプログラムを実行することで各種の制御処理および演算処理を実行する。具体的には、演算処理装置２２は、図１に例示される通り、音響信号ＸAから音響信号Ｚを生成するための複数の機能（再生処理部３２，音響生成部３４，音高補正部３６，音響混合部３８，音高検出部４２，平滑処理部４４，変化率算定部４６）を実現する。なお、演算処理装置２２の各機能を複数の装置に分散した構成や、音響処理に専用される電子回路（例えばＤＳＰ）が演算処理装置２２の各機能を実現する構成も採用され得る。

再生処理部３２は、楽曲データＭを処理するシーケンサである。具体的には、再生処理部３２は、楽曲データＭのうち伴奏パートの各音符を音響生成部３４に対して順次に指示するとともに、楽曲データＭのうち歌唱パートの各音符の音高（以下「目標音高」という）ＰREFを音高補正部３６に対して順次に指示する。目標音高ＰREFは、楽曲の歌唱パートの模範的な音高に相当し、音響信号ＸAの音高の補正のために参照される（詳細は後述）。音響生成部３４は、再生処理部３２から順次に指示される伴奏パートの各音符の音響（すなわち伴奏音）を表す音響信号Ｙを生成する。

図１の音高補正部３６は、収音装置１２から供給される音響信号ＸAの音高を目標音高ＰREFに応じて補正することで音響信号ＸBを生成する。補正の具体的な内容は後述するが、概略的には、音響信号ＸAの音高が目標音高ＰREFに近付く（両者間の誤差が低減される）ように音響信号ＸAから音響信号ＸBが生成される。音響混合部３８は、音高補正部３６による補正後の音響信号ＸBと音響生成部３４が生成した伴奏音の音響信号Ｙとを混合することで音響信号Ｚを生成する。音響混合部３８が生成した音響信号Ｚが放音装置１４に供給されることで、利用者が楽曲を歌唱した音声の音高を補正した歌唱音（音響信号ＸB）と当該楽曲の伴奏音（音響信号Ｙ）とが放音装置１４から再生される。

音高検出部４２は、収音装置１２から供給される音響信号ＸAの音高（基本周波数）Ｐ0を順次に検出する。音高Ｐ0の検出には公知の技術（ピッチ検出技術）が任意に採用され得る。平滑処理部４４は、音高検出部４２が検出した音高Ｐ0の時系列を時間軸上で平滑化するローパスフィルタである。平滑処理部４４による平滑化で音高Ｐ0の過度な変動（例えばビブラートに起因した変動）が抑制される。変化率算定部４６は、平滑処理部４４による平滑化後の音高ＰAの時間変化率（絶対値）ＤPを順次に算定する。時間変化率ＤPは、単位時間内の音高ＰAの変化量を意味する。

図１に例示される通り、第１実施形態の音高補正部３６は、補正値設定部５２と補正処理部５４とを含んで構成される。補正値設定部５２は、音響信号ＸAの音高ＰAの補正に適用される補正値Ａを、再生処理部３２から順次に指示される目標音高ＰREFと音響信号ＸAの音高ＰAとに応じて順次に設定する。補正値Ａは、音高ＰAの補正量を規定する変数であり、正数または負数に設定される。補正処理部５４は、補正値設定部５２が設定した補正値Ａに応じて音響信号ＸAの音高ＰAを補正することで音響信号ＸBを生成する。具体的には、補正処理部５４は、音響信号ＸAの音高ＰAに補正値Ａを加算することで音響信号ＸBを生成する。したがって、補正値Ａの絶対値が大きいほど音響信号ＸAの音高ＰAの補正量は増加する。

第１実施形態では、目標音高ＰREFと音響信号ＸAの音高ＰAとの関係に応じて音高ＰAの補正を制御する。図２は、目標音高ＰREFと音高ＰAとの関係の説明図である。図２に例示される通り、目標音高ＰREFを包含する所定の範囲（以下「許容範囲」という）Ｒが設定される。許容範囲Ｒは、目標音高ＰREFとの音高差が聴感的に知覚され難い音高ＰAの範囲（すなわち、目標音高ＰREFとの誤差が受聴者に許容され得る音高ＰAの範囲）に相当し、目標音高ＰREFに対して低音側の音高ＢL1と目標音高ＰREFに対して高音側の音高ＢH1との間の範囲である。具体的には、音高ＢL1は目標音高ＰREFに対して-20centの音高であり、音高ＢH1は目標音高ＰREFに対して+30centの音高である。すなわち、セント換算値に着目すると、音高ＢL1の絶対値は音高ＢH1の絶対値を下回る。

図２に例示される通り、許容範囲Ｒの外側には補正範囲Ｑ（ＱL，ＱH）が設定される。第１実施形態の補正範囲Ｑは、許容範囲Ｒの低音側に位置する低音側補正範囲ＱLと、許容範囲Ｒの高音側に位置する高音側補正範囲ＱHとを包含する。低音側補正範囲ＱLは、許容範囲Ｒの下限値である音高ＢL1と音高ＢL1を下回る音高ＢL2との間の範囲であり、高音側補正範囲ＱHは、許容範囲Ｒの上限値である音高ＢH1と音高ＢH1を上回る音高ＢH2との間の範囲である。

目標音高ＰREFに対する音高ＰAの誤差と歌唱音の受聴者が知覚する不快度ξとの関係が図２には併記されている。不快度ξは、目標音高ＰREFとは相違する音高ＰAを受聴した受聴者が目標音高ＰREFと音高ＰAとの相違を不快と知覚する度合の指標である。図２から理解される通り、音高ＰAが許容範囲Ｒ内にある場合には不快度ξは最低値（ゼロ）に維持される。許容範囲Ｒの外側の範囲で目標音高ＰREFと音高ＰAとの音高差が拡大すると、許容範囲Ｒに近い範囲内では音高ＰAが目標音高ＰREFから乖離するほど不快度ξは増加するが、目標音高ＰREFと音高ＰAとの音高差が所定値に到達すると不快度ξは極大となり、以降は音高ＰAが目標音高ＰREFから乖離するほど不快度ξは減少する、という傾向がある。以上の傾向は、許容範囲Ｒの低音側および高音側の双方で観測される。

図２から理解される通り、低音側補正範囲ＱLおよび高音側補正範囲ＱHの各々は、不快度ξが極大となる音高ＰAを包含するように選定される。すなわち、低音側補正範囲ＱLおよび高音側補正範囲ＱHは、音高ＰAを受聴した受聴者が音高ＰAの誤差を不快と知覚する範囲に相当し、目標音高ＰREFとの相違を低減する（不快度ξを抑制する）ために音高ＰAを補正すべき範囲とも表現される。具体的には、低音側補正範囲ＱLの下限値に相当する音高ＢL2は、目標音高ＰREFに対して-200centの音高である。すなわち、低音側補正範囲ＱLは、目標音高ＰREFに対して-20cent（ＢL1）から-200cent（ＢL2）までの範囲（範囲幅180cent）である。他方、高音側補正範囲ＱHの上限値に相当する音高ＢH2は、目標音高ＰREFに対して+200centの音高である。すなわち、高音側補正範囲ＱHは、目標音高ＰREFに対して+30cent（ＢH1）から+200cent（ＢH2）までの範囲（範囲幅170cent）である。目標音高ＰREFに対して高音側の誤差のほうが低音側の誤差と比較して受聴者に知覚され難いという傾向を考慮して、第１実施形態では、以上の例示の通り、低音側補正範囲ＱLが高音側補正範囲ＱHと比較して広い範囲に設定される。図２から理解される通り、許容範囲Ｒのうち目標音高ＰREFの高音側の範囲が低音側の範囲と比較して広いと換言することも可能である。ただし、低音側補正範囲ＱLと高音側補正範囲ＱHとで範囲幅を共通させることも可能である。例えば、音高ＢL1と音高ＢH1とで絶対値が共通するとともに音高ＢL2と音高ＢH2とで絶対値が共通する構成（すなわち、目標音高ＰREFを対称軸として低音側補正範囲ＱLと音高側補正範囲ＱHとが線対称の関係にある構成）も採用され得る。

図１に例示される通り、第１実施形態の補正値設定部５２は、状態制御部６２と設定処理部６４とを含んで構成される。状態制御部６２は、再生処理部３２から指示される目標音高ＰREFを含む許容範囲Ｒの外側の補正範囲Ｑ（ＱL，ＱH）に音響信号ＸAの音高ＰAが包含されるか否かに応じて、音高ＰAの補正量の制御に関する動作状態を第１状態と第２状態とに選択的に設定する。第１状態は、音高ＰAの補正量を経時的に増加させる動作状態（すなわち音高ＰAの補正を促進する状態）であり、第２状態は、音高ＰAの補正量を経時的に減少させる動作状態（すなわち音高ＰAの補正を抑制する状態）である。具体的には、状態制御部６２は、記憶装置２４に記憶された補正情報Ｆを制御する。補正情報Ｆは、第１状態（Ｆ＝１［ON］）および第２状態（Ｆ＝０［OFF］）の何れかを指定する情報（フラグ）である。図１の設定処理部６４は、状態制御部６２が設定した動作状態（補正情報Ｆ）に応じて補正値Ａを設定する。

図３は、補正値設定部５２が補正値Ａを設定するための処理（以下「補正制御処理」という）のフローチャートである。利用者からの指示（楽曲再生の指示）を契機として再生処理部３２が楽曲データＭの処理を開始すると、所定の時間毎に発生する割込を契機として図３の補正制御処理が順次に実行される。状態制御部６２がステップＳA1からステップＳA5の処理を実行し、設定処理部６４がステップＳB1からステップＳB5の処理を実行する。

補正制御処理を開始すると、状態制御部６２は、楽曲の歌唱パートの目標音高ＰREFが存在するか否か（現時点が楽曲内の歌唱区間であるか否か）を再生処理部３２からの指示に応じて判定する（ＳA1）。目標音高ＰREFが存在する場合（ＳA1：YES）、状態制御部６２は、変化率算定部４６が算定した時間変化率ＤPが所定の閾値ＤTHを下回るか否かを判定する（ＳA2）。

音響信号ＸAの音高ＰAと目標音高ＰREFとが相違する場合でも、両者間の相違（音高ＰAの誤差）が、歌唱技術の不足に起因した誤差ではなく、例えば利用者が意図した歌唱表現（例えばビブラート）に起因する場合には、音響信号ＸAの音高ＰAを補正すべきではない。他方、意図的な歌唱表現に起因した音高ＰAの変動は、歌唱技術の不足に起因した音高ＰAの変動と比較して、音高ＰAの時間変化率ＤPが大きい、という傾向がある。以上の説明から理解される通り、前述のステップＳA2の判定は、目標音高ＰREFと音響信号ＸAの音高ＰAとの誤差が、意図的な歌唱表現と歌唱技術の不足との何れに起因するのかを推定する処理に相当する。すなわち、時間変化率ＤPが閾値ＤTHを下回る場合（ＳA2：YES）には目標音高ＰREFと音高ＰAとの誤差が歌唱技術の不足に起因する（したがって音高ＰAを補正すべきである）と推定され、時間変化率ＤPが閾値ＤTHを上回る場合（ＳA2：NO）には目標音高ＰREFと音高ＰAとの誤差が意図的な歌唱表現に起因する（したがって音高ＰAを補正すべきでない）と推定される。以上の説明から理解される通り、閾値ＤTHは、意図的な歌唱表現による音高ＰAの変動と歌唱技術の不足による音高ＰAの変動とを区別可能な適切な数値に設定される。具体的には、閾値ＤTHは、1200cent/sec以下の数値に好適に設定される。

時間変化率ＤPが閾値ＤTHを下回る場合（ＳA2：YES）、状態制御部６２は、目標音高ＰREFを含む許容範囲Ｒの外側の補正範囲Ｑ（低音側補正範囲ＱLおよび高音側補正範囲ＱHの何れか）に音響信号ＸAの音高ＰAが包含されるか否かを判定する（ＳA3）。図２を参照した前述の説明から理解される通り、ステップＳA3の判定は、音響信号ＸAの音高ＰAが目標音高ＰREFとの関係で受聴者に不快と知覚されるか否かを判定する処理に相当する。音響信号ＸAの音高ＰAが補正範囲Ｑに包含される場合（ＳA3：YES）、状態制御部６２は、記憶装置２４に記憶された補正情報Ｆを１［ON］に設定することで動作状態を第１状態に設定する（ＳA4）。

他方、目標音高ＰREFが存在しない場合（ＳA1：NO）、時間変化率ＤPが閾値ＤTHを上回る場合（ＳA2：NO）、または、音高ＰAが補正範囲Ｑ以外の範囲（許容範囲Ｒまたは補正範囲Ｑの外側の範囲）に包含される場合（ＳA3：NO）には、状態制御部６２は、記憶装置２４に記憶された補正情報Ｆを０［OFF］に設定することで動作状態を第２状態に設定する（ＳA5）。すなわち、音響信号ＸAの音高ＰAを補正すべき場合（ＳA3：YES）には動作状態が第１状態に設定され、音響信号ＸAの音高ＰAを補正すべきでない場合（ＳA1〜ＳA3：NO）には動作状態が第２状態に設定される。

以上の説明から理解される通り、第１実施形態の状態制御部６２は、音響信号ＸAの音高ＰAが補正範囲Ｑ内にある場合（ＳA3：YES）に動作状態を第１状態に設定し、音響信号ＸAの音高ＰAが補正範囲Ｑ外にある場合（ＳA3：NO）に動作状態を第２状態に設定する要素として機能する。具体的には、状態制御部６２は、音響信号ＸAの音高ＰAの時間変化率ＤP（絶対値）が閾値ＤTHを下回るとき（ＳA2：YES）に、音高ＰAが補正範囲Ｑ内にある場合（ＳA3：YES）に動作状態を第１状態に設定し、音響信号ＸAの音高ＰAが補正範囲Ｑ外にある場合（ＳA3：NO）に動作状態を第２状態に設定する一方、時間変化率ＤPが閾値ＤTHを上回るとき（ＳA2：NO）には、補正範囲Ｑに対する音高ＰAの内外に関わらず動作状態を第２状態に設定する。また、音響信号ＸAの音高ＰAが補正範囲Ｑ内にあると仮定する（あるいは補正範囲Ｑに対する音高ＰAの内外を無視する）と、状態制御部６２は、音響信号ＸAの音高ＰAの時間変化率ＤPが閾値ＤTHを下回る場合（ＳA2：YES）に動作状態を第１状態に設定し、時間変化率ＤPが閾値ＤTHを上回る場合（ＳA2：NO）に動作状態を第２状態に設定する要素としても表現される。以上が状態制御部６２（ＳA1〜ＳA5）の動作である。

なお、第１実施形態では、音響信号ＸAの音高Ｐ0を平滑化した音高ＰAに応じて補正値Ａが制御される。したがって、状態制御部６２が制御する動作状態は、音響信号ＸAの音高Ｐ0の実際の変動から平滑化の時定数に応じた時間だけ遅延した時点で第１状態および第２状態の一方から他方に変動する。すなわち、平滑処理部４４は、動作状態の変動の時点（音高Ｐ0の変動から動作状態の変動までの遅延量）を調整するための要素として機能する。平滑処理部４４による平滑化の時定数は、例えば０.２秒程度に設定される。なお、入力装置（図示略）に対する利用者からの指示に応じて平滑化の時定数を可変に設定することも可能である。

設定処理部６４は、以上の処理で状態制御部６２が設定した動作状態（補正情報Ｆ）に応じて補正値Ａを設定する。補正値Ａは、例えば動作状態が第２状態から第１状態に変化した場合に所定値（例えば０）に初期化される。図３に例示される通り、設定処理部６４は、現段階の動作状態が第１状態にあるか否か（補正情報Ｆが１であるか否か）を判定する（ＳB1）。動作状態が第１状態にある場合（ＳB1：YES）、すなわち、音響信号ＸAの音高ＰAを補正する必要がある場合、設定処理部６４は、以下に詳述する通り、音響信号ＸAの音高ＰAの補正量が経時的に増加するように補正値Ａを制御する（ＳB2〜ＳB4）

動作状態が第１状態にある場合（ＳB1：YES）、設定処理部６４は、音響信号ＸAの音高ＰAが目標音高ＰREFを下回るか否かを判定する（ＳB2）。音高ＰAが目標音高ＰREFを下回る場合（ＳB2：YES）、すなわち、音高ＰAが低音側補正範囲ＱL内にある場合、設定処理部６４は、補正値Ａに所定の変化量δLを加算する（ＳB3）。すなわち、補正値Ａが正数の範囲にて変化量δLだけ増加することで音高ＰAの高音側（目標音高ＰREFに近付く方向）への補正量が増加する。他方、音響信号ＸAの音高ＰAが目標音高ＰREFを上回る場合（ＳB2：NO）、すなわち、音高ＰAが高音側補正範囲ＱH内にある場合、設定処理部６４は、補正値Ａから所定の変化量δHを減算する（ＳB4）。すなわち、補正値Ａが負数の範囲にて変化量δHだけ減少することで音高ＰAの低音側（目標音高ＰREFに近付く方向）への補正量が増加する。補正値Ａの変化量δLと変化量δHとは、典型的には相等しい数値に設定されるが、各々を別個の数値に設定することも可能である。また、入力装置に対する利用者からの指示に応じて変化量δLや変化量δHを可変に制御する構成も採用される。

他方、動作状態が第２状態にある場合（ＳB1：NO）、設定処理部６４は、補正値Ａの絶対値を所定の変化量δ0だけ減少させる（すなわち０に近付ける）ことで音高ＰAの補正量を減少させる。具体的には、設定処理部６４は、補正値Ａが正数である場合には補正値Ａから変化量δ0を減算し、補正値Ａが負数である場合には補正値Ａに変化量δ0を加算する。なお、補正値Ａが０に到達した場合、設定処理部６４は、補正値Ａを０に維持する。以上が補正値設定部５２（状態制御部６２，設定処理部６４）による補正制御処理の具体例である。

図４は、補正制御処理で設定される補正値Ａを適用した音高ＰAの補正の具体例である。補正前の音響信号ＸAの音高ＰA（破線）と補正後の音響信号ＸBの音高ＰB（実線）とが図４に併記されている。図４では、音響信号ＸAの音高ＰAが、低音側補正範囲ＱLの下限値である音高ＢL2を下回る範囲から経時的に上昇しながら低音側補正範囲ＱLを通過して許容範囲Ｒ内に到達し、許容範囲Ｒ内で増加から減少に転換し、低音側補正範囲ＱLを通過して音高ＢL2を下回る範囲に到達する場合が例示されている。なお、図４では、時間変化率ＤPが閾値ＤTHを下回るように音高ＰAが変動する場合を便宜的に想定した。

図４に例示される通り、音響信号ＸAの音高ＰAが低音側補正範囲ＱLの下限値の音高ＢL2に到達して低音側補正範囲ＱL内に移行する時点ｔ1において、動作状態は第２状態から第１状態に遷移する（ＳA4）。音高ＰAは目標音高ＰREFを下回る（ＳB2：YES）から、補正値Ａは正数の範囲内で変化量δLずつ経時的に増加し（ＳB3）、補正後の音高ＰBは、音響信号ＸAの音高ＰAと比較して迅速に目標音高ＰREFに近付く。そして、音響信号ＸAの音高ＰAが許容範囲Ｒの下限値（低音側補正範囲ＱLの上限値）の音高ＢL1に到達して許容範囲Ｒ内に移行する時点ｔ2において、動作状態は第１状態から第２状態に遷移する（ＳA5）。したがって、補正値Ａの絶対値が変化量δ0ずつ減少する（ＳB5）ことで補正量（音高ＰAと音高ＰBとの相違）が減少し、補正値Ａが０に到達することで音高ＰAと音高ＰBとが合致する。すなわち、音響信号ＸAの音高ＰAの補正が停止した状態となる。

音響信号ＸAの音高ＰAが許容範囲Ｒ内で低下し、許容範囲Ｒの下限値の音高ＢL1に到達して低音側補正範囲ＱL内に移行する時点ｔ3において、動作状態は第２状態から第１状態に遷移する（ＳA4）。したがって、補正値Ａは正数の範囲内で変化量δLずつ経時的に増加する（ＳB3）。補正値Ａが増加する結果、補正後の音高ＰBは、補正前の音高ＰAが低音側補正範囲ＱL内に移行する時点ｔ3から遅延した時点で低音側補正範囲ＱL内に移行する。そして、音響信号ＸAの音高ＰAが低音側補正範囲ＱLの下限値の音高ＢL2に到達して低音側補正範囲ＱL外に移行する時点ｔ4において、動作状態は第１状態から第２状態に遷移する（ＳA5）。したがって、補正値Ａの絶対値が変化量δ0ずつ減少する（ＳB5）。補正値Ａが０に到達することで音高ＰAと音高ＰBとが合致して、音響信号ＸAの音高ＰAの補正が停止した状態となる。

以上に説明した通り、第１実施形態では、目標音高ＰREFを含む許容範囲Ｒの外側の補正範囲Ｑ内に音響信号ＸAの音高ＰAがある場合に音高ＰAの補正量が増加し、音響信号ＸAの音高ＰAが補正範囲Ｑ外にある場合に音高ＰAの補正量が減少するから、受聴者が不快感を知覚する補正範囲Ｑ内に音高ＰAが滞留することが抑制される。例えば、図４の例示では、補正前の音高ＰAは期間ＴA1および期間ＴA2にて補正範囲Ｑ内に滞留するのに対し、補正後の音高ＰBが補正範囲Ｑ内にあるのは、期間ＴA1と比較して短い期間ＴB1および期間ＴA2と比較して短い期間ＴB2である。すなわち、第１実施形態によれば、音高ＰAの補正後の音声を、受聴者に不快感が知覚され難い聴感的に自然な音声とすることが可能である。

ところで、歌唱技術が充分でない初心者の歌唱には、歌唱者自身は音高ＰAが目標音高ＰREFに合致していると知覚しているけれども実際には音高ＰAが目標音高ＰREFを下回る音高に維持されるという現象（以下「フラットシンギング」という）が観測される。フラットシンギングでは、歌唱音の音高ＰAが補正範囲Ｑ内（例えば目標音高ＰREFから50cent程度の低音）に維持され、結果的に受聴者に不快感を知覚させる可能性が高いという傾向がある。第１実施形態によれば、前述の通り、音響信号ＸAの音高ＰAが補正範囲Ｑ内に滞留することが抑制されるから、フラットシンギングの矯正に格別に有効である。

また、第１実施形態では、音響信号ＸAの音高ＰAの時間変化率ＤPが閾値ＤTHを上回る場合（目標音高ＰREFと音高ＰAとの相違が意図的な歌唱表現に起因すると推定される場合）には音高ＰAの補正量が減少するように補正値Ａが制御される。すなわち、音高ＰAの補正が抑制（ひいては停止）される。したがって、以下に詳述する通り、歌唱者が意図した歌唱表現を維持しながら音高ＰAを補正できるという効果が実現される。

図５は、補正前の音高ＰA（破線）と補正後の音高ＰB（実線）との時間的な変動の説明図である。第１実施形態との比較のために対比例１および対比例２が併記されている。対比例１は、歌唱音の音高ＰAを、平均律の複数の音高のうち当該音高ＰAに最も近い音高に補正（量子化）する構成であり、対比例２は、歌唱音の音高ＰAを目標音高ＰREFに強制的に補正する構成である。図５では、目標音高ＰREFが音高Ｇから音高Ｃに変化する旋律の歌唱音に着目し、利用者が、音高Ｇと音高Ｃとを円滑に連結するシャクリを付与するとともに音高Ｃの発音の途中からビブラートを付与した場合を例示する。

図５から理解される通り、対比例１では、離散的な複数の音高の何れかに歌唱音の音高ＰAが強制的に変更されるから、補正後の音高ＰBは時間的に不連続に変動する。したがって、音高ＰAを滑らかに変動させるシャクリやビブラートの効果が減殺され、聴感的にも不自然な音響となる。また、対比例２では、歌唱音の音高ＰAが目標音高ＰREFに強制的に変更されるから、歌唱者が意図したシャクリやビブラートの効果が完全に減殺されるとともに聴感的にも不自然な音響となる。他方、第１実施形態では、音高Ｃの発音の当初に目標音高ＰREFに対して僅かに低音に維持される音高ＰA（フラットシンギング）が補正により目標音高ＰREFに近付けられる一方、音高Ｃの発音の後半におけるビブラートは歌唱音のまま維持される。すなわち、以上に説明した第１実施形態によれば、対比例１や対比例２と比較して、歌唱者が意図した歌唱表現を維持しながら音高ＰAを補正できることが図５から把握できる。

＜第２実施形態＞
本発明の第２実施形態を以下に説明する。なお、以下に例示する各態様において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。

第１実施形態の音高補正部３６は、音響信号ＸAの音高ＰAが補正範囲Ｑの内側にある場合に音高ＰAの補正量が増加し、音響信号ＸAの音高ＰAが補正範囲Ｑの外側にある場合に音高ＰAの補正量が減少するように、音響信号ＸAの音高ＰAを補正した。第２実施形態の音高補正部３６は、以下に詳述する通り、補正範囲Ｑに対する音高ＰAの内外に応じて音高ＰAの補正の有無（実行／停止）を制御する。

図６は、第２実施形態の音高補正部３６が実行する処理のフローチャートである。第１実施形態の補正制御処理と同様に、音高補正部３６は、目標音高ＰREFの有無の判定（ＳC1）と、時間変化率ＤPが閾値ＤTHを下回るか否かの判定（ＳC2）と、音響信号ＸAの音高ＰAが補正範囲Ｑ（低音側補正範囲ＱLおよび高音側補正範囲ＱHの何れか）に包含されるか否かの判定（ＳC3）とを順次に実行する。

以上の各判定の結果が肯定である場合（ＳC3：YES）、音高補正部３６は、音響信号ＸAの音高ＰAの補正を実行する（ＳC4）。具体的には、音高補正部３６は、音高ＰAに所定の補正値Ａを加算または減算することで音高ＰAを目標音高ＰREFに近付ける。第２実施形態の補正値Ａは例えば所定の定数である。

他方、目標音高ＰREFが存在しない場合（ＳC1：NO）、時間変化率ＤPが閾値ＤTHを上回る場合（ＳC2：NO）、または、音高ＰAが補正範囲Ｑ以外の範囲に包含される場合（ＳC3：NO）、音高補正部３６は、音響信号ＸAの音高ＰAの補正を停止する（ＳC5）。したがって、音高ＰAに対する補正値Ａの加算または減算は実行されない。以上の説明から理解される通り、第２実施形態の音高補正部３６は、音高ＰAの時間変化率ＤPが閾値ＤTHを下回るとき（ＳC2：YES）には、音高ＰAが補正範囲Ｑ内にある場合（ＳC3：YES）に音高ＰAの補正を実行し（ＳC4）、音高ＰAが補正範囲Ｑ外にある場合（ＳC3：NO）に音高ＰAの補正を停止する一方（ＳC5）、音高ＰAの時間変化率ＤPが閾値ＤTHを上回るとき（ＳC2：NO）には、音高ＰAが補正範囲Ｑの内側にあるか否かに関わらず音高ＰAの補正を停止する（ＳC5）。

以上に説明した通り、第２実施形態では、目標音高ＰREFを含む許容範囲Ｒの外側の補正範囲Ｑ内に音響信号ＸAの音高ＰAがある場合に音高ＰAの補正が実行され、音響信号ＸAの音高ＰAが補正範囲Ｑ外にある場合に音高ＰAの補正が停止されるから、受聴者が不快感を知覚する補正範囲Ｑ内に音高ＰAが滞留することが抑制される。したがって、第１実施形態と同様に、音高ＰAの補正後の音声を、受聴者に不快感が知覚され難い聴感的に自然な音声とすることが可能である。また、第２実施形態では、音響信号ＸAの音高ＰAの時間変化率ＤPが閾値ＤTHを上回る場合（目標音高ＰREFと音高ＰAとの相違が意図的な歌唱表現に起因すると推定される場合）には音高ＰAの補正が停止される。したがって、第１実施形態と同様に、歌唱者が意図した歌唱表現を維持しながら音高ＰAを補正できるという効果が実現される。

＜変形例＞
以上に例示した各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を適宜に併合することも可能である。

（１）補正範囲Ｑに対する音高ＰAの内外と音高ＰAの補正内容との関係は、第１実施形態や第２実施形態の例示に限定されない。例えば、第１実施形態において、音響信号ＸAの音高ＰAが補正範囲Ｑの内側にある場合の補正量と音高ＰAが補正範囲Ｑの外側にある場合の補正量とを所定値に固定した構成（各場合の補正値Ａを所定値に固定して増減しない構成）も採用され得る。ただし、音高ＰAが補正範囲Ｑの内側にある場合の補正量（すなわち補正値Ａの絶対値）は、音高ＰAが補正範囲Ｑの外側にある場合の補正量を上回る。また、第２実施形態において、音高ＰAの補正に適用される補正値Ａを、第１実施形態と同様に可変に制御することも可能である。

第２実施形態における音高ＰAの補正の停止を、補正量（補正値Ａ）をゼロに設定する処理で実現することも可能である。以上の説明から理解される通り、前述の各形態に係る音高補正部３６は、補正範囲Ｑの内側に音響信号ＸAの音高ＰAがある場合の音高ＰAの補正量（補正値Ａの絶対値）が、補正範囲Ｑの外側に音高ＰAがある場合の音高ＰAの補正量を上回るように、音響信号ＸAの音高ＰAを補正する要素として表現される。

（２）許容範囲Ｒや補正範囲Ｑ（ＢL1，ＢL2，ＢH1，ＢH2）を補正値設定部５２（状態制御部６２）が可変に制御することも可能である。例えば、入力装置（図示略）に対する利用者からの指示に応じて許容範囲Ｒや補正範囲Ｑを可変に制御する構成が好適である。また、以下に例示する各態様も採用される。許容範囲Ｒや補正範囲Ｑの制御方法は任意であるが、例えば、低音側補正範囲ＱLの下限値の音高ＢL2や高音側補正範囲ＱHの上限値の音高ＢH2を維持したまま、許容範囲Ｒと低音側補正範囲ＱLとの境界の音高ＢL1や許容範囲Ｒと高音側補正範囲ＱHとの境界の音響ＢH1を変化させる構成が好適である。

［ａ］音響信号ＸAの音量に応じて許容範囲Ｒや補正範囲Ｑを制御する構成が採用される。例えば、歌唱音の音量が小さい場合には音高ＰAの誤差が聴感的に知覚され難いという傾向がある。以上の傾向を考慮すると、音響信号ＸAの音量が小さいほど、補正値設定部５２（状態制御部６２）が許容範囲Ｒを拡大する（補正範囲Ｑを縮小する）構成が好適である。また、音響信号ＸAの音量が閾値を下回る場合に音高補正部３６の補正動作を停止することも可能である。

［ｂ］音響信号ＸAの音高ＰA（歌唱音域）に応じて許容範囲Ｒや補正範囲Ｑを制御する構成が採用される。例えば、歌唱音の音高ＰAが低い場合には音高ＰAの誤差が聴感的に知覚され難いという傾向がある。以上の傾向を考慮すると、音響信号ＸAの音高ＰAや楽曲の目標音高ＰREFが低いほど、補正値設定部５２（状態制御部６２）が許容範囲Ｒを拡大する（補正範囲Ｑを縮小する）構成が好適である。例えば、目標音高ＰREF（または音響信号ＸAの音高ＰA）が音高Ｃ4（約523Ｈz）である場合には、許容範囲Ｒが、目標音高ＰREFに対して-20centから+30centまでの範囲に設定され、目標音高ＰREFが音高Ｃ4の２オクターブ下の音高Ｄ2である場合には、許容範囲Ｒの範囲幅が音高Ｃ4の場合の２倍（例えば-40centから+60centまでの範囲）に拡大される。また、音響信号ＸAの音高ＰAが閾値を下回る場合に音高補正部３６の補正動作を停止することも可能である。

［ｃ］音響信号ＸAの過去の音高ＰAと目標音高ＰREFとの関係（履歴）に応じて許容範囲Ｒや補正範囲Ｑを制御する構成が採用される。例えば、音響信号ＸAの音高ＰAと目標音高ＰREFとの異同（歌唱の巧拙）に応じた評価値を楽曲の歌唱中に順次に算定し、評価値が閾値を上回る場合（すなわち歌唱が上手で音高ＰAの補正の必要性が低い場合）には、補正値設定部５２（状態制御部６２）が許容範囲Ｒを拡大する（補正範囲Ｑを縮小する）構成が好適である。また、評価値が閾値を上回る場合に音高補正部３６の補正動作を停止することも可能である。なお、音高ＰAと目標音高ＰREFとの異同（歌唱の巧拙）の評価には、公知の歌唱評価技術が任意に採用される。

［ｄ］歌唱音に付与されたビブラートの深度（音高ＰAの変動の振幅）が大きい場合には音高ＰAの誤差が受聴者に知覚され難いという傾向がある。以上の傾向を考慮すると、音響信号ＸAのビブラートの深度が大きいほど、補正値設定部５２（状態制御部６２）が許容範囲Ｒを拡大する（補正範囲Ｑを縮小する）構成が好適である。また、音響信号ＸAのビブラートの深度が所定の閾値を上回る場合に音高補正部３６の補正動作を停止することも可能である。

（３）前述の各形態では、許容範囲Ｒの低音側および高音側の双方に補正範囲Ｑ（ＱL，ＱH）を設定したが、低音側補正範囲ＱLおよび高音側補正範囲ＱHの一方のみを設定することも可能である。例えば、目標音高ＰREFを僅かに下回る音高ＰAが維持される前述のフラットシンギングを補正対象とする構成では高音側補正範囲ＱHが省略され得る。

（４）前述の各形態では、補正後の音響信号ＸBを伴奏音の音響信号Ｙと混合して放音装置１４から再生する場合を例示したが、補正後の音響信号ＸBの出力方法は適宜に変更される。例えば、音響信号ＸAの補正後の音響信号ＸBや音響信号ＸBに音響信号Ｙを混合した音響信号ＺをＣＤ等の可搬型の記録媒体に格納して利用者に提供することも可能である。また、補正前の音響信号ＸAと補正後の音響信号ＸBとを対比的に再生する構成や、補正前の音高ＰAの時間変化と補正後の音高ＰBの時間変化とを対比するための画像（例えば図４や図５と同様の画像）を表示装置に表示させる構成も採用される。

（５）前述の各形態では、音響信号ＸAの音高ＰAと補正範囲Ｑとの関係に応じて音高ＰAを補正する構成（以下「構成Ａ」という）と、音高ＰAの時間変化率ＤPに応じて補正動作（動作状態）を制御する構成（以下「構成Ｂ」という）との双方を具備する構成を例示したが、構成Ａと構成Ｂとは各々が独立に成立し得る。例えば、前述の各形態から構成Ｂを省略することも可能である。具体的には、変化率算定部４６と図３のステップＳA2とが省略され、音高補正部３６は、音響信号ＸAの音高ＰAが補正範囲Ｑ内にあるか否かに応じて動作状態を第１状態または第２状態に設定する。他方、前述の各形態から構成Ａを省略することも可能である。具体的には、音高補正部３６は、時間変化率ＤPが閾値ＤTHを下回る場合（音高ＰAの誤差が歌唱技術の不足に起因する場合）には音響信号ＸAの音高ＰAを補正し、時間変化率ＤPが閾値ＤTHを下回る場合（すなわち音高ＰAの誤差が意図的な歌唱表現に起因する場合）には音高ＰAの補正を停止する。

（６）前述の各形態では、音響信号ＸAの補正後の音響信号ＸBを伴奏音の音響信号Ｙに混合したが、伴奏音の再生（再生処理部３２，音響生成部３４，音響混合部３８）は省略され得る。すなわち、音高補正部３６による補正後の音響信号ＸBを放音装置１４に供給して再生することも可能である。

（７）携帯電話機やパーソナルコンピュータ等の端末装置と通信するサーバ装置（典型的にはウェブサーバ）で音高補正装置１００を実現することも可能である。例えば、音高補正装置１００は、端末装置から受信した音響信号ＸAから音響信号ＸBや音響信号Ｚを生成して端末装置に送信する。なお、音響信号ＸAの音高ＰAを端末装置から受信する構成（例えば端末装置が音高検出部４２を具備する構成）では音高補正装置１００から音高検出部４２が省略され、音高ＰAの時間変化率ＤPを端末装置から受信する構成（例えば端末装置が変化率算定部４６を具備する構成）では音高補正装置１００から変化率算定部４６が省略される。

以上に例示した各要素の変形や省略を総合的に考慮すると、前述の各形態に係る音高補正装置１００は、図７に例示される通り、音響信号ＸAの音高ＰAを目標音高ＰREFに応じて補正することで音響信号ＸBを生成する音高補正部３６を具備する装置として包括的に表現される。音高補正部３６は、補正範囲Ｑの内側に音響信号ＸAの音高ＰAがある場合と補正範囲Ｑの外側に音高ＰAがある場合とで音高の補正動作を切替える要素として包括的に表現される。補正動作の切替は、音高ＰAの補正量の増加／減少を切替える第１実施形態の構成と、音高ＰAの補正の実行／停止を切替える第２実施形態の構成との双方を包含する。

１００……音高補正装置、１２……収音装置、１４……放音装置、２２……演算処理装置、２４……記憶装置、３２……再生処理部、３４……音響生成部、３６……音高補正部、３８……音響混合部、４２……音高検出部、４４……平滑処理部、４６……変化率算定部、５２……補正値設定部、５４……補正処理部、６２……状態制御部、６４……設定処理部。

Claims (5)

1. 音響信号の音高を目標音高に応じて補正する要素であって、前記目標音高を含む許容範囲外に位置する補正範囲の内側に前記音響信号の音高がある場合に音高の補正量が増加し、前記音響信号の音高が前記補正範囲の外側にある場合に音高の補正量が減少するように、前記音響信号の音高を補正する音高補正部
   を具備する音高補正装置。
2. 音響信号の音高を目標音高に応じて補正する要素であって、前記目標音高を含む許容範囲外に位置する補正範囲の内側に前記音響信号の音高がある場合に音高の補正を実行し、前記音響信号の音高が前記補正範囲の外側にある場合に音高の補正を停止する音高補正部
   を具備する音高補正装置。
3. 前記補正範囲は、前記許容範囲の低音側に位置する低音側補正範囲と、前記許容範囲の高音側に位置する高音側補正範囲とを含む
   請求項１または請求項２の音高補正装置。
4. 前記音高補正部は、前記音響信号の音高の時間変換率の絶対値が閾値を下回るときには、前記音響信号の音高が前記補正範囲の内側にある場合に音高の補正量が増加し、前記音響信号の音高が前記補正範囲の外側にある場合に音高の補正量を減少させる一方、前記時間変化率の絶対値が前記閾値を上回るときには、前記音響信号の音高が前記補正範囲の内側にあるか否かに関わらず音高の補正量を減少させる
   請求項１の音高補正装置。
5. 前記補正値設定部は、前記音響信号の音量、前記音響信号の音高、前記音響信号の音高と前記目標音高との関係の評価値、前記音響信号のビブラートの深度の少なくともひとつに応じて前記補正範囲を制御する
   請求項１から請求項４の何れかの音高補正装置。
   

Images