JP2021051249A - 発音制御方法および発音制御装置 - Google Patents

Abstract

【課題】利用者の指等の物体が鍵等の面に接触する前に発音を開始させる。【解決手段】発音制御装置２０は、物体が面に向けて移動している過程において特定の状態にあること、および、物体の移動により当該物体が面を打撃したことを検出する検出部２１３と、特定の状態が検出された時点において第１音を発音させ、前記打撃が検出された時点において第２音を発音させる発音制御部２１４とを具備する。【選択図】図２

Description

本開示は、発音を制御する技術に関する。

例えばキーボード等の操作子に対する操作により歌唱音声を合成する技術が従来から提案されている。例えば、特許文献１には、利用者が所望の音高に対応する鍵を押下すると、当該音高について設定された歌詞が発音される。具体的には、利用者の指が鍵に接触したことを検出すると子音を発音させ、当該鍵が押し切られたことを検出すると当該子音に後続する母音が発音される。

特開２０１４−９８８０１号公報

特許文献１の技術においては、利用者による接触を契機として発音が開始される。しかし、例えば、発音の内容によっては指が鍵に接触する前に発音を開始させたい場合もある。以上の事情を考慮して、利用者の指等の物体が鍵等の面に接触する前に発音を開始させることを目的とする。

以上の課題を解決するために、本開示のひとつの態様に係る発音制御方法は、物体が面に向けて移動している過程において特定の状態にあることを検出し、前記特定の状態が検出された時点において第１音を発音させ、前記物体の移動により当該物体が前記面を打撃したことを検出し、前記打撃が検出された時点において第２音を発音させる。

本開示のひとつの態様に係る発音制御装置は、物体が面に向けて移動している過程において特定の状態にあること、および、前記物体の移動により当該物体が前記面を打撃したことを検出する検出部と、前記特定の状態が検出された時点において第１音を発音させ、前記打撃が検出された時点において第２音を発音させる発音制御部とを具備する。

本開示の第１実施形態に係る発音制御システムの構成を例示する構成図である。 発音制御装置の機能的な構成を例示するブロック図である。 手と打撃面との間の距離と、時間との関係を示すグラフである。 制御装置が実行する処理のフローチャートである。 手の移動速度と特定音韻の種類との関係を表す模式図である。 手の形状と音韻との関係とを表す表である。 変形例に係る検出部の構成を例示するブロック図である。

＜実施形態＞
図１は、本開示の実施形態に係る発音制御システム１００の構成を例示するブロック図である。発音制御システム１００は、特定の歌唱者が楽曲を歌唱した仮想的な音声を合成する。合成される音声を構成する各音韻は、利用者から指示された時点で発音される。

発音制御システム１００は、操作ユニット１０と発音制御装置２０とを具備する。利用者は、操作ユニット１０を自身の手Ｈで打撃することで各音韻の発音を開始する時点（以下「発音開始点」という）を発音制御装置２０に対して指示する。発音制御装置２０は、利用者からの指示に応じて各音韻を発音させることで音声を合成する。

操作ユニット１０は、操作受付部１１と第１センサ１３と第２センサ１５とを具備する。操作受付部１１は、利用者の手Ｈで打撃される面（以下「打撃面」という）Ｆを含む。手Ｈは打撃面Ｆを打撃する「物体」の例示である。具体的には、操作受付部１１は、筐体１１２と光透過部１１４とを具備する。筐体１１２は、例えば上方が開口した中空の構造体である。光透過部１１４は、第１センサ１３が検出可能な波長域の光を透過する部材で形成された平板状の部材である。筐体１１２の開口を塞ぐように光透過部１１４が設置される。光透過部１１４のうち筐体１１２の内部空間とは反対側の面が打撃面Ｆに相当する。利用者は、各音韻の発音開始点を指示するために、手Ｈで打撃面Ｆを打撃する。具体的には、利用者は、打撃面Ｆの上方から当該打撃面Ｆに向けて手Ｈを移動させることで、当該打撃面Ｆを打撃する。手Ｈが打撃面Ｆを打撃した時点に応じて音韻が発音される。

第１センサ１３および第２センサ１５は、筐体１１２の内部に収容される。第１センサ１３は、利用者の手Ｈの状態を検出するためのセンサである。例えば、被写体と撮像面との距離を画素毎に測定する距離画像センサが第１センサ１３として利用される。例えば、打撃面Ｆに向かって移動する手Ｈが第１センサ１３により撮像される。第１センサ１３は、例えば筐体１１２の底面の中心部分に設置され、打撃面Ｆに向かって移動する手Ｈを掌側から撮像する。具体的には、第１センサ１３は、特定の波長域の光を検知可能であり、打撃面Ｆの上方に位置する手Ｈから光透過部１１４を介して到来する光を受光することで手Ｈの画像を表すデータ（以下「画像データ」という）Ｄ1を生成する。なお、光透過部１１４は、第１センサ１３が検知可能な光を透過する部材で形成される。画像データＤ1は、発音制御装置２０に送信される。第１センサ１３と発音制御装置２０とは、無線または有線により通信可能である。なお、画像データＤ1は所定の期間毎に反復的に生成される。

第２センサ１５は、打撃面Ｆに対する手Ｈの打撃を検出するためのセンサである。例えば周囲の音を収音し、当該収音した音を表す音信号Ｄ2を生成する収音装置が第２センサ１５として利用される。具体的には、第２センサ１５は、利用者の手Ｈが打撃面Ｆを打撃したときに発生する打撃音を収音する。音信号Ｄ2は、発音制御装置２０に送信される。第２センサ１５と発音制御装置２０とは、無線または有線により通信可能である。

図２は、発音制御装置２０の構成を例示するブロック図である。発音制御装置２０は、利用者による打撃面Ｆを打撃する動作に応じて音声を合成する。具体的には、発音制御装置２０は、制御装置２１と記憶装置２３と放音装置２５とを具備する。

制御装置２１は、例えば発音制御装置２０の各要素を制御する単数または複数のプロセッサである。例えば、制御装置２１は、ＣＰＵ（Central Processing Unit）、ＳＰＵ（Sound Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、またはＡＳＩＣ（Application Specific Integrated Circuit）等の１種類以上のプロセッサにより構成される。具体的には、制御装置２１は、記憶装置２３に記憶されたプログラムを実行することで、歌唱者が楽曲を歌唱した音声を表す信号（以下「合成信号」という）Ｖを生成するための複数の機能（音韻特定部２１２、検出部２１３および発音制御部２１４）を実現する。

記憶装置２３は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体で構成された単数または複数のメモリである。記憶装置２３は、制御装置２１が実行するプログラムと制御装置２１が使用する各種のデータとを記憶する。なお、記憶装置２３は、複数種の記録媒体の組合せにより構成されてもよい。また、記憶装置２３は、発音制御装置２０に対して着脱可能な可搬型の記録媒体、または、発音制御装置２０が通信網を介して通信可能な外部記録媒体（例えばオンラインストレージ）としてもよい。具体的には、記憶装置２３は、発音制御装置２０が合成すべき音を表すデータ（以下「合成データ」という）Ｓを記憶する。

合成データＳは、楽曲の内容を指定するデータである。具体的には、合成データＳは、楽曲を構成する複数の音符の各々について、音高Ｓxと音韻Ｓyとを指定するデータである。音高Ｓxは、複数の音高のうちの何れか（例えばノートナンバ）である。音韻Ｓyは、音符の発音とともに発声すべき発音内容である。具体的には、音韻Ｓyは、楽曲の歌詞を構成する１個の音節（発音単位）に相当する。例えば、日本語における典型的な音韻Ｓyは、子音とその直後の母音との組合せ、または、母音単体である。合成データＳを利用した音声合成により合成信号Ｖが生成される。利用者による打撃面Ｆを打撃する動作に応じて各音符の発音開始点が制御される。楽曲を構成する複数の音符の順番は、合成データＳで指定されるが、各音符の発音開始点は合成データＳでは指定されない。

音韻特定部２１２は、合成データＳが各音符について指定する音韻Ｓyが、子音と母音とから構成される音韻（以下「特定音韻」という）であるか否かを判定する。具体的には、音韻特定部２１２は、子音と当該子音に後続する母音とで構成される音韻Ｓyについては特定音韻であると判定し、母音単体で構成される音韻Ｓyについては特定音韻以外の音韻であると判定する。

利用者は、打撃面Ｆを順次に打撃することで楽曲のリズムをとる。具体的には、楽曲内の各音符の発音が開始されるべき各時点で利用者は打撃面Ｆを打撃する。一方、子音に後続する母音の発音開始点が、特定音韻全体としての発音開始点として聴覚的には認識される。したがって、利用者が打撃面Ｆを打撃した時点（以下「打撃時点」という）において特定音韻の子音の発音が開始され、当該子音に後続して母音が発音される構成では、利用者が認識する音符の開始点から遅延した時点で当該音符の特定音韻の発音が開始されたように知覚される。そこで、本実施形態では、特定音韻については打撃時点よりも前に発音を開始する。したがって、特定音韻が遅延して聴こえることを低減できる。

図３は、手Ｈと打撃面Ｆとの間の距離Ｐと、時間との関係を示すグラフである。図３に例示される通り、手Ｈを打撃面Ｆに向けて移動すると、手Ｈと打撃面Ｆとの間の距離Ｐは経時的に小さくなる。距離Ｐは、打撃面Ｆからの手Ｈの高さであるとも換言できる。そして、手Ｈが打撃面Ｆを打撃すると距離Ｐは０になる。利用者の手Ｈが打撃面Ｆに向けて移動している過程において特定の状態（以下「特定状態」という）になることが想定される。本実施形態において、特定状態とは、距離Ｐが減少していく過程において特定の距離（以下「特定距離」）Ｐzになることである。すなわち、特定状態とは、打撃面Ｆに接触する前における手Ｈの状態である。なお、距離Ｐは、例えば打撃面Ｆにおける基準点（例えば中心点）と手Ｈとの間の距離でもよい。

図３には、手Ｈが特定状態になった時点（以下「到達時点」という）ｔ1と、打撃時点ｔ2とが図示されている。到達時点ｔ1（すなわち距離Ｐが特定距離Ｐzになる時点）に特定音韻の子音が発音され、打撃時点ｔ2（すなわち距離Ｐが０になる時点）に特定音韻の母音が発音される。すなわち、手Ｈが特定距離Ｐzに到達する位置まで移動すると子音の発音が開始され、手Ｈが特定距離Ｐzにある位置からさらに移動して打撃面Ｆを打撃すると当該子音に後続する母音の発音が開始される。

図２の検出部２１３は、第１検出部３１と第２検出部３２とを具備する。第１検出部３１は、手Ｈが特定状態にあることを検出する。まず、第１検出部３１は、画像データＤ1を利用して距離Ｐを特定する。例えば、第１検出部３１は、輪郭抽出等の画像認識により画像データＤ1から手Ｈの領域を推定し、当該領域内の画素について第１センサ１３が測定した距離から手Ｈの距離Ｐを特定する。なお、距離Ｐの特定には公知の任意の技術が採用される。次に、第１検出部３１は、距離Ｐと第１閾値とを比較することで、当該距離Ｐが特定距離Ｐzに到達したか否かを判定する。第１閾値は、例えば特定距離Ｐzに応じて設定される。距離Ｐが第１閾値を上回る場合には、距離Ｐが特定距離Ｐzに到達していないと判断される。他方、距離Ｐが第１閾値を下回る場合に距離Ｐが特定距離Ｐzに到達したと判断される。なお、手Ｈが特定状態になる到達時点ｔ1と、当該特定状態が検出される時点との間には、実際には僅かな時間差が不可避的に発生するが、以下の説明においては、到達時点ｔ1と特定状態が検出される時点とを実質的に同一の時点として同視する。

第２検出部３２は、手Ｈの移動により当該手Ｈが打撃面Ｆを打撃したことを検出する。具体的には、第２検出部３２は、音信号Ｄ2を解析することで手Ｈが打撃面Ｆを打撃したことを検出する。まず、第２検出部３２は、音信号Ｄ2を解析することで、当該音信号Ｄ2が表す音の音量（以下「収音レベル」という）を特定する。なお、音信号Ｄ2の解析には公知の任意の音解析技術が採用される。次に、第２検出部３２は、収音レベルと第２閾値とを比較することで、手Ｈが打撃面Ｆを打撃したか否かを判定する。例えば手Ｈが打撃面Ｆを打撃すると打撃音が発生する。第２閾値は、例えば手Ｈが打撃面Ｆを打撃したときの打撃音を想定して設定される。収音レベルが第２閾値を下回る場合には、音信号Ｄ2に打撃音が含まれていないと判定される。すなわち、打撃面Ｆを打撃していないと判定される。他方、収音レベルが第２閾値を上回る場合には、音信号Ｄ2に打撃音が含まれていると判定される。すなわち、手Ｈが打撃面Ｆを打撃したと判定される。なお、手Ｈが打撃面Ｆを打撃する打撃時点ｔ2と、当該打撃が検出される時点との間には、実際には僅かな時間差が不可避的に発生するが、以下の説明においては、打撃時点ｔ2と打撃が検出される時点とを実質的に同一の時点として同視する。

発音制御部２１４は、合成データＳにより指定される音を表す合成信号Ｖを生成する。合成信号Ｖは、合成データＳが各音符について指定する音高Ｓxで当該音符について指定する音韻Ｓyを発音した音声を表す信号である。音声合成には公知の技術が任意に採用される。例えば、複数の音声素片の接続により合成信号Ｖを生成する素片接続型の音声合成、HMM（Hidden MarkovModel）またはニューラルネットワーク等の統計モデルを利用して合成信号Ｖを生成する統計モデル型の音声合成が、合成信号Ｖの生成に利用される。合成データＳにより指定される各音韻Ｓyの発音開始点は、第１検出部３１および第２検出部３２による検出の結果に応じて制御される。

合成データＳにより指定される音韻Ｓyが、音韻特定部２１２により特定音韻以外の音韻であると特定された場合には、発音制御部２１４は、打撃面Ｆに対する打撃を契機として当該音韻を発音させる。具体的には、発音制御部２１４は、第２検出部３２が打撃を検出した時点に当該音韻を発音させる。すなわち、音韻全体の発音開始点が打撃時点ｔ2に設定された合成信号Ｖが生成される。他方、合成データＳにより指定される音韻Ｓyが、音韻特定部２１２により特定音韻であると特定された場合には、発音制御部２１４は、打撃面Ｆを打撃する前に当該特定音韻を発音させる。具体的には、発音制御部２１４は、第１検出部３１が特定状態を検出した時点に特定音韻の子音を発音させ、第２検出部３２が打撃を検出した時点に当該特定音韻の母音を発音させる。すなわち、特定音韻の子音の発音開始点が到達時点ｔ1に設定され、当該子音に後続する母音の発音開始点が打撃時点ｔ2に設定された合成信号Ｖが生成される。合成信号Ｖは放音装置２５に供給される。

放音装置２５（例えばスピーカ）は、合成信号Ｖが表す音を放音する再生機器である。したがって、楽曲について音韻Ｓyの発音開始点が制御された音声が放音される。すなわち、楽曲の特定音韻全体が遅延して聴こえることを低減できる。

図４は、制御装置２１の処理のフローチャートである。利用者は、楽曲における各音符の発音を開始したい時点において打撃面Ｆを打撃する。すなわち、音符毎に打撃面Ｆが手Ｈで打撃される。図４の処理は、合成データＳの音符毎に実行される。以下の説明では、楽曲の複数の音符のうち図４の処理の対象となる音符を「対象音符」と表記する。なお、図４の処理に並行して、第１検出部３１による距離Ｐを特定する処理と、第２検出部３２による収音レベルを特定する処理とが実行される。なお、距離Ｐを特定する処理と、収音レベルを特定する処理とは、図４の処理が実行される周期よりも短い周期で繰り返し実行される。

図４の処理が開始すると、音韻特定部２１２は、合成データＳにおける対象音符の音韻Ｓyが特定音韻であるか否かを判定する（Ｓa1）。対象音符の音韻Ｓyが特定音韻であると判定された場合（Ｓa1：YES）、第１検出部３１は、手Ｈが打撃面Ｆに向けて移動する過程において特定状態にあるか否かを判定する（Ｓa2）。すなわち、距離Ｐが減少していく過程において当該距離Ｐが特定距離Ｐzにあるか否かが判定される。具体的には、第１検出部３１は、距離Ｐが減少中であるか否かを判定する。距離Ｐが減少中である場合、第１検出部３１は、距離Ｐと第１閾値とを比較することで、手Ｈが特定状態にあるか否かを判定する。なお、距離Ｐが増加中である場合、手Ｈが特定状態にあるか否かは判定されない。

手Ｈが特定状態にあると判定された場合（Ｓa2：YES）、発音制御部２１４は、特定音韻の子音を発音させる（Ｓa3）。具体的には、発音制御部２１４は、特定音韻の子音の発音開始点を特定状態が検出された時点に設定した合成信号Ｖを生成し、当該合成信号Ｖを放音装置２５に供給する。すなわち、特定状態が検出された時点（すなわち到達時点ｔ1）に特定音韻の子音が発音される。他方、手Ｈが特定状態にないと判定された場合（Ｓa2：NO）、手Ｈが特定状態になるまでステップＳa2の処理が繰り返し実行される。

手Ｈは特定状態にある位置から打撃面Ｆに向けてさらに移動する。第２検出部３２は、手Ｈが打撃面Ｆを打撃したか否かを判定する（Ｓa4）。具体的には、収音レベルと第２閾値とを比較することで、手Ｈが打撃面Ｆを打撃したか否かが判定される。手Ｈが打撃面Ｆを打撃したと判定された場合（Ｓa4：YES）、発音制御部２１４は、特定音韻の子音に後続する母音を発音させる（Ｓa5）。具体的には、発音制御部２１４は、特定音韻の子音の発音開始点を打撃面Ｆに対する打撃を検出された時点に設定した合成信号Ｖを生成し、当該合成信号Ｖを放音装置２５に供給する。すなわち、打撃面Ｆに対する打撃が検出された時点（すなわち打撃時点ｔ2）に特定音韻の母音が発音される。他方、手Ｈが打撃面Ｆに到達していないと判定された場合（Ｓa4：NO）、手Ｈが打撃面Ｆまで移動して当該打撃面Ｆを打撃するまでステップＳa4の処理が繰り返し実行される。特定音韻については、以上の処理により、手Ｈが打撃面Ｆを打撃するよりも前に当該特定音韻の発音が開始される。

他方、対象音符の音韻Ｓyが特定音韻以外の音韻（典型的には母音単体の音韻）であると判定された場合（Ｓa1：NO）、ステップＳa2およびステップＳa3の処理は省略して、ステップＳa4の処理が実行される。すなわち、特定音韻以外の音韻については、打撃時点ｔ2に当該音韻の発音が開始される。なお、音符の継続長は、一定の時間長であってもよいし、合成データＳにより音符毎に指定された時間長であってもよい。

以上の説明から理解される通り、本実施形態では、手Ｈが特定状態であることが検出された時点において特定音韻の子音が発音され、打撃面Ｆに対する打撃が検出された時点において当該特定音韻の母音が発音される。したがって、手Ｈが打撃面Ｆを打撃する前に特定音韻の子音を発音できる。すなわち、特定音韻が遅延していると知覚されることを低減できる。また、打撃面Ｆに対する手Ｈの打撃を検出することで、特定音韻の母音が発音されるから、特定音韻を発音するための操作感を維持したまま、母音よりも前に子音を発音できる。

手Ｈと打撃面Ｆとの間の距離Ｐが特定距離Ｐzにあることが特定状態として検出される。すなわち、手Ｈが打撃面Ｆにいたるまでの途中の状態が特定状態として検出される。したがって、特定音韻の子音を発音させるための操作を利用者が意識することなく当該子音を発音することができる。また、音信号Ｄ2を解析することで打撃面Ｆに対する手Ｈの打撃が検出されるから、打撃面Ｆに対する打撃により打撃音が発生した場合に特定音韻の母音を発音させることができる。

＜変形例＞
以上に例示した態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。

（１）特定状態の検出により発音される音は「第１音」に相当し、打撃面Ｆに対する打撃の検出により発音される音は「第２音」に相当する。前述の形態では、特定音韻の子音が「第１音」の例示であり、特定音韻の母音が「第２音」の例示である。すなわち、発音制御部２１４は、特定状態が検出された時点において第１音を発音させ、打撃面Ｆに対する打撃が検出された時点において第２音を発音させる要素として包括的に表現される。

なお、第１音は特定音韻の子音には限定されず、第２音は特定音韻の母音には限定されない。例えば、発音の準備動作に関する音（以下「準備音」という）を第１音として、当該準備動作に後続する音（以下「目的音」という）を第２音としてもよい。目的音は、音符により規定され、歌唱または演奏の目的となる音である。他方、準備音は、当該目的音を発音するための準備動作に起因して発音される音である。歌唱音を合成する場合には、例えばブレス音が準備音として例示され、当該ブレス音の後に歌唱される音声が目的音として例示される。また、楽器の演奏音を合成する場合には、例えば管楽器の演奏時に発生する気息音、弦楽器のフレット音、または、打楽器を演奏する際のスティックの風切り音等が準備音として例示され、当該準備音に後続する楽器の演奏音が目的音として例示される。すなわち、発音制御装置２０で合成される音声は、楽曲を歌唱した音声に限定されない。特定状態が検出された時点に準備音が発音され、打撃面Ｆに対する打撃が検出された時点に目的音が発音される構成によれば、本来の目的となる目的音の前に当該目的音を発音させるための準備音を発音させることができる。なお、音韻全体を第１音とし、当該音韻に後続する他の音韻全体を第２音としてもよい。

また、言語音の発音に着目すると、第１音および第２音の各々の典型例は音素（例えば母音または子音）である。実施形態においては、第１音の一例である第１音素が子音であり、第２音の一例である第２音素が母音である構成を例示したが、第１音素および第２音素の各々が母音であるか子音であるかは不問である。例えば、音声合成における楽曲の歌詞の言語によっては、子音および当該子音に後続する子音とで構成される音韻、または、母音と当該母音に後続する母音とで構成される音韻等も想定される。音韻における先頭の音素が第１音素として例示され、当該先頭の音素に後続する音素が第２音素として例示される。

（２）前述の形態では、距離を測定可能な距離画像センサを第１センサ１３として例示したが、距離を測定する機能は第１センサ１３において必須ではない。例えば、第１センサ１３として画像センサを利用してもよい。第１検出部３１は、画像センサが撮像した画像を解析することで手Ｈの移動量を算定し、当該移動量から距離Ｐを推定してもよい。また、手Ｈの画像を撮像する機能も第１センサ１３において必須ではない。例えば、赤外光を出射する赤外線センサを第１センサ１３として利用してもよい。赤外線センサを第１センサ１３として利用する構成において、第１センサ１３は、手Ｈで反射した赤外光を受光した受光強度から、手Ｈと第１センサ１３との間の距離を特定する。そして、第１検出部３１は、手Ｈと第１センサ１３と間の距離が所定の閾値を下回る場合に手Ｈが特定状態にあると判定し、当該距離が閾値を上回る場合に手Ｈが特定状態にないと判定する。すなわち、手Ｈが特定状態にあるか否かを判定する処理において、距離Ｐを算出することは必須ではない。手Ｈと第１センサ１３との間の距離は、手Ｈと打撃面Ｆとの間の距離Ｐと、打撃面Ｆと第１センサ１３との間の距離とを加算した値に相当する。手Ｈと打撃面Ｆとの間の距離Ｐが特定距離Ｐzにある場合に、手Ｈと第１センサ１３との間の距離が特定の距離になるから、以上の構成においても距離Ｐが特定距離Ｐzにあることが特定状態であるといえる。なお、第１センサ１３に第１検出部３１の機能を搭載してもよい。第１センサ１３は、特定状態を検出した場合に、発音制御部２１４に特定音韻の子音の発音を指示する。

（３）前述の形態では、音信号Ｄ2を解析することで打撃面Ｆに対する打撃を検出したが、打撃を検出する方法は以上の例示に限定されない。例えば、第１センサ１３が生成する画像データＤ1を解析することで手Ｈが打撃面Ｆを打撃したことを検出してもよい。例えば、第２検出部３２は、手Ｈが打撃面Ｆに接触したと画像データＤ1から推定された場合には、当該手Ｈが打撃面Ｆを打撃したと判定する。

手Ｈが打撃面Ｆを打撃したときの振動を検知する振動センサを第２センサ１５として利用してもよい。第２センサ１５は、例えば振動の大きさに応じた信号を生成する。第２検出部３２は当該信号に応じて打撃を検出する。また、手Ｈが打撃面Ｆに接触したときに打撃面Ｆに付与される圧力を検知する圧力センサを第２センサ１５として利用してもよい。第２センサ１５は、例えば打撃面Ｆに付与される圧力の大きさに応じた信号を生成する。第２検出部３２は当該信号に応じて打撃を検出する。なお、第２センサ１５に第２検出部３２の機能を搭載してもよい。第２センサ１５は、打撃面Ｆに対する打撃を検出したら、発音制御部２１４に特定音韻の母音の発音を指示する。

（４）前述の形態では、筐体１１２の内部空間に第１センサ１３および第２センサ１５を収容したが、第１センサ１３および第２センサ１５を設置する位置は任意である。例えば、筐体１１２部の外部に第１センサ１３および第２センサ１５を設置してもよい。なお、第１センサ１３を筐体１１２の外部に設置する構成では、操作受付部１１において筐体１１２の上面を光透過性の部材で形成することは必須ではない。

（５）前述の形態では、手Ｈで打撃面Ｆを打撃したが、打撃面Ｆを打撃する物体は手Ｈに限定されない。打撃面Ｆを打撃することが可能であれば、物体の種類は任意である。例えばスティック等の打撃部材を物体としてもよい。利用者は、スティックを打撃面Ｆに向けて移動させて当該打撃面Ｆを打撃する。以上の説明から理解される通り、物体には、利用者の身体の一部（典型的には手Ｈ）と、利用者により操作される打撃部材との双方が包含される。なお、スティック等の打撃部材を物体とする構成においては、当該部材に第１センサ１３または第２センサ１５を搭載してもよい。

（６）前述の形態では、手Ｈと打撃面Ｆとの間の距離Ｐが特定距離Ｐzにあることを特定状態として例示したが、特定状態は以上の例示に限定されない。打撃面Ｆに向けて移動している過程における手Ｈの状態であれば、特定状態は任意である。例えば、手Ｈの移動方向が変化したことを特定状態としてもよい。具体的には、例えば打撃面Ｆから離れる方向から近づく方向に手Ｈの移動方向が変化すること、または、打撃面Ｆに対して水平な方向から垂直な方向に手Ｈの移動方向が変化することが特定状態として例示される。また、手Ｈの形状が変化（例えばグーからパーに変化）したことを特定状態としてもよい。

（７）特定音韻の子音の継続長は、当該子音の種類に応じて異なる。例えば、特定音韻「ｓａ（さ）」における子音「ｓ」の発音に要する時間長は２５０ｍｓ程度であり、特定音韻「ｋａ（か）」における子音「ｋ」の発音に要する時間長は３０ｍｓ程度である。すなわち、特定音韻の子音の種類に応じて妥当な特定距離Ｐzは相違する。そこで、第１閾値を特定音韻の子音の種類に応じて可変に設定する構成も採用される。具体的には、音韻Ｓyが特定音韻であると判定された場合に、第１検出部３１は、音韻特定部２１２の子音の種類に応じて第１閾値を設定する。そして、第１検出部３１は、設定後の第１閾値と距離Ｐとを比較することで、手Ｈが特定状態にあるか否かを判定する。

（８）前述の形態では、筐体１１２と光透過部１１４とで操作受付部１１を構成したが、操作受付部１１は以上の例示に限定されない。例えば、第１センサ１３および第２センサ１５を操作受付部１１の外部に設置する構成では、平板状の部材を操作受付部１１としてもよい。また、鍵盤型の操作子を操作受付部１１としてもよい。鍵盤型の操作子を操作受付部１１とする構成では、合成データＳの各音符について音高Ｓxを指定しなくてもよい。利用者は、操作受付部１１に対する操作で、各音符の発音開始点を指示するとともに、当該音符の音高を指示する。すなわち、利用者からの指示に応じて各音符の音高を設定してもよい。なお、操作受付部１１の形状に関わらず、当該操作受付部１１において利用者が打撃の際に接触する面が打撃面Ｆに相当する。

（９）前述の形態において、利用者が手Ｈで打撃面Ｆを打撃する際に、利用者の手Ｈの状態を検出し、検出結果に応じて発音を制御してもよい。例えば、検出結果に応じて音符の条件（例えば音高、音韻または継続長）が設定される。すなわち、合成データＳの各音符について音高Ｓxおよび音韻Ｓyを設定することは必須ではない。利用者の手Ｈの状態は、例えば、手Ｈの移動速度、手Ｈの移動方向または手Ｈの形状等である。検出される手Ｈの状態と音符の条件との組合せは任意である。利用者は、手Ｈを打撃面Ｆに打撃する動作において、手Ｈの状態を変化させることで音符の条件を指示することが可能である。以下、利用者の手Ｈの状態に応じて発音を制御する具体的な構成を例示する。

Ａ．手Ｈの移動速度
例えば、手Ｈの移動速度に応じて音韻の種類（すなわち発音内容）を設定してもよい。具体的には、第１検出部３１は、画像データＤ1から手Ｈの移動速度を検出する。画像データＤ1から特定された距離Ｐの時間変化から移動速度が検出される。なお、第１検出部３１は、例えば、速度を検知する速度センサからの出力を利用して手Ｈの移動速度を検出してもよい。そして、音韻特定部２１２は、移動速度に応じて特定音韻の種類を設定する。音韻特定部２１２は、手Ｈが特定状態になる前に特定音韻の種類を設定する。図５は、手Ｈの移動速度と特定音韻の種類との関係を表す模式図である。図５には、手Ｈ1の移動速度が速い場合に設定される特定音韻と、手Ｈ2の移動速度が遅い場合に設定される特定音韻とが図示されている。例えば、手Ｈ1の移動速度が速い場合には、継続長が短い子音（例えば[t]）を含む特定音韻（例えば「た」）に設定され、手Ｈ2の移動速度が遅い場合には、継続長が長い子音（例えば[s]）を含む特定音韻（例えば「さ」）に設定される。移動速度に関わらず、距離Ｐが特定距離Ｐzになる到達時点ｔ1に子音の発音が開始され、打撃時点ｔ2に母音の発音が開始される。手Ｈ1の移動速度が速い場合には、手Ｈ2の移動速度が遅い場合と比較して、到達時点ｔ1から打撃時点ｔ2にいたるまでの時間長が短いから、子音の継続長が短い特定音韻が設定される。また、手Ｈの移動速度に応じて音符の継続長または音高を設定してもよい。なお、以上の例示にでは特定音韻の種類を設定する場合を例示したが、特定音韻以外の音韻の種類を移動速度に応じて制御してもよい。

Ｂ．手Ｈの移動方向
例えば、手Ｈの移動方向に応じて音韻の種類を設定してもよい。利用者は、所望する音韻に応じて相異なる方向から手Ｈを移動させて打撃面Ｆを打撃する。利用者は、打撃面Ｆに対して多様な方向から手Ｈを移動させて打撃面Ｆを打撃することが可能である。例えば、利用者からみて右方向または左方向から手Ｈを移動させて打撃面Ｆを打撃する場合、または、利用者から離れる方向または近づく方向に手Ｈを移動させて打撃面Ｆを打撃する場合等が想定される。具体的には、第１検出部３１は、画像データＤ1から手Ｈの移動方向を検出し、音韻特定部２１２は、当該移動方向に応じて音韻の種類を設定する。音韻特定部２１２は、手Ｈが特定状態になる前に音韻の種類を設定する。なお、手Ｈの移動方向に応じて音符の継続長または音高を設定してもよい。

Ｃ．手Ｈの形状
例えば、手Ｈの形状に応じて音韻の種類を設定してもよい。利用者は、例えば指を動かすことで手Ｈを任意の形状にした状態で、打撃面Ｆを打撃する。例えば、グー、チョキまたはパーの形状になるように手Ｈを動かす。図６は、手Ｈの形状と音韻との関係とを表す表である。図６に例示される通り、手Ｈの形状に加えて、手Ｈが右手および左手の何れあるかを加味して音韻の種類を設定してもよい。手Ｈの状態には、利用者の手Ｈが右手および左手の何れであるかも含まれる。第１検出部３１は、手Ｈが右手および左手の何れであるかと、手Ｈの形状とを画像データＤ1から検出する。手Ｈが右手および左手の何れであるかと、手Ｈの形状との検出には、公知の画像解析技術が任意に採用される。なお、音韻特定部２１２は、手Ｈが特定状態になる前に音韻の種類を設定する。音韻特定部２１２は、右手／左手および手Ｈの形状に応じて、音韻を特定する。図６に例示される通り、例えば左手によりグーの形状をした状態で打撃面Ｆを打撃すると、音韻「ｔａ」が発音される。なお、手Ｈの形状に応じて音符の継続長または音高を設定してもよい。

以上の説明から理解される通り、手Ｈの移動速度、手Ｈの移動方向、および、手Ｈの形状の少なくとも１つが検出され、検出の内容に応じて音韻の発音が制御される。特定音韻の発音を制御する場合には、子音（第１音の例示）および母音（第２音の例示）の少なくとも一方における発音が制御されればよい。以上の構成によれば、物体の移動速度、移動方向および形状を利用者が変更することで、第１音および第２音の発音を制御することができる。なお、手Ｈの状態は、手Ｈの移動速度、手Ｈの移動方向、および、手Ｈの形状には限定されない。例えば、手Ｈの移動角度（打撃面Ｆに対して手Ｈが移動する角度）を手Ｈの状態としてもよい。

（１０）手Ｈが特定距離Ｐzに到達してから打撃面Ｆを打撃するまでの時間長は、手Ｈの移動速度が遅いと長くなり、手Ｈの移動速度が速いと短くなる。したがって、第１閾値が手Ｈの移動速度にかかわらず一定（固定値）である構成では、手Ｈの移動速度に応じて特定音韻の子音の継続長が変化するという問題ある。具体的には、手Ｈの移動速度が遅いと子音の継続長が長くなり、手Ｈの移動速度が速いと子音の継続長が短くなる。そこで、手Ｈの移動速度に応じて第１閾値を変化させてもよい。具体的には、第１検出部３１は、例えば画像データＤ1から手Ｈの移動速度を検出する。なお、手Ｈが特定状態になる前に移動速度が検出される。次に、第１検出部３１は、手Ｈの移動速度に応じて第１閾値を設定する。具体的には、第１検出部３１は、手Ｈの移動速度が速いときは第１閾値を相対的に大きく設定し、手Ｈの移動速度が遅いときは第１閾値を相対的に小さく設定する。そして、第１検出部３１は、設定後の第１閾値と距離Ｐとを比較して、距離Ｐが特定距離Ｐzに到達したか否かを判定する。以上の構成によれば、手Ｈの移動速度に応じて子音の継続長が変化することを低減できる。

また、手Ｈの移動方向に応じて第１閾値を変化させてもよい。具体的には、第１検出部３１は、例えば画像データＤ1から手Ｈの移動方向を検出する。なお、手Ｈが特定状態になる前に移動方向が検出される。次に、第１検出部３１は、手Ｈの移動方向に応じて第１閾値を設定する。例えば、第１検出部３１は、手Ｈの移動方向が第１方向である場合には、第１閾値を第１値に設定し、手Ｈの移動方向が第１方向とは異なる第２方向である場合には、第１閾値を第１値よりも大きい第２値に設定する。そして、第１検出部３１は、設定後の第１閾値と距離Ｐとを比較して、距離Ｐが特定距離Ｐzに到達したか否かを判定する。手Ｈの移動速度が一定である場合には、特定音韻の子音の継続長は、第１閾値に応じて変化する。具体的には、特定音韻の子音の継続長は、第１閾値が大きいほど長くなり、第１閾値が小さいほど短くなる。利用者は、特定音韻の子音の継続長を長くしたい場合には、第２方向から打撃面Ｆを打撃する。他方、利用者は、特定音韻の子音の継続長を短くしたい場合には、第１方向から打撃面Ｆを打撃する。以上の説明から理解される通り、第１閾値を可変に設定してもよい。

（１１）前述の形態において、音韻の発音を終了する時点を利用者による手Ｈの動作に応じて制御してもよい。例えば、打撃面Ｆを打撃した後に手Ｈが当該打撃面Ｆから離れた時点に音韻の発音を終了してもよい。図７は、変形例に係る検出部２１３の構成を例示するブロック図である。検出部２１３は、第１検出部３１および第２検出部３２に加えて第３検出部３３を具備する。第３検出部３３は、打撃面Ｆから手Ｈが離れたことを検出する。例えば、画像データＤ1の解析により打撃面Ｆから手Ｈが離れたことが検出される。なお、第３検出部３３は、打撃面Ｆに付与される圧力を検知する圧力センサからの出力を利用して、打撃面Ｆから手Ｈが離れたことを検出してもよい。発音制御部２１４は、第３検出が打撃面Ｆから手Ｈが離れたことを検出すると、音韻の発音を終了する。

（１２）前述の形態では、利用者の手Ｈで打撃面Ｆを打撃したが、例えば触覚フィードバックを利用した触角技術（ハプティクス）を利用して利用者が仮想的な打撃面Ｆを打撃する構成も採用される。利用者は、表示装置に表示された仮想空間内における擬似的な手を操作可能な操作子を操作することで、当該仮想空間内に用意された打撃面Ｆを打撃する。仮想空間内の打撃面Ｆを打撃したときに振動する振動モーターを操作子に搭載することで、利用者は実際に打撃面Ｆを打撃しているように知覚する。仮想空間内の手が特定状態にある場合には特定音韻の子音が発音され、仮想空間内において打撃面Ｆが打撃された場合に当該特定音韻の母音が発音される。以上の説明から理解される通り、打撃面Ｆは仮想空間内における面でもよい。同様に、手Ｈも仮想空間内における手でもよい。

（１３）以上に例示した発音制御装置２０の機能は、前述の通り、制御装置２１を構成する単数または複数のプロセッサと記憶装置２３に記憶されたプログラムとの協働により実現される。本開示に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、配信装置が通信網を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記憶装置２３が、前述の非一過性の記録媒体に相当する。

＜付記＞
以上に例示した形態から、例えば以下の構成が把握される。

本開示のひとつの態様（態様１）に係る発音制御方法は、物体が面に向けて移動している過程において特定の状態にあることを検出し、前記特定の状態が検出された時点において第１音を発音させ、前記物体の移動により当該物体が前記面を打撃したことを検出し、前記打撃が検出された時点において第２音を発音させる。以上の態様では、物体が面に向けて移動している過程において特定の状態になると第１音が発音され、物体が当該面を打撃すると第２音が発音される。したがって、物体が面に打撃する前に第１音を発音できる。また、面に対する物体の打撃を検出することで、第２音が発音されるから、第２音を発音するための操作感を維持したまま、第２音よりも前に第１音を発音できる。

態様１の一例（態様２）では、前記第１音は、第１音素であり、前記第２音は、前記第１音素とは異なる第２音素である。以上の態様では、物体が特定の状態になると第１音素が発音され、物体が面を打撃すると第１音素に後続して第２音素が発音される。したがって、物体が打撃する前に第１音素を発音させることができる。

態様２の一例（態様３）では、前記第１音素は、子音であり、前記第２音素は、母音である。以上の態様では、物体が特定の状態になると子音が発音され、物体が面を打撃すると子音に後続して母音が発音される。したがって、子音と母音とで構成される音韻の発音が遅延していると知覚されることを低減できる。

態様１の一例（態様４）では、前記第１音は、発音の準備動作に関する音であり、前記第２音は、前記準備動作に後続する音である。以上の態様では、物体が特定の状態になると準備動作に関する音が発音され、物体が面を打撃すると準備動作に後続する音が発音される。したがって、目的とする音の前に当該音を発音させるための準備動作に関する音を発音できる。

態様１から態様４の何れかの一例（態様５）では、前記特定の状態は、前記物体と前記面との間の距離が特定の距離にあることである。以上の態様では、物体と面との間の距離が特定の距離になると第１音が発音される。すなわち、物体が面に向かい移動するまでの途中の状態で第１音が発音される。したがって、第１音を発音させるための操作を利用者が意識することなく当該第１音を発音することができる。

態様１から態様５の何れかの一例（態様６）では、前記物体の打撃の検出においては、収音装置が収音により生成した音信号を解析することで前記打撃を検出する。以上の態様では、収音装置が収音により生成した音信号を解析することで面に対する物体の打撃が検出される。したがって、面に対する打撃により発生する打撃音を第２音の発音に利用することができる。

態様１から態様６の何れかの一例（態様７）では、前記物体の移動速度、前記物体の移動方向、および、前記物体の形状の少なくとも１つを検出し、前記検出の内容に応じて、前記第１音および前記第２音の少なくとも一方における発音を制御する。以上の態様では、物体が移動する速度、物体が移動する方向、および、物体の形状の少なくとも１つに応じて、第１音および第２音の少なくとも一方における発音が制御される。したがって、物体の移動速度、移動方向および形状を利用者が変更することで、第１音および第２音の発音を制御することができる。

本開示のひとつの態様（態様１）に係る発音制御装置は、物体が面に向けて移動している過程において特定の状態にあること、および、前記物体の移動により当該物体が前記面を打撃したことを検出する検出部と、前記特定の状態が検出された時点において第１音を発音させ、前記打撃が検出された時点において第２音を発音させる発音制御部とを具備する。

１００…発音制御システム、１０…操作ユニット、１１…操作受付部、１１２…筐体、１１４…光透過部、１３…第１センサ、１５…第２センサ、２０…発音制御装置、２１…制御装置、２１２…音韻特定部、２１３…検出部、２１４…発音制御部、２３…記憶装置、２５…放音装置、３１…第１検出部、３２…第２検出部、３３…第３検出部、Ｆ…打撃面。

Claims (8)

1. 物体が面に向けて移動している過程において特定の状態にあることを検出し、
   前記特定の状態が検出された時点において第１音を発音させ、
   前記物体の移動により当該物体が前記面を打撃したことを検出し、
   前記打撃が検出された時点において第２音を発音させる
   コンピュータにより実現される発音制御方法。
2. 前記第１音は、第１音素であり、
   前記第２音は、前記第１音素とは異なる第２音素である
   請求項１の発音制御方法。
3. 前記第１音素は、子音であり、
   前記第２音素は、母音である
   請求項２の発音制御方法。
4. 前記第１音は、発音の準備動作に関する音であり、
   前記第２音は、前記準備動作に後続する音である
   請求項１の発音制御方法。
5. 前記特定の状態は、前記物体と前記面との間の距離が特定の距離にあることである
   請求項１から請求項４の何れかの発音制御方法。
6. 前記物体の打撃の検出においては、収音装置が収音により生成した音信号を解析することで前記打撃を検出する
   請求項１から請求項５の何れかの発音制御方法。
7. 前記物体の移動速度、前記物体の移動方向、および、前記物体の形状の少なくとも１つを検出し、
   前記検出の内容に応じて、前記第１音および前記第２音の少なくとも一方における発音を制御する
   請求項１から請求項６の何れかの発音制御方法。
8. 物体が面に向けて移動している過程において特定の状態にあること、および、前記物体の移動により当該物体が前記面を打撃したことを検出する検出部と、
   前記特定の状態が検出された時点において第１音を発音させ、前記打撃が検出された時点において第２音を発音させる発音制御部と
   を具備する発音制御装置。

Images