JP2015132696A

JP2015132696A - 音声認識方法

Info

Publication number: JP2015132696A
Application number: JP2014003696A
Authority: JP
Inventors: 上原　春喜; Haruki Uehara; 春喜上原
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2014-01-10
Filing date: 2014-01-10
Publication date: 2015-07-23
Also published as: WO2015105092A1

Abstract

【課題】自動演奏ピアノに音声による指示を行う場合に指示音声からピアノの演奏音をキャンセルして音声認識の精度を高める方法を提供する。
【解決手段】音声認識方法は、楽器の演奏に対応した演奏音に応じた第一波形信号を生成する過程と、収音手段によって前記楽器による演奏音と、ユーザによって発話された指示音声とを含む音を収音し収音された音から第二波形信号を生成する過程と、前記第二波形信号から前記第一波形信号に基づいて前記楽器による演奏音を除去した第三波形信号を生成する過程と、前記第三波形信号に基づいて音声認識をする過程とを含む。
【選択図】図１

Description

本発明は、自動演奏ピアノ等への指示音声の音声認識方法に関する。

例えば自動演奏ピアノにおいて、曲の演奏の開始や停止などの指示を音声で行う技術が提案されている（特許文献１）。この方法によれば譜面台などに設置されたマイクロホンによって収音したユーザの音声を音声認識装置に入力する。そして、ユーザが音声で指示した内容を音声認識し、自動演奏ピアノへの指示信号に変換することで自動演奏ピアノの動作を制御することができる。

特開２００１−１９５０５８号公報

しかし、この方法では演奏中にユーザが発話すると、マイクロホンはユーザの音声だけではなく自動演奏ピアノによる演奏音も収音してしまう場合がある。その場合、ユーザの指示音声が自動演奏ピアノの音と混在し、音声認識の精度が低下してしまうという問題があった。

本発明は、上述した背景に鑑みてなされたものであり、その目的は、自動演奏ピアノの付近でユーザが音声による指示を自動演奏ピアノに対して行った場合に、指示音声に自動演奏ピアノの演奏音が混在し、結果として音声認識の精度が低下してしまうことを防ぐ仕組みを提供することにある。

上述した問題を解決するため、本発明は、楽器の演奏に対応した演奏音に応じた第一波形信号を生成する過程と、収音手段によって前記楽器による演奏音と、ユーザによって発話された指示音声とを含む音を収音し収音された音から第二波形信号を生成する過程と、前記第二波形信号から前記第一波形信号に基づいて前記楽器による演奏音を除去した第三波形信号を生成する過程と、前記第三波形信号に基づいて音声認識をする過程とを含む音声認識方法を提供する。

本発明によれば、自動演奏ピアノの演奏中において、自動演奏ピアノの付近でユーザが音声による指示を自動演奏ピアノに対して行った場合に、マイクロホンに収音された音から自動演奏ピアノの演奏音を除去し、指示音声を得るようにした。これにより、自動演奏ピアノの演奏音を除去した指示音声を基に音声認識をするようにしたので音声認識の精度が低下することを防止することができる。

本発明の第一の実施形態における音声認識システムの機能ブロック図である。本発明の第一の実施形態における音声認識システムによる音声認識のフローチャートである。

以下、本発明の第一の実施形態おける音声認識方法を図１〜図２を参照して説明する。
図１は第１の実施形態における音声認識システムの機能ブロック図である。
図１の符号１は音声認識システムを示している。図１に示すように本実施形態の音声認識システム１は、自動演奏ピアノ１０と、マイクロホン２０と、音源３０と、フィルタ装置４０とを備えている。

自動演奏ピアノ１０は、ユーザが自動演奏ピアノ１０を用いて行った演奏の内容に応じた演奏情報をＭＩＤＩ（ＭｕｓｉｃＩｎｓｔｒｕｍｅｎｔＤｉｇｉｔａｌＩｎｔｅｒｆａｃｅ）形式のデータで出力する機能を有している。なお、以下の説明では演奏情報の一態様としてＭＩＤＩを例として説明する。また、自動演奏ピアノ１０は外部よりＭＩＤＩ形式のデータを取り込んでそのデータに基づいて鍵盤駆動用のソレノイドを制御し、打弦によりピアノ音を発生する機能（自動演奏機能）を有している。ＭＩＤＩ形式のデータはシーケンスデータであり、以下このＭＩＤＩ形式のシーケンスデータをＭＩＤＩデータという。また、自動演奏ピアノ１０には、操作パネルが取り付けられている。ユーザはこの操作パネルから自動演奏する楽曲の選択や、演奏の開始・停止などの指示を入力することができる。自動演奏ピアノ１０は操作パネルから入力される指示に基づいて自動演奏を行う。また、自動演奏ピアノ１０は、音声認識機能を備えており、操作パネルから指示情報を入力する代わりにユーザが発した音声を認識することで、自動演奏することができる。

自動演奏ピアノ１０は、Ａ／Ｄ変換部１０１と、音声認識部１０２と、コントローラ１０３とを備えている。
Ａ／Ｄ変換部１０１は、例えば自動演奏ピアノ１０の近傍に備えられたマイクロホンによって収音され、フィルタ装置４０を介して入力されるアナログ信号をデジタル信号に変換する。Ａ／Ｄ変換部１０１は、変換したデジタル信号を音声認識部１０２に出力する。
音声認識部１０２は、取得したデジタル信号を解析し、ユーザの音声の内容をコントローラ１０３が解釈可能な音声コマンドやキーワードなどに変換してコントローラ１０３へ出力する。音声コマンドとは例えば「演奏開始」や「演奏停止」などの自動演奏ピアノ１０の操作に関するコマンドである。キーワードとは音声コマンドに対応する単語であり、例えば楽曲名、番号、数字等のパラメータに関する単語である。音声認識部１０２がデジタル信号から音声コマンドなどに変換する方法は、例えば特許文献１に記載の方法を用いることができる。

コントローラ１０３は、自動演奏ピアノ１０に備えられたセンサが検出した信号を取得して、その信号に基づいて演奏情報をＭＩＤＩデータとして音源３０に出力する。例えば、このセンサは、自動演奏ピアノ１０の鍵やハンマやペダルに備え付けられているが、他の箇所に取り付けられて演奏情報を取得してもよい。また、コントローラ１０３は、外部から提供されたＭＩＤＩデータを読み込んで鍵盤やペダルの動作を制御し、ＭＩＤＩデータに応じた自動演奏を行う。自動演奏ピアノ１０の演奏内容に応じた演奏情報をＭＩＤＩデータで出力する方法や、ＭＩＤＩデータを読み込んで鍵盤を駆動し発音させる方法は公知であるので、詳細な説明は省略する。また、コントローラ１０３は、音声認識部１０２から取得した音声コマンドやキーワードに基づいて自動演奏ピアノ１０の制御を行う。例えば「開始」や「停止」等の音声入力によって自動演奏ピアノ１０に演奏の開始や停止を行わせることができる。また、コントローラ１０３は、音声認識部１０２から取得した音声コマンドやキーワードなどを文字情報として表示パネルに表示することができる。例えば音声認識部１０２からキーワード「Ａ曲」を示す情報を取得するとコントローラ１０３は、表示パネルに「Ａ曲」と表示する（音声による文字入力）。続いて音声認識部１０２から音声コマンド「演奏開始」を示す情報を取得するとコントローラ１０３は、表示パネルに「演奏開始」と表示する。そしてコントローラ１０３は、自動演奏ピアノ１０が備える記憶部（図示せず）から「Ａ曲」のＭＩＤＩデータを読み込み、「Ａ曲」の演奏を開始する（音声によるコントロール）。ユーザは、操作パネルに表示された文字情報を見て音声によって行った指示内容の確認を行うことができる。

マイクロホン２０は、自動演奏ピアノ１０の近傍（例えば、譜面台）に備えられる。このマイクロホン２０は、ユーザによって発話された音声を収音する収音手段である。マイクロホン２０は、ユーザによって発話された音声ではない他の音を収音しないように指向性や設置場所が工夫されて備えられていてもよい。しかし、これらの工夫を行っても自動演奏ピアノ１０の演奏中にユーザが指示音声を発した場合、マイクロホン２０は、ユーザの指示音声だけでなく自動演奏ピアノ１０による演奏音を収音してしまう。上述のとおり自動演奏ピアノ１０は、マイクロホン２０が収音したユーザの音声に基づいて操作することが可能である。しかし、マイクロホン２０が収音した音の波形信号をそのままＡ／Ｄ変換部１０１へ出力すると、ユーザの指示音声に混在した自動演奏ピアノ１０の演奏音により、音声認識部１０２の音声認識の精度が悪化し、正しく音声コマンドやキーワードへの変換ができない場合がある。そこで本実施形態では以下の装置を用いてマイクロホン２０が収音した音から自動演奏ピアノ１０による演奏音を取り除くことでこの問題の解決を図る。

音源３０は、ＭＩＤＩデータを読み込んで、このＭＩＤＩデータに含まれる音のピッチや曲のテンポ、音の大きさなどの情報から自動演奏ピアノ１０が演奏した場合における演奏音の波形信号を生成する音源モジュールである。音源３０は、生成した波形信号をフィルタ装置４０へ出力する。第一の実施形態では、楽器の演奏に対応した演奏音に応じた第一波形信号の生成を、音源３０が自動演奏ピアノ１０の出力したＭＩＤＩデータに基づいて行う。
フィルタ装置４０は、ピアノ音をキャンセルするフィルタである。フィルタ装置４０は、マイクロホン２０が収音したユーザの音声とその他の音とを含む波形信号から自動演奏ピアノ１０による演奏音の波形信号を除去してオーディオデータから自動演奏ピアノ１０の演奏音を消去（ピアノ音キャンセル）する。フィルタ装置４０は、ピアノ音キャンセル後の波形信号を自動演奏ピアノ１０のＡ／Ｄ変換部１０１へ出力する。このようにすることでＡ／Ｄ変換部１０１は、自動演奏ピアノ１０の演奏音が混在しないユーザの指示音声の波形信号であるアナログ信号をデジタル信号に変換することができる。
なお、自動演奏ピアノ１０が演奏を停止している場合にはＭＩＤＩデータがコントローラ１０３から出力されていないため、音源３０から波形信号がフィルタ装置４０へ出力されておらず、結果としてフィルタ装置４０はマイクロホン２０が収音した音の波形信号をそのままＡ／Ｄ変換部１０１へと出力することになるのは言うまでもない。

図２は本発明の第一の実施形態における音声認識システムによる音声認識のフローチャートである。
図２を用いて、本実施形態における音声認識に用いる指示音声から自動演奏ピアノ１０の演奏音を除去する処理について説明する。
前提として、自動演奏ピアノ１０の演奏中、任意のタイミングでユーザが指示音声を発音するものとする。
まず、マイクロホン２０は、周囲の音を収音する（ステップＳ１）。ここでは自動演奏ピアノ１０による演奏が開始され、ユーザによって発話されると、自動演奏ピアノ１０の演奏音とユーザの音声とを収音する。マイクロホン２０は、収音した音を波形信号（第二波形信号）に変換してフィルタ装置４０へ出力する。

マイクロホン２０によって収音が行われることに並行して、自動演奏ピアノ１０は、演奏内容に応じたＭＩＤＩデータを音源３０へ出力する（ステップＳ２）。
音源３０は、取得したＭＩＤＩデータに基づく演奏音に応じた波形信号（第一波形信号）を生成し（ステップＳ３）、フィルタ装置４０へ出力する。

フィルタ装置４０は、マイクロホン２０から取得した波形信号から音源３０から取得した自動演奏ピアノ１０による演奏音を示す波形信号を除去して新たな波形信号（第三波形信号）を生成する（ステップＳ４）。自動演奏ピアノ１０の波形信号を除去するには例えば以下のようにしてもよい。フィルタ装置４０は、音源３０から取得した波形信号からその波形の逆位相の波形信号を生成する。この逆位相の波形信号は、ピアノ音を打ち消すための信号である。そしてフィルタ装置４０は、マイクロホン２０から取得した波形信号に含まれる自動演奏ピアノ１０による音の成分を解析して、逆位相の波形信号の振幅や位相の調整などを行う。そしてフィルタ装置４０は、調整した波形信号とマイクロホン２０から取得した波形信号とを合成してピアノ音を打ち消した新たな波形信号（第三波形信号）を生成する。この新たに生成された波形信号は自動演奏ピアノ１０による演奏音が取り除かれたユーザによる指示音声を示す信号である。次にフィルタ装置４０は、この波形信号を自動演奏ピアノ１０のＡ／Ｄ変換部１０１へ出力する。

次にＡ／Ｄ変換部１０１は、ピアノ音を除去した波形信号をデジタル信号に変換し音声認識部１０２へ出力する。次に音声認識部１０２は、このデジタル信号に基づいて音声認識処理を行う（ステップＳ５）。例えば音声認識部１０２は、取得したデジタル信号を解析し、自動演奏ピアノ１０が備える記憶部に予め蓄積された音声コマンドやキーワードに対応するデータの中からデジタル信号が示す指示内容に最も近いデータを選択する。そして音声認識部１０２は、選択したデータをコントローラ１０３へ出力する（ステップＳ６）。
最後に音声認識システム１は、ユーザからの終了要求操作などにより音声認識システムが終了したかどうかを判定し（ステップＳ７）、システム終了でなければステップＳ１からの処理を繰り返す。システム終了であれば処理フローを終了する。
以上で本処理フローを終了する。

本実施形態によれば、自動演奏ピアノ１０が出力するＭＩＤＩデータに基づいて生成した波形信号を用いて、ユーザの指示音声を表す波形信号と自動演奏ピアノ１０の演奏音が混在した信号から自動演奏ピアノ１０による演奏音を除去した指示音声の波形信号を生成することができる。そしてその波形信号を用いて音声認識を行うことで音声認識の精度を高め、自動演奏ピアノ１０の周辺における音声によるコントロールや音声による文字入力などの実用性を高めることができる。

＜他の実施形態＞
第一の実施形態に係る音声認識システムにおいては、フィルタ装置４０においてピアノ音を打ち消すための波形信号を自動演奏ピアノ１０が出力するＭＩＤＩデータから生成する方法を用いて説明を行ったが、以下のような実施形態でもよい。すなわち、ＭＩＤＩデータの代わりに響板の各駒に設けられた圧電素子（ピエゾセンサ）によってピアノの弦の振動を検出する。そして、検出した弦の振動情報に基づいて自動演奏ピアノ１０による演奏音を表す波形信号を生成してフィルタ装置４０に出力するようにしてもよい。同様に加速度センサを用いてピアノの響板の振動の加速度を検出し、響板の変位や音圧などを計算してピアノ演奏音を表す波形信号を生成しフィルタ装置４０に出力するようにしてもよい。この実施形態では楽器の演奏に対応した演奏音に応じた第一波形信号の生成を、例えばピエゾセンサ、加速度センサなどが検出した信号に基づいて行う。自動演奏ピアノ１０の弦の振動や響板の加速度など、自動演奏ピアノ１０の音響に関わる部材の振動や加速度、速度といった物理量を検出することによって生成されたピアノ演奏音には、ユーザの指示音声など周囲の雰囲気音が含まれておらず、純度の高いピアノ演奏音をフィルタ装置４０に出力することができる。またＭＩＤＩデータから波形信号を生成する方法と比較して音源が不要になるという利点を得ることができる。

その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。また、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。例えば、自動演奏ピアノは、ＭＩＤＩデータの出力と再生が可能であれば、他の電子楽器などでも構わない。また、自動演奏ピアノ１０と音源３０とフィルタ装置４０は、一体に構成されていてもよいし、それぞれ別体であってもよい。また、自動演奏ピアノ１０が内蔵するＡ／Ｄ変換部１０１や音声認識部１０２は、自動演奏ピアノ１０と別体であって自動演奏ピアノ１０と接続して用いるものであってもよい。また、上述の実施形態ではＭＩＤＩ形式の演奏データを例として説明したが、演奏データとしてはＭＩＤIに限らず、自動演奏ピアノ１０および音源３０が解釈できる演奏データであればどのようなデータであってもよい。

１０・・・自動演奏ピアノ、２０・・・マイクロホン、３０・・・音源、４０・・・フィルタ装置、１０１・・・Ａ／Ｄ変換部、１０２・・・音声認識装置、１０３・・・フィルタ装置

Claims

楽器の演奏に対応した演奏音に応じた第一波形信号を生成する過程と、
収音手段によって前記楽器による演奏音と、ユーザによって発話された指示音声とを含む音を収音し収音された音から第二波形信号を生成する過程と、
前記第二波形信号から前記第一波形信号に基づいて前記楽器による演奏音を除去した第三波形信号を生成する過程と、
前記第三波形信号に基づいて音声認識をする過程と
を含む音声認識方法。