JP2006162849A

JP2006162849A - 音声処理装置

Info

Publication number: JP2006162849A
Application number: JP2004352671A
Authority: JP
Inventors: Sukeyuki Shibuya; 資之渋谷
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2004-12-06
Filing date: 2004-12-06
Publication date: 2006-06-22
Anticipated expiration: 2024-12-06
Also published as: JP4517838B2

Abstract

【課題】ユーザに不自由さや不快感を与えることなく、ユーザの音声認識をできるようにする。
【解決手段】アレイ状にマイクロホンが配設されたマイクロホンユニット１００に向けてユーザは発声する。マイクロホンユニット１００に配設された複数のマイクロホンに音声が入力されると、制御装置２００は、アレイ状に配設された複数のマイクロホンから出力される信号から、発音した時の音圧レベル分布と周波数スペクトルとを検知し、ユーザが発した音声を、この音圧レベル分布と周波数スペクトルとから判別する。
【選択図】図１

Description

本発明は、人間の音声を認識する技術に関する。

語学学習において発音の練習を行う場合、例えば、ＣＤ（Compact Disk）等の記録媒体に記録された模範音声を再生し、その模範音声の真似をして発音するという学習方法が用いられている。この学習を行う際、学習をより効果的に進めるためには、模範音声と自分の音声との差を客観的に評価する必要があるが、ＣＤに記録された模範音声を聞いてその真似をするだけでは、自分の発音が正しいものであるのかを具体的に把握することが困難であるという問題がある。

自分の発音の正誤を具体的に認識する技術としては、例えば特許文献１に開示されている技術がある。特許文献１には、人間が発する通鼻音、無声音、有声音や摩擦音等を、各音毎に設けられたマイクロホンにより検出し、各音のレベルをＬＥＤ（Light Emitting Diode）の点灯個数により表示する発音練習装置が開示されている。この装置によれば、通常では目に見えない各音のレベルが可視化され、正しい発音であるか否かを具体的に把握することができる。

また、音の認識を行う技術としては、例えば特許文献２に開示された技術がある。特許文献２に開示された装置は、パラボラ反射器の焦平面上にマイクロホンアレイを備えており、マイクロホンアレイを構成する各マイクロホンからの出力信号に基づいてパラボラ反射器前方の音圧分布を検知する。そして、測定された音圧分布と、予め記憶している正しい音圧分布とを比較し、その異同により音の異常を判断する。
特開平１１−３５２８７６号公報特開平６−１１３３８７号公報

ところで、特許文献１に開示された発音練習装置においては、使用者が発した音声を正しく検出するために、各マイクロホンを収めた筐体を、鼻および口を覆うように顔面に密着させ、各音毎に設けられたマイクロホンを鼻や口唇のすぐ近傍に位置決めする必要がある。しかしながら、このように鼻や口を覆ってしまうと、使用者によっては不自由や不快感を感じる者もあり、また装置が顔に触れてしまうため、不特定多数の者により使用される場合には、衛生面からの不快感を感じる者もある。そして、不快感からユーザが位置決めを正しく行わないと、音声を正しく認識できなくなるという問題が生じてしまう。また、特許文献２に開示された装置においては、パラボラアンテナを使用しているため装置が大掛かりとなるという問題があり、ここでも装置の使用の不自由さという問題が生じてしまう。

本発明は、上述した背景の下になされたものであり、ユーザに不自由さや不快感を与えることなく、ユーザの音声認識をできるようにする技術を提供することを目的とする。

上述した課題を解決するために本発明は、標準言語音の音圧レベル分布および標準言語音の周波数スペクトルとを記憶する記憶手段と、マイクロホンがアレイ状に複数配設されたマイクロホンユニットと、前記マイクロホンユニットの各マイクロホンから出力される信号毎に、該信号が表す音の音圧レベルを検知する音圧レベル検知手段と、前記マイクロホンユニットの所定のマイクロホンから出力された信号の周波数スペクトルを検知するスペクトル検知手段と、前記音圧レベル検知手段により求められた複数の音圧レベルから、前記マイクロホンユニットにおいて前記マイクロホンが配設された面の音圧レベル分布を求める音圧分布検知手段と、前記音圧分布検知手段により求められた音圧レベル分布および前記スペクトル検知手段により求められた周波数スペクトルと、前記記憶手段に記憶された標準言語音の音圧レベル分布および標準言語音の周波数スペクトルとを比較し、前記マイクロホンユニットに入力された言語音を判別する音声判別手段と、前記音声判別手段の判別結果を出力する出力手段とを有する音声処理装置を提供する。
本発明においては、アレイ状にマイクロホンが配設されたマイクロホンユニットに向けてユーザは発声する。複数のマイクロホンに音声が入力され、アレイ状に配設された複数のマイクロホンから出力される信号から、発音した時の音圧レベル分布と周波数スペクトルが検知される。ユーザが発した音声を、この音圧レベル分布と周波数スペクトルとから判別するので精度よく音声を判別することが可能となり、ユーザはマイクロホンユニットをユーザに密着させる必要がない。

本発明の好ましい態様においては、音声処理装置は、前記複数の各マイクロホンに対応付けされた発光体を有し、前記音圧レベル検知手段により検知された各マイクロホンに対応する音圧レベルに基づいて、各マイクロホンに対応付けされた発光体を点灯させる制御手段を有する。また、他の好ましい態様においては、前記制御手段は、前記音圧レベルに応じて前記発光体の照度を可変するようにしてもよい。
また、他の好ましい態様においては、音声処理装置は、前記音圧分布検知手段により求められた音圧レベル分布を示す音圧分布画像を生成し、該音圧分布画像を表示する表示手段を有する。また、他の好ましい態様においては、音声処理装置は、少なくとも画像または音声のいずれかにより言語音の発声をユーザに要求する音声要求手段と、前記音声判別手段により判別された言語音と、前記音声要求手段により要求された言語音とが一致するか否かを判断する判断手段とを有し、前記出力手段は、前記判断手段の判断結果を出力する。

本発明によれば、ユーザは不快感を感じることなく容易に発音の認識ができる。

［構成］
図１は、本発明の実施形態に係る音声処理装置１の構成を示した図である。図１に示したように、この音声処理装置１は、マイクロホンユニット１００と制御装置２００とに大別される。

マイクロホンユニット１００は、図２に示したようにスタンド１４０と、スタンド１４０に取り付けられた基板１３０とを備えている。基板１３０上には、音声入力部２２０に接続された矩形のシリコンマイク１１０Ａ−１，１１０Ａ−２，・・・，１１０Ａ−１６〜シリコンマイク１１０Ｐ−１，１１０Ｐ−２，・・・，１１０Ｐ−１６が、図２に示したように縦横１６個ずつ格子上に配設されており、また、各シリコンマイクの縦方向の間には、制御部２１０に接続されたＬＥＤ１２０Ａ−１，１２０Ａ−２，・・・，１２０Ａ−１６〜ＬＥＤ１２０Ｐ−１，１２０Ｐ−２，・・・，１２０Ｐ−１６が配設されている。基板１３０上に配設された各シリコンマイクは入力された音声を電気信号に変換して出力し、各ＬＥＤは、制御部２１０の制御の下、点灯／消灯する。なお、各シリコンマイクは各々同じ構成であるため、以下個々のシリコンマイクを特に区別する必要の無い場合には、シリコンマイク１１０と記載する。また同様の理由によりＬＥＤについても、以下個々のＬＥＤを特に区別する必要の無い場合には、ＬＥＤ１２０と記載する。また、シリコンマイク１１０とＬＥＤ１２０の配設個数は、上述した数に限定されるものではなく、他の個数でも良いのは勿論である。

音声入力部２２０は各シリコンマイク１１０から出力された電気信号を受取るインターフェースとして機能し、入力された全ての電気信号を音圧レベル検知部２３０へ出力すると共に、所定のシリコンマイクから出力された電気信号を音声検知部２４０へ出力する。音圧レベル検知部２３０は、音声入力部２２０から出力された個々の電気信号から（即ち、各シリコンマイクから出力された電気信号毎に）各シリコンマイクに入力された音の音圧レベルを算出し、算出した音圧レベルを示す音圧データを制御部２１０のＣＰＵ２１１へ出力する。音声検知部２４０は、入力された電気信号をサンプリングしてデジタルデータとして記憶し、このデータから高速フーリエ変換により周波数分析を行い、電気信号が表す音声のスペクトルを求める。次に音声検知部２４０は、このスペクトルからホルマント周波数を求め、予め記憶している各種音声毎のホルマント周波数と比較し、どのような音声を発音したかを、例えばパターンマッチング等の手法により判断する。そして音声検知部２４０は、判別した音を示す発音データを生成し、この発音データを制御部２１０へ出力する。

制御部２１０は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、およびＨＤＤ（Hard Disk Drive）２１４を備えている。ＣＰＵ２１１は、ＲＯＭ２１２に記憶されているプログラムまたはＨＤＤ２１４に記憶されているプログラムを読み出して実行し、音声処理装置１の各部を制御する。ＨＤＤ２１４は、各種アプリケーションプログラムやデータを記憶する記憶装置であり、発音の練習を行うためのアプリケーションを実現させる発音練習プログラムや、このアプリケーションで使用されるデータであって、母音や子音等の音を表す音声データ、母音や子音等の音を発音した時の音圧分布を示す音圧分布データ、ＬＥＤ１２０を点灯させるか否かを判断するための閾値データ等を記憶している。

表示部２１５は、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）等の表示装置を備えており、ＣＰＵ２１１の制御下で文字や画像を表示する。操作部２１６は、キーボードおよびマウス（いずれも図示略）を備えている。ユーザは、この操作部２１６を操作することにより、制御部２１０に対して各種指示を入力することができる。

［動作］
次に実施形態の動作について説明する。ユーザが操作部２１６を操作して発音練習プログラムの実行を指示すると、ＣＰＵ２１１は、ＨＤＤ２１４から発音練習プログラムを読み出して実行する。発音練習プログラムが実行されると、練習する発音の選択を促す画面が例えば図４に例示したように表示部２１５に表示される（図３：ステップＳＡ１）。ここで、次のメニュー画面を表示する操作が操作部２１６において行われると（ステップＳＡ２；ＹＥＳ）、ＣＰＵ２１１は、例えば短母音の練習を促すメニュー画面や、単語の発音練習を促すメニュー画面を表示部２１５に表示する（ステップＳＡ３）。また、発音練習プログラムの実行を終了させる操作が行われると（ステップＳＡ４；ＮＯ、ステップＳＡ１３；ＹＥＳ）、ＣＰＵ２１１は、プログラムの実行を終了する。一方、練習する音を選択する操作がユーザにより行われると（ステップＳＡ４：ＹＥＳ）、ＣＰＵ２１１は、練習する音を発音する際の正しい口の形を発音記号と共に、例えば図５（ａ）に例示したように表示する（ステップＳＡ５）。そしてＣＰＵ２１１は、音圧レベル検知部２３０と、音声検知部２４０とからデータが出力されるのを待つ（ステップＳＡ６）。

ユーザが、表示された口の形を真似、マイクロホンユニット１００に向かって発音すると、マイクロホンユニット１００に配設された各シリコンマイク１１０は、ユーザの発した音声を電気信号に変換して音声入力部２２０へ出力する。音声入力部２２０は、マイクロホンユニット１００から出力された電気信号が入力されると、入力された全ての電気信号を音圧レベル検知部２３０へ出力すると共に、所定のシリコンマイク（例えば、シリコンマイク１１０Ｈ−８）から出力された電気信号を音声検知部２４０へ出力する。

音圧レベル検知部２３０は、まずシリコンマイク１１０Ａ−１に対応する電気信号から順番に１１０Ａ−２，・・・，１１０Ａ−１６という順番で音圧データを生成し、次にシリコンマイク１１０Ｂ−１〜１１０Ｂ−１６，シリコンマイク１１０Ｃ−１〜１１０Ｃ−１６，・・・，シリコンマイク１１０Ｐ−１〜１１０Ｐ−１６という順番で音圧データを生成し、生成した順番で音圧データをＣＰＵ２１１へ出力する。また、音声検知部２４０は、入力された電気信号をサンプリングしてデジタルデータとして記憶し、このデータから高速フーリエ変換により周波数分析を行い、電気信号が表す音声のスペクトルを求める。そして、ユーザが発音した音（言語音）を判別し、判別した音を示す発音データをＣＰＵ２１１へ出力する。

ＣＰＵ２１１は、音圧データおよび発音データが入力されると、入力された順番で音圧データをＲＡＭ２１３に格納し、また発音データをＲＡＭ２１３に格納する（ステップＳＡ７）。次にＣＰＵ２１１は、まずシリコンマイク１１０Ａ−１に対応する音圧データが表す音圧レベルと、閾値データが表す値とを比較する。そして音圧データが表す音圧レベルが、閾値データが表す値以上である場合には、シリコンマイク１１０Ａ−１の下にあるＬＥＤ１２０Ａ−１を点灯させ、音圧データが表す音圧レベルが、閾値データが表す値未満である場合には、シリコンマイク１１０Ａ−１の下にあるＬＥＤ１２０Ａ−１を消灯させる。そしてＣＰＵ２１１は、ＲＡＭ２１３に格納した順番で、各シリコンマイク１１０に対応する音圧データと閾値データとを比較し、各シリコンマイク１１０の下にあるＬＥＤ１２０の点灯／消灯を行う（ステップＳＡ８）。

次にＣＰＵ２１１は、ステップＳＡ４にて選択された音を正しく発音した際の音圧レベルの分布を示す音圧分布データをＨＤＤ２１４から読出す。そして、ＲＡＭ２１３に格納された音圧データ（各シリコンマイクに入力された音の音圧レベルを示すデータ）から、マイクロホンユニット１００の表面の音圧レベル分布を求め、求めた音圧レベル分布と、音圧分布データが示す音圧レベルの分布との一致を、パターンマッチング等の方法により見る（ステップＳＡ９）。ここで音圧レベル分布が一致する場合には（ステップＳＡ９：ＹＥＳ）、次に、ＣＰＵ２１１は、ステップＳＡ４にて選択された音を正しく発音した際の音を表す音声データをＨＤＤ２１４から読出し、ＲＡＭ２１３に格納された音声データとの一致を見る（ステップＳＡ１０）。ここで、音声が一致する場合には（ステップＳＡ１０：ＹＥＳ）、ユーザは発音を正しく行ったものと判断し、ユーザの発音と、正しい発音が行われたことを表す画面を図５（ｂ）に例示したように表示部２１５に表示する（ステップＳＡ１１）。

一方、ステップＳＡ９でＮＯ、またはステップＳＡ１０でＮＯと判断した場合、即ち、ユーザの発音が正しくないと判断した場合、ＣＰＵ２１１は、表示部２１５を制御し、ユーザの発音と、正しい発音が行われなかったことを表す画面を、例えば図５（ｃ）に例示したように表示部２１５に表示する（ステップＳＡ１２）。

以上説明したように本実施形態によれば、マイクロホンユニット１００により、発音に応じた音圧分布を検知することができ、スペクトラム分析と合わせて、精度良く音声を判別することができる。また、ユーザが発音した音声を検出するためのマイクロホンユニット１００は、ユーザから離して使用することができるため、ユーザは不快感を感じることなく、また衛生面からも安心して使用することができる。

［変形例］
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。

音圧データが表す音圧レベルに応じてＬＥＤの駆動電圧を制御し、各シリコンマイク１１０により検知された音圧レベルに応じて、各シリコンマイク１１０の下にあるＬＥＤ１２０の照度を可変するようにしてもよい。また、シリコンマイク１１０のみを配置したマイクロホンユニット１００を、表示部２１５の手前に配置し、音圧分布の表示を表示部２１５で行うようにしてもよい。近年、シリコンマイクは小型の物が開発されており、アレイ状に並べてもパラボラアンテナのような大掛かりな装置とならないため、このようにマイクロホンユニット１００を表示部２１５の手前に配置し、音圧分布を表示部２１５で確認することができる。

正しく発音した場合の音圧レベル分布を、ユーザが発音する前に表示させておくようにしてもよい。また、複数の色を発光可能なＬＥＤを採用し、正しく発音した場合の音圧レベル分布と、ユーザの発音により得られた音圧レベル分布とを異なる色で点灯させるようにし、正しく発音した場合の音圧レベル分布とユーザの発音による音圧レベル分布の違いを視認できるようにしてもよい。

上述した実施形態においては、入力された音声と所定の音声とが一致しているか否かをユーザに示すようにしているが、所定の音声との一致を判断するのではなく、発音された音声を認識し、認識した音声を表示するようにしてもよい。例えば、音声処理装置は、「thing」と発音したことを検知した場合には表示部２１５に「thing」と表示し、「sing」と発音したことを検知した場合には「sing」と表示する。ユーザは「thing」と発音した場合に「sing」と表示された場合には、自分の発音が正しく認識されず、発音が誤っていることを知ることができる。

言語音を正しく発音した際の周波数スペクトルをＨＤＤ２１４に記憶させておき、音声検知部２４０で求めた周波数スペクトルと比較して、ユーザが発音した言語音を判別するようにしてもよい。

本発明の実施形態に係る音声処理装置の構成を示す図である。マイクロホンユニット１００の外観図である。ＣＰＵ２１１が行う処理の流れを示したフローチャートである。表示部２１５に表示される画面例を示した図である。表示部２１５に表示される画面例を示した図である。

符号の説明

１００・・・マイクロホンユニット、１１０Ａ−１〜１１０Ｐ−１６・・・シリコンマイク、１２０Ａ−１〜１２０Ｐ−１６・・・ＬＥＤ、１３０・・・基板、１４０・・・スタンド、２００・・・制御装置、２１０・・・制御部、２１１・・・ＣＰＵ、２１２・・・ＲＯＭ、２１３・・・ＲＡＭ、２１４・・・ＨＤＤ、２１５・・・表示部、２１６・・・操作部、２２０・・・音声入力部、２３０・・・音圧レベル検知部、２４０・・・音声検知部。

Claims

標準言語音の音圧レベル分布および標準言語音の周波数スペクトルとを記憶する記憶手段と、
マイクロホンがアレイ状に複数配設されたマイクロホンユニットと、
前記マイクロホンユニットの各マイクロホンから出力される信号毎に、該信号が表す音の音圧レベルを検知する音圧レベル検知手段と、
前記マイクロホンユニットの所定のマイクロホンから出力された信号の周波数スペクトルを検知するスペクトル検知手段と、
前記音圧レベル検知手段により求められた複数の音圧レベルから、前記マイクロホンユニットにおいて前記マイクロホンが配設された面の音圧レベル分布を求める音圧分布検知手段と、
前記音圧分布検知手段により求められた音圧レベル分布および前記スペクトル検知手段により求められた周波数スペクトルと、前記記憶手段に記憶された標準言語音の音圧レベル分布および標準言語音の周波数スペクトルとを比較し、前記マイクロホンユニットに入力された言語音を判別する音声判別手段と、
前記音声判別手段の判別結果を出力する出力手段と
を有する音声処理装置。
前記マイクロホンユニットは、前記複数の各マイクロホンに対応付けされた発光体を有し、
前記音圧レベル検知手段により検知された各マイクロホンに対応する音圧レベルに基づいて、各マイクロホンに対応付けされた発光体を点灯させる制御手段を有すること
を特徴とする請求項１に記載の音声処理装置。
前記制御手段は、前記音圧レベルに応じて前記発光体の照度を可変することを特徴とする請求項２に記載の音声処理装置。
前記音圧分布検知手段により求められた音圧レベル分布を示す音圧分布画像を生成し、該音圧分布画像を表示する表示手段を有することを特徴とする請求項１に記載の音声処理装置。
少なくとも画像または音声のいずれかにより言語音の発声をユーザに要求する音声要求手段と、
前記音声判別手段により判別された言語音と、前記音声要求手段により要求された言語音とが一致するか否かを判断する判断手段とを有し、
前記出力手段は、前記判断手段の判断結果を出力することを特徴とする請求項１に記載の音声処理装置。