JP2016024379A - 情報処理装置、その制御方法及びプログラム - Google Patents

Abstract

【課題】音声認識を行う情報処理装置において複雑な処理の実行を可能にする。【解決手段】音声ストリームの中に、あらかじめ記憶された音素と一致し、その一致した音素の連続が、さらにあらかじめ記憶されためた情報記述子候補音素と一致したら、当該音素の連続をメタ情報記述子とする。メタ情報記述子は、検出の際に、他の所定のメタ情報記述子が先に検出されている場合に限り検出される。【選択図】図３

Description

本発明は、情報処理装置、その制御方法及びプログラムに関し、特に、音声認識を行うものに関する。

電子計算機と人間との間のインターフェース（以下、マン・マシン・インターフェース）としては、従来さまざまなものや方式が考案されている。しかしながら、人間の操作や指令（コマンド）を計算機に入力するデバイスに限って言えば、数十年来、キーボードとマウスがデファクトスタンダードであり続けている。特に、パーソナルコンピュータと呼ばれる製品形態の世界ではそうである。このような現状に対し、音声を用いて人間の操作や指令をコンピュータに入力する技術も従来、種々のものが考案されている。

音声認識技術をコンピュータの操作に利用する技術としては、例えば、特許文献１ないし５などがある。特許文献１では、録画装置がテレビ番組録画などのコマンド実行を行うために音声認識を利用している。特許文献２では、カーナビゲーションシステムが音声認識を利用する対話型マン・マシン・インターフェースを提供している。特許文献３では、テレビ受像機などの家電装置や情報機器が音声認識を利用してユーザが通常の会話と同じ感覚で機器を操作できるようにすることを目指したマン・マシン・インターフェースを提供している。

特許文献４は、音声認識したコマンド（指令）を正しく解釈して選択したアプリケーション（例えば、電話ダイヤラ）にコマンドを実行させることについて記載がある。アプリケーションとしては、電子メールアプリケーションやテキストメッセージングアプリケーションがあることが記載されている。特許文献５には、入力された音声をメモリに格納されている音声パターンと照らし合わせて解読し、解読した所定の音声と関連づけて記憶されている機能を実行することが記載されている。

特開平０４−３３８８１７号公報 特開２００１−０３４２９２号公報 特開２００２−０４１２７６号公報 特開２０１３−０７３２４０号公報 特開２００８−０５３９３７号公報

しかしながら、上述のような従来技術においては、音声を認識させて単純な操作や指令を実行させることはできても、複雑な処理を実行させることができないという問題点があった。

複雑な処理を実行させるために情報を電子計算機に入力する必要がある。電子機器における無線通信などでは、信号を変調させて信号に情報を搬送させることが通常行われている。これに対して音声信号は、口や唇などの人間の調音器官により生成される音響信号である。変調させることができないので、たとえ音声認識技術を用いてコンピュータに音声の意味を認識させても、通常の通信において用いられる信号ほどには多くの情報をコンピュータに認識させることができない。

また、複雑な処理を実行させるためには電子計算機に伝えるべき情報のデータの構造がある程度複雑にならざるを得ないが、音声認識では複雑なデータ構造を正確に理解することが難しい。

例えば、人間がコンピュータを使って誰かに電子メールを出すことを考えた場合、従来であれば、キーボードを用いて用件を入力し、宛先を入力して送信するが、音声認識型コンピュータであれば、「宛先ＡにＢという内容でメールを送信して」というような言葉をコンピュータに投げかける。この音声信号を受信したコンピュータは、この言葉に、電子メールアプリケーションを立ち上げ、新規メールを作成し、送信するというコマンドが含意されていることを理解しなければならない。と同時に、この言葉の中におけるコマンドではない「宛先Ａ」と「内容Ｂ」というデータを正しくデータとして取り扱い、コマンドとして取り扱ってはならない。しかしながら、コマンドというメタデータも、内容や宛先といったデータも、音声信号という一つのレイヤー上の信号としてコンピュータに受信される。別々のレイヤー上の信号としてはコンピュータに入力されない。

この点に関し、従来技術は、コンピュータに入力されてくる音声のモデルが単純で、音声がそのままコマンドとして取り扱えるものが多かった（例えば、上掲の特許文献１〜５）。しかしながら、入力音声モデルが複雑化し、音声内のデータを適切に扱えるようにするためには、上記問題点を解決する必要がある。

本発明は、上記実情に鑑みてなされたものであり、音声認識を行う情報処理装置において複雑な処理の実行を可能にすることを目的とする。

上記目的を達成するために本発明は、第１の態様として、音素と、前記音素の組み合わせからなるメタ情報記述子候補音素とを記憶する音素記憶手段と、音声ストリームから任意の区間を切り出す音声認識手段と、前記音声認識手段により切り出された前記任意の区間の音声ストリームに該当する音素候補と、前記音素記憶手段に記憶されている前記音素と、を比較して一致するか否かを判断する音素比較手段と、前記音素比較手段により一致すると判断された前記音素に付された音素のラベルを並べた音素の並びに対して、形態素解析を行う形態素解析手段と、形態素解析が行われた前記音素の並びに基づいて処理を実行する実行手段と、を有し、前記音声認識手段は、前記音素候補に一致した、連続する前記音素記憶手段に記憶されている前記音素が、前記メタ情報記述子候補音素と一致した場合、当該連続する音素を、メタ情報記述子として検出し、前記メタ情報記述子を、前記形態素解析手段が形態素解析を行う対象である前記音素の並びから取り除くとともに、前記実行手段に出力し、前記実行手段は、前記音素の並びと前記メタ情報記述子に基づいて、前記メタ情報記述子に定義された処理を、前記音素の並びを用いて実行し、前記メタ情報記述子候補音素は、複数であって、他の前記メタ情報記述子候補音素が検出された条件の下で初めて検出される前記メタ情報記述子候補音素を含むことを特徴とする、情報処理装置を提供する。

本発明によれば、音声認識を行う情報処理装置において複雑な処理の実行を可能にすることが可能となる。

本発明による実施形態のネットワーク構成例を示す図である。 上記実施形態のハードウェア＆ソフトウェア構成例を示す図である。 上記実施形態における音声によるアプリケーション操作の概要を示す概念図である。 上記実施形態の機能ブロック図である。 上記実施形態における音声認識処理を説明するための概念図である。 上記実施形態における音素記憶部１０８の記憶内容の一部を説明するための概念図である。

図１に、本実施形態のネットワーク構成例を示す。図１に示すように、本実施形態においては、インターネットなどのネットワークを介して、情報処理装置１００とクラウド上のサーバ２００がデータ通信を行う。ネットワークの形態に限定はない。情報処理装置１００は、パーソナルコンピュータ（以下、主として「ＰＣ」と呼ぶ）、スレート型ＰＣ、タブレット型ＰＣ、スマートフォン、携帯型情報端末（Personal Digital Assistance: PDA）などのパーソナルデバイスである。ＰＣの形態として据え置き型とノートブック型を例示しているが、限定するものではない。

種々のサービスを提供するサーバであるクラウド上のサーバ２００としては、例えば、メールサーバ２０１、掲示板サーバ２０２、ＳＮＳ（ソーシャルネットワーキングサービス）サーバ２０３、短文投稿２０４などがある。短文投稿サーバ２０４とは、２００文字以内などの比較的短い文章を投稿できるサービスを提供するサーバである。掲示板サーバ２０２は、ＣＧＩ（Common Gateway Interface）などのウェブテクノロジを使って、文章を投稿できるサービスを提供するサーバである。ＳＮＳサーバ２０３も、文章を投稿できるが、ユーザアカウント同士がリンクで繋がり、現実の友人関係をリンクで表すことができるようになっている。サービスの種類に特に限定はないので、情報処理装置１００がその他サーバ２０５と通信可能であってもよい。

以下では、情報処理装置１００が典型的な実施の一例として、メールサーバ２０１と通信を行う例について述べる。メールサーバ２０１は、本実施形態では、ＩＭＡＰ４（Internet Message Access Protocol）に対応したサーバである。

図２に、本実施形態のハードウェア＆ソフトウェア構成例を示す。図示の例では、情報処理装置１００は、演算処理装置１１０、一次記憶装置１１１、二次記憶装置１１２を持つ。その他に入出力装置として、表示出力を行う表示装置１１３、通信装置１１４、音声入力装置１１５、音声出力装置１１６を持つ。

一次記憶装置１１１は、揮発性の記憶装置であり作業メモリとして用いる。二次記憶装置１１２は、不揮発性の記憶装置であり、オペレーティングシステム（以下、ＯＳ）１２０、電子メールアプリケーション１２１、対話型音声認識ＵＩアプリケーション１２３が格納されている。

これらのソフトウェアプログラムが、演算処理装置１１０により起動され、一次記憶装置１１１に展開されることによって、後述するような機能を提供する各機能ブロックを構成する。なお、各機能ブロックは、インストールされているソフトウェアプログラムではなくＳａａＳ（Software as a Service）により提供されてもよい。図示のハードウェア＆ソフトウェア構成例は発明が実施可能であることを説明するための一例である。

電子メールアプリケーション１２１は、いわゆるインターネットメールを作成したり送受信したりする機能を備えるアプリケーションソフトウェアであり、ＰＯＰ３やＩＭＡＰ４などに対応する。また、電子メールアプリケーション１２１は、テキスト入力を対話型音声認識ＵＩアプリケーション１２３に担わせる手段を有している。

対話型音声認識ＵＩアプリケーション１２３は、バックグラウンドで起動し、音声入力装置１１５から入力された音声信号を音声認識して、認識した音声の内容に応じた処理を行う。

図２に示したようなソフトウェアとハードウェアの協働により以下に説明するようなアプリケーション画面や機能ブロックが構成され、それぞれの機能が発揮される。

図３に、本実施形態の電子メールアプリケーション１２１及び対話型音声認識ＵＩアプリケーション１２３により提供されるユーザインターフェースの一部であるグラフィカルインターフェース画面の一例を示す。図示の例は、いわゆる３ペイン型のＧＵＩを示している。

図３において、表示装置１１３の表示画面１１３ａには、メールボックス一覧１１３ｂ、メール一覧１１３ｃ、第３ペイン１１３ｄ及び音声認識開始ボタン１１３ｅが示されている。メールボックス一覧１１３ｂ（第１ペイン）には、電子メールアプリケーション１２１にユーザが登録してあるユーザのＩＤに対応するメールボックスの一覧が表示される。ユーザのＩＤは、メールサーバ２０１におけるユーザのＩＤである。

メール一覧１１３ｃ（第２ペイン）は、メールボックス一覧１１３ｂで選択されているメールボックス内のメール一覧であり、その下部の第３ペイン１１３ｄには、メール一覧１１３ｃで選択されたメールの内容を表示したり、作成中のメールを表示したりすることができる。

ここで、本実施形態では、対話型音声認識ＵＩアプリケーション１２３の一機能により、ユーザがメール作成時にいつでもテキスト入力を音声認識により実行できるように、音声認識開始ボタン１１３ｅが、メールボックス一覧１１３ｂ上にオーバレイして表示される。これは、情報処理装置１００のマン・マシン・インターフェースにおける入力手段がキーボード入力等から音声認識によるものへ切り替える手段の一例を示したものである。

ユーザが音声認識開始ボタン１１３ｅをマウスでクリックする等を行うと、音声認識により情報処理装置１００にユーザが指令を出したり、文章等のデータを入力したりするための入力モードが開始される。音声認識による入力モードにおいては、対話型音声認識ＵＩアプリケーション１２３により図４に示すような機能ブロックが提供され、本実施形態の特徴的な音声認識機能が提供される。

図４に、本実施形態の機能ブロック図を示す。図示のように、情報処理装置１００は、入力音声ストリーム取得部１０１、前処理部１０３、音声認識部１０４、形態素解析部１０５、文脈解析部１０６、音素比較部１０７、音素記憶部１０８、実行部１０９を有する。

入力音声ストリーム取得部１０１は、ハードウェアの音声入力装置１１５が観測した音声ストリームを取得する機能を備える。前処理部１０３は、ノイズ除去などを行う。

音声認識部１０４は、ノイズなどを除去した音声のストリームから音素を抽出して、音声ストリームを音素の並びに変換する。すなわち、音声認識部１０４は、まず、切れ目のない音声ストリームから任意の基準で音素の候補を抽出する。次に、音素比較部１０７は、こうして抽出された音声候補と、音素記憶部１０８などにあらかじめ記憶されている音素とを比較する。音素比較部１０７は、比較中の音素候補との類似の尤度が最も高い音素を認識する（図５参照）。どの音素に対しても尤度が所定の閾値より低い場合は、その音素候補を破棄するなどの処理を行う。このような音素比較部１０７による音素の認識が繰り返されることによって、音声ストリームは音素の並びに変換される。

なお、自然言語毎に言語が有する音素は異なる。そこで、音素記憶部１０８には少なくとも音声ストリームで発話されている言語が有する音素が記憶されており、複数言語に対応する場合には、各言語の音素セットが記憶されている。

図５に示すように、音声認識部１０４は、音声ストリームから任意の区間を切り出し、音素候補とする。なお、任意区間の切り出し方としては、認識精度を向上させるため、無音区間を加えないようにすることが好ましい。音素記憶部１０８には、図５右側のような音素が記憶されているので、上記音素候補と比較する。音素記憶部１０８に記憶されている音素にはそれぞれラベルが付されている。比較の結果一致する尤度が所定の閾値より高い場合にはその音素に付されているラベルが、音素候補が持つ音価となる。音声認識部１０４がこのような処理を音声ストリームの流れに沿って実行していくと、時間軸に沿った形で音価のリストができる。これを本実施形態では「音素の並び」と呼ぶ。

次に、形態素解析部１０５は、音声認識部１０４から出力された一連の音素の並びを形態素に分割する。この処理には、通常図示しないコーパスなどを用いる。次に、文脈解析部１０６は、形態素分割された音素の並びを、形態素毎の意味内容に基づいて解析する。

ここで、本実施形態においては、音素記憶部１０８に、「メタ情報記述子候補音素」１０８ａが記憶されている（図６参照）。メタ情報記述子候補音素１０８ａは、それぞれラベルが付されている。メタ情報記述子候補音素１０８ａは、基本的に通常記憶されている音素の組み合わせからなる。好ましくは、ユーザ自身が発声した声から生成する。メタ情報記述子候補音素１０８ａは、複数記憶されている。

図６に示すように、各々のメタ情報記述子候補音素１０８ａに付されたラベルも音素の並びで表現される。音声認識部１０４は、メタ情報記述子候補音素１０８ａの音素の並びの中で、音素比較部１０７により記憶されている音素との一致が判定された複数の音素の並びと一致するものがあれば、当該音素の並びをマークする。次に、マークした音素の並びを改めて音素候補として、音素比較部１０７に、メタ情報記述子候補音素１０８ａに記憶されている音素との比較を実行させる。その結果改めて一致すると判断された場合、音声認識部１０４は、この部分の音素の並びを、形態素解析部１０５に出力すべき音素の並びから取り除き、実行部１０９に渡す。

さらに、複数のメタ情報記述子候補音素１０８ａの中には、他のメタ情報記述子候補音素１０８ａが検出されていなければ、検出しない（音素比較部１０７が実行する比較の対象から除く）ものが含まれる。例えば、Ａｎをメタ情報記述子候補音素１０８ａとすると（ｎは自然数）、下記表のように定義されている。
Ａｎ，検出の際必要とする他のＡｎ
Ａ１，なし
Ａ２，Ａ１
Ａ３，Ａ１
Ａ４，Ａ２

メタ情報記述子候補音素１０８ａは、音声ストリームの中でユーザが情報処理装置１００に対して出している指令（コマンド）など（このことをメタ情報記述子と呼ぶ）である可能性のある音素の並びである。本実施形態では、このメタ情報記述子が別のメタ情報記述子を伴わない場合、特に、前に無い場合は、メタ情報記述子ではないと考える。

そのため、メタ情報記述子の誤検知防止や、演算量増加の防止を意図して、音声ストリームに含まれる音素の並びに対して比較対象とするメタ情報記述子候補音素１０８ａ群の集合を、状況に応じて変化させる。状況とは、現在一致が認められ検出されているメタ情報記述子候補音素１０８ａが何か、である。

例えば、上掲の表の例で言うと、現在一致が認められ検出されているメタ情報記述子候補音素１０８ａが「なし」であると、音声ストリームに含まれる音素の並びに対して比較対象とするメタ情報記述子候補音素１０８ａ群の集合には、Ａ１のみが含まれる。
Ａ１が検出され、現在一致が認められ検出されているメタ情報記述子候補音素１０８ａが「Ａ１」であると、音声ストリームに含まれる音素の並びに対して比較対象とするメタ情報記述子候補音素１０８ａ群の集合には、Ａ２とＡ３が含まれる。

このように図４の機能ブロックの矢印にしたがって入力された音声ストリームに対して処理を実行していくと、音声ストリームは、下記のような情報に変換される。
データ，メタ情報記述子，データ，メタ情報記述子，データ，・・・
この情報が実行部１０９に入力される。なお、「データ」は、φ（存在しない）場合もある。

図３を再び参照し、メタ情報記述子、データの具体例を確認する。図３には、ユーザの声、すなわち入力される音声ストリームとして、「確認」・・・「返信」・・・「送信」と、「作成」・・・「送信」の二つのパターンが記載されている。「返信」「作成」「送信」などがメタ情報記述子であり、それ以外の部分の各々がデータである。また、メタ情報記述子「送信」は、「作成」又は「返信」が前に来ていないと検出できないように定義されている。

実行部１０９は、メタ情報記述子の各々がどのような処理を情報処理装置１００に対して実行させるのか、あらかじめ記憶している。例えば、メタ情報記述子「送信」は、前に存在するメタ情報記述子「作成」又は「返信」から、自身までの間のデータを引数に取り、引数を電子メールの本文としてメールサーバ２０１とＩＭＡＰ４で通信を行うことによって電子メールの送信を行うことを意味する。実行部１０９は、このような個々のメタ情報記述子の定義づけにしたがって実際の処理を実行する。

上述した本発明の実施形態によれば、音声認識を行う情報処理装置１００において複雑な処理の実行を可能にするという効果がもたらされる。また、ユーザは、キーボードやマウスなどの従来のマン・マシン・インターフェースに手を触れることなく情報処理装置１００を操作可能である。

また、メタ情報記述子候補音素１０８ａは、情報処理装置１００のユーザ自身の音声を録音したものであることが好ましい。この構成によれば、音素比較部１０７による音素比較の際の精度が高まるという効果がもたらされる。

また、上記実施形態では、形態素解析部１０５が行う処理の前の過程で、音素比較部１０７による音素比較に基づく所定の音素の並びがあらかじめ記憶されている音素の並びとで一致するものが抽出される。この構成によれば、メタデータに対して形態素解析等が実行されることが無く、とりわけ文脈を解析する際にメタデータがノイズとならない。すなわち、音声認識の精度が向上するという効果がある。

また、本実施形態は、所定の音素の並びが検出された条件の下で、初めて検出することが可能になる所定の音素の並びを設けている。この構成によれば、ユーザの意図しないときに情報処理装置１００が指令を誤って認識する可能性が低減する。

１００ 情報処理装置
１０１ 入力音声ストリーム取得部
１０３ 前処理部
１０４ 音声認識部
１０５ 形態素解析部
１０６ 文脈解析部
１０７ 音素比較部
１０８ 音素記憶部
１０８ａ メタ情報記述子候補音素
１０９ 実行部
１２１ 電子メールアプリケーション
１２３ 対話型音声認識ＵＩアプリケーション

Claims (5)

1. 音素と、前記音素の組み合わせからなるメタ情報記述子候補音素とを記憶する音素記憶手段と、
   音声ストリームから任意の区間を切り出す音声認識手段と、
   前記音声認識手段により切り出された前記任意の区間の音声ストリームに該当する音素候補と、前記音素記憶手段に記憶されている前記音素と、を比較して一致するか否かを判断する音素比較手段と、
   前記音素比較手段により一致すると判断された前記音素に付された音素のラベルを並べた音素の並びに対して、形態素解析を行う形態素解析手段と、
   形態素解析が行われた前記音素の並びに基づいて処理を実行する実行手段と、
   を有し、
   前記音声認識手段は、
   前記音素候補に一致した、連続する前記音素記憶手段に記憶されている前記音素が、前記メタ情報記述子候補音素と一致した場合、当該連続する音素を、メタ情報記述子として検出し、
   前記メタ情報記述子を、前記形態素解析手段が形態素解析を行う対象である前記音素の並びから取り除くとともに、前記実行手段に出力し、
   前記実行手段は、
   前記音素の並びと前記メタ情報記述子に基づいて、前記メタ情報記述子に定義された処理を、前記音素の並びを用いて実行し、
   前記メタ情報記述子候補音素は、複数であって、他の前記メタ情報記述子候補音素が検出された条件の下で初めて検出される前記メタ情報記述子候補音素を含む
   ことを特徴とする、情報処理装置。
2. 前記音声認識手段は、
   前記音素候補に一致した、連続する前記音素記憶手段に記憶されている前記音素が、前記メタ情報記述子候補音素と一致した場合、
   且つ、
   当該連続する音素に相当する前記音声ストリームの区間を新たな音素候補として、当該音素候補と、一致した前記メタ情報記述子候補音素と、が一致した場合、
   前記メタ情報記述子を、前記形態素解析手段が形態素解析を行う対象である前記音素の並びから取り除くとともに、前記実行手段に出力する
   ことを特徴とする、請求項１に記載の情報処理装置。
3. 前記実行手段は、
   検出された前記メタ情報記述子が取り除かれた箇所から別の前記メタ情報記述子が取り除かれた箇所までの前記音素の並びを、前記メタ情報記述子に定義された処理が用いるデータとする
   ことを特徴とする、請求項１又は２に記載の情報処理装置。
4. 情報処理装置の制御方法であって、
   音素と、前記音素の組み合わせからなるメタ情報記述子候補音素とを記憶する音素記憶ステップと、
   音声ストリームから任意の区間を切り出す音声認識ステップと、
   前記音声認識ステップにより切り出された前記任意の区間の音声ストリームに該当する音素候補と、前記音素記憶ステップで記憶した前記音素と、を比較して一致するか否かを判断する音素比較ステップと、
   前記音素比較ステップにより一致すると判断された前記音素に付された音素のラベルを並べた音素の並びに対して、形態素解析を行う形態素解析ステップと、
   形態素解析が行われた前記音素の並びに基づいて処理を実行する実行ステップと、
   を有し、
   前記音声認識ステップでは、
   前記音素候補に一致した、連続する前記音素記憶ステップで記憶した前記音素が、前記メタ情報記述子候補音素と一致した場合、当該連続する音素を、メタ情報記述子として検出し、
   前記メタ情報記述子を、前記形態素解析ステップにて形態素解析を行う対象である前記音素の並びから取り除くとともに、前記実行ステップに出力し、
   前記実行ステップでは、
   前記音素の並びと前記メタ情報記述子に基づいて、前記メタ情報記述子に定義された処理を、前記音素の並びを用いて実行し、
   前記メタ情報記述子候補音素は、複数であって、他の前記メタ情報記述子候補音素が検出された条件の下で初めて検出される前記メタ情報記述子候補音素を含む
   ことを特徴とする、情報処理装置の制御方法。
5. コンピュータに、
   音素と、前記音素の組み合わせからなるメタ情報記述子候補音素とを記憶する音素記憶処理と、
   音声ストリームから任意の区間を切り出す音声認識処理と、
   前記音声認識処理により切り出された前記任意の区間の音声ストリームに該当する音素候補と、前記音素記憶処理で記憶した前記音素と、を比較して一致するか否かを判断する音素比較処理と、
   前記音素比較処理により一致すると判断された前記音素に付された音素のラベルを並べた音素の並びに対して、形態素解析を行う形態素解析処理と、
   形態素解析が行われた前記音素の並びに基づいて処理を実行する実行処理と、
   を実行させるためのプログラムであって、
   前記音声認識処理では、
   前記音素候補に一致した、連続する前記音素記憶処理で記憶した前記音素が、前記メタ情報記述子候補音素と一致した場合、当該連続する音素を、メタ情報記述子として検出し、
   前記メタ情報記述子を、前記形態素解析処理にて形態素解析を行う対象である前記音素の並びから取り除くとともに、前記実行処理に出力するように、
   前記実行処理では、
   前記音素の並びと前記メタ情報記述子に基づいて、前記メタ情報記述子に定義された処理を、前記音素の並びを用いて実行するように、
   前記コンピュータに前記音声認識処理と前記実行処理とを実行させ、
   前記メタ情報記述子候補音素は、複数であって、他の前記メタ情報記述子候補音素が検出された条件の下で初めて検出される前記メタ情報記述子候補音素を含む
   ようにすることを特徴とする、プログラム。

Images