JP2016156877A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】実行動作が開始されるタイミングをユーザに容易に把握させるための技術を提供する。【解決手段】情報処理システム１０は、集音部１２０によって集音された集音情報に対して音声認識部１４５によって施される音声認識処理の認識結果に基づく所定の実行動作が、音声認識部１４５によって開始されるための開始条件（集音情報の音量が継続して基準音量を下回る継続時間が所定の目標時間に達した無音区間が検出等）を出力部１３０に出力させる出力制御部１４６、を備える、情報処理装置１４０を有する。【選択図】図４

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。

近年、マイクロフォンによって集音された情報（以下、単に「集音情報」とも言う。）に対して音声認識処理を行うことによって認識結果を得る技術が存在する。例えば、ユーザが音声認識処理を停止させるための停止操作のタイミングを誤ったとしても、音声認識処理される集音情報の終端が短くなってしまう可能性を低減する技術が開示されている（例えば、特許文献１参照）。

特開２００４−９４０７７号公報

ここで、集音情報に対して施される音声認識処理の認識結果に基づいて所定の実行動作が実行される。しかし、ユーザは実行動作が開始されるタイミングを把握するのが困難なことがある。そこで、実行動作が開始されるタイミングをユーザに容易に把握させるための技術が提供されることが望まれる。

本開示によれば、集音部によって集音された集音情報に対して音声認識部によって施される音声認識処理の認識結果に基づく所定の実行動作が前記音声認識部によって開始されるための開始条件を出力部に出力させる出力制御部、を備える、情報処理装置が提供される。

本開示によれば、プロセッサにより、集音部によって集音された集音情報に対して音声認識部によって施される音声認識処理の認識結果に基づく所定の実行動作が前記音声認識部によって開始されるための開始条件を出力部に出力させること、を含む、情報処理方法が提供される。

本開示によれば、コンピュータを、集音部によって集音された集音情報に対して音声認識部によって施される音声認識処理の認識結果に基づく所定の実行動作が前記音声認識部によって開始されるための開始条件を出力部に出力させる出力制御部、を備える情報処理装置として機能させるためのプログラムが提供される。

以上説明したように本開示によれば、実行動作が開始されるタイミングをユーザに容易に把握させることが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

一般的なシステムにおける音声認識処理を説明するための図である。 一般的なシステムにおける音声認識処理を説明するための他の図である。 本開示の実施形態に係る情報処理システムの構成例を示す図である。 本開示の実施形態に係る情報処理システムの機能構成例を示すブロック図である。 初期画面の表示から音声認識処理の実行中に表示される画面遷移の例を示す図である。 本開示の実施形態に係る情報処理システムの機能詳細について説明するための図である。 本開示の実施形態に係る情報処理システムの機能詳細について説明するための他の図である。 開始条件として表示情報を出力部に出力させる例を示す図である。 開始条件として表示情報を出力部に出力させる例を示す図である。 開始条件として音声情報を出力部に出力させる例を示す図である。 開始条件として音声情報を出力部に出力させる例を示す図である。 本開示の実施形態に係る情報処理システムの全体的な動作の流れの例を示すフローチャートである。 出力部による表示形態の変形例を示す図である。 本開示の実施形態に係る情報処理システムの全体的な動作の流れの例を示すフローチャートである。 情報処理システムのシステム構成の変形例を示す図である。 情報処理システムのシステム構成の変形例を示す図である。 情報処理システムのシステム構成の変形例を示す図である。 情報処理システムのハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、説明は以下の順序で行うものとする。
０．背景
１．本開示の実施形態
１．１．システム構成例
１．２．機能構成例
１．３．情報処理システムの機能詳細
１．４．表示形態の変形例
１．５．システム構成の変形例
１．６．ハードウェア構成例
２．むすび

＜０．背景＞
まず、図面を参照しながら本開示の実施形態の背景を説明する。図１は、一般的なシステムにおける音声認識処理を説明するための図である。以下の説明において、発話は、集音された集音情報の音量が閾値よりも大きい状態を示す。また、無音は、集音された集音情報の音量が閾値よりも小さい音量によって集音されている状態を示す。

図１に示すように、一般的なシステムにおいて、集音しつつ音声認識処理を行う（Ｓ１０１）。まず、発話区間Ｈａにおいては、集音中である旨の画面Ｇ９１が表示される。そして、音声認識処理が開始されてから集音情報の音量が継続して基準音量を下回る継続時間が所定の目標時間に達した区間（以下、「無音区間」とも言う。）が検出されると（Ｓ１０２）、システムから無音区間検出通知がなされる（Ｓ１０３）。無音区間検出通知がなされると、発話区間Ｈａにおいて集音された集音情報に対して施される音声認識処理の認識結果に基づいて所定の実行動作が実行される。

ここで、音声認識処理の認識結果に基づく実行動作は特に限定されない。例えば、音声認識処理の認識結果に基づく実行動作は、認識結果の文字列に応じた検索結果を出力させる動作、認識結果の文字列を出力させる動作、認識結果の認識過程において得られた認識結果候補を出力させる動作、認識結果の文字列から抽出される発話内容に返答するための文字列を出力させる動作のいずれか一つを含んでよい。認識結果の文字列から発話内容を抽出する手法は限定されないが、例えば、認識結果の文字列に対して自然言語処理（例えば、言語解析、意味解析など）を施すことによって発話内容が抽出されてよい。

実行動作の処理中には、実行動作の処理中である旨を示す画面Ｇ９２が表示される。そして、音声認識処理が終了すると（Ｓ１０４）、システムから音声認識処理終了通知がなされる（Ｓ１０５）。音声認識処理終了通知がなされると、実行動作の結果を示す画面Ｇ９３が表示される。実行動作の結果を示す画面Ｇ９３には、認識結果の文字列に応じた検索結果として、「襟」「競り」「蹴り」が含まれている。

図２は、一般的なシステムにおける音声認識処理を説明するための他の図である。ここで、図２のようにして、集音中である旨の画面Ｇ９１から実行動作の処理中である旨を示す画面Ｇ９２に切り替わっても、その切り替えにユーザは気づかないこともある。また、ユーザが発話しようとしたときには、集音中である旨の画面Ｇ９１が表示されていても、実際にユーザが発した音声が集音されるまでに、実行動作が始まってしまうこともある。さらに、その切り替えのタイミングをユーザが把握することが難しいこともある。

そのため、図２に示すように、無音区間Ｍａが検出されて実行動作が始まっても、ユーザが発話してしまうことがある（発話区間Ｈｂ）。その場合、無音状態の解除が検出され（Ｓ１１１）、無音状態解除通知がなされ（Ｓ１１２）、集音中である旨の画面Ｇ９１が表示され続けるが、発話区間Ｈｂに発せられた音声は実行動作に反映されないという機会損失が生じ得る。その後、ユーザが発話を止めると、無音区間Ｍｂが検出され（Ｓ１０４）、同様の動作が無音区間検出時の動作が同様に実行される。

＜１．本開示の実施形態＞
［１．１．システム構成例］
続いて、図面を参照しながら本開示の実施形態に係る情報処理システム１０の構成例について説明する。図３は、本開示の実施形態に係る情報処理システム１０の構成例を示す図である。図３に示したように、本開示の実施形態に係る情報処理システム１０は、画像入力部１１０と、操作入力部１１５と、集音部１２０と、出力部１３０とを備える。情報処理システム１０は、ユーザＵ（以下、単に「ユーザ」とも言う。）によって発せられた音声に対して音声認識処理を行うことが可能である。なお、以下の説明において、音声（ｖｏｉｃｅまたはｓｐｅｅｃｈ）と音（ｓｏｕｎｄ）とは区別して用いられる。

画像入力部１１０は、画像を入力する機能を有する。図３に示した例では、画像入力部１１０は、テーブルＴｂｌに埋め込まれた２つのカメラを含んでいる。しかし、画像入力部１１０に含まれるカメラの数は１以上であれば特に限定されない。かかる場合、画像入力部１１０に含まれる１以上のカメラそれぞれが設けられる位置も特に限定されない。また、１以上のカメラには、単眼カメラが含まれてもよいし、ステレオカメラが含まれてもよい。

操作入力部１１５は、ユーザＵの操作を入力する機能を有する。図３に示した例では、操作入力部１１５は、テーブルＴｂｌの上方に存在する天井から吊り下げられた１つのカメラを含んでいる。しかし、操作入力部１１５に含まれるカメラが設けられる位置は特に限定されない。また、カメラには、単眼カメラが含まれてもよいし、ステレオカメラが含まれてもよい。また、操作入力部１１５はユーザＵの操作を入力する機能を有していればカメラでなくてもよく、例えば、タッチパネルであってもよいし、ハードウェアボタンであってもよい。

出力部１３０は、テーブルＴｂｌに画面を表示する機能を有する。図３に示した例では、出力部１３０は、テーブルＴｂｌの上方に天井から吊り下げられている。しかし、出力部１３０が設けられる位置は特に限定されない。また、典型的には、出力部１３０は、テーブルＴｂｌの天面に画面を投影することが可能なプロジェクタであってよいが、画面を表示する機能を有すれば、他の形態のディスプレイであってもよい。

なお、本明細書では、テーブルＴｂｌの天面が画面の表示面となる場合を主に説明するが、画面の表示面は、テーブルＴｂｌの天面以外であってもよい。例えば、画面の表示面は、壁であってもよいし、建物であってもよいし、床面であってもよいし、地面であってもよいし、天井であってもよいし、他の場所にある面であってもよい。また、出力部１３０が表示面を有する場合には、画面の表示面は、出力部１３０が有する表示面であってもよい。

集音部１２０は、集音する機能を有する。図３に示した例では、集音部１２０は、テーブルＴｂｌの上方に存在する３つのマイクロフォンとテーブルＴｂｌの上面に存在する３つのマイクロフォンとの合計６つのマイクロフォンを含んでいる。しかし、集音部１２０に含まれるマイクロフォンの数は１以上であれば特に限定されない。かかる場合、集音部１２０に含まれる１以上のマイクロフォンそれぞれが設けられる位置も特に限定されない。

ただし、集音部１２０が、複数のマイクロフォンを含んでいれば、複数のマイクロフォンそれぞれによって集音された集音情報に基づいて音の到来方向が推定され得る。また、集音部１２０が指向性を有するマイクロフォンを含んでいれば、指向性を有するマイクロフォンによって集音された集音情報に基づいて音の到来方向が推定され得る。

以上、本開示の実施形態に係る情報処理システム１０の構成例について説明した。

［１．２．機能構成例］
続いて、本開示の実施形態に係る情報処理システム１０の機能構成例について説明する。図４は、本開示の実施形態に係る情報処理システム１０の機能構成例を示すブロック図である。図４に示したように、本開示の実施形態に係る情報処理システム１０は、画像入力部１１０と、操作入力部１１５と、集音部１２０と、出力部１３０と、情報処理装置１４０（以下、「制御部１４０」とも言う。）と、を備える。

情報処理装置１４０は、情報処理システム１０の各部の制御を実行する。例えば、情報処理装置１４０は、出力部１３０から出力する情報を生成する。また、例えば、情報処理装置１４０は、画像入力部１１０、操作入力部１１５および集音部１２０それぞれが入力した情報を、出力部１３０から出力する情報に反映させる。図４に示したように、情報処理装置１４０は、入力画像取得部１４１と、集音情報取得部１４２と、操作検出部１４３と、認識制御部１４４と、音声認識部１４５と、出力制御部１４６とを備える。これらの各機能ブロックについての詳細は、後に説明する。

なお、情報処理装置１４０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；中央演算処理装置）などで構成されていてもよい。情報処理装置１４０がＣＰＵなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成され得る。

以上、本開示の実施形態に係る情報処理システム１０の機能構成例について説明した。

［１．３．情報処理システムの機能詳細］
続いて、本開示の実施形態に係る情報処理システム１０の機能詳細について説明する。図５は、初期画面の表示から音声認識処理の実行中に表示される画面遷移の例を示す図である。図５を参照すると、出力制御部１４６は、初期画面Ｇ１０−１を表示させている。初期画面Ｇ１０−１には、音声認識を開始させるための音声認識開始操作オブジェクトＧ１４、音声認識によって得られた文字列（以下、「認識文字列」とも言う。）の表示欄である認識文字列表示欄Ｇ１１が含まれる。

また、初期画面Ｇ１０−１には、認識文字列を全部削除するための全削除操作オブジェクトＧ１２、認識文字列を確定するための確定操作オブジェクトＧ１３が含まれる。また、初期画面Ｇ１０−１には、認識文字列におけるカーソル位置を前に戻すための移動操作オブジェクトＧ１５、認識文字列におけるカーソル位置を後ろに進めるための移動操作オブジェクトＧ１６、カーソル位置の文字または単語を削除するための削除操作オブジェクトＧ１７が含まれる。

まず、画面Ｇ１０−２に示すように、ユーザが音声認識開始操作オブジェクトＧ１４を選択する操作を行い、音声認識開始操作オブジェクトＧ１４を選択する操作が操作入力部１１５によって入力されると、操作検出部１４３によって検出され、出力制御部１４６は、集音開始画面Ｇ１０−３を表示させる。出力制御部１４６が集音開始画面Ｇ１０−３を表示させると、ユーザは集音部１２０に向かって発話を開始する。

集音中画面Ｇ１０−４に示すように、集音部１２０によって集音された集音情報が集音情報取得部１４２によって取得されると、出力制御部１４６は、所定のオブジェクト（以下、「表示オブジェクト」とも言う。）Ｍｕを表示させる。表示オブジェクトＭｕは、静止していてもよいし、画面Ｇ１０−４に示したように動きを有していてもよい。例えば、表示オブジェクトＭｕが動きを有する場合、表示オブジェクトＭｕの移動方向Ｄｅは、ユーザによる発話音声の音源から集音部１２０への到来方向に応じて決まってよい。なお、ユーザによる発話音声の到来方向の推定手法も特に限定されない。

例えば、認識制御部１４４は、音声認識開始操作オブジェクトＧ１４を選択する操作を行ったユーザの指方向（例えば、指の根元から指先への方向）に一致または類似する１の到来方向をユーザによる発話音声の到来方向として推定してもよい。類似範囲はあらかじめ定められていてよい。また、指方向は入力画像を解析することによって取得されてよい。

あるいは、認識制御部１４４は、集音部１２０によって入力された音の到来方向をユーザによる発話音声の到来方向として推定してもよい。音の到来方向が複数あった場合には、複数の到来方向のうち最初に入力された音の到来方向をユーザによる発話音声の到来方向として推定してもよいし、複数の到来方向のうち音声認識開始操作オブジェクトＧ１４を選択する操作を行ったユーザの指方向に一致または類似する１の到来方向をユーザによる発話音声の到来方向として推定してもよい。

あるいは、認識制御部１４４は、複数の到来方向のうち集音部１２０によって最も大きな音量で入力された音の到来方向をユーザによる発話音声の到来方向として推定してもよい。このようにしてユーザによる発話音声の到来方向が推定され得る。一方において、認識制御部１４４は、ユーザによる発話音声の到来方向以外の方向から集音部１２０によって入力された音をノイズとして取得してよい。

また、図５には、出力制御部１４６が、ユーザによる発話音声の到来方向（移動方向Ｄｅ）に表示オブジェクトＭｕを移動させる例が示されている。これによって、ユーザは自分の発話音声が集音部１２０によって集音されていることを直感的に把握することが可能となる。しかし、表示オブジェクトＭｕの動きは、かかる動きに限定されない。また、図５には、表示オブジェクトＭｕの移動先が、音声認識開始操作オブジェクトＧ１４である例が示されている。しかし、表示オブジェクトＭｕの移動先は、かかる例に限定されない。

また、図５には、出力制御部１４６が、集音部１２０による集音に応じて次々と出現した円形状の表示オブジェクトＭｕを移動させる例が示されているが、表示オブジェクトＭｕの表示態様はかかる例に限定されない。例えば、出力制御部１４６は、集音情報に応じた所定の情報（例えば、集音情報の音声らしさ、音量など）に基づいて表示オブジェクトＭｕの各種パラメータを制御してよい。このときに用いられる集音情報は、ユーザによる発話音声の到来方向からの集音情報であるとよい。また、表示オブジェクトＭｕのパラメータは、表示オブジェクトＭｕの形状、透明度、色、サイズおよび動きのうち、少なくともいずれか一つを含んでもよい。

なお、集音情報から音声らしさを評価する手法は特に限定されない。例えば、集音情報から音声らしさを評価する手法として、特許文献（特開２０１０−３８９４３号公報）に記載されている手法を採用することも可能である。また、例えば、集音情報から音声らしさを評価する手法として、特許文献（特開２００７−３２８２２８号公報）に記載されている手法を採用することも可能である。ここでは、音声らしさの評価が、出力制御部１４６によって行われる例を説明するが、音声らしさの評価は、図示しないサーバによって行われてもよい。

認識制御部１４４は、集音情報取得部１４２によって取得された集音情報に対する音声認識を音声認識部１４５に開始させる。音声認識を開始させるタイミングは限定されない。例えば、認識制御部１４４は、表示オブジェクトＭｕが音声認識開始操作オブジェクトＧ１４に到達してから、表示オブジェクトＭｕに対応する集音情報に対する音声認識を音声認識部１４５に開始させてよい。

以上、初期画面の表示から音声認識処理の実行中に表示される画面遷移の例について説明した。図６は、本開示の実施形態に係る情報処理システム１０の機能詳細について説明するための図である。図６に示すように、ユーザが発話を開始し、音声らしさが所定の閾値を超える集音情報が集音されると、音声認識処理が開始され、出力制御部１４６は、表示オブジェクトＭｕを表示させる（時刻Ｔ１０）。

ユーザが発話を終了し（時刻Ｔ１１）、無音が検出されると、出力制御部１４６は、継続時間の開始（例えば、タイムアウトバーＧ２１−１）を出力部１３０に出力させる（時刻Ｔ１２）。そして、出力制御部１４６は、実行動作が音声認識部１４５によって開始されるための開始条件を出力部１３０に出力させる（時刻Ｔ１３）。かかる構成によれば、実行動作が開始されるタイミングをユーザに容易に把握させることが可能となる。

開始条件としては、無音の継続時間が目標時間に達するまでの残り時間に関する情報が表示されてもよい。残り時間に関する情報は、図６に示すように、目標時間に対する残り時間の割合を示す表示オブジェクト（タイムアウトバーＧ２１−２）を含んでもよい。あるいは、残り時間に関する情報は、残り時間自体を含んでもよい。あるいは、開始条件は、実行動作を開始させるために必要なユーザ操作に関する情報を含んでもよい。

続いて、出力制御部１４６は、無音の継続時間が目標時間に達する前に、音量が基準音量を超える新たな集音情報が集音されない場合、タイムアウトバーＧ２１−３に示すように、開始条件を更新する（時刻Ｔ１４）。このとき、音声らしさが考慮されてもよい。すなわち、出力制御部１４６は、無音の継続時間が目標時間に達する前に、音声らしさが所定の音声らしさを超える新たな集音情報が集音されない場合、開始条件を更新してもよい。

出力制御部１４６は、無音の継続時間が目標時間に達した場合（開始条件が満たされた場合）、出力部１３０による開始条件（タイムアウトバーＧ２１−４）の出力を停止させ（時刻Ｔ１５）、無音の継続時間が目標時間に達した旨を出力部１３０に出力させる（時刻Ｔ１６）。図６に示した例では、音声認識開始操作オブジェクトＧ２２に「お待ちください」を表示させている。また、認識制御部１４４は、音声認識処理を音声認識部１４５に行わせるが、無音の継続時間が目標時間に達した場合に、実行動作を音声認識部１４５に開始させる。

図７は、本開示の実施形態に係る情報処理システム１０の機能詳細について説明するための他の図である。図７に示した例において、図６に示した例と異なる点は、無音の継続時間が目標時間に達しないうちに、音量が基準音量を超える新たな集音情報が集音される点である。図７に示すように、ユーザが発話を再開し（時刻Ｔ２１）、出力制御部１４６は、無音の継続時間が目標時間に達しないうちに、音量が基準音量を超える新たな集音情報が集音された場合（時刻Ｔ２２）、開始条件（タイムアウトバーＧ２１−３）の出力を停止させる。

音声らしさが考慮されてもよい。すなわち、出力制御部１４６は、無音の継続時間が目標時間に達しないうちに、音声らしさが所定の音声らしさを超える新たな集音情報が集音された場合、開始条件（タイムアウトバーＧ２１−３）の出力を停止してもよい。音声認識処理が再開されると（時刻Ｔ２３）、出力制御部１４６は、表示オブジェクトＭｕを表示させる。

なお、出力制御部１４６は、目標時間が所定の基準時間よりも短い場合には、開始条件を出力部１３０に出力させなくてもよい。また、出力制御部１４６は、認識結果の量に応じて、残り時間の長さを制御してもよい。例えば、音声認識処理の結果は、分量が多くなるにつれて音声認識処理の認識結果に基づく実行動作に適さなくなると考えられる。そのため、出力制御部１４６は、音声認識処理の結果が多くなるほど残り時間の長さを短くしてもよい。

出力制御部１４６は、開始条件として所定の表示情報を出力部１３０に出力させてよい。図８および図９は、開始条件として表示情報を出力部１３０に出力させる例を示す図である。図８には、音声認識開始操作オブジェクトＧ１４に含まれる表示内容を徐々に消去する例が示されている。また、図９には、音声認識開始操作オブジェクトＧ１４の色を徐々に変化させていく例が示されている。

また、出力制御部１４６は、開始条件として所定の表示情報を出力部１３０に出力させてもよい。図１０および図１１は、開始条件として音声情報を出力部１３０に出力させる例を示す図である。図１０には、時刻Ｔ５１から時刻Ｔ５４までに、音声認識処理の開始タイミング（時刻Ｔ５４）を知らせる音声情報が出力される例が示されている。また、図１１には、時刻Ｔ６１から時刻Ｔ６４までに、音声認識処理の開始タイミング（時刻Ｔ６４）を知らせる音声情報が出力される例が示されている。

以上、本開示の実施形態に係る情報処理システム１０の機能詳細について説明した。

続いて、本開示の実施形態に係る情報処理システム１０の全体的な動作の流れについて説明する。図１２は、本開示の実施形態に係る情報処理システム１０の全体的な動作の流れの例を示すフローチャートである。なお、図１２のフローチャートは、本開示の実施形態に係る情報処理システム１０の全体的な動作の流れの例に過ぎないため、本開示の実施形態に係る情報処理システム１０の全体的な動作の流れは、図１４のフローチャートに示された例に限定されない。

まず、出力制御部１４６は、音声らしい音が検出されると（Ｓ１２１）、音声が入力されていることを出力させる（Ｓ１２２）。出力制御部１４６は、無音が検出されない場合には（Ｓ１２３において「Ｎｏ」）、Ｓ１２２に動作を移行するが、無音が検出された場合（Ｓ１２３において「Ｙｅｓ」）、無音検出したことを出力させ（Ｓ１２４）、実行動作の開始条件を出力する（Ｓ１２５）。

続いて、出力制御部１４６は、音声らしい音が検出されると（Ｓ１２６において「Ｙｅｓ」）、開始条件の出力を停止させ（Ｓ１２７）、Ｓ１２２に動作を移行させるが、音声らしい音が検出されない場合には（Ｓ１２６において「Ｎｏ」）、開始条件を更新して出力させ直す（Ｓ１２８）。続いて、出力制御部１４６は、開始条件が満たされない場合には（Ｓ１２９において「Ｎｏ」）、Ｓ１２６に動作を移行させるが、開始条件が満たされた場合には（Ｓ１２９において「Ｙｅｓ」）、実行動作を開始することを出力させ（Ｓ１３０）、実行動作の結果を出力させる（Ｓ１３１）。

以上、情報処理システム１０の全体的な動作の流れについて説明した。

［１．４．表示形態の変形例］
上記においては、出力部１３０がテーブルＴｂｌの天面に画面を投影することが可能なプロジェクタである例について説明した。しかし、出力部１３０による表示形態は、かかる例に限定されない。以下では、出力部１３０による表示形態の変形例について説明する。図１３は、出力部１３０による表示形態の変形例を示す図である。図１３に示すように、情報処理システム１０が携帯端末である場合に、出力部１３０は、携帯端末に備わっていてもよい。携帯端末の種類は特に限定されず、タブレット端末であってもよいし、スマートフォンであってもよいし、携帯電話であってもよい。

［１．５．システム構成の変形例］
上記においては、出力部１３０がテーブルＴｂｌの天面に画面を投影することが可能なプロジェクタである例について説明した。しかし、情報処理システム１０の構成は、かかる例に限定されない。図１４〜図１７は、情報処理システム１０のシステム構成の変形例１を示す図である。図１４〜図１７に示すように、出力部１３０は、テレビジョン装置であり、情報処理装置１４０は、ゲーム機であり、操作入力部１１５は、ゲーム機を操作するコントローラであってよい。

また、図１４に示すように、集音部１２０および出力部１３０は、操作入力部１１５に接続されていてもよい。また、図１５に示すように、画像入力部１１０および集音部１２０は、情報処理装置１４０に接続されていてもよい。また、図１６に示すように、操作入力部１１５、集音部１２０および出力部１３０は、情報処理装置１４０に接続されたスマートフォンに備えられていてもよい。また、図１７に示すように、集音部１２０は、テレビジョン装置に備えられていてもよい。

［１．６．ハードウェア構成例］
次に、図１８を参照して、本開示の実施形態に係る情報処理システム１０のハードウェア構成について説明する。図１８は、本開示の実施形態に係る情報処理システム１０のハードウェア構成例を示すブロック図である。

図１８に示すように、情報処理システム１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０５を含む。また、情報処理システム１０は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理システム１０は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理システム１０は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理システム１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理システム１０の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理システム１０に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などであり得る。出力装置９１７は、情報処理システム１０の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。また、出力装置９１７は、周囲を明るくするためライトなどを含んでもよい。

ストレージ装置９１９は、情報処理システム１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理システム１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器を情報処理システム１０に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理システム１０と外部接続機器９２９との間で各種のデータが交換され得る。

通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カードなどであり得る。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

撮像装置９３３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理システム１０の筐体の姿勢など、情報処理システム１０自体の状態に関する情報や、情報処理システム１０の周辺の明るさや騒音など、情報処理システム１０の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

以上、情報処理システム１０のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。

＜２．むすび＞
以上説明したように、本開示の実施形態によれば、集音部１２０によって集音された集音情報に対して音声認識部１４５によって施される音声認識処理の認識結果に基づく所定の実行動作が音声認識部１４５によって開始されるための開始条件を出力部１３０に出力させる出力制御部１４６、を備える、情報処理装置１４０が提供される。かかる構成によれば、実行動作が開始されるタイミングをユーザに容易に把握させることが可能となる。

また、かかる構成によれば、実行動作の間にユーザに発話させる可能性を低減することが可能となる。また、かかる構成によれば、発話が有効になるタイミングをユーザに把握させることが可能となるため、複数の文章の音声入力を行わせることが容易になることが期待される。また、かかる構成によれば、実行動作がなされるタイミングをユーザに意識させながらユーザに発話を行わせることが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記においては、出力部１３０による表示形態の変形例を説明したが、出力部１３０による表示形態は、上記した例に限定されない。例えば、出力部１３０は、ヘッドマウントディスプレイ以外のウェアラブル端末（例えば、時計、眼鏡など）に備わるディスプレイであってもよい。また、例えば、出力部１３０は、車載向けナビゲーションシステムに備わるディスプレイであってもよい。また、例えば、出力部１３０は、ヘルスケア分野において利用されるディスプレイであってもよい。

また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した情報処理システム１０が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。

また、出力制御部１４６は、出力部１３０に表示内容を表示させるための表示制御情報を生成し、生成した表示制御情報を出力部１３０に出力することで、当該表示内容が出力部１３０に表示されるように出力部１３０を制御することが可能である。かかる表示制御情報の内容はシステム構成にあわせて適宜変更されてよい。

具体的な一例として、情報処理装置１４０を実現するためのプログラムは、ウェブアプリケーションであってもよい。かかる場合、表示制御情報は、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ＳＧＭＬ（Ｓｔａｎｄａｒｄ Ｇｅｎｅｒａｌｉｚｅｄ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）などのマークアップ言語により実現されてもよい。

なお、上述した情報処理システム１０の動作が実現されれば、各構成の位置は特に限定されない。具体的な一例として、画像入力部１１０、操作入力部１１５および集音部１２０と出力部１３０と情報処理装置１４０とは、ネットワークを介して接続された互いに異なる装置に設けられてもよい。この場合には、情報処理装置１４０が、例えば、ウェブサーバやクラウドサーバのようなサーバに相当し、画像入力部１１０、操作入力部１１５および集音部１２０と出力部１３０とが当該サーバにネットワークを介して接続されたクライアントに相当し得る。

また、情報処理装置１４０が有するすべての構成要素が同一の装置に収まっていなくてもよい。例えば、入力画像取得部１４１と、集音情報取得部１４２と、操作検出部１４３と、認識制御部１４４と、音声認識部１４５と、出力制御部１４６とのうち、一部は情報処理装置１４０とは異なる装置に存在していてもよい。例えば、音声認識部１４５は、入力画像取得部１４１と、集音情報取得部１４２と、操作検出部１４３と、認識制御部１４４と、出力制御部１４６とを備える情報処理装置１４０とは異なるサーバに存在していてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
集音部によって集音された集音情報に対して音声認識部によって施される音声認識処理の認識結果に基づく所定の実行動作が前記音声認識部によって開始されるための開始条件を出力部に出力させる出力制御部、
を備える、情報処理装置。
（２）
前記情報処理装置は、前記音声認識処理を前記音声認識部に行わせる認識制御部を備える、
前記（１）に記載の情報処理装置。
（３）
前記認識制御部は、前記開始条件が満たされた場合に、前記実行動作を前記音声認識部に開始させる、
前記（２）に記載の情報処理装置。
（４）
前記認識制御部は、前記音声認識処理が開始されてから前記集音情報の音量が継続して基準音量を下回る継続時間が所定の目標時間に達した場合に、前記実行動作を前記音声認識部に開始させる、
前記（２）または（３）に記載の情報処理装置。
（５）
前記開始条件は、前記継続時間が前記目標時間に達するまでの残り時間に関する情報を含む、
前記（４）に記載の情報処理装置。
（６）
前記残り時間に関する情報は、前記目標時間に対する前記残り時間の割合を示す所定の表示オブジェクトおよび前記残り時間自体のうち少なくともいずれか一方を含む、
前記（５）に記載の情報処理装置。
（７）
前記出力制御部は、前記音声認識処理が開始されてから前記集音情報の音量が継続して基準音量を下回る継続時間が所定の目標時間に達した場合に、前記出力部による前記開始条件の出力を停止させる、
前記（２）または（３）に記載の情報処理装置。
（８）
前記出力制御部は、前記音声認識処理が開始されてから前記集音情報の音量が前記基準音量を下回った場合に、前記継続時間の開始を前記出力部に出力させる、
前記（４）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記出力制御部は、前記継続時間が前記目標時間に達する前に、音量が前記基準音量を超える新たな集音情報が集音されない場合、前記出力部によって出力されている前記開始条件を更新する、
前記（４）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記出力制御部は、前記継続時間が前記目標時間に達する前に、音声らしさが所定の音声らしさを超える新たな集音情報が集音されない場合、前記出力部によって出力されている前記開始条件を更新する、
前記（４）〜（８）のいずれか一項に記載の情報処理装置。
（１１）
前記出力制御部は、前記継続時間が前記目標時間に達しないうちに、音量が前記基準音量を超える新たな集音情報が集音された場合、前記出力部による前記開始条件の出力を停止させる、
前記（４）〜（８）のいずれか一項に記載の情報処理装置。
（１２）
前記出力制御部は、前記継続時間が前記目標時間に達しないうちに、音声らしさが所定の音声らしさを超える新たな集音情報が集音された場合、前記出力部による前記開始条件の出力を停止させる、
前記（４）〜（８）のいずれか一項に記載の情報処理装置。
（１３）
前記出力制御部は、前記目標時間が所定の基準時間よりも短い場合には、前記開始条件を前記出力部に出力させない、
前記（４）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
前記出力制御部は、前記認識結果の量に応じて、前記残り時間の長さを制御する、
前記（５）または（６）に記載の情報処理装置。
（１５）
前記認識制御部は、前記集音情報の音声らしさが閾値を超える場合に、前記集音情報に対して前記音声認識処理を行わせる、
前記（２）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記出力制御部は、前記開始条件として所定の表示情報および所定の音声情報のうち少なくともいずれか一方を前記出力部に出力させる、
前記（１）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
前記実行動作は、前記認識結果の文字列に応じた検索結果を出力させる動作、前記認識結果の文字列を出力させる動作、前記認識結果の認識過程において得られた認識結果候補を出力させる動作および前記認識結果の文字列から抽出される発話内容に返答するための文字列を出力させる動作のいずれか一つを含む、
前記（１）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
前記開始条件は、前記実行動作を開始させるために必要なユーザ操作に関する情報を含む、
前記（１）〜（３）のいずれか一項に記載の情報処理装置。
（１９）
プロセッサにより、集音部によって集音された集音情報に対して音声認識部によって施される音声認識処理の認識結果に基づく所定の実行動作が前記音声認識部によって開始されるための開始条件を出力部に出力させること、
を含む、情報処理方法。
（２０）
コンピュータを、
集音部によって集音された集音情報に対して音声認識部によって施される音声認識処理の認識結果に基づく所定の実行動作が前記音声認識部によって開始されるための開始条件を出力部に出力させる出力制御部、
を備える情報処理装置として機能させるためのプログラム。

１０ 情報処理システム
１１０ 画像入力部
１１５ 操作入力部
１２０ 集音部
１３０ 出力部
１４０ 情報処理装置（制御部）
１４１ 入力画像取得部
１４２ 集音情報取得部
１４３ 操作検出部
１４４ 認識制御部
１４５ 音声認識部
１４６ 出力制御部

Claims (20)

1. 集音部によって集音された集音情報に対して音声認識部によって施される音声認識処理の認識結果に基づく所定の実行動作が前記音声認識部によって開始されるための開始条件を出力部に出力させる出力制御部、
   を備える、情報処理装置。
2. 前記情報処理装置は、前記音声認識処理を前記音声認識部に行わせる認識制御部を備える、
   請求項１に記載の情報処理装置。
3. 前記認識制御部は、前記開始条件が満たされた場合に、前記実行動作を前記音声認識部に開始させる、
   請求項２に記載の情報処理装置。
4. 前記認識制御部は、前記音声認識処理が開始されてから前記集音情報の音量が継続して基準音量を下回る継続時間が所定の目標時間に達した場合に、前記実行動作を前記音声認識部に開始させる、
   請求項２に記載の情報処理装置。
5. 前記開始条件は、前記継続時間が前記目標時間に達するまでの残り時間に関する情報を含む、
   請求項４に記載の情報処理装置。
6. 前記残り時間に関する情報は、前記目標時間に対する前記残り時間の割合を示す所定の表示オブジェクトおよび前記残り時間自体のうち少なくともいずれか一方を含む、
   請求項５に記載の情報処理装置。
7. 前記出力制御部は、前記音声認識処理が開始されてから前記集音情報の音量が継続して基準音量を下回る継続時間が所定の目標時間に達した場合に、前記出力部による前記開始条件の出力を停止させる、
   請求項２に記載の情報処理装置。
8. 前記出力制御部は、前記音声認識処理が開始されてから前記集音情報の音量が前記基準音量を下回った場合に、前記継続時間の開始を前記出力部に出力させる、
   請求項４に記載の情報処理装置。
9. 前記出力制御部は、前記継続時間が前記目標時間に達する前に、音量が前記基準音量を超える新たな集音情報が集音されない場合、前記出力部によって出力されている前記開始条件を更新する、
   請求項４に記載の情報処理装置。
10. 前記出力制御部は、前記継続時間が前記目標時間に達する前に、音声らしさが所定の音声らしさを超える新たな集音情報が集音されない場合、前記出力部によって出力されている前記開始条件を更新する、
    請求項４に記載の情報処理装置。
11. 前記出力制御部は、前記継続時間が前記目標時間に達しないうちに、音量が前記基準音量を超える新たな集音情報が集音された場合、前記出力部による前記開始条件の出力を停止させる、
    請求項４に記載の情報処理装置。
12. 前記出力制御部は、前記継続時間が前記目標時間に達しないうちに、音声らしさが所定の音声らしさを超える新たな集音情報が集音された場合、前記出力部による前記開始条件の出力を停止させる、
    請求項４に記載の情報処理装置。
13. 前記出力制御部は、前記目標時間が所定の基準時間よりも短い場合には、前記開始条件を前記出力部に出力させない、
    請求項４に記載の情報処理装置。
14. 前記出力制御部は、前記認識結果の量に応じて、前記残り時間の長さを制御する、
    請求項５に記載の情報処理装置。
15. 前記認識制御部は、前記集音情報の音声らしさが閾値を超える場合に、前記集音情報に対して前記音声認識処理を行わせる、
    請求項２に記載の情報処理装置。
16. 前記出力制御部は、前記開始条件として所定の表示情報および所定の音声情報のうち少なくともいずれか一方を前記出力部に出力させる、
    請求項１に記載の情報処理装置。
17. 前記実行動作は、前記認識結果の文字列に応じた検索結果を出力させる動作、前記認識結果の文字列を出力させる動作、前記認識結果の認識過程において得られた認識結果候補を出力させる動作および前記認識結果の文字列から抽出される発話内容に返答するための文字列を出力させる動作のいずれか一つを含む、
    請求項１に記載の情報処理装置。
18. 前記開始条件は、前記実行動作を開始させるために必要なユーザ操作に関する情報を含む、
    請求項１に記載の情報処理装置。
19. プロセッサにより、集音部によって集音された集音情報に対して音声認識部によって施される音声認識処理の認識結果に基づく所定の実行動作が前記音声認識部によって開始されるための開始条件を出力部に出力させること、
    を含む、情報処理方法。
20. コンピュータを、
    集音部によって集音された集音情報に対して音声認識部によって施される音声認識処理の認識結果に基づく所定の実行動作が前記音声認識部によって開始されるための開始条件を出力部に出力させる出力制御部、
    を備える情報処理装置として機能させるためのプログラム。
    

Images