JP2016181018A - 情報処理システムおよび情報処理方法 - Google Patents

Abstract

【課題】ユーザに対して情報入力をより柔軟に行わせることが可能な技術が提供されることが望まれる。【解決手段】情報入力モードとして文字単位入力モードが実行されているときに所定の第１のトリガが検出された場合に、前記情報入力モードを前記文字単位入力モードから句単位入力モードに切り替えるモード制御部、を備える、情報処理システムが提供される。【選択図】図９

Description

本開示は、情報処理システムおよび情報処理方法に関する。

近年、情報入力のためにユーザに掛かる負荷を軽減するための様々な技術が開示されている。例えば、ユーザによって入力された文章を分割して所定の欄に挿入または修正する技術が開示されている（例えば、特許文献１参照。）。また、情報入力の形式としては、一文字単位で情報を入力する形式が普及している。

特開２０１２−５３６３４号公報

しかし、常に一文字単位でユーザに情報入力を行わせる場合、ユーザに対して情報入力を柔軟に行わせることが困難である。そこで、ユーザに対して情報入力をより柔軟に行わせることが可能な技術が提供されることが望まれる。

本開示によれば、情報入力モードとして文字単位入力モードが実行されているときに所定の第１のトリガが検出された場合に、前記情報入力モードを前記文字単位入力モードから句単位入力モードに切り替えるモード制御部、を備える、情報処理システムが提供される。

本開示によれば、プロセッサにより、情報入力モードとして文字単位入力モードが実行されているときに所定の第１のトリガが検出された場合に、前記情報入力モードを前記文字単位入力モードから句単位入力モードに切り替えること、を含む、情報処理方法が提供される。

以上説明したように本開示によれば、ユーザに対して情報入力をより柔軟に行わせることが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の実施形態に係る情報処理システムの構成例を示す図である。 同実施形態に係る情報処理システムの機能構成例を示すブロック図である。 文字単位入力モードおよび句単位入力モードそれぞれにおいて表示される画面の例を示す図である。 句単位挿入モード、句単位上書きモードおよび句単位入れ替えモードそれぞれの間の情報入力モードの切り替えの例について説明するための図である。 カーソルの位置を移動させる手法の例を説明するための図である。 カーソルの位置を移動させる手法の例を説明するための図である。 カーソルの位置を移動させる手法の例を説明するための図である。 カーソルの位置を移動させる手法の例を説明するための図である。 句単位挿入モードと句単位上書きモードとが共存する場合について説明するための図である。 句単位上書きモードと句単位入れ替えモードとが共存する場合について説明するための図である。 句単位挿入モードと句単位上書きモードと句単位入れ替えモードとが共存する場合について説明するための図である。 文字単位入力モードにおいて入力された情報を句化しない場合を説明するための図である。 カーソルを音声によって移動させる例を説明するための図である。 カーソルを音声によって移動させる例を説明するための図である。 カーソルを音声によって移動させる例を説明するための図である。 カーソルを音声によって移動させる例を説明するための図である。 翻訳前に改善すべき部分をユーザに提示する例を示す図である。 情報処理システムのシステム構成の変形例を示す図である。 情報処理システムのシステム構成の変形例を示す図である。 情報処理システムのシステム構成の変形例を示す図である。 情報処理システムのシステム構成の変形例を示す図である。 情報処理システムのハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、説明は以下の順序で行うものとする。
１．本開示の実施形態
１．１．システム構成例
１．２．機能構成例
１．３．情報処理システムの機能詳細
１．４．システム構成の変形例
１．５．ハードウェア構成例
２．むすび

＜１．本開示の実施形態＞
［１．１．システム構成例］
まず、図面を参照しながら本開示の実施形態に係る情報処理システム１０の構成例について説明する。図１は、本開示の実施形態に係る情報処理システム１０の構成例を示す図である。図１に示したように、本開示の実施形態に係る情報処理システム１０は、画像入力部１１０と、操作入力部１１５と、集音部１２０と、出力部１３０とを備える。情報処理システム１０は、ユーザＵ（以下、単に「ユーザ」とも言う。）によって発せられた音声に対して音声認識処理を行うことが可能である。

図１に示した例では、情報処理システム１０はタブレット端末であるが、情報処理システム１０の形態は特に限定されない。例えば、情報処理システム１０は、スマートフォンであってもよいし、携帯電話であってもよい。あるいは、後に説明するように、情報処理システム１０は、ゲーム機などであってもよい。なお、以下の説明において、音声（ｖｏｉｃｅまたはｓｐｅｅｃｈ）と音（ｓｏｕｎｄ）とは区別して用いられる。

画像入力部１１０は、画像を入力する機能を有する。図１に示した例では、画像入力部１１０は、情報処理システム１０に埋め込まれた２つのカメラを含んでいる。しかし、画像入力部１１０に含まれるカメラの数は１以上であれば特に限定されない。かかる場合、画像入力部１１０に含まれる１以上のカメラそれぞれが設けられる位置も特に限定されない。また、１以上のカメラには、単眼カメラが含まれてもよいし、ステレオカメラが含まれてもよい。

操作入力部１１５は、ユーザＵの操作を入力する機能を有する。図１に示した例では、操作入力部１１５は、タッチパネルを含んでいる。タッチパネルが採用する方式は特に限定されず、静電容量方式であってもよいし、抵抗膜方式であってもよいし、赤外線方式であってもよいし、超音波方式であってもよい。また、操作入力部１１５はユーザＵの操作を入力する機能を有していればタッチパネルでなくてもよく、例えば、カメラであってもよいし、ハードウェアボタンであってもよい。

出力部１３０は、画面を表示する機能を有する。図１に示した例では、出力部１３０は、操作入力部１１５に積層されており、操作入力部１１５と出力部１３０との間で対応する位置同士が重なり合っている。しかし、出力部１３０が設けられる位置は特に限定されない。また、典型的には、出力部１３０は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどであってよいが、画面を表示する機能を有すれば、他の形態のディスプレイであってもよい。

集音部１２０は、集音によって音情報を得る機能を有する。図１に示した例では、集音部１２０は、タブレット端末の上端に存在する３つのマイクロフォンとタブレット端末の下端に存在する３つのマイクロフォンとの合計６つのマイクロフォンを含んでいる。しかし、集音部１２０に含まれるマイクロフォンの数は１以上であれば特に限定されない。また、集音部１２０に含まれる１以上のマイクロフォンそれぞれが設けられる位置も特に限定されない。

ただし、集音部１２０が、複数のマイクロフォンを含んでいれば、複数のマイクロフォンそれぞれの集音によって得られた音情報に基づいて音の到来方向が推定され得る。また、集音部１２０が指向性を有するマイクロフォンを含んでいれば、指向性を有するマイクロフォンの集音によって得られた音情報に基づいて音の到来方向が推定され得る。

以上、本開示の実施形態に係る情報処理システム１０の構成例について説明した。

［１．２．機能構成例］
続いて、本開示の実施形態に係る情報処理システム１０の機能構成例について説明する。図２は、本開示の実施形態に係る情報処理システム１０の機能構成例を示すブロック図である。図２に示したように、本開示の実施形態に係る情報処理システム１０は、画像入力部１１０と、操作入力部１１５と、集音部１２０と、出力部１３０と、情報処理装置１４０（以下、「制御部１４０」とも言う。）と、を備える。

情報処理装置１４０は、情報処理システム１０の各部の制御を実行する。例えば、情報処理装置１４０は、出力部１３０から出力する情報を生成する。また、例えば、情報処理装置１４０は、画像入力部１１０、操作入力部１１５および集音部１２０それぞれが入力した情報を、出力部１３０から出力する情報に反映させる。図２に示したように、情報処理装置１４０は、入力画像取得部１４１と、音情報取得部１４２と、操作検出部１４３と、モード制御部１４４と、認識制御部１４５と、音声認識部１４６と、出力制御部１４７とを備える。これらの各機能ブロックについての詳細は、後に説明する。

なお、情報処理装置１４０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；中央演算処理装置）などで構成されていてもよい。情報処理装置１４０がＣＰＵなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成され得る。

以上、本開示の実施形態に係る情報処理システム１０の機能構成例について説明した。

［１．３．情報処理システムの機能詳細］
続いて、本開示の実施形態に係る情報処理システム１０の機能詳細について説明する。本開示の実施形態においては、モード制御部１４４が、情報入力モードとして文字単位入力モードが実行されているときに所定の第１のトリガが検出された場合に、情報入力モードを文字単位入力モードから句単位入力モードに切り替える。かかる構成によれば、第１のトリガが検出された場合に、情報入力モードが自動的に文字単位入力モードから句単位入力モードに切り替わるため、ユーザに対して情報入力をより柔軟に行わせることが可能となる。

ここで、第１のトリガは、特に限定されないが、例えば、所定の音声入力開始トリガを含んでよい。音声入力開始トリガは、特に限定されないが、例えば、ユーザによる所定の音声入力開始操作を含んでよい。音声入力開始操作も特に限定されないが、例えば、音声入力開始ボタンを押下する操作（例えば、出力部１３０によって表示されている音声入力開始操作オブジェクトを押下する操作、音声入力を開始するためのハードウェアボタンを押下する操作など）であってもよい。

あるいは、音声入力開始操作は、所定の音声入力開始コマンド（例えば、「音声」という発話など）を実行する操作であってもよい。あるいは、音声入力開始操作は、所定の音声入力開始ジェスチャ（例えば、手の振り上げ、手の振り下ろし、顔の動き（例えば、うなずき、左右に顔を傾ける動作など）など）であってもよい。あるいは、音声入力開始操作は、情報処理システム１０に与えられる所定の音声入力開始動き（例えば、情報処理システム１０の振り上げ、情報処理システム１０の振り下げなど）であってもよい。

また、音声入力開始トリガは、音声らしさが閾値を上回る音情報が集音部１２０から取得されたことを含んでもよい。以下では、音声入力開始トリガが、音声入力開始操作であり、特に、出力部１３０に表示されている音声入力開始操作オブジェクトを押下する操作である場合を例として説明する。すなわち、操作検出部１４３によって、音声入力開始操作オブジェクトを押下する操作が検出されると、音声入力が開始される。

なお、音情報から音声らしさを評価する手法は特に限定されない。例えば、音情報から音声らしさを評価する手法として、特許文献（特開２０１０−３８９４３号公報）に記載されている手法を採用することも可能である。また、例えば、音情報から音声らしさを評価する手法として、特許文献（特開２００７−３２８２２８号公報）に記載されている手法を採用することも可能である。ここでは、音声らしさの評価が、モード制御部１４４によって行われる例を説明するが、音声らしさの評価は、図示しないサーバによって行われてもよい。

一方、モード制御部１４４は、情報入力モードとして句単位入力モードが実行されているときに所定の第２のトリガが検出された場合に、情報入力モードを句単位入力モードから文字単位入力モードに切り替える。かかる構成によれば、第２のトリガが検出された場合に、情報入力モードが自動的に句単位入力モードから文字単位入力モードに切り替わるため、ユーザに対して情報入力をさらに柔軟に行わせることが可能となる。

ここで、第２のトリガは、特に限定されないが、例えば、所定の音声入力終了トリガを含んでよい。音声入力終了トリガは、特に限定されないが、例えば、ユーザによる所定の音声入力終了操作を含んでもよい。音声入力終了操作も特に限定されないが、例えば、音声入力終了ボタンを押下する操作（例えば、出力部１３０によって表示されている音声入力終了操作オブジェクトを押下する操作、音声入力を終了するためのハードウェアボタンを押下する操作など）であってよい。

あるいは、音声入力終了操作は、所定の音声入力終了コマンド（例えば、「Ｑｗｅｒｔｙ」という発話など）を実行する操作であってもよい。あるいは、音声入力終了操作は、所定の音声入力終了ジェスチャ（例えば、音声入力開始ジェスチャの例として列挙したジェスチャのうち、音声入力開始ジェスチャと重複しないジェスチャなど）であってもよい。あるいは、音声入力終了操作は、情報処理システム１０に与えられる所定の音声入力終了動き（例えば、音声入力開始動きの例として列挙した動きのうち、音声入力開始動きと重複しない動きなど）であってもよい。

あるいは、音声入力終了トリガは、音声認識処理の終了を含んでもよい。音声認識処理は、音声認識処理が開始されてから所定の時間が経過したときに終了してもよい。あるいは、音声認識処理は、音声認識処理が開始された後、集音部１２０から取得される音情報の音量が所定の閾値を下回る時間が所定の継続時間を超えたときに終了してもよい。以下では、音声入力終了トリガが音声認識処理の終了である場合を例として説明する。すなわち、音声認識処理が終了すると、音声入力が終了される。

句は１以上の単語によって構成され、ユーザが発話しやすい単位で区切られるのが好ましい。例えば、句は、文節を含んでもよく、句や文節を所定のルールで接続して得られるまとまりも含み得る。ここで、所定のルールは特に限定されないが、句読点の前後にある句は接続しないといったルールや、前置詞句は必ず前の句と接続するといったルール、名詞句と名詞句の後にくる動詞句とは接続するなどといったルールであってよい。また、雑音などの周辺環境に応じて句同士の接続が動的に変更されてもよい。

文字単位入力モードと句単位入力モードそれぞれにおける情報入力の形式は限定されない。しかし、文字単位での情報入力のように入力すべき情報が短ければ、ユーザによって発せられた音声に対する音声認識処理に失敗しやすく、ユーザも発話をしにくいと考えられる。そこで、出力制御部１４７は、情報入力モードとして文字単位入力モードが実行されているときに、操作入力部１１５から得られた入力情報を文字単位で出力部１３０に出力させる場合を想定する。以下では、かかる場合について主に説明する。

また、句単位での情報入力のように入力すべき情報が長ければ、ユーザによって発せられた音声に対する音声認識処理に成功しやすい一方、操作入力部１１５に対する操作も煩雑になりやすいと考えられる。そこで、認識制御部１４５は、情報入力モードとして句単位入力モードに含まれる所定の音声入力モードが実行されているときには、集音部１２０から取得される音情報に対する音声認識処理を音声認識部１４６に行わせるとよい。

そして、出力制御部１４７は、情報入力モードとして句単位入力モードに含まれる音声入力モードが実行されているときに、音声認識処理の結果を句単位で出力部１３０に出力させる場合を想定する。以下では、かかる場合について主に説明する。なお、音声入力モードは、音声入力を必要とするモードであれば特に限定されないが、後に説明する例では「句単位挿入モード」および「句単位上書きモード」に相当する。

図３は、文字単位入力モードおよび句単位入力モードそれぞれにおいて表示される画面の例を示す図である。図３に示すように、文字入力開始時において情報入力モードとして文字単位入力モードが実行される場合、出力制御部１４７は、文字単位入力画面Ｇ１０−１を表示させる。文字単位入力画面Ｇ１０−１には、音声入力を開始させるための音声入力開始操作オブジェクトＧ１４、入力情報の表示欄である表示欄Ｇ１１が含まれる。出力制御部１４７は、操作入力部１１５（例えば、文字単位入力画面Ｇ１０−１におけるキーボード）から得られた入力情報を文字単位で表示欄Ｇ１１に表示させる。

また、文字単位入力画面Ｇ１０−１には、表示欄Ｇ１１に表示されている情報を全部削除するための全削除操作オブジェクトＧ１２、表示欄Ｇ１１に表示されている情報を確定するための確定操作オブジェクトＧ１３が含まれる。また、文字単位入力画面Ｇ１０−１には、表示欄Ｇ１１におけるカーソル位置を前方に戻すための前方移動操作オブジェクトＧ１５、表示欄Ｇ１１におけるカーソル位置を後方に進めるための後方移動操作オブジェクトＧ１６、カーソル位置の文字または単語を削除するための削除操作オブジェクトＧ１７が含まれる。

まず、文字単位入力画面Ｇ１０−２に示すように、ユーザが所定の音声入力開始操作（例えば、音声入力開始操作オブジェクトＧ１４を選択する操作）を操作入力部１１５に入力すると、音声入力開始操作が操作検出部１４３によって検出され、モード制御部１４４は、情報入力モードを文字単位入力モードから句単位入力モードに切り替え、出力制御部１４７は、句単位入力画面Ｇ１０−３を表示させる。句単位入力モードでは、音声による情報入力が可能となるため、ユーザは集音部１２０に向かって発話を開始する。集音部１２０は、集音により音情報を得る。

集音中画面Ｇ１０−４に示すように、集音部１２０の集音によって得られた音情報が音情報取得部１４２によって取得されると、出力制御部１４７は、所定のオブジェクト（以下、「表示オブジェクト」とも言う。）Ｍｕを表示させる。表示オブジェクトＭｕは、静止していてもよいし、画面Ｇ１０−４に示したように動きを有していてもよい。例えば、表示オブジェクトＭｕが動きを有する場合、表示オブジェクトＭｕの移動方向Ｄｅは、ユーザによる発話音声の音源から集音部１２０への到来方向に応じて決まってよい。なお、ユーザによる発話音声の到来方向の推定手法も特に限定されない。

例えば、認識制御部１４５は、音声入力開始操作オブジェクトＧ１４を選択する操作を行ったユーザの指方向（例えば、指の根元から指先への方向）に一致または類似する１の到来方向をユーザによる発話音声の到来方向として推定してもよい。類似範囲はあらかじめ定められていてよい。また、指方向は、入力画像取得部１４１によって取得された入力画像を解析することによって取得されてよい。あるいは、指方向は、操作検出部１４３によって検出される指の形状を解析することによって取得されてもよい。

あるいは、認識制御部１４５は、集音部１２０によって入力された音の到来方向をユーザによる発話音声の到来方向として推定してもよい。音の到来方向が複数あった場合には、複数の到来方向のうち最初に入力された音の到来方向をユーザによる発話音声の到来方向として推定してもよいし、複数の到来方向のうち音声入力開始操作オブジェクトＧ１４を選択する操作を行ったユーザの指方向に一致または類似する１の到来方向をユーザによる発話音声の到来方向として推定してもよい。

あるいは、認識制御部１４５は、複数の到来方向のうち集音部１２０によって最も大きな音量で入力された音の到来方向をユーザによる発話音声の到来方向として推定してもよい。このようにしてユーザによる発話音声の到来方向が推定され得る。一方において、認識制御部１４５は、ユーザによる発話音声の到来方向以外の方向から集音部１２０によって入力された音をノイズとして取得してよい。

また、図３には、出力制御部１４７が、ユーザによる発話音声の到来方向（移動方向Ｄｅ）に表示オブジェクトＭｕを移動させる例が示されている。これによって、ユーザは自分の発話音声が集音部１２０によって集音されていることを直感的に把握することが可能となる。しかし、表示オブジェクトＭｕの動きは、かかる動きに限定されない。また、図３には、表示オブジェクトＭｕの移動先が、音声入力開始操作オブジェクトＧ１４である例が示されている。しかし、表示オブジェクトＭｕの移動先は、かかる例に限定されない。

また、図３には、出力制御部１４７が、集音部１２０による集音に応じて次々と出現した円形状の表示オブジェクトＭｕを移動させる例が示されているが、表示オブジェクトＭｕの表示態様はかかる例に限定されない。例えば、出力制御部１４７は、音情報に応じた所定の情報（例えば、音情報の音声らしさ、音量など）に基づいて表示オブジェクトＭｕの各種パラメータを制御してよい。このときに用いられる音情報は、ユーザによる発話音声の到来方向からの音情報であるとよい。また、表示オブジェクトＭｕのパラメータは、表示オブジェクトＭｕの形状、透明度、色、サイズおよび動きのうち、少なくともいずれか一つを含んでもよい。

認識制御部１４５は、音情報取得部１４２によって取得された音情報に対する音声認識処理を音声認識部１４６に開始させる。音情報に対する音声認識処理を開始させるタイミングは限定されない。例えば、認識制御部１４５は、表示オブジェクトＭｕが音声入力開始操作オブジェクトＧ１４に到達してから、表示オブジェクトＭｕに対応する音情報に対する音声認識処理を音声認識部１４６に開始させてよい。また、音声認識処理は、既に説明したようなタイミングで終了されてよい。

句単位入力モードとしては、様々なモードが想定され得る。例えば、句単位入力モードは、句単位挿入モード、句単位上書きモードおよび句単位入れ替えモードの少なくともいずれか一つを含んでもよい。以下では、句単位入力モードとして、句単位挿入モード、句単位上書きモードおよび句単位入れ替えモードが存在する場合を主に説明する。図４は、句単位挿入モード、句単位上書きモードおよび句単位入れ替えモードそれぞれの間の情報入力モードの切り替えの例について説明するための図である。

図４を参照すると、入力情報の表示欄である表示欄Ｇ１１の例として、「文字単位入力モード」における表示欄Ｇ１１−０が示されている。表示欄Ｇ１１−０においては、入力情報が文字単位で表示されている。また、「句単位入力モード」の例として、「句単位挿入モード」における表示欄Ｇ１１−１、「句単位上書きモード」における表示欄Ｇ１１−２および「句単位入れ替えモード」における表示欄Ｇ１１−３が示されている。表示欄Ｇ１１−１〜Ｇ１１−３においては、入力情報が句単位で表示されている。

ここで、「文字単位入力モード」においては、出力制御部１４７は、操作検出部１４３によって検出された情報を文字単位でカーソルＦｃの位置に挿入する。一方、「句単位挿入モード」は、カーソルＦｃが存在する句間位置に音声認識処理の結果を挿入するモードであってよい。「句単位上書きモード」は、カーソルＦｃが存在する位置の句を音声認識処理の結果で上書きするモードであってよい。また、「句単位入れ替えモード」は、カーソルＦｃが存在する位置の句を入れ替え候補Ｒｐに入れ替えるモードであってよい。入れ替え候補Ｒｐへの入れ替えは、入れ替え候補Ｒｐの選択操作をトリガとして行われてよい。また、図４に示すように、カーソルＦｃが当てられている句は、反転表示されてよい。

カーソルＦｃの位置は、様々な操作によって移動させることが可能である。図５〜図８は、カーソルＦｃの位置を移動させる手法の例を説明するための図である。図５に示すように、出力制御部１４７は、句自体を選択する操作（例えば、句自体をタップする操作など）が検出された場合、カーソルＦｃをその句の上に移動させてよい。また、図６に示すように、出力制御部１４７は、句間位置を選択する操作（例えば、句間位置をタップする操作など）が検出された場合、カーソルＦｃをその句間位置に移動させてよい。

また、図７に示すように、出力制御部１４７は、前方移動操作オブジェクトＧ１５を選択する操作（例えば、前方移動操作オブジェクトＧ１５をタップする操作など）が検出された場合、カーソルＦｃを前方に移動させてよい。前方への移動は、隣接する前方への移動であってよい。例えば、カーソルＦｃは、句の上と句間位置とを交互に前方に移動してもよいし、句の上のみを前方に移動してもよいし、句間位置のみを前方に移動してもよい。これらの前方への移動の仕方は、後に説明するように複数のモード間の共存によって変わってもよい。

また、図８に示すように、出力制御部１４７は、後方移動操作オブジェクトＧ１６を選択する操作（例えば、後方移動操作オブジェクトＧ１６をタップする操作など）が検出された場合、カーソルＦｃを後方に移動させてよい。後方への移動先は、隣接する後方への移動であってよい。例えば、カーソルＦｃは、句の上と句間位置とを交互に後方に移動してもよいし、句の上のみを後方に移動してもよいし、句間位置のみを後方に移動してもよい。これらの後方への移動の仕方は、後に説明するように複数のモード間の共存によって変わってもよい。

図５〜図８に示した例では、句単位でカーソルＦｃを移動させる例を説明した。しかし、文字単位でカーソルＦｃを移動させることも可能である。例えば、出力制御部１４７は、文字と文字との間を選択する操作（例えば、文字と文字との間をタップする操作など）が検出された場合、カーソルＦｃをその位置に移動させてよい。また、出力制御部１４７は、前方移動操作オブジェクトＧ１５を選択する操作が検出された場合、カーソルＦｃを文字単位で前方に移動させてよく、後方移動操作オブジェクトＧ１６を選択する操作が検出された場合、カーソルＦｃを文字単位で後方に移動させてよい。

情報入力モード間の切り替えの例としては、様々な例が挙げられる。例えば、モード制御部１４４は、情報入力モードとして「文字単位入力モード」が実行されているときに、操作検出部１４３によって音声入力開始操作が検出されると、情報入力モードを「文字単位入力モード」から「句単位挿入モード」に切り替えてもよい。一方、モード制御部１４４は、情報入力モードとして「句単位挿入モード」が実行されているときに、音声認識処理が終了すると、情報入力モードを「句単位挿入モード」から「文字単位入力モード」に切り替えてもよい。

また、モード制御部１４４は、情報入力モードとして「句単位上書きモード」が実行されているときに、音声認識処理が終了すると、情報入力モードを「句単位上書きモード」から「文字単位入力モード」に切り替えてもよい。また、モード制御部１４４は、情報入力モードとして「句単位入れ替えモード」が実行されているときに、音声認識処理が終了すると、情報入力モードを「句単位入れ替えモード」から「文字単位入力モード」に切り替えてもよい。

また、モード制御部１４４は、情報入力モードとして「句単位挿入モード」が実行されているときに、音声認識部１４６によって音声認識処理の結果が取得された場合、情報入力モードを「句単位挿入モード」から「句単位入れ替えモード」に切り替えてもよい。同様に、モード制御部１４４は、情報入力モードとして「句単位上書きモード」が実行されているときに、音声認識部１４６によって音声認識処理の結果が取得された場合、情報入力モードを「句単位上書きモード」から「句単位入れ替えモード」に切り替えてもよい。

また、モード制御部１４４は、情報入力モードとして「句単位入れ替えモード」が実行されているときに、所定の上書き開始トリガが検出された場合に、情報入力モードを「句単位入れ替えモード」から「句単位上書きモード」に切り替えてもよい。上書き開始トリガは、音声入力終了トリガの例として列挙したトリガのうち、音声入力終了トリガと重複しないトリガなどであってもよい。

モード制御部１４４は、情報入力モードとして「句単位入れ替えモード」が実行されているときに、所定の挿入開始トリガが検出された場合に、情報入力モードを「句単位入れ替えモード」から「句単位挿入モード」に切り替えてもよい。挿入開始トリガは、上書き開始トリガの例として列挙したトリガのうち、上書き開始トリガと重複しないトリガなどであってもよい。

あるいは、「句単位入れ替えモード」においてカーソルＦｃの位置が句の上と句間位置とのいずれにも移動させることが可能である場合には、モード制御部１４４は、カーソルＦｃの位置が句の上と句間位置とのいずれであるかに応じて、「句単位上書きモード」情報入力モードをおよび「句単位挿入モード」のいずれに切り替えるかを決めればよい。そのときには、上書き開始トリガと挿入開始トリガとは別個に設けなくてよく、共通であってよい。

以上においては、「文字単位入力モード」「句単位挿入モード」「句単位上書きモード」および「句単位入れ替えモード」それぞれが独立して存在する場合について説明した。しかし、これらのモードは、一部が共存していてもよい。以下、これらのモードは、一部が共存している場合について説明する。まず、句単位挿入モードと句単位上書きモードとが共存する場合について説明する。図９は、句単位挿入モードと句単位上書きモードとが共存する場合について説明するための図である。

表示欄Ｇ１１−４Ｘは、句の上にカーソルＦｃが存在するときの入力情報の表示欄である。また、表示欄Ｇ１１−４Ｙは、句間位置にカーソルＦｃが存在するときの入力情報の表示欄である。句単位挿入モードおよび句単位上書きモードが実行されているときには（表示欄Ｇ１１−４Ｘおよび表示欄Ｇ１１−４Ｙでは）、出力制御部１４７は、カーソルＦｃを句の上と句間位置との間で交互に移動させることが可能である。

そして、モード制御部１４４は、カーソルＦｃが句間位置から句の上に移動された場合、情報入力モードを句単位挿入モード（表示欄Ｇ１１−４Ｙ）から句単位上書きモード（表示欄Ｇ１１−４Ｘ）に切り替える。一方、モード制御部１４４は、カーソルＦｃが句の上から句間位置に移動された場合、情報入力モードを句単位上書きモード（表示欄Ｇ１１−４Ｘ）から句単位挿入モード（表示欄Ｇ１１−４Ｙ）に切り替える。他のモード間の切り替えタイミングなどについては、既に説明した通りである。

以上に説明したように、句単位挿入モードと句単位上書きモードとが共存する場合においては、簡易なモード切り替えによって句単位の挿入と句単位の上書きとを行うことが可能である。したがって、句単位挿入モードと句単位上書きモードとが共存する場合においては、音声入力の自由度を向上させることが可能となる。

続いて、句単位上書きモードと句単位入れ替えモードとが共存する場合について説明する。図１０は、句単位上書きモードと句単位入れ替えモードとが共存する場合について説明するための図である。表示欄Ｇ１１−５Ｘは、句単位上書きモードと句単位入れ替えモードとが共存する場合における入力情報の表示欄である。句単位上書きモードおよび句単位入れ替えモードにおいては（表示欄Ｇ１１−５Ｘでは）、モード制御部１４４は、カーソルＦｃが句の上に存在する状態において、集音部１２０から音情報が取得された場合、音情報に対する音声認識処理の結果によってカーソルＦｃの位置の句を上書きする。

一方、句単位上書きモードおよび句単位入れ替えモードにおいては（表示欄Ｇ１１−５Ｘでは）、モード制御部１４４は、カーソルＦｃが句の上に存在する状態において、操作検出部１４３によって入れ替え候補Ｒｐを選択する操作が検出された場合、選択された入れ替え候補ＲｐとカーソルＦｃの位置の句とを入れ替える。他のモード間の切り替えタイミングなどについては、既に説明した通りである。

以上に説明したように、句単位上書きモードと句単位入れ替えモードとが共存する場合においては、入れ替え候補Ｒｐの中にユーザの希望する候補が見当たらなかった場合であっても、情報入力モードの容易な切り替えを行って音声によって句を上書きすることが可能となる。したがって、句単位上書きモードと句単位入れ替えモードとが共存する場合においては、情報入力モードの切り替えの手間を軽減することが可能となる。

続いて、句単位挿入モードと句単位上書きモードと句単位入れ替えモードとが共存する場合について説明する。図１１は、句単位挿入モードと句単位上書きモードと句単位入れ替えモードとが共存する場合について説明するための図である。表示欄Ｇ１１−６Ｘは、句間位置にカーソルＦｃが存在するときの入力情報の表示欄である。表示欄Ｇ１１−６Ｙは、句の上にカーソルＦｃが存在するときの入力情報の表示欄である。出力制御部１４７は、カーソルＦｃを句の上と句間位置との間で交互に移動させることが可能である。

そして、モード制御部１４４は、カーソルＦｃが句間位置から句の上に移動された場合、情報入力モードを句単位挿入モード（表示欄Ｇ１１−６Ｘ）から句単位上書きモードおよび句単位入れ替えモード（表示欄Ｇ１１−６Ｙ）に切り替える。一方、モード制御部１４４は、カーソルＦｃが句の上から句間位置に移動された場合、情報入力モードを句単位上書きモードおよび句単位入れ替えモード（表示欄Ｇ１１−６Ｙ）から句単位挿入モード（表示欄Ｇ１１−６Ｘ）に切り替える。

句単位上書きモードおよび句単位入れ替えモードにおいては（表示欄Ｇ１１−６Ｙでは）、モード制御部１４４は、カーソルＦｃが句の上に存在する状態において、集音部１２０から音情報が取得された場合、音情報に対する音声認識処理の結果によってカーソルＦｃの位置の句を上書きする。

一方、句単位上書きモードおよび句単位入れ替えモードにおいては（表示欄Ｇ１１−６Ｙでは）、モード制御部１４４は、カーソルＦｃが句の上に存在する状態において、操作検出部１４３によって入れ替え候補Ｒｐを選択する操作が検出された場合、選択された入れ替え候補ＲｐとカーソルＦｃの位置の句とを入れ替える。他のモード間の切り替えタイミングなどについては、既に説明した通りである。

以上に説明したように、句単位挿入モードと句単位上書きモードと句単位入れ替えモードとが共存する場合においては、情報入力モードの容易な切り替えを行って句を挿入したり、句を上書きしたり、句を入れ替えたりすることが可能性となる。したがって、句単位挿入モードと句単位上書きモードと句単位入れ替えモードとが共存する場合においては、情報入力モードの切り替えの手間をさらに軽減することが可能となる。

上記した例においては、情報入力モードが句単位入力モードであるか否かに関わらず、入力情報を句化することを想定したが、文字単位入力モードにおいて入力された情報は、句化しないようにしてもよい。図１２は、文字単位入力モードにおいて入力された情報を句化しない場合を説明するための図である。表示欄Ｇ１１−６Ｚは、文字単位入力モードから句単位挿入モードに切り替えられたときの入力情報の表示欄である。

表示欄Ｇ１１−６Ｚには、文字単位入力モードにおいて入力された情報が表示されているが、句化はされていない。一方、表示欄Ｇ１１−６Ｗに示すように、音声認識処理の結果が新たに入力情報として挿入されると、出力制御部１４７は、新たに入力された入力情報を句化する。なお、図１２には、句単位挿入モードと句単位上書きモードと句単位入れ替えモードとが共存する例が示されているが、句単位挿入モードと句単位上書きモードと句単位入れ替えモードとの関係は特に限定されないため、例えば、図９〜図１１を参照しながら説明したいずれの関係であってもよい。

以上に説明したように、句単位入力モードにおいて入力された情報を句化する一方、文字単位入力モードにおいて入力された情報を句化しないようにすることが可能である。これによって、句単位入力モードにおいて入力された情報（音声認識処理の結果）がどのように句化されたのかをユーザに容易に把握させることが可能となる。

上記においては、句単位入力モードにおいてカーソルＦｃをボタン操作によって移動させる例を説明した。しかし、カーソルＦｃは、音声によって移動させることも可能である。例えば、出力制御部１４７は、句間位置または句に対応する識別情報を配置し、音声認識処理の結果として識別情報が認識された場合に、識別情報に対応する句間位置または句にカーソルＦｃを移動させてもよい。このようにすれば、カーソルＦｃを簡易に移動させることが可能となる。

具体的な例について説明する。図１３〜図１６は、カーソルＦｃを音声によって移動させる例を説明するための図である。図１３を参照すると、出力制御部１４７は、句間位置に対応する識別情報として「１」〜「６」を配置し、句に対応する識別情報として「Ａ」〜「Ｅ」を配置している。このように、出力制御部１４７は、すべての句間位置および句に対応する識別情報を配置してもよい。

また、図１４を参照すると、出力制御部１４７は、現在のカーソルＦｃの位置を基準として、一つ前方にある句と二つ前方にある句との間から、一つ後方にある句と二つ前方にある句との間までの範囲内の句間位置に対応する識別情報として「１」〜「４」を配置し、その範囲内の句に対応する識別情報として「Ａ」〜「Ｃ」を配置している。このように、出力制御部１４７は、現在のカーソルＦｃの位置を基準として所定の範囲内の句間位置および句に対応する識別情報を配置してもよい。

また、図１５を参照すると、出力制御部１４７は、句間位置および句のうち、現在のカーソルＦｃの位置を基準として、二つ前方にある句以前、および、二つ後方にある句以降の句間位置および句に対応する識別情報として「１」「２」「Ａ」「Ｂ」を配置している。このように、出力制御部１４７は、現在のカーソルＦｃの位置を基準として所定の範囲外の句間位置および句に対応する識別情報を配置してもよい。

また、図１６を参照すると、出力制御部１４７は、句読点の位置に対応する識別情報として「１」「２」を配置している。このように、出力制御部１４７は、文と文との区切り目（例えば、句読点の位置など）に対応する識別情報を配置してもよい。このようにして文と文との区切り目に識別情報が配置されれば、音声入力によっていずれかの文頭位置にカーソルＦｃを移動させ、文頭位置から句単位での情報入力をユーザに行わせることが可能となる。

以上において、文字単位入力モードおよび句単位入力モードでの情報入力について説明した。ここで、入力された情報は他の言語に翻訳されることもある。このとき、翻訳が正常になされるようにするため、入力された情報のうち、翻訳前に改善すべき部分があれば、その部分をユーザに提示してユーザに変更させるのがよい。図１７は、翻訳前に改善すべき部分をユーザに提示する例を示す図である。

図１７に示すように、表示欄Ｇ１１−６Ｘに表示されている入力情報のうち、「ｄｏ」は、より具体的な動詞に変更されたほうがよい。また、「ｔｈａｔ」は、より具体的な名称に変更されたほうがよい。そこで、図１７に示すように、出力制御部１４７は、「ｄｏ」および「ｔｈａｔ」に所定の表示オブジェクトＬｍを付するとよい。そうすれば、ユーザは、表示オブジェクトＬｍが付された部分を翻訳前に変更することが可能となる。

また、図１７には、「ｄｏ」および「ｔｈａｔ」それぞれに同一の表示オブジェクトＬｍを付する例を示したが、「ｄｏ」および「ｔｈａｔ」に付される表示オブジェクトは異なっていてもよい。例えば、「ｄｏ」に付される表示オブジェクトは、「動詞の具体表現」などであってもよく、「ｔｈａｔ」に付される表示オブジェクトは、「名詞の具体表現」などの文字列であってもよい。

なお、ここでは、具体的な動詞または名詞が用いることによって、翻訳前に改善を図る例を説明した。しかし、翻訳前に改善を図ることができる点は、かかる例に限定されない。例えば、翻訳前に改善を図ることができる点は、可能な限り漢字を用いること、同音異義語間での誤り、漢字の誤りなどを直すこと、略語を用いずに略す前の表現を用いること、１文の長さを短くすること、適切な助詞を用いることなどであってもよい。つまり、出力制御部１４７は、これらに反する部分をユーザに提示することが可能である。

なお、図１７には、句単位挿入モードと句単位上書きモードと句単位入れ替えモードとが共存する場合が例として示されている。しかし、翻訳前に改善すべき部分をユーザに提示するときにおいて、句単位挿入モードと句単位上書きモードと句単位入れ替えモードとの関係は特に限定されないため、例えば、図９〜図１１を参照しながら説明したいずれの関係であってもよい。

以上、本開示の実施形態に係る情報処理システム１０の機能詳細について説明した。

［１．４．システム構成の変形例］
上記においては、情報処理システム１０がタブレット端末である例について説明した。しかし、情報処理システム１０のシステム構成は、かかる例に限定されない。図１８〜図２１は、情報処理システム１０のシステム構成の変形例を示す図である。図１８〜図２１に示すように、出力部１３０は、テレビジョン装置であり、情報処理装置１４０は、ゲーム機であり、操作入力部１１５は、ゲーム機を操作するコントローラであってよい。

また、図１８に示すように、集音部１２０および出力部１３０は、操作入力部１１５に接続されていてもよい。また、図１９に示すように、画像入力部１１０および集音部１２０は、情報処理装置１４０に接続されていてもよい。また、図２０に示すように、操作入力部１１５、集音部１２０および出力部１３０は、情報処理装置１４０に接続されたスマートフォンに備えられていてもよい。また、図２１に示すように、集音部１２０は、テレビジョン装置に備えられていてもよい。

［１．５．ハードウェア構成例］
次に、図２２を参照して、本開示の実施形態に係る情報処理システム１０のハードウェア構成について説明する。図２２は、本開示の実施形態に係る情報処理システム１０のハードウェア構成例を示すブロック図である。

図２２に示すように、情報処理システム１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０５を含む。また、情報処理システム１０は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理システム１０は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理システム１０は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理システム１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理システム１０の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理システム１０に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などであり得る。出力装置９１７は、情報処理システム１０の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。また、出力装置９１７は、周囲を明るくするためライトなどを含んでもよい。

ストレージ装置９１９は、情報処理システム１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理システム１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器を情報処理システム１０に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理システム１０と外部接続機器９２９との間で各種のデータが交換され得る。

通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カードなどであり得る。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

撮像装置９３３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理システム１０の筐体の姿勢など、情報処理システム１０自体の状態に関する情報や、情報処理システム１０の周辺の明るさや騒音など、情報処理システム１０の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

以上、情報処理システム１０のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。

＜２．むすび＞
以上説明したように、本開示の実施形態によれば、情報入力モードとして文字単位入力モードが実行されているときに所定の第１のトリガが検出された場合に、前記情報入力モードを前記文字単位入力モードから句単位入力モードに切り替えるモード制御部、を備える、情報処理システムが提供される。かかる構成によれば、ユーザに対して情報入力をより柔軟に行わせることが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記においては、出力部１３０による表示形態の変形例を説明したが、出力部１３０による表示形態は、上記した例に限定されない。例えば、出力部１３０は、ヘッドマウントディスプレイ以外のウェアラブル端末（例えば、時計、眼鏡など）に備わるディスプレイであってもよい。また、例えば、出力部１３０は、車載向けナビゲーションシステムに備わるディスプレイであってもよい。また、例えば、出力部１３０は、ヘルスケア分野において利用されるディスプレイであってもよい。

また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した情報処理装置１４０が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。

また、出力制御部１４７は、出力部１３０に表示内容を表示させるための表示制御情報を生成し、生成した表示制御情報を出力部１３０に出力することで、当該表示内容が出力部１３０に表示されるように出力部１３０を制御することが可能である。かかる表示制御情報の内容はシステム構成にあわせて適宜変更されてよい。

具体的な一例として、情報処理装置１４０を実現するためのプログラムは、ウェブアプリケーションであってもよい。かかる場合、表示制御情報は、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ＳＧＭＬ（Ｓｔａｎｄａｒｄ Ｇｅｎｅｒａｌｉｚｅｄ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）などのマークアップ言語により実現されてもよい。

なお、上述した情報処理システム１０の動作が実現されれば、各構成の位置は特に限定されない。具体的な一例として、画像入力部１１０、操作入力部１１５および集音部１２０と出力部１３０と情報処理装置１４０とは、ネットワークを介して接続された互いに異なる装置に設けられてもよい。この場合には、情報処理装置１４０が、例えば、ウェブサーバやクラウドサーバのようなサーバに相当し、画像入力部１１０、操作入力部１１５、集音部１２０および出力部１３０が当該サーバにネットワークを介して接続されたクライアントに相当し得る。

また、情報処理装置１４０が有するすべての構成要素が同一の装置に収まっていなくてもよい。例えば、入力画像取得部１４１と、音情報取得部１４２と、操作検出部１４３と、モード制御部１４４と、認識制御部１４５と、音声認識部１４６と、出力制御部１４７とのうち、一部は情報処理装置１４０とは異なる装置に存在していてもよい。例えば、音声認識部１４６は、入力画像取得部１４１と、音情報取得部１４２と、操作検出部１４３と、認識制御部１４５と、出力制御部１４７とを備える情報処理装置１４０とは異なるサーバに存在していてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
情報入力モードとして文字単位入力モードが実行されているときに所定の第１のトリガが検出された場合に、前記情報入力モードを前記文字単位入力モードから句単位入力モードに切り替えるモード制御部、
を備える、情報処理システム。
（２）
前記情報処理システムは、前記情報入力モードとして前記句単位入力モードに含まれる所定の音声入力モードが実行されているときには、集音部から取得される音情報に対する音声認識処理を音声認識部に行わせる認識制御部を備える、
前記（１）に記載の情報処理システム。
（３）
前記情報処理システムは、前記情報入力モードとして前記句単位入力モードに含まれる前記音声入力モードが実行されているときに、前記音声認識処理の結果を句単位で出力部に出力させる出力制御部を備える、
前記（２）に記載の情報処理システム。
（４）
前記出力制御部は、前記情報入力モードとして前記文字単位入力モードが実行されているときに、操作入力部から得られた入力情報を文字単位で前記出力部に出力させる、
前記（３）に記載の情報処理システム。
（５）
前記第１のトリガは、所定の音声入力開始トリガを含む、
前記（２）〜（４）のいずれか一項に記載の情報処理システム。
（６）
前記音声入力開始トリガは、ユーザによる所定の音声入力開始操作を含む、
前記（５）に記載の情報処理システム。
（７）
前記音声入力開始トリガは、音声らしさが閾値を上回る音情報が前記集音部から取得されたことを含む、
前記（５）または（６）に記載の情報処理システム。
（８）
前記モード制御部は、前記情報入力モードとして前記句単位入力モードが実行されているときに所定の第２のトリガが検出された場合に、前記情報入力モードを前記句単位入力モードから前記文字単位入力モードに切り替える、
前記（２）〜（７）のいずれか一項に記載の情報処理システム。
（９）
前記第２のトリガは、所定の音声入力終了トリガを含む、
前記（８）に記載の情報処理システム。
（１０）
前記音声入力終了トリガは、ユーザによる所定の音声入力終了操作を含む、
前記（９）に記載の情報処理システム。
（１１）
前記音声入力終了トリガは、前記音声認識処理の終了を含む、
前記（９）または（１０）に記載の情報処理システム。
（１２）
前記句単位入力モードは、カーソルが存在する句間位置に前記音声認識処理の結果を挿入する句単位挿入モード、前記カーソルが存在する位置の句を前記音声認識処理の結果で上書きする句単位上書きモードおよび前記カーソルが存在する位置の句を入れ替え候補に入れ替える句単位入れ替えモードの少なくともいずれか一つを含む、
前記（２）〜（１１）のいずれか一項に記載の情報処理システム。
（１３）
前記モード制御部は、前記カーソルが句の上に移動された場合、前記情報入力モードを前記句単位挿入モードから前記句単位上書きモードに切り替える、
前記（１２）に記載の情報処理システム。
（１４）
前記モード制御部は、前記カーソルが句間位置に移動された場合、前記情報入力モードを前記句単位上書きモードから前記句単位挿入モードに切り替える、
前記（１２）または（１３）に記載の情報処理システム。
（１５）
前記モード制御部は、前記音声認識処理の結果が取得された場合、前記情報入力モードを前記句単位上書きモードから前記句単位入れ替えモードに切り替える、
前記（１２）〜（１４）のいずれか一項に記載の情報処理システム。
（１６）
前記モード制御部は、所定の上書き開始トリガが検出された場合、前記情報入力モードを前記句単位入れ替えモードから前記句単位上書きモードに切り替える、
前記（１２）〜（１５）のいずれか一項に記載の情報処理システム。
（１７）
前記モード制御部は、所定の挿入開始トリガが検出された場合、前記情報入力モードを前記句単位入れ替えモードから前記句単位挿入モードに切り替える、
前記（１２）〜（１６）のいずれか一項に記載の情報処理システム。
（１８）
前記モード制御部は、前記音声認識処理の結果が取得された場合、前記情報入力モードを前記句単位挿入モードから前記句単位入れ替えモードに切り替える、
前記（１２）〜（１７）のいずれか一項に記載の情報処理システム。
（１９）
前記出力制御部は、句間位置または句に対応する識別情報を配置し、前記音声認識処理の結果として前記識別情報が認識された場合に、前記識別情報に対応する前記句間位置または前記句にカーソルを移動させる、
前記（３）または（４）に記載の情報処理システム。
（２０）
プロセッサにより、情報入力モードとして文字単位入力モードが実行されているときに所定の第１のトリガが検出された場合に、前記情報入力モードを前記文字単位入力モードから句単位入力モードに切り替えること、
を含む、情報処理方法。

１０ 情報処理システム
１１０ 画像入力部
１１５ 操作入力部
１２０ 集音部
１３０ 出力部
１４０ 制御部（情報処理装置）
１４１ 入力画像取得部
１４２ 音情報取得部
１４３ 操作検出部
１４４ モード制御部
１４５ 認識制御部
１４６ 音声認識部
１４７ 出力制御部

Claims (20)

1. 情報入力モードとして文字単位入力モードが実行されているときに所定の第１のトリガが検出された場合に、前記情報入力モードを前記文字単位入力モードから句単位入力モードに切り替えるモード制御部、
   を備える、情報処理システム。
2. 前記情報処理システムは、前記情報入力モードとして前記句単位入力モードに含まれる所定の音声入力モードが実行されているときには、集音部から取得される音情報に対する音声認識処理を音声認識部に行わせる認識制御部を備える、
   請求項１に記載の情報処理システム。
3. 前記情報処理システムは、前記情報入力モードとして前記句単位入力モードに含まれる前記音声入力モードが実行されているときに、前記音声認識処理の結果を句単位で出力部に出力させる出力制御部を備える、
   請求項２に記載の情報処理システム。
4. 前記出力制御部は、前記情報入力モードとして前記文字単位入力モードが実行されているときに、操作入力部から得られた入力情報を文字単位で前記出力部に出力させる、
   請求項３に記載の情報処理システム。
5. 前記第１のトリガは、所定の音声入力開始トリガを含む、
   請求項２に記載の情報処理システム。
6. 前記音声入力開始トリガは、ユーザによる所定の音声入力開始操作を含む、
   請求項５に記載の情報処理システム。
7. 前記音声入力開始トリガは、音声らしさが閾値を上回る音情報が前記集音部から取得されたことを含む、
   請求項５に記載の情報処理システム。
8. 前記モード制御部は、前記情報入力モードとして前記句単位入力モードが実行されているときに所定の第２のトリガが検出された場合に、前記情報入力モードを前記句単位入力モードから前記文字単位入力モードに切り替える、
   請求項２に記載の情報処理システム。
9. 前記第２のトリガは、所定の音声入力終了トリガを含む、
   請求項８に記載の情報処理システム。
10. 前記音声入力終了トリガは、ユーザによる所定の音声入力終了操作を含む、
    請求項９に記載の情報処理システム。
11. 前記音声入力終了トリガは、前記音声認識処理の終了を含む、
    請求項９に記載の情報処理システム。
12. 前記句単位入力モードは、カーソルが存在する句間位置に前記音声認識処理の結果を挿入する句単位挿入モード、前記カーソルが存在する位置の句を前記音声認識処理の結果で上書きする句単位上書きモードおよび前記カーソルが存在する位置の句を入れ替え候補に入れ替える句単位入れ替えモードの少なくともいずれか一つを含む、
    請求項２に記載の情報処理システム。
13. 前記モード制御部は、前記カーソルが句の上に移動された場合、前記情報入力モードを前記句単位挿入モードから前記句単位上書きモードに切り替える、
    請求項１２に記載の情報処理システム。
14. 前記モード制御部は、前記カーソルが句間位置に移動された場合、前記情報入力モードを前記句単位上書きモードから前記句単位挿入モードに切り替える、
    請求項１２に記載の情報処理システム。
15. 前記モード制御部は、前記音声認識処理の結果が取得された場合、前記情報入力モードを前記句単位上書きモードから前記句単位入れ替えモードに切り替える、
    請求項１２に記載の情報処理システム。
16. 前記モード制御部は、所定の上書き開始トリガが検出された場合、前記情報入力モードを前記句単位入れ替えモードから前記句単位上書きモードに切り替える、
    請求項１２に記載の情報処理システム。
17. 前記モード制御部は、所定の挿入開始トリガが検出された場合、前記情報入力モードを前記句単位入れ替えモードから前記句単位挿入モードに切り替える、
    請求項１２に記載の情報処理システム。
18. 前記モード制御部は、前記音声認識処理の結果が取得された場合、前記情報入力モードを前記句単位挿入モードから前記句単位入れ替えモードに切り替える、
    請求項１２に記載の情報処理システム。
19. 前記出力制御部は、句間位置または句に対応する識別情報を配置し、前記音声認識処理の結果として前記識別情報が認識された場合に、前記識別情報に対応する前記句間位置または前記句にカーソルを移動させる、
    請求項３に記載の情報処理システム。
20. プロセッサにより、情報入力モードとして文字単位入力モードが実行されているときに所定の第１のトリガが検出された場合に、前記情報入力モードを前記文字単位入力モードから句単位入力モードに切り替えること、
    を含む、情報処理方法。
    
    

Images