JP2007178692A - 文字入力装置および方法 - Google Patents

Abstract

【課題】 ボタンなどの入力デバイスと音声認識とを併用する文字入力装置において、音声認識結果の修正が効率的に行えなかった。
【解決手段】 前回確定された文字系列である既確定系列、前記音声認識手段による認識結果である確定候補、およびこれらに後続しうる認識候補である未確定系列をそれぞれ接続して表示する（Ｓ１０〜Ｓ１２）。その後、入力デバイスを介して前記確定候補の変更が指示された場合、前記確定候補を変更するとともに、その変更された確定候補を考慮して前記未確定系列を更新する（Ｓ１６）。
【選択図】 図３

Description

本発明は、文字入力技術に関する。

携帯電話やファクシミリ装置などにおいては、文字入力はボタン操作によるものが一般的である。その一方で、煩雑なボタン操作を低減するための技術も種々提案されている。たとえば、特許文献１は音声認識を併用することでボタン操作の回数を減らす技術を開示している。

特開平０９−２８８４９５号公報

特許文献１では、音声入力とボタン入力を照合し結果を出力する構成を提案している。しかし、出力結果は必ずしもユーザの意図通りになるとは限らず、確定や修正をする必要が出てくると考えられる。にもかかわらず、特許文献１ではこの点についての検討はされていない。

本発明の目的は、音声認識の候補を確定するボタン操作を効率的に行うことにある。

本発明の一側面は、ユーザが触れることで操作される入力デバイスと、ユーザの音声を入力し、その入力した音声に対して音声認識処理を行う音声認識手段とを備え、前記入力デバイスと前記音声認識手段とを併用して文字入力を行う文字入力装置に係り、前回確定された文字系列である既確定系列、前記音声認識手段による認識結果である確定候補、およびこれらに後続しうる認識候補である未確定系列をそれぞれ接続して表示する第１の表示手段と、前記第１の表示手段による表示処理の後にされた前記入力デバイスに対する操作に応じて前記確定候補の確定処理を行う確定手段と、前記確定手段により確定された文字列を表示する第２の表示手段とを有し、前記確定手段は、前記入力デバイスを介して前記第１の表示手段に表示された前記確定候補の変更が指示された場合、前記確定候補を変更するとともに、その変更された確定候補を考慮して前記未確定系列を更新する更新手段を含むことを特徴とする。

本発明によれば、音声認識の候補を確定する操作を効率的に行うことができる。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決手段として必須のものであるとは限らない。

図１は、本発明が適用される携帯電話機の外観構成例を示す図である。同図において、２は情報を出力する出力部で、たとえば液晶表示装置で構成される。３は入力部であり、ボタン３０１〜３１９を含む。ボタン３０１は音声認識処理の実行を指示する認識ボタンである。３０４ａ〜３０４ｄは選択ボタンであり、とりわけ上下方向の選択ボタン３０４ａ，ｂは辞書履歴使用結果選択ボタンとして用いられ、また、右方向の選択ボタン３０４ｃは一文字確定ボタンとして用いられる。３０５は確定ボタンである。３０２は確定候補変更ボタンで、ボタン３０８〜３１９で構成される。なおこれらのボタン３０８〜３１９は、直前に押下されたボタンによって一文字確定ボタンの機能を兼ねる場合がある。たとえば、ボタン３０８の押下後にボタン３０９が押下された場合は、ボタン３０８の押下後、一文字確定ボタン３０４ｃを押下してその後、確定候補変更ボタン３０２を押下した場合と同じ効果となる。なお、ボタン９１９も確定ボタン３０５の機能を有する。４は音声入力部であり、マイクロホンを内蔵している。なお、入力部３を構成する各ボタンは、図示のようにメカニカルなボタンであってもよいし、出力部２において構成されるタッチパネルなどで構成されてもよい。

図２は、図１の携帯電話機のハードウェア構成を示すブロック図である。

１は数値演算・制御等の処理を行う中央処理部である。図示の如く、上述の出力部２、入力部３、音声入力部４をはじめ、外部記憶部５、ＲＯＭ６、ＲＡＭ７が、バス８を介して中央処理部１に接続される。

外部記憶部５は、たとえばハードディスク装置や不揮発メモリ等で構成され、音声認識に使用される音響モデル５０１や認識辞書５０２等が保持される。さらに、この外部記憶部５には、ＲＡＭ７に保持される各種情報のうち、恒久的に使用されるべき情報も保持される。たとえば、入力履歴５０３がこれにあたる。なお、外部記憶部５は、ＣＤ−ＲＯＭやメモリカードといった可搬性のある記憶媒体を用いるものであっても良く、これによって利便性を高めることもできる。

ＲＯＭ６は読み取り専用のメモリであり、文字入力処理を実現するためのプログラムコード６０１や図示しない固定的データ等が格納される。もっとも、外部記憶部５とＲＯＭ６の使用には任意性がある。たとえば、プログラムコード６０１は、ＲＯＭ６ではなく外部記憶部５にインストールされるものであっても良い。逆に、音響モデル５０１等はＲＯＭ６に格納されるものであっても良い。

ＲＡＭ７は一時情報を保持するメモリであり、一時的なデータや各種フラグ等が保持される。とりわけ本実施形態では、図示の如く、ＲＡＭ７には、既確定系列７０１、確定候補７０２、未確定系列７０３、辞書履歴使用認識結果７０４等が格納される。

図３は、本実施形態に係る携帯電話機の文字入力処理を示すフローチャートである。このフローチャートに対応するプログラムはプログラムコード６０１に含まれ、中央処理部１によって実行されるものである。

まず、ステップＳ１で、認識ボタン３０１の押下を検出する。次にステップＳ２で、音声入力部４から入力された音声データを取得する。

次にステップＳ３で、ステップＳ２で取得した音声データに対して音声認識に必要な計算を行う。この計算はリアルタイム処理で行われることが望ましい。音声認識に必要な計算としては、音声データの取得と並行して実行可能な計算と、全音声データの取得後に実行される計算とがあるところ、本ステップでは、前者の計算を行う。例えば、信号処理による特徴抽出や音響モデル５０１に対するフレーム尤度の計算がこれに該当する。さらに、前向き・後ろ向き探索に基づいた音声認識を採用する場合には、前向き探索も本ステップで実行できる。この場合、前向き探索の探索空間は、後述のステップＳ５およびステップＳ９における認識文法のいずれかあるいは２者の和集合となる。

次に、ステップＳ４で、ユーザの発声が終了したかどうかを判定する。この判定にはたとえば、ステップＳ３の計算結果を利用することができる。また、周知のように、音声認識においては、ボタン操作によって発声終了を指示する技術も存在する。この場合、ボタン操作をもって音声終了と判定される。ユーザの発声が終了していれば処理はステップＳ５に進み、そうでなければステップＳ２に戻る。

ステップＳ５では、ステップＳ３の結果に基づいて認識結果を取得する。本ステップでは、認識結果候補は任意の系列となる。本ステップにおける認識結果候補をネットワーク文法で表現した例を図７に示す。図７中、二重丸で示されたノードは空ノードである。

次に、ステップＳ６で、既確定系列７０１を空文字列に初期化する。

次に、ステップＳ７で、確定候補７０２をステップＳ５で取得した認識結果の先頭ノードに対応する文字列で初期化する。たとえば、ステップＳ５で取得した認識結果が図８に示されるものである場合には、確定候補７０２は「た」となる。初期化後の確定候補７０２はＲＡＭ７に保持される。

次に、ステップＳ８で、未確定系列７０３をステップＳ５で取得した認識結果の２番目以降のノードに対応する文字列で初期化する。たとえば、ステップＳ５で取得した認識結果が図８に示されるものである場合、未確定系列７０３は「みんなと」となる。初期化後の未確定系列７０３はＲＡＭ７に保持される。

次に、ステップＳ９で、認識辞書５０２および／または入力履歴５０３に登録された内容を認識結果候補とする音声認識結果を１または２以上取得し、辞書履歴使用認識結果７０４としてＲＡＭ７に記憶する。

次に、ステップＳ１０で、ＲＡＭ７に保持されている既確定系列７０１の内容を、出力部２に既確定系列表示用の形式で表示する。その後、ステップＳ１１で、ＲＡＭ７に保持されている確定候補７０２の内容を出力部２に確定候補表示用の形式で表示する。さらに、ステップＳ１２で、ＲＡＭ７に保持されている未確定系列７０３の内容を出力部２に未確定系列表示用の形式で表示する。

上記したステップＳ１０〜Ｓ１２の結果の例を図９に示す。ここでは、既確定系列７０１、確定候補７０２、未確定系列７０３の内容はそれぞれ、「あり」、「ん」、「なと」としている。図９から分かるように、既確定系列７０１は通常フォントで、確定候補７０２は太文字フォントで、未確定系列７０３は下線付きフォントで表示されている。これは、それぞれの種別をユーザに明確に示すためである。

次に、ステップＳ１３で、辞書履歴使用認識結果７０４の内容を出力部２に辞書履歴使用認識結果表示用の形式で表示する。

次に、ステップＳ１４で、いずれかのボタンの押下を検出する。

次に、ステップＳ１５で、ステップＳ１４で検出したボタンの種別を判定する。ここで、ステップＳ１４で検出したボタンが確定候補変更ボタン３０２（すなわち、ボタン３０８〜３１９のいずれか）であれば、処理はステップＳ１６に進む。また、ステップＳ１４で検出したボタンが一文字確定ボタン３０４ｃであれば、処理はステップＳ１７進む。また、ステップＳ１４で検出したボタンが辞書履歴使用認識結果選択ボタン３０４ａ，ｂであれば、処理はステップＳ１８に進む。また、ステップＳ１４で検出したボタンが確定ボタン３０５であれば、処理はステップＳ１９に進む。

ステップＳ１６は、確定候補を変更するサブルーチンである。このサブルーチン（確定候補変更ルーチン）の処理フローを図４に示す。

まず、ステップＳ１０１で、確定候補７０２の内容がステップＳ１４で検出したボタンに対応した候補集合に属するかを判定する。ここで、確定候補７０２の内容がステップＳ１４で検出したボタンに対応した候補集合に属する場合は、処理はステップＳ１０２に進み、そうでない場合は、処理はステップＳ１０５に進む。ボタン３０９を例にとると、ボタン３０９に対応した候補集合は、図１０に示すようなものである。

ステップＳ１０２では、ステップＳ１４で検出したボタンに対応した候補集合中、現在の確定候補７０２の次に位置する候補を新たな確定候補７０２とする。たとえば、確定候補が「こ」であり、候補集合が図１０に示されたものである場合、確定候補７０２の内容は、「こ」の次に位置する「が」に更新される。

次に、ステップＳ１０３で、既確定系列７０１およびステップＳ１０２で更新された確定候補７０２で始まる任意系列を認識結果候補とする。既確定系列７０１が「あり」、確定候補７０２が「が」の場合における認識結果候補の例を図１１に示す。

次に、ステップＳ１０４で、ステップＳ３での認識計算結果に基づいて、ステップＳ１０３で更新された認識結果候補から認識結果を取得する。音声認識が前向き・後ろ向き探索に基づいた手法の場合、ステップＳ３で計算されたフレーム尤度を用いて、前記認識結果候補から構成された認識文法に対して、前向き・後ろ向き探索を行うことに相当する。あるいは、ステップＳ３で前向き探索を行う場合、前記認識結果候補にあてはまるという制約条件のもとに、ステップＳ３で得られた前向き探索結果に対して後ろ向き探索を行うことも可能である。認識結果取得後、処理はステップＳ１０８に進む。

一方のステップＳ１０５では、（１）既確定系列７０１、（２）ステップＳ１４で検出したボタンに対応した候補集合の要素のいずれか、（３）任意系列、が順次接続されたものを認識結果候補とする。既確定系列７０１が「あり」、ステップＳ１４で検出したボタンに対応した候補集合が図１０に示される内容の場合における認識結果候補の例を図１２に示す。

次に、ステップＳ１０６で、ステップＳ３での認識計算結果に基づいて、ステップＳ１０５で更新された認識結果候補から認識結果を取得する。

次に、ステップＳ１０７で、ステップＳ１０６で得られた認識結果に基づき確定候補７０２を更新する。具体的には、認識結果のうち、ステップＳ１４で検出したボタンに対応した候補集合の要素に対応する箇所を確定候補とする。このステップＳ１０７の後、処理はステップＳ１０８に進む。

ステップＳ１０８では、ステップＳ１０４もしくはステップＳ１０６で更新された認識結果に基づいて未確定系列７０３を更新する。具体的には、認識結果のうち、既確定系列７０１および確定候補７０２に後続する部分を未確定系列７０３とする。

次に、ステップＳ１０９で、辞書履歴使用認識結果７０４を更新する。具体的には、認識辞書５０２および／または入力履歴５０３に登録された内容のうち、既確定系列７０１および確定候補７０２で始まるものを認識結果候補とする音声認識結果を１または２以上取得し、これらを辞書履歴使用認識結果７０４の内容とする。

ステップＳ１０９の後、この確定候補を変更するサブルーチンは終了となり、処理はステップＳ１６からステップＳ１０に戻る。

ステップＳ１７は、確定候補を確定し未確定系列の先頭を新たな未確定候補とするサブルーチンである。このサブルーチン（一文字確定ルーチン）の処理フローを図５に示す。

まず、ステップＳ２０１で、既確定系列７０１の末尾に確定候補７０２の内容を追加する。

次に、ステップＳ２０２で、未確定系列７０３の先頭を抽出し、新たな確定候補７０２の内容として更新する。

次に、ステップＳ２０３で、未確定系列７０３から先頭の部分を削除する。

ステップＳ２０３の後、このサブルーチンは終了となり、処理はステップＳ１７からステップＳ１０に戻る。

ステップＳ１８は、認識辞書および／または入力履歴に登録された内容を認識対象とする音声認識結果を入力結果として選択するサブルーチンである。このサブルーチン（辞書履歴使用認識結果選択ルーチン）の処理フローを図６に示す。

まず、ステップＳ３０１で、ＲＡＭ７に保持されている被選択認識結果７０５を１に初期化する。

次に、ステップＳ３０２で、ＲＡＭ７に保持されている辞書履歴使用認識結果７０４の内容を出力部２に表示する。この際、順位が被選択認識結果に該当する認識結果を強調して表示するとよい。

次に、ステップＳ３０３で、いずれかのボタンの押下を検出する。

次に、ステップＳ３０４で、ステップＳ３０３で検出したボタンの種別を判定する。ここで、ステップＳ３０３で検出したボタンが辞書履歴使用認識結果選択ボタン３０４ａまたは３０４ｂであれば、処理はステップＳ３０５に進む。また、ステップＳ３０３で検出したボタンが確定ボタン３０５であれば、処理はステップＳ３０６に進む。その他の場合は処理はステップＳ１５に進む。なお、その他の場合でステップＳ１５に進む場合には、厳密にはサブルーチンからの復帰処理等の付随的な処理が必要であるが、それは本発明の本質とは関係しないため、その詳細な説明は省略する。

ステップＳ３０５では、ステップＳ３０３で検出されたボタンに応じて被選択認識結果７０５の内容を更新する。たとえば、下方向の選択を行うボタン３０４ｂが押下された場合には、被選択認識結果７０５に１を加え、反対に、上方向の選択をボタン３０４ａが押下された場合には、被選択認識結果７０５から１を減じる。ステップＳ３０５の後、処理はステップＳ３０２に戻る。

ステップＳ３０６では、既確定系列７０１の内容を、辞書履歴使用認識結果７０４のうち順位が被選択認識結果に該当する認識結果に更新する。

ステップＳ３０６の後、このサブルーチンは終了となり、処理はステップＳ１８からステップＳ２１に進む。

一方、確定ボタン３０５が押下されたことで実行されるステップＳ１９では、既確定系列７０１の末尾に確定候補７０２および未確定系列７０３の内容を追加する全確定処理を行う。その後、ステップＳ２０で、既確定系列７０１の内容を漢字仮名混じり表記に変換し、これを既確定系列７０１に格納する。なお、仮名漢字変換に関しては種々の方式や装置が周知であり、本実施形態においても周知の仮名漢字変換を利用可能なため、その詳細な説明は省略する。

ステップＳ２１では、既確定系列７０１の内容を出力部２に表示する。

次に、ステップＳ２２で、既確定系列７０１の内容を入力履歴５０３に追加し、本処理を終了する。

以上のように、本実施形態では、最初に一発声分の音声を入力した後、音声認識結果を順次確定していく。これにより、音声認識の性能が十分に確保できる場合、ボタン操作がほとんど一文字確定ボタン３０４ｃもしくは確定ボタン３０５の押下のみになり、ボタン操作が簡略化される。さらに、入力内容が辞書や履歴と同一の場合には、辞書履歴使用認識結果７０４を用いて速やかに入力することが可能である。

また、音声認識結果の確定の過程で、認識結果を取得し直す際には、確定された部分も考慮して未確定部分の認識結果を取得する。これにより、音声認識におけるセグメンテーション誤りを減少させることが可能になり、高精度な認識結果を得ることが可能となる。

なお、上述の実施形態では、処理単位が仮名１文字であるかのように説明したが、処理単位は仮名文字以外でも可能である。仮名文字以外の処理単位の例としては、音節や音素が挙げられる。この場合、上述のステップＳ５、ステップＳ１０３、ステップＳ１０４で用いられる認識結果候補やステップＳ１０１で用いられる候補集合は音節あるいは音素を単位として構成されることになる。

さらに、処理単位としては、仮名文字、音節、音素等を混用することも可能である。たとえば、音節単位の場合、拗音節（「きゃ」等）や撥音節（「おん」等）はそれぞれ１単位として扱われることとなるが、撥音節のみ分離して（「お」、「ん」のように）扱っても良い。

なお、上記実施形態を日本語以外の言語に適用する場合、ステップＳ２０における仮名漢字変換は当該言語における発音・表記間の変換となる。

また、周知のように、音声認識技術において、認識開始時にボタンの押下を必要としない技術も存在する。たとえば、入力した音声データのパワー等を常に計算し、そのパワー等が所定のしきい値を超えた時点で音声認識を開始する構成も知られている。上述の実施形態では、認識ボタン３０１の押下をトリガとして音声認識を開始する構成を例に説明したが、認識開始時にボタンの押下を必要としない構成においても本発明を適用可能であることは言うまでもない。

（他の実施形態）
以上、本発明の実施形態を詳述したが、本発明は、上述の実施形態のような携帯電話機のみならず、ファクシミリ装置などにも適用することができる。また、本発明は、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の各機能を実現するプログラムを、システムまたは装置に直接または遠隔から供給し、そのシステムまたは装置に含まれるコンピュータがその供給されたプログラムコードを読み出して実行することによっても達成される。

従って、本発明の機能・処理をコンピュータで実現するために、そのコンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、上記機能・処理を実現するためのコンピュータプログラム自体も本発明の一つである。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、記録媒体としては、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

また、プログラムは、クライアントコンピュータのブラウザを用いてインターネットのホームページからダウンロードしてもよい。すなわち、ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードしてもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードする形態も考えられる。つまり、本発明の機能・処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明の構成要件となる場合がある。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布してもよい。この場合、所定条件をクリアしたユーザにのみ、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報で暗号化されたプログラムを復号して実行し、プログラムをコンピュータにインストールしてもよい。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現されてもよい。なお、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ってもよい。もちろん、この場合も、前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれてもよい。そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ってもよい。このようにして、前述した実施形態の機能が実現されることもある。

本発明が適用される携帯電話機の外観構成例を示す図である。 図１の携帯電話機のハードウェア構成を示すブロック図である。 実施形態に係る携帯電話機の文字入力処理を示すフローチャートである。 実施形態における確定候補変更ルーチンのフローチャートである。 実施形態における一文字確定ルーチンのフローチャートである。 実施形態における辞書履歴使用認識結果選択ルーチンのフローチャートである。 認識結果候補をネットワーク文法で表現した例を示す図である。 ステップＳ５で取得した認識結果の例を示す図である。 既確定系列、確定候補、未確定系列の表示例を示す図である。 ボタン３０９に対応した候補集合の例を示す図である。 既確定系列が「あり」、確定候補が「が」の場合における認識結果候補の例を示す図である。 既確定系列が「あり」、押下されたボタンに対応した候補集合が図１０に示される内容の場合における認識結果候補の例を示す図である。

Claims (6)

1. ユーザが触れることで操作される入力デバイスと、ユーザの音声を入力し、その入力した音声に対して音声認識処理を行う音声認識手段とを備え、前記入力デバイスと前記音声認識手段とを併用して文字入力を行う文字入力装置であって、
   前回確定された文字系列である既確定系列、前記音声認識手段による認識結果である確定候補、およびこれらに後続しうる認識候補である未確定系列をそれぞれ接続して表示する第１の表示手段と、
   前記第１の表示手段による表示処理の後にされた前記入力デバイスに対する操作に応じて前記確定候補の確定処理を行う確定手段と、
   前記確定手段により確定された文字列を表示する第２の表示手段と、
   を有し、
   前記確定手段は、前記入力デバイスを介して前記第１の表示手段に表示された前記確定候補の変更が指示された場合、前記確定候補を変更するとともに、その変更された確定候補を考慮して前記未確定系列を更新する更新手段を含む
   ことを特徴とする文字入力装置。
2. 前記確定候補は、単音素、単音節、単一文字のいずれかであることを特徴とする請求項１に記載の文字入力装置。
3. 前記第１の表示手段は、前記既確定系列、確定候補、未確定系列をそれぞれ相異なる表示形式で表示することを特徴とする請求項１または２に記載の文字入力装置。
4. 請求項１から３までのいずれかに記載の文字入力装置を含む携帯電話機。
5. ユーザが触れることで操作される入力デバイスと、表示デバイスと、ユーザの音声を入力し、その入力した音声に対して音声認識処理を行う音声認識手段とを備える文字入力装置によって、前記入力デバイスと前記音声認識手段とを併用して行われる文字入力方法であって、
   前記音声認識手段により音声認識を行う認識ステップと、
   前回確定された文字系列である既確定系列、前記認識ステップで得られた認識結果である確定候補、およびこれらに後続しうる認識候補である未確定系列をそれぞれ接続して前記表示デバイスに表示する第１の表示ステップと、
   前記第１の表示ステップの後にされた前記入力デバイスに対する操作に応じて前記確定候補の確定処理を行う確定ステップと、
   前記確定ステップで確定された文字列を前記表示デバイスに表示する第２の表示ステップと、
   を有し、
   前記確定ステップは、前記入力デバイスを介して前記第１の表示ステップで表示された前記確定候補の変更が指示された場合、前記確定候補を変更するとともに、その変更された確定候補を考慮して前記未確定系列を更新する更新ステップを含む
   ことを特徴とする文字入力方法。
6. ユーザが触れることで操作される入力デバイスと、表示デバイスと、ユーザの音声を入力し、その入力した音声に対して音声認識処理を行う音声認識手段とを備える文字入力装置において、前記入力デバイスと前記音声認識手段とを併用して行われる文字入力方法を実現するためのプログラムであって、
   前記音声認識手段により音声認識を行う認識ステップのコードと、
   前回確定された文字系列である既確定系列、前記認識ステップで得られた認識結果である確定候補、およびこれらに後続しうる認識候補である未確定系列をそれぞれ接続して前記表示デバイスに表示する第１の表示ステップのコードと、
   前記第１の表示ステップの後にされた前記入力デバイスに対する操作に応じて前記確定候補の確定処理を行う確定ステップのコードと、
   前記確定ステップで確定された文字列を前記表示デバイスに表示する第２の表示ステップのコードと、
   を有し、
   前記確定ステップのコードは、前記入力デバイスを介して前記第１の表示ステップで表示された前記確定候補の変更が指示された場合、前記確定候補を変更するとともに、その変更された確定候補を考慮して前記未確定系列を更新する更新ステップのコードを含む
   ことを特徴とするプログラム。

Images