JP2005055782A - データ入力装置、ハンディターミナル、データ入力方法、プログラム及び記録媒体 - Google Patents

データ入力装置、ハンディターミナル、データ入力方法、プログラム及び記録媒体 Download PDF

Info

Publication number
JP2005055782A
JP2005055782A JP2003288390A JP2003288390A JP2005055782A JP 2005055782 A JP2005055782 A JP 2005055782A JP 2003288390 A JP2003288390 A JP 2003288390A JP 2003288390 A JP2003288390 A JP 2003288390A JP 2005055782 A JP2005055782 A JP 2005055782A
Authority
JP
Japan
Prior art keywords
word
data
input
recognition
input device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003288390A
Other languages
English (en)
Inventor
Yoichiro Hachiman
洋一郎 八幡
Akira Tsuruta
彰 鶴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2003288390A priority Critical patent/JP2005055782A/ja
Publication of JP2005055782A publication Critical patent/JP2005055782A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Cash Registers Or Receiving Machines (AREA)
  • Character Discrimination (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】 ユーザにとって簡便な入力方法で入力されたデータを認識し、一旦表示した後、実際にデータを入力するデータ入力装置において、操作に熟練を要さずに誤認識による誤ったデータの入力を防止でき、作業効率の低下等の問題発生を抑制することができるデータ入力装置等を提供する。
【解決手段】 入力部２０１が、マイク１０６を介して、二以上の語彙を含む音声データの入力を受け、認識部２０２にて認識した結果を表示器１０３に表示する際、認識結果として得られた複数の候補単語列に重複する単語が存在した場合に、第１語彙編集部２０５１及び第２語彙編集部２０５２が、当該同一の単語が重複して表示されることが無いように編集して表示器１０３に表示させる。
【選択図】 図２

Description

本発明は、データ入力装置、ハンディターミナル、データ入力方法、プログラム及び記録媒体に関し、特に、音声入力や手書き文字などによる入力データを認識した結果として得られる入力データの候補を一旦表示し、その後にデータを入力するデータ入力装置、ハンディターミナル、データ入力方法、プログラム及び記録媒体に関する。
従来のデータ入力装置の一例として、例えばレストラン等でオーダの入力に用いられるハンディターミナル等を利用したデータ入力装置がある。このような従来のデータ入力装置では、レストランの従業員等のユーザがキーやタッチパネルなどを操作し、メニュー及び個数を入力することによりオーダの入力を行っている。
このようなデータ入力装置ではユーザが操作を誤らない限り正確な入力が可能ではあるが、ユーザが、メニューとキー、タッチパネル等の対応関係を習得する必要があり、また、メニューの追加、変更のたびに対応関係が変化するなど、ユーザにとって必ずしも使い勝手がよいとは言えない。特にユーザがアルバイト、パートなど、操作に慣れていない場合、作業効率、顧客サービスの観点から問題が生じることがある。
操作に熟練を要せず、使い勝手のよいデータ入力装置の一例として、音声認識技術を利用し、音声によりオーダを入力することを可能としたオーダ入力装置が特許文献１に開示されている。
特開２００２−３１２４５１号公報
上記従来のオーダ入力装置は音声を認識してオーダを入力しているが、現状の技術をもってしても音声認識の正確性は完全とは言えず、誤認識が生じる可能性がある。特にレストランなどのように雑音の多い環境で使用される場合、誤認識の可能性はさらに高くなる。上記従来のオーダ入力装置には、実際に入力されているのがどのようなデータか確認するような手段はなく、音声の誤認識に対処することができないという問題点がある。
このような問題点に対処するためには、例えば音声を認識した結果をディスプレイ等の表示手段に一旦表示し、ユーザによる最終確認を促すといった方法が考えられる。しかしながら、メニュー及び個数のように複数の語彙を含む入力を認識し、確認のために一旦表示する、といった処理を行う場合、認識結果として得られる入力データの候補の数が多数となると、確認操作が煩雑になる場合があるという問題点もあった。係る問題点について、以下、若干詳細に説明する。
図１３は、上記のような確認処理を想定した場合のデータ入力装置の構成の一例を示す機能ブロック図である。同図のデータ入力装置は、入力部９０１、認識部９０２、表示部９０３を備えている。入力部９０１の一例として音声入力の場合であればマイクを備えることができる。認識部９０２は、辞書を備えており各種公知の音声認識技術により入力された音声を認識し、入力されるデータの候補を出力する。出力されたデータの候補を表示部９０３に一覧表示し、ユーザによる選択の入力を受け付けて、確定データを入力する。
図１４は、表示部９０３に一覧表示される候補の一例を示す図である。同図の例は、レストランのオーダ入力の場合の例を示すものであり、「メニュー」と「個数」という二つの語彙を含む音声を一つの単語列として、単語辞書等を参照して認識した結果、類似度（スコア）の高い候補から順次一覧表示するようにしたものである。
同図１４に示されるように、複数の語彙を含む入力を一つの単語として認識した場合、一覧表示される候補の数が多くなる場合がある。最初に表示部９０３に表示された候補の中に所望の候補がない場合、例えばスクロールバー９０３１を操作することにより、次の候補を表示させることができるが、候補の数が余りに多くなると、所望の候補を選択して確定データを入力するまでの操作が煩雑となる。
本発明は、以上のような問題点に鑑みてなされたものであって、音声入力、手書き文字入力など、ユーザにとって簡易な方法で入力されたデータを認識し、認識結果を一旦表示した後、確定データを入力するデータ入力装置等において、誤認識による入力ミスを防止するとともに、入力内容の選択、確認等の操作を容易にし、作業効率の低下、顧客サービス上の問題発生を防止できるデータ入力装置、データ入力方法、プログラム及び記録媒体を提供することを目的としている。
上記の問題点を解決するために、本発明に係るデータ入力装置は、入力データの候補を一旦表示部に表示し、その後にデータの入力を行うデータ入力装置において、外部から受け付けたデータに認識処理を施し、二以上の語彙にそれぞれ属する単語から構成される単語列の候補を、認識結果として一又は複数出力する認識手段と、前記候補の複数に同一の単語が含まれている場合に、当該同一の単語が重複して表示されないように、前記認識結果を編集する編集手段と、編集された認識結果に基づいて、入力データの候補を前記表示部に表示させる表示制御手段とを含むことを特徴としている。
この構成では、一旦入力データの候補を表示することで誤認識による入力ミスを防止する他、単語が重複して表示されないため、ハンディターミナルのように表示部の表示面積が小さい場合でも、スクロールする必要が生じない場合が多くなり、実際に入力されるデータの選択操作が容易である。それにより、作業効率の低下や顧客サービス上の問題発生を抑制することができる。なお、入力データの候補を一旦表示した後は、ユーザによる選択、確認等の入力を待ってデータの入力を行うことが確実であるが、表示後、一定時間の経過後にデータ入力を行うようにすることもできる。
ここで、前記編集手段は、前記候補の複数において、同一の語彙に属する単語の中に同一の単語が存在する場合に、当該単語が一つのみ表示されるように認識結果を編集し、前記表示制御手段は、前記表示部に単語を一覧表示させるようにすることができる。編集手段の機能は、例えばプロセッサ上で動作するプログラムにより実現可能であり、表示制御手段の機能は、オペレーティングシステム（ＯＳ）の機能を利用して実現可能である。もっとも実現方法はこれに限定されない。なお、この際、前記認識手段は、単語列の候補を、それぞれの類似度を示す値と共に出力し、前記編集手段は、同一の単語が存在する場合に、当該単語が含まれる候補の類似度がもっとも高い場合に当該単語を残し、他の場合に単語を削除することにより、当該単語が一つのみ表示されるように編集することができる。さらに、前記表示制御手段は、各単語が、含まれる候補の類似度の高い順に一覧表示されるように制御することが好ましい。誤認識の可能性があるとはいえ、類似度の高い候補は実際に入力されたデータと一致する可能性も高く、当該類似度の高い候補に含まれる単語を先に表示することで、より操作性を高めることができるからである。
前記認識手段は、前記二以上の語彙のそれぞれに属し得る単語の辞書データを参照して認識を行うことができる。この構成は、特にいわゆる連続音声認識を用いる場合に好適である。また、前記認識手段は、前記単語列の候補となり得る単語列の辞書データを参照して認識を行うこともできる。この場合、単語列が一つの単語として認識されることとなる。前記編集手段は、認識結果として出力された単語列のそれぞれを、各語彙に属する単語に分解する分解手段を備えることが好ましい。このように分解することにより、最終的に重複する単語が表示されないように処理することが容易となる。
前記認識手段は、音声にて入力されたデータを認識することができるし、手書き文字にて入力されたデータを認識することもできる。いずれもユーザにより簡便にデータを入力することが可能であり、機器の操作に熟練を要しない。
なお、本発明に係るデータ入力装置は、前記認識手段が認識するデータの入力（例えばマイクを用いた音声入力、タブレット等を利用した手書き文字入力）とは異なる形態の入力を受け付ける第２の入力手段を備え、前記複数の語彙のうち、前記第２の入力手段により入力されるものは、前記表示部に表示されないようにすることが好ましい。表示されないようにするためには、認識結果を編集して削除してもよいし、表示制御手段の側で消去してもよい。前記第２の入力手段としては、例えば、ボタン（テンキーボタンを含む。）、シートキー、タッチパネル付き表示器の少なくとも一つを用いることができるが、これらに限定されない。
特に、前記第２の入力手段は、数値の入力を受け付ける機能を有し、前記複数の語彙のうち、前記第２の入力手段により入力されるべきものは、数を表す語彙が含まれることが好ましい。個数、時刻、日付等は、例えばテンキーボタンを用いて容易に入力することが可能であり、直接入力するようにした方が操作性が高まると考えられるからである。具体的には、前記複数の語彙は、メニュー及び個数の二つの語彙であり、個数は前記第２の入力手段を介して入力される構成とすることができる。なお、第２の入力手段により入力されるのは数値に限らず、例えば「禁煙」「喫煙」の各ボタンを設け、いずれかを選択するような場合もある。このボタンは表示部以外に設けてもよいし、表示部に表示し（音声入力等の結果として表示されるのではなく、別途表示される。）、タッチパネルやペン入力による場合も含まれる。
前記表示制御手段は、各語彙に属する単語が、語彙ごとに一覧表示されるように制御することができる。さらにデータ入力装置は、表示部に表示された単語を選択する指示入力を受け付ける第３の入力手段を備え、前記表示制御手段は、前記指示入力により選択された単語を識別可能に表示させることができる。このようにすることで、実際に入力されるデータとして選択されている単語を識別することができ、入力ミスが防止できる。なお、ここで識別可能に表示されている単語は、必ずしも実際に入力されるわけではなく、何らかの別の操作（例えば確定キーの押下）によって実際に入力されることが多い。もっとも選択された状態で一定の時間を経過した場合には実際に入力するようにしてもよい。
前記選択された単語は、文字の色、文字の周囲の色、文字の太さ、文字の周囲の枠の有無、文字の周囲の枠線の太さ、文字サイズ、文字のフォントの少なくとも一が他の単語と異なることにより識別可能とされることで、選択された状態にあることが容易に識別できる。前記指示入力は、選択される単語を順次変更していくボタン若しくはキーの操作を介して行われる構成とすることもできるし、一覧表示された単語を直接指定する操作により行われる構成とすることもできる。後者は例えばペンによる操作が考えられ、このような場合は選択（確定データの決定）と同時に実際の入力処理を行う場合も考えられるであろう。
前記指示入力は、語彙ごとに、いずれかの単語を選択する入力であり、前記編集手段は、前記指示入力により単語が選択されている語彙を他の語彙と識別可能に表示するように編集することができる。例えば「個数」を選択している場合、当該単語が選択されている語彙は、文字の色、文字の周囲の色、文字の太さ、文字の周囲の枠の有無、文字の周囲の枠線の太さ、文字サイズ、文字のフォントの少なくとも一が他の語彙と異なることにより識別可能とされることが可能であり、例えば「メニュー」が選択されている状態ではないことが識別可能となる。
前記指示入力は、単語が選択される語彙を順次変更していくボタン若しくはキーの操作を介して行われる構成とすることができ、例えばカーソルを左右に移動させるキーを操作することで、第１語彙の例としてのメニューの選択と、第２語彙の例としての個数の選択とを切り替えることができる。前記表示制御手段は、単語が一覧表示される領域とは別の領域に、実際に入力されようとしているデータを表示させることが好ましい。最終的に入力されようとしているデータが別の領域に表示されることとなり、一層入力ミスの防止に寄与する。
本発明に係るハンディターミナルは、上記本発明に係るデータ入力装置を含むことを特徴とする。さらに、マイクやタブレット等、認識されるべきデータを入力するデバイスを備えてもよい。認識結果の編集は、例えばハンディターミナルに搭載されたプロセッサ上で動作するプログラムにより実現することができるし、表示制御手段の機能は、例えば機器組込み型のオペレーティングシステム（ＯＳ）の機能を利用して実現することができる。
本発明に係るデータ入力方法は、外部から入力されたデータを認識して、二以上の語彙にそれぞれ属する単語から構成される単語列の候補を、認識結果として一又は複数出力する認識ステップと、前記候補の複数に同一の単語が含まれている場合に、当該同一の単語が重複して表示されないように、前記認識結果を編集する編集ステップと、編集された認識結果に基づいて、入力データの候補を表示部に表示させる表示ステップとを含むことを特徴としている。
また、本発明に係るプログラムは、外部から入力されたデータを認識して、二以上の語彙にそれぞれ属する単語から構成される単語列の候補を、認識結果として一又は複数出力する認識処理と、前記候補の複数に同一の単語が含まれている場合に、当該同一の単語が重複して表示されないように、前記認識結果を編集する編集処理と、編集された認識結果に基づいて、入力データの候補を表示部に表示させる表示処理とを含む処理をコンピュータに実行させることを特徴としている。認識処理など、専用ＬＳＩ等を用いてハードウェア的に処理することが可能な処理について、ハードウェアによる処理を実行させるような場合も含まれる。また、全ての処理を単一のプログラムで実行させる必要はなく、ＯＳ等の汎用プログラムの機能を利用するものでもよい。このようなプログラムは、コンピュータ読み取り可能な記録媒体に記録して譲渡等される場合もあるが、ネットワークを介して譲渡等される場合もある。
本発明のデータ入力装置等によると、誤認識による入力ミスを防止するとともに、入力内容の選択、確認等の操作を容易にし、作業効率の低下、顧客サービス上の問題発生を抑制できるという効果がある。
以下、本発明の実施の形態について図面を参照しながら説明する。
（外観図）
図１は、本発明のデータ入力装置を適用したハンディターミナル１００の外観を説明するための模式図である。本実施の形態のハンディターミナル１００は、例えばレストランなどにおいてオーダの入力に用いるものであり、見開き可能な一方扉体１０１と他方扉体１０２とから形成される。一方扉体１０１の内面には、一旦表示された候補データに対して、ユーザがタッチ操作で当該候補データの選択、確定またはキャンセルなどの操作を行うことが可能なタッチパネル付き表示器１０３と、押圧して数字等のデータを入力可能なボタン１０５（テンキーボタンを含む。）、音声を入力するマイク１０６が設けられている。他方扉体１０２には、メニューを対応付けてキー操作でメニューを入力するシートキー１０４が設けられている。
なお、同図の例ではマイク１０６は内蔵されているがマイクは外付けのものを用いてもよい。マイクを外付けする場合にハンディターミナル１００の本体に受信器を設けて無線で接続してもよい。なお、この図の例では、見開き可能な構成としたが、一体型のものであってもよい。また、この図の例では、タッチパネル付き表示器（以下、単に「表示器」ともいう。）１０３は本体と一体構造となっているが、本体に受信器を設けて無線で接続してもよく、また、タッチパネルを具備しない表示機能のみの表示器であってもよい。
（実施の形態１）
図２は、本発明の第１の実施の形態におけるデータ入力装置の構成を示す機能ブロック図である。同図に示されるデータ入力装置は、マイク１０６を介して外部から入力された音声データを、以後の音声認識処理等において処理可能な形態のデータとして出力する入力部２０１と、入力されたデータを認識して、二つ以上の語彙の組合せから構成される一又は複数の候補単語列を出力する認識部２０２と、当該二つ以上の語彙の組合せから構成される音声データを認識する際に参照される辞書が格納された辞書格納部２０４と、前記認識部２０２が音声データを認識して得られた候補単語列を編集し、表示器１０３に表示させる出力編集部２０５を含んでいる。本実施の形態では、二つの語彙（「メニュー」及び「個数」）の組合せで構成される音声データの入力が想定されていることから、辞書格納部２０４には、第１語彙（メニュー）に属する単語を認識するために用いられる辞書データを格納している第１語彙格納部２０４１、及び第２語彙（個数）に属する単語を認識するために用いられる辞書データを格納している第２語彙格納部２０４２が設けられている。本実施の形態では、認識部２０２で実施される音声認識処理は、第１語彙と第２語彙との二つの語彙の組合せにより構成される連続音声認識処理であることが好ましい。
出力編集部２０５は、認識部２０２において認識された結果の中で、第１語彙（メニュー）に属する候補単語中に同一の単語が存在する場合に重複するものを削除し、同一単語は一つのみ表示されるように検索結果である候補単語を編集する第１語彙編集部２０５１と、第２語彙（個数）に属する候補単語中に同一の単語が存在する場合に重複するものを削除し、同一単語が一つのみ表示されるように候補単語を編集する第２語彙編集部２０５２とを備えている。
なお、本実施の形態のハンディターミナル１００は、レストランでのオーダ入力のために用いられるものであり、入力される音声データが「メニュー」及び「個数」の二つの語彙から成るものであることを前提としているため、出力編集部をそれぞれの語彙ごとに二つ記載したが、物理的には同一のＣＰＵ上で順次プログラムが動作することにより実現される。利用目的に応じて語彙の数は二以上の範囲で適宜変更することが可能である。その場合には、後述するプログラムによる処理を、第３語彙編集部、第４語彙編集部、等に対応して実行するようにすればよい。また、入力され得る音声データに応じて辞書の内容を構成することが好ましいのは当然である。
入力部２０１は、専用のＬＳＩなどで構成される。マイク１０６を通して入力された「メニュー」と「個数」を含むオーダの音声データを、専用のＬＳＩ素子などでＡ／Ｄ（アナログ／デジタル）変換し、デジタル音声データとする。マイク１０６は、その形状、配置、材質など全く限定されない。また、図１の例では、マイク１０６は内蔵されているが、外付けされていてもよい。マイクを外付けする場合に、本体に受信器を設けて、無線で接続してもよい。また、発話タイミングを獲得するトークスイッチが設けられていてもよい。なお、入力部２０１を構成する専用の前記ＬＳＩ素子は必ずしも具備しなくてもよく、例えば、入力された音声データをアナログ音声データとして扱ってもよい。
認識部２０２は、音声認識エンジンを含む専用ＬＳＩ素子または音声認識プログラムが動作するＣＰＵ等により構成され、入力部２０１で入力処理されたデジタル音声データを認識し、二つ以上の語彙の組合せから構成される一又は複数通りの候補単語列を出力する。本実施の形態では、二つの語彙（「メニュー」及び「個数」）の組合せから構成される一以上の候補単語列を出力する場合について説明する。二つの語彙のそれぞれに属する候補単語を認識するための辞書は、辞書格納部２０４に、第１語彙格納部２０４１、第２語彙格納部２０４２として、それぞれ予め格納しておく。辞書格納部２０４は、半導体メモリ、磁気メモリ、または各種記憶装置などで構成することができる。
認識部２０２は、上記辞書を参照して音声認識処理を行い、認識結果として得られた候補単語列を出力する。前記したように、認識部２０２で実施される音声認識処理は、第１語彙と第２語彙との二つの語彙の組合せにより構成される連続音声認識処理であることが好ましい。連続音声認識による場合、その文法処理は特に限定されない。例えば第１語彙と第２語彙の接続をネットワーク接続と捉えてネットワーク文法を用いてもよく、二つの語彙をクラスとして扱いクラスｂｉｇｒａｍを用いてもよい。また、単語辞書の内容はネットワーク等を介して随時更新できる構成としておくことが好ましい。特にオーダ入力に用いる場合、季節メニューや新メニュー、メニューの廃止などに随時適応可能なことが好ましいからである。いずれにせよ、本実施の形態においては、認識結果として得られる候補単語列の各単語について、第１語彙と第２語彙のいずれに属する単語であるか判別可能であることが好ましい。判別可能とするためには、例えば候補単語列の類似度（スコア）算出の際に、類似度（スコア）格納部と、各類似度（スコア）に関連付けて第１語彙候補単語を格納する第１語彙候補単語格納部と、同様に第２語彙候補単語格納部とを設ける（図示せず）、また例えば、候補単語列の類似度（スコア）算出の際に、候補単語列とともに候補単語列を構築する第１語彙と第２語彙の各単語へのインデックスを作成しておくような構成とすることができる。
なお、音声認識処理自体については、例えば「ＩＴ Ｔｅｘｔ 音声認識システム」（鹿野清宏他著 オーム社）などに記載されている公知の音声認識処理を適宜用いればよい。
出力編集部２０５は、ＣＰＵ等のプロセッサを含む素子で構成され、認識部２０２で認識した結果として得られる一又は複数通りの候補単語列の、第１語彙、第２語彙にそれぞれ属する単語を表示器１０３に表示するために編集する処理を行う。この編集処理は、候補単語中に同一単語が存在する場合に、重複して表示されないようにするため、同一の単語は一つとなるように編集する処理である。例えば、認識部２０２の認識結果として得られた類似度（スコア）が上位１０個の候補単語列が図１４に示すようなものであった場合、第１語彙に対応する単語（メニュー）について、認識時の単語列のスコア上位から１０単語は順に「サーロインステーキ」、「サービスステーキ」、「サーロインステーキ」、「サーロインステーキ」、「サービスステーキ」、「サービスステーキ」、「サイコロステーキ」、「サイコロステーキ」、「サイコロステーキ」、「サーロインステーキ」である。これをこのまま表示器１０３に表示したのでは表示される内容に重複が生じ、特にハンディターミナル１００のように表示器の面積が小さい場合には、実際に入力するデータを確定するために画面をスクロールさせる操作が煩雑となる。これはハンディターミナル１００の使用環境に雑音が多い場合など、認識結果として多くの候補単語列が出力されたような場合に特に問題となる。
本実施の形態の第１語彙編集部２０５１は、第１語彙の候補を表示器１０３に表示させる際に、「サーロインステーキ」、「サービスステーキ」、「サイコロステーキ」のように同一単語の重複を廃し、一つとなるように認識結果を編集する。図を用いた詳細な説明は後述する。なお、認識時の単語列の類似度（スコア）とは、例えば、入力された音声データの特徴と、予め準備した単語辞書（語彙）中の単語や、予め準備した単語辞書（語彙）中の単語の組合せから構成される単語列に関連付けられた特徴（またはＨＭＭ（隠れマルコフモデル）などの音響モデル）との照合における類似の度合いを示す数値である。
第２語彙編集部２０５２は、第２語彙について第１語彙編集部２０５１と同様の処理を行う。例えば、複数の候補単語列中の第２語彙に対応する単語について、認識時の単語列の類似度（スコア）の上位から１０単語が順に「１」、「１」、「２」、「５」、「２」、「５」、「１」、「２」、「５」、「４」である場合（図１４の例）、「１」、「２」、「５」、「４」のように同一単語が一つとなるように編集する。図を用いた詳細な説明は後述する。
以上のように、表示に重複がないように編集された第１語彙及び第２語彙の認識結果が表示器１０３に表示される。表示に際しては、ハンディターミナルに搭載されたＷｉｎｄｏｗｓＣＥ（登録商標）等の機器組込み型オペレーティングシステム（ＯＳ）の機能を利用することができ、第１語彙及び第２語彙が、それぞれ重複無く、かつ、ユーザに認識しやすい形態で表示される。ユーザは当該表示を参照して、メニュー及び個数を選択、確定させることができる。実際の表示形態については、後に図面を参照して詳細に説明する。
（データ入力装置の処理内容）
次に本実施の形態のデータ入力装置の具体的な処理内容について説明する。
図３は、本実施の形態のデータ入力装置が実行する処理のフローチャートである。
入力部２０１において、ユーザから入力されたレストランメニューと個数のようなオーダなどの音声データを、例えばＡ／Ｄ変換などにより後段で処理可能な形態にする（Ｓ１０１）。得られたデータは、認識部２０２へ送られ、ステップＳ１０２に進む。
認識部２０２において、入力部２０１から送られた音声データの認識処理が行われ、得られた認識結果の中で、類似度（スコア）の大きいものから順に上位Ｍ個を候補単語列とする（Ｓ１０２）。ここで、上位Ｍ個の候補単語列とは、Ｍ個の単語の並びという意味ではなく、第１語彙と第２語彙の組合せから構成される単語の並び（単語列）が類似度（スコア）順にＭ個存在するものである。候補単語列の数Ｍは、半導体メモリ、磁気メモリ、または記憶装置などの容量などに応じて予め適当な値を設定しておけばよい。また、ユーザ指示によって設定できるようにしてもよい。上記Ｍ個の候補単語列は出力編集部２０５へと送られる。ステップＳ１０３以降は出力編集部２０５の処理となる。
なお、本実施の形態では、Ｍ＝１０の場合について説明する。認識部２０２での音声認識の結果の中で、類似度（スコア）の大きいものから順に並べた上位１０個の候補単語列の例が図１４に示すものである場合について説明する。同図において、候補単語列８０（サーロインステーキ１）は類似度（スコア）最大の候補単語列、候補単語列８９（サーロインステーキ４）は類似度（スコア）第１０位の候補単語列である。同図において「サーロインステーキ」、「サービスステーキ」、「サイコロステーキ」は第１語彙（メニュー）に属する単語であり、「１」、「２」、「５」、「４」は第２語彙（個数）に属する単語である。このとき、従来のデータ入力装置においては、認識結果として候補単語列をユーザに提示する際に、例えば図１５に示すように、認識結果としてスコアの大きいものから上位Ｐ個の候補単語列９１〜９５を表示していた（同図の例はＰ＝５の場合）。なお、Ｐの値は、図１に示したタッチパネル付き表示器１０３の表示面積などに応じて予め設定しておけばよく、以後の説明ではＰ＝５の場合について説明する。
図３に戻り、出力編集部２０５に設けられているカウンタ（不図示）ｉに１を代入して初期化する（Ｓ１０３）。まず、第１語彙（ｉ＝１）が編集処理対象であるかどうかを判定する（Ｓ１０４）。編集対象である場合（Ｓ１０４：ＹＥＳ）はステップＳ１０５に進み、編集対象でない場合（Ｓ１０４：ＮＯ）はステップＳ１０７に進む。編集対象であるか否かの判定基準の例については、後述する。
第１語彙編集処理（ｉ＝１の場合）では、第１語彙編集部２０５１において、第１語彙（メニュー）に対応する候補単語１０個（Ｍ＝１０）について、候補単語中に同一単語が存在する場合に、同一単語が重複して表示されることを防止し、同一単語が一つとなるように出力すべき候補単語を編集する（Ｓ１０５）。編集された第１語彙に対応する候補単語（一度に表示されるのは最大Ｐ個）が表示器１０３に表示される（Ｓ１０６）。この表示処理は、前記したようにＯＳの機能を利用して実行される。
図１４に示した認識結果中の第１語彙に対応する候補単語１０個を編集した際の表示例を図４中に候補単語１１〜１３として示す。出力編集部２０５に含まれるプロセッサにおいて、カウンタｉに１を加算して更新する（Ｓ１０７）。カウンタｉが語彙セット数Ｎ（本実施の形態ではＮ＝２）よりも大きいかどうかを判定し（Ｓ１０８）、大きい場合は（Ｓ１０８：ＹＥＳ）処理を終了し、同じあるいは小さい場合（Ｓ１０８：ＮＯ）はＳ１０４へと戻る。ここで、語彙セット数Ｎは、認識部２０２で認識処理を行うに際して用いられる語彙セットの数で、本実施の形態ではＮが２（「メニュー」及び「個数」）の場合について説明している。例えば、第１語彙としてレストランメニューが５０個存在し、第２語彙として個数が１から２０まで２０個存在した場合、語彙セット数Ｎは２、認識結果となり得る候補単語列の種類は１０００通り考えられる。
上記Ｓ１０５では、ｉが１の場合に対応して第１語彙編集部２０５１における動作として説明したが、ｉが２の場合には第２語彙編集部２０５２の処理となる。もっとも処理は第１語彙に対するものと同様である。なお、Ｎが３以上の場合には、ｉが３の場合に第３語彙について、以下も同様に、第１語彙や第２語彙と同様の処理を行えばよい。
また、本実施の形態においては、候補単語の編集（Ｓ１０５）と出力語彙の表示（Ｓ１０６）を語彙（ｉ）毎に続けて処理しているが、編集（Ｓ１０５）を全ての対象語彙に対して処理した後に、表示（Ｓ１０６）を全ての対象語彙に対して処理してもよい。
（実施の形態２）
次に本発明の第２の実施の形態について説明する。
図５は、本発明の第２の実施の形態におけるデータ入力装置の構成を示す機能ブロック図である。同図に示されるデータ入力装置は、マイク１０６を介して入力された音声データを次手段において処理可能な形態のデータとして次手段に送る入力部３０１と、入力されたデータを認識して、二つ以上の語彙の組合せから構成される複数通りの候補単語列を得ることを可能とする認識部３０２と、認識部３０２が認識処理を行うに際し、参照される単語辞書が格納される辞書格納部３０４と、認識結果を編集し、表示器１０３に表示させる候補単語編集部３０５とを含んでいる。
本実施の形態の候補単語編集部３０５は、認識部３０２において得られる候補単語列を単語に分解して、単語列中の第１番目の候補単語や、単語列中の第２番目の候補単語のように候補単語を得る候補単語分解部３０５３と、候補単語分解部３０５３において得られる、単語列中の第１番目の候補単語中に同一単語が存在する場合に、重複を排除し、同一単語が一つとなるように候補単語を編集する第１候補単語編集部３０５１と、候補単語分解部３０５３において得られる、単語列中の第２番目の候補単語中に同一単語が存在する場合に、重複を排除し、同一単語が一つとなるように候補単語を編集する第２候補単語編集部３０５２とを有している。候補単語編集部３０５は、ＣＰＵ等のプロセッサを含んでおり、当該プロセッサ上でプログラムが動作することにより各部の機能が実現される。第１候補単語編集部３０５１、第２候補単語編集部３０５２で編集された結果が、ＯＳの機能を利用して表示器１０３に表示される。
図５において、入力部３０１、第１候補単語編集部３０５１、第２候補単語編集部３０５２は、それぞれ第１の実施の形態で説明した入力部２０１、第１語彙編集部２０５１、第２語彙編集部２０５２と同様の機能を有するので、詳細な説明は省略する。
認識部３０２は、音声認識エンジンを搭載した専用のＬＳＩ素子または音声認識プログラムが動作するＣＰＵなどで構成され、入力部３０１で入力処理されたデジタル音声データを認識し、二つ以上の語彙の組合せから構成される複数通りの候補単語列を導出する。本実施の形態では、二つの語彙の組合せから構成される複数通りの候補単語列を導出する場合について説明する。二つの語彙については、全ての組合せ、または目的に応じた一部の組合せのいずれかについて、その組合せから成り立つ種々の単語列を、それぞれ単語とみなし、認識用語彙として予め作成しておく。作成された認識用語彙が単語辞書格納部３０４１に予め格納される。認識部３０２では、予め作成された認識用語彙を用いて単語認識を行い、一つまたは複数の候補単語列を得る。この際、認識部３０２で実施される音声認識処理は、予め作成した認識用単語を用いた単語音声認識処理であることが好ましい。また、本実施の形態においては、認識結果として得られる候補単語について、予め組み合わせた際の二つの語彙の組合せに関して分解できるような情報を付与しておくことが好ましい。「元の語彙の組合せに関する情報」の内容の具体例、付与の方法の具体例としては、例えば、予め二つの語彙を組み合わせる際に、組み合わせた結果として得られる単語と、組み合わせる前の各々の単語とを関連付けるインデックスデータを作成しておくような手法が考えられる。
なお、音声認識処理は、「ＩＴ Ｔｅｘｔ 音声認識システム」（鹿野清宏他著 オーム社）などに記載されている公知の音声認識処理を用いればよい。
候補単語分解部３０５３は、認識部３０２で認識処理された候補単語を、元の語彙に基づく複数（本実施の形態においては二つ）の単語に分解する。二つの単語への分解にあたっては、認識部３０２において候補単語に元の語彙の組合せに関する情報を付与してある場合、付与された情報に基づいて二つの単語に分解し、それぞれ第１候補単語ならびに第２候補単語とする。また、元の語彙の組合せに関する情報を付与されていない場合、形態素解析などの文法規則に基づく品詞分解などの処理を行って複数の単語に分解し、第１番目の単語について候補数分の単語、第２番目の単語について候補数分の単語が、それぞれ得られる。
第１候補単語編集部３０５１は、第１の実施の形態の第１語彙編集部２０５１と異なる点は、認識部２０２から得られる第１語彙の候補単語の替わりに、候補単語分解部３０５３から得られる第１語彙の候補単語を対象として処理する点である。第２候補単語編集部３０５２についても同様である。
（データ入力装置の処理内容）
図６は、本発明の第２の実施の形態におけるデータ入力装置が実行する処理のフローチャートである。以下、図６に従って、本実施の形態のデータ入力処理の動作について説明する。
入力部３０１において、ユーザから入力されたレストランメニューと個数のようなオーダなどの音声データを、例えばＡ／Ｄ変換などにより後段で処理可能な形態にする（Ｓ２０１）。得られたデータは、認識部３０２へ送られ、Ｓ２０２に進む。
認識部３０２において、入力部３０１から送られた音声データの認識処理が行われ、得られた認識結果の中で、類似度（スコア）の大きいものから順に上位Ｍ個を候補単語とする（Ｓ２０２）。ここで、上位Ｍ個の候補単語とは、二つ以上（本実施の形態では二つ）の語彙の組合せから予め構成しておいた単語が類似度（スコア）順にＭ個存在するものである。候補単語数Ｍは、半導体メモリ、磁気メモリ、または記憶装置などの容量などに応じて予め適当な値を設定しておけばよい。また、ユーザ指示によって設定できるようにしてもよい。認識部３０２による認識結果は候補単語編集部３０５へと送られる。以後の処理は候補単語編集部３０５の処理となる。
候補単語分解部３０５３において、認識部３０２から送られたＭ個の候補単語について、元の語彙に基づく複数（本実施の形態においては二つ）の単語に分解する（Ｓ２０３）。二つの単語への分解にあたっては、認識部３０２において候補単語に元の語彙の組合せに関する情報を付与してある場合、付与された情報に基づいて二つの単語に分解し、それぞれ第１候補単語ならびに第２候補単語とする。また、元の語彙の組合せに関する情報を付与されていない場合、形態素解析などの文法規則に基づく品詞分解などの処理を行って複数の単語に分解し、第１番目の単語についてＭ個の第１候補単語、第２番目の単語についてＭ個の第２候補単語が、それぞれ得られる。上記の各候補単語に関して、第１候補単語Ｍ個は第１候補単語編集部３０５１へ、第２候補単語Ｍ個は第２候補単語編集部３０５２へ送られ、Ｓ２０４に進む。
以後の説明では、Ｍが１０の場合について説明する。認識部３０２で認識した認識結果の中で、類似度（スコア）の大きいものから順に並べた上位１０個の候補単語の例は図１４に示したものと同様であるとする。候補単語８０（サーロインステーキ１）は類似度（スコア）最大の候補単語、候補単語８９（サーロインステーキ４）は類似度（スコア）第１０位の候補単語である。図１４において「サーロインステーキ１」、「サービスステーキ１」などが候補単語を示しており、「サーロインステーキ」、「サービスステーキ」、「サイコロステーキ」は候補単語分解によって得られる第１候補単語（第１の語彙に属する候補単語）、「１」、「２」、「５」、「４」は候補単語分解によって得られる第２候補単語（第２の語彙に属する候補単語）である。このとき、従来のデータ入力装置においては、認識結果として候補単語列をユーザに提示する際に、図１５に示すように、スコアの大きいものから上位Ｐ個の候補単語列９１〜９５を表示していた（Ｐ＝５の場合）。ここで、Ｐは、図１に示したタッチパネル付き表示器１０３の表示面積などに応じて予め設定しておけばよい。以後の説明ではＰ＝５の場合について説明する。
候補単語編集部３０５に含まれるプロセッサにおいて、カウンタｉに１を代入して初期化する（Ｓ２０４）。第１候補単語（ｉ＝１）が編集対象であるかどうかを判定し（Ｓ２０５）、編集対象である場合（Ｓ２０５：ＹＥＳ）はＳ２０６に進み、編集対象でない場合（Ｓ２０５：ＮＯ）はＳ２０８に進む。編集対象であるか否かの判定基準の例については、後述する。
第１候補単語編集部３０５１において、候補単語分解部３０５３から送られた第１候補単語１０個（Ｍ＝１０）について、候補単語中に同一単語が存在する場合に、重複を排除し、同一単語が一つとなるように候補単語を編集する（Ｓ２０６）。
次に、第１候補単語編集部３０５１から送られた編集済み第１候補単語（最大Ｍ個）が表示器１０３に表示される（Ｓ２０７）。この表示処理は、ハンディターミナル１００に搭載された機器組込み型ＯＳの機能を利用して実行される。認識部３０２による認識結果として図１４に示された候補単語中の第１候補単語１０個を編集した際の表示例として図４に示された候補単語１１〜１３と同様にすることができる。
候補単語編集部３０５において、カウンタｉに１を加算して更新する（Ｓ２０８）。カウンタｉが語彙セット数Ｎよりも大きいかどうかを判定し（Ｓ２０９）、大きい場合（Ｓ２０９：ＹＥＳ）は処理を終了し、同じあるいは小さい場合（Ｓ２０９：ＮＯ）はＳ２０５に進む。ここで、語彙セット数Ｎは、認識部３０２で認識処理を行う際に用いられる単語辞書を予め作成する際に用いる語彙セットの数で、本実施の形態ではＮが２（「メニュー」及び「個数」）の場合について説明している。例えば、第１語彙としてレストランメニューが５０個存在し、第２語彙として個数が１から２０まで２０個存在した場合、語彙セット数Ｎは２、認識結果となり得る候補単語列の種類は１０００通り考えられる。前記したように、本実施の形態の単語辞書格納部３０４１には、当該１０００個の単語列のそれぞれが一つの単語として格納される。
上記Ｓ２０６では、ｉが１の場合に対応して第１候補単語編集部３０５１における動作として説明したが、同様に、ｉが２の場合には第２候補単語編集部３０５２の処理とすればよい。もっとも、実際に処理を行うのは通常物理的に同一のプロセッサである。また、語彙セット数がＮより大である場合には、ｉが３、４・・の場合について順次同様の処理を行えばよい。また、上記Ｓ２０７では、ｉが１の場合の表示器１０３への表示を説明したが、ｉが２の場合も同様の表示処理を行うことができる。Ｎが２より大である場合、ｉが３、４・・の場合も同様である。
また、本実施の形態においては、候補単語の編集（Ｓ２０６）と候補単語の表示（Ｓ２０７）を語彙（ｉ）毎に続けて処理しているが、編集（Ｓ２０６）を全ての対象語彙に対して処理した後に、表示（Ｓ２０７）を全ての対象語彙に対して処理してもよい。
（表示例及び確定データの入力までの処理）
以下では、上記で説明した第１の実施の形態、または第２の実施の形態において処理される候補単語の編集及び表示処理結果の例と、入力を確定するまでの流れについて、図を用いて具体例を示しながら説明する。
（表示例１）
本発明の実施の形態であるデータ入力装置が表示する認識結果の表示例の一つとして、まず図４に示した例について、ここで若干詳細に説明する。図４の例において、選択データ１０、及び認識結果１１〜１７は、上記各実施の形態における認識部２０２、または認識部３０２が、図１４に示すような認識結果を導出した結果、さらに出力編集部２０５や候補単語編集部３０５が、上記図３若しくは図６のフローチャートに従って動作した場合におけるタッチパネル付き表示器１０３への表示内容の一例である。ここで、図４に示すレストランメニューである「サーロインステーキ」、「サービスステーキ」、「サイコロステーキ」（認識結果１１〜１３）は、図１４に示す認識結果８０（「サーロインステーキ」と「１」の組合せ全体を示す。以下、認識結果８１、８２・・についても同様）〜８９のレストランメニュー語彙（第１語彙）に属する候補単語中に、同一の単語が存在する場合に、同一単語が一つとなるように編集した結果である。
具体的には、図１４に示す認識結果８０〜８９のレストランメニュー語彙に属する単語は、「サーロインステーキ」、「サービスステーキ」、「サーロインステーキ」、「サーロインステーキ」、「サービスステーキ」、「サービスステーキ」、「サイコロステーキ」、「サイコロステーキ」、「サイコロステーキ」、「サーロインステーキ」となっている。ここで、上記の順番は、認識処理時の類似度（スコア）の大きい順とする。
まず類似度最大の「サーロインステーキ」（認識結果８０の第１単語）に注目すると、認識結果８０の他に、認識結果８２、８３、８９において、同一単語、すなわち「サーロインステーキ」が存在する。そこで、本実施の形態の編集処理により、候補単語１位の単語として「サーロインステーキ」が設定され、より類似度の低い候補文字列に含まれる同一の単語（冗長な単語）は削除される。
次に、設定済みの「サーロインステーキ」以外のレストランメニューを示す認識結果の中で、類似度の大きいものに注目すると、「サービスステーキ」（認識結果８１の第１単語）が該当する。上記の「サーロインステーキ」と同様に、「サービスステーキ」に着目すると、認識結果８１の他に、認識結果８４、８５において、同一単語、すなわち「サービスステーキ」が存在する。そこで、本発明の候補単語編集処理により、候補単語２位の単語として「サービスステーキ」が設定され、同一単語（冗長な単語）は削除される。
次に、設定済みの「サーロインステーキ」、及び「サービスステーキ」以外のレストランメニューを示す認識結果の中で、類似度の大きいものに注目すると、「サイコロステーキ」（認識結果８６の第１単語）が該当する。上記の「サーロインステーキ」または「サービスステーキ」と同様に、「サイコロステーキ」に着目すると、認識結果８６の他に、認識結果８７、８８において、同一単語、すなわち「サイコロステーキ」が存在する。そこで、本発明の候補単語編集処理により、候補単語３位の単語として「サイコロステーキ」が設定され、同一単語（冗長な単語）は削除される。
さらに、設定済みの「サーロインステーキ」、「サービスステーキ」、「サイコロステーキ」以外のレストランメニューを示す認識結果を図１４から探すと、これ以上存在しないことが確認できる。従って、本発明の第１候補単語編集処理の結果は、「サーロインステーキ」、「サービスステーキ」、「サイコロステーキ」（図５に示す認識結果１１〜１３）となる。
一方、図１４に示す認識結果８０〜８９の第２語彙（個数）に属する単語は、「１」、「１」、「２」、「５」、「２」、「５」、「１」、「２」、「５」、「４」となっている。ここで、上記の順番は、認識処理時の候補文字列ごとの類似度（スコア）の大きい順とする。
まず類似度最大の「１」（認識結果８０の第２単語）に注目すると、認識結果８０の他に、認識結果８１、８６において、同一単語、すなわち「１」が存在する。そこで、本発明の候補単語編集処理により、候補単語１位の単語として「１」が設定され、より類似度の低い候補文字列に含まれる同一の単語（冗長な単語）は削除される。
次に、設定済みの「１」以外の個数を示す認識結果の中で、類似度の大きいものに注目すると、「２」（認識結果８２の第２単語）が該当する。上記の「１」と同様に、「２」に着目すると、認識結果８２の他に、認識結果８４、８７において、同一単語、すなわち「２」が存在する。そこで、本発明の候補単語編集処理により、候補単語２位の単語として「２」が設定され、同一単語（冗長な単語）は削除される。
次に、設定済みの「１」、及び「２」以外の個数を示す認識結果の中で、類似度の大きいものに注目すると、「５」（認識結果８３の第２単語）が該当する。上記の「１」または「２」と同様に、「５」に着目すると、認識結果８３の他に、認識結果８５、８８において、同一単語、すなわち「５」が存在する。そこで、本発明の候補単語編集処理により、候補単語３位の単語として「５」が設定され、同一単語（冗長な単語）は削除される。
次に、設定済みの「１」、「２」、及び「５」以外の個数を示す認識結果の中で、類似度の大きいものに注目すると、「４」（認識結果８９の第２単語）が該当する。上記の「１」、「２」、または「５」と同様に、「４」に着目すると、認識結果８９のみであり、同一単語、すなわち「４」は他に存在しない。そこで、本発明の候補単語編集処理により、候補単語４位の単語として「４」が設定される。
さらに、設定済みの「１」、「２」、「５」「４」以外の個数を示す認識結果を図１４から探すと、これ以上存在しないことが確認できる。従って、本発明の第２候補単語編集処理の結果は、「１」、「２」、「５」、「４」（図４に示す認識結果１４〜１７）となる。
なお、図４において、選択データ１０は、認識結果として表示されている候補データ（レストランメニュー１１〜１３、個数１４〜１７）の中で、現在選択されているデータを表している。ユーザは認識結果１１〜１７の中から所望の入力情報を選択し、選択データ１０に表示される選択状況を確認した上で確定処理を指示（例えば確定ボタンを押下）し、入力を確定することができる。ここで、選択データ１０の表示は認識結果１１〜１７の表示と異なる配置であり、専用の表示領域を設けているが、その表示方法や画面構成について限定するものではなく、ユーザにとって現在選択されている認識結果（候補単語）が確認できるようになっていればよい。例えば、認識結果（候補単語）の表示領域において、現在選択されているレストランメニューについては赤文字、選択されていないレストランメニューについては黒文字などとしてもよい。また例えば、現在選択されているレストランメニューと、選択されていないレストランメニューとについて、それぞれ、文字周囲色が青と、文字周囲色が白としてもよい。また例えば、現在選択されているレストランメニューと、選択されていないレストランメニューとについて、それぞれ、太字と、細字としてもよい。また例えば、現在選択されているレストランメニューと、選択されていないレストランメニューとについて、それぞれ、文字周囲の枠ありと、文字周囲の枠なしとしてもよい。また例えば、現在選択されているレストランメニューと、選択されていないレストランメニューとについて、それぞれ、文字周囲枠を太線と、文字周囲枠を細線としてもよい。また例えば、現在選択されているレストランメニューと、選択されていないレストランメニューとについて、それぞれ、文字サイズ大と、文字サイズ小としてもよい。また、個数についても同様に、現在選択されている個数と、選択されていない個数とについて、それぞれ、文字色、文字周囲色、文字太さ、文字周囲枠の有無、文字周囲枠線の太さ、文字サイズのいずれか、または組合せで表現すればよい。
また、図４においては、編集された認識結果１１〜１７からデータを指定して所望の選択データ１０を得るための手段として、図１に示すタッチパネル付き表示器１０３へのペンタッチや、ボタン１０５中の上下（△▽）や左右に対応するボタンによるカーソル移動などが考えられる。図４では、カーソル移動による選択に対応するために、現在のカーソル選択項目を表現する方法として、認識結果１１、すなわち「サーロインステーキ」を周囲枠で囲み、かつ、周囲枠を太線とする方法を採用した場合の表示例となっている。なお、認識結果１４、すなわち「１」が周囲枠で囲まれているのは、個数に関する現在の選択が「１」であることを示している。現在のカーソル選択項目の表現方法は、上記の周囲枠の有無に限定されるものではなく、例えば文字色、文字周囲色、文字太さ、文字周囲枠の有無、文字周囲枠線の太さ、文字サイズ、フォントのいずれか、または組合せで表現してもよい。
以下では、図４に示す表示例において、入力を確定するまでの流れについて、段階を追って図を用いて説明する。本実施の形態においては、発話内容（入力したい内容）が、「サイコロステーキ」「二つ（２）」であるものとする。
図７は、図４に示す表示例において入力を確定するまでの一つの段階例を示す図である。
図７において図４と異なる点は、図４に示す認識結果１１（サーロインステーキ）を囲む太枠線がなくなり（認識結果２１）、認識結果１３（サイコロステーキ）が太枠線で囲まれている点である（認識結果２３）。また、上記の相違に伴って、選択データ１０のメニュー部分が、「サーロインステーキ」から「サイコロステーキ」に変更されている（選択データ２０）。ここで、上記のレストランメニュー変更は、図１に示すタッチパネル付き表示器１０３へのペンタッチや、ボタン１０５中の上下に対応するボタンなどによって、ユーザが指示することができる。
ここで、ユーザが右への移動に対応するボタン１０５１を押下すると、図８の画面へと移行する。なお、図８は、キー操作の実現方法によっては不要となる段階である。例えば、上下の操作に対応するボタンを用いて、カーソル移動によって認識結果から所望のデータを選択する場合、上下の操作に対応するボタンがレストランメニューのカーソル移動を操作するのか、個数のカーソル移動を操作するのか、明確にする必要がある。このような場合に、左右の操作に対応するボタン１０５１等を用いて、左右のカーソル移動を可能とすることで、現在、上下の操作がレストランメニューの選択指示操作であるのか、また個数の選択指示操作であるのかを明確にすることができる。このような例においては、図８に示す段階を必要とするが、例えば、図１に示すタッチパネル付き表示器１０３へのペンタッチによって選択する場合には、レストランメニュー、または個数のいずれの選択を指示してもよく、図８に示すような表示段階を必要としない。
図８において、図７と異なる点は、図７に示す認識結果２３（サイコロステーキ）を囲む太枠線が細枠線となり（認識結果３３）、認識結果２４（「１」）が太枠線で囲まれている点である（認識結果３４）。選択データ３０など、他の点については図７と同様である。
図８において、例えば上下を表すボタン操作により、個数「２」を選択しようとすると図９の画面となる。図９は、図４に示す表示例において入力を確定するまでの別の段階例を示す図である。図９において、図８と異なる点は、図８に示す認識結果３４（「１」）を囲む太枠線がなくなり（認識結果４４）、認識結果３５（「２」）が太枠線で囲まれている点である（認識結果４５）。また、図７と異なる点は、図７に示す認識結果２３（サイコロステーキ）を囲む太枠線が細枠線となり（認識結果４３）、また、認識結果２４（「１」）を囲む細枠線がなくなり（認識結果４４）、認識結果２５（「２」）が太枠線で囲まれている点である（認識結果４５）。さらに、選択データ２０または３０の個数部分が、「１」から「２」に変更されている。ここで、上記の個数変更は、図１に示すタッチパネル付き表示器１０３へのペンタッチによるものであってもよい。
以下では、上記で説明した表示例とは異なる表示例を示すとともに、入力を確定するまでの流れについて、図を用いて具体例を示しながら説明する。
図１０は、本発明の実施の形態におけるデータ入力装置において表示される認識結果の別の表示例を示す図である。図１０において、選択データ５０、並びに認識結果５１〜５３は、本発明の第１の実施の形態における認識部２０２、または第２の実施の形態の認識部３０２が、図１４に示すような認識結果を導出した結果、さらに図２に示す第１語彙編集部２０５１、あるいは図５に示す第１候補単語編集部３０５１が動作した場合における表示例である。なお、以下に説明する例では、第２語彙である個数は認識結果の表示領域には表示されていない。
図１０に示す表示例は、実際には図１に示すタッチパネル付き表示器１０３などに表示される。ここで、図１０に示すレストランメニューに属する単語である「サーロインステーキ」、「サービスステーキ」、「サイコロステーキ」（認識結果５１〜５３）は、図１４に示す認識結果８０〜８９のレストランメニュー語彙（第１語彙または第１単語）に属する単語中に同一の単語が存在する場合に、同一単語が一つとなるように候補単語を編集した結果である。具体的な編集処理動作の詳細は、既に図２、図３等にて説明したのでここでの説明は省略する。
なお、図１０において、選択データ５０は、認識結果として表示されている候補データ（レストランメニュー５１〜５３）の中で、現在選択されているデータを表している。ユーザは認識結果５１〜５３の中から所望の入力情報を選択し、選択データ５０に表示される選択状況を確認した上で確定処理を指示し、入力を確定することができる。ここで、選択データ５０の表示は認識結果５１〜５３の表示と異なる配置であり、専用の表示領域を設けているが、その表示方法や画面構成について限定するものではなく、ユーザにとって現在選択されている認識結果（候補単語）が確認できるようになっていればよい。例えば、認識結果（候補単語）の表示領域において、現在選択されているレストランメニューについては赤文字、選択されていないレストランメニューについては黒文字などとしてもよい。また例えば、現在選択されているレストランメニューと、選択されていないレストランメニューとについて、それぞれ、文字周囲色が青と、文字周囲色が白としてもよい。また例えば、現在選択されているレストランメニューと、選択されていないレストランメニューとについて、それぞれ、太字と、細字としてもよい。また例えば、現在選択されているレストランメニューと、選択されていないレストランメニューとについて、それぞれ、文字周囲の枠ありと、文字周囲の枠なしとしてもよい。また例えば、現在選択されているレストランメニューと、選択されていないレストランメニューとについて、それぞれ、文字周囲枠を太線と、文字周囲枠を細線としてもよい。また例えば、現在選択されているレストランメニューと、選択されていないレストランメニューとについて、それぞれ、文字サイズ大と、文字サイズ小としてもよい。
また、個数については、認識結果の表示領域には表示されない。選択データ５０の表示領域にのみ、初期表示として認識結果１位の個数（「１」）を表示する。すなわち、個数については、最も正しいと考えられる値が一つだけ採用されて認識結果として表示される。
図１０においては、認識結果５１〜５３からデータを指定して所望の選択データ５０を得るための手段として、図１に示すタッチパネル付き表示器１０３へのペンタッチや、ボタン１０５中の上下に対応するボタンによるカーソル移動などが考えられる。図１０では、カーソル移動による選択に対応するために、現在のカーソル選択項目を表現する方法として、認識結果５１、すなわち「サーロインステーキ」を周囲枠で囲み、かつ、周囲枠を太線とする方法を採用した場合の表示例となっている。
なお、個数の情報については、認識結果候補を表示していないが、これは個数のような１０個のボタン（例えば図１に示すボタン１０５中のテンキーボタンなど数値入力の可能な入力手段）で入力可能な項目などについては、類似度順に表示する替わりに、直接テンキー入力した方が、操作が速くなり、操作性が向上すると考えられるからである。現在のカーソル選択項目の表現方法は、上記の周囲枠の有無に限定されるものではなく、例えば文字色、文字周囲色、文字太さ、文字周囲枠の有無、文字周囲枠線の太さ、文字サイズのいずれか、または組合せで表現してもよい。図１０に示すような表示例を得る場合、図２における第２語彙編集部２０５２は不要となり、省略してもよい。またあるいは、図５における第２候補単語編集部３０５２を不要としてもよい。具体的な処理方法としては、図３に示す第ｉ語彙編集有無判定ステップＳ１０４や、図６に示す第ｉ単語編集有無判定ステップＳ２０５において、ｉ＝２のとき、類似度が最大の候補単語列に含まれる単語を抽出する処理のみを実行するようにすることができる。
以下では、図１０に示す表示例において、入力を確定するまでの流れについて、段階毎に図を用いて説明する。本実施の形態においては、発話内容（入力したい内容）が、「サイコロステーキ」「二つ（２）」であるものとする。
図１１は、図１０に示す表示例において入力を確定するまでの一つの段階例を示す図である。図１１において、図１０と異なる点は、図１０に示す認識結果５１（サーロインステーキ）を囲む太枠線がなくなり（認識結果６１）、認識結果５３（サイコロステーキ）が太枠線で囲まれている点である（認識結果６３）。また、上記の相違に伴って、選択データ５０のレストランメニュー部分が、サーロインステーキからサイコロステーキに変更されている（選択データ６０）。ここで、上記のレストランメニュー変更は、図１に示すタッチパネル付き表示器１０３へのペンタッチや、ボタン１０５中の上下に対応するボタンなどによって、ユーザが指示することができる。
図１２は、図１０に示す表示例において入力を確定するまでの次の段階例を示す図である。図１２において、図１１と異なる点は、図１１に示す選択データ６０の個数部分が、「１」から「２」に変更されている点である（選択データ７０）。ここで、上記の個数変更は、図１に示すボタン１０５中の０から９までに対応するテンキーボタンなどによって、ユーザが指示することができる。本実施の形態においては、テンキーボタンの「２」を押下すればよい。なお、テンキーボタンについては、図１に示すボタン１０５のような配置や形状に限定されるものではなく、数字を直接入力することが可能な入力手段であれば、どのようなものであってもよい。具体的には、例えば、図１に示すタッチパネル付き表示器１０３にテンキーを表示することも可能である。また例えば、図１に示すシートキー１０４に数字を割り当てることも可能である。
（変形例）
以上、本発明をいくつかの実施の形態に基づいて説明したが、本発明の範囲が上記に説明した具体例に限定されないことは勿論であり、例えば以下のような変形例を考えることもできる。
（１） 以上に説明した第１の実施の形態及び第２の実施の形態について、例えば第１の実施の形態のように複数の認識対象語彙の組合せによる連続音声認識処理を用いて複数通りの候補単語列を得て、第２の実施の形態のように複数通りの候補単語列を各々分解する処理を別途設けて単語分解した後に、出力語彙の編集による重複する単語の削除及び候補単語の表示処理を行うというように、二つの実施の形態を組み合わせて実施してもよい。
（２） 上記の実施の形態では、ユーザにとって簡便な入力方法として、音声認識を利用した場合について説明したが、本発明の入力方法はこれに限定されず、手書き文字入力を用いるようにしてもよい。文字を手書きすることによりデータを入力する場合には、入力部２０１を、例えば図１に示すタッチパネル付き表示器１０３と専用のＬＳＩ素子などで構成することができる。手書き入力されたオーダなどの文字データを、文字認識機能を備えた専用のＬＳＩ素子などで認識することができる。入力部２０１は、ＣＣＤカメラなどで構成されてもよい。手書きまたは印刷された文字データをＣＣＤカメラなどで読み込み、認識処理をすればよい。文字認識処理は、公知の技術により行う。例えば、入力された１個１個のストロークに対し、ストロークコードの候補を挙げ、文字全体をストロークコード候補のラティスに変換し、これを筆記順を保ったままで文字辞書と照合することにより行うことができる（シャープ技報通巻５７号１９９３年発行ｐ．５〜８）。また、複数の文字を単語として取り扱う場合には、手書き入力文字の入力位置関係と文字認識結果に基づいて単語候補を生成する手法もある（特開２０００−２１５２７３号公報）。文字認識に用いられる単語辞書としては、上記音声認識に用いられる第１語彙と第２語彙の全ての組合せから構成される単語列のそれぞれを単語とみなして辞書を作成しておけばよい。
（３） 上記実施の形態では、第１語彙がレストランメニュー、第２語彙が個数で構成される場合について説明したが、本発明の趣旨は上記に限定されるものではなく、例えば、第１語彙が「月（１月、２月、…、１２月）」、第２語彙が「日（１日、２日、…、３１日）」のように、月日をまとめて音声や手書き文字で入力するような場合においても、本発明を適用することが可能である。また例えば、電車の乗り継ぎを支援するソフトウェア（発駅と着駅などを指定することにより、最適な乗り継ぎ情報を提示するプログラム）などにおいて、発駅と着駅を「東京から新宿まで」のように音声入力し、本発明の第２の実施の形態により形態素分析などを行い、「駅名（東京）」、「から」、「駅名（新宿）」、「まで」のように４つの単語に分解し、１番目の単語（駅名）を第１単語として扱い、３番目の単語（駅名）を第２単語として扱うようにしてもよい。また、予め発駅の語彙を「東京から」、「渋谷から」、「新宿から」、…のように構成し、着駅の語彙を「東京まで」、「渋谷まで」、「新宿まで」、…のように構成することにより、本発明の第１の実施の形態、または第２の実施の形態のどちらを用いることも可能となる。
（４） また、上記実施の形態では、語彙セット数Ｎが２の場合についてのみ説明したが、例えば、「東京から新大阪まで禁煙席」のように、語彙セット数Ｎが３の場合に本発明を適用しても何ら支障はない。この場合、例えば、第１語彙を「東京から」、「新横浜から」、「静岡から」、…のように構成し、第２語彙を「東京まで」、「新横浜まで」、「静岡まで」、…「新大阪まで」…のように構成し、第３語彙を「禁煙席」、「喫煙席」のように構成すればよい。また、禁煙席と喫煙席のようにボタンなどで直接選択可能な構成とすることができる場合、図１０から図１２に示した個数の取扱いのように、第３語彙（禁煙席、喫煙席）については、類似度が最も高い候補に対応する単語のみを表示しておけばよい。修正は、例えば任意のキーを押下することによって実行することができる。
（５） 上記実施の形態では、入力データの構成要素を単語として説明したが、単語とは「サーロインステーキ」や「二つ（２）」のような、助詞を含まない名詞や名詞列に限定するものではなく、「シェフの気まぐれサラダ」や「ほうれん草とベーコンのスパゲティ」なども単語として解釈してもよい。例えば、本発明のデータ入力装置における単語の定義は、語彙の設定者や、単語分解基準の設計者が決定すればよい。語彙の設定者はレストラン経営者であってもよく、また単語分解基準の設計者はプログラムを作成する技術者であってもよい。
（６） なお、本発明のデータ入力装置を実現するプログラムは本発明を構成する。当該プログラムを記録するメディアとしての記録媒体は、当該記録媒体からソフトウェアを読み取ることが可能な装置本体とは分離可能に構成される記録媒体であり、具体的には、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体など、いずれであってもよい。なお、プログラムは必ずしも記録媒体に記録されて譲渡等されるわけでもなく、インターネット等のネットワーク等、有線、無線の伝送媒体を介してユーザが保有する情報処理装置、ハンディターミナル等に供給される場合もある。本発明のプログラムは、必ずしも本発明のデータ入力装置が実行する全ての処理を含む必要はなく、専用ハードウェアを利用して実行させるステップを含んでいてもよいし、ＯＳ等の汎用ソフトウェアを利用して実行させるステップを含んでいてもよい。
本発明は、例えばハンディターミナルのように入力されたデータを認識した結果を一旦表示し、その後に確定データを入力するような装置に適用することができる。
ハンディターミナル１００の外観を説明するための模式図である。 第１の実施の形態におけるデータ入力装置の構成を示す機能ブロック図である。 第１の実施の形態におけるデータ入力装置が実行する処理のフローチャートである。 図１４に示した認識結果を編集した後の一表示例を示す図である。 第２の実施の形態におけるデータ入力装置の構成を示す機能ブロック図である。 第２の実施の形態におけるデータ入力装置が実行する処理のフローチャートである。 図４に示した例において入力を確定するまでの一つの段階における表示例を示す図である。 図４に示した例において入力を確定するまでの他の段階における一表示例を示す図である。 図４に示した例において入力を確定するまでの他の段階における一表示例を示す図である。 編集された認識結果の別の表示例を示す図である。 図１０に示す表示例において入力を確定するまでの一つの段階における表示例を示す図である。 図１０に示す表示例において入力を確定するまでの他の段階における一表示例を示す図である。 従来技術として想定されるデータ入力装置の構成の一例を示す機能ブロック図である。 従来技術として想定されるデータ入力装置において、表示部に一覧表示される候補の一例を示す図である。 認識結果として類似度（スコア）の大きいものから上位５個の候補単語列を表示した一例を示す図である。
符号の説明
１００ ハンディターミナル
１０１、１０２ 扉体
１０３ タッチパネル付き表示器
１０４ シートキー
１０５ ボタン
１０６ マイク
２０１、３０１ 入力部
２０２、３０２ 認識部
２０４、３０４ 辞書格納部
２０４１ 第１語彙格納部
２０４２ 第２語彙格納部
２０５ 出力編集部
２０５１ 第１語彙編集部
２０５２ 第２語彙編集部
３０４１ 単語辞書格納部
３０５ 候補単語編集部
３０５１ 第１候補単語編集部
３０５２ 第２候補単語編集部
３０５３ 候補単語分解部

Claims (27)

  1. 入力データの候補を一旦表示部に表示し、その後にデータの入力を行うデータ入力装置において、
    外部から受け付けたデータに認識処理を施し、二以上の語彙にそれぞれ属する単語から構成される単語列の候補を、認識結果として一又は複数出力する認識手段と、
    前記候補の複数に同一の単語が含まれている場合に、当該同一の単語が重複して表示されないように、前記認識結果を編集する編集手段と、
    編集された認識結果に基づいて、入力データの候補を前記表示部に表示させる表示制御手段とを含む
    ことを特徴とするデータ入力装置。
  2. 前記編集手段は、
    前記候補の複数において、同一の語彙に属する単語の中に同一の単語が存在する場合に、当該単語が一つのみ表示されるように認識結果を編集し、
    前記表示制御手段は、
    前記表示部に単語を一覧表示させる
    ことを特徴とする請求項１に記載のデータ入力装置。
  3. 前記認識手段は、単語列の候補を、それぞれの類似度を示す値と共に出力し、
    前記編集手段は、同一の単語が存在する場合に、当該単語が含まれる候補の類似度がもっとも高い場合に当該単語を残し、他の場合に単語を削除することにより、当該単語が一つのみ表示されるように編集する
    ことを特徴とする請求項２に記載のデータ入力装置。
  4. 前記表示制御手段は、各単語が、含まれる候補の類似度の高い順に一覧表示されるように制御する
    ことを特徴とする請求項３に記載のデータ入力装置。
  5. 前記認識手段は、
    前記二以上の語彙のそれぞれに属し得る単語の辞書データを参照して認識を行う
    ことを特徴とする請求項１又は２に記載のデータ入力装置。
  6. 前記認識手段は、
    前記単語列の候補となり得る単語列の辞書データを参照して認識を行う
    ことを特徴とする請求項１又は２に記載のデータ入力装置。
  7. 前記編集手段は、
    認識結果として出力された単語列のそれぞれを、各語彙に属する単語に分解する分解手段を備える
    ことを特徴とする請求項１又は２に記載のデータ入力装置。
  8. 前記認識手段は、音声にて入力されたデータを認識する
    ことを特徴とする請求項１に記載のデータ入力装置。
  9. 前記認識手段は、手書き文字にて入力されたデータを認識する
    ことを特徴とする請求項１に記載のデータ入力装置。
  10. 前記データ入力装置は、前記認識手段が認識するデータの入力とは異なる形態の入力を受け付ける第２の入力手段を備え、前記複数の語彙のうち、前記第２の入力手段により入力されるものは、前記表示部に表示されない
    ことを特徴とする請求項１に記載のデータ入力装置。
  11. 前記認識手段は、単語列の候補を、それぞれの類似度を示す値と共に出力し、
    前記データ入力装置は、前記認識手段が認識するデータの入力とは異なる形態の入力を受け付ける第２の入力手段を備え、
    前記複数の語彙のうち、前記第２の入力手段により入力されるものについては、類似度がもっとも高い候補に含まれる単語を前記表示部に表示する
    ことを特徴とする請求項１に記載のデータ入力装置。
  12. 前記第２の入力手段は、
    ボタン、シートキー、タッチパネル付き表示器の少なくとも一つである
    ことを特徴とする請求項１０又は１１に記載のデータ入力装置。
  13. 前記第２の入力手段は、数値の入力を受け付ける機能を有し、
    前記複数の語彙のうち、前記第２の入力手段により入力されるべきものは、数を表す語彙が含まれる
    ことを特徴とする請求項１０又は１１に記載のデータ入力装置。
  14. 前記複数の語彙は、メニュー及び個数の二つの語彙であり、
    個数は前記第２の入力手段を介して入力される
    ことを特徴とする請求項１０又は１１に記載のデータ入力装置。
  15. 前記表示制御手段は、
    各語彙に属する単語が、語彙ごとに一覧表示されるように制御する
    ことを特徴とする請求項２に記載のデータ入力装置。
  16. 前記データ入力装置は、
    表示部に表示された単語を選択する指示入力を受け付ける第３の入力手段を備え、
    前記表示制御手段は、
    前記指示入力により選択された単語を識別可能に表示させる
    ことを特徴とする請求項１５に記載のデータ入力装置。
  17. 前記選択された単語は、文字の色、文字の周囲の色、文字の太さ、文字の周囲の枠の有無、文字の周囲の枠線の太さ、文字サイズ、文字のフォントの少なくとも一が他の単語と異なることにより識別可能とされる
    ことを特徴とする請求項１６に記載のデータ入力装置。
  18. 前記指示入力は、選択される単語を順次変更していくボタン若しくはキーの操作を介して行われる
    ことを特徴とする請求項１６に記載のデータ入力装置。
  19. 前記指示入力は、一覧表示された単語を直接指定する操作により行われる
    ことを特徴とする請求項１６に記載のデータ入力装置。
  20. 前記指示入力は、語彙ごとに、いずれかの単語を選択する入力であり、
    前記表示制御手段は、前記指示入力により単語が選択されている語彙を他の語彙と識別可能に表示させる
    ことを特徴とする請求項１６に記載のデータ入力装置。
  21. 前記単語が選択されている語彙は、文字の色、文字の周囲の色、文字の太さ、文字の周囲の枠の有無、文字の周囲の枠線の太さ、文字サイズ、文字のフォントの少なくとも一が他の語彙と異なることにより識別可能とされる
    ことを特徴とする請求項２０に記載のデータ入力装置。
  22. 前記指示入力は、単語が選択される語彙を順次変更していくボタン若しくはキーの操作を介して行われる
    ことを特徴とする請求項２０に記載のデータ入力装置。
  23. 前記表示制御手段は、
    単語が一覧表示される領域とは別の領域に、実際に入力されようとしているデータを表示させる
    ことを特徴とする請求項１６に記載のデータ入力装置。
  24. 請求項１から請求項２３のいずれかに記載のデータ入力装置を含む
    ことを特徴とするハンディターミナル。
  25. 外部から入力されたデータを認識して、二以上の語彙にそれぞれ属する単語から構成される単語列の候補を、認識結果として一又は複数出力する認識ステップと、
    前記候補の複数に同一の単語が含まれている場合に、当該同一の単語が重複して表示されないように、前記認識結果を編集する編集ステップと、
    編集された認識結果に基づいて、入力データの候補を表示部に表示させる表示ステップとを含む
    ことを特徴とするデータ入力方法。
  26. 外部から入力されたデータを認識して、二以上の語彙にそれぞれ属する単語から構成される単語列の候補を、認識結果として一又は複数出力する認識処理と、
    前記候補の複数に同一の単語が含まれている場合に、当該同一の単語が重複して表示されないように、前記認識結果を編集する編集処理と、
    編集された認識結果に基づいて、入力データの候補を表示部に表示させる表示処理とを含む処理をコンピュータに実行させる
    ことを特徴とするプログラム。
  27. 請求項２６に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
JP2003288390A 2003-08-07 2003-08-07 データ入力装置、ハンディターミナル、データ入力方法、プログラム及び記録媒体 Pending JP2005055782A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003288390A JP2005055782A (ja) 2003-08-07 2003-08-07 データ入力装置、ハンディターミナル、データ入力方法、プログラム及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003288390A JP2005055782A (ja) 2003-08-07 2003-08-07 データ入力装置、ハンディターミナル、データ入力方法、プログラム及び記録媒体

Publications (1)

Publication Number Publication Date
JP2005055782A true JP2005055782A (ja) 2005-03-03

Family

ID=34367055

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003288390A Pending JP2005055782A (ja) 2003-08-07 2003-08-07 データ入力装置、ハンディターミナル、データ入力方法、プログラム及び記録媒体

Country Status (1)

Country Link
JP (1) JP2005055782A (ja)

Cited By (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007225793A (ja) * 2006-02-22 2007-09-06 Toshiba Tec Corp データ入力装置及び方法並びにプログラム
JP2008546051A (ja) * 2005-05-20 2008-12-18 エヌエイチエヌ コーポレーション クエリマッチングシステム及びその方法、該方法を実行するためのプログラムが記録されたコンピュータ読取可能な記録媒体
JP2011103007A (ja) * 2011-01-13 2011-05-26 Toshiba Tec Corp データ入力装置及び方法並びにプログラム
JP2014222514A (ja) * 2010-01-18 2014-11-27 アップル インコーポレイテッド インテリジェント自動アシスタント
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
US9620104B2 (en) 2013-06-07 2017-04-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9626955B2 (en) 2008-04-05 2017-04-18 Apple Inc. Intelligent text-to-speech conversion
US9633660B2 (en) 2010-02-25 2017-04-25 Apple Inc. User profiling for voice input processing
US9633674B2 (en) 2013-06-07 2017-04-25 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9646614B2 (en) 2000-03-16 2017-05-09 Apple Inc. Fast, language-independent method for user authentication by voice
US9668024B2 (en) 2014-06-30 2017-05-30 Apple Inc. Intelligent automated assistant for TV user interactions
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9953088B2 (en) 2012-05-14 2018-04-24 Apple Inc. Crowd sourcing information to fulfill user requests
US9966068B2 (en) 2013-06-08 2018-05-08 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US9971774B2 (en) 2012-09-19 2018-05-15 Apple Inc. Voice-based media searching
US9986419B2 (en) 2014-09-30 2018-05-29 Apple Inc. Social reminders
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US10089072B2 (en) 2016-06-11 2018-10-02 Apple Inc. Intelligent device arbitration and control
US10102359B2 (en) 2011-03-21 2018-10-16 Apple Inc. Device access using voice authentication
US10169329B2 (en) 2014-05-30 2019-01-01 Apple Inc. Exemplar-based natural language processing
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10185542B2 (en) 2013-06-09 2019-01-22 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10269345B2 (en) 2016-06-11 2019-04-23 Apple Inc. Intelligent task discovery
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10283110B2 (en) 2009-07-02 2019-05-07 Apple Inc. Methods and apparatuses for automatic speech recognition
US10297253B2 (en) 2016-06-11 2019-05-21 Apple Inc. Application integration with a digital assistant
US10318871B2 (en) 2005-09-08 2019-06-11 Apple Inc. Method and apparatus for building an intelligent automated assistant
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10354011B2 (en) 2016-06-09 2019-07-16 Apple Inc. Intelligent automated assistant in a home environment
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10521466B2 (en) 2016-06-11 2019-12-31 Apple Inc. Data driven natural language event detection and classification
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
WO2020045294A1 (ja) * 2018-08-27 2020-03-05 隆均 半田 商品代金精算システム
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
CN111399666A (zh) * 2020-03-05 2020-07-10 百度在线网络技术（北京）有限公司 一种候选词显示方法、装置以及电子设备
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US10795541B2 (en) 2009-06-05 2020-10-06 Apple Inc. Intelligent organization of tasks items
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11080012B2 (en) 2009-06-05 2021-08-03 Apple Inc. Interface for a virtual digital assistant
US11217255B2 (en) 2017-05-16 2022-01-04 Apple Inc. Far-field extension for digital assistant services
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification

Cited By (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9646614B2 (en) 2000-03-16 2017-05-09 Apple Inc. Fast, language-independent method for user authentication by voice
JP2008546051A (ja) * 2005-05-20 2008-12-18 エヌエイチエヌ コーポレーション クエリマッチングシステム及びその方法、該方法を実行するためのプログラムが記録されたコンピュータ読取可能な記録媒体
US10318871B2 (en) 2005-09-08 2019-06-11 Apple Inc. Method and apparatus for building an intelligent automated assistant
JP2007225793A (ja) * 2006-02-22 2007-09-06 Toshiba Tec Corp データ入力装置及び方法並びにプログラム
JP4755918B2 (ja) * 2006-02-22 2011-08-24 東芝テック株式会社 データ入力装置及び方法並びにプログラム
US9865248B2 (en) 2008-04-05 2018-01-09 Apple Inc. Intelligent text-to-speech conversion
US9626955B2 (en) 2008-04-05 2017-04-18 Apple Inc. Intelligent text-to-speech conversion
US11080012B2 (en) 2009-06-05 2021-08-03 Apple Inc. Interface for a virtual digital assistant
US10795541B2 (en) 2009-06-05 2020-10-06 Apple Inc. Intelligent organization of tasks items
US10283110B2 (en) 2009-07-02 2019-05-07 Apple Inc. Methods and apparatuses for automatic speech recognition
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US9548050B2 (en) 2010-01-18 2017-01-17 Apple Inc. Intelligent automated assistant
JP2014222513A (ja) * 2010-01-18 2014-11-27 アップル インコーポレイテッド インテリジェント自動アシスタント
JP2014222514A (ja) * 2010-01-18 2014-11-27 アップル インコーポレイテッド インテリジェント自動アシスタント
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10706841B2 (en) 2010-01-18 2020-07-07 Apple Inc. Task flow identification based on user intent
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US9633660B2 (en) 2010-02-25 2017-04-25 Apple Inc. User profiling for voice input processing
US10049675B2 (en) 2010-02-25 2018-08-14 Apple Inc. User profiling for voice input processing
JP2011103007A (ja) * 2011-01-13 2011-05-26 Toshiba Tec Corp データ入力装置及び方法並びにプログラム
US10102359B2 (en) 2011-03-21 2018-10-16 Apple Inc. Device access using voice authentication
US9953088B2 (en) 2012-05-14 2018-04-24 Apple Inc. Crowd sourcing information to fulfill user requests
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US9971774B2 (en) 2012-09-19 2018-05-15 Apple Inc. Voice-based media searching
US9633674B2 (en) 2013-06-07 2017-04-25 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
US9966060B2 (en) 2013-06-07 2018-05-08 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9620104B2 (en) 2013-06-07 2017-04-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9966068B2 (en) 2013-06-08 2018-05-08 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10657961B2 (en) 2013-06-08 2020-05-19 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10185542B2 (en) 2013-06-09 2019-01-22 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10169329B2 (en) 2014-05-30 2019-01-01 Apple Inc. Exemplar-based natural language processing
US10904611B2 (en) 2014-06-30 2021-01-26 Apple Inc. Intelligent automated assistant for TV user interactions
US9668024B2 (en) 2014-06-30 2017-05-30 Apple Inc. Intelligent automated assistant for TV user interactions
US9986419B2 (en) 2014-09-30 2018-05-29 Apple Inc. Social reminders
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11069347B2 (en) 2016-06-08 2021-07-20 Apple Inc. Intelligent automated assistant for media exploration
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10354011B2 (en) 2016-06-09 2019-07-16 Apple Inc. Intelligent automated assistant in a home environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10297253B2 (en) 2016-06-11 2019-05-21 Apple Inc. Application integration with a digital assistant
US10089072B2 (en) 2016-06-11 2018-10-02 Apple Inc. Intelligent device arbitration and control
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US10521466B2 (en) 2016-06-11 2019-12-31 Apple Inc. Data driven natural language event detection and classification
US10269345B2 (en) 2016-06-11 2019-04-23 Apple Inc. Intelligent task discovery
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10553215B2 (en) 2016-09-23 2020-02-04 Apple Inc. Intelligent automated assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US11217255B2 (en) 2017-05-16 2022-01-04 Apple Inc. Far-field extension for digital assistant services
WO2020045294A1 (ja) * 2018-08-27 2020-03-05 隆均 半田 商品代金精算システム
JP2020034962A (ja) * 2018-08-27 2020-03-05 隆均 半田 商品代金精算システム
CN111399666A (zh) * 2020-03-05 2020-07-10 百度在线网络技术（北京）有限公司 一种候选词显示方法、装置以及电子设备
CN111399666B (zh) * 2020-03-05 2023-07-21 百度在线网络技术（北京）有限公司 一种候选词显示方法、装置以及电子设备

Similar Documents

Publication Publication Date Title
JP2005055782A (ja) データ入力装置、ハンディターミナル、データ入力方法、プログラム及び記録媒体
JP4416643B2 (ja) マルチモーダル入力方法
TWI266280B (en) Multimodal disambiguation of speech recognition
EP2476044B1 (en) System and method for haptically-enhanced text input interfaces
US20090326938A1 (en) Multiword text correction
KR101006749B1 (ko) 전자 장치들 내에서 수기 인식
KR100704093B1 (ko) 콤포넌트 기반의, 적응성 스트로크 명령 시스템
WO1999063425A1 (fr) Procede et appareil de traitement d'informations et support de fourniture d'informations
JP3476007B2 (ja) 認識単語登録方法、音声認識方法、音声認識装置、認識単語登録のためのソフトウエア・プロダクトを格納した記憶媒体、音声認識のためのソフトウエア・プロダクトを格納した記憶媒体
JP2009098490A (ja) 音声認識結果編集装置、音声認識装置およびコンピュータプログラム
US20080180283A1 (en) System and method of cross media input for chinese character input in electronic equipment
JP2011254553A (ja) 小型キーパッド用日本語入力メカニズム
JPS6355085B2 (ja)
JPH07295784A (ja) 音声による情報処理装置
CN103369122A (zh) 语音输入方法及系统
CN107797676A (zh) 一种单字输入方法及装置
JP2008090624A (ja) 入力文字編集装置、入力文字編集方法、入力文字編集プログラム、および記録媒体
JP2008052676A (ja) コンピュータ実行可能なプログラム、方法、および処理装置
Suhm Multimodal interactive error recovery for non-conversational speech user interfaces
CN1965349A (zh) 多形式的非歧意性语音识别
JP2011186994A (ja) 文字入力装置および文字入力方法
JP2013214187A (ja) 文字入力装置、文字入力装置の制御方法、制御プログラム、および記録媒体
JP5008248B2 (ja) 表示処理装置、表示処理方法、表示処理プログラム、および記録媒体
JPH0883092A (ja) 情報入力装置及び情報入力方法
US7761731B2 (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090601

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091110