JP2014203018A - 入力処理装置、入力処理方法及びプログラム - Google Patents

Abstract

【課題】音声入力結果を適切に利用することにより、ユーザが迅速に希望する内容を入力することのできる入力処理装置を提供することを目的とする。【解決手段】音声入力を受け付ける音声受付手段と、音声受付手段が受け付けた音声に対する音声認識処理を行う音声認識処理手段と、音声認識処理による認識結果と複数の選択肢とを選択可能に表示装置に表示する表示処理手段と、表示装置に表示された選択肢又は認識結果のユーザによる選択入力を受け付ける選択受付手段とを有することによって課題を解決する。【選択図】図３

Description

本発明は、入力処理装置、入力処理方法及びプログラムに関する。

従来、飲食店等において、オーダー端末が利用されている。店員は、オーダー端末に設けられたハードキーや、液晶等のタッチパネルに表示されたメニューを選択することにより、客の注文内容を入力する。

また、このような店員の手入力とは別に、音声入力を受け付けるタイプのオーダー端末も提案されている。例えば、特許文献１には、音声入力及び操作入力の両方の機能を備え、音声モードに切り替えられた場合に、音声入力を受け付けることができるオーダー端末が開示されている。さらに、特許文献２には、手書き文字の入力を受け付けることのできるオーダー端末が開示されている。

しかしながら、音声認識処理は、誤認識を起こし易いという欠点を有している。特に、オーダー端末が利用されるレストラン等の飲食店では、客や店員の声、ＢＧＭ等ノイズが多く、誤認識の問題が顕著となる。これに対し、音声認識技術においては、複数の認識結果をユーザに提示し、ユーザが正しいものを選択することで、この欠点を補うといった対処法が提案されている。

特許第４７５５９１８号公報 特許第４１１５３３５号公報

しかしながら、飲食店等において、客の注文を受ける際に、複数の認識結果候補から正しいものを選択する等、誤認識された内容をいちいち修正することとすると、店員の作業が煩雑になり、店員の負荷が大きくなるという問題がある。
特に、音声入力とキー入力とを異なるモードで実行するようなオーダー端末においては、音声認識により、良好な結果が得られない場合に、店員は、モードを切り替えた上で、手作業により誤認識の内容を修正する必要があり、操作が非常に煩雑であった。

本発明はこのような問題点に鑑みなされたもので、音声入力結果を適切に利用することにより、ユーザが迅速に希望する内容を入力することのできる入力処理装置を提供することを目的とする。

そこで、本発明は、音声入力を受け付ける音声受付手段と、前記音声受付手段が受け付けた音声に対する音声認識処理を行う音声認識処理手段と、前記音声認識処理による認識結果と複数の選択肢とを選択可能に表示装置に表示する表示処理手段と、前記表示装置に表示された前記選択肢又は前記認識結果のユーザによる選択入力を受け付ける選択受付手段とを有することを特徴とする。

本発明によれば、音声入力結果を適切に利用することにより、ユーザは、迅速に希望する内容を入力することができる。

図１は、オーダー端末を示す図である。 図２は、タッチパネルの表示例を示す図である。 図３は、オーダー端末を示す図である。 図４は、注文頻度テーブルの一例を示す図である。 図５は、入力受付処理を示すフローチャートである。 図６は、音声認識結果欄の表示例を示す図である。 図７は、音声認識結果欄の表示例を示す図である。 図８は、音声認識結果欄の表示例を示す図である。 図９は、タッチパネルの表示例を示す図である。 図１０は、認識結果表示処理を示すフローチャートである。 図１１は、認識結果表示処理を説明するための図である。 図１２Ａは、タッチパネルの表示例を示す図である。 図１２Ｂは、タッチパネルの表示例を示す図である。 図１３は、履歴テーブルの一例を示す図である。 図１４は、認識結果表示処理を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。
（第１の実施形態）
図１は、第１の実施形態にかかる入力処理装置としてのオーダー端末１０を示す図である。オーダー端末１０は、飲食店において客の注文内容を受け付ける装置である。例えば、店員はオーダー端末１０を携帯し、客の注文内容をオーダー端末１０に入力する。そして、注文内容が確定した後、店員による操作により、オーダー端末１０は、注文内容をサーバ装置２０に送信する。サーバ装置２０は、注文内容を受信し、管理する。

オーダー端末１０は、ハードウェア構成として、制御部１１と、表示部１２と、記憶部１３と、操作入力部１４と、音声入力部１５と、通信部１６とを有している。制御部１１は、ＣＰＵを有し、オーダー端末１０全体を制御する。表示部１２は、例えば液晶画面等の表示装置であり、各種情報を表示する。記憶部１３は、ＲＯＭやＲＡＭ、ＨＤＤ等であり、各種情報を記憶する。

操作入力部１４は、例えばタッチパネルやハードキー等であり、ユーザが入力操作を行うためのものである。なお、本実施形態にかかるオーダー端末１０は、表示部１２と操作入力部１４とを一体化したタッチパネルを備えるものとする。音声入力部１５は、マイクであり、音声が入力される。通信部１６は、例えばＬＡＮ等のネットワークを介してサーバ装置２０と各種情報を送受信する。なお、後述するオーダー端末１０の機能や処理は、制御部１１としてのＣＰＵがＲＯＭ等の記憶部１３に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

図２は、タッチパネルの表示例を示す図である。図２に示すタッチパネル１７には、商品欄２１０と、音声認識結果欄２２０と、注文欄２３０と、送信ボタン２４０と、取消ボタン２４１とが表示されている。商品欄２１０は、商品名欄２１１と、数量欄２１６とを有している。商品名欄２１１には、複数の商品名ボタン２１４が配置されている。商品名ボタン２１４は、ユーザから商品の選択を受け付けるためのボタンであり、ユーザが選択可能な選択肢を示す情報である。数量欄２１６には、複数の数字ボタン２１７が配置されている。数字ボタン２１７は、ユーザから商品の注文数の入力を受け付けるためのボタンである。

商品名欄２１１は、上位欄２１２と一般欄２１３とを有している。上位欄２１２には、注文頻度の高い上位３つの商品の商品名ボタン２１４が表示される。一般欄２１３には、注文可能なすべての商品の商品名ボタン２１４が表示される。このように、タッチパネル１７において、注文頻度の高い商品の商品名ボタン２１４は、他の商品名ボタン２１４と区別して配置されている。したがって、ユーザは、注文頻度の高い商品の商品名ボタン２１４を容易に見つけ出し、選択することができる。

なお、本実施形態にかかるオーダー端末１０は、処理対象となる商品を複数のジャンルに分類して管理するものとする。これに対応し、一般欄２１３においては、ユーザによりジャンルタブ２１５が選択されると、ジャンルタブ２１５のジャンルに属する商品の商品名ボタン２１４が表示される。

音声認識結果欄２２０には、音声入力部１５に入力された音声に対する音声認識処理の結果（認識結果）が表示される。音声認識結果欄２２０は、ユーザから認識結果の選択を受け付けるための情報である。すなわち、音声認識結果欄２２０は、商品名ボタン２１４と同様に、ユーザが選択可能な選択肢の１つである。ユーザが、商品名ボタン２１４、数字ボタン２１７又は音声認識結果欄２２０を指でタッチすると、操作入力部１４は、タッチに対応する選択入力を受け付ける。

注文欄２３０は、ユーザにより選択された商品及び数量を注文内容として表示する。例えば、ユーザによりチーズケーキの商品名ボタン２１４が選択され、「４」の数字ボタン２１７が選択された場合には、注文欄２３０には、「チーズケーキ ４」が表示される。また、音声認識結果欄２２０の「ホットコーヒー」がユーザにより選択された場合には、注文欄２３０には、「ホットコーヒー」が表示される。続いて、ユーザにより「３」の数字ボタン２１７が選択されると、注文欄２３０には、「ホットコーヒー」に対応付けて数量「３」が表示される。

送信ボタン２４０は、注文欄２３０に表示される注文内容をサーバ装置２０に送信するためのボタンである。送信ボタン２４０が選択されると、注文内容がサーバ装置２０に送信される。取消ボタン２４１は、注文欄２３０に表示される注文内容の選択を取り消すためのボタンである。なお、オーダー端末１０が、タッチパネル１７へ各種情報を表示する処理等については、後に詳述する。

図３は、オーダー端末１０の機能構成を示す図である。オーダー端末１０は、音声受付部１００と、音声認識部１０１と、操作受付部１０２と、注文頻度テーブル１０３と、履歴テーブル１０４と、テーブル管理部１０５と、表示処理部１０６と、注文内容送信部１０７とを有している。

音声受付部１００は、音声入力部１５に入力された音声を受け付ける。音声認識部１０１は、音声認識辞書に基づいて、音声受付部１００が受け付けた音声に対する音声認識処理を行う。ここで、音声認識辞書は、記憶部１３等に予め格納されているものとする。音声認識辞書には、認識対象とする単語（商品名）が予め登録されているものとする。そして、音声認識部１０１は、音声認識辞書に登録されている単語と音声とを比較し、各単語と音声との尤度を算出する。そして、音声認識部１０１は、最大尤度を示す単語を特定し、最大尤度が尤度閾値以上である場合に、最大尤度を示す単語を認識結果として得る。ここで、尤度は、認識結果の確からしさを評価する評価値である。尤度閾値は、例えば記憶部１３等に予め記憶されているものとする。

操作受付部１０２は、操作入力部１４に入力されたユーザ操作を受け付ける。操作受付部１０２は、具体的には、ユーザにより商品欄２１０の商品名ボタン２１４や数字ボタン２１７がタップ等の操作により選択されると、タップされたボタンの選択入力を受け付ける。また、ユーザにより、音声認識結果欄２２０がタップされると、タップされた音声認識結果欄２２０の選択入力を受け付ける。

注文頻度テーブル１０３は、オーダー端末１０が扱う商品の商品名と、各商品の注文頻度とを対応付けて記憶する。図４は、注文頻度テーブル１０３の一例を示す図である。図４に示すように、注文頻度テーブル１０３は、ジャンルと、商品名と、注文頻度とを対応付けて格納している。ここで、注文頻度は、ユーザが選択可能な選択肢としての商品が一定の期間（週、日、時間帯等）に注文（選択）された回数であり、選択頻度の一例である。すなわち、注文頻度テーブル１０３は、選択肢毎の選択頻度を記憶する。

履歴テーブル１０４は、音声認識部１０１により得られた認識結果と、認識結果に対応する音声の発話タイミングとを対応付けて記憶する。ここで、発話タイミングは、認識結果に対応する音声が発話されたタイミングを示す情報である。本実施形態においては、発話タイミングは、音声受付部１００が認識結果に対応する音声を取得した受付タイミングとする。また、他の例としては、発話タイミングは、音声認識部１０１により認識結果が得られたタイミングであってもよい。

テーブル管理部１０５は、注文頻度テーブル１０３及び履歴テーブル１０４を管理する。テーブル管理部１０５は、例えば注文頻度テーブル１０３の注文頻度を更新する。テーブル管理部１０５はまた例えば、履歴テーブル１０４に新たな認識結果と発話タイミングとを対応付けて蓄積する。

表示処理部１０６は、音声認識部１０１による認識結果、操作受付部１０２が受け付けた操作内容、注文頻度テーブル１０３に格納される情報等に基づいて、タッチパネル１７に表示する表示データを生成し、表示データをタッチパネル１７に表示する。ここで、表示データは、図２に示す商品欄２１０、音声認識結果欄２２０及び注文欄２３０等を表示するための情報である。さらに、表示処理部１０６は、表示データを生成する際に、注文頻度テーブル１０３に格納されている各商品の注文頻度に基づいて、商品欄２１０における商品名ボタン２１４の表示位置を決定する（表示位置決定処理）。より具体的には、表示処理部１０６は、注文頻度上位３つの商品の商品名ボタン２１４の表示位置を上位欄２１２に決定する。なお、一般欄２１３における商品名ボタン２１４の表示位置は予め定められているものとする。

なお、他の例としては、商品欄２１０は、上位欄２１２を有さず、一般欄２１３のみを有することとしてもよい。さらに、この場合において、表示処理部１０６は、ジャンルタブ２１５毎に一覧表示される商品名ボタン２１４が注文頻度順に配列されるように各商品名ボタン２１４の表示位置を決定してもよい。このように、表示処理部１０６は、注文頻度に基づいて、商品欄２１０における商品名ボタン２１４の配置を決定すればよく、具体的な商品名ボタン２１４の配置は、実施の形態に限定されるものではない。

注文内容送信部１０７は、ユーザにより送信ボタン２４０がタップ操作等により選択され、操作入力部１４に操作内容が入力されると、送信ボタン２４０が選択されたタイミングにおいて、注文欄２３０に表示されている注文内容をサーバ装置２０に送信する。

図５は、オーダー端末１０による入力受付処理を示すフローチャートである。例えば電源投入時や不図示の開始ボタン押下時に入力受付処理が実行される。なお、入力受付処理が行われる前の初期状態においては、表示処理部１０６は、商品欄２１０、音声認識結果欄２２０及び注文欄２３０等を含む表示データを生成し、これをタッチパネル１７に表示している。なお、音声認識結果欄２２０及び注文欄２３０は、初期状態においては、空欄である。

入力受付処理が開始すると、Ｓ１００において、操作入力部１４は、ユーザによる操作入力を開始する。さらに、音声入力部１５は、音声入力を開始する。これに対応し、操作受付部１０２は、操作入力部１４に入力された操作内容の受け付けを開始し、音声受付部１００は、音声入力部１５に入力された音声の受付を開始する。このように、オーダー端末１０は、処理を開始すると、操作入力だけでなく音声入力を常に受け付け可能な状態になる。これにより、オーダー端末１０は、オーダー端末１０を所持する店員等が意図的にオーダー端末１０に入力した音声だけでなく、客が注文のために発した音声等も音声入力部１５に入力することができる。

次に、Ｓ１０１において、音声受付部１００が音声入力を受け付けると（Ｓ１０１，Ｙｅｓ）、Ｓ１０２において、音声認識部１０１は、入力された音声に対し音声認識処理を施す。ここで、Ｓ１０１の処理は、音声受付処理の一例であり、Ｓ１０２の処理は、音声認識処理の一例である。音声認識部１０１は、認識結果の尤度が尤度閾値以上である場合に（Ｓ１０３，Ｙｅｓ）、認識結果が得られたと判定する。そして、Ｓ１０４において、テーブル管理部１０５は、認識結果と発話タイミングとを履歴テーブル１０４に蓄積する。次に、Ｓ１０５において、表示処理部１０６は、認識結果を音声認識結果欄２２０に表示する。これにより、タッチパネル１７には、認識結果が商品名ボタン２１４とともに、ユーザが選択可能な選択肢として表示される。ここで、Ｓ１０５の処理は、表示処理の一例である。一方、Ｓ１０３において、認識結果の尤度が尤度閾値未満である場合には（Ｓ１０３，Ｎｏ）、音声認識部１０１は、処理を終了する。

例えば、「メロン」の認識結果が得られた場合には、Ｓ１０５の処理により、図２に示すように、音声認識結果欄２２０には、「メロン」の文字列が表示される。これにより、ユーザは、商品欄２１０に表示された複数の商品名ボタン２１４と同様に、認識結果を１つの選択肢として選択することができるようになる。

また、ユーザが商品名ボタン２１４、数字ボタン２１７又は音声認識結果欄２２０をタップ操作により選択したとする。この場合には、操作受付部１０２は、選択内容を受け付け（Ｓ１０１，Ｎｏ、Ｓ１０６，Ｙｅｓ）、Ｓ１０７へ処理を進める。Ｓ１０７において、表示処理部１０６は、選択された商品名又は数量を注文欄２３０に表示する。より具体的には、表示処理部１０６は、商品名ボタン２１４又は音声認識結果欄２２０が選択された場合には、対応する商品名と、デフォルト値としての数量「１」とを注文欄２３０に表示する。また、表示処理部１０６は、数字ボタン２１７が選択された場合には、注文欄２３０において、処理対象となっている商品名に対応する数量を表示する。ここで、Ｓ１０６の処理は、選択受付処理の一例である。

このように、本実施形態にかかるオーダー端末１０においては、ユーザは、予め商品欄２１０に表示されている商品名ボタン２１４だけでなく、音声入力により得られた認識結果を選択肢として選択することができる。

なお、ユーザは、商品名ボタン２１４を数量分タップ等の操作により選択することにより、数量を指定することも可能である。この場合には、操作受付部１０２は、操作回数に応じた数量の入力を受け付ける。

また、ユーザが送信ボタン２４０をタップ操作により選択したとする。この場合には、操作受付部１０２は、送信ボタン２４０の選択入力を受け付け（Ｓ１０１，Ｎｏ、Ｓ１０６，Ｎｏ）、処理をＳ１０８へ進める。Ｓ１０８において、注文内容送信部１０７は、送信ボタン２４０が選択されたタイミングにおいて、注文欄２３０に表示されている注文内容をサーバ装置２０に送信する。次に、Ｓ１０９において、テーブル管理部１０５は、注文内容送信部１０７により送信された注文内容に基づいて、注文頻度テーブル１０３に格納されている、注文内容に含まれる商品の注文頻度の値を更新する。Ｓ１０９の処理は、選択頻度格納処理の一例である。

次に、Ｓ１１０において、表示処理部１０６は、更新後の注文頻度に基づいて、上位欄２１２の商品名ボタン２１４の表示を更新するか否かを判定する。表示処理部１０６は、注文頻度の上位３つの商品名が変更になった場合に、商品名ボタン２１４の表示位置を更新すると判定することとする。表示処理部１０６は、上位欄２１２の表示を更新すると判定した場合には（Ｓ１１０，Ｙｅｓ）、更新後の注文頻度が上位３位内の商品の商品名ボタン２１４を上位欄２１２に表示する（Ｓ１１１）。ステップＳ１１０において、表示処理部１０６は、上位欄２１２の表示を更新しないと判定した場合には（Ｓ１１０，Ｎｏ）、入力受付処理を終了する。

このように、本実施形態にかかるオーダー端末１０は、ユーザからの操作入力を受け付けるとともに、音声入力を常に受け付ける。このように、並行して処理を実行することにより、制御部１１１を効率的に活用することができる。そして、オーダー端末１０は、音声認識処理を実行し、認識結果が得られると、商品名ボタン２１４とともに、認識結果を表示する。したがって、ユーザは、正しい認識結果が得られた場合には、認識結果を注文内容として選択することができる。これにより、ユーザ（店員）が、商品欄２１０において、客から注文された商品を検索する手間を省くことができる。

また正しい認識結果が得られなかった場合には、ユーザは、音声認識モードから商品選択モードへの切り替え等の操作を行うことなく、認識結果とともに表示されている商品欄２１０の商品名ボタン２１４を選択すればよい。このように、本実施形態にかかるオーダー端末１０においては、正しい認識結果が得られた場合と、正しい認識結果が得られなかった場合とのいずれの場合においても、ユーザは簡単な操作により希望の選択肢を選択することができる。すなわち、オーダー端末１０は、音声認識結果と商品名ボタン２１４とを選択可能に表示し、さらに音声入力結果を適切に利用するので、ユーザは、迅速に希望する内容を入力することができる。

次に、第１の実施形態にかかるオーダー端末１０の第１の変更例について説明する。実施形態にかかるオーダー端末１０は、商品名を音声認識結果として得て、これを選択肢として音声認識結果欄２２０に表示していたが、選択肢とする情報は、これに限定されるものではない。他の例としては、オーダー端末１０は、商品名と数量とを音声認識結果として得て、それぞれを選択肢として音声認識結果欄２２０に表示してもよい。図６は、音声認識結果欄２２０に商品名と数量とを表示する例を示す図である。この場合、ユーザは、商品名「メロン」２２１と数量「１」２２２とをそれぞれ選択肢として選択できるものとする。

本例において、例えば、商品名のみ正しい認識結果が得られたとする。この場合には、ユーザは商品名「メロン」２２１のみ選択する。これに対応して、表示処理部１０６により「メロン」が注文欄２３０に追加表示される。続いて、ユーザは、正しい数量の数字ボタン２１７を選択する。これに対応し、ユーザにより選択された数字ボタン２１７に対応する数量が注文欄２３０に追加表示される。

一方、商品名については正しい認識結果が得られず、数量のみが正しい認識結果が得られたとする。この場合には、ユーザは、商品名ボタン２１４により正しい商品名を選択する。これに対応し、選択された商品名ボタン２１４に対応する商品名が注文欄２３０に追加表示される。続いて、ユーザが、音声認識結果欄２２０の数量「１」２２２を選択すると、これに対応して、数量「１」が注文欄に追加表示される。

第２の変更例としては、表示処理部１０６は、さらに音声認識結果欄２２０に音声認識処理により得られた複数の認識結果候補を表示してもよい。例えば、表示処理部１０６は、最大尤度を示す単語「メロン」を音声認識結果欄２２０に表示する。表示処理部１０６は、さらに図７に示すように、尤度順に複数の認識結果候補２２３をユーザが選択可能に表示してもよい。例えば、ユーザにより音声認識結果欄２２０がロングタップ等、「メロン」の選択操作と異なる操作が入力された場合に、表示処理部１０６は、認識結果候補２２３を表示することとしてもよい。なお、認識結果候補の表示形式は、本例に限定されるものではない。他の例としては、表示処理部１０６は、音声認識結果欄２２０内に「メロン」に続いて並列に認識結果候補２２３を表示してもよい。

第３の変更例としては、音声認識部１０１は、自然言語処理を行い、表示処理部１０６は、音声認識結果欄２２０に自然言語処理により得られた文字列を表示してもよい。図８は、音声認識結果欄２２０に自然言語処理の結果を表示する例を示す図である。この場合には、ユーザは、文字列に含まれる各単語２２４ａ〜２２４ｄをそれぞれ選択肢として選択できるものとする。

第４の変更例としては、注文頻度テーブル１０３を更新する処理及び上位欄２１２に表示する商品名ボタン２１４を更新する処理を行うタイミングは、実施形態に限定されるものではない。他の例としては、注文頻度テーブル１０３を更新する処理は、Ｓ１０４において、ユーザから選択入力を受け付けた後のタイミングにおいて行うこととしてもよい。また、他の例としては、上位欄２１２に表示する商品名ボタン２１４の更新処理は、例えば２４時間毎等一定期間が経過する度に行うこととしてもよい。

第５の変更例としては、オーダー端末１０は、ハードキーをさらに備えてもよい。この場合には、操作受付部１０２は、ハードキーへの操作入力も受け付けることとする。また、タッチパネル１７に表示された選択ボタンの一部の機能は、ハードキーに割り当てられてもよい。

第６の変更例としては、サーバ装置２０が管理対象の複数のオーダー端末１０それぞれの注文頻度をまとめた注文頻度テーブルを管理することとしてもよい。この場合には、各オーダー端末１０は、例えば１日１回など、定期的にサーバ装置２０から注文頻度テーブルを取り込む。そして、各オーダー端末１０は、注文に応じて、注文頻度テーブルの注文頻度を更新し、更新後の注文頻度テーブルを、例えば１日１回など定期的にサーバ装置２０に送信する。

一方、サーバ装置２０は、複数のオーダー端末１０から受信した注文頻度テーブルをマージし、複数のオーダー端末１０による注文頻度を商品名に対応付けて記憶する注文頻度テーブルを格納する。これにより、各オーダー端末１０は、店全体などの適切な単位での注文頻度が記憶された注文頻度テーブルを利用することができる。

（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態にかかるオーダー端末は、新たな認識結果が得られる度に、新たな認識結果を音声認識結果欄に表示し、適宜古い認識結果を音声認識結果欄から削除する。

図９は、第２の実施形態にかかるタッチパネル１７の表示例を示す図である。音声認識結果欄２５０には、複数の入力欄２５１ａ〜２５１ｃが設けられている。表示処理部１０６は、音声認識部１０１により新たな認識結果が得られる度に音声認識結果欄２５０に新たな認識結果を追加し、適宜古い認識結果を音声認識結果欄２５０から削除する。なお、図９に示す例においては、音声認識結果欄２５０は、３つの入力欄２５１を有することとしたが、入力欄２５１の数は実施の形態に限定されるものではない。

図１０は、第２の実施形態にかかるオーダー端末１０による入力受付処理（図５）における認識結果表示処理（Ｓ１０５）の詳細を示すフローチャートである。認識結果表示処理は、入力受付処理（（図５）におけるＳ１０４の処理に続いて、Ｓ１０５の処理に替えて、実行される処理である。

Ｓ１２０において、表示処理部１０６は、音声認識結果欄２５０の入力欄２５１ａ〜２５１ｃに空欄があるか否かを判定する。すなわち、表示処理部１０６は、入力欄２５１ａ〜２５１ｃの数に相当する最大表示数の音声認識結果が得られたか否かを判定する。

Ｓ１２０において、空欄がある場合には（Ｓ１２０，Ｙｅｓ）、Ｓ１２１において、表示処理部１０６は、新たに得られた認識結果を空欄に表示する。なお、本実施形態においては、表示処理部１０６は、発話タイミングの古い順に、入力欄２５１ａ，２５１ｂ，２５１ｃに順に認識結果を追加することとする。すなわち、表示処理部１０６は、発話タイミングに基づいて複数の認識結果を配列して表示する。

一方で、Ｓ１２０において、空欄がない場合（Ｓ１２０，Ｎｏ）、Ｓ１２２において、表示処理部１０６は、入力欄２５１ａ〜２５１ｃから削除対象の認識結果を選択する（削除対象選択処理）。本実施形態にかかる表示処理部１０６は、認識結果に対応する音声の発話タイミングが最も古いものを削除対象として選択する。

次に、Ｓ１２３において、表示処理部１０６は、削除対象の認識結果を削除し、残りの認識結果を発話タイミング順に入力欄２５１ａから順に配置する。そして、表示処理部１０６は、空欄となった入力欄２５１ｃに新たな認識結果を表示する。このように、表示処理部１０６は、新たな認識結果を表示する際においても、発話タイミング順に認識結果を配列する。

図１１は、認識結果表示処理を説明するための図である。例えば、１人目の客が注文のために「メロン１つと、バニラ２つと、ミント１つをお願いします。」と発話し、続いて２人目の客が「紅茶を３つお願いします。それから、バニラを２つお願いします。」と発話したとする。

この場合には、音声認識処理により、まず認識結果「メロン」が得られる。これに対応し、表示処理部１０６は、図１１の１段目に示すように、左端の入力欄２５１ａに認識結果「メロン」を表示する。続いて、認識結果「バニラ」が得られ、これに対応し、表示処理部１０６は、図１１の２段目に示すように２つ目の入力欄２５１ｂに認識結果「バニラ」を表示する。続いて、認識結果「ミント」が得られ、表示処理部１０６は、図１１の３段目に示すように、右端の入力欄２５１ｃに認識結果「ミント」を表示する。以上で、入力欄２５１に空欄がなくなる。

続いて、認識結果「紅茶」が得られると、表示処理部１０６は、入力欄２５１に空欄がないため（Ｓ１２０，Ｎｏ）、削除対象として、発話タイミングの最も古い認識結果「メロン」を選択する（Ｓ１２２）。そして、メロンを入力欄２５１ａから削除する。表示処理部１０６はさらに、各認識結果の発話タイミング順に認識結果を表示すべく、入力欄２５１ｂ，２５１ｃに表示される認識結果「バニラ」及び「ミント」をそれぞれ入力欄２５１ａ，２５１ｂへスライドさせる。そして、表示処理部１０６は、これにより生じた入力欄２５１ｃの空欄に新たな認識結果「紅茶」を追加する。

同様に、認識結果「バニラ」が得られると、表示処理部１０６は、このとき入力欄２５１ａに表示されていた認識結果「バニラ」を削除し、認識結果「ミント」及び「紅茶」をそれぞれ入力欄２５１ａ，２５１ｂへスライドさせる。そして、表示処理部１０６は、これにより生じた入力欄２５１ｃの空欄に新たに得られた認識結果「バニラ」を追加する。

このように、表示処理部１０６は、複数の認識結果を発話タイミングに沿って配列して表示する。さらに、表示処理部１０６は、入力欄の数より多い数の認識結果が得られた場合には、古い認識結果を削除し、新たな認識結果を表示する。

なお、第２の実施形態にかかるオーダー端末１０のこれ以外の構成及び処理は、第１の実施形態にかかるオーダー端末１０の構成及び処理と同様である。

以上のように、第２の実施形態にかかるオーダー端末１０は、複数の音声認識結果を、発話タイミングに沿って配列して表示することができる。さらに、オーダー端末１０は、新たな認識結果が得られると、古い認識結果を適宜削除し、新たな認識結果を表示することができる。これにより、ユーザは、認識結果として希望する商品名が、音声認識結果欄２５０に表示された場合には、希望の商品名を示す認識結果を選択することができる。一方で、希望する商品名が表示さない場合には、同時に表示されている商品名ボタン２１４を選択することができる。

第２の実施形態の第１の変更例としては、表示処理部１０６は、認識結果に対応する音声の発話タイミングだけでなく、認識結果としての商品名に対応する商品の注文頻度に基づいて、削除対象の認識結果を選択することとしてもよい。より具体的には、表示処理部１０６は、発話タイミングが比較的古い場合であっても、注文頻度が閾値以上の認識結果については削除対象としないこととしてもよい。また他の例としては、表示処理部１０６は、発話タイミングに対し、注文頻度に基づく重み値を乗じた値の大小関係に基づいて、削除対象を選択することしてもよい。なお、表示処理部１０６が削除対象を選択するための処理は実施形態に限定されるものではなく、設計者等が自由に設定できるものとする。

次に、第２の変更例について説明する。例えば、注文を受ける際に、客が「バニラを１つ下さい。」と発話した際に、店員が「バニラを１つですね。」と繰り返す場合がある。この場合に、入力欄に「バニラ」の認識結果が２つ表示されるのは、ユーザにとって使い勝手が悪い。そこで、表示処理部１０６は、一の認識結果が得られたタイミングから一定時間内に同一の認識結果が得られた場合には、音声認識結果欄２５０に、同一の認識結果１つを表示することとしてもよい。

（第３の実施形態）
次に、第３の実施形態にかかるオーダー端末１０について説明する。第３の実施形態にかかるオーダー端末１０の音声認識部１０１は、商品名だけでなく、数量についても音声認識を行う。そして、オーダー端末１０は、音声認識結果欄に、商品名と数量とを対応付けて表示する。オーダー端末１０はまた、履歴テーブルに格納されている過去の認識結果をユーザ操作に応じて音声認識結果欄に表示することができる。

図１２Ａ及び図１２Ｂは、第３の実施形態にかかるタッチパネル１７の表示例を示す図である。図１２Ａに示すように、音声認識結果欄２６０には、複数の入力欄２６１が設けられている。さらに、ユーザ操作に応じて、図１２Ｂに示すように、表示処理部１０６は、音声認識結果欄２６０により多くの入力欄２６１を表示することができる。本実施形態においては、表示処理部１０６は、通常時には、図１２Ａに示すように３個の入力欄２６１を表示し、ユーザ操作を受け付けた場合に、図１２Ｂに示すように９個の入力欄２６１を表示する。

図１２Ｂに示す複数の入力欄２６１には、発話タイミングに沿って複数の認識結果が配置されている。本実施形態においては、右下の角の入力欄２６１には、発話タイミングの最も新しい認識結果が表示される。さらに、最下段には左方向に順に新しい認識結果が表示され、続く認識結果は下から２段目の右端に表示される。

さらに、本実施形態にかかるオーダー端末１０は、ユーザによるフリック等の操作により、音声認識結果欄２６０に表示させる認識結果を切り替えることができる。例えば図１２Ｂに示す状態において、表示処理部１０６は、音声認識結果欄２６０に対し下方向へのフリック操作が行われた場合には、表示中の認識結果よりも過去に得られた認識結果を表示する。一方で、表示処理部１０６は、音声認識結果欄２６０に対し上方向へのフリック操作が行われた場合には、表示中の認識結果よりも後に得られた認識結果を表示する。

表示処理部１０６はまた、図１２Ａに示す音声認識結果欄２６０においても、同様に認識結果を切り替えて表示することができる。例えば、表示処理部１０６は、音声認識結果欄２６０に対し右方向へのフリック操作が行われた場合には、表示中の認識結果よりも過去に得られた認識結果を表示する。

なお、他の例としては、オーダー端末１０は、音声認識結果欄２６０にスクロールバー等を表示し、ユーザによる表示切替指示の入力を受け付け、表示切替指示に応じて、入力欄２６１に表示する認識結果を切り替えてもよい。

ここで、実際のタッチパネル１７上の９個の入力欄２６１を表示エリアと称することとする。また、タッチパネル１７上に表示されないものの、フリック等の操作により表示される仮想的な表示エリアを非表示エリアと称することとする。ここで、表示エリア及び非表示エリアに表示可能な認識結果の数は予め設定されているものとする。非表示エリアは、表示エリアに比べて多い数の認識結果を表示することができる。本実施形態においては、表示エリアに９個、非表示エリアに２０個（最大表示数）の認識結果を表示できることとする。

さらに、各入力欄２６１には、商品名と数量とが対応付けて表示されている。例えば、表示処理部１０６は、「メロン」及び「１つ」の認識結果を得た場合には、これらに対応して、図１２Ｂの右下の入力欄２６１に示すように、商品名「メロン」と数量「１」とを対応付けて表示する。

なお、オーダー端末１０の表示画面が比較的大きく、音声認識結果欄２６０に９個の入力欄２６１を表示しつつ、商品欄２１０を表示しても、ユーザによる見易さが損なわれない場合には、切替操作を不要としてもよい。すなわち、表示処理部１０６は、常に９個の入力欄２６１を表示することとしてもよい。

図１３は、第３の実施形態にかかる履歴テーブル１１０の一例を示す図である。履歴テーブル１１０は、商品名と、数量と、発話タイミングと、注文タイミングとを記憶している。商品名と数量とは、認識結果により得られる情報である。商品名と、数量と、発話タイミングとは、認識結果が得られた場合に、テーブル管理部１０５により登録される。なお、音声認識処理により商品名の認識結果のみが得られ、対応する数量の認識結果が得られなかった場合には、テーブル管理部１０５は、数量にデフォルト値の「１」を登録することとする。なお、他の例としては、テーブル管理部１０５は、この場合に、数量の欄を空欄とすることとしてもよい。

注文タイミングは、操作受付部１０２が、音声認識結果欄２６０に表示されている認識結果としての商品名の選択入力を受け付けたタイミングである。操作受付部１０２が選択入力、すなわち注文を受け付けた場合に、テーブル管理部１０５は、商品名に対応付けて、注文タイミングを格納する。

図１４は、第３の実施形態にかかるオーダー端末１０による入力受付処理（図５）における認識結果表示処理（Ｓ１０５）の詳細を示すフローチャートである。Ｓ２００において、表示処理部１０６は、表示エリアに空欄が存在するか否かを判定する。空欄が存在する場合に（Ｓ２００，Ｙｅｓ）、表示処理部１０６は、処理をＳ２０１へ進める。Ｓ２０１において、表示処理部１０６は、新たに得られた認識結果を空欄に表示し、処理を終了する。

一方、Ｓ２００において、空欄が存在しない場合に（Ｓ２００，Ｎｏ）、Ｓ２０２において、表示処理部１０６は、新たな認識結果と同一の商品名を示す認識結果が表示エリアに存在するか否かを判定する。同一の商品名を示す認識結果が存在する場合には（Ｓ２０２，Ｙｅｓ）、表示処理部１０６は、処理をＳ２０３へ進める。Ｓ２０３において、表示処理部１０６は、同一の商品名の認識結果が注文済みか否かを判定する。表示処理部１０６は、同一の商品名の認識結果に対する注文の選択入力を操作受付部１０２が既に受け付けている場合、すなわち履歴テーブル１１０の注文タイミングが格納されている場合に、注文済みと判定する。

注文済みである場合には（Ｓ２０３，Ｙｅｓ）、Ｓ２０４において、表示処理部１０６は、既に表示されている同一の商品名の認識結果に対応付けられている数量の値に、新たに得られた数量の値を加算する。そして、表示処理部１０６は、加算後の値を表示し、処理を終了する。例えば、商品名「ホットコーヒー」と数量「２」とが対応付けて表示エリアに表示されている状態において、新たな認識結果として商品名「ホットコーヒー」と数量「３」が得られたとする。この場合には、表示処理部１０６は、既に表示されている商品名「ホットコーヒー」に対応付けて加算結果の数量「５」を表示する。

Ｓ２０２において同一の商品名を示す認識結果が存在しない場合（Ｓ２０２，Ｎｏ）及びＳ２０３において同一の商品名の認識結果が注文済みでない場合（Ｓ２０３，Ｎｏ）には、表示処理部１０６は、処理をＳ２０５へ進める。

Ｓ２０５において、表示処理部１０６は、表示エリアに注文済みの認識結果が存在するか否かを判定する。表示エリアに注文済みの認識結果が存在する場合には（Ｓ２０５，Ｙｅｓ）、表示処理部１０６は、処理をＳ２０６へ進める。Ｓ２０６において、表示処理部１０６は、注文済みの認識結果を削除する。次に、Ｓ２０７において、表示処理部１０６は、削除処理により生じた空欄に新たな認識結果を表示し、処理を終了する。

なお、認識結果は、数量を指定するためにユーザにより複数回選択される可能性がある。そこで、Ｓ２０５において、注文済みの認識結果のうち一定期間経過した認識結果を優先的に削除対象として選択することとしてもよい。

Ｓ２０５において、表示エリアに注文済みの認識結果が存在しない場合には（Ｓ２０５，Ｎｏ）、表示処理部１０６は、処理をＳ２０８へ進める。Ｓ２０８において、表示処理部１０６は、表示エリアに時間閾値以上の発話後時間が経過している認識結果が存在するか否かを判定する。ここで、発話後時間とは、発話タイミングから、Ｓ２０８の処理タイミングまでの間の時間長である。時間閾値は予め定められた値であり、例えば記憶部１３等に予め設定されているものとする。

Ｓ２０８において、時間閾値以上の発話後時間が経過している認識結果が存在する場合には（Ｓ２０８，Ｙｅｓ）、表示処理部１０６は、処理をＳ２０６へ進める。すなわち、表示処理部１０６は、Ｓ２０６において、時間閾値以上の発話後時間が経過した認識結果を削除し、Ｓ２０７において、削除により生じた空欄に新たな認識結果を表示する。

なお、Ｓ２０５，Ｓ２０８において複数の認識結果が削除対象として特定されている場合には、Ｓ２０６において、表示処理部１０６は、注文タイミングが最も古い認識結果を削除対象とする。また、他の例としては、表示処理部１０６は、発話タイミングが最も古い認識結果を削除対象としてもよい。

一方、Ｓ２０８において、時間閾値以上の発話後時間が経過した認識結果が存在しない場合には（Ｓ２０８，Ｎｏ）、表示処理部１０６は、処理をＳ２０９へ進める。Ｓ２０９において、表示処理部１０６は、非表示エリアに注文済みの認識結果が存在するか否かを判定する。Ｓ２０９において、非表示エリアに注文済みの認識結果が存在する場合に（Ｓ２０９，Ｙｅｓ）、Ｓ２１０において、表示処理部１０６は、非表示エリアの注文済みの認識結果を削除し、処理をＳ２１２へ進める。

Ｓ２０９において、非表示エリアに注文済みの認識結果が存在しない場合には（Ｓ２０９，Ｎｏ）、Ｓ２１１において、表示処理部１０６は、発話タイミングが最も古い認識結果を特定し、これを削除し、処理をＳ２１２へ進める。次に、Ｓ２１２において、表示処理部１０６は、新たな認識結果を非表示エリアのうち、表示エリアに最も近い位置に配置する。表示処理部１０６は、より具体的には、非表示エリアの認識結果１つのみを新たに表示エリアに表示させる場合に、表示対象として選択される位置に新たな認識結果を配置する。以上で、処理は終了する。

なお、Ｓ２０５，Ｓ２０８，Ｓ２０９の処理は、削除対象を選択する処理であり、いずれも削除対象選択処理の一例である。第３の実施形態にかかるオーダー端末１０のこれ以外の構成及び処理は、他の実施形態にかかるオーダー端末１０の構成及び処理と同様である。

以上のように、第３の実施形態にかかるオーダー端末１０は、商品名だけでなく数量の認識結果を選択肢として表示することができる。さらに、本実施形態にかかるオーダー端末１０は、ユーザ操作により、過去に得られた認識結果も表示することができる。したがって、ユーザは、選択し損ねた認識結果を再度表示させ、選択することができる。

さらに、本実施形態にかかるオーダー端末１０は、同一商品名を示す認識結果が得られた場合には、数量の加算結果を選択肢として表示することができる。したがって、ユーザは、数量の合計値を１回選択するだけで、合計数量を入力することができる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した各実施形態によれば、音声入力結果を適切に利用することにより、ユーザが迅速に希望する内容を入力することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０ オーダー端末
１１ 制御部
１２ 表示部
１３ 記憶部
１４ 操作入力部
１５ 音声入力部
１６ 通信部
１００ 音声受付部
１０１ 音声認識部
１０２ 操作受付部
１０３ 注文頻度テーブル
１０４ 履歴テーブル
１０５ テーブル管理部
１０６ 表示処理部
１０７ 注文内容送信部

Claims (12)

1. 音声入力を受け付ける音声受付手段と、
   前記音声受付手段が受け付けた音声に対する音声認識処理を行う音声認識処理手段と、
   前記音声認識処理による認識結果と複数の選択肢とを選択可能に表示装置に表示する表示処理手段と、
   前記表示装置に表示された前記選択肢又は前記認識結果のユーザによる選択入力を受け付ける選択受付手段と
   を有することを特徴とする入力処理装置。
2. 前記音声認識処理手段は、前記音声受付手段が受け付けた複数の音声それぞれに対する音声認識処理を行い、
   前記表示処理手段は、複数の前記認識結果を前記表示装置に表示することを特徴とする請求項１に記載の入力処理装置。
3. 前記表示処理手段は、前記複数の認識結果を、各認識結果に対応する音声の発話タイミングに基づいて配列して前記表示装置に表示することを特徴とする請求項２に記載の入力処理装置。
4. 前記音声認識処理手段により最大表示数より多い数の前記認識結果が得られた場合に、削除対象の前記認識結果を選択する削除対象選択手段をさらに有し、
   前記表示処理手段は、前記削除対象の前記認識結果に替えて、新たに得られた前記認識結果を前記表示装置に表示することを特徴とする請求項２又は３に記載の入力処理装置。
5. 前記削除対象選択手段は、前記認識結果に対応する音声の発話タイミングに基づいて、前記削除対象の認識結果を選択することを特徴とする請求項４に記載の入力処理装置。
6. 前記選択肢毎の選択頻度を格納する選択頻度格納手段をさらに有し、
   前記削除対象選択手段は、前記発話タイミング及び前記選択頻度に基づいて、前記削除対象の前記認識結果を選択することを特徴とする請求項５に記載の入力処理装置。
7. 前記削除対象選択手段は、前記選択入力の対象とされた前記認識結果を、前記削除対象の前記認識結果として選択することを特徴とする請求項４に記載の入力処理装置。
8. 前記表示処理手段は、前記選択肢に対する数量及び前記選択肢それぞれの音声認識結果を選択可能に表示し、
   前記選択受付手段は、前記選択肢及び前記数量のうち少なくとも一方の選択入力を受け付けることを特徴とする請求項１乃至７の何れか１項に記載の入力処理装置。
9. 前記表示処理手段は、同一の選択肢の前記音声認識結果が得られた場合に、前記選択肢に対応する前記音声認識結果として得られた前記数量の加算結果に対応付けて、前記同一の選択肢の前記音声認識結果を表示することを特徴とする請求項８に記載の入力処理装置。
10. 前記選択肢毎の選択頻度を格納する選択頻度格納手段と、
    前記選択頻度に基づいて、前記選択肢の表示位置を決定する表示位置決定手段と
    をさらに有し、
    前記表示処理手段は、前記表示位置に配置された前記選択肢を前記表示装置に表示することを特徴とする請求項１に記載の入力処理装置。
11. 入力処理装置が実行する入力処理方法であって、
    音声入力を受け付ける音声受付ステップと、
    前記音声受付ステップにおいて受け付けた音声に対する音声認識処理を行う音声認識処理ステップと、
    前記音声認識処理による認識結果と複数の選択肢とを選択可能に表示装置に表示する表示処理ステップと、
    前記表示装置に表示された前記選択肢又は前記認識結果のユーザによる選択入力を受け付ける選択受付ステップと
    を含むことを特徴とする入力処理方法。
12. コンピュータを、
    音声入力を受け付ける音声受付手段と、
    前記音声受付手段が受け付けた音声に対する音声認識処理を行う音声認識処理手段と、
    前記音声認識処理による認識結果と複数の選択肢とを選択可能に表示装置に表示する表示処理手段と、
    前記表示装置に表示された前記選択肢又は前記認識結果のユーザによる選択入力を受け付ける選択受付手段と
    して機能させるためのプログラム。

Images