JP2010191223A - 音声認識方法、携帯端末及びプログラム。 - Google Patents

Abstract

【課題】ユーザーが音声辞書を切り替えるための操作を意識的に行う必要がなく、自動的に最適な音声辞書を選択することができる音声辞書選択方法、携帯端末及びプログラムを提供すること。
【解決手段】作業者Ａが携帯する作業者用端末２の現在の位置情報を取得する位置情報取得ステップＳ２２と、作業者用端末２が記憶している位置情報に関連した音声認識辞書を複数備える音声認識辞書テーブル２６０から、取得した位置情報に対応する音声認識辞書を選択する選択ステップＳ２３と、集音器から音を取得し、音声認識し音声情報を取得する音声情報取得ステップＳ２４と、音声情報及び選択された音声認識辞書に基づき、音声情報を確定する確定ステップＳ２５と、を含む。
【選択図】図１０

Description

本発明は、音を音声認識する音声認識方法、携帯端末及びプログラムに関する。

従来、入力された音声の音声認識率を向上させる技術が提案されている。例えば、特許文献１には、入力された音声と認識辞書とに基づいて音声認識を実行するように構成された音声認識装置が記載されている。入力音声で表わされる語彙のカテゴリを指定可能に構成すると共に、認識辞書内の語彙のうちで指定されたカテゴリに属する語彙と入力された音声とに基づいて音声認識を行う。この構成によれば、音声認識に用いられる認識辞書の語彙の個数が絞られると共に、同じカテゴリの語彙となるので、音声認識の認識率が向上する。

また特許文献２には、ディスプレイに表示された地図上の任意の位置を指定する位置指定手段と、入力された入力音声と比較して音声認識するための比較データを記憶する認識辞書と、位置指定手段により指定された位置に応じて認識辞書から比較データを選択し、音声認識処理を行う処理対象データを絞り込む辞書選択手段と、入力音声と辞書選択手段により選択された処理対象データとを比較し、認識結果を出力する認識処理手段とを備えた音声認識装置が記載されている。この構成によれば、ナビゲーション装置における目的地設定等の操作の容易化を図り、音声認識処理時間の短縮を図り、誤認識の可能性を低くすることができる。

さらに特許文献３には、ユーザーがステアリングを握っている位置を検出し、複数の音声辞書のうちから握り位置に対応する音声辞書を使用辞書として切替え、ユーザーが発した音声を入力すると、その入力した音声の音声波形と使用辞書として切替えた音声辞書に登録されている語句の近似波形とを照合して当該ユーザーが発した音声を音声認識する音声認識装置が記載されている。この構成によれば、ユーザーが複数の音声辞書のうちからいずれかを使用辞書として切替えるための語句を発声する必要がなくなり、ユーザーが音声認識させたい語句のみを発声すれば良くなる。

特開平１１−３０５７９０号公報 特開２００４−０２０８８３号公報 特開２００８−１４５６７６号公報

特許文献１に記載の音声認識装置では、語彙のカテゴリの選択をユーザーによるスイッチや操作キーによって行う構成となっている。また、特許文献２に記載の音声認識装置では、地図上の任意の位置指定をユーザーによるタッチパネル操作によって行う構成となっている。このため、ユーザーが操作画面をゆっくり参照することができる状況での使用形態に適している。特許文献３に記載の音声認識装置は、ユーザーによるステアリングの握り位置に応じて音声辞書を切り替えるため、運転中のユーザーは運転作業を中断することなく音声辞書を切り替えることはできる。

しかしながら特許文献１及び２に記載の音声認識装置は、１度作業を停止して操作画面を参照しカテゴリあるいは任意の位置指定を行わなければならない。このため、作業の効率が一時的に低下する。例えば、大きなホールで店員が動きながら作業に従事する飲食店やパチンコ店のような形態には採用し難い。また、特許文献３に記載の音声認識装置は、ユーザーは、音声認識辞書を切り替えるためにステアリングの握り位置を意識的に変更する必要がある。

本発明は、上記課題を解決するためになされたものであって、ユーザーが音声辞書を切り替えるための操作を意識的に行う必要がなく、自動的に最適な音声辞書を選択することができる音声辞書選択方法、携帯端末及びプログラムを提供することを目的とする。

上記課題を解決することのできる本発明は、携帯端末の位置情報を取得する位置情報取得ステップと、前記携帯端末が記憶している前記位置情報に関連した音声認識辞書を複数備える音声認識辞書テーブルから、前記取得した位置情報に対応する前記音声認識辞書を選択する選択ステップと、集音器から音を取得し、前記音を前記選択された音声認識辞書を用いて音声認識し音声情報を取得する音声情報取得ステップとを含むことを特徴とする。
また、前記音声情報及び前記選択された音声認識辞書に基づき、前記音声情報を確定する確定ステップと、を含むことを特徴とする。
上記構成によれば、携帯端末の位置情報を取得し、位置情報に対応した音声認識辞書を選択することができるので、作業者が音声認識辞書を切り替えるための操作を意識的に行う必要がなく、自動的に最適な音声認識辞書を選択することができる。このため大きなホールで店員が動きながら作業に従事する飲食店やパチンコ店のような形態にも容易に採用することができる。

また本発明は、前記確定ステップにおいて前記確定した音声情報を、サーバーへ送信する送信ステップを含むことを特徴とする。
上記構成によれば、正しく認識された音声情報が作業管理サーバーに送信されるので、作業管理サーバーにおいて実施する、音声情報を利用した処理の精度を向上させることができる。例えば、携帯端末に送信する次の作業指示をより的確なものとし、作業者の作業習熟度をより正確に判定することに寄与することができる。

また本発明において、前記位置情報は、前記携帯端末の絶対位置情報及び相対位置情報と、に基づき求められることを特徴とする。
上記構成によれば、相対位置情報を取得することができるので、絶対位置情報は少なくとも１回または１つだけ与えられれば、携帯端末の現在の位置情報を取得することができる。また、相対位置情報を取得できるので、絶対位置情報だけを取得する場合と比較すると、より携帯端末の正確な位置を取得することができるので、音声認識辞書を選択する際に間違った辞書を選択することを防止することができる。

また、前記音声認識辞書は、所定の場所に関連する音声情報を含む辞書であることを特徴とする。
上記構成によれば、所定の場所毎に音声認識辞書を備えているので、位置情報を取得するだけで、所定の場所で使用される可能性のある単語の個数を一度に減らすことができるので、音声認識時間を短縮するとともに、音声認識の精度を向上させることができる。

また、上記課題を解決することのできる本発明は、携帯端末であって、
位置情報を取得する位置情報取得部と、集音器から音を取得し、前記音を音声認識し音声情報を取得する音声情報取得部と、前記携帯端末が記憶している前記位置情報に関連した音声認識辞書を複数備える音声認識辞書テーブルと、前記音声認識辞書テーブルから前記取得した位置情報に対応する前記音声認識辞書を選択する選択部と、を有することを特徴とする。
さらに、前記音声情報及び前記選択された音声認識辞書に基づき、前記音声情報を確定する音声情報確定部と、を有することを特徴とする。

また、上記課題を解決することのできる本発明は、上記の位置情報取得ステップ、音声情報取得ステップ、選択ステップを前記携帯端末に実行させることを特徴とするプログラムである。

本発明を適用した実施形態に係る作業管理システムの概略構成を示す図である。 作業者用端末の構成を示す図である。 音声認識辞書テーブルの構成例を示した図である。 作業管理サーバーの制御系の構成を示す図である。 作業管理サーバーが実現する機能を示す図である。 習熟度判定基準データベースの構成例を示す図である。 作業者別習熟度データベースの構成例を示す図である。 標準作業フローデータベース（１）の構成例を示す図である。 標準作業フローデータベース（２）の構成例を示す図である。 本実施形態の店舗フロアの座標を示した図であり、店舗の平面図である。 音声認識処理及び作業別習熟度判定処理における作業者及び作業者用端末の処理を示すフローチャートである。 作業管理サーバーの処理を示すフローチャートである。

以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明を適用した実施形態に係る作業管理システム１の概略構成を示す図である。
作業管理システム１は、複数の作業者が作業を行う作業エリアにおいて、作業者が作業者用端末２（携帯端末）を携帯して使用し、作業管理サーバー５（サーバー）によって、作業者用端末２の位置検出や作業者用端末２への情報送信を行い、作業者の作業を支援および管理するシステムである。本実施形態では、作業エリアとして飲食業を営む店舗に適用した例を挙げて説明する。この店舗では、作業者が作業者用端末２を携帯し、作業管理サーバー５の機能によって、複数の作業者に対して接客を含む作業の支援および管理を行う。

作業管理システム１は、図１に示すように、作業者が使用する端末装置としての作業者用端末２と、顧客が操作可能な位置に設置されたリクエスト用端末装置としての表示用端末３と、作業エリアとしての店舗内の各所に設置された位置検出用タグ４と、作業管理サーバー５とを備えて構成される。
図中においては１個の表示用端末３を図示しているが、本実施形態では、表示用端末３は店舗内で顧客が着席するテーブル席に１個ずつまたは複数設置され、作業エリアとしての店舗内に多数存在する。同様に、図中においては１個の位置検出用タグ４を図示しているが、位置検出用タグ４は店舗内に複数配設されている。各々の表示用端末３および位置検出用タグ４には、固有の識別情報（ＩＤ）が付与されている。表示用端末３および位置検出用タグ４は、作業者用端末２との間で相互に通信可能に構成され、作業者用端末２からの要求に応じて、自己に付与されているＩＤを含むＩＤ情報を作業者用端末２に対して送信する。
作業者用端末２と、表示用端末３および位置検出用タグ４とは、例えば９００MHz帯或いは２．４５GHz帯の周波数を利用するＲＦＩＤ（Radio Frequency Identification）の通信方式に従ってＩＤ情報等の各種情報を送受信する。

また、図１には１台の作業者用端末２を図示しているが、実際には、店舗内で作業に従事する複数の作業者がそれぞれ作業者用端末２を携帯して使用する。これら複数の作業者用端末２と、上述した複数の表示用端末３と、作業管理サーバー５とは、例えばＩＥＥＥ８０２．１１規格に準拠した無線ＬＡＮを構成し、相互に各種情報を送受信可能である。例えば、作業者用端末２は、作業管理サーバー５に対して、種々のコマンドを送信し、このコマンドに応じて、作業管理サーバー５は作業者用端末２に対し、作業指示等を送信して作業者を支援する。作業者用端末２は、作業管理サーバー５からの指示を受信すると、この指示を音声として作業者に伝達する。
例えば、作業者は、作業者用端末２を用いて現在の作業状況の報告、作業上の応援が必要な旨の要求、作業手順の案内を求める要求、異常発生の報告、店内放送を行う旨の要求、休憩を取得する旨の連絡等を送信する。これに応じて、作業管理サーバー５は、作業者用端末２を使用する各作業者の作業状況の把握、作業者に対する作業手順の指示、応援が要求された位置へ他の作業者を向かわせる指示、異常に対する警告および店内放送の実行、休憩に伴う勤務管理処理等を行う。
また、表示用端末３は、作業管理サーバー５から送信される表示情報に基づいて、メニュー等が表示される各種画面を表示する。その一方で、表示用端末３は、顧客の操作に応じて、店舗や作業者に対する顧客の苦情を示すクレーム情報や、作業者を呼ぶコール情報を、作業管理サーバー５へ送信する。

作業管理サーバー５は、本体部５１と、この本体部５１に接続されて各種の画像（映像を含む）や情報を表示する表示装置５２と、本体部５１の制御のもとに音声を出力するスピーカー５３と、作業者用端末２および表示用端末３との間で無線通信を実行する無線ＬＡＮアクセスポイント５５とを備えている。また、作業管理サーバー５は、作業管理サーバー５が内蔵するハードディスク装置等の大容量記憶装置において仮想的または論理的に設けられたデータベース（ＤＢ）部６を備える。データベース部６には、作業者の作業習熟度の判定基準となる習熟度判定基準データベース６００、作業者毎の習熟度を示す情報を格納した作業者別習熟度データベース６０１、標準作業フローデータベース６０２等を含む複数のデータベースが作成される。
作業管理サーバー５は、データベース部６の各データベースに対し、データベースの作成、情報の更新、削除、抽出等を行うデータベース管理機能を備えている。
以下、作業管理システム１を構成する各部について、詳細に説明する。

＜作業者用端末の構成＞
まず、図１及び図２を参照して作業者用端末２について説明する。図２は、作業者用端末２の構成を示す図である。
図１に示すように、作業者用端末２は、作業者の頭部に装着されるヘッドセット部と、作業者の腰や腕或いは衣服に保持される本体部とを備えて構成される。
また図２に示すように、作業者用端末２の内部構成は、主として絶対位置検出部２１０、相対位置検出部２２０、音声認識部２３０、無線ＬＡＮアンテナ２４０及びメインＣＰＵ２５０を備える。

絶対位置検出部２１０は、ＲＦＩＤタグリーダーアンテナ２１１を備えており、このＲＦＩＤタグリーダーアンテナ２１１を介して、本体部から所定距離以内に位置する位置検出用タグ４もしくは表示用端末３との間で通信を実行する。近距離通信専用ＣＰＵ２１２は、具体的には店舗フロアに配置された複数のテーブルに設置されている表示用端末３や位置検出用タグ４から送信された近距離通信用の電波を解析し、各表示端末や各位置検出用タグに固有のＩＤを当該作業者用端末２が存在する絶対位置として取得する。取得したＩＤはメインＣＰＵ２５０へ送信する。
なお、本発明に使用可能な近距離通信としては、上記ＲＦＩＤによる近距離通信以外にも、「Ｂｌｕｅｔｏｏｔｈ」（１０Ｍ〜１００Ｍ）、［ＺｉｇＢｅｅ］（１０Ｍ〜７０Ｍ）、［Ｗｉｂｒｅｅ］（１０Ｍ）、［ＵＷＢ］（１０Ｍ）等がある。

相対位置検出部２２０は、相対位置検出センサーとして、３軸ジャイロセンサー２２１（角速度センサー）、３軸加速度センサー２２２が設けられている。本実施形態の作業者用端末２には、２種類の相対位置検出センサーが設けられているが、作業管理システム１の適用分野に応じて、２種類の相対位置検出センサーとは別のＧＰＳ等のような位置検出手段を使用することも可能である。また、気圧センサー、地磁気センサーを使用することも可能である。位置検出ＣＰＵ２２５は、相対位置検出センサー２２１，２２２が検出した相対位置データを各データ特性に応じて最適化する。最適化された相対位置データは、メインＣＰＵ２５０へ送信される。
ＲＡＭやＲＯＭを備えるメモリー２２７には、相対位置データ演算用のプログラムが格納されている。位置検出ＣＰＵはＲＯＭに記憶されている演算用のプログラムをＲＡＭ上に読み出し、相対位置の演算処理を実行する。演算結果は必要に応じてメモリー２２７に格納される。

音声認識部２３０は、作業管理サーバー５から出力される音声信号に基づいて音声を出力するスピーカー２３１と、作業者が発した音声を集音して音声信号に変換するマイク２３２と、音声認識専用ＩＣ２３３と、を備える。
音声認識専用ＩＣ２３３は、音声認識処理部２３５と音声発声処理部２３６を備えている。音声認識処理部２３５は、作業者の発する声を作業者の頭部にセットされたヘッドセットのマイク２３２から集音し、集音した音声データをデジタルデータに変換（テキストデータ又はコードデータ等）して、メインＣＰＵ２５０へ送信する。
また、音声発生処理部２３６は、メインＣＰＵ２５０から送信されたデジタルデータ（テキストデータ又はコードデータ等）を音声データに変換して作業者の頭部にセットされたヘッドセットのスピーカー２３１から送出することができる。
ＲＡＭやＲＯＭを備えるメモリー２３４には、音声認識用のプログラムと音声発生用のプログラムが格納されている。音声認識専用ＩＣはＲＯＭに記憶されている演算用のプログラムをＲＡＭ上に読み出し、音声認識及び音声発生のための演算処理を実行する。演算結果は必要に応じてメモリー２３４に格納される。

無線ＬＡＮアンテナ２４０は、上述したように作業管理サーバー５、または表示用端末３との間で無線通信を実行する。
音声認識辞書テーブル２６０には、店舗内の作業者が作業に従事する作業場所毎の音声認識辞書が設定されている。

図３は、音声認識辞書テーブル２６０の構成例を示した図である。
例えば、作業者が出入口で作業する場合に発声する可能性のある関連用語例として、「満席」、「お待ち頂く」、「何名様」、「禁煙」、「喫煙」等を含む辞書が設定されている。
また、作業者が卓（テーブル）で作業する場合に発生する可能性のある関連用語例として、「メニュー」、「○番テーブル」、「お料理」、「お飲み物」、「ドリンク」、「ご注文」、「おしぼり」等を含む辞書が設定されている。
また、作業者が料理置き場で作業する場合に発声する可能性のある関連用語例として、「○卓様」、「お料理」、「ドリンク」等を含む辞書が設定されている。
さらに、作業者がレジで作業する場合に発声する可能性のある関連用語例として、「会計」、「領収書」、「レシート」、「おつり」、「円」、「割引券」、「サービス券」等を含む辞書が設定されている。

このように、作業場所毎に音声認識辞書を予め備えることによって、絶対位置検出部２１０及び相対位置検出部２２０に基づいて作業者用端末２の現在位置データを取得すれば、その現在位置データに対応する音声認識辞書を自動的に選択することができる。

メインＣＰＵ２５０は、３軸加速度センサー２２２から得られた加速度データを２回積分演算することで作業者用端末２を携帯している作業者の移動距離を算出する（以降積分モデルと呼ぶ）。もしくは、３軸加速度センサー２２２から得られた加速度データの強度を測定し、作業者の歩行の有無を判別することで作業者の歩数による移動距離を算出する方法を用いることもできる（以降歩行モデルと呼ぶ）。さらにメインＣＰＵ２５０は、３軸ジャイロセンサー２２１から得られた角速度データを1回積分することによって作業者用端末２の向き、すなわち作業者の向きを算出する。そして、積分モデルもしくは、歩行モデルにより算出された歩行者の移動距離と、端末の向き及び近距離通信用ＣＰＵ２１２から受信した絶対位置データに基づいて、作業者用端末２の現在位置データと作業者が向いている方向を算出する。
算出された作業者用端末２の現在位置データ及び作業者の向いている方向は、無線ＬＡＮアンテナ２４０を介して、作業管理サーバー５へ送信される。

また、メインＣＰＵ２５０は、音声認識部２３０を制御し、音声認識専用ＩＣ２３３から受信したデジタルデータを、無線ＬＡＮアンテナ２４０を介して作業管理サーバー５へ送信する。

具体的には、本実施形態のメインＣＰＵ２５０は、音声認識辞書テーブル２６０から現在位置データに該当する音声認識辞書を選択し、音声認識専用ＩＣ２３３へ送信すると共に音声認識の開始を指示する。音声認識専用ＩＣ２３３はメインＣＰＵ２５０から送信された音声認識辞書を用い、マイクから取得されたアナログ音声データの音声認識を実施する。音声認識専用ＩＣ２３３による認識結果は、無線ＬＡＮアンテナ２４０を介して作業管理サーバー５へ送信される。

このように現在位置データに該当する音声認識辞書を利用して音声認識を実施することにより、該当する可能性のある単語の個数を極力低減することができるため、認識時間の短縮が可能になるとともに、音声認識の精度を向上させることができる。

＜作業管理サーバーの構成＞
次に、作業管理サーバー５について説明する。図４は、作業管理サーバー５の制御系の構成を示す図である。
図４に示すように、作業管理サーバー５は、作業管理サーバー５の各部を制御する制御部５０１と、制御部５０１により処理されるプログラムやデータ等を揮発的または不揮発的に記憶するメモリー５０２とを備える。制御部５０１には、表示装置５２により各種画面を表示させる表示処理部５０３、スピーカー５３から音声を出力させる音声出力部５０４、および、図１に示したデータベース部６等を含む情報を記憶する記憶部５０５が接続されている。さらに、制御部５０１には、キー入力装置５６が接続される。

表示処理部５０３は、制御部５０１の制御に従って、表示装置５２に各種画面を表示するための映像信号を生成して表示装置５２へ出力する。表示装置５２は、ＬＣＤ（液晶表示）パネル等を備え、表示処理部５０３から入力される映像信号に基づいて各種画面を表示する。
音声出力部５０４は、制御部５０１の制御に従って音声信号を生成し、スピーカー５３に出力する。スピーカー５３は、音声出力部５０４から出力される音声信号に基づいて音声を再生する。スピーカー５３は、例えば、業務エリアとしての店舗内に設置され、店内放送を行う目的で音声を出力するものである。
記憶部５０５は、磁気的または光学的に情報の記録・読取が可能な記録媒体または半導体記憶素子を用いた記憶装置であり、各種プログラムやデータ等を不揮発的に記憶する。
記憶部５０５には、仮想的または論理的、或いは物理的に区分された記憶領域が設けられ、これら記憶領域は、習熟度判定基準データベース６００、作業者別習熟度データベース６０１、標準作業フローデータベース６０２、作業履歴データベース６０３等の各データベースとして用いられる。

ネットワークインターフェイス部５０６は、無線ＬＡＮアクセスポイント５５に接続され、制御部５０１の制御により、無線ＬＡＮアクセスポイント５５を用いて作業者用端末２もしくは、表示用端末３からの情報を受信し、或いは、作業者用端末２もしくは、表示用端末３へ情報を送信する。
無線ＬＡＮアクセスポイント５５は、作業エリアとしての店舗において、表示用端末３および作業管理サーバー５を含むＬＡＮを構成する装置であり、無線ＬＡＮの規格に準拠した通信を実行するためのアンテナ、ＲＦ部、変復調部、ベースバンド部等を内蔵している。

また、キー入力装置５６は、数字を含む文字キーや各種機能が割り当てられた機能キーを備えた装置であり、オペレータにより操作されたキーに対応する操作信号を生成して、制御部５０１に出力する。

図５は、作業管理サーバー５が実現する機能を示す図であり、図５に示す機能部は、作業管理サーバー５がハードウェアとソフトウェアとの協働により実現される。
図５に示すように、作業管理サーバー５は、作業者用端末２および表示用端末３から無線送信される情報の入力を受けて動作するネットワーク入力部５１１、位置情報処理部５１２、音声情報処理部５１３、実施作業判定部５１６及びネットワーク出力部５１７として機能する。

ネットワーク入力部５１１は、作業者用端末２または表示用端末３から無線送信された情報を無線ＬＡＮアクセスポイント５５によって受信して復調する。このネットワーク入力部５１１は、制御部５０１およびネットワークインターフェイス部５０６により実現される。
位置情報処理部５１２は、ネットワーク入力部５１１によって受信した情報が作業者用端末２から送信された情報である場合に、この情報に含まれる位置情報を抽出する。位置情報処理部５１２は、制御部５０１により実現される。
音声情報処理部５１３は、ネットワーク入力部５１１によって作業者用端末２から送信された情報を受信した場合に、受信した情報から音声情報を抽出する。音声情報処理部５１３は、制御部５０１の機能により実現される。

実施作業判定部５１６は、作業内容特定部５２１、作業所要時間計測部５２３、習熟度データベース作成部５２４及び作業指示コマンド作成部５２５を備えている。
作業内容特定部５２１及び作業所要時間測定部５２３は、各作業者が実施した作業状況を取得し、作業場所、作業毎の実施回数、作業毎の開始時刻、終了時刻等の作業実績を作業履歴データベース６０３に記録するとともに、作業者別習熟度データベース６０１に反映させる。なお、作業実績には、休憩の開始および終了時刻を含めることも可能であり、予定終了時刻を含めることも可能である。作業履歴データベース６０３には、作業者毎、および、勤務日ごとに作業実績に係る情報が格納される。

習熟度データベース作成部５２４は、上述した作業場所、作業毎の実施回数、作業毎の開始時刻、終了時刻等の作業実績等と、習熟度判定基準データベース６００と、を比較して、例えばランクＡ〜Ｄの４段階で表される各作業者の作業習熟度を判定し作業者別習熟度データベース６０１に反映させる。

図６は、習熟度判定基準データベース６００の構成例を示す図である。
図６に例示する習熟度判定基準データベース６００は、作業者の習熟度レベルを４段階（ランクＡ〜ランクＤ）に分けて判定するための判定基準を規定している。具体的には、会計作業習熟度を「会計平均作業時間」及び「会計作業回数」によって計る場合、ある作業者の会計作業に要した時間が２分以内であれば、その作業者の会計平均作業時間に関するランクはＡと判定する。また、その作業者が過去に実施した会計作業の回数が１００回を超えていれば、その作業者の会計作業回数に関するランクはＡと判定する。
さらに、ホール作業習熟度を「片付け平均作業時間」、「片付け作業回数」、「クレーム回数」及び「累計ホール作業時間」によって計る場合、ある作業者のホール作業に要した平均作業時間が６０秒／１人分以内であれば、その作業者の片付け平均作業時間に関するランクはCと判定する。また、その作業者が過去に実施した片付け作業の回数が２００回以下であれば、その作業者の片付け作業回数に関するランクはＢと判定する。同様に、その作業者が過去に受けたクレーム回数（作業３０時間当たり）が１．０回を超えていれば、その作業者のクレーム回数に関するランクはＤと判定し、累計ホール作業時間が５００時間以下であれば、累計ホール作業時間に関するランクはＣと判定する。

図７は、習熟度データベース作成部５２４が、作業履歴データベース６０３及び習熟度判定基準データベース６００に基づいて作成した作業者別習熟度データベース６０１の構成例を示す図である。
図７に示す作業者別習熟度データベース６０１では、３人の作業者について、会計作業習熟度及びホール作業習熟度が格納されている。会計作業については「会計平均作業時間」及び「会計作業回数」の測定値と、習熟度判定基準データベース６００に基づいて判定された習熟度レベルが格納されている。また、ホール作業については「片付け平均作業時間」、「片付け作業回数」、「クレーム回数」及び「累計ホール作業時間」の測定値と、習熟度判定基準データベース６００に基づいて判定された習熟度レベルが格納されている。例えば、作業者Ａの会計作業回数は２１回であり、ランクＣと判定されている。また、作業者Ａの累計ホール作業時間は、１３００時間であり、ランクＡと判定されている。

図５に戻って、作業指示コマンド部５２５は、作業者用端末２に対して作業指示するための作業指示コマンドを作成する。作業指示コマンド作成部５２５は、位置情報、音声情報に基づき、標準作業フローデータベース６０２を参照し次に指示する作業を判断し、作業指示コマンドを作成する。作業指示コマンドはネットワーク出力部５１７により無線ＬＡＮアクセスポイント５５を介し、作業者用端末２へ送信される。
ネットワーク出力部５１７は、制御部５０１及びネットワークインターフェイス部５０６により実現される。

図８−１は、標準作業フローデータベースの構成例を示す図であり、図８−２は、各作業の開始位置に対する終了位置を示した標準作業フローデータベースの構成例を示す図であり、図９は、本実施形態の店舗フロアの座標を示した図であり、店舗の平面図である。
図８−１に示す標準作業フローデータベース６０２（１）は、作業内容と、その作業が行われる位置（作業場所）と、その作業場所に対応する音声指示あるいは音声認識情報が対応づけられている。作業管理サーバー５は、作業者用端末２から送信された位置情報、音声情報及び標準作業フローデータベース６０２（１）に基づいて、作業者が実施している作業を特定する。標準作業フローデータベース６０２（１）にしたがった作業が実施されなかった場合は、修正指示を作業者用端末２に送信する。

図９に示すように、作業管理システムが設置された業務エリアとしての店舗は、レジ、テーブル１〜５、トイレ及び料理置き場を含む接客業務を行う接客エリアと、洗い場、レンジ、フライヤー、冷蔵庫及びコンロを含む調理業務を行うキッチンエリアと、ＰＣ（パーソナルコンピューター）及び休憩用テーブルを含む管理業務を行うためのオフィスエリアと、に区分される。オフィスエリアは、作業者の休憩場所としても利用される。なお、作業管理サーバー５は、オフィスエリアの管理業務用のデスクに設置される。

図８−２に示すように、標準作業フローデータベース６０２（２）には、作業内容毎の作業開始場所と作業終了場所が設定されている。
例えば、レジ業務の作業開始場所はレジ、作業終了場所もレジと設定されている。また、調理配達作業の作業開始場所は料理置き場、作業終了場所には各テーブル１〜５が設定されている。さらに、テーブル片付け作業の作業開始場所はテーブル１〜５、作業終了場所には洗い場が設定されている。
作業者用端末２から送信された位置情報及び音声情報によって、作業者用端末２が調理配達作業を開始するため料理置き場に位置していることを特定すると、作業管理サーバー５は、調理配達作業の作業終了場所はテーブル１〜５の何れかであることを判定することができる。このため、次に作業者用端末２から送信される位置情報及び音声情報に基づいて特定された作業場所が、テーブル１〜５以外の調理場やレジ等であった場合は、標準作業フローデータベース６０２（２）と異なった作業を実施しているものと判定することができる。このような場合は、間違って実施した作業を実施した作業者用端末２に対して、作業修正指示を送信する。

なお、上述したように本実施形態の作業者用端末２は、作業者用端末２の絶対位置データ及び相対位置データに基づき算出された現在位置データを位置情報として送信する。この現在位置データは、座標データであり、図９に示す店舗の位置座標上に示すことができる。例えば、作業者用端末２から受信した現在位置を示す座標が、（Ｘ，Ｙ）＝（１５０，１５０）である場合は、テーブル４の周辺に位置していることが分かる。また、（Ｘ，Ｙ）＝（１５０，３５０）である場合は、洗い場周辺に位置していることがわかる。また、（Ｘ，Ｙ）＝（２００，２７５）である場合は、料理置き場に位置していることがわかる。さらに、（Ｘ，Ｙ）＝（１００，５０）である場合は、レジに位置していることがわかる。

＜音声認識処理及び作業者別習熟度判定処理について＞
次に、作業者用端末２が行う音声認識処理及び、作業管理システム１が行う作業別習熟度判定処理について説明する。図１０は、音声認識処理及び作業別習熟度判定処理における作業者Ａ及び作業者用端末２の処理を示すフローチャートであり、図１１は、作業管理サーバー５の処理を示すフローチャートである。以下では、作業者Ａが実施する会計作業について習熟度を判定する処理を例示して説明する。

まず、作業者用端末２は作業管理サーバー５から作業指示を受信すると、スピーカー２３１から指示を発生させる（ステップＳ２０）。ここでは、会計作業を指示するものとする。
作業者Ａは、会計作業を開始する際に「会計入ります」とマイク２３２へ発声すると（ステップＳ１１）、絶対位置データ又は前回の現在位置データに相対位置を加算することによって、作業者用端末２の現在位置を特定する（ステップＳ２１，ステップＳ２２）。
現在位置を算出する方法としては、絶対位置が検出可能であれば、絶対位置検出部２１０が絶対位置を検出する。また、絶対位置が検出できない場合は、例えばメモリー２２７に保存しておいた前回算出した現在位置データに相対位置データを加算することもできる。このように、作業者用端末２が位置検出用タグ４から離れているところにあるために、近距離通信が不可能な場合であっても、相対位置データによって補うことができるので、位置検出の精度を高めることができる。

ＣＰＵ２５０は作業者用端末２の現在位置を取得すると、現在位置に適した音声認識辞書を音声認識辞書テーブル２６０から選択する（ステップＳ２３）。
ここで、ステップＳ１１において作業者Ａが「会計入ります」と発声したときの作業者用端末２の位置が、現在位置データによると（Ｘ，Ｙ）＝（１００，５０）であったとする。作業者用端末２のメインＣＰＵ２５０は、座標（Ｘ，Ｙ）＝（１００，５０）がレジ付近であることが分かるため、作業者Ａはレジに位置していると判定する。メインＣＰＵ２５０は音声認識辞書テーブル２６０を参照して、現在位置がレジに対応する音声認識辞書選択する。

取得した現在位置データに基づきレジに対応する音声認識辞書を自動的に選択し参照することによって、レジに関連する語彙の絞込みを行うことができる。本実施形態では、レジに対応する音声認識辞書に含まれる関連用語例は、「会計、領収書、レシート、おつり、円、割引券、サービス券」であり、レジ以外の作業場所に関連する関連用語例を除外することができ、一度に語彙を絞り込むことができる。

次に、作業者用端末２はマイク２３２を介して作業者Ａの声を集音した音声データと、絞り込まれた関連用語例と、を比較し、音声認識を行う（ステップＳ２４）。すなわち、ステップＳ１１で作業者Ａが発した音声データ「会計入ります」と、レジに関連しない語彙を除外した関連用語例「会計、領収書、レシート、おつり、円、割引券、サービス券」と、を比較するので、音声認識率を向上させることができる。

メインＣＰＵ２５０は、音声認識を行って音声情報を確定すると（ステップＳ２５）、無線ＬＡＮアンテナ２４０を介して作業管理サーバー５へ確定した音声情報を送信する（ステップＳ２６）。また、メインＣＰＵ２５０は、現在位置情報を無線ＬＡＮアンテナ２４０を介して作業管理サーバー５へ送信する。

図１１へ移り、作業管理サーバー５は、作業者用端末２から音声情報と現在位置情報を受信する（ステップＳ４１）。作業管理サーバー５は、受信した情報を一時的に記憶し、送信された音声情報と位置情報とに基づいて、作業者Ａの会計作業の作業履歴の登録及び会計作業の作業時間測定処理を実行する。
作業内容特定部５２１は、受信した現在位置データ、音声情報及び標準作業フローデータベース６０２（１）に基づいて、作業内容を特定する。
ステップＳ１１において作業者Ａが「会計入ります」と発声したときの作業者用端末２の位置が、位置情報によると（Ｘ，Ｙ）＝（１００，５０）であり、作業内容特定部５２１は、店舗フロアのデータから座標（Ｘ，Ｙ）＝（１００，５０）がレジ付近であることを把握できるため、作業者Ａがレジに位置していると判断する。
また、音声情報によると音声認識結果「会計入ります」が認識できる。図８−１に示すように、作業場所「レジ」、音声認識結果「会計入ります」に対応する作業内容は、「レジ業務」であることが特定できる。さらに、「会計開始」したことも認識することができる。

作業内容特定部５２１は、レジ業務の会計作業の開始を判断すると、作業所要時間計測部５２３は、会計作業の作業時間の計測を開始する（ステップＳ４２）。また、作業者Ａの会計処理の実施回数を１回増やす処理を行う（ステップＳ４３）。

なお、ステップＳ４２において、送信された位置情報から作業者Ａがレジ付近に位置していることを検出できず、他の場所に位置していた場合は、作業指示コマンド作成部５２５は、レジへ移動するよう指示する修正指示コマンドを作成し、作業者用端末２へ送信することができる。作業者用端末２は修正指示コマンドを受信すると、これをスピーカーから発生させる。

図１０に戻り作業者Ａが会計作業を実施し（ステップＳ１２）、会計作業を終了した際に「会計終了しました」と発声すると（ステップＳ１３）、再び絶対位置データ又は前回の絶対位置データに相対位置を加算することによって、作業者用端末２の現在位置を特定する（ステップＳ２７，ステップＳ２８）。

ＣＰＵ２５０は作業者用端末２の現在位置を取得すると、現在位置に適した音声認識辞書を音声認識辞書テーブル２６０から選択する（ステップＳ２９）。
ここで、ステップＳ１３において作業者Ａが「会計終了しました」と発声したときの作業者用端末２の位置が、現在位置データによると同様に（Ｘ，Ｙ）＝（１００，５０）であったとする。作業者用端末２のメインＣＰＵ２５０は、座標（Ｘ，Ｙ）＝（１００，５０）がレジ付近であることが分かるため、作業者Ａはレジに位置していると判定する。メインＣＰＵ２５０は音声認識辞書テーブル２６０を参照して、現在位置がレジに対応する音声認識辞書を選択する。

取得した現在位置データに基づきレジに対応する音声認識辞書を自動的に選択し参照することによって、レジに関連する語彙の絞込みを行うことができる。本実施形態では、レジに対応する音声認識辞書に含まれる関連用語例は、「会計、領収書、レシート、おつり、円、割引券、サービス券」であり、レジ以外の作業場所に対応する音声認識辞書に含まれる関連用語例を除外することができ、一度に語彙を絞り込むことができる。

次に、作業者用端末２はマイク２３２を介して作業者Ａの声を集音した音声データと、絞り込まれた関連用語例と、を比較し、音声認識を行う（ステップＳ３０）。すなわち、ステップＳ１３で作業者Ａが発した音声データ「会計終了しました」と、レジに関連しない語彙を除外した関連用語例「会計、領収書、レシート、おつり、円、割引券、サービス券」と、を比較するので、音声認識率を向上させることができる。

メインＣＰＵ２５０は、音声認識を行って音声情報を確定すると（ステップＳ３１）、無線ＬＡＮアンテナ２４０を介して作業管理サーバー５へ確定した音声情報を送信する（ステップＳ３２）。また、メインＣＰＵ２５０は、現在位置情報を無線ＬＡＮアンテナ２４０を介して作業管理サーバー５へ送信する。

図１１へ移り、作業管理サーバー５は、作業者用端末２から音声情報及び位置情報を受信すると、作業管理サーバー５は、受信した情報を一時的に記憶し、送信された音声情報と位置情報とに基づいて会計作業を終了したかを判断する。
作業内容特定部５２１は、受信した現在位置データ、音声情報及び標準作業フローデータベース６０２（１）に基づいて、作業内容を特定する。
ステップＳ１３において作業者Ａが「会計終了しました」と発声したときの作業者用端末２の位置が、位置情報によると（Ｘ，Ｙ）＝（１００，５０）であり、作業内容特定部５２１は、店舗フロアのデータから座標（Ｘ，Ｙ）＝（１００，５０）がレジ付近であることを把握できるため、作業者Ａがレジに位置していると判断する。
また、音声情報によると音声認識結果「会計終了しました」が認識できる。作業場所「レジ」、音声認識結果「会計終了しました」に対応する作業内容が、「レジ業務」であることが特定できる。さらに、「会計終了」したことも認識することができる。
ステップＳ４２において作業時間の計測を開始してから３分経過する前に、「会計終了」を受信したと判定した場合は（ステップＳ４４：Ｙｅｓ）、作業所要時間計測部５２３が会計作業終了を判断して作業時間の計測を終了する（ステップＳ４６）。作業場所、会計作業の実施回数、会計作業の開始時刻及び終了時刻、作業所要時間が特定されると、作業履歴データベース６０３に反映する。また、習熟度データベース作成部５２４は、作業者Ａの会計作業時間の平均値を算出し、会計作業の実施回数とともに作業者別習熟度データベース６０１に反映する（ステップＳ４７，ステップＳ４８）。

一方、ステップＳ４２において作業時間の計測を開始してから３分経過する前に、「会計終了」を受信できなかった場合は（ステップＳ４４：Ｎｏ，ステップＳ４５：Ｙｅｓ）、会計作業が未終了であると判定する。このような場合は、例えば、作業者Ａが他のお客等に呼ばれ会計作業以外の作業に従事したものと判断できるため、ステップＳ４３において作業者Ａの会計作業回数としてプラスした１回分を元に戻す（ステップＳ４９）。

作業者Ａに関する会計作業の実施回数、会計平均作業時間を作業者別習熟度データベース６０１に反映すると、習熟度データベース作成部５２４は習熟度判定基準データベース６００を参照して作業者Ａの会計平均作業時間の習熟度を判定し、作業者別習熟度データベース６０１に反映させる（ステップＳ５０）。図７に示すように、作業者Ａの会計平均作業時間は、４分２０秒であり、ランクＤと判定する。
同じように、習熟度データベース作成部５２４は習熟度判定基準データベース６００を参照して作業者Ａの会計作業回数の習熟度を判定し、作業者別習熟度データベース６０１に反映させる（ステップＳ５１）。図７に示すように、作業者Ａの会計作業回数は、２１回であり、ランクＣと判定する。

このように、作業内容毎に作業者別習熟度判定処理を行うことによって、作業者別習熟度データベース６０１が作成される。ホール作業に関しても習熟度判定処理を行うことによって、図７に示したホール作業習熟度に関するデータベースを作成することもできる。
以上のように、作業者Ａの会計作業が終了すると、標準作業フローデータベース６０２（１）に基づいて次の作業指示を作業者用端末２へ送信する（ステップＳ５２）。

このように、作業者用端末２の現在位置情報を取得し、現在位置情報に対応した音声認識辞書を予め備えた音声認識辞書テーブル２６０から選択することができるので、作業者Ａが音声辞書を切り替えるための操作を意識的に行う必要がなく、自動的に最適な音声辞書を選択することができる。
特に本実施形態のように、作業者が店舗内を動き回らなければならない作業形態でも、作業者は作業者用端末を携帯しているだけで、作業者が発声した音声の音声認識率を向上させることができる。

また、正しく認識された音声情報が作業管理サーバーに送信されるので、作業管理サーバー２において実施する、音声情報を利用した処理の精度を向上させることができる。本実施形態では、作業者用端末２から送信された位置情報及び音声情報に基づいて、作業者用端末２を携帯している作業者の作業習熟度を判定することができる。

１…作業管理システム、２…作業者用端末（端末端末）、３…表示用端末、４…位置検出用タグ、５…作業管理サーバー、６…データベース部、５１…本体部、５２…表示装置、５３…スピーカー、５５…無線ＬＡＮアクセスポイント、５６…キー入力装置、２１０…絶対位置検出部、２１１…ＲＦＩＤタグリーダーアンテナ、２１２…近距離通信専用ＣＰＵ、２２０…相対位置検出部、２２１…３軸ジャイロセンサー、２２２…３軸加速度センサー、２２５…位置検出ＣＰＵ、２２７…メモリー、２３０…音声認識部、２３１…スピーカー、２３２…マイク、２３３…音声認識専用ＩＣ、２３４…メモリー、２３５…音声認識処理部、２３６…音声発生処理部、２４０…無線ＬＡＮアンテナ、２５０…メインＣＰＵ、２６０…音声認識辞書テーブル、５０１…制御部、５０２…メモリー、５０３…表示処理部、５０４…音声出力部、５０６…ネットワークインターフェイス、５１１…ネットワーク入力部、５１２…位置情報処理部、５１３…音声情報処理部、５１６…実施作業判定部、５１７…ネットワーク出力部、５２１…作業内容特定部、５２３…作業所要時間計測部、５２４…習熟度データベース作成部、５２５…作業指示コマンド作成部、６００…習熟度判定基準データベース、６０１…作業者別習熟度データベース、６０２（１），６０２（２）…標準作業フローデータベース、作業履歴データベース。

Claims (8)

1. 携帯端末の位置情報を取得する位置情報取得ステップと、
   前記携帯端末が記憶している前記位置情報に関連した音声認識辞書を複数備える音声認識辞書テーブルから、前記取得した位置情報に対応する前記音声認識辞書を選択する選択ステップと、
   集音器から音を取得し、前記音を前記選択された音声認識辞書を用いて音声認識し音声情報を取得する音声情報取得ステップと、を含むことを特徴とする音声認識方法。
2. 前記音声情報及び前記選択された音声認識辞書に基づき、前記音声情報を確定する確定ステップと、を含むことを特徴とする請求項１に記載の音声認識方法。
3. 前記確定ステップにおいて前記確定した音声情報を、サーバーへ送信する送信ステップを含むことを特徴とする請求項２に記載の音声認識方法。
4. 前記位置情報は、前記携帯端末の絶対位置情報及び相対位置情報と、に基づき求められることを特徴とする請求項１から３のいずれか１項に記載の音声認識方法。
5. 前記音声認識辞書は、所定の場所に関連する音声情報を含む辞書であることを特徴とする請求項１から４のいずれか１項に記載の音声認識方法。
6. 携帯端末であって、
   位置情報を取得する位置情報取得部と、
   集音器から音を取得し、前記音を音声認識し音声情報を取得する音声情報取得部と、
   前記携帯端末が記憶している前記位置情報に関連した音声認識辞書を複数備える音声認識辞書テーブルと、
   前記音声認識辞書テーブルから取得した位置情報に対応する音声認識辞書を選択する選択部と、を有することを特徴とする携帯端末。
7. 前記音声情報及び前記選択された音声認識辞書に基づき、前記音声情報を確定する音声情報確定部と、を有することを特徴とする請求項６に記載の携帯端末。
8. 請求項１に記載の位置情報取得ステップ、音声情報取得ステップ、選択ステップを前記携帯端末に実行させることを特徴とするプログラム。

Images