JP2017508193A - ユーザ設定可能な発話コマンド - Google Patents

Abstract

【課題】ユーザによる発話コマンドの設定を可能にする発話認識方法及びシステムを提供する。【解決手段】ヘッドセットコンピュータは、プロセッサに接続されたマイクロディスプレイと、プロセッサに接続されたマイクロホンと、プロセッサにより実行される、マイクロホンへのユーザ発話に応答する発話認識エンジンと、を備える。発話認識エンジンは、（ｉ）所定の発話コマンドを認識するとアクションの実行を引き起こすように、かつ、（ｉｉ）ユーザ設定可能な発話コマンドをサポートするように構成されている。【選択図】図１Ａ

Description

関連出願

本願は、2013年12月26日付出願の米国仮特許出願第61/920,926号の出願の利益を主張する。この米国仮特許出願の全内容は、参照をもって本明細書に取り入れたものとする。

現在、ラップトップ、ノートブックＰＣ、スマートフォン、タブレット型コンピューティング端末等のモバイルコンピューティングデバイスは、ビジネスライフおよび私生活の両方において、データを生成、分析、通信および消費するための日常的なツールとなっている。消費者は、高速無線通信技術のユビキタス化に伴い、ますます容易にデジタル情報にアクセスできることを背景に、モバイルデジタルライフスタイルを享受し続ける。モバイルコンピューティングデバイスのよくある用途として、大量の高解像度コンピュータグラフィックス情報及び動画コンテンツを表示する用途が挙げられ、デバイスにワイヤレスでストリーミングして表示する場合が多い。典型的にこれらのデバイスはディスプレイ画面を備えているものの、モバイル性を推し進めるため、デバイス自体の物理的サイズは制限されている。そのため、これらのモバイルデバイスで、高解像度の大型ディスプレイのようなより好ましい視覚的体験を再現することは難しい。その他にも、このような種類のデバイスの短所として、ユーザインターフェースがヒトの手に依存する（ヒトの手を使うことを必要とする）点が挙げられる。典型的には、一般的にユーザは、（物理的または仮想的な）キーボードやタッチスクリーンディスプレイを用いてデータの入力や何らかの選択を行うことを求められる。そのため、今日の消費者は、ヒトの手に依存するモバイルデバイスを補うまたはこれにとって代わる、ハンズフリーで（ヒトの手に依存しないで）、高品質且つ携帯可能な、カラーディスプレイのソリューションを所望している。

近年開発されたマイクロディスプレイは、大型フォーマットの高解像度カラー画像及びストリーミング映像を、極めて小さい形状の構成要素で提供することができる。このようなディスプレイの用途として、ユーザの視野内にディスプレイが収まるように眼鏡やオーディオヘッドセットやビデオアイウェアと似た形式の、ユーザの頭部に装着される無線ヘッドセットコンピュータへの組込みが挙げられる。

「無線コンピューティングヘッドセット」デバイス（本明細書において「ヘッドセットコンピュータ（ＨＳＣ）」や「ヘッドマウントディスプレイ（ＨＭＤ）」とも称される）は、少なくとも１つの小型高解像度マイクロディスプレイと該ディスプレイに対応付けられ画像を拡大する光学系とを備える。その高解像度マイクロディスプレイは、スーパービデオグラフィックスアレイ（ＳＶＧＡ）（800×600）解像度または拡張グラフィックスアレイ（ＸＧＡ）（1024×768）解像度、あるいは、それを超える解像度（当該技術分野において既知の解像度）を提供することができる。

また、無線コンピューティングヘッドセットは、データ機能や映像ストリーミング機能を可能にする少なくとも１つの無線コンピューティングインターフェースと通信インターフェースを備えており、かつ、ヒトの手に依存する装置を介して優れた利便性およびモバイル性を提供している。

以上のようなデバイスに関する詳細な情報については、同時係属中の、2009年1月5日付出願の米国特許出願第12/348,648号“Mobile Wireless Display Software Platform for Controlling Other Systems and Devices”、2009年3月27日付出願の国際出願第PCT/US09/38601号“Handheld Wireless Display Devices Having High Resolution Display Suitable For Use as a Mobile Internet Device”および2012年4月25日付出願の米国仮特許出願第61/638,419号“Improved Headset Computer”を参照されたい。なお、これら特許出願の全内容は、参照をもって本明細書に取り入れたものとする。

なお、本明細書では、「ＨＳＣ（ヘッドセットコンピュータ）」、「ＨＭＤ（ヘッドマウントディスプレイ）」デバイスおよび「無線コンピューティングヘッドセット」デバイスを同義的に用いる場合がある。

本発明の一態様は、プロセッサに接続されたマイクロディスプレイと、前記プロセッサに接続されたマイクロホンと、発話認識エンジン（音声認識エンジン）と、を備えるヘッドセットコンピュータである。前記発話認識エンジンは、前記マイクロホンへのユーザからの発話に応答する。前記発話認識エンジンは、予め定められた所定の発話コマンドを認識するとアクションの実行を引き起こすように、かつ、ユーザが設定可能な発話コマンドをサポートする（例えば、使用可能とするまたは対応可能とする）ように構成されている。

一実施形態において、前記発話認識エンジンは、さらに、前記ヘッドセットコンピュータのユーザに前記所定の発話コマンド及び（例えば、前記所定の発話コマンドに）対応付けられたフィールドを提示するように構成されている。この対応付けられたフィールドは、（前記所定の発話コマンドに対する）代用の発話コマンドをユーザが入力することを可能にするように当該ユーザに提示される。前記代用の発話コマンドは、前記所定の発話コマンドが認識された場合に実行されるアクションと同じアクションを引き起こすように翻訳され得る。前記発話認識エンジンは、前記所定の発話コマンドまたは前記代用の発話コマンドが認識された場合に前記アクションを実行し得るか、あるいは、前記所定の発話コマンドまたは前記代用の発話コマンドの、一方または他方が認識された場合にのみ前記アクションを実行し得る。具体的なアクションは、ユーザ入力により選択可能であり得る。

他の実施形態において、前記発話認識エンジンは、前記代用の発話コマンドを認識すると、第１のアクションの実行を引き起こす。この第１のアクションは、前記所定の発話コマンドに対応するものである。他の実施形態において、前記第１のアクションは、前記発話認識エンジンが前記代用の発話コマンドを認識した場合にのみ実行される。一実施形態において、前記第１のアクションは、前記発話認識エンジンが前記代用の発話コマンドを認識した場合か又は前記発話認識エンジンが前記所定の発話コマンドを認識した場合に実行される。

他の実施形態において、前記対応付けられたフィールドに入力された前記代用の発話コマンドは、所定の期間のあいだ有効であり、この期間後は、前記所定の発話コマンドのみが有効である。他の実施形態において、前記対応付けられたフィールドに入力された前記代用の発話コマンドは、この代用のコマンドを投入した（submitted）ユーザにのみ有効である。

一実施形態は、さらに、前記発話認識エンジンに動作可能に接続された発話コマンド設定モジュール、を備える。この発話コマンド設定モジュールは、所与の発話コマンドの代用に用いる発話コマンド用語をエンドユーザが選択することを可能にし得る。そのユーザが選択した発話コマンド用語が、前記所与の発話コマンドの代用のコマンドを形成し得る。

他の実施形態は、さらに、前記所定の発話コマンドに対応する代用の発話コマンドを前記ユーザから受け取るように構成された発話コマンド設定モジュール、を備える。この発話コマンド設定モジュールは、さらに、前記代用の発話コマンドを、所定の発話コマンドの認識時に実行される前記アクションと関連付けるように構成されている。この発話コマンド設定モジュールは、前記代用の発話コマンドの認識時に前記アクションを実行するように構成されている。一実施形態において、前記発話コマンド設定モジュールは、さらに、前記所定の発話コマンドの認識時に前記アクションを実行するように構成されている。

本発明の他の態様は、発話認識方法（音声認識方法）であって、ユーザの発話を認識する過程と、前記発話を所定の発話コマンドとして認識すると、アクションの実行を引き起こす過程と、ユーザが設定可能な発話コマンドをサポートする過程と、を含む、発話認識方法である。

一実施形態は、さらに、ヘッドセットコンピュータの前記ユーザに前記所定の発話コマンド及び対応付けられたフィールドを提示する過程と、前記対応付けられたフィールドへと入力された代用の発話コマンドを受け取る過程と、を含む。

他の実施形態は、さらに、前記代用の発話コマンドを認識すると、第１のアクションの実行を引き起こす過程、を含む。この第１のアクションは、前記所定の発話コマンドに対応するものである。他の実施形態は、さらに、前記第１のアクションを、前記発話を認識するエンジンが前記代用の発話コマンドを認識した場合にのみ実行する過程、を含む。さらなる他の実施形態は、さらに、前記第１のアクションを、前記発話を認識するエンジンが前記代用の発話コマンドを認識した場合か又は前記発話を認識するエンジンが前記所定の発話コマンドを認識した場合に実行する過程、を含む。

一実施形態において、前記対応付けられたフィールドに入力された前記代用の発話コマンドは、所定の期間のあいだ有効であり、この期間後は、前記所定の発話コマンドのみが有効である。

他の実施形態において、前記対応付けられたフィールドに入力された前記代用の発話コマンドは、この代用のコマンドを投入したユーザにのみ有効である。

本発明のさらなる他の態様は、発話を認識するための非過渡的なコンピュータ読取り可能媒体である。この非過渡的なコンピュータ読取り可能媒体には、コンピュータソフトウェア命令が記憶されている。このコンピュータソフトウェア命令は、少なくとも１つのプロセッサにより実行されると、コンピュータシステムに、ユーザの発話を認識する手順を実行させる。このコンピュータソフトウェア命令は、さらに、前記発話を所定の発話コマンドとして認識するとアクションの実行を引き起こす手順を実行させる。このコンピュータソフトウェア命令は、さらに、ユーザ設定可能な発話コマンドをサポートする手順を実行させる。

前述の内容は、添付の図面に示す本発明の例示的な実施形態についての以下の詳細な説明から明らかになる。図面では、異なる図をとおして同じ参照符号は同じ構成／構成要素を指すものとする。なお、図面は必ずしも縮尺どおりではなく、むしろ、本発明の実施形態を示すことに重点を置いている。

本発明の原理に従ってホストコンピュータ（例えば、スマートフォン、ラップトップなど）および該コンピュータと協働するヘッドセットコンピュータの概略図である。 本発明の原理に従ってホストコンピュータと協働するヘッドセットコンピュータの拡大斜視図である。 図１Ａ及び図１Ｂの実施形態におけるデータおよび制御のフローを示すブロック図である。 ＡＳＲ（自動発話認識（自動音声認識））サブシステムの実施形態を示すブロック図である。 本発明にかかる発話認識方法の一実施形態を示す図である。

以下では、本発明の例示的な実施形態について説明する。

なお、本明細書で引用している全ての特許公報、全ての特許出願公報および全ての刊行物については、その全教示内容を参照をもって本明細書に取り入れたものとする。

図１Ａ及び図１Ｂに、無線コンピューティングヘッドセットデバイス１００（本明細書ではヘッドセットコンピュータ（ＨＳＣ）やヘッドマウントディスプレイ（ＨＭＤ）と称することもある）の例示的な一実施形態を示す。ＨＳＣ１００は、高解像度（ＶＧＡまたはそれを超える解像度）のマイクロディスプレイ要素１０１０を組み込んでいると共に、下記のその他の構成要素も組み込んでいる。

具体的に述べると、ＨＳＣ１００は：音声入力および／または音声出力装置（少なくとも１つのマイクロホン、少なくとも１つの入力スピーカ、および少なくとも１つの出力スピーカが含まれ得る）；および／または地理位置センサ（ＧＰＳ）；および／または３軸〜９軸の自由度の方位センサ；および／または気圧センサ；および／または健康状態センサ；および／またはデジタルコンパス；および／または圧力センサ；および／または環境センサ；および／またはエネルギーセンサ；および／または加速度センサ；および／または位置センサ；および／または姿勢センサ；および／または動きセンサ；および／または速度センサ；および／または光センサ；および／またはカメラ（可視光カメラ、赤外線カメラなど）；および／または複数のワイヤレス無線機；および／または補助照明；および／または距離計；および／またはその他；を備え得る。ＨＳＣ１００は：ヘッドセットに埋め込まれたセンサのアレイ；および／またはヘッドセットに組み込まれたセンサのアレイ；および／または少なくとも１つのペリフェラル（周辺機器）ポート１０２０（図１Ｂ）を介してデバイスに取り付けられたセンサのアレイ；を備え得る。

典型的に、ヘッドセットコンピューティングデバイス１００のハウジング内部には、様々な電子回路が配置されている。そのような電子回路には：マイクロコンピュータ（シングルコアまたはマルチコアのプロセッサ）；１つ以上の有線および／または無線の通信インターフェース；メモリまたは記憶装置；各種センサ；ならびにペリフェラルマウント（装着部）または「ホットシュー」等のマウント；が含まれ得る。

ＨＳＣ１００の例示的な実施形態は、音声コマンド、頭の動き１１０，１１１，１１２、手のジェスチャ１１３、またはこれらの組合せを検出することにより、ユーザの入力を受け取り得る。具体的に述べると、ＨＳＣ１００に動作可能に接続されているか又はＨＳＣ１００に組み込まれている単一のマイクロホン（又は複数のマイクロホン）を用いて、発話コマンドまたは音声コマンドを捉え得る。捉えられた発話コマンドは、自動発話認識技術または自動音声認識技術を用いてデジタル化されて処理される。また、ＨＳＣ１００には、ジャイロスコープ、加速度計、および微小電気機械システムに基づくその他のセンサが組み込まれ得る。これらのセンサ等は、ユーザの頭の動き１１０，１１１，１１２を追跡してユーザに入力コマンドを提供する。また、カメラまたはその他の動き追跡センサを用いて、ユーザの手のジェスチャ１１３を監視してユーザに入力コマンドを提供し得る。これらのようなユーザインターフェースにより、ヒトの手に依存するという他のモバイルデバイスに伴う短所を解消することができる。

ＨＳＣ１００は、様々な方法で使用することができる。具体的に述べると、ＨＳＣ１００は、リモートホストコンピューティングデバイス２００（図１Ａに示されている）によって処理されて当該リモートホストコンピューティングデバイス２００から受け取った映像信号を表示するペリフェラルディスプレイとして使用可能である。ホスト２００の例として、ノートブックＰＣ、スマートフォン、タブレット型端末など、または、無線コンピューティングヘッドセットデバイス１００よりも演算複雑度が高いまたは低い、その他のコンピューティングデバイス（例えば、クラウドベースのネットワークリソースなど）が挙げられる。ヘッドセットコンピューティングデバイス１００とホスト２００とは、１つ以上の無線プロトコル（例えば、Bluetooth（登録商標）、Ｗｉ−Ｆｉ（登録商標）、ＷｉＭＡＸ（登録商標）、４Ｇ ＬＴＥ、その他のワイヤレス無線リンクなど）１５０で、ワイヤレスに相互に通信し得る（Bluetooth（登録商標）は、5209 Lake Washington Boulevard, Kirkland, Washington 98033に居所を有するBluetooth Sig, Inc.社の登録商標である）。

例示的な一実施形態において、ホスト２００は、他のネットワークにさらに接続されうる（例えば、無線接続で、インターネットまたはその他のクラウドベースのネットワークリソースにさらに接続される）ことにより、ＨＳＣ１００とネットワーク２１０との間の無線リレーとして機能可能とされる。いくつかの変形例として、ＨＳＣ１００の例示的な実施形態は、インターネット（または他のクラウドベースのネットワークリソース）に対して、ホストを無線リレーとして使用することなく無線接続を直接確立し得る。その場合の実施形態では、ＨＳＣ１００の構成要素とホスト２００の構成要素とが、単一のデバイスへ組み合わされて同梱され得る。

図１Ｂは、ヘッドセットコンピュータ１００の例示的な一実施形態について、その詳細の一部を示す斜視図である。この例示的な実施形態のＨＳＣ１００は、概して、フレーム１０００、ストラップ１００２、後部ハウジング１００４、スピーカ１００６、マイクロホンが組み込まれたカンチレバー（片持ち支持部材）（アームまたはブームとも称される）１００８、およびマイクロディスプレイサブアセンブリ１０１０を備える。

頭部に装着されるフレーム１０００およびストラップ１００２は、一般的に、ユーザがヘッドセットコンピュータデバイス１００を自身の頭部に装着することを可能とするように構成されている。ハウジング１００４は、一般的に、電子部品（例えば、マイクロプロセッサ、メモリ、その他の記憶装置など）をその他の関連回路と共に収容する、背の低いユニットとなっている。スピーカ１００６は、ユーザに音声出力を提供することにより、ユーザが情報を聞くことを可能にする。マイクロディスプレイサブアセンブリ１０１０は、ユーザに視覚的情報または表示情報（visual information）を表示する。マイクロディスプレイサブアセンブリ１０１０は、アーム１００８に連結されている。アーム１００８は、概して、マイクロディスプレイサブアセンブリをユーザの視野３００（図１Ａ）内、好ましくは、ユーザの眼の前方、あるいは、ユーザの周辺視野内（好ましくは、ユーザの眼よりも若干下または若干上）に配置できるように物理的な支持を行う。アーム１００８は、さらに、マイクロディスプレイサブアセンブリ１０１０とハウジングユニット１００４内に収容された制御回路との、電気的なまたは光学的な接続を行う。

後で詳述する側面によると、ＨＳＣディスプレイデバイス１００は、仮想的なディスプレイ４００によって形成される、当該視野３００よりも遥かに広い領域内から、視野３００をユーザが選択することを可能にする。ユーザは、典型的に、視野３００の位置および／または範囲（例えば、Ｘ−Ｙ範囲、３Ｄ範囲など）、および／または倍率を操作することができる。

なお、図１Ａおよび図１Ｂに示されているのは単眼式のマイクロディスプレイであり、ユーザの顔に対してカンチレバー型のブームによって片持ち支持固定される単一のディスプレイ要素が図示されているが、遠隔制御ディスプレイデバイス１００の機械的構成として、２つの別個のマイクロディスプレイ（例えば、片目につき１つのマイクロディスプレイなど）を備えた双眼式のディスプレイ、または両目で視られるように設置された単一のマイクロディスプレイなどといった、その他の構成を採用することも可能であることを理解されたい。

図２は、ＨＳＣデバイス（又はＨＭＤデバイス）１００、ホスト２００、およびこれらの間を行き交うデータの一実施形態の詳細を示すブロック図である。ＨＳＣデバイス（又はＨＭＤデバイス）１００は、ユーザからの音声入力を、マイクロホンを介して受け取り、手の動きまたは体のジェスチャを位置センサ及び方位センサ、カメラまたは少なくとも１つの光センサを介して受け取り、頭の動きによる入力を３軸〜９軸の自由度の方位センシング等の頭追跡回路を介して受け取る。これらは、ＨＳＣデバイス（又はＨＭＤデバイス）１００内のソフトウェア（プロセッサ）によってキーボードコマンドおよび／またはマウスコマンドに翻訳された後、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはその他のワイヤレスインターフェース１５０を介してホスト２００に送信される。ホスト２００は、これら翻訳されたコマンドを、自身のオペレーティングシステム／アプリケーションソフトウェアに従って解釈し、様々な機能を実行する。このようなコマンドの一つとして、視野３００を仮想的なディスプレイ４００内から選択し、選択された画面データをＨＳＣデバイス（又はＨＭＤデバイス）１００に返すコマンドが挙げられる。すなわち、ホスト２００で動作するアプリケーションソフトウェアまたはオペレーティングシステムに、極めて大型のフォーマットの仮想的なディスプレイ領域が関連付けられ得ると理解されたい。ただし、その大型の仮想的なディスプレイ領域４００のうち、前記視野３００内の一部のみが返されて、ＨＳＣデバイス（又はＨＭＤデバイス）１００のマイクロディスプレイ１０１０で実際に表示される。

一実施形態において、ＨＳＣ１００は、同時係属中の米国特許出願公開公報第2011/0187640号に記載されたデバイスの形態を取りうる。なお、この米国特許出願公開公報の全内容は、参照をもって本明細書に取り入れたものとする。

他の実施形態において、本発明は、ヘッドマウントディスプレイ（ＨＭＤ）１０１０を、外部の「スマート」デバイス２００（例えば、スマートフォン、タブレットなど）と協働で使用することにより、ユーザに対してハンズフリーで情報及び制御機能を提供するという技術思想に関する。本発明は、少量のデータ送信で済み、高い信頼性のデータ転送方法をリアルタイムで実行することを可能にする。

つまり、この意味では、接続１５０を介して送信されるデータ量により、画面をどのようにレイアウトするかについて、どのようなテキストを表示するのかについて、およびその他のスタイル情報（例えば、描画矢印、背景カラー、含まれるイメージなど）についての短い単純な命令で済む。

ホスト２００の要求があれば、さらなるデータ（例えば、映像ストリームなど）が、同じ接続１５０またはその他の接続を介してストリーミングされて画面１０１０上に表示され得る。

デバイスの制御には、発話認識または音声認識（ＡＳＲ）システムが用いられる。大抵の場合ＡＳＲシステムは上手く機能し、ユーザが高い正確度でシステムを操作し制御することを可能にする。

システム設計者は、その時々の（at hand）タスクを表現するコマンド（又はキーワード）であり、しかも「発話認識フレンドリー（音声認識フレンドリー）」であるコマンドを選び出すのに多くの時間と労力を費やす。例えば、典型的な英語話者の場合、ＡＳＲシステムの動作の仕組みにより、主語の前に動詞が付く「Ｃｌｏｓｅ Ｗｉｎｄｏｗ（閉じる−ウィンドウ）」フォーマットよりも、主語−動詞コマンド「Ｗｉｎｄｏｗ Ｃｌｏｓｅ（ウィンドウ−閉じる）」を用いたほうが、より優れた認識精度を達成することができる。

しかし、あるコマンドのセットを最適な認識率のために高度に調整したとしても、そのコマンドのセットを利用できないユーザも存在する。例えば、一部の方言や言語障害を持つユーザにとっては特定のコマンドを正しく発音するのが難しいことがあり、この場合にはＡＳＲシステムが利用に適さないものとなる。

本発明（例えば、ＨＳＣ１００のソフトウェアシステムなど）の実施形態は、システムのエンドユーザが、ＡＳＲコマンドを、自分自身の発話パターンにより適したコマンドへとオーバーライドする（又はそのようなコマンドに書き換える（replace））ことを可能にする。一部の実施形態において、このタスクは、例えば、現在のシステムＡＳＲコマンドを全てリストした（又は該コマンドのサブセットをリストした）グラフィカルユーザインターフェース（ＧＵＩ）コントロールパネルを介して行われ得る。それぞれのシステムコマンドが、ユーザにより指定されて選択可能であり、またユーザにより指定された任意のコマンドに書き換えられ得る。このようにしてＨＳＣシステム１００は、ユーザによって最適な認識率を達成するようにカスタマイズされる。

一部の実施形態では、ユーザが、現在のＡＳＲコマンドについて、書換えではなく代替を提供することが可能とされる。例えば、先に述べた例を用いると、「Ｗｉｎｄｏｗ Ｃｌｏｓｅ（ウィンドウ−閉じる）」という現在のＡＳＲコマンドについて、ユーザが「Ｃｌｏｓｅ Ｗｉｎｄｏｗ（閉じる−ウィンドウ）」というコマンドを導入することにより、「Ｗｉｎｄｏｗ Ｃｌｏｓｅ（ウィンドウ−閉じる）」および「Ｃｌｏｓｅ Ｗｉｎｄｏｗ（閉じる−ウィンドウ）」のいずれを発声したとしても、ウィンドウが閉じるようにすることが可能となる。

一部の実施形態では、ユーザが代用のコマンド（又は代替のコマンド）を導入すると、その変更は恒久的な変更となる（すなわち、その変更は、ユーザ又は他のメンテナンスアクションによって明確に変更されない限り有効な状態で維持される）。他の実施形態において、そのような変更は、所定の期間のあいだ（例えば、その日が終わるまで、その週が終わるまで、その月が終わるまで、あるいは、６０分、２４時間、５日等といった明確な期間など）のみ有効な状態で維持される。

一部の実施形態では、前記代用のコマンド（又は代替のコマンド）が、そのような変更を行ったユーザにのみ有効とされうる。他の実施形態では、そのような変更が、システムの全ユーザにとって有効な変更とされうる。

図３は、本発明の一実施形態に従った、音声コマンドの下での無線ハンズフリー映像コンピューティングヘッドセット１００の例示的な一実施形態を示す図である。ユーザには、マイクロディスプレイ９０１０上に、例えば前述したホストコンピュータ２００アプリケーションにより出力された画像等が提示され得る。ＨＭＤ１００のユーザは、ローカルに存在している又は遠隔のホスト２００からの、頭追跡・音声コマンドテキスト選択兼用ソフトウェアモジュール９０３６を利用することが可能である。具体的に述べると、ユーザには、マイクロディスプレイ９０１０上でのハンズフリーのテキスト選択を実現する一連の（a sequence of）画面ビューが提示されると共に、その画面ビューと同じ内容の音声がヘッドセットコンピュータ１００のスピーカ９００６を介して与えられる。ここで、ヘッドセットコンピュータ１００にはマイクロホン９０２０も装備されているので、ユーザは、本発明の実施形態として以下で説明する様式で音声コマンド（例えば、コマンド選択を行うための音声コマンドなど）を発話することが可能である。

図３には、ヘッドセットコンピュータ１００の各種モジュールが概略図示されている。具体的に述べると、図３には、ヘッドセットコンピュータ１００の各種機能的モジュール（operative module）が概略図示されている。

発話駆動型（音声駆動型）アプリケーションでの発話コマンド書換えの場合を説明する。コントローラ９１００が、ユーザコマンド設定モジュール９０３６にアクセスする。ユーザコマンド設定モジュール９０３６は、各ＨＭＤ１００に対してローカルに位置しているものであり得るか、あるいは、ホスト２００側で遠隔に位置しているものであり得る（図１Ａおよび図１Ｂ）。

ユーザ設定可能発話コマンドモジュール（又は発話コマンド書換えソフトウェアモジュール）９０３６は、関連するリクエストダイアログボックス等の画像をユーザに対して表示する命令を含む。グラフィックス変換モジュール９０４０が、発話コマンドモジュール９０３６からバス９１０３を介して受け取った画像命令（image instruction）を、単眼式のディスプレイ９０１０上に表示するためのグラフィックスに変換する。

上記の表示用グラフィックスへの変換と同時に、テキスト音声変換モジュール９０３５ｂが、テキスト選択ソフトウェアモジュール９０３６からの命令を、表示される画面ビュー４１０のコンテンツに対応するデジタル音響表現形に変換し得る。テキスト音声変換モジュール９０３５ｂが前記デジタル音響表現したものをＤＡ変換器９０２１ｂに供給し、このＤＡ変換器９０２１ｂがスピーカ９００６に順番に信号を供給し、スピーカ９００６が音声出力をユーザに提供する。

発話コマンド書換え／ユーザ再設定ソフトウェアモジュール９０３６は、メモリ９１２０にローカルで記憶されたものであり得るか、あるいは、ホスト２００側で遠隔に記憶されたものであり得る（図１Ａ）。ユーザは前記画像から書換えコマンド選択を発声／発話することが可能であり、ユーザのその発話９０９０がマイクロホン９０２０で受け取られる。受け取られた発話は、ＡＤ変換器９０２１ａでアナログ信号からデジタル信号に変換される。このように前記発話がアナログからデジタルの信号に変換されると、発話認識モジュール９０３５ａがその発話を認識された発話へと処理する。

認識された発話は、モジュール９０３６の命令に従い、（メモリ９１２０に記憶された）既知の発話と比較されて、発話コマンドの書換えを選択しこれを置き換えるのに用いられる。モジュール９０３６は、そのような置換え（ユーザ選択の発話コマンド書換え用語）の２段階（２ステップ）確認を実行し得る。モジュール９０３６は、さらに、ユーザ選択のこの書換えコマンドを、今後その書換えコマンド用語の発話が発話認識モジュール９０３５ａによって認識されるように、当初の発話コマンド（すなわち、書換え対象のコマンド）との相互参照に設定し得る（cross reference）（又は関連付け得る）。また、発話認識モジュール９０３５ａによるその書換えコマンド用語の認識により、当初のコマンドに関連付けられたアクションの実行が引き起こされ得る。

本明細書で前述したように、このようなユーザ選択のコマンドは、既存のコマンドを書き換えるものであってもよいし、既存のコマンドの代替となるものであってもよい。代替のコマンドの場合の一実施形態として、発話認識モジュール９０３５ａは、当初のコマンドまたはその代替のコマンドを認識し得るものとされ、かつ、いずれの場合にも当初のコマンドに関連付けられたアクションの実行を引き起こすものとされ得る。

図４は、発話認識方法の一実施形態を示す図である。この発話認識方法は、ユーザの発話を認識する過程４０２と、その発話を所定の発話コマンドとして認識するとアクションの実行を引き起こす過程４０４と、ユーザ設定可能な少なくとも１つの発話コマンドをサポートする過程４０６と、ヘッドセットコンピュータのユーザに所定の発話コマンド及び対応付けられたフィールドを提示し、かつ、対応付けられたフィールドへと入力された代用の発話コマンドを受け取る過程４０８と、を含む。

本明細書で説明した少なくとも１つの実施形態を、多種多様な形態のソフトウェア及びハードウェアで実現できることは明白である。本明細書で説明した実施形態を実現するのに用いられるソフトウェアコードおよび／または特化したハードウェアは、本明細書で説明した本発明の実施形態を限定するものではない。つまり、各実施形態における動作（behavior）や操作を、具体的なソフトウェアコードおよび／または特化したハードウェアについて言及せずに説明してきたが、当業者であれば、これらの実施形態を実現するためのソフトウェアおよび／またはハードウェアを本明細書での説明に基づいて設計することができる。

さらに言えば、本明細書で説明した例示的な実施形態のうちの一部の実施形態は、少なくとも１つの機能を実行するロジックとして実現することも可能である。このロジックは、ハードウェアベースでも、ソフトウェアベースでも、ハードウェアベースとソフトウェアベースとの組合せでもあり得る。このロジックの一部又は全体は、少なくとも１つの有形の非過渡的なコンピュータ読取り可能記憶媒体に記憶され得て、かつ、コントローラ又はプロセッサにより実行され得るコンピュータ実行可能命令を含み得る。前記コンピュータ実行可能命令は、本発明の少なくとも１つの実施形態を実現する命令を含み得る。前記有形の非過渡的なコンピュータ読取り可能記憶媒体は、揮発性でも不揮発性でもあり得て、例えばフラッシュメモリ、ダイナミックメモリ、リムーバブルディスク、固定（非リムーバブル）ディスクなどを含み得る。

本発明を例示的な実施形態を参照しながら具体的に図示・説明したが、当業者であれば、添付の特許請求の範囲に包含される本発明の範囲から逸脱することなく、形態および細部の詳細な変更が可能であることを理解するであろう。

Claims (20)

1. プロセッサに接続されたマイクロディスプレイと、
   前記プロセッサに接続されたマイクロホンと、
   前記プロセッサにより実行される、前記マイクロホンへのユーザからの発話に応答する発話認識エンジンと、
   を備え、
   前記発話認識エンジンが、（ｉ）所定の発話コマンドを認識するとアクションの実行を引き起こすように、かつ、（ｉｉ）ユーザが設定可能な発話コマンドをサポートするように構成されている、ヘッドセットコンピュータ。
2. 請求項１に記載のヘッドセットコンピュータにおいて、前記発話認識エンジンが、さらに、当該ヘッドセットコンピュータのユーザに前記所定の発話コマンド及び対応付けられたフィールドを提示するように構成されており、この対応付けられたフィールドは、代用の発話コマンドの入力用に提示される、ヘッドセットコンピュータ。
3. 請求項２に記載のヘッドセットコンピュータにおいて、前記発話認識エンジンが、前記代用の発話コマンドを認識すると、第１のアクションの実行を引き起こし、この第１のアクションは、前記所定の発話コマンドに対応するものである、ヘッドセットコンピュータ。
4. 請求項３に記載のヘッドセットコンピュータにおいて、前記第１のアクションは、前記発話認識エンジンが前記代用の発話コマンドを認識した場合にのみ実行される、ヘッドセットコンピュータ。
5. 請求項３に記載のヘッドセットコンピュータにおいて、前記第１のアクションは、前記発話認識エンジンが前記代用の発話コマンドを認識した場合か又は前記発話認識エンジンが前記所定の発話コマンドを認識した場合に実行される、ヘッドセットコンピュータ。
6. 請求項２に記載のヘッドセットコンピュータにおいて、前記対応付けられたフィールドに入力された前記代用の発話コマンドは、所定の期間のあいだ有効であり、この期間後は、前記所定の発話コマンドのみが有効である、ヘッドセットコンピュータ。
7. 請求項２に記載のヘッドセットコンピュータにおいて、前記対応付けられたフィールドに入力された前記代用の発話コマンドは、この代用のコマンドを投入したユーザにのみ有効である、ヘッドセットコンピュータ。
8. 請求項１に記載のヘッドセットコンピュータにおいて、さらに、
   前記発話認識エンジンに動作可能に接続された発話コマンド設定モジュール、
   を備え、前記発話コマンド設定モジュールは、所与の発話コマンドの代用に用いる発話コマンド用語をエンドユーザが選択することを可能にし、そのユーザが選択した発話コマンド用語が、前記所与の発話コマンドの代用のコマンドを形成する、ヘッドセットコンピュータ。
9. 請求項１に記載のヘッドセットコンピュータにおいて、さらに、
   発話コマンド設定モジュール、を備え、
   前記発話コマンド設定モジュールが、（ｉ）前記所定の発話コマンドに対応する代用の発話コマンドを前記ユーザから受け取るように、かつ、（ｉｉ）前記代用の発話コマンドを、所定の発話コマンドの認識時に実行される前記アクションと関連付けるように、かつ、（ｉｉｉ）前記代用の発話コマンドの認識時に前記アクションを実行するように構成されている、ヘッドセットコンピュータ。
10. 請求項９に記載のヘッドセットコンピュータにおいて、前記発話コマンド設定モジュールが、さらに、前記所定の発話コマンドの認識時に前記アクションを実行するように構成されている、ヘッドセットコンピュータ。
11. 発話認識方法であって、デジタル処理装置で、
    （ｉ）ユーザの発話を認識する過程と、
    （ｉｉ）前記発話を所定の発話コマンドとして認識すると、アクションの実行を引き起こす過程と、
    （ｉｉｉ）ユーザが設定可能な発話コマンドをサポートする過程と、
    を含む、発話認識方法。
12. 請求項１１に記載の発話認識方法において、さらに、
    ヘッドセットコンピュータの前記ユーザに前記所定の発話コマンド及び対応付けられたフィールドを提示する過程と、
    前記対応付けられたフィールドへと入力された代用の発話コマンドを受け取る過程と、
    を含む、発話認識方法。
13. 請求項１２に記載の発話認識方法において、さらに、
    前記代用の発話コマンドを認識すると、第１のアクションの実行を引き起こす過程、
    を含み、前記第１のアクションは、前記所定の発話コマンドに対応するものである、発話認識方法。
14. 請求項１３に記載の発話認識方法において、さらに、
    前記第１のアクションを、前記発話を認識するエンジンが前記代用の発話コマンドを認識した場合にのみ実行する過程、
    を含む、発話認識方法。
15. 請求項１３に記載の発話認識方法において、さらに、
    前記第１のアクションを、前記発話を認識するエンジンが前記代用の発話コマンドを認識した場合か又は前記発話を認識するエンジンが前記所定の発話コマンドを認識した場合に実行する過程、
    を含む、発話認識方法。
16. 請求項１２に記載の発話認識方法において、前記対応付けられたフィールドに入力された前記代用の発話コマンドは、所定の期間のあいだ有効であり、この期間後は、前記所定の発話コマンドのみが有効である、発話認識方法。
17. 請求項１２に記載の発話認識方法において、前記対応付けられたフィールドに入力された前記代用の発話コマンドは、この代用のコマンドを投入したユーザにのみ有効である、発話認識方法。
18. コンピュータソフトウェア命令が記憶された、発話を認識するための非過渡的なコンピュータ読取り可能媒体であって、
    前記コンピュータソフトウェア命令は、少なくとも１つのプロセッサにより実行されると、コンピュータシステムに、
    （ｉ）ユーザの発話を認識する手順と、
    （ｉｉ）前記発話を所定の発話コマンドとして認識すると、アクションの実行を引き起こす手順と、
    （ｉｉｉ）ユーザ設定可能な発話コマンドをサポートする手順と、
    を実行させる、非過渡的なコンピュータ読取り可能媒体。
19. 請求項１８に記載の非過渡的なコンピュータ読取り可能媒体において、前記コンピュータソフトウェア命令は、少なくとも１つのプロセッサにより実行されると、前記コンピュータシステムに、さらに、
    ヘッドセットコンピュータの前記ユーザに前記所定の発話コマンド及び対応付けられたフィールドを提示する手順と、
    前記対応付けられたフィールドへと入力された代用の発話コマンドを受け取る手順と、
    を実行させる、非過渡的なコンピュータ読取り可能媒体。
20. 請求項１８に記載の非過渡的なコンピュータ読取り可能媒体において、前記コンピュータソフトウェア命令は、少なくとも１つのプロセッサにより実行されると、前記コンピュータシステムに、さらに、
    前記代用の発話コマンドを認識すると、第１のアクションの実行を引き起こす手順、
    を実行させて、前記第１のアクションは、前記所定の発話コマンドに対応するものである、非過渡的なコンピュータ読取り可能媒体。

Images