JP2014075058A - ユーザ指示認識システム、ユーザ指示認識方法、情報処理装置、携帯端末およびその制御方法と制御プログラム - Google Patents

Abstract

【課題】デバイスの故障や周囲環境の悪化などで指示情報検出の信頼性が低下した場合であっても、操作者の指示の検出を持続すること。
【解決手段】ユーザから検出される少なくとも２つの異なる指示情報の履歴を、ユーザの指示に対応付けて蓄積する指示履歴蓄積部と、指示情報を受信する指示情報受信部と、指示情報の履歴を参照して、受信した指示情報からユーザの指示を認識する指示認識部と、指示情報の履歴を参照して、受信した指示情報の信頼性を判定する信頼性判定部と、信頼性判定部が受信した指示情報の信頼性が低下したと判定した場合に、指示情報の履歴を参照して、受信する指示情報を他の指示情報に変更する指示情報変更部と、を備える。
【選択図】 図１

Description

本発明は、ユーザの指示を認識するための技術に関する。

上記技術分野において、特許文献１には、発話と頷きや瞬きとから操作者の指示を判断する技術が開示されている。また、特許文献２には、音響信号と筋電信号とから操作者の発話を判断する技術が開示されている。

特開平０４−３７２０１２号公報 特開平２００３−３１６３８７号公報

しかしながら、上記文献に記載の技術では、デバイスの故障や周囲環境の悪化などで指示情報検出の信頼性が低下した場合、操作者の指示の検出を持続することができなかった。

本発明の目的は、上述の課題を解決する技術を提供することにある。

上記目的を達成するため、本発明に係る情報処理装置は、
ユーザから検出される少なくとも２つの異なる指示情報の履歴を、該ユーザの指示に対応付けて蓄積する指示履歴蓄積手段と、
指示情報を受信する指示情報受信手段と、
前記指示情報の履歴を参照して、前記受信した指示情報からユーザの指示を認識する指示認識手段と、
前記指示情報の履歴を参照して、前記受信した指示情報の信頼性を判定する信頼性判定手段と、
前記信頼性判定手段が前記受信した指示情報の信頼性が低下したと判定した場合に、前記指示情報の履歴を参照して、受信する指示情報を他の指示情報に変更する指示情報変更手段と、
を備える。

上記目的を達成するため、本発明に係る情報処理装置の制御方法は、
指示情報を受信する指示情報受信ステップと、
ユーザの指示に対応付けて蓄積される、前記ユーザから検出された少なくとも２つの異なる指示情報の履歴を参照して、前記受信した指示情報から前記ユーザの指示を認識する指示認識ステップと、
前記指示情報の履歴を参照して、前記受信した指示情報の信頼性を判定する信頼性判定ステップと、
前記信頼性判定ステップにおいて前記受信した指示情報の信頼性が低下したと判定した場合に、前記指示情報の履歴を参照して、受信する指示情報を他の指示情報に変更する指示情報変更ステップと、
を含む。

上記目的を達成するため、本発明に係る情報処理装置の制御プログラムは、
指示情報を受信する指示情報受信ステップと、
ユーザの指示に対応付けて蓄積される、前記ユーザから検出された少なくとも２つの異なる指示情報の履歴を参照して、前記受信した指示情報から前記ユーザの指示を認識する指示認識ステップと、
前記指示情報の履歴を参照して、前記受信した指示情報の信頼性を判定する信頼性判定ステップと、
前記信頼性判定ステップにおいて前記受信した指示情報の信頼性が低下したと判定した場合に、前記指示情報の履歴を参照して、受信する指示情報を他の指示情報に変更する指示情報変更ステップと、
をコンピュータに実行させる。

上記目的を達成するため、本発明に係る携帯端末は、
ユーザの指示を検出するための検出デバイスを接続する接続コネクタと、
前記接続コネクタに接続された検出デバイスが検出した指示情報を、前記ユーザの指示を認識する情報処理装置に送信する指示情報送信手段と、
前記情報処理装置から、送信した指示情報の信頼性の低下に対応して、前記指示情報を他の指示情報の送信に変更する通知を受信する変更通知受信手段と、
前記接続コネクタに変更された前記他の指示情報を検出する検出デバイスが接続したことを、前記情報処理装置に通知する接続通知手段と、
を備える。

上記目的を達成するため、本発明に係る携帯端末の制御方法は、
ユーザの指示を検出するための検出デバイスを接続する接続コネクタを有する携帯端末の制御方法であって、
前記接続コネクタに接続された検出デバイスが検出した指示情報を、前記ユーザの指示を認識する情報処理装置に送信する指示情報送信ステップと、
前記情報処理装置から、送信した指示情報の信頼性の低下に対応して、前記指示情報を他の指示情報の送信に変更する通知を受信する変更通知受信ステップと、
前記接続コネクタに変更された前記他の指示情報を検出する検出デバイスが接続したことを、前記情報処理装置に通知する接続通知ステップと、
を含む。

上記目的を達成するため、本発明に係る携帯端末の制御プログラムは、
ユーザの指示を検出するための検出デバイスを接続する接続コネクタを有する携帯端末の制御プログラムであって、
前記接続コネクタに接続された検出デバイスが検出した指示情報を、前記ユーザの指示を認識する情報処理装置に送信する指示情報送信ステップと、
前記情報処理装置から、送信した指示情報の信頼性の低下に対応して、前記指示情報を他の指示情報の送信に変更する通知を受信する変更通知受信ステップと、
前記接続コネクタに変更された前記他の指示情報を検出する検出デバイスが接続したことを、前記情報処理装置に通知する接続通知ステップと、
をコンピュータに実行させる。

上記目的を達成するため、本発明に係るユーザ指示認識システムは、
ユーザから検出される少なくとも２つの異なる指示情報の履歴を、該ユーザの指示に対応付けて蓄積する指示履歴蓄積手段と、
指示情報を検出する少なくとも２つの検出手段と、
前記指示情報の履歴を参照して、前記少なくとも２つの検出手段が検出した指示情報から前記ユーザの指示を認識する指示認識手段と、
前記指示情報の履歴を参照して、前記指示情報の信頼性を判定する信頼性判定手段と、
前記信頼性判定手段が前記指示情報の信頼性が低下したと判定した場合に、前記指示情報の履歴を参照して、前記指示情報を他の指示情報に変更する指示情報変更手段と、
を備える。

上記目的を達成するため、本発明に係るユーザ指示認識方法は、
少なくとも２つの検出手段によってユーザから少なくとも２つの異なる指示情報を検出する検出ステップと、
ユーザの指示に対応付けて蓄積される、前記ユーザから検出された少なくとも２つの異なる指示情報の履歴を参照して、前記少なくとも２つの検出手段が検出した指示情報から前記ユーザの指示を認識する指示認識ステップと、
前記指示情報の履歴を参照して、前記指示情報の信頼性を判定する信頼性判定ステップと、
前記信頼性判定ステップにおいて前記指示情報の信頼性が低下したと判定した場合に、前記指示情報の履歴を参照して、前記指示情報を他の指示情報に変更する指示情報変更ステップと、
を含む。

本発明によれば、デバイスの故障や周囲環境の悪化などで指示情報検出の信頼性が低下した場合であっても、操作者の指示の検出を持続することができる。

本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第２実施形態に係るクラウドサーバを含むユーザ指示認識システムの概要を示す図である。 本発明の第２実施形態に係るクラウドサーバを含むユーザ指示認識システムの構成を示す図である。 本発明の第２実施形態に係るクラウドサーバを含むユーザ指示認識システムの動作手順を示すシーケンス図である。 本発明の第２実施形態に係るクラウドサーバを含むユーザ指示認識システムの動作手順を示すシーケンス図である。 本発明の第２実施形態に係るＵＳＢ接続されたＵＳＢデバイスの制御手順を示すシーケンス図である。 本発明の第２実施形態に係るＵＳＢ接続されたＵＳＢデバイスの制御手順を示すシーケンス図である。 本発明の第２実施形態に係るクラウドサーバの機能構成を示すブロック図である。 本発明の第２実施形態に係る携帯端末の機能構成を示すブロック図である。 本発明の第２実施形態に係るユーザ登録ＤＢの構成を示す図である。 本発明の第２実施形態に係るアプリケーションＤＢの構成を示す図である。 本発明の第２実施形態に係る指示履歴ＤＢの構成を示す図である。 本発明の第２実施形態に係る指示履歴ＤＢの構成を示す図である。 本発明の第２実施形態に係る指示履歴ＤＢの構成を示す図である。 本発明の第２実施形態に係る指示履歴ＤＢの構成を示す図である。 本発明の第２実施形態に係る指示履歴ＤＢの構成を示す図である。 本発明の第２実施形態に係るデバイスドライバＤＢの構成を示す図である。 本発明の第２実施形態に係るクラウドサーバのハードウェア構成を示すブロック図である。 本発明の第２実施形態に係る指示情報テーブルの構成を示す図である。 本発明の第２実施形態に係る指示認識テーブルの構成を示す図である。 本発明の第２実施形態に係る信頼性判定テーブルの構成を示す図である。 本発明の第２実施形態に係る指示情報変更テーブルの構成を示す図である。 本発明の第２実施形態に係るクラウドサーバの処理手順を示すフローチャートである。 本発明の第２実施形態に係る初期設定処理の手順を示すフローチャートである。 本発明の第２実施形態に係る指示情報蓄積処理の手順を示すフローチャートである。 本発明の第２実施形態に係る信頼性判定処理の手順を示すフローチャートである。 本発明の第２実施形態に係る指示情報認識処理の手順を示すフローチャートである。 本発明の第２実施形態に係る指示情報変更処理の手順を示すフローチャートである。 本発明の第２実施形態に係る携帯端末のハードウェア構成を示すブロック図である。 本発明の第２実施形態に係る携帯端末の処理手順を示すフローチャートである。 本発明の第３実施形態に係るクラウドサーバを含むユーザ指示認識システムの概要を示す図である。 本発明の第３実施形態に係るクラウドサーバを含むユーザ指示認識システムの構成を示す図である。 本発明の第３実施形態に係るクラウドサーバを含むユーザ指示認識システムの動作手順を示すシーケンス図である。 本発明の第３実施形態に係るクラウドサーバの機能構成を示すブロック図である。 本発明の第３実施形態に係る指示情報変更処理の手順を示すフローチャートである。 本発明の第４実施形態に係るクラウドサーバを含むユーザ指示認識システムの概要を示す図である。 本発明の第４実施形態に係るクラウドサーバを含むユーザ指示認識システムの動作手順を示すシーケンス図である。 本発明の第４実施形態に係るクラウドサーバの機能構成を示すブロック図である。 本発明の第４実施形態に係る指示履歴ＤＢの特徴ある構成を示す図である。 本発明の第４実施形態に係る準備デバイス判定テーブルの構成を示す図である。 本発明の第４実施形態に係る初期設定処理の手順を示すフローチャートである。 本発明の第５実施形態に係るクラウドサーバを含むユーザ指示認識システムの概要を示す図である。 本発明の第５実施形態に係るクラウドサーバの機能構成を示すブロック図である。 本発明の第５実施形態に係る指示履歴ＤＢの特徴ある構成を示す図である。 本発明の第５実施形態に係る指示情報選別テーブルの構成を示す図である。 本発明の第５実施形態に係る初期設定処理の手順を示すフローチャートである。 本発明の第５実施形態に係る信頼性判定処理の手順を示すフローチャートである。

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。なお、本明細書における「デバイス」との文言は、通信端末に有線あるいは無線で接続されて所定の入出力機能を果たし、基本的には通信端末を介して外部とのデータ送受信を行なう機器を総称している。

［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、ユーザ指示を表わす複数の指示情報からユーザ指示を認識する装置である。

図１に示すように、情報処理装置１００は、指示履歴蓄積部１０１と、指示情報受信部１０２と、指示認識部１０３と、信頼性判定部１０４と、指示情報変更部１０５と、を含む。指示履歴蓄積部１０１は、ユーザから検出される少なくとも２つの異なる指示情報の履歴を、ユーザの指示に対応付けて蓄積する。指示情報受信部１０２は、指示情報を受信する。指示認識部１０３は、指示情報の履歴を参照して、受信した指示情報からユーザの指示を認識する。信頼性判定部１０４は、指示情報の履歴を参照して、受信した指示情報の信頼性を判定する。指示情報変更部１０５は、信頼性判定部１０４が受信した指示情報の信頼性が低下したと判定した場合に、指示情報の履歴を参照して、受信する指示情報を他の指示情報に変更する。

本実施形態によれば、指示情報の履歴を参照して信頼性の低下した指示情報を他の指示情報に変更するので、デバイスの故障や周囲環境の悪化などで指示情報検出の信頼性が低下した場合であっても、操作者の指示の検出を持続することができる。

［第２実施形態］
次に、本発明の第２実施形態に係る情報処理装置を含むユーザ指示認識システムについて説明する。なお、本実施形態においては、情報処理装置であるサーバの一例としてクラウドサーバを用いて説明する。本実施形態においては、指示履歴を参照してデバイスからの指示情報の信頼性を判定し、信頼性の低下があった場合に、指示履歴を参照して信頼性の高いデバイスを選定してユーザに対してデバイスの交換を指示する。

本実施形態によれば、デバイスからの指示情報の信頼性低下に応じて信頼性の高いデバイスに変更されるので、指示情報検出の信頼性が低下した場合であっても、操作者の指示の検出を持続することができる。

なお、本実施形態においては、基本的にデバイスは、その設置や変更が現場で容易にできるように、スマートフォンなどの携帯端末のＵＳＢ(Universal Serial Bus)コネクタに接続した例を説明する。しかし、デバイスの一部は、デスクトップ型あるいはノート型のパーソナルコンピュータ（以下、ＰＣ：Personal Computer）に接続されても、あるいは独自にクラウドサーバへの通信機能を有するデバイスであってもよい。

《ユーザ指示認識システム》
図２〜図４Ｄを参照しながら、本実施形態に係る情報処理装置であるクラウドサーバ２１０を含むユーザ指示認識システム２００について説明する。

（システムの概要）
図２は、本実施形態に係るクラウドサーバ２１０を含むユーザ指示認識システム２００の概要を示す図である。図２においては、クラウドサーバ２１０が、野外の作業現場におけるユーザである作業者の指示を、スマートフォンである携帯端末２２０に接続したデバイスから取得した指示情報に基づいて認識する。そして、クラウドサーバ２１０は、携帯端末２２０に接続したデバイスからの指示情報の信頼性を判定し、信頼性低下があれば、携帯端末２２０にデバイスの交換を指示する。

図２において、携帯端末２２０にイヤホンマイク２３０が接続されて作業者の音声指示を検出している。また、通信機能を有するビデオカメラ２４０が作業者の動作指示を検出している。携帯端末２２０の表示画面２２０ａには、作業者の現在の指示入力として、マイクからの入力音声とカメラからの入力動作とが使用されていることが表示され、また、音声や動作と指示コマンドとの関連も表示されている。なお、イヤホンマイク２３０のイヤホンから表示と同時に音声による説明がされるのが望ましい。

クラウドサーバ２１０は、マイクからの入力音声とカメラからの入力動作とを指示情報として受信し、蓄積された指示情報の履歴を参照して、作業者の指示を認識する。このようにすることで、作業者がキー入力などで指示をする必要がなく、両手を作業に使うことができる。

ここで、工事現場の作業などで周囲の雑音が高くなると、クラウドサーバ２１０は、マイク入力から作業者の音声を識別し難いと判定し、携帯端末２２０の表示画面２２０ｂに、“周囲の雑音でマイク入力の信頼性が低下しています。唇撮影用カメラに変更して下さい。”との指示メッセージを表示する。なお、作業者の音声を識別し難いとの判定は、マイク入力のレベルが高止まりになって音声抽出ができないこと、あるいは、指示認識の認識率が低下したことなどから行なうことができる。図２には図示しないが、唇撮影用カメラに変更するため、唇の動きを大きくするなどの注意事項を表示してもよい。作業者自身あるいは他の作業者が、イヤホンマイク２３０を唇撮影用カメラ２５０に交換する。クラウドサーバ２１０は、唇撮影用カメラ２５０への交換を判断して、唇撮影用カメラ２５０からの唇変化とカメラからの入力動作とを指示情報として、作業者の指示を認識する。携帯端末２２０の表示画面２２０ｃには、作業者の現在の指示入力として、唇撮影用カメラからの唇変化とカメラからの入力動作とが使用されていることが表示され、また、唇変化や動作と指示コマンドとの関連も表示される。

一方、夕方になって作業現場の周囲が暗くなってくると、クラウドサーバ２１０は、カメラ入力から作業者の動作を識別し難いと判定し、携帯端末２２０の表示画面２２０ｄに、“暗くなりカメラ入力の信頼性が低下しています。通電センサによる首の動作に変更して下さい。”との指示メッセージを表示する。なお、作業者の動作を識別し難いとの判定は、カメラ入力が低レベルになって画像抽出ができないこと、あるいは、指示認識の認識率が低下したことなどから行なうことができる。図２には図示しないが、首の動作に変更するため、首の動作についての注意事項を表示してもよい。作業者自身あるいは他の作業者が、イヤホンマイク２３０と通電センサ２６０とをルータを介して携帯端末２２０に接続する。クラウドサーバ２１０は、通電センサ２６０への交換を判断して、通電センサ２６０からの首の動きを示す電気信号とカメラからの入力動作とを指示情報として、作業者の指示を認識する。携帯端末２２０の表示画面２２０ｅには、作業者の現在の指示入力として、通電センサからの首の動きとカメラからの入力動作とが使用されていることが表示され、また、首の動きや動作と指示コマンドとの関連も表示される。

なお、図２においては、周囲の雑音によるマイク入力の信頼性低下と、暗くなったためのカメラ入力の信頼性低下とを説明したが、デバイスの故障や通信不良などもクラウドサーバ２１０によって信頼性低下と判定可能である。例えば、受信信号のレベルや指示認識率なども信頼性の判定条件である。

（システムの構成）
図３は、本実施形態に係るクラウドサーバ２１０を含むユーザ指示認識システム２００の構成を示す図である。

ユーザ指示認識システム２００は、ネットワーク３４０を介して接続されるクラウドサーバ２１０と、種々の作業現場における作業者の指示情報を取得する指示情報取得デバイス群を有する種々の作業現場３１０〜３３０とを備える。なお、指示情報取得デバイス群は、それぞれの作業現場に適したデバイスが選択され、これらデバイスはスマートフォンのような携帯端末に接続されていてもＰＣに接続されていても、独自の通信機能を有するデバイスでもよい。ただし、本実施形態のように、デバイスの交換や予備のデバイス接続を考えると、持ち運びが便利で接続するデバイスの制限が少なく簡単にクラウドサーバ２１０に接続可能な携帯端末が望ましい。

本実施形態のクラウドサーバ２１０の基本構成は、指示情報受信部３０１と、指示履歴データベース（以下、ＤＢ）３０２と、指示認識部３０３と、信頼性判定部３０４と、指示情報変更指示部３０５と、指示処理部３０６とである。指示情報受信部３０１は、指示情報取得デバイス群からネットワーク３４０を介して指示情報を受信する。指示履歴ＤＢ３０２は、指示情報受信部３０１が受信した指示情報の履歴をそのまま、あるいは、例えば使用する作業アプリに対応付けた整理をして、蓄積する。指示認識部３０３は、指示履歴ＤＢ３０２に蓄積された指示情報の履歴を参照して、指示情報から作業者の指示を認識する。信頼性判定部３０４は、指示履歴ＤＢ３０２に蓄積された指示情報の履歴を参照して、受信した指示情報の信頼性を判定する。指示情報変更指示部３０５は、信頼性判定部３０４が受信した指示情報の信頼性が低下したと判定すると、受信する指示情報を変更するように携帯端末から作業者に指示する。指示処理部３０６は、指示認識部３０３が認識した作業者の指示を処理する。例えば、作業者の指示がクラウドサーバ２１０に対する指示の場合は、自身で応答動作を実行する。また、作業現場の他のデバイスへの指示であれば、そのデバイスへの操作を行なう。また、作業施行企業や作業者の所属する企業などの外部への指示であれば、外部へ指示メッセージを送信する。作業者の指示は、これらに限定されない。

（システムの動作手順）
図４Ａおよび図４Ｂは、本実施形態に係るクラウドサーバ２１０を含むユーザ指示認識システム２００の動作手順４００−１、４００−２を示すシーケンス図である。なお、作業アプリケーションについては、以下、図面では作業アプリと省略形とする場合もある。

図４Ａの動作手順４００−１は、作業者が作業情報を入力して以降、クラウドサーバ２１０が作業アプリを起動して作業者からの指示を認識しながら作業処理までの動作手順を示す。

作業者の携帯端末２２０は、ステップＳ４０１において、作業内容や作業場所、作業環境などを含む作業情報をクラウドサーバ２１０に送信する。また、ステップＳ４０３においては、指示情報を検出する各デバイスがデバイスを識別するデバイス情報をクラウドサーバ２１０に送信する。図４Ａにおいては、図２の構成に従って、イヤホンマイク２３０は、携帯端末２２０を介してデバイス情報をクラウドサーバ２１０に送信し、ビデオカメラ２４０は、通信機能で直接、デバイス情報をクラウドサーバ２１０に送信する。

クラウドサーバ２１０においては、ステップＳ４０５において、携帯端末２２０から受信した作業情報と、接続されたデバイスのデバイス情報とを受信して、対応する作業アプリケーションを作業アプリケーションＤＢ４０７から選定する。そして、ステップＳ４０７において、本作業に関連付く携帯端末やデバイスを使用して作業アプリケーションが連動して起動し、現場作業が開始する。かかる作業アプリケーションには、本実施形態における、作業者の指示を認識して処理する指示情報処理が含まれる。

以下、ステップＳ４０９〜Ｓ４２３は、作業者の指示を認識して処理する指示情報処理の動作手順を示す。

ステップＳ４０９において、携帯端末２２０は、イヤホンマイク２３０から作業者の音声指示を含む音声情報を取得して、クラウドサーバ２１０に送信する。クラウドサーバ２１０は、ステップＳ４１１において、指示履歴ＤＢ３０２を参照して、受信した音声情報から音声指示を認識する。そして、クラウドサーバ２１０は、ステップＳ４１３において、音声情報と認識した音声指示情報とを指示履歴ＤＢ３０２に蓄積する。

次に、ステップＳ４０９において、ビデオカメラ２４０は作業者の動作指示を含む映像情報を取得して、クラウドサーバ２１０に送信する。クラウドサーバ２１０は、ステップＳ４１７において、指示履歴ＤＢ３０２を参照して、受信した映像情報から動作指示を認識する。そして、クラウドサーバ２１０は、ステップＳ４１９において、映像情報と認識した動作指示情報とを指示履歴ＤＢ３０２に蓄積する。

次に、クラウドサーバ２１０は、ステップＳ４２１において、認識した音声指示と動作指示との組合せから、指示履歴ＤＢ３０２の指示履歴を参照して、ユーザ指示を認識する。そして、認識結果は、音声情報や映像情報などと関連付けて、以降の認識に利用すべく指示履歴ＤＢ３０２に蓄積する。そして、クラウドサーバ２１０は、ステップＳ４２３において、認識した作業者の指示に応じて、指示応答処理を行なう。

図４Ｂの動作手順４００−２は、何らかの障害が発生して、イヤホンマイク２３０からの音声指示の信頼性が低下した場合のデバイス変更による指示情報変更の動作手順を示す。

クラウドサーバ２１０はステップＳ４３３において、指示履歴ＤＢ３０２に蓄積された指示履歴を参照して、指示情報の信頼性低下を判定する。なお、故障などのデバイス自身で判断可能な障害であれば、ステップＳ４３１のように、イヤホンマイク２３０から障害情報をクラウドサーバ２１０に送信して、障害を通知してもよい。

クラウドサーバ２１０はステップＳ４３５において、指示履歴ＤＢ３０２に蓄積された指示履歴を参照して、指示情報を変更する場合の適切な他の指示情報を選定する。適切な他の指示情報の条件には、例えば、ビデオカメラ２４０の映像からの指示情報との組合せが指示認識の信頼性を高めるもの、作業現場に準備されているものや準備が容易なもの、あるいは、作業現場の環境変化に影響されないもの、などがあるが、これらに限定されない。なお、クラウドサーバ２１０は、指示情報として有効なものの一覧を提示して、作業者が選択してもよい。

クラウドサーバ２１０はステップＳ４３７において、選定された指示情報を取得して送信するように、携帯端末２２０から作業者に指示する。もし指示された変更が不可能であれば、携帯端末２２０からクラウドサーバ２１０に通知して、さらに他の指示情報の選定を行なってよい（不図示）。

図４Ｂにおいては、唇撮影用カメラ２５０が携帯端末２２０に接続される。携帯端末２２０はステップＳ４４１において、唇撮影用カメラ２５０からデバイス情報（例えば、ディスクリプタ）を取得して、接続通知としてクラウドサーバ２１０に送信する（詳細は、図４Ｃおよび図４Ｄ参照）。クラウドサーバ２１０はステップＳ４４３において、デバイス情報を受信して、唇撮影用カメラ２５０からの指示情報への変更が行なわれたことを認識し、作業者の指示を認識するための指示情報の組合せを変えた指示情報処理とする。そして、ステップＳ４４５において、本作業に関連付く携帯端末や変更したデバイスを使用した作業アプリケーションが復帰する。

（接続デバイスの制御手順）
図４Ｃおよび図４Ｄは、本実施形態に係るＵＳＢ接続されたデバイス２３０〜２６０の制御手順４１０、４２０を示すシーケンス図である。

図４Ｃは、デバイス２３０〜２６０の携帯端末２２０のＵＳＢコネクタへの接続時の制御手順４１０を示すシーケンス図である。

ステップＳ４５１において、携帯端末２２０はデバイスのＵＳＢ接続を検出する。携帯端末２２０は、ステップＳ４５３において、ＵＳＢ汎用ドライバでデバイスからディスクリプタを読み出す。携帯端末２２０は、ステップＳ４５５において、そのディスクリプタをクラウドサーバ２１０に送信する。クラウドサーバ２１０は、ステップＳ４５７において、ディスクリプタ受信後、デバイスＤＢ４１３を参照してディスクリプタから接続したデバイスを特定する。次に、クラウドサーバ２１０は、ステップＳ４５９において、デバイスドライバＤＢ４１４を参照して、特定したデバイスに基づいてデバイスドライバ選定をして起動する。

また、ステップＳ４６１において、携帯端末２２０は他のデバイスのＵＳＢ接続を検出する。携帯端末２２０は、ステップＳ４６３において、ＵＳＢ汎用ドライバで他のデバイスからディスクリプタを読み出す。携帯端末２２０は、ステップＳ４６５において、そのディスクリプタをクラウドサーバ２１０に送信する。クラウドサーバ２１０は、ステップＳ４６７において、デバイスＤＢ４１３を参照してディスクリプタから接続したデバイスを特定する。次に、クラウドサーバ２１０は、ステップＳ４６９において、デバイスドライバＤＢ４１４を参照して、特定したデバイスに基づいてデバイスドライバを選定して起動する。

その後、図４Ａと同様に、ステップＳ４０７において、作業アプリケーションの起動がなされる。なお、図４Ａには詳細に示していないが、例えば、作業アプリケーションの起動によって、クラウドサーバ２１０はステップＳ４７１において、各ディスプレイに共有画面を提供する。また、ステップＳ４７３において、各端末あるいはデバイスからの入力があれば入力応答処理を実行する。

図４Ｄは、ＵＳＢ接続されたデバイスのディスクリプタ取得の制御手順４２０を示すシーケンス図である。

デバイス２３０〜２６０に設定されているディスクリプタは、ＧＥＴ＿ＤＥＳＣＲＩＰＴＯＲなどのＵＳＢリクエストにより取得される。ＵＳＢリクエストは、それぞれコントロール転送によりデバイス２３０〜２６０とやり取りされる。各コントロール転送は、セット・ステージと、データ・ステージと、ステータス・ステージとからなる。各ステージは、トークン・パケットと、データ・パケットと、ハンドシェイク・パケットとからなる。ディスクリプタは、各データ・ステージのデータ・パケットで取得される。

デバイス２３０〜２６０から取得したディスクリプタはＩＰヘッダやＴＣＰヘッダでＩＰカプセリングして、携帯端末２２０からクラウドサーバ２１０に送信される。

なお、クラウドサーバ２１０からデバイス２３０〜２６０へのデータ出力手順、および、デバイス２３０〜２６０からクラウドサーバ２１０へのデータ入力手順を含むＵＳＢデバイスのデータ入出力手順は、ＵＳＢプロトコルの標準規格があり、説明は省略する。

《クラウドサーバの機能構成》
図５は、本実施形態に係るクラウドサーバ２１０の機能構成を示すブロック図である。

クラウドサーバ２１０は、ネットワーク３４０を介した通信の制御をする通信制御部５０１を有する。ユーザ登録情報受信部５０２は、受信したユーザ登録情報を受信する。例えば、ユーザ登録情報には、ユーザの国籍、使用言語、所属する会社、住所、年齢、性別などの情報を含む。ユーザ登録部５０３は、ユーザ登録情報受信部５０２が受信したユーザ登録情報をユーザ登録ＤＢ５０４に登録する（図７参照）。作業情報受信部５０５は、携帯端末２２０から作業情報を受信する。なお、作業情報は作業現場の環境情報を含み、作業情報受信部５０５は環境情報受信も行なう。デバイス情報受信部５０６は、デバイスを識別するディスクリプタなどをデバイスから直接、あるいは携帯端末２２０を経由して受信する。作業アプリケーション選定部５０７は、作業情報とデバイス情報とに基づいて、作業アプリケーションＤＢ４０７（図８参照）から作業情報とデバイス情報とに対応する作業アプリケーションを選定する。

作業アプリケーション実行部５０８は、作業アプリケーション選定部５０７が選定した作業アプリケーションを実行する。作業アプリケーション実行部５０８は、指示履歴ＤＢ３０２を参照して受信した指示情報から作業者の指示を認識する指示認識部３０３と、認識した作業者の指示に従って処理をする指示処理部３０６とを有する。指示認識部３０３の認識結果は指示情報と関連付けられて、指示履歴ＤＢ３０２に蓄積される。なお、指示認識部３０３においては、受信した指示情報からユーザの意図した指示情報を抽出する指示情報抽出と、抽出した指示情報の指示内容を判別する指示内容判別とからなる。

指示情報受信部３０１は、デバイスが検出した指示情報を直接、あるいは携帯端末２２０を経由して受信する。受信した指示情報は、作業アプリケーション実行部５０８の指示認識部３０３において、作業者の指示認識に使用される。また、信頼性判定部３０４の指示情報の信頼性判定に使用される。指示送信部５０９は、指示情報が作業現場における処理の指示である場合に、作業アプリケーション実行部５０８の指示処理部３０６からの指示を作業現場のデバイスや携帯端末に送信する。

信頼性判定部３０４は、受信した指示情報と、指示履歴ＤＢ３０２に蓄積された指示履歴とから、指示情報の信頼性を判定する。また、信頼性判定部３０４は、信頼性の判定結果と受信した指示情報の履歴とを関連付けて指示履歴ＤＢ３０２に蓄積する。そして、信頼性判定部３０４は、受信した指示情報の履歴が蓄積された指示情報の履歴に相当すると、信頼性の低下と判定する。信頼性判定部３０４は、指示情報の信頼性が低下していると判定した場合、その判定結果を指示情報変更指示部３０５に伝える。指示情報変更指示部３０５は、信頼性判定部３０４から信頼性の低下の通知を受けて、指示履歴ＤＢ３０２の指示履歴を参照して他の指示情報を選定し、指示情報の変更を指示する。変更情報提示部５１０は、指示情報変更指示部３０５からの変更指示を受けて、変更情報を携帯端末２２０から作業者に提示する。

《携帯端末の機能構成》
図６は、本実施形態に係る携帯端末２２０の機能構成を示すブロック図である。

本実施形態の携帯端末２２０は、クラウドサーバ２１０とのネットワークを介した通信を制御する通信制御部６０３を有する。また、携帯端末２２０は、タッチパネルやキーボードなどからなる操作部６０１と、操作部６０１からの入力情報をクラウドサーバ２１０に送信する入力情報送信部６０２と、入出力部６０５とを有する。入出力部６０５は、画面受信部６０４が受信したクラウドサーバ２１０からの共有画面あるいは作業指示画面や指示情報変更の表示画面を表示する表示部６０６と、音声を入出力する音声入出力部６０７とを有する。また、入出力部６０５は、カメラやＧＰＳ（Global Positioning System）による位置生成部を含んでもよい。

また、携帯端末２２０は、ＵＳＢデバイスを接続するためのデバイス接続コネクタであるＵＳＢコネクタ６１０を有する。そして、ＵＳＢコネクタ６１０に接続したデバイス２３０〜２６０のディスクリプタを取得するための汎用ＵＳＢドライバ実行部６１１を有する。さらに、携帯端末２２０は、汎用ＵＳＢドライバ実行部６１１が取得したＵＳＢパケットからデバイス２３０〜２６０のディスクリプタを取得するディスクリプタ取得部６１２を有する。また、ディスクリプタ取得部６１２が取得したデバイス２３０〜２６０のディスクリプタをクラウドサーバ２１０に送信するディスクリプタ送信部６１３を有する。

また、汎用ＵＳＢドライバ実行部６１１を介して、ＵＳＢコネクタ６１０に接続したデバイス２３０〜２６０とクラウドサーバ２１０がＵＳＢパケットをやり取りするための、アンカプセリング部６１４とカプセリング部６１５とを有する。アンカプセリング部６１４は、クラウドサーバ２１０からのＩＰメッセージをアンカプセリングする。カプセリング部６１５は、クラウドサーバ２１０へのＩＰカプセリングを行なう。かかる汎用ＵＳＢドライバ実行部６１１、アンカプセリング部６１４、カプセリング部６１５が、クラウドサーバ２１０によるデバイス制御を中継する。なお、指示情報送信もこのルートで行なわれる。

ここで、本実施形態においては、入力情報送信部６０２は、作業情報送信などを行なう。また、画面受信部６０４は、現在取得している指示情報を表示する画面や変更すべきデバイス変更通知受信などを行なう。あるいは、操作部や表示部などがデバイスとしてＵＳＢコネクタ６１０に接続されている場合は、携帯端末２２０の中継により、各デバイスにおいて作業情報送信やデバイス情報受信が行なわれる。

なお、図６には、クラウドサーバ２１０とデバイス２３０〜２６０とのデータ送受信を中継する場合を示した。しかし、クラウドサーバ２１０から対応するデバイスドライバをダウンロードしてデバイスを制御する構成であってもよい。

（ユーザ登録ＤＢ）
図７は、本実施形態に係るユーザ登録ＤＢ５０４の構成を示す図である。ユーザ指示認識システムに登録要請したユーザは、ユーザ登録部５０３によりこのユーザ登録ＤＢ５０４に登録される。なお、ユーザ登録ＤＢ５０４の構成は図７に限定されない。

ユーザ登録ＤＢ５０４は、個人を登録する個人ユーザ登録部７１０と、企業などのグループ（法人）を登録するグループユーザ登録部７２０とを有する。

ユーザ登録ＤＢ５０４の個人ユーザ登録部７１０は、ユーザの識別情報であるユーザＩＤ７１１に対応付けて、パスワードなどのユーザ認証７１２、国籍７１３、使用言語７１４、所属するグループＩＤ７１５、住所７１６、および年齢や性別などのその他のデータ７１７、を格納する。

また、ユーザ登録ＤＢ５０４のグループユーザ登録部７２０は、グループＩＤ７２１に対応付けて、グループ名７２２、作業内容７２３などを格納する。

（作業アプリケーションＤＢ）
図８は、本発明の第２実施形態に係る作業アプリケーションＤＢ４０７の構成を示す図である。作業情報とデバイス情報とに基づいて、この作業アプリケーションＤＢ４０７から実施する作業に適切な作業アプリケーションが選定されて、実行される。なお、作業アプリケーションＤＢ４０７の構成は図８に限定されない。

作業アプリケーションＤＢ４０７は、作業アプリケーションを識別する作業アプリケーションＩＤ８０１を選定する条件として、グループＩＤ８０２、作業内容８０３、指示用第１接続デバイス８０４〜指示用第ｎ接続デバイス８０５などを格納する。

（指示履歴ＤＢ）
図９Ａ〜図９Ｅを参照して、本実施形態に係る指示履歴ＤＢ３０２の特徴ある構成を説明する。なお、指示履歴ＤＢ３０２の構成は図９Ａ乃至図９Ｅに限定されない。以下、指示履歴ＤＢ３０２の構成として、本実施形態における指示履歴ＤＢ３０２を使用する場合に見えるデータ構造を明瞭にするため、目的に従って整理された５つの構成を示す。しかしながら、これら５つの構成がそれぞれ個別に整理されて蓄積されている訳ではない。図９Ａ〜図９Ｅは、指示履歴ＤＢ３０２の構成を分かり易く示したものであり、全ての項目のデータが１つにまとめられて、互いに検索可能にリンクされている構成であってもよい。

図９Ａは、本実施形態に係る指示履歴ＤＢ３０２を、作業アプリケーション単位で蓄積した構成９１０を示す図である。すなわち、指示情報を現在実行されている作業アプリケーションごとにそのまま整理無しに蓄積したものである。図９Ａにおいては、作業アプリケーションＩＤ９１１に対応付けて、グループＩＤ９１２、ユーザＩＤ９１３、を格納する。そして、指示情報の取得日時９１４に対応付けて、デバイスＩＤと指示情報とからなる第１接続デバイスの情報９１５、デバイスＩＤと指示情報とからなる第ｎ接続デバイスの情報９１６、を格納する。また、指示情報の組合せから認識したユーザ指示９１７とその認識が成功であったか失敗であったかの情報９１８を格納する。この情報９１８の累積が整理されて、組合せによる指示認識の精度、信頼性の判定や変更する指示情報の選定に使用される。

図９Ｂは、本実施形態に係る指示履歴ＤＢ３０２を、接続されたデバイス単位で整理した構成９２０を示す図である。図９Ｂにおいては、接続デバイスＩＤ９２１に対応付けて、入力情報種別９２２、を格納する。そして、受信した指示情報列９２３に対応付けて、その指示情報列から認識した指示コマンド９２４、そして、指示コマンドの認識が成功であったか失敗であったかの情報９２５を格納する。この情報９２５の累積が、接続デバイスの傾向や、信頼性の判定や変更する指示情報の選定に使用される。

図９Ｃは、本実施形態に係る指示履歴ＤＢ３０２を、指示情報の組合せ単位で整理した構成９３０を示す図である。図９Ｃにおいては、第１接続デバイスの指示情報９３１、第２接続デバイスの指示情報９３２、…、に対応付けて、認識したユーザ指示９３３、認識の成功回数９３４、認識の失敗回数９３５、を格納する。この成功回数９３４および失敗回数９３５の累積数や、その比率などが、組合せによる指示認識の精度、信頼性の判定や、作業者の指示方法の選定に使用される。

図９Ｄは、本実施形態に係る指示履歴ＤＢ３０２を、作業アプリケーション単位に整理した構成９４０を示す図である。図９Ｄにおいては、作業アプリケーションＩＤ９４１に対応付けて、この作業においてユーザ指示が現われるシーケンス９４２、この作業において出現するユーザ指示の組合せ９４３、を格納する。また、この作業において出現しないユーザ指示９４４、この作業において出現率が多いユーザ指示９４５、この作業において出現率が少ないユーザ指示９４６、などを格納する。この情報は、例えば、作業者の指示の認識時に、シーケンス、組合せや出現率を参照してあり得る指示か、あり得ない指示か、の判断に使用される。一方、この情報は作業アプリケーションの傾向を表わしており、この情報から大きく離れる場合に信頼性の低下を疑うことになる。

図９Ｅは、本実施形態に係る指示履歴ＤＢ３０２を、指示情報を検出するデバイスの組合せから整理した構成９５０を示す図である。図９Ｅにおいては、作業アプリケーションＩＤ９５１に対応付けて、使用されたデバイスの組合せを格納する。使用されたデバイスの組合せは、第１接続デバイス９５２、第２接続デバイス９５３、…、第ｎ接続デバイス９５４の欄に○で示されている。そして、そのデバイスの組合せに対して、作業者の指示の認識の信頼度９５５が格納される。この情報は、例えば、作業あるいは作業アプリケーションと指示認識により適切なデバイスの組合せを教えており、最初の組合せの提案や指示情報を変更する場合のデバイスの選定に役に立つ。

（デバイスドライバＤＢ）
図１０は、本実施形態に係るデバイスドライバＤＢ４１４の構成を示す図である。作業情報により選定された作業アプリケーションにおいて指示情報を取得するデバイスを駆動するための、デバイスドライバを格納する。なお、デバイスドライバＤＢ４１４の構成は図１１に限定されない。

デバイスドライバＤＢ４１４は、デバイスを特定するデバイスＩＤ１００１に対応付けて、デバイスの性能やバージョンなどのデバイス情報１００２と、使用可能な複数のデバイスドライバ１００３を格納する。

なお、図４Ｃに示したデバイスＤＢ４１３については、当業者には自明であるのでここでは図示および説明を省略する。

《クラウドサーバのハードウェア構成》
図１１は、本実施形態に係るクラウドサーバ２１０のハードウェア構成を示すブロック図である。

図１１で、ＣＰＵ（Central Processing Unit)１１１０は演算制御用のプロセッサであり、プログラムを実行することで図５のクラウドサーバ２１０の各機能構成部を実現する。ＲＯＭ（Read Only Memory)１１２０は、初期データおよびプログラムなどの固定データおよびプログラムを格納する。また、通信制御部５０１は、ネットワーク３４０を介して携帯端末２２０と通信する。なお、ＣＰＵ１１１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ（Graphics Processing Unit）を含んでもよい。また、通信制御部５０１は、ＣＰＵ１１１０とは独立したＣＰＵを有して、ＲＡＭ１１４０の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭ１１４０とストレージ１１５０との間でデータを転送するＤＭＡＣ(Direct Memory Access Controller)を設けるのが望ましい（図示なし）。したがって、ＣＰＵ１１１０は、ＲＡＭ１１４０にデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵ１１１０は、処理結果をＲＡＭ１１４０に準備し、後の送信あるいは転送は通信制御部５０１やＤＭＡＣに任せる。

ＲＡＭ（Random Access Memory)１１４０は、ＣＰＵ１１１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１１４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。ユーザ登録データ１１４１は、携帯端末２２０から受信したユーザ登録のためのデータである。指示情報テーブル１１４２は、デバイス２３０〜２６０などから受信した作業者の指示を表わす指示情報を記憶するためのテーブルである（図１２参照）。指示認識テーブル１１４３は、受信した指示情報から作業者の指示を認識するためのテーブルである（図１３参照）。信頼性判定テーブル１１４４は、指示履歴ＤＢ３０２の指示履歴を参照して、指示情報の信頼性を判定するためのテーブルである（図１４参照）。指示情報変更テーブル１１４５は、指示情報の信頼性低下があると、指示履歴ＤＢ３０２の指示履歴を参照して、他の指示情報を選定するためのテーブルである（図１５参照）。送受信データ１１４６は、通信制御部５０１がネットワーク３４０経由で送受信するデータである。なお、送受信データ１１４６は、各データ種別に対応して格納場所が特定されているものとする。

ストレージ１１５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ユーザ登録ＤＢ５０４は、図７に示したユーザを登録するデータベースである。作業アプリケーションＤＢ４０７は、図８に示した作業情報とデバイス情報とに対応して作業アプリケーションを格納するデータベースである。指示履歴ＤＢ３０２は、図９Ａ〜図９Ｅに示した各デバイスから取得した指示情報の履歴を蓄積するデータベースである。デバイスＤＢ４１３は、図４Ｃのように、ディスクリプタからデバイスを特定するためのデータベースである。デバイスドライバＤＢ４１４は、図１０に示したデバイスに対応してデバイスドライバを格納するデータベースである。

ストレージ１１５０には、以下のプログラムが格納される。クラウドサーバ制御プログラム１１５１は、本クラウドサーバ２１０の全体を制御するプログラムである。ユーザ登録モジュール１１５２は、クラウドサーバ制御プログラム１１５１において、通信端末から要請されたユーザ登録を行なうモジュールである。指示情報蓄積モジュール１１５３は、クラウドサーバ制御プログラム１１５１において、作業中に各デバイスで検出した作業者の指示情報を受信して、指示履歴ＤＢ３０２に蓄積するモジュールである。指示認識モジュール１１５４は、クラウドサーバ制御プログラム１１５１において、指示履歴ＤＢ３０２を参照して、受信した指示情報の組合せから作業者の指示を認識するモジュールである。指示情報変更モジュール１１５５は、クラウドサーバ制御プログラム１１５１において、受信した指示情報に信頼性低下があった場合に、受信する指示情報を変更するモジュールである。作業アプリケーション１１５６は、作業アプリケーションＤＢ４０７から読み出されて実行されるプログラムである。

なお、図１１のＲＡＭ１１４０やストレージ１１５０には、クラウドサーバ２１０が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。

（指示情報テーブル）
図１２は、本実施形態に係る指示情報テーブル１１４２の構成を示す図である。指示情報テーブル１１４２は、各デバイスで検出された指示情報を受信して記憶するテーブルであり、指示情報受信部３０１や指示認識部３０３で使用される。

指示情報テーブル１１４２は、受信した指示情報と、これと合致した指示情報と、合致結果により指示情報から抽出した支持コマンドＩＤとを有する、第１接続デバイス１２０１と第２接続デバイス１２０２とを記憶する。なお、接続デバイスは２つに限定されない。

（指示認識テーブル）
図１３は、本実施形態に係る指示認識テーブル１１４３の構成を示す図である。指示認識テーブル１１４３は、受信した指示情報を組み合わせて作業者の指示を認識するためのテーブルであり、指示認識部３０３で使用される。

指示認識テーブル１１４３は、ｎ回前に認識した指示コマンドＩＤ１３０１、（ｎ−１）回前に認識した指示コマンドＩＤ１３０２、…、前回に認識した指示コマンドＩＤ１３０３、第１接続デバイスの指示コマンドＩＤ１３０４、第２接続デバイスの指示コマンドＩＤ１３０４、を記憶する。そして、それら情報の組合せから認識した指示コマンドＩＤ１３０６とその指示内容１３０７とを記憶する。なお、認識に当たっての組合せは、第１接続デバイスの指示コマンドと、第２接続デバイスの指示コマンドとの組合せを考慮する。その外に、例えば、前回の指示コマンドとから考えられる今回の指示コマンドの絞り込みや、ｎ回前からの指示コマンドのシーケンスから作業の進行を把握して今回の指示コマンドの絞り込みなどを行なう。

（信頼性判定テーブル）
図１４は、本実施形態に係る信頼性判定テーブル１１４４の構成を示す図である。信頼性判定テーブル１１４４は、指示履歴ＤＢ３０２を参照して受信した指示情報の信頼性を判定するためのテーブルであり、信頼性判定部３０４で使用される。

信頼性判定テーブル１１４４は、指示情報検出のため接続しているデバイスのデバイスＩＤ１４０１とデバイス種別１４０２に対応付けて、現在のデバイス状況を記憶する。現在のデバイス状況には、例えば、デバイスからの信号なし１４０３、指示情報判別不能１４０４、自デバイスや他デバイスが検出した環境情報１４０５などを含む。ここで、指示情報判別不能１４０４は、作業者の指示を表わす指示情報が抽出できない状態であり、騒音や雑音でマイクからの指示情報が判別できない場合や、強い色や光あるいは暗くなって背景から作業者を判別できない場合などが含まれる。そして、現在のデバイス状況を勘案して、信頼性の高低１４０６を判定して記憶する。

（指示情報変更テーブル）
図１５は、本実施形態に係る指示情報変更テーブル１１４５の構成を示す図である。指示情報変更テーブル１１４５は、指示情報の信頼性低下があると、指示履歴ＤＢ３０２を参照して、他の指示情報を選定するためのテーブルである。

指示情報変更テーブル１１４５は、作業アプリケーションＩＤ１５０１とユーザＩＤ１５０２に対応付けて、現在の第１接続デバイス１５０３と第２接続デバイス１５０４、そして、第１接続デバイスから変更するデバイス候補１５０５と第２接続デバイスから変更するデバイス候補１５０６を記憶する。

《クラウドサーバの処理手順》
図１６は、本実施形態に係るクラウドサーバ２１０の処理手順を示すフローチャートである。このフローチャートは、図１１のＣＰＵ１１１０がＲＡＭ１１４０を使用して実行し、図５の機能構成部を実現する。なお、ＣＰＵ１１１０は、ＲＡＭ１１４０にデータが受信あるいは転送されたことを認識してデータを処理すると共に、処理結果をＲＡＭ１１４０に準備し、後の送信あるいは転送は通信制御部５０１やＤＭＡに任せる構成を例として説明する。

ＣＰＵ１１１０はステップＳ１６０１において、作業アプリケーションやデバイスドライバの選定などの初期設定をするか否かを判定する。初期設定をする場合、ＣＰＵ１１１０はステップＳ１６０３に進んで、初期設定処理を実行する（図１７Ａ参照）。次に、ＣＰＵ１１１０はステップＳ１６０５において、デバイスあるいは携帯端末からの指示情報の受信か否かを判定する。指示情報の受信であれば、ＣＰＵ１１１０はステップＳ１６０７に進んで、指示情報蓄積処理を実行する（図１７Ｂ参照）。

次に、ＣＰＵ１１１０はステップＳ１６０９において、受信した指示情報の信頼性が低下したか否かを判定する。信頼性の低下がなければ、ＣＰＵ１１１０はステップＳ１６１１に進んで、受信した指示情報を使って指示情報認識処理を実行する（図１７Ｃ参照）。そして、ＣＰＵ１１１０はステップＳ１６１３において、認識した作業者の指示に対応する指示対応処理を実施する。一方、信頼性の低下があれば、ＣＰＵ１１１０はステップＳ１６１５に進んで、信頼性が低下した指示情報を他の指示情報に変更する指示情報変更処理を実行する（図１７Ｄ参照）。

（初期設定処理）
図１７Ａは、本実施形態に係る初期設定処理（Ｓ１６０３−１）の手順を示すフローチャートである。

ＣＰＵ１１１０はステップＳ１７１１において、ＲＡＭ１１４０の送受信データ１１４６から作業情報を取得する。次に、ＣＰＵ１１１０はステップＳ１７１３において、作業情報検出用に接続された接続デバイス情報を取得する。次に、ＣＰＵ１１１０はステップＳ１７１５において、作業情報と接続デバイス情報とに基づき、作業アプリケーションＤＢ４０７から作業アプリケーションを選定する。そして、ＣＰＵ１１１０はステップＳ１７１７において、選定した作業アプリケーションを開始する。なお、作業アプリケーションの選定に対応して、デバイスドライバも選定されてよい。また、デバイスドライバは、携帯端末２２０のドライバ受信部にダウンロードされてもよい。

（指示情報蓄積処理）
図１７Ｂは、本実施形態に係る指示情報蓄積処理（Ｓ１６０７）の手順を示すフローチャートである。

ＣＰＵ１１１０はステップＳ１７２１において、ＲＡＭ１１４０の送受信データ１１４６から受信した複数の指示情報を取得する。そして、ＣＰＵ１１１０はステップＳ１７２３において、作業種別、作業アプリケーション、ユーザ、検出用接続デバイスなどにより検索可能に、受信した指示情報を指示履歴ＤＢ３０２に蓄積する。

（信頼性判定処理）
図１７Ｃは、本実施形態に係る信頼性判定処理（Ｓ１６０９−１）の手順を示すフローチャートである。

ＣＰＵ１１１０はステップＳ１７３１において、検出用接続デバイスから障害情報を受信したか否かを判定する。障害情報を受信すると、ＣＰＵ１１１０はステップＳ１７４７に進んで、対応する指示情報の信頼性低下フラグをＯＮにする。

障害情報の受信がなければ、ＣＰＵ１１１０はステップＳ１７４７に進んで、１つの指示情報を選定して、その長期および短期の変化を分析する。そして、ＣＰＵ１１１０はステップＳ１７３５において、信号の検出レベルの低下があるか否かを判定する。信号レベルの低下がなければ、ＣＰＵ１１１０はステップＳ１７３７に進んで、指示情報の抽出精度が低下したか否かを判定する。抽出精度の低下がなければ、ＣＰＵ１１１０はステップＳ１７４１に進んで、現在、作業で検出している全指示情報を検査したか否かを判定する。検査が完了してなければ、ＣＰＵ１１１０はステップＳ１７３３に戻って、他の指示情報の変化を分析検査する。ＣＰＵ１１１０は、ステップＳ１７３の判定で検出レベルの低下と判定し、また、ステップＳ１７３７の判定で抽出精度の低下と判定した場合、ステップＳ１７３９に進んで、対応する指示情報の信頼性低下フラグをＯＮにする。

現在、作業で検出している全指示情報の検査が完了した場合、ＣＰＵ１１１０はステップＳ１７４３に進んで、環境情報を取得する。環境情報としては、周囲の騒音や雑音、雨や雪などの天気、明暗などがあるが、検出デバイスの指示情報検出に影響するあらゆる条件が含まれる。次に、ＣＰＵ１１１０はステップＳ１７４５において、取得した環境情報から、今後の検出レベルの低下や抽出精度の低下を予測する。そして、検出レベルの低下や抽出精度の低下が予測されると、ＣＰＵ１１１０はステップＳ１７４７に進んで、対応する指示情報の信頼性低下フラグをＯＮにする。

なお、予測は環境情報に基づいて行なったが、簡単に現在時刻からこの季節ではこの後何分で暗くなるかなどの予測でもよい。あるいは、クラウドサーバ２１０が天気予報や作業現場近辺の状態を取得して、環境変化を予測してもよい。

（指示情報認識処理）
図１７Ｄは、本実施形態に係る指示情報認識処理（Ｓ１６１１）の手順を示すフローチャートである。

ＣＰＵ１１１０はステップＳ１７５１において、１つのデバイスからの指示情報を取得する。そして、ＣＰＵ１１１０はステップＳ１７５３において、指示コマンドの指示情報と比較して、取得した指示情報の指示コマンドを認識する。次に、ＣＰＵ１１１０はステップＳ１７５５において、指示コマンドの認識結果と過去の指示コマンドとの矛盾の有無を判定する。矛盾がなければ、ＣＰＵ１１１０はステップＳ１７５７に進んで、１つのデバイスからの指示情報による指示コマンドを確定する。矛盾があれば、ＣＰＵ１１１０はステップＳ１７５７の処理はしない。そして、ＣＰＵ１１１０はステップＳ１７５９において、他のデバイスが接続されているかを判定する。他のデバイスが接続されていれば、ＣＰＵ１１１０はステップＳ１７５１に戻って、他のデバイスからの指示情報について認識を繰り返す。

他のデバイスがなければ、ＣＰＵ１１１０はステップＳ１７６１に進んで、上記繰り返しで確定した複数のデバイスの指示コマンドの組合せから、ユーザである作業者の指示を認識する。

（指示情報変更処理）
図１７Ｅは、本実施形態に係る指示情報変更処理（Ｓ１６１５−１）の手順を示すフローチャートである。

ＣＰＵ１１１０はステップＳ１７７１において、信頼性低下フラグがＯＮである指示情報、そしてデバイスを検索する。次に、ＣＰＵ１１１０はステップＳ１７７３において、作業種別、作業アプリケーション、ユーザなどに対応して、変更する指示情報とそのデバイスとを選定する。なお、選定条件にユーザが入っている理由は、ユーザである作業者の癖によって、指示情報の信頼性が変化するからである。このように、本実施形態の指示履歴ＤＢ３０２を参照すれは、作業者の癖なども学習して考慮することができる。

《携帯端末のハードウェア構成》
図１８は、本実施形態に係る携帯端末２２０のハードウェア構成を示すブロック図である。

図１８で、ＣＰＵ１８１０は演算制御用のプロセッサであり、プログラムを実行することで図６の携帯端末２２０の機能構成部を実現する。ＲＯＭ１８２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。また、通信制御部６０３は、ネットワーク３４０を介してクラウドサーバ２１０と通信する。なお、ＣＰＵ１８１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵを含んでもよい。また、通信制御部６０３は、ＣＰＵ１８１０とは独立したＣＰＵを有して、ＲＡＭ１８４０の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭ１８４０とストレージ１８５０との間でデータを転送するＤＭＡＣを設けるのが望ましい（図示なし）。さらに、入出力インタフェース１８６０は、ＣＰＵ１８１０とは独立したＣＰＵを有して、ＲＡＭ１８４０の領域に入出力データを書き込みあるいは読み出しするのが望ましい。したがって、ＣＰＵ１８１０は、ＲＡＭ１８４０にデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵ１８１０は、処理結果をＲＡＭ１８４０に準備し、後の送信あるいは転送は通信制御部６０３やＤＭＡＣ、あるいは入出力インタフェース１８６０に任せる。

ＲＡＭ１８４０は、ＣＰＵ１８１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１８４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。ユーザ登録データ１８４１は、クラウドサーバ２１０にユーザ登録するためユーザが入力したデータである。作業情報１８４２は、携帯端末２２０において作業者が入力した作業を特定する情報である。ディスクリプタ１８４３は、ＵＳＢコネクタ６１０に接続したデバイスから読み出したデバイス情報である。指示情報１８４４は、ユーザである作業者からデバイスから取得して、クラウドサーバ２１０に送信する作業者の指示を表わす情報である。指示応答データ１８４５は、クラウドサーバ２１０から受信した、指示情報から認識された作業者の指示に応答するデータである。デバイスサーバ送受信パケット１８４６は、ＵＳＢデバイスに入出力するパケット、および通信制御部６０３を介してクラウドサーバ２１０と送受信するＩＰカプセリングしたパケットである。入出力データ１８４７は、入出力インタフェース１８６０を介して入出力されるデータである。

ストレージ１８５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。端末情報１８５１は、本通信端末の識別子を含む情報である。ストレージ１８５０には、以下のプログラムが格納される。携帯端末制御プログラム１８５２は、本携帯端末２２０の全体を制御する制御プログラムである。ディスクリプタ転送モジュール１８５３は、接続デバイスから取得したディスクリプタをクラウドサーバ２１０に転送するモジュールである。指示情報転送モジュール１８５４は、接続デバイスが検出した指示情報をクラウドサーバ２１０に転送するためのモジュールである。デバイス入出力データ中継モジュール１８５５は、クラウドサーバ２１０と接続デバイス間のデータの入出力を中継するモジュールである。汎用ＵＳＢドライバ１８５６は、デバイスのディスクリプタ読み出しなどの基本的なＵＳＢプロトコルを実行するプログラムである。ＵＳＢ接続デバイスドライバ１８５７は、本携帯端末がデバイスドライバを実行する機能を有する場合に、クラウドサーバ２１０からダウンロードされたプログラムである。なお、本携帯端末が作業アプリケーションの一部を分担可能であれば、そのプログラムがストレージ１８５０に格納されてよい。

入出力インタフェース１８６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース１８６０には、表示部６０６、タッチパネルなどからなる操作部６０１が接続される。また、スピーカやマイクなどの音声入出力部６０７が接続される。さらに、ＧＰＳ位置生成部１８６１やカメラ１８６２などが接続される。そして、ＵＳＢコネクタ６１０が接続される。

なお、図１８のＲＡＭ１８４０やストレージ１８５０には、携帯端末２２０が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。

《携帯端末の処理手順》
図１９は、本実施形態に係る携帯端末２２０の処理手順を示すフローチャートである。このフローチャートは、図１８のＣＰＵ１８１０がＲＡＭ１８４０を使用して実行し、図６の機能構成部を実現する。

ＣＰＵ１８１０は、イベント発生を受けてその内容を判定する。ＣＰＵ１８１０はステップＳ１９１１において、ＵＳＢコネクタにデバイスが接続されたか否かを判定する。また、ＵＳＢコネクタへのデバイス接続でない場合、ＣＰＵ１８１０はステップＳ１９２１において、クラウドサーバ２１０からの操作画面の受信か否かを判定する。また、ＵＳＢコネクタへのデバイス接続でなく、かつ、操作画面の受信でない場合、ＣＰＵ１８１０はステップＳ１９３１において、デバイス宛のデータをクラウドサーバ２１０から受信したか否か、あるいは、デバイスからのデータを受信したか否かを判定する。また、ＵＳＢコネクタへのデバイス接続でなく、操作画面の受信でなく、かつ、データ転送でない場合、ＣＰＵ１８１０はステップＳ１９４１において、通信端末や接続デバイスが検出した指示情報の送信要求か否かを判定する。

ＵＳＢコネクタにデバイスが接続された場合、ＣＰＵ１８１０はステップＳ１９１１からＳ１９１３に進んで、汎用ＵＳＢドライブを起動する。そして、ＣＰＵ１８１０はステップＳ１９１５において、デバイスのディスクリプタを取得する。次に、ＣＰＵ１８１０はステップＳ１９１７において、取得したディスクリプタをクラウドサーバ２１０に送信する。

また、操作画面の受信であれば、ＣＰＵ１８１０はステップＳ１９２１からＳ１９２３に進んで、ＲＡＭ１８４０から操作画面を取得して表示部６０６に表示する。そして、ＣＰＵ１８１０はステップＳ１９２５において、ユーザの操作入力を待つ。ユーザからの操作入力があると、ＣＰＵ１８１０はステップＳ１９２７に進んで、ＲＡＭ１８４０の入出力データ１８４７から操作指示を取得し、クラウドサーバ２１０への送信を通信制御部６０３に指示する。

また、デバイス宛のデータのクラウドサーバ２１０からの転送要求、あるいはクラウドサーバ２１０宛のデータのデバイスからの受信要求であれば、ＣＰＵ１８１０はステップＳ１９３１からＳ１９３３に進む。そして、ＣＰＵ１８１０はステップＳ１９３３において、ＲＡＭ１８４０のデバイスサーバ送受信パケット１８４６を、デバイス宛あるいはクラウドサーバ宛へのデータ転送を指示する。

また、授業情報の送信要求と判定すると、ＣＰＵ１８１０はステップＳ１９４１からＳ１９４３に進んで、ＲＡＭ１８４０の入出力データ１８４７から指示情報を取得して指示情報１８４４に記憶する。そして、ＣＰＵ１８１０はステップＳ１９４５において、指示情報１８４４をクラウドサーバ２１０に送信するよう通信制御部６０３に指示する。

本実施形態によれば、デバイスからの指示情報の信頼性低下に応じて信頼性の高いデバイスに変更されるので、指示情報検出の信頼性が低下した場合であっても、操作者の指示の検出を持続することができる。

［第３実施形態］
次に、本発明の第３実施形態に係る情報処理装置であるクラウドサーバを含むユーザ指示認識システムについて説明する。本実施形態に係るクラウドサーバは、上記第２実施形態と比べると、信頼性が低下した指示情報を他の指示情報に変更するよう作業者に指示するのではなく、クラウドサーバ自身で信頼性が低下した指示情報を他の指示情報に変更する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

本実施形態によれば、デバイスからの指示情報の信頼性低下に応じて信頼性の高いデバイスに自動的に変更されるので、指示情報検出の信頼性が低下した場合であっても、操作者の操作なしに指示の検出を持続することができる。

《ユーザ指示認識システム》
図２０〜図２２を参照しながら、本実施形態に係る情報処理装置であるクラウドサーバ２０１０を含むユーザ指示認識システム２０００について説明する。

（システムの概要）
図２０は、本実施形態に係るクラウドサーバ２０１０を含むユーザ指示認識システム２０００の概要を示す図である。図２０においては、クラウドサーバ２０１０が、野外の作業現場におけるユーザである作業者の指示を、スマートフォンである携帯端末２２０に接続したデバイスから取得した指示情報に基づいて認識する。そして、クラウドサーバ２０１０は、携帯端末２２０に接続したデバイスからの指示情報の信頼性を判定し、信頼性低下があれば、指示情報を受信するデバイスを信頼性が高く、組み合わせる指示情報との相性がよいデバイスに切り替える。

図２０において、携帯端末２２０には、ルータを介してイヤホンマイク２３０と唇撮影用カメラ２５０と通電センサ２６０とが接続されている。イヤホンマイク２３０は、作業者の音声指示の検出をする。唇撮影用カメラ２５０は、作業者の言葉に対応する唇の動きを撮影する。通電センサ２６０は作業者の首に設定されて、首の筋肉の動きを検出する。また、通信機能を有するビデオカメラ２４０が作業者の動作指示を検出している。携帯端末２２０の表示画面２２０ａには、図２と同様に、作業者の現在の指示入力として、マイクからの入力音声とカメラからの入力動作とが使用されていることが表示され、また、音声や動作と指示コマンドとの関連も表示されている。なお、イヤホンマイク２３０のイヤホンから表示と同時に音声による説明がされるのが望ましい。

クラウドサーバ２０１０は、マイクからの入力音声とカメラからの入力動作とを指示情報として受信し、蓄積された指示情報の履歴を参照して、作業者の指示を認識する。このようにすることで、作業者がキー入力などで指示をする必要がなく、両手を作業に使うことができる。

ここで、工事現場の作業などで周囲の雑音が高くなると、クラウドサーバ２０１０は、マイク入力から作業者の音声を識別し難いと判定する。クラウドサーバ２０１０は、指示情報の検出元を唇撮影用カメラ２５０に切り替えて、唇撮影用カメラ２５０からの唇変化とビデオカメラ２４０からの入力動作とを指示情報として受信し、蓄積された指示情報の履歴を参照して、作業者の指示を認識する。そして、クラウドサーバ２０１０は、携帯端末２２０の表示画面２２０ｆに、“周囲の雑音でマイク入力の信頼性が低下しています。唇撮影用カメラに変更しました。”との指示メッセージを表示する。なお、図２０には図示しないが、唇撮影用カメラに変更したため、唇の動きを大きくするなどの注意事項を表示してもよい。図２と同様に、携帯端末２２０の表示画面２２０ｃには、作業者の現在の指示入力として、唇撮影用カメラからの唇変化とカメラからの入力動作とが使用されていることが表示され、また、唇変化や動作と指示コマンドとの関連も表示される。

一方、夕方になって作業現場の周囲が暗くなってくると、クラウドサーバ２０１０は、カメラ入力から作業者の動作を識別し難いと判定する。クラウドサーバ２０１０は、指示情報の検出元を通電センサ２６０に切り替えて、通電センサ２６０からの首の動きを示す電気信号とカメラからの入力動作とを指示情報として、作業者の指示を認識する。そして、携帯端末２２０の表示画面２２０ｇに、“暗くなりカメラ入力の信頼性が低下しています。入力を通電センサによる首の動作に変更しました。指示時には首を後に反らしてください。”との指示メッセージを表示する。携帯端末２２０の表示画面２２０ｅには、作業者の現在の指示入力として、通電センサからの首の動きとカメラからの入力動作とが使用されていることが表示され、また、首の動きや動作と指示コマンドとの関連も表示される。

なお、図２０においては、図２との比較のため、周囲の雑音によるマイク入力の信頼性低下と、暗くなったためのカメラ入力の信頼性低下とを説明したが、デバイスの故障や通信不良などもクラウドサーバ２０１０によって信頼性低下と判定可能である。例えば、受信信号のレベルや指示認識率なども信頼性の判定条件である。

（システムの構成）
図２１は、本実施形態に係るクラウドサーバ２０１０を含むユーザ指示認識システム２００の構成を示す図である。なお、図２１において、図３と同様の構成要素には同じ参照番号を付して、説明を省略する。

ユーザ指示認識システム２０００は、ネットワーク３４０を介して接続されるクラウドサーバ２０１０と、種々の作業現場における作業者の指示情報を取得する指示情報取得デバイス群を有する種々の作業現場２１１０〜２１３０とを備える。なお、本実施形態では、作業現場２１１０〜２１３０の作業者は、準備可能で接続可能な指示情報を検出するデバイスをできるだけ全て接続している。これは、デバイスが接続されてないために、クラウドサーバ２０１０の指示情報の切り替えが遅延するのを防ぐためである。

本実施形態のクラウドサーバ２０１０の基本構成には、図２のクラウドサーバ２１０の機能構成部の外に、信頼性の低下した指示情報をクラウドサーバ２０１０で切り替えるための指示情報変更処理部２１０５を備える。また、クラウドサーバ２０１０による指示情報の変更を携帯端末２２０から作業者に通知するための指示情報変更通知部２１１１を備える。

（システムの動作手順）
図２２は、本実施形態に係るクラウドサーバ２０１０を含むユーザ指示認識システム２０００の動作手順２２００を示すシーケンス図である。なお、図２２において、図４Ｂと同様のステップには同じステップ番号を付して、説明は省略する。また、図２２は図４Ｂに対応する図であるが、他のシーケンス図である図４Ａ、図４Ｃおよび図４Ｄは本実施形態にも援用される。

クラウドサーバ２０１０は、ステップＳ２２４３において、指示情報を切り替えて指示情報処理の変更を自動で行なう。次に、クラウドサーバ２０１０は、ステップＳ２２４４において、指示情報を変更したことを携帯端末２２０に通知する。

《クラウドサーバの機能構成》
図２３は、本実施形態に係るクラウドサーバ２０１０の機能構成を示すブロック図である。なお、図２３において、図５と同様な機能構成部には同じ参照番号を付して、説明は省略する。

図２３においては、指示情報変更処理部２１０５は、信頼性判定部３０４が受信した指示情報に信頼性低下を判定した場合、指示履歴ＤＢ３０２の指示履歴を参照して、適切な指示情報を選定して指示情報の変更処理を行なう。指示情報変更処理部２１０５による指示情報の変更は、指示情報受信部３０１や作業アプリケーション実行部５０８における受信制御で行なわれる。そして、指示情報変更処理部２１０５は、指示情報変更を作業アプリケーション選定部５０７に伝えて、作業アプリケーション選定部５０７は、必要であれば作業アプリケーションの選定をやり直す。なお、本実施形態においてはデバイスが変更されるので、使用するデバイスドライバも切り替える。指示情報変更通知部２１１１は、指示情報変更処理部２１０５の指示情報変更を携帯端末２２０に通知する。

（指示情報変更処理）
図２４は、本実施形態に係る指示情報変更処理（Ｓ１６１５−２）の手順を示すフローチャートである。このフローチャートは、図１６のＳ１６１５に置き換えられて、図１１のＣＰＵ１１１０がＲＡＭ１１４０を使用して実行し、図２３の機能構成部を実現する。なお、図２４において、図１７Ｅと同様のステップには同じステップ番号を付して、説明は省略する。

ＣＰＵ１１１０はステップＳ２４６５において、指示情報を切り替えて、指示情報処理を変更する。そして、ＣＰＵ１１１０はステップＳ２４７５において、ユーザ端末に指示情報が変更されたことを通知する。

本実施形態によれば、デバイスからの指示情報の信頼性低下に応じて信頼性の高いデバイスに自動的に変更されるので、指示情報検出の信頼性が低下した場合であっても、操作者の操作なしに指示の検出を持続することができる。

［第４実施形態］
次に、本発明の第４実施形態に係る情報処理装置であるクラウドサーバを含むユーザ指示認識システムについて説明する。本実施形態に係るクラウドサーバは、上記第２実施形態および第３実施形態と比べると、現場作業の開始前にあらかじめ作業時に作業者の指示を認識するために必要な接続デバイスを問い合わせる点で異なる。なお、ここで必要な接続デバイスとは、クラウドサーバが指示履歴ＤＢを参照して、第２実施形態の接続変更や第３実施形態の自動切り替えに必要と予測される接続デバイスである。その他の構成および動作は、第２および第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

本実施形態によれば、デバイスの変更時や自動切り替え時に、適切なデバイスがない、あるいは接続されてない状況をあらかじめ回避するので、迅速で好適な指示情報の変更ができる。

《ユーザ指示認識システム》
図２５および図２６を参照しながら、本実施形態に係る情報処理装置であるクラウドサーバ２５１０を含むユーザ指示認識システム２５００について説明する。

（システムの概要）
図２５は、本実施形態に係るクラウドサーバ２５１０を含むユーザ指示認識システム２５００の概要を示す図である。図２５においては、野外の作業現場における作業開始前に、ユーザである作業者が作業情報をクラウドサーバ２５１０に通知すると、クラウドサーバ２５１０は、作業に当たって作業者の指示を認識するために必要なデバイスの一覧をスマートフォンである携帯端末２２０に提示する。作業時には、クラウドサーバ２５１０が、作業者の指示を、携帯端末２２０に接続して準備したデバイスから取得した指示情報に基づいて認識する。そして、クラウドサーバ２５１０は、携帯端末２２０に接続したデバイスからの指示情報の信頼性を判定し、信頼性低下があれば、指示情報を受信するデバイスを信頼性が高く、組み合わせる指示情報との相性がよいデバイスに切り替える。

図２５において、携帯端末２２０から表示画面２２０ｈの上半分に示すように、作業情報がクラウドサーバ２５１０通知される。これに応答して、クラウドサーバ２５１０は、指示履歴ＤＢを参照して、準備すべきデバイスの一覧を携帯端末２２０の表示画面２２０ｈの下半分のように提示する。図２５においては、接続デバイスとして、マイク、カメラ、唇撮影用カメラ、通電センサが提示されている。なお、この接続デバイスは第３実施形態の図２０と同様であるが、同じである必要はない。本実施形態においては、指示履歴ＤＢの指示履歴から相性のよい組合せで、変更や切り替えが容易であり、かつ、余分なデバイスを準備するのでコスト的にも考慮して選定される。ただし、作業が中断することは避けるような選定がなされる。

図２５において、携帯端末２２０には、クラウドサーバ２５１０の提示に従って、ルータを介してイヤホンマイク２３０と唇撮影用カメラ２５０と通電センサ２６０とが接続され、通信機能を有するビデオカメラ２４０が作業者の動作指示を検出している。携帯端末２２０の表示画面２２０ｉには、接続されているデバイス一覧と、網掛けにより作業者の現在の指示入力として、マイクからの入力音声とカメラからの入力動作とが使用されていることが表示されている。

ここで、工事現場の作業などで周囲の雑音が高くなると、クラウドサーバ２５１０は、マイク入力から作業者の音声を識別し難いと判定する。クラウドサーバ２５１０は、指示情報の検出元を唇撮影用カメラ２５０に切り替えて、唇撮影用カメラ２５０からの唇変化とビデオカメラ２４０からの入力動作とを指示情報として受信し、蓄積された指示情報の履歴を参照して、作業者の指示を認識する。なお、携帯端末２２０の表示画面２２０ｆは図２０と同様である。そして、携帯端末２２０の表示画面２２０ｊには、接続されているデバイス一覧と、網掛けにより作業者の現在の指示入力として、唇撮影用カメラからの唇変化とカメラからの入力動作とが使用されていることが表示される。

一方、夕方になって作業現場の周囲が暗くなってくると、クラウドサーバ２５１０は、カメラ入力から作業者の動作を識別し難いと判定する。クラウドサーバ２５１０は、指示情報の検出元を通電センサ２６０に切り替えて、通電センサ２６０からの首の動きを示す電気信号とカメラからの入力動作とを指示情報として、作業者の指示を認識する。なお、携帯端末２２０の表示画面２２０ｇは図２０と同様である。そして、携帯端末２２０の表示画面２２０ｋには、接続されているデバイス一覧と、網掛けにより作業者の現在の指示入力として、通電センサからの首の動きとカメラからの入力動作とが使用されていることが表示される。

（システムの動作手順）
図２６は、本実施形態に係るクラウドサーバ２５１０を含むユーザ指示認識システム２５００の動作手順２６００を示すシーケンス図である。なお、図２６において、図４Ａと同様なステップには同じステップ番号を付して、説明は省略する。また、図２６は図４Ａに対応する図であるが、他のシーケンス図である図２２、図４Ｃおよび図４Ｄは本実施形態にも援用される。

作業者の携帯端末２２０は、ステップＳ２６０１において、作業内容や作業場所、作業環境などを含む作業情報をクラウドサーバ２５１０に送信する。クラウドサーバ２５１０は、ステップＳ２６０３において、携帯端末２２０から受信した作業情報に対応する作業アプリケーションを作業アプリケーションＤＢ４０７から選定する。

次に、クラウドサーバ２５１０は、ステップＳ２６０５において、指示履歴ＤＢ２６０２の指示履歴を参照して、作業現場で準備すべき接続デバイスを選定する。そして、クラウドサーバ２５１０は、ステップＳ２６０７において、選定された接続デバイス情報を携帯端末２２０に通知する。携帯端末２２０は、ステップＳ２６０９において、受信した接続デバイス情報を一覧表示する。

一覧表示された全デバイスを接続して、ステップＳ２６１１において、各デバイスからのデバイス情報がクラウドサーバ２５１０に通知される。クラウドサーバ２５１０は、ステップＳ２６１３において、指示履歴ＤＢ２６０２を参照して、初期に使用する作業現場で最も適切に作業者の指示情報を検出するデバイスを選定する。そして、携帯端末２２０からクラウドサーバ２５１０に作業アプリケーションの開始指示があると、ステップＳ４０７で作業アプリケーションが起動する。

《クラウドサーバの機能構成》
図２７は、本実施形態に係るクラウドサーバ２５１０の機能構成を示すブロック図である。なお、図２７において、特に図２３と同様な機能構成部には同じ参照番号を付して、説明は省略する。また、図２７では、本実施形態の図２３からの変更部分を示し、他の機能構成部は省略している。

作業アプリケーション選定部２７０７は、受信した作業情報から作業アプリケーションを選定する。接続デバイス選定部２７０８は、選定された作業アプリケーションに基づいて、指示履歴ＤＢ２６０２を参照して、準備すべき接続デバイスを選定する。接続デバイス通知部２７０９は、選定された接続デバイスを携帯端末２２０に通知する。初期使用デバイス選定部２７１０は、デバイス情報受信部５０６が接続されたデバイスから受信したデバイス情報を参照して、初期使用デバイスを選定して作業アプリケーション実行部５０８に伝える。

（指示履歴ＤＢ）
図２８は、本実施形態に係る指示履歴ＤＢ２６０２の特徴ある構成を示す図である。ここで、指示履歴ＤＢ２６０２は、図９Ａ〜図９Ｅに示した指示履歴ＤＢ３０２に対して追加されるデータベースの構成を示すものである。なお、指示履歴ＤＢ２６０２の構成は図２８に限定されない。

指示履歴ＤＢ２６０２は、作業アプリケーションＩＤ２８０１に対して、異なる接続デバイス組２８０２と各組の成功率２８０３とを格納する。履歴を蓄積するにつれて成功率により適切な組合せが学習される。なお、作業環境などの他の条件を追加して、履歴を蓄積してもよい。

（準備デバイス判定テーブル）
図２９は、本実施形態に係る準備デバイス判定テーブル２９００の構成を示す図である。準備デバイス判定テーブル２９００は、作業情報と選定された作業アプリケーションとに対応して接続デバイスを選定するためのテーブルであり、接続デバイス選定部２７０８や初期使用デバイス選定部２７１０で使用される。

準備デバイス判定テーブル２９００は、作業情報２９０１と選定された作業アプリケーションＩＤ２９０２とを対応付けて、選定した接続デバイス組２９０３を記憶する。

（初期設定処理）
図３０は、本実施形態に係る初期設定処理（Ｓ１６０３−２）の手順を示すフローチャートである。このフローチャートは、図１６のＳ１６０３に置き換えられて、図１１のＣＰＵ１１１０がＲＡＭ１１４０を使用して実行し、図２７の機能構成部を実現する。なお、図３０において、図１７Ａと同様のステップには同じステップ番号を付して、説明は省略する。

ＣＰＵ１１１０はステップＳ３０１１において、作業情報に基づいて作業アプリケーションを選定する。次に、ＣＰＵ１１１０はステップＳ３０１３において、選定した作業アプリケーションに基づき指示履歴ＤＢ２６０２を参照して、接続デバイスを選定して、携帯端末２２０に通知する。

ＣＰＵ１１１０はステップＳ３０１５において、デバイスの接続によりデバイスから送信されるデバイス情報の受信を待つ。デバイス情報を受信すると、ＣＰＵ１１１０はステップＳ３０１７に進んで、接続されたデバイスから、指示履歴ＤＢ２６０２を参照して初期使用デバイスを選定する。

本実施形態によれば、デバイスの変更時や自動切り替え時に、適切なデバイスがない、あるいは接続されてない状況をあらかじめ回避するので、迅速で好適な指示情報の変更ができる。

［第５実施形態］
次に、本発明の第５実施形態に係る情報処理装置であるクラウドサーバを含むユーザ指示認識システムについて説明する。本実施形態に係るクラウドサーバは、上記第２乃至第４実施形態と比べると、作業や作業者、作業環境などを考慮して、選定されたデバイスからより確実に差別化できる指示情報を選定して作業者に指示する点で異なる。その他の構成および動作は、第２乃至第４実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

すなわち、屋外での作業や構内作業にあわせて、適切なデバイスの選定に加え、選定されたデバイスにおける間違いの少ない指示パターンを、さらに選定するようにする。例えば、屋外での亀裂検査の記録指示において、指示情報の履歴を参照して、音声指示をしつつ首を前に振る動作を対応づけるとミスが多い場合は、それを避けるために、その次の運用にむけて課題を指摘したり、首を反らす動作などのユーザの意志が確認できるうまい組合せパターンを初期選定して提示したりする。さらに、作業中に初期選定した指示パターンの認識精度が低下すると、デバイスは変更せずに認識精度のより高い指示パターンを変更して、ユーザに変更を指示する。

本実施形態によれば、指示情報の選定がデバイスの選定に限定されず、選定されたデバイスでより確実に差別化された指示情報を検出するので、指示情報の抽出および認識の信頼性が高くなり、作業者の指示の認識も確実となる。

《ユーザ指示認識システム》
図３１は、本実施形態に係るクラウドサーバ３１１０を含むユーザ指示認識システム３１００の概要を示す図である。例えば、通電センサを使用して首の動きを指示情報とする場合に、頷く動作を通電センサで検出すると、人間は頷く動作を、指示を意図しない場合にも行なう可能性が高い。そのため、指示を意図しない頷きの動作は指示の誤認識となる。一方、首を後に反らす動作を指示とすれば、首を後に反らす動作は意図的にされる場合が多いため、指示動作として差別化が可能である。

図３１においては、クラウドサーバ３１１０が、野外の作業現場におけるユーザである作業者の指示を認識するための、スマートフォンである携帯端末２２０に接続したデバイスと取得する指示情報を、指示履歴ＤＢを参照して選定する。そして、クラウドサーバ３１１０は、携帯端末２２０に接続したデバイスからの指示情報の信頼性を判定し、信頼性低下があれば、デバイスから取得する指示情報を変更する。

図３１において、携帯端末２２０の表示画面２２０ｍからユーザが作業情報を入力して、クラウドサーバ３１１０に通知する。クラウドサーバ３１１０は、指示履歴ＤＢを参照して、作業者の指示を認識するための接続すべきデバイスを選定し、携帯端末２２０の表示画面２２０ｎに提示する。さらに、クラウドサーバ３１１０は、指示履歴ＤＢを参照して、接続すべきデバイスから取得すべき指示情報を選定し、携帯端末２２０の表示画面２２０ｐに提示する。すなわち、地盤調査などで情報記録装置に必要な記録をする場合の情報記録指示において、認識の成功率がより高い検出情報の組合せとして、記録開始指示を作業者の音声「はい(hai)」と「首を反らす」動作の組合せで行ない、記録終了指示を作業者の音声「よし(yoshi)」と「首を反らす」動作の組合せで行なうことが、クラウドサーバ３１１０により初期選定される。携帯端末２２０の表示画面２２０ｑには、作業者の現在の指示入力として、マイクからの入力音声と通電センサからの動作情報による首の動作とが使用されていることが表示されている。

ここで、音声入力の「はい」と「よし」との組合せの信頼性が低下したとすると、クラウドサーバ３１１０は、指示履歴ＤＢの指示履歴を参照して、携帯端末２２０の表示画面２２０ｒのように、イヤホンマイク２３０から取得する指示情報として音声入力を「はじめ(hajime)」と「よし」に変更する。なお、記録開始の音声入力「はい」から「はじめ」への変更は、指示入力の言葉の信頼性の向上（他の目的では使用しない言葉の使用）や、記録開始と終了との間の音声入力の差別化などを、指示履歴ＤＢを参照して判定して選定する。

一方、動作入力の「首を反らす」指示の信頼性が低下すると、クラウドサーバ３１１０は、携帯端末２２０の表示画面２２０ｓのように、「首を続けて２回反らす」動作入力を選定して、作業者の指示情報として指示する。「首を反らす」指示の信頼性低下は、例えば、作業者の癖で首が反るような動作が頻繁に発生する場合などがある。また、「首を続けて２回反らす」動作入力への変更は、２回続ければ作業者の指示の意図がより明確に把握されるためである。

上記指示情報の信頼性低下の判定と指示情報の変更とは一例であって、本実施形態のように指示履歴を蓄積することにより、同様の信頼性回復が種々の接続デバイスに対しても可能である。

《クラウドサーバの機能構成》
図３２は、本実施形態に係るクラウドサーバ３１１０の機能構成を示すブロック図である。なお、図３２において、特に図２７と同様な機能構成部には同じ参照番号を付して、説明は省略する。また、図３２では、本実施形態の図２７からの変更部分を示し、他の機能構成部は省略している。

指示情報選定部３２０８は、選定された接続デバイスとの組合せとして、指示履歴ＤＢ３２０２を参照して、より確実に指示情報を取得できる差別化可能な指示情報を選定する。指示情報提示部３２０９は、選定された指示情報を初期指示情報として携帯端末２２０に通知する。しかしながら、信頼性判定部３０４が指示情報の信頼性低下を判定すると、指示情報変更部３２１０が接続デバイスを変更せずに取得する指示情報を変更する。指示情報提示部３２０９は、指示情報の変更も携帯端末２２０に通知する。このようにして、接続デバイスと取得する指示情報との適切な組が学習される。

（指示履歴ＤＢ）
図３３は、本実施形態に係る指示履歴ＤＢ３２０２の特徴ある構成を示す図である。ここで、指示履歴ＤＢ３２０２は、図９Ａ〜図９Ｅに示した指示履歴ＤＢ３０２および図２８に示した指示履歴ＤＢ２６０２に対して追加されるデータベースの構成を示すものである。なお、指示履歴ＤＢ３２０２の構成は図３３に限定されない。

指示履歴ＤＢ３２０２は、初期の作業内容に基づいて選定された接続デバイスにおいて、作業内容における指示情報をより確実に認識できる検出情報を選定するための検出情報選定領域３３１０を有する。また、指示履歴ＤＢ３２０２は、作業中の指示情報の認識率の経過を格納して、信頼性低下時に検出情報を変更するための指示認識経過領域３３２０を有する。

指示履歴ＤＢ３２０２の検出情報選定領域３３１０は、作業アプリケーションＩＤ３３１１で使用する接続デバイス３３１２に対して、指示情報とその指示情報を認識する検出情報との組３３１３を格納する。そして、検出情報選定領域３３１０は、各指示情報と検出情報との組３３１３の使用による認識の成功率３３１４、失敗率３３１５、そして、その結果の使用優先順位３３１６を格納する。

指示履歴ＤＢ３２０２の指示認識経過領域３３２０は、作業アプリケーションＩＤ３３２１の複数の指示コマンドＩＤ３３２２に対して、異なる接続デバイスと取得する指示情報との組３３２３を格納する。そして、指示認識経過領域３３２０は、各接続デバイスと取得する指示情報との組３３２３の使用による認識の成功率３３２４、失敗率３３２５、そして、その結果の使用優先順位３３２６を格納する。本例においては、記録開始指示を表わす「はい」と「首を反らす」との組合せの信頼性が低下したので、「はじめ」と「首を反らす」との組合せに変更する。なお、「はい」と「首を反らす」との組合せの信頼性低下の原因としては、例えば、ユーザの発声の癖や、マイクの感度や特性、あるいは周囲環境などによる、「はい」の認識率の低下や、「はい」と「よし」との識別精度の低下などが考えられる。

（指示情報選別テーブル）
図３４は、本実施形態に係る指示情報選別テーブル３４００の構成を示す図である。指示情報選別テーブル３４００は、指示情報の選定のため、あるいは指示情報の信頼性低下時に指示情報の変更のためのテーブルであり、指示情報選定部３２０８や指示情報変更部３２１０において使用される。

指示情報選別テーブル３４００は、作業アプリケーションＩＤ３４０１に対して複数の指示コマンドＩＤ３４０２を記憶する。そして、各指示コマンドＩＤ３４０２に対応付けて、認識の成功回数と失敗回数を有する接続デバイスと指示情報の初期組３４０３と、代替した第１組３４０４、…、代替した第ｎ組３４０５を記憶する。

（初期設定処理）
図３５Ａは、本実施形態に係る初期設定処理（Ｓ１６０３−３）の手順を示すフローチャートである。このフローチャートは、図１６のＳ１６０３に置き換えられて、図１１のＣＰＵ１１１０がＲＡＭ１１４０を使用して実行し、図３２の機能構成部を実現する。なお、図３５Ａにおいて、図１７Ａおよび図３０と同様のステップには同じ参照番号を付して、説明は省略する。

ＣＰＵ１１１０はステップＳ３５１１において、指示情報の初期選定を行ない携帯端末２２０に通知する。本例において、ＣＰＵ１１１０は、記録開始指示を表わすためには「はい」と「首を反らす」との組合せを選定して、携帯端末２２０に通知する。また、ＣＰＵ１１１０は、記録終了指示を表わすためには「よし」と「首を反らす」との組合せを選択して、携帯端末２２０に通知する。ここで、マイクにおける認識精度は、特に音声認識の成功率による。一方、通電センサにおいける認識精度において、「頷く」動作は記録指示に限らずユーザが他の状況でも行なう可能性が高いので、紛らわしくて選別の役割が低下する。これに対して、「首を反らす」動作はユーザが記録指示であることを意識的に伝える意志がなければ、余り発生しない動作である。したがって、「首を反らす」動作の方が、「頷く」動作よりもユーザ指示であることを選別する役割が向上することになる。

（信頼性判定処理）
図３５Ｂは、本実施形態に係る信頼性判定処理（Ｓ１６０９−２）の手順を示すフローチャートである。このフローチャートは、図１６のＳ１６０９に置き換えられて、図１１のＣＰＵ１１１０がＲＡＭ１１４０を使用して実行し、図３２の機能構成部を実現する。なお、図３５Ｂにおいて、図１７Ｃと同様のステップには同じ参照番号を付して、説明は省略する。

ＣＰＵ１１１０はステップＳ３５３８において、指示情報の識別精度の低下を判定する。そして、識別精度の低下を判定すると、ＣＰＵ１１１０はステップＳ１７３９に進んで、対応する指示情報の信頼性低下フラグをＯＮにする。

本実施形態によれば、指示情報の選定がデバイスの選定に限定されず、選定されたデバイスでより確実に差別化された指示情報を検出するので、指示情報の抽出および認識の信頼性が高くなり、作業者の指示の認識も確実となる。

［他の実施形態］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。

Claims (21)

1. ユーザから検出される少なくとも２つの異なる指示情報の履歴を、該ユーザの指示に対応付けて蓄積する指示履歴蓄積手段と、
   指示情報を受信する指示情報受信手段と、
   前記指示情報の履歴を参照して、前記受信した指示情報からユーザの指示を認識する指示認識手段と、
   前記指示情報の履歴を参照して、前記受信した指示情報の信頼性を判定する信頼性判定手段と、
   前記信頼性判定手段が前記受信した指示情報の信頼性が低下したと判定した場合に、前記指示情報の履歴を参照して、受信する指示情報を他の指示情報に変更する指示情報変更手段と、
   を備える情報処理装置。
2. 前記指示履歴蓄積手段は、前記指示情報の履歴と前記指示情報の信頼性の低下とを関連付けて蓄積し、
   前記信頼性判定手段は、前記受信した指示情報の履歴が前記信頼性の低下と関連付けて蓄積された指示情報の履歴に相当する場合に、前記指示情報の信頼性が低下したと判定する請求項１に記載の情報処理装置。
3. 前記指示履歴蓄積手段は、指示情報を他の指示情報に変更した履歴を蓄積し、
   前記指示情報変更手段は、前記変更した履歴に基づいて、前記変更する他の指示情報を選定する請求項１または２に記載の情報処理装置。
4. 前記指示情報変更手段は、選定した他の指示情報を受信すべく、前記ユーザに対して前記他の指示情報の検出への変更を指示する変更指示手段を有する請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記指示情報変更手段は、選定した他の指示情報を受信すべく、前記指示情報受信手段を制御する受信制御手段を有し、
   前記指示認識手段は、受信した前記他の指示情報に基づいて、前記ユーザの指示を認識する請求項１乃至３のいずれか１項に記載の情報処理装置。
6. 前記指示情報変更手段は、指示情報を他の検出デバイスから受信することにより、前記他の指示情報に変更する請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記指示認識手段は、
   前記受信した指示情報から前記ユーザから検出した指示情報を抽出する指示情報抽出手段と、
   前記指示情報の履歴に基づいて、前記抽出した指示情報の指示内容を判別する指示内容判別手段と、
   を有し、
   前記指示情報変更手段は、前記指示情報抽出手段により抽出する指示情報を変更することにより、前記他の指示情報に変更する請求項１乃至５のいずれか１項に記載の情報処理装置。
8. 前記指示履歴蓄積手段は、ユーザが指示情報を検出する時の環境情報と、前記ユーザの指示を認識するために受信すべき指示情報とを関連付けて蓄積し、
   前記ユーザから前記環境情報を受信する環境情報受信手段と、
   前記受信した環境情報に対応して前記指示履歴蓄積手段に蓄積された受信すべき指示情報を前記ユーザに提示する指示情報提示手段と、
   をさらに備える請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記指示情報受信手段は、携帯端末に接続した検出デバイスが検出した指示情報を、前記携帯端末を介して受信する請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記指示履歴蓄積手段は、前記検出デバイスに対応付けて前記検出デバイスのためのデバイスドライバを蓄積し、
    前記携帯端末に接続した検出デバイスに対応して、使用するデバイスドライバを選定するドライバ選定手段をさらに有する請求項９に記載の情報処理装置。
11. ユーザから検出される複数の指示情報は、前記ユーザの音声情報と、前記ユーザの映像情報と、前記ユーザの動作情報とを含み、
    前記ユーザの動作情報は、前記ユーザの筋肉の動作を検出する通電センサにより検出された情報を含む請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記ユーザの指示は、情報記録装置による情報記録の開始指示と終了指示とを含み、
    前記情報記録装置に対して、前記指示認識手段が認識した前記開始指示から前記終了指示の間の情報記録を指示する情報記録指示手段をさらに備える請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 指示情報を受信する指示情報受信ステップと、
    ユーザの指示に対応付けて蓄積される、前記ユーザから検出された少なくとも２つの異なる指示情報の履歴を参照して、前記受信した指示情報から前記ユーザの指示を認識する指示認識ステップと、
    前記指示情報の履歴を参照して、前記受信した指示情報の信頼性を判定する信頼性判定ステップと、
    前記信頼性判定ステップにおいて前記受信した指示情報の信頼性が低下したと判定した場合に、前記指示情報の履歴を参照して、受信する指示情報を他の指示情報に変更する指示情報変更ステップと、
    を含む情報処理装置の制御方法。
14. 指示情報を受信する指示情報受信ステップと、
    ユーザの指示に対応付けて蓄積される、前記ユーザから検出された少なくとも２つの異なる指示情報の履歴を参照して、前記受信した指示情報から前記ユーザの指示を認識する指示認識ステップと、
    前記指示情報の履歴を参照して、前記受信した指示情報の信頼性を判定する信頼性判定ステップと、
    前記信頼性判定ステップにおいて前記受信した指示情報の信頼性が低下したと判定した場合に、前記指示情報の履歴を参照して、受信する指示情報を他の指示情報に変更する指示情報変更ステップと、
    をコンピュータに実行させる情報処理装置の制御プログラム。
15. ユーザの指示を検出するための検出デバイスを接続する接続コネクタと、
    前記接続コネクタに接続された検出デバイスが検出した指示情報を、前記ユーザの指示を認識する情報処理装置に送信する指示情報送信手段と、
    前記情報処理装置から、送信した指示情報の信頼性の低下に対応して、前記指示情報を他の指示情報の送信に変更する通知を受信する変更通知受信手段と、
    前記接続コネクタに変更された前記他の指示情報を検出する検出デバイスが接続したことを、前記情報処理装置に通知する接続通知手段と、
    を備える携帯端末。
16. 前記接続通知手段は、前記接続した検出デバイスの識別情報を前記情報処理装置に通知し、
    前記接続した検出デバイスに対応し、前記情報処理装置が選定して送信したデバイスドライバを受信して実行するドライバ受信手段をさらに有する請求項１５に記載の携帯端末。
17. 前記検出デバイスは、前記ユーザの音声情報を検出するマイクと、前記ユーザの映像情報を検出するカメラと、前記ユーザの動作情報を検出する前記ユーザの筋肉の動作を検出する通電センサとを含む請求項１５または１６に記載の携帯端末。
18. ユーザの指示を検出するための検出デバイスを接続する接続コネクタを有する携帯端末の制御方法であって、
    前記接続コネクタに接続された検出デバイスが検出した指示情報を、前記ユーザの指示を認識する情報処理装置に送信する指示情報送信ステップと、
    前記情報処理装置から、送信した指示情報の信頼性の低下に対応して、前記指示情報を他の指示情報の送信に変更する通知を受信する変更通知受信ステップと、
    前記接続コネクタに変更された前記他の指示情報を検出する検出デバイスが接続したことを、前記情報処理装置に通知する接続通知ステップと、
    を含む携帯端末の制御方法。
19. ユーザの指示を検出するための検出デバイスを接続する接続コネクタを有する携帯端末の制御プログラムであって、
    前記接続コネクタに接続された検出デバイスが検出した指示情報を、前記ユーザの指示を認識する情報処理装置に送信する指示情報送信ステップと、
    前記情報処理装置から、送信した指示情報の信頼性の低下に対応して、前記指示情報を他の指示情報の送信に変更する通知を受信する変更通知受信ステップと、
    前記接続コネクタに変更された前記他の指示情報を検出する検出デバイスが接続したことを、前記情報処理装置に通知する接続通知ステップと、
    をコンピュータに実行させる携帯端末の制御プログラム。
20. ユーザから検出される少なくとも２つの異なる指示情報の履歴を、該ユーザの指示に対応付けて蓄積する指示履歴蓄積手段と、
    指示情報を検出する少なくとも２つの検出手段と、
    前記指示情報の履歴を参照して、前記少なくとも２つの検出手段が検出した指示情報から前記ユーザの指示を認識する指示認識手段と、
    前記指示情報の履歴を参照して、前記指示情報の信頼性を判定する信頼性判定手段と、
    前記信頼性判定手段が前記指示情報の信頼性が低下したと判定した場合に、前記指示情報の履歴を参照して、前記指示情報を他の指示情報に変更する指示情報変更手段と、
    を備えるユーザ指示認識システム。
21. 少なくとも２つの検出手段によってユーザから少なくとも２つの異なる指示情報を検出する検出ステップと、
    ユーザの指示に対応付けて蓄積される、前記ユーザから検出された少なくとも２つの異なる指示情報の履歴を参照して、前記少なくとも２つの検出手段が検出した指示情報から前記ユーザの指示を認識する指示認識ステップと、
    前記指示情報の履歴を参照して、前記指示情報の信頼性を判定する信頼性判定ステップと、
    前記信頼性判定ステップにおいて前記指示情報の信頼性が低下したと判定した場合に、前記指示情報の履歴を参照して、前記指示情報を他の指示情報に変更する指示情報変更ステップと、
    を含むユーザ指示認識方法。

Images