JP2019204282A - サーバ、システム、方法、及びプログラム - Google Patents

Abstract

【課題】ウェアラブル端末で作業時刻とサーバで計時される時刻との整合性が低いデータが生成される場合がある。【解決手段】作業に関する画像がウェアラブル端末で表示されたときにウェアラブル端末で計時された第１の時刻及び作業の作業結果をウェアラブル端末が作業者から取得したときにウェアラブル端末で計時された第２の時刻の少なくとも一方の時刻を示す情報と、第１の時刻から第２の時刻までの時間を示す情報と、作業結果とを含む作業結果情報を、ウェアラブル端末から受信する作業結果受信部と、第１の時刻又は第２の時刻がサーバで管理されている時刻と整合する場合に、第１の時刻及び第２の時刻の少なくとも一方の時刻、時間、及び作業結果を出力し、第１の時刻又は第２の時刻がサーバで管理されている時刻と整合しない場合に、第１の時刻及び第２の時刻の少なくとも一方の時刻をマスクする。【選択図】図１６

Description

本発明は、サーバ、システム、方法、及びプログラムに関する。

ヘッドマウントディスプレイを備えるウェアラブル注文端末として、注文受付時に注文内容を含む注文画面をヘッドマウントディスプレイに表示し、注文終了時に注文画面を消去するものが知られている（例えば特許文献１参照）。
特許文献１ 特開２０１１−４８４３９号公報

作業者が作業に要した作業時間を管理することが望まれる場合がある。作業時間をウェアラブル端末で計時し、当該作業時間をサーバで収集するシステムにおいては、例えば、ウェアラブル端末で計時される時刻とサーバで計時される時刻との整合性が低い場合があり得る。このような場合、不整合な時刻データを含む管理データが生成される場合がある。

第１の態様において、作業者の頭部に装着されるウェアラブル端末を通じて、作業に関する画像を作業者に提供するためのサーバが提供される。サーバは、作業に関する画像がウェアラブル端末で表示されたときにウェアラブル端末で計時された第１の時刻及び作業の作業結果をウェアラブル端末が作業者から取得したときにウェアラブル端末で計時された第２の時刻の少なくとも一方の時刻を示す情報と、画像がウェアラブル端末で表示されてからウェアラブル端末が作業者から作業結果を取得するまでの時間を示す情報と、作業結果とを含む作業結果情報を、ウェアラブル端末から受信する作業結果受信部を備えてよい。サーバは、第１の時刻及び第２の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合する場合に、第１の時刻及び第２の時刻の少なくとも一方の時刻、時間、及び作業結果を出力し、第１の時刻及び第２の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合しない場合に、第１の時刻及び第２の時刻の少なくとも一方の時刻をマスクして、時間及び作業結果を出力する結果出力部を備えてよい。

作業は複数の作業項目を含んでよい。作業結果情報は、複数の作業項目のそれぞれについて、それぞれの作業項目に関する画像がウェアラブル端末で表示されたときにウェアラブル端末で計時された第１の時刻及びそれぞれの作業項目の作業結果をウェアラブル端末が作業者から取得したときにウェアラブル端末で計時された第２の時刻の少なくとも一方の時刻を示す情報と、それぞれの作業項目に関する画像がウェアラブル端末で表示されてからウェアラブル端末が作業者から作業結果を取得するまでの時間を示す情報と、作業結果とを含んでよい。結果出力部は、第１の時刻及び第２の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合する作業項目について、第１の時刻及び第２の時刻の少なくとも一方の時刻、時間、及び作業結果を出力してよい。結果出力部は、第１の時刻及び第２の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合しない作業項目について、第１の時刻及び第２の時刻の少なくとも一方の時刻をマスクして、時間及び作業結果を出力してよい。

作業結果情報は、複数の作業項目のそれぞれについて、それぞれの作業項目に関する画像がウェアラブル端末で表示されたときにウェアラブル端末で計時された第１の時刻を示す情報と、それぞれの作業項目の作業結果をウェアラブル端末が作業者から取得したときにウェアラブル端末で計時された第２の時刻を示す情報と、第１の時刻から第２の時刻までの時間を示す情報と、作業結果とを含んでよい。結果出力部は、第１の時刻及び第２の時刻がサーバで管理されている時刻と整合する作業項目について、第１の時刻、第２の時刻、時間、及び作業結果を出力してよい。第１の時刻及び第２の時刻の少なくともいずれかの時刻がサーバで管理されている時刻と整合しない作業項目について、第１の時刻及び第２の時刻をマスクして、時間及び作業結果を出力してよい。

複数の作業項目は作業対象毎に設定されてよい。サーバは、作業対象毎に、作業対象に設定された複数の作業項目にわたる時間の合計値を算出する合計時間算出部を備えてよい。結果出力部は、作業対象に対応づけて、合計時間算出部が算出した合計値をさらに出力してよい。

サーバは、現在時刻を管理する時刻管理部を備えてよい。サーバは、ウェアラブル端末から受信した作業者の認証情報に基づいて作業者を認証するとともに、ウェアラブル端末において計時される時刻を現在時刻に合わせる時刻合わせをウェアラブル端末に実行させる時刻制御部を備えてよい。

第１の時刻及び第２の時刻の少なくとも一方の時刻と現在時刻との差が予め定められた値より大きい場合に、第１の時刻及び第２の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合していないと判断する判断部を備えてよい。

第２の態様において、システムは、上記のサーバを備えてよい。システムは、上記のウェアラブル端末を備えてよい。

ウェアラブル端末は、作業者の音声を取得する音声取得部を備えてよい。ウェアラブル端末は、音声によって作業結果が入力された場合に、第１の時刻から第２の時刻までの時間を取得し、作業結果情報をサーバに送信し、作業結果が入力された作業の次の作業に関する画像を表示してよい。

ウェアラブル端末は、ウェアラブル端末の電源が投入される毎に、ウェアラブル端末に予め設定されている固定時刻から計時を開始し、サーバにより作業者が認証された場合に、ウェアラブル端末において計時される時刻をサーバで管理されている現在時刻に合わせる開始処理部を備えてよい。

ウェアラブル端末は、作業結果情報を記憶する作業結果記憶部を備えてよい。ウェアラブル端末は、作業者から作業結果が入力された場合に、サーバにより作業者が認証され、かつ、サーバと通信可能であることを条件として、作業結果情報をサーバに出力する作業結果出力部を備えてよい。作業結果出力部は、サーバにより作業者が認証されていない場合又はサーバと通信可能でない場合には、作業結果情報を作業結果記憶部に出力し、作業結果情報が作業結果記憶部に出力された後、サーバにより作業者が認証された場合に、作業結果記憶部に記憶されている作業結果情報をサーバに送信してよい。

第３の態様において、作業者の頭部に装着されるウェアラブル端末を通じて、作業に関する画像を作業者に提供する方法が提供される。方法は、作業に関する画像がウェアラブル端末で表示されたときにウェアラブル端末で計時された第１の時刻及び作業の作業結果をウェアラブル端末が作業者から取得したときにウェアラブル端末で計時された第２の時刻の少なくとも一方の時刻を示す情報と、画像がウェアラブル端末で表示されてからウェアラブル端末が作業者から作業結果を取得するまでの時間を示す情報と、作業結果とを含む作業結果情報を、ウェアラブル端末から受信する段階を備えてよい。方法は、第１の時刻及び第２の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合する場合に、第１の時刻及び第２の時刻の少なくとも一方の時刻、時間、及び作業結果を出力し、第１の時刻及び第２の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合しない場合に、第１の時刻及び第２の時刻の少なくとも一方の時刻をマスクして、時間及び作業結果を出力する段階を備えてよい。

第４の態様において、作業者の頭部に装着されるウェアラブル端末を通じて、作業に関する画像を作業者に提供するためのプログラムが提供される。プログラムは、コンピュータを、作業に関する画像がウェアラブル端末で表示されたときにウェアラブル端末で計時された第１の時刻及び作業の作業結果をウェアラブル端末が作業者から取得したときにウェアラブル端末で計時された第２の時刻の少なくとも一方の時刻を示す情報と、画像がウェアラブル端末で表示されてからウェアラブル端末が作業者から作業結果を取得するまでの時間を示す情報と、作業結果とを含む作業結果情報を、ウェアラブル端末から受信する作業結果受信部として機能させてよい。プログラムは、コンピュータを、第１の時刻及び第２の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合する場合に、第１の時刻及び第２の時刻の少なくとも一方の時刻、時間、及び作業結果を出力し、第１の時刻及び第２の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合しない場合に、第１の時刻及び第２の時刻の少なくとも一方の時刻をマスクして、時間及び作業結果を出力する結果出力部として機能させてよい。

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

一実施形態における作業支援システム１００の概略的な構成を示す。 ウェアラブル端末１０の機能ブロック構成を概略的に示す。 サーバ８０の機能ブロック構成を概略的に示す。 ウェアラブル端末１０による点検支援処理の全体を示すフローチャートである。 ログイン画面５００の一例を示す。 ウェアラブル端末１０によるログイン処理を示すフローチャートである。 ウェアラブル端末１０による点検支援処理を示すフローチャートである。 点検画面８００の一例を示す。 音声コマンド一覧が表示されている状態の点検画面９００の一例を示す。 ウェアラブル端末１０において作業者４０から音声で指示を取得する処理を表すフローチャートである。 対応情報として記憶される情報をテーブル形式で示す。 対応情報を生成するための事前学習データの一例を示す。 サーバ８０において作業者４０の指示を特定する処理を表すフローチャートである。 対応情報の更新処理を表すフローチャートである。 サーバ８０がウェアラブル端末１０から収集した点検結果データに基づく点検結果の表示画面の一例を示す。 点検結果データに基づく点検結果の表示画面の他の一例を示す。 ウェアラブル端末１０からダウンロードされる点検項目毎の点検結果データの一例を示す。 ウェアラブル端末１０からダウンロードされる点検対象毎の点検結果データの一例を示す。 ウェアラブル端末１０からダウンロードされる点検項目毎の点検結果データの他の一例を示す。 ウェアラブル端末１０からダウンロードされる点検対象毎の点検結果データの他の一例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態における作業支援システム１００の概略的な構成を示す。作業支援システム１００は、サーバ８０と、音声認識サーバ８２と、ウェアラブル端末１０ａ及びウェアラブル端末１０ｂとを備える。ウェアラブル端末１０ａは、作業者４０ａの頭部４２ａに装着される。ウェアラブル端末１０ｂは、作業者４０ｂの頭部４２ｂに装着される。

ウェアラブル端末１０ａ及びウェアラブル端末１０ｂは、同一の構成を有している。ウェアラブル端末１０ａ及びウェアラブル端末１０ｂを総称する場合に、「ウェアラブル端末１０」という場合がある。ウェアラブル端末１０の機能を説明する場合に、ウェアラブル端末１０ａのみを取り上げて説明する場合がある。また、作業者４０ａ及び作業者４０ｂを総称する場合に、「作業者４０」という場合がある。

作業支援システム１００は、ウェアラブル端末１０を通じて作業者４０に画像を提供するためのシステムの一例である。本実施形態では、作業の一例として、点検作業を取り上げて、作業支援システム１００の機能を具体的に説明する。具体的には、作業者４０が設備の点検を行う作業者であるとする。

作業支援システム１００は、作業者４０が行う点検を支援するための画像を提供する。具体的には、作業支援システム１００は、ウェアラブル端末１０を通じて、複数の点検項目を含む点検に関する画像を作業者４０に提供する。ウェアラブル端末１０は、例えば、点検作業現場において使用されてよい。作業としては、設備や物品の点検作業の他に、物品の組み立て作業、介護、教育、事務作業等、様々な作業を含み得る。

サーバ８０及びウェアラブル端末１０は、ネットワーク９０を通じて通信可能に接続されている。ネットワーク９０は、インターネット、ＬＡＮ、ＷＡＮ、公衆回線網、専用回線網等、様々な形態のネットワークを含み得る。

ウェアラブル端末１０ａは、本体部１１ａと、表示部１２ａを有する。ウェアラブル端末１０ａは、本体部１１ａが作業者４０ａの耳部に装着されることにより、作業者４０ａの頭部４２ａに装着され得る。ウェアラブル端末１０ａは、本体部１１ａが作業者４０ａの眼鏡に装着されることにより、作業者４０ａの頭部４２ａに装着され得る。ウェアラブル端末１０ａは、眼鏡型の端末であってよい。ウェアラブル端末１０ａは、いわゆるアイウエアであってよい。

ウェアラブル端末１０は、１つの点検作業に含まれる１以上の点検項目の内容を、サーバ８０から取得して記憶する。点検項目としては、例えば、「キズ・欠けはないか」等、良否の点検結果を入力するための項目を含み得る。その他、点検項目としては、「長さを確認」等、数値の点検結果を入力するための項目や、「型番を入力」等、文字の点検結果を入力するための項目を含み得る。

ウェアラブル端末１０は、１以上の点検項目の内容を表示部１２に順次に表示する。作業者４０は、表示部１２に表示された点検項目に従って、順次に点検を行う。作業者４０は、点検結果を音声で入力する。また、作業者４０は、ウェアラブル端末１０に対する指示を音声で入力する。

例えば、作業者４０は、「写真」という音声を発することで、ウェアラブル端末１０に写真撮影を行わせることができる。また、作業者４０は、「実績」という音声を発することで、過去の点検で行われた点検結果や写真を表示部１２に表示させることができる。また、作業者４０は、「ＯＫ」「ＮＧ」という音声を発することで、良否の点検結果をウェアラブル端末１０に入力することができる。作業者４０は、数値や単位を発することで、測定値などの点検結果をウェアラブル端末１０に入力することができる。

ウェアラブル端末１０は、作業者４０が発した音声により生成された音声データを、ネットワーク９０を通じてサーバ８０に送信して、指示や点検結果を示す文字列をサーバ８０から取得する。サーバ８０は、ウェアラブル端末１０から受信した音声データを音声認識サーバ８２に送信して、音声認識サーバ８２による音声認識により得られた文字列を受信する。サーバ８０は、音声認識サーバ８２から受信した文字列に対応づけられた指示を、ウェアラブル端末１０に送信する。

例えば、サーバ８０は、「実績」の指示に対応づけて、「じっせき」の他に、「じいせき」や「じせき」等の文字列を記憶している。これにより、音声認識により得られた文字列が「じいせき」又は「じせき」である場合であっても、「実績」の指示をウェアラブル端末１０に送信する。これにより、ユーザ毎の発音の違いや周囲の外乱等により、同じ指示の音声認識結果が異なってしまっても、正しい指示を取得できる可能性を高めることができる。

また、ウェアラブル端末１０は、作業者４０が点検を開始した点検開始時刻、作業者４０が点検を終了した時刻である点検終了時刻、作業者４０が点検に要した時間である点検時間を計時する。ウェアラブル端末１０は、ウェアラブル端末１０自身の内部時計により、点検開始時刻、点検終了時刻、及び点検時間を計時する。ウェアラブル端末１０は、作業者４０から入力された点検結果をサーバ８０に送信する場合、点検開始時刻、点検終了時刻、及び点検時間もサーバ８０に送信する。

サーバ８０は、点検結果、点検開始時刻、点検終了時刻、及び点検時間を含む点検結果データを外部に提供する場合、ウェアラブル端末１０の内部時計がサーバ８０に対して時刻合わせされていない状態で点検結果が入力された作業については、点検開始時刻及び点検終了時刻のデータを「−−−−」等の文字列でマスクする。これにより、ウェアラブル端末１０の内部時計が時刻合わせしていない状態で取得された時刻情報を、適切な形態で出力することができる。例えば、ウェアラブル端末１０は、電源ＯＦＦ時に内部時計の動作を維持する電池を有しない。この場合、電源を一旦ＯＦＦした後に電源ＯＮすると、ウェアラブル端末１０の工場出荷時や直前の電源ＯＦＦ時の固定日時に内部時計がリセットされる。そのため、点検開始時刻及び点検終了時刻については正確な値に得ることはできない。しかし、点検時間については比較的に正確な値を得ることができる。ウェアラブル端末１０によれば、ウェアラブル端末１０の内部時計がサーバ８０に対して時刻合わせされていない状態で点検結果が入力された作業については、点検開始時刻及び点検終了時刻をマスクするので、正確でない値が管理データとして提供されることを抑制することができる。

図２は、ウェアラブル端末１０の機能ブロック構成を概略的に示す。ウェアラブル端末１０は、表示部１２と、撮像部２０２と、マイク２０５と、操作部材２０７と、制御部２００と、記憶部２１０と、通信部２９０とを備える。

制御部２００は、マイクロプロセッサ等の演算装置であってよい。記憶部２１０は、フラッシュメモリ等の不揮発性の記憶装置やＲＡＭ等の揮発性の記憶装置であってよい。記憶部２１０は、ウェアラブル端末１０の動作の各段階を実行させるためのプログラムを格納する。ウェアラブル端末１０の機能は主として、制御部２００が当該プログラムを実行することにより実現される。プログラムは、記録媒体に記録されて記憶部２１０に提供される。通信部２９０は、ウェアラブル端末１０におけるネットワーク９０を通じた通信機能を担う。

表示部１２は、ウェアラブル端末１０が作業者４０の頭部４２に装着された場合に、作業者４０の視方向に表示面が対向するように設けられる。撮像部２０２は、ウェアラブル端末１０が作業者４０の頭部４２に装着された場合に、撮像部２０２の撮像光軸が作業者４０の視方向に沿うように設けられる。

マイク２０５は、作業者４０の音声を取得する。マイク２０５は、ウェアラブル端末１０が作業者４０の頭部４２に装着された場合に、作業者４０の口元近くに移動可能なように、柔軟性を持つ支持部材を介してウェアラブル端末１０に取り付けられる。操作部材２０７は、ボタン等の物理的な部材である。操作部材２０７は、作業者４０からの指示を取得することができる。本実施形態では主として、作業者４０が音声により指示する場合を取り上げて説明する。しかし、少なくとも一部の指示を、操作部材２０７を用いて行うことができる。

制御部２００は、計時部２０４、開始処理部２０８、表示制御部２２０、無効化部２３０、利用頻度取得部２３２、取消頻度取得部２３４、作業結果情報生成部２４０、作業結果出力部２４８、指示取得部２５０、音声取得部２６０、認識結果取得部２７０、音声認識部２７２、及び指示特定部２８０を備える。

音声取得部２６０は、作業者４０の音声を取得する。具体的には、音声取得部２６０は、マイク２０５により取得された音声を取得して、音声データを生成する。音声認識部２７２は、マイク２０５により取得された音声を認識して文字列を生成する。具体的には、音声認識部２７２は、音声取得部２６０が生成した音声データを解析して文字列を生成する。

認識結果取得部２７０は、作業者４０の音声の音声認識によって得られた文字列を取得する。例えば、認識結果取得部２７０は、音声認識部２７２に音声データが出力され、音声認識部２７２による音声認識によって得られた文字列を取得する。通信部２９０が音声認識サーバ８２と通信可能である場合、音声取得部２６０により生成された音声データが、通信部２９０及びネットワーク９０を通じて外部の音声認識サーバ８２に送信される。認識結果取得部２７０は、音声認識サーバ８２による音声認識によって得られた文字列を取得する。

記憶部２１０は、ウェアラブル端末１０に対する指示と複数の文字列とを対応づける対応情報を記憶している。例えば、対応情報は、「じっせき」、「じいせき」、「じせき」等の文字列を、「実績」という指示に対応づける。指示特定部２８０は、対応情報によって認識結果取得部２７０が取得した文字列に対応づけられている指示を、ウェアラブル端末１０に対する指示として特定する。

指示取得部２５０は、サーバ８０と通信可能である場合に、マイク２０５により取得された音声をサーバ８０に送信して、サーバ８０において特定された指示をサーバ８０から受信する。指示取得部２５０は、サーバ８０と通信可能でない場合に、記憶部２１０が記憶している対応情報によって音声認識部２７２が生成した文字列又は音声認識サーバ８２から取得した文字列に対応づけられている指示を、ウェアラブル端末１０に対する指示として取得する。

ウェアラブル端末１０は、複数の点検項目のそれぞれに関連づけられた画像を作業者４０に提供する。例えば、表示制御部２２０は、点検項目で行う点検内容を示す画像を、表示部１２に表示させる。具体的には、表示制御部２２０は、「型番を入力」、「キズ・欠けがないか」等の、点検内容を説明する文字を含む画面を表示部１２に表示させる。「型番を入力」、「キズ・欠けがないか」等は、点検項目の一例である。

記憶部２１０は、複数の点検項目のそれぞれの点検項目に対応づけて、それぞれの点検項目に関連づけられた画像が作業者４０に提供されているときに入力されるべき指示を複数の文字列に対応づける対応情報を記憶する。指示特定部２８０は、ウェアラブル端末１０を通じて作業者４０に提供されている画像が関連づけられた点検項目に対応づけて記憶部２１０が記憶している対応情報によって認識結果取得部２７０が取得した文字列と対応づけられている指示を、ウェアラブル端末１０に対する指示として特定する。これにより、指示特定部２８０は、現在の点検項目において有効な指示のみを特定すればよいので、指示が誤特定される確率を低減することができる。

表示制御部２２０は、指示の一覧を提示する指示に応じて、ウェアラブル端末１０を通じて作業者４０に提供されている画像が関連づけられた点検項目に対応づけて対応情報によって対応づけられている複数の指示の一覧を、作業者４０に提示する。これにより、作業者４０に、現在の作業項目において有効な指示の一覧を提示することができる。

利用頻度取得部２３２は、複数の点検項目のそれぞれについて、それぞれの点検項目に関連づけられた画像が作業者４０に提供されている場合において複数の指示が使用された頻度を取得する。表示制御部２２０は、複数の指示の一覧を使用頻度に応じた順序で作業者４０に表示する。これにより、作業者４０は、頻繁に使用される指示を早く発見することができる。

取消頻度取得部２３４は、対応情報によって指示に対応づけられている複数の文字列のそれぞれについて、指示特定部２８０が特定した指示が作業者４０によって取り消された頻度を取得する。無効化部２３０は、対応情報において、取り消された頻度が予め定められた値以上の文字列と指示との対応づけを無効にする。例えば、取消頻度取得部２３４は、作業者４０からの「ちせき」と認識された音声指示に応じて「実績」の処理を実行した後に、すぐに「もどる」という音声指示を取得した場合に、指示が取消されたと判断して、「ちせき」に対応する取消回数をカウントアップする。

以上に説明したように、ウェアラブル端末１０によれば、作業者が発する言葉のアクセントの違いや周囲の騒音等によって、正規の文字列の認識結果が得られなかった場合でも、認識結果を比較的に高い確率で正規の指示に変換することができる。

次に、点検結果が入力された場合の動作について説明する。表示制御部２２０がある作業項目の画像を表示部１２に最初に表示させた場合、記憶部２１０は計時部２０４で計時される現在時刻を、点検開始時刻として記憶部２１０に記憶する。点検開始時刻は、作業に関する画像が前記ウェアラブル端末１０で表示されたときにウェアラブル端末１０で計時された第１の時刻の一例である。ここで、指示取得部２５０により、点検結果の入力する指示を取得した場合、記憶部２１０は、計時部２０４で計時される現在時刻を、点検終了時刻として記憶部２１０に記憶する。点検終了時刻は、点検結果をウェアラブル端末１０が作業者４０から取得したときにウェアラブル端末１０で計時された第２の時刻の一例である。作業結果情報生成部２４０は、点検開始時刻と、点検終了時刻と、点検開始時刻から点検終了時刻までの時間である点検時間と、入力された点検結果を含む点検結果情報を生成して記憶部２１０に記憶する。記憶部２１０は、点検結果情報を記憶する作業結果記憶部として機能する。通信部２９０は、計時部２０４が生成した点検結果情報を、サーバ８０に送信する。

点検結果情報は、複数の作業項目のそれぞれについて生成される。すなわち、点検結果情報は、複数の作業項目のそれぞれについて、それぞれの作業項目に関する画像がウェアラブル端末１０で表示されたときにウェアラブル端末１０で計時された点検開始時刻と、それぞれの点検項目の点検結果をウェアラブル端末１０が作業者４０から取得したときにウェアラブル端末１０で計時された点検終了時刻と、点検開始時刻から点検終了時刻までの時間である点検時間と、点検結果とを含む。点検時間は、作業項目に関する画像がウェアラブル端末１０で表示されてからウェアラブル端末１０が作業者４０から点検結果を取得するまでの点検時間を示す。

複数の作業項目の作業を行う場合、一つの作業項目の点検結果が入力されると、表示制御部２２０は、次の作業項目に関する画像を表示する。これにより、ウェアラブル端末１０は、作業者４０の音声によって点検結果が入力された場合に、点検開始時刻から点検終了時刻までの時間を取得し、点検結果情報をサーバ８０に送信し、点検結果が入力された作業の次の作業に関する画像を表示する。これにより、次の作業項目の点検時間の計時が開始される。これにより、作業者４０は複数の作業項目の作業を効率的に行いながら、点検時間を管理する情報をサーバ８０に蓄積することができる。

なお、開始処理部２０８は、ウェアラブル端末１０の電源が投入される毎に、ウェアラブル端末１０に予め設定されている固定時刻から計時を開始する。また、開始処理部２０８は、作業者４０から入力される認証情報をサーバ８０に送信し、サーバ８０により作業者４０が認証された場合に、ウェアラブル端末１０において計時される時刻をサーバ８０で管理されている現在時刻に合わせる。固定時刻とは、例えば、１９７０年１月１日０時０分０秒等の基準日時であってよい。固定時刻とは、ウェアラブル端末１０の工場出荷時に設定された時刻であってよい。固定時刻とは、ウェアラブル端末１０が最後に電源ＯＦＦされたときの時刻であってよい。

なお、作業結果出力部２４８は、作業者４０から点検結果が入力された場合に、サーバ８０により作業者４０が認証され、かつ、サーバ８０と通信可能であることを条件として、点検結果情報をサーバ８０に出力する。一方、作業結果出力部２４８は、サーバ８０により作業者４０が認証されていない場合又はサーバ８０と通信可能でない場合には、点検結果情報を記憶部２１０に出力し、点検結果情報が記憶部２１０に出力された後、サーバ８０により作業者４０が認証された場合に、記憶部２１０に記憶されている点検結果情報をサーバ８０に送信する。

図３は、サーバ８０の機能ブロック構成を概略的に示す。サーバ８０は、制御部３００と、記憶部３１０と、通信部３９０とを備える。

制御部３００は、マイクロプロセッサ等の演算装置であってよい。通信部３９０は、サーバ８０におけるネットワーク９０を通じた通信機能を担う。記憶部３１０は、フラッシュメモリやハードディス装置等の不揮発性の記憶装置を含む。記憶部３１０は、ＲＡＭ等の揮発性の記憶装置を含む。サーバ８０用のプログラムは、記録媒体に記録されて記憶部２１０に提供される。

制御部３００は、時刻管理部３０４、認証制御部３２０、無効化部３３０、利用頻度取得部３３２、取消頻度取得部３３４、結果出力部３４０、判断部３４２、合計時間算出部３４４、音声取得部３６０、認識結果取得部３７０、指示特定部３８０、集計部３９２、選択部３９４を備える。

上述したように、ウェアラブル端末１０において、作業刻開始時刻、点検終了時刻及び点検時間と、点検結果とを含む点検結果情報が、ウェアラブル端末１０から送信される。通信部３９０は、ウェアラブル端末１０から送信された点検結果情報を受信する。通信部３９０は、点検結果情報を受信する作業結果受信部として機能する。通信部３９０が受信した点検結果情報は、記憶部３１０に記憶される。

結果出力部３４０は、点検結果データの送信を要求された場合、点検開始時刻及び点検終了時刻がサーバ８０で管理されている時刻と整合する場合に、点検開始時刻及び点検終了時刻、点検時間、及び点検結果を含む点検結果データを生成する。一方、結果出力部３４０は、点検開始時刻又は点検終了時刻がサーバ８０で管理されている時刻と整合しない場合に、点検開始時刻及び点検終了時刻をマスクした点検結果データを生成する。例えば、点検開始時刻及び点検終了時刻を「−−−−」にした点検結果データを生成する。通信部３９０は、結果出力部３４０が生成した点検結果データを、点検結果データの要求先に送信する。

時刻管理部３０４は、現在時刻を管理する。時刻管理部３０４は、サーバ８０から受信した基準時刻に基づいてシステム時計を合わせる。認証制御部３２０は、ウェアラブル端末１０から受信した作業者４０の認証情報に基づいて作業者４０を認証するとともに、ウェアラブル端末１０において計時される時刻を現在時刻に合わせる時刻合わせをウェアラブル端末１０に実行させる。

判断部３４２は、点検開始時刻又は点検終了時刻と時刻管理部が管理している現在時刻との差が予め定められた値より大きい場合に、点検開始時刻又は点検終了時刻がサーバ８０で管理されている時刻と整合していないと判断する。例えば、判断部３４２は、点検開始時刻又は点検終了時刻と、サーバ８０で管理されている時刻との差が予め定められた値を超える場合に、点検開始時刻又は点検終了時刻がサーバ８０で管理されている時刻と整合していないと判断する。例えば、ウェアラブル端末１０の電源ＯＮ後、ウェアラブル端末１０の時刻がサーバ８０と時刻合わせされない場合、ウェアラブル端末１０は、１９７０年１月１日０時０分０秒を基準時刻とし、基準時刻からの経過時間の初期値を０にリセットして、時刻を計時する。この場合、点検開始時刻又は点検終了時刻と時刻管理部３０４が管理している現在時刻との差が大きくなるため、現在時刻と整合していないと判断される。

合計時間算出部３４４は、作業対象毎に、作業対象に設定された複数の作業項目にわたる時間の合計値を算出する。通信部３９０は、作業対象に対応づけて、点検開始時刻、点検終了時刻、点検時間及び点検結果に加えて、合計時間算出部が算出した合計値を含む点検結果データを、点検結果データの要求元に送信する。

次に、サーバ８０における音声認識に関する処理について説明する。音声取得部３６０は、通信部３９０が受信した、ウェアラブル端末１０から送信された音声データを取得する。認識結果取得部３７０及び指示特定部３８０は、それぞれウェアラブル端末１０における認識結果取得部２７０及び指示特定部３８０に対応する機能ブロックである。

具体的には、認識結果取得部３７０は、作業者４０の音声の音声認識によって得られた文字列を取得する。例えば、音声取得部３６０が取得した音声データが通信部２９０及びネットワーク９０を通じて外部の音声認識サーバ８２に送信され、音声認識サーバ８２が音声認識することにより得られた文字列を取得する。

記憶部３１０は、ウェアラブル端末１０に対する指示と複数の文字列とを対応づける対応情報を記憶している。例えば、対応情報は、「じっせき」、「じいせき」、「じせき」等の文字列を、「実績」という指示に対応づける。記憶部３１０は、対応情報を記憶する対応情報記憶部として機能する。指示特定部３８０は、対応情報によって認識結果取得部２７０が取得した文字列に対応づけられている指示を、ウェアラブル端末１０に対する指示として特定する。指示特定部３８０が特定した指示を示す情報は、通信部３９０及びネットワーク９０を通じて、ウェアラブル端末１０に送信される。

利用頻度取得部３３２、取消頻度取得部３３４、及び無効化部３３０は、それぞれウェアラブル端末１０における利用頻度取得部２３２、取消頻度取得部２３４、及び無効化部２３０に対応する機能ブロックである。すなわち、利用頻度取得部３３２は、複数の点検項目のそれぞれについて、それぞれの点検項目に関連づけられた画像が作業者４０に提供されている場合において複数の指示が使用された頻度を取得する。

取消頻度取得部３３４は、対応情報によって指示に対応づけられている複数の文字列のそれぞれについて、指示特定部３８０が特定した指示が作業者４０によって取り消された頻度を取得する。無効化部３３０は、対応情報において、取り消された頻度が予め定められた値以上の文字列と指示との対応づけを無効にする。例えば、取消頻度取得部３３４は、作業者４０からの「ちせき」と認識された音声指示に応じて「実績」の処理を実行した後に、すぐに「もどる」という音声指示を取得した場合に、指示が取消されたと判断して、「ちせき」に対応する取消回数をカウントアップする。

ここで、サーバ８０の記憶部３１０及びウェアラブル端末１０の記憶部２１０に記憶される対応情報の生成方法について説明する。集計部３９２は、複数の人による指示の音声の音声認識により得られた複数の文字列を取得し、当該複数の文字列のそれぞれの文字列として音声が認識された人数を文字列毎に集計する。選択部３９４は、集計部３９２によって集計された人数に基づいて、複数の文字列の中から、対応情報において指示に対応づけられるべき文字列を選択する。これにより、様々な人の発声に対応することができる。対応情報により指示に対応づける文字列の選択方法の具体例については、図１２等に関連して説明する。

以上に説明したウェアラブル端末１０及びサーバ８０によれば、音声認識結果としての複数の文字列と指示とを対応づける対応情報を用いて指示を特定するので、ユーザ毎の発音の違いや周囲の外乱等の影響を低減することができる。また、サーバ８０が点検結果データを提供する場合、ウェアラブル端末１０とサーバ８０とが時刻合わせされていない状態で点検結果が入力された作業については、点検開始時刻及び点検終了時刻のデータを「−−−−」等の文字列でマスクするので、正確でない値が管理データとして提供されることを抑制することができる。

図４は、ウェアラブル端末１０による点検支援処理の全体を示すフローチャートである。本フローチャートの処理は、主として、制御部２００がウェアラブル端末１０の各部を制御することにより実現される。

Ｓ４０２において、ウェアラブル端末１０が電源ＯＮされると、開始処理部２０８は、計時部２０４に固定時刻から計時を開始させる。

Ｓ４０４において、表示制御部２２０は、ログイン画面を表示部１２に表示させる。ログイン画面が表示されている状態でユーザＩＤ等の認証情報が入力されると、Ｓ４０６において、開始処理部２０８は、認証情報を用いて認証する。Ｓ４０６の処理の詳細については、図６に関連して説明する。

ログインが完了すると、Ｓ４１０において、点検対象の場所、設備、及び部位を取得する。場所、設備、及び部位の指示は、作業者４０の音声により入力される。続いて、Ｓ４１２において、ウェアラブル端末１０は、点検項目リストを設定する。例えば、ウェアラブル端末１０は、サーバ８０と通信可能な場合、Ｓ４１０で取得した場所、設備、及び部位を示す情報をサーバ８０に送信して、サーバ８０から１以上の点検項目を含む点検項目リストを取得する。サーバ８０と通信可能でない場合、Ｓ４１０で取得した場所、設備、及び部位を示す情報に対応づけて記憶部２１０が記憶している点検項目リストを、記憶部２１０から読み出す。

Ｓ４１４において、作業者４０の点検を支援するための処理を行う。Ｓ４１４の具体的な処理については後述する。

図５は、ログイン画面５００の一例を示す。ログイン画面５００は、音声で入力する内容を示すオブジェクト５１０と、音声入力が可能であるか否かを示すオブジェクト５８０を含む。表示制御部２２０は、音声入力が可能である場合に、オブジェクト５８０の外枠の色を予め定められた第１の色で表示させる。表示制御部２２０は、例えば、音声認識中である場合等、新たな音声入力が可能でない場合に、オブジェクト５８０の外枠の色を予め定められた第２の色で表示させる。表示制御部２２０は、音声入力が可能である場合において、音声が入力されると、認識された文字を枠内に表示させる。

図６は、ウェアラブル端末１０によるログイン処理を示すフローチャートである。本フローチャートの処理は、主として、制御部２００がウェアラブル端末１０の各部を制御することにより実現される。本フローチャートの処理は、図４のＳ４０６の処理に適用することができる。

Ｓ６０２において、制御部２００は認証情報を取得する。例えば、作業者４０は、図５に示すログイン画面が表示されている状態で取得されたユーザの音声を認識することにより、認証情報を取得する。なお、制御部２００は、撮像部２０２で撮像された画像から認証情報を取得してよい。例えば、ウェアラブル端末１０を利用可能な作業者４０には、認証情報をコード化したＱＲコード（登録商標）が印刷されたログイン証が配布される。作業者４０がログイン証を撮像部２０２で撮像すると、制御部２００は、ログイン証の画像から抽出したコード化情報を復号して、認証情報を取得してよい。

Ｓ６０４において、開始処理部２０８は、通信部２９０を通じて認証情報をサーバ８０に送信する。開始処理部２０８は、Ｓ６０６において、サーバ８０により認証されたか否かを判断する。サーバ８０により認証された場合、Ｓ６０８において、開始処理部２０８は、計時部２０４が計時する時刻をサーバ８０の現在時刻に合わせて、図４のＳ４１０に進む。なお、サーバ８０により認証された状態のことを、「オンライン状態」と呼ぶ場合がある。

Ｓ６０６において、サーバ８０により認証されなかった場合、Ｓ６１０に進む。サーバ８０により認証されなかった場合とは、サーバ８０から作業者４０を認証できない旨が通知された場合や、ウェアラブル端末１０がサーバ８０と通信可能でない場合を含む。Ｓ６１０において、開始処理部２０８は、記憶部２１０に記憶されている参照情報と認証情報とを照合する。記憶部２１０の参照情報と認証情報とを照合することにより作業者４０を認証した場合、図４のＳ４１０に進む。なお、サーバ８０により認証されず、記憶部２１０の参照情報と認証情報との照合により認証された状態のことを、「オフライン状態」と呼ぶ場合がある。参照情報と認証情報とを照合することにより作業者４０を認証できなかった場合、図４のＳ４０４に進む。

図７は、ウェアラブル端末１０による点検支援処理を示すフローチャートである。本フローチャートの処理は、主として、制御部２００がウェアラブル端末１０の各部を制御することにより実現される。本フローチャートの処理は、図４のＳ４１４の処理に適用することができる。

Ｓ７０２において、表示制御部２２０は点検開始画面を表示部１２に表示させ、制御部２００は「点検開始」の指示を取得するまで待機する（Ｓ７０４）。

「点検開始」が指示されると、Ｓ７０６において、作業結果情報生成部２４０は、点検報告用の開始時刻を記憶部２１０に記憶する。Ｓ７０８において、表示制御部２２０は、最初の点検項目の画面を表示させる。点検項目の画面については後述する。

Ｓ７２０において、指示取得部２５０は作業者４０の指示を取得する。上述したように、作業者４０の音声による指示は、サーバ８０又は指示特定部２８０により特定される。Ｓ７２０の処理については、図１０に関連して説明する。

本フローチャートでは、Ｓ７２０で取得した指示として、点検結果の入力指示と、コマンド一覧を表示するための「コマンド」指示と、コマンド一覧を非表示にするための「閉じる」指示と、他の指示又は対応する指示がなかった場合を取り上げて説明する。

Ｓ７２０で取得した指示が点検結果の入力指示であった場合、Ｓ７２２において現在時刻を取得し、Ｓ７２４において、作業結果情報生成部２４０が生成した点検結果情報を、記憶部２１０又はサーバ８０に出力する。

続いて、Ｓ７２６において、点検項目リストに次の点検項目が存在するか否かを判断する。次の点検項目が存在する場合、Ｓ７０８に処理を移行する。次の点検項目が存在しない場合、Ｓ７２８において点検報告用の終了時刻を記憶して、本フローチャートの処理を終了する。

Ｓ７２０で取得した指示が「コマンド」の場合、Ｓ７３０において、音声コマンド一覧を表示して、Ｓ７２０に処理を移行する。音声コマンド一覧については、図９に関連して説明する。Ｓ７２０で取得した指示が「閉じる」の場合、Ｓ７３２において、音声コマンド一覧の表示を閉じて、Ｓ７２０に処理を移行する。Ｓ７２０で取得した指示が点検結果の入力指示、「コマンド」及び「閉じる」のいずれでない場合や、作業者４０の音声の認識結果に対応する指示がなかった場合、Ｓ７３４において、他の指示に対応する処理、又は、対応する指示がなかった場合の予め定められた処理を実行して、Ｓ７２０に処理を移行する。

図８は、点検画面８００の一例を示す。点検画面８００は、点検結果を入力する内容を示すオブジェクト８１０と、本点検項目において最も良く使用される３つの指示を示すオブジェクト８２０を含む。

点検画面８００は、ケーブルの型番を点検するための画面である。点検画面８００においては、数字、アルファベット及び記号を、点検結果として入力することができる。アルファベットの小文字は、アルファベットの文字の直前に「こもじ」を付けることで音声入力可能である。例えば、「ｘＹｚ」は、「こもじえっくすわいこもじぜっと」と発声することで入力可能である。すなわち、指示特定部２８０は、認識結果に「こもじ」が含まれている場合、「こもじ」に続く文字列が表すアルファベットを小文字に変換することで、指示された文字列を特定する。なお、日本語の発音では数字の「９」とアルファベットの「Ｑ」を識別しにくいため、アルファベットの「Ｑ」には「けべっく」を対応づける。すなわち、指示特定部２８０は、認識結果の「けべっく」を「Ｑ」に変換する。

図９は、音声コマンド一覧が表示されている状態の点検画面９００の一例を示す。点検画面９００は、音声コマンド一覧を示すオブジェクト９１０を含む。表示制御部２２０は、オブジェクト９１０を点検画面８００上にオーバーレイ表示することにより、音声コマンド一覧を表示する。

オブジェクト９１０は、点検画面８００において入力可能な指示の一覧を含む。表示制御部２２０は、オブジェクト９１０において指示を表示する順番を、利用頻度が高い順に並べる。例えば、画面に向かって左側に位置する指示が、画面に向かって右側に位置する指示より利用頻度が高くなるように並べてよい。左右方向に同じ位置に指示については、画面に向かって上側に位置する指示が、画面に向かって下側に位置する指示より利用頻度が高くなるように並べてよい。

オブジェクト９１０が表示されている状態で「閉じる」の指示があった場合、表示制御部２２０は、オブジェクト９１０の表示を終了する。なお、オブジェクト９１０が表示されている状態でも、指示を入力することができる。例えば、オブジェクト９１０が表示されている状態で、作業者４０が「じっせき」と発声すると、過去実績を表示する画面へと遷移する。

図１０は、ウェアラブル端末１０において作業者４０から音声で指示を取得する処理を表すフローチャートである。本フローチャートの処理は、主として、制御部２００がウェアラブル端末１０の各部を制御することにより実現される。本フローチャートの処理は、図７のＳ７２０の処理に適用することができる。

Ｓ１００２において、音声取得部２６０は、マイク２０５で取得された音声データを生成する。Ｓ１００４において、指示取得部２５０は、ウェアラブル端末１０がオンライン状態かつサーバ８０と通信可能な状態であるか否かを判断する。ウェアラブル端末１０がオンライン状態かつサーバ８０と通信可能である場合、通信部２９０は、音声データをサーバ８０に送信する。サーバ８０において、音声取得部３６０、認識結果取得部３７０、指示特定部３８０により作業者４０の指示が特定され、特定された指示を示す情報がサーバ８０からウェアラブル端末１０に送信される。サーバ８０が作業者４０の指示を特定する処理については、図１１に関連して後述する。Ｓ１００８において、指示取得部２５０は、通信部２９０を通じて、サーバ８０で特定された指示を取得し、本フローチャートの処理を終了する。

Ｓ１００４において、ウェアラブル端末１０がオフライン状態である場合、又は、ウェアラブル端末１０がサーバ８０と通信不可能である場合、Ｓ１０１０において、ウェアラブル端末１０において作業者４０の指示を特定し、本フローチャートの処理を終了する。Ｓ１０１０では、上述したように、音声認識部２７２、認識結果取得部２７０、及び指示特定部２８０により、作業者４０の指示が特定される。

図１１は、対応情報として記憶される情報をテーブル形式で示す。図１１は、「実績」の指示に対応づけられた対応情報である。対応情報は指示毎に用意される。対応情報は、認識文字列と、認識回数と、取消回数と、有効フラグとを互いに対応づける。

認識文字列は、音声認識により得られた文字列に該当する。認識回数は、音声認識によって認識文字列の文字列が得られた回数を表す。例えば、認識回数は、音声認識サーバ８２等によって「じっせき」の文字列として認識される毎にインクリメントされる。

取消回数は、認識文字列の文字列が認識された後に対応する指示が取り消された回数を表す。例えば、音声認識サーバ８２等によって「ちせき」の文字列として認識されてから予め定められた時間内に「戻る」の指示が入力された場合に、「ちせき」に基づく「実績」の指示が取り消されたと判断して、「ちせき」に対応する取消回数をインクリメントする。

有効フラグは、認識文字列と指示とが対応づけられているか否かを示す。「有効」は、認識文字列と指示とが対応づけられていることを示し、「無効」は、認識文字列と指示とが対応づけられていないことを示す。無効化部２３０は、認識回数及び取消回数に基づく指示の取消頻度が予め定められた値を以上となった場合に、有効フラグを「有効」から「無効」に切り換える。

図１２は、対応情報を生成するための事前学習データの一例を示す。図１２は、「実績」の指示に対応づけられた事前学習データである。「実績」の指示についての対応情報は、多数の人が「実績」を発声したときの音声の認識結果を学習することにより、生成される。

図１２において、認識文字列は、多数の人が「実績」と発声したときに音声認識サーバ８２等により認識された文字列を表す。人数は、認識文字列の文字列として認識された音声を発声した人の数を表す。人数は、事前学習を行う場合に、集計部３９２により集計される。選択部３９４は、事前学習データに基づいて、対応情報において「実績」の指示に対応づける認識文字列を選択する。具体的には、選択部３９４は、人数が多い順に認識文字列を選択する。選択部３９４は、選択した認識文字列の人数の合計が全人数の９５％を上回るまで認識文字列を選択する。選択部３９４が選択した認識文字列は、対応情報により、「実績」の指示に対応づけられる。具体的には、図１１に示されるように、「じっせき」から「ちせき」までの認識文字列が選択されて「実績」の指示との対応づけが有効となる。一方、「じせいき」の認識文字列は「実績」の指示との対応づけは無効とされる。

図１３は、サーバ８０において作業者４０の指示を特定する処理を表すフローチャートである。本フローチャートの処理は、主として、制御部３００がサーバ８０の各部を制御することにより実現される。

Ｓ１３０２において、音声取得部３６０は、通信部３９０を通じて、ウェアラブル端末１０から受信した音声データを取得すると、Ｓ１３０４において、通信部３９０は、音声認識サーバ８２に音声データを送信する。Ｓ１３０６において、認識結果取得部３７０は、通信部３９０を介して、音声認識サーバ８２で認識された文字列を取得する。

Ｓ１３１０において、指示特定部３８０は、各指示の対応情報を参照して、有効フラグが「有効」である認識文字列の中に、Ｓ１３０６で取得した文字列が存在する対応情報が発見されたか否かを判断する。対応情報が発見された場合、Ｓ１３１２において、指示特定部３８０は、発見された対応情報に対応づけられている指示を、作業者４０の指示として特定する。

Ｓ１３１４において、対応情報の更新処理を行う。Ｓ１３１４の処理については図１４に関連して説明する。

Ｓ１３１６において、通信部３９０は、Ｓ１３１２で特定した指示を示す情報を、ウェアラブル端末１０に送信する。Ｓ１３１０において、対応情報が発見されなかった場合、Ｓ１３１８において、通信部３９０は、対応する指示がなかったことを示す情報をウェアラブル端末１０に送信する。

図１４は、対応情報の更新処理を表すフローチャートである。本フローチャートの処理は、主として、制御部３００がサーバ８０の各部を制御することにより実現される。本フローチャートの処理は、図１３のＳ１３１４の処理に適用することができる。

Ｓ１４０２において、無効化部３３０は、特定された指示に対応する対応情報において、認識文字列に対応づけられた認識回数の値をインクリメントする。Ｓ１４０４において、Ｓ１３１２で特定した作業者４０の指示が、直前の指示を取り消す指示であるか否かを判断する。例えば、Ｓ１３１２で特定された作業者４０の指示が「戻る」であり、かつ、直前の指示を行った時刻からの経過時間が予め定められた値より短い場合に、直前の指示を取り消す指示であると判断する。直前の指示を取り消す指示でなかった場合は、本フローチャートの処理を終了する。直前の指示を取り消す指示であった場合、Ｓ１４０６において、無効化部３３０は、直前の指示の対応情報において、直前の指示における認識文字列に対応づけられている取消回数をインクリメントする。

Ｓ１４０８において、取消頻度取得部３３４は利用頻度及び取消頻度に基づいて取消頻度を算出し、無効化部３３０は、取消頻度が予め定められた閾値以上であるか否かを判断する。取消頻度が予め定められた閾値未満の場合は、本フローチャートの処理を終了する。取消頻度が予め定められた閾値以上の場合、Ｓ１４１０において、無効化部３３０は、直前の指示の認識文字列の有効フラグを「無効」に切り換える。Ｓ１４１２において、無効化部３３０は、有効フラグが「無効」であった認識文字列のうち、事前学習において人数が最も多い認識文字列の有効フラグを「有効」に切り換える。例えば、「実績」に対応づけられた対応情報において、「ちせき」の有効フラグを「無効」に切り換える場合、「じせいき」の有効フラグを「有効」に切り換える。

図１１から図１４に関連して説明したように、対応情報により、音声認識により得られる可能性がある複数の文字列を一つの指示に対応づけるので、ユーザ毎の発音の違いや周囲の外乱等により、指示が認識されない確率を低減することができる。ウェアラブル端末１０においては、複数の作業項目を順次に表示して指示を音声で入力するが、一つの作業項目において入力可能な指示の数は比較的少数にすることができる。各指示に複数の文字列を対応づける手法は、入力可能な指示の数が少ないシステムにおいて、特に有効である。

なお、図１１から図１４に関連して、サーバ８０で指示を特定する場合のサーバ８０が行う処理を説明した。図１１から図１４に関連して説明した処理のうちの少なくとも一部の理を、ウェアラブル端末１０において指示を特定する場合の処理に適用できる。例えば、図１０のＳ１０１０の処理に適用できる。

図１５は、サーバ８０がウェアラブル端末１０から収集した点検結果データに基づく点検結果の表示画面の一例を示す。図１５の画面は、例えば、作業者４０の点検を管理する管理者のコンピュータ端末に表示される。

ウェアラブル端末１０からサーバ８０に送信される点検結果情報には、点検結果情報の送信者を識別する情報と、報告用の点検開始時刻及び報告用の点検終了時刻と、点検対象の場所、設備、部位を識別する情報と、複数の点検項目を識別する情報と、各点検項目の点検結果、点検開始時刻、点検終了時刻、及び点検時間とが含まれる。結果出力部３４０は、点検結果情報と、記憶部３１０に記憶されている点検項目の詳細情報から、点検結果データを生成する。

図１５は、ウェアラブル端末１０がオンライン状態、かつ、サーバ８０と通信可能な状態で取得した点検結果の点検結果情報から生成された点検結果の表示画面である。図１５の「作業項目表示時刻」、「作結果入力時刻」、及び「作業時間」は、それぞれ点検開始時刻、点検終了時刻、及び点検時間を表す。「作業時間合計」は、合計時間算出部３４４によって点検時間を合計した時間を表す。ウェアラブル端末１０はオンライン状態で点検結果を取得しているので、結果出力部３４０は、点検開始時刻及び点検終了時刻の時間をマスクせずに点検結果データに含める。よって、「作業項目表示時刻」及び「作結果入力時刻」にはウェアラブル端末１０で計時された時刻が表示される。

図１６は、点検結果データに基づく点検結果の表示画面の他の一例を示す。図１６の表示画面は、ウェアラブル端末１０がオフライン状態で取得した点検結果の点検結果情報から生成された点検結果の表示画面である点で、図１５の表示画面とは異なる。ウェアラブル端末１０はオフライン状態で点検結果を取得しているので、結果出力部３４０は、点検結果データにおける点検開始時刻及び点検終了時刻の時間をマスクする。そのため、「作業項目表示時刻」及び「作結果入力時刻」には「−−−−」が表示される。一方、「作業時間」及び「作業時間合計」にはウェアラブル端末１０で計時された点検時間に基づく正確な時間が表示される。そのため、管理者は作業者４０が点検に要した時間をきちんと把握することができる。

図１７は、ウェアラブル端末１０からダウンロードされる、各点検項目の点検結果データの一例を示す。図１８は、ウェアラブル端末１０からダウンロードされる、点検対象毎の点検結果データの一例を示す。

各点検結果データは、例えばＣＳＶ形式のテキストデータとしてダウンロードすることができる。図１７及び図１８は、ウェアラブル端末１０がオンライン状態、かつ、サーバ８０と通信可能な状態で取得した点検結果の点検結果情報から生成された点検結果データを示す。図１７の「作業項目表示時刻」、「作結果入力時刻」、及び「作業時間」は、それぞれ点検開始時刻、点検終了時刻、及び点検時間を表す。図１８の「作業時間合計」は、合計時間算出部３４４によって点検時間を合計した時間を表す。図１８の「作業開始時刻」及び「作業終了時刻」は、報告用の点検開始時刻及び報告用の点検終了時刻を示す。ウェアラブル端末１０はオンライン状態で点検結果を取得している。そのため、結果出力部３４０は、各時刻をマスクせずに点検結果データに含める。

図１９は、ウェアラブル端末１０からダウンロードされる、点検項目毎の点検結果データの他の一例を示す。図２０は、ウェアラブル端末１０からダウンロードされる、点検対象毎の点検結果データの他の一例を示す。

各点検結果データは、例えばＣＳＶ形式のテキストデータとしてダウンロードすることができる。図１９及び図２０は、ウェアラブル端末１０がオフライン状態で取得した点検結果の点検結果情報から生成された点検結果データである点で、図１７及び図１８の点検結果データとは異なる。ウェアラブル端末１０はオフライン状態で点検結果を取得している。そのため、結果出力部３４０は、点検結果データに含まれる各時刻を「−−−−」でマスクする。一方、「作業時間」及び「作業時間合計」には、ウェアラブル端末１０で計時された点検時間に基づく正確な時間が含まれる。そのため、管理者は作業者４０が点検に要した時間をきちんと把握することができる。

以上において、ウェアラブル端末１０が、点検項目毎に点検開始時刻、点検終了時刻、及び点検時間を記憶する形態を主として説明した。しかし、点検開始時刻、点検終了時刻、及び点検時間を示す情報を記憶するために、点検開始時刻、点検終了時刻、及び点検時間の全てが必要ではない。例えば、点検開始時刻及び点検終了時刻の少なくとも一方と、点検時間とを記憶すれば、点検開始時刻、点検終了時刻、及び点検時間を表すことができる。他にも、点検開始時刻及び点検終了時刻を記憶すれば、点検開始時刻、点検終了時刻、及び点検時間を表すことができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ ウェアラブル端末
１１ 本体部
１２ 表示部
４０ 作業者
４２ 頭部
８０ サーバ
８２ 音声認識サーバ
９０ ネットワーク
１００ 作業支援システム
２００ 制御部
２０２ 撮像部
２０４ 計時部
２０５ マイク
２０７ 操作部材
２０８ 開始処理部
２１０ 記憶部
２２０ 表示制御部
２３０ 無効化部
２３２ 利用頻度取得部
２３４ 取消頻度取得部
２４０ 作業結果情報生成部
２４８ 作業結果出力部
２５０ 指示取得部
２６０ 音声取得部
２７０ 認識結果取得部
２７２ 音声認識部
２８０ 指示特定部
２９０ 通信部
３００ 制御部
３０４ 時刻管理部
３１０ 記憶部
３２０ 認証制御部
３３０ 無効化部
３３２ 利用頻度取得部
３３４ 取消頻度取得部
３４０ 結果出力部
３４２ 判断部
３４４ 合計時間算出部
３６０ 音声取得部
３７０ 認識結果取得部
３８０ 指示特定部
３９０ 通信部
３９２ 集計部
３９４ 選択部
５００ ログイン画面
５１０ オブジェクト
５８０ オブジェクト
８００ 点検画面
８１０ オブジェクト
８２０ オブジェクト
９００ 点検画面
９１０ オブジェクト

Claims (12)

1. 作業者の頭部に装着されるウェアラブル端末を通じて、作業に関する画像を前記作業者に提供するためのサーバであって、
   前記作業に関する画像が前記ウェアラブル端末で表示されたときに前記ウェアラブル端末で計時された第１の時刻及び前記作業の作業結果を前記ウェアラブル端末が前記作業者から取得したときに前記ウェアラブル端末で計時された第２の時刻の少なくとも一方の時刻を示す情報と、前記画像が前記ウェアラブル端末で表示されてから前記ウェアラブル端末が前記作業者から前記作業結果を取得するまでの時間を示す情報と、前記作業結果とを含む作業結果情報を、前記ウェアラブル端末から受信する作業結果受信部と、
   前記第１の時刻及び前記第２の時刻の少なくとも一方の時刻が前記サーバで管理されている時刻と整合する場合に、前記第１の時刻及び前記第２の時刻の少なくとも一方の時刻、前記時間、及び前記作業結果を出力し、前記第１の時刻及び前記第２の時刻の少なくとも一方の時刻が前記サーバで管理されている時刻と整合しない場合に、前記第１の時刻及び前記第２の時刻の少なくとも一方の時刻をマスクして、前記時間及び前記作業結果を出力する結果出力部と
   を備えるサーバ。
2. 前記作業は複数の作業項目を含み、
   前記作業結果情報は、前記複数の作業項目のそれぞれについて、それぞれの作業項目に関する画像が前記ウェアラブル端末で表示されたときに前記ウェアラブル端末で計時された第１の時刻及びそれぞれの作業項目の作業結果を前記ウェアラブル端末が前記作業者から取得したときに前記ウェアラブル端末で計時された第２の時刻の少なくとも一方の時刻を示す情報と、それぞれの作業項目に関する画像が前記ウェアラブル端末で表示されてから前記ウェアラブル端末が前記作業者から前記作業結果を取得するまでの時間を示す情報と、前記作業結果とを含み、
   前記結果出力部は、
   前記第１の時刻及び前記第２の時刻の少なくとも一方の時刻が前記サーバで管理されている時刻と整合する作業項目について、前記第１の時刻及び前記第２の時刻の少なくとも一方の時刻、前記時間、及び前記作業結果を出力し、
   前記第１の時刻及び前記第２の時刻の少なくとも一方の時刻が前記サーバで管理されている時刻と整合しない作業項目について、前記第１の時刻及び前記第２の時刻の少なくとも一方の時刻をマスクして、前記時間及び前記作業結果を出力する
   請求項１に記載のサーバ。
3. 前記作業結果情報は、前記複数の作業項目のそれぞれについて、それぞれの作業項目に関する画像が前記ウェアラブル端末で表示されたときに前記ウェアラブル端末で計時された第１の時刻を示す情報と、それぞれの作業項目の作業結果を前記ウェアラブル端末が前記作業者から取得したときに前記ウェアラブル端末で計時された第２の時刻を示す情報と、前記第１の時刻から前記第２の時刻までの時間を示す情報と、前記作業結果とを含み、
   前記結果出力部は、
   前記第１の時刻及び前記第２の時刻が前記サーバで管理されている時刻と整合する前記作業項目について、前記第１の時刻、前記第２の時刻、前記時間、及び前記作業結果を出力し、
   前記第１の時刻及び前記第２の時刻の少なくともいずれかの時刻が前記サーバで管理されている時刻と整合しない前記作業項目について、前記第１の時刻及び前記第２の時刻をマスクして、前記時間及び前記作業結果を出力する
   請求項２に記載のサーバ。
4. 前記複数の作業項目は作業対象毎に設定され、
   前記サーバは、
   前記作業対象毎に、前記作業対象に設定された前記複数の作業項目にわたる前記時間の合計値を算出する合計時間算出部
   をさらに備え、
   前記結果出力部は、前記作業対象に対応づけて、前記合計時間算出部が算出した合計値をさらに出力する
   請求項２又は３に記載のサーバ。
5. 現在時刻を管理する時刻管理部と、
   前記ウェアラブル端末から受信した前記作業者の認証情報に基づいて前記作業者を認証するとともに、前記ウェアラブル端末において計時される時刻を前記現在時刻に合わせる時刻合わせを前記ウェアラブル端末に実行させる時刻制御部
   をさらに備える請求項１から４のいずれか一項に記載のサーバ。
6. 前記第１の時刻及び前記第２の時刻の少なくとも一方の時刻と前記現在時刻との差が予め定められた値より大きい場合に、前記第１の時刻及び前記第２の時刻の少なくとも一方の時刻が前記サーバで管理されている時刻と整合していないと判断する判断部
   をさらに備える請求項５に記載のサーバ。
7. 請求項１から６のいずれか一項に記載のサーバと、
   前記ウェアラブル端末と
   を備えるシステム。
8. 前記ウェアラブル端末は、
   前記作業者の音声を取得する音声取得部
   をさらに備え、
   前記音声によって前記作業結果が入力された場合に、前記第１の時刻から前記第２の時刻までの時間を取得し、前記作業結果情報を前記サーバに送信し、前記作業結果が入力された作業の次の作業に関する画像を表示する
   請求項７に記載のシステム。
9. 前記ウェアラブル端末は、
   前記ウェアラブル端末の電源が投入される毎に、前記ウェアラブル端末に予め設定されている固定時刻から計時を開始し、前記サーバにより前記作業者が認証された場合に、前記ウェアラブル端末において計時される時刻を前記サーバで管理されている現在時刻に合わせる開始処理部
   を備える請求項７又は８に記載のシステム。
10. 前記ウェアラブル端末は、
    前記作業結果情報を記憶する作業結果記憶部
    をさらに備え、
    前記作業者から前記作業結果が入力された場合に、前記サーバにより前記作業者が認証され、かつ、前記サーバと通信可能であることを条件として、前記作業結果情報を前記サーバに出力する作業結果出力部
    をさらに備え、
    前記作業結果出力部は、前記サーバにより前記作業者が認証されていない場合又は前記サーバと通信可能でない場合には、前記作業結果情報を前記作業結果記憶部に出力し、前記作業結果情報が前記作業結果記憶部に出力された後、前記サーバにより前記作業者が認証された場合に、前記作業結果記憶部に記憶されている前記作業結果情報を前記サーバに送信する
    請求項９に記載のシステム。
11. 作業者の頭部に装着されるウェアラブル端末を通じて、作業に関する画像を前記作業者に提供する方法であって、
    前記作業に関する画像が前記ウェアラブル端末で表示されたときに前記ウェアラブル端末で計時された第１の時刻及び前記作業の作業結果を前記ウェアラブル端末が前記作業者から取得したときに前記ウェアラブル端末で計時された第２の時刻の少なくとも一方の時刻を示す情報と、前記画像が前記ウェアラブル端末で表示されてから前記ウェアラブル端末が前記作業者から前記作業結果を取得するまでの時間を示す情報と、前記作業結果とを含む作業結果情報を、前記ウェアラブル端末から受信する段階と、
    前記第１の時刻及び前記第２の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合する場合に、前記第１の時刻及び前記第２の時刻の少なくとも一方の時刻、前記時間、及び前記作業結果を出力し、前記第１の時刻及び前記第２の時刻の少なくとも一方の時刻が前記サーバで管理されている時刻と整合しない場合に、前記第１の時刻及び前記第２の時刻の少なくとも一方の時刻をマスクして、前記時間及び前記作業結果を出力する段階と
    を備える方法。
12. 作業者の頭部に装着されるウェアラブル端末を通じて、作業に関する画像を前記作業者に提供するためのプログラムであって、コンピュータを、
    前記作業に関する画像が前記ウェアラブル端末で表示されたときに前記ウェアラブル端末で計時された第１の時刻及び前記作業の作業結果を前記ウェアラブル端末が前記作業者から取得したときに前記ウェアラブル端末で計時された第２の時刻の少なくとも一方の時刻を示す情報と、前記画像が前記ウェアラブル端末で表示されてから前記ウェアラブル端末が前記作業者から前記作業結果を取得するまでの時間を示す情報と、前記作業結果とを含む作業結果情報を、前記ウェアラブル端末から受信する作業結果受信部、
    前記第１の時刻及び前記第２の時刻の少なくとも一方の時刻がサーバで管理されている時刻と整合する場合に、前記第１の時刻及び前記第２の時刻の少なくとも一方の時刻、前記時間、及び前記作業結果を出力し、前記第１の時刻及び前記第２の時刻の少なくとも一方の時刻が前記サーバで管理されている時刻と整合しない場合に、前記第１の時刻及び前記第２の時刻の少なくとも一方の時刻をマスクして、前記時間及び前記作業結果を出力する結果出力部
    として機能させるためのプログラム。