JP2008003781A - 作業監視システム - Google Patents

Abstract

【課題】作業者の作業を自動的にチェックでき、ひいては人的要因による事故の発生を防止する。
【解決手段】作業情報取得装置により取得された作業情報における作業者の作業内容が適正な作業として予め定める基準作業情報と一致するものであるか否かを識別装置により識別し、この識別結果に応じて、作業における作業工程毎に作業タグをタグ生成装置により生成し、このタグ生成装置により生成される作業タグに基づいて、作業内容に不具合が存在するか否かを検証装置により検証する。そして、検証装置による検証により作業内容に不具合が存在することが検出された場合には、作業支援装置により、映像表示装置及び／又は音声出力装置に対して、作業者への報知情報を送信するとともに作業支援情報を送信する。
【選択図】図１

Description

本発明は、作業者の作業を監視、点検する作業監視システムに関し、特に、この作業を自動的に監視、点検することを可能とする作業監視システムに関する。

近年、各種機器の自動化が進む中、人が行う作業に対して自動的にこの作業を監視、点検（以降、適宜、作業を監視、点検することを、作業をチェックすると表現する）したいという要望が高い。人が行う作業として、例えば生産作業、検査作業、運転作業などが挙げられるが、いずれも人的要因つまり人為的なミスによって大きな事故に繋がる恐れがある。この人的要因としては、作業者自身による作業ミスだけでなく、例えば、複数の工程（プロセス）がある作業において、作業者とは別の人つまり監視者が監視して工程の抜け等をチェックするような場合における監視者による作業ミスもある。なおこの場合、監視者を含め、多くの人員が必要になる。これらのことから、作業（作業の各工程）のチェックが自動的に行えるシステムが求められる。

上記作業のチェックを行うことに関し、例えば特許文献１には、プロセス監視装置において、ビデオカメラにより撮像された被監視物のビデオ画像と、予め画像作成手段により作成された監視用画像とを合成して、プロセスコンソールのＣＲＴ上に表示するという技術が開示されている。また、例えば特許文献２には、撮像装置及び編集装置において、音声認識により音声信号をテキストデータに変換して撮影情報を生成し、この撮影情報を撮像結果と共に記録するという技術が開示されている。
特開平６−１２９８８１号公報 特開平９−１３０７３６号公報

しかしながら、上記特許文献１に開示される技術は、作業を監視する者の負担を減らすことが可能となるものではあるが、自動的に作業をチェックするものではない。また、上記特許文献２に開示される技術は、撮影情報を基にして所望の撮像結果（映像）を簡易に選択することが可能となるものではあるが、撮影情報を撮像結果と共に記録しているだけであり、作業の各工程に対応させた記録方法ではない、すなわち作業の各工程のチェックを自動的に行うようにするものではない。なおこの場合、単に撮影情報を撮像結果と共に記録するため、記録するデータ量が多くなり、必要なデータを見つけるのに手間（時間）が掛かるといった問題もある。

本発明は、上記事情に鑑みてなされたもので、作業者の作業を自動的にチェックすることができ、ひいては人的要因による事故の発生を防止することが可能な作業監視システムを提供することを目的とする。

本発明の請求項１に係る作業監視システムは、作業者の作業を監視する作業監視システムであって、所定の光源と、該光源の光を変調して映像を生成する空間光変調器と、前記光源からの光を前記空間光変調器へ導く照明光学系と、ホログラフィック光学素子を備え、前記空間光変調器からの映像光を投影する投影光学系とを備え、前記作業者に装着することが可能に構成された該作業者に対して映像情報を表示する映像表示装置と、前記作業者に対して音声情報を出力する音声出力装置と、前記作業者の作業に関する音声情報及び／又は映像情報である作業情報を取得する作業情報取得装置と、前記作業情報取得装置により取得された作業情報を用いて、該作業情報における前記作業者の作業内容が、適正な作業として予め定める基準作業情報における基準作業の何れの作業工程での作業に属するかを識別する識別装置と、前記識別装置による識別結果に応じて、前記基準作業の作業工程に関連付けられた工程毎に、該工程での作業に関するタグ情報である作業タグを生成するタグ生成装置と、前記タグ生成装置により生成される作業タグに基づいて、前記作業者の作業内容に不具合が存在するか否かを検証する検証装置と、前記検証装置による検証により前記作業内容に不具合が存在することが検出された場合に、前記映像表示装置及び／又は音声出力装置に対して、該検出結果を前記作業者へ報知するための所定の報知情報を送信するとともに、前記不具合が存在すると検証された作業内容に関して前記作業者が適正な作業を行えるよう支援するための所定の作業支援情報を送信する作業支援装置とを備えることを特徴とする。

上記構成によれば、作業者の作業を監視する作業監視システムにおいて、所定の光源と、該光源の光を変調して映像を生成する空間光変調器と、光源からの光を空間光変調器へ導く照明光学系と、ホログラフィック光学素子を備え、空間光変調器からの映像光を投影する投影光学系とを備え、作業者に装着することが可能に構成された映像表示装置によって作業者に対して映像情報が表示される。また、音声出力装置によって作業者に対して音声情報が出力され、作業情報取得装置によって作業者の作業に関する音声情報及び／又は映像情報である作業情報が取得される。そして、識別装置によって、作業情報取得装置により取得された作業情報を用いて、該作業情報における作業者の作業内容が、適正な作業として予め定める基準作業情報における基準作業の何れの作業工程での作業に属するかが識別され、タグ生成装置によって、識別装置による識別結果に応じて、基準作業の作業工程に関連付けられた工程毎に、該工程での作業に関するタグ情報である作業タグが生成され、検証装置によって、タグ生成装置により生成される作業タグに基づいて、作業者の作業内容に不具合が存在するか否かが検証される。そして、作業支援装置によって、検証装置による検証により作業者の作業内容に不具合が存在することが検出された場合に、映像表示装置及び／又は音声出力装置に対して、該検出結果を作業者へ報知するための所定の報知情報が送信されるとともに、不具合が存在すると検証された作業内容に関して作業者が適正な作業を行えるよう支援するための所定の作業支援情報が送信される。

また、上記構成において、前記基準作業情報は前記作業工程毎に所定の音声コマンドを含むものであり、前記識別装置は、前記作業情報取得装置としてのマイクにより採取された作業者の音声を用いて、該作業者の音声が前記基準作業の各作業工程における音声コマンドと一致するか否かを自動的に識別し、前記タグ生成装置は、当該識別装置による識別における前記作業者の音声と前記音声コマンドとの一致度合いに応じて前記作業工程に関連付けられた工程毎に前記作業タグを自動的に生成するようにしてもよい。（請求項２）

これによれば、基準作業情報が作業工程毎に所定の音声コマンドを含むものとされ、識別装置によって、作業情報取得装置としてのマイクにより採取された作業者の音声を用いて、該作業者の音声が基準作業の各作業工程における音声コマンドと一致するか否かが自動的に識別され、タグ生成装置によって、当該識別装置による識別における作業者の音声と音声コマンドとの一致度合いに応じて作業工程に関連付けられた工程毎に作業タグが自動的に生成される。

また、上記構成において、前記識別装置は、前記作業情報取得装置としてのカメラにより撮影された作業者の体の動作の映像を用いて、該作業者の体の動作が前記基準作業の各作業工程における体の動作と一致するか否かを自動的に識別し、前記タグ生成装置は、当該識別装置による識別における前記作業者の体の動作と前記基準作業の各作業工程における体の動作との一致度合いに応じて該作業工程に関連付けられた工程毎に前記作業タグを自動的に生成するようにしてもよい。（請求項３）

これによれば、識別装置によって、作業情報取得装置としてのカメラにより撮影された作業者の体の動作の映像を用いて、該作業者の体の動作が基準作業の各作業工程における体の動作と一致するか否かが自動的に識別され、タグ生成装置によって、当該識別装置による識別における作業者の体の動作と基準作業の各作業工程における体の動作との一致度合いに応じて該作業工程に関連付けられた工程毎に作業タグが自動的に生成される。

また、上記構成において、前記識別装置は、前記作業者が作業において参照するべく前記映像表示装置に表示された及び／又は前記音声出力装置から出力された所定の参照情報を用いて、該作業者の作業が前記基準作業の各作業工程における作業と一致するか否かを自動的に識別する機能をさらに備えたものであって、前記タグ生成装置は、当該識別装置による識別結果に応じて前記作業工程に関連付けられた工程毎に前記作業タグを自動的に生成するようにしてもよい。（請求項４）

これによれば、識別装置によって、作業者が作業において参照するべく映像表示装置に表示された及び／又は音声出力装置から出力された所定の参照情報を用いて、該作業者の作業が基準作業の各作業工程における作業と一致するか否かが自動的に識別され、タグ生成装置によって、当該識別装置による識別結果に応じて作業工程に関連付けられた工程毎に作業タグが自動的に生成される。

また、上記構成において、前記識別装置は、前記音声情報、映像情報及び参照情報のうちの２つの情報又は全ての情報に対して所定の重み付けを行い、該重み付けされた各情報を用いて前記作業情報における作業者の作業内容が前記基準作業の各作業工程における作業と一致するか否かを識別する機能をさらに備えるようにしてもよい。（請求項５）

これによれば、識別装置によって、音声情報、映像情報及び参照情報のうちの２つの情報又は全ての情報に対して所定の重み付けが行われ、該重み付けされた各情報を用いて作業情報における作業者の作業内容が基準作業の各作業工程における作業と一致するか否かが識別される。

また、上記構成において、前記作業情報取得装置に取得された作業情報を記録する記録装置をさらに備え、前記検証装置は、前記記録装置への前記作業情報の記録が完了した後又は記録中に、前記タグ生成装置により生成された作業タグに基づいて、前記作業工程の欠落及び作業手順の矛盾を自動的に検証するようにしてもよい。（請求項６）

これによれば、記録装置によって作業情報取得装置に取得された作業情報が記録される。そして、検証装置によって、記録装置への作業情報の記録が完了した後又は記録中に、タグ生成装置により生成された作業タグに基づいて、作業工程の欠落及び作業手順の矛盾が自動的に検証される。

また、上記構成において、前記作業支援装置は、前記検証装置による検証により前記作業工程の欠落及び／又は作業手順の矛盾が検出された場合に、前記映像表示装置及び／又は音声出力装置に対して、該検出結果を作業者へ報知するための所定の報知情報を送信するとともに、前記記録装置に記録された作業情報における前記欠落及び／又は作業手順の矛盾が検出された作業工程に対応する作業情報を再生するべく該作業情報を前記作業支援情報として送信するようにしてもよい。（請求項７）

これによれば、作業支援装置によって、検証装置による検証により作業工程の欠落及び／又は作業手順の矛盾が検出された場合に、映像表示装置及び／又は音声出力装置に対して、該検出結果を作業者へ報知するための所定の報知情報が送信されるとともに、記録装置に記録された作業情報における欠落及び／又は作業手順の矛盾が検出された作業工程に対応する作業情報を再生するべく該作業情報が作業支援情報として送信される。

また、上記構成において、前記基準作業情報を保存する保存装置をさらに備え、前記作業支援装置は、前記検証装置による検証により前記作業工程の欠落及び／又は作業手順の矛盾が検出された場合に、前記映像表示装置及び／又は音声出力装置に対して、該検出結果を作業者へ報知するための所定の報知情報を送信するとともに、前記保存装置に保存された基準作業情報における前記欠落及び／又は作業手順の矛盾が検出された作業工程に対応する作業情報を前記作業支援情報として送信するようにしてもよい。（請求項８）

これによれば、保存装置によって基準作業情報が保存される。そして、作業支援装置によって、検証装置による検証により作業工程の欠落及び／又は作業手順の矛盾が検出された場合に、映像表示装置及び／又は音声出力装置に対して、該検出結果を作業者へ報知するための所定の報知情報が送信されるとともに、保存装置に保存された基準作業情報における欠落及び／又は作業手順の矛盾が検出された作業工程に対応する作業情報が作業支援情報として送信される。

また、上記構成において、前記タグ生成装置は、時間計測を行う計時機能をさらに備えたものであって、前記検証装置による検証により前記作業工程の欠落及び／又は作業手順の矛盾が検出された場合に、前記計時機能により一定時間が経過したことが計測された後も、該作業工程の欠落及び／又は作業手順の矛盾が検出された作業に対応する作業内容が前記基準作業と一致することが識別装置により識別されない場合には、該作業工程の欠落及び／又は作業手順の矛盾を補完する補完用作業タグを生成するようにしてもよい。（請求項９）

これによれば、タグ生成装置が時間計測を行う計時機能をさらに備えたものとされる。このタグ生成装置によって、検証装置による検証により作業工程の欠落及び／又は作業手順の矛盾が検出された場合に、計時機能により一定時間が経過したことが計測された後も、該作業工程の欠落及び／又は作業手順の矛盾が検出された作業に対応する作業内容が基準作業と一致することが識別装置により識別されない場合には、該作業工程の欠落及び／又は作業手順の矛盾を補完する補完用作業タグが生成される。

また、上記構成において、前記記録装置に記録された作業情報における前記作業タグに対応する作業情報でない作業情報を該記録装置から削除する、又は該作業タグに対応する作業情報でない作業情報を前記記録装置に記録せずに破棄する、該記録装置の記録動作に関する制御を行う記録制御装置をさらに備えるようにしてもよい。（請求項１０）

これによれば、記録制御装置によって、記録装置に記録された作業情報における作業タグに対応する作業情報でない作業情報が該記録装置から削除される、又は該作業タグに対応する作業情報でない作業情報が記録装置に記録されずに破棄される。

また、上記構成において、前記映像表示装置、音声出力装置及び作業情報取得装置は、所定の端末システムを構成するものであり、前記識別装置、タグ生成装置、検証装置及び作業支援装置は、前記端末システムに対するホストシステムを構成するものであるようにしてもよい。（請求項１１）

これによれば、映像表示装置、音声出力装置及び作業情報取得装置によって所定の端末システムが構成され、識別装置、タグ生成装置、検証装置及び作業支援装置によって、端末システムに対するホストシステムが構成される。

請求項１に係る作業監視システムによれば、作業情報取得装置により取得された作業情報における作業者の作業内容が適正な作業として予め定める基準作業情報における基準作業の何れの作業工程での作業に属するかが識別装置により識別され、この識別装置による識別結果に応じて、基準作業の作業工程に関連付けられた工程毎に作業タグがタグ生成装置により生成され、タグ生成装置により生成される作業タグに基づいて、作業者の作業内容に不具合が存在するか否かが検証装置により検証される。そして、検証装置による検証により作業者の作業内容に不具合が存在することが検出された場合には、作業支援装置により、映像表示装置及び／又は音声出力装置に対して所定の報知情報が送信されるとともに、作業支援情報が送信される構成であるので、自動的に作業（各作業工程）をチェック（点検）することができ、ひいては人的要因による事故の発生を防止することが可能となる。

請求項２に係る作業監視システムによれば、作業者の音声が基準作業の各作業工程における音声コマンドと一致するか否かが識別装置により自動的に識別され、この識別における作業者の音声と音声コマンドとの一致度合いに応じて、作業工程に関連付けられた工程毎に作業タグがタグ生成装置により自動的に生成されるので、作業者が声を用いて作業を行う場合の作業に対して、自動的に作業内容（作業工程）をチェックすることが可能となる。

請求項３に係る作業監視システムによれば、作業者の体の動作が基準作業の各作業工程における体の動作と一致するか否かが識別装置により自動的に識別され、この識別における前記作業者の体の動作と前記基準作業の各作業工程における体の動作との一致度合いに応じて、作業工程に関連付けられた工程毎に作業タグがタグ生成装置により自動的に生成されるので、作業者が体の動作を用いて作業を行う場合の作業に対して、自動的に作業内容（作業工程）をチェックすることが可能となる。

請求項４に係る作業監視システムによれば、作業者が作業において参照するべく映像表示装置に表示された及び／又は音声出力装置から出力された所定の参照情報を用いて、該作業者の作業が基準作業の各作業工程における作業と一致するか否かが自動的に識別され、この識別結果に応じて、作業工程に関連付けられた工程毎に作業タグがタグ生成装置により自動的に生成されるので、音声情報や映像情報以外の参照情報を用いても、作業者の作業内容（作業工程）を自動的にチェックすることが可能となり、当該作業内容のチェックに用いることができる情報の選択肢が広くなり、チェック動作を行うに際しての自由度が高くなる。

請求項５に係る作業監視システムによれば、音声情報、映像情報及び参照情報に対して所定の重み付けが行われ、この重み付けされた各情報を用いて作業情報における作業者の作業内容が基準作業の各作業工程における作業と一致するか否かが識別されるので、識別装置による識別の精度を高めることができ、ひいては作業内容のチェックの精度が高くなる。

請求項６に係る作業監視システムによれば、記録装置への作業情報の記録が完了した後又は記録中に、タグ生成装置により生成された作業タグに基づいて作業工程の欠落及び作業手順の矛盾が検証装置により自動的に検証されるので、作業者の作業内容における作業工程の欠落及び作業手順の矛盾を自動的にチェックすることができる。

請求項７に係る作業監視システムによれば、作業者の行った作業に作業工程の欠落及び／又は作業手順の矛盾つまり不具合があった場合、映像表示装置及び／又は音声出力装置に対して、作業者への報知情報が送信されるとともに、この不具合が検出された作業工程に対応する作業情報が作業支援情報として送信されるので、作業者は、映像表示装置及び／又は音声出力装置を介して、自分の行った作業に不具合があることを容易に知ることができ、また、自分の行った作業内容（不具合のある作業情報）がどのようなものであるか確認することができる。

請求項８に係る作業監視システムによれば、作業者の行った作業に作業工程の欠落及び／又は作業手順の矛盾つまり不具合があった場合、映像表示装置及び／又は音声出力装置に対して、作業者への報知情報が送信されるとともに、基準作業情報におけるこの不具合が検出された作業工程に対応する作業情報が作業支援情報として送信されるので、作業者は、映像表示装置及び／又は音声出力装置を介して、自分の行った作業に不具合があることを容易に知ることができ、また、この不具合のある作業をやり直すといったことがこの基準作業情報における適正な作業情報を参考にして容易に行えるようになる。

請求項９に係る作業監視システムによれば、作業者の行った作業に作業工程の欠落及び／又は作業手順の矛盾つまり不具合があった場合、一定時間が経過したことが計測された後も、この不具合が検出された作業に対応する作業内容が基準作業と一致することが識別装置により識別されないすなわち不具合のある作業内容が改善（改正）されない場合に、この不具合のある作業に対する作業タグを補完する補完用作業タグが生成される構成であるので、作業に不具合があった時点で直ちに補完用作業タグが生成されてしまうことを防止し、例えば作業が遅い作業者が多少時間はかかってもその作業を改善することができるように作業に裕度を与えることができ、ひいては単に作業を監視、チェックするだけでなく作業者が作業し易い作業監視システムとすることができる。

請求項１０に係る作業監視システムによれば、記録装置に記録された作業情報における作業タグに対応する作業情報でない作業情報が記録装置から削除される、又は作業タグに対応する作業情報でない作業情報が記録装置に記録されずに破棄されるので、記録するデータ量を減らすことができてメモリを節約することができるとともに、記録データを各作業工程に沿って整理されたデータとすることができる。

請求項１１に係る作業監視システムによれば、映像表示装置、音声出力装置及び作業情報取得装置により端末システムが構成され、識別装置、タグ生成装置、検証装置及び作業支援装置によりホストシステムが構成されるので、例えば映像表示装置としてのヘッドマウントディスプレイや、音声出力装置としてのヘッドホン、作業情報取得装置としてのマイクロカメラやヘッドマイク（ヘッドホン及びヘッドマイクを備えるヘッドセット）である端末システムを作業者が携帯し、この端末システムにおいて取得した作業情報をホストシステムへ送信し、ホストシステム側において当該作業者の作業内容をチェックしてこのチェックした結果や作業を支援する情報を端末システム側に返信するといったことが可能となり、ひいては作業者の作業を遠隔的に監視、チェックする構成を容易に得ることができる。

図１は、本実施形態に係る作業監視システム１の概略構成図である。作業監視システム１は、端末システム部１０及びホストシステム部２０を備えており、それぞれ有線若しくは無線による通信回線Ｎによって接続されている。この接続の方式は、ＬＡＮ（Local Area Network）、ＵＳＢ（Universal Serial Bus）或いはＢｌｕｅｔｏｏｔｈ（ブルートゥース）等、種々の方式が採用可能である。

端末システム部１０は、現場等に居る作業者が装着するシステム（作業者装着システム）であり、後述のホストであるホストシステム部２０に対する所謂端末（ターミナル、クライアント）側のシステムである。端末システム部１０は、表示部１１、音声出力部１２、音声入力部１３、撮像部１４、第１伝送部１５、第１コントロール部１６及び第１操作部１７を備えている。

表示部１１は、ディスプレイ機能を備え、所定の映像を表示するものであり、例えば、人体装着型の映像表示装置（ＷＤ；Wearable Display）、ここでは作業者の頭部に装着されて使用される映像表示装置（ＨＭＤ；Head Mount Display）である。ＨＭＤは、これを装着した作業者の眼前に後述の光学瞳ＥＰが位置するように映像を表示する。以下にこのＨＭＤについて詳述する。

図２は、上記ＨＭＤの一例を概略的に示した斜視図である。ＨＭＤは、表示筐体２０１、フレーム２０２、テンプル２０３、鼻当て部２０４及び接続ケーブル２０５を備えている。表示筐体２０１は、ＬＥＤ（Light Emitting Diode）やＬＣＤ（Liquid Crystal Display）を備えて映像の表示駆動を行うものである。図３は、ＨＭＤの表示筐体２０１におけるＹ方向（図２参照）の断面図であり、光路も併せて示している。図３に示すように表示筐体２０１は、照明デバイス２０１ａ、コンデンサーレンズ２０１ｂ、表示デバイス２０１ｃ、第１プリズム２０１ｄ、第２プリズム２０１ｅ及びＨＯＥ２０１ｆを備えている。

照明デバイス２０１ａは、複数種類、例えばＲ、Ｇ、Ｂ３色の発光ダイオード（ＬＥＤ）を点光源として備えてなる光源（ＬＥＤユニット）である。コンデンサーレンズ２０１ｂは、照明デバイス２０１ａからの光源光を表示デバイス２０１ｃへ導く照明光学系をなすものであり、照明デバイス２０１ａの光源光を集光する正のパワーを有するレンズである。表示デバイス２０１ｃは、照明デバイス２０１ａからの光源光を変調して映像光を生成するものであり、例えば波長制限フィルタを備えた透過型のカラーＬＣＤである。第１及び第２プリズム２０１ｄ、２０１ｅは、ガラスや透明樹脂等の透明部材からなる略板状のプリズムであり、投影光学系をなすものである。ＨＯＥ２０１ｆは、第１及び第２プリズム２０１ｄ、２０１ｅと同様に投影光学系をなすものであって、体積位相型のホログラム光学素子（Holographic Optical Element；ＨＯＥ）からなる。このＨＯＥ２０１ｆは、入射光に対する角度依存性及び波長選択性を有し、この入射光を回折し、正のパワーによって虚像として光学瞳に導くように構成されている。

照明デバイス２０１ａから射出されたＲＧＢの照明光Ｌは、コンデンサーレンズ２０１ｂを通して集光されて表示デバイス２０１ｃを照明する。この照明により表示デバイス２０１ｃで生成された映像光は、第１プリズム２０１ｄ内を反射、すなわち第１プリズム２０１ｄの反射面２０１１、２０２２で全反射した後、ＨＯＥ２０１ｆによって回折され、虚像として光学瞳ＥＰ（投影光学系の射出瞳）に導かれる。作業者は光学瞳ＥＰの光を瞳に入射させてこの映像を観察することができる。

なお、ＨＭＤは、このような構成（光学デバイス）を有する表示筐体２０１を備えることにより、狭視野角すなわち非常に狭い視野での映像表示状態を得ることができ、ＨＭＤの装着時に作業者以外の第三者にこの映像が盗み見されないような構成となっている。また、第１プリズム２０１ｄ内での光の反射を上記全反射としたので、作業者は、外界光（外光）の第１プリズム２０１ｄにおける透過率を低下させることなく、すなわち、全反射する映像光によって視界を遮られることなく第１プリズム２０１ｄの反射面２０１１、２０２２を通して外界を見ることができる。また、図３に示すように、第１及び第２プリズム２０１ｄ、２０１ｅは、それぞれ例えばクサビ状（テーパ面状）に形成された一端面同士が接合されることで一枚の板状に一体化され、この接合面（界面）においてＨＯＥ２０１ｆが挟持された構成となっている。この構成により、第２プリズム２０１ｅが、第１プリズム２０１ｄのクサビ状部分での光の屈折をキャンセル（相殺）する、すなわち、当該クサビ状部分におけるプリズム効果により、光学瞳ＥＰ側からの光が第１プリズム２０１ｄの入射面２０１３側（上方）へ折れ曲がることが防止されるため、作業者は、第１及び第２プリズム２０１ｄ、２０１ｅ及びＨＯＥ２０１ｆを通して、外界光を歪むことなく見ることができる。

図２に戻って、フレーム２０２は、眼鏡レンズすなわち上記第１及び第２プリズム２０１ｄ、２０１ｅ及びＨＯＥ２０１ｆを支持するとともに、テンプル２０３、鼻当て部２０４を支持する所謂フレーム体である。テンプル２０３は、左テンプル２０３Ｌ及び右テンプル２０３Ｒからなる。これら各テンプルは、例えば可撓性を有し、作業者の耳や側頭部に掛止するなどして、鼻当て部２０４と共にＨＭＤを頭部へ保持させるものである。鼻当て部２０４は、左鼻当て部２０４Ｌ及び右鼻当て部２０４Ｒからなり、作業者の鼻部、例えば鼻頭等に当接（接触）させて上記テンプル２０３と共に、ＨＭＤを頭部へ保持させるものである。接続ケーブル２０５は、ＨＭＤと上記第１コントロール部１６とを接続するケーブル（信号線）であり、ＨＭＤつまり表示筐体２０１に対して第１コントロール部１６から映像信号を送信するとともに、後述におけるＨＭＤに装着された場合のマイクロカメラ１４１から該マイクロカメラ１４１による撮影により得られた撮影情報を第１コントロール部１６へ送信する。なお、この接続ケーブル２０５を通して、ＨＭＤの動作用電力（電源）を供給するようにしてもよい。

作業者に装着された上記構成のＨＭＤ（表示部１１）には、ホストシステム部２０から送信されてくる各種情報のうちの映像情報が表示される。この映像情報とは、例えば作業者の作業に必要なマニュアル等に関する文書（ドキュメント）やビデオクリップ（動画像）、或いは、後述する作業フェーズの欠落や作業手順の矛盾時におけるアラームや、作業者に対する実際にどのように作業したら良いかといった作業指示等（後述の作業支援情報）に関する映像情報である。なお、ここでは、上記文書やビデオクリップは、例えば後述する作業フェーズタグを作成した後、作業フェーズの欠落や作業手順の矛盾時に後述する作業支援情報としてＨＭＤに表示されるものでなく、このような状況に関係なく、作業者が作業時に参照するべく、すなわち正しい作業を行うための参考とするべくＨＭＤに表示される情報として記載している。この場合、作業者はこのＨＭＤに表示される参照情報を見つつ、第１及び第２プリズム２０１ｄ、２０１ｅ及びＨＯＥ２０１ｆを通して自分が作業している様子例えば手の動作を見ることになる。

なお、表示部１１は、ＨＭＤを装着した作業者自身による第１操作部１７の操作、例えば表示部１１に表示させる情報（文字情報や画像情報）を選択したり、拡大、縮小などする操作に応じて、該表示情報を切り替えたり（切り替え表示したり）、拡大、縮小表示する機能を備えていてもよい。また、表示部１１は、後述の外部機器から入力されるデータ（測定データ）が表示される機能を備えていてもよい。また、上記アラームとは、後述の作業フェーズに欠落や作業手順の矛盾があった旨を作業者に報知（警告）するための音声や映像の情報（報知情報）であり、例えば、作業を飛ばしたときに発せられる警報音や、「作業動作に矛盾があります」或いは「作業をやり直して下さい」といったメッセージの音声や映像（文字情報）である。

音声出力部１２は、ホストシステム部２０から送信されてくる各種情報のうちの音声情報を出力する所謂イヤホン（スピーカ）である。この音声情報とは、例えば上記ビデオクリップの音声情報や上記アラーム或いは作業指示等に関する音声情報である。音声入力部１３は、作業者の声、或いは作業等に関する音などの音声情報を入力（採取）する所謂マイクである。音声入力部１３から入力されたこの音声情報はホストシステム部２０へ送信される。ところで、音声出力部１２及び音声入力部１３は、それぞれ例えばヘッドホン及びヘッドマイクであってもよく、この場合、これらヘッドホン及びヘッドマイクは所謂ヘッドセットとしてＨＭＤとは別に作業者の頭部に装着されるようにしてもよい。また、これに限らず、音声出力部１２及び音声入力部１３はそれぞれ上記イヤホン及びマイク（小型マイク）としてＨＭＤの適所に設けられる構成であってもよい。

撮像部１４は、所定の撮影対象を撮影するカメラ（例えばマイクロカメラ）である。撮像部１４はここでは作業内容すなわち作業者が作業している様子を撮影する。撮像部１４により撮影されたこの作業内容の映像情報はホストシステム部２０へ送信される。この撮像部１４は、図２に示すようにマイクロカメラ１４１（撮影デバイス）としてＨＭＤの適所に、例えば前方側にカメラレンズが向くように取り付けてもよい。これにより、上記作業内容を、カメラを手で持って作業している方向へ向けるなどの動作を行うことなく、ＨＭＤを装着した作業者が向く方向（目視方向）に合わせて撮影できるようになる。

第１伝送部１５は、ホストシステム部２０との間の双方向通信を行う機能を備えるものであり、端末システム部１０における映像や音声データ等の通信情報をホストシステム部２０へ送信したり、ホストシステム部２０からの当該通信情報を受信するための所謂インターフェイス部（Ｉ／Ｆ部）である。第１伝送部１５は、上記通信回線Ｎが例えば有線ネットワーク（例えばインターネット）である場合は、例えばＴＣＰ／ＩＰプロトコルによる情報通信を行うことが可能に構成されていたり、或いは上記通信回線Ｎが例えば無線ネットワークである場合は、例えばＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）といった無線通信規格を用いて情報通信を行うことが可能に構成されている。なお、通信回線Ｎには、例えばブリッジやルータ等のアクセスポイントを備えていてもよい。

第１コントロール部１６は、端末システム部１０の制御プログラム等を記憶するＲＯＭ（Read Only Memory）、一時的にデータを保管するＲＡＭ（Random Access Memory）、及び上記制御プログラム等をＲＯＭから読み出して実行するマイクロコンピュータ等からなり、端末システム部１０全体の動作制御を司るものである。

第１操作部１７は、例えば所定の入力キー又は入力ボタン等の入力機構が設けられており、この入力機構を用いて作業者により端末システム部１０に対する所定の指示入力が行われるものである。この第１操作部１７により、例えば上述した表示部１１に表示させる情報を選択したり、該情報を拡大、縮小表示させる操作が行われる。

なお、このような構成を有する端末システム部１０は、具体的には、例えば上記第１伝送部１５、第１コントロール部１６及び第１操作部１７等を備えた携帯モバイル端末装置と、この携帯モバイル端末に、それぞれ上記表示部１１（ＨＭＤ）、上記音声出力部１２（ヘッドホン）及び音声入力部１３（ヘッドマイク）を備えたヘッドセット、及び上記撮像部１４（マイクロカメラ１４１）がケーブル等で接続されたような構成であってもよい。

次に、ホストシステム部２０について説明する。ホストシステム部２０は、端末システム部１０を使用する作業者の作業を所謂サポートするためのシステム（遠隔作業者支援システム）であり、上記現場等で作業する作業者側のシステムに対して、所定の組織や会社における例えば本部側のシステムである。この作業者のサポートに関して、ホストシステム部２０は、作業に必要な各種情報を端末システム部１０へ送信したり、端末システム部１０から送信されてきたデータを解析し、或る作業の各作業工程（又は作業段階；この作業工程或いは作業段階のことを「作業フェーズ」と表現する）において行われる作業に関するタグ情報（これを「作業フェーズタグ」と表現する）を生成、記録するとともに、作業フェーズの欠落や作業手順の矛盾（誤手順）をチェックし、作業フェーズの欠落や作業手順の矛盾が検出された場合には作業者に対するアラーム情報や、具体的にどのような作業を行うべきかを示す作業指示情報を端末システム部１０へ送信するといった機能を備えている。

このホストシステム部２０について以下に詳述する。ホストシステム部２０は、第２伝送部２１、第２操作部２２、第２コントロール部２３、作業監視部２４、タグ情報記録部２５及び作業情報記録部２６を備えている。第２伝送部２１は、第１伝送部１５と同様、端末システム部１０との間の双方向通信を行う機能を備えるＩ／Ｆ部である。第２操作部２２は、例えばキーボード等の入力機構が設けられており、ホストシステム部２０に対する所定の指示入力を行うものである。

第２コントロール部２３は、ホストシステム部２０の制御プログラム等を記憶するＲＯＭ、一時的にデータを保管するＲＡＭ及び上記制御プログラム等をＲＯＭから読み出して実行するマイクロコンピュータ等からなり、ホストシステム部２０全体の動作制御を司るものである。

作業監視部２４は、端末システム部１０から送信されてくる作業に関する映像データや音声データ等の作業情報を用いて、作業者により行われた作業が、予め決められた適正な作業内容であるか否かを識別して作業フェーズタグを作成したり、この作業フェーズタグを用いて作業フェーズの欠落や作業手順の矛盾（これらを纏めて“不具合”と表現する）を検証して、作業者に対するアラームや指示の情報を発信するものである。タグ情報記録部２５は、作業監視部２４によって作成された作業フェーズタグを記録するものである。

作業情報記録部２６は、端末システム部１０において撮影或いは入力された、作業者の作業に関する映像データや音声データである作業情報（後述の図６に示す録画データＲ参照）を記録するものである。また、作業情報記録部２６は、予め決められた適正な作業内容を表す映像や音声の作業情報（この作業情報を「基準作業情報」と表現する）、及び、端末システム部１０の表示部１１に表示させる、作業に必要なマニュアル等に関する文書（ドキュメント）やビデオクリップなどの映像情報（後述の図６に示す表示データＤ参照）を保存するものである。

ここで、作業監視部２４及び作業情報記録部２６における動作について詳述する。図４は、作業監視部２４の各機能を説明するための機能ブロック図である。作業監視部２４は、作業識別部２４１、タグ生成部２４２、作業フェーズ検証部２４３、アラーム部２４４及びタグ補完部２４５を備えている。

作業識別部２４１は、端末システム部１０から送信されてきた作業情報（映像データや音声データ）と、作業情報記録部２６に保存されている本来行われるべき作業内容である上記基準作業情報とを比較し、作業者により行われた作業が適正な作業（基準作業情報における基準作業に適合したもの）と一致するのか否か、すなわち作業者の作業内容が予め決められた基準作業の何れの作業フェーズに属する作業であるのか（何れの作業フェーズにも属さない作業であるのか）を自動的に識別するものである。

具体的には、作業識別部２４１は、端末システム部１０から送信されてきた音声入力部１３により入力された音声データ、すなわち作業者が作業時に発する所定の音声コマンド、例えば作業者が運転士であるとすると、この運転士により発せられる「出発進行！」とか「信号良し！」「何々の機器の状態良し！」といった声（言葉）と、基準作業情報における各作業フェーズが有している音声コマンドとが一致するか比較し、この比較結果に基づいて、この作業者が発した音声コマンドの作業が、基準作業（全作業フェーズ）における何れの作業フェーズでの作業であるのかを判定する。ただし、この音声データの比較とは、例えば互いの音声信号波形が一致するかどうかの比較であり、この比較結果による当該音声信号波形同士の一致度合いを調べるものである。この場合、一致度合い（一致割合）が所定の閾値を超えたものについては、音声コマンドが合致したものと判定し、そうでない場合には音声コマンドは合致していないと判定するようにしてもよい。

また、作業識別部２４１は、端末システム部１０から送信されてきた撮像部１４により撮影された映像データ、例えば作業に関する作業者の体の動作例えば手や足の動き（以降、作業において用いられる作業者の体の部分として“手”を例に挙げて説明する）、例えば上記運転士によるハンドル操作と、基準作業情報における手の動きとが一致するか比較し、この比較結果に基づいて、当該作業者の動作が、全作業工程における何れの作業フェーズのものであるのかを判定する。この手の動きの比較は、例えば互いの画像つまり動画を構成する各静止画像に映っている手のエッジ（輪郭）或いはこのエッジの変化を検出して比較するような画像処理であってもよい。

なお、作業識別部２４１は、作業者が作業において例えばこの作業が間違いなく円滑に実行できるよう参照するために端末システム部１０の表示部１１で表示された情報（これを参照情報という）、具体的には上記作業に必要なマニュアルに関する文書やビデオクリップ、或いは外部機器からのデータに基づいて、端末システム部１０から送信されてくる作業情報が適正な作業であるか否かを自動的に識別するようにしてもよい。ただし、この“外部機器”とは、作業監視システム１とは別に設けられた該作業に関して使用される例えば計測機器であり、端末システム部１０の表示部１１或いはコントロール部１６などに接続されているものである（ホストシステム部２０側に接続されていてもよい）。この外部機器からのデータ例えば計測データが表示部１１に表示される。なお、上記文書やビデオクリップ又は外部機器からのデータ等の表示部１１への表示は、自動的に行われてもよいし、作業者による第１操作部１７等からの指示入力に応じて行ってもよい。

ところで、作業識別部２４１は、上述では音声情報、映像情報又は参照情報の個々の情報を用いて識別動作を行うことを説明したが、これに限らず、複数の情報つまり音声情報、映像情報及び参照情報のうちの２つの情報又は全ての情報を同時に用いて識別動作を行ってもよい。また、作業識別部２４１は、作業情報が基準作業情報と一致するか否かを識別するに際して、この作業情報が、音声情報と映像情報との異なる情報からなる場合、これら音声及び映像情報に対して所定の重み付けを行い、この重み付けされた音声及び映像情報を用いて作業者の作業内容が基準作業情報と一致するものであるか否かを識別する機能を備えている。この重み付けは、音声及び映像情報に対してだけでなく上記参照情報に対しても行ってよい。この場合、音声情報、映像情報及び参照情報の何れか２つの情報或いは全ての情報に対して重み付けが行われる。

この重み付けとは、具体的には、例えば作業情報が音声の情報と手の動きの情報とを有しており、音声及び手の動きの何れもが明確でなく、この作業情報が作業フェーズに対応する作業動作であるか否かどちらとも言えないようなとき、例えば手の動きで判定するよりも音声で判定する方がより正確であると仮定するなどして、このようなときには音声の方を重視して（比重をおいて）判定するといった場合の、判定を行うに際しての重視度合い（重み）である。別の例として、例えば作業フェーズ２と作業フェーズ３とが同じような手の動きとなる場合、手の動きではどちらが作業フェーズ２であるか作業フェーズ３であるかが判定できないので、この場合には手の動きの情報を用いずに音声の情報を用いて判定を行うといったときの重みである。

タグ生成部２４２は、作業識別部２４１による識別結果に基づいて、作業フェーズタグを自動的に生成するものである。図６は、作業フェーズタグの構成の一例を説明するための模式図である。タグ生成部２４２は、作業識別部２４１による上記識別動作により、作業者の作業つまり音声や動作（映像）が、基準作業情報における或る作業フェーズの音声や動作と一致した結果が得られるのに応じてつまり一致した結果が得られる都度、例えば作業フェーズタグ３０１、３０２・・・３０５などと自動的に各作業フェーズタグを生成する。なお、これら各作業フェーズタグのことを纏めて作業フェーズタグＰとする。

作業フェーズタグＰにおける各作業フェーズタグ、例えば作業フェーズタグ３０１を例に説明すると、この作業フェーズタグ３０１は以下の例えば（１）〜（６）に示すタグ情報を有した所謂テキストデータとなっている。
（１）符号３１１で示す“作業フェーズ：１”のように全作業フェーズの内のどの作業フェーズであるかつまり例えば何番の作業フェーズであるかを示す情報（タグ判別情報という）。なお、“作業フェーズ：１”の作業フェーズを作業フェーズ１と表現する（以降、表示データや録画データの場合も同様）。

（２）符号３１２で示す“録画データ：１”のように、この作業フェーズタグ３０１に対応する作業の映像や音声が記録された録画データ（録画データＲとする）が存在する場所を示す情報つまり例えば符号３１３で示す録画データ名（ファイル名）の情報（録画データ名情報という）。

（３）符号３１４で示す“（０１：０３〜０１：０７）”（時刻１時３分から１時７分まで）のように、上記“録画データ：１”における該作業フェーズタグ３０１に対応する部分の録画データが記録されている場所を示す情報ここでは録画時刻（録画データ１における符号３１５で示す場所の時刻）の情報（タイムスタンプ情報という）。

（４）符号３１６で示す“表示データ：１”のように、作業フェーズタグ３０１の作業においてＨＭＤに表示された上記マニュアルに関する文書やビデオクリップ或いは測定機器からの測定データ等の表示データ（表示データＤとする）が保存されている場所を示す情報つまり例えば符号３１７で示す表示データ名（ファイル名）の情報（表示データ名情報）。

（５）符号３１８で示す“（Ｎｏ．１）”のように、表示データ１における該作業フェーズタグ３０１に対応する表示データが記録されている場所を示す情報つまり例えば符号３１９で示す表示データナンバーの情報（表示データナンバー情報という）。因みに、作業フェーズタグ３０３の場合、この表示データに関するタグ情報は、符号３２０で示すように表示データ２における符号３２１で示す表示データナンバーの情報となっている。

（６）符号３２２における“ＸＸＸＸＸＸＸＸ：ｘｘｘｘ”で示すように、ここでの作業に対応するアプリケーション（例えば運転動作チェック用或いは製造作業チェック用のアプリケーションつまり例えばアプリケーションソフト）について情報、例えばアプリケーション名の情報（アプリケーション名情報）といったタグ情報を有している。ただし、或る１つのアプリケーションに対して各作業フェーズの作業が行われるので、各作業フェーズタグ３０１〜３０５のアプリケーション名情報は同じものになっている。なお、各作業フェーズタグにおけるタグ情報は、上記構成に限らず、例えば作業が正常に終了したかの情報や作業評価（例えば或る作業フェーズは作業に時間が掛かったとか、一応、作業はできているものの一部に不適な作業があったなどというその作業フェーズの作業内容の評価）などの情報、或いはアプリケーションに応じたアプリケーション特有の様々な情報であってもよい。

タグ生成部２４２は、このような作業フェーズタグを、作業者の作業が進行するのに応じて端末システム部１０から送信されてくる作業情報に応じて、作業フェーズタグ３０１、３０２・・・作業フェーズタグ３０５と順につまり時系列に作成していき、この作成した作業フェーズタグを例えば上記テキストファイルとしてタグ情報記録部２５に記録する。このようにして或る作業の一連の作業フェーズタグが記録されるが、当該或る作業に対する一連の作業フェーズタグを纏めて（後述の補完用作業フェーズタグも含めて）１つの例えば上記アプリケーション毎の例えばフェーズファイルとして記録してもよい。このとき、作業情報記録部２６には、録画データＲが時間とともに蓄積（記録）されていく。なお、作業フェーズタグ３０５は、本作業における第ｎ番目の作業フェーズ（“作業フェーズ：ｎ”）に対応する作業フェーズタグを示しており、この作業フェーズタグ３０５に対応する録画データは、録画データＲの時刻ｔｎ〜ｔ’ｎの場所に存在し、また、この作業フェーズｎにおいて表示部１１に表示された表示データは、表示データＤのＮｏ．Ｚの場所に存在する。

作業フェーズ検証部２４３は、作業識別部２４１による識別結果、すなわち上記タグ生成部２４２により生成された作業フェーズタグの情報、或いはタグ生成部２４２により作業フェーズタグが生成されたか否か等の情報と、作業情報記録部２６に保存されている基準作業情報（予め決められた作業手順情報）とに基づいて、作業者によって行われた作業の内容における作業の不具合つまり作業フェーズの欠落や手順の矛盾を自動的に検証（ベリファイ）する、換言すれば作業者の作業内容に不具合があるか否かを自動的に判定するものである。この作業フェーズの検証は、作業記録終了後すなわち作業者の作業全体が終了し、作業情報の録画（図６に示す録画データＲ参照）が完了した後で、或いは作業情報の録画中つまり各作業フェーズの作業が進行している中で行われる。なお、上記作業フェーズの欠落の検証とは、例えば、図６に示すように、作業フェーズ３の次に作業フェーズ５の作業が識別された場合に、すなわち作業フェーズタグ３０３の次に作業フェーズタグ３０５がきてしまうような場合に、符号３３１で示す箇所の作業フェーズ４に相当する作業が飛ばされた、すなわち作業フェーズ４の作業が抜け落ちている或いは実行されていないことを検出することである。

また、上記作業フェーズの手順の矛盾の検証とは、或る作業フェーズでの作業が行われているときに、本来の決められた動作（音声）と異なる動作が実行されたか、又は作業の順序が間違っているかについての検証である。この場合、例えば一部の作業に不具合は存在するものの、一応、全体的には作業は適合しているような場合には、例えばこの不具合が存在する作業フェーズであることが分かる情報を付与した作業フェーズタグとしてタグ生成部２４２により作成するようにしてもよい。なお、上記作業フェーズの手順の矛盾の検証は、上記各作業フェーズでの個々作業の手順だけでなく、各作業フェーズ自身の順番の矛盾、すなわち例えば後で行うべき作業フェーズが先に行われてしまったなどという作業フェーズ自身の順序の間違いの検証も含む。

アラーム部２４４は、作業に不具合が生じた旨や正しい作業内容を確認、再実行させるといった作業者に対する所定のアラーム情報を出力するものである。すなわち、アラーム部２４４は、作業フェーズ検証部２４３による作業フェーズの検証結果により、例えば或る作業フェーズに欠落や手順の矛盾が検出された場合に、作業者に対して当該不具合について報知するべく端末システム部１０へ音声や映像によるアラーム情報を送信する。

アラーム部２４４は、録画データＲにおける、作業に不具合があった作業フェーズに対応する記録区間の録画情報を再生させて“再生情報”として表示部１１に表示させたり、この不具合の作業フェーズに対する適正な作業（基準作業、或いは前回行ったときの正しい作業）の映像を“適正情報”として表示部１１に表示させたり、これら再生情報や適正情報の映像に対応する音声を音声出力部１２に出力させたりする機能も備えている。このときアラーム部２４４は、作業者に対して正しい作業を行うように（例えば“この作業ではもう少し具体的にこのような動作にしなさい”などと）指示する音声（音声アラーム）や映像（文字アラーム）による“指示情報”を端末システム部１０に送信してもよい。なお、上記作業者に指示する音声は、例えばホストシステム部２０側に居て端末システム部１０からの作業情報を監視している実際の人（監視者）による音声指示であってもよい。

これらの情報は、作業者が適正な作業を行うのに必要とされる情報であり、作業者が作業し易いように謂わば作業を支援（サポート）する情報（これを「作業支援情報」という）であると言える。これにより、作業者は、自分が行った作業内容を、間違った作業の映像と正しい作業の映像とを見比べて確認するなどして、再度正しく作業し直すことが容易に行えるようになる。なお、作業支援情報は、上記のものに限定されず、例えば上述したマニュアルに関する文書やビデオクリップなど種々の情報が採用可能である。

なお、アラーム部２４４は、これら再生情報、適正情報或いは作業指示情報を必ずしも自動的に端末システム部１０へ送信せずともよく、例えば作業者が上記アラームを受けた後に第１操作部１７等から指示入力を行うことよるデータ送信要求に応じて送信するようにしてもよい。また、アラーム部２４４は、上記不適正な作業が行われた場合だけでなく、適正な作業が行われた場合にも、例えば“この作業フェーズは適正に作業が行われました”などというメッセージを表示部１１に表示させる機能を備えていてもよい。

タグ補完部２４５は、作業フェーズ検証部２４３による検証により、上述したように例えば符号３３１で示す箇所の作業フェーズ４に相当する作業フェーズタグが作成されていないつまり欠落していることが検出された場合、この欠落した作業フェーズタグを補完するための補完用作業フェーズタグを作成するものである。当該補完用作業フェーズタグには、この欠落した作業フェーズにおいて本来行われるべき正しい作業内容、すなわち上記作業情報記録部２６に保存された基準作業情報における該欠落した作業フェーズに対応する作業内容（音声や映像情報）の保存場所の情報などのタグ情報が与えられている。

タグ補完部２４５は、作業フェーズタグの補完として、作業フェーズタグが欠落した場合だけでなく、上述のように作業フェーズタグは作成されているものの一部の作業に不具合が存在する情報が付与された作業フェーズタグ（これを不完全作業フェーズタグと表現する）が作成された場合にも、この不完全作業フェーズタグと併せて、上記基準作業情報における本来行われるべき正しい作業内容の保存場所などのタグ情報を有した作業フェーズタグを作成する（不完全作業フェーズタグは破棄し、この代わりに当該適正な作業フェーズタグを残す）ようにしてもよい。この補完される作業フェーズタグは、例えば作業者或いは他の者が例えば後にこれと同じ作業を行うときに、この欠落又は手順に矛盾がある部分の作業が正しくはどのような作業であるのかを確認するための謂わば見本の作業フェーズタグであると言える。

実際には、タグ補完部２４５は、時間の計測（タイムカウント）が可能に構成された計時機能つまりタイマーを備えており、上記作業フェーズの欠落や手順の矛盾が検出された場合、このタイマーを用いて例えば当該作業フェーズの欠落や手順の矛盾が検出された時点から時間計測を開始し、一定時間例えばｎ秒が経過しても、この欠落や手順の矛盾があった作業フェーズの作業内容が依然として変わらないつまり改善（改正）されない場合には、具体的には作業識別部２４１によって作業フェーズの欠落や作業手順の矛盾が検出された作業に対応して作業者により再度実行された作業内容（作業情報）が基準作業情報と一致したと識別されない場合に、上述の作業フェーズの欠落及び／又は作業手順の矛盾を補完する作業フェーズタグを作成する構成となっている。なお、上記時間計測の開始を、各作業フェーズの作業が開始された時点、或いは前の作業フェーズにおける作業例えば作業フェーズタグの生成が完了した時点から行ってもよい。

図５は、作業情報記録部２６の各機能を説明するための機能ブロック図である。作業情報記録部２６は記録制御部２６１を備えている。記録制御部２６１は、端末システム部１０において撮影或いは入力された作業情報（上記図６に示す録画データＲ参照）の、作業情報記録部２６への記録に際しての記録動作の制御を行うものである。具体的には、記録制御部２６１は、上記音声情報、映像情報及び参照情報のいずれかの情報又はこれら情報のうちの２つの情報若しくは全ての情報に基づき作成される作業フェーズタグが上記欠落しており、該作業フェーズに対応する録画データ例えば図６に示す符号３４１や３４２の箇所の録画データ（部分録画データとする）が存在しない、或いは、これら部分録画データの間に存在する、謂わば不要な例えば符号３５１や符号３５２で示す録画データを、録画データＲから削除する（クリッピングする）クリッピング機能を備えている。

記録制御部２６１は、このクリッピング機能によって、或る作業に関する作業フェーズ１〜作業フェーズｎに亘っての録画データ全体の記録が完了した後で、或いは作業フェーズ１、２・・・と順に作業が進行するのに応じて録画データが連続して記録されていく中で、上記録画データの削除を行う制御を行う。当該記録中に削除するのではなく、例えば一時的に記憶するメモリを備えるなどしてこのメモリに一旦作業情報を記憶しておき、作業フェーズタグが作成されなかった時点でこの作業フェーズに対応する作業情報は録画データとして記録せずにそのまま破棄する（クリッピングする）構成であってもよい。ただしこの場合、作業フェーズタグが作成されたときには、このメモリに一旦記憶されている作業情報は、録画データとして謂わば正式に記録される。これにより、録画データＲのデータ量を減らす（データサイズを小さくする）ことができ、メモリを節約することができるとともに、録画データＲを各作業フェーズに沿って整理されたつまり各作業フェーズに対応する作業情報の録画データが無駄に間隔をおいて記録されることなく謂わば連続して記録された録画データとすることができる。このようにデータが整理されることで、例えば後においてこの録画データを利用する際に、例えば必要な情報を見付けるのに手間がかからないようにすることができる、つまり録画データを利用し易くすることができる。

なお、上記符号３５１や符号３５２で示す録画データは、作業フェーズタグに対応していない録画データ、すなわち、作業フェーズタグが作成され得る適正な作業情報でない作業情報、つまり作業者の声の情報が録音されていない、若しくは手自身や手の動きの情報が映っていない、若しくは上記参照情報が無い作業情報の録画データ、或いは、これら声や手の動きの情報は有しているもののこれが適正な動作でない、すなわち例えば作業情報における声と基準作業情報における音声コマンドが一致しない、或いは作業情報における上記手の動きと基準作業情報における手の動きとが一致しない、或いは作業情報における参照情報と基準作業情報における参照情報とが一致しない作業情報の録画データである。なお、この録画データは、音声コマンド、手の動き及び参照情報のうちの２つ又は全部が一致しない録画データであってもよい。このことから、記録制御部２６１は、作業における音声情報及び／又は映像情報及び／又は参照情報に基づいて上記記録データのクリッピングを行う（上記クリッピング機能を有効又は無効にする）ものであると言える。なお、このクリッピング機能は、作業情報記録部２６以外の例えば作業監視部２４に備えてもよい。また、ここでは、端末システム部１０側の負荷をできるだけ少なくするために本クリッピング機能をホストシステム部２０に備える構成としているが、端末システム部１０に備えてもよい。

図７は、各作業フェーズタグの生成及び作業内容の検証に関する動作の一例について説明するフローチャートである。先ず、作業者により行われた作業の内容が認識される、すなわち作業識別部２４１によって端末システム部１０から送信されてきた映像情報や音声情報からなる作業情報と、作業情報記録部２６に保存されている基準作業情報とが比較され、この端末システム部１０から送信されてきた作業情報が基準作業情報に適合したものか否か、例えば作業者の音声や手の動きがそれぞれ基準作業情報におけるどの作業フェーズの音声コマンド、手の動きに一致するかが自動的に識別される（この識別において上述した重み付けがなされてもよい）。このとき作業情報の各作業は何れの作業フェーズに対応するものであるのか、或いは何れの作業フェーズにも対応しないものなのかが識別される（ステップＳ１）。

そして、作業フェーズ検証部２４３によって、この識別結果の情報と作業情報記録部２６に保存されている基準作業情報とに基づいて、作業者による作業内容における作業フェーズの欠落や手順の矛盾等の作業の不具合が自動的に検証される。この検証の結果、作業に不具合がない、すなわち当該作業情報における作業が或る作業フェーズの作業に該当するものであると判定された場合（ステップＳ２のＹＥＳ）、タグ生成部２４２によってこの作業に該当する作業フェーズタグが生成され、タグ情報記録部２５に記録される（ステップＳ３）。ただし、ステップＳ３のタグ生成において、作業の一部に不具合いがあるものの全体としては適正であると判定された場合の作業についても、これに対応する作業フェーズタグが生成されてもよい。

上記ステップＳ２において、作業情報における作業が何れの作業フェーズの作業に該当しないつまり作業に不具合があると判定された場合（ステップＳ２のＮＯ）、タグ補完部２４５の計時機能によりこの判定終了時点或いは本作業フェーズの作業開始時点から開始された時間計測において、所定時間例えばｎ秒以内の間は（ステップＳ４のＹＥＳ）、アラーム部２４４によって所定のアラーム情報が端末システム１０の表示部１１や音声出力部１２に送信され、これら表示部１１や音声出力部１２から作業者に対して当該作業は不適正であり作業のやり直しが必要である等の旨が報知される（ステップＳ５）。上記ステップＳ４においてｎ秒を超えて時間が経過すると（ステップＳ４のＮＯ）、タグ補完部２４５によって作業フェーズタグの補完が行われる、すなわち当該不具合がある作業フェーズに対応する補完用の作業フェーズタグが生成され、タグ情報記録部２５に記録される（ステップＳ６）。

以上のように本発明に係る作業監視システム１によれば、撮像部１４（作業情報取得装置）により取得された作業情報における作業者の作業内容が適正な作業として予め定める基準作業情報における基準作業の何れの作業フェーズでの作業に属するかが作業識別部２４１（識別装置）により識別され、この作業識別部２４１による識別結果に応じて、基準作業の作業工程（作業フェーズ）に関連付けられた工程（作業フェーズ）毎に作業フェーズタグ（作業タグ）がタグ生成部２４２（タグ生成装置）により生成され、タグ生成部２４２により生成される作業フェーズタグに基づいて、作業者の作業内容に不具合が存在するか否かが作業フェーズ検証部２４３（検証装置）により検証される。そして、作業フェーズ検証部２４３による検証により作業者の作業内容に不具合が存在することが検出された場合には、アラーム部２４４（作業支援装置）により、表示部１１（映像表示装置；ＨＭＤ）及び／又は音声出力部１２（音声出力装置）に対して所定の報知情報が送信されるとともに、作業支援情報が送信される構成であるので、自動的に作業（各作業工程）をチェック（点検）することができ、ひいては人的要因による事故の発生を防止することが可能となる。

また、基準作業情報が作業フェーズ毎に所定の音声コマンドを含むものとされ、作業者の音声（音声コマンド）がこの基準作業情報における基準作業の各作業フェーズにおける音声コマンドと一致するか否かが作業識別部２４１により自動的に識別され、この識別における作業者の音声と音声コマンドとの一致度合いに応じて、基準作業の作業フェーズに関連付けられた作業フェーズ毎に作業フェーズタグがタグ生成部２４２により自動的に生成されるので、作業者が声を用いて作業を行う場合の作業に対して、自動的に作業内容（作業工程）をチェックすることが可能となる。

また、作業者の体の動作（例えば手の動き）が基準作業の各作業フェーズにおける体の動作と一致するか否かが作業識別部２４１により自動的に識別され、この識別における作業者の体の動作と基準作業の各作業フェーズにおける体の動作との一致度合いに応じて、基準作業の作業フェーズに関連付けられた作業フェーズ毎に作業フェーズタグがタグ生成部２４２により自動的に生成されるので、作業者が体の動作を用いて作業を行う場合の作業に対して、自動的に作業内容（作業工程）をチェックすることが可能となる。

また、作業者が作業において参照するべく表示部１１に表示された及び／又は音声出力部１２から出力された所定の参照情報を用いて、該作業者の作業が基準作業の各作業フェーズにおける作業と一致するか否かが自動的に識別され、この識別結果に応じて、基準作業の作業フェーズに関連付けられた作業フェーズ毎に作業フェーズタグがタグ生成部２４２により自動的に生成されるので、音声情報や映像情報以外の参照情報を用いても、作業者の作業内容（作業工程）を自動的にチェックすることが可能となり、当該作業内容のチェックに用いることができる情報の選択肢が広くなり、チェック動作を行うに際しての自由度が高くなる。

また、作業識別部２４１により音声情報、映像情報及び参照情報に対して所定の重み付けが行われ、この重み付けされた各情報を用いて作業情報における作業者の作業内容が基準作業の各作業フェーズにおける作業と一致するか否かが識別されるので、作業識別部２４１による識別の精度を高めることができ、ひいては作業内容のチェックの精度が高くなる。

また、作業情報記録部２６（記録装置）への作業情報の記録が完了した後又は記録中に、タグ生成部２４２により生成された作業フェーズタグに基づいて作業フェーズの欠落及び作業手順の矛盾が作業フェーズ検証部２４３により自動的に検証されるので、作業者の作業内容における作業フェーズの欠落及び作業手順の矛盾を自動的にチェックすることができる。

また、作業者の行った作業に作業フェーズの欠落及び／又は作業手順の矛盾つまり不具合があった場合、表示部１１及び／又は音声出力部１２に対して、作業者への報知情報が送信されるとともに、この不具合が検出された作業フェーズに対応する作業情報が作業支援情報として送信されるので、作業者は、表示部１１及び／又は音声出力部１２を介して、自分の行った作業に不具合があることを容易に知ることができ、また、自分の行った作業内容（不具合のある作業情報）がどのようなものであるか確認することができる。

また、作業者の行った作業に作業フェーズの欠落及び／又は作業手順の矛盾つまり不具合があった場合、表示部１１及び／又は音声出力部１２に対して、作業者への報知情報が送信されるとともに、基準作業情報におけるこの不具合が検出された作業フェーズに対応する作業情報が作業支援情報として送信されるので、作業者は、表示部１１及び／又は音声出力部１２を介して、自分の行った作業に不具合があることを容易に知ることができ、また、この不具合のある作業をやり直すといったことがこの基準作業情報における適正な作業情報を参考にして容易に行えるようになる。

また、作業者の行った作業に作業フェーズの欠落及び／又は作業手順の矛盾つまり不具合があった場合、一定時間が経過したことが計測された後も、この不具合が検出された作業に対応する作業内容が基準作業と一致することが作業識別部２４１により識別されないすなわち不具合のある作業内容が改善（改正）されない場合に、この不具合のある作業に対する作業フェーズタグを補完する補完用作業フェーズタグがタグ補完部２４５（タグ生成装置）により生成される構成であるので、作業に不具合があった時点で直ちに補完用作業フェーズタグが生成されてしまうことを防止し、例えば作業が遅い作業者が多少時間はかかってもその作業を改善することができるように作業に裕度を与えることができ、ひいては単に作業を監視、チェックするだけでなく作業者が作業し易い作業監視システム１とすることができる。

また、作業情報記録部２６に記録された作業情報における作業フェーズタグに対応する作業情報でない作業情報が作業情報記録部２６から削除される、又は作業フェーズタグに対応する作業情報でない作業情報が作業情報記録部２６に記録されずに破棄されるので、記録するデータ量を減らすことができてメモリを節約することができるとともに、記録データを各作業フェーズに沿って整理されたデータとすることができる。

さらに、上記映像表示装置、音声出力装置及び作業情報取得装置により端末システム部１０（端末システム）が構成され、上記識別装置、タグ生成装置、検証装置及び作業支援装置によりホストシステム部２０（ホストシステム）が構成されるので、例えば映像表示装置としてのヘッドマウントディスプレイや、音声出力装置としてのヘッドホン、作業情報取得装置としてのマイクロカメラやヘッドマイク（ヘッドホン及びヘッドマイクを備えるヘッドセット）である端末システム部１０を作業者が携帯し、この端末システム部１０において取得した作業情報をホストシステム部２０へ送信し、ホストシステム部２０側において当該作業者の作業内容をチェックしてこのチェックした結果や作業を支援する情報を端末システム部１０側に返信するといったことが可能となり、ひいては作業者の作業を遠隔的に監視、チェックする構成を容易に得ることができる。

本実施形態に係る作業監視システムの概略構成図である。 上記映像表示システムにおけるＨＭＤの一例を概略的に示した斜視図である。 上記ＨＭＤの表示筐体におけるＹ方向の断面図である。 図１における作業監視部の各機能を説明するための機能ブロック図である。 図１における作業情報記録部の各機能を説明するための機能ブロック図である。 作業フェーズタグの構成の一例を説明するための模式図である。 各作業フェーズタグの生成及び作業内容の検証に関する動作の一例について説明するフローチャートである。

符号の説明

１ 作業監視システム
１０ 端末システム部（端末システム）
１１ 表示部（映像表示装置）
１２ 音声出力部（音声出力装置）
１３ 音声入力部（作業情報取得装置、マイク）
１４ 撮像部（作業情報取得装置）
１４１ マイクロカメラ（カメラ）
１６ 第１コントロール部
２０ ホストシステム部（ホストシステム）
２３ 第２コントロール部
２４ 作業監視部（識別装置、タグ生成装置、検証装置、作業支援装置）
２４１ 作業識別部（識別装置）
２４２ タグ生成部（タグ生成装置）
２４３ 作業フェーズ検証部（検証装置）
２４４ アラーム部（作業支援装置）
２４５ タグ補完部（請求項９に記載のタグ生成装置）
２５ タグ情報記録部
２６ 作業情報記録部（記録装置、保存装置、記録制御装置）
２６１ 記録制御部（記録制御装置）
２０１ 表示筐体
２０１ａ 照明デバイス（光源）
２０１ｂ コンデンサーレンズ（照明光学系）
２０１ｃ 表示デバイス（空間光変調器）
２０１ｄ 第１プリズム（投影光学系）
２０１ｅ 第２プリズム（投影光学系）
２０１ｆ ＨＯＥ（ホログラフィック光学素子、投影光学系）

Claims (11)

1. 作業者の作業を監視する作業監視システムであって、
   所定の光源と、該光源の光を変調して映像を生成する空間光変調器と、前記光源からの光を前記空間光変調器へ導く照明光学系と、ホログラフィック光学素子を備え、前記空間光変調器からの映像光を投影する投影光学系とを備え、前記作業者に装着することが可能に構成された該作業者に対して映像情報を表示する映像表示装置と、
   前記作業者に対して音声情報を出力する音声出力装置と、
   前記作業者の作業に関する音声情報及び／又は映像情報である作業情報を取得する作業情報取得装置と、
   前記作業情報取得装置により取得された作業情報を用いて、該作業情報における前記作業者の作業内容が、適正な作業として予め定める基準作業情報における基準作業の何れの作業工程での作業に属するかを識別する識別装置と、
   前記識別装置による識別結果に応じて、前記基準作業の作業工程に関連付けられた工程毎に、該工程での作業に関するタグ情報である作業タグを生成するタグ生成装置と、
   前記タグ生成装置により生成される作業タグに基づいて、前記作業者の作業内容に不具合が存在するか否かを検証する検証装置と、
   前記検証装置による検証により前記作業内容に不具合が存在することが検出された場合に、前記映像表示装置及び／又は音声出力装置に対して、該検出結果を前記作業者へ報知するための所定の報知情報を送信するとともに、前記不具合が存在すると検証された作業内容に関して前記作業者が適正な作業を行えるよう支援するための所定の作業支援情報を送信する作業支援装置とを備えることを特徴とする作業監視システム。
2. 前記基準作業情報は前記作業工程毎に所定の音声コマンドを含むものであり、
   前記識別装置は、前記作業情報取得装置としてのマイクにより採取された作業者の音声を用いて、該作業者の音声が前記基準作業の各作業工程における音声コマンドと一致するか否かを自動的に識別し、
   前記タグ生成装置は、当該識別装置による識別における前記作業者の音声と前記音声コマンドとの一致度合いに応じて前記作業工程に関連付けられた工程毎に前記作業タグを自動的に生成することを特徴とする請求項１に記載の作業監視システム。
3. 前記識別装置は、前記作業情報取得装置としてのカメラにより撮影された作業者の体の動作の映像を用いて、該作業者の体の動作が前記基準作業の各作業工程における体の動作と一致するか否かを自動的に識別し、
   前記タグ生成装置は、当該識別装置による識別における前記作業者の体の動作と前記基準作業の各作業工程における体の動作との一致度合いに応じて該作業工程に関連付けられた工程毎に前記作業タグを自動的に生成することを特徴とする請求項１又は２に記載の作業監視システム。
4. 前記識別装置は、前記作業者が作業において参照するべく前記映像表示装置に表示された及び／又は前記音声出力装置から出力された所定の参照情報を用いて、該作業者の作業が前記基準作業の各作業工程における作業と一致するか否かを自動的に識別する機能をさらに備えたものであって、
   前記タグ生成装置は、当該識別装置による識別結果に応じて前記作業工程に関連付けられた工程毎に前記作業タグを自動的に生成することを特徴とする請求項１〜３のいずれかに記載の作業監視システム。
5. 前記識別装置は、前記音声情報、映像情報及び参照情報のうちの２つの情報又は全ての情報に対して所定の重み付けを行い、該重み付けされた各情報を用いて前記作業情報における作業者の作業内容が前記基準作業の各作業工程における作業と一致するか否かを識別する機能をさらに備えることを特徴とする請求項４に記載の作業監視システム。
6. 前記作業情報取得装置に取得された作業情報を記録する記録装置をさらに備え、
   前記検証装置は、前記記録装置への前記作業情報の記録が完了した後又は記録中に、前記タグ生成装置により生成された作業タグに基づいて、前記作業工程の欠落及び作業手順の矛盾を自動的に検証することを特徴とする請求項１〜５のいずれかに記載の作業監視システム。
7. 前記作業支援装置は、前記検証装置による検証により前記作業工程の欠落及び／又は作業手順の矛盾が検出された場合に、前記映像表示装置及び／又は音声出力装置に対して、該検出結果を作業者へ報知するための所定の報知情報を送信するとともに、前記記録装置に記録された作業情報における前記欠落及び／又は作業手順の矛盾が検出された作業工程に対応する作業情報を再生するべく該作業情報を前記作業支援情報として送信することを特徴とする請求項６に記載の作業監視システム。
8. 前記基準作業情報を保存する保存装置をさらに備え、
   前記作業支援装置は、前記検証装置による検証により前記作業工程の欠落及び／又は作業手順の矛盾が検出された場合に、前記映像表示装置及び／又は音声出力装置に対して、該検出結果を作業者へ報知するための所定の報知情報を送信するとともに、前記保存装置に保存された基準作業情報における前記欠落及び／又は作業手順の矛盾が検出された作業工程に対応する作業情報を前記作業支援情報として送信することを特徴とする請求項６又は７に記載の作業監視システム。
9. 前記タグ生成装置は、
   時間計測を行う計時機能をさらに備えたものであって、
   前記検証装置による検証により前記作業工程の欠落及び／又は作業手順の矛盾が検出された場合に、
   前記計時機能により一定時間が経過したことが計測された後も、該作業工程の欠落及び／又は作業手順の矛盾が検出された作業に対応する作業内容が前記基準作業と一致することが前記識別装置により識別されない場合には、該作業工程の欠落及び／又は作業手順の矛盾を補完する補完用作業タグを生成することを特徴とする請求項６〜８のいずれかに記載の作業監視システム。
10. 前記記録装置に記録された作業情報における前記作業タグに対応する作業情報でない作業情報を該記録装置から削除する、又は該作業タグに対応する作業情報でない作業情報を前記記録装置に記録せずに破棄する、該記録装置の記録動作に関する制御を行う記録制御装置をさらに備えることを特徴とする請求項６〜９のいずれかに記載の作業監視システム。
11. 前記映像表示装置、音声出力装置及び作業情報取得装置は、所定の端末システムを構成するものであり、
    前記識別装置、タグ生成装置、検証装置及び作業支援装置は、前記端末システムに対するホストシステムを構成するものであることを特徴とする請求項１〜１０のいずれかに記載の作業監視システム。

Images