JP2017049762A - システム及び方法 - Google Patents

Abstract

【課題】短時間に簡単に、かつ精度よくウェアラブル端末のユーザの行動を認識し、認識結果に応じてユーザを支援する内容を表示するシステム及び方法を提供すること。【解決手段】実施形態によれば、システムは、頭部に装着され得て、ユーザの視線上に位置する表示部を具備するウェアラブル端末と、ウェアラブル端末のユーザの行動を検出する第１検出手段と、ウェアラブル端末のユーザが使用する装置の状態を検出する第２検出手段と、サーバとを具備する。サーバは、第１検出手段の検出結果及び検出手段の検出結果に基づき装置を使用するユーザの作業内容に関する情報を表示部に表示する。【選択図】図６

Description

本発明の実施形態はメガネ型ウェアラブル端末を利用するシステム及び方法に関する。

多数の製造装置を有する製造現場又は製造工場においては、製造装置の稼働率が製品の生産量に影響を及ぼす大きな要因となっている。定期的な保守・点検の不備のために生じる本来回避可能な製造装置の故障又は製造装置に突発的不具合が発生した時の対応の不手際により、製造装置が稼働できない状態が時間的に長く続くことは、稼働率の低下と製品の生産量低下を招く。したがって、製造装置の停止時間を可能な限り短縮することが求められる。製造装置毎に保守・点検・修理の作業が異なるので、作業者は作業の各段階での作業手順を記したマニュアル又はチェックリスト（以下、チェックリストと総称する）を参照することがある。近年、製造現場でウェアラブル端末が盛んに利用されており、例えば、製造現場で作業者がメガネ型ウェアラブル端末を装着し、チェックリストがレンズ面に表示される。これにより、作業者は作業中に紙のチェックリストを参照する必要が無く、作業の手を休めることなく、不慣れ又は複雑な作業でも効率よく行うことができる。

しかし、各段階の作業の遂行確実性を把握するためチェックリストのチェックが必要であるため、参照は画面で電子的に行われるが、依然として紙のチェックリストを用意し、各段階の作業が終了すると、作業者が作業の手を休め、記入している。このため、製造装置の停止を余儀なくされ、生産量低下に繋がる。さらに、オフィスに戻った後、作業者はこのチェックリストに基づき作業報告書を作成している。この作業報告書の作成は、作業者にとって煩雑である。

カメラ付きヘッドマウントディスプレイを用いてオペレータの作業を支援するシステムが開発されている。その一例として、使用済みの汚染された内視鏡等の医療機器やメス、鉗子等の器具を取り扱うオペレータを支援する医療機器管理システムがある。

このシステムは、医療機器又は器具を取り扱うオペレータの視野範囲を撮影する頭部装着型カメラと、医療機器又は器具を取り扱う際の模範的な作業時に撮影されたオペレータの視野範囲の画像を標準画像として記憶する記憶手段と、カメラによる撮影画像と記憶手段から読み出した標準画像とを比較し、両画像の類似度により所定の作業が標準的に行われているか否かを判別する第１の判別手段と、判別手段による判別結果に基づき警告又は指示を示す情報を出力する情報出力手段と、警告又は指示を示す情報に基づいてオペレータに警告又は指示を行う出力手段と、を備えている。

特開２００９−２７９１９３号公報

このシステムは、カメラで撮影した医療器具を取り扱うオペレータ作業内容と予め準備した標準画像とを比較し、オペレータ作業を自動認識している。しかし、この方法では画像間の単純なパターンマッチングでは認識精度が低いため、画像内の特徴部分抽出などの複雑な画像処理が必要となる。そのため、自動認識処理が高度に複雑になると共に多大な処理時間がかかる。

本発明の目的は、短時間に簡単に、かつ精度よくウェアラブル端末のユーザの行動を認識し、認識結果に応じてユーザを支援する内容を表示するシステム及び方法を提供することである。

実施形態によれば、システムは、頭部に装着され得て、ユーザの視線上に位置する表示部を具備するウェアラブル端末と、ウェアラブル端末のユーザの行動を検出する第１検出手段と、ウェアラブル端末のユーザが使用する装置の状態を検出する第２検出手段と、ウェアラブル端末と第１検出手段と第２検出手段に接続されるサーバと、を具備する。サーバは、第１検出手段の検出結果及び第２検出手段の検出結果に基づき装置を使用するユーザの作業内容に関する情報を表示部に表示する。

実施形態のウェアラブル端末の一例を示す斜視図である。 ウェアラブル端末の一例を示す正面図と断面構成を示す図である。 ウェアラブル端末の位置検出の一例を示す図である。 ウェアラブル端末の位置検出の原理を示す図である。 ウェアラブル端末の位置検出の際の信号波形を示す図である。 ウェアラブル端末と情報管理サーバとを含むシステムの一例を示す図である。 ウェアラブル端末の電気的構成を示すブロック図である。 装置の状態を検出するセンサの一例を示す図である。 ユーザの行動を検出するセンサの一例を示す図である。 システムの使用環境の一例を示す概略図である。 システムに使用されるユーザの行動を検出するセンサの一例の構造を示す分解斜視図である。 システムに使用されるユーザの行動を検出するセンサの他の例の構造を示す分解斜視図である。 システムにより表示される作業手順と、システムにより作成される作業記録の一例を示す図である。

以下、図面を参照して、実施の形態について説明する。

ウェアラブル端末は、頭部装着型（これにはメガネ型、ゴーグル型、ヘルメット型等が含まれるが、これらを総称してメガネ型と称する場合もある）、リストバンド型、ペンダント型等があるが、ここでは、メガネ型ウェアラブル端末の実施形態を説明する。メガネ型ウェアラブル端末には、透明なレンズを介して視線の先の風景が見えるタイプと、視界が遮られ、風景が見えないヘッドマウントディスプレイと称されるタイプがあるが、ここでは、一例として風景が見えるタイプを説明する。

図１はメガネ型ウェアラブル端末（以下、単にウェアラブル端末と称する）１０の斜視図、図２（ａ）は正面図、図２（ｂ）は上から見た断面構造を示す図である。

ウェアラブル端末１０は通常のメガネとほぼ同じ形状であるが、一方、ここでは右眼側のテンプルの外側に投影装置１２が取り付けられている。フレームにはガラス１４、１６が嵌め込まれている。左眼側のガラス１４はユーザが景色を見ることができるように通常の透明ガラスである。右眼側のガラス１６は、少なくとも一部がスクリーン１６となっている。スクリーン１６は、投影装置１２が投影している画像をユーザが見ることができるようにするものである。スクリーン１６は投影装置１２が画像を投影しない時は透明であり、ユーザが右眼側のガラス（スクリーン）１６を介して景色を見ることができる。

投影装置１２は、電子部品として電源部２２、制御部２４を含む。電源部２２はボタン型の電池、充電可能な電池、非接触給電可能な二次電池等を含むことができる。あるいは、電源は内蔵せず、外部電源から電源ラインを介して投影装置１２に給電してもよい。制御部２４は、後述するネットワークを介してサーバや他の電子機器との間で通信を行い、情報を送受信する。この通信は、有線又は無線のいずれであってもよい。無線の場合、使用環境に応じてBluetooth（登録商標）、ZigBee（登録商標）、UWB等の近距離無線通信、WiFi（登録商標）等の中距離無線通信、3G/4G、WiMAX（登録商標）等の遠距離無線通信のいずれを利用してもよい。

投影装置１２は、さらに、光学部品として光源２８、表示部３０、プリズム３２、レンズ群３４等を含む。光源２８は、互いに発光色が異なり、それぞれの出力光量を独立して変更可能な複数、例えば３個のＬＥＤ（Light Emitting Diode）を含む調光型白色ＬＥＤ光源であってもよい。調光型白色ＬＥＤ光源によれば、ウェアラブル端末１０の使用環境が、例えばオレンジ色が主体の照明が用いられることの多いクリーンルーム内、等である場合においても、使用環境に応じて発光色を変更することができ、鮮明な投影像が得られる。さらに、調光型白色ＬＥＤ光源によれば、ユーザが見易い表示色を出力することができ、ユーザが見辛い表示色を出力する場合に比較して、目の疲れや、それに伴う偏頭痛、等のユーザにとって支障となる要因の発生を避けることが可能である。

表示部３０は、例えば反射型のＬＣＤ（Liquid Crystal Display）モジュールであり、制御部２４による表示制御に基づいて、所定のテキスト、画像等（以下、表示部３０が表示されるものを表示像と総称することもある）を表示する。光源２８から出射される非平行光（発散性の光、以下発散光と称することもある）は、プリズム３２のハーフミラー面３２ａで反射され、表示部３０の表示像を照明する。表示部３０の反射光は、表示像に対応した光（画像光と称する場合もある）としてハーフミラー面３２ａを透過して、出射面３２ｃから出射され、レンズ群３４を介して所定サイズの投影像としてスクリーン１６に投影される。

スクリーン１６は、手前側透明屈折体４２、フレネルレンズ形ハーフミラー面４４及び奥側透明屈折体４６を有する。フレネルレンズ形ハーフミラー面４４に到達した画像光の一部は、フレネルレンズ形ハーフミラー面４４で反射され、表示部３０の表示像に対応する虚像（投影像）を数メートル先に形成する。なお、スクリーン１６は、ウェアラブル端末１０を装着したユーザの視線の先の風景も一部透過することができ、スクリーン１６には投影像とともにユーザが視認可能な風景が表示されるように構成してもよい。

光源２８から出射され、ハーフミラー面３２ａを通過した画像光（発散光）の一部は、全反射面３２ｂで全反射し、出射面３２ｃで屈折して光源２８からの発散光である漏れ光５０となる。漏れ光５０は、投影装置１２の正面に形成された開口又は隙間（誘導部）５２を通ってスクリーン１６とは異なる方向へ出射される。

ウェアラブル端末１０は、投影装置１２の所定の位置、たとえば底面部に、スピーカ５４Ａ、イヤホンジャック５４Ｂ、マイクジャック５６、スライド式スイッチ５７及び回転式スイッチ５８等を有する。マイクジャック５６には、図示しないハンズフリーマイクが接続され、ユーザの音声が収集される。スライド式スイッチ５７は、例えば投影装置１２の投影像の輝度や色調等を調整可能である。回転式スイッチ５８は、例えば投影像の投影角度等を調整可能である。スライド式スイッチ５７及び回転式スイッチ５８のように異なる動作により異なる調整量を設定可能とすることにより、投影像を目視しながら、ユーザが、ブラインドタッチで、投影像を調整可能である。例えば、スライド式スイッチ５７を操作することにより、ユーザの好みに合わった表示輝度や色調の投影像を提供できる。回転式スイッチ５８を操作することにより、ユーザの頭部の形状やサイズに合わせて、最適な位置に画像を表示するように投影角度を調整できる。なお、スライド式スイッチ５７と回転式スイッチ５８による調整対象が逆であってもよいことはもちろんであるし、スライド式スイッチ５７と回転式スイッチ５８の位置が逆であってもよいし、両者を１つの操作部材の２種類の操作に割り当ててもよい。

これらのスイッチ５７、５８による選択は投影像のみを見ながら施行錯誤的に行ってもよいが、調整の効率を上げるために、メニュー画面を投影して、その画面内で項目を選択することにより調整してもよい。表示部３０がメニュー画面を表示することにより、メニュー画面がスクリーン１６に投影される。

さらに、メニュー項目の選択は、スイッチ５７、５８の操作によらず、タッチ操作によってもよい。このため、投影装置１２の外側には、タッチパッド５５も設けられる。表示部３０がメニュー等を表示し、メニュー内の項目の表示位置に応じたタッチパッド５５内の位置をタッチすることにより、簡単かつ効率よくユーザ操作を入力できる。

正面中央部の外側にはカメラ５９が設けられ、ユーザの視線の先の画像（静止画、動画のいずれも可）を撮影可能である。なお、図示していないが、正面中央部の内側（カメラ５９の配置位置と対応する位置）にユーザの顔に対向してカメラを設け、ユーザの眼球を撮影し、ユーザの虹彩を検出可能としてもよい。虹彩はユーザ認証に使うことができる。

ウェアラブル端末１０からの漏れ光５０を利用することにより、ウェアラブル端末１０の状態、すなわちユーザの状態を検出できる。図３、図４、図５を参照して、ウェアラブル端末の状態の検出原理を説明する。ここで、状態は位置と、位置の移動等を含む。

ウェアラブル端末の使用例の一例を図３に示す。例えば、工場の部品ヤード、通販会社の商品倉庫、小売業の配送部署等のワークエリア６０内に任意数の作業スペース又は商品棚Ａ０１〜Ａｘｙ（ｘ，ｙはともに正の整数）、Ｂ０１〜Ｂｘｙ、Ｃ０１〜Ｃｘｙが配置される。作業スペース又は商品棚は、例えば工場の作業テーブルや生産ライン内の製造装置又は学校の机や会議室の着席位置、等であってもよい。

ワークエリア６０には少なくとも１つの光センサ６２−１〜６２−ｎ（ｎは正の整数）が配置される。光センサ６２−１〜６２−ｎは、ウェアラブル端末１０−１〜１０−ｍ（ｍは正の整数）の位置（ｘ，ｙ，ｚ）、個数、位置の変化（移動）及び向きの変化等を、図４、図５に示す検出方法により、個々に検出できる。ウェアラブル端末１０−１〜１０−ｍの位置、個数、移動及び向きの変化等を検出することにより。ウェアラブル端末１０−１〜１０−ｍを装着した任意数のユーザの位置、移動等の状態を認識できる。

ユーザは、ワークエリア６０内を自在に移動できる。ユーザは、予め定められた作業を、予め定められた位置、例えばステーション（カート）、それに準じた収容器又は可動式のテーブル等である作業スペース６４において実行する。なお、作業スペース６４は、移動可能ではなく、固定された机やその着席位置等であってもよい。

図３、図４に示すように、検出システムは、１以上のウェアラブル端末１０、１以上の光センサ６２を含む。光センサ６２は、漏れ光５０を検出する機能と、検出結果をサーバ等に送信する通信機能を有する。この通信機能も、ウェアラブル端末１０の通信機能と同じく、有線又は無線のいずれであってもよい。無線の場合、使用環境に応じてBluetooth（登録商標）、ZigBee（登録商標）、UWB等の近距離無線通信、WiFi（登録商標）等の中距離無線通信、3G/4G、WiMAX（登録商標）等の遠距離無線通信のいずれを利用してもよい。以下に説明する実施形態は通信機能を有する種々のユニット、モジュールを有するが、これらのユニット、モジュールの通信機能も、同様に、有線又は無線のいずれであってもよい。無線の場合、使用環境に応じてBluetooth（登録商標）、ZigBee（登録商標）、UWB等の近距離無線通信、WiFi（登録商標）等の中距離無線通信、3G/4G、WiMAX（登録商標）等の遠距離無線通信のいずれを利用してもよい。

光センサ６２が受信した漏れ光５０からウェアラブル端末１０を特定できるように、ウェアラブル端末１０は、端末の識別情報（Identification、以下端末ＩＤと称する場合もある）を含む情報を用いて漏れ光５０を間欠的に変調する。変調方式の典型的な一例は、発光量をゼロまで落とすチョッパー形変調方式があるが、ここでは、発光量が低い状態でも所定量以上の発光量を確保できる変調方式が採用される。これにより、ユーザの目に対する負担を軽減できる。変調方式として、例えばＤＳＶ（Digital Sum Value）フリーの変調方式（すなわち常に変調信号のＤＳＶを計算し、適宜ビット反転コードを挿入可能にして直流成分をゼロとする変調方式）が採用されると、比較的ロングレンジでの発光量変化が抑えられ、巨視的に常に発光量変化がゼロにでき、ユーザの目への負担が一層軽減される。人間の目は、０．０２秒程度の変化まで認識できるので、上記変調の基準周波数を１０Ｈｚ以上、例えば２０Ｈｚ以上、より好ましくは６０Ｈｚ以上に設定することにより、ユーザの目に対する負担を軽減する効果も生まれる。一方、光源２８に使用されるＬＥＤは、内部インピーダンスと接続容量を持つため、精度良い変調周波数は、１００ＭＨｚ未満、望ましくは１０ＭＨｚ以下が望ましい。したがって、実施形態の検出システムにて用いる光源２８の変調周波数は、１０Ｈｚ〜１００ＭＨｚ、望ましくは１０Ｈｚ〜１０ＭＨｚの範囲が好ましい。

光源２８からの発散光の漏れ光５０を利用しているので、光センサ６２が検出する光量がウェアラブル端末１０と光センサ６２との間の距離に応じて変化する。この現象を利用すると、ウェアラブル端末１０と光センサ６２との間の距離又は光センサ６２に対するウェアラブル端末１０の向きを求めることができる。光センサ６２の位置（高さも含む）は固定であるので、光センサ６２とウェアラブル端末１０との距離が分かると、ウェアラブル端末１０の位置（ｘ，ｙ，ｚ）が検出できる。

さらに、光源２８からの発散光の漏れ光５０を利用しているので、漏れ光５０を比較的広い範囲で検出できる。その結果、比較的少数の光センサ６２−１〜６２−ｎを設置するだけで、ワークエリア６０内のウェアラブル端末１０−１〜１０−ｍの位置、ウェアラブル端末１０と光センサ６２との距離、ウェアラブル端末１０−１〜１０−ｍの方向、又は光センサ６２に対するウェアラブル端末１０の向きが検出できる。これにより、検出システムを設置するために必要となる設備費用を低減できる。

光センサ６２が検出した漏れ光５０の光量情報は、所定のタイミングで、光センサ６２から後述するサーバへ送信される。サーバは、収集した光センサ６２からの情報を解析する。これにより、任意のウェアラブル端末１０−１〜１０−ｍすなわちユーザの位置及び状態が検出できる。

図４は、実施形態に係るウェアラブル端末を認識するシステムの具体的な利用例を説明する概略図である。４個の光センサ６２−１〜６０−４の周囲にウェアラブル端末１０−１〜１０−３を装着した３人のユーザがいる状況を想定する。ウェアラブル端末１０−１、１０−２からの漏れ光５０は、光センサ６２−１〜６０−４にて検出される。光センサ６２−１〜６０−４は、それぞれにおいて検出した漏れ光５０の光量をＡ−Ｄ（Analog - Digital）変換し、光量に対応する光量情報として、所定のタイミングで、例えば近距離無線通信によりサーバへ送信する。

ユーザの移動に応じてウェアラブル端末１０−１が光センサ６２−１へ移動する一方、ユーザの任意の動作、例えば首振り（頭部の旋回）に応じてウェアラブル端末１０−２の向きが一時的に変化したとする。この時の検出情報の変化を図５に示す。

図５では、ウェアラブル端末１０−１〜１０−３のそれぞれの漏れ光５０の変調方式として、間欠的な時間変化方式を用いた例を示している。すなわち、ウェアラブル端末１０−１〜１０−３のそれぞれにおいて、ＩＤ変調期間がずれている。

図５（ａ）、（ｂ）、（ｃ）に示すように、１番目〜３番目のウェアラブル端末１０−１〜１０−３について、間欠的にウェアラブル端末のＩＤ変調期間が設定され、それ以外の期間は無変調期間である。各ＩＤ変調期間内では、同期信号ＳＹＮＣとウェアラブル端末１０−１〜１０−３の端末ＩＤが一つの組を構成し（１対１で対応し）、その組が複数回（図５に示すようにセンサが４個の場合、４の倍数回）、繰り返される。

１番目のウェアラブル端末１０−１が無変調期間に入ると同時に、２番目のウェアラブル端末１０−２のＩＤ変調期間が開始する。同様に２番目のウェアラブル端末１０−２が無変調期間に入ると同時に、３番目のウェアラブル端末１０−３のＩＤ変調期間が開始する。

２番目のウェアラブル端末１０−２のＩＤ変調期間内と３番目のウェアラブル端末１０−３のＩＤ変調期間内とにおいては、同期信号ＳＹＮＣとウェアラブル端末１０−２、１０−３の端末ＩＤが繰り返し変調される。このように、ウェアラブル端末１０の端末ＩＤを変調信号内に乗せることにより、端末ＩＤが検出可能である。

上記の例では、ウェアラブル端末１０−１〜１０−３のそれぞれの変調タイミングは、時分割（間欠化）されている。しかし、例えば全てのウェアラブル端末１０−１〜１０−３について、連続的に変調されるものとし、ウェアラブル端末１０−１〜１０−３のそれぞれの変調基準周波数が変化されてもよい。また、スペクトル拡散時のそれぞれの周波数スペクトル特性が変化されてもよい。

図５（ｄ）、（ｅ）、（ｆ）、（ｇ）が示すように、光センサ６２−１〜６２−４からの情報通信期間は、各ＩＤ変調期間において細かく分割されている。

図４に示すように、初期の時点では、ウェアラブル端末１０−１からの漏れ光の一部が、光センサ６２−４に到達する。そのため、初期の時点では、図５（ｋ）に示すように、光センサ６２−４がウェアラブル端末１０−１からの漏れ光を検出する。しかし、ウェアラブル端末１０−１が光センサ６２−１へ向かって移動するにつれて、光センサ６２−４が検出するウェアラブル端末１０−１からの漏れ光の変調信号振幅が減少して行く。一方、図５（ｈ）に示すように、光センサ６２−１が検出するウェアラブル端末１０−１からの漏れ光の変調信号振幅は、時間の経過と共に増加する。このように、光センサ６２−１〜６２−ｎが検出する変調信号振幅の時間変化を比較することにより、検出対象であるウェアラブル端末１０−１〜１０−ｍの位置の時間変化（移動状態）が検出できる。

一方、初期の時点で、ウェアラブル端末１０−２が光センサ６２−３に向いているので、漏れ光から得られる変調信号振幅に関して、光センサ６２−２での検出値より光センサ６２−３での検出値の方が大きい。この後、例えば２番目のユーザが首を振り、一時的に光センサ６２−２の方向を向いたとする。すると、光センサ６２−２が出力するウェアラブル端末１０−２の検出出力は、図５（ｉ）に示すように、一時的に増加した後、減少する。他方、光センサ６２−３が出力するウェアラブル端末１０−２の検出出力は、図５（ｊ）に示すように、一時的に減少した後、増加する。

このように、光センサ６２が検出する変調信号振幅の時間変化を比較することにより、検出対象であるウェアラブル端末１０−１〜１０−ｍの向きの時間変化も推定できる。

上記の検出例は、ユーザの動きとして、移動や首振りである場合の例である。しかしそれに限らず、ユーザのさまざまな別の行動を利用してもよい。例えば、ユーザの手の移動や上体（身体）のひねり、等により漏れ光を一時的に遮光してもよい。この場合、全ての光センサ６２−１〜６０−４において、共通に、同一の時間帯に、変調信号振幅の一時的な減少が生じる。このように、全ての光センサ６２−１〜６０−４の変調信号振幅の変化の関連性を比較することにより、ユーザの異なる行動パターンが識別可能である。

以上の方法を利用することにより、単なるユーザの行動を検出するだけでなく、ユーザの意思も認識することが可能である。

なお、ウェアラブル端末１０の位置（ｘ，ｙ，ｚ）を検出する方法として、ビーコンを用いてもよい。上述の例では、多数のウェアラブル端末１０から端末識別情報が変調された光が多数の光センサ６０に出射され、多数の光センサ６０が受信した情報を比較処理して、ウェアラブル端末１０の位置、状態を検出したが、多数の位置情報発信器をワークエリア６０内に配置し、発信器から配置位置に応じたビーコンを、例えば数メートルの到達距離のＲＦ−ＩＤ等の近距離無線通信により送信すれば、それを受信したウェアラブル端末１０は発信器の位置とほぼ同じ位置であると見なすことができる。さらに、ＧＰＳを利用してウェアラブル端末の位置を検出することもできる。位置検出は、一種類の方法のみに基づく必要は無く、複数の方法を併用すると、検出精度を向上できる。

図６は、ウェアラブル端末を使用するシステム全体の一例を示す。ここでは、製造工場の製造現場に構築されるシステムを説明する。複数のウェアラブル端末１０と、図３に示す複数の光センサ６２と、１又は複数の管理者端末１０４と、複数の製造装置１０６と、１又は複数のカメラ１１４と、情報管理サーバ１１６とがネットワーク１０２に接続される。ネットワーク１０２は、例えば、工場の建屋、部署、ビルのフロア、企業の営業所等の単位であってもよいし、工場、ビル、企業毎のネットワークでもよいし、インターネットでもよい。工場内に複数の製造現場がある場合、図６の現場毎のネットワークがＬＡＮを構成し、複数のＬＡＮが工場全体のネットワークに接続されてもよい。ネットワーク１０２は無線ネットワークでも有線ネットワークでもよい。

製造現場には多数の作業者が居るが、全ての作業者がウェアラブル端末１０を装着する必要は無い。そのため、ウェアラブル端末１０は作業者全員分用意しておく必要は無く、所定個数のみ用意しておき、必要な作業者が空いている共有ウェアラブル端末を装着する。システムは、ユーザがウェアラブル端末を装着する際、ユーザを特定する必要がある。この理由は、特定の製造装置を使用するユーザに対して、当該製造装置の作業手順を表示したり、ユーザの行動に基づいて作業報告書を作成したりするためである。特定の方法は種々あるが、ウェアラブル端末１０の着脱時に、図示しない端末からユーザが自分のＩＤと端末ＩＤを入力してもよい。入力はキー入力に限らず、マイクからの音声入力、バーコードを付けておいてスキャン入力してもよい。さらに、端末を装着する際の行動はユーザのくせが出やすいので、この際のユーザの行動を検出して推定してもよい。ユーザの行動を示す特徴量は、ウェアラブル端末１０の加速度や角速度や、ユーザの顔や手や指の動きや、マイクが集音した環境音から求めることができる。例えば、ウェアラブル端末１０を顔にかける際又は顔から取り外す際のテンプルと皮膚又は頭髪との摩擦音に基づき、ウェアラブル端末の装着状況を知ることができる。

作業者を監督する管理者が製造現場に少なくとも１名配置され、管理者は管理者端末１０４を使用する。管理者端末１０４は、ウェアラブル端末１０と同じ構成でもよいが、管理者は移動する必要が無いので、通常のパソコンやタブレットと同じ構成で良く、管理者端末１０４の詳細な説明は省略する。

製造装置１０６の夫々には、装置状態センサ１０８とユーザ行動センサ１１０が取り付けられる。これらのセンサ１０８、１１０も通信機能を有し、ネットワーク１０２に接続される。

カメラ１１４は製造現場内のユーザを常時動画撮影している。この画像を分析することによりユーザの行動を推定できる。例えば、ユーザ毎の標準画像を予め記憶しておいて、ユーザがウェアラブル端末１０を取り付ける際の画像又は取り外す際の画像を標準画像と比較することにより、装着ユーザを特定できる。製造現場全体を同時にカバーする台数のカメラを配置できない場合は、アングルが可変で、一台で広範囲のユーザを撮影できるカメラ１１４を数台配置すればよい。

情報管理サーバ１１６は、制御部１１８、通信部１２０、位置管理部１２２、ユーザ行動管理部１２４、装置状態管理部１２６等を含む。センサ１０８、１１０の通信機能、管理者端末１０４の通信機能、カメラ１１４の通信機能及び通信部１２０の通信機能は、ウェアラブル端末１０の通信機能と同様に、有線又は無線のいずれであってもよい。無線の場合、使用環境に応じてBluetooth（登録商標）、ZigBee（登録商標）、UWB等の近距離無線通信、WiFi（登録商標）等の中距離無線通信、3G/4G、WiMAX（登録商標）等の遠距離無線通信のいずれを利用してもよい。

位置管理部１２２は、光センサ６２、ウェアラブル端末１０と管理者端末１０４の各種センサの出力に基づいてウェアラブル端末１０と管理者端末１０４の位置に関する情報を一定時間ごとに収集する。さらに、位置管理部１２２は、ウェアラブル端末１０又は管理者端末１０４のユーザを特定し、ウェアラブル端末１０又は管理者端末１０４の端末ＩＤとユーザＩＤと位置を管理する。

ユーザ行動管理部１２４は、光センサ６２、ウェアラブル端末１０の各種センサ、製造装置１０６のユーザ行動センサ１１０の出力に基づいてウェアラブル端末１０のユーザの行動・状態に関する情報を一定時間ごとに収集し、ウェアラブル端末１０の端末ＩＤとユーザＩＤと行動・状態を管理する。装置状態管理部１２６は、製造装置１０６の装置状態センサ１０８の出力に基づいて製造装置の状態に関する情報を一定時間ごとに収集し、管理する。なお、装置の状態が変化した時は、装置状態センサ１０８は装置状態管理部１２６に通知し、製造装置の状態に関する情報が収集されてもよい。

情報管理サーバ１１６は、装置状態管理部１２６において装置の異常を検出した場合、該当する製造装置の位置情報と状態を管理者端末１０４に通知する。同時に、作業者の状態を判断して、異常が発生した装置に対して最も効率よく対応することが可能な作業者候補を抽出して管理者端末１０４に提示する。

本実施形態の概要は、作業チェックリストを自動的に生成しユーザに提示するとともに、ユーザが作業を実施すると、チェックリスト内の対応する項目に自動的にチェックを入れることである。このため、ネットワーク１０２に接続された複数のセンサ１０８、１１０又は端末１０、１０４の各種のセンサから得られる情報を情報管理サーバ１１６が統合して演算処理し、作業者個々の行動を自動的に推定／認識する。そして、情報管理サーバ１１６は、その結果に基づき作業手順（チェックリスト）を生成するとともに、チェックリスト内の対応箇所への自動入力（自動記入）を支援する。情報管理サーバ１１６は、作業チェックリスト内の最後の項目まで自動入力（自動記入）が完了すると、作業報告書を自動生成する。

上記作業チェックリストの内容はメンテナンス対象の製造装置毎に異なる。さらに、製造装置内の不具合発生箇所に応じて上記作業チェックリストの内容は異なる。したがって、情報管理サーバ１１６はメンテナンスが必要な製造装置に関連する装置状態センサ１０８から得られる製造装置の関連情報を収集して、製造装置の不具合発生箇所を自動的に推定／認識する。そして、情報管理サーバ１１６はメンテナンスする作業者が着用しているウェアラブル端末１０を自動的に識別し、その端末１０にメンテナンス内容を作業チェックリストの形で表示する。

図７は、ウェアラブル端末１０の電気的な構成の一例を示す。ウェアラブル端末１０は、ＣＰＵ１４０、システムコントローラ１４２、メインメモリ１４４、ストレージデバイス１４６、マイク１４８、スピーカ５４、投影処理部１５０（光源２８、表示部３０を制御する）、カメラ５９、無線通信デバイス１５２、モーションセンサ１５４、視線検出センサ１５６、ジェスチャアセンサ１５８、タッチパッド５５、バイブレータ６８、位置情報受信器１５９、ＧＰＳモジュール１５５等を備える。

ＣＰＵ１４０は、ウェアラブル端末１０内の各種モジュールの動作を制御するプロセッサであり、ＳＳＤ又はフラッシュアレイ等の不揮発性の半導体メモリからなるストレージデバイス１４６からメインメモリ１４４にロードされるコンピュータプログラムを実行する。これらプログラムには、オペレーティングシステム（ＯＳ）、および各種アプリケーションプログラムが含まれている。ＣＰＵ１４０は、各種アプリケーションプログラムを実行し、無線通信デバイス１５２を使ってネットワーク１０２を経由して情報管理サーバ１１６と通信することにより、例えば以下のような処理を行う。例えば、ＣＰＵ１４０は、マイク１４８を使って音声を入力し、音声データを情報管理サーバ１１６へ送ったり、カメラ５９を使って画像を撮影し、画像データを情報管理サーバ１１６へ送ったり、モーションセンサ１５４、視線検出センサ１５６、ジェスチャアセンサ１５８、タッチパッド５５、位置情報受信器１５９からの入力データを情報管理サーバ１１６へ送ったり、イヤホンジャック５４Ｂに接続される図示しないステレオイヤホン又はスピーカ５４から音を鳴らしたり、バイブレータ６８を振動させたり等、様々の制御を行う。スピーカ５４はモノラルスピーカを想定するが、ステレオスピーカが必要である場合、図１、図２には図示しないが、左眼側のテンプルにもスピーカを設けてもよい。

システムコントローラ１４２は、ＣＰＵ１４０のローカルバスと各種コンポーネントとの間を接続するデバイスである。マイク１４８はマイクジャック５６に接続され、ユーザの発する音声又は環境音を収集する。ユーザの発する音声を音声認識すること又は環境音を分析することにより、ユーザの行動が推定でき、ユーザを特定できる。例えば、ユーザ毎の標準音声を予め記憶しておいて、装着者が発生する音声と標準音声とを比較することにより、装着ユーザを特定できる。また、環境音を分析することにより、装着者が位置する作業場所を特定することができる。スピーカ５４はユーザの注意を喚起するアラーム等を出力する。投影処理部１５０は、表示部３０に画像信号を出力し、光源２８を点灯することにより、スクリーン１６に表示部３０の画像を投影する。この画像は静止画のみならず、動画も含むことができる。無線通信デバイス１５２は、例えば無線ＬＡＮ機能を有し、ウェアラブル端末１０とアクセスポイント１１２とを無線で接続する。

モーションセンサ１５４は、３軸加速度、３軸ジャイロ、３軸地磁気センサを統合したセンサであり、ウェアラブル端末１０を使用するユーザの頭の動きを検出し、その結果、顔が向いている方角を判別する。なお、作業者の状態は、マイク１４８、気圧計等を用いて検出してもよい。作業者の状態とは、移動中、休憩中のほか、作業の内容、作業の進捗等も含む。モーションセンサ１５４による動き、気圧による高度等を用い、これらの検出結果から求めた特徴量が、事前に作業者等から取得した各工程の特徴量と一致するか否かを判定し、複数の工程のどの工程を実施しているのか又は完了したのかを判定できる。また、マイク１４８から入力された環境音の特徴量を事前に取得した各作業工程に特徴的な環境音の特徴量と一致するか否かを判定しても、複数の工程のどの工程を実施しているのか又は完了したのかを判定できる。

視線検出センサ１５６は、メガネのフレーム中心の内側にユーザの顔に向けて設けられ、ユーザの眼球を撮影し、視線の動きを検出する。さらに、視線検出センサ１５６は、ユーザの虹彩を検出可能としてもよい。ジェスチャアセンサ１５８は、指の動きによるジェスチャを判別するセンサである。具体的には、投影装置１２に設けられたタッチパッド５５上の指の動きや、カメラ５９で撮影された画像中の手や指の動きを解析することにより、ユーザのジェスチャを判別するセンサである。バイブレータ６８は、投影装置１２を振動させることによりウェアラブル端末１０のテンプルを振動させ、ユーザに何かの情報を伝える。位置情報受信器１５９は、ＬＡＮ１０２のエリア内に複数配置された位置情報発信器１１３からＲＦ−ＩＤ等の近距離無線通信を利用して発信される位置情報を含むビーコンを受信する。近距離無線通信なので、発信器と受信器（ウェアラブル端末）との位置はほぼ同じと見做すことができる。ＧＰＳモジュール１５５は、ウェアラブル端末１０の位置（ｘ、ｙ、ｚ）を検出する。この検出結果と、位置情報受信器１５９の検出結果と、図３の光センサ６２の検出結果を総合することにより、より正確にユーザの位置、その変化を検出できる。

表示部３０は、管理者端末１０４、情報管理サーバ１１６からの指示や通話着信、モーションセンサ１５４等で検出した作業者の作業状態を表示する。この表示画像は、投影処理部１５０によりスクリーン１６で表示される。

マイク１４８、スピーカ５４により、外部との音声通話が可能である。

管理者端末１０４は、ウェアラブル端末１０と同じ構成でもよいし、通常のパソコン、タブレットでもよい。通常のパソコン、タブレットの電気的な構成は、ウェアラブル端末１０から投影処理部１５０、カメラ５９、モーションセンサ１５４、視線検出センサ１５６、ジェスチャアセンサ１５８等を省略したものと等価である。管理者端末１０４の位置はＧＰＳにより検出される。

図８を参照して製造装置１０６に取り付けられる装置状態センサ１０８の一例を説明する。図８（ａ）は装置に対する取り付け位置を示し、図８（ｂ）はセンサ１０８の構成を示す。従来、製造装置に不具合が発生すると、その都度、作業者が製造装置の不具合箇所を点検して、修理するとともに、不具合原因を追及していた。これにより、製造装置のメンテナンス時間（製造装置の非稼動期間）が長くなり、製品の生産性低下を招いていた。本実施形態では、情報管理サーバ１１６がネットワーク１０２に接続された装置状態センサ１０８から得られる装置の状態に関連する情報を収集して統合し、自動的に製造装置の不具合箇所の推定又は認識を行う。その結果、製造装置内不具合箇所の自動診断が可能となり、製造装置のメンテナンス時間（製造装置の非稼動期間）の大幅な短縮化と製品の生産性低下防止が行える。

装置状態センサ１０８は加速度センサ１０８ａと無線通信デバイス１０８ｂから構成され、加速度センサ１０８ａで検出した加速度信号が無線通信デバイス１０８ｂとネットワーク１０２を介して情報管理サーバ１１６に送信される。装置状態センサ１０８には接着部又は固定部が設けられており、既存の製造装置に簡単に取り付けられる。接着部には粘着層が予め形成されていてもよいし、接着時に、接着剤を塗布してもよい。あるいは、固定部を既存の製造装置にネジ止めすることにより、装置状態センサ１０８を製造装置に取り付けてもよい。

製造装置の不具合箇所の自動診断には、製造装置の各部での動作状況の自動収集処理が必要となる。そのために、製造装置を新規購入又は買い換えするには膨大な費用が必要となる。しかし、本実施形態では、非常に安価に購入可能なセンサ端末を既存の製造装置内の各部に追加固定するだけでよい。これにより既存設備環境を維持したままで、非常に安価に不具合箇所の自動診断環境を追加できる。

図８（ａ）に示すように、例えば移動ベルト１３６の一部や、物品を挟む可動アーム１３４又は可動シャフト１３２の一部に、装置状態センサ１０８を固定する。そして、正常状態で移動すべき場所が静止した場合には、その可動部分に不具合が発生したと判断できる。

情報管理サーバ１１６内の制御部１１８は、各種の製造装置について不具合発生場所毎の修理や保守・点検方法の手順書であるメンテナンス手順手引きを予め記憶しており、上記の自動診断結果にもとづいて最適な作業チェックリストを生成する。

図８では装置状態センサ１０８の一例として加速度検出方法を説明した。これに限らず、温度や導通電流量などあらゆる物理量や化学量を不具合箇所抽出に利用してもよい。さらに、カメラで撮影した画像比較やマイクで集音した環境音比較で製造装置内の不具合箇所を自動診断してもよい。

図８で説明した方法で不具合が発生した製造装置を検出すると、情報管理サーバ１１６が自動的にその製造装置をメンテナンスする作業者を選定し、その作業者が装着している作業者用端末１０３にメンテナンス手順あるいはそれに派生する作業チェックリストを表示する。情報管理サーバ１１６は、例えば(i)不具合が発生した製造装置の近傍に所在し、(ii)実施中の作業を中断でき、(iii)当該メンテナンス作業を実施することができる作業者を選定する。これによれば、作業者の移動時間ロスを最小限に抑える事ができる。

不具合が発生した製造装置の近傍に所在している作業者を最も効率良く探す方法として、本実施形態では、図９に示すように、図４に示した光センサ６２と同様な光センサ１０６ａと無線通信デバイス１０６ｂを製造装置１０６の一部に取り付けられる。図５を参照して説明したように、ウェアラブル端末１０から放出される漏れ光５０内は端末１０の端末ＩＤ情報を含む。したがって、光センサ１０６ａが検出した漏れ光５０内に含まれる情報が無線通信デバイス１０６ｂとネットワーク１０２を経由して情報管理サーバ１１６に送信されると、不具合が生じた製造装置の近傍にどのウェアラブル端末１０、すなわちどの作業者が所在しているかを情報管理サーバ１１６が認識できる。情報管理サーバ１１６は、その情報を基に対象の製造装置をメンテナンスする作業者を選定し、作業チェックリストを該当する作業者のウェアラブル端末１０に送信する。図１３（ａ）に示すように、端末１０のスクリーン１６に作業チェックリストが表示される。なお、説明の便宜上、図１３（ａ）では図示を簡略したが、実際の作業チェックリストは下記である。

・カート内に荷物を入れる
・バルブを閉める
・オン／オフスイッチを切る
・第１照明スイッチを切る
・第３照明スイッチを切る
このように、ウェアラブル端末１０から放出される漏れ光５０をリアルタイムで検出／収集／集計するので、非常に簡単かつ精度良くメンテナンス対象の製造装置１０６の近傍に所在する作業者を識別できる。これにより、作業者の移動時間を節約してメンテナンス期間を短縮でき、製造効率の低下を防止できる。

なお、対象とする製造装置の近傍に所在する作業者を認識する方法の他の例は、製造装置１０６の近くに予め設置されたカメラ１１４を利用する方法がある。カメラ１１４内の撮像デバイス１１４ａが製造装置１０６近傍の画像を撮影し、その結果が無線通信デバイス１４ｂとネットワーク１０２を介して情報管理サーバ１１６へ送信される。情報管理サーバ１１６は受信した画像を解析し、そこに映った作業者を自動的に識別してもよい。

図１０を参照して作業チェックリストに従い作業者が作業する一例を説明する。図１３（ａ）に示すような作業チェックリストがスクリーン１６に表示されると、作業者は作業を開始する。チェックリスト全部をスクリーン１６に一度に表示すると文字が小さ過ぎて見づらい場合は、１又は数ステップだけ表示し、作業進捗状況を逐次自動認識し、各ステップの作業が終了すると、それに応じて表示するチェックリストをリアルタイムに逐次更新してもよい。図１０（ａ）の作業現場に居る作業者は作業チェックリストにしたがって、カート１６４内に荷物１６２を入れ、バルブ１７０を閉め（又はハンドル１７０を指定角度回転し）、オン／オフスイッチ１７２を切り、第１照明スイッチ１７６と第３照明スイッチ１８０を切るとする。本実施形態では、作業者の行動が、製造装置１０６に取り付けられたユーザ行動センサ１１０により、リアルタイムに自動認識／識別され、作業完了時間が作業チェックリスト（図１３（ｂ）参照）に自動的に書き込まれる。最後の作業ステップが終了した段階で、情報管理サーバ１１６内で作業報告書が自動的に生成され、その内容が管理者用端末１０４に表示される。作業チェックリスト（図１３（ａ））に完了時間が入力されたものが、作業報告書（図１３（ｂ））である。

ユーザ行動センサ１１０による作業者行動の自動認識／識別方法としては、あらゆる検出技術又はそれらの組み合わせを使うことができる。例えば、カメラ１１４又は５９を用いて撮影した作業者の行動画像を解析して、作業者の行動を自動認識／識別してもよい。ただし、作業者行動の自動認識／識別にカメラ１１４で撮影した画像解析を利用する場合、状況によっては、作業者の行動が画像の影に隠れることがある。あるいは、音声認識技術を利用してもよい。ウェアラブル端末１０に表示された作業チェックリスト（メンテナンス作業手順）の各項目が終了する毎に作業者が特定の音声を発声するように決めておくことにより、特定の音声の入力をマイク１４８で検知して、作業者行動の自動認識／識別を行うことができる。あるいは、特定の作業を行う時に生じる環境音をマイク１４８又は装置状態センサ１０８に内蔵をマイクで検知して、作業者行動を自動認識／識別してもよい。さらに、予め定められた作業者のジェスチャを識別して作業者行動の自動認識／識別を行う方法もある。作業者のジェスチャ認識方法としては、カメラ５９、１１４で撮影した作業者の行動画像を解析してもよいし、ウェアラブル端末１０から放出される漏れ光５０を複数箇所に設置された光センサ６２又は製造装置１０６に取り付けられた光センサ１０６ａで検出した結果を比較してもよい。

カート１６４の開口部に発光部１６６ａと受光部１６６ｂのペアが設置され、カート１６４の開口部を荷物１６２が通過する時の遮光を検知して、荷物１６２の出し入れを自動的に検知する。図１０（ｂ）はカート１６４に荷物を出し入れする際、受光部１６６ｂで検出する信号特性を示す。縦軸は受光部の検出光量を示し、横軸は時間経過を示す。カート１６４の開口部を荷物１６２が通過する間、受光部の検出光量が低下する。カート１６４に対する荷物１６２の出し入れ検出方法としては、上記の光を用いた方法に限らず、他のあらゆる方法を用いることができる。

荷物の出し入れ以外の「バルブ閉め」、「オン／オフスイッチのオフ」、「照明スイッチのオフ」をリアルタイムに自動認識／識別するための検出例を説明する。一般に、製造装置のメンテナンス（保守・点検・修理）するためには、製造装置内の所定箇所に作業者が直接接触する必要が有る。この特徴を利用して、本実施形態は、製造装置内の所定箇所への作業者の接触を検知して、作業者行動の自動認識／識別に反映させる。この方法は非常に簡単に検出できるとともに、高い自動認識／識別精度を確保できる。図１０（ａ）の例では、バルブ１７０に接触センサ１６８が取り付けられ、オン／オフスイッチ１７２と照明スイッチボード１７４にも透明な接触センサが取り付けられている。照明スイッチボード１７４は、第１、第２、第３照明スイッチ１７６、１７８、１８０を含む。

ユーザ行動センサ１１０の一例である接触センサは、無線通信機能（例えば、近距離無線通信）と、作業者の接触状況の検出機能を含む。接触状況の検出には、圧電素子やフォトインタラプタあるいは加速度センサ（ジャイロセンサ）などあらゆる接触検出可能素子が使用可能である。この接触センサは既存の製造装置などの設備に取り付け可能であるとともに、非常に安価である。したがって、この接触センサ（ユーザ行動センサ１１０）を既存の製造装置に取り付けることにより、既存のインフラをそのまま保持したまま非常に安価に近距離無線通信ネットワーク環境を追加構築できる。

ユーザ行動センサ１１０の一例を図１１、図１２に示す。図１１は既存のインフラであるオン／オフスイッチ１７２に取り付けられるユーザ行動センサ１１０又はバルブ１７０に取り付けられるユーザ行動センサ１１０（接触センサ１６８）、図１２は既存のインフラである照明スイッチボード１７４に取り付けられるユーザ行動センサ１１０を示す。

図１１に示すように、ユーザ行動センサ１１０は一番下側に接着層２０２を含み、その上に制御・通信回路２０４、太陽電池２０６が順次形成される。太陽電池２０６の上に透明導電層２０８、透明中間層２１０、透明導電層２１２、透明凹凸層２１４が順次積層される。制御・通信回路２０４は無線通信機能（近距離無線通信）と作業者の接触検出機能を持つ。両機能の駆動電源としては、太陽電池２０６が用いられる。仮に、駆動電源として電池を使用すると、電池交換の手間が掛かる。また、駆動電源として、電線で接続される外部電源を使用すると、電線が作業者の接触の妨げとなる。しかし、太陽電池２０６であれば、電池交換の手間が不要で、しかも作業者の接触を阻害することなく長期に亘るユーザ行動センサ１１０の使用が可能になる。

太陽電池２０６の下に近距離無線通信や制御を行う制御・通信回路２０４を積層配置することにより、太陽電池２０６の発電効率を高めるとともにユーザ行動センサ１１０の平面サイズが縮小される。

太陽電池２０６を使用するためには、周囲光が太陽電池２０６に照射可能である必要がある。一方で、ユーザの接触を検知する部分はユーザ行動センサ１１０の表面に配置することが望ましい。両者の要求を同時に満足する方法として、接触を検知する部分を透明にし、かつ静電容量形検出法を採用した。静電容量の変化を利用して作業者の接触あるいは圧力を検出するには、透明で弾力性の有る透明中間層２１０（例えば材料として透明な有機材料で形成されるシート）を２枚の透明導電層２０８、２１２（例えば透明な有機材料シート）で挟む構造を採用できる。２枚の透明導電層２０８、２１２間に交流電圧２１６を印加して、透明導電層２０８、２１２を共振させる。作業者がユーザ行動センサ１１０の表面に接触すると静電容量が変化するため、上記の交流共振状況が変化する。この交流共振状況の変化を検出することにより作業者の接触を検出できる。なお、このような静電容量形検出法に限らす、ユーザ行動センサ１１０内に周囲光の少なくとも一部が太陽電池２０６に照射可能であり、接触、もしくは圧力が検出可能ないかなる素子を利用してもよい。

一例であるが、ユーザ行動センサ１１０の表面の透明層には微細な凹凸が設けられている。これは表面の滑り止めのためでもあるが、この凹凸で点字情報を記録しておくと、視覚に障害がある人でも使いやすくなる。

ユーザ行動センサ１１０を既存の製造装置の一部に固定する方法としてはネジ止めなどあらゆる固定方法を採用してもよいが、直接接着又は粘着／付着させると、省スペース化が図れる。この接着又は粘着／付着方法としては、接着剤を用いた直接接着に限らず、粘着シートや粘着テープを利用する方法でもよい。オン／オフスイッチ１７２、照明スイッチボード１７４については、両面テープ特性を有する接着層２０２が、バルブ１７０については、透明な粘着テープ層からなる接着層２０２が利用できる。

図１２は照明スイッチボード１７４に取り付けられるユーザ行動センサ１１０を示す。照明スイッチボード１７４では、第１、第２、第３照明スイッチ１７６、１７８、１８０の表面には「照明１」、「照明２」、「照明３」等の文字が記載されているので、ユーザ行動センサ１１０が取り付けられても、これらの文字がそのまま見えることが望ましい。そのため、照明スイッチ１７６、１７８、１８０の上は透明であることが望ましい。さらに、複数の照明スイッチ１７６、１７８、１８０の接触状況を独立個々に検出する必要がある。一方、照明スイッチボード１７４では、照明スイッチ１７６、１７８、１８０が設置されていない場所に余裕スペース１８２が有る。このような状況に適合するために、図１２に示すユーザ行動センサ１１０は、接着層２０２の上に透明シート２０８、透明中間層２１０、透明シート２１２、透明凹凸層２１４が順次積層される。透明シート２０８、２１２は図１１の透明導電層２０８、２１２に対応し、透明シート２０８は３つの透明導電領域２０８ａ、２０８ｂ、２０８ｃを含み、透明シート２１０は３つの透明導電領域２１０ａ、２１０ｂ、２１０ｃを含む。透明導電領域２０８ａ、２１０ａは第１照明スイッチ１７６の位置に、透明導電領域２０８ｂ、２１０ｂは第２照明スイッチ１７８の位置に、透明導電領域２０８ｃ、２１０ｃは第３照明スイッチ１８０の位置に設けられる。透明シート２０８と２１２間には交流電圧２１６が印加される。このように透明シートを３つの照明スイッチに対応した３つの領域に分割することにより、３つの照明スイッチへの接触状況を独立個々に検出できる。表面の透明凹凸層２１４にも、点字情報が形成可能である。

照明スイッチが設置されていない余裕スペース１８２の透明凹凸層２１４の上に制御回路２０４ａ、通信回路２０４ｂが形成され、それらの上に太陽電池２０６が形成される。太陽電池２０６が最上部に配置しているので、発電効率が高い。また、制御回路２０４ａ、通信回路２０４ｂと太陽電池２０６とが垂直方向に位置するので、ユーザ行動センサ１１０の平面サイズが低減される。

実施形態によれば、ウェアラブル端末と製造装置の状況を検出して、検出結果に基づいて、保守・点検・修理等の作業が必要な製造装置の近傍で、当該作業を実施可能な作業者のウェアラブル端末に作業手順を表示することにより、作業者に対して有意義な情報を提供できる。また、ウェアラブル端末と製造装置の状況の検出結果に基づいて、一連の作業の各ステップの完了を判断し、作業の遂行を記録する作業報告書を自動的に作成するので、作業者の手間を大幅に省くことができる。なお、製造装置に接触センサを取り付けることにより、作業の完了を検出するので、既存の製造装置を改造することなく、非常に簡単で安価な方法で、しかも精度良く作業者の行動の推定／認識が可能となる。

上述の説明では、製造装置のメンテナンスを例としている。しかし、本実施形態は、これに限らず、他の目的に対応したユーザの行動をモニターして、それに応じた作業内容を表示してもよい。また、ユーザの行動をモニターする手段として、ユーザが接触する可能性のある箇所に接触センサを設けたが、これに限らず、他のセンサを利用してもよい。

実施形態としてメガネ型ウェアラブル端末を説明したが、ゴーグル型、ヘルメット型等の他の頭部装着型でもよいし、リストバンド型、ペンダント型等にも本発明は適用可能である。例えば、ヘルメット型又はゴーグル型にすると、投影装置１２、カメラ５９をヘルメット又はゴーグルに取り付けることができ、通常のメガネユーザも使用できる。さらに、ヘルメット型にすると、スピーカ５４をヘルメットの内側に取り付けることができるので、よりクリアな音を聴くことができるとともに、マイクをヘルメットに取り付け、しかも位置を調整できるので、マイクの集音能力が向上する。

製造装置、ウェアラブル端末の状態を検知するセンサの種類は上述した説明に限定されず、種々のセンサを適宜使用することが可能である。

頭部装着型以外のウェアラブル端末にも本発明は適用可能である。ウェアラブルでなくても携帯可能な小型軽量で、常にユーザとともにある電子機器、例えば、ノートブック型パソコン、タブレット型パソコン、スマートフォンにも本発明は適用可能である。

ウェアラブル端末と情報管理サーバとの機能分担は上述した説明の通りに限定されず、ウェアラブル端末の機能として説明したものの一部を情報管理サーバの機能として実現してもよいし、情報管理サーバの機能として説明したものの一部をウェアラブル端末の機能として実現してもよい。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１０…ウェアラブル端末、１２…投影装置、１６…スクリーン、５４…スピーカ、５５…パッチパッド、５９…カメラ、６２…光センサ、１０４…管理者端末、１０６…製造装置、１０８…装置状態センサ、１１０…ユーザ行動センサ、１１４…カメラ、１１６…情報管理サーバ、１４８…マイク、１５２…無線通信デバイス。

Claims (14)

1. 頭部に装着され得て、ユーザの視線上に位置する表示部を具備するウェアラブル端末と、
   前記ユーザの行動を検出する第１検出手段と、
   前記ユーザが使用する装置の状態を検出する第２検出手段と、
   前記ウェアラブル端末と前記第１検出手段と前記第２検出手段に接続されるサーバと、
   を具備するシステムであって、
   前記サーバは、
   前記第１検出手段の検出結果及び前記第２検出手段の検出結果に基づき前記ユーザの作業の内容に関する情報を前記表示部に表示する第１表示手段と、
   を具備するシステム。
2. 前記サーバは、
   前記第１検出手段の検出結果と前記第２検出手段の検出結果に基づき前記ユーザの作業の進捗状況を記録する記録手段と、
   前記記録手段により記録された進捗状況を前記表示部に表示する第２表示手段と、
   を具備する請求項１記載のシステム。
3. 前記第１検出手段は、作業中に前記ユーザが接触する前記装置の箇所に設けられた接触センサを具備する請求項１又は請求項２記載のシステム。
4. 前記第１検出手段は、前記ウェアラブル端末に取り付けられた３軸加速度センサ、３軸ジャイロ、３軸地磁気センサ、カメラ、マイクの少なくとも１つを具備する請求項１、請求項２又は請求項３記載のシステム。
5. 前記第２検出手段は、前記装置の可動部に取り付けられた３軸加速度センサ、３軸ジャイロ、３軸地磁気センサ、カメラ、マイクの少なくとも１つを具備する請求項１、請求項２、請求項３又は請求項４記載のシステム。
6. 前記サーバは、前記第２検出手段の検出結果に基づき、前記装置の点検が必要であるか否か又は前記装置は異常であるか否かを判断する判断手段をさらに具備し、
   前記第１表示手段は、
   前記判断手段が、前記装置の点検が必要であると判断すると、点検に必要な作業手順に関する情報を前記表示部に表示し、
   前記判断手段が前記装置は異常であると判断すると、修理に必要な作業手順に関する情報を前記表示部に表示する請求項１、請求項２、請求項３、請求項４又は請求項５記載のシステム。
7. 前記サーバは、前記装置の種類を判断する種類判断手段をさらに具備し、
   前記第１表示手段は、前記装置の種類に応じた作業に関する情報を前記表示部に表示する請求項１、請求項２、請求項３、請求項４、請求項５又は請求項６記載のシステム。
8. 頭部に装着され得て、ユーザの視線上に位置する表示部を具備するウェアラブル端末のユーザの行動を検出することと、
   前記ユーザが使用する装置の状態を検出することと、
   検出された前記ユーザの行動及び前記装置の状態に基づき前記ユーザの作業の内容に関する情報を前記表示部に表示することと、
   を具備する方法。
9. 検出された前記ユーザの行動及び前記装置の状態に基づき前記ユーザの作業の進捗状況を記録することと、
   記録された前記進捗状況を前記表示部に表示することを、
   さらに具備する請求項８記載の方法。
10. 前記ユーザの行動を検出することは、作業中に前記ユーザが接触する前記装置の箇所に設けられた接触センサの出力に基づいて検出することを具備する請求項８又は請求項９記載の方法。
11. 前記ユーザの行動を検出することは、前記ウェアラブル端末に取り付けられた３軸加速度センサ、３軸ジャイロ、３軸地磁気センサ、カメラ、マイクの少なくとも１つの出力に基づいて検出することを具備する請求項８、請求項９又は請求項１０記載の方法。
12. 前記装置の状態を検出することは、前記装置の可動部に取り付けられた３軸加速度センサ、３軸ジャイロ、３軸地磁気センサ、カメラ、マイクの少なくとも１つの出力に基づいて検出することを具備する請求項８、請求項９、請求項１０又は請求項１１記載の方法。
13. 検出された前記装置の状態に基づき、前記装置の点検が必要であるか否か又は前記装置が異常であるか否かを判断することと、
    前記装置の点検が必要であると判断すると、点検に必要な作業手順に関する情報を前記表示部に表示することと、
    前記装置が異常であると判断すると、修理に必要な作業手順に関する情報を前記表示部に表示することと、
    をさらに具備する請求項８、請求項９、請求項１０、請求項１１又は請求項１２記載の方法。
14. 前記装置の種類を判断することと、
    判断された前記装置の種類に応じた作業に関する情報を前記表示部に表示することと、
    をさらに具備する請求項８、請求項９、請求項１０、請求項１１、請求項１２又は請求項１３記載の方法。

Images