JP2017049869A - メガネ型ウェアラブル端末とそのデータ処理方法 - Google Patents

Abstract

【課題】作業等の人為的操作を確実に行わせることができるメガネ型ウェアラブル端末とそのデータ処理方法を提供する。【解決手段】実施形態によれば、表示部、センサからの検出信号を受け付けるセンサ信号受付部と、を有し、前記センサ信号受付部が受付けた作業準備の終了を示す検出信号に基づき、第１の作業を実施するための第１の指示を前記表示部に表示させる第１の表示制御部と、前記センサ信号受付部が受付けた前記第１の作業の終了を示す検出信号に基づき、次の第２の作業を実施するための第２の指示を前記表示部に表示させる第２の表示制御部と、を備える。【選択図】図４Ｂ

Description

この実施形態はメガネ型ウェアラブル端末とそのデータ処理方法に関する。

近年、メガネ型ウェアラブル端末として、メガネに画像を投映する投映装置を備えるものが開発されている。このメガネ型ウェアラブル端末を工場内の各種設備、製造装置の保守点検を行う作業者が利用すると便利な場合が多い。作業者は、メガネ型ウェアラブル端末により投映画像を通じて指示内容をみることができ、投映画像により指示された作業をリアルタイムで両手を用いて実施することが可能である。

またメガネ型ウェアラブル端末により投映画像を通じて指示されるレシピを見ながら、両手で食事などの料理を行うことができる。

特開２０１４−１６４４８２号公報 特開２０１１−８１７３７号公報

メガネ型ウェアラブル端末を用いる作業者は、メガネ型ウェアラブル端末により投映画像を通じて指示される指示内容をみて、リアルタイムで、両手を用いて指示された作業を行うことが可能である。このために、従来の如く、次の作業指示内容を確認するために、現在の作業位置とは別の位置に移動し、設置されたパーソナルコンピュータのディスプレイで確認する必要がなくなる。

しかしながら、作業者が作業指示内容に基づいて作業を行ったと意識したとしても、実際には作業が実施されていなかったり（作業ステップを忘れていたり）、作業したとしてもその作業内容が不完全であったりする場合がある。例えば、作業の途中でノイズがあり、ある工程の作業実施を忘れる（或いは不完全）、例えば扉の閉めを忘れる（或いは不完全）場合がある。このような場合、作業対象となった装置（製造装置、搬送装置など）が再稼働したとき、作業の忘れ、作業の不完全が要因となり、事故につながる危険性がある。

そこで本実施形態は、作業等の人為的操作が確実に行われるようにしたメガネ型ウェアラブル端末とそのデータ処理方法を提供することを目的とする。

実施形態によれば、表示部、センサからの検出信号を受け付けるセンサ信号受付部と、を有し、
前記センサ信号受付部が受付けた作業準備の終了を示す検出信号に基づき、第１の作業を実施するための第１の指示を前記表示部に表示させる第１の表示制御部と、
前記センサ信号受付部が受付けた前記第１の作業の終了を示す検出信号に基づき、次の第２の作業を実施するための第２の指示を前記表示部に表示させる第２の表示制御部と、を備える。

図１は、本実施形態の一例であるメガネ型ウェアラブル端末の構成説明図である。 図２は、本実施形態の一例であるメガネ型ウェアラブル端末の斜視図である。 図３は、本実施形態の一例であるメガネ型ウェアラブル端末を利用した位置検出システムの一例を示す図である。 図４Ａは、本実施形態の一例であるメガネ型ウェアラブル端末の機能ブロックの一例を示す図である。 図４Ｂは、図４Ａの駆動部１１３４の具体的機能の一例を示す図である。 図５Ａは、本実施形態のメガネ型ウェアラブル端末を用いるシステムの動作例を示すフローチャートである。 図５Ｂは、本実施形態のメガネ型ウェアラブル端末を用いるシステムの他の動作例を示すフローチャートである。 図６は、本実施形態のメガネ型ウェアラブル端末が使用された際の一例を説明する説明図である。 図７Ａは、本実施形態のメガネ型ウェアラブル端末を、作業対象の例えば点検のために使用した際の通信系統の一例を示す図である。 図７Ｂは、本実施形態のメガネ型ウェアラブル端末を、作業対象の例えば点検のために使用した際の通信系統の他の例を示す図である。 図７Ｃは、本実施形態のメガネ型ウェアラブル端末を、作業対象の例えば点検のために使用した際の通信系統のさらに他の例を示す図である。 図７Ｄは、本実施形態のメガネ型ウェアラブル端末を、作業対象の例えば点検のために使用した際の通信系統のさらにまた他の例を示す図である。 図８は、本実施形態のメガネ型ウェアラブル端末が作業現場において利用されている状態の一例を示す図である。 図９は、作業終了状態を検出して通知するセンサの詳細構造を示す図である。 図１０は、環境振動発電デバイス内の基本構造説明図である。 図１１は、環境振動発電デバイス内の蓄電原理説明図（１）である。 図１２は、環境振動発電デバイス内の蓄電原理説明図（２）である。 図１３は、環境振動発電デバイス内の蓄電原理説明図（３）である。 図１４は、環境振動発電デバイス内の蓄電原理説明図（４）である。 図１５は、環境振動発電デバイス内の蓄電原理説明図（５）である。 図１６は、センサ内一部構造の他の実施形態説明図である。 図１７は、センサ内に含まれる複数の瞬時電圧発生部の配置説明図（１）である。 図１８は、センサ内に含まれる複数の瞬時電圧発生部の配置説明図（２）である。 図１９は、制御部内での加速度／角速度変化後の値を検出する方法説明図である。 図２０は、センサからシステムコントローラへ向けて送信される通信情報内構造の説明図である。 図２１は、ネジ締め作業前後での振動特性説明図である。 図２２は、扉を閉めた時の角速度変化状態説明図である。 図２３は、システムコントローラが使用する受信用アンテナ構造の説明図である。

以下、実施の形態について図面を参照して説明する。

図１および図２は、ウェアラブル端末の実施形態の一例を示す概略図である。ウェアラブル端末は、携帯可能な端末装置である。この実施形態においては、メガネ型ウェアラブル端末として説明する。メガネ型ウェアラブル端末は、カメラやマイクあるいは振動検出機能等を有し、装着者からの所定の指示入力（制御情報）を、検出可能としてもよい。装着者の指示入力としては、例えば、カメラのレンズ部を手で遮る、マイクに対して、手をたたく、もしくは音声により次の表示を求める、振動検出機能に対して、所定の振動を与える、等である。このようなメガネ型ウェアラブル端末を、装着者（作業者）がハンズフリー状態で利用可能である。

メガネ型ウェアラブル端末１１００は、投光部（表示情報生成部）１１０２、スクリーン（光路合成部）１１０６、駆動部（画像表示回路および光源駆動回路、信号処理部と称することもある）１１３４、無線通信部１１３６等を含み、例えばボタン電池である電源部１１３２が供給する電力で動作する。

投光部１１０２は、無線通信部１１３６を通じ、外部ネットワークＮＴＷと接続する情報管理サーバやシステムコントローラ（図示せず）との間で通信すなわち情報の受け渡しを行う。

投光部１１０２はまた、光源部１１０４、画像表示部１１１０、ハーフミラー面１１１２、全反射面１１１４、出射面１１１６、レンズ群１１２０等を含む。投光部１１０２は、光源部１１０４が出射する非平行光（発散性の光、以下発散光と称する）１１０８により、画像表示部１１１０が表示する画像や情報を照明し、その（照明光の）反射光である投影画像を出射（出力）する。

光源部１１０４は、複数、例えば３個のＬＥＤ（Light Emitting Diode）の互いに発光色が異なり、それぞれの出力光量を独立して変更可能なＬＥＤを含む調光型白色ＬＥＤ光源（Ｌ−ｃｏｓ）であることが好ましい。なお、光源部１１０４に、調光型白色ＬＥＤ光源を用いることにより、メガネ型ウェアラブル端末１１００の使用環境が、例えばオレンジ色が主体の照明が用いられることの多いクリーンルーム内、等である場合においては、使用環境に応じて発光色を変更することができる。また、光源部１１０４に、調光型白色ＬＥＤ光源を用いることにより、装着者の見易い表示色を出力することで、装着者が見辛い表示色を出力する場合に比較して、目の疲れやそれに伴う偏頭痛、等の装着者にとって支障となる要因の発生を避けることが可能である。

画像表示部１１１０は、例えば反射型のＬＣＤ（Liquid Crystal Display）モジュールであり、駆動部１１３４による表示制御に基づいて、所定の画像を表示する。

光源部１１０４が出力する光１１０８は、ハーフミラー面１１１２で反射されることにより画像表示部１１１０が表示する画像を照明し、画像に対応した画像光（画像光と称する場合もある）として、再び反射される。

駆動部１１３４はまた、画像表示部１１１０が表示する画像（画像光）に対応して光源部１１０４の発光を制御する。

スクリーン１１０６は、手前側透明屈折体１１２４、フレネルレンズ形ハーフミラー面１１２２および奥側透明屈折体１１２６を有する。

スクリーン１１０６の画像表示部１１１０で反射した光（画像光）１１０８は、ハーフミラー面１１１２と出射面１１１６を通過する。そして画像光は、レンズ群１１２０により所定の画像サイズが与えられ、光路合成部１１０６のフレネルレンズ形ハーフミラー面１１２２に到達する。

スクリーン１１０６のフレネルレンズ形ハーフミラー面１１２２に到達した前記レンズ群１１２０を通過した画像光１１０８の一部は、このフレネルレンズ形ハーフミラー面１１２２で反射し、画像表示部１１１０上で表示される画像（画像光）に対応する虚像を形成する。

スクリーン１１０６は、（メガネ型ウェアラブル端末１１００を装着した）装着者の視線の延長上に見える像すなわち背景画像の一部を透過し、画像に対応した画像光とともに装着者が視認可能に、画像を表示する。

光源部１１０４から出射し、ハーフミラー面１１１２を通過した画像光（発散光）１１０８の一部は、全反射面１１１４で全反射し、出射面１１１６で屈折して光源部１１０４からの（発散光である）漏れ光１１１８となる。この漏れ光１１１８は、開口あるいは隙間（誘導部）１１２８を通って外部へ放出される。なおこの漏れ光１１１８を得る機能は必ずしも必須のものではない。

図２に示すように、メガネ型ウェアラブル端末１１００は、投光部１１０２の所定の位置、たとえば底面部に、スピーカ１１４０、（スライド式）スイッチ１１４２および（回転式）つまみ１１４４、等を含む操作ボタンを有する。スイッチ１１４２は、例えば投光部１１０２が出射する画像光１１０８の輝度の調整が可能である。つまみ１１４４は、例えば投光部１１０２が出射する画像光１１０８の投射角度の調整が可能である。スイッチ１１４２およびツマミ１１４４を、操作することで、スクリーン１１０６が投影する画像を目視しながら、装着者（ユーザ）が、ブラインドタッチで、輝度および投射角度を調整可能である。すなわち、スイッチ１１４２を操作することで、ユーザ（装着者）の好みに合わせた画像の表示輝度や色調を提供できる。また、ツマミ１１４４による投射角度の調整により、ユーザ（装着者）の頭部の形状やサイズに合わせて、最適な位置に画像を表示可能である。なお、スイッチ１１４２とツマミ１１４４の位置が逆であっても良い。

図１および図２に示すメガネ型ウェアラブル端末からの漏れ光を利用することで、メガネ型ウェアラブル端末（装着者）の位置および装着者の状態を検出することができる。図４を用いて、メガネ型ウェアラブル端末（装着者）の位置および装着者の状態の検出原理を説明する。

図３は、メガネ型ウェアラブル端末１１００の光源部１１０４からの漏れ光１１１８を利用する実施形態の検出システムの基本的な考え方を、示す概略図である。

実施形態の検出システムは、１個以上のメガネ型ウェアラブル端末１１００（−１〜−ｍ）、１個以上のセンサ無線チップ１２０４（−１〜−ｎ）、そして１個のシステムコントローラ１２００を含む。またそれらは、相互間の通信により、情報の受け渡しが可能である。相互間の通信は、有線あるいは無線のいずれであっても良いが、例えば近距離無線通信、例えばBluetooth（登録商標）（ブルートゥース（登録商標））であることが好ましい。より好ましくは、それらが互いに、近距離無線通信で連携することで、メガネ型ウェアラブル端末１１００の自由な移動に影響を受けずに、メガネ型ウェアラブル端末１１００とセンサ無線チップ１２０４との連携動作や連携処理が可能である。または、これらが互いに近距離無線通信で連携することで、またはセンサ無線チップ１２０４の自由な配置場所の変更に影響を受けずにメガネ型ウェアラブル端末１１００とセンサ無線チップ１２０４との連携動作や連携処理が可能である。なお本システムに適用される無線通信方式は、限定されるものではなく、各種の通信方式が採用されてもよく、また無線通信方式の切り替えが可能であってもよい。

実施形態の検出システムでは、メガネ型ウェアラブル端末１１００の光源部１１０４が出力する光１１０８に、個体識別情報すなわち任意数のメガネ型ウェアラブル端末１１００を識別可能に、メガネ型ウェアラブル端末の識別情報（Identification、以下端末ＩＤと称する場合もある）を含む情報を用いて間欠的に変調をかける。例えば光源部１１０４が出射する光１１０８を、端末ＩＤを含む情報信号で変調する。センサ無線チップ１２０４は、受信した情報信号をシステムコントローラ１２００に送信する。これによりシステムコントローラは、メガネ型ウェアラブル端末１１００とセンサ無線チップ１２０４との関連づけを行うことができる。

上記のように、実施形態の検出システムでは、漏れ光１１１８を利用して、メガネ型ウェアラブル端末１１００を『情報発信源』として利用する。このように、メガネ型ウェアラブル端末１１００の表示機能に加えて情報発信機能を持たせることにより、メガネ型ウェアラブル端末１１００の多機能化が実現できる。そしてメガネ型ウェアラブル端末１１００を含むシステムの多様性を達成できる。

光源部１１０４の発光量を変調する方法には、例えば発光量を間欠的にゼロまで落とすチョッパー形変調方式ではなく、発光量が低い状態でも所定量以上の発光量を確保できる変調方式を採用する。これにより、装着者の目に対する負担を軽減できる。変調方式としては、例えばＤＳＶ（Digital Sum Value）フリーの変調方式（すなわち常に変調後の信号のＤＳＶを計算し、適宜ビット反転コードを挿入可能にして直流成分をゼロとする変調方式）を採用する。それにより、比較的ロングレンジでの発光量変化を抑えることができ（巨視的に常に発光量変化をゼロにでき）、装着者の目への負担を、一層軽減できる。

人間の目は、０．０２秒程度の変化まで認識できるので、上記変調の基準周波数を１０Ｈｚ以上、例えば２０Ｈｚ以上、より好ましくは６０Ｈｚ以上に設定することで、装着者の目に対する負担を軽減する効果も生まれる。一方、光源部１１０４に使用されるＬＥＤは、内部インピーダンスと接続容量を持つため、精度良い変調周波数は、１００ＭＨｚ未満、望ましくは１０ＭＨｚ以下が望ましい。従って、実施形態の検出システムにて用いる光源部１１０４変調の基準周波数は、１０Ｈｚ〜１００ＭＨｚ、望ましくは１０Ｈｚ〜１０ＭＨｚの範囲が好ましい。

また、実施形態の検出システムでは、光源部１１０４からの発散光である漏れ光１１１８（透過光１１５８）を利用している。これにより、センサ無線チップ１２０４が検出する検出光量がメガネ型ウェアラブル端末１１００とセンサ無線チップ１２０４との間の距離δに応じて変化する。この現象を利用すると、メガネ型ウェアラブル端末１１００とセンサ無線チップ１２０４との間の距離（あるいはセンサ無線チップ１２０４に対するメガネ型ウェアラブル端末１１００の向き）が予測できる。

光源部１１０４からの漏れ光１１１８（透過光１１５８）として発散光を使用することにより、上記の光を、比較的広い範囲で検出できる。その結果、比較的少ない数のセンサ無線チップ１２０４（−１〜−ｎ）を設置するだけでメガネ型ウェアラブル端末１１００の位置（メガネ型ウェアラブル端末１１００とセンサ無線チップ１２０４との間の距離）検出や方向（センサ無線チップ１２０４に対するメガネ型ウェアラブル端末１１００の向き）検出が可能となる。これにより、検出システムを設置するために必要となる設備費用を低減できる。

センサ無線チップ１２０４が検出した光源部１１０４からの漏れ光１１１８（透過光１１５８）の光量情報は、所定のタイミングで、センサ無線チップ１２０４からシステムコントローラ（または情報管理サーバ）へ送信される。システムコントローラ１２００は、システムコントローラが収集した（または情報管理サーバに集約された）センサ無線チップ１２０４からの情報を解析する。これにより、任意のメガネ型ウェアラブル端末１１００（−１〜−ｍ）すなわち装着者の位置および装着者の状態が推定可能となる。

図３に示す実施形態では、作業台１２０６（ラックもしくは作業スペース）上にセンサ無線チップ１２０４が固定され、メガネ型ウェアラブル端末１１００が移動可能である。しかしそれに限らず、センサ無線チップ１２０４（及び作業台１２０６或いは物品）が移動可能であっても良い。その場合には、移動可能な作業台１２０６或いは物品に取り付けられたセンサ無線チップ１２０４、定位置（固定位置、ユーザが使用している状態）のメガネ型ウェアラブル端末１１００の相互通信により、移動可能な作業台１２０６或いは物品の流通状態を検出しても良い。

図４Ａは、メガネ型ウェアラブル端末１１００の主な電気処理ブロック１１５０の一例を示している。図２乃至図３で説明した部分と同一部分には、同一符号を付している。駆動部１１３４は、中央演算処理装置（ＣＰＵ）、所定の基本データや、ソフトウエアなどを記述したリードオンリーメモリ（ＲＯＭ）、一時的なデータを書き込むことができるランダムアクセスメモリ（ＲＯＭ）を含む。駆動部１１３４のメモリに記憶されているソフトウエアや初期データを書き換えることで、メガネ型ウェアラブル端末１１００の機能を容易に変更可能である。なお、スイッチ１１４２、つまみ１１４４などを含む操作ボタン群は、さらに電源スイッチなどを含む。

メガネ型ウェアラブル端末１１００は、複数のセンサを含むセンサ群１１５１を搭載してもよい。例えばカメラ１１３８の他にマイク１１５３、位置検出センサ１１４５、状態検出センサ１１５５などを搭載してもよい。

位置検出センサ１１４５は、例えばカメラ１１３８により、固定位置のバーコードを読み取る方法、或いは固定位置の複数の通信器からの位置情報を通信部１１３６で受信し認識する方法など複数がある。

状態検出センサ１１５５は、例えば加速度センサやジャイロ（gyroscope）、等のセンサを含み、加速度センサやジャイロが出力する情報に基づいて作業者の状態を検出する。作業者の状態は、例えば「Ａ」作業中、「Ｂ」移動中、「Ｃ」待機中、作業開始「Ｄ」、作業終了「Ｄ」などがある。作業者の状態は、ネットワークＮＴＷを通じて情報管理サーバまたはシステムコントローラ１２００に送信される。また、センサ群１１５２は、色センサ、温度センサ、湿度センサ、視線センサなどを含んでもよい。

通信部１１３６は、外部のシステムコントローラ１２００と無線及び又は有線のネットワークを介して、相互通信することができる。

図４Ｂは、図４Ａの駆動部１１３４の具体的機能の一例を示す図である。操作入力受付部１１３４ａは、メガネ型ウェアラブル端末１１００の装着者（作業者）が、操作した操作ボタンからの操作信号、或いは通信部１１３６で受信した操作信号を受け付けて、操作内容を判定する。操作信号が、何らかの表示を実行させるためのものであれば、操作信号は、表示制御部１１３４ｂに入力する。また操作信号が、外部へ送信すべきものであれば、この操作信号が通信部１１３６へ送られる。

表示制御部１１３４ｂは、複数の表示制御部（第１の表示制御部、第２の表示制御部・・・）を含み、判定部１１３４ｃからの判定結果に応じて、表示データを変更することが可能である。判定部１１３４ｃは、複数の判定部（第１の判定部、第２の判定部・・・）を含み、センサ信号受付部１１３４ｄからの検出信号に対応した判定結果を得ることができる。センサ信号受付部１１３４ｄは、センサ群１１５２からの各種のセンサ検出信号を受け付ける。センサ群１１５２からの各種のセンサ検出信号は、判定部１１３４ｃの判定結果とともに、通信部１１３６を介して、システムコントローラ１２００に送信されてもよい。

上記した機能ブロックは、駆動部１１３４のメモリに格納されたソフトウエアにより実現されてもよいし、集積回路化されていてもよい。

図５Ａは、作業者が、例えば製造装置の点検、或いは故障している機械の修理を行う際、メガネ型ウェアラブル端末１１００の表示画像を通じて作業指示を受けるシステム動作フローを示している。作業指示画像データは、メガネ型ウェアラブル端末１１００の例えばＲＡＭに格納されている。ＲＡＭから読み出された作業指示画像データは、例えば画像表示部１１１０に表示される。

例えばメガネ型ウェアラブル端末１１００を装着した作業者が作業現場に到着し、例えば現場にある作業開始ボタンを押す、或いは、特殊なジェスチャーを行う。これにより、メガネ型ウェアラブル端末１１００からの作業指示待ち情報（スイッチ情報或いは状態検出情報）がシステムコントローラ１２００に送信される。作業指示待ちデータを受けとったシステムコントローラ１２００は、作業内容（作業種類、作業名と称してもよい）を特定し、作業開始指示データをメガネ型ウェアラブル端末１１００に送信する。

作業内容は、あらかじめ複数の作業単位（複数の細分化作業）に分割され、それぞれに細分化作業指示が作成され、指示画像データに作成されている。この指示画像データは、メガネ型ウェアラブル端末１１００の例えばＲＡＭにあらかじめ格納されてもよいし、細分化作業毎に、システムコントローラ１２００から無線を通じてメガネ型ウェアラブル端末１１００に送信されてもよい。修理点検等の作業を行うための作業工程は、複数の作業単位に分割され、各作業単位は、作業者に作業を確実に実行させるために、できるだけ細分化されたほうが好ましい。指示画像データは、メッセージ或いはアイコン画像、或いは動画、或いはこれらの組み合わせである。また指示画像データは、カラー画像で表示されてもよい。

システムコントローラ１２００から通信部１１３６を介して受け取られた最初の作業開始指示データは、操作入力受付部１１３４ａに入力する。

すると、操作入力受付部１１３４ａは、表示制御部１１３４ｂを制御し、これにより作業指示が開始される。作業指示開始の際には、指示画像データによりメガネ型ウェアラブル端末１１００に第１の作業指示を提示する(ステップＳＡ１)。作業者は作業指示を理解し、作業を開始する。作業者が作業を開始すると、例えば各種センサ出力に基づき、作業開始がメガネ型ウェアラブル端末１１００及び又はシステムコントローラ１２００により認識される(ステップＳＡ２)。

メガネ型ウェアラブル端末１１００及び又はシステムコントローラ１２００は作業開始が認識された場合、第１の作業指示を非表示に制御する(ステップＳＡ３)。つまり、第１の作業指示の表示が作業者の作業に邪魔にならないようにする。

作業者が作業を行っている途中で、異常が検出された場合（ステップＳＡ５）は、異常表示を行い、再度ステップＳＡ１に戻る。作業の異常は、例えばセンサ群１１５１に含まれる例えば異常温度検出センサ、或いは異常湿度検出センサ、或いは異常加速度センサ、或いは異常位置検出センサ、或いは異常光センサなどの出力に基づき判定される。

作業がスムーズに進み第１の作業が完了すると、第１の作業完了をセンサが検出する（ステップＳＡ６）。例えば加速度センサ或いは圧力センサなどが利用される。第１の作業が完了したことが検出されると、次に、第２の作業指示が提示される（ステップＳＡ７）。そして第１の作業指示の場合と同様に、第２の作業開始の検出、第２の作業終了の検出が行われ、次に第３の作業指示が提示される。

最後の作業指示が提示され、最後の作業終了の検出が行われた場合、次の新たな指示が提示される。新たな指示は、例えば、休息、退避、次の作業、次の作業現場への移動指示などである。この実施形態においては、表示制御を行う構成及び又は表示制御の工程が重要な要素であり、作業者の作業的確に管理し、コントロールすることが可能となる。

上記したように実施形態に含まれる発明は、基本的には、表示部、センサからの検出信号を受け付けるセンサ信号受付部と、を有する。そして、第１の表示制御部が、前記センサ信号受付部が受付けた作業準備の終了を示す検出信号に基づき、第１の作業を実施するための第１の指示を前記表示部に表示させ、第２の表示制御部が、前記センサ信号受付部が受付けた前記第１の作業の終了を示す検出信号に基づき、次の第２の作業を実施するための第２の指示を前記表示部に表示させるのである。

また、実施形態に含まれる発明は、作業指示データを処理する駆動部を有したメガネ型ウェアラブル端末のデータ処理方法である。この処理方法は、センサ信号受付部が受付けた作業準備の終了を示す検出信号に基づき、第１の作業を実施するための第１の指示を表示部に表示することと、前記センサ信号受付部が受付けた前記第１の作業の終了を示す検出信号に基づき、次の第２の作業を実施するための第２の指示を前記表示部に表示することを備える。

また第３の表示制御部が設けられてもよい。この第３の表示制御部は、前記センサ信号受付部が受付けた前記第１の作業の開始を示す検出信号に基づき、前記第１の指示を非表示させることができる。

図５Ｂは、本実施形態のメガネ型ウェアラブル端末を用いるシステムのさらに他の動作例を示すフローチャートである。作業者が作業現場への移動を開始した後からの制御動作を示している。作業者にメガネ型ウェアラブル端末１１００を通じて移動指示が与えられると、作業者は移動を開始する。作業者に対して所定位置への移動指示がなされる（ステップＳＣ２）。このとき作業者移動が検出される（ステップＳＣ１）。作業者の移動は、例えば加速度センサ、ジャイロセンサなどの姿勢検出センサ出力が用いられる。作業者の停止が検出されると（ステップＳＣ３）、作業者が正常位置（指示された目的の位置）で停止しているかどうかの判定がなされる（ステップＳＣ６）。

作業者がしばらくしても停止しないときは、所定時間以上が経過しているかどうかの判定がなされる（ステップＳＣ４）。もし作業者が所定時間以上経過したときに停止していない場合は、何らかのトラブルが生じていると判定され、メガネ型ウェアラブル端末１１００を介して、警告表示がなされて、停止指示がなされる。

ステップＳＣ６において、作業者が正常位置に停止していない場合は、作業位置が異常位置であると判定され（ステップＳＣ７）、メガネ型ウェアラブル端末１１００を介して、警告表示がなされ（ステップＳＣ８）、所定位置への移動指令が表示される。

作業者が正常位置に停止している場合は、図５Ａで説明した、作業指示が開始される。そして最終作業が終了したと判定されたあとは、例えば帰還指示が表示される。

なお本明細書に記載する実施形態は、作業者という用語を限定するものではなく、メガネ型ウェアラブル端末を装着した装着者として記載することもできる。また作業という用語も限定されるものではなく、種々の用語に置き換え可能であり、例えば行為、販売、診察、警戒、点検、監視、メガネ型ウェアラブル端末装着者の行為、などと置き換えることが可能である。

図５Ａ，図５Ｂにおいては検出、判定、及び表示制御手順を説明した。しかし図５Ａ，図５Ｂに示すブロックは、主たるハードウエア構成ブロックとして構成されてもよいことは勿論である。また基本的の構成としては、表示制御を行う構成及び又は表示制御の工程が重要な要素である。

図６は、上記した作業指示に従って、作業者が実行する作業工程の一例をメガネ型ウェアラブル端末１１００の表示例とともに示している。メガネ型ウェアラブル端末１１００を装着している作業者が、作業現場に到着し、例えば現場にある作業開始ボタンを押す、或いは、特殊なジェスチャーを行ったとする。すると例えば、メガネ型ウェアラブル端末１１０とシステムコントローラ１２００との通信が開始される。ここで作業現場での作業者の作業は、例えば製造装置の筐体２００５の中にあるねじ２００１を締なければならない作業であったとする。ここですでに筐体２００５の蓋２００６は開いており、開口が見えているものとする。

システムコントローラ１２００との通信が開始されると、メガネ型ウェアラブル端末１１００には、例えばシステムコントローラ１２００により指示が送信され、「ねじを締めてください」というような表示される（ステップＳＢ１）。そこで、作業者が筐体の開口よりドライバ２００２を挿入し、ねじ２００１の締め付け動作を開始する。すると、ねじ２００１或いはドライバ２００２に取り付けられているセンサ（例えば加速度センサ）２０２１が加速度を検出する（ステップＳＢ２）。このように、ねじの締め付け作業が開始されると、加速度センサ２０２１がねじの回転を検出する。

この回転検出信号は、システムコントローラ１２００に送信されるので、システムコントローラ１２００は、作業が開始されたことを認識する。するとシステムコントローラ１２００は、現在の指示「ねじを締めつけてください」を消去する指令を出力する。これによりメガネ型ウェアラブル端末１１００では、作業現場が見やすくなる。

ねじが締めつけられて、停止するとセンサ２０２１の検出出力がゼロとなる。このときのセンサ検出信号も、システムコントローラ１２００に通信部１１３６を介して送信される。これによりシステムコントローラ１２００は、ねじ締めが完了したものと判定する（ステップＳＢ３）。そして、システムコントローラ１２００は、次の指示を送信する。次の指示が例えば「扉を閉めてください」と言うような指示であるものとする（ステップＳＢ４）。作業者は、指示に従って扉２００６を閉める（ステップＳＢ５）。このとき、つまり扉２００６が閉まる方向へ回動した際、センサ（例えば加速度センサ）２０２２が扉２００６の回動開始を検出する。この検出信号は、システムコントローラ１２００に通信部１１３６を介して送信される。これによりシステムコントローラ１２００は扉２００６の回動開始を検出する。そして、扉２００６が閉じられて、その回動が停止すると、センサ（例えば加速度センサ）２０２２が扉２００６の停止を検出する（扉が閉まったことを検出する）。このときのセンサ検出信号も、システムコントローラ１２００に通信部１１３６を介して送信される。これによりシステムコントローラ１２００は、扉の閉じが完了したものと判定する（ステップＳＢ５）。そして、次の指示をメガネ型ウェアラブル端末１１００に送信する。例えば、システムコントローラ１２００は、「扉閉め完了です、しばらくお待ちください」と言うような指示を送信する（ステップＳＢ６）。

上記したように複数の細分化作業が一連して作業が行われ、細分化作業ごとに開始、終了の検出が行われる。このために、各作業が確実に実行され、作業が実施されていなかったり（作業ステップを忘れていたり）、作業内容が不完全であったりすることを防止できる。結果、作業対象となった装置（製造装置、搬送装置など）の安全性、及び、製造品、搬送品などの安全性を確保できる。

図７Ａ〜図７Ｄに示すように、上記のメガネ型ウェアラブル端末１１００に画像データによる指示が表示される場合、指示の発生方法、画像データの取得方法は各種の実施形態が可能である。

図７Ａは、作業対象（製造装置、搬送物、部品など）２４００にセンサ２５００が装着されている例である。この例では、作業対象の動き（作業開始、作業完了）検出信号が、作業対象２４００に装着されたセンサ２５００から出力される。また、種々の指示画像データが、メガネ型ウェアラブル端末１１００の駆動部１１３４内のメモリに格納されている。この実施形態であると、メガネ型ウェアラブル端末１１００とシステムコントローラ１２００との間の通信が困難な場合に有効である。

図７Ｂは、作業対象２４００にセンサが装着されていないような場合に有効な実施形態である。この実施形態では、メガネ型ウェアラブル端末１１００に搭載されているセンサが有効に活用される。例えば、カメラ、温度センサ、湿度センサ、光センサ、視線センサ、色センサなどが有効に活用される。メガネ型ウェアラブル端末１１００は、センサからの検出信号を、システムコントローラ１２００に送信することができる。システムコントローラ１２００は、センサの検出信号に応じて、メガネ型ウェアラブル端末１１００に送信すべき指示内容を決定し、メガネ型ウェアラブル端末１１００に指示データを送信する。メガネ型ウェアラブル端末１１００は、指示データに応じて、表示すべき画像データ、生成すべき音声などを決定し、作業者（装着者）に作業指示を与えることができる。

図７Ｃは、作業対象（製造装置、搬送物、部品など）２４００にセンサ２５００が装着されている例である。この実施形態では、センサ２５００がシステムコントローラ１２００と通信し、システムコントローラ１２００が、メガネ型ウェアラブル端末１１００に指示データを送信する、
この実施形態であると、システムコントローラ１２００が作業対象１４００とメガネ型ウェアラブル端末１１００との第１の組の作業進捗状態を常に把握することができる。また、システムコントローラ１２００は、他の作業対象とメガネ型ウェアラブル端末の第２の組の作業進捗状態も把握することができる。この結果、システムコントローラ１２００は、第１の組と第２の組の作業進行の調整を行うことも可能である。例えば指示内用として、「一時作業を停止してください」、「作業を急いでください」などの指示を出すことも可能である。

図７Ｄは、作業対象２４００にセンサが装着されていないような場合に有効な実施形態である。この実施形態では、メガネ型ウェアラブル端末１１００に搭載されているセンサが有効に活用される。またこの実施形態は、メガネ型ウェアラブル端末１１００とシステムコントローラ１２００との間の通信が困難な場合に有効である。メガネ型ウェアラブル端末１１００は、例えば、カメラ、温度センサ、湿度センサ、光センサ、視線センサ、色センサなどを搭載しており、これらのセンサが有効に活用される。この実施形態では、メガネ型ウェアラブル端末１１００内のメモリに作業指示を行うための種々の指示画像データが格納されている。センサの検出信号に応じて、次の作業指示画像データが選択されて、メガネ型ウェアラブル端末１１００の表示部に表示される。

上記した図７Ａ〜図７Ｄの実施形態は、組み合わせられていてもよい。或いは、モード切替信号により、図７Ａ〜図７Ｄの各動作モードに切り替えられてもよい。

図８は、本実施形態のメガネ型ウェアラブル端末が作業現場において利用されている状態の一例を示す。メガネ型ウェアラブル端末１１００＿１と、作業対象２４００＿１との組は、図７Ａ或いは図７Ｃで説明したような通信形態が採用されている。また
メガネ型ウェアラブル端末１１００＿２と、作業対象２４００＿２との組、メガネ型ウェアラブル端末１１００＿３と、作業対象２４００＿３との組、メガネ型ウェアラブル端末１１００＿４と、作業対象２４００＿４との組も、それぞれ図７Ａ或いは図７Ｃで説明したような通信形態が採用されている。メガネ型ウェアラブル端末１１００＿５と、作業対象２４００＿５との組、メガネ型ウェアラブル端末１１００＿６と、作業対象２４００＿６との組は、図７Ｂ或いは図７Ｄで説明したような通信形態が採用されている。

システムコントローラ１２００は、各メガネ型ウェアラブル端末１１００＿１〜１１００＿６と通信を行うことができ、各端末のメモリ内のデータの更新、ソフトウエアの更新、書き換えが可能である。情報管理サーバ１２０１は、過去の作業実績、各作業対象の点検結果のデータの保存、各作業対象に対する指示画像データなどを保存している。システムコントローラ１２００は、必要に応じて情報管理サーバ１２０１のデータを読出し、メガネ型ウェアラブル端末に送信することができる。また、システムコントローラ１２００は、メガネ型ウェアラブル端末、作業対象のセンサから送られてきたデータを、情報管理サーバ１２０１に保存用データとして送信することができる。

上記したように、メガネ型ウェアラブル端末のセンサ信号受付部は、複数のセンサからのセンサ信号を受け付けることができる。また、センサ信号受付部は、メガネ型ウェアラブル端末本体に設けられた複数のセンサからのセンサ信号を受け付けてもよい。さらには、前記センサ信号受付部は、前記アンテナを介して外部の複数のセンサからのセンサ信号を受け付けてもよい。またメガネ型ウェアラブル端末は、メモリを有し、第１の指示及び第２の指示を、前記メモリに格納されたデータに基づき生成されてもよい。またメガネ型ウェアラブル端末は、アンテナを有し、前記第１の指示及び第２の指示は、外部の管理部から前記アンテナを介して受け取る方式を採用してもよい。

図９は、センサ内の詳細構造を図９に示す。生産現場等での作業者の所定作業の完了状態を検出するセンサ２０２１、２０２２は、既存環境または生産設備などの既存装置（図６のネジ２００１または扉２００６に対応）に付加的に設置可能な構造を有する。

作業者の作業を完了した事を自動的に検出する方法として、所定作業の完了状態を検出する複数のセンサ２０２１、２０２２が予め組み込まれた新規生産装置に既存装置を買い替える方法が有る。しかしその方法では、装置の買い替えに膨大な設備投資費用が掛かる。それに比べると、単体では非常に安価なセンサ２０２１、２０２２を既存環境または既存装置に付加的に設置する方法を採用すれば、非常に安価に作業者の作業完了状態を自動的に検出できる効果が有る。

センサ２０２１、２０２２を付加的に設置する方法として図９に示した実施形態では、センサ２０２１、２０２２と既存環境や既存装置との間で接触する箇所に接着部３００８を形成している。具体的には上記既存環境や既存装置への接触箇所に対する接着部３００８が例えば強度の大きな粘着シートで構成されても良い。この場合、センサ２０２１、２０２２の出荷時には接着部３００８の既存環境や既存装置への接触部分に予めカバーシートを付けて置き、このカバーシートをセンサ２０２１、２０２２の設置場所で外して、接着部３００８を既存環境や既存装置へ直接接着させる。またそれに限らず、既存環境や既存装置への接触箇所に対する接着部３００８には事前には粘着特性（または接着特性）を持たせず、センサ２０２１、２０２２の設置時にこの接着部３００８が既存環境や既存装置に直接接触する箇所に接着剤を浸透させて固着させても良い。更にセンサ２０２１、２０２２を付加的に設置する他の方法として、既存環境や既存装置への接触箇所に対する接着部３００８を利用して既存環境や既存装置に対するネジ締めなどで固定しても良い。

図９の構造では、加速度センサ部または角速度センサ部３００６を既存環境や既存装置の接触箇所に対する接着部３００８に隣接配置させる。この加速度センサ部または角速度センサ部３００６の配置場所は、付加設置対象の既存環境や既存装置表面に近い方が、既存環境や既存装置自体の加速度や角速度を正確に検出できる。従って図９に示すように制御部３００２、近距離無線通信部３００４あるいは環境振動発電デバイス３０００よりも付加設置対象の装置（あるいは環境物）に近い位置に上記加速度センサ部または角速度センサ部３００６を配置する事で、より正確に対象物（図６のネジ２００１または扉２００６に対応）の加速度や角速度を検出できる効果が有る。

本実施形態では加速度センサとして、２０Ｇ（１Ｇは地球の重力加速度を表す）以下の測定範囲を持つ低Ｇ加速度センサを使用する。加速度センサとして使用する場合には、加速度センサ部または角速度センサ部３００６内の外壁部が固定部を構成し、その中（加速度センサ部または角速度センサ部３００６の内部）にセンサ素子可動部が設置されている（図９では内部の詳細構造を省いている）。そして上記固定部に対するセンサ素子可動部の位置変化を利用して加速度を検出する。本実施形態では静電容量検出方式（固定部とセンサ素子可動部間の静電容量変化を検出）またはピエゾ抵抗方式（固定部とセンサ素子可動部間をつなぐバネ部分に配置したピエゾ抵抗素子を用いてバネ部分に発生した歪を検出）のいずれを利用しても良い。

また本実施形態では角速度センサ（ジャイロセンサ）として、ＭＥＭＳ（Micro Electro Mechanical System）技術を使った振動式を利用しても良い。この角速度センサ（ジャイロセンサ）の基本的構造は上述した加速度センサと同様に、加速度センサ部または角速度センサ部３００６内の外壁部から構成される固定部とその中（加速度センサ部または角速度センサ部３００６の内部）に設置されたセンサ素子可動部から構成される。またこの固定部内には互いに直交方向に配置された第１の櫛歯状電極と第２の櫛歯状電極が複数配置されている。ここで前記第１の櫛歯状電極に交互に電圧を印加して前記センサ素子可動部を一定周期で振動させる。そして加速度センサ部または角速度センサ部３００６が回転するとコリオリの力が発生し、前記固定部に対して前記センサ素子可動部が相対的に回転運動を起こす。次に前記第２の櫛歯状電極を利用して、この回転変位を静電容量の変化として捉える事で角速度を検出する。所で上述した機械式に限らず、本実施形態では角速度センサ（ジャイロセンサ）に地磁気式や光学式あるいは機械式を利用しても良い。

上記方法で検出した加速度または角速度に基付いたデータが近距離無線通信部３００４を経由してシステムコントローラ１２００（図７参照）に送られる。またこのデータが近距離無線通信部３００４の動作制御や加速度センサ部又は角速度センサ部３００６から得られた信号に対する信号処理は制御部３００２内で行われる。ここで図９に示すように近距離無線通信部３００４と制御部３００２を同列に配置する事で、センサ２０２１、２０２２自体の高さを低くできる効果が有る。

図９に示すように本実施形態では、加速度センサ部又は角速度センサ部３００６及び近距離無線通信部３００４と制御部３００２の動作に必要な電力供給（電源）を環境振動発電デバイス（圧電式または静電式採用）３０００が行っている。センサ２０２１、２０２２への電源（電力供給）として有線を用いると、センサ２０２１、２０２２の設置位置を変える毎に配線を変更する煩雑さが伴う。また電源（電力供給）として交換式の電池を使用して、多数のセンサ２０２１、２０２２を設置した場合、電池交換作業が非常に煩雑となる問題が発生する。本実施形態ではセンサ２０２１、２０２２が加速度や角速度を検出する特徴を生かし、その検出対象となる加速度や角速度のエネルギーを電源（電力供給）として利用する。その結果として有線に拠る電力供給が不要になるためにセンサ２０２１、２０２２の設置位置変更に伴う配線変更の煩雑さから解放されるだけで無く、電池交換の煩雑さからも解放される効果が有る。

一般的に、地震発生時には１階の建物の中よりも高層ビルの上の方の揺れが激しい。このように振動面から突出した構造体では、直接の振動面より離れた位置の方が大きな振動が発生する（振動振幅が大きい）。この現象を利用して本実施形態では図９に示すように、既存環境や既存装置への接触箇所に対する接着部３００８から最も離れた位置に環境振動発電デバイス３０００を配置した構造になっている。すなわち加速度センサ部又は角速度センサ部３００６または近距離無線通信部３００４、制御部３００２よりも環境振動発電デバイス３０００を既存環境や既存装置への接触箇所に対する接着部３００８から離れた位置に配置される構造を有する。それにより発電効率の最大化が図れる効果が有る。

図９内の環境振動発電デバイス３０００内の基本構造を図１０に示す。この構造の一部は、前述した加速度センサまたは角速度センサの基本構造と類似している。すなわち環境振動発電デバイス３０００内は固定部３１００とセンサ素子可動部３１０２から構成され、このセンサ素子可動部３１０２が外部の環境振動に対応して固定部３１００に対して移動可能となっている。

またセンサ素子可動部３１０２の移動と同期して移動可能な瞬時電圧発生部３１０４が形成されており、センサ素子可動部３１０２の移動に応じて瞬時電圧が発生する。ここでこの瞬時電圧発生部３１０４としてピエゾ（圧電）素子を使用する場合を“圧電式”と呼び、エレクトレット（半永久的な電荷を持つ絶縁体）を使用する場合を“静電式”と呼んでいる。

この瞬時電圧発生部３１０４で発生する瞬時電圧は、昇電圧部３１０６で直流化と平滑化と共に昇電圧される。そしてこの昇電圧部３１０６の出力電力は蓄電部３１０８内に蓄えられる。

図１０に示した環境振動発電デバイス３０００内の具体的な動作原理に付いて図１１〜図１５を用いて説明する。瞬時電圧発生部３１０４として“圧電式”を採用する場合も、“静電式”を採用する場合も、図１１〜図１５に示すように昇電圧部３１０６以降を共通に使用できる。従って蓄電原理の説明として図１１〜図１５では、“圧電式”と“静電式”の両方に関して同時に説明する。ここで“圧電式”を採用する場合には、入力端子３１１６側に圧電素子３１３０からの出力が繋がる。一方“静電式”を採用する場合には、入力端子３１１６側にメタル電極基板３１３８からの出力が繋がる。

すなわち図１１〜図１５に示すように“圧電式”では、固定部３１００とセンサ素子可動部３１０２との間を繋ぐ接続部が瞬時電圧発生部３１０４に相当し、この接続部内に圧電（ピエゾ）素子３１３０が設置されている。ここで固定部３１００に対するセンサ素子可動部３１０２が中立位置から大きくずれると、圧電素子３１３０の両端間に起電圧が発生する。逆にセンサ素子可動部３１０２が中立位置に戻ると、圧電素子３１３０の両端間に起電圧が減少する。

また図１１〜図１５に示すように“静電式”では固定部３１００にエレクトレット材料３１３４が設置されている。このエレクトレットとは、半永久的な電荷を持つ絶縁体を示し、具体的材料としてサイトップなどが使用できる。図１１〜図１５の実施例では、エレクトレット材料３１３４表面は常に負電荷に帯電している場合を説明している。また上記エレクトレット材料３１３４にはエレクトレット電極基板３１３２が接続され、上記エレクトレット材料３１３４の相対的電位を常に“０Ｖ”（ゼロボルト）に保持されている。そして負に帯電しているエレクトレット材料３１３４の近傍には可動状態の対向電極３１３６が設置されている。そしてエレクトレット材料３１３４に対して対向電極３１３６が移動する事で瞬時電圧が発生する。従って図１０で説明した瞬時電圧発生部３１０４内に前記対向電極３１３６が設置されている。また対向電極３１３６にはメタル電極基板３１３８が接続されており、このメタル電極基板３１３８を介して対向電極３１３６への電荷補給がなされる。従って図１０で説明したセンサ素子可動部３１０２内にはこのメタル電極基板３１３８が含まれる。このメタル電極基板３１３８と対向電極３１３６の組み合わせに拠りセンサ素子可動部３１０２或いは瞬時電圧発生部３１０４が構成されると言っても良い。電磁気学的コンデンサ理論から、上記エレクトレット材料３１３４表面上の負電荷量の絶対値と、近接する対向電極３１３６内の対向表面上正電荷量は一致する必要が有る。従って対向電極３１３６の位置がエレクトレット材料３１３４位置と一致している場合には、対向電極３１３６内の対向表面上には最も多くの正電荷量が集まる。逆に対向電極３１３６の位置がエレクトレット材料３１３４位置と大きくずれると、対向電極３１３６内の対向表面上に集まる正電荷量は小さくなる。この対向表面上に集まる正電荷量は、メタル電極基板３１３８を経由して他の場所へ移動する。

図１０には記載して無いが、図１１〜図１５では瞬時電圧発生部３１０４の出口に信号検出部３１１０が配置されている。この信号検出部３１１０からの出力を利用して、加速度や角速度を検出できる。具体的には信号検出部３１１０内に抵抗器３１２０が設置され、瞬時電圧発生部３１０４から発生する瞬時的電流がこの抵抗器３１２０内を流れる。この抵抗器３１２０内に電流が流れると、抵抗器３１２０の両端に瞬時的に電圧が発生する。この瞬時電圧を差動バッファアンプ３１１２でバッファリングして、外部からの瞬時電流変化がモニター可能となる。

図１１〜図１５では昇電圧部３１０６の一例としてコッククロフト・ウォルトン回路を使用しているが、それに限らず少なくとも電流の整流か平滑化あるいは電圧増幅が可能な回路なら他の回路を使用しても良い。また蓄電部３１０８内の一例としてコンデンサ素子３１２８を記載したが、それに限らず他の繰り返し充放電可能な蓄電池を使用しても良い。

図１１〜図１５の中塗り矢印３１１４はセンサ素子可動部の移動方向を示し、中抜け矢印３１４２は電流方向を示す。図１１のようにセンサ素子可動部３１０２が左側に移動すると圧電素子３１３０の歪量が小さくなるため、圧電素子３１３０内両端子（両面）間の起電圧が小さくなる。そこで減少した正電荷が入力端子３１１６から圧電素子３１３０側に流れる。なおここでは左側、右側は、図面上の方向を意味する。

静電方式において、対向電極３１３６の位置を左側に移動させると対向電極３１３６の表面に析出される正電荷量が増加するため、その析出正電荷がメタル電極基板３１３８を経由して入力端子３１１６に流れ込む。その結果として“圧電式”と“静電式”のいずれの場合でも、抵抗器３１２０内では右側から左側に向けて電流３１４８が流れる。そしてこの正電荷はコンデンサ素子３１２２−１の左側電極から供給されるので、供給後の左側電極は負電荷に帯電する。すると電磁気学的コンデンサ理論から対応するコンデンサ素子３１２２−１の右側電極に正電荷を供給すべくダイオード素子３１２６−１を経由して電流３１４８が流れる。また別の説明として、センサ素子可動部３１０２が左側に移動した時にコンデンサ素子３１２２−１の両電極に電荷が溜まってない場合には両電極が同時に負電位となるため、ダイオード素子３１２６−１を経由して電流３１４８がコンデンサ素子３１２２−１の右側電極に向けて流れるとしても説明できる。

その直後に図１２のようにセンサ素子可動部３１０２が右側に移動すると、“圧電式”では圧電素子３１３０両端の起電力が増加して抵抗器３１２０内を左側から右側へ向かって電流が流れる。また“静電式”ではエレクトレット材料３１３４位置に対する対向電極３１３６の位置がより大きくずれるため、対向電極３１３６表面に析出する正電荷量を減らすため、抵抗器３１２０内を左側から右側へ向かって電流が流れる。この時にコンデンサ素子３１２２−１の右側電極に蓄えられた正電荷がダイオード素子３１２６−２を経由してコンデンサ素子３１２２−２の右側電極に移動する。そしてこの正電荷を打ち消そうとしてコンデンサ素子３１２２−２の左側電極に負電荷が蓄積される。この現象に対する別の説明として、下記の説明もできる。すなわちセンサ素子可動部３１０２が右側に移動した時に抵抗器３１２０の右端が正電位となるため、図１１に示したコンデンサ素子３１２２−１内の電荷分布ではコンデンサ素子３１２２−１の右側電極の電位が非常に高くなるので、ダイオード素子３１２６−２内を通って電流３１４８が流れる。その結果として、コンデンサ素子３１２２−２の右側電極に正電荷、左側電極に負電荷が蓄積される。

その後に図１３のようにセンサ素子可動部３１０２が左側に戻ると、抵抗器３１２０内の右側から左側に向けて電流３１４８が流れる。この時にコンデンサ素子３１２２−１の両端電極内の電荷分布が図１２のままだと、コンデンサ素子３１２２−１の右側電極電位が非常に低くなる。その結果、ダイオード素子３１２６−１を経由してコンデンサ素子３１２２−１の右側電極に向けて電流３１４８が流れ、コンデンサ素子３１２２−１の右側電極に正電荷が蓄積される。また同時にコンデンサ素子３１２２−１の左側電極から抵抗器３１２０を経由して電流が瞬時電圧発生部３１０４へ流れる。そしてその結果として、コンデンサ素子３１２２−１の左側電極に負電荷が蓄積される。

そして図１４はセンサ素子可動部が右側へ向けて移動を開始した時の様子を示している。移動開始時から抵抗器３１２０内の左側から右側に向けて電流３１４８の流れが始まるが、この時のコンデンサ素子３１２２−１の両端電極内の電荷分布が図１３の状態が保持された瞬間を示す。この場合にはコンデンサ素子３１２２−１の右側電極の電位が非常に高くなるため、コンデンサ素子３１２２−１の右側電極からダイオード素子３１２６−２と３１２６−３を経由してコンデンサ素子３１２２−３の右側電極へ向けて電流が流れ始める。そしてその結果として図１５に示すように、コンデンサ素子３１２２−３の両端電極内に電荷分布が発生する（コンデンサ素子３１２２−３の両端に電圧が発生／保持される）。このようにして、逐次コンデンサ素子３１２２−２〜−８の両端に電圧が蓄えられる。

図９に示したセンサ内構造の本実施形態では、加速度センサ部又は角速度センサ部３００６と環境振動発電デバイス３０００が互いに分離配置された構造となっている。それに対して本実施形態の応用例として、両者を一体化しても良い。この場合の基本構造を図１６に示す。このように加速度信号または角速度信号を得る部分と環境振動発電部分を一体化する事で、センサ２０２１、２０２２全体の小型化が図れる効果が有る。

図１６では、１個の固定部３１００内に複数の瞬時電圧発生部（１）３１０４−１〜（ｎ）３１０４−ｎが配置されている。またそれぞれの瞬時電圧発生部（１）３１０４−１〜（ｎ）３１０４−ｎに対して個別に信号検出部（１）３１１０−１〜（ｎ）３１１０−ｎが設置されている。ここで各瞬時電圧発生部（１）３１０４−１〜（ｎ）３１０４−ｎと各信号検出部（１）３１１０−１〜（ｎ）３１１０−ｎ内の詳細構造は図１１〜図１５内に記載した瞬時電圧発生部３１０４や信号検出部３１１０と同じ構造をしても良い。またそれに限らず同様の機能を実現する手段で有れば、他の構造でも良い。このように複数の瞬時電圧発生部（１）３１０４−１〜（ｎ）３１０４−ｎが同一の固定部３１００内に共通して配置される（同一の固定部３１００を共通に利用する）事で、センサ２０２１、２０２２全体の小型化が図れる効果が有る。

また個々の信号検出部（１）３１１０−１〜（ｎ）３１１０−ｎから得られる検出信号に対して信号演算部３２００内で演算処理を施して加速度信号や角速度信号を抽出する。

上記の信号処理回路と並行して、個々の瞬時電圧発生部（１）３１０４−１〜（ｎ）３１０４−ｎに対して個別に昇電圧部（１）３１０６−１〜（ｎ）３１０６−ｎも設置されている。この各昇電圧部（１）３１０６−１〜（ｎ）３１０６−ｎ内の詳細構造は、図１１〜図１５内に記載した昇電圧部３１０６と同じ構造をしても良い。またそれに限らず同様の機能を実現する手段で有れば、他の構造でも良い。そして各昇電圧部（１）３１０６−１〜（ｎ）３１０６−ｎの出力は合成部３２１０で合成された後、蓄電部３１０８に接続される。図１６ではこの合成部３２１０内の構造として電気的に接続された構造をしている。図１１〜図１５で示したように、各昇電圧部（１）３１０６−１〜（ｎ）３１０６−ｎの出口直前には逆流防止のダイオード素子３１２８が設置されているため、図１６のように単純に電気的に接続しても問題は発生しない。しかしそれに限らず、より高度な方法で電力の合成を行っても良い。

次に図１６内の瞬時電圧発生部（１）３１０４−１〜（ｎ）３１０４−ｎの具体的な配置例として、例えば“静電式”を用いた実施形態に付いて説明する。図１７は１方向の断面配置を示している。共通の固定部３１００内にはエレクトレット電極基板（１）３１３２−１〜（３）３１３２−３とエレクトレット材料（１）３１３２−１〜（３）３１３２−３とが順次積層されて配置されている。

一方可動部の中心には三角柱形状をした可動支持部３２１０が前記固定部３１００に対して移動可能な形で設置されている。所で図１７の図面上では前記可動支持部３２１０は紙面に対して直交する方向（手前側方向と奥側方向）に移動可能となっている。またこの可動支持部３２１０の三角柱側面（四角形面）には順次メタル電極基板（１）３１３８−１〜（３）３１３８−３と対向電極（１）３１３６−１〜（３）３１３６−３が設置され、これら全てが同期して移動可能となっている。

可動支持部３２１０の移動方向に沿った各対向電極（１）３１３６−１〜（３）３１３６−３の配置関係を図１８に示す。エレクトレット材料（１）３１３４−１〜（３）３１３４−３に対する各対向電極（１）３１３６−１〜（３）３１３６−３が互いにずれた配置となっている。このように互いにずれた配置にする事で加速度量や角速度の絶対値だけでなく、同時にその方向も検出可能となる効果が有る。

例えば図１８の位置関係からメタル電極基板（１）３１３８−１〜（３）３１３８−３を同時に左右にずらした場合を考える。この場合にはずらす方向に拠らず、対向電極（２）３１３６−２の表面に析出される負電荷の絶対値は減少する。一方メタル電極基板（１）３１３８−１〜（３）３１３８−３を同時に右側にずらすと対向電極（１）３１３６−１の表面に析出される負電荷の絶対値は変化しないが、対向電極（３）３１３６−３の表面に析出される負電荷の絶対値は増加する。反対にメタル電極基板（１）３１３８−１〜（３）３１３８−３を同時に左側にずらすと対向電極（３）３１３６−３の表面に析出される負電荷の絶対値は変化しないが、対向電極（１）３１３６−１の表面に析出される負電荷の絶対値は増加する。このように各対向電極（１）３１３６−１〜（３）３１３６−３へ向かって流れる電流の強度と方向から（信号演算部３２００内での信号演算結果から）、メタル電極基板（１）３１３８−１〜（３）３１３８−３の移動方向とその移動速度変化が分かる。

また図１８に示した配置に限らず、他の配置でも良い。例えば各対向電極（１）３１３６−１〜（３）３１３６−３間の配置は互いに一致させる代わりに、エレクトレット材料（１）３１３４−１〜（３）３１３４−３を互いにずらした配置にしても良い。

上記説明では可動支持部３２１０の１軸方向での移動に付いて説明したが、同一の原理を拡張する事で、３軸方向での加速度や３軸方向での角速度も検出できる。

図９内の環境振動発電デバイス３０００は図１１〜図１５の説明から分かるように、加速度又は角速度が継続的に発生する事で徐々にコンデンサ素子３１２２−１〜−８内に電圧が蓄積される。逆に長時間加速度又は角速度が発生しない場合には、充電部３１０８（内のコンデンサ素子３１２４（図１１〜図１５））内に蓄えられた電力が徐々に放電される。従って環境振動発電デバイス３０００が長時間静止状態に置かれると、図９内の加速度センサ部又は角速度センサ部３００８や近距離無線通信部３００４、制御部３００２への駆動電力供給が難しくなる。この特徴を生かし本実施形態では、加速度又は角速度が小さくなったタイミングで小さくなった直後の加速度又は角速度を出力する。これにより環境振動発電デバイス３０００からの電源（電力）の安定供給を確保しつつ、精度の高い変化後の加速度又は角速度を検出できる効果が生まれる。

すなわち作業員が作業している時はセンサ２０２１、２０２２が振動または回転運動をしているため、センサ２０２１、２０２２内部での環境振動発電デバイス３０００の電力蓄積がなされる。そして作業員の作業が終了するとセンサ２０２１、２０２２の振動または回転運動が停止するので、環境振動発電デバイス３０００内の蓄電量が確保されている期間内にセンサ２０２１、２０２２の振動停止または回転停止をシステムコントローラ１２００に通知する。

このような加速度又は角速度の変化タイミング抽出とその直後の加速度値または角速度値の抽出処理は図９の制御部３００２内で行っても良い。この加速度又は角速度の変化タイミング抽出とその直後の加速度値または角速度値の抽出方法に付いて、図１９を用いて説明する。図１６内の信号演算部３２００から得られた加速度または角速度の値が制御部３００２内に入力される。制御部３００２内では基準タイミング発生部３３０２を持ち、ここで発生される基準タイミング毎に信号演算部３２００から送られる加速度信号または角速度信号を処理する。

加速度又は角速度の変化を検出する指標として、角速度では“一定回転方向での角速度”の積算値または上記タイミング毎の平均値を利用しても良い。また加速度の場合には、加速度方向の反転を繰り替えする場合が多いので、“加速度の絶対値”あるいは“正負方向に変化する変化信号の振幅値”などを算出し、その上記タイミング毎の積算値または平均値を計算しても良い。またそれに限らず、角速度に対して絶対値演算や振幅値算出を実行したり、加速度に対して方向も考慮に入れた積算計算や平均値計算をしても良い。これらの演算処理が所定期間内蓄積量又は平均値算出部３３０４内で行われる。

本実施形態における変化タイミング抽出には、所定タイミング毎の一つ前の算出値とその直後の算出値との比較を利用している。すなわち所定期間内蓄積量又は平均値算出部３３０４で得られた指標を算出結果の一時保管部３３０６内に一時保管し、その直後に所定期間内蓄積量又は平均値算出部３３０４で得られた指標との間の比較を比較部３３０８で行う。そして比較結果が予め定めた所定値より超えた場合（指標の値が所定値より増加した場合も減少した場合も両方含む）に、“大きく変化した”と見なして変化タイミング通知端子３３１４に電圧出力（フラグ表示）する。従って変化タイミング通知端子３３１４の出力値の切り変わり目が変化タイミングを表す。またそれと同時にその変化した直後の指標値を変化後の値出力端子３３１２に出力する。

図１９では回路内のブロック図の形で表現しているがそれに限らず、プロセッサ内で実行するプログラム／ソフトで上記処理方法を実行しても良い。

この変化タイミング通知端子３３１４の出力値の切り変わり目タイミングをトリガーとして、変化後の値出力端子３３１２の出力値を近距離無線通信部３００４（図９）からシステムコントローラ１２００（図７Ａ）に向けて通信が行われる。この時の１回の通信に使用される通信情報内構造を図２０に示す。

最初に同期ヘッダＳＹＮＣが５バイトで送信され、その後１６バイトで表示される送信側アドレスＳＡＤＲＳと同じく１６バイトで表示される受信側アドレスＤＡＤＲＳが続く。そしてその直後に変化直後の値ＶＡＣＨＧが送信された後、最後にエラー訂正符号ＣＲＣが送信される。ここで、図１９内で記載された変化後の値出力端子３３１２に出力された値がフォーマット変換されて変化直後の値ＶＡＣＨＧの中に配置される。

なお上記に説明した加速度もしくは角速度の検出可能なセンサ２０２１、２０２２は、図６で説明した作業現場に限らず、他のあらゆる応用分野で使用しても良い。例えば社会インフラ環境下でのインフラ設備の劣化状況自動診断などのインフラヘルス市場でも使用できる。具体的に鉄橋やトンネル内での部分劣化検査に打音検査（インフラ設備の一部を叩いて発生する音の高さや音質から劣化箇所を予想する検査）に、本実施形態システムで使用されるセンサ２０２１、２０２２を使用しても良い。この場合には、既存環境や既存装置への接触箇所に対する接着部３００８を利用して鉄橋やトンネル内の柱や壁あるいは天井に接着する。そして作業者が特定箇所を叩いた時に発生する振動をセンサ２０２１、２０２２が広い、その結果をシステムコントローラ１２００（図７）が集計して劣化箇所を予測できる。

次に図２０で示した構造を有する通信情報受信後のシステムコントローラ１２００（図７）内で集計する情報に関し、図６で説明した実施例を用いて説明する。図２１（ａ）はねじ締め作業前後の各工程を示す。すなわち作業員が近付く前の振動状況は、通常期間３４０２の状態になっている。次に作業員がねじ締めを開始すると、ねじ締め期間３４０４に移る。そしてねじ締めが終了するとねじ締め終了後３４０６の期間となる。

図２１（ｂ）は各工程でのネジ２００１の位置での加速度測定値もしくは角速度測定値を示す。ねじ締め作業前の通常期間３４０２では通常の振動状態となり、ねじ締め作業が完了した後のねじ締め終了と３４０６でも同様な通常の振動状態に戻る。その結果として、通常期間３４０２からネジ締め期間３４０４に移る瞬間とねじ締め期間３４０４からねじ締め終了後３４０６に変化する瞬間に加速度もしくは角速度が大きく変化する。

この加速度もしくは角速度が大きく変化した瞬間を自動的に抽出し、その直後に直後の加速度値もしくは角速度値（またはその所定期間内の蓄積量か平均値）が図２１（ｃ）に示す情報としてシステムコントローラ１２００に送信される。

図６で説明した実施例における扉２００６を閉めた時の、扉に付けたセンサ２０２２が検出する角速度変化を図２２に示す。これらのタイミングは図２２（ａ）に示すように扉静止時３５０２と扉回転時３５０４、扉が閉まった後３５０６に分ける事が出来る。また図２２（ｂ）は、各時期における扉に付けたセンサ２０２２が検出する角速度変化を表している。扉回転時３５０４に角速度の値が大きくなり、扉が閉まる直前が角速度値が最も大きくなる。この時の環境振動発電デバイス３０００（図９）内での蓄電量（発電量）の一例を図２２（ｃ）に示す。扉の回転が開始して初めて環境振動発電デバイス３０００内の発電（蓄電）が開始される。そしてこの蓄電量が所定値を超えた期間のみ、近距離無線通信部３００４や制御部３００２の動作期間３５０８となる。

上記動作期間３５０８内にのみ近距離無線通信が可能となる。従ってシステムコントローラ１２００（図７Ａ）に向けて送信される通信情報は図２２（ｅ）が示すように、扉の回転開始より遅れて送信される。一方扉回転時３５０４から扉が閉まった後３５０６への切り変わり目は動作期間３５０８内に入っているため、その切り変わり目直後に“扉の角速度が零”の情報が通信される。

図７Ａまたは図７Ｂに示した実施形態システムにおいて、センサ２５００、１１５２の電力供給が常に安定に行われる場合には、いつでもセンサ２５００、１１５２とシステムコントローラ１２００間の近距離無線通信が可能となる。従って安定に電源供給が可能なセンサ２５００、１１５２あるいはグラス１１００とシステムコントローラ１２００間の近距離無線通信のタイミングは、基本的にシステムコントローラ１２００が制御している。

それに比べて環境振動発電デバイス３０００から電力供給を受けるセンサ２０２１、２０２２では、図２２（ｄ）のように動作期間３５０８のみに近距離無線通信が可能となる。そしてこのタイミングは事前にシステムコントローラ１２００は予測できない。従って本実施形態システムでは、環境振動発電デバイス３０００から電力供給を受けるセンサ２０２１、２０２２に関してのみ近距離無線通信のタイミングの主導権を前記センサ２０２１、２０２２に与えている。それにより安定した近距離無線通信が可能になる効果が有る。

ところでこの場合には、システムコントローラ１２００が管理する近距離無線通信のタイミングと前記センサ２０２１、２０２２から自発的に行う近距離無通信のタイミングが重なり、近距離無線通信の不安定要因が生まれる。この問題を解決するため本実施形態システムでは、システムコントローラ１２００が管理する近距離無線通信の無線帯域（無線の基準周波数）と前記センサ２０２１、２０２２から自発的に行う近距離無通信の無線帯域（無線の基準周波数）を別にして両者間の混線を防止する。それに拠り、システムコントローラ１２００が管理する近距離無線通信の安定化が図られる。

上記のように無線帯域（無線の基準周波数）を変えて両者間の混線を防止したとしても、前記センサ２０２１と前記センサ２０２２の両方から同時に送信されて混線する危険性が有る。その不具合を解消するため本実施形態システムでは、図２３に示す構造を有する受信用アンテナをシステムコントローラ１２００（図７）が使用する。

この基本構造は、略三角錐または略四角錐形状に構成されたステルス板２７３０から構成されている。そしてこの略三角錐または略四角錐の側面に、十字形にアンテナ２７１０−１が配置されている。このアンテナ２７１０−１は、互いに直交した一組のアンテナから構成される。ここで図２３（ａ）の実線で示すように、ステルス板２７３０の一つの側面上に一組だけの十字形に直交したアンテナ２７１０−１のみを配置しても良い。またそれに限らず、図２３（ｂ）の破線で示すように、ステルス板２７３０の一つの側面上に複数組の十字形に直交したアンテナ２７１０−１〜３を配置しても良い。ここで図２３（ｂ）の破線示したアンテナ２７１０−２、３は、十字形に直交したアンテナ２７１０−１に対して３０度ずつ回転して取り付けられている。この十字形に配置されたアンテナ２７１０−１を用いて環境振動発電デバイス３０００から電力供給を受けるセンサ２０２１、２０２２から送信される近距離無線の通信情報を受信する。ここで十字形に配置された各アンテナ２７１０−１〜３の間には、アンプ及び信号処理回路が配置されている。所できちんと三角錐や四角錐の形状になっている必要は無く、複数のステルス板２７３０側面が互いに異なる方向を向いていれば良い。

所で図２３（ａ）におけるステルス板２７３０の側面上に配置された十字形アンテナ２７１０の検出感度には受信方向依存性が有る。そして各アンプ及び信号処理回路から得られる各側面からの検出信号間の比較により、センサ２０２１、２０２２の送信方向を識別することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。さらにまた、請求項の各構成要素において、構成要素を分割して表現した場合、或いは複数を合わせて表現した場合、或いはこれらを組み合わせて表現した場合であっても本発明の範疇である。また請求項を制御ロジックとして表現した場合、コンピュータを実行させるインストラクションを含むプログラムとして表現した場合、及び前記インストラクションを記載したコンピュータ読み取り可能な記録媒体として表現した場合でも本発明の装置を適用したものである。

１１００・・・メガネ型ウェアラブル端末、１１１０・・・表示部、１２００・・・システムコントローラ、１１３４・・・駆動部、１１３４ａ・・・操作入力受付部、１１３４ｂ・・・表示制御部、１１３４ｃ・・・判定部、１１３４ｄ・・・センサ信号受付部、１１３６・・・通信部、１１４０・・・スピーカ、１１５０・・・電気処理ブロック、１１５２・・・センサ群、 ３０００・・・環境振動発電デバイス（圧電式または静電式採用）、３００２・・・制御部、３００４・・・近距離無線通信部、３００６・・・加速度センサ部または角速度センサ部、３００８・・・既存環境や既存装置への接触箇所に対する接着部、３１００・・・固定部、３１０２・・・センサ素子可動部、３１０４・・・瞬時電圧発生部、３１０６・・・昇電圧部、３１０８・・・蓄電部、３１１０・・・信号検出部、３１１２・・・差動バッファアンプ。

Claims (13)

1. 表示部、センサからの検出信号を受け付けるセンサ信号受付部と、を有し、
   前記センサ信号受付部が受付けた作業準備の終了を示す検出信号に基づき、第１の作業を実施するための第１の指示を前記表示部に表示させる第１の表示制御部と、
   前記センサ信号受付部が受付けた前記第１の作業の終了を示す検出信号に基づき、次の第２の作業を実施するための第２の指示を前記表示部に表示させる第２の表示制御部と、を備えるメガネ型ウェアラブル端末。
2. 前記センサ信号受付部が受付けた前記第１の作業の開始を示す検出信号に基づき、前記第１の指示を非表示させる第３の表示制御部を備える、
   請求項１記載のメガネ型ウェアラブル端末。
3. 前記センサ信号受付部は、複数のセンサからのセンサ信号を受け付ける、請求項１記載のメガネ型ウェアラブル端末。
4. 前記センサ信号受付部は、メガネ型ウェアラブル端末本体に設けられた複数のセンサからのセンサ信号を受け付ける、請求項１記載のメガネ型ウェアラブル端末。
5. さらにアンテナを有し、前記センサ信号受付部は、前記アンテナを介して外部の複数のセンサからのセンサ信号を受け付ける、請求項１記載のメガネ型ウェアラブル端末。
6. さらにメモリを有し、前記第１の指示及び第２の指示は、前記メモリに格納されたデータに基づき生成される、請求項１記載のメガネ型ウェアラブル端末。
7. さらにアンテナを有し、前記第１の指示及び第２の指示は、外部の管理部から前記アンテナを介して受け取る、請求項１記載のメガネ型ウェアラブル端末。
8. 作業指示データを処理する駆動部を有したメガネ型ウェアラブル端末のデータ処理方法であって、
   センサ信号受付部が受付けた作業準備の終了を示す検出信号に基づき、第１の作業を実施するための第１の指示を表示部に表示し、
   前記センサ信号受付部が受付けた前記第１の作業の終了を示す検出信号に基づき、次の第２の作業を実施するための第２の指示を前記表示部に表示する、
   メガネ型ウェアラブル端末のデータ処理方法。
9. 前記センサ信号受付部が受付けた前記第１の作業の開始を示す検出信号に基づき、前記第１の指示を非表示とする、請求項８記載のメガネ型ウェアラブル端末のデータ処理方法。
10. 前記検出信号は、メガネ型ウェアラブル端末本体に設けられた複数のセンサからの信号である、請求項８記載のメガネ型ウェアラブル端末のデータ処理方法。
11. 前記検出信号は、アンテナを介して外部の複数のセンサからの信号である、請求項８記載のメガネ型ウェアラブル端末のデータ処理方法。
12. 前記第１の指示及び第２の指示は、メモリに格納されたデータに基づき生成される、請求項８記載のメガネ型ウェアラブル端末のデータ処理方法。
13. 前記第１の指示及び第２の指示は、外部の管理部からアンテナを介して受け取る、請求項８記載のメガネ型ウェアラブル端末のデータ処理方法。

Images