JP2017049449A - 電子機器および支援方法 - Google Patents

Abstract

【課題】電子機器及び支援方法を提供する。
【解決手段】実施形態の眼鏡型電子機器は、画像表示部と、光源と、信号処理部と、スクリーンと、を具備する。画像表示部は、像を生成する。光源は、前記画像表示部が生成する前記像に照明光を与えて照明する。信号処理部は、前記光源による前記照明光を、個体識別情報を含む信号により変調する。スクリーンは、装着者の視線の延長上の所定の位置に位置し、前記光源が照明した前記画像表示部が生成する前記像を表示する。
【選択図】図２

Description

この発明は、電子機器および支援方法に関する。

電子機器、例えば装着者の視線の延長線上に、種々の映像やメッセージ等の情報を提供するウェアラブル装置が実用化されている。この種のウェアラブル装置は、例えば工場内における装着者の作業支援や工程管理ならびに装着者の労務管理のために有益である。

特開２０１４−１１９７８６号公報

ウェアラブル装置は、装着者に直接的な操作を求めることなく、装着者の位置情報や動作状態、例えばある位置を中心に一定範囲内を動いている、ある位置に留まって反復性のある動きを繰り返している、あるいは留まった位置で動きが無い、等を報知できる。

ウェアラブル装置はまた、装着者の動作を支援するための情報を、映像やメッセージにより、装着者に、仮想的に表示できる。

しかしながら、ウェアラブル装置が表示する動作の支援のための情報は、装着者の動作とリアルタイムに関連付けられているとは限らず、装着者にとって不要の情報である場合がある。

また、ウェアラブル装置からの情報が、例えば装着者がある位置に留まっている、等である場合、留まっている理由、等については、ウェアラブル装置からの情報に基づいて、管理者あるいは（あるいは監督者）が経験的に判断することを必要とする。なお、ウェアラブル装置が報知する情報をより具体的な内容とするために、ウェアラブル装置の重量や大きさを増大することは、ウェアラブル装置の装着性を低下するのみならず、装着者からの離脱、等を生じさせる。また、ウェアラブル装置が報知する情報を解析し、装着者を支援するためのシステムが大掛かりとなることやコストが増加することは、今日、許容されがたい。

この発明の目的は、位置情報や動作状態を報知する電子機器およびその電子機器からの情報を用いる支援方法を提供することである。

実施形態の眼鏡型電子機器は、画像表示部と、光源と、信号処理部と、スクリーンと、を具備する。画像表示部は、像を生成する。光源は、前記画像表示部が生成する前記像に照明光を与えて照明する。信号処理部は、前記光源による前記照明光を、個体識別情報を含む信号により変調する。スクリーンは、装着者の視線の延長上の所定の位置に位置し、前記光源が照明した前記画像表示部が生成する前記像を表示する。

実施形態に係る電子機器および電子機器を認識するシステムの一例を示す。 実施形態に係る電子機器の主要な構成の一例を示す。 実施形態に係る電子機器の主要な構成の一例を示す。 実施形態に係る電子機器を認識するシステムの一例を示す。 実施形態に係る電子機器を認識するシステムの一例を示す。 実施形態に係る電子機器を認識するシステムの一例を示す。 実施形態に係る電子機器を認識するシステムの一例を示す。 実施形態に係る電子機器を認識するシステムの一例を示す。 実施形態に係る電子機器を認識するシステムの一例を示す。 実施形態に係る電子機器および電子機器を認識するシステムの主要な要素をブロック的に示す。 実施形態に係る電子機器および電子機器を認識するシステムの情報管理サーバの主要な要素をブロック的に示す。 実施形態に係る電子機器および電子機器を認識するシステムのウェアラブル端末の主要な要素をブロック的に示す。 実施形態に係る電子機器および電子機器を認識するシステムのシステムコントローラの主要な要素をブロック的に示す。 実施形態に係る電子機器および電子機器を認識するシステムの主要な要素をブロック的に示す。 実施形態に係る電子機器の主要な構成の一例を示す。 実施形態に係る電子機器の主要な構成の一例を示す。 実施形態に係る電子機器の主要な構成の一例を示す。 実施形態に係る電子機器の主要な構成の一例を示す。 実施形態に係る電子機器の主要な構成の一例を示す。 実施形態に係る電子機器の主要な構成の一例を示す。 実施形態に係る電子機器の主要な構成の一例を示す。 実施形態に係る電子機器の主要な構成の一例を示す。

以下、図面を参照して、実施の一形態について説明する。

図１は、実施形態に係る電子機器および電子機器を認識するシステムの一例を示す概略図である。

例えば、工場の部品ヤードや通販会社の商品倉庫もしくは小売業の配送部署（配送所）等においては、任意数の作業スペースもしくはラック（商品棚）Ａ０１〜Ａｘｙ（ｘ，ｙはともに正の整数）、Ｂ０１〜Ｂｘｙ、Ｃ０１〜Ｃｘｙ、・・・、Ｘ０１〜ＸＹｘｙを含むワークエリア１００１内の所定の位置に、システムコントローラ（管理者端末装置）１２０２を含む。システムコントローラ１２０２は、ネットワークを通じて情報管理サーバ１２０１と、有線または無線通信による信号およびまたはデータの受け渡しが可能である。なお、ラック（作業スペース）を含むワークエリア１００１は、例えば工場の作業テーブルや生産ライン（組み立てスペース）あるいは、学校の机や会議室の着席位置、等であってもよい。また、ワークエリア１００１は、例えば配送所におけるストックエリア（ヤード）であってもよい。

ワークエリア（ストックエリア）１００１には、情報管理サーバ１２０１およびシステムコントローラ１２０２との間の通信が可能な少なくとも１つの位置情報発信部（センサ無線チップ）１２０４−１〜１２０４−ｎ（ｎは正の整数）が、所定数、位置する。

センサ無線チップ（位置情報発信部）１２０４（−１〜−ｎ、以下特に識別が必要な場合を除いて１２０４で代表する）は、図２、図３（もしくは図１６）および図１２を用いて説明する作業者用端末（ウェアラブル端末）１１００−１〜１１００−ｍ（ｍは正の整数）の位置および個数ならびに向きの変化を、図５を用いて説明する検出方法により、個々に認識（検出）する。従い、ウェアラブル端末（作業者用端末）１１００（−１〜−ｍ、以下特に識別が必要な場合を除いて１１００で代表する）を検出することによりウェアラブル端末１１００を保持した任意数の作業者（端末装着者）の位置および作業者の数ならびに作業者の状態を検出できる。

個々の作業者（装着者）は、ストックエリア（ワークエリア）１００１内を自在に移動することができる。個々の作業者は、予定されている所定の作業を、予定された所定の位置、例えばステーション（カート）もしくはそれに準じた収容器あるいは可動式のテーブル、等である作業スペース１２４２において、実行する。作業スペース１２４２には、携帯可能な管理装置（入出力装置）、例えばコードリーダ（確認器）あるいはハンディターミナル１２４４が着脱可能に（一体的に）設けられることが好ましい。なお、作業スペース（ステーション）１２４２は、上述の通り、固定された机や着席位置、等であっても良い。

図２および図３は、ウェアラブル端末の実施の形態の一例を示す概略図である。ウェアラブル端末は、携帯可能な端末装置であって、例えばタブレットＰＣ（Personal Computer）や、スマートフォンであってもよい。ウェアラブル端末はまた、スマートフォン（あるいはタブレットＰＣ）を制御部として関連付けられたスマートフォン（タブレットＰＣ）が受信する情報を、ハンズフリー状態で視認可能に、装着者の視線の延長上（の所定の位置）に表示する（ものであることが好ましい）。なお、ウェアラブル端末は、カメラ機能や音響／音声取得機能あるいは振動検出機能、等の装着者からの意思表示に基づき、所定の指示入力（制御情報）を、取得可能である。装着者の意思表示としては、例えば、カメラ機能を実現するカメラのレンズ部を手で遮る、音響／音声取得機能に対して、手をたたく、もしくは音声により次の表示を求める、振動検出機能に対して、所定の振動を与える、等である。以下、ウェアラブル端末を、装着者（作業者）がハンズフリー状態で利用可能な眼鏡型（ヘッドマウントディスプレイ型であってもよい）、として実施の形態を説明する。

ウェアラブル端末１１００は、投光部（表示情報生成部）１１０２、スクリーン（光路合成部）１１０６、駆動部（画像表示回路および光源駆動回路、信号処理部と称することもある）１１３４、無線通信部１１３６等を含み、例えばボタン電池である電源部１１３２が供給する電力で動作する。

投光部１１０２は、無線通信部１１３６を通じ、例えば図１０に示す外部ネットワークＮＴＷと接続する情報管理サーバ１２０１やシステムコントローラ１２０２との間で通信すなわち情報の受け渡しを行う。

投光部１１０２はまた、光源部１１０４、付加画像表示部１１１０、ハーフミラー面１１１２、全反射面１１１４、出射面１１１６、レンズ群１１２０等を含む。投光部１１０２は、光源部１１０４が出射する非平行光（発散性の光、以下発散光と称する）１１０８により、付加画像表示部１１１０が表示する画像や情報を照明し、その（照明光の）反射光である投影画像を出射（出力）する。

光源部１１０４は、複数、例えば３個のＬＥＤ（Light Emitting Diode）の互いに発光色が異なり、それぞれの出力光量を独立して変更可能なＬＥＤを含む調光型白色ＬＥＤ光源（Ｌ−ｃｏｓ）であることが好ましい。なお、光源部１１０４に、調光型白色ＬＥＤ光源を用いることにより、ウェアラブル端末１１００の使用環境が、例えばオレンジ色が主体の照明が用いられることの多いクリーンルーム内、等である場合においては、使用環境に応じて発光色を変更することができる。また、光源部１１０４に、調光型白色ＬＥＤ光源を用いることにより、装着者の見易い表示色を出力することで、装着者が見辛い表示色を出力する場合に比較して、目の疲れやそれに伴う偏頭痛、等の装着者にとって支障となる要因の発生を避けることが可能である。

付加画像表示部１１１０は、例えば反射型のＬＣＤ（Liquid Crystal Display）モジュールであり、駆動部１１３４による表示制御に基づいて、所定の付加画像を表示する。

光源部１１０４が出力する光１１０８は、ハーフミラー面１１１２で反射されることにより付加画像表示部１１１０が表示する付加画像を照明し、付加画像に対応した付加画像光（画像光と称する場合もある）として、再び反射される。

駆動部１１３４はまた、付加画像表示部１１１０が表示する付加画像（付加画像光）に対応して光源部１１０４の発光を制御する。

スクリーン１１０６は、手前側透明屈折体１１２４、フレネルレンズ形ハーフミラー面１１２２および奥側透明屈折体１１２６を有する。

スクリーン１１０６の付加画像表示部１１１０で反射した光（画像光）１１０８は、ハーフミラー面１１１２と出射面１１１６を通過し、レンズ群１１２０により所定の画像サイズが与えられ、光路合成部１１０６のフレネルレンズ形ハーフミラー面１１２２に到達する。

スクリーン１１０６のフレネルレンズ形ハーフミラー面１１２２に到達した前記レンズ群１１２０を通過した付加画像光１１０８の一部は、このフレネルレンズ形ハーフミラー面１１２２で反射し、付加画像表示部１１１０上で表示される付加画像（画像光）に対応する虚像を形成する。

スクリーン１１０６は、（ウェアラブル端末１１００を装着した）装着者の視線の延長上に見える像すなわち背景画像の一部を透過し、付加画像に対応した画像光とともに装着者が視認可能に、画像を表示する。

光源部１１０４から出射し、ハーフミラー面１１１２を通過した画像光（発散光）１１０８の一部は、全反射面１１１４で全反射し、出射面１１１６で屈折して光源部１１０４からの（発散光である）漏れ光１１１８となる。この漏れ光１１１８は、開口あるいは隙間（誘導部）１１２８を通って外部へ放出される。

図３が示すように、ウェアラブル端末１１００は、投光部１１０２の所定の位置、たとえば底面部に、スピーカ１１４０、（スライド式）スイッチ１１４２および（回転式）つまみ１１４４、等を有する。スイッチ１１４２は、例えば投光部１１０２が出射する付加画像光１１０８の輝度の調整が可能である。つまみ１１４４は、例えば投光部１１０２が出射する付加画像光１１０８の投射角度の調整が可能である。スイッチ１１４２およびツマミ１１４４を、異なる動作により調整量を設定可能とすることで、スクリーン１１０６が投影する付加画像を目視しながら、装着者（ユーザ）が、ブラインドタッチで、輝度および投射角度を調整可能である。すなわち、スイッチ１１４２を操作することで、ユーザ（装着者）の好みに合わせた付加画像の表示輝度や色調を提供できる。また、ユーザ（装着者）の頭部の形状やサイズに合わせて、最適な位置に付加画像を表示可能に、ツマミ１１４４による投射角度の調整が可能である。なお、スイッチ１１４２とツマミ１１４４による調整対象を逆であっても良いことはもちろんであるし、スイッチ１１４２とツマミ１１４４の位置が逆であっても良い。

図２および図３が示すウェアラブル端末からの漏れ光を利用することで、ウェアラブル端末（装着者）の位置および装着者の状態を検出することができる。図４を用いて、ウェアラブル端末（装着者）の位置および装着者の状態の検出原理を説明する。

図４は、ウェアラブル端末１１００の光源部１１０４からの漏れ光１１１８（あるいは図１６により後段に示すフレネルレンズ形ハーフミラー面の透過光１１５８）を利用する実施形態の検出システムの基本的な考え方を、示す概略図である。

実施形態の検出システムは、１個以上のウェアラブル端末１１００（−１〜−ｍ）、１個以上のセンサ無線チップ１２０４（−１〜−ｎ）、そして１個のシステムコントローラ１２０２を含む。またそれらは、相互間の通信により、情報の受け渡しが可能である。相互間の通信は、有線あるいは無線のいずれであっても良いが、例えば近距離無線通信、特にBluetooth（登録商標）／（ブルートゥース（登録商標））であることが好ましい。より好ましくは、それらが互いに、近距離無線通信で連携することで、ウェアラブル端末１１００（またはセンサ無線チップ１２０４）の自由な移動（または配置場所の変更）に影響を受けずに連携動作や連携処理が可能である。

実施形態の検出システムでは、ウェアラブル端末１１００の光源部１１０４が出力する光１１０８に、個体識別情報すなわち任意数のウェアラブル端末１１００を識別可能に、ウェアラブル端末の識別情報（Identification、以下端末ＩＤと称する場合もある）を含む情報を用いて間欠的に変調をかける。（光源部１１０４が出射する光１１０８を、端末ＩＤを含む情報信号で変調する。）すなわち、実施形態の検出システムでは、漏れ光１１１８（あるいは図１６が示す透過光１１５８）を利用して、ウェアラブル端末１１００を『情報発信源』として利用する。このように、ウェアラブル端末１１００に広く知られている表示機能に加えて情報発信機能を持たせることにより、ウェアラブル端末１１００の多機能化が実現できる。これにより、ウェアラブル端末１１００を含むシステムの多様性を達成できる。

光源部１１０４の発光量を変調する方法には、例えば発光量をゼロまで落とすチョッパー形変調方式を非利用とし、発光量が低い状態でも所定量以上の発光量を確保できる変調方式を採用する。これにより、装着者の目に対する負担を軽減できる。変調方式としては、例えばＤＳＶ（Digital Sum Value）フリーの変調方式（すなわち常に変調後信号のＤＳＶを計算し、適宜ビット反転コードを挿入可能にして直流成分をゼロとする変調方式）を採用する。それにより、比較的ロングレンジでの発光量変化を抑えることができ（巨視的に常に発光量変化をゼロにでき）、装着者の目への負担を、一層軽減できる。

人間の目は、０．０２秒程度の変化まで認識できるので、上記変調の基準周波数を１０Ｈｚ以上、例えば２０Ｈｚ以上、より好ましくは６０Ｈｚ以上に設定することで、装着者の目に対する負担を軽減する効果も生まれる。一方、光源部１１０４に使用されるＬＥＤは、内部インピーダンスと接続容量を持つため、精度良い変調周波数は、１００ＭＨｚ未満、望ましくは１０ＭＨｚ以下が望ましい。従って、実施形態の検出システムにて用いる光源部１１０４変調の基準周波数は、１０Ｈｚ〜１００ＭＨｚ、望ましくは１０Ｈｚ〜１０ＭＨｚの範囲が好ましい。

また、実施形態の検出システムでは、光源部１１０４からの発散光である漏れ光１１１８（透過光１１５８）を利用している。これにより、センサ無線チップ１２０４が検出する検出光量がウェアラブル端末１１００とセンサ無線チップ１２０４との間の距離δに応じて変化する。この現象を利用すると、ウェアラブル端末１１００とセンサ無線チップ１２０４との間の距離（あるいはセンサ無線チップ１２０４に対するウェアラブル端末１１００の向き）が予測できる。

光源部１１０４からの漏れ光１１１８（透過光１１５８）として発散光を使用することにより、上記の光を、比較的広い範囲で検出できる。その結果、比較的少ない数のセンサ無線チップ１２０４（−１〜−ｎ）を設置するだけでウェアラブル端末１１００の位置（ウェアラブル端末１１００とセンサ無線チップ１２０４との間の距離）検出や方向（センサ無線チップ１２０４に対するウェアラブル端末１１００の向き）検出が可能となる。これにより、検出システムを設置するために必要となる設備費用を低減できる。

センサ無線チップ１２０４が検出した光源部１１０４からの漏れ光１１１８（透過光１１５８）の光量情報は、所定のタイミングで、センサ無線チップ１２０４からシステムコントローラ１２０２（または情報管理サーバ１２０１）へ送信される。システムコントローラ１２０２は、システムコントローラ１２０２が収集した（または情報管理サーバ１２０１に集約された）センサ無線チップ１２０４からの情報を解析する。これにより、任意のウェアラブル端末１１００（−１〜−ｍ）すなわち装着者の位置および装着者の状態が推定可能となる。

なお、図４が示す実施形態では、作業台１２０６（図１におけるラックもしくは作業スペースＡ０１〜Ａｘｙ）上にセンサ無線チップ１２０４が固定され、ウェアラブル端末１１００が移動可能である。しかしそれに限らず、センサ無線チップ１２０４（及び作業台１２０６）が移動可能であっても良い。その場合には、センサ無線チップ１２０４（及び作業台１２０６）の流通状態を、定位置（固定位置）に配置したウェアラブル端末１１００で読み取っても良い。

図５は、実施形態に係る電子機器を認識するシステムの具体的な利用例を説明する概略図である。

図５では、システムコントローラ１２０２が管理するシステム（図１におけるワークエリア１００１）内が、２個のセクション１２１０−１および１２１０−２に分割された例として説明する。セクション１２１０−１および１２１０−２は、例えば間切りされたパーティション（partition）であってもよい。

図５において、ウェアラブル端末１１００−１（第１の装着者）と１１００−２（第２の装着者）がセクション１２１０−１内を移動し、ウェアラブル端末１１００−３（第３の装着者）がセクション１２１０−２内の所定の位置に位置している（概ね一定の位置に留まっている）場合を考える。セクション１２１０−１内には、４個のセンサ無線チップ（位置情報発信部）１２０４−１〜１２０４−４が設置されているものとする。セクション１２１０−１内の任意のウェアラブル端末１１００（−１〜−３）からの光（漏れ光１１１８（透過光１１５８））の光量は、個々のセンサ無線チップ１２０４−１〜１２０４−４にて検出される。個々のセンサ無線チップ１２０４−１〜１２０４−４は、それぞれにおいて検出した光（漏れ光１１１８（透過光１１５８））の光量をＡ−Ｄ（Analog - Digital）変換し、光量に対応する光量情報として、所定のタイミングで、近距離無線通信によりシステムコントローラ１２０２へ送信する。

図５により、装着者の移動に合わせてウェアラブル端末１１００−１がセンサ無線チップ１２０４−１方向へ移動すると同時にウェアラブル端末１１００−２の向きが装着者の任意の動作、例えば首振り（頭部の旋回）に応じて一時的に変化した場合を考える。この時のシステムコントローラ１２０２における時系列的な検出情報の変化を図６および図７に示す。

図６では、ウェアラブル端末１１００−１〜１１００−３のそれぞれの光源部１１０４からの漏れ光１１１８（透過光１１５８）の変調方式として、間欠的な時間変化方式を用いた例を示している。すなわち、ウェアラブル端末１１００−１〜１１００−３のそれぞれにおいて、変調させるタイミングをずらしている（個々のウェアラブル端末の変調期間をシフトしている）。

図６が示すように、１番めのウェアラブル端末１１００−１については、間欠的にウェアラブル端末のＩＤ変調期間１３０４が設定され、それ以外の期間では無変調期間１３０２となる。１番目のウェアラブル端末１１００−１のＩＤ変調期間１３０４内では、同期信号ＳＹＮＣ（図７（ａ））とウェアラブル端末の識別情報（Identification、以下端末ＩＤとする）が一つの組を構成（１対１で対応）する。その組が複数回（図６が示す例では、センサ無線チップ１２０４（−１〜−ｎ）の数（ｎ）に合わせた４の倍数回）、繰り返される。

１番目のウェアラブル端末１１００−１が無変調期間１３０２に入ると同時に、２番目のウェアラブル端末１１００−２のＩＤ変調期間１３０６が開始する。同様に２番目のウェアラブル端末１１００−２が無変調期間１３０２に入ると同時に、３番目のウェアラブル端末１１００−３のＩＤ変調期間１３０８が開始する。

２番目のウェアラブル端末１１００−２のＩＤ変調期間１３０６内と３番目のウェアラブル端末１１００−３のＩＤ変調期間１３０８内とにおいては、同期信号ＳＹＮＣ（図７（ａ））と個々のウェアラブル端末１１００の識別情報（端末ＩＤ）が繰り返し変調される。このように、個々のウェアラブル端末１１００の識別情報（端末ＩＤ）を変調信号内に乗せることで、システムコントローラ１２０２内で、その識別情報（端末ＩＤ）が検出可能となる。それにより、システムコントローラ１２０２は、検出タイミングと並行してウェアラブル端末の識別情報（端末ＩＤ）を確認できるため、ウェアラブル端末の識別精度が向上する。

上記の例では、ウェアラブル端末１１００−１〜１１００−３のそれぞれの変調タイミングは、時分割（間欠化）されている。しかし、実施形態の検出システムでは、それに限らず、例えば全てのウェアラブル端末１１００−１〜１１００−３について、連続的に変調されるものとし、ウェアラブル端末１１００−１〜１１００−３のそれぞれの変調基準周波数を変化させても良い。また、スペクトル拡散時のそれぞれの周波数スペクトル特性を変化させても良い。

図６（ｄ）〜図６（ｇ）が示すように、センサ無線チップからの情報通信期間１３１０は、細かく時間分割されている。そして、センサ無線チップ１２０４−１〜１２０４−４のそれぞれにおいて、システムコントローラ１２０２との通信タイミングが、互いにずれる。この通信タイミングは、システムコントローラ１２０２が管理する。

図５において、初期の時点では、ウェアラブル端末１１００−１の光源部１１０４からの漏れ光１１１８（透過光１１５８）−１の一部が、センサ無線チップ１２０４−４に到達する。そのため、初期の時点では、図６（ｋ）に示すように、センサ無線チップ１２０４−４がウェアラブル端末１１００−１の光源部１１０４からの変調された漏れ光１１１８−１を検出する。しかし、ウェアラブル端末１１００−１がセンサ無線チップ１２０４−１へ向かって移動するに連れて、センサ無線チップ１２０４−４が検出するウェアラブル端末１１００−１の光源部１１０４からの漏れ光１１１８−１の変調信号振幅が減少して行く（図６（ｋ））。一方、センサ無線チップ１２０４−１が検出するウェアラブル端末１１００−１の光源部１１０４からの漏れ光１１１８−１の変調信号振幅は、時間の経過と共に増加する。このように、システムコントローラ１２０２内で、個々のセンサ無線チップ１２０４（−１〜−ｎ）が検出する変調信号振幅の時間変化を比較することで、（検出対象である）ウェアラブル端末１１００（−１〜−ｍ）の位置の時間変化（移動状態）が推定できる。

一方、初期の時点で、ウェアラブル端末１１００−２がセンサ無線チップ１２０４−３の方向を向いている場合には、光源からの漏れ光１１１８（透過光１１５８）−２から得られる変調信号振幅は、センサ無線チップ１２０４−２での検出量よりセンサ無線チップ１２０４−３での検出量の方が大きい。このとき、例えば装着者が首を振り、一時的にセンサ無線チップ１２０４−２の方向を向いた場合を考える。すると、センサ無線チップ１２０４−２が出力する（ウェアラブル端末１１００−２の）検出出力は、図６（ｉ）が示すように、光源部１１０４からの漏れ光１１１８（透過光１１５８）−２’）に対応して一時的に増加する（その後減少する）。他方、センサ無線チップ１２０４−３が出力する（ウェアラブル端末１１００−２の）検出出力は、図６（ｊ）が示すように、光源部１１０４からの漏れ光１１１８（透過光１１５８）−２’）に対応して一時的に減少した後、再度増加する。

このように、システムコントローラ１２０２内で、個々のセンサ無線チップ１２０４が検出する変調信号振幅の時間変化を比較することで、（検出対象である）ウェアラブル端末１１００（−１〜−ｍ）の向きの時間変化も推定できる。

上記の検出例は、装着者の動きとして、装着者の移動や装着者の首振りである場合の例を示している。しかしそれに限らず、装着者のさまざまな別の行動を利用しても良い。例えば、装着者の手の移動や（装着者による）意図的な上体（身体）のひねり、等により光源部１１０４からの漏れ光１１１８−２（透過光１１５８）を、一時的に遮光しても良い。この場合は、全てのセンサ無線チップ１２０４−１〜１２０４−４において、共通に（同一の時間帯に）、変調信号振幅の一時的な減少が生じる。このように、全てのセンサ無線チップ１２０４−１〜１２０４−４の変調信号振幅の変化の関連性を比較することで、ユーザの異なる行動パターンを識別可能となる。

以上の方法を利用することにより、単なるユーザの行動を把握するだけでなく、ユーザの意思をシステムコントローラ１２０２に伝えることが可能となる。その結果、システムコントローラ１２０２から一方的に情報を受け取るだけでなく、ユーザとシステムコントローラ１２０２との間で、双方向の情報伝達が可能となる。

図７は、センサ無線チップ（位置情報発信部）がシステムコントローラ１２０２に提供する情報のデータ構造例を示す概略図である。

図７が示すように、センサ無線チップ（位置情報発信部）１２０４−１〜１２０４−４が出力する（システムコントローラへの送信対象の）情報のデータ構造は、例えば物理層ヘッダＰＨＹＨＤ、ＭＡＣ層ヘッダＭＣＨＤ、ＩＰｖ６ヘッダＩＰｖ６ＨＤ、ＴＣＰヘッダＴＣＰＨＤ、通信ミドルウェアデータＡＰＬＤＴ、拡張データＥＸＤＴ、および誤エラーチェックＣＲＣを含む。個々の情報は、例えば上述の順で、順次送信（出力）されることが好ましい。

図８は、図７が示す情報のうちのＭＡＣ層ヘッダＭＣＨＤのデータ構造を、図９は、ＩＰｖ６ヘッダＩＰｖ６ＨＤ内の詳細なデータ構造を、それぞれ示す概略図である。

センサ無線チップ１２０４−１〜１２０４−４の個々の識別情報（以下センサＩＤとする）が、図８（ｃ）内の送信側におけるＩＥＥＥ拡張アドレスＳＥＸＡＤＲＳまたは／及び図９（ｂ）内の送信側ＩＰアドレスＳＩＰＡＤＲＳ内に記録されている。

一方、図７（ａ）が示すようにウェアラブル端末１１００−１〜１１００−３の識別情報は、Ａ−Ｄ（Analog - Digital）変換され、時変情報として通信ミドルウェアデータＡＰＬＤＴ内のＡ−Ｄ変換後の検出光量信号ＤＯＰＴ内に格納される。ここで、センサ無線チップ１２０４からシステムコントローラ１２０２に送信される一回の無線情報内に、センサ無線チップ１２０４−１〜１２０４−４の識別情報（センサＩＤ）とウェアラブル端末１１００−１〜１１００−３の識別情報（端末ＩＤ）の両方が同時に送信される。それにより、システムコントローラ１２０２は、精度良くかつ高い信頼性を持って、各作業者の行動状態や伝達情報を解読できる。

図１０は、電子機器および電子機器を認識するシステムの主要な要素をブロック的に示すもので、図１が示すシステムコントローラおよびウェアラブル端末相互の通信（情報およびまたはデータの受け渡し）の一例を示す概略図である。

システムコントローラ１２０２と個々のウェアラブル端末１１００とは、ネットワークＮＴＷを通じて、相互に種々のデータおよび制御信号の受け渡しが可能である。ネットワークＮＴＷを通じて、相互に信号の受け渡しが可能である。ネットワークＮＴＷには、情報管理サーバ１２０１が接続する。また、個々のウェアラブル端末１１００は、位置情報発信部１２０４が出力する位置基準信号を受信して自身の位置を検出（特定）する。個々のウェアラブル端末１１００が特定した自身の位置は、装着者すなわち作業者の位置の情報として、作業者ＩＤ（装着者を特定する情報）および端末ＩＤ（自身を特定する情報）とともに、ネットワークＮＴＷを通じて情報管理サーバ１２０１またはシステムコントローラ１２０２に、一定時間ごとに、ウェアラブル端末１１００自身が、報知する。個々のウェアラブル端末１１００による自身の位置の情報の送信は、例えば位置情報発信部１２０４が位置基準信号を出力するタイミングに応じた所定のタイミングであってもよい。

システムコントローラ１２０２（または情報管理サーバ１２０１）と個々のウェアラブル端末１１００−１〜１１００−ｍとの間の通信は、有線あるいは無線のいずれであっても良い。システムコントローラ１２０２（情報管理サーバ１２０１）と個々のウェアラブル端末１１００−１〜１１００−ｍとの間の通信は、例えば近距離無線通信であって、ＩＥＥＥ８０２．１１（ｂ／ｇ）等に準拠する、例えばBluetooth（登録商標）／（ブルートゥース（登録商標））であることが好ましい。

個々のウェアラブル端末１１００はまた、自身の位置の情報を送信する際に、作業者の状態を情報管理サーバ１２０１に送信する。

図１１は、図１０が示す情報管理サーバの主要な要素をブロックにより示す概略図である。

図１１が示す情報管理サーバ１２０１は、制御部２０１、通信部２０２、位置情報管理部２０３および状態管理部２０４を含む。

制御部２０１は、情報管理サーバ全体を制御する。通信部２０２は、ネットワークＮＴＷと接続し、ネットワーク上に位置するさまざまな機器、例えばとの間の通信すなわち情報の受け渡しを制御する。

位置情報管理部２０３は、ウェアラブル端末１１００−１〜１１００−ｍおよびシステムコントローラ１２０２から受信した作業者ＩＤと作業者の位置およびまたは管理者（監督者）ＩＤと管理者（監督者）の位置を管理する。監督者あるいは管理者は、それぞれ独立して存在する場合もあるが、兼任である場合もある。例えば、ワークエリアが複数の建物あるいはフロアに跨る場合には、各建物あるいはフロアのそれぞれに監督者が存在し、全体を管理する管理者が１名以上存在する、と考えることができる。

状態管理部２０４は、ウェアラブル端末１１００（−１〜−ｍ）のそれぞれから受信した作業者ＩＤにより特定される作業者の状態を管理する。作業者の状態は、例えば［Ａ］作業中、［Ｂ］移動中、［Ｃ］待機中とする。作業者の状態のうちの［Ａ］作業中は、例えば［Ａ１］ウェアラブル端末１１００（−１〜−ｍ）から送信される自身の位置の情報が、一定の位置にとどまっている、［Ａ２］ほぼ一定の周期で、概ね反復動作を繰り返している、［Ａ３］概ね一定周期で、作業完了もしくは次の作業の準備のためのピッキング（部品取り出し）動作がある、等を判定するものとする。作業者の状態のうちの［Ｂ］移動中は、例えば［Ｂ１］ウェアラブル端末１１００（−１〜−ｍ）から送信される自身の位置の情報が、送信の都度、一定の方向へ移動している、［Ｂ２］移動方向が、その作業者の作業エリアへ近づいている／その作業者の作業エリアから遠ざかっている、等を判定するものとする。作業者の状態のうちの［Ｃ］待機中は、例えば［Ｃ１］ウェアラブル端末１１００（−１〜−ｍ）から送信される自身の位置の情報が、一定の位置かつ待機位置（非作業エリア）にとどまっている、等を判定するものとする。

図１２は、図１および図１０が示すウェアラブル端末の主要な要素をブロックにより示す概略図である。

図１２が示すウェアラブル端末１１００は、処理装置（ＣＰＵ）を含む制御部３０１と制御バスによりそれぞれ接続するＲＯＭ３０２、ＲＡＭ３０３、状態検出部３０４、通信モジュール３０５、投光部（表示情報生成部）１１０２、カメラ１１３８およびスピーカ１１４０およびを含む。

制御部３０１は、ＲＡＭ３０３をワークメモリとして、ＲＯＭ３０２が保持するプログラムに従い、ウェアラブル端末（作業者用端末）全体を制御する。

状態検出部３０４は、例えば加速度センサやジャイロ（gyroscope）、等のセンサを含み、加速度センサやジャイロが出力する情報に基づいて作業者の状態を検出する。作業者の状態は、上述した通り、例えば［Ａ］作業中、［Ｂ］移動中、［Ｃ］待機中とする。また作業者の状態は別の手法で検出してもよい。ウェアラブル端末１１００自身の投光部１１０２からの位置情報発信部１２０４が検出可能な光（漏れ光１１１８）の出射を位置情報発信部１２０４が検出して、作業者の位置情報を情報管理サーバ１２０１またはシステムコントローラ１２０２に報知し、位置の時間変化により作業者の状態を情報管理サーバ１２０１またはシステムコントローラ１２０２が検出してもよい。

通信モジュール３０５は、ネットワークＮＴＷを通じて情報管理サーバ１２０１またはシステムコントローラ１２０２と通信を行う。

カメラ１１３８は、ウェアラブル端末から見える状況を撮影し、管理者（監督者）の送信要求あるいは（ウェアラブル端末の）装着者である作業者の送信指示に基づいて、情報管理サーバ１２０１またはシステムコントローラ１２０２に送信する。スピーカ１１４０は、例えば管理者（監督者）が送信するメッセージあるいは情報管理サーバ１２０１が保持する情報を、音声情報として（ウェアラブル端末の）装着者である作業者に通知する（音声情報を再生する）。

図１３は、図１およびまたは図１０が示すシステムコントローラの主要な要素や構成の一例を説明する概略図である。

図１３が示すように、システムコントローラ１２０２は、制御バスおよびデータバスを通じて処理装置（ＣＰＵ）を含む制御部４０１と接続するＲＯＭ４０２、ＲＡＭ４０３、表示部４０４、通信モジュール４０５および位置検出部４０６を含む。

システムコントローラ１２０２は、図１が示すように、例えばパーソナルコンピュータ（ＰＣ）のような固定して利用される固定端末や任意に移動可能なタブレットＰＣ、等であってもよい。システムコントローラ１２０２は、ハンズフリー対応の表示部（ウェアラブル端末）とタブレットＰＣやスマートフォン（制御部）とを含み、管理者（あるいは監督者）が（ハンズフリー対応の）表示部を装着した状態で移動できることが好ましい。表示部（ハンズフリー対応）は、より好ましくは、パーソナルコンピュータ（タブレットＰＣ）が受信する情報を、装着者の視線の延長上（の所定の位置）に表示する。

制御部４０１は、ＲＡＭ４０３をワークメモリとして、ＲＯＭ４０２が保持するプログラムに従い、システムコントローラ１２０２を制御する。表示部４０４は、各種情報、例えば（ウェアラブル端末を介して取得する）作業者の位置や状態（あるいは欠員、例えば急病、等で予定されている位置を離れる）およびジェスチャー、等を表示する。位置検出部４０６は、システムコントローラ１２０２が、任意の位置に移動可能な、例えばタブレットＰＣ（もしくはスマートフォン）等である場合に、位置情報発信部１２０４（−１〜−ｎ）が発信する位置情報を受信し、自身の現在位置を検出（特定）する。システムコントローラ１２０２は、上述の通り、管理者用のウェアラブル端末１１００−ｘ（識別のため「−ｘ」を付する）を表示部として、ウェアラブル端末１１００−ｘと関連付けられた制御部が送信する情報を受け取って管理者に表示（報知）するであってもよい。この場合、管理者用のウェアラブル端末１１００−ｘは、位置情報発信部１２０４（−１〜−ｎ）が発信する位置情報を受信し、自身の現在位置を検出（特定）する。

上記のようにして検出された管理者（監督者）の位置情報と管理者（監督者）ＩＤは、通信モジュール４０５によりネットワークＮＴＷを介して、情報管理サーバ１２０１に送信される。

情報管理サーバ１２０１は、ネットワークＮＴＷを介して取得した任意の作業者の位置とその状態（必要に応じて管理者（監督者）の位置）を管理する。管理者（監督者）は、システムコントローラ１２０２から情報管理サーバ１２０１に問い合わせることで、任意の作業者の位置とその状態を把握することができる。

すなわち、実施形態の認識システムは、情報管理サーバ１２０１にて上述の情報を集めることで、どの作業者がどの位置に居て、どんな状態にあるのか、を管理することができる。また、実施形態の認識システムは、管理者（監督者）が移動可能である場合、管理者（監督者）の位置を、所定のタイミングで把握することができる。

このように、実施形態の認識システムは、管理者（監督者）および作業者のそれぞれの位置を認識でき、管理者（監督者）の付近にいる作業者や、管理者（監督者）から所定の方向に居る作業者、等の管理者（監督者）との相対的な位置も把握することができる。

なお、ワークエリア１００１が複数の建物あるいはフロアに跨る場合であって、各建物あるいはフロアのそれぞれに監督者が存在し、全体を管理する管理者が１名以上存在する場合には、図２０により一例を示すが、例えばワークエリア１００１を単位として設けられるシステムコントローラ１２０２から情報管理サーバ１２０１が取得する情報をさらに集約する管理者用コントローラ１２００が設けられることが好ましい。すなわち、管理者用コントローラ１２００を設けることで、ワークエリア１００１が複数の建物あるいはフロアに跨る場合であっても、管理者は、任意のフロアあるいは建物の任意の作業者の位置および状態を、把握（管理）できる。

なお、システムコントローラ１２０２の制御部（ＣＰＵ）２０１は、作業者の情報を表示部４０４に表示する場合に、図１５を用いて表示の形態を例示するように、例えば上から見た俯瞰図で表示するよう、出力画像情報を作成するものであってもよい。同様に、作業者の情報を表示部４０４に表示する場合に、作業者の状態に応じ、例えば作業中ならば赤色、移動中ならば黄色、待機中ならば緑色というように、色を変えて表示するよう、出力画像情報を作成するものであってもよい。また、作業者の情報を表示部４０４に表示する場合に、例えば「待機中の作業者のみを表示」、というような指示入力を入力可能な、表示モード（表示形態）の切り替えのための任意数のボタンを表示させ、ボタンにより指示入力に基づいて、表示する内容を変更した出力画像情報を作成して（表示部４０４に）表示させるものであってもよい。

図１４は、電子機器および電子機器を認識するシステムの主要な要素をブロック的に示すもので、図１０が示すウェアラブル端末からシステムコントローラもしくは情報管理サーバへ識別情報（端末ＩＤ）を通知する例を示す概略図である。

図１４が示す電子機器を認識するシステムにおいては、情報管理サーバ１２０１およびシステムコントローラ１２０２は、ネットワークＮＴＷと接続する。ネットワークＮＴＷには、任意数のセンサ無線チップ（位置情報発信部）１２０４−１〜１２０４−ｎ（ｎは正の整数）が接続する。

ウェアラブル端末１１００−１〜１１００−ｍ（ｍは正の整数）のそれぞれは、システムコントローラ１２０２からの出力指示に従い、センサ無線チップ（位置情報発信部）１２０４のそれぞれが所定のタイミングで出力するタイミング信号（ポーリング）を受信する。タイミング信号（ポーリング）は、ウェアラブル端末１１００のそれぞれが自身の識別情報（端末ＩＤ）を出力するタイミングの情報を含む。ウェアラブル端末１１００（−１〜−ｍ）のそれぞれは、図６に一例を示したように、受信したタイミング信号が規定する間欠的なＩＤ変調期間、すなわち、一定期間毎に所定の長さのオン時間と所定の長さのオフ時間とを繰り返しを含む期間に、自身の識別情報（端末ＩＤ）を投光部１１０２が出力する光１１０８に重畳する。したがって、投光部１１０２が出力する光は、ウェアラブル端末１１００（−１〜−ｍ）のそれぞれに固有の自身の端末ＩＤを表示可能な特定の信号で変調した光である。任意のセンサ無線チップ１２０４（−１〜−ｎ）は、ウェアラブル端末１１００（−１〜−ｍ）が出力する光１１０８の漏れ光１１１８（あるいは図１６が示す透過光１１５８）を検出する。個々のセンサ無線チップ１２０４（−１〜−ｎ）は、検出したウェアラブル端末１１００（−１〜−ｍ）の作業者ＩＤ（装着者を特定する情報）および端末ＩＤを、ネットワークＮＴＷを通じ、情報管理サーバ１２０１（またはシステムコントローラ１２０２）に、一定時間ごとに、報知する。

図１５は、図１、図１０（および図１４）により説明したワークエリア内において検出したウェアラブル端末の位置および状態を、俯瞰表示により表示した状態を示す概略図である。

図１５が示すように、システムコントローラ１２０２の表示部４０４は、ワークエリア１００１内の任意の位置に位置するウェアラブル端末１１００−１〜１１００−９、１１００−１１、１１００−１２、１１００−ｍ−１、１１００−ｍ（任意の作業員）の位置および状態を表示する。図１５が示す例では、システムコントローラ１２０２（管理者）は、ワークエリア１００１内を直接見渡すことのできない、例えばワークエリア１００１と管理者（システムコントローラ１２０２）とを隔てる壁の外側の所定の位置に位置するものとする。

図１５が示す画面表示においては、管理者（システムコントローラ１２０２）は、ウェアラブル端末１１００−ｍ−１および１１００−ｍ（を装着した作業者）が、ワークエリア１００１内を移動したあと、待機位置にて待機中であることを認識できる。また、管理者は、ウェアラブル端末１１００−１１および１１００−１２を装着した作業者が別の待機位置に待機中であることを認識できる。なお、検出したウェアラブル端末を表示する際に、作業者の状態に応じて、例えば作業中ならば赤色、移動中ならば黄色、待機中ならば緑色というように、色を変えて表示することも可能である。また、特定の状態の作業者の情報のみを表示部４０４に表示する指示入力を入力可能な表示モード（表示形態）を用意し、指示入力に基づいて表示する内容を変更した出力画像情報を作成して（表示部４０４に）表示するものであってもよい。例えば、「待機中の作業者のみを表示」というような表示モード（表示形態）を指示入力を入力可能なボタンを表示（用意）し、ボタンからの指示入力に基づき、待機中の作業者のみを（表示部４０４に）表示することできる。

また、表示モードとして、例えば「管理者に接近してくる作業者」を抽出して表示することで、例えば管理者（監督者）に、報告（あるいは用事）があるかもしれない作業者を特定することも可能である。このとき、管理者（監督者）すなわちシステムコントローラ１２０２もウェアラブル端末（ハンズフリー対応の表示部）とスマートフォン（制御部）とである場合、管理者は、「管理者に接近してくる作業者」に向かって移動することができる。すなわち、管理者は、例えば「管理者に接近してくる作業者」を把握することで、その作業者からの何らかの報告（あるいは用事）を、より短時間で取得（確認）できる。

図１６は、ウェアラブル端末の別の実施の形態の一例を示す概略図である。なお、図２および図３により説明したウェアラブル端末と同一または実質的に等価の構成には、同じ符号を付して詳細な説明を省略する。

図１６が示すウェアラブル端末１１５０は、スクリーン（装着者向け映像表示部）１１６０、投光部（表示情報生成部）１１０２、駆動部１１３４、無線通信部１１３６、等を含み、内蔵電源、例えばボタン電池１１３２が供給する電力で動作する。

投光部１１０２はまた、光源部１１０４、付加画像表示部１１１０、ハーフミラー面１１１２、全反射面１１１４、出射面１１１６、、レンズ群１１２０等を含み、光源部１１０４が出射する非平行光１１０８により、付加画像表示部１１１０が表示する画像や情報を照明する。投光部１１０２はさらに、付加画像表示部１１１０で反射した光（付加画像光）１１０８をハーフミラー面１１１２で反射し、出射面１１１６からレンズ群１１２０に入射し、ミラー面１１５６で反射して、スクリーン１１６０に案内する。

スクリーン１１６０は、フレネル形でハーフミラー特性を有する凹面鏡（フレネルレンズ形ハーフミラー面）１１６２、手前側透明屈折体１１６４、奥側透明屈折体１１６６、液晶遮光層１１６８、等を含む。スクリーン１１６０は、実質的に半透明の平行平板状に形成される。従い、スクリーン１１６０を通して、外部の景色を背景視野として視認可能である。

フレネルレンズ形ハーフミラー面１１６２は、手前側透明屈折体１１６４と奥側透明屈折体１１６６との間に位置し、ミラー面１１５６で反射した光１１０８の一部を、装着者の瞳１１５４の近傍に反射する。

フレネルレンズ形ハーフミラー面１１６２を通過する残りの光１１０８は、フレネルレンズ形ハーフミラー面（１１６２）を透過する透過光１１５８（図２において説明した光源部１１０４からの漏れ光１１１８に相当）となる。

図１６が示すウェアラブル端末１１５０は、遠点もしくは近点の視力が低下し、あるいは両眼において左右差が生じる、等により視力補正用メガネ１１５２を掛けた状態で使用可能である。すなわち、図２および図３が示すウェアラブル端末１１００に比較してスクリーン１１６０および投光部１１０２の配置に自由度を持たせている。また、付加画像表示部１１１０からの付加画像の情報を含む光１１０８が、１回だけ視力補正用メガネ１１５２のレンズ部を通過して装着者の瞳１１５４に案内される。これにより、同一の視力補正用メガネ１１５２のレンズ部で外部の景色（背景視野）に対する視力補正と付加画像に対する視力補正とを、同時に実現できる。従って、視力補正用メガネ１１５２を掛けている装着者であっても、外部の景色（背景視野）と付加画像とを同時に視認可能である。なお、ウェアラブル端末１１５０は、例えばヘッドマウントディスプレイ型であって、例えば装着者の頭部に乗せても良いし、例えば装着者の肩や上半身で支える形態としても良い。もちろん、ハンズフリー対応と呼ばれる任意の（さまざまな）装着方法が利用可能である。また、それに限らず、所定場所、例えば図１で説明した作業スペース（ステーション）１２４２の任意の位置に、装着者の視線内で投影画像を視認可能に、固定的に設置しても良い。

図１６が示すウェアラブル端末１１５０においては、液晶遮光層１１６８は、前面および背面に、透明電極１１６８−１および１１６８−２を有し、所定のタイミングで両電極間に所定の電圧を印加することで、スクリーン１１６０を、非透明化（反射面化）する。すなわち、スクリーン１１６０は、液晶遮光層１１６８がオン（遮光）状態である場合、外光を遮光することができる。これにより、基本的に視力補正用メガネ１１５２のレンズ部で外部の景色（背景視野）に対する視力補正と付加画像に対する視力補正とを、同時に実現しながら、例えば付加画像で緊急情報を表示する場合に、外光を遮光することにより、付加画像のみを効率よく作業者に視認させることができる。この外光の遮光は、例えば装着者に付加画像を注視してもらいたい場合、等にも有益である。

図１６が示すウェアラブル端末１１５０においてはまた、付加画像表示部１１１０が表示する付加画像に対する虚像を、レンズ群１１２０とスクリーン１１６０との組み合わせで形成する。

ところで、装着者の瞳１１５４から虚像位置（装着者が虚像がみえると認識する位置）までの距離が第一の距離、例えば１０ｃｍもより短い場合、目の近くに見える付加映像を視認する必要から、装着者の目視時の負担が増す。また、虚像位置が第一の距離より短い場合、装着者（視認者）に、例えば近視を誘発する恐れが生じる。なお、目の健康の観点から、物を見る場合、一般には、３０ｃｍ以上離すことが好ましい、と言われている。また、多少のマージンを見積もると、上記虚像位置までの距離を５０ｃｍ以上とすることが望ましい。従って、実施形態においては、虚像位置は、装着者の瞳の位置からの距離で、１０ｃｍ以上、望ましくは３０ｃｍ以上、より望ましくは５０ｃｍ以上に設定する。

また、図１６が示すウェアラブル端末１１５０においては、フレネルレンズ形ハーフミラー面の透過光１１５８を、図２および図３により説明したウェアラブル端末１１００からの漏れ光の検出と同様の理由により、発散光としている。それにより、スクリーン１１６０からの距離に対応して、フレネルレンズ形ハーフミラー面１１６２を透過した透過光１１５８の光強度が変化する。従って、図５により説明した位置検出や方向検出が可能となる。

図１７は、ウェアラブル端末の装着者の視野内における表示画像の表示位置について説明する概略図である。

一般に、人間の右目と左目での視界（視野）においては、視野（視界）の中心部１５１０に対して外側となる所定の位置に、視野内盲点位置１５１２が存在することが知られている。従って、実施形態においては、付加画像を表示する付加画像表示領域１５００を、視野内盲点位置１５１２から外れた位置に設定している。これにより、装着者は、付加画像表示領域１５００内に表示する表示画像の全域に亘って、付加画像を鮮明に視認することができる。このことは、図２および図３に示したウェアラブル端末１１００においても同様である。すなわち、投光部１１０２が出力する光１１０８（投影画像）の投影位置をつまみ１１４２の調整により変更可能とする範囲（変更可能量）についても、視野内盲点位置１５１２を含む領域に到達することのないよう、変更可能量が設定されている。

なお、装着者（作業者）が身体を動かして作業する場合を想定する場合、身体を動かす作業としては、身体を左右に動かすことが多い、と推定できる。この場合、瞳（視線）を左右に動かすことが多くなる、と推定できる。このため、身体を動かす作業時にウェアラブル端末を装着する場合であっても視線（瞳）の左右移動の際に外部の景色（背景視野）１５０２を注視できるように、付加画像表示領域１５００を設定することが好ましい。すなわち、付加画像表示領域１５００を、その領域に表示された付加画像が装着者の左右の視線（瞳）の移動時においても不所望に視線（視界）に入ることを低減できるよう、視野（視界）の左右方向以外の領域に設定する。これにより、作業効率が不所望に低下することを抑止できる。具体的には、図１７に示すように、付加画像表示領域１５００は、上述の背景視野領域１５０２内の上部であって、上述した視野内盲点位置１５１２に差しかかる（重なり合う）ことにない範囲に設定することが望ましい。このことは、例えば文字放送対応テレビジョン装置、等において、例えば気象情報（地震発生情報や天気予報情報）や交通情報、等の付加情報を表示する際に、テレビジョン装置が表示する表示画面内の中央から外れた位置に表示していることによっても裏付けを得ている。この場合、文字放送対応テレビジョン装置を見慣れている装着者に違和感を与えずに上記表示が行える。なお、この表示位置は、図２および図３に示したウェアラブル端末１１００や図１６に示したウェアラブル端末１１５０に限らず、ハンズフリー対応の（眼鏡型やヘッドマウントディスプレイ型を含む）全ての表示装置（端末）に適用できる。

図１８および図１９は、それぞれ図１０が示す電子機器および電子機器を認識するシステムに適用可能な情報管理サーバおよびウェアラブル端末の別の実施形態の一例を示す概略図である。図１８および図１９においては、システムコントローラおよびウェアラブル端末相互の通信（情報およびまたはデータの受け渡し）は、図１０により説明した例と類似であるから説明を省略し、情報管理サーバおよびウェアラブル端末について説明する。

図１８が示す情報管理サーバ１２１１は、制御部２０１、通信部２０２、位置情報管理部２０３、標準作業時間情報保持部１２８４、作業時間管理部１２８５および習熟度管理部１２８６を含む。なお、図１１により説明した情報管理サーバ１２０１と同一または実質的に等価の構成には、同じ符号を付して詳細な説明を省略する。また、図１２により説明したウェアラブル端末１１００（−１〜−ｍ）との識別のため、ウェアラブル端末については、ウェアラブル端末１１０１（−１〜−ｍ）として説明する。

標準作業時間情報保持部１２８４は、各作業ごとの標準作業時間情報を保持する。

作業時間管理部１２８５は、ウェアラブル端末１１０１（−１〜−ｍ）から受信した作業者ＩＤにより特定される作業者が実際に（その工程の）作業に費やした作業時間情報を受信し、特定される作業者がその作業の完了までに必要とした作業時間を管理する。

習熟度管理部１２８６は、ウェアラブル端末１１０１（−１〜−ｍ）から受信した作業者ＩＤが特定する（関連付けられる）作業者が実行した作業について、標準作業時間情報保持部１２８４が保持する標準作業時間情報と作業時間管理部１２８５が保持する（その作業者による）作業時間とを比較することにより、作業者の作業ごとの習熟度を作業者毎に取得し、管理する。

図１９が示すウェアラブル端末１１０１（−１〜−ｍ）は、制御部３０１と制御バスを介して接続するＲＯＭ３０２、ＲＡＭ３０３、作業時間検出部１３８４、通信モジュール３０５、投光部（表示情報生成部）１１０２、カメラ１１３８およびスピーカ１１４０およびを含む。なお、図１２により説明したウェアラブル端末１１００（−１〜−ｍ）との識別のため、ウェアラブル端末については、ウェアラブル端末１１０１（−１〜−ｍ）として説明する。また、図１２により説明したウェアラブル端末と同一または実質的に等価の構成には、同じ符号を付して詳細な説明を省略する。

図１９が示すウェアラブル端末１１０１（−１〜−ｍ）において、作業時間検出部１３８４は、作業者の実行した作業について、作業項目を判定し、作業時間を検出する。作業時間は、例えば作業者からの作業開始時の開始モーションと作業終了時の終了モーションとにより検出する。作業開始時の開始モーションは、例えばカメラ１１３８が画像情報を取得可能な撮影範囲において、例えば握った右手を認識させる、等のハンズフリーのジェスチャ、等であることが好ましい。作業終了時の終了モーションは、例えばカメラ１１３８が画像情報を取得可能な撮影範囲において、例えば開いた右手を認識させる、等のハンズフリーのジェスチャ、等であることが好ましい。また、例えば作業マニュアルを表示し、作業の終了ごとに、作業者からの表示中の作業マニュアルの頁の更新指示を受け付けることで作業終了を検出することも可能である。頁の更新指示は、例えばカメラ１１３８が画像情報を取得可能な撮影範囲において、例えば握った右手を開く、開いた手を上下に振る、等のハンズフリーのジェスチャ、等であることが好ましい。なお、作業時間は、例えば加速度センサとジャイロとを用い、行動推定により推定しても良い。またさらに、例えば作業者に、予め作業開始と作業終了とに対応するキーワードの発話（発声）を指示しておき、作業開始および作業終了を通知する発話（発声）をマイク１１４０により取得（集音）して作業開始と作業終了を検出することも可能である。この場合、作業開始時のキーワードとしては、例えば「開始」等が好適であり、作業終了時のキーワードとしては、例えば「終了」等が好適である。

通信モジュール３０５は、ネットワークＮＴＷを通じて情報管理サーバ１２１１またはシステムコントローラ１２０２に、ウェアラブル端末（作業者）の位置と作業者の状態とを、報知する。作業者の状態は、カメラ１１３８が取得した作業者のモーションに基づく作業開始と作業終了とに関連する情報を、少なくとも含む。

すなわち、実施形態の認識システムにおいては、管理者は、システムコントローラ（管理用端末）１２０２から情報管理サーバ１２１１に、任意の作業者が実行した作業者について、（その作業者による）作業時間を問い合わせることで、作業者の習熟度（と位置）を把握することができる。また、管理者は、例えば作業の進捗度が『停止（赤色表示）』である作業者の近傍で待機中である待機者に、その作業者の支援を指示することも可能である。

図２０は、図１、図１０（および図１４）により説明したワークエリア内において検出したウェアラブル端末の位置および状態を、俯瞰表示により表示した状態を示す概略図である。なお、図１５により説明したそれぞれの要素あるいは構成と同一または実質的に等価の要素あるいは構成には、同じ符号を付して詳細な説明を省略する。

図２０において、システムコントローラの表示部４０４は、ワークエリア１００１内の所定の位置に位置する複数のウェアラブル端末１１００−１〜１１００−９および待機位置に位置するウェアラブル端末１１００−ｍ−１および１１００−ｍの位置および状態を表示する。なお、例えばウェアラブル端末１１００−ｍ−１および１１００−ｍは、ワークエリア１００１内の待機位置にて待機中である、とする。

なお、ワークエリア１００１が複数の建物あるいはフロアに跨る場合であって、各建物あるいはフロアのそれぞれに監督者が存在し、全体を管理する管理者が１名以上存在する場合には、例えばワークエリア１００１を単位として設けられるシステムコントローラ１２０２から情報管理サーバ１２０１が取得する情報をさらに集約する管理者用コントローラ１２００が設けられることが好ましい。すなわち、管理者用コントローラ１２００を設けることで、ワークエリア１００１が複数の建物あるいはフロアに跨る場合であっても、管理者は、任意のフロアあるいは建物の任意の作業者の位置および状態を、把握（管理）できる。

図２０が示す画面表示においては、作業者の状態、例えば作業の進捗度が『進み』すなわち習熟度が高い場合に緑色、作業の進捗度が『遅れ』すなわち習熟度がいま一歩である場合に黄色、作業の進捗度が『停止』すなわち工程の見直し等を含む何らかの対策がならば赤色、というように、色を変えて表示することが好ましい。また、作業者の状態を表示部４０４に表示する場合に、例えば「『遅れ』が生じている作業者を表示」、というような指示入力を入力可能な、表示モード（表示形態）の切り替えのための任意数のボタンを表示させ、ボタンにより指示入力に基づいて、表示する内容を変更した出力画像情報を作成して（表示部４０４に）表示させるものであってもよい。これにより、監督者あるいは管理者は、作業の進捗度が「停止（赤色表示）」である作業者の近傍で待機中である待機者に、その作業者の支援を指示することも可能である。

図２０が示す画面表示すなわちシステムコントローラ１２０２において取得（把握）した習熟度は、図２１および図２２が示すように、作業者相互の作業量の見直しや再配分、等のために有益である。

図２１（ａ）および図２１（ｂ）は、図１８に示したシステムコントローラ１２０２において検出（認識）した作業者Ａおよび作業者Ｂのそれぞれが実際に（その工程の）作業に費やした作業時間が、目標である標準作業時間に対して『遅れ』と『進み』とである場合を示している。図２１（ａ）および図２１（ｂ）は、監督者あるいは管理者が装着するウェアラブル端末に、作業者Ａおよび作業者Ｂのそれぞれの作業時間を表示する例を示すが、システムコントローラ１２１１の表示部４０４に表示することも可能である。

より詳細には、作業者Ａ（図２１（ａ）参照）および作業者Ｂ（図２１（ｂ）参照）のそれぞれが実際に（その工程の）作業に費やした作業時間が目標すなわち標準作業時間に対して『遅れ』と『進み』である場合、図２２に示すように、標準作業時間に対して『遅れ』を検出した作業者Ａの作業時間が、標準作業時間に対して『進み』を検出した作業者Ｂの作業時間よりも多くなる。図２２は、監督者あるいは管理者が装着するウェアラブル端末に、作業者Ａおよび作業者Ｂのそれぞれの作業時間を表示する例を示すが、システムコントローラ１２１１の表示部４０４に表示することも可能である。

図２２が示す作業者Ａおよび作業者Ｂのそれぞれの作業時間に従い、監督者あるいは管理者（システムコントローラ１２０２）は、作業者Ａおよび作業者Ｂのそれぞれの作業時間が概ね等しくなる（作業時間の差がプラスマイナス１０％程度となる）ように、作業量（工程）を再配分するための目安を得ることができる。また、監督者あるいは管理者は、例えば作業者Ａに、より作業者Ａに適していると考えることのできる別の作業（工程）を割り当て、作業者Ａの代わりに作業者Ｂと作業速度の差が少ない（待機中の）別の作業者を手配する、というように、人員配置を見直すことも可能である。

このように、実施形態の認識システムを用いることで、工場の部品ヤードや通販会社の商品倉庫、もしくは小売業の配送部署、等において、作業者が装着するウェアラブル端末が表示する画像情報の一部を利用して、作業者の位置を特定できる。また、ウェアラブル端末が表示する画像情報の一部を利用して、作業者が、非作業中であることすなわち移動中であることや待機中であることを特定できる。

またさらに、ウェアラブル端末が表示する画像情報の一部を利用して、作業中の作業者の作業の進捗状況、例えば『遅れ』や『停止（異常）』を検出（特定）できる。『遅れ』を検出した場合、作業者に対する支援や工程の見直し（工程の再配分）、等の全作業者にかかわる管理ができる。

さらにまた、監督者もしくは管理者であるシステムコントローラ（ＰＣ）をウェアラブル端末とすることができる。これにより、監督者もしくは管理者がシステムコントローラの設置場所に、常時留まっていることを不要とする。このことは、例えば作業者が、監督者（管理者）に報告あるいは用事がある、等により監督者（管理者）に接近してくる場合に、監督者（管理者）がその作業者に向かって移動することで、作業者からの何らかの報告（用事）を、より短時間で取得（確認）できる。

また、システムコントローラ（監督者用端末）の表示部に、全ての作業者の位置と状態とを表示することにより、監督者は、全ての作業者の位置と状態とを容易に把握することができる。なお、待機中の作業者のみ表示させることにより、作業者の割り振りの効率を高めることができる。例えば、ある位置にある装置のメンテナンスを作業させる場合、その位置周辺にいる待機中の作業者のみという条件で表示を行えば、作業者への指示を効率良くでき、さらに作業者がその装置まで移動する時間も短縮することができる。

さらに、作業者の休息時間（待機時間）、作業継続時間、等を容易に把握できるので、作業者の交代時、等において、作業中の作業者の近くで待機している作業者を、効率的に移動することができる。

またさらに、製品製造の進捗状況や製造した製品の出来高、ピッキングした商品の数量（およびピッキングの終了）等の情報を、容易に取得できる。これにより、作業者の交代等を、効率的に管理できる。なお、実施形態の認識システムは、作業者の状態（進捗度）に基づいて作業者の集中度を見分けることが可能であり、作業者の交代のタイミングを、例えば作業途中を避けた作業工程の一休みの時間帯、とすることも可能である。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１１００（１１０１）、１１５０…ウェアラブル端末、１１０２…投光部（表示部）、１１０８…光（画像光）、１１１０…付加画像表示部（表示情報生成部）、１１１８…漏れ光、１１２８…開口（隙間）、１１３８…カメラ、１１５８…透過光、１２０１、１２１１…情報管理サーバ、１２０２…システムコントローラ、１２０４（−１〜−ｎ）…センサ無線チップ（位置情報発信部）。

Claims (15)

1. 像を生成する画像表示部と、
   前記画像表示部が生成する前記像に照明光を与えて照明する光源と、
   前記光源による前記照明光を、個体識別情報を含む信号により変調する信号処理部と、
   装着者の視線の延長上の所定の位置に位置し、前記光源が照明した前記画像表示部が生成する前記像を表示するスクリーンと、
   を具備する眼鏡型電子機器。
2. 前記スクリーンは、装着者の視線の延長上に見える背景と前記像を同時に表示する請求項１の眼鏡型電子機器。
3. 前記光源による前記照明光を、前記スクリーンと異なる方向へ案内する誘導部をさらに具備する請求項２の眼鏡型電子機器。
4. 前記信号処理部は、前記個体識別情報の送信指示を受信して前記光源による前記照明光を変調する請求項１−３の何れかの眼鏡型電子機器。
5. 前記画像表示部は、反射型液晶表示素子を含む請求項１−４の何れかの眼鏡型電子機器。
6. 装着者の移動または停止もしくは反復性のある動作の繰り返しを検出する検出部をさらに具備する請求項１−５の何れかの眼鏡型電子機器。
7. 前記送信指示および前記画像表示部が生成する前記像に対応する画像データの少なくとも一つを受信する通信部さらに具備する請求項４−５の何れかの眼鏡型電子機器。
8. 像を生成する画像表示部と、前記画像表示部が生成する前記像に照明光を与えて照明する光源と、前記光源による前記照明光を、個体識別情報を含む信号により変調する信号処理部と、装着者の視線の延長上の所定の位置に位置し、前記光源が照明した前記画像表示部が生成する前記像を表示するスクリーンと、を具備する眼鏡型電子機器において、
   装着者の作業の支援に利用可能な情報を前記画像表示部が前記像として生成する支援方法。
9. 前記スクリーンに、装着者の視線の延長上に見える背景と前記像を同時に表示する請求項８の支援方法。
10. 前記光源による前記照明光の誘導部からの光を用いて装着者の位置を特定する請求項８または９の支援方法。
11. 像を生成する画像表示部と、
    前記画像表示部が生成する前記像に照明光を与えて照明する光源と、
    前記光源による前記照明光を、個体識別情報を含む信号により変調する信号処理部と、
    を具備する電子機器。
12. 前記光源が照明した前記画像表示部が生成する前記像を表示するスクリーンをさらに具備する請求項１１の電子機器。
13. 前記光源による前記照明光を、前記スクリーンと異なる方向へ案内する誘導部をさらに具備する請求項１２の電子機器。
14. 前記信号処理部は、前記個体識別情報の送信指示を受信して前記光源による前記照明光を変調する請求項１１−１３の何れかの電子機器。
15. 装着者の移動または停止もしくは反復性のある動作の繰り返しを検出する検出部をさらに具備するする請求項１１−１４の何れかの電子機器。

Images