JP2019197564A - Wearable terminal, system, and method - Google Patents
Wearable terminal, system, and method Download PDFInfo
- Publication number
- JP2019197564A JP2019197564A JP2019124457A JP2019124457A JP2019197564A JP 2019197564 A JP2019197564 A JP 2019197564A JP 2019124457 A JP2019124457 A JP 2019124457A JP 2019124457 A JP2019124457 A JP 2019124457A JP 2019197564 A JP2019197564 A JP 2019197564A
- Authority
- JP
- Japan
- Prior art keywords
- worker
- information
- terminal
- work
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明の実施形態は、ウェアラブル端末、システム及び方法に関する。 Embodiments described herein relate generally to a wearable terminal, a system, and a method.
近年では、例えばユーザによって装着されて使用されるウェアラブル端末が実用化されている。ウェアラブル端末としては、例えばメガネ型ウェアラブル端末及びリストバンド型ウェアラブル端末等が知られている。 In recent years, for example, wearable terminals that are worn and used by users have been put into practical use. As wearable terminals, for example, glasses-type wearable terminals and wristband-type wearable terminals are known.
このようなウェアラブル端末はハンズフリーの状態で使用可能であるため、例えば工場のような予め定められた範囲内において作業を行うユーザ（以下、作業員と表記）に対して装着させることが検討されている。 Since such a wearable terminal can be used in a hands-free state, it is considered to be worn by a user (hereinafter referred to as a worker) who performs work within a predetermined range such as a factory. ing.
ところで、上記した作業員が作業を行う工場においては、当該作業員を管理する管理者が配置されている。管理者は、作業の割り当て、作業内容の確認及び変更等の指示を作業員に対して行うが、例えば工場の敷地面積が広く、作業員の数が多い場合、当該指示は電話（音声通話）で行われることが多い。 By the way, in the factory where the workers described above work, managers who manage the workers are arranged. The administrator gives instructions to workers to assign work, confirm and change work contents, etc. For example, if the site area of the factory is large and the number of workers is large, the instructions are sent by telephone (voice call). Often done in
しかしながら、例えば作業員が危険な状態にある（例えば、高い位置で作業をしている）ときに管理者からの着呼（着信）があった場合には、当該着呼に応答しようとして作業員が不意にバランスを崩してしまうことがあり、思わぬ事故が生じる可能性がある。更に、このような場合には、管理者からの着呼に対して応答することができない場合が多いため非効率である。したがって、作業員の状態を把握するための仕組みが望まれている。 However, for example, when an incoming call (incoming call) is received from an administrator when the worker is in a dangerous state (for example, working at a high position), the worker tries to answer the incoming call. May be unexpectedly out of balance, which may lead to unexpected accidents. Furthermore, in such a case, since it is often impossible to respond to an incoming call from an administrator, it is inefficient. Therefore, a mechanism for grasping the worker's state is desired.
そこで、本発明が解決しようとする課題は、予め定められた範囲内において作業を行うユーザの状態を推定することが可能なウェアラブル端末、システム及び方法を提供することにある。 Therefore, the problem to be solved by the present invention is to provide a wearable terminal, a system, and a method capable of estimating the state of a user who performs work within a predetermined range.
実施形態によれば、ユーザが装着可能なウェアラブル端末が提供される。前記ウェアラブル端末は、レンズと、所定位置に設置された調整機構を具備し、付加画像から得られた画像光が、前記レンズを通過して虚像を形成し、前記調整機構に基づいて前記虚像に関する第１の変化が発生し、所定のセンサから得られた情報を利用して、前記ユーザの状態を推定し、前記推定された前記ユーザの状態の変化に応じて、前記虚像に関する第２の変化が発生する。 According to the embodiment, a wearable terminal that can be worn by a user is provided. The wearable terminal includes a lens and an adjustment mechanism installed at a predetermined position, and image light obtained from an additional image passes through the lens to form a virtual image, and the virtual image is related to the virtual image based on the adjustment mechanism. A first change occurs, information obtained from a predetermined sensor is used to estimate the state of the user, and a second change relating to the virtual image is performed according to the estimated change in the user state. Occurs.
以下、図面を参照して、各実施形態について説明する。 Hereinafter, each embodiment will be described with reference to the drawings.
（第１の実施形態）
まず、第１の実施形態について説明する。図１は、本実施形態に係る管理サーバ装置を備える管理システムが使用される環境の一例について説明するための図である。
(First embodiment)
First, the first embodiment will be described. FIG. 1 is a diagram for explaining an example of an environment in which a management system including a management server device according to the present embodiment is used.
本実施形態における管理システムは、例えば予め定められた範囲内（例えば、工場の敷地内等）で作業を行う作業員及び当該範囲内に設置されている装置（例えば、製品を製造する製造装置等）を管理するために用いられる。 The management system in the present embodiment is, for example, a worker who performs work within a predetermined range (for example, a factory premises) and a device installed within the range (for example, a manufacturing apparatus for manufacturing a product, etc.) Used to manage).
図１に示すように、管理システムは、作業員端末１０、製造装置２０、管理者端末３０及び管理サーバ装置４０を備える。
As shown in FIG. 1, the management system includes a
作業員端末１０は、例えば工場の敷地内等のワークエリア１００において作業を行う作業員（ユーザ）によって使用される端末装置（ユーザ端末）である。作業員端末１０は、作業員が装着して使用することができる例えばメガネ型ウェアラブル端末を含む。以下においては、作業員端末１０がメガネ型ウェアラブル端末であるものとして説明する。
The
なお、図１に示すように、管理システムにおいては１人の作業員が１つの作業員端末１０を装着して使用する。このため、管理システムは、作業員の数に応じた数の作業員端末１０を備えている。
As shown in FIG. 1, in the management system, one worker wears and uses one
製造装置２０は、例えば作業員の操作に応じて製品を製造することが可能な装置である。なお、製造装置２０は、例えば作業員が製造に必要な部材をセットして準備を完了させることによって自動的に製品を製造するような装置であるものとする。本実施形態においては管理システムが製造装置２０を備えるものとして説明するが、例えばワークエリア１００に設置される装置であれば管理システムは他の装置を備えていてもよい。
The
なお、図１においては便宜的に１つの製造装置２０が示されているが、ワークエリア１００には複数の製造装置２０が設置されているものとする。
Although one
管理者端末３０は、ワークエリア１００内の作業員及び製造装置２０を管理する管理者によって使用される端末装置である。管理者端末３０は、例えばワークエリア１００外の監視室等に設置されているパーソナルコンピュータ等を含む。なお、例えば作業員が作業を行っている状況及び製造装置２０の稼働状況等を監視するために管理者がワークエリア１００の見回りを行うような場合には、上記した作業員端末１０と同様のメガネ型ウェアラブル端末が管理者端末３０として使用されてもよい。
The
管理サーバ装置４０は、ワークエリア１００に設置されている製造装置２０による製品の製造工程等を管理するサーバ装置（電子機器）である。なお、詳細については後述するが、管理サーバ装置４０は、ワークエリア１００において作業を行う作業員の状態を推定する機能を有する。
The
図１においては省略されているが、ワークエリア１００には、作業員端末１０が無線通信を実行するための複数のアクセスポイントが設けられているものとする。
Although omitted in FIG. 1, it is assumed that the
図２及び図３は、作業員が装着して使用する作業員端末（メガネ型ウェアラブル端末）１０の一例を示す概略図である。 2 and 3 are schematic views showing an example of a worker terminal (glasses-type wearable terminal) 10 worn and used by a worker.
作業員端末１０は、投光ユニット１００１及びレンズ一体型スクリーン（ディスプレイ）１００２等を含む。
The
投光ユニット１００１は、光源部１００１ａ、付加画像表示部１００１ｂ、ハーフミラー部１００１ｃ、レンズ群１００１ｄ、駆動部１００１ｅ及び内蔵電源１００１ｆ等を含む。投光ユニット１００１においては、光源部１００１ａが出射する光２０００により付加画像表示部１００１ｂによって表示される画像及び情報が照明され、その反射光（投影画像）が出力（出射）される。なお、光源部１００１ａが出射する光２０００は、非平行な発散性の光（発散光）である。
The
光源部１００１ａは、それぞれの出力光量を独立して変更可能な複数（例えば、３つ）のＬＥＤ（Light Emitting Diode）を含む調光型白色ＬＥＤ光源であることが好ましい。この場合における３つのＬＥＤは、互いに発光色が異なるものとする。このような調光型白色ＬＥＤ光源を用いた場合には、例えばオレンジ色が主体の照明が用いられることの多いクリーンルーム内で作業員端末１０が使用される等の使用環境に応じて発光色を変更することによって、作業員の見やすい表示色を提供（出力）することができる。
The
付加画像表示部１００１ｂは、例えば反射型のＬＣＤ（Liquid Crystal Display）モジュールであり、所定の付加画像を表示する。なお、所定の付加画像には、例えば各種メッセージやマーク等が含まれる。
The additional
光源部１００１ａが出射する光２０００は、ハーフミラー部１００１ｃで反射されることにより付加画像表示部１００１ｂが表示する付加画像を照明し、当該付加画像に対応した画像光として再び反射される。
The light 2000 emitted from the
付加画像表示部１００１ｂで反射した光（付加画像光）２０００は、ハーフミラー部１００１ｃを通過し、レンズ群１００１ｄにより所定の画像サイズが与えられ、レンズ一体型スクリーン１００２に到達する。
The light (additional image light) 2000 reflected by the additional
駆動部１００１ｅは、付加画像表示部１００１ｂが表示する付加画像に対応して光源部１００１ａの発光を制御する。
The
内蔵電源１００１ｆは、例えばボタン電池等によって実現される。作業員端末１０は、内蔵電源１００１ｆから供給される電力で動作する。
The built-in
レンズ一体型スクリーン１００２は、フレネルレンズ形ハーフミラー部１００２ａを有する。
The lens-integrated
上記したようにレンズ一体型スクリーン１００２に到達した光２０００の一部は、当該フレネルレンズ形ハーフミラー部１００２ａで反射し、付加画像表示部１００１ｂ上で表示される付加画像に対する虚像を形成する。
As described above, a part of the light 2000 that reaches the lens-integrated
また、図３に示すように、作業員端末１０は、投光ユニット１００１の所定の位置（例えば、底面部）に、スピーカー１００１ｇ、（スライド式）スイッチ１００１ｈ及び（回転式）つまみ１００１ｉ等を有する。スイッチ１００１ｈは、例えば投光ユニット１００１が出射する光２０００の輝度を調整するために設けられている。つまみ１００１ｉは、例えば投光ユニット１００１が出射する光２０００の投射角度を調整するために設けられている。このようなスイッチ１００１ｈ及びつまみ１００１ｉの各々を操作することによって、作業員（メガネ型ウェアラブル端末のユーザ）は、レンズ一体型スクリーン１００２が投影する付加画像を目視しながら、輝度及び投射角度を調整することができる。すなわち、スイッチ１００１ｈが設けられていることにより、作業員の好みに合わせた付加画像の表示輝度及び色調を提供することができる。また、つまみ１００１ｉが設けられていることにより、作業員の頭部の形状及びサイズに応じた最適な位置に付加画像を表示することができる。
As shown in FIG. 3, the
更に、作業員端末１０には、例えば作業員端末１０の周辺の画像を撮影するためのカメラ１００３が設けられている。カメラ１００３は、例えば図３に示す位置に設けられていることによって、作業員端末１０を装着した作業員の視線方向の画像を撮影する。
Further, the
図４は、管理システムのネットワーク構成を示す。なお、図４においては、管理システムが複数の作業員端末１０を備える例が示されている。図４において、複数の作業員端末１０は、作業員端末１０−１、１０−２、…、１０−ｎ（ｎは例えば３以上の整数）を含む。
FIG. 4 shows the network configuration of the management system. In FIG. 4, an example in which the management system includes a plurality of
図４に示すように、本実施形態における管理システムでは、複数の作業員端末１０は、ネットワークＮＴＷを介して管理サーバ装置４０と通信可能に接続される。これにより、管理サーバ装置４０は、複数の作業員端末１０から後述する各種情報を受信（取得）することができる。
As shown in FIG. 4, in the management system in the present embodiment, the plurality of
なお、図４においては省略されているが、管理サーバ装置４０と複数の製造装置２０の各々とがネットワークＮＴＷを介して通信可能に接続されていても構わない。このような構成の場合、管理サーバ装置４０は、製造装置２０の各々の状態を示す情報（以下、製造装置２０のステータス情報と表記）を当該製造装置２０から受信（収集）することができる。なお、ステータス情報によって示される状態には、例えば製品を製造中の状態、製品を製造する準備が完了している状態及び製品を製造する準備が完了していない状態等が含まれる。また、ステータス情報には、製造装置２０が操作されているか否かを示す情報等が含まれていてもよい。
Although omitted in FIG. 4, the
図５は、作業員端末１０のシステム構成の一例を示す。図５に示すように、作業員端末１０は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ＧＰＳ（Global Positioning System）センサ１４、加速度センサ１５、気圧センサ１６及び通信モジュール１７等を備える。なお、図５においては、上記した図２及び図３等で説明した構成要素については省略されている。
FIG. 5 shows an example of the system configuration of the
ＣＰＵ１１は、作業員端末１０内の各構成要素の動作を制御するプロセッサ（処理回路）である。ＣＰＵ１１は、不揮発性メモリであるＲＯＭ１２からＲＡＭ（主メモリ）１３にロードされる各種ソフトウェア（作業員端末１０用プログラム）を実行する。
The
ＧＰＳセンサ１４は、ＧＰＳ衛星との通信を実行することによって作業員端末１０（を装着した作業員）の位置を検知することが可能なセンサである。
The
加速度センサ１５は、作業員端末１０（を装着した作業員）に対して生じる加速度を計測することが可能なセンサである。
The
気圧センサ１６は、作業員端末１０の周辺の気圧を計測することが可能なセンサである。なお、作業員端末１０は、このような気圧センサ１６によって計測される気圧（の変化）に基づいて、作業員端末１０を装着する作業員の高さ方向の位置を推定し、当該推定された作業員の高さ方向の位置を示す情報を得ることができる。
The
通信モジュール１７は、ネットワークＮＴＷを介して管理サーバ装置４０等と無線通信を実行するように構成されたモジュールである。通信モジュール１７は、例えばワークエリア１００に設けられているアクセスポイントを介して無線ＬＡＮ等の無線通信を実行する。
The
これにより、通信モジュール１７は、ＧＰＳセンサ１４によって検知された位置を示す情報（以下、作業員の位置情報と表記）、加速度センサ１５によって計測された加速度を示す情報（以下、作業員の加速度情報と表記）及び上記したように気圧センサ１６によって計測される気圧に基づいて得られる情報（以下、作業員の高さ情報と表記）を管理サーバ装置４０に送信することができる。
Thereby, the
なお、通信モジュール１７は、例えばＷｉ−Ｆｉ（登録商標）、ＷｉＭＡＸ（登録商標）、３Ｇ移動通信、４Ｇ移動通信及びＢｌｕｅｔｏｏｔｈ（登録商標）等の規格による無線通信を実行するように構成されていてもよい。
The
図５には示されていないが、作業員端末１０は、マイク等を更に備え、例えばＶｏＩＰ（Voice over Internet Protocol）と称される技術等によって実現される音声通話機能を有しているものとする。この音声通話機能によれば、作業員は、作業員端末１０を介して例えば管理者と音声通話を行うことができる。
Although not shown in FIG. 5, the
なお、作業員端末１０は、例えば各種アラートを作業員に対して通知するためのＬＥＤランプ（図示せず）等を更に備えていてもよい。
The
図６は、管理者端末３０のシステム構成の一例を示す。図６に示すように、管理者端末３０は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、通信モジュール３４及びディスプレイ３５等を備える。
FIG. 6 shows an example of the system configuration of the
ＣＰＵ３１は、管理者端末３０内の各構成要素の動作を制御するプロセッサ（処理回路）である。ＣＰＵ３１は、不揮発性メモリであるＲＯＭ３２からＲＡＭ（主メモリ）３３にロードされる各種ソフトウェア（管理者端末３０用プログラム）を実行する。
The
通信モジュール３４は、例えば管理サーバ装置４０等と無線通信を実行するように構成されたモジュールである。
The communication module 34 is a module configured to execute wireless communication with the
ディスプレイ３５は、各種情報を表示するための表示装置である。ディスプレイ３５は、例えば液晶表示装置（ＬＣＤ）を含む。
The
また、図６には示されていないが、管理者端末３０は、作業員端末１０と同様に、例えば管理者が作業員と音声通話を行うことが可能な音声通話機能を有しているものとする。
Although not shown in FIG. 6, the
なお、上記したように管理者端末３０がメガネ型ウェアラブル端末等である場合には、当該管理者端末３０は、ＧＰＳセンサ、加速度センサ及び気圧センサ等の各種センサを更に備えていてもよい。
As described above, when the
図７は、管理サーバ装置４０の機能構成を示すブロック図である。図７に示すように、管理サーバ装置４０は、制御部４１、通信処理部４２、情報管理部４３、作業員情報格納部４４、装置情報格納部４５及び工程情報格納部４６を含む。
FIG. 7 is a block diagram illustrating a functional configuration of the
本実施形態において、制御部４１、通信処理部４２及び情報管理部４３の一部または全ては、例えば管理サーバ装置４０に備えられるＣＰＵ（図示せず）等のコンピュータにプログラム（管理サーバ装置４０用プログラム）を実行させること、すなわち、ソフトウェアによって実現されるものとする。なお、これらの各部４１〜４３の一部または全ては、ＩＣ（Integrated Circuit）等のハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアの組み合わせ構成として実現されてもよい。なお、コンピュータに実行させるプログラムは、例えば管理サーバ装置４０に備えられる任意の記憶装置に格納されていればよい。
In the present embodiment, some or all of the
制御部４１は、管理サーバ装置４０の動作を制御する。制御部４１による制御のもと、管理サーバ装置４０は、作業員端末１０を装着した作業員及び製造装置２０による製品の製造工程等を管理することができる。
The
通信処理部４２は、作業員端末１０等との無線通信を実行する。通信処理部４２は、例えば上述した作業員の位置情報、加速度情報及び高さ情報等を作業員端末１０から受信する。
The
情報管理部４３は、作業員情報格納部４４、装置情報格納部４５及び工程情報格納部４６に格納されている各種情報を管理する。
The
作業員情報格納部４４には、ワークエリア１００において作業を行う作業員に関する情報（以下、作業員情報と表記）が格納されている。
The worker
装置情報格納部４５には、ワークエリア１００に設置されている製造装置２０に関する情報（以下、装置情報と表記）が格納されている。
The apparatus
工程情報格納部４６には、製造装置２０による製品の製造工程に関する情報（以下、工程情報と表記）が格納されている。
The process
なお、本実施形態において、管理サーバ装置４０（に含まれる制御部４１）は、作業員端末１０から受信される各情報と、作業員情報格納部４４、装置情報格納部４５及び工程情報格納部４６に格納されている各情報とを用いて、ワークエリア１００において作業を行う作業員の状態を推定する。制御部４１によって推定された作業員の状態は、例えば通信処理部４２を介して例えば管理者端末３０等に通知（送信）される。
In the present embodiment, the management server device 40 (the
以下、図７に示す作業員情報格納部４４に格納されている作業員情報、装置情報格納部４５に格納されている装置情報及び工程情報格納部４６に格納されている工程情報について説明する。
Hereinafter, the worker information stored in the worker
図８は、作業員情報格納部４４に格納されている作業員情報のデータ構造の一例を示す。図８に示すように、作業員情報格納部４４に格納されている作業員情報には、作業員を識別するための作業員ＩＤに対応づけて当該作業員の位置を示す位置情報及び当該作業員のステータス（状態）が含まれている。
FIG. 8 shows an example of the data structure of worker information stored in the worker
図８に示す例では、作業員情報格納部４４には、作業員情報４４１〜４４３が格納されている。
In the example shown in FIG. 8,
作業員情報４４１には、作業員ＩＤ「ＨＯ＿０００１」に対応づけて位置情報「Ｘｕ１，Ｙｕ１」及びステータス「作業中」が含まれている。この作業員情報４４１によれば、作業員ＩＤ「ＨＯ＿０００１」によって識別される作業員の位置が位置情報「Ｘｕ１，Ｙｕ１」によって示される位置であり、当該作業員が作業を行っている（つまり、作業中である）ことが示されている。なお、作業員が製造装置２０を操作するような作業をしているような場合、ステータスには、当該製造装置２０を識別するための識別子が含まれていてもよい。
The
なお、位置情報「Ｘｕ１，Ｙｕ１」は、ワークエリア１００内の所定の位置を原点とし、例えば東西方向の軸をＸ軸、南北方向の軸をＹ軸とした場合における、当該Ｘ軸及びＹ軸を含む平面（ＸＹ平面）上の位置を示すものとする。原点は、例えばワークエリア１００に設置されている主要な製造装置２０の位置または当該ワークエリア１００の隅等であってもよい。他の位置情報についても同様である。
Note that the position information “Xu1, Yu1” has a predetermined position in the
作業員情報４４２には、作業員ＩＤ「ＨＯ＿０００２」に対応づけて位置情報「Ｘｕ２，Ｙｕ２」及びステータス「移動中」が含まれている。この作業員情報４４２によれば、作業員ＩＤ「ＨＯ＿０００２」によって識別される作業員の位置が位置情報「Ｘｕ２，Ｙｕ２」によって示される位置であり、当該作業員が移動している（つまり、移動中である）ことが示されている。
The
作業員情報４４３には、作業員ＩＤ「ＨＯ＿０００３」に対応づけて位置情報「Ｘｕ３，Ｙｕ３」及びステータス「待機中」が含まれている。この作業員情報４４３によれば、作業員ＩＤ「ＨＯ＿０００３」によって識別される作業員の位置が位置情報「Ｘｕ３，Ｙｕ３」によって示される位置であり、当該作業員が待機中であることが示されている。
The
なお、作業員情報４４１〜４４３に含まれる位置情報は、上述した作業員の位置情報を作業員端末１０から受信することによって、定期的に更新することができる。作業員情報４４１〜４４３に含まれるステータスは、作業員の位置情報及び上記した製造装置２０のステータス情報に基づいて定期的に更新することができる。具体的には、例えば位置情報によって示される作業員の位置の近傍にある製造装置２０が製品を製造中の状態である場合、ステータスを「作業中（例えば、当該製造装置２０を操作するような作業を行っている）」に更新することができる。作業員の位置の近傍にある製造装置２０は、後述する装置情報に含まれる位置情報を用いて特定（検索）することができる。また、定期的に更新される位置情報によって示される作業員の位置が順次移動している場合には、ステータスを「移動中」に更新することができる。更に、位置情報によって示される作業員の位置が所定の位置（例えば、待機場所）等であれば、ステータスを「待機中」に更新することができる。
The position information included in the
なお、作業員情報に含まれるステータスは、例えば作業員端末１０において作業員によって指定された当該作業員の状態に応じて更新されても構わない。
The status included in the worker information may be updated according to the state of the worker specified by the worker in the
図８においては、作業員情報４４１〜４４３についてのみ説明したが、作業員情報格納部４４には、ワークエリア１００において作業を行う全ての作業員に関する作業員情報が格納されている。また、ここでは作業員に関する作業員情報について説明したが、例えば管理者がワークエリア１００の見回りを行うような場合には、管理者の位置を示す位置情報（管理者に関する管理者情報）が管理サーバ装置４０において管理されてもよい。
Although only the
図９は、装置情報格納部４５に格納されている装置情報のデータ構造の一例を示す。図９に示すように、装置情報格納部４５に格納されている装置情報には、製造装置２０を識別するための装置ＩＤに対応づけて当該製造装置２０の位置を示す位置情報及び当該製造装置２０に関する危険度（以下、装置危険度と表記）が含まれている。
FIG. 9 shows an example of the data structure of the device information stored in the device
図９に示す例では、装置情報格納部４５には、装置情報４５１〜４５３が格納されている。
In the example illustrated in FIG. 9,
装置情報４５１には、装置ＩＤ「Ｍ＿０００１」に対応づけて位置情報「Ｘｄ１，Ｙｄ１」及び装置危険度「５」が含まれている。この装置情報４５１によれば、装置ＩＤ「Ｍ＿０００１」によって識別される製造装置２０が位置情報「Ｘｄ１，Ｙｄ１」によって示される位置に設置されており、当該製造装置２０の装置危険度が５であることが示されている。
The
装置情報４５２には、装置ＩＤ「Ｍ＿０００２」に対応づけて位置情報「Ｘｄ２，Ｙｄ２」及び装置危険度「４」が含まれている。この装置情報４５２によれば、装置ＩＤ「Ｍ＿０００２」によって識別される製造装置２０が位置情報「Ｘｄ２，Ｙｄ２」によって示される位置に設置されており、当該製造装置２０の装置危険度が４であることが示されている。
The
装置情報４５３には、装置ＩＤ「Ｍ＿０００３」に対応づけて位置情報「Ｘｄ３，Ｙｄ３」及び装置危険度「１」が含まれている。この装置情報４５３によれば、装置ＩＤ「Ｍ＿０００３」によって識別される製造装置２０が位置情報「Ｘｄ３，Ｙｄ３」によって示される位置に設置されており、当該製造装置２０の装置危険度が１であることが示されている。
The
なお、装置情報に含まれる装置危険度は、例えば１〜５の数値によって表されるものとする。この場合、例えば装置危険度「１」が最も危険性が低い（つまり、最も安全である）ことを表し、装置危険度「５」が最も危険性が高い（つまり、最も危険である）ことを表す。装置危険度は、製造装置２０の動作等における危険度に加えて、当該製造装置２０の設置位置（例えば、高い位置に設置されている等）をも考慮して定められているものとする。
Note that the device risk included in the device information is represented by a numerical value of 1 to 5, for example. In this case, for example, the device risk “1” represents the lowest risk (that is, the safest), and the device risk “5” represents the highest risk (that is, the most dangerous). To express. The apparatus risk level is determined in consideration of the installation position of the manufacturing apparatus 20 (for example, installed at a high position) in addition to the risk level in the operation of the
図９においては、装置情報４５１〜４５３についてのみ説明したが、装置情報格納部４５には、ワークエリア１００に設置されている全ての製造装置２０に関する装置情報が格納されている。
Although only the
図１０は、工程情報格納部４６に格納されている工程情報のデータ構造の一例を示す。図１０に示すように、工程情報格納部４６に格納されている工程情報には、製造装置２０を識別するための装置ＩＤに対応づけて製造開始時刻、作業名及びステータスが含まれている。
FIG. 10 shows an example of the data structure of the process information stored in the process
製造開始時刻は、当該製造開始時刻に対応づけられている装置ＩＤによって識別される製造装置２０による製品の製造工程（以下、製造装置２０の製造工程と表記）の開始時刻を示す。作業名は、当該作業名に対応づけられている製造装置ＩＤによって識別される製造装置２０の製造工程において作業員が行う作業を示す。ステータスは、当該ステータスに対応づけられている装置ＩＤによって識別される製造装置２０の現在の状態を示す。なお、このステータスは、上述した各製品装置２０から受信される当該製造装置２０のステータス情報に基づいて定期的に更新されるものとする。
The manufacturing start time indicates the start time of a product manufacturing process (hereinafter referred to as a manufacturing process of the manufacturing apparatus 20) by the
図１０に示す例では、工程情報格納部４６には、工程情報４６１〜４６４が格納されている。
In the example illustrated in FIG. 10,
工程情報４６１には、装置ＩＤ「Ｍ＿０００１」に対応づけて製造開始時刻「１０：００」、作業名「作業Ａ」及びステータス「製造中」が含まれている。この工程情報４６１によれば、製造装置ＩＤ「Ｍ＿０００１」によって識別される製造装置２０の製造工程の開始時刻が１０：００であり、当該製造工程において作業員が行う作業が作業Ａであり、当該製造装置２０が製品を製造中の状態であることが示されている。
The
工程情報４６２には、装置ＩＤ「Ｍ＿０００２」に対応づけて製造開始時刻「１０：３０」、作業名「作業Ｂ」及びステータス「準備完了」が含まれている。この工程情報４６２によれば、装置ＩＤ「Ｍ＿０００２」によって識別される製造装置２０の製造工程の開始時刻が１０：３０であり、当該製造工程において作業員が行う作業が作業Ｂであり、当該製造装置２０が製品を製造する準備が完了している状態である（つまり、当該製造の開始待ちである）ことが示されている。
The
工程情報４６３には、装置ＩＤ「Ｍ＿０００３」に対応づけて製造開始時刻「１１：３０」、作業名「作業Ｃ」及びステータス「準備未完了」が含まれている。この工程情報４６３によれば、装置ＩＤ「Ｍ＿０００３」によって識別される製造装置２０の製造工程の開始時刻が１１：３０であり、当該製造工程において作業員が行う作業が作業Ｃであり、当該製造装置２０が製品を製造する準備が完了していない状態であることが示されている。
The
工程情報４６４には、装置ＩＤ「Ｍ＿０００４」に対応づけて製造開始時刻「１２：３０」、作業名「作業Ｄ」及びステータス「準備未完了」が含まれている。この工程情報４６４によれば、装置ＩＤ「Ｍ＿０００４」によって識別される製造装置２０の製造工程の開始時刻が１２：３０であり、当該製造工程において作業員が行う作業が作業Ｄであり、当該製造装置２０が製品を製造する準備が完了していない状態であることが示されている。
The
図１０においては、工程情報４６１〜４６４についてのみ説明したが、工程情報格納部４６には、ワークエリア１００に設置されている全ての製造装置２０の製造工程に関する工程情報が格納されている。
Although only the
以下、本実施形態に係る管理サーバ装置４０がワークエリア１００において作業を行う作業員の状態を推定する際の動作について説明する。
Hereinafter, the operation when the
まず、作業員の状態を推定する処理（以下、状態推定処理と表記）の概要について説明する。 First, an outline of a process for estimating a worker's state (hereinafter referred to as a state estimation process) will be described.
なお、本実施形態において、状態推定処理によって推定される作業員の状態には、例えば「危険」及び「安全」が含まれるものとする。「危険」は、作業員が危険な状態にあることを示す。「安全」は、作業員が安全な状態にあることを示す。 In the present embodiment, the worker state estimated by the state estimation process includes, for example, “danger” and “safety”. “Danger” indicates that the worker is in a dangerous state. “Safe” indicates that the worker is in a safe state.
状態推定処理においては、図１１に示すように、作業員の位置情報（Ｘｕ，Ｙｕ）と、ワークエリア１００に設置されている各製造装置２０の位置情報（Ｘｄ，Ｙｄ）及び装置危険度（Ｒｄ）とに基づいて作業員の状態が推定される。
In the state estimation process, as shown in FIG. 11, the position information (Xu, Yu) of the worker, the position information (Xd, Yd) of each
具体的には、例えば作業員の近傍に危険度の高い製造装置２０が設置されている場合には、作業員の状態が「危険」であると推定する。一方、作業員の近傍に製造装置２０が設置されていない場合、または当該作業員の近傍に設置されている製造装置２０の危険度が低い場合には、作業員の状態が「安全」であると推定する。
Specifically, for example, when the
更に、状態推定処理においては、図１２に示すように作業員の高さ情報（Ｚｕ）を利用してもよい。なお、作業員の高さ情報（Ｚｕ）は、例えば図１に示すようにワークエリア１００の床面（作業フロア）を基準とした場合における作業員の高さ方向の位置を示す。この場合、上記したように作業員の近傍に危険度の高い製造装置２０が設置されており、かつ、当該作業員が高い場所にいる場合には、作業員の状態が「危険」であると推定する。一方、作業員の近傍に危険度の高い製造装置２０が設置されている場合であっても、当該作業員が高い場所にいない場合には、作業員の状態が「安全」であると推定する。
Further, in the state estimation process, worker height information (Zu) may be used as shown in FIG. Note that the worker height information (Zu) indicates the position of the worker in the height direction when the floor surface (work floor) of the
図１１及び図１２においては状態推定処理の概要について説明したが、以下、図１３に示すフローチャートを参照して、当該状態推定処理の処理手順の詳細について説明する。なお、図１３では、作業員の位置情報、各製造装置２０の位置情報及び装置危険度に加えて、作業員の高さ情報を利用して作業員の状態を推定する場合について説明する。図１３に示す処理は、管理サーバ装置４０によって実行される。
Although the outline of the state estimation process has been described with reference to FIGS. 11 and 12, the details of the process procedure of the state estimation process will be described below with reference to the flowchart shown in FIG. In addition, FIG. 13 demonstrates the case where a worker's state is estimated using a worker's height information in addition to the worker's position information, the position information of each
図１３に示す処理はワークエリア１００において作業を行う作業員の各々によって装着されている作業員端末１０毎に実行されるが、以下の説明においては、当該処理の対象となる作業員端末１０を便宜的に対象作業員端末１０と称する。同様に、対象作業員端末１０を装着する作業員を便宜的に対象作業員と称する。
The process shown in FIG. 13 is executed for each
まず、ワークエリア１００において作業を行う対象作業員によって装着されている対象作業員端末１０は、例えばＧＰＳセンサ１４、加速度センサ１５及び気圧センサ１６を継続的に駆動させることによって、対象作業員を識別するための作業員ＩＤとともに、対象作業員の位置情報、加速度情報及び高さ情報を定期的に管理サーバ装置４０に対して送信する。
First, the
これにより、管理サーバ装置４０に含まれる通信処理部４２は、対象作業員の位置情報、加速度情報及び高さ情報を対象作業員端末１０から受信する（ブロックＢ１）。
Thereby, the
なお、ワークエリア１００に設置されている製造装置２０の各々は、当該製造装置２０の状態を示すステータス情報（製造装置２０のステータス情報）を定期的に管理サーバ装置４０に対して送信する。このように製造装置２０から定期的に送信される製造装置２０のステータス情報についても同様に通信処理部４２によって受信される。
Each of the
通信処理部４２によって各種情報が受信された場合、情報管理部４３は、対象作業員の位置情報及び製造装置２０のステータス情報等に基づいて上記した作業員情報（に含まれる位置情報及びステータス）及び工程情報（に含まれるステータス）を更新する。
When various types of information are received by the
ブロックＢ１の処理が実行されると、制御部４１は、装置情報格納部４５に格納されている装置情報の各々に含まれる位置情報に基づいて、対象作業員の近傍に設置されている製造装置２０を特定する（ブロックＢ２）。
When the process of block B1 is executed, the
具体的には、制御部４１は、装置情報の各々に含まれる位置情報（第１の位置情報）によって示される位置と対象作業員の位置情報（第２の位置情報）によって示される位置との距離（対象作業員との距離）が予め定められた値（以下、第１の閾値と表記）以下であるか否かを判定し、当該距離が第１の閾値以下であると判定された製造装置２０を、対象作業員の近傍に設置されている製造装置２０として特定する。なお、対象作業員の近傍に設置されている製造装置２０が存在しない（つまり、対象作業員との距離が第１の閾値以下である製造装置２０が存在しない）場合には、対象作業員は安全な状態にあると推定されて、以降の処理は実行されないものとする。
Specifically, the
以下の説明では、ブロックＢ２において特定された製造装置（つまり、対象作業員の近傍に設置されている製造装置）２０を便宜的に対象製造装置２０と称する。
In the following description, the manufacturing apparatus identified in block B2 (that is, the manufacturing apparatus installed in the vicinity of the target worker) 20 is referred to as the
制御部４１は、装置情報格納部４５に格納されている対象製造装置２０に関する装置情報に含まれる装置危険度（対象製造装置２０の装置危険度）を取得する（ブロックＢ３）。この場合、制御部４１は、対象製造装置２０を識別するための装置ＩＤに対応づけて装置情報に含まれている装置危険度を取得する。
The
次に、制御部４１は、ブロックＢ３において取得された対象製造装置２０の装置危険度が高いか否かを判定する（ブロックＢ４）。この場合、制御部４１は、対象製造装置２０の装置危険度が予め定められた値（以下、第２の閾値と表記）以上であるか否かを判定する。対象製造装置２０の装置危険度が第２の閾値以上であると判定される場合、対象製造装置２０の装置危険度が高いと判定される。一方、対象製造装置２０の装置危険度が第２の閾値以上でないと判定される場合、対象製造装置２０の装置危険度が高くないと判定される。
Next, the
対象製造装置２０の装置危険度が高いと判定された場合（ブロックＢ４のＹＥＳ）、制御部４１は、対象作業員の高さ情報に基づいて、当該対象作業員が高い位置にいるか否かを判定する（ブロックＢ５）。この場合、制御部４１は、対象作業員の高さ情報によって示される対象作業員の高さ方向の位置（高さ）が予め定められた位置（高さ）よりも高いか否かを判定する。対象作業員の高さ方向の位置が予め定められた位置よりも高いと判定される場合、対象作業員が高い位置にいると判定される。一方、対象作業員の高さ方向の位置が予め定められた位置よりも高くないと判定された場合、対象作業員が高い位置にいないと判定される。
When it is determined that the
ここで、ブロックＢ１において受信された対象作業員の加速度情報によって示される加速度（の変化）に基づいて、例えば対象作業員が作業を行っている（つまり、作業中である）か否かを推定することができるものとする。 Here, based on the acceleration (change) indicated by the acceleration information of the target worker received in the block B1, for example, it is estimated whether the target worker is working (that is, working). Shall be able to.
このため、対象作業員が高い位置にいると判定された場合（ブロックＢ５のＹＥＳ）、制御部４１は、ブロックＢ１において受信された対象作業員の加速度情報によって示される加速度に基づいて、当該対象作業員が作業中であるか否かを判定する（ブロックＢ６）。
For this reason, when it is determined that the target worker is at a high position (YES in block B5), the
対象作業員が作業中であると判定された場合（ブロックＢ６のＹＥＳ）、制御部４１は、対象作業員が危険な状態にある（つまり、対象作業員が危険な状態で作業を行っている）と推定する（ブロックＢ７）。この場合、対象作業員の状態として「危険」が管理サーバ装置４０内で保持される。
When it is determined that the target worker is working (YES in block B6), the
一方、ブロックＢ４において対象製造装置２０の装置危険度が高くないと判定された場合（ブロックＢ４のＮＯ）、対象作業員は危険な状態にない（つまり、安全な状態にある）と推定されて処理は終了される。この場合、対象作業員の状態として「安全」が管理サーバ装置４０内で保持される。ブロックＢ５において対象作業員が高い位置にいないと判定された場合（ブロックＢ５のＮＯ）及びブロックＢ６において対象作業員が作業中でないと判定された場合（ブロックＢ６のＮＯ）についても同様である。
On the other hand, when it is determined in block B4 that the
このような図１３に示す処理が作業員端末１０毎に実行されることによって、管理サーバ装置４０内では、ワークエリア１００において作業を行う作業員の各々の状態（「危険」または「安全」）を管理することができる。図１３に示す処理は、上記したように各作業員の位置情報、加速度情報及び高さ情報が管理サーバ装置４０において受信される度に定期的に実行される。これにより、各作業員の状態は当該状態の変化に応じて更新される。
By executing the processing shown in FIG. 13 for each
なお、図１３に示す処理においては、対象製造装置２０の装置危険度が高く、対象作業員が高い位置におり、かつ、対象作業員が作業中である場合に、対象作業員が危険な状態にあると推定されるものとして説明したが、例えばブロックＢ４〜Ｂ６の処理のうちの１つまたは２つの処理が省略されてもよいものとする。すなわち、例えばブロックＢ４の処理が省略される場合には、対象作業員が高い位置におり、かつ、対象作業員が作業中であれば、対象作業員が危険な状態にあると推定されてもよい。また、例えばブロックＢ５の処理が省略される場合には、対象製造装置２０の装置危険度が高く、かつ、対象作業員が作業中であれば、対象作業員が危険な状態にあると推定されてもよい。更に、例えばブロックＢ５及びＢ６の処理が省略される場合には、対象製造装置（つまり、対象作業員の近傍に設置されている製造装置）２０の装置危険度が高ければ、対象作業員が危険な状態にあると推定されてもよい。
In the process shown in FIG. 13, when the
また、ブロックＢ６の処理は作業員端末１０側で実行されても構わない。この場合、作業員端末１０において対象作業員の加速度情報によって示される加速度に基づいて対象作業員が作業中であるか否かを判定し、当該加速度情報の代わりに当該判定結果が作業員端末１０から管理サーバ装置４０に送信されればよい。
Further, the process of block B6 may be executed on the
更に、例えば作業員端末１０が装置情報等を取得可能であれば、図１３に示す処理の全てが作業員端末１０側で実行され、作業員の状態の推定結果が管理サーバ装置４０等に出力される構成としてもよい。
Further, for example, if the
また、対象作業員の加速度情報によって示される加速度に基づいて対象作業員が作業中であるか否かが判定されるものとして説明したが、作業（内容）によっては作業員端末１０（メガネ型ウェアラブル端末）に加速度が生じない場合があり、対象作業員が作業中であることを検知できない場合がある。このため、ブロックＢ６においては、例えば作業員情報格納部４４または工程情報格納部４６に格納されている情報（作業員情報及び工程情報）を利用して、対象作業員が作業中であるか否かを判定してもよい。具体的には、例えば対象作業員を識別するための作業員ＩＤに対応づけて作業員情報に含まれるステータスが作業中であることを示している場合に、対象作業員が作業中であると判定してもよい。また、例えば対象製造装置２０を識別するための装置ＩＤに対応づけて工程情報に含まれているステータスが製造中である（つまり、対象製造装置２０が操作されている）こと示している場合に、対象作業員が作業中であると判定してもよい。また、対象作業員の加速度情報、作業員情報及び工程情報に基づいて、対象作業員が作業中であるか否かを判定する構成としてもよい。
Further, although it has been described that it is determined whether or not the target worker is working based on the acceleration indicated by the acceleration information of the target worker, depending on the work (contents), the worker terminal 10 (glasses-type wearable) The terminal may not be accelerated, and the target worker may not be detected to be working. Therefore, in block B6, for example, whether or not the target worker is working by using information (worker information and process information) stored in the worker
ここで、本実施形態においては、例えば「危険」と推定された作業員（つまり、危険な状態にある作業員）によって装着される作業員端末１０及び管理者端末３０に対して、当該状態に応じた通知が出力されるものとする。
Here, in the present embodiment, for example, the
以下、図１４のフローチャートを参照して、作業員端末１０及び管理者端末３０に対して通知を出力する際の管理サーバ装置４０の処理手順について説明する。
Hereinafter, with reference to the flowchart of FIG. 14, a processing procedure of the
まず、管理者は、作業員端末１０及び管理者端末３０（が有する音声通話機能）を利用して、例えば作業の割り当て、作業内容の確認及び変更等の各作業員に対する指示を音声通話（電話）によって行うことができる。この場合、管理者は、この指示の対象となる作業員（が装着する作業員端末１０）に対して発呼するための操作（以下、発呼操作と表記）を、管理者端末３０に対して行う。なお、発呼操作には、例えば管理者端末３０において作業員に対して発呼するための画面を表示する操作、または当該画面上で作業員に対して発呼するためのボタンを押下する操作等が含まれる。以下、図１４の説明においては、発呼操作によって管理者が発呼しようとする作業員を対象作業員と称する。
First, the administrator uses the
管理者端末３０に対して発呼操作が行われた場合、当該管理者端末３０は、管理サーバ装置４０に対して問い合わせを送信する。この問い合わせには、対象作業員を識別するための作業員ＩＤが含まれる。
When a call operation is performed on the
管理サーバ装置４０に含まれる通信処理部４２は、管理者端末３０によって送信された問い合わせを受信する（ブロックＢ１１）。
The
次に、制御部４１は、上記した図１３に示す処理が実行されることによって管理サーバ装置４０内で管理されている作業員の各々の状態に基づいて、ブロックＢ１１において受信された問い合わせに含まれる作業員ＩＤによって識別される対象作業員の状態が「危険」であるか否かを判定する（ブロックＢ１２）。
Next, the
対象作業員の状態が「危険」であると判定された場合（ブロックＢ１２のＹＥＳ）、制御部４１は、ブロックＢ１１において受信された問い合わせに対する応答として、対象作業員の状態が「危険」であることを含む通知を管理者端末３０に出力する（ブロックＢ１３）。
When it is determined that the state of the target worker is “dangerous” (YES in block B12), the
この場合、管理者端末３０のディスプレイ３５には、制御部４１によって出力された通知が表示される。具体的には、管理者端末３０のディスプレイ３５には、例えば対象作業員の状態が「危険」であることにより、対象作業員に発呼すべきではない（または対象作業員が着呼に対して応答することができない）ことを表すメッセージ等が表示される。
In this case, the notification output by the
このようなメッセージが管理者端末３０のディスプレイ３５に表示された場合には、管理者は対象作業員に対して発呼することを中止し、例えば所定の時間が経過した後に再度発呼操作を行うことが好ましい。
When such a message is displayed on the
上記したようにブロックＢ１３の処理が実行された場合には管理者による発呼は中止されるが、制御部４１は、発呼は中止されたものの発呼操作が管理者によって行われた（発呼操作が管理者端末３０に対して行われた）ことを含む通知を作業員端末１０に出力する（ブロックＢ１４）。
As described above, when the process of block B13 is executed, the call by the administrator is canceled, but the
この場合、作業員端末１０のディスプレイ（レンズ一体型スクリーン１００２）には、制御部４１によって出力された通知が表示される。具体的には、作業員端末１０のディスプレイには、管理者によって発呼操作が行われたこと（つまり、管理者が対象作業員に対して発呼しようとしていたこと）を表すメッセージやマーク等が表示される。このメッセージやマーク等は、作業員端末１０を装着する対象作業員の視界を確保するために、図１５に示すようにレンズ一体型スクリーン１００２の一部の領域１１００等に表示されるものとする。図１５に示す領域１１００はレンズ一体型スクリーン１００２の上部に配置されているが、対象作業員の視界を確保することができるのであれば、領域１１００は当該レンズ一体型スクリーン１００２の他の位置（例えば、下部等）に設けられていてもよい。
In this case, the notification output by the
管理者によって発呼操作が行われたことは、作業員端末１０に備えられるＬＥＤランプを点灯させる等によって作業員に通知されてもよい。
The operator may be notified that the call operation has been performed by the administrator, for example, by turning on an LED lamp provided in the
なお、本実施形態においては、対象作業員の状態が「危険」であるときに管理者からの着呼があった場合には、例えば当該着呼に応答しようとして思わぬ事故が生じる可能性があるという観点に基づいて、対象作業員の状態が「危険」である場合には管理者による発呼を中止するように促す。一方、対象作業員の状態が「危険」である場合に作業員端末１０のディスプレイにメッセージ等を表示した場合であっても、当該メッセージを確認しようとして思わぬ事故が生じる可能性がある。このため、このようなメッセージ等は、例えば対象作業員の状態が「危険」から「安全」に更新された（つまり、対象作業員が危険であるという状態が解消された）後に表示されるようにしてもよい。
In the present embodiment, when an incoming call is received from an administrator when the target worker is in a “dangerous” state, an unexpected accident may occur, for example, in response to the incoming call. Based on the viewpoint of the existence, when the state of the target worker is “dangerous”, the manager is prompted to cancel the call. On the other hand, even when a message or the like is displayed on the display of the
また、本実施形態においては上記したように対象作業員の状態が「危険」である場合に管理者による発呼を中止するように促すが、これに反して管理者が対象作業員に対して発呼する場合もあり得る。この場合には、対象作業員の危険防止（安全確保）のために管理者によって発呼された際の作業員端末１０における呼出音（着信音）が出力されない（つまり、音が鳴らない）ようにしてもよい。このような構成では、対象作業員は着呼に気づかない場合が多いため、例えば対象作業員の状態が「危険」から「安全」に更新された際に、作業員端末１０における着呼履歴が当該作業員端末１０のディスプレイに表示されるようにしてもよい。
Further, in the present embodiment, as described above, when the state of the target worker is “danger”, the administrator urges the caller to cancel the call. A call may be made. In this case, the ringing tone (ringing tone) at the
更に、対象作業員の状態が「危険」である場合には、例えば管理サーバ装置４０による制御のもと、対象作業員が装着する作業員端末１０における着呼が強制的に拒否されるようにしてもよい。
Further, when the state of the target worker is “danger”, for example, under the control of the
なお、図１４に示す処理においては、管理者によって発呼操作が行われたことを含む通知が作業員端末１０に出力される（つまり、管理者によって発呼操作が行われたことが作業員に通知される）ものとして主に説明したが、例えば作業員が危険な状態にあることが作業員に通知されても構わない。この場合、例えば作業員の近傍に設置されている製造装置２０の装置危険度が高いこと等を作業員に通知することができる。
In the process illustrated in FIG. 14, a notification including that the call operation has been performed by the administrator is output to the worker terminal 10 (that is, the worker having performed the call operation has been performed by the administrator). However, the worker may be notified that the worker is in a dangerous state, for example. In this case, for example, it is possible to notify the worker that the device risk of the
また、例えば作業員端末１０から定期的に送信される作業員の位置情報に基づいて当該作業員が移動していると判定され、かつ、当該作業員の近傍に危険な通路または場所等がある場合には、当該危険な通路または場所の存在等を作業員に通知するようにしてもよい。更に、作業用の車両等がワークエリア１００内を走行している場合には、当該車両に備えられたＧＰＳセンサによって検知された当該車両の位置に基づいて、当該車両が作業員に接近していること等を作業員に通知してもよい。この場合、作業員と車両との距離等が併せて通知されてもよい。
Further, for example, it is determined that the worker is moving based on the position information of the worker periodically transmitted from the
更に、作業員が危険な状態にあること以外にも、例えば作業員の近傍に設置されている製造装置の状態（例えば、試運転中であることや休止中であること等）が作業員に通知されても構わない。 In addition to the fact that the worker is in a dangerous state, for example, the worker is notified of the state of the manufacturing equipment installed in the vicinity of the worker (for example, being in a trial run or being out of service). It does not matter.
上記したように本実施形態においては、作業員端末（メガネ型ウェアラブル端末）１０を装着してワークエリア１００において作業を行う作業員（ユーザ）の位置を示す位置情報（第２の位置情報）を当該作業員端末１０から受信し、装置情報格納部４５に格納されている装置情報に含まれる位置情報（第１の位置情報）及び危険度と、当該受信された位置情報とに基づいて、作業員の状態を推定する。
As described above, in the present embodiment, position information (second position information) indicating the position of a worker (user) who wears the worker terminal (glasses-type wearable terminal) 10 and performs work in the
具体的には、例えば作業員端末１０（を装着する作業員）の近傍に設置されている製造装置２０の装置危険度が予め定められた値（第２の閾値）以上であると判定された場合には、作業員が危険な状態にあると推定することができる。
Specifically, for example, it is determined that the device risk level of the
この場合における作業員端末１０から受信される位置情報は、当該作業員端末１０に備えられるＧＰＳセンサ１４によって検知された位置を示すものとする。なお、作業員（によって装着される作業員端末１０）の位置は、例えばワークエリア１００に設けられている複数のアクセスポイントのうち作業員端末１０と通信可能なアクセスポイントの位置等に基づいて推定されても構わない。
In this case, the position information received from the
本実施形態においては、このような構成により、例えば各作業員の状態を管理者が確認する必要がないため、当該管理者の負担を軽減することができる。 In the present embodiment, with such a configuration, for example, it is not necessary for the administrator to check the state of each worker, so the burden on the administrator can be reduced.
また、本実施形態においては、作業員が高い位置にいる（作業員の高さ方向の位置が予め定められた位置よりも高い）と更に判定された場合に作業員が危険な状態にあると推定する構成とすることも可能である。また、作業員が作業中であると更に判定された場合に作業員が危険な状態にあると推定する構成とすることも可能である。このような構成によれば、より正確に作業員の状態（作業員が危険な状態にあること）を推定することができる。 In this embodiment, when it is further determined that the worker is at a high position (the position in the height direction of the worker is higher than a predetermined position), the worker is in a dangerous state. It is also possible to adopt an estimation configuration. It is also possible to adopt a configuration in which it is estimated that the worker is in a dangerous state when it is further determined that the worker is working. According to such a configuration, it is possible to estimate the worker's state (that the worker is in a dangerous state) more accurately.
なお、作業員の高さ方向の位置は、作業員端末１０に備えられる気圧センサ１６によって計測された気圧（の変化）に基づいて推定されるが、例えばワークエリア１００に設けられたカメラによって撮影された作業員を含む画像または作業員端末１０に備えられるカメラ１００３によって撮影された作業員の周辺の画像に基づいて推定されてもよい。また、作業員が作業中であるか否かは、作業員端末１０に備えられる加速度センサ１５によって計測された加速度を用いて判定されてもよいし、装置情報に含まれる製造装置２０の位置情報、作業員端末１０から受信された作業員の位置情報及び製造装置２０から受信されたステータス情報等を用いて判定されてもよい。
Note that the position in the height direction of the worker is estimated based on the atmospheric pressure (change) measured by the
更に、本実施形態においては、作業員に対して発呼するための操作（発呼操作）が管理者端末３０に対して行われた場合、作業員が危険な状態にあることを含む通知が当該管理者端末３０に出力される。本実施形態においては、このような構成により、管理者は危険な状態にある作業員に対する発呼を中止することができるため、作業員は管理者からの発呼に対応する着呼等に気をとられることなく作業（危険な作業）に専念することができる。これによれば、作業員の安全を確保することができると共に、当該作業員の作業効率及び製造装置２０の稼働率等を向上させることができる。なお、作業員が危険な状態にあることを含む通知は、例えば作業員が危険な状態にあることが推定された時点で管理者端末３０に出力されても構わない。
Furthermore, in the present embodiment, when an operation (calling operation) for calling a worker is performed on the
また、本実施形態においては、発呼操作が管理者端末３０に対して行われたこと（つまり、管理者が発呼しようとしていたこと）が作業員（によって装着される作業員端末１０）に通知される。本実施形態においては、このような構成により、例えば危険な作業が終了した後に作業員から管理者に対して発呼する（電話を掛ける）ことができるため、管理者から作業員への指示（連絡）等を効率的に行うことが可能となる。
Further, in the present embodiment, the fact that the call operation has been performed on the administrator terminal 30 (that is, that the administrator was about to make a call) is reported to the worker (the
なお、本実施形態においては、作業員端末１０としてメガネ型ウェアラブル端末を使用することにより、作業員は、ハンズフリーで作業を行うことが可能である。一方、本実施形態における作業員端末１０は、作業員の位置情報、加速度情報及び高さ情報を管理サーバ装置４０に対して提供（送信）することができるものであればよいため、例えばリストバンド型等の他の形状のウェアラブルデバイスであっても構わない。更に、作業員端末１０は、作業員によって所持されるスマートフォンのようなモバイルデバイスであってもよい。
In the present embodiment, by using a glasses-type wearable terminal as the
更に、作業員端末（メガネ型ウェアラブル端末）１０を装着する作業員がスマートフォン等のモバイルデバイスを所持している場合には、例えば作業員端末１０とスマートフォンとを連携させるような構成とすることも可能である。具体的には、作業員端末１０とスマートフォンとを例えばＢｌｕｅｔｏｏｔｈ等により通信可能に接続し、スマートフォンに備えられるＧＰＳセンサによって検知された位置を示す位置情報を作業員端末１０がスマートフォンから受信して利用するようにしてもよい。
Furthermore, when the worker wearing the worker terminal (glasses-type wearable terminal) 10 has a mobile device such as a smartphone, for example, the
また、スマートフォンに備えられるカメラによって撮影された画像を作業員端末１０に送信することによって、当該画像が作業員端末１０のディスプレイに表示されるようにしてもよい。
Moreover, the image captured by the camera provided in the smartphone may be transmitted to the
更に、スマートフォンに備えられている作業員の歩数を計測する機能等により作業員が移動している等の状態を検知して、当該検知された状態を管理サーバ装置４０に送信するような構成としてもよい。
Furthermore, as a configuration in which a state such as a worker moving is detected by a function of measuring the number of steps of the worker provided in the smartphone, and the detected state is transmitted to the
また、作業員端末１０が音声通話機能を有していない構成である場合には、スマートフォンが有する音声通話機能を利用して、作業員と管理者との音声通話が行われても構わない。
In addition, when the
このように作業員端末１０とスマートフォンとを連携させた場合には、当該スマートフォンが有する各種機能を利用することが可能となる。
When the
（第２の実施形態）
次に、第２の実施形態について説明する。本実施形態における管理システムが使用される環境、当該管理システムのネットワーク構成、作業員端末、管理者端末及び管理サーバ装置の各構成等については、前述した第１の実施形態と同様であるため、ここではその詳しい説明を省略する。なお、以下においては、適宜、図１〜図７を用いて説明する。本実施形態においては、前述した第１の実施形態と異なる部分について主に説明する。
(Second Embodiment)
Next, a second embodiment will be described. Since the environment in which the management system in the present embodiment is used, the network configuration of the management system, the worker terminal, the administrator terminal, and the configuration of the management server device are the same as those in the first embodiment, Detailed description thereof is omitted here. In the following, description will be given with reference to FIGS. In the present embodiment, the differences from the first embodiment described above will be mainly described.
本実施形態においては、管理サーバ装置４０に含まれる装置情報格納部４５に格納されている装置情報のデータ構造が前述した第１の実施形態とは異なる。
In the present embodiment, the data structure of the device information stored in the device
図１６は、本実施形態における装置情報格納部４５に格納されている装置情報のデータ構造の一例を示す。図１６に示すように、装置情報格納部４５に格納されている装置情報には、装置ＩＤに対応づけて位置情報、装置危険度、作業名及び作業危険度が含まれている。装置ＩＤ、位置情報及び装置危険度については、前述した図９において説明した通りであるため、その詳しい説明を省略する。
FIG. 16 shows an example of the data structure of the device information stored in the device
作業名は、当該作業名に対応づけられている装置ＩＤによって識別される製造装置２０の製造工程において作業員が行う作業を示す。この装置情報に含まれる作業名は、前述した図１０に示す工程情報に含まれる作業名によって示される作業を更に細分化した作業を示す。このため、図１６に示す装置情報においては、１つの装置ＩＤに対応づけて複数の作業名が対応づけられている。
The work name indicates the work performed by the worker in the manufacturing process of the
作業危険度は、当該作業危険度に対応づけられている作業名によって示される作業（内容）に関する危険度を示す。 The work risk level indicates the risk level related to the work (contents) indicated by the work name associated with the work risk level.
図１６に示す例では、装置情報格納部４５には、装置情報４５１ａ、４５２ａ及び４５３ａが格納されている。なお、装置情報４５１ａは、装置ＩＤ「Ｍ＿０００１」によって識別される製造装置２０に関する情報である。装置情報４５２ａは、装置ＩＤ「Ｍ＿０００２」によって識別される製造装置２０に関する情報である。装置情報４５３ａは、装置ＩＤ「Ｍ＿０００３」によって識別される製造装置２０に関する情報である。
In the example illustrated in FIG. 16,
装置情報４５１ａには、装置ＩＤ「Ｍ＿０００１」に対応づけて作業名「作業Ａ１」、「作業Ａ２」及び「作業Ａ３」が含まれている。この作業名「作業Ａ１」〜「作業Ａ３」の各々によって示される作業は、上述した図１０において説明した装置ＩＤ「Ｍ＿０００１」によって識別される製造装置２０の製造工程において作業員が行う作業Ａを細分化したときの各作業に相当する。また、装置情報４５１ａには、作業名「作業Ａ１」、「作業Ａ２」及び「作業Ａ３」に対応づけて作業危険度「１」、「３」及び「５」がそれぞれ含まれている。この装置情報４５１ａによれば、作業名「作業Ａ１」によって示される作業に関する危険度が１であり、作業名「作業Ａ２」によって示される作業に関する危険度が３であり、作業名「作業Ａ３」によって示される作業に関する危険度が５であることが示されている。
The
装置情報４５２ａには、装置ＩＤ「Ｍ＿０００２」に対応づけて作業名「作業Ｂ１」及び「作業Ｂ２」が含まれている。この作業名「作業Ｂ１」及び「作業Ｂ２」の各々によって示される作業は、上述した図１０において説明した装置ＩＤ「Ｍ＿０００２」によって識別される製造装置２０の製造工程において作業員が行う作業Ｂを細分化したときの各作業に相当する。また、装置情報４５２ａには、作業名「作業Ｂ１」及び「作業Ｂ２」に対応づけて作業危険度「２」及び「４」がそれぞれ含まれている。この装置情報４５２ａによれば、作業名「作業Ｂ１」によって示される作業に関する危険度が２であり、作業名「作業Ｂ２」によって示される作業に関する危険度が４であることが示されている。
The
装置情報４５３ａには、装置ＩＤ「Ｍ＿０００３」に対応づけて作業名「作業Ｃ１」が含まれている。なお、上述した図１０において説明した装置ＩＤ「Ｍ＿０００３」によって識別される製造装置２０の製造工程において作業員が行う作業Ｃは細分化することができない作業であるものとする。このため、装置情報４５３ａにおいて、装置ＩＤ「Ｍ＿０００３」には１つの作業名のみが対応づけられている。この場合、図１０に示す工程情報４６３に含まれる作業名「作業Ｃ」と装置情報４５３ａに含まれる作業名「作業Ｃ１」とは同一の作業を示す。この装置情報４５３ａには、作業名「作業Ｃ１」に対応づけて作業危険度「１」が含まれている。この装置情報４５３ａによれば、作業名「作業Ｃ１」によって示される作業に関する危険度が１であることが示されている。
The
本実施形態においては、上記した作業危険度を用いて作業員の状態（「危険」または「安全」）が推定される。 In the present embodiment, the worker's state (“danger” or “safety”) is estimated using the above-described work risk level.
以下、図１７に示すフローチャートを参照して、本実施形態における状態推定処理の処理手順について説明する。 Hereinafter, with reference to the flowchart shown in FIG. 17, the processing procedure of the state estimation process in this embodiment is demonstrated.
まず、前述した図１３に示すブロックＢ１〜Ｂ６の処理に相当するブロックＢ２１〜Ｂ２６の処理が実行される。 First, processing of blocks B21 to B26 corresponding to the processing of blocks B1 to B6 shown in FIG. 13 is executed.
ここで、ブロックＢ２６においてはブロックＢ２１において受信された対象作業員の加速度情報によって示される加速度（の変化）に基づいて対象作業員が作業中であるか否かが判定されるが、特定の作業時には特定の振動（加速度）が対象作業員に生じる場合があり、当該加速度に基づいて対象作業員が作業中である作業（内容）を特定（推定）することができる場合がある。なお、各作業において生じる加速度（のパターン）については予め管理サーバ装置４０内で保持されているものとする。
Here, in block B26, it is determined whether the target worker is working based on the acceleration (change) indicated by the acceleration information of the target worker received in block B21. Sometimes, a specific vibration (acceleration) may occur in the target worker, and the work (content) that the target worker is working on may be specified (estimated) based on the acceleration. It is assumed that the acceleration (pattern) generated in each work is stored in the
このため、ブロックＢ２６において対象作業員が作業中であると判定された場合（ブロックＢ２６のＹＥＳ）、制御部４１は、上記したように特定された作業を示す作業名に対応づけて装置情報に含まれる作業危険度（対象製造装置２０の作業危険度）を取得する（ブロックＢ２７）。
For this reason, when it is determined in block B26 that the target worker is working (YES in block B26), the
次に、制御部４１は、ブロックＢ２７において取得された対象製造装置２０の作業危険度が高いか否かを判定する（ブロックＢ２８）。この場合、制御部４１は、対象製造装置２０の作業危険度が予め定められた値（以下、第３の閾値と表記）以上であるか否かを判定する。対象製造装置２０の作業危険度が第３の閾値以上であると判定される場合、対象製造装置２０の作業危険度が高いと判定される。一方、対象製造装置２０の作業危険度が第３の閾値以上でないと判定される場合、対象製造装置２０の作業危険度が高くないと判定される。
Next, the
対象製造装置２０の作業危険度が高いと判定された場合（ブロックＢ２８のＹＥＳ）、前述した図１３に示すブロックＢ７の処理に相当するブロックＢ２９の処理が実行される。
When it is determined that the work risk level of the
一方、ブロックＢ２８において対象製造装置２０の作業危険度が高くないと判定された場合（ブロックＢ２８のＮＯ）、対象作業員は危険な状態にない（つまり、安全な状態にある）と推定されて処理は終了される。
On the other hand, when it is determined in block B28 that the risk of work of the
このように図１７に示す処理においては、対象作業員の近傍に危険度の高い製造装置２０が設置されており、かつ、対象作業員が高い位置で危険な作業を行っている場合に、当該対象作業員が危険な状態にあると推定される。なお、ブロックＢ２４〜Ｂ２６及びＢ２８の処理のうちの少なくとも１つが省略されるような構成であってもよい。ブロックＢ２８の処理が省略される場合には、ブロックＢ２７の処理も省略されるものとする。
As described above, in the process shown in FIG. 17, when the high-
また、ブロックＢ２７の処理時においては、例えば作業員情報格納部４４または工程情報格納部４６に格納されている情報（作業員情報または工程情報）を利用して、対象作業員が作業中である作業（内容）が推定されても構わない。具体的には、対象作業員に関する作業員情報に含まれるステータスが「作業中」である場合であって、例えば対象製造装置２０を識別するための装置ＩＤに対応づけて工程情報に含まれるステータスが「製造中」である場合には、当該工程情報に含まれる作業名によって示される作業が対象作業員が作業中の作業であると特定（推定）することができる。
At the time of processing of block B27, for example, the target worker is working using information (worker information or process information) stored in the worker
また、対象製造装置２０から受信されるステータス情報が当該対象製造装置２０に対して行われている操作（内容）を含むものであれば、当該操作等から対象作業員の作業内容を特定することが可能な場合がある。このため、各製造装置２０が、当該製造装置２０に対して行われている操作を含むステータス情報を管理サーバ装置４０に送信するような構成としてもよい。また、各製造装置２０が、当該製造装置２０に対して行われている操作や当該製造装置２０の稼働状態等に応じて現在行われていると推察される作業名等を含むステータス情報を管理サーバ装置４０に送信するような構成としてもよい。
Further, if the status information received from the
なお、本実施形態においては詳細な説明を省略するが、上記した図１７に示す処理が実行されることによって各作業員の状態が推定された後に、管理者が作業員に対する発呼操作を管理者端末３０において行う場合には、前述した図１４において説明した処理が実行される。
Although detailed explanation is omitted in the present embodiment, the manager manages the call operation for the worker after the state shown in FIG. 17 is executed and the state of each worker is estimated. When the process is performed at the
上記したように本実施形態においては、前述した第１の実施形態と比較して、作業員が行っている作業に関する危険度が予め定められた値（第３の閾値）以上であると更に判定された場合に、作業員が危険な状態にあると推定される。 As described above, in the present embodiment, it is further determined that the degree of risk related to the work performed by the worker is greater than or equal to a predetermined value (third threshold value) as compared with the first embodiment described above. If this happens, it is estimated that the worker is in danger.
ここで、例えば作業員が装置危険度が高い製造装置２０の近傍で作業を行っている（当該製造装置２０に対して作業を行っている）場合であっても、当該製造装置２０の製造工程の進捗状況によっては、現在の作業に関する危険度は高くない場合がある。
Here, for example, even when a worker is working in the vicinity of the
本実施形態においては、上記したように作業危険度を用いるにより、作業員が行っている作業に関する危険度が高くない（つまり、着呼に応答することができる状態である）にもかかわらず管理者に発呼を中止させてしまう（管理者が電話しないようにする）ことを回避することができる。これにより、第１の実施形態と比較して、管理者から作業員への指示（連絡）をより円滑に行うことができる。 In the present embodiment, as described above, by using the work risk level, management is performed even though the risk level related to the work performed by the worker is not high (that is, the call can be answered). It is possible to prevent the caller from canceling the call (so that the administrator does not make a call). Thereby, compared with 1st Embodiment, the instruction | indication (contact) from a manager to an operator can be performed more smoothly.
（第３の実施形態）
次に、第３の実施形態について説明する。本実施形態においては、メガネ型ウェアラブル端末である作業員端末１０が図１８に示すように視線検出センサ１８を備える点が前述した第２の実施形態とは異なる。
(Third embodiment)
Next, a third embodiment will be described. This embodiment is different from the second embodiment described above in that the
視線検出センサ１８は、例えば眼電位センシング技術を用いたセンサであり、作業員端末１０（眼の周囲）に付けられた複数の電極により、眼球の動きによって変化する、眼球の角膜側と網膜側との間に生じている電位差（電圧の変化）を計測する。 The line-of-sight detection sensor 18 is, for example, a sensor using an electrooculogram sensing technique, and changes depending on the movement of the eyeball by a plurality of electrodes attached to the worker terminal 10 (around the eye). Measure the potential difference (change in voltage) between the two.
作業員端末１０は、このような視線検出センサ１８を利用することによって、当該視線検出センサ１８によって計測された電位差に基づいて作業員のまばたきの回数及び視線の角度（方向）等を得ることができる。
The
作業員端末１０によって得られたまばたきの回数及び視線の角度等を含む情報（以下、視線情報と表記）は、他の情報（位置情報、加速度情報及び高さ情報）とともに通信モジュール１７を介して管理サーバ装置４０に送信される。
Information including the number of blinks and the line-of-sight angle obtained by the worker terminal 10 (hereinafter referred to as line-of-sight information) is transmitted via the
本実施形態においては、この視線情報を用いて作業員の状態（「危険」または「安全」）が推定される。 In this embodiment, the worker's state (“danger” or “safe”) is estimated using this line-of-sight information.
以下、図１９に示すフローチャートを参照して、本実施形態における状態推定処理の処理手順について説明する。 Hereinafter, with reference to the flowchart shown in FIG. 19, the processing procedure of the state estimation process in this embodiment is demonstrated.
まず、管理サーバ装置４０に含まれる通信処理部４２は、対象作業員の位置情報、加速度情報、高さ情報及び視線情報を対象作業員端末１０から受信する（ブロックＢ３１）。通信処理部４２によって受信された視線情報には、上記したように対象作業員のまばたきの回数及び視線の角度が含まれる。
First, the
次に、前述した図１７に示すブロックＢ２２〜ブロックＢ２８の処理に相当するブロックＢ３２〜Ｂ３８の処理が実行される。 Next, the processing of blocks B32 to B38 corresponding to the processing of block B22 to block B28 shown in FIG. 17 is executed.
ここで、対象作業員が危険な状態にある（と感じている）場合には、当該対象作業員は緊張状態にある場合が多い。また、緊張状態にある人間は、一般的にまばたきの回数が増加する傾向にある。このため、本実施形態においては、ブロックＢ３１において受信された視線情報を対象作業員が緊張状態にあるか否かを判定するために用いる。 Here, when the target worker is in a dangerous state (feels), the target worker is often in a tension state. In addition, a person who is in a tension state generally tends to increase the number of blinks. For this reason, in this embodiment, the line-of-sight information received in block B31 is used to determine whether or not the target worker is in a tension state.
ブロックＢ３８において対象製造装置２０の作業危険度が高いと判定された場合（ブロックＢ３８）、制御部４１は、ブロックＢ３１において受信された視線情報に基づいて対象作業員が緊張状態にあるか否かを判定する（ブロックＢ３９）。この場合、制御部４１は、視線情報に含まれる対象作業員のまばたきの回数が予め定められた値（以下、第４の閾値と表記）以上であるか否かを判定する。対象作業員のまばたき回数が第４の閾値以上であると判定される場合、対象作業員が緊張状態にあると判定される。一方、対象作業員のまばたきの回数が第４の閾値以上でないと判定される場合、対象作業員が緊張状態にないと判定される。
When it is determined in block B38 that the work risk of the
なお、第４の閾値は、例えば通常時における対象作業員のまばたきの回数等から定められた値であり、予め管理サーバ装置４０内に保持されているものとする。
The fourth threshold is a value determined from, for example, the number of times the target worker blinks during normal times, and is assumed to be stored in the
また、緊張状態にある人間は、視線の動き（角度の変化）にも特徴がある場合がある。このため、上記したブロックＢ３９においては、ブロックＢ３１において受信された視線情報に含まれる視線の角度を考慮した処理が実行されても構わない。 In addition, a person who is in a tension state may be characterized by the movement of the line of sight (change in angle). For this reason, in the above-described block B39, processing in consideration of the line-of-sight angle included in the line-of-sight information received in block B31 may be executed.
対象作業員が緊張状態にあると判定された場合（ブロックＢ３９のＹＥＳ）、前述した図１７に示すブロックＢ２９の処理に相当するブロックＢ４０の処理が実行される。 When it is determined that the target worker is in a tension state (YES in block B39), the process of block B40 corresponding to the process of block B29 shown in FIG. 17 described above is executed.
一方、対象作業員が緊張状態にないと判定された場合（ブロックＢ３９のＮＯ）、対象作業員は危険な状態にない（つまり、安全な状態にある）と推定されて処理は終了される。 On the other hand, when it is determined that the target worker is not in a tension state (NO in block B39), it is estimated that the target worker is not in a dangerous state (that is, in a safe state), and the process ends.
このように図１９に示す処理においては、対象作業員の近傍に危険度の高い製造装置２０が設置されており、かつ、対象作業員が高い位置で危険な作業を行っており、かつ、対象作業員が緊張状態にある場合に、当該対象作業員が危険な状態にあると推定される。なお、ブロックＢ３４〜Ｂ３６、Ｂ３８及びＢ３９の処理のうちの少なくとも１つが省略されるような構成であってもよい。
As described above, in the process shown in FIG. 19, the
なお、本実施形態においては詳細な説明を省略するが、上記した図１９に示す処理が実行されることによって各作業員の状態が推定された後に、管理者が作業員に対する発呼操作を管理者端末３０において行う場合には、前述した図１４において説明した処理が実行される。
Although detailed explanation is omitted in the present embodiment, the manager manages the call operation for the worker after the state shown in FIG. 19 is executed and the state of each worker is estimated. When the process is performed at the
上記したように本実施形態においては、前述した第２の実施形態と比較して、作業員のまばたきの回数が予め定められた値（第４の閾値）以上であると更に判定された場合に、作業員が危険な状態にあると推定される。 As described above, in the present embodiment, when it is further determined that the number of blinks of the worker is equal to or greater than a predetermined value (fourth threshold value) as compared with the second embodiment described above. It is estimated that the worker is in a dangerous state.
本実施形態においては、このような構成により、例えば作業員が緊張状態にある等の管理者による発呼に対応する着呼に応答することができないまたは着呼に応答することによって事故等が生じる可能性が高い（と推測される）場合にのみ作業員が危険な状態にあると推定するため、不必要に管理者から作業員への発呼を中止させることを抑制することが可能となる。 In the present embodiment, with such a configuration, for example, an operator cannot respond to an incoming call corresponding to an outgoing call by an administrator, such as a worker being in a tension state, or an accident or the like occurs due to an incoming call answering. Since it is estimated that the worker is in a dangerous state only when the possibility is high (presumed), it is possible to prevent the manager from calling the worker unnecessarily. .
なお、本実施形態における視線検出センサ１８は眼電位センシング技術を用いたセンサ（眼電位センサ）であるものとして説明したが、視線検出センサ１８は、上記した作業員のまばたきの回数及び視線の角度等を得ることができるセンサであれば他のセンサであっても構わない。具体的には、例えば作業員の眼球運動を撮影することが可能なカメラ（赤外線カメラ及び可視光カメラ等）が視線検出センサ１８として用いられても構わない。 Note that although the line-of-sight detection sensor 18 in the present embodiment has been described as a sensor (ocular potential sensor) using an electro-oculography sensing technique, the line-of-sight detection sensor 18 includes the number of blinks of the worker and the angle of the line of sight. Other sensors may be used as long as they can obtain the above. Specifically, for example, a camera (such as an infrared camera and a visible light camera) that can photograph the eye movement of the worker may be used as the line-of-sight detection sensor 18.
また、本実施形態において視線検出センサ１８を用いて得られる視線情報（まばたきの回数及び視線の角度等）は、作業員端末１０を操作するために利用されても構わない。すなわち、作業員端末１０は、作業員のまばたきの回数及び視線の角度（方向）等によって操作可能なように構成されていても構わない。
Further, line-of-sight information (number of blinks, line-of-sight angle, etc.) obtained using the line-of-sight detection sensor 18 in the present embodiment may be used to operate the
以上説明した少なくとも１つの実施形態によれば、予め定められた範囲内において作業を行う作業員（ユーザ）の状態を推定することが可能な電子機器及び方法を提供することができる。 According to at least one embodiment described above, it is possible to provide an electronic device and a method capable of estimating the state of a worker (user) who performs work within a predetermined range.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and the equivalents thereof.
１０…作業員端末（ユーザ端末）、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…ＧＰＳセンサ、１５…加速度センサ、１６…気圧センサ、１７…通信モジュール、１８…視線検出センサ、２０…製造装置、３０…管理者端末、３１…ＣＰＵ、３２…ＲＯＭ、３３…ＲＡＭ、３４…通信モジュール、３５…ディスプレイ、４０…管理サーバ装置、４１…制御部、４２…通信処理部、４３…情報管理部、４４…作業員情報格納部、４５…装置情報格納部、４６…工程情報格納部。
DESCRIPTION OF
Claims (5)
レンズと、
所定位置に設置された調整機構と
を具備し、
付加画像から得られた画像光が、前記レンズを通過して虚像を形成し、
前記調整機構に基づいて前記虚像に関する第１の変化が発生し、
所定のセンサから得られた情報を利用して、前記ユーザの状態を推定し、
前記推定された前記ユーザの状態の変化に応じて、前記虚像に関する第２の変化が発生する
ウェアラブル端末。 In wearable terminals that users can wear,
A lens,
An adjustment mechanism installed at a predetermined position,
The image light obtained from the additional image passes through the lens to form a virtual image,
A first change relating to the virtual image occurs based on the adjustment mechanism;
Using information obtained from a given sensor, estimating the user's state,
A wearable terminal in which a second change relating to the virtual image occurs in accordance with the estimated change in the state of the user.
付加画像から得られた画像光が、前記レンズを通過して虚像を形成するステップと、
前記調整機構に基づいて前記虚像に関する第１の変化を発生させるステップと、
所定のセンサから得られた情報を利用して、前記ユーザの状態を推定するステップと、
前記推定された前記ユーザの状態の変化に応じて、前記虚像に関する第２の変化を発生させるステップと
を具備する方法。 A method performed by a wearable terminal wearable by a user having a lens and an adjustment mechanism installed at a predetermined position,
Image light obtained from the additional image passes through the lens to form a virtual image;
Generating a first change for the virtual image based on the adjustment mechanism;
Estimating the state of the user using information obtained from a predetermined sensor;
Generating a second change relating to the virtual image in response to the estimated change in the user state.
付加画像から得られた画像光が、前記レンズを通過して虚像を形成するステップと、
前記調整機構に基づいて前記虚像に関する第１の変化を発生させるステップと、
前記ウェアラブル端末と通信可能な携帯端末に備えられた機能を利用して、前記ユーザの状態を検知するステップと、
前記検知された前記ユーザの状態の変化に応じて、前記虚像に関する第２の変化を発生させるステップと
を具備する方法。 A method performed by a wearable terminal wearable by a user having a lens and an adjustment mechanism installed at a predetermined position,
Image light obtained from the additional image passes through the lens to form a virtual image;
Generating a first change for the virtual image based on the adjustment mechanism;
Detecting a state of the user by using a function provided in a portable terminal capable of communicating with the wearable terminal;
Generating a second change relating to the virtual image in response to the detected change in the state of the user.
付加画像から得られた画像光が、前記レンズを通過して虚像を形成し、
前記調整機構に基づいて前記虚像に関する第１の変化が発生し、
前記携帯端末に備えられた機能を利用して、前記ユーザの状態を検知し、
前記検知された前記ユーザの状態の変化に応じて、前記虚像に関する第２の変化が発生する
システム。 In a system comprising a portable terminal and a wearable terminal that can be worn by a user, having a lens and an adjustment mechanism installed at a predetermined position,
The image light obtained from the additional image passes through the lens to form a virtual image,
A first change relating to the virtual image occurs based on the adjustment mechanism;
Using the functions provided in the mobile terminal, the state of the user is detected,
A system in which a second change relating to the virtual image occurs in response to the detected change in the state of the user.
付加画像から得られた画像光が、前記レンズを通過して虚像を形成し、
前記調整機構に基づいて前記虚像に関する第１の変化が発生し、
前記携帯端末に備えられた機能を利用して、前記ユーザの状態を検知し、
前記検知された前記ユーザの状態が、前記携帯端末から前記サーバ装置に送信され、
前記検知された前記ユーザの状態の変化に応じて、前記サーバ装置から前記ウェアラブル端末への通知が行われ、
前記通知の結果として前記虚像に関する第２の変化が発生する
システム。 In a system comprising a server device, a portable terminal, and a wearable terminal that can be worn by a user, having a lens and an adjustment mechanism installed at a predetermined position.
The image light obtained from the additional image passes through the lens to form a virtual image,
A first change relating to the virtual image occurs based on the adjustment mechanism;
Using the functions provided in the mobile terminal, the state of the user is detected,
The detected state of the user is transmitted from the mobile terminal to the server device,
In response to the detected change in the user status, notification from the server device to the wearable terminal is performed,
A system in which a second change relating to the virtual image occurs as a result of the notification.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019124457A JP2019197564A (en) | 2019-07-03 | 2019-07-03 | Wearable terminal, system, and method |
| JP2021082254A JP2021120901A (en) | 2019-07-03 | 2021-05-14 | Wearable terminal, system, and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019124457A JP2019197564A (en) | 2019-07-03 | 2019-07-03 | Wearable terminal, system, and method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018126562A Division JP2018195321A (en) | 2018-07-03 | 2018-07-03 | Wearable terminal and method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021082254A Division JP2021120901A (en) | 2019-07-03 | 2021-05-14 | Wearable terminal, system, and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019197564A true JP2019197564A (en) | 2019-11-14 |
Family
ID=68537639
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019124457A Pending JP2019197564A (en) | 2019-07-03 | 2019-07-03 | Wearable terminal, system, and method |
| JP2021082254A Pending JP2021120901A (en) | 2019-07-03 | 2021-05-14 | Wearable terminal, system, and method |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021082254A Pending JP2021120901A (en) | 2019-07-03 | 2021-05-14 | Wearable terminal, system, and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP2019197564A (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023166603A1 (en) * | 2022-03-02 | 2023-09-07 | 日本電気株式会社 | Information processing device, information processing method, and recording medium |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011023939A (en) * | 2009-07-15 | 2011-02-03 | Brother Industries Ltd | Attachment device for hmd |
| JP2011053468A (en) * | 2009-09-02 | 2011-03-17 | Sony Corp | Video/character simultaneous display device, and head-mounted display |
| JP2011225042A (en) * | 2010-04-16 | 2011-11-10 | Toyota Boshoku Corp | Seat for vehicle |
| JP2014021500A (en) * | 2012-07-18 | 2014-02-03 | Johnson & Johnson Vision Care Inc | Neuromuscular sensing for variable-optic electronic ophthalmic lens |
| US20140347265A1 (en) * | 2013-03-15 | 2014-11-27 | Interaxon Inc. | Wearable computing apparatus and method |
| JP2015005972A (en) * | 2013-05-22 | 2015-01-08 | 株式会社テレパシーホールディングス | Wearable device having privacy protection function for captured image and control method for the same, and image sharing system |
| JP2015023381A (en) * | 2013-07-18 | 2015-02-02 | セイコーエプソン株式会社 | Transmissive display device and method of controlling transmissive display device |
| WO2015125626A1 (en) * | 2014-02-20 | 2015-08-27 | ソニー株式会社 | Display control device, display control method, and computer program |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0832898A (en) * | 1994-07-19 | 1996-02-02 | Seiko Epson Corp | Head mount type video display device |
| JP3346050B2 (en) * | 1994-10-05 | 2002-11-18 | ミノルタ株式会社 | Diopter adjustment device |
| JP2001092562A (en) * | 1999-09-20 | 2001-04-06 | Toshiba Corp | Mounted type information processor and its controlling method |
| JP3846844B2 (en) * | 2000-03-14 | 2006-11-15 | 株式会社東芝 | Body-mounted life support device |
| JP2001344352A (en) * | 2000-05-31 | 2001-12-14 | Toshiba Corp | Life assisting device, life assisting method and advertisement information providing method |
| JP3406965B2 (en) * | 2000-11-24 | 2003-05-19 | キヤノン株式会社 | Mixed reality presentation device and control method thereof |
| JP2005266187A (en) * | 2004-03-18 | 2005-09-29 | Brother Ind Ltd | Wavefront curvature modulator and image display device |
| JP2006146778A (en) * | 2004-11-24 | 2006-06-08 | Konica Minolta Photo Imaging Inc | Head mount display device |
| JP2009288696A (en) * | 2008-05-30 | 2009-12-10 | Gifu Univ | Optical system, head-mounted projector, and retro-transmitting element |
| JP5333477B2 (en) * | 2011-02-14 | 2013-11-06 | 日本電気株式会社 | Field work support system, apparatus, method and program |
| JP2013210793A (en) * | 2012-03-30 | 2013-10-10 | Ntt Data Corp | System, method, and program for optimizing ar display |
| US9448404B2 (en) * | 2012-11-13 | 2016-09-20 | Qualcomm Incorporated | Modifying virtual object display properties to increase power performance of augmented reality devices |
| JP6340807B2 (en) * | 2014-02-05 | 2018-06-13 | 株式会社リコー | Image display device and moving body |
-
2019
- 2019-07-03 JP JP2019124457A patent/JP2019197564A/en active Pending
-
2021
- 2021-05-14 JP JP2021082254A patent/JP2021120901A/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011023939A (en) * | 2009-07-15 | 2011-02-03 | Brother Industries Ltd | Attachment device for hmd |
| JP2011053468A (en) * | 2009-09-02 | 2011-03-17 | Sony Corp | Video/character simultaneous display device, and head-mounted display |
| JP2011225042A (en) * | 2010-04-16 | 2011-11-10 | Toyota Boshoku Corp | Seat for vehicle |
| JP2014021500A (en) * | 2012-07-18 | 2014-02-03 | Johnson & Johnson Vision Care Inc | Neuromuscular sensing for variable-optic electronic ophthalmic lens |
| US20140347265A1 (en) * | 2013-03-15 | 2014-11-27 | Interaxon Inc. | Wearable computing apparatus and method |
| JP2015005972A (en) * | 2013-05-22 | 2015-01-08 | 株式会社テレパシーホールディングス | Wearable device having privacy protection function for captured image and control method for the same, and image sharing system |
| JP2015023381A (en) * | 2013-07-18 | 2015-02-02 | セイコーエプソン株式会社 | Transmissive display device and method of controlling transmissive display device |
| WO2015125626A1 (en) * | 2014-02-20 | 2015-08-27 | ソニー株式会社 | Display control device, display control method, and computer program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021120901A (en) | 2021-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6367166B2 (en) | Electronic apparatus and method | |
| JP6509686B2 (en) | Electronic device and method | |
| KR102479162B1 (en) | Condition responsive indication assembly and method | |
| US20170068924A1 (en) | Spectacle-type electronic device, work management system, and information management server | |
| JP2019526187A (en) | Control system and method | |
| US9451143B2 (en) | Image reception device, image capture device, image capture system, image reception method, and non-transitory medium saving program | |
| KR101648076B1 (en) | Senior citizen safety monitoring system and method using beacon signal | |
| US20130162820A1 (en) | Street light having alarm device and alarm method | |
| JP2014133619A (en) | Alarm system for elevator maintenance work and alarm method for elevator maintenance work | |
| JP2019197564A (en) | Wearable terminal, system, and method | |
| JP2018190460A (en) | Wearable terminal and method | |
| JP2019197565A (en) | Wearable terminal, system, and method | |
| JP6246769B2 (en) | Electronic apparatus and method | |
| JP2018195321A (en) | Wearable terminal and method | |
| JP2008211658A (en) | Nurse call system | |
| JP2018050740A (en) | Calling indication system for nursing care using position information | |
| KR20150016687A (en) | Care System for Older People Living Alone | |
| JP6352874B2 (en) | Wearable terminal, method and system | |
| JP6445118B2 (en) | Wearable terminal, method and system | |
| JP6262177B2 (en) | Wearable terminal, method and system | |
| JP4645180B2 (en) | Video display device | |
| JP2016091265A (en) | Wearable terminal | |
| JP2019204386A (en) | Alarm system, information processor, information processing method, and information processing program | |
| JP2020000281A (en) | Nurse call system | |
| JP2018196644A (en) | Call terminal and call system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190703 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190703 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190805 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200908 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201022 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210323 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210928 |