JP2018081697A - System and wearable terminal - Google Patents
System and wearable terminal Download PDFInfo
- Publication number
- JP2018081697A JP2018081697A JP2017227149A JP2017227149A JP2018081697A JP 2018081697 A JP2018081697 A JP 2018081697A JP 2017227149 A JP2017227149 A JP 2017227149A JP 2017227149 A JP2017227149 A JP 2017227149A JP 2018081697 A JP2018081697 A JP 2018081697A
- Authority
- JP
- Japan
- Prior art keywords
- user
- wearable terminal
- sensor
- work
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明の実施形態はメガネ型ウェアラブル端末を利用するシステム及びウェアラブル端末に関する。 Embodiments described herein relate generally to a system using a glasses-type wearable terminal and a wearable terminal.
多数の製造装置を有する製造現場又は製造工場においては、製造装置の稼働率が製品の生産量に影響を及ぼす大きな要因となっている。定期的な保守・点検の不備のために生じる本来回避可能な製造装置の故障又は製造装置に突発的不具合が発生した時の対応の不手際により、製造装置が稼働できない状態が時間的に長く続くことは、稼働率の低下と製品の生産量低下を招く。したがって、製造装置の停止時間を可能な限り短縮することが求められる。製造装置毎に保守・点検・修理の作業が異なるので、作業者は作業の各段階での作業手順を記したマニュアル又はチェックリスト(以下、チェックリストと総称する)を参照することがある。近年、製造現場でウェアラブル端末が盛んに利用されており、例えば、製造現場で作業者がメガネ型ウェアラブル端末を装着し、チェックリストがレンズ面に表示される。これにより、作業者は作業中に紙のチェックリストを参照する必要が無く、作業の手を休めることなく、不慣れ又は複雑な作業でも効率よく行うことができる。 In a manufacturing site or a manufacturing factory having a large number of manufacturing apparatuses, the operation rate of the manufacturing apparatus is a major factor affecting the production volume of products. The manufacturing equipment cannot be operated for a long time due to failure of the manufacturing equipment that can be avoided due to inadequate periodic maintenance and inspections, or inadequate handling when a sudden failure occurs in the manufacturing equipment. Leads to a decrease in availability and product output. Therefore, it is required to shorten the stop time of the manufacturing apparatus as much as possible. Since maintenance, inspection, and repair work are different for each manufacturing apparatus, an operator may refer to a manual or a check list (hereinafter collectively referred to as a check list) that describes a work procedure at each stage of the work. In recent years, wearable terminals are actively used at manufacturing sites. For example, an operator wears a glasses-type wearable terminal at a manufacturing site, and a checklist is displayed on the lens surface. This eliminates the need for the operator to refer to the paper checklist during the work, and allows the worker to efficiently perform an unfamiliar or complicated work without resting the work.
しかし、各段階の作業の遂行確実性を把握するためチェックリストのチェックが必要であるため、参照は画面で電子的に行われるが、依然として紙のチェックリストを用意し、各段階の作業が終了すると、作業者が作業の手を休め、記入している。このため、製造装置の停止を余儀なくされ、生産量低下に繋がる。さらに、オフィスに戻った後、作業者はこのチェックリストに基づき作業報告書を作成している。この作業報告書の作成は、作業者にとって煩雑である。 However, since it is necessary to check the checklist to ascertain the certainty of execution of the work at each stage, the reference is made electronically on the screen, but the paper checklist is still prepared and the work at each stage is completed. Then, the worker takes a rest and fills in the work. For this reason, the manufacturing apparatus is forced to stop, leading to a decrease in production. Furthermore, after returning to the office, the worker creates a work report based on this checklist. Creation of this work report is complicated for the worker.
カメラ付きヘッドマウントディスプレイを用いてオペレータの作業を支援するシステムが開発されている。その一例として、使用済みの汚染された内視鏡等の医療機器やメス、鉗子等の器具を取り扱うオペレータを支援する医療機器管理システムがある。 A system that supports an operator's work using a head mounted display with a camera has been developed. One example is a medical device management system that assists operators who handle used medical devices such as contaminated endoscopes and instruments such as scalpels and forceps.
このシステムは、医療機器又は器具を取り扱うオペレータの視野範囲を撮影する頭部装着型カメラと、医療機器又は器具を取り扱う際の模範的な作業時に撮影されたオペレータの視野範囲の画像を標準画像として記憶する記憶手段と、カメラによる撮影画像と記憶手段から読み出した標準画像とを比較し、両画像の類似度により所定の作業が標準的に行われているか否かを判別する第1の判別手段と、判別手段による判別結果に基づき警告又は指示を示す情報を出力する情報出力手段と、警告又は指示を示す情報に基づいてオペレータに警告又は指示を行う出力手段と、を備えている。 This system uses a head-mounted camera that captures the visual field range of an operator who handles a medical device or instrument, and an image of the visual field range of the operator that is captured during an exemplary operation when handling the medical device or instrument as a standard image. The first discriminating means for comparing the storage means for storing, the image taken by the camera and the standard image read from the storage means, and discriminating whether or not the predetermined work is normally performed based on the similarity between the two images. And an information output means for outputting information indicating a warning or an instruction based on a determination result by the determination means, and an output means for issuing a warning or an instruction to the operator based on the information indicating the warning or the instruction.
このシステムは、カメラで撮影した医療器具を取り扱うオペレータ作業内容と予め準備した標準画像とを比較し、オペレータ作業を自動認識している。しかし、この方法では画像間の単純なパターンマッチングでは認識精度が低いため、画像内の特徴部分抽出などの複雑な画像処理が必要となる。そのため、自動認識処理が高度に複雑になると共に多大な処理時間がかかる。 This system compares the operator work contents for handling medical instruments photographed by a camera with a standard image prepared in advance, and automatically recognizes the operator work. However, in this method, since simple pattern matching between images has low recognition accuracy, complicated image processing such as extraction of feature portions in the image is required. Therefore, the automatic recognition process becomes highly complicated and takes a lot of processing time.
本発明の目的は、短時間に簡単に、かつ精度よくウェアラブル端末のユーザの行動を認識し、認識結果に応じてユーザを支援する内容を表示するシステム及びウェアラブル端末を提供することである。 An object of the present invention is to provide a system and a wearable terminal that recognizes a user's behavior of a wearable terminal easily and accurately in a short time and displays contents for supporting the user according to the recognition result.
実施形態によれば、ウェアラブル端末は、画像を表示するディスプレイと、前記ディスプレイにより表示される前記画像をユーザの前方に投影する光学系とを具備する。前記ディスプレイにより表示される前記画像は前記ユーザの動きに応じて変化する。 According to the embodiment, the wearable terminal includes a display that displays an image, and an optical system that projects the image displayed on the display in front of the user. The image displayed on the display changes according to the movement of the user.
以下、図面を参照して、実施の形態について説明する。 Hereinafter, embodiments will be described with reference to the drawings.
ウェアラブル端末は、頭部装着型(これにはメガネ型、ゴーグル型、ヘルメット型等が含まれるが、これらを総称してメガネ型と称する場合もある)、リストバンド型、ペンダント型等があるが、ここでは、メガネ型ウェアラブル端末の実施形態を説明する。メガネ型ウェアラブル端末には、透明なレンズを介して視線の先の風景が見えるタイプと、視界が遮られ、風景が見えないヘッドマウントディスプレイと称されるタイプがあるが、ここでは、一例として風景が見えるタイプを説明する。 Wearable terminals include head-mounted types (including glasses, goggles, helmets, etc., which may be collectively referred to as glasses), wristbands, pendants, and the like. Here, an embodiment of a glasses-type wearable terminal will be described. Glasses-type wearable devices include a type that allows you to see the scenery ahead of your line of sight through a transparent lens, and a type that is called a head-mounted display where the view is blocked and you cannot see the scenery. Explain the type that can be seen.
図1はメガネ型ウェアラブル端末(以下、単にウェアラブル端末と称する)10の斜視図、図2(a)は正面図、図2(b)は上から見た断面構造を示す図である。 FIG. 1 is a perspective view of a glasses-type wearable terminal (hereinafter simply referred to as a wearable terminal) 10, FIG. 2 (a) is a front view, and FIG. 2 (b) is a diagram showing a cross-sectional structure viewed from above.
ウェアラブル端末10は通常のメガネとほぼ同じ形状であるが、一方、ここでは右眼側のテンプルの外側に投影装置12が取り付けられている。フレームにはガラス14、16が嵌め込まれている。左眼側のガラス14はユーザが景色を見ることができるように通常の透明ガラスである。右眼側のガラス16は、少なくとも一部がスクリーン16となっている。スクリーン16は、投影装置12が投影している画像をユーザが見ることができるようにするものである。スクリーン16は投影装置12が画像を投影しない時は透明であり、ユーザが右眼側のガラス(スクリーン)16を介して景色を見ることができる。
The
投影装置12は、電子部品として電源部22、制御部24を含む。電源部22はボタン型の電池、充電可能な電池、非接触給電可能な二次電池等を含むことができる。あるいは、電源は内蔵せず、外部電源から電源ラインを介して投影装置12に給電してもよい。制御部24は、後述するネットワークを介してサーバや他の電子機器との間で通信を行い、情報を送受信する。この通信は、有線又は無線のいずれであってもよい。無線の場合、使用環境に応じてBluetooth(登録商標)、ZigBee(登録商標)、UWB等の近距離無線通信、WiFi(登録商標)等の中距離無線通信、3G/4G、WiMAX(登録商標)等の遠距離無線通信のいずれを利用してもよい。
The
投影装置12は、さらに、光学部品として光源28、表示部30、プリズム32、レンズ群34等を含む。光源28は、互いに発光色が異なり、それぞれの出力光量を独立して変更可能な複数、例えば3個のLED(Light Emitting Diode)を含む調光型白色LED光源であってもよい。調光型白色LED光源によれば、ウェアラブル端末10の使用環境が、例えばオレンジ色が主体の照明が用いられることの多いクリーンルーム内、等である場合においても、使用環境に応じて発光色を変更することができ、鮮明な投影像が得られる。さらに、調光型白色LED光源によれば、ユーザが見易い表示色を出力することができ、ユーザが見辛い表示色を出力する場合に比較して、目の疲れや、それに伴う偏頭痛、等のユーザにとって支障となる要因の発生を避けることが可能である。
The
表示部30は、例えば反射型のLCD(Liquid Crystal Display)モジュールであり、制御部24による表示制御に基づいて、所定のテキスト、画像等(以下、表示部30が表示されるものを表示像と総称することもある)を表示する。光源28から出射される非平行光(発散性の光、以下発散光と称することもある)は、プリズム32のハーフミラー面32aで反射され、表示部30の表示像を照明する。表示部30の反射光は、表示像に対応した光(画像光と称する場合もある)としてハーフミラー面32aを透過して、出射面32cから出射され、レンズ群34を介して所定サイズの投影像としてスクリーン16に投影される。
The
スクリーン16は、手前側透明屈折体42、フレネルレンズ形ハーフミラー面44及び奥側透明屈折体46を有する。フレネルレンズ形ハーフミラー面44に到達した画像光の一部は、フレネルレンズ形ハーフミラー面44で反射され、表示部30の表示像に対応する虚像(投影像)を数メートル先に形成する。なお、スクリーン16は、ウェアラブル端末10を装着したユーザの視線の先の風景も一部透過することができ、スクリーン16には投影像とともにユーザが視認可能な風景が表示されるように構成してもよい。
The
光源28から出射され、ハーフミラー面32aを通過した画像光(発散光)の一部は、全反射面32bで全反射し、出射面32cで屈折して光源28からの発散光である漏れ光50となる。漏れ光50は、投影装置12の正面に形成された開口又は隙間(誘導部)52を通ってスクリーン16とは異なる方向へ出射される。
Part of the image light (diverged light) emitted from the
ウェアラブル端末10は、投影装置12の所定の位置、たとえば底面部に、スピーカ54A、イヤホンジャック54B、マイクジャック56、スライド式スイッチ57及び回転式スイッチ58等を有する。マイクジャック56には、図示しないハンズフリーマイクが接続され、ユーザの音声が収集される。スライド式スイッチ57は、例えば投影装置12の投影像の輝度や色調等を調整可能である。回転式スイッチ58は、例えば投影像の投影角度等を調整可能である。スライド式スイッチ57及び回転式スイッチ58のように異なる動作により異なる調整量を設定可能とすることにより、投影像を目視しながら、ユーザが、ブラインドタッチで、投影像を調整可能である。例えば、スライド式スイッチ57を操作することにより、ユーザの好みに合わった表示輝度や色調の投影像を提供できる。回転式スイッチ58を操作することにより、ユーザの頭部の形状やサイズに合わせて、最適な位置に画像を表示するように投影角度を調整できる。なお、スライド式スイッチ57と回転式スイッチ58による調整対象が逆であってもよいことはもちろんであるし、スライド式スイッチ57と回転式スイッチ58の位置が逆であってもよいし、両者を1つの操作部材の2種類の操作に割り当ててもよい。
The
これらのスイッチ57、58による選択は投影像のみを見ながら施行錯誤的に行ってもよいが、調整の効率を上げるために、メニュー画面を投影して、その画面内で項目を選択することにより調整してもよい。表示部30がメニュー画面を表示することにより、メニュー画面がスクリーン16に投影される。
The selection by these
さらに、メニュー項目の選択は、スイッチ57、58の操作によらず、タッチ操作によってもよい。このため、投影装置12の外側には、タッチパッド55も設けられる。表示部30がメニュー等を表示し、メニュー内の項目の表示位置に応じたタッチパッド55内の位置をタッチすることにより、簡単かつ効率よくユーザ操作を入力できる。
Further, the menu item may be selected by a touch operation, not by the operation of the
正面中央部の外側にはカメラ59が設けられ、ユーザの視線の先の画像(静止画、動画のいずれも可)を撮影可能である。なお、図示していないが、正面中央部の内側(カメラ59の配置位置と対応する位置)にユーザの顔に対向してカメラを設け、ユーザの眼球を撮影し、ユーザの虹彩を検出可能としてもよい。虹彩はユーザ認証に使うことができる。
A
ウェアラブル端末10からの漏れ光50を利用することにより、ウェアラブル端末10の状態、すなわちユーザの状態を検出できる。図3、図4、図5を参照して、ウェアラブル端末の状態の検出原理を説明する。ここで、状態は位置と、位置の移動等を含む。
By using the leaked light 50 from the
ウェアラブル端末の使用例の一例を図3に示す。例えば、工場の部品ヤード、通販会社の商品倉庫、小売業の配送部署等のワークエリア60内に任意数の作業スペース又は商品棚A01〜Axy(x,yはともに正の整数)、B01〜Bxy、C01〜Cxyが配置される。作業スペース又は商品棚は、例えば工場の作業テーブルや生産ライン内の製造装置又は学校の机や会議室の着席位置、等であってもよい。
An example of the usage example of the wearable terminal is shown in FIG. For example, an arbitrary number of work spaces or product shelves A01 to Axy (x and y are both positive integers), B01 to Bxy in a
ワークエリア60には少なくとも1つの光センサ62−1〜62−n(nは正の整数)が配置される。光センサ62−1〜62−nは、ウェアラブル端末10−1〜10−m(mは正の整数)の位置(x,y,z)、個数、位置の変化(移動)及び向きの変化等を、図4、図5に示す検出方法により、個々に検出できる。ウェアラブル端末10−1〜10−mの位置、個数、移動及び向きの変化等を検出することにより。ウェアラブル端末10−1〜10−mを装着した任意数のユーザの位置、移動等の状態を認識できる。
In the
ユーザは、ワークエリア60内を自在に移動できる。ユーザは、予め定められた作業を、予め定められた位置、例えばステーション(カート)、それに準じた収容器又は可動式のテーブル等である作業スペース64において実行する。なお、作業スペース64は、移動可能ではなく、固定された机やその着席位置等であってもよい。
The user can move freely in the
図3、図4に示すように、検出システムは、1以上のウェアラブル端末10、1以上の光センサ62を含む。光センサ62は、漏れ光50を検出する機能と、検出結果をサーバ等に送信する通信機能を有する。この通信機能も、ウェアラブル端末10の通信機能と同じく、有線又は無線のいずれであってもよい。無線の場合、使用環境に応じてBluetooth(登録商標)、ZigBee(登録商標)、UWB等の近距離無線通信、WiFi(登録商標)等の中距離無線通信、3G/4G、WiMAX(登録商標)等の遠距離無線通信のいずれを利用してもよい。以下に説明する実施形態は通信機能を有する種々のユニット、モジュールを有するが、これらのユニット、モジュールの通信機能も、同様に、有線又は無線のいずれであってもよい。無線の場合、使用環境に応じてBluetooth(登録商標)、ZigBee(登録商標)、UWB等の近距離無線通信、WiFi(登録商標)等の中距離無線通信、3G/4G、WiMAX(登録商標)等の遠距離無線通信のいずれを利用してもよい。
As shown in FIGS. 3 and 4, the detection system includes one or more
光センサ62が受信した漏れ光50からウェアラブル端末10を特定できるように、ウェアラブル端末10は、端末の識別情報(Identification、以下端末IDと称する場合もある)を含む情報を用いて漏れ光50を間欠的に変調する。変調方式の典型的な一例は、発光量をゼロまで落とすチョッパー形変調方式があるが、ここでは、発光量が低い状態でも所定量以上の発光量を確保できる変調方式が採用される。これにより、ユーザの目に対する負担を軽減できる。変調方式として、例えばDSV(Digital Sum Value)フリーの変調方式(すなわち常に変調信号のDSVを計算し、適宜ビット反転コードを挿入可能にして直流成分をゼロとする変調方式)が採用されると、比較的ロングレンジでの発光量変化が抑えられ、巨視的に常に発光量変化がゼロにでき、ユーザの目への負担が一層軽減される。人間の目は、0.02秒程度の変化まで認識できるので、上記変調の基準周波数を10Hz以上、例えば20Hz以上、より好ましくは60Hz以上に設定することにより、ユーザの目に対する負担を軽減する効果も生まれる。一方、光源28に使用されるLEDは、内部インピーダンスと接続容量を持つため、精度良い変調周波数は、100MHz未満、望ましくは10MHz以下が望ましい。したがって、実施形態の検出システムにて用いる光源28の変調周波数は、10Hz〜100MHz、望ましくは10Hz〜10MHzの範囲が好ましい。
In order to be able to identify the wearable terminal 10 from the leaked
光源28からの発散光の漏れ光50を利用しているので、光センサ62が検出する光量がウェアラブル端末10と光センサ62との間の距離に応じて変化する。この現象を利用すると、ウェアラブル端末10と光センサ62との間の距離又は光センサ62に対するウェアラブル端末10の向きを求めることができる。光センサ62の位置(高さも含む)は固定であるので、光センサ62とウェアラブル端末10との距離が分かると、ウェアラブル端末10の位置(x,y,z)が検出できる。
Since the diverging
さらに、光源28からの発散光の漏れ光50を利用しているので、漏れ光50を比較的広い範囲で検出できる。その結果、比較的少数の光センサ62−1〜62−nを設置するだけで、ワークエリア60内のウェアラブル端末10−1〜10−mの位置、ウェアラブル端末10と光センサ62との距離、ウェアラブル端末10−1〜10−mの方向、又は光センサ62に対するウェアラブル端末10の向きが検出できる。これにより、検出システムを設置するために必要となる設備費用を低減できる。
Furthermore, since the diverging
光センサ62が検出した漏れ光50の光量情報は、所定のタイミングで、光センサ62から後述するサーバへ送信される。サーバは、収集した光センサ62からの情報を解析する。これにより、任意のウェアラブル端末10−1〜10−mすなわちユーザの位置及び状態が検出できる。
The light amount information of the
図4は、実施形態に係るウェアラブル端末を認識するシステムの具体的な利用例を説明する概略図である。4個の光センサ62−1〜60−4の周囲にウェアラブル端末10−1〜10−3を装着した3人のユーザがいる状況を想定する。ウェアラブル端末10−1、10−2からの漏れ光50は、光センサ62−1〜60−4にて検出される。光センサ62−1〜60−4は、それぞれにおいて検出した漏れ光50の光量をA−D(Analog - Digital)変換し、光量に対応する光量情報として、所定のタイミングで、例えば近距離無線通信によりサーバへ送信する。 FIG. 4 is a schematic diagram illustrating a specific usage example of the system that recognizes the wearable terminal according to the embodiment. Assume a situation in which there are three users wearing wearable terminals 10-1 to 10-3 around four optical sensors 62-1 to 60-4. The leaked light 50 from the wearable terminals 10-1 and 10-2 is detected by the optical sensors 62-1 to 60-4. Each of the optical sensors 62-1 to 60-4 performs AD (Analog-Digital) conversion on the light amount of the leaked light 50 detected in each of them, and uses, for example, short-range wireless communication at predetermined timing as light amount information corresponding to the light amount. To the server.
ユーザの移動に応じてウェアラブル端末10−1が光センサ62−1へ移動する一方、ユーザの任意の動作、例えば首振り(頭部の旋回)に応じてウェアラブル端末10−2の向きが一時的に変化したとする。この時の検出情報の変化を図5に示す。 Wearable terminal 10-1 moves to optical sensor 62-1 according to the movement of the user, while wearable terminal 10-2 is temporarily oriented according to the user's arbitrary operation, for example, swinging (head turning). Suppose that The change of the detection information at this time is shown in FIG.
図5では、ウェアラブル端末10−1〜10−3のそれぞれの漏れ光50の変調方式として、間欠的な時間変化方式を用いた例を示している。すなわち、ウェアラブル端末10−1〜10−3のそれぞれにおいて、ID変調期間がずれている。
In FIG. 5, the example which used the intermittent time change system as a modulation system of each leaked
図5(a)、(b)、(c)に示すように、1番目〜3番目のウェアラブル端末10−1〜10−3について、間欠的にウェアラブル端末のID変調期間が設定され、それ以外の期間は無変調期間である。各ID変調期間内では、同期信号SYNCとウェアラブル端末10−1〜10−3の端末IDが一つの組を構成し(1対1で対応し)、その組が複数回(図5に示すようにセンサが4個の場合、4の倍数回)、繰り返される。 As shown in FIGS. 5A, 5 </ b> B, and 5 </ b> C, the ID modulation period of the wearable terminal is intermittently set for the first to third wearable terminals 10-1 to 10-3, and the others This period is a non-modulation period. Within each ID modulation period, the synchronization signal SYNC and the terminal IDs of wearable terminals 10-1 to 10-3 constitute one set (corresponding one-to-one), and the set is a plurality of times (as shown in FIG. 5). If there are four sensors, a multiple of 4) is repeated.
1番目のウェアラブル端末10−1が無変調期間に入ると同時に、2番目のウェアラブル端末10−2のID変調期間が開始する。同様に2番目のウェアラブル端末10−2が無変調期間に入ると同時に、3番目のウェアラブル端末10−3のID変調期間が開始する。 As soon as the first wearable terminal 10-1 enters the non-modulation period, the ID modulation period of the second wearable terminal 10-2 starts. Similarly, the ID modulation period of the third wearable terminal 10-3 starts at the same time as the second wearable terminal 10-2 enters the non-modulation period.
2番目のウェアラブル端末10−2のID変調期間内と3番目のウェアラブル端末10−3のID変調期間内とにおいては、同期信号SYNCとウェアラブル端末10−2、10−3の端末IDが繰り返し変調される。このように、ウェアラブル端末10の端末IDを変調信号内に乗せることにより、端末IDが検出可能である。
In the ID modulation period of the second wearable terminal 10-2 and the ID modulation period of the third wearable terminal 10-3, the synchronization signal SYNC and the terminal IDs of the wearable terminals 10-2 and 10-3 are repeatedly modulated. Is done. In this way, the terminal ID can be detected by placing the terminal ID of the
上記の例では、ウェアラブル端末10−1〜10−3のそれぞれの変調タイミングは、時分割(間欠化)されている。しかし、例えば全てのウェアラブル端末10−1〜10−3について、連続的に変調されるものとし、ウェアラブル端末10−1〜10−3のそれぞれの変調基準周波数が変化されてもよい。また、スペクトル拡散時のそれぞれの周波数スペクトル特性が変化されてもよい。 In the above example, the modulation timings of the wearable terminals 10-1 to 10-3 are time-division (intermittent). However, for example, all the wearable terminals 10-1 to 10-3 may be continuously modulated, and the modulation reference frequencies of the wearable terminals 10-1 to 10-3 may be changed. Moreover, each frequency spectrum characteristic at the time of spectrum spreading may be changed.
図5(d)、(e)、(f)、(g)が示すように、光センサ62−1〜62−4からの情報通信期間は、各ID変調期間において細かく分割されている。 As shown in FIGS. 5D, 5E, 5F, and 5G, the information communication period from the optical sensors 62-1 to 62-4 is finely divided in each ID modulation period.
図4に示すように、初期の時点では、ウェアラブル端末10−1からの漏れ光の一部が、光センサ62−4に到達する。そのため、初期の時点では、図5(k)に示すように、光センサ62−4がウェアラブル端末10−1からの漏れ光を検出する。しかし、ウェアラブル端末10−1が光センサ62−1へ向かって移動するにつれて、光センサ62−4が検出するウェアラブル端末10−1からの漏れ光の変調信号振幅が減少して行く。一方、図5(h)に示すように、光センサ62−1が検出するウェアラブル端末10−1からの漏れ光の変調信号振幅は、時間の経過と共に増加する。このように、光センサ62−1〜62−nが検出する変調信号振幅の時間変化を比較することにより、検出対象であるウェアラブル端末10−1〜10−mの位置の時間変化(移動状態)が検出できる。 As shown in FIG. 4, at the initial time, part of the leaked light from the wearable terminal 10-1 reaches the optical sensor 62-4. Therefore, at the initial time, as shown in FIG. 5 (k), the optical sensor 62-4 detects the leaked light from the wearable terminal 10-1. However, as the wearable terminal 10-1 moves toward the optical sensor 62-1, the modulation signal amplitude of the leaked light from the wearable terminal 10-1 detected by the optical sensor 62-4 decreases. On the other hand, as shown in FIG. 5 (h), the modulation signal amplitude of the leaked light from the wearable terminal 10-1 detected by the optical sensor 62-1 increases with time. In this way, by comparing the time changes of the amplitudes of the modulation signals detected by the optical sensors 62-1 to 62-n, the time changes (moving state) of the positions of the wearable terminals 10-1 to 10-m that are detection targets are compared. Can be detected.
一方、初期の時点で、ウェアラブル端末10−2が光センサ62−3に向いているので、漏れ光から得られる変調信号振幅に関して、光センサ62−2での検出値より光センサ62−3での検出値の方が大きい。この後、例えば2番目のユーザが首を振り、一時的に光センサ62−2の方向を向いたとする。すると、光センサ62−2が出力するウェアラブル端末10−2の検出出力は、図5(i)に示すように、一時的に増加した後、減少する。他方、光センサ62−3が出力するウェアラブル端末10−2の検出出力は、図5(j)に示すように、一時的に減少した後、増加する。 On the other hand, since the wearable terminal 10-2 is directed to the optical sensor 62-3 at the initial time, the modulation signal amplitude obtained from the leaked light is detected by the optical sensor 62-3 from the detection value of the optical sensor 62-2. The detected value of is larger. Thereafter, for example, it is assumed that the second user swings his head and temporarily faces the direction of the optical sensor 62-2. Then, the detection output of the wearable terminal 10-2 output by the optical sensor 62-2 temporarily increases and then decreases as shown in FIG. 5 (i). On the other hand, as shown in FIG. 5 (j), the detection output of the wearable terminal 10-2 output by the optical sensor 62-3 increases after being temporarily reduced.
このように、光センサ62が検出する変調信号振幅の時間変化を比較することにより、検出対象であるウェアラブル端末10−1〜10−mの向きの時間変化も推定できる。
Thus, by comparing the time change of the modulation signal amplitude detected by the
上記の検出例は、ユーザの動きとして、移動や首振りである場合の例である。しかしそれに限らず、ユーザのさまざまな別の行動を利用してもよい。例えば、ユーザの手の移動や上体(身体)のひねり、等により漏れ光を一時的に遮光してもよい。この場合、全ての光センサ62−1〜60−4において、共通に、同一の時間帯に、変調信号振幅の一時的な減少が生じる。このように、全ての光センサ62−1〜60−4の変調信号振幅の変化の関連性を比較することにより、ユーザの異なる行動パターンが識別可能である。 The above detection example is an example in the case of movement or swing as the user's movement. However, the present invention is not limited to this, and various other actions of the user may be used. For example, the leakage light may be temporarily blocked by moving the user's hand, twisting the upper body (body), or the like. In this case, in all the optical sensors 62-1 to 60-4, the modulation signal amplitude temporarily decreases in the same time zone. Thus, by comparing the relevance of the change in the modulation signal amplitude of all the optical sensors 62-1 to 60-4, it is possible to identify different behavior patterns of the user.
以上の方法を利用することにより、単なるユーザの行動を検出するだけでなく、ユーザの意思も認識することが可能である。 By using the above method, it is possible not only to detect the user's behavior but also to recognize the user's intention.
なお、ウェアラブル端末10の位置(x,y,z)を検出する方法として、ビーコンを用いてもよい。上述の例では、多数のウェアラブル端末10から端末識別情報が変調された光が多数の光センサ60に出射され、多数の光センサ60が受信した情報を比較処理して、ウェアラブル端末10の位置、状態を検出したが、多数の位置情報発信器をワークエリア60内に配置し、発信器から配置位置に応じたビーコンを、例えば数メートルの到達距離のRF−ID等の近距離無線通信により送信すれば、それを受信したウェアラブル端末10は発信器の位置とほぼ同じ位置であると見なすことができる。さらに、GPSを利用してウェアラブル端末の位置を検出することもできる。位置検出は、一種類の方法のみに基づく必要は無く、複数の方法を併用すると、検出精度を向上できる。
Note that a beacon may be used as a method of detecting the position (x, y, z) of the
図6は、ウェアラブル端末を使用するシステム全体の一例を示す。ここでは、製造工場の製造現場に構築されるシステムを説明する。複数のウェアラブル端末10と、図3に示す複数の光センサ62と、1又は複数の管理者端末104と、複数の製造装置106と、1又は複数のカメラ114と、情報管理サーバ116とがネットワーク102に接続される。ネットワーク102は、例えば、工場の建屋、部署、ビルのフロア、企業の営業所等の単位であってもよいし、工場、ビル、企業毎のネットワークでもよいし、インターネットでもよい。工場内に複数の製造現場がある場合、図6の現場毎のネットワークがLANを構成し、複数のLANが工場全体のネットワークに接続されてもよい。ネットワーク102は無線ネットワークでも有線ネットワークでもよい。
FIG. 6 shows an example of the entire system using a wearable terminal. Here, a system constructed in a manufacturing site of a manufacturing factory will be described. A plurality of
製造現場には多数の作業者が居るが、全ての作業者がウェアラブル端末10を装着する必要は無い。そのため、ウェアラブル端末10は作業者全員分用意しておく必要は無く、所定個数のみ用意しておき、必要な作業者が空いている共有ウェアラブル端末を装着する。システムは、ユーザがウェアラブル端末を装着する際、ユーザを特定する必要がある。この理由は、特定の製造装置を使用するユーザに対して、当該製造装置の作業手順を表示したり、ユーザの行動に基づいて作業報告書を作成したりするためである。特定の方法は種々あるが、ウェアラブル端末10の着脱時に、図示しない端末からユーザが自分のIDと端末IDを入力してもよい。入力はキー入力に限らず、マイクからの音声入力、バーコードを付けておいてスキャン入力してもよい。さらに、端末を装着する際の行動はユーザのくせが出やすいので、この際のユーザの行動を検出して推定してもよい。ユーザの行動を示す特徴量は、ウェアラブル端末10の加速度や角速度や、ユーザの顔や手や指の動きや、マイクが集音した環境音から求めることができる。例えば、ウェアラブル端末10を顔にかける際又は顔から取り外す際のテンプルと皮膚又は頭髪との摩擦音に基づき、ウェアラブル端末の装着状況を知ることができる。
There are many workers at the manufacturing site, but it is not necessary for all workers to wear the
作業者を監督する管理者が製造現場に少なくとも1名配置され、管理者は管理者端末104を使用する。管理者端末104は、ウェアラブル端末10と同じ構成でもよいが、管理者は移動する必要が無いので、通常のパソコンやタブレットと同じ構成で良く、管理者端末104の詳細な説明は省略する。
At least one manager who supervises the worker is arranged at the manufacturing site, and the manager uses the
製造装置106の夫々には、装置状態センサ108とユーザ行動センサ110が取り付けられる。これらのセンサ108、110も通信機能を有し、ネットワーク102に接続される。
An
カメラ114は製造現場内のユーザを常時動画撮影している。この画像を分析することによりユーザの行動を推定できる。例えば、ユーザ毎の標準画像を予め記憶しておいて、ユーザがウェアラブル端末10を取り付ける際の画像又は取り外す際の画像を標準画像と比較することにより、装着ユーザを特定できる。製造現場全体を同時にカバーする台数のカメラを配置できない場合は、アングルが可変で、一台で広範囲のユーザを撮影できるカメラ114を数台配置すればよい。
The
情報管理サーバ116は、制御部118、通信部120、位置管理部122、ユーザ行動管理部124、装置状態管理部126等を含む。センサ108、110の通信機能、管理者端末104の通信機能、カメラ114の通信機能及び通信部120の通信機能は、ウェアラブル端末10の通信機能と同様に、有線又は無線のいずれであってもよい。無線の場合、使用環境に応じてBluetooth(登録商標)、ZigBee(登録商標)、UWB等の近距離無線通信、WiFi(登録商標)等の中距離無線通信、3G/4G、WiMAX(登録商標)等の遠距離無線通信のいずれを利用してもよい。
The
位置管理部122は、光センサ62、ウェアラブル端末10と管理者端末104の各種センサの出力に基づいてウェアラブル端末10と管理者端末104の位置に関する情報を一定時間ごとに収集する。さらに、位置管理部122は、ウェアラブル端末10又は管理者端末104のユーザを特定し、ウェアラブル端末10又は管理者端末104の端末IDとユーザIDと位置を管理する。
The
ユーザ行動管理部124は、光センサ62、ウェアラブル端末10の各種センサ、製造装置106のユーザ行動センサ110の出力に基づいてウェアラブル端末10のユーザの行動・状態に関する情報を一定時間ごとに収集し、ウェアラブル端末10の端末IDとユーザIDと行動・状態を管理する。装置状態管理部126は、製造装置106の装置状態センサ108の出力に基づいて製造装置の状態に関する情報を一定時間ごとに収集し、管理する。なお、装置の状態が変化した時は、装置状態センサ108は装置状態管理部126に通知し、製造装置の状態に関する情報が収集されてもよい。
The user
情報管理サーバ116は、装置状態管理部126において装置の異常を検出した場合、該当する製造装置の位置情報と状態を管理者端末104に通知する。同時に、作業者の状態を判断して、異常が発生した装置に対して最も効率よく対応することが可能な作業者候補を抽出して管理者端末104に提示する。
When the apparatus
本実施形態の概要は、作業チェックリストを自動的に生成しユーザに提示するとともに、ユーザが作業を実施すると、チェックリスト内の対応する項目に自動的にチェックを入れることである。このため、ネットワーク102に接続された複数のセンサ108、110又は端末10、104の各種のセンサから得られる情報を情報管理サーバ116が統合して演算処理し、作業者個々の行動を自動的に推定/認識する。そして、情報管理サーバ116は、その結果に基づき作業手順(チェックリスト)を生成するとともに、チェックリスト内の対応箇所への自動入力(自動記入)を支援する。情報管理サーバ116は、作業チェックリスト内の最後の項目まで自動入力(自動記入)が完了すると、作業報告書を自動生成する。
The outline of the present embodiment is to automatically generate a work checklist and present it to the user, and to automatically check corresponding items in the checklist when the user performs the work. For this reason, the
上記作業チェックリストの内容はメンテナンス対象の製造装置毎に異なる。さらに、製造装置内の不具合発生箇所に応じて上記作業チェックリストの内容は異なる。したがって、情報管理サーバ116はメンテナンスが必要な製造装置に関連する装置状態センサ108から得られる製造装置の関連情報を収集して、製造装置の不具合発生箇所を自動的に推定/認識する。そして、情報管理サーバ116はメンテナンスする作業者が着用しているウェアラブル端末10を自動的に識別し、その端末10にメンテナンス内容を作業チェックリストの形で表示する。
The contents of the work check list differ for each manufacturing apparatus to be maintained. Furthermore, the contents of the work check list differ depending on the location where the defect occurs in the manufacturing apparatus. Therefore, the
図7は、ウェアラブル端末10の電気的な構成の一例を示す。ウェアラブル端末10は、CPU140、システムコントローラ142、メインメモリ144、ストレージデバイス146、マイク148、スピーカ54、投影処理部150(光源28、表示部30を制御する)、カメラ59、無線通信デバイス152、モーションセンサ154、視線検出センサ156、ジェスチャアセンサ158、タッチパッド55、バイブレータ68、位置情報受信器159、GPSモジュール155等を備える。
FIG. 7 shows an example of the electrical configuration of the
CPU140は、ウェアラブル端末10内の各種モジュールの動作を制御するプロセッサであり、SSD又はフラッシュアレイ等の不揮発性の半導体メモリからなるストレージデバイス146からメインメモリ144にロードされるコンピュータプログラムを実行する。これらプログラムには、オペレーティングシステム(OS)、および各種アプリケーションプログラムが含まれている。CPU140は、各種アプリケーションプログラムを実行し、無線通信デバイス152を使ってネットワーク102を経由して情報管理サーバ116と通信することにより、例えば以下のような処理を行う。例えば、CPU140は、マイク148を使って音声を入力し、音声データを情報管理サーバ116へ送ったり、カメラ59を使って画像を撮影し、画像データを情報管理サーバ116へ送ったり、モーションセンサ154、視線検出センサ156、ジェスチャアセンサ158、タッチパッド55、位置情報受信器159からの入力データを情報管理サーバ116へ送ったり、イヤホンジャック54Bに接続される図示しないステレオイヤホン又はスピーカ54から音を鳴らしたり、バイブレータ68を振動させたり等、様々の制御を行う。スピーカ54はモノラルスピーカを想定するが、ステレオスピーカが必要である場合、図1、図2には図示しないが、左眼側のテンプルにもスピーカを設けてもよい。
The
システムコントローラ142は、CPU140のローカルバスと各種コンポーネントとの間を接続するデバイスである。マイク148はマイクジャック56に接続され、ユーザの発する音声又は環境音を収集する。ユーザの発する音声を音声認識すること又は環境音を分析することにより、ユーザの行動が推定でき、ユーザを特定できる。例えば、ユーザ毎の標準音声を予め記憶しておいて、装着者が発生する音声と標準音声とを比較することにより、装着ユーザを特定できる。また、環境音を分析することにより、装着者が位置する作業場所を特定することができる。スピーカ54はユーザの注意を喚起するアラーム等を出力する。投影処理部150は、表示部30に画像信号を出力し、光源28を点灯することにより、スクリーン16に表示部30の画像を投影する。この画像は静止画のみならず、動画も含むことができる。無線通信デバイス152は、例えば無線LAN機能を有し、ウェアラブル端末10とアクセスポイント112とを無線で接続する。
The
モーションセンサ154は、3軸加速度、3軸ジャイロ、3軸地磁気センサを統合したセンサであり、ウェアラブル端末10を使用するユーザの頭の動きを検出し、その結果、顔が向いている方角を判別する。なお、作業者の状態は、マイク148、気圧計等を用いて検出してもよい。作業者の状態とは、移動中、休憩中のほか、作業の内容、作業の進捗等も含む。モーションセンサ154による動き、気圧による高度等を用い、これらの検出結果から求めた特徴量が、事前に作業者等から取得した各工程の特徴量と一致するか否かを判定し、複数の工程のどの工程を実施しているのか又は完了したのかを判定できる。また、マイク148から入力された環境音の特徴量を事前に取得した各作業工程に特徴的な環境音の特徴量と一致するか否かを判定しても、複数の工程のどの工程を実施しているのか又は完了したのかを判定できる。
The
視線検出センサ156は、メガネのフレーム中心の内側にユーザの顔に向けて設けられ、ユーザの眼球を撮影し、視線の動きを検出する。さらに、視線検出センサ156は、ユーザの虹彩を検出可能としてもよい。ジェスチャアセンサ158は、指の動きによるジェスチャを判別するセンサである。具体的には、投影装置12に設けられたタッチパッド55上の指の動きや、カメラ59で撮影された画像中の手や指の動きを解析することにより、ユーザのジェスチャを判別するセンサである。バイブレータ68は、投影装置12を振動させることによりウェアラブル端末10のテンプルを振動させ、ユーザに何かの情報を伝える。位置情報受信器159は、LAN102のエリア内に複数配置された位置情報発信器113からRF−ID等の近距離無線通信を利用して発信される位置情報を含むビーコンを受信する。近距離無線通信なので、発信器と受信器(ウェアラブル端末)との位置はほぼ同じと見做すことができる。GPSモジュール155は、ウェアラブル端末10の位置(x、y、z)を検出する。この検出結果と、位置情報受信器159の検出結果と、図3の光センサ62の検出結果を総合することにより、より正確にユーザの位置、その変化を検出できる。
The line-of-
表示部30は、管理者端末104、情報管理サーバ116からの指示や通話着信、モーションセンサ154等で検出した作業者の作業状態を表示する。この表示画像は、投影処理部150によりスクリーン16で表示される。
The
マイク148、スピーカ54により、外部との音声通話が可能である。
The
管理者端末104は、ウェアラブル端末10と同じ構成でもよいし、通常のパソコン、タブレットでもよい。通常のパソコン、タブレットの電気的な構成は、ウェアラブル端末10から投影処理部150、カメラ59、モーションセンサ154、視線検出センサ156、ジェスチャアセンサ158等を省略したものと等価である。管理者端末104の位置はGPSにより検出される。
The
図8を参照して製造装置106に取り付けられる装置状態センサ108の一例を説明する。図8(a)は装置に対する取り付け位置を示し、図8(b)はセンサ108の構成を示す。従来、製造装置に不具合が発生すると、その都度、作業者が製造装置の不具合箇所を点検して、修理するとともに、不具合原因を追及していた。これにより、製造装置のメンテナンス時間(製造装置の非稼動期間)が長くなり、製品の生産性低下を招いていた。本実施形態では、情報管理サーバ116がネットワーク102に接続された装置状態センサ108から得られる装置の状態に関連する情報を収集して統合し、自動的に製造装置の不具合箇所の推定又は認識を行う。その結果、製造装置内不具合箇所の自動診断が可能となり、製造装置のメンテナンス時間(製造装置の非稼動期間)の大幅な短縮化と製品の生産性低下防止が行える。
An example of the
装置状態センサ108は加速度センサ108aと無線通信デバイス108bから構成され、加速度センサ108aで検出した加速度信号が無線通信デバイス108bとネットワーク102を介して情報管理サーバ116に送信される。装置状態センサ108には接着部又は固定部が設けられており、既存の製造装置に簡単に取り付けられる。接着部には粘着層が予め形成されていてもよいし、接着時に、接着剤を塗布してもよい。あるいは、固定部を既存の製造装置にネジ止めすることにより、装置状態センサ108を製造装置に取り付けてもよい。
The
製造装置の不具合箇所の自動診断には、製造装置の各部での動作状況の自動収集処理が必要となる。そのために、製造装置を新規購入又は買い換えするには膨大な費用が必要となる。しかし、本実施形態では、非常に安価に購入可能なセンサ端末を既存の製造装置内の各部に追加固定するだけでよい。これにより既存設備環境を維持したままで、非常に安価に不具合箇所の自動診断環境を追加できる。 For automatic diagnosis of a defective part of a manufacturing apparatus, an automatic collection process of operation status in each part of the manufacturing apparatus is required. Therefore, enormous costs are required to newly purchase or replace the manufacturing apparatus. However, in this embodiment, it is only necessary to additionally fix a sensor terminal that can be purchased at a very low cost to each part in the existing manufacturing apparatus. As a result, it is possible to add an automatic diagnosis environment for a defective portion at a very low cost while maintaining the existing equipment environment.
図8(a)に示すように、例えば移動ベルト136の一部や、物品を挟む可動アーム134又は可動シャフト132の一部に、装置状態センサ108を固定する。そして、正常状態で移動すべき場所が静止した場合には、その可動部分に不具合が発生したと判断できる。
As shown in FIG. 8A, the
情報管理サーバ116内の制御部118は、各種の製造装置について不具合発生場所毎の修理や保守・点検方法の手順書であるメンテナンス手順手引きを予め記憶しており、上記の自動診断結果にもとづいて最適な作業チェックリストを生成する。
The
図8では装置状態センサ108の一例として加速度検出方法を説明した。これに限らず、温度や導通電流量などあらゆる物理量や化学量を不具合箇所抽出に利用してもよい。さらに、カメラで撮影した画像比較やマイクで集音した環境音比較で製造装置内の不具合箇所を自動診断してもよい。
In FIG. 8, the acceleration detection method has been described as an example of the
図8で説明した方法で不具合が発生した製造装置を検出すると、情報管理サーバ116が自動的にその製造装置をメンテナンスする作業者を選定し、その作業者が装着している作業者用端末103にメンテナンス手順あるいはそれに派生する作業チェックリストを表示する。情報管理サーバ116は、例えば(i)不具合が発生した製造装置の近傍に所在し、(ii)実施中の作業を中断でき、(iii)当該メンテナンス作業を実施することができる作業者を選定する。これによれば、作業者の移動時間ロスを最小限に抑える事ができる。
When a manufacturing apparatus in which a problem has occurred is detected by the method described with reference to FIG. 8, the
不具合が発生した製造装置の近傍に所在している作業者を最も効率良く探す方法として、本実施形態では、図9に示すように、図4に示した光センサ62と同様な光センサ106aと無線通信デバイス106bを製造装置106の一部に取り付けられる。図5を参照して説明したように、ウェアラブル端末10から放出される漏れ光50内は端末10の端末ID情報を含む。したがって、光センサ106aが検出した漏れ光50内に含まれる情報が無線通信デバイス106bとネットワーク102を経由して情報管理サーバ116に送信されると、不具合が生じた製造装置の近傍にどのウェアラブル端末10、すなわちどの作業者が所在しているかを情報管理サーバ116が認識できる。情報管理サーバ116は、その情報を基に対象の製造装置をメンテナンスする作業者を選定し、作業チェックリストを該当する作業者のウェアラブル端末10に送信する。図13(a)に示すように、端末10のスクリーン16に作業チェックリストが表示される。なお、説明の便宜上、図13(a)では図示を簡略したが、実際の作業チェックリストは下記である。
As a method for most efficiently searching for an operator located in the vicinity of the manufacturing apparatus in which the defect has occurred, in this embodiment, as shown in FIG. 9, an
・カート内に荷物を入れる
・バルブを閉める
・オン/オフスイッチを切る
・第1照明スイッチを切る
・第3照明スイッチを切る
このように、ウェアラブル端末10から放出される漏れ光50をリアルタイムで検出/収集/集計するので、非常に簡単かつ精度良くメンテナンス対象の製造装置106の近傍に所在する作業者を識別できる。これにより、作業者の移動時間を節約してメンテナンス期間を短縮でき、製造効率の低下を防止できる。
-Put the load in the cart-Close the valve-Turn off the on / off switch-Turn off the first light switch-Turn off the third light switch In this way, the leaked light 50 emitted from the
なお、対象とする製造装置の近傍に所在する作業者を認識する方法の他の例は、製造装置106の近くに予め設置されたカメラ114を利用する方法がある。カメラ114内の撮像デバイス114aが製造装置106近傍の画像を撮影し、その結果が無線通信デバイス14bとネットワーク102を介して情報管理サーバ116へ送信される。情報管理サーバ116は受信した画像を解析し、そこに映った作業者を自動的に識別してもよい。
Note that another example of a method for recognizing an operator located in the vicinity of a target manufacturing apparatus is a method using a
図10を参照して作業チェックリストに従い作業者が作業する一例を説明する。図13(a)に示すような作業チェックリストがスクリーン16に表示されると、作業者は作業を開始する。チェックリスト全部をスクリーン16に一度に表示すると文字が小さ過ぎて見づらい場合は、1又は数ステップだけ表示し、作業進捗状況を逐次自動認識し、各ステップの作業が終了すると、それに応じて表示するチェックリストをリアルタイムに逐次更新してもよい。図10(a)の作業現場に居る作業者は作業チェックリストにしたがって、カート164内に荷物162を入れ、バルブ170を閉め(又はハンドル170を指定角度回転し)、オン/オフスイッチ172を切り、第1照明スイッチ176と第3照明スイッチ180を切るとする。本実施形態では、作業者の行動が、製造装置106に取り付けられたユーザ行動センサ110により、リアルタイムに自動認識/識別され、作業完了時間が作業チェックリスト(図13(b)参照)に自動的に書き込まれる。最後の作業ステップが終了した段階で、情報管理サーバ116内で作業報告書が自動的に生成され、その内容が管理者用端末104に表示される。作業チェックリスト(図13(a))に完了時間が入力されたものが、作業報告書(図13(b))である。
An example in which the worker works according to the work checklist will be described with reference to FIG. When a work check list as shown in FIG. 13A is displayed on the
ユーザ行動センサ110による作業者行動の自動認識/識別方法としては、あらゆる検出技術又はそれらの組み合わせを使うことができる。例えば、カメラ114又は59を用いて撮影した作業者の行動画像を解析して、作業者の行動を自動認識/識別してもよい。ただし、作業者行動の自動認識/識別にカメラ114で撮影した画像解析を利用する場合、状況によっては、作業者の行動が画像の影に隠れることがある。あるいは、音声認識技術を利用してもよい。ウェアラブル端末10に表示された作業チェックリスト(メンテナンス作業手順)の各項目が終了する毎に作業者が特定の音声を発声するように決めておくことにより、特定の音声の入力をマイク148で検知して、作業者行動の自動認識/識別を行うことができる。あるいは、特定の作業を行う時に生じる環境音をマイク148又は装置状態センサ108に内蔵をマイクで検知して、作業者行動を自動認識/識別してもよい。さらに、予め定められた作業者のジェスチャを識別して作業者行動の自動認識/識別を行う方法もある。作業者のジェスチャ認識方法としては、カメラ59、114で撮影した作業者の行動画像を解析してもよいし、ウェアラブル端末10から放出される漏れ光50を複数箇所に設置された光センサ62又は製造装置106に取り付けられた光センサ106aで検出した結果を比較してもよい。
As a method for automatically recognizing / identifying worker behavior by the
カート164の開口部に発光部166aと受光部166bのペアが設置され、カート164の開口部を荷物162が通過する時の遮光を検知して、荷物162の出し入れを自動的に検知する。図10(b)はカート164に荷物を出し入れする際、受光部166bで検出する信号特性を示す。縦軸は受光部の検出光量を示し、横軸は時間経過を示す。カート164の開口部を荷物162が通過する間、受光部の検出光量が低下する。カート164に対する荷物162の出し入れ検出方法としては、上記の光を用いた方法に限らず、他のあらゆる方法を用いることができる。
A pair of a
荷物の出し入れ以外の「バルブ閉め」、「オン/オフスイッチのオフ」、「照明スイッチのオフ」をリアルタイムに自動認識/識別するための検出例を説明する。一般に、製造装置のメンテナンス(保守・点検・修理)するためには、製造装置内の所定箇所に作業者が直接接触する必要が有る。この特徴を利用して、本実施形態は、製造装置内の所定箇所への作業者の接触を検知して、作業者行動の自動認識/識別に反映させる。この方法は非常に簡単に検出できるとともに、高い自動認識/識別精度を確保できる。図10(a)の例では、バルブ170に接触センサ168が取り付けられ、オン/オフスイッチ172と照明スイッチボード174にも透明な接触センサが取り付けられている。照明スイッチボード174は、第1、第2、第3照明スイッチ176、178、180を含む。
A detection example for automatically recognizing / identifying “valve closing”, “on / off switch off”, and “light switch off” other than loading / unloading in real time will be described. Generally, in order to maintain a manufacturing apparatus (maintenance / inspection / repair), it is necessary for an operator to directly contact a predetermined location in the manufacturing apparatus. Utilizing this feature, the present embodiment detects the worker's contact with a predetermined location in the manufacturing apparatus and reflects it in automatic recognition / identification of the worker's behavior. This method can be detected very easily and can ensure high automatic recognition / identification accuracy. In the example of FIG. 10A, a
ユーザ行動センサ110の一例である接触センサは、無線通信機能(例えば、近距離無線通信)と、作業者の接触状況の検出機能を含む。接触状況の検出には、圧電素子やフォトインタラプタあるいは加速度センサ(ジャイロセンサ)などあらゆる接触検出可能素子が使用可能である。この接触センサは既存の製造装置などの設備に取り付け可能であるとともに、非常に安価である。したがって、この接触センサ(ユーザ行動センサ110)を既存の製造装置に取り付けることにより、既存のインフラをそのまま保持したまま非常に安価に近距離無線通信ネットワーク環境を追加構築できる。
A contact sensor, which is an example of the
ユーザ行動センサ110の一例を図11、図12に示す。図11は既存のインフラであるオン/オフスイッチ172に取り付けられるユーザ行動センサ110又はバルブ170に取り付けられるユーザ行動センサ110(接触センサ168)、図12は既存のインフラである照明スイッチボード174に取り付けられるユーザ行動センサ110を示す。
An example of the
図11に示すように、ユーザ行動センサ110は一番下側に接着層202を含み、その上に制御・通信回路204、太陽電池206が順次形成される。太陽電池206の上に透明導電層208、透明中間層210、透明導電層212、透明凹凸層214が順次積層される。制御・通信回路204は無線通信機能(近距離無線通信)と作業者の接触検出機能を持つ。両機能の駆動電源としては、太陽電池206が用いられる。仮に、駆動電源として電池を使用すると、電池交換の手間が掛かる。また、駆動電源として、電線で接続される外部電源を使用すると、電線が作業者の接触の妨げとなる。しかし、太陽電池206であれば、電池交換の手間が不要で、しかも作業者の接触を阻害することなく長期に亘るユーザ行動センサ110の使用が可能になる。
As shown in FIG. 11, the
太陽電池206の下に近距離無線通信や制御を行う制御・通信回路204を積層配置することにより、太陽電池206の発電効率を高めるとともにユーザ行動センサ110の平面サイズが縮小される。
By arranging the control /
太陽電池206を使用するためには、周囲光が太陽電池206に照射可能である必要がある。一方で、ユーザの接触を検知する部分はユーザ行動センサ110の表面に配置することが望ましい。両者の要求を同時に満足する方法として、接触を検知する部分を透明にし、かつ静電容量形検出法を採用した。静電容量の変化を利用して作業者の接触あるいは圧力を検出するには、透明で弾力性の有る透明中間層210(例えば材料として透明な有機材料で形成されるシート)を2枚の透明導電層208、212(例えば透明な有機材料シート)で挟む構造を採用できる。2枚の透明導電層208、212間に交流電圧216を印加して、透明導電層208、212を共振させる。作業者がユーザ行動センサ110の表面に接触すると静電容量が変化するため、上記の交流共振状況が変化する。この交流共振状況の変化を検出することにより作業者の接触を検出できる。なお、このような静電容量形検出法に限らす、ユーザ行動センサ110内に周囲光の少なくとも一部が太陽電池206に照射可能であり、接触、もしくは圧力が検出可能ないかなる素子を利用してもよい。
In order to use the
一例であるが、ユーザ行動センサ110の表面の透明層には微細な凹凸が設けられている。これは表面の滑り止めのためでもあるが、この凹凸で点字情報を記録しておくと、視覚に障害がある人でも使いやすくなる。
As an example, the transparent layer on the surface of the
ユーザ行動センサ110を既存の製造装置の一部に固定する方法としてはネジ止めなどあらゆる固定方法を採用してもよいが、直接接着又は粘着/付着させると、省スペース化が図れる。この接着又は粘着/付着方法としては、接着剤を用いた直接接着に限らず、粘着シートや粘着テープを利用する方法でもよい。オン/オフスイッチ172、照明スイッチボード174については、両面テープ特性を有する接着層202が、バルブ170については、透明な粘着テープ層からなる接着層202が利用できる。
As a method of fixing the
図12は照明スイッチボード174に取り付けられるユーザ行動センサ110を示す。照明スイッチボード174では、第1、第2、第3照明スイッチ176、178、180の表面には「照明1」、「照明2」、「照明3」等の文字が記載されているので、ユーザ行動センサ110が取り付けられても、これらの文字がそのまま見えることが望ましい。そのため、照明スイッチ176、178、180の上は透明であることが望ましい。さらに、複数の照明スイッチ176、178、180の接触状況を独立個々に検出する必要がある。一方、照明スイッチボード174では、照明スイッチ176、178、180が設置されていない場所に余裕スペース182が有る。このような状況に適合するために、図12に示すユーザ行動センサ110は、接着層202の上に透明シート208、透明中間層210、透明シート212、透明凹凸層214が順次積層される。透明シート208、212は図11の透明導電層208、212に対応し、透明シート208は3つの透明導電領域208a、208b、208cを含み、透明シート210は3つの透明導電領域210a、210b、210cを含む。透明導電領域208a、210aは第1照明スイッチ176の位置に、透明導電領域208b、210bは第2照明スイッチ178の位置に、透明導電領域208c、210cは第3照明スイッチ180の位置に設けられる。透明シート208と212間には交流電圧216が印加される。このように透明シートを3つの照明スイッチに対応した3つの領域に分割することにより、3つの照明スイッチへの接触状況を独立個々に検出できる。表面の透明凹凸層214にも、点字情報が形成可能である。
FIG. 12 shows the
照明スイッチが設置されていない余裕スペース182の透明凹凸層214の上に制御回路204a、通信回路204bが形成され、それらの上に太陽電池206が形成される。太陽電池206が最上部に配置しているので、発電効率が高い。また、制御回路204a、通信回路204bと太陽電池206とが垂直方向に位置するので、ユーザ行動センサ110の平面サイズが低減される。
A control circuit 204a and a
実施形態によれば、ウェアラブル端末と製造装置の状況を検出して、検出結果に基づいて、保守・点検・修理等の作業が必要な製造装置の近傍で、当該作業を実施可能な作業者のウェアラブル端末に作業手順を表示することにより、作業者に対して有意義な情報を提供できる。また、ウェアラブル端末と製造装置の状況の検出結果に基づいて、一連の作業の各ステップの完了を判断し、作業の遂行を記録する作業報告書を自動的に作成するので、作業者の手間を大幅に省くことができる。なお、製造装置に接触センサを取り付けることにより、作業の完了を検出するので、既存の製造装置を改造することなく、非常に簡単で安価な方法で、しかも精度良く作業者の行動の推定/認識が可能となる。 According to the embodiment, the situation of the wearable terminal and the manufacturing apparatus is detected, and based on the detection result, the worker who can perform the work in the vicinity of the manufacturing apparatus that requires work such as maintenance, inspection, and repair. By displaying the work procedure on the wearable terminal, meaningful information can be provided to the worker. Also, based on the detection results of wearable terminals and manufacturing equipment, it is judged that each step of a series of work is completed, and a work report that automatically records the performance of the work is automatically created. It can be omitted greatly. In addition, since the completion of work is detected by attaching a contact sensor to the manufacturing equipment, it is possible to estimate / recognize the worker's behavior with high accuracy and in a very simple and inexpensive manner without modifying the existing manufacturing equipment. Is possible.
上述の説明では、製造装置のメンテナンスを例としている。しかし、本実施形態は、これに限らず、他の目的に対応したユーザの行動をモニターして、それに応じた作業内容を表示してもよい。また、ユーザの行動をモニターする手段として、ユーザが接触する可能性のある箇所に接触センサを設けたが、これに限らず、他のセンサを利用してもよい。 In the above description, the maintenance of the manufacturing apparatus is taken as an example. However, the present embodiment is not limited to this, and the user's behavior corresponding to other purposes may be monitored, and the work content corresponding to the user may be displayed. In addition, as a means for monitoring the user's behavior, a contact sensor is provided at a place where the user may contact, but the present invention is not limited thereto, and other sensors may be used.
実施形態としてメガネ型ウェアラブル端末を説明したが、ゴーグル型、ヘルメット型等の他の頭部装着型でもよいし、リストバンド型、ペンダント型等にも本発明は適用可能である。例えば、ヘルメット型又はゴーグル型にすると、投影装置12、カメラ59をヘルメット又はゴーグルに取り付けることができ、通常のメガネユーザも使用できる。さらに、ヘルメット型にすると、スピーカ54をヘルメットの内側に取り付けることができるので、よりクリアな音を聴くことができるとともに、マイクをヘルメットに取り付け、しかも位置を調整できるので、マイクの集音能力が向上する。
The glasses-type wearable terminal has been described as an embodiment, but other head-mounted types such as a goggle type and a helmet type may be used, and the present invention is applicable to a wristband type and a pendant type. For example, in the case of a helmet type or goggles type, the
製造装置、ウェアラブル端末の状態を検知するセンサの種類は上述した説明に限定されず、種々のセンサを適宜使用することが可能である。 The type of sensor that detects the state of the manufacturing apparatus and wearable terminal is not limited to the above description, and various sensors can be used as appropriate.
頭部装着型以外のウェアラブル端末にも本発明は適用可能である。ウェアラブルでなくても携帯可能な小型軽量で、常にユーザとともにある電子機器、例えば、ノートブック型パソコン、タブレット型パソコン、スマートフォンにも本発明は適用可能である。 The present invention is also applicable to wearable terminals other than the head-mounted type. The present invention can also be applied to electronic devices that are small and light and can be carried even if they are not wearable and are always with the user, such as notebook computers, tablet computers, and smartphones.
ウェアラブル端末と情報管理サーバとの機能分担は上述した説明の通りに限定されず、ウェアラブル端末の機能として説明したものの一部を情報管理サーバの機能として実現してもよいし、情報管理サーバの機能として説明したものの一部をウェアラブル端末の機能として実現してもよい。 The function sharing between the wearable terminal and the information management server is not limited as described above, and part of what is described as the function of the wearable terminal may be realized as the function of the information management server, or the function of the information management server A part of what has been described above may be realized as a wearable terminal function.
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。 Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine suitably the component covering different embodiment.
10…ウェアラブル端末、12…投影装置、16…スクリーン、54…スピーカ、55…パッチパッド、59…カメラ、62…光センサ、104…管理者端末、106…製造装置、108…装置状態センサ、110…ユーザ行動センサ、114…カメラ、116…情報管理サーバ、148…マイク、152…無線通信デバイス。
DESCRIPTION OF
Claims (6)
前記ディスプレイにより表示される前記画像をユーザの前方に投影する光学系と、
を具備し、
前記ディスプレイにより表示される前記画像は前記ユーザの動きに応じて変化するウェアラブル端末。 A display for displaying images,
An optical system for projecting the image displayed by the display in front of the user;
Comprising
The wearable terminal in which the image displayed on the display changes according to the movement of the user.
前記ディスプレイは前記メガネ型ウェアラブル端末のテンプルに形成され、
前記光学系は前記画像を投影するレンズと、前記投影された画像を前記ユーザの前方に投影するハーフミラーとを具備する請求項1記載のウェアラブル端末。 The display and the optical system are formed in a glasses-type wearable terminal,
The display is formed on a temple of the glasses-type wearable terminal,
The wearable terminal according to claim 1, wherein the optical system includes a lens that projects the image, and a half mirror that projects the projected image in front of the user.
前記サーバから送信される画像信号に基づいて前記画像を表示し、
前記サーバは前記ユーザの動きに応じて前記画像信号を変化する請求項1記載のウェアラブル端末。 The display is connectable to a server;
Displaying the image based on an image signal transmitted from the server;
The wearable terminal according to claim 1, wherein the server changes the image signal according to the movement of the user.
前記ウェアラブル端末は、
画像を表示するディスプレイと、
前記ディスプレイにより表示される前記画像をユーザの前方に投影する光学系と、
を具備し、
前記サーバは前記ユーザの動きを検出すると前記ディスプレイにより表示される前記画像を変化するシステム。 A system comprising a wearable terminal and a server connectable to the wearable terminal,
The wearable terminal is
A display for displaying images,
An optical system for projecting the image displayed by the display in front of the user;
Comprising
A system in which the server changes the image displayed on the display when detecting the movement of the user.
前記ディスプレイは前記メガネ型ウェアラブル端末のテンプルに形成され、
前記光学系は前記画像を投影するレンズと、前記投影された画像を前記ユーザの前方に投影するハーフミラーとを具備する請求項5記載のシステム。 The display and the optical system are formed in a glasses-type wearable terminal,
The display is formed on a temple of the glasses-type wearable terminal,
The system according to claim 5, wherein the optical system includes a lens that projects the image, and a half mirror that projects the projected image in front of the user.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017227149A JP2018081697A (en) | 2017-11-27 | 2017-11-27 | System and wearable terminal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017227149A JP2018081697A (en) | 2017-11-27 | 2017-11-27 | System and wearable terminal |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015171933A Division JP2017049762A (en) | 2015-09-01 | 2015-09-01 | System and method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019100304A Division JP6641055B2 (en) | 2019-05-29 | 2019-05-29 | Wearable terminal, system and display method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018081697A true JP2018081697A (en) | 2018-05-24 |
Family
ID=62198963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017227149A Pending JP2018081697A (en) | 2017-11-27 | 2017-11-27 | System and wearable terminal |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018081697A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020086627A (en) * | 2018-11-19 | 2020-06-04 | 東京電力ホールディングス株式会社 | Work assisting device, display device, work assisting system and program |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09297282A (en) * | 1996-05-01 | 1997-11-18 | Nippon Telegr & Teleph Corp <Ntt> | Head mount display device |
JP2002196280A (en) * | 2000-10-17 | 2002-07-12 | Olympus Optical Co Ltd | Display device |
JP2006146803A (en) * | 2004-11-24 | 2006-06-08 | Olympus Corp | Operation device, and remote operation system |
JP2012233986A (en) * | 2011-04-28 | 2012-11-29 | Dainippon Printing Co Ltd | Projection device and projection controller |
JP2014066927A (en) * | 2012-09-26 | 2014-04-17 | Seiko Epson Corp | Video display system and head-mounted type display device |
JP2014071663A (en) * | 2012-09-28 | 2014-04-21 | Brother Ind Ltd | Head-mounted display, method of actuating the same and program |
JP2015115849A (en) * | 2013-12-13 | 2015-06-22 | セイコーエプソン株式会社 | Information processor and control method of the same |
US20150192777A1 (en) * | 2014-01-09 | 2015-07-09 | Samsung Electronics Co., Ltd. | Wearable display apparatus |
-
2017
- 2017-11-27 JP JP2017227149A patent/JP2018081697A/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09297282A (en) * | 1996-05-01 | 1997-11-18 | Nippon Telegr & Teleph Corp <Ntt> | Head mount display device |
JP2002196280A (en) * | 2000-10-17 | 2002-07-12 | Olympus Optical Co Ltd | Display device |
JP2006146803A (en) * | 2004-11-24 | 2006-06-08 | Olympus Corp | Operation device, and remote operation system |
JP2012233986A (en) * | 2011-04-28 | 2012-11-29 | Dainippon Printing Co Ltd | Projection device and projection controller |
JP2014066927A (en) * | 2012-09-26 | 2014-04-17 | Seiko Epson Corp | Video display system and head-mounted type display device |
JP2014071663A (en) * | 2012-09-28 | 2014-04-21 | Brother Ind Ltd | Head-mounted display, method of actuating the same and program |
JP2015115849A (en) * | 2013-12-13 | 2015-06-22 | セイコーエプソン株式会社 | Information processor and control method of the same |
US20150192777A1 (en) * | 2014-01-09 | 2015-07-09 | Samsung Electronics Co., Ltd. | Wearable display apparatus |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020086627A (en) * | 2018-11-19 | 2020-06-04 | 東京電力ホールディングス株式会社 | Work assisting device, display device, work assisting system and program |
JP7154501B2 (en) | 2018-11-19 | 2022-10-18 | 東京電力ホールディングス株式会社 | Work assistance device, display device, work assistance system, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2017049762A (en) | System and method | |
US9554447B2 (en) | Head-wearable user interface device for lighting related operations | |
KR20170137476A (en) | Mobile device and method for controlling thereof | |
JP7119164B2 (en) | WEARABLE TERMINAL, SYSTEM AND DISPLAY METHOD | |
US20170068924A1 (en) | Spectacle-type electronic device, work management system, and information management server | |
CN108370488A (en) | Audio providing method and its equipment | |
WO2018084649A1 (en) | Method and apparatus for acquiring information by capturing eye | |
JP6253619B2 (en) | Electronic device and support method | |
JP2018081697A (en) | System and wearable terminal | |
JP2018045707A (en) | System, method, and sensor device | |
JP2017049449A (en) | Electronic apparatus and support method | |
JP6641055B2 (en) | Wearable terminal, system and display method | |
JP7263603B2 (en) | WEARABLE TERMINAL, SYSTEM AND DISPLAY METHOD | |
JP2018037107A (en) | System and method | |
JP2023076619A (en) | Wearable terminal, system, and display method | |
JP6445118B2 (en) | Wearable terminal, method and system | |
JP2017049868A (en) | Wearable terminal, method, and system | |
JP6275672B2 (en) | Electronic device and support method | |
US20210068733A1 (en) | Methods and systems for self-administered measurement of critical flicker frequency (cff) | |
KR20220028572A (en) | Bio signal notification device and notification system comprising the same | |
JP2018101425A (en) | Electronic apparatus, display method and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181002 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190402 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191001 |