JP2020149138A - 作業支援システム、作業支援方法、及びプログラム - Google Patents
作業支援システム、作業支援方法、及びプログラム Download PDFInfo
- Publication number
- JP2020149138A JP2020149138A JP2019044110A JP2019044110A JP2020149138A JP 2020149138 A JP2020149138 A JP 2020149138A JP 2019044110 A JP2019044110 A JP 2019044110A JP 2019044110 A JP2019044110 A JP 2019044110A JP 2020149138 A JP2020149138 A JP 2020149138A
- Authority
- JP
- Japan
- Prior art keywords
- work
- user
- display
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 179
- 238000013523 data management Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 description 61
- 238000012545 processing Methods 0.000 description 48
- 230000006870 function Effects 0.000 description 26
- 230000033001 locomotion Effects 0.000 description 25
- 210000003128 head Anatomy 0.000 description 22
- 238000004891 communication Methods 0.000 description 18
- 239000002131 composite material Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000001133 acceleration Effects 0.000 description 10
- 238000012937 correction Methods 0.000 description 7
- 239000003550 marker Substances 0.000 description 7
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000004886 head movement Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000010626 work up procedure Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- General Factory Administration (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】作業を円滑に進めることを支援する作業支援システム、作業支援方法、及びプログラムを提供する。【解決手段】作業支援システムは、ユーザの頭部に装着される表示デバイスを用いて前記ユーザの作業の実施を支援する。作業支援システムは、作業の内容に関する説明表示画像と、作業の作業要領に関する動画像と、ユーザを所望の作業に導くための誘導表示画像とを含む複数種類のデータと、前記複数種類のデータを表示させる順序を規定するシナリオデータとを記憶部に格納させるデータ管理部と、前記ユーザの特定の作業工程の前記シナリオデータに従い、前記ユーザの特定の作業工程に対応する、前記説明表示画像と、前記動画像と、前記誘導表示画像とを表示デバイスの表示部に表示させるように制御する表示制御部と、を備える。【選択図】図4
Description
本発明は、作業支援システム、作業支援方法、及びプログラムに関する。
透過型のヘッドマウント型デバイスを用いることにより、実空間の状況を見ながら、実空間に対応する仮想空間の情報を確認することが可能になる。作業者が作業を実施する際にヘッドマウント型デバイスを用いることで、その作業に関する情報を作業者に提供する施工支援情報システム(作業支援システム)が知られている(例えば特許文献1参照)。
しかしながら、作業について熟知しない作業者は、熟練者であれば当然有しているような知見を有していないことがある。作業者によって、作業を円滑に進めることができないことが生じうる。
本発明は、このような事情を鑑みてなされたものであり、作業を円滑に進めることを支援する作業支援システム、作業支援方法、及びプログラムを提供することを目的とする。
上記の課題を解決するための本発明の一態様は、ユーザの頭部に装着される表示デバイスであって、前記頭部に装着された状態で前記ユーザに実世界を視認可能にして、さらに前記ユーザに情報を表示可能な表示デバイスを用いて、前記ユーザが実施する作業に関する情報を、前記ユーザに提供して前記作業の実施を支援する作業支援システムであって、前記作業の内容に関する説明表示画像と、前記作業の作業要領に関する動画像と、前記ユーザを所望の作業に導くための第3データとを含む複数種類のデータと、前記複数種類のデータを表示させる順序を規定するシナリオデータとを記憶部に格納させるデータ管理部と、前記ユーザの特定の作業工程の前記シナリオデータに従い、前記ユーザの特定の作業工程に対応する前記説明表示画像と、前記動画像と、前記誘導表示画像とを前記表示デバイスの表示部に表示させるように制御する表示制御部と、を備える作業支援システムである。
上記の作業支援システムにおいて、前記説明表示画像は、前記作業の内容に関する文字情報を含み、前記動画像は、前記作業の作業要領に関するアニメーションを含み、前記誘導表示画像は、前記ユーザを所望の作業に導くための誘導表示を含む。
上記の作業支援システムにおいて、前記シナリオデータは、前記ユーザの特定の作業工程において、前記特定の作業に係る前記動画像、前記説明表示画像、及び前記誘導表示画像を、記載の順に表示させるための情報を含む。
上記の作業支援システムにおいて、前記表示制御部は、前記表示制御部は、前記特定の作業工程に遷移した後に、前記ユーザを前記特定の作業に導くための前記誘導表示画像を、前記特定の作業に係る前記動画像と前記説明表示画像の何れかを前記表示部に表示するときよりも前に表示させるように制御する。
上記の作業支援システムにおいて、前記表示制御部は、前記ユーザの特定の作業工程内の予め定められる期間に、前記シナリオデータに基づいて前記動画像の表示を制限する。
上記の作業支援システムにおいて、前記表示制御部は、前記ユーザの特定の作業工程において、前記ユーザが実施する作業に関する動画像を非表示にして、その後再表示にする。
本発明の一態様は、ユーザの頭部に装着される表示デバイスであって、前記頭部に装着された状態で前記ユーザに実世界を視認可能にして、さらに前記ユーザに情報を表示可能な表示デバイスを用いて、前記ユーザが実施する作業に関する情報を、前記ユーザに提供して前記作業の実施を支援する作業支援方法であって、コンピュータに、前記作業の内容に関する説明表示画像と、前記作業の作業要領に関する動画像と、前記ユーザを所望の作業に導くための誘導表示画像とを含む複数種類のデータと、前記複数種類のデータを表示させる順序を規定するシナリオデータとを記憶部に格納させ、前記ユーザの特定の作業工程の前記シナリオデータに従い、前記ユーザの特定の作業工程に対応する前記説明表示画像と、前記動画像と、前記誘導表示画像とを前記表示デバイスの表示部に表示させるように制御するステップを含む備える作業支援方法である。
本発明の一態様のプログラムは、ユーザの頭部に装着される表示デバイスであって、前記頭部に装着された状態で前記ユーザに実世界を視認可能にして、さらに前記ユーザに情報を表示可能な表示デバイスを用いて、前記ユーザが実施する作業に関する情報を、前記ユーザに提供して前記作業の実施を支援する作業支援システムにおけるコンピュータに、前記作業の内容に関する説明表示画像と、前記作業の作業要領に関する動画像と、前記ユーザを所望の作業に導くための誘導表示画像とを含む複数種類のデータと、前記複数種類のデータを表示させる順序を規定するシナリオデータとを記憶部に格納させるステップと、前記ユーザの特定の作業工程の前記シナリオデータに従い、前記ユーザの特定の作業工程に対応する前記説明表示画像と、前記動画像と、前記誘導表示画像とを前記表示デバイスの表示部に表示させるように制御するステップとを実行させるためのプログラムである。
本発明によれば、作業を円滑に進めることを支援できる。
以下、図を参照して、実施形態に係る作業支援システム、作業支援方法、及びプログラムについて説明する。
実施形態における「動画像」とは、時間軸方向の情報の連続性が保たれた画像(動画像)の他、時間軸方向の情報を間引いた準動画像、複数種類の静止画を連続して表示する画像などを含む。
実施形態における「動画像」とは、時間軸方向の情報の連続性が保たれた画像(動画像)の他、時間軸方向の情報を間引いた準動画像、複数種類の静止画を連続して表示する画像などを含む。
[作業支援システムの概要]
実施形態に係る作業支援システム1の概要について説明する。
図1は、実施形態に係る作業支援システムの概要について説明するための図である。作業支援システム1は、作業者に予定の作業を円滑に実施させるように、予定の作業に関する情報を、その作業者に提供する。
実施形態に係る作業支援システム1の概要について説明する。
図1は、実施形態に係る作業支援システムの概要について説明するための図である。作業支援システム1は、作業者に予定の作業を円滑に実施させるように、予定の作業に関する情報を、その作業者に提供する。
(適用する作業と対象ユニットUの例)
ここで具体的な作業の一例を挙げる。例示する作業は、作業対象の装置(以下、対象ユニットUという。)の保守・点検作業である。対象ユニットUは、例えば、通信装置、サーバ装置などのICT(Information and Communication Technology)装置、電力変換装置等であってよい。このような対象ユニットUは、主に通信機械室などに配置されるが、通信機械室には同じ形の装置(収納筐体)が多数配置されていることがある。1つの収納筐体に、同種或いは異種のユニットが複数搭載されていることがある。
ここで具体的な作業の一例を挙げる。例示する作業は、作業対象の装置(以下、対象ユニットUという。)の保守・点検作業である。対象ユニットUは、例えば、通信装置、サーバ装置などのICT(Information and Communication Technology)装置、電力変換装置等であってよい。このような対象ユニットUは、主に通信機械室などに配置されるが、通信機械室には同じ形の装置(収納筐体)が多数配置されていることがある。1つの収納筐体に、同種或いは異種のユニットが複数搭載されていることがある。
ここで、対象ユニットUの一例を図2に示す。図2は、実施形態の対象ユニットUを示す図である。図2に示す対象ユニットUは、1つの収納筐体に、同種或いは異種のユニットとともに搭載されている。対象ユニットUの作業対象の面には、同一形状の複数のコネクタ、スイッチ、表示素子などが並んで配置されている。そのため、対象ユニットUそのものや、コネクタ、スイッチ、表示素子などを誤ることなく作業を実施する必要がある。
また、収納筐体内の一部のユニットを稼働させた状態で、収納筐体内の特定のユニットに対する給電を停止して、当該ユニットの稼働を停止させて作業を実施することがある。このような作業の場合、操作するスイッチを誤ると、稼働中のユニットを予定外に停止させることになる。
これまで上記の作業を実施する際には、作業計画が記載された手順書を確認し、作業監督者(作業リーダー)と作業者が連携して作業にあたるなどの方法を励行することにより、上記の誤りが生じることを防いでいた。ただし、作業が複雑になるほど、上記の手順書が複雑になる。また、作業者が手順書を確認するために、対象ユニットUから目を離すことがあった。
これに対し、作業支援システム1は、図1に示すような作業形態をとることで、表示デバイス10を利用する作業者等(ユーザ)の作業を支援する。
例えば、表示デバイス10は、透過型のヘッドマウントディスプレイ(HMD)である。表示デバイス10は、作業者の頭部に装着された状態で利用される作業支援装置の一例である。
図3を参照して、作業支援システム1が作業者に示す情報の一例について説明する。図3は、実施形態の表示デバイス10が表示する画像を説明するための図である。
作業者は、表示デバイス10を頭部に装着していると、表示デバイス10を透過して実空間の対象ユニットU等の像を確認できる。表示デバイス10は、図3に示すような対象ユニットUに関する仮想の像を表示する。作業者は、実空間に存在する対象ユニットUの像と、表示デバイス10が表示した画像とを、作業中に確認することができる。表示デバイス10が表示する画像には、対象ユニットUの輪郭の他、符号ZIの領域に示される作業の内容と手順に関する情報が含まれる。表示デバイス10は、作業者が実空間の対象ユニットUの像と対象ユニットUに関する仮想の像が重なった像として確認できるように、表示する画像を調整する。
このような作業支援システム1は、作業者が手順書を確認するために、作業者が対象ユニットUから目を離すことなく当該作業者の作業を続けることを可能にする。以下、この詳細について説明する。
図4を参照して、実施形態に係る表示デバイス10について説明する。図4は、実施形態に係る表示デバイス10の概略構成図である。
表示デバイス10は、制御部110と、記憶部120と、入力部130と、表示部140と、加速度検出部150と、無線通信部160と、カメラ170と、マイク180と、スピーカ190とを備える。
制御部110は、ソフトウエアプログラムを実行するプロセッサ等を含む。制御部110は、ソフトウエアプログラムを実行することにより各種処理の機能部として作用する。例えば制御部110は、演算処理部111と、位置情報処理部112と、移動量取得部113と、動き検出部114と、視線推定部115と、操作検出部116と、再生処理部117と、履歴処理部118と、データ管理部119とを備える。その詳細は後述する。再生処理部117は、表示制御部の一例である。
記憶部120は、ROM(Read Only Memory)やRAM(Random Access Memory)、HDD(Hard Disk Drive)、フラッシュメモリ等で実現される。プロセッサが実行するソフトウエアプログラムは、予め記憶部120に格納されていてもよいし、外部装置や可搬型記憶媒体などから、或いは通信回線を介してダウンロードされてもよい。
記憶部120は、表示デバイス10を通信端末として機能させるための各種設定情報と、OSなどの基本プログラムを格納する。さらに、記憶部120は、上記の他、実施形態の表示デバイス10としての機能を実現させるための各種データとアプリケーションプログラムとを格納する。各種データの例について後述する。
入力部130は、ユーザの操作を検出する操作検出部を含む。操作検出部は、機械的に検出する機構部を備えていてもよく、電気的に検出する検出部を備えていてもよい。
表示部140は、各種情報を表示する透過型又は半透過型の表示器を含む。表示部140の表示器は、作業者の片目又は両目の視野に収まるような位置に、所望の画像を表示させるように配置されている。例えば、表示部140は、両目の視差を調整した画像を、両目の視野内に夫々表示することにより、立体視可能な像を表示することができる。
加速度検出部150は、加速度センサー(又はジャイロ)を含み、作業者の頭部に作用する力を、表示デバイス10に掛かる力として検出する。作業者の頭部に作用する力は、作業者の行動と姿勢によって変化する。加速度検出部150の検出結果を利用することにより、間接的に作業者の行動と姿勢を検出することができる。
無線通信部160は、図示されないアンテナを備えており、電波を利用して通信する。例えばこの通信方式として、近距離通信方式、セルラー方式、無線LAN方式などの各種方式を適用できる。近距離通信方式の場合、比較的近傍に位置する他の表示デバイス10などと消費電力を抑えて通信することができる。例えば、この無線通信方式は、ブルーツース(登録商標)などを適用してもよい。
カメラ170は、光学系と撮像素子を含み、光学系の光軸方向を撮像する。例えば、カメラ170は、表示デバイス10の筐体の内部又は外部に設けられていて、作業者が、その頭部に表示デバイス10を規定の方法で装着すると、作業者の顔の前方にカメラ170の光軸が向くように形成されている。制御部110は、カメラ170によって撮像された画像を用いることで、表示デバイス10を装着した作業者の姿勢を検出したり、作業者の位置を検出したりするために利用する。
マイク180とスピーカ190は、例えば、図示されない所望のアンプを含み、表示デバイス10を通話用の装置として利用する際に利用される。また、制御部110は、マイク180を、表示デバイス10の周囲の音を収集するためのセンサとして利用してもよく、スピーカ190から、警報音や作業者に対する音声ガイドを提供してもよい。なおスピーカ190は、イヤホン、ヘッドホン、骨伝導型振動体などあってもよい。以下の説明では、スピーカ190を、それらを代表するものとして説明する。マイク180とスピーカ190は、表示デバイス10に内蔵されていてもよく、表示デバイス10に付帯されるものであってもよい。
なお、表示デバイス10には、HMD型に代えて、スマートフォン、タブレット型端末、パーソナルコンピュータ等の携帯型の装置を適用することができる。上記の場合、表示部140が透過型でなくなるが、同様の用途に利用することができる。スマートフォンなどの場合、入力部130と表示部140は、互いに組み合わされたタッチパネルとして構成されていてもよい。
次に、記憶部120に格納されるデータについて説明する。
記憶部120には、例えば、3DモデルDB121と、ガイダンスDB122と、動画像DB123と、属性DB124と、マーカDB125と、作業計画DB126と、補正量DB127と、履歴DB128とが格納される。
記憶部120には、例えば、3DモデルDB121と、ガイダンスDB122と、動画像DB123と、属性DB124と、マーカDB125と、作業計画DB126と、補正量DB127と、履歴DB128とが格納される。
3DモデルDB121には、3次元の仮想空間に構築したモデルのデータが含まれる。上記のモデルは、実空間の対象ユニットUなどを含む領域に対応するものである。例えば、上記のモデルのデータには、対象ユニットUの輪郭像のデータ、作業工程ごとの作業の内容に関するデータ(説明表示画像)などが含まれてもよい。
ガイダンスDB122には、作業手順のガイダンスとして再生するための音源データが含まれる。
動画像DB123には、作業手順のガイダンスとして再生するための動画像データが含まれる。上記の動画像データには、対象ユニットUにおいて作業者の操作によって視覚上の変化が生じる部分のデータが含まれる。例えば、スイッチの操作をガイダンスする場合であれば、対象となるスイッチを特定することができ、スイッチのレバー部分の状態をどのように変えるかなどのように、作業の要領(動き)が示されればよい。
動画像データには、上記の他、作業者の視線を誘導するための画像などのデータ(誘導表示画像)が含まれてよい。
属性DB124には、表示デバイス10の装置ID、表示デバイス10の利用者の利用者ID、利用者の役割を示す役割情報などが含まれる。
マーカDB125には、表示デバイス10の位置合わせ処理に利用されるマーカの特徴と、実空間に配置されている位置に関するデータが含まれる。例えばマーカは、QRコード(登録商標)である。
作業計画DB126には、表示デバイス10を用いて支援する作業の作業計画のデータが含まれる。このデータは、作業の手順を示すシナリオのデータとして用いられる。
補正量DB127には、表示デバイス10の表示の精度を高めるための各種補正データなどが含まれる。例えば、各補正データには、表示デバイス10の位置合わせ処理の精度を高めるためのデータが含まれていてもよい。
履歴DB128には、実施された作業結果のデータが含まれる。例えば、このデータには、カメラ170によって撮像された画像データ、操作の履歴データなどが含まれる。
なお、各種DBのデータは互いに関連付けられていて、作業者が予定する作業のマニュアルとして機能する情報を含む。マニュアルとは、一般的な作業の手順書に関する情報に加えて、予定する作業の対象ユニットUに関するCG画像データ、予定する作業を、動画像を用いて説明するための動画像データ、などが含まれる。
次に、制御部110がプログラムを実行することで実現する表示デバイス10の主な機能を挙げる。以下、これについて順に説明する。
・表示デバイス10の初期設定機能
・表示デバイス10の位置検出機能
・表示デバイス10による視線の動き検出機能
・表示デバイス10による対象ユニットUの合成画像の表示機能
・表示デバイス10が表示する合成画像の補正機能
・表示デバイス10による画像と音声の再生機能
・表示デバイス10同士を連携させる連携制御機能
・表示デバイス10を利用した作業の作業履歴の管理機能
・各種情報の管理機能
・表示デバイス10の初期設定機能
・表示デバイス10の位置検出機能
・表示デバイス10による視線の動き検出機能
・表示デバイス10による対象ユニットUの合成画像の表示機能
・表示デバイス10が表示する合成画像の補正機能
・表示デバイス10による画像と音声の再生機能
・表示デバイス10同士を連携させる連携制御機能
・表示デバイス10を利用した作業の作業履歴の管理機能
・各種情報の管理機能
(表示デバイス10の初期設定機能)
表示デバイス10の制御部110は、入力部130による操作の検出結果に基づき、表示デバイス10を機能させるための各種情報を生成して、それを記憶部120の属性DB124に格納させる。例えば、上記の各種情報には、表示デバイス10の作業者が登録する利用者ID、役割を示す役割情報などが含まれる。
表示デバイス10の制御部110は、入力部130による操作の検出結果に基づき、表示デバイス10を機能させるための各種情報を生成して、それを記憶部120の属性DB124に格納させる。例えば、上記の各種情報には、表示デバイス10の作業者が登録する利用者ID、役割を示す役割情報などが含まれる。
(位置検出機能)
表示デバイス10は、例えば、表示デバイス10の位置の検出に、規定のマーカの検出結果と、表示デバイス10の動き検出の結果とを利用して、表示デバイス10の位置と表示デバイス10が向けられた方向を検出する。前述の図2に示す符号MKは規定のマーカの一例である。規定のマーカは、対象ユニットUの側面に添付されている。
表示デバイス10は、例えば、表示デバイス10の位置の検出に、規定のマーカの検出結果と、表示デバイス10の動き検出の結果とを利用して、表示デバイス10の位置と表示デバイス10が向けられた方向を検出する。前述の図2に示す符号MKは規定のマーカの一例である。規定のマーカは、対象ユニットUの側面に添付されている。
なお、表示デバイス10は、自表示デバイス10の位置を検出する位置検出機能を有効化する前に、次に示す初期化処理を実施することによって表示デバイス10の位置と表示デバイス10が向けられた方向の初期値を決定する。表示デバイス10の位置の初期値を基準位置と呼ぶ。
(視線の動き検出機能)
動き検出部114は、加速度検出部150の検出結果に基づいて算出される作業者の頭部の動きの推定結果を取得する。
例えば、作業者が視線を移動させると、それに伴い作業者の頭部も動く。作業者の頭部の動きを検出することで、間接的に作業者の視線の動きを検出することができる。例えば、視線推定部115は、作業者の頭部の動きに基づいて視線の位置を算出する。これに基づいて、表示デバイス10は、算出された視線の位置に視線カーソルを表示部140に表示する。例えば、視線カーソルは、算出された視線の位置を中心にした同心円状の図形であってもよい。その半径は、作業者が認知しやすい長さにするとよい。視線カーソルは、表示中に半径を変更するなどの形状が変更されてもよい。
動き検出部114は、加速度検出部150の検出結果に基づいて算出される作業者の頭部の動きの推定結果を取得する。
例えば、作業者が視線を移動させると、それに伴い作業者の頭部も動く。作業者の頭部の動きを検出することで、間接的に作業者の視線の動きを検出することができる。例えば、視線推定部115は、作業者の頭部の動きに基づいて視線の位置を算出する。これに基づいて、表示デバイス10は、算出された視線の位置に視線カーソルを表示部140に表示する。例えば、視線カーソルは、算出された視線の位置を中心にした同心円状の図形であってもよい。その半径は、作業者が認知しやすい長さにするとよい。視線カーソルは、表示中に半径を変更するなどの形状が変更されてもよい。
例えば、視線推定部115は、動き検出部114によって算出され、演算処理部111によって中継される、頭部の動きの推定結果と視線の動きの推定結果を取得してもよい。或いは、演算処理部111は、加速度検出部150の検出結果に基づいた頭部の動きの推定結果と視線の動きの推定結果を算出する。動き検出部114は、演算処理部111から、演算処理部111によって算出された頭部の動きの推定結果と視線の動きの推定結果を取得してもよい。なお、加速度検出部150の検出結果である加速度データから、頭部の動きと視線の動きを算出する方法は、上記に限らず既知の方法を用いてよい。
上記の通り、表示デバイス10は、作業支援システム1において、作業者の位置のセンサと姿勢のセンサとして機能して、作業者の位置と姿勢の情報を取得する。
(対象ユニットUの合成画像の表示機能)
表示デバイス10は、実空間内に配置された対象ユニットUの像の位置に整合するように、対象ユニットUの合成画像を表示する。
表示デバイス10は、実空間内に配置された対象ユニットUの像の位置に整合するように、対象ユニットUの合成画像を表示する。
例えば、表示デバイス10に表示される対象ユニットUの合成画像は、3DモデルDB121の3次元モデル(3Dモデル)に含まれる。対象ユニットUの合成画像の画像データは、上記の3Dモデルの座標系の位置に対応付けるための情報が関連付けられている。3Dモデルの座標系の位置に対応付けるための情報とは、上記の3Dモデルの座標系の位置情報であってもよく、3Dモデル内に配置された装置の識別情報及びその装置の側面の何れかを特定可能な識別情報を有するデータであってもよい。
例えば、移動量取得部113は、加速度検出部150の検出結果に基づいて算出される作業者の移動量の推定結果を取得する。移動量取得部113は、位置の初期化処理を行った際の、作業者の位置と、上記の作業者の移動量の推定値とに基づいて、現在の作業者の位置を推定し、この推定結果を上記の3Dモデルの座標系の位置に対応付けるとよい。
演算処理部111は、上記の3Dモデルの座標系の位置に対応付けるための情報等を用いて対象ユニットUの合成画像を、3Dモデル内の対象ユニットUの位置に表示させるためのデータを生成する。
これにより、作業者が、頭を旋回させて違う方向を見た場合も、移動して位置を代えた場合も、表示デバイス10は、作業者と対象ユニットUの位置関係を逐次捕捉し続ける。
演算処理部111は、上記の3Dモデルの座標系の位置に対応付けるための情報等を用いて対象ユニットUの合成画像を、3Dモデル内の対象ユニットUの位置に表示させるためのデータを生成する。
これにより、作業者が、頭を旋回させて違う方向を見た場合も、移動して位置を代えた場合も、表示デバイス10は、作業者と対象ユニットUの位置関係を逐次捕捉し続ける。
(表示する合成画像の補正機能)
表示デバイス10は、表示する合成画像を、作業者と対象ユニットUとの位置関係に基づいて補正する。
表示デバイス10は、表示する合成画像を、作業者と対象ユニットUとの位置関係に基づいて補正する。
例えば、作業者が対象ユニットUから離れれば、それに応じて表示する対象ユニットUの画像を小さくする。作業者が首を横に向ければ、それに応じて対象ユニットUの画像を表示する位置を横に変更する。上下に向ける場合も同様である。
演算処理部111は、上記に関する合成画像の補正演算を実施して、補正後の合成画像を出力する。
(画像と音声の再生機能)
表示デバイス10は、予め記憶部120に格納されているデータに基づいて画像と音声を再生する。
例えば、記憶部120の3DモデルDB121と、ガイダンスDB122と、動画像DB123に格納されているデータは、画像と音声のデータである。
或いは、記憶部120に格納されている上記のデータは、画像と音声を選択するための識別データであってよい。この場合、表示デバイス10は、他の装置に識別データを送って、画像と音声のデータを取得してもよい。
表示デバイス10は、予め記憶部120に格納されているデータに基づいて画像と音声を再生する。
例えば、記憶部120の3DモデルDB121と、ガイダンスDB122と、動画像DB123に格納されているデータは、画像と音声のデータである。
或いは、記憶部120に格納されている上記のデータは、画像と音声を選択するための識別データであってよい。この場合、表示デバイス10は、他の装置に識別データを送って、画像と音声のデータを取得してもよい。
再生処理部117は、3DモデルDB121と動画像DB123に格納されているデータに基づいて再生した画像を、表示部140に表示させる。再生処理部117は、ガイダンスDB122に格納されているデータに基づいて再生した音声を、スピーカ190から出力させる。
(連携制御)
表示デバイス10は、他の表示デバイスである表示デバイス20と連携して動作することにより、表示デバイス10と表示デバイス20(図1)における画像と音声の再生を互いに同期させてもよい。その際に、再生する画像と音声の種類は、同一であってもよく、予め対応付けられたものであれば、少なくとも一部が互いに異なるものであってもよい。
表示デバイス10は、他の表示デバイスである表示デバイス20と連携して動作することにより、表示デバイス10と表示デバイス20(図1)における画像と音声の再生を互いに同期させてもよい。その際に、再生する画像と音声の種類は、同一であってもよく、予め対応付けられたものであれば、少なくとも一部が互いに異なるものであってもよい。
(作業履歴の管理)
表示デバイス10は、作業者による記録開始の操作を検出して、作業期間中にした作業の履歴を管理する。
作業者の操作とは、作業者が表示されたボタンを注視しながら、当該作業者が所定のジェスチャーを実施することであって良い。このような方法であれば、作業者が操作のための道具を用いることなく、表示デバイス10に操作を識別させることができる。
表示デバイス10は、作業者による記録開始の操作を検出して、作業期間中にした作業の履歴を管理する。
作業者の操作とは、作業者が表示されたボタンを注視しながら、当該作業者が所定のジェスチャーを実施することであって良い。このような方法であれば、作業者が操作のための道具を用いることなく、表示デバイス10に操作を識別させることができる。
履歴処理部118は、関連する操作が検出されるとカメラ170からの画像の録画を開始して、作業中の作業者が選択したボタンの操作履歴を履歴DB128に追加する。履歴処理部118は、作業者による作業終了(作業完了)、作業中断、記録中断などの操作が検出されるまで、上記の録画と記録の処理を継続する。
上記のように記録された画像と操作履歴を、所定の作業の完了後に当該作業の報告、解析などに利用することができる。
なお、履歴処理部118は、作業中に上記のカメラ170からの画像と操作履歴を、通信によって他の装置に送信してもよい。この場合、これらを受信した装置が、記録に残すとよい。
(各種情報の管理機能)
上記の通り、表示デバイス10として機能させるための各種情報には、対象ユニットUが配置された位置の位置情報、作業者の識別情報、作業者の属性情報、作業の内容と手順に関するシナリオデータ、表示デバイス10の位置などの検出結果、表示用の各種情報などの情報が含まれる。
上記の通り、表示デバイス10として機能させるための各種情報には、対象ユニットUが配置された位置の位置情報、作業者の識別情報、作業者の属性情報、作業の内容と手順に関するシナリオデータ、表示デバイス10の位置などの検出結果、表示用の各種情報などの情報が含まれる。
データ管理部119は、表示デバイス10として機能させるための各種情報を、入力部130又は無線通信部160から取得すると、記憶部120に格納する。これに係る情報には、作業の内容に関する説明表示画像と、作業の作業要領に関する動画像と、作業者を所望の作業に導くための誘導表示画像とが含まれる複数種類のデータがある。さらに、データ管理部119は、上記の複数種類のデータを表示させる順序を規定するシナリオデータを記憶部120に格納させる。
図5と図6を参照して、実施形態の作業者が作業の内容を確認し、その作業を進行させるための操作にについて説明する。
図5は、実施形態の作業者に提供される表示について説明するための図である。
表示デバイス10は、透過型であり、「複合現実」と呼ばれる実空間に仮想現実を融合させる技術を用いて、実空間に存在しない情報を実空間の対象ユニットUに対応付けるように提供する。
表示デバイス10は、透過型であり、「複合現実」と呼ばれる実空間に仮想現実を融合させる技術を用いて、実空間に存在しない情報を実空間の対象ユニットUに対応付けるように提供する。
実空間に対する作業者の視野は、表示デバイス10の構造によって死角が生じる範囲を除けば、基本的には制限されることがない。例えば、表示部140の範囲を超える範囲が作業者の視野に含まれる。これに対し、仮想現実を提供するための合成画像が表示される範囲は、少なくとも表示部140の範囲に制限される。
(ナビゲーション表示)
次に表示部140の表示について説明する。
符号210は、表示部140に表示させる画像を示す。表示部140には、この範囲の一部又は全部が表示される。領域210は、中央に位置する領域210aと、領域210aの右側の領域210bと、領域210aの左側の領域210cに大別される。領域210aから領域210cは、そこに表示される情報の種類が異なるように規定されている。
次に表示部140の表示について説明する。
符号210は、表示部140に表示させる画像を示す。表示部140には、この範囲の一部又は全部が表示される。領域210は、中央に位置する領域210aと、領域210aの右側の領域210bと、領域210aの左側の領域210cに大別される。領域210aから領域210cは、そこに表示される情報の種類が異なるように規定されている。
領域210aから領域210cの範囲とは独立して範囲が規定される領域210tがある。領域210tは、少なくとも領域210aに重なるように設けられ、そこには、対象ユニットUに関する仮想の像が表示される。対象ユニットUに関する仮想の像には、各ユニットの輪郭と、各ユニットの盤面に配置されている部品の輪郭の像などが含まれる。
領域210aは、対象ユニットUに関する仮想の像の像を示す他に、主に作業の手順などを示すために利用される。この領域210aは、作業者が対象ユニットUに対する作業中に、作業者の視野の中心近傍に位置するように表示される。
領域210a内の上段には、作業者に注目させる位置を示す領域211が設けられている。領域211は、「対象エリア」の一例である。領域211には、上記の位置を含むように規定された枠の四隅を示す図形211cが表示される。「対象エリア」を、四隅に図形211cが配置された四角形の枠内に規定してもよい。例えば、「対象エリア」の大きさは、作業の操作対象になる部品が1つだけ含まれるように規定するとよい。配線用遮断器(MCCB)のように操作対象がある程度の大きさを持っている場合には、「対象エリア」は、上記に従い1つだけを囲うように規定される。確認対象になるLEDランプなどの表示器は、比較的小さいことがあり「対象エリア」の枠の中に複数のLEDランプが入ることがある。このような場合には、該当のLEDランプをハイライトさせて、他のLEDランプと識別できるように表示するとよい。
領域211の下段には、領域212(図6)が設けられることがある。領域212を「詳細表示エリア」と呼ぶ。これについては後述する。
領域210bと210cは、主に作業に関連する各種情報を示すために利用される。ここに示す各種情報には、対象ユニットUの図面、保守点検の履歴などの関連情報が含まれる。
ここで、「詳細表示エリア」について説明する。
図6は、実施形態の「詳細表示エリア」に表示する画像について説明するための図である。「詳細表示エリア」には、作業者が作業工程の作業を励行する際に必要とされる情報が順に示され、それに対する応答をするために利用される領域である。
図6は、実施形態の「詳細表示エリア」に表示する画像について説明するための図である。「詳細表示エリア」には、作業者が作業工程の作業を励行する際に必要とされる情報が順に示され、それに対する応答をするために利用される領域である。
なお、表示デバイス10では、機械的なポインティングデバイス(マウス等)を用いることなく、作業者の視線カーソルを用いて作業者の操作を検出する。以下の説明では、視線カーソルを用いて操作ボタンを選択することを、単に「操作する」という。
図6に示す画像の領域212内に、テキスト表示領域DSPと、操作ボタンOBJ1からOBJ10とが含まれる。
テキスト表示領域DSPには、当該作業の詳細な内容がテキスト等で示される。例えば、図6に示すテキスト表示領域DSP内に、LEDのランプ状態(点灯状態)の確認を促す情報が表示されている。ここに表示されるテキスト(文字)の表示を、作業内容に対応付けて色分けしてもよい。
テキスト表示領域DSPの範囲に設けられた操作ボタンOBJ1とOBJ2は、当該作業で作業者が対象ユニットUについて確認した状況を登録するために利用される操作ボタンである。作業者は、確認した状況がテキスト表示領域DSPに示された内容に対して肯定的な回答(「はい」)を選択する場合には、操作ボタンOBJ1を操作し、否定的な回答(「いいえ」)を選択する場合には、操作ボタンOBJ2を操作する。操作検出部116が操作ボタンOBJ1又はOBJ2の操作を検出すると、履歴処理部118は、その検出の結果を履歴DB128の作業履歴に追加する。
以下に示す各操作ボタンは、テキスト表示領域DSPの枠外に設けられている。
操作ボタンOBJ3とOBJ4は、作業工程を遷移させるために利用される操作ボタンである。作業者は、現在の作業工程から次の作業工程に進める場合(「次に進む」場合)には、操作ボタンOBJ3を操作し、現在の作業工程の前の作業工程に戻る場合(「前に戻る」場合)には、操作ボタンOBJ4を操作する。操作検出部116が操作ボタンOBJ3又はOBJ4の操作を検出すると、再生処理部117は、その検出の結果に応じて作業工程を遷移させる。
操作ボタンOBJ3とOBJ4は、作業工程を遷移させるために利用される操作ボタンである。作業者は、現在の作業工程から次の作業工程に進める場合(「次に進む」場合)には、操作ボタンOBJ3を操作し、現在の作業工程の前の作業工程に戻る場合(「前に戻る」場合)には、操作ボタンOBJ4を操作する。操作検出部116が操作ボタンOBJ3又はOBJ4の操作を検出すると、再生処理部117は、その検出の結果に応じて作業工程を遷移させる。
操作ボタンOBJ5は、現在の作業工程における作業を確認するために利用される操作ボタンである。作業者は、現在の作業工程の動画像が表示された後などに、現在の作業工程の内容を再確認する場合(「リプレイ」する場合)には、操作ボタンOBJ5を操作する。操作検出部116が操作ボタンOBJ5の操作を検出すると、再生処理部117は、その検出の結果に応じて作業工程の作業の内容を示す画像を再生させる。
操作ボタンOBJ6は、対象ユニットUと表示デバイス10との位置関係を再調整するために利用される操作ボタンである。作業者は、対象ユニットUと表示デバイス10との位置関係を再調整する場合などに、操作ボタンOBJ6を操作する。操作検出部116が操作ボタンOBJ6の操作を検出すると、位置情報処理部112は、基準位置と基準方向を決定する初期化処理を実施する。
操作ボタンOBJ7は、表示デバイス10に表示されている画像を、実空間の対象ユニットUの像に対して位置合わせを実施するために利用される操作ボタンである。作業者は、表示デバイス10に表示されている画像が、実空間の対象ユニットUの像に対してずれていて、そのずれが許容できない場合などに、操作ボタンOBJ6を操作する。操作検出部116が操作ボタンOBJ6の操作を検出すると、位置情報処理部112は、上記の位置合わせの処理の結果を調整する。
操作ボタンOBJ8は、表示デバイス10に設定されている各種情報を確認するために利用される操作ボタンである。作業者は、表示デバイス10に設定されている各種情報を確認する場合などに、操作ボタンOBJ8を操作する。操作検出部116が操作ボタンOBJ8の操作を検出すると、再生処理部117は、記憶部120に格納されている各種情報を表示部140に表示させる。
操作ボタンOBJ9は、表示デバイス10に設定されている各種情報を設定(変更)するために利用される操作ボタンである。作業者は、表示デバイス10に設定されている各種情報を変更する場合、又は新たに設定する場合などに、操作ボタンOBJ9を操作する。操作検出部116は、操作ボタンOBJ9の操作を検出すると、記憶部120に格納されている各種情報を、新たに指定される情報に更新して、記憶部120の属性DB124などに追加する。
操作ボタンOBJ10は、現在の作業工程の作業を中断するために利用される操作ボタンである。作業者は、予定外の状態が発生して予定の作業の継続が困難な場合、当日の作業時間内に作業工程で予定されている作業を完了できない場合、作業工程の順序を当初の予定から入れ替えて実施する場合などに、操作ボタンOBJ10を操作する。操作検出部116が操作ボタンOBJ10の操作を検出すると、再生処理部117は、当該作業工程を途中で中断させる。さらに、履歴処理部118は、当該作業工程の途中までの作業の結果を、履歴DB128に追加して、作業中断のフラグを立てる。
図7を参照して、実施形態の作業支援処理について説明する。図7は、実施形態の作業支援処理のフローチャートである。
この作業工程に携わる作業者は、作業の際に表示デバイス10を利用するにあたり、下記する項目に関する情報を登録する。
・作業者の識別情報(表示デバイス10を利用する作業者を識別するための情報)
・作業者の属性情報(作業担当、作業リーダーなどの作業における役割を選択)
・予定の作業工程(1又は複数用意された作業工程の中から1つを選択)
・作業開始の条件(新規の作業工程を開始するのか、中断した作業工程を再開するのかを選択)
・作業者の識別情報(表示デバイス10を利用する作業者を識別するための情報)
・作業者の属性情報(作業担当、作業リーダーなどの作業における役割を選択)
・予定の作業工程(1又は複数用意された作業工程の中から1つを選択)
・作業開始の条件(新規の作業工程を開始するのか、中断した作業工程を再開するのかを選択)
例えば、上記の各種情報の登録を、以下に示す手順で行い、上記の設定に基づいた作業工程の作業を開始するとよい。
作業者は、表示デバイス10を頭部に装着して、表示デバイス10を活性化させる。その際に、表示デバイス10の制御部110は、作業支援処理に係る所定のプログラムの処理を開始する(ステップS10)。
制御部110は、予定される作業を登録させるための画面(予定作業登録画面)を表示させる。予定作業登録画面が表示されたのち、作業者は、予定作業に対応するボタンを選択する。制御部110は、作業者による操作を検出して、予定される作業を選択する(ステップS11)。
制御部110は、過去の作業において、作業が中断された履歴が残っているか否かを判定し(ステップS12)、中断の履歴が残っている場合(中断フラグが立っている場合)には、中断した作業から開始するか、シナリオデータの最初から開始するかを選択するための画面を表示部に表示させる。制御部110は、作業者による作業を開始する位置の指定操作を検出して、中断した作業から開始するか、シナリオデータの最初から開始するかを選択する(ステップS13)。
中断の履歴が残っていない場合に(中断フラグが立っていない場合)、又は作業を開始する位置を選択した後に、制御部110は、作業者が携わる作業における役割を登録させるための画面(役割登録画面)を表示させる。役割登録画面が表示されたのち、作業者は、自身の役割に対応するボタンを選択する。制御部110は、作業者による操作を検出して、作業者が携わる作業における役割を取得する(ステップS14)。なお、上記の役割に代えて、分担された作業の種別情報であってもよい。なお、複数の作業者が連携して作業を行う場合には、制御部110は、複数の作業者が利用する表示デバイス同士が通信するように、通信機能の設定を行ってもよい。
制御部110は、ステップS13において決定された作業の開始位置に基づいて、予定作業の開始位置を調整する(ステップS15)。これにより、中断した作業から開始するか、シナリオデータの最初から開始するかの何れかに決定される。
制御部110は、表示する画像の位置合わせ処理を実施する(ステップS16)。これにより、制御部110は、作業者の位置と対象物の位置の相対的な関係に基づいて、対象物の像と、表示する画像との位置を整合させる。
制御部110は、今回の作業が途中で中断された場合に、その時点を特定するための履歴(中段履歴)の情報を記憶部120に残す処理を開始する(ステップS17)。
制御部110は、作業の開始を促す画面(作業開始登録画面)を表示させる。作業開始登録画面が表示されたのち、作業者は、作業開始に対応するボタンを選択する。制御部110は、作業開始を指示する操作を検出して、予定される作業の支援に関する処理を開始する(ステップS20)。
制御部110は、作業の中断を指定するボタンが操作されたか否かを判定する(ステップS21)。作業の中断を指定するボタンの操作を検出した場合、制御部110は、次の作業に移るために、本作業工程に係る処理を終えて、中断に関する処理に進める。
作業の中断を指定するボタンの操作を検出しなかった場合、制御部110は、現在の一連の作業の中で、現在実施中の作業工程に関する処理を中断して、処理をステップS22に進める。
次に、作業者は、次の作業工程に遷移するためのボタンを選択する。例えば、次の作業工程に遷移するためのボタンには、ひとつ前の作業工程と、ひとつ後ろの作業構成とをそれぞれ選択するためのボタンが含まれてよい。制御部110は、作業者による次の作業工程に遷移するためのボタンの操作を検出すると、上記の操作の検出結果に応じた作業工程を開始させる(ステップS22)。この場合には、制御部110は、上記の操作の検出結果に応じた作業工程について、前述のステップS20の処理を実施する。
制御部110は、作業者による次の作業工程に遷移するためのボタンの操作を検出しなければ、作業者が作業を終了することを、作業リーダーの表示デバイス20(図1)、上位装置などに通知する。
制御部110は、上記の一連の処理を終えると、作業支援のためのプログラムによる処理を終了させる。
表示デバイス10は、以上の手順に従った処理を実施することにより、作業者による作業の遂行を支援する。
なお、表示デバイス10が表示する画像は、予め記憶部120に格納したデータに基づいて生成するとよい。このように画像の生成を表示デバイス10側で実施することにより、表示デバイス10が外部装置と通信する処理の負荷を低減させることができる。
上記の予定される作業の支援に関する処理(ステップS20)では、シナリオデータに基づいた各種情報が作業者に提供される。そのシナリオデータを利用して、作業者の特定の作業工程内に表示する情報の順序を規定することができる。
図8から図13を参照して、実施形態の特定の作業工程における情報を表示する処理について説明する。図8は、実施形態の特定の作業に係る警報・注意喚起画像の表示について説明するための図である。図9は、実施形態の特定の作業に係る動画像の表示について説明するための図である。図10は、実施形態の特定の作業に係る説明表示画像の表示について説明するための図である。図11は、実施形態の特定の作業に係る誘導表示画像の表示について説明するための図である。図12は、実施形態の特定の作業工程における情報を表示する処理のフローチャートである。図13は、実施形態の特定の作業工程における誘導表示画像を表示する処理のフローチャートである。
ここで利用されるシナリオデータには、少なくとも特定の作業に係る動画像、説明表示画像、及び誘導表示画像を、記載の順に表示させるための情報が含まれる。シナリオデータには、さらに警報・注意喚起画像(注意喚起画像)を表示させるための情報が含まれていてもよい。
再生処理部117は、シナリオデータを参照して、警報・注意喚起の画像を表示部140に表示させる(ステップSA5)。図8に示す画像は、当該作業工程が、警報・注意喚起画像にあたる作業(「危険工程作業」)の場合に、視野の中央部分に表示されるものである。それゆえ、当該作業工程が、警報・注意喚起画像にあたらない作業の場合には、その表示を省略する。
次に、再生処理部117は、ステップSA5において警報・注意喚起画像を表示した場合には、本作業工程の作業を開始するための誘導表示画像(第1誘導表示画像)を表示部140に表示させる(ステップSA10)。図5に示す画像は、第1誘導表示画像の一例である。図5に示すように、「対象エリア」に向かう矢印AS1が、視線を誘導するための表示である。再生処理部117は、ステップSA5において警報・注意喚起画像を表示しない場合には、誘導表示画像(第1誘導表示画像)の表示も省略する。なお、誘導表示画像の表示方法の詳細については、後に図13を用いて説明する。
次に、再生処理部117は、特定の作業に係る上記の動画像(図9)を表示部140に表示させる(ステップSA11)。動画像の表示を終えた後、上記の表示に続けて説明表示画像(図10)を表示部140に表示させる(ステップSA12)。上記の表示を確認した後に、作業者は、上記の特定の作業を実施する。
ここで、操作検出部116は、当該作業工程の作業の実施状況を推定するために、作業者の視線の位置に基づいた処理を選択する(ステップSA13)。なお、操作検出部116は、下記する何れかの操作が選択されるまでは、当該作業の準備中と判定して待機する。
操作検出部116は、視線カーソルが「対象エリア」におかれたことを検出した場合に、作業中であると判定する(ステップSA14)。作業中と判定された後に、操作検出部116は、操作ボタンOBJ3が操作されたことを検出した場合には、作業が終了したと判定する(ステップSA15)。この後、次の作業工程に遷移させるために処理をステップSA21に進める。
操作検出部116は、操作ボタンOBJ4が操作されたことを検出した場合には、当該作業工程の実施が保留されたと判定して(ステップSA16)、前の作業工程に移るための誘導表示画像を表示部140に表示させて、前の作業工程に戻る(ステップSA17)。図11に示す矢印AS2がある画像は、上記の誘導表示画像の一例である。
操作検出部116は、操作ボタンOBJ6から操作ボタンOBJ9が操作されたことを検出した場合には、当該作業工程の実施が保留されたと判定して、当該作業工程に係る情報の提示を一旦中断させる(ステップSA18)。操作ボタンOBJ6から操作ボタンOBJ9に関する処理を終えた後、処理をステップSA13に進める。
操作検出部116は、操作ボタンOBJ5が操作されたことを検出した場合には、当該作業工程の動画像の再生要求(リプレイ操作)があったと判定して(ステップSA18)、処理をステップSA11に進める。
操作検出部116は、操作ボタンOBJ10が操作されたことを検出した場合には、当該作業工程を中断すると判定して、中断フラグを立てて当該作業工程に係る情報の提示を中断させる(ステップSA20)。この後、中断処理を開始するために処理をステップSA21に進める。
次に、再生処理部117は、操作ボタンOBJ3が操作されたことを検出した場合には、次の作業工程に移るための誘導表示画像(第2誘導表示画像)を表示部140に表示させて(ステップSA21)、次の作業工程の表示に遷移させる。ここで表示する誘導表示画像は、前述の図11に示す矢印AS2がある画像と同様のものであってよい。
図13に示す第1誘導表示画像(ナビゲーション表示)の表示に関する処理について説明する。図13に示すように、再生処理部117は、所定の位置に「対象エリア」の枠を表示する(ステップS101)。
操作検出部116は、視線カーソルが「対象エリア」におかれたことを検出する(ステップSA102)。視線カーソルが「対象エリア」内におかれた場合には、操作検出部116は、その後も視線カーソルが「対象エリア」内におかれた状態にあり、その状態の継続時間が所定時間T1を超えたか否かを判定する(ステップSA103)。継続時間が所定時間T1を超えた場合には、再生処理部117は、上記の第1誘導表示画像(ナビゲーション表示)の矢印AS1(図5)を表示部140に表示させる(ステップSA104)。
上記の継続時間が所定時間T1を超えずに視線カーソルが「対象エリア」から移動した場合、又は、ステップSA104の処理を終えた場合には、再生処理部117は、処理をステップSA102に進める。
視線カーソルが「対象エリア」におかれた場合には、上記の一連の処理を終える。なお、上記の処理の間には、「対象エリア」の枠と、第1誘導表示画像と、視線カーソルが、表示部140に表示される。
上記の手順の中で提供される各画像の特徴について説明する。
図9に示す動画像には、作業の要領を示す動画像データが含まれている。図に示す例は、対象となるスイッチを示し、そのスイッチの状態を切り替える作業を作業者に実施させる際に、動画像データの中の1シーンとして提示するものである。例えば、レバー部分の状態を下から上に挙げる操作、つまりスイッチを遮断状態から導通状態に切り替える作業の要領(手順)を、上記のレバー部分の動きをアニメーションで示すものである。図9に示す動画像には、上記の作業に関わる「対象エリア」の表示画像が並列に表示される。
図9に示す動画像には、作業の要領を示す動画像データが含まれている。図に示す例は、対象となるスイッチを示し、そのスイッチの状態を切り替える作業を作業者に実施させる際に、動画像データの中の1シーンとして提示するものである。例えば、レバー部分の状態を下から上に挙げる操作、つまりスイッチを遮断状態から導通状態に切り替える作業の要領(手順)を、上記のレバー部分の動きをアニメーションで示すものである。図9に示す動画像には、上記の作業に関わる「対象エリア」の表示画像が並列に表示される。
図10に示す説明表示画像には、作業の内容を説明するための詳細な文字情報(文字列、文章などのテキスト)が含まれている。
上記の手順は、提供する情報の難易度(詳細さ)によって、2段階に分けて情報を提供するものである。この手順によれば、先に作業の内容の概要を習得した後に、作業の内容の詳細を作業者に習得してもらうことができる。
上記の手順は、提供する情報の難易度(詳細さ)によって、2段階に分けて情報を提供するものである。この手順によれば、先に作業の内容の概要を習得した後に、作業の内容の詳細を作業者に習得してもらうことができる。
作業者は、先に提供される画像による情報に基づいて作業の内容の概略を習得することができ、その後テキストの記載を読むことで作業の内容の詳細を習得することができる。このような方法をとることで、作業者は、2段階に分けた予習を作業の直前に行うことにより、これまでの手順書の記載を読み返すことなく、作業に必要な知見を獲得することができる。
図10に示す説明表示画像には、テキスト表示領域DSPの下段にプログレスバーBが設けられている。プログレスバーBは、当該作業工程における作業の進捗状況を示す。プログレスバーBにおいて、バーが伸びているほど作業が進んでいる状況にあることを示す。プログレスバーBによって示される当該作業工程における作業の進捗状況は、予定される作業工程の件数と、完了した作業工程の件数とに基づいて算出してもよい。
テキスト表示領域DSP内の円Cは、視線カーソルの一例である。この画像は、作業者がテキスト表示領域DSP内のテキストを確認している状況を示す一例である。
テキスト表示領域DSP内の円Cは、視線カーソルの一例である。この画像は、作業者がテキスト表示領域DSP内のテキストを確認している状況を示す一例である。
図11に示す誘導表示画像は、作業者が次に見るべき位置を、作業者に示すための表示(誘導表示)の一例である。この誘導表示は、作業者の視線が、作業者が見るべき位置に移るように表示される。誘導表示として表示された画像を目で追えば作業者が見るべき位置に、作業者の視線が移るように構成されている。その一例が、図11に示すような矢印AS2を、次の作業工程に移る方向に移動する動きを加えた動画像である。なお、作業者が見るべき位置は、シナリオデータによって規定される。これにより、作業者は、次の作業工程に係る地点の位置を獲得することができ、次の作業を速やかに開始することが可能になる。図11に示す誘導表示画像は、上記の第2誘導表示画像に関するものであるが、第1誘導表示画像についても同様である。
これにより表示デバイス10は、上記の手順に従って、上記の警報・注意喚起画像、動画像、説明表示画像、及び誘導表示画像を、作業者に提供することができる。
なお、再生処理部117は、特定の作業工程内の予め定められる期間に、上記のシナリオデータに基づいて動画像の表示を制限するとよい。特定の作業工程内の予め定められる期間とは、作業者が実際に作業を実施する期間を含むように規定する。これによって、作業者は、集中して自身の作業を遂行できる。
再生処理部117は、特定の作業工程の任意の期間において、作業者が実施する作業に関する情報を非表示にして、さらに、その後再表示にしてもよい。特定の作業工程の任意の期間として、例えば、操作検出部116が作業中であると判定(ステップSA14)してから、作業が終了したと判定(ステップSA15)までの期間を含めた範囲を規定してもよい。これによれば、視野の中央部に位置する表示を、作業中に控えることが可能になる。
表示デバイス10は、作業者の視線に連動する視線カーソルが、当該作業の「対象エリア」内におかれたか否かを検出する。例えば、視線カーソルが、「対象エリア」内におかれるまで、或いは上記の検出を開始してから所定時間待機する。上記のように、視線カーソルが、「対象エリア」内におかれた状態にあれば、そこを起点にして所望の方向に作業者の視線を誘導することが可能である。
表示デバイス10は、視線カーソルが、「対象エリア」内におかれたことを検出すると、動画像表示を再生する。
動画像の中で、「対象エリア」の位置が移動する場合には、表示デバイス10は、「対象エリア」の位置への変更を示すような誘導表示を行うとよい。
例えば、次の作業工程に移る場合には、表示デバイス10は、先に表示されていた第1の「対象エリア」の位置から、次の作業工程の第2の「対象エリア」の位置に向かう方向の矢印AS2(図11)を表示する。これによって、表示デバイス10は、作業における所望のタイミングで第2の「対象エリア」を作業者に注視させることができる。
上記のように、作業者が注視していた「対象エリア」から次の「対象エリア」に視線を移動させるような作業が含まれていても、作業者は、次の「対象エリア」を見失うことなく捕捉することが容易になる。
仮に、作業者が「対象エリア」の位置を見失ったとしても、表示デバイス10は、これを検出して、目標とする「対象エリア」に向けての誘導(矢印)を表示する。作業者は、表示された誘導に従い、視線を矢印の先の方向に移動させれば、目標の「対象エリア」の位置の方向を向くことができる。図5に示す画像は、上記の誘導により、視線がちょうど目標の「対象エリア」までたどり着いた状況の画像の一例である。なお、図5に示す画像には、操作に用いられる各操作オブジェクトは表示されていない。
実施形態によれば、作業支援システム1は、作業者(ユーザ)の頭部に装着される表示デバイス10であって、頭部に装着された状態で、作業者に実世界を視認可能にして、さらに作業者に情報を表示可能な表示デバイス10を用いて、作業者が実施する作業に関する情報を、作業者に提供して作業の実施を支援する。データ管理部119は、作業の内容に関する説明表示画像と、作業の作業要領に関する動画像と、作業者を所望の作業に導くための誘導表示画像とを含む複数種類のデータと、前記複数種類のデータを表示させる順序を規定するシナリオデータとを記憶部120に格納させる。再生処理部117は、作業者の特定の作業工程のシナリオデータに従い、作業者の特定の作業工程に対応する説明表示画像と、動画像と、誘導表示画像とを表示デバイス10の表示部140に表示させるように制御する。これにより、作業支援システム1は、作業者が作業を円滑に進めることを支援できる。
なお、作業支援システム1を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより作業支援システム1が所定の処理動作を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、或いは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、ネットワークや通信回線のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
なお、再生処理部117は、シナリオデータに振動を出力させることが規定されている場合には、例えば、注意喚起画像を表示する期間に合わせて、シナリオデータに基づいた振動を、スピーカ190から出力させてもよい。これにより画像に基づいた注意喚起だけではなく、振動(音)に基づいて注意喚起を促すことができる。
1…作業支援システム、10…表示デバイス、110…制御部、120…記憶部、130…入力部、140…表示部、150…加速度検出部、160…無線通信部、170…カメラ、180…マイク、190…スピーカ、111…演算処理部、112…位置情報処理部、113…移動量取得部、114…動き検出部、115…視線推定部、116…操作検出部、117…再生処理部(表示制御部)、118…履歴処理部、119…データ管理部
Claims (8)
- ユーザの頭部に装着される表示デバイスであって、前記頭部に装着された状態で前記ユーザに実世界を視認可能にして、さらに前記ユーザに情報を表示可能な表示デバイスを用いて、前記ユーザが実施する作業に関する情報を、前記ユーザに提供して前記作業の実施を支援する作業支援システムであって、
前記作業の内容に関する説明表示画像と、前記作業の作業要領に関する動画像と、前記ユーザを所望の作業に導くための誘導表示画像とを含む複数種類のデータと、前記複数種類のデータを表示させる順序を規定するシナリオデータとを記憶部に格納させるデータ管理部と、
前記ユーザの特定の作業工程の前記シナリオデータに従い、前記ユーザの特定の作業工程に対応する、前記説明表示画像と、前記動画像と、前記誘導表示画像とを前記表示デバイスの表示部に表示させるように制御する表示制御部と、
を備える作業支援システム。 - 前記説明表示画像は、前記作業の内容に関する文字情報を含み、
前記動画像は、前記作業の作業要領に関するアニメーションを含み、
前記誘導表示画像は、前記ユーザを所望の作業に導くための誘導表示を含む、
請求項1に記載の作業支援システム。 - 前記シナリオデータは、前記ユーザの特定の作業工程において、前記特定の作業に係る前記動画像、前記説明表示画像、及び前記誘導表示画像を、記載の順に表示させるための情報を含む
請求項1又は請求項2に記載の作業支援システム。 - 前記表示制御部は、
前記特定の作業工程に遷移した後に、前記ユーザを前記特定の作業に導くための前記誘導表示画像を、前記特定の作業に係る前記動画像と前記説明表示画像の何れかを前記表示部に表示するときよりも前に表示させるように制御する
請求項1又は請求項2に記載の作業支援システム。 - 前記表示制御部は、
前記ユーザの特定の作業工程内の予め定められる期間に、前記シナリオデータに基づいて前記動画像の表示を制限する
請求項1から請求項4の何れか1項に記載の作業支援システム。 - 前記表示制御部は、
前記ユーザの特定の作業工程において、前記ユーザが実施する作業に関する動画像を非表示にして、その後再表示にする
請求項1から請求項5の何れか1項に記載の作業支援システム。 - ユーザの頭部に装着される表示デバイスであって、前記頭部に装着された状態で前記ユーザに実世界を視認可能にして、さらに前記ユーザに情報を表示可能な表示デバイスを用いて、前記ユーザが実施する作業に関する情報を、前記ユーザに提供して前記作業の実施を支援する作業支援方法であって、
コンピュータに、
前記作業の内容に関する説明表示画像と、前記作業の作業要領に関する動画像と、前記ユーザを所望の作業に導くための誘導表示画像とを含む複数種類のデータと、前記複数種類のデータを表示させる順序を規定するシナリオデータとを記憶部に格納させ、
前記ユーザの特定の作業工程の前記シナリオデータに従い、前記ユーザの特定の作業工程に対応する前記説明表示画像と、前記動画像と、前記誘導表示画像とを前記表示デバイスの表示部に表示させるように制御するステップ
を含む備える作業支援方法。 - ユーザの頭部に装着される表示デバイスであって、前記頭部に装着された状態で前記ユーザに実世界を視認可能にして、さらに前記ユーザに情報を表示可能な表示デバイスを用いて、前記ユーザが実施する作業に関する情報を、前記ユーザに提供して前記作業の実施を支援する作業支援システムにおけるコンピュータに、
前記作業の内容に関する説明表示画像と、前記作業の作業要領に関する動画像と、前記ユーザを所望の作業に導くための誘導表示画像とを含む複数種類のデータと、前記複数種類のデータを表示させる順序を規定するシナリオデータとを記憶部に格納させるステップと、
前記ユーザの特定の作業工程の前記シナリオデータに従い、前記ユーザの特定の作業工程に対応する前記説明表示画像と、前記動画像と、前記誘導表示画像とを前記表示デバイスの表示部に表示させるように制御するステップと
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019044110A JP2020149138A (ja) | 2019-03-11 | 2019-03-11 | 作業支援システム、作業支援方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019044110A JP2020149138A (ja) | 2019-03-11 | 2019-03-11 | 作業支援システム、作業支援方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020149138A true JP2020149138A (ja) | 2020-09-17 |
Family
ID=72430112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019044110A Pending JP2020149138A (ja) | 2019-03-11 | 2019-03-11 | 作業支援システム、作業支援方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020149138A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023203806A1 (ja) * | 2022-04-19 | 2023-10-26 | 株式会社Nttドコモ | 作業支援装置 |
JP7397431B1 (ja) * | 2023-04-25 | 2023-12-13 | 国立大学法人 香川大学 | 作業者の安全教育システム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014215646A (ja) * | 2013-04-22 | 2014-11-17 | 富士通株式会社 | 表示制御装置、表示制御方法、情報設定装置、情報設定方法および情報提供システム |
WO2017119127A1 (ja) * | 2016-01-08 | 2017-07-13 | 三菱電機株式会社 | 作業支援装置、作業学習装置及び作業支援システム |
JP2018092299A (ja) * | 2016-12-01 | 2018-06-14 | Kddi株式会社 | 操作支援装置 |
-
2019
- 2019-03-11 JP JP2019044110A patent/JP2020149138A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014215646A (ja) * | 2013-04-22 | 2014-11-17 | 富士通株式会社 | 表示制御装置、表示制御方法、情報設定装置、情報設定方法および情報提供システム |
WO2017119127A1 (ja) * | 2016-01-08 | 2017-07-13 | 三菱電機株式会社 | 作業支援装置、作業学習装置及び作業支援システム |
JP2018092299A (ja) * | 2016-12-01 | 2018-06-14 | Kddi株式会社 | 操作支援装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023203806A1 (ja) * | 2022-04-19 | 2023-10-26 | 株式会社Nttドコモ | 作業支援装置 |
JP7397431B1 (ja) * | 2023-04-25 | 2023-12-13 | 国立大学法人 香川大学 | 作業者の安全教育システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11231897B2 (en) | Display system, display device, information display method, and program | |
CN105759422B (zh) | 显示系统和显示装置的控制方法 | |
JP2022000640A (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
KR101430614B1 (ko) | 웨어러블 안경을 이용한 디스플레이 장치 및 그 동작 방법 | |
JP2017016056A (ja) | 表示システム、表示装置、表示装置の制御方法、及び、プログラム | |
JP2020149140A (ja) | 作業支援システム、作業支援方法、及びプログラム | |
JP2016031761A (ja) | 眼鏡型端末 | |
JP6554948B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
WO2020012955A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2017091433A (ja) | 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム | |
JP6740584B2 (ja) | 表示システム、表示装置の制御方法、及び、プログラム | |
JP2015176186A (ja) | 情報処理装置、情報処理方法、及び情報処理システム | |
JP6223533B1 (ja) | 情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2020149138A (ja) | 作業支援システム、作業支援方法、及びプログラム | |
JP2006276748A (ja) | 情報呈示装置、情報呈示方法、及びコンピュータプログラム | |
JP2020149139A (ja) | 作業支援システム、作業支援方法、及びプログラム | |
JP6535699B2 (ja) | 情報処理方法、情報処理プログラム及び情報処理装置 | |
JP6733401B2 (ja) | 表示システム、表示装置、情報表示方法、及び、プログラム | |
JP2020149142A (ja) | 作業支援システム、作業支援方法、及びプログラム | |
KR101805065B1 (ko) | 시선 추적을 이용하여 컨텐츠를 선택적으로 제어하기 위한 장치 및 방법 | |
JP2016110542A (ja) | 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム | |
US20230297447A1 (en) | Information processing system, information processing method, and information processing terminal | |
JP2020149141A (ja) | 作業支援システム、作業支援方法、及びプログラム | |
JP2020149143A (ja) | 作業支援システム、作業支援方法、及びプログラム | |
JP6403843B1 (ja) | 情報処理方法、情報処理プログラム及び情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221115 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230509 |