JP2017167978A - 画像表示システム、情報処理装置、画像表示方法及びコンピュータプログラム - Google Patents

画像表示システム、情報処理装置、画像表示方法及びコンピュータプログラム Download PDF

Info

Publication number
JP2017167978A
JP2017167978A JP2016054502A JP2016054502A JP2017167978A JP 2017167978 A JP2017167978 A JP 2017167978A JP 2016054502 A JP2016054502 A JP 2016054502A JP 2016054502 A JP2016054502 A JP 2016054502A JP 2017167978 A JP2017167978 A JP 2017167978A
Authority
JP
Japan
Prior art keywords
image
unit
identification information
display
head mount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016054502A
Other languages
English (en)
Other versions
JP6710555B2 (ja
Inventor
郁也 岡崎
Ikuya Okazaki
郁也 岡崎
史織 佐々木
Shiori Sasaki
史織 佐々木
小堀 純
Jun Kobori
純 小堀
晃司 浅野
Koji Asano
晃司 浅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2016054502A priority Critical patent/JP6710555B2/ja
Publication of JP2017167978A publication Critical patent/JP2017167978A/ja
Application granted granted Critical
Publication of JP6710555B2 publication Critical patent/JP6710555B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

【課題】作業者が頭部に装着しているヘッドマウント装置によって該作業者に対して、作業を行う対象の各装置に対応する画像を提示すること。
【解決手段】情報処理装置は、ヘッドマウント装置に備わる撮像部が撮像した画像を受信し、該ヘッドマウント装置に備わる表示部によって表示される画像を送信する通信部と、該撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、装置識別情報に関連付けて該装置識別情報で識別される対象装置に適用される画像を記憶する記憶装置から、装置識別情報取得部が取得した装置識別情報に関連付けられている画像を取得し、取得した画像を通信部によってヘッドマウント装置へ提供する画像提供部と、を備える。
【選択図】図1

Description

本発明は、画像表示システム、情報処理装置、画像表示方法及びコンピュータプログラムに関する。
従来、設備の保守や点検の作業では、作業者は、作業の手順が記載された作業手順書を適宜に閲覧しながら作業を行っていた。また、特許文献1には、コンピュータシステムの障害発生時に、作業者が頭部に装着しているヘッドマウントディスプレイ(Head Mounted Display)に、障害修復作業の方法を案内するコンピュータグラフィックス画像データを現実空間の映像と合成して表示する情報処理システムの技術が開示されている。また、特許文献2には、ヘッドマウントディスプレイの技術が開示されている。また、特許文献3,4には、被験者の視線を検出する視線検出装置の技術が開示されている。
特開2011−248860号公報 特開2013−077013号公報 特開2014−171586号公報 特開2014−195647号公報
作業者が作業中に作業手順書を閲覧する操作は、手間がかかるので、作業の効率の低下の一要因になり得る。また、作業場所によっては作業手順書を閲覧できるだけの空間がない場合もあった。この対処方法として、作業者が頭部に装着しているヘッドマウントディスプレイに作業手順書の内容を表示することが考えられる。しかし、上述した特許文献1の技術では、障害修復作業を行う対象の装置毎に障害修復作業の方法が異なると適用できない可能性があった。
本発明は、このような事情を考慮してなされたものであり、作業者が頭部に装着しているヘッドマウント装置によって該作業者に対して、作業を行う対象の各装置に対応する画像を提示することができる、画像表示システム、情報処理装置、画像表示方法及びコンピュータプログラムを提供することを課題とする。
(1)本発明の一態様は、情報処理装置と、表示部と撮像部と通信部と制御部とを備えるヘッドマウント装置と、装置識別情報に関連付けて前記装置識別情報で識別される対象装置に関連付けられた画像を記憶する記憶装置と、を備え、前記通信部は、前記撮像部が撮像した画像を前記情報処理装置へ送信し、前記情報処理装置から画像を受信し、前記表示部は、前記通信部が前記情報処理装置から受信した画像を表示し、前記制御部は、前記表示部と前記撮像部とを制御し、前記情報処理装置は、前記ヘッドマウント装置の通信部と通信を行う通信部と、前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を前記記憶装置から取得し、取得した画像を前記情報処理装置の通信部によって前記ヘッドマウント装置の通信部へ送信する画像提供部と、を備える画像表示システムである。
(2)本発明の一態様は、情報処理装置と、表示部と撮像部と通信部と制御部とを備えるヘッドマウント装置と、前記撮像部が撮像した画像を前記情報処理装置へ送信し、前記情報処理装置から受信した画像を前記ヘッドマウント装置へ出力する通信装置と、装置識別情報に関連付けて前記装置識別情報で識別される対象装置に関連付けられた画像を記憶する記憶装置と、を備え、前記通信部は、前記撮像部が撮像した画像を前記通信装置へ送信し、前記通信装置から画像を受信し、前記表示部は、前記通信部が前記通信装置から受信した画像を表示し、前記制御部は、前記表示部と前記撮像部とを制御し、前記情報処理装置は、前記通信装置と通信を行う通信部と、前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を前記記憶装置から取得し、取得した画像を前記情報処理装置の通信部によって前記通信装置へ送信する画像提供部と、を備える画像表示システムである。
(3)本発明の一態様は、上記(1)又は(2)のいずれかの画像表示システムにおいて、前記画像提供部は、前記ヘッドマウント装置の識別情報に基づいて、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択するか否かを判定し、該画像を選択すると判定した場合には該画像を前記ヘッドマウント装置へ送信し、該画像を選択しないと判定した場合には該画像を前記ヘッドマウント装置へ送信しない、画像表示システムである。
(4)本発明の一態様は、上記(1)又は(2)のいずれかの画像表示システムにおいて、前記画像提供部は、前記ヘッドマウント装置の識別情報又はユーザ識別情報と、時刻情報又は前記ヘッドマウント装置の位置情報とに基づいて、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択するか否かを判定し、該画像を選択すると判定した場合には該画像を前記ヘッドマウント装置へ送信し、該画像を選択しないと判定した場合には該画像を前記ヘッドマウント装置へ送信しない、画像表示システムである。
(5)本発明の一態様は、上記(1)から(4)のいずれかの画像表示システムにおいて、前記ヘッドマウント装置は、前記ヘッドマウント装置を装着する人の音声を収音する収音部をさらに備え、前記制御部は、前記収音部が収音した音声に基づいて前記ヘッドマウント装置に表示されている画像の表示終了を判断した場合に、前記情報処理装置へ画像の表示終了を通知し、前記画像提供部は、前記ヘッドマウント装置から画像の表示終了を通知されると、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像を前記記憶装置から取得し、取得した画像を前記ヘッドマウント装置へ提供する、画像表示システムである。
(6)本発明の一態様は、上記(1)から(4)のいずれかの画像表示システムにおいて、前記ヘッドマウント装置を装着する作業者の視線を検出する視線検出部をさらに備え、前記記憶装置は、作業者の視線によって特定される情報を画像に関連付けて記憶し、前記制御部は、前記視線検出部が検出した視線を示す視線情報と前記表示部に表示されている画像を識別する画像識別情報とを前記情報処理装置へ提供し、前記情報処理装置は、前記視線情報と、前記画像識別情報で識別される画像に関連付けて前記記憶装置に記憶されている情報とに基づいて、前記画像識別情報で識別される画像の表示終了を判断する判断部をさらに備え、前記画像提供部は、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像を前記記憶装置から取得し、取得した画像を前記ヘッドマウント装置へ提供する、画像表示システムである。
(7)本発明の一態様は、上記(1)から(6)のいずれかの画像表示システムにおいて、前記情報処理装置の通信部によって受信した前記撮像部による撮像画像を表示する表示装置をさらに備え、前記情報処理装置は、画像の表示終了の承認の入力を受け付ける承認入力部をさらに備え、前記画像提供部は、前記表示部に表示させる画像を、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像に更新することの所要の条件に、前記承認入力部によって画像の表示終了の承認の入力を受け付けることを含める、画像表示システムである。
(8)本発明の一態様は、上記(7)の画像表示システムにおいて、前記承認入力部は、前記ヘッドマウント装置を装着する作業者の識別情報に応じて、画像の表示終了の承認の入力を受け付ける承認入力画面を前記表示装置に表示させるか否かを判断し、前記画像提供部は、前記承認入力画面が前記表示装置に表示される場合には、前記所要の条件に、前記承認入力画面によって画像の表示終了の承認が入力されることを含め、前記承認入力画面が前記表示装置に表示されない場合には、前記所要の条件に、前記承認入力画面によって画像の表示終了の承認が入力されることを含めない、画像表示システムである。
(9)本発明の一態様は、上記(7)又は(8)のいずれかの画像表示システムにおいて、前記承認入力部は、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置についての難易度情報と、前記ヘッドマウント装置を装着する作業者の識別情報に関連付けられている作業者レベル情報とに基づいて、承認者のレベルと識別情報とが関連付けられている承認者リストから前記画像の表示終了の承認の入力を行う承認者の識別情報を選択し、選択した承認者の識別情報によって前記画像の表示終了の承認の入力を受け付ける、画像表示システムである。
(10)本発明の一態様は、上記(1)から(9)のいずれかの画像表示システムにおいて、前記記憶装置が記憶する画像は、対象装置に適用される作業手順を示す作業手順画像である画像表示システムである。
(11)本発明の一態様は、ヘッドマウント装置に備わる撮像部が撮像した画像を受信し、前記ヘッドマウント装置に備わる表示部によって表示される画像を送信する通信部と、前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、装置識別情報に関連付けて前記装置識別情報で識別される対象装置に適用される画像を記憶する記憶装置から、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を取得し、取得した画像を前記通信部によって前記ヘッドマウント装置へ提供する画像提供部と、を備える情報処理装置である。
(12)本発明の一態様は、情報処理装置が、ヘッドマウント装置に備わる撮像部が撮像した画像を受信し、前記ヘッドマウント装置に備わる表示部によって表示される画像を送信する通信ステップと、前記情報処理装置が、前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得ステップと、前記情報処理装置が、装置識別情報に関連付けて前記装置識別情報で識別される対象装置に適用される画像を記憶する記憶装置から、前記装置識別情報取得ステップにより取得した装置識別情報に関連付けられている画像を取得し、取得した画像を前記通信ステップによって前記ヘッドマウント装置へ提供する画像提供ステップと、を含む画像表示方法である。
(13)本発明の一態様は、コンピュータに、ヘッドマウント装置に備わる撮像部が撮像した画像を受信し、前記ヘッドマウント装置に備わる表示部によって表示される画像を送信する通信機能と、前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得機能と、装置識別情報に関連付けて前記装置識別情報で識別される対象装置に適用される画像を記憶する記憶装置から、前記装置識別情報取得機能が取得した装置識別情報に関連付けられている画像を取得し、取得した画像を前記通信機能によって前記ヘッドマウント装置へ提供する画像提供機能と、を実現させるためのコンピュータプログラムである。
本発明によれば、作業者が頭部に装着しているヘッドマウント装置によって該作業者に対して、作業を行う対象の各装置に対応する画像を提示することができる。
一実施形態に係る画像表示システム1の構成例を示す図である。 一実施形態に係るヘッドマウント装置2の構成例を示す図である。 一実施形態に係る情報処理装置4のハードウェア構成例を示す図である。 一実施形態に係る情報処理装置4の機能構成例を示す図である。 一実施形態に係る記憶装置6に格納される画像情報の構成例を示す図である。 一実施形態に係る画像表示方法の一例を示すフローチャートである。 一実施形態に係る画像表示方法の一例を示すフローチャートである。 一実施形態に係る画像表示方法の一例を示すフローチャートである。 一実施形態に係る画像選択情報の構成例を示す図である。 一実施形態に係る画像選択情報の構成例を示す図である。 一実施形態に係る作業者レベル情報の構成例を示す図である。 一実施形態に係る装置難易度情報の構成例を示す図である。 一実施形態に係る承認者リストの構成例を示す図である。 一実施形態に係る実施例の説明図である。 一実施形態に係る画像例を示す図である。 一実施形態に係る画像例を示す図である。 一実施形態に係る画像表示システム1aの構成例を示す図である。 一実施形態に係る画像表示システム1bの構成例を示す図である。 一実施形態に係る情報処理装置4bの機能構成例を示す図である。 一実施形態に係る通知情報の構成例を示す図である。
以下、図面を参照し、本発明の実施形態について説明する。
[第1実施形態]
図1は、本実施形態に係る画像表示システム1の構成例を示す図である。図1において、画像表示システム1は、ヘッドマウント装置2と、情報処理装置4と、記憶装置6とを備える。ヘッドマウント装置2と情報処理装置4とは、通信回線8を介して、データを送受する。通信回線8として、例えば携帯電話ネットワークやインターネット等の通信ネットワークを適用できる。
ヘッドマウント装置2は、作業者Xの頭部に装着される。ヘッドマウント装置2は、該ヘッドマウント装置2を頭部に装着している作業者Xに対して、該作業者Xが視認できる画像を提示できる構成になっている。例えば、ヘッドマウント装置2は、透過型のヘッドマウントディスプレイである。図1に示される例では、ヘッドマウント装置2は眼鏡型の透過型のヘッドマウントディスプレイである。なお、ヘッドマウント装置2は、眼鏡型以外の形状の頭部装着型のヘッドマウントディスプレイであってもよい。
対象装置10は、作業者Xが作業を行う対象の装置である。作業者Xは、ヘッドマウント装置2を頭部に装着して、対象装置10に対する作業を行う。
情報処理装置4は、ヘッドマウント装置2に対して、該ヘッドマウント装置2によって表示する画像を提供する。記憶装置6は、対象装置10に対応する画像を記憶している。承認者Yは、作業者Xが行う作業を監視する役目を持つ。
図2は、本実施形態に係るヘッドマウント装置2の構成例を示す図である。図2において、ヘッドマウント装置2は、制御部21と、表示部22と、撮像部23と、通信部24と、記録部25と、センサー部26と、測位部27と、視線検出部28と、音声再生部29と収音部30とを備える。これら各部はデータを交換できるように構成されている。
制御部21は、ヘッドマウント装置2が備える各部を制御する。制御部21は、専用のハードウェアにより実現されるものであってもよく、又は、CPU(Central Processing Unit:中央演算処理装置)及びメモリにより構成され、制御部21の機能を実現するためのプログラムをCPUが実行することによりその機能を実現させるものであってもよい。
表示部22は、ヘッドマウント装置2を頭部に装着している作業者Xが視認できる画像を表示する。例えば、ヘッドマウント装置2が透過型のヘッドマウントディスプレイである場合、表示部22は、作業者Xの視線の先に透過型の仮想スクリーンを投影表示し、該透過型の仮想スクリーン上に画像を表示する。これにより、作業者Xは、自己の周辺の風景を見ながら、透過型の仮想スクリーン上に表示されている画像を視認することができる。制御部21は、表示部22によって表示する画像を表示部22へ出力する。
撮像部23は、ヘッドマウント装置2を頭部に装着している作業者Xの周辺の風景であって、該作業者Xの視線の方向の風景を撮像する。つまり、撮像部23は、ヘッドマウント装置2を頭部に装着している作業者Xの視線の方向を撮像するように、ヘッドマウント装置2に取り付けられている。撮像部23は、撮像した画像を通信部24と記録部25とへ出力する。撮像部23が撮像した画像のことを撮像画像と称する場合がある。
通信部24は、通信回線8を介して情報処理装置4と通信を行う。通信部24は、撮像画像を、通信回線8を介して情報処理装置4へ送信する。通信部24は、通信回線8を介して情報処理装置4から画像を受信する。通信部24が情報処理装置4から受信する画像は、例えば、情報処理装置4が記憶装置6から取得した対象装置10に対応する画像である。表示部22は、通信部24が情報処理装置4から受信した画像を表示する。
記録部25は、撮像部23が撮像した画像(撮像画像)のうち最新の一定時間分の撮像画像を記録する。記録部25は、記録した撮像画像の量が一定時間分に達した場合には、記録した撮像画像のうち古い方の撮像画像から順次消去して新しい撮像画像を記録する。
センサー部26は、一又は複数のセンサーを備える。センサー部26が備えるセンサーとして、例えば、加速度センサー、地磁気センサーなどが挙げられる。センサー部26は、センサーが検出した結果の検出信号を制御部21へ出力する。
測位部27は、ヘッドマウント装置2の位置を測定し、測定結果の測位値を制御部21へ出力する。測位部27として、例えば、GPS(Global Positioning System)を利用してもよく、又は、準天頂衛星(quasi-zenith satellites: QZS)などの全地球航法衛星システム(Global Navigation Satellite System(s): GNSS)を利用してもよい。
視線検出部28は、ヘッドマウント装置2を頭部に装着している作業者Xの視線を検出する。視線検出部28は、検出した結果の視線を示す視線情報を制御部21へ出力する。音声再生部29は、スピーカ又はイヤホンによって音声信号を再生する。制御部21は、音声再生部29によって再生する音声信号を音声再生部29へ出力する。収音部30はマイクロフォンを備える。収音部30は、マイクロフォンによって作業者Xの音声を収音する。また、収音部30は、マイクロフォンによって作業者Xの周辺から発せられる音を収音してもよい。収音部30は、マイクロフォンによって収音した音声や音の信号を制御部21へ出力する。
図3は、本実施形態に係る情報処理装置4のハードウェア構成例を示す図である。図3において、情報処理装置4は、CPU41と、メモリ42と、不揮発性メモリ43と、操作部44と、表示部45と、通信部46とを備える。これら各部はデータを交換できるように構成されている。CPU41は、不揮発性メモリ43に格納されるプログラム47を実行し、メモリ42をワークメモリとして使用して、情報処理装置4の各部を制御する。
メモリ42は、半導体素子を利用した揮発性のメモリ等のRAMによって構成され、CPU41のワークメモリとして使用される。不揮発性メモリ43は、例えばハードディスク(HD)やROM等によって構成される。不揮発性メモリ43には、CPU41によって実行されるプログラム47が格納される。
操作部44は、キーボード、テンキー、マウス等の入力デバイスから構成され、利用者の操作に応じたデータ入力を行う。表示部45は、液晶表示装置等の表示デバイスから構成され、データ表示を行う。また、データ入力とデータ表示の両方が可能なタッチパネルを備えてもよい。通信部46は、通信回線8を介してヘッドマウント装置2と通信を行う。情報処理装置4の通信部46とヘッドマウント装置2の通信部24とは、通信回線8を介してデータを送受する。
情報処理装置4として、例えばタブレット型のコンピュータ(タブレットPC)や据置き型のパーソナルコンピュータ、サーバコンピュータ等のコンピュータ装置を適用できる。
図4は、本実施形態に係る情報処理装置4の機能構成例を示す図である。図4に示される各部の機能は、図3に示すCPU41が不揮発性メモリ43に格納されるプログラム47を実行することにより実現される。図4において、情報処理装置4は、装置識別情報取得部401と、画像提供部402と、判断部403と、承認入力部404と、表示制御部405とを備える。
装置識別情報取得部401は、ヘッドマウント装置2の撮像部23が撮像した画像に基づいて対象装置10の装置識別情報(装置ID)を取得する。
画像提供部402は、ヘッドマウント装置2の表示部22に表示される画像を通信部46によってヘッドマウント装置2の通信部24へ送信する。例えば、画像提供部402は、装置識別情報取得部401が取得した装置IDに関連付けられている画像を記憶装置6から取得し、該記憶装置6から取得した画像を通信部46によってヘッドマウント装置2の通信部24へ送信する。
判断部403は、ヘッドマウント装置2の視線検出部28が検出した結果の視線を示す視線情報と、ヘッドマウント装置2の表示部22に表示されている画像に関連付けて記憶装置6に記憶されている情報とに基づいて、該画像の表示終了を判断する。
承認入力部404は承認の入力を受け付ける。該承認の入力は、承認者Yによって行われる。例えば、承認入力部404は、ヘッドマウント装置2の表示部22に表示されている画像について表示終了の承認の入力を受け付ける。
表示制御部405は、表示部45に画像を表示させる制御を行う。例えば、表示制御部405は、通信部46によってヘッドマウント装置2から受信した撮像画像を表示部45に表示させる。
図5は、本実施形態に係る記憶装置6に格納される画像情報の構成例を示す図である。記憶装置6は、装置IDに関連付けて該装置IDで識別される対象装置10に関連付けられた画像を記憶する。図5に示す画像情報の構成例では、記憶装置6は、装置IDに関連付けて画像関連情報を格納する。画像関連情報は、画像識別情報(画像ID)と画像と付加情報との組を有する。例えば装置ID「DID_a」に関連付けられた画像関連情報は、装置ID「DID_a」で識別される対象装置10に関連付けられた画像と該画像の画像IDと該画像の付加情報とを有する。例えば、画像ID「IMID_a1」と画像a1と付加情報aa1との組において、画像a1は、装置ID「DID_a」で識別される対象装置10に関連付けられた画像である。画像ID「IMID_a1」は、画像a1を識別するIDである。付加情報aa1は、画像a1についての付加的な情報である。付加情報は、テキストによる情報であってもよく、又は、画像による情報であってもよく、又は、音声による情報であってもよい。
なお、記憶装置6は、複数の装置IDの組に対し関連付けて該装置IDで識別される対象装置10の組に関連付けられた画像を記憶してもよい。例えば、図5に例示される画像情報は、複数の装置IDの組に対し関連付けられた画像関連情報を有してもよい。
次に本実施形態に係る画像表示システム1の動作を説明する。
[ヘッドマウント装置の動作]
図6を参照して、本実施形態に係るヘッドマウント装置2の動作を説明する。図6は、本実施形態に係る画像表示方法の一例を示すフローチャートである。図6に示される処理は、例えば、ヘッドマウント装置2の電源がオンになると開始される。
(ステップS101)ヘッドマウント装置2において、制御部21は、ヘッドマウント装置2の動作の開始を判断する。この動作開始の判断方法の例を以下に説明する。
[ヘッドマウント装置の動作開始の判断方法の例1]
ヘッドマウント装置2の動作開始の判断方法の例1では、センサー部26は加速度センサーを備える。センサー部26は、加速度センサーが検出した結果の加速度検出信号を制御部21へ出力する。制御部21は、センサー部26から出力された加速度検出信号を使用して、ヘッドマウント装置2の移動の変化を測定する。制御部21は、ヘッドマウント装置2の移動の変化の測定の結果に基づいて、ヘッドマウント装置2が所定時間継続して静止していると判断した場合に、ヘッドマウント装置2の動作を開始すると判断する。また、制御部21は、ヘッドマウント装置2の動作を開始すると判断した後に、ヘッドマウント装置2の移動の変化の測定の結果に基づいて、ヘッドマウント装置2が所定時間継続して移動していると判断した場合に、ヘッドマウント装置2の動作の一時停止を判断してもよい。制御部21は、ヘッドマウント装置2の動作を一時停止すると判断した後に、ヘッドマウント装置2の移動の変化の測定の結果に基づいて、ヘッドマウント装置2が所定時間継続して静止していると判断した場合に、ヘッドマウント装置2の動作の再開を判断する。
[ヘッドマウント装置の動作開始の判断方法の例2]
ヘッドマウント装置2の動作開始の判断方法の例2では、センサー部26は加速度センサーと地磁気センサーとを備える。センサー部26は、加速度センサーが検出した結果の加速度検出信号を制御部21へ出力する。センサー部26は、地磁気センサーが検出した結果の地磁気検出信号を制御部21へ出力する。制御部21は、センサー部26から出力された加速度検出信号を使用して、ヘッドマウント装置2の移動の変化を測定する。制御部21は、ヘッドマウント装置2の移動の変化の測定の結果に基づいて、ヘッドマウント装置2が継続して静止している時間(静止時間)を測定する。制御部21は、センサー部26から出力された地磁気検出信号を使用して、ヘッドマウント装置2の傾きを測定する。制御部21は、該測定の結果である静止時間とヘッドマウント装置2の傾きとに基づいて、ヘッドマウント装置の動作の開始と一時停止と再開とを判断する。
[ヘッドマウント装置の動作開始の判断方法の例3]
ヘッドマウント装置2の動作開始の判断方法の例3では、センサー部26は、ヘッドマウント装置2としての眼鏡型のヘッドマウントディスプレイのつる(テンプル)が眼鏡をかけることができるように開かれた開状態になったことを検出するつる開状態センサーを備える。センサー部26は、つる開状態センサーが検出した結果のつる開状態検出信号を制御部21へ出力する。制御部21は、センサー部26から出力されたつる開状態検出信号に基づいて、つるが開状態になったことを判断する。制御部21は、つるが開状態になったと判断した場合に、ヘッドマウント装置2の動作を開始すると判断する。
[ヘッドマウント装置の動作開始の判断方法の例4]
ヘッドマウント装置2の動作開始の判断方法の例4では、情報処理装置4からヘッドマウント装置2の動作を制御する。情報処理装置4は、承認者Yが行うヘッドマウント装置2を制御する操作に応じて、動作制御情報をヘッドマウント装置2へ送信する。ヘッドマウント装置2において、通信部24は、情報処理装置4から受信した動作制御情報を制御部21へ出力する。制御部21は、通信部24から出力された動作制御情報に従って、ヘッドマウント装置の動作の開始と一時停止と再開とを判断する。
[ヘッドマウント装置の動作開始の判断方法の例5]
ヘッドマウント装置2の動作開始の判断方法の例5では、測位部27は、ヘッドマウント装置2の位置を測定し、測定結果の測位値を制御部21へ出力する。制御部21は、測位部27から出力された測位値と、予め設定された作業位置情報とに基づいて、ヘッドマウント装置の動作の開始を判断する。例えば、作業位置情報は、作業対象の拠点又は装置から一定の範囲内の作業区域を示す情報である。制御部21は、測位値と作業位置情報が示す作業区域とに基づいて、ヘッドマウント装置2が作業区域内に存在すると判断した場合に、ヘッドマウント装置2の動作を開始すると判断する。又は、制御部21は、測位値と作業位置情報が示す作業区域とに基づいて、ヘッドマウント装置2が作業区域内に移動したと判断した場合に、ヘッドマウント装置2の動作を開始すると判断する。
以上が動作開始の判断方法の例の説明である。説明を図6に戻す。
ステップS101の判断の結果、ヘッドマウント装置2の動作を開始すると判断した場合にはステップS102へ進み、そうではない場合にはステップS101の処理を継続する。
(ステップS102)制御部21は、ヘッドマウント装置2の動作を開始すると判断すると、撮像部23に対して撮像の開始を指示する。撮像部23は、該制御部21からの撮像の開始の指示に応じて、撮像を開始する。記録部25は、該撮像部23が撮像した画像の記録を開始する。通信部24は、該撮像部23が撮像した画像の情報処理装置4への送信を開始する。また、通信部24は、撮像部23が撮像した画像以外のデータを情報処理装置4へ送信してもよい。例えば、通信部24は、ヘッドマウント装置2の識別情報(ヘッドマウント装置ID)、表示部22が表示している画像の画像ID、測位部27が測定した結果の測位値、視線検出部28が検出した結果の視線を示す視線情報、収音部30が収音した音声や音の信号などを情報処理装置4へ送信してもよい。また、通信部24は、記録部25に記録されている一定時間分の撮像画像を情報処理装置4へ送信してもよい。制御部21は、通信部24に対して、撮像画像及び撮像画像以外のデータを送信する制御を行う。
制御部21は、ヘッドマウント装置2の動作を一時停止すると判断すると、撮像部23に対して撮像の停止を指示する。撮像部23は、該制御部21からの撮像の停止の指示に応じて、撮像を停止する。なお、通信部24は、撮像部23が撮像を停止している場合に、撮像部23が撮像した画像以外のその他のデータを情報処理装置4へ送信してもよい。
制御部21は、ヘッドマウント装置2の動作を一時停止すると判断した後にヘッドマウント装置の動作を再開すると判断すると、撮像部23に対して撮像の開始を指示する。撮像部23は、該制御部21からの撮像の開始の指示に応じて、撮像を開始する。記録部25は、該撮像部23が撮像した画像を記録する。通信部24は、該撮像部23が撮像した画像を情報処理装置4へ送信する。
(ステップS103)通信部24は、情報処理装置4から画像を受信する。通信部24は、情報処理装置4から受信した画像を制御部21へ出力する。
(ステップS104)制御部21は、通信部24から出力された画像を表示部22へ出力し、表示部22によって該画像を表示させる制御を行う。表示部22は、制御部21から出力された画像を、制御部21による制御に従って表示する。
(ステップS105)本処理を継続する場合にはステップS103に戻り、そうではない場合には図6の処理を終了する。図6に示される処理は、例えば、情報処理装置4からの指示によって終了となる。例えば、承認者Yが情報処理装置4により作業の終了を承認する操作を行ったり、又は、情報処理装置4が作業の終了を判断したりした場合に、情報処理装置4からヘッドマウント装置2へ図6の処理の終了が指示される。
なお、制御部21は、表示部22によって各種の情報を表示させる制御を行ってもよい。例えば、制御部21は、撮像部23が撮像している時には、「撮像中」である旨を表示部22によって表示させてもよい。また、制御部21は、通信部24が撮像画像を送信している時には、「撮像画像の送信中」である旨を表示部22によって表示させてもよい。また、制御部21は、通信部24が情報処理装置4から画像を受信している時には、「画像取得中」である旨を表示部22によって表示させてもよい。
[情報処理装置の動作]
図7及び図8を参照して、本実施形態に係る情報処理装置4の動作を説明する。図7及び図8は、本実施形態に係る画像表示方法の一例を示すフローチャートである。図7及び図8に示される処理は、例えば、情報処理装置4においてプログラム47が起動されると開始される。
(ステップS201)情報処理装置4において、装置識別情報取得部401は、ヘッドマウント装置2の動作の開始を判断する。装置識別情報取得部401は、例えば、通信部46によってヘッドマウント装置2からデータを受信した場合に、ヘッドマウント装置2が動作を開始したと判断する。ステップS201の判断の結果、ヘッドマウント装置2が動作を開始したと判断した場合にはステップS202へ進み、そうではない場合にはステップS201の処理を継続する。
(ステップS202)装置識別情報取得部401は、通信部46によってヘッドマウント装置2から受信したデータのうち、撮像部23が撮像した画像に基づいて対象装置10の装置IDを取得する。この装置IDの取得方法の例を以下に説明する。
[装置IDの取得方法の例]
対象装置10には、対象装置10の装置IDを含む情報を表すバーコードが貼付されてある。ヘッドマウント装置2を頭部に装着している作業者Xが対象装置10に貼付されているバーコードの方を見ることによって該バーコードが撮像部23によって撮像され、該撮像画像が通信部24によって情報処理装置4へ送信される。装置識別情報取得部401は、該撮像画像に写っているバーコードに基づいて装置IDを取得する。
なお、対象装置10には、対象装置10の装置IDが文字列で表示されていてもよい。この場合、ヘッドマウント装置2を頭部に装着している作業者Xが対象装置10に表示されている装置IDの文字列の方を見ることによって該装置IDの文字列が撮像部23によって撮像され、該撮像画像が通信部24によって情報処理装置4へ送信される。装置識別情報取得部401は、該撮像画像に写っている装置IDの文字列に基づいて装置IDを取得する。
以上が装置IDの取得方法の例の説明である。説明を図7に戻す。
表示制御部405は、通信部46によってヘッドマウント装置2から受信した撮像画像を表示部45に表示させる。これにより、承認者Yは、情報処理装置4の表示部45に表示された撮像画像によって、作業者Xが作業を実施しようとしている対象装置10を確認することができる。また、表示制御部405は、装置識別情報取得部401が取得した装置ID又は該装置IDに対応する対象装置10の装置名等の装置情報を表示部45に表示させてもよい。これにより、承認者Yは、情報処理装置4の表示部45に表示された装置ID又は装置情報によって、作業者Xが作業を実施しようとしている対象装置10を確認することができる。
また、承認入力部404は、装置識別情報取得部401が取得した装置IDについての承認の入力を受け付けるようにしてもよい。例えば、承認入力部404は、表示制御部405によって、装置識別情報取得部401が取得した装置ID又は該装置IDに対応する対象装置10の装置名等の装置情報と、該装置ID又は装置情報を承認するか否かの入力操作を行う対象装置承認入力画面と、を表示部45に表示させる。承認入力部404は、該対象装置承認入力画面によって承認する入力操作が行われた場合には本処理をステップS203に進ませる。
一方、承認入力部404は、該対象装置承認入力画面によって承認しない入力操作が行われた場合には本処理を中断させる。この場合、画像提供部402は、作業者Xに対して対象装置10を再確認するように警告する内容の警告画像を、通信部46によってヘッドマウント装置2へ送信する。該警告画像は、ヘッドマウント装置2の通信部24によって受信されて表示部22に表示される。この表示部22に表示された警告画像によって、作業者Xに対し、現在作業を実施しようとしている対象装置10を再確認するように警告することができる。これにより、作業者Xが作業すべき装置とは異なる装置に対して誤って作業を実施してしまうことを未然に防止する効果が得られる。また、警告画像と共に、音声によって警告の旨を作業者Xに伝えてもよい。
なお、本処理の実行条件の一設定項目として、承認者Yによる承認の入力の受け付けの要否を任意に設定できるようにしてもよい。
(ステップS203)画像提供部402は、装置識別情報取得部401が取得した装置IDに関連付けられている画像を記憶装置6から取得する。この画像取得方法の例を以下に説明する。
[画像取得方法の例1]
画像取得方法の例1では、記憶装置6に格納されている図5に例示される画像情報から、装置IDに関連付けられている画像を取得する。画像提供部402は、記憶装置6に格納されている画像情報に含まれる画像関連情報であって装置識別情報取得部401が取得した装置IDに関連付けられている画像関連情報から、画像を取得する。画像提供部402は、該画像関連情報に含まれる画像のうち、全ての画像を取得してもよく、又は、一部の画像を取得してもよい。例えば、所定の順番で一枚ずつ画像を取得してもよい。具体例として、複数の作業手順から構成される作業について、各作業手順を示す画像を1枚ずつ取得してヘッドマウント装置2へ送信することが挙げられる。
[画像取得方法の例2]
画像取得方法の例2では、記憶装置6に格納されている図5に例示される画像情報から、装置IDに関連付けられている画像を取得する。但し、ヘッドマウント装置2のヘッドマウント装置IDに基づいて、装置識別情報取得部401が取得した装置IDに関連付けられている画像を選択するか否かを判定し、該画像を選択すると判定した場合には該画像をヘッドマウント装置2へ送信し、該画像を選択しないと判定した場合には該画像をヘッドマウント装置2へ送信しない。
図9は、画像取得方法の例2に係る画像選択情報の構成例を示す図である。画像選択情報は記憶装置6に格納されている。画像選択情報は、ヘッドマウント装置IDと装置IDと画像IDとを関連付けた区分を有する。例えば、画像選択情報のある一区分において、ヘッドマウント装置ID「HMID_a」と装置ID「DID_a」と画像ID「IMID_a2,IMID_a5,・・・」とが関連付けられている。
ヘッドマウント装置2の通信部24は、自ヘッドマウント装置2のヘッドマウント装置IDを情報処理装置4へ送信する。画像提供部402は、通信部46によってヘッドマウント装置2から受信したヘッドマウント装置IDに基づいて、装置識別情報取得部401が取得した装置IDに関連付けられている画像を選択するか否かを判定する。具体的には、画像提供部402は、画像選択情報において、ヘッドマウント装置IDと装置識別情報取得部401が取得した装置IDとが関連付けられている場合には、装置識別情報取得部401が取得した装置IDに関連付けられている画像を選択すると判定し、そうではない場合には、装置識別情報取得部401が取得した装置IDに関連付けられている画像を選択しないと判定する。画像提供部402は、該画像を選択すると判定した場合には、該画像を記憶装置6から取得する。一方、画像提供部402は、該画像を選択しないと判定した場合には、該画像を記憶装置6から取得しない。なお、画像提供部402は、装置識別情報取得部401が取得した装置IDに関連付けられている画像のうち、全ての画像を記憶装置6から取得してもよく、又は、一部の画像を記憶装置6から取得してもよい。例えば、所定の順番で一枚ずつ画像を取得してもよい。具体例として、複数の作業手順から構成される作業について、各作業手順を示す画像を1枚ずつ取得してヘッドマウント装置2へ送信することが挙げられる。
[画像取得方法の例3]
画像取得方法の例3では、記憶装置6に格納されている図5に例示される画像情報から、装置IDに関連付けられている画像を取得する。但し、ヘッドマウント装置2のヘッドマウント装置ID又はユーザ識別情報(ユーザID)と、時刻情報又はヘッドマウント装置2の位置情報とに基づいて、装置識別情報取得部401が取得した装置IDに関連付けられている画像を選択するか否かを判定し、該画像を選択すると判定した場合には該画像をヘッドマウント装置2へ送信し、該画像を選択しないと判定した場合には該画像をヘッドマウント装置2へ送信しない。
図10は、画像取得方法の例3に係る画像選択情報の構成例を示す図である。画像選択情報は、記憶装置6に格納されている。画像選択情報は、ヘッドマウント装置IDと予定ユーザIDと予定日時情報と位置条件と装置IDと画像IDとを関連付けた区分を有する。但し、該一区分において、ヘッドマウント装置ID若しくは予定ユーザIDのいずれか一方のみが有されてもよく、又は、ヘッドマウント装置ID及び予定ユーザIDの両方が有されてもよい。また、予定日時情報若しくは位置条件のいずれか一方のみが有されてもよく、又は、予定日時情報及び位置条件の両方が有されてもよい。予定ユーザIDは、作業計画で定められた作業予定者の識別情報である。予定日時情報は、作業計画で定められた作業予定日時を示す情報である。位置条件は、作業計画で定められた作業予定場所に基づいた作業者の移動範囲を示す情報である。
ヘッドマウント装置2の通信部24は、自ヘッドマウント装置2のヘッドマウント装置IDを情報処理装置4へ送信する。なお、ヘッドマウント装置2の位置情報に基づいて、装置識別情報取得部401が取得した装置IDに関連付けられている画像を選択するか否かを判定する場合には、ヘッドマウント装置2の通信部24は、測位部27が測定した結果の測位値も情報処理装置4へ送信する。
情報処理装置4は現在の日時を示す現在日時情報を取得する。例えば、情報処理装置4は日時を刻む時計を備え、該時計から現在日時情報を取得する。また、情報処理装置4には、ヘッドマウント装置2を頭部に装着している作業者XのユーザIDが入力される。例えば、承認者Yが、該作業者XのユーザIDを情報処理装置4に入力する。ヘッドマウント装置2を頭部に装着している作業者XのユーザIDのことを装着ユーザIDと称する。
なお、ヘッドマウント装置2は、該ヘッドマウント装置2を頭部に装着している作業者Xの目を撮像する撮像部をさらに備え、該撮像部が撮像した作業者Xの目の画像を通信部24によって情報処理装置4へ送信してもよい。情報処理装置4は、通信部46によって情報処理装置4から受信した作業者Xの目の画像に基づいて、装着ユーザIDを取得するユーザID取得部をさらに備えてもよい。
画像提供部402は、通信部46によってヘッドマウント装置2から受信したヘッドマウント装置ID又は装着ユーザIDと、現在日時情報又は通信部46によってヘッドマウント装置2から受信した測位値とに基づいて、装置識別情報取得部401が取得した装置IDに関連付けられている画像を選択するか否かを判定する。具体的には、画像提供部402は、画像選択情報において、ヘッドマウント装置ID又は予定ユーザIDに一致する装着ユーザIDと装置識別情報取得部401が取得した装置IDとが関連付けられており、且つ、予定日時情報に一致する現在日時情報又は位置条件に一致する測位値と装置識別情報取得部401が取得した装置IDとが関連付けられている場合には、装置識別情報取得部401が取得した装置IDに関連付けられている画像を選択すると判定し、そうではない場合には、装置識別情報取得部401が取得した装置IDに関連付けられている画像を選択しないと判定する。画像提供部402は、該画像を選択すると判定した場合には、該画像を記憶装置6から取得する。一方、画像提供部402は、該画像を選択しないと判定した場合には、該画像を記憶装置6から取得しない。
なお、画像提供部402は、画像選択情報において、ヘッドマウント装置ID及び予定ユーザIDに一致する装着ユーザIDと装置識別情報取得部401が取得した装置IDとが関連付けられており、且つ、予定日時情報に一致する現在日時情報又は位置条件に一致する測位値と装置識別情報取得部401が取得した装置IDとが関連付けられている場合には、装置識別情報取得部401が取得した装置IDに関連付けられている画像を選択すると判定し、そうではない場合には、装置識別情報取得部401が取得した装置IDに関連付けられている画像を選択しないと判定してもよい。また、画像提供部402は、画像選択情報において、ヘッドマウント装置ID又は予定ユーザIDに一致する装着ユーザIDと装置識別情報取得部401が取得した装置IDとが関連付けられており、且つ、予定日時情報に一致する現在日時情報及び位置条件に一致する測位値と装置識別情報取得部401が取得した装置IDとが関連付けられている場合には、装置識別情報取得部401が取得した装置IDに関連付けられている画像を選択すると判定し、そうではない場合には、装置識別情報取得部401が取得した装置IDに関連付けられている画像を選択しないと判定してもよい。また、画像提供部402は、画像選択情報において、ヘッドマウント装置ID及び予定ユーザIDに一致する装着ユーザIDと装置識別情報取得部401が取得した装置IDとが関連付けられており、且つ、予定日時情報に一致する現在日時情報及び位置条件に一致する測位値と装置識別情報取得部401が取得した装置IDとが関連付けられている場合には、装置識別情報取得部401が取得した装置IDに関連付けられている画像を選択すると判定し、そうではない場合には、装置識別情報取得部401が取得した装置IDに関連付けられている画像を選択しないと判定してもよい。
画像提供部402は、該判定の結果、装置識別情報取得部401が取得した装置IDに関連付けられている画像を選択しない場合には、本処理を中断させる。この場合、画像提供部402は、作業者Xに対して作業内容を再確認するように警告する内容の警告画像を、通信部46によってヘッドマウント装置2へ送信する。該警告画像は、ヘッドマウント装置2の通信部24によって受信されて表示部22に表示される。この表示部22に表示された警告画像によって、作業者Xに対し、現在実施しようとしている作業内容を再確認するように警告することができる。これにより、作業者Xが現在実施しようとしている作業内容が作業計画とは異なり誤って作業を実施してしまうことを未然に防止する効果が得られる。また、警告画像と共に、音声によって警告の旨を作業者Xに伝えてもよい。
また、装置識別情報取得部401が取得した装置IDに加えて、ヘッドマウント装置ID又は装着ユーザIDと、現在日時情報又はヘッドマウント装置2の測位値とに基づいて画像を送信するか否かが判定されるので、画像の情報(例えば、作業マニュアルの情報等)の漏洩を防ぐ効果が得られる。例えば、第三者がヘッドマウント装置2を装着した場合、装置IDが画像選択情報に一致しても、画像選択情報の予定日時情報や位置条件に一致しなければ画像はヘッドマウント装置2へ送信されないので、画像の情報が第三者に漏洩することを防ぐことができる。
なお、記憶装置6が作業内容を示すキーワードと装置IDとに関連付けされる画像を格納し、画像提供部402は、該キーワードと装置IDとに基づいて、ヘッドマウント装置2へ送信する画像を取得してもよい。作業内容を示すキーワードは、例えば、音声によって入力されてもよい。
以上が画像取得方法の例の説明である。説明を図7に戻す。
(ステップS204)画像提供部402は、記憶装置6から取得した画像と該画像の画像IDとを通信部46によってヘッドマウント装置2へ送信する。該画像はヘッドマウント装置2の通信部24によって受信されて表示部22により表示される。
(ステップS205)本処理を継続する場合には図8のステップS206へ進み、そうではない場合には図7及び図8の処理を終了する。図7及び図8に示される処理は、例えば、情報処理装置4においてプログラム47の実行が終了されることにより終了になる。
(ステップS206)通信部46は、ヘッドマウント装置2から、撮像画像等のデータを受信する。
(ステップS207)判断部403は、通信部46によってヘッドマウント装置2から受信した視線情報と画像IDとを使用して、ヘッドマウント装置2の表示部22に表示されている画像の表示終了を判断する処理を実行する。この表示終了の判断方法の例を以下に説明する。
[表示終了の判断方法の例]
記憶装置6は、作業者の視線によって特定される情報を画像に関連付けて記憶している。記憶装置6に格納されている図5に例示される画像情報において、付加情報は、作業者の視線によって特定される情報を有する。作業者の視線によって特定される情報のことを視線特定情報と称する場合がある。
例えば、装置ID「DID_a」に関連付けられた画像関連情報の付加情報aa1は、画像a1についての視線特定情報を有する。例えば、視線特定情報は、作業者の視線によって特定される画像a1内の位置を示す情報である。視線特定情報が示す画像a1内の位置には、例えば、作業者が確認すべき情報が存在する。作業者が確認すべき情報として、例えば、作業が正しく実施されるように導くチェック項目が挙げられる。
作業者Xがヘッドマウント装置2を頭部に装着しており、該ヘッドマウント装置2の表示部22が画像a1を表示している。この時に視線検出部28が検出した結果の視線情報が示す視線が、付加情報aa1の視線特定情報が示す画像a1内の位置に合っていれば、該作業者Xは該視線特定情報が示す画像a1内の位置に存在する情報を視認したと判断することができる。
判断部403は、記憶装置6に格納されている画像情報に含まれる画像関連情報であって装置識別情報取得部401が取得した装置IDに関連付けられている画像関連情報から、通信部46によってヘッドマウント装置2から受信した画像IDに関連付けられている付加情報を取得する。例えば、判断部403は、装置識別情報取得部401が取得した装置ID「DID_a」に関連付けられている画像関連情報から、ヘッドマウント装置2から受信した画像ID「IMID_a1」に関連付けられている付加情報aa1を取得する。ヘッドマウント装置2から受信した画像ID「IMID_a1」は、該ヘッドマウント装置2の表示部22が表示している画像a1の画像IDである。
判断部403は、該取得した付加情報aa1と、通信部46によってヘッドマウント装置2から受信した視線情報とに基づいて、ヘッドマウント装置2の表示部22に表示されている画像a1の表示終了を判断する。通信部46によってヘッドマウント装置2から受信した視線情報は、該ヘッドマウント装置2の表示部22が画像a1を表示している時に検出された視線情報である。判断部403は、ヘッドマウント装置2から受信した視線情報が示す視線が、付加情報aa1の視線特定情報が示す画像a1内の位置に合っているか否かを判断する。判断部403は、該判断の結果、該視線が該画像a1内の位置に合っている場合には画像a1の表示を終了すると判断する。これは、ヘッドマウント装置2を装着している作業者Xが、視線特定情報が示す画像a1内の位置に存在する情報を視認したと判断できるからである。
一方、判断部403は、該判断の結果、該視線が該画像a1内の位置に合っていない場合には画像a1の表示を終了しないと判断する。これは、ヘッドマウント装置2を装着している作業者Xが、視線特定情報が示す画像a1内の位置に存在する情報を視認したとは判断できないからである。なお、判断部403は、画像a1の表示を終了しないと判断した場合に、本処理を中断させてもよい。この場合、画像提供部402は、作業者Xに対して作業内容を再確認するように警告する内容の警告画像を、通信部46によってヘッドマウント装置2へ送信する。該警告画像は、ヘッドマウント装置2の通信部24によって受信されて表示部22に表示される。この表示部22に表示された警告画像によって、作業者Xに対し、現在実施しようとしている作業内容を再確認するように警告することができる。これにより、作業者Xが現在実施しようとしている作業内容が作業計画とは異なり誤って作業を実施してしまうことを未然に防止する効果が得られる。また、警告画像と共に、音声によって警告の旨を作業者Xに伝えてもよい。
[表示終了の判断方法の他の例]
ヘッドマウント装置2において、収音部30は、ヘッドマウント装置2を装着する作業者Xの音声を収音する。制御部21は、収音部30が収音した音声に基づいて表示部22に表示されている画像の表示終了を判断した場合に、情報処理装置4へ画像の表示終了を通知する。情報処理装置4において、画像提供部402は、ヘッドマウント装置2から画像の表示終了を通知されると、装置識別情報取得部401が取得した装置IDで識別される対象装置に適用される次の画像を記憶装置6から取得し、取得した画像をヘッドマウント装置2へ提供する。
以上が表示終了の判断方法の例の説明である。説明を図8に戻す。
(ステップS208)ステップS207の判断の結果が表示を終了するである場合にはステップS209に進み、そうではない場合にはステップS206に戻る。
(ステップS209)画像提供部402は、承認入力部404によって画像の表示終了の承認の入力を受け付け済みであるか否かを判断する。この判断の結果、画像の表示終了の承認の入力を受け付け済みである場合にはステップS210へ進み、そうではない場合にはステップS209の処理を継続する。承認入力部404は、画像の表示終了の承認の入力を受け付けが未完了である場合には、画像の表示終了の承認の入力を受け付ける処理を実行する。
なお、本処理の実行条件の一設定項目である「画像の表示終了の承認の入力の受け付けの要否の設定項目」に設定されている内容が「承認の入力の受け付けを行わない」である場合には、ステップS209の処理を飛ばしてステップS210へ進む。つまり、「画像の表示終了の承認の入力の受け付けの要否の設定項目」に設定されている内容が「承認の入力の受け付けを行う」である場合にはステップS209の処理を実行し、そうではない場合にはステップS209の処理を実行しないでステップS210へ進む。
ここで、承認入力部404が画像の表示終了の承認の入力を受け付ける方法の例を説明する。
[画像の表示終了の承認の入力受付方法の例1]
承認入力部404は、表示制御部405によって、ヘッドマウント装置2の表示部22に表示されている画像の表示終了を承認するか否かの入力操作を行う表示終了承認入力画面を表示部45に表示させる。この時、情報処理装置4の表示部45には表示制御部405によって撮像画像が表示されている。承認者Yは、該表示部45に表示されている撮像画像等を確認し、表示終了承認入力画面に対する入力操作を行う。承認者Yが、表示終了承認入力画面に対して承認する入力操作を行った場合には、ヘッドマウント装置2の表示部22に表示されている画像の表示終了の承認の入力を受け付け済みの状態になる。
一方、承認者Yが、表示終了承認入力画面に対して承認しない入力操作を行った場合には、ヘッドマウント装置2の表示部22に表示されている画像の表示終了の承認の入力をまだ受け付けていない状態になる。承認入力部404は、該表示終了承認入力画面によって承認しない入力操作が行われた場合には本処理を中断させる。この場合、画像提供部402は、作業者Xに対して作業内容を再確認するように警告する内容の警告画像を、通信部46によってヘッドマウント装置2へ送信する。該警告画像は、ヘッドマウント装置2の通信部24によって受信されて表示部22に表示される。この表示部22に表示された警告画像によって、作業者Xに対し、現在実施しようとしている作業内容を再確認するように警告することができる。これにより、作業者Xが現在実施しようとしている作業内容が作業計画とは異なり誤って作業を実施してしまうことを未然に防止する効果が得られる。また、警告画像と共に、音声によって警告の旨を作業者Xに伝えてもよい。
[画像の表示終了の承認の入力受付方法の例2]
画像の表示終了の承認の入力受付方法の例2では、上記の画像の表示終了の承認の入力受付方法の例1において、承認入力部404は、作業者に応じて表示終了承認入力画面を表示部45に表示させるか否かを判断する。この表示終了承認入力画面の表示の要否の判断方法の例を以下に説明する。
[表示終了承認入力画面の表示の要否の判断方法の例2−1]
表示終了承認入力画面の表示の要否の判断方法の例1では、作業者毎に、表示終了承認入力画面の表示の要否を予め設定しておく。具体的には、作業者のユーザIDと、表示終了承認入力画面の表示の要否を示す表示終了承認入力画面要否情報とを関連付けた作業者リストを、予め記憶装置6に格納しておく。情報処理装置4には、ヘッドマウント装置2を頭部に装着している作業者XのユーザID(装着ユーザID)が入力される。例えば、承認者Yが、装着ユーザIDを情報処理装置4に入力する。承認入力部404は、記憶装置6に格納されている作業者リストから、該装着ユーザIDに関連付けられている表示終了承認入力画面要否情報を取得する。承認入力部404は、該作業者リストから取得した表示終了承認入力画面要否情報が「表示要」を示す場合には、表示制御部405によって表示終了承認入力画面を表示部45に表示させる。
一方、承認入力部404は、該作業者リストから取得した表示終了承認入力画面要否情報が「表示否」を示す場合には、表示終了承認入力画面の表示を行わない。この表示終了承認入力画面の表示を行わない場合には、そのままステップS210へ進む。
[表示終了承認入力画面の表示の要否の判断方法の例2−2]
表示終了承認入力画面の表示の要否の判断方法の例2では、作業者のレベルに応じて、表示終了承認入力画面の表示の要否を判断する。図11は、本実施形態に係る記憶装置6に格納される作業者レベル情報の構成例を示す図である。図11において、作業者レベル情報は、作業者毎に、作業者のユーザIDと作業者レベルとの組を有する。作業者レベルは、作業者の熟練度を表す情報である。図11の例では、作業者レベルは、「高」と「中」と「低」との3段階がある。作業者レベル「高」は、3段階のうち熟練度が最も高い段階を表す。作業者レベル「低」は、3段階のうち熟練度が最も低い段階を表す。作業者レベル「中」は、作業者レベル「高」又は「低」のいずれにも属さない中くらいの熟練度の段階を表す。
情報処理装置4には、ヘッドマウント装置2を頭部に装着している作業者XのユーザID(装着ユーザID)が入力される。例えば、承認者Yが、装着ユーザIDを情報処理装置4に入力する。承認入力部404は、記憶装置6に格納されている作業者レベル情報から、該装着ユーザIDに関連付けられている作業者レベルを取得する。承認入力部404は、該作業者レベル情報から取得した作業者レベルが所定の作業者レベル未満である場合には、表示制御部405によって表示終了承認入力画面を表示部45に表示させる。例えば、承認入力部404は、該作業者レベル情報から取得した作業者レベルが「高」未満である場合には、つまり、作業者レベルが「中」又は「低」である場合には、表示制御部405によって表示終了承認入力画面を表示部45に表示させる。
一方、承認入力部404は、該作業者レベル情報から取得した作業者レベルが所定の作業者レベル以上である場合には、表示終了承認入力画面の表示を行わない。例えば、承認入力部404は、該作業者レベル情報から取得した作業者レベルが「高」以上である場合には、つまり、作業者レベルが「高」である場合には、表示終了承認入力画面の表示を行わない。この表示終了承認入力画面の表示を行わない場合には、そのままステップS210へ進む。
[画像の表示終了の承認の入力受付方法の例3]
画像の表示終了の承認の入力受付方法の例3では、画像の表示終了の承認の入力を行う承認者の選択を行う。この画像の表示終了の承認の入力受付方法の例3は、上記の画像の表示終了の承認の入力受付方法の例1又は例2に適用できる。記憶装置6は、上記した図11に例示される作業者レベル情報と、図12に例示される装置難易度情報と、図13に例示される承認者リストと、を格納する。
図12において、装置難易度情報は、装置毎に、装置IDと難易度レベルとの組を有する。難易度レベルは、装置についての作業の難易度を表す情報である。図12の例では、難易度レベルは、「難」と「中」と「易」との3段階がある。難易度レベル「難」は、3段階のうち難易度が最も難しい段階を表す。難易度レベル「易」は、3段階のうち難易度が最も易しい段階を表す。難易度レベル「中」は、難易度レベル「難」又は「易」のいずれにも属さない中くらいの難易度の段階を表す。
図13において、承認者リストは、承認者毎に、承認者の識別情報(承認者ID)と承認者レベルとの組を有する。承認者レベルは、承認者の熟練度を表す情報である。図13の例では、承認者レベルは、「高」と「中」と「低」との3段階がある。承認者レベル「高」は、3段階のうち熟練度が最も高い段階を表す。承認者レベル「低」は、3段階のうち熟練度が最も低い段階を表す。承認者レベル「中」は、承認者レベル「高」又は「低」のいずれにも属さない中くらいの熟練度の段階を表す。
情報処理装置4には、ヘッドマウント装置2を頭部に装着している作業者XのユーザID(装着ユーザID)が入力される。例えば、作業管理者が、装着ユーザIDを情報処理装置4に入力する。承認入力部404は、記憶装置6に格納されている作業者レベル情報から、該装着ユーザIDに関連付けられている作業者レベルを取得する。承認入力部404は、装置識別情報取得部401が取得した装置IDに関連付けられている難易度レベルを、記憶装置6に格納されている装置難易度情報から取得する。
承認入力部404は、該作業者レベル情報から取得した作業者レベルと、該装置難易度情報から取得した難易度レベルとに基づいて、記憶装置6に格納されている承認者リストから画像の表示終了の承認の入力を行う承認者の承認者IDを選択する。承認入力部404は、該承認者リストから選択した承認者IDによって、画像の表示終了の承認の入力を受け付ける。例えば、承認入力部404は、表示終了承認入力画面に対して入力操作を行う承認者IDの認証を行う。該承認者IDの認証方法の一例として、予め登録されている承認者IDとパスワードの組合せによって、承認者IDの認証を行うことが挙げられる。承認入力部404は、承認者リストから選択した承認者IDのみを、認証合格の対象にする。したがって、承認入力部404が承認者リストから選択した承認者IDによっては表示終了承認入力画面に対して入力操作を行うことができるが、該承認入力部404が承認者リストから選択した承認者ID以外の他の承認者IDによっては表示終了承認入力画面に対して入力操作を行うことができない。
[承認者IDの選択方法の例]
画像の表示終了の承認の入力を受け付ける承認者IDの選択方法の例を説明する。作業者レベルと難易度レベルの組合せ毎に承認者レベルを関連付けたレベル対応表を、予め記憶装置6に格納しておく。レベル対応表における関連付けの一例として、作業者レベル「低」と難易度レベル「難」の組合せに対して承認者レベル「高」を関連付ける。該レベル対応表によって、作業者レベルと難易度レベルの組合せに対応する承認者レベルが示される。
承認入力部404は、作業者レベル情報から取得した作業者レベルと装置難易度情報から取得した難易度レベルの組合せに関連付けられている承認者レベルを、記憶装置6に格納されているレベル対応表から取得する。承認入力部404は、該レベル対応表から取得した承認者レベルに関連付けられている承認者IDを、記憶装置6に格納されている承認者リストから取得する。承認者リストから取得する承認者IDは、該当する全ての承認者IDであってもよく、又は、該当する承認者IDのうち一部であってもよい。例えば、作業計画で定められた複数の承認候補者の識別情報に一致する承認者IDのみを承認者リストから取得してもよい。
以上が承認者IDの選択方法の例の説明である。
以上が画像の表示終了の承認の入力受付方法の例の説明である。説明を図8に戻す。
(ステップS210)画像提供部402は、装置識別情報取得部401が取得した装置IDで識別される対象装置10に適用される次の画像を記憶装置6から取得する。該次の画像は、記憶装置6に格納されている画像情報において該装置識別情報取得部401が取得した装置IDに関連付けられている画像関連情報に含まれる付加情報であってヘッドマウント装置2の表示部22に表示されている画像に対応する付加情報によって示される。ヘッドマウント装置2の表示部22に表示されている画像の画像IDは、通信部46によってヘッドマウント装置2から受信されている。
例えば、図5に例示される画像情報において、ヘッドマウント装置2から受信した画像ID「IMID_a1」は、該ヘッドマウント装置2の表示部22が表示している画像a1の画像IDである。画像提供部402は、該画像ID「IMID_a1」に関連付けられている付加情報aa1を記憶装置6から取得する。該付加情報aa1は、画像a1の次に表示すべき画像を示す次表示画像情報を含む。画像提供部402は、記憶装置6から取得した付加情報aa1の次表示画像情報に基づいて、画像a1の次に表示すべき画像を記憶装置6から取得する。
(ステップS204)画像提供部402は、記憶装置6から取得した画像と該画像の画像IDとを通信部46によってヘッドマウント装置2へ送信する。該画像はヘッドマウント装置2の通信部24によって受信されて表示部22により表示される。作業者Xは、表示部22によって表示された新しい画像を視認する。ステップS204の後に図7のステップS205へ進む。
以上が図7及び図8に示される処理の説明である。
図14は、本実施形態に係る実施例の説明図である。図14の実施例では、対象装置10に適用される作業手順を示す作業手順画像を作業者Xへ提示する。記憶装置6に格納されている図5に例示される画像情報において、対象装置10の装置IDに関連付けられている画像関連情報は、該対象装置10に適用される作業手順を示す作業手順画像を有する。例えば、対象装置10の装置ID「DID_a」に関連付けられている画像関連情報において、画像ID「IMID_a1」の画像a1は、該対象装置10に適用される作業手順のうち最初の手順1を示す画像であり、画像ID「IMID_a2」の画像a2は、該対象装置10に適用される作業手順のうち手順1の次の手順2を示す画像であり、画像ID「IMID_a3」の画像a3は、該対象装置10に適用される作業手順のうち手順2の次の手順3を示す画像であり、画像ID「IMID_a4」の画像a4は、該対象装置10に適用される作業手順のうち手順3の次の手順4を示す画像であり、画像ID「IMID_a2」の画像a5は、該対象装置10に適用される作業手順のうち手順4の次の手順5を示す画像である。
画像提供部402は、最初に画像a1、次いで画像a2、次いで画像a3、次いで画像a4、次いで画像a5の順番で、画像a1、画像a2、画像a3、画像a4及び画像a5をヘッドマウント装置2へ提供する。画像a2、画像a3、画像a4及び画像a5は、それぞれの前の画像の表示終了の判断後に、ヘッドマウント装置2へ提供される。さらには、画像a2、画像a3、画像a4及び画像a5は、画像の表示終了の承認の入力の受け付けの要の場合には、それぞれ前の画像の表示終了の承認の入力を受け付け後に、ヘッドマウント装置2へ提供される。
図14の例では、作業者Xは、手順3の終了後であって、ヘッドマウント装置2の表示部22が手順4を示す画像a4を表示している時に、手順4を行わずに、手順5を行おうとした。この時、判断部403は、通信部46によってヘッドマウント装置2から受信した視線情報に基づいて、画像a4の表示を終了しないと判断した。これにより、画像提供部402は、作業者Xに対して作業内容を再確認するように警告する内容の警告画像を、通信部46によってヘッドマウント装置2へ送信する。該警告画像は、ヘッドマウント装置2の通信部24によって受信されて表示部22に表示される。この表示部22に表示された警告画像によって、作業者Xに対し、現在実施しようとしている作業内容を再確認するように警告することができる。これにより、作業者Xが誤って手順5を実施してしまうことを未然に防止する効果が得られる。また、警告画像と共に、音声によって警告の旨を作業者Xに伝えてもよい。
また、画像提供部402は、承認者Yが画像a4についての表示終了承認入力画面に対して承認しない入力操作を行った場合には、作業者Xに対して作業内容を再確認するように警告する内容の警告画像を、通信部46によってヘッドマウント装置2へ送信する。この警告画像がヘッドマウント装置2の表示部22に表示されることによって、作業者Xに対し、現在実施しようとしている作業内容を再確認するように警告することができる。これにより、作業者Xが誤って手順5を実施してしまうことを未然に防止する効果が得られる。また、警告画像と共に、音声によって警告の旨を作業者Xに伝えてもよい。
図15及び図16は、ヘッドマウント装置2の表示部22に表示される画像の例を示す図である。図15及び図16の例では、作業者Xが実施すべき作業は、対象装置10−1と対象装置10−2との間にケーブルを敷設し、該ケーブルで対象装置10−1と対象装置10−2とを接続する作業である。装置90−1、90−2及び90−3は、作業対象外の装置である。装置90−1、90−2、90−3のことを対象外装置と称する。
図15において、ヘッドマウント装置2の表示部22は、画像IM1を表示している。画像IM1は、本作業のケーブルの敷設ルートを示す画像である。作業者Xは、対象装置10−1と対象装置10−2とを視認すると共に、表示部22が表示する画像IM1を視認する。これにより、作業者Xは、表示部22が表示する画像IM1によって本作業のケーブルの敷設ルートを確認して、実際のケーブルの敷設及び接続の作業を実施することができる。よって、作業者Xが作業中に作業手順書を閲覧しながら作業を実施する場合に比して、作業の効率の向上を図ることができる。また、作業者Xは、作業手順書を閲覧できるだけの空間がない作業場所であっても、ヘッドマウント装置2の表示部22に表示されている作業手順画像によって作業手順を確認することができる。
図16において、ヘッドマウント装置2の表示部22は、警告画像IM101、IM102、IM103、IM104、IM105及びIM106を表示している。警告画像IM101及びIM102は、該警告画像IM101及びIM102の表示に対応する部分が作業対象であることを示している。
一方、警告画像IM103、IM104、IM105及びIM106は、該警告画像IM103、IM104、IM105及びIM106の表示に対応する部分が作業対象ではないことを示している。警告画像IM103は、該警告画像IM103の表示に対応する部分が運用中であり注意するように、作業者Xに警告する画像である。警告画像IM104、IM105及びIM106は、該警告画像IM104、IM105及びIM106の表示に対応する部分が対象外装置であることを作業者Xに警告する画像である。警告画像IM105には、過去に誤作業が発生した箇所である旨と、該誤作業が発生した日時とが示されている。
警告画像IM101、IM102、IM103、IM104、IM105及びIM106によって、作業者Xに対し、作業内容の再確認を促すことができる。これにより、作業者Xが作業すべき内容とは異なる内容の作業を誤って実施してしまうことを未然に防止する効果が得られる。
なお、実際に作業者Xが実施した作業内容を確認するために、ヘッドマウント装置2の記録部25に記録されている一定時間分の撮像画像をヘッドマウント装置2から情報処理装置4へ送信し、該一定時間分の撮像画像を情報処理装置4の表示部45で表示してもよい。例えば、作業者Xに警告する時に該作業者Xに作業を中断させ、ヘッドマウント装置2の記録部25に記録されている一定時間分の撮像画像を情報処理装置4の表示部45で表示するようにしてもよい。これにより、承認者Yは、作業者Xに警告する時に、該表示部45が表示する一定時間分の撮像画像によって作業者Xが実施した作業内容を把握することができる。作業者Xが実施した作業内容を把握することによって、該把握内容を、作業者Xに対する警告内容や作業内容の指示などに反映することができる。
なお、情報処理装置4が特定の画像をヘッドマウント装置2へ送信した際には、その旨を情報処理装置4の表示部45に表示又は承認者Yへ通知し、作業者Xが装着しているヘッドマウント装置2に表示されている画像と同一の画像を情報処理装置4の表示部45に表示させてもよい。
[第2実施形態]
図17は、本実施形態に係る画像表示システム1aの構成例を示す図である。図17において図1の各部に対応する部分には同一の符号を付け、その説明を省略する。図17に示す画像表示システム1aでは、図1に示す画像表示システム1に対して通信装置12を設ける。これ以外は図1に示す画像表示システム1と同じである。但し、ヘッドマウント装置2の通信部24は、通信装置12と通信を行う。通信装置12は、通信回線8を介して、情報処理装置4とデータを送受する。ヘッドマウント装置2は、通信装置12を介して、情報処理装置4とデータを送受する。
ヘッドマウント装置2の通信部24は、撮像画像等のデータを通信装置12へ送信する。通信装置12は、ヘッドマウント装置2から受信した撮像画像等のデータを、通信回線8を介して情報処理装置4へ送信する。
情報処理装置4の通信部46は、通信回線8を介して画像等のデータを通信装置12へ送信する。通信装置12は、情報処理装置4から受信した画像等のデータをヘッドマウント装置2へ送信する。ヘッドマウント装置2の通信部24は、通信装置12から画像等のデータを受信する。ヘッドマウント装置2の表示部22は、通信部24が通信装置12から受信した画像を表示する。
ヘッドマウント装置2の通信部24と通信装置12とは、例えばビーエルイー(Bluetooth(登録商標) Low Energy:BLE)などの近距離無線通信技術によって無線データ通信を行う。これにより、ヘッドマウント装置2の通信部24が通信装置12を介さずに直接に通信回線8を介して情報処理装置4とデータを送受する場合に比して、ヘッドマウント装置2の消費電力を低減することができる。これは、ヘッドマウント装置2のバッテリーの持ちをよくし、ヘッドマウント装置2のより長い使用時間の実現に貢献できる。
通信装置12として、例えばスマートフォンやタブレットPC等の携帯通信端末装置を適用できる。
[第3実施形態]
図18は、本実施形態に係る画像表示システム1bの構成例を示す図である。図19は、本実施形態に係る情報処理装置4bの機能構成例を示す図である。図18において図1の各部に対応する部分には同一の符号を付け、その説明を省略する。また、図19において図4の各部に対応する部分には同一の符号を付け、その説明を省略する。図18に示す画像表示システム1bでは、図1に示す画像表示システム1に対して通知情報記憶装置14を設ける。また、図18に示す画像表示システム1bでは、図1に示す画像表示システム1の情報処理装置4の代わりに情報処理装置4bを備える。これら以外は図1に示す画像表示システム1と同じである。
また、図19に示す情報処理装置4bでは、図4に示す情報処理装置4に対してSNS検索部410と通知情報提供部411とを設ける。これ以外は図4に示す情報処理装置4と同じである。
図20は、本実施形態に係る通知情報記憶装置14に格納される通知情報の構成例を示す図である。通知情報記憶装置14は、キーワードに関連付けて通知情報を記憶する。該通知情報は、ヘッドマウント装置2を装着する作業者Xへ通知する情報である。通知情報は、画像による情報であってもよく、又は、音声による情報であってもよい。
SNS検索部410は、通知情報記憶装置14に格納されている通知情報に関連付けられているキーワードを使用して、ソーシャルネットワーキングサービス(social networking service:SNS)の投稿記事を検索する。
通知情報提供部411は、SNS検索部410が検索した投稿記事の検索数が所定数以上である場合に、SNS検索部410が当該検索に使用したキーワードに関連付けられている通知情報を、通知情報記憶装置14から取得する。通知情報提供部411は、該通知情報記憶装置14から取得した通知情報を、通信部46によってヘッドマウント装置2へ送信する。該通知情報が画像による情報である場合には、ヘッドマウント装置2の表示部22が該通知情報の画像を表示する。この表示部22に表示された通知情報の画像によって、作業者Xに対し、該通知情報の内容を伝えることができる。また、通知情報が音声による情報である場合には、ヘッドマウント装置2の音声再生部29が該通知情報の音声を再生する。この音声再生部29が再生した通知情報の音声によって、作業者Xに対し、該通知情報の内容を伝えることができる。
通知情報記憶装置14に格納されるキーワードとして、対象装置10に対して実施される作業の結果としてSNSの投稿記事に掲載される可能性が高い語句を使用する。また、該キーワードに関連付ける通知情報として、対象装置10に対して実施される作業の結果として起こる事象についての情報を使用する。例えば、対象装置10が通信会社Aの通信装置であって、その作業が通信速度の向上に寄与する作業であるとする。この場合、キーワードとして「通信会社A」、「通信速度」、「繋がらない」、「障害」などを使用し、これらに関連付ける通知情報として「要確認」、「障害発生」などを使用することが挙げられる。これにより、SNSの投稿記事を利用して作業結果の影響を即時に作業者Xに伝えることができる。
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
上述した情報処理装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、DVD(Digital Versatile Disc)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
1,1a,1b…画像表示システム、2…ヘッドマウント装置、4,4b…情報処理装置、6…記憶装置、8…通信回線、10…対象装置、12…通信装置、14…通知情報記憶装置、21…制御部、22…表示部、23…撮像部、24,46…通信部、25…記録部、26…センサー部、27…測位部、28…視線検出部、29…音声再生部、30…収音部、41…CPU、42…メモリ、43…不揮発性メモリ、44…操作部、45…表示部、47…プログラム、401…装置識別情報取得部、402…画像提供部、403…判断部、404…承認入力部、405…表示制御部、410…SNS検索部、411…通知情報提供部

Claims (13)

  1. 情報処理装置と、
    表示部と撮像部と通信部と制御部とを備えるヘッドマウント装置と、
    装置識別情報に関連付けて前記装置識別情報で識別される対象装置に関連付けられた画像を記憶する記憶装置と、を備え、
    前記通信部は、前記撮像部が撮像した画像を前記情報処理装置へ送信し、前記情報処理装置から画像を受信し、
    前記表示部は、前記通信部が前記情報処理装置から受信した画像を表示し、
    前記制御部は、前記表示部と前記撮像部とを制御し、
    前記情報処理装置は、
    前記ヘッドマウント装置の通信部と通信を行う通信部と、
    前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、
    前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を前記記憶装置から取得し、取得した画像を前記情報処理装置の通信部によって前記ヘッドマウント装置の通信部へ送信する画像提供部と、
    を備える画像表示システム。
  2. 情報処理装置と、
    表示部と撮像部と通信部と制御部とを備えるヘッドマウント装置と、
    前記撮像部が撮像した画像を前記情報処理装置へ送信し、前記情報処理装置から受信した画像を前記ヘッドマウント装置へ出力する通信装置と、
    装置識別情報に関連付けて前記装置識別情報で識別される対象装置に関連付けられた画像を記憶する記憶装置と、を備え、
    前記通信部は、前記撮像部が撮像した画像を前記通信装置へ送信し、前記通信装置から画像を受信し、
    前記表示部は、前記通信部が前記通信装置から受信した画像を表示し、
    前記制御部は、前記表示部と前記撮像部とを制御し、
    前記情報処理装置は、
    前記通信装置と通信を行う通信部と、
    前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、
    前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を前記記憶装置から取得し、取得した画像を前記情報処理装置の通信部によって前記通信装置へ送信する画像提供部と、
    を備える画像表示システム。
  3. 前記画像提供部は、前記ヘッドマウント装置の識別情報に基づいて、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択するか否かを判定し、該画像を選択すると判定した場合には該画像を前記ヘッドマウント装置へ送信し、該画像を選択しないと判定した場合には該画像を前記ヘッドマウント装置へ送信しない、
    請求項1又は2のいずれか1項に記載の画像表示システム。
  4. 前記画像提供部は、前記ヘッドマウント装置の識別情報又はユーザ識別情報と、時刻情報又は前記ヘッドマウント装置の位置情報とに基づいて、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択するか否かを判定し、該画像を選択すると判定した場合には該画像を前記ヘッドマウント装置へ送信し、該画像を選択しないと判定した場合には該画像を前記ヘッドマウント装置へ送信しない、
    請求項1又は2のいずれか1項に記載の画像表示システム。
  5. 前記ヘッドマウント装置は、前記ヘッドマウント装置を装着する人の音声を収音する収音部をさらに備え、
    前記制御部は、前記収音部が収音した音声に基づいて前記ヘッドマウント装置に表示されている画像の表示終了を判断した場合に、前記情報処理装置へ画像の表示終了を通知し、
    前記画像提供部は、前記ヘッドマウント装置から画像の表示終了を通知されると、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像を前記記憶装置から取得し、取得した画像を前記ヘッドマウント装置へ提供する、
    請求項1から4のいずれか1項に記載の画像表示システム。
  6. 前記ヘッドマウント装置を装着する作業者の視線を検出する視線検出部をさらに備え、
    前記記憶装置は、作業者の視線によって特定される情報を画像に関連付けて記憶し、
    前記制御部は、前記視線検出部が検出した視線を示す視線情報と前記表示部に表示されている画像を識別する画像識別情報とを前記情報処理装置へ提供し、
    前記情報処理装置は、
    前記視線情報と、前記画像識別情報で識別される画像に関連付けて前記記憶装置に記憶されている情報とに基づいて、前記画像識別情報で識別される画像の表示終了を判断する判断部をさらに備え、
    前記画像提供部は、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像を前記記憶装置から取得し、取得した画像を前記ヘッドマウント装置へ提供する、
    請求項1から4のいずれか1項に記載の画像表示システム。
  7. 前記情報処理装置の通信部によって受信した前記撮像部による撮像画像を表示する表示装置をさらに備え、
    前記情報処理装置は、画像の表示終了の承認の入力を受け付ける承認入力部をさらに備え、
    前記画像提供部は、前記表示部に表示させる画像を、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像に更新することの所要の条件に、前記承認入力部によって画像の表示終了の承認の入力を受け付けることを含める、
    請求項1から6のいずれか1項に記載の画像表示システム。
  8. 前記承認入力部は、前記ヘッドマウント装置を装着する作業者の識別情報に応じて、画像の表示終了の承認の入力を受け付ける承認入力画面を前記表示装置に表示させるか否かを判断し、
    前記画像提供部は、
    前記承認入力画面が前記表示装置に表示される場合には、前記所要の条件に、前記承認入力画面によって画像の表示終了の承認が入力されることを含め、
    前記承認入力画面が前記表示装置に表示されない場合には、前記所要の条件に、前記承認入力画面によって画像の表示終了の承認が入力されることを含めない、
    請求項7に記載の画像表示システム。
  9. 前記承認入力部は、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置についての難易度情報と、前記ヘッドマウント装置を装着する作業者の識別情報に関連付けられている作業者レベル情報とに基づいて、承認者のレベルと識別情報とが関連付けられている承認者リストから前記画像の表示終了の承認の入力を行う承認者の識別情報を選択し、選択した承認者の識別情報によって前記画像の表示終了の承認の入力を受け付ける、
    請求項7又は8のいずれか1項に記載の画像表示システム。
  10. 前記記憶装置が記憶する画像は、対象装置に適用される作業手順を示す作業手順画像である請求項1から9のいずれか1項に記載の画像表示システム。
  11. ヘッドマウント装置に備わる撮像部が撮像した画像を受信し、前記ヘッドマウント装置に備わる表示部によって表示される画像を送信する通信部と、
    前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、
    装置識別情報に関連付けて前記装置識別情報で識別される対象装置に適用される画像を記憶する記憶装置から、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を取得し、取得した画像を前記通信部によって前記ヘッドマウント装置へ提供する画像提供部と、
    を備える情報処理装置。
  12. 情報処理装置が、ヘッドマウント装置に備わる撮像部が撮像した画像を受信し、前記ヘッドマウント装置に備わる表示部によって表示される画像を送信する通信ステップと、
    前記情報処理装置が、前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得ステップと、
    前記情報処理装置が、装置識別情報に関連付けて前記装置識別情報で識別される対象装置に適用される画像を記憶する記憶装置から、前記装置識別情報取得ステップにより取得した装置識別情報に関連付けられている画像を取得し、取得した画像を前記通信ステップによって前記ヘッドマウント装置へ提供する画像提供ステップと、
    を含む画像表示方法。
  13. コンピュータに、
    ヘッドマウント装置に備わる撮像部が撮像した画像を受信し、前記ヘッドマウント装置に備わる表示部によって表示される画像を送信する通信機能と、
    前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得機能と、
    装置識別情報に関連付けて前記装置識別情報で識別される対象装置に適用される画像を記憶する記憶装置から、前記装置識別情報取得機能が取得した装置識別情報に関連付けられている画像を取得し、取得した画像を前記通信機能によって前記ヘッドマウント装置へ提供する画像提供機能と、
    を実現させるためのコンピュータプログラム。
JP2016054502A 2016-03-17 2016-03-17 画像表示システム、情報処理装置、画像表示方法及びコンピュータプログラム Active JP6710555B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016054502A JP6710555B2 (ja) 2016-03-17 2016-03-17 画像表示システム、情報処理装置、画像表示方法及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016054502A JP6710555B2 (ja) 2016-03-17 2016-03-17 画像表示システム、情報処理装置、画像表示方法及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2017167978A true JP2017167978A (ja) 2017-09-21
JP6710555B2 JP6710555B2 (ja) 2020-06-17

Family

ID=59913862

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016054502A Active JP6710555B2 (ja) 2016-03-17 2016-03-17 画像表示システム、情報処理装置、画像表示方法及びコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP6710555B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020140175A (ja) * 2019-03-01 2020-09-03 株式会社ネイン 眼鏡型ウェアラブル装置および充電装置
JP2020140196A (ja) * 2019-11-11 2020-09-03 株式会社ネイン 眼鏡型ウェアラブル装置および充電装置
JP2020170249A (ja) * 2019-04-01 2020-10-15 Necプラットフォームズ株式会社 保守支援システム、保守支援方法及び保守支援用コンピュータプログラム
JP2022104410A (ja) * 2020-12-28 2022-07-08 横河電機株式会社 装置、方法及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008123366A (ja) * 2006-11-14 2008-05-29 Nec Corp 遠隔作業支援システム、遠隔作業支援プログラム、及びサーバ
JP2008226074A (ja) * 2007-03-15 2008-09-25 Kyosan Electric Mfg Co Ltd 作業管理システム
WO2011122610A1 (ja) * 2010-03-30 2011-10-06 新日鉄ソリューションズ株式会社 情報処理装置、情報処理方法及びプログラム
JP2012007985A (ja) * 2010-06-24 2012-01-12 Nec Corp 確認業務支援システム、サーバ装置、ヘッドマウントディスプレイ装置、ウェアラブル端末、確認業務支援方法およびプログラム
JP2014119786A (ja) * 2012-12-13 2014-06-30 Seiko Epson Corp 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、作業支援システム
JP2014164482A (ja) * 2013-02-25 2014-09-08 Tokyo Electron Ltd 支援情報表示方法、基板処理装置の保守支援方法、支援情報表示制御装置、基板処理システム及びプログラム
US20150339858A1 (en) * 2014-05-23 2015-11-26 Fujitsu Limited Information processing device, information processing system, and information processing method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008123366A (ja) * 2006-11-14 2008-05-29 Nec Corp 遠隔作業支援システム、遠隔作業支援プログラム、及びサーバ
JP2008226074A (ja) * 2007-03-15 2008-09-25 Kyosan Electric Mfg Co Ltd 作業管理システム
WO2011122610A1 (ja) * 2010-03-30 2011-10-06 新日鉄ソリューションズ株式会社 情報処理装置、情報処理方法及びプログラム
JP2012007985A (ja) * 2010-06-24 2012-01-12 Nec Corp 確認業務支援システム、サーバ装置、ヘッドマウントディスプレイ装置、ウェアラブル端末、確認業務支援方法およびプログラム
JP2014119786A (ja) * 2012-12-13 2014-06-30 Seiko Epson Corp 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、作業支援システム
JP2014164482A (ja) * 2013-02-25 2014-09-08 Tokyo Electron Ltd 支援情報表示方法、基板処理装置の保守支援方法、支援情報表示制御装置、基板処理システム及びプログラム
US20150339858A1 (en) * 2014-05-23 2015-11-26 Fujitsu Limited Information processing device, information processing system, and information processing method
JP2015222519A (ja) * 2014-05-23 2015-12-10 富士通株式会社 情報処理装置、情報処理システムおよび情報処理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020140175A (ja) * 2019-03-01 2020-09-03 株式会社ネイン 眼鏡型ウェアラブル装置および充電装置
JP2020170249A (ja) * 2019-04-01 2020-10-15 Necプラットフォームズ株式会社 保守支援システム、保守支援方法及び保守支援用コンピュータプログラム
JP2020140196A (ja) * 2019-11-11 2020-09-03 株式会社ネイン 眼鏡型ウェアラブル装置および充電装置
JP2022104410A (ja) * 2020-12-28 2022-07-08 横河電機株式会社 装置、方法及びプログラム
JP7347409B2 (ja) 2020-12-28 2023-09-20 横河電機株式会社 装置、方法及びプログラム

Also Published As

Publication number Publication date
JP6710555B2 (ja) 2020-06-17

Similar Documents

Publication Publication Date Title
US11532222B2 (en) Safety service system and method thereof
US20230099765A1 (en) Methods and systems for recalling second party interactions with mobile devices
KR102198778B1 (ko) 통지 메시지를 연관시키는 방법, 장치 및 이동 단말
JP2017167978A (ja) 画像表示システム、情報処理装置、画像表示方法及びコンピュータプログラム
US10019625B2 (en) Wearable camera for reporting the time based on wrist-related trigger
KR20150004501A (ko) 기능 제어 방법 및 그 전자 장치
CN111192005A (zh) 政务业务处理方法、装置、计算机设备及可读存储介质
US10747490B2 (en) Method and device for displaying an image transmitted from a wearable device
JP2017167992A (ja) ヘッドマウント装置、プログラム、作業支援システム及び情報処理装置
JP6105180B1 (ja) 作業支援装置、作業支援方法及びプログラム
JP2016208370A (ja) ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイの制御方法
EP2866226B1 (en) Methods for voice management, and related systems
US20190205340A1 (en) Voice tagging of video while recording
JP2017167991A (ja) ヘッドマウント装置、プログラム及び作業支援システム
US20210160424A1 (en) Mobile information terminal, information presentation system and information presentation method
JP2013030865A (ja) プログラム
EP2421237A1 (en) Mobile terminal and method of controlling information publication via a website in a mobile terminal
JP6799183B1 (ja) 支援システム、プログラム
JP7223478B2 (ja) 不動産物件の内見を支援するためのシステム、方法、及びプログラム
WO2017096533A1 (zh) 消息处理方法及移动终端
US20150278733A1 (en) Method and system for reporting events and conditions
JP6448866B2 (ja) 画像取得システム、画像取得方法及びプログラム
JP2012208873A (ja) スケジュール実行支援装置、システム、方法、プログラム
CN112819981A (zh) 业务处理方法、装置、设备及可读存储介质
JP2016062288A (ja) 保安管理装置、保安管理方法及び保安管理装置用プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20160318

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200527

R150 Certificate of patent or registration of utility model

Ref document number: 6710555

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150