JP2014150343A - 作業補助システム及び作業装置 - Google Patents

Abstract

【課題】無線通信を行うための消費電力を低減することが可能な作業補助システム及び作業装置を提供する。
【解決手段】ＨＭＤは、カメラと無線通信部とを備える。ＨＭＤのＣＰＵは、ＰＣとの通信の通信モードを、第一通信モードと、第一通信モードよりもデータ通信量の小さい第二通信モードとの間で切替可能である。カメラによって撮像された複数の画像の間の変化量が第一閾値より小さい場合において、ＰＣにおいて第一通信モードから第二通信モードへの切り替えの指示が入力された場合、ＰＣからＨＭＤに、第一切替指示情報が送信される。第一切替指示情報は、第一通信モードから第二通信モードへの切り替えを指示する情報である。ＨＭＤのＣＰＵは、第一切替指示情報を受信した場合（Ｓ２１：ＹＥＳ）、通信モードを第一通信モードから第二通信モードに切り替える。
【選択図】図７

Description

本発明は、作業の指示を作業者に提示可能な作業補助システム及び作業装置に関する。

従来、作業の指示を作業者に提示可能な作業補助システムが知られている。例えば、特許文献１に記載の双方向情報伝送システムは、現場事務所の人員と、現場事務所から離れた場所に位置する作業者との間において映像と音声との情報を双方向に伝送可能に構成されている。作業者が着用するヘルメットには、第１テレビカメラ及び第１モニタ装置等が設けられている。第１モニタ装置は作業者の眼前に位置する。作業者は、第１信号送受信装置を背負う。現場事務所には、テレビ受像機と第２テレビカメラとが設けられている。第１テレビカメラは、作業者の視界内を撮影する。第１テレビカメラによって撮影された撮影映像は、第１信号送受信装置によって無線伝送されて現場事務所のテレビ受像機に表示される。現場事務所の第２テレビカメラによって撮影された設計図面等の撮影映像は、無線伝送されて第１信号送受信装置によって受信される。第１信号送受信装置によって受信された撮影画像は、作業者の眼前の第１モニタ装置に表示される。

特開平５−２１１６５０号公報

しかしながら、前記双方向情報伝送システムでは、第１テレビカメラによって撮影された撮影映像を無線伝送している。このため、撮影映像の符号化に伴う消費電力及び第１送受信装置による無線伝送に伴う消費電力等が発生し、消費電力が大きいという問題点がある。

本発明の目的は、無線通信を行うための消費電力を低減することが可能な作業補助システム及び作業装置を提供することである。

本発明の第１の態様に係る作業補助システムは、撮像部及び無線通信部を備え、作業の指示を受信して作業者に提示可能な作業装置と、第一表示部、入力部、及び通信部を備え、前記作業者に対する前記作業の指示を前記作業装置に送信可能な指示装置とを備え、前記作業装置及び前記指示装置がネットワークを介して接続された作業補助システムであって、前記作業装置は、前記無線通信部を使用した通信の通信モードを、前記撮像部によって撮像された画像の画像データを前記指示装置に送信する第一通信モードと、前記第一通信モードよりもデータ通信量の小さい第二通信モードとの間で切り替え可能な通信制御手段と、前記指示装置から送信される、前記第一通信モードから前記第二通信モードへの切り替えを指示する情報である第一切替指示情報を、前記無線通信部を介して受信する第一切替指示受信手段と、前記第一切替指示受信手段によって前記第一切替指示情報が受信された場合に、前記通信制御手段の前記通信モードを、前記第一通信モードから前記第二通信モードに切り替える第一通信切替手段とを備え、前記指示装置は、前記作業装置から送信された前記画像データを、前記通信部を介して受信する画像データ受信手段と、受信された前記画像データに基づく前記画像を前記第一表示部に表示する第一表示制御手段と、前記撮像部によって撮像された複数の前記画像の間の変化量が第一閾値より小さい場合に、前記第一通信モードから前記第二通信モードへの切り替えの指示が前記入力部に入力されたか否かを判断する第一切替判断手段と、前記第一切替判断手段によって前記第一通信モードから前記第二通信モードへの切り替えの指示が前記入力部に入力されたと判断された場合に、前記第一切替指示情報を前記作業装置に送信する第一切替指示手段とを備えている。

複数の画像の間の変化量が第一閾値より小さい場合において、第一通信モードから第二通信モードへの切り替えの指示が指示装置の入力部に入力されることによって、第二通信モードに切り替えることができる。このため、第一通信モードにおいて画像を送信し続ける場合に比べて、データ通信量を小さくでき、無線通信を行うための消費電力を低減できる。また、作業装置を装着している作業者からの入力を必要としないため、作業者の手を煩わせることはない。

前記作業補助システムにおいて、前記指示装置は、前記通信制御手段の前記通信モードが前記第一通信モードである場合に、前記画像データ受信手段によって受信された前記画像データに基づく複数の前記画像の間の変化量が前記第一閾値より小さいか否かを判断する第一変化量判断手段を備え、前記第一切替判断手段は、前記第一変化量判断手段によって複数の前記画像の間の変化量が前記第一閾値より小さいと判断された場合に、前記第一通信モードから前記第二通信モードへの切り替えの指示が前記入力部に入力されたか否かを判断してもよい。この場合、指示装置が複数の画像の間の変化量が第一閾値より小さいか否かを判断する。このため、作業装置が複数の画像の間の変化量が第一閾値より小さいか否かを判断する場合に比べて、作業装置の消費電力を低減できる。

前記作業補助システムにおいて、前記作業装置は、前記通信制御手段の前記通信モードが前記第一通信モードである場合に、撮像部によって撮像された複数の前記画像の間の変化量が前記第一閾値より小さいか否かを判断する第二変化量判断手段と、前記第二変化量判断手段によって複数の前記画像の間の変化量が前記第一閾値より小さいと判断された場合に、複数の前記画像の間の変化量が前記第一閾値より小さいことを示す情報である第一閾値情報を前記指示装置に送信する第一情報送信手段とを備え、前記指示装置は、前記第一情報送信手段によって送信された前記第一閾値情報を受信する第一情報受信手段を備え、前記第一切替判断手段は、前記第一情報受信手段によって前記第一閾値情報が受信された場合に、前記第一通信モードから前記第二通信モードへの切り替えの指示が前記入力部に入力されたか否かを判断してもよい。この場合、作業装置が複数の画像の間の変化量が第一閾値より小さいか否かを判断する。このため、指示装置が複数の画像の間の変化量が第一閾値より小さいか否かを判断する場合に比べて、指示装置の消費電力を低減できる。

前記作業補助システムにおいて、前記作業装置は、前記通信制御手段の前記通信モードが前記第二通信モードである場合に、前記撮像部によって撮像された複数の前記画像の間の変化量が第二閾値より大きいか否かを判断する第三変化量判断手段と、前記第三変化量判断手段によって複数の前記画像の間の変化量が前記第二閾値より大きいと判断された場合に、複数の前記画像の間の変化量が前記第二閾値より大きいことを示す情報である第二閾値情報を前記指示装置に送信する第二情報送信手段と、前記指示装置から送信される、前記第二通信モードから前記第一通信モードへの切り替えを指示する情報である第二切替指示情報を受信する第二切替指示受信手段と、前記第二切替指示受信手段によって前記第二切替指示情報が受信された場合に、前記通信制御手段の前記通信モードを、前記第二通信モードから前記第一通信モードに切り替える第二通信切替手段とを備え、前記指示装置は、前記第二情報送信手段によって送信される前記第二閾値情報を受信する第二情報受信手段と、前記第二情報受信手段によって前記第二閾値情報が受信された場合に、前記第二通信モードから前記第一通信モードへの切り替えの指示が前記入力部に入力されたか否かを判断する第二切替判断手段と、前記第二切替判断手段によって前記第二通信モードから前記第一通信モードへの切り替えの指示が前記入力部に入力されたと判断された場合に、前記第二切替指示情報を前記作業装置に送信する第二切替指示手段とを備えてもよい。

指示装置の第二切替判断手段によって第二通信モードから第一通信モードへの切り替えの指示が入力部に入力されたと判断された場合に、第一通信モードに切り替えられる。このため、指示者は、第二通信モードから第一通信モードへの切替の指示を指示装置に入力するか否かを選択することで、第一通信モードに切り替えるか否かを選択することができる。また、複数の画像の間の変化量が第二閾値より大きい場合に、第二通信モードよりデータ通信量の大きい第一通信モードに切り替えることができる。よって、指示者は、第一通信モードにおいて送信された画像データに基づく画像を確認しながら、指示を行うことができる。

前記作業補助システムにおいて、前記作業装置は、前記作業者の頭部に装着可能な第二表示部と、前記通信制御手段の前記通信モードが前記第二通信モードである場合に、前記撮像部によって撮像された前記画像を前記第二表示部に表示する第二表示制御手段とを備えてもよい。この場合、作業者は、第二通信モードである場合において撮像部によって撮像され、第二表示部に表示された画像を確認することができる。また、第二通信モードである場合に、撮像部によって画像が撮像されているので、例えば、撮像された画像の画像データを記憶することができる。

前記作業補助システムにおいて、前記第二表示制御手段は、前記通信制御手段の前記通信モードが前記第二通信モードである場合に、前記通信制御手段の前記通信モードが前記第一通信モードである場合に比べてフレームレートを下げて前記画像を前記第二表示部に表示してもよい。この場合、第二表示部に表示される画像のフレームレートが下げられるので、作業装置の消費電力をさらに低減することができる。

前記作業補助システムにおいて、前記作業装置は、前記通信制御手段の前記通信モードが前記第二通信モードである場合に、前記第二通信モードであることを報知する報知手段を備えてもよい。この場合、第二通信モードであることが報知されるので、作業者は、作業装置が第二通信モードであることを容易に認識することができる。

前記作業補助システムにおいて、前記第一変化量判断手段は、前記画像データ受信手段によって受信された前記画像データに基づく複数の前記画像の間の変化量が前記第一閾値より小さいか否かを判断する場合に、複数の前記画像それぞれの一部を比較してもよい。この場合、画像の一部が比較されるので、画像全体を比較する場合に比べて、比較のための処理量を低減することができる。よって、指示装置の消費電力を低減することができる。

前記作業補助システムにおいて、前記第二変化量判断手段は、前記撮像部によって撮像された複数の前記画像の間の変化量が前記第一閾値より小さいか否かを判断する場合に、複数の前記画像それぞれの一部を比較してもよい。この場合、画像の一部が比較されるので、画像全体を比較する場合に比べて、比較のための処理量を低減することができる。よって、作業装置の消費電力をさらに低減することができる。

前記作業補助システムにおいて、前記第三変化量判断手段は、前記撮像部によって撮像された複数の前記画像の間の変化量が前記第二閾値より大きいか否かを判断する場合に、複数の前記画像それぞれの一部を比較してもよい。この場合、画像の一部が比較されるので、画像全体を比較する場合に比べて、比較のための処理量を低減することができる。よって、作業装置の消費電力をさらに低減することができる。

本発明の第二の態様に係る作業装置は、第一表示部と入力部と通信部とを備えた指示装置であって作業者に対する作業の指示を送信可能な指示装置から送信される前記作業の指示を受信して前記作業者に提示可能であり、撮像部と無線通信部とを備えた作業装置であって、前記無線通信部を使用した通信の通信モードを、前記撮像部によって撮像された画像の画像データを前記指示装置に送信する第一通信モードと、前記第一通信モードよりもデータ通信量の小さい第二通信モードとの間で切り替え可能な通信制御手段と、撮像部によって撮像された複数の前記画像の間の変化量が第一閾値より小さい場合において、前記指示装置によって前記第一通信モードから前記第二通信モードへの切り替えの指示が前記入力部に入力されたと判断されて前記指示装置から送信される、前記第一通信モードから前記第二通信モードへの切り替えを指示する情報である第一切替指示情報を受信する第一切替指示受信手段と、前記第一切替指示受信手段によって前記第一切替指示情報が受信された場合に、前記通信制御手段の前記通信モードを、前記第一通信モードから前記第二通信モードに切り替える第一通信切替手段とを備えている。

複数の画像の間の変化量が第一閾値より小さい場合において、第一通信モードから第二通信モードへの切り替えの指示が指示装置の入力部に入力されることによって、第二通信モードに切り替えることができる。このため、第一通信モードにおいて画像を送信し続ける場合に比べて、データ通信量を小さくでき、無線通信を行うための消費電力を低減できる。また、作業装置を装着している作業者からの入力を必要としないため、作業者の手を煩わせることはない。

ＨＭＤ１の物理的構成を示す図である。 ＨＭＤ１とＰＣ３００とを備える作業補助システム１０の電気的構成を示す図である。 画像表示部３６及びディスプレイ３４０に表示される画面７０の一例を示す図である。 画像表示部３６及びディスプレイ３４０に表示される画面７０の他の一例を示す図である。 第一切替指示受付画面７０５が表示された状態のディスプレイ３４０を示す図である。 ビューファインダーモードにおける画面７０が表示された状態の画像表示部３６を示す図である。 第一ＨＭＤメイン処理のフローチャートである。 第一ＨＭＤメイン処理のフローチャートである。 第一ＰＣメイン処理のフローチャートである。 第一ＰＣメイン処理のフローチャートである。 第二ＨＭＤメイン処理のフローチャートである。 第二ＰＣメイン処理のフローチャートである。

以下、本発明を具体化した実施の形態について、図面を参照して説明する。本発明に係る図２に示す作業補助システム１０は、図１に示すヘッドマウントディスプレイ１とパーソナルコンピュータ３００とを備えている。以下の説明では、ヘッドマウントディスプレイ１を「ＨＭＤ１」といい、パーソナルコンピュータ３００を「ＰＣ３００」という。ＨＭＤ１は、作業者に装着され、作業の指示の情報を受信して作業者に提示可能である。ＰＣ３００は、指示者が利用し、作業者に対する指示の情報をＨＭＤ１に送信する。ＨＭＤ１は、作業者の眼の前方に配置される後述するハーフミラー８を透過する外界の風景に重ねて画像を表示する。ＨＭＤ１は公知の無線通信を用いてＰＣ３００に接続し、ＰＣ３００との間で画像データを含む各種データの送受信を行う。以下の説明において、図１の上方、下方、右斜め下方、左斜め上方、右斜め上方、及び左斜め下方が、それぞれ、ＨＭＤ１の上方、下方、前方、後方、右方、及び左方である。

図１に示すように、ＨＭＤ１は、投影装置１００及び制御装置２００を備える。投影装置１００は専用の装着具である眼鏡９１に装着して使用される。投影装置１００は、作業者が日常的に使用する眼鏡、ヘルメット、ヘッドホンなど、他の装着具に取り付けられてもよい。投影装置１００は、作業者の眼に画像光を照射する。投影装置１００はハーネス１５０を介して制御装置２００と着脱可能に接続する。制御装置２００は、例えば作業者の腰ベルト等に装着して使用される。制御装置２００は、投影装置１００を制御する。

投影装置１００の構成について説明する。投影装置１００は筐体２を備える。筐体２の内部には、画像表示部３６（図２参照）と接眼光学系（図示略）とが含まれる。画像表示部３６は、制御装置２００からハーネス１５０を介して送信される画像信号に基づく画像を表示する。画像表示部３６は、例えば、液晶素子等の空間変調素子及び光源である。画像表示部３６は、画像信号に応じた強度のレーザ光を２次元走査して画像表示を行う網膜走査型表示部や、有機ＥＬ（Organic Electro-luminescence）素子等であってもよい。接眼光学系は、画像表示部３６に表示された画像を示す画像光を、作業者の眼に導くために集光する。接眼光学系から射出された画像光は、筐体２の左側に設けられたハーフミラー８によって少なくとも一部（例えば半分）が反射され、作業者の左の眼球（図示略）に入射する。ハーフミラー８は外界の実像からの光の少なくとも一部を透過するので、作業者は、自己の視野において外界の風景に重畳して画像を視認できる。

眼鏡９１は、投影装置１００を作業者の頭部に保持するための構成である。投影装置１００の筐体２は、支持部９６に保持されて、眼鏡９１に取り付けられる。支持部９６は作業者側から見て眼鏡９１の上面左端側（図１における上面右端）に設けられる。支持部９６は、筐体２の保持位置を上下方向及び左右方向に調整することができる。作業者は、眼球の位置に合わせた位置にハーフミラー８を配置することができる。

眼鏡９１は、フレーム９４の左右方向略中央に、カメラ３９を備える。カメラ３９は、作業者の視野前方の外界の風景を撮像する。カメラ３９の撮像方向及び画角は、予め、作業者の視野に合わせて設定されている。例えば、カメラ３９の撮像方向及び画角は、カメラ３９による外界の風景の撮像範囲が、ハーフミラー８を透過する実像に重ねることのできる画像表示部３６からの画像光の表示範囲を含む（例えば、ほぼ一致する）ように設定されている。また、眼鏡９１は、フレーム９４の右端側に、図示外のイヤホン及びマイクを内蔵するヘッドセット３５を備える。ヘッドセット３５には通常の気道式のヘッドホンの他、骨伝導型のものを用いてもよい。なお、眼鏡９１自体の形状は通常の眼鏡に類似するため、詳細な説明は省略する。

制御装置２００の構成について説明する。制御装置２００は、例えば略直方体状のシステムボックスである。制御装置２００は操作部５０を備える。作業者は、投影装置１００における各種設定や、使用時における各種操作等を、操作部５０を介して行うことが可能である。制御装置２００は、無線通信を介してＰＣ３００（図２参照）と接続し、各種データの送受信を行うことが可能である。制御装置２００は有線通信のインターフェイスを備え、通信ケーブルを用いてネットワーク２５０に接続してもよい。なお、ＰＣ３００は、パーソナルコンピュータであるが、スマートフォンやタブレット型携帯端末など、その他の機器であってもよい。

図２を参照し、作業補助システム１０の電気的構成について説明する。まず、ＨＭＤ１の電気的構成について説明する。投影装置１００は、投影装置１００全体の制御を行うＣＰＵ２１を備える。ＣＰＵ２１は、プログラムＲＯＭ２３、ＲＡＭ２５、画像表示部３６、インターフェイス１２、及び接続コントローラ３７と電気的に接続する。また、ＣＰＵ２１は、インターフェイス１２を介してカメラ３９及びヘッドセット３５と電気的に接続する。プログラムＲＯＭ２３は、ＣＰＵ２１が実行する各種プログラム等を記憶する。各種プログラムは、投影装置１００の出荷時にプログラムＲＯＭ２３に記憶される。なお、ＣＰＵ２１は、後述する制御装置２００のフラッシュＲＯＭ４７に記憶されたプログラムも実行することができる。ＲＡＭ２５は、各種データを一時的に記憶する。

画像表示部３６は、画像信号に基づいて画像を表示する。インターフェイス１２はカメラ３９及びヘッドセット３５に接続し、信号の入出力を制御する。接続コントローラ３７は、ハーネス１５０を介して制御装置２００の接続コントローラ４８に接続し、有線通信を行う。カメラ３９は画像を撮像する。ヘッドセット３５はイヤホン及びマイクを備える。なお、投影装置１００又は制御装置２００は、ヘッドセット３５の代わりに、スピーカ及びマイクを内蔵してもよい。

制御装置２００の電気的構成について説明する。制御装置２００は、制御装置２００全体の制御を行うＣＰＵ４１を備える。ＣＰＵ４１は、プログラムＲＯＭ４３、ＲＡＭ４５、フラッシュＲＯＭ４７、接続コントローラ４８、ビデオＲＡＭ５７、画像処理部５９、操作部５０、及び無線通信部５３と電気的に接続する。プログラムＲＯＭ４３は、後述する第一ＨＭＤメイン処理（図７参照）のプログラム等、ＣＰＵ４１が実行する各種プログラム等を記憶する。各種プログラムは、制御装置２００の出荷時にプログラムＲＯＭ４３に記憶される。なおＣＰＵ４１は、フラッシュＲＯＭ４７に記憶されたプログラムも実行することができる。

ＲＡＭ４５は、各種データを一時的に記憶する。フラッシュＲＯＭ４７は、制御装置２００の出荷後にインストールされた各種プログラム等を記憶する。接続コントローラ４８は、ハーネス１５０を介して投影装置１００の接続コントローラ３７に接続し、有線通信を行う。無線通信部５３は、ネットワーク２５０の図示略のアクセスポイントへ無線で接続し、ネットワーク２５０に接続する他の機器と通信を行う。ＣＰＵ４１は、無線通信部５３を使用した通信の通信モードを第一通信モードと第二通信モードとに切り替え可能である。第二通信モードは、第一通信モードよりもデータ通信量の小さい通信モードである。本実施形態では、一例として、第二通信モードは、ＨＭＤ１のＣＰＵ４１とＰＣ３００のＣＰＵ３０１との間の画像データと音声データとの送受信を停止するモードであるとする。操作部５０は作業者による操作に応じた信号をＣＰＵ４１に入力する。画像処理部５９は、投影装置１００の画像表示部３６に表示させる画像を形成する処理を行う。ビデオＲＡＭ５７は、画像処理部５９が形成した画像を画像表示部３６に表示するための画像信号を生成するため、画像を仮想的に表示した仮想画面を記憶領域内に形成する。

制御装置２００は、電池４４及び電源回路４６を備えている。電源回路４６は、電池４４から供給される電力を使用して、投影装置１００及び制御装置２００の各電気部品に電力を供給する。

ＰＣ３００の電気的構成について説明する。ＰＣ３００は、指示者が使用する公知のパーソナルコンピュータである。ＰＣ３００は、ＰＣ３００全体の制御を行うＣＰＵ３０１を備える。ＣＰＵ３０１は、データバスを介してＲＯＭ３０３、ＲＡＭ３０５、及び入出力バス３０９と電気的に接続する。以下の説明では、入出力バス３０９をＩ／Ｏバス３０９という。ＲＯＭ３０３は、ＣＰＵ３０１が実行するＢＩＯＳ等のプログラムを記憶する読出し専用の記憶装置である。ＲＡＭ３０５は、データを一時的に記憶する読み書き可能な記憶装置である。

Ｉ／Ｏバス３０９には、ハードディスクドライブ３０７、通信部３１１、音声制御部３１３、表示制御部３１５、及び入力部３３０が接続されている。以下の説明では、ハードディスクドライブ３０７をＨＤＤ３０７という。ＨＤＤ３０７は、ＯＳ及び後述する第一ＰＣメイン処理のプログラムを含む各種プログラム等がインストールされる記憶装置である。通信部３１１は、ネットワーク２５０の図示略のアクセスポイントへ有線又は無線で接続し、ＰＣ３００をネットワーク２５０に接続する。音声制御部３１３はヘッドセット３２０に接続し、音声の入出力を制御する。表示制御部３１５は、各種画面をディスプレイ３４０に表示するための描画処理を行う。入力部３３０は、例えばディスプレイ３４０の表示画面に貼設された感圧式のタッチセンサ、マウス、キーボード等である。指示者は、例えば、入力部３３０を介して作業対象物に対して行う作業の指示等を入力することができる。

図３を参照して、ＨＭＤ１の画像表示部３６及びＰＣ３００のディスプレイ３４０に表示される画像の一例について説明する。図３においては、ＨＭＤ１の画像表示部３６とＰＣ３００のディスプレイ３４０とに表示される画像が同じであるとし、１つの図面で示している。図４も同様である。図３に示すように、画像表示部３６及びディスプレイ３４０には、画面７０が表示される。画面７０には、撮像画像表示領域７１及び情報表示領域７２が設けられている。撮像画像表示領域７１には、カメラ３９によって撮像された画像が表示される。図３に示す例では、ミシン７１１の全体が表示されている。

情報表示領域７２には、種々の情報が表示される、図３では、一例として、アイコン７２１，７２２が表示されている。指示者はディスプレイ３４０に表示されたアイコン７２１，７２２を入力部３３０を介して選択する。アイコン７２１，７２２のいずれか選択されると、選択されたアイコンに応じた機能が実行される。アイコン７２１は、画面７０上に文字、図形等を任意に書き込むためのアイコンである。アイコン７２１が選択されると、指示者は、入力部３３０を操作して、画面７０上に文字、図形等を任意に書き込むことができる。書き込まれた文字、図形等は、画像表示部３６及びディスプレイ３４０に表示される。図３では、ミシン７１１の縫針７１３の周囲に丸印７２５が書き込まれている。アイコン７２２は、ミシン７１１の修理マニュアルを表示するためのアイコンである。指示者がアイコン７２２を選択すると、情報表示領域７２にミシン７１１の修理マニュアルが表示される。

本実施形態における処理の概要について述べる。本実施形態では、作業者は、ミシン７１１の縫針７１３（図３参照）の周辺を修理する作業を行うこととする。即ち、縫針７１３の周辺が作業対象部位である。作業者がミシン７１１の前方においてＨＭＤ１を使用すると、図３に示すようにミシン７１１の全体が、ＨＭＤ１の画像表示部３６及びＰＣ３００のディスプレイ３４０に表示される（図７のＳ１７及び図９のＳ４８参照）。このとき、ＨＭＤ１は、カメラ３９によって撮像された画像データをＰＣ３００に第一通信モードで送信する（Ｓ１８）。指示者は、入力部３３０を介して画面７０を操作したり、声で指示したりすることで、作業者に作業の指示を行う。指示者の指示が確定していない場合、作業者は作業を行う対象部位を探す行為を行う。このため、作業者の視線の動きは大きく、作業者の頭部に装着されたカメラ３９の位置の変化が大きくなる。この場合、カメラ３９によって撮像される複数の画像の間の変化量は後述する第一閾値以上になる可能性が高くなる。変化量が第一閾値以上の場合（図９のＳ５０：ＮＯ）、第一通信モードにおける通信が継続される。

例えば、指示者は、入力部３３０を介してアイコン７２１を選択し、縫針７１３の周囲を丸印７２５で囲む。丸印７２５は画像表示部３６に表示され（図７のＳ１７）、作業者に提示される。作業者は、丸印７２５が作業を行う作業対象部位であることを認識し、縫針７１３の周囲に顔を近づける。これによって、図４に示すように、カメラ３９によって撮像された画像は、縫針７１３の周囲の作業対象部位となる。作業者が作業対象部位に近づき、指示者の指示が確定すると、作業者は指示された作業を行う。このため、指示者の指示が確定する前に比べて、作業者の視線の動きが小さくなり、作業者の頭部に装着されたカメラ３９の位置の変化が小さくなる。故に、複数の画像の間の変化量が、後述する第一閾値より小さくなる可能性が高くなる。変化量が第一閾値より小さい場合（図９のＳ５０：ＹＥＳ）、図５に示すように、後述する第一切替指示受付画面７０５がＰＣ３００のディスプレイ３４０に表示される（図９のＳ５１）。

指示者が入力部３３０を介して第一切替指示受付画面７０５を操作して、通信モードを第一通信モードから第二通信モードに切り替える指示を入力すると、ＨＭＤ１は第二通信モードに設定される（図８のＳ２２）。即ち、画像データと音声データの送受信が停止される。このとき、ＨＭＤ１の画像表示部３６に表示される画面７０は、図６に示すビューファインダーモードに設定される。ビューファインダーモードは、通信モードが第二通信モードである場合に、カメラ３９によって撮像された画像を画像表示部３６に表示するモードである。また、ビューファインダーモードでは、カメラ３９によって撮像された画像は、第一通信モードの場合の撮像画像表示領域７１（図５参照）より拡大されて表示される（図６参照）。

図７及び図８を参照して、第一ＨＭＤメイン処理について説明する。作業者が操作部５０を操作し、第一ＨＭＤメイン処理のプログラムの起動指示を入力すると、ＣＰＵ４１は、プログラムＲＯＭ４３に記憶された第一ＨＭＤメイン処理のプログラムを実行する。

図７に示すように、第一ＨＭＤメイン処理では、ＨＭＤ１とＰＣ３００との間で通信を確立することを要求する情報である通信要求情報をＰＣ３００に送信する（Ｓ１１）。送信された通信要求情報は、ＰＣ３００のＣＰＵ３０１による図９に示すＳ４１によって受信される。次いで、ＰＣ３００のＣＰＵ３０１とＨＭＤ１のＣＰＵ４１との間で通信が確立される（Ｓ１２）。このとき、ＣＰＵ４１によるＳ１２とＣＰＵ３０１によるＳ４２（図９参照）との処理によって通信が確立される。次いで、画面７０が画像表示部３６に表示される（Ｓ１３）。なお、撮像画像表示領域７１には、後述するＳ１７において画像が表示され、情報表示領域７２には、後述するＳ２０において画像が表示される。

次いで、第一通信モードでＰＣ３００とデータ通信可能な状態に設定される（Ｓ１４）。Ｓ１４では、例えば、ＰＣ３００に画像データを送信する場合のフレームレートが設定される。設定されたフレームレートは、ＲＡＭ４５に記憶される。フレームレートは、一例として４０ｆｐｓであるとする。なお、例えば、Ｓ１４では、撮像される画像の解像度が設定されてもよい。次いで、音声データの送受信が開始される（Ｓ１５）。図示しないが、音声データの送受信は、Ｓ１６〜Ｓ２１が実行されている間、継続して実施される。音声データを送信する場合、ＣＰＵ４１は、ヘッドセット３５のマイクを使用して音声データを取得し、ＰＣ３００に送信する。送信された音声データに基づく音声は、ＰＣ３００に接続されたヘッドセット３２０のイヤホンから出力される。また、ＣＰＵ４１は、ＰＣ３００のＣＰＵ３０１によって送信される音声データを受信し、ヘッドセット３５のイヤホンから出力する。このため、指示者は音声によって作業者に指示することもできる。

次いで、カメラ３９が使用されて画像が撮像され、画像データが取得される（Ｓ１６）。なお、撮像される画像は複数でもよいし、１枚でもよい。次いで、Ｓ１６で取得された画像が画像表示部３６の撮像画像表示領域７１に表示される（Ｓ１７）。次いで、Ｓ１６において取得された画像データが、第一通信モードでＰＣ３００に送信される（Ｓ１８）。ＣＰＵ４１は複数枚の画像の画像データを４０ｆｐｓで送信してもよいし、１枚の画像の画像データを送信してもよい。なお、１枚の画像の画像データを送信する場合、フレームレートが４０ｆｐｓとなる間隔でＳ１８が実行される。送信された画像データは、ＰＣ３００のＳ４７（図９参照）において受信される。

次いで、ＰＣ３００のＳ４６（図９参照）において送信される画像データが受信されたか否かが判断される（Ｓ１９）。画像データが受信された場合（Ｓ１９：ＹＥＳ）、Ｓ１９において受信された画像データが、画像表示部３６に表示される（Ｓ２０）。例えば、図３に示す情報表示領域７２にアイコン７２１，７２２が表示される。また、指示者が入力部３３０を介して丸印７２５を入力した場合、丸印７２５を含む画像データが受信され（Ｓ１９：ＹＥＳ）、画像表示部３６に表示される（Ｓ２０）。

Ｓ２０が実行された後、又は、画像データが受信されていない場合（Ｓ１９：ＮＯ）、ＰＣ３００のＳ５４（図９参照）によって送信される第一切替指示情報が受信されたか否かが判断される（Ｓ２１）。第一切替指示情報は、第一通信モードから第二通信モードへの切り替えを指示する情報である。第一切替指示情報が受信されていない場合（Ｓ２１：ＮＯ）、ＣＰＵ４１は処理をＳ１６に戻す。

第一切替指示情報が受信された場合（Ｓ２１：ＹＥＳ）、図８に示すように、第二通信モードに設定される（Ｓ２２）。すなわち、ＣＰＵ４１は通信モードを第一通信モードから第二通信モードに切り替える。本実施形態では、第二通信モードは、ＨＭＤ１のＣＰＵ４１とＰＣ３００のＣＰＵ３０１との間の通信を停止するモードであるので、通信が停止される。Ｓ２２では、無線通信部５３が音声データと画像データとの通信を停止するスリープ状態に設定される。

次いで、撮像画像表示領域７１が拡大される（Ｓ２３）。これによって、後述する図４に示す撮像画像表示領域７１が図６に示すように拡大される。ＣＰＵ４１は、撮像画像表示領域７１を拡大することで、作業者に第二通信モードであることを報知する。次いで、第一通信モードで通信中の場合にＳ１７において表示される画像のフレームレートと比べてフレームレートが下げられた状態で、画像が画像表示部３６に表示されるように設定される（Ｓ２４）。なお、本実施形態では、一例として、Ｓ１７において表示される画像のフレームレートは４０ｆｐｓであり、Ｓ２４で設定されるフレームレートは２０ｆｐｓであるとする。

次いで、カメラ３９が使用されて画像が撮像され、画像データが取得される（Ｓ２５）。次いで、Ｓ２６において取得された画像が画像表示部３６に表示される（Ｓ２６）。すなわち、ビューファインダーモードにおける表示が行われる。Ｓ２６においては、Ｓ２４において設定されたフレームレートで画像が表示される。次いで、Ｓ２６において表示された画像の画像データがフラッシュＲＯＭ４７に記憶される（Ｓ２７）。

次いで、Ｓ２５によって撮像された複数の画像の間の変化量が取得される（Ｓ２８）。本実施形態では、一例として、Ｓ２５において取得された画像データに基づく画像のうち、連続する２枚の画像が比較され、変化量が取得される。このとき、画像の一部が比較される。本実施形態では、比較される画像の一部は、図６に示すように、撮像画像表示領域７１に表示される画像の外形よりも内側の領域７１２に位置する画像であるとする。変化量は、例えば、２枚の画像における同じ位置の画素のＲＧＢ値を比較した場合における、ＲＧＢ値が異なる画素の総数である。

次いで、Ｓ２８において取得された変化量が第二閾値より大きいか否かが判断される（Ｓ２９）。第二閾値は、例えば、１０万画素である。変化量が第二閾値より大きくない場合（Ｓ２９：ＮＯ）、ＣＰＵ４１は処理をＳ２５に戻す。変化量が第二閾値より大きい場合（Ｓ２９：ＹＥＳ）、複数の画像の間の変化量が第二閾値より大きいことを示す情報である第二閾値情報がＰＣ３００に送信される（Ｓ３０）。送信された第二閾値情報は、ＰＣ３００のＳ５６（図１０参照）において受信される。次いで、ＰＣ３００のＳ６１（図９参照）によって送信される第二切替指示情報が受信されたか否かが判断される（Ｓ３１）。第二切替指示情報は、第二通信モードから第一通信モードへの切り替えを指示する情報である。

第二切替指示情報が受信されていない場合（Ｓ３１：ＮＯ）、ＰＣ３００のＳ６０（図１０参照）によって送信される第二継続指示情報が受信されたか否かが判断される（Ｓ３２）。第二継続指示情報は、第二通信モードを継続することを指示する情報である。第二継続指示情報が受信されていない場合（Ｓ３２：ＮＯ）、ＣＰＵ４１は処理をＳ３１に戻す。第二継続指示情報が受信された場合（Ｓ３２：ＹＥＳ）、ＣＰＵ４１は処理をＳ２５に戻す。すなわち、ＣＰＵ４１は第二通信モードを継続する。

第二切替指示情報が受信された場合（Ｓ３１：ＹＥＳ）、ビューファインダーモードにおける画面７０（図６参照）から、第一通信モードの場合の画面７０（図４参照）に切り替えられる（Ｓ３３）。次いで、ＣＰＵ４１は処理をＳ１４に戻し、第二通信モードから第一通信モードに切り替える（Ｓ１４）。

次いで、第一ＰＣメイン処理について説明する。指示者によって入力部３３０が操作され、第一ＰＣメイン処理のプログラムの起動指示が入力されると、ＣＰＵ３０１は、ＨＤＤ３０７に記憶された第一ＰＣメイン処理のプログラムを実行する。

第一ＰＣメイン処理では、まず、ＨＭＤ１のＳ１１（図７参照）において送信された通信要求情報が受信されたか否かが判断される（Ｓ４１）。通信要求情報が受信されていない場合（Ｓ４１：ＮＯ）、ＣＰＵ３０１はＳ４１を繰り返す。通信要求情報が受信された場合（Ｓ４１：ＹＥＳ）、ＰＣ３００のＣＰＵ３０１とＨＭＤ１のＣＰＵ４１との間で通信が確立される（Ｓ４２）。次いで、画面７０（図４参照）がディスプレイ３４０に表示される（Ｓ４３）。情報表示領域７２には、アイコン７２１，７２２が表示される。なお、撮像画像表示領域７１には、後述するＳ４８において画像が表示される。

次いで、音声データの送受信が開始される（Ｓ４４）。図示しないが、音声データの送受信は、Ｓ４５〜Ｓ５３が実行されている間、継続して実施される。音声データを送信する場合、ＣＰＵ３０１は、ヘッドセット３２０のマイクを使用して音声データを取得し、ＨＭＤ１に送信する。また、ＣＰＵ３０１は、ＨＭＤ１のＣＰＵ４１によって送信される音声データを受信し、ヘッドセット３２０のイヤホンから出力する。

次いで、画像データが取得される（Ｓ４５）。Ｓ４５では、例えば、情報表示領域７２（図３参照）に表示されているアイコン７２１，７２２、及び指示者が入力部３３０を介して画面７０に記入した文字、記号、図形等のデータ等が取得される。次いで、Ｓ４５において取得された画像データがＨＭＤ１に送信される（Ｓ４６）。送信された画像データは、ＨＭＤ１のＣＰＵ４１によって受信され（図７のＳ１９：ＹＥＳ）、表示される（Ｓ２０）。

次いで、ＨＭＤ１Ｓ１８（図７参照）において送信された画像データが受信されたか否かが判断される（Ｓ４７）。画像データが取得されていない場合（Ｓ４７：ＮＯ）、ＣＰＵ３０１は処理をＳ４５に戻す。画像データが受信された場合（Ｓ４７：ＹＥＳ）、Ｓ４７において受信された画像データに基づく画像がディスプレイ３４０に表示される（Ｓ４８）。これによって、例えば、図３に示すミシン７１１の画像が撮像画像表示領域７１に表示される。

次いで、Ｓ４７によって受信された画像データに基づく複数の画像の間の変化量が取得される（Ｓ４９）。Ｓ４９では、例えば、Ｓ４７において受信された画像データに基づく画像のうち、連続する２枚の画像が比較され、変化量が取得される。このとき、画像の一部が比較される。Ｓ２８（図８参照）の場合と同様に、比較される画像の一部は、撮像画像表示領域７１に表示される画像の外形よりも内側の領域７１２に位置する画像であるとする。変化量は、例えば、２枚の画像における同じ位置の画素のＲＧＢ値を比較した場合における、ＲＧＢ値が異なる画素の総数である。次いで、Ｓ４９において取得された変化量が第一閾値より小さいか否かが判断される（Ｓ５０）。第一閾値は、例えば、８万画素である。

前述したように、例えば、指示者の指示が確定していない場合、作業者の頭部に装着されたカメラ３９の位置の変化が大きくなる。この場合、Ｓ１６によって撮像される複数の画像の間の変化量は第一閾値以上になる。変化量が第一閾値以上である場合（Ｓ５０：ＮＯ）、ＣＰＵ３０１は処理をＳ４５に戻す。このため、ＨＭＤ１は第一通信モードにおける画像の送信を継続する（図７のＳ１８）。指示者は作業対象部位に丸印７２５（図３参照）を入力したり、声で指示したりする。指示者の記入した丸印７２５は、ＨＭＤ１に送信され（図９のＳ４６）、作業者に提示される（図７のＳ２０）。

作業者は、指示者の指示に応じて縫針７１３の周辺の作業対象部位に近づく。このため、カメラ３９によって撮像される画像は、作業対象部位となる（図４参照）。指示者の指示が確定すると、作業者は指示された作業を行うため、Ｓ１６によって撮像される複数の画像の間の変化量は第一閾値より小さくなる。変化量が第一閾値より小さい場合（Ｓ５０：ＹＥＳ）、図５に示す第一切替指示受付画面７０５がディスプレイ３４０に表示される（Ｓ５１）。図５に示すように、第一切替指示受付画面７０５には、「通信モードを第一通信モードから第二通信モードに切り替えますか？」のメッセージと、指示者が切り替えるか否かを選択するための「ＹＥＳ」「ＮＯ」の選択表示７０６とがディスプレイ３４０に表示される。指示者は、入力部３３０を操作し、選択表示７０６の「ＹＥＳ」又は「ＮＯ」を選択する。

次いで、入力部３３０が操作されることによって、選択表示７０６の「ＹＥＳ」又は「ＮＯ」が選択されたか否かが判断される（Ｓ５２）。選択表示７０６の「ＹＥＳ」又は「ＮＯ」が選択されていない場合（Ｓ５２：ＮＯ）、ＣＰＵ３０１はＳ５２の処理を繰り返す。選択表示７０６の「ＹＥＳ」又は「ＮＯ」が選択された場合（Ｓ５２：ＹＥＳ）、「ＹＥＳ」が選択されたか否かが判断されることで、第一通信モードから第二通信モードへの切り替えの指示が入力されたか否かが判断される（Ｓ５３）。「ＮＯ」が選択された場合、第一通信モードから第二通信モードへの切り替えの指示が入力されていないと判断され（Ｓ５３：ＮＯ）、ＣＰＵ３０１は処理をＳ４５に戻す。即ち、ＨＭＤ１は、第一通信モードによる通信を継続する。

「ＹＥＳ」が選択された場合、第一通信モードから第二通信モードへの切り替えの指示が入力されたと判断され（Ｓ５３：ＹＥＳ）、第一切替指示情報がＨＭＤ１に送信される（Ｓ５４）。送信された第一切替指示情報は、図７に示すようにＨＭＤ１のＣＰＵ４１によって受信され（Ｓ２１：ＹＥＳ）、通信モードが第一通信モードから第二通信モードに切り替えられる（Ｓ２２）。

図１０に示すように、通信部３１１がスリープ状態に設定され、ＨＭＤ１のＣＰＵ４１とＰＣ３００のＣＰＵ３０１との間の通信が停止される（Ｓ５５）。なお、Ｓ５５では、ＨＭＤ１のＳ３０（図８参照）によって送信される第二閾値情報を受信可能な状態で、通信部３１１がスリープ状態に設定される。

次いで、ＨＭＤ１のＳ３０（図８参照）によって送信される第二閾値情報が受信されたか否かが判断される（Ｓ５６）。第二閾値情報が受信されていない場合（Ｓ５６：ＮＯ）、ＣＰＵ３０１はＳ５６の処理を繰り返す。第二閾値情報が受信された場合（Ｓ５６：ＹＥＳ）、図示しない第二切替指示受付画面がディスプレイ３４０に表示される（Ｓ５７）。第二切替指示受付画面は、図５に示す第一切替指示受付画面７０５と異なるメッセージである「通信モードを第二通信モードから第一通信モードに切り替えますか？」が表示される。また、第一切替指示受付画面７０５の選択表示７０６と同様に、指示者が通信モードを切り替えるか否かを選択するための「ＹＥＳ」及び「ＮＯ」の選択表示が表示される。指示者は入力部３３０を操作し、選択表示の「ＹＥＳ」又は「ＮＯ」を選択する。

次いで、入力部３３０が操作されることによって、Ｓ５７において表示された第二切替指示受付画面における選択表示の「ＹＥＳ」又は「ＮＯ」が選択されたか否かが判断される（Ｓ５８）。「ＹＥＳ」又は「ＮＯ」が選択されていない場合（Ｓ５８：ＮＯ）、ＣＰＵ３０１はＳ５８の処理を繰り返す。「ＹＥＳ」又は「ＮＯ」が選択された場合（Ｓ５８：ＹＥＳ）、「ＹＥＳ」が選択されたか否かが判断されることで、第二通信モードから第一通信モードへの切り替えの指示が入力されたか否かが判断される（Ｓ５９）。「ＮＯ」が選択された場合、第二通信モードから第一通信モードへの切り替えの指示が入力されていないと判断され（Ｓ５９：ＮＯ）、第二継続指示情報がＨＭＤ１に送信される（Ｓ６０）。送信された第二継続指示情報は、ＨＭＤ１のＣＰＵ４１によって受信され（図８のＳ３２：ＹＥＳ）、第二通信モードが継続される。次いで、ＣＰＵ３０１は処理をＳ５６に戻す。

「ＹＥＳ」が選択された場合、第二通信モードから第二通信モードへの切り替えの指示が入力されたと判断され（Ｓ５９：ＹＥＳ）、第二切替指示情報がＨＭＤ１に送信される（Ｓ６１）。送信された第二切替指示情報は、ＨＭＤ１のＣＰＵ４１によって受信され（図８のＳ３１：ＹＥＳ）、通信モードが第二通信モードから第一通信モードに切り替えられる（図７のＳ１４）。図９及び図１０に示すように、ＣＰＵ３０１は処理をＳ４４に戻す。

以上のように本実施形態における処理が実行される。本実施形態では、図９に示すように、複数の画像の間の変化量が第一閾値より小さい場合において（Ｓ５０：ＹＥＳ）、第一通信モードから第二通信モードへの切り替えの指示が入力されたと判断された場合に（Ｓ５３：ＹＥＳ）、第一切替指示情報がＨＭＤ１に送信される（Ｓ５４）。図７及び図８に示すように、ＨＭＤ１において第一切替指示情報が受信されると（Ｓ２１：ＹＥＳ）、通信モードが第一通信モードから第二通信モードに切り替えられる（Ｓ２２）。このため、第一通信モードにおいて画像データを送信し続ける場合に比べて、データ通信量を小さくすることができる。データ通信量が小さくなると、無線通信部５３の消費電力、及び画像表示部３６において撮像された画像データをＰＣ３００に送信可能に符号化するためのＣＰＵ４１の消費電力等を低減することができる。よって、ＨＭＤ１は、無線通信を行うための消費電力を低減することができる。特に本実施形態では、第二通信モードでは画像データの送信が停止されるので、ＰＣ３００に画像データを送信する場合に比べて、さらに消費電力を低減することができる。また、第二通信モードでは、画像データの送信の他に、画像データの受信、及び音声データの送受信も停止されるので、ＰＣ３００から送信される画像データを受信する場合、及びＰＣ３００との間で音声データを送受信する場合に比べて、さらに消費電力を低減できる。

また、ＨＭＤ１は消費電力を低減できるので、電池４４の消費電力が少なくなり、ＨＭＤ１の駆動時間を長くすることができる。よって、作業者はより長時間、ＨＭＤ１を使用することができる。

また、第一通信モードから第二通信モードへの切り替えの指示が指示者によって入力された場合に（図９のＳ５３：ＹＥＳ）、通信モードが第一通信モードから第二通信モードに切り替えられる（図５のＳ２２）。このため、指示者は、第一通信モードから第二通信モードへの切り替えの指示をＰＣ３００に入力するか否かを選択することで、第二通信モードに切り替えるか否かを選択することができる。よって、指示者の利便性が向上する。また、ＨＭＤ１を装着する作業者からの入力を必要としないため、作業者の手を煩わせることはない。

また、前述したように、指示者の指示が確定した場合、Ｓ１６によって撮像される複数の画像の間の変化量は、第一閾値より小さくなる可能性が高くなる。変化量が第一閾値より小さくなれば（図９のＳ５０：ＹＥＳ）、ＣＰＵ４１は通信モードを第一通信モードから第二通信モードに切り替えることができる（図８のＳ２２）。即ち、ＣＰＵ４１は指示者の指示が確定した場合に、第二通信モードに切り替えて、無線通信を行うための消費電力を低減することができる。

また、ＰＣ３００において、複数の画像の間の変化量が第一閾値より小さいか否かが判断される（図９のＳ５０）。このため、ＨＭＤ１が複数の画像の間の変化量が第一閾値より小さいか否かを判断する場合に比べて、ＨＭＤ１の消費電力を低減することができる。

また、図１０に示すように、第二通信モードから第一通信モードへの切り替えの指示が入力された場合（Ｓ５９：ＹＥＳ）、第二切替指示情報が送信される（Ｓ６１）。そして、図７及び図８に示すように、通信モードが第二通信モードから第二通信モードに切り替えられる（Ｓ３１：ＹＥＳ、Ｓ１４）。このため、指示者は、第二通信モードから第一通信モードへの切り替えの指示をＰＣ３００に入力するか否かを選択することで、第一通信モードに切り替えるか否かを選択することができる。よって、指示者の利便性が向上する。また、ＨＭＤ１を装着する作業者からの入力を必要としないため、作業者の手を煩わせることはない。また、複数の画像の間の変化量が第二閾値より大きい場合に、第二通信モードよりデータ通信量の大きい第一通信モードに切り替えられる（図９のＳ２９：ＹＥＳ、Ｓ１４、図７のＳ５６：ＹＥＳ、及びＳ６１）。よって、指示者は、第一通信モードにおいて送信された画像データに基く画像を確認しながら、指示を行うことができる。

また、第二通信モードである場合、作業者は、図８のＳ２５において撮像され、Ｓ２６において画像表示部３６に表示された画像を確認することができる。また、第二通信モードである場合に、Ｓ２５によって画像が撮像されているので、例えば、Ｓ２７のように、撮像された画像の画像データを記憶することができる。記憶された画像データに基づく画像は、例えば、作業のトレーサビリティの確認等に使用することができる。

また、通信モードが第二通信モードである場合に、第一通信モードである場合に画像を画像表示部３６に表示するＳ１８の場合に比べてフレームレートが下げられて、画像が画像表示部３６に表示される（図８のＳ２６）。画像表示部３６に表示される画像のフレームレートが下げられるので、消費電力をさらに低減することができる。

また、撮像画像表示領域７１が拡大されることで、作業者に第二通信モードであることが報知される（図８のＳ２３）。よって、作業者は、第二通信モードであることを容易に認識することができる。

また、図９のＳ４７において複数の画像の間の変化量が取得される場合に、画像データに基づく画像の一部が比較されるので、画像全体を比較する場合に比べて、比較のための処理量を低減することができる。よって、ＰＣ３００の消費電力を低減することができる。

同様に、図７のＳ２８において複数の画像の間の変化量が取得される場合に、画像データに基づく画像の一部が比較されるので、画像全体を比較する場合に比べて、比較のための処理量を低減することができる。よって、画像全体を比較する場合に比べて、比較のための処理量を低減することができる。故に、ＨＭＤ１の消費電力をさらに低減することができる。

上記実施形態において、ＨＭＤ１は本発明の「指示装置」の一例である。ＰＣ３００は本発明の「指示装置」の一例である。カメラ３９は本発明の「撮像部」の一例である。図７のＳ１８、及び図８のＳ２２の処理を行うＣＰＵ４１は本発明の「通信制御手段」の一例である。図８のＳ２１の処理を行うＣＰＵ４１は本発明の「第一切替指示受信手段」の一例である。図７の図８のＳ２２の処理を行うＣＰＵ４１は本発明の「第一通信切替手段」の一例である。図９のＳ４７の処理を行うＣＰＵ３０１は本発明の「画像データ受信手段」の一例である。図９のＳ４８の処理を行うＣＰＵ３０１は本発明の「第一表示制御手段」の一例である。ディスプレイ３４０は本発明の「表示部」の一例である。図９のＳ５３の処理を行うＣＰＵ３０１は本発明の「第一切替判断手段」の一例である。図９のＳ５４の処理を行うＣＰＵ３０１は本発明の「第一切替指示手段」の一例である。

図９のＳ４９及びＳ５０の処理を行うＣＰＵ３０１は本発明の「第一変化量判断手段」の一例である。図８のＳ２８及びＳ２９の処理を行うＣＰＵ４１は本発明の「第三変化量判断手段」の一例である。Ｓ３０の処理を行うＣＰＵ４１は本発明の「第二情報送信手段」の一例である。Ｓ３１の処理を行うＣＰＵ４１は本発明の「第二切替指示受信手段」の一例である。Ｓ２２で第二通信モードに設定された後、第一通信モードに切り替える図７のＳ１４の処理を行うＣＰ４１は本発明の「第二通信切替手段」の一例である。図１０のＳ５６の処理を行うＣＰＵ３０１は本発明の「第二情報受信手段」の一例である。図１０のＳ５９の処理を行うＣＰＵ３０１は本発明の「第二切替判断手段」の一例である。図１０のＳ６１の処理を行うＣＰＵ３０１は本発明の「第二切替指示手段」の一例である。画像表示部３６は本発明の「第二表示部」の一例である。図８のＳ２６の処理を行うＣＰＵ４１は本発明の「第二表示制御手段」の一例である。

なお、本発明は上記の実施形態に限定されるものではなく、種々の変更が可能である。例えば、第二通信モードである場合に、画像データの送受信及び音声データの送受信が停止されたが、これに限定されない。第二通信モードは第一通信モードよりデータ通信量が小さければよい。例えば、第二通信モードは、第一通信モードよりフレームレートを下げて、画像データをＰＣ３００に送信してもよい。また、第二通信モードは、第一通信モードより画像の解像度を下げて、画像データをＰＣ３００に送信してもよい。

また、第一通信モード及び第二通信モードにおいて、ＰＣ３００からＨＭＤ１に画像データが送信されなくてもよい。また、第一通信モード及び第二通信モードにおいて、音声データは送受信されなくてもよい。すなわち、第一通信モード及び第二通信モードでは、少なくとも画像データがＨＭＤ１からＰＣ３００に送信されればよい。

図８に示すように、Ｓ２５において撮像された画像の画像データが、Ｓ２７においてフラッシュＲＯＭ４７に記憶されていたが、記憶されなくてもよい。また、第二通信モードの場合に、Ｓ２５が実行されず、画像データが取得されなくてもよい。即ち、画像表示部３６にカメラ３９によって撮像された画像が表示されなくてもよい。

図８のＳ２３において撮像画像表示領域７１が拡大されることで、作業者に第二通信モードであることが報知されていたが、報知の方法は他の方法であってもよい。例えば、ＣＰＵ４１は「第二通信モードに変更されました。」等のメッセージを画像表示部４１に表示してもよい。また、ＣＰＵ４１はヘッドセット３５のイヤホンから音を出力して報知してもよい。また、ＣＰＵ４１は第二通信モードであることを作業者に報知しなくてもよい。

また、第二継続指示情報が受信された場合に（図８のＳ３２：ＹＥＳ）、第二通信モードが継続されていたが、これに限定されない。例えば、Ｓ３１において、第二継続指示情報が所定時間（例えば２０秒）受信されなかった場合に、ＣＰＵ４１は処理をＳ２５に戻し、第二通信モードを継続してもよい。この場合、図１０のＳ６０において第二継続指示情報がＨＭＤ１に送信されなくてもよい。

また、図８のＳ２８及び図９のＳ４９において変化量が取得される場合、画像の一部が比較されていたが、全体が比較されてもよい。また、画像の一部が比較される場合、画像の中央部でなくてもよく、例えば、画像の右下部が比較されてもよい。また、変化量は、複数の画像の間の変化量であればよく、単位時当たりの平均変化量が比較されてもよい。また、変化量はＲＧＢ値が異なる画素の総数であったが、他の値でもよい。例えば、変化量は、比較される領域の画素のＲＧＢ値の平均値についての、複数の画像の間の差分であってもよい。また、一辺が数十ピクセルの所定のブロック毎に比較される領域を区切り、そのブロック内でＲＧＢ値の平均を算出し、所定値以上平均値が変化したブロック数が変化量であってもよい。この場合、所定値以上平均値が変化したブロック数が所定量（第二閾値に相当）以上あった場合に、変化量が第二閾値より大きい（Ｓ２９：ＹＥＳ）と判断されてもよい。

また、カメラ３９によって撮像された複数の画像の間の変化量が、第一閾値以下であるか否かの判断は、ＰＣ３００のＣＰＵ３０１によって実行されたが（図９のＳ５０）、ＨＭＤ１のＣＰＵ４１によって実行されてもよい。図１１及び図１２を参照して、本変形例に係る第二ＨＭＤメイン処理及び第二ＰＣメイン処理について説明する。図１１及び図１２において、図７に示す第一ＨＭＤメイン処理及び図９に示す第二ＰＣメイン処理と同様の処理は同じ符号で示し、詳細の説明は省略する。第二ＨＭＤメイン処理は、ＣＰＵ４１によって実行され、第一ＰＣメイン処理は、ＣＰＵ３０１によって実行される。

図１１に示すように、第二ＨＭＤメイン処理では、図７に示す第一ＨＭＤメイン処理と同様に、Ｓ１１〜Ｓ２０の処理が実行される。Ｓ２０が実行された後、又は、画像データが受信されていない場合（Ｓ１９：ＮＯ）、Ｓ１６においてカメラ３９によって撮像された複数の画像の間の変化量が取得される（Ｓ３４）。例えば、Ｓ１６においてカメラ３９によって撮像された画像のうち、連続する２枚の画像が比較され、変化量が取得される。このとき、画像の一部である領域７１２（図３及び図４参照）が比較される。なお、画像全体が比較されてもよい。

次いで、Ｓ３４において取得された変化量が第一閾値より小さいか否かが判断される（Ｓ３５）。変化量が第一閾値より小さくない場合（Ｓ３５：ＮＯ）、ＣＰＵ４１は処理をＳ１６に戻す。変化量が第一閾値より小さい場合（Ｓ３５：ＹＥＳ）、複数の画像の間の変化量が第一閾値より小さいことを示す情報である第一閾値情報がＰＣ３００に送信される（Ｓ３６）。送信された第一閾値情報は、ＰＣ３００のＳ７１（図１２参照）において受信される。次いで、図７のＳ２１と同様に、ＰＣ３００のＳ５４（図１２参照）において送信される第一切替指示情報が受信されたか否かが判断される（Ｓ３７）。第一切替指示情報が受信されていない場合（Ｓ３７：ＮＯ）、ＰＣ３００のＳ７２（図１２参照）によって送信される第一継続指示情報が受信されたか否かが判断される。第一継続指示情報は、第一通信モードを継続することを指示する情報である。第一継続指示情報が受信されていない場合（Ｓ３８：ＮＯ）、ＣＰＵ４１は処理をＳ３７に戻す。第二継続指示情報が受信された場合（Ｓ３８：ＹＥＳ）、ＣＰＵ４１は処理をＳ１６に戻す。すなわち、ＣＰＵ４１は第一通信モードを継続する。

第一切替指示情報が受信された場合（Ｓ３７：ＹＥＳ）、図８に示すように、ＣＰＵ４１は処理をＳ２２に進める。即ち、ＣＰＵ４１は、通信モードを第一通信モードから第二通信モードに切り替える。Ｓ２２以降の処理は、図８に示す第一ＨＭＤメイン処理のＳ２２〜Ｓ３３と同様である。

図１２に示すように第二ＰＣメイン処理では、図９に示す第一ＰＣメイン処理と同様に、Ｓ４１〜Ｓ４８の処理が実行される。次いで、ＨＭＤ１のＳ３６において送信される第一閾値情報が受信されたか否かが判断される（Ｓ７１）。第一閾値情報が受信されていない場合（Ｓ７１：ＮＯ）、ＣＰＵ３０１は処理をＳ４５に戻す。この場合、Ｓ５４が実行されず、第一切替指示情報がＨＭＤ１に送信されない。故に、ＨＭＤ１のＣＰＵ４１は、第一切替指示情報を受信していないと判断し（図１１のＳ３７：ＮＯ）、第一通信モードを継続する。

第一閾値情報が受信された場合（Ｓ７１：ＹＥＳ）、図９及び図１０に示す第一ＰＣメイン処理と同様に、Ｓ５１〜Ｓ５３の処理が実行される。Ｓ５２において「ＮＯ」が選択された場合（Ｓ５２：ＹＥＳ）、第一通信モードから第二通信モードへの切り替えの指示が入力されていないと判断され（Ｓ５３：ＮＯ）、第一継続指示情報がＨＭＤ１に送信される（Ｓ７２）。送信された第一継続指示情報は、ＨＭＤ１のＣＰＵ４１によって受信され（図１１のＳ３８：ＹＥＳ）、第一通信モードが継続される。Ｓ５３において、第一通信モードから第二通信モードへの切り替えの指示が入力された場合（Ｓ５３：ＹＥＳ）、第一ＰＣメイン処理（図９及び図１０参照）と同様に、Ｓ５４〜Ｓ６１が実行される。このため、ＨＭＤ１のＣＰＵ４１は、第一切替指示情報が受信されたと判断し（図１１のＳ３７：ＹＥＳ）、通信モードを第一通信モードから第二通信モードに切り替える（図８のＳ２２）。

以上のように本変形例における処理が行われる。本変形例では、第一ＨＭＤメイン処理及び第一ＰＣメイン処理と同様の効果を得ることができる。また、ＨＭＤ１において複数の画像の間の変化量が第一閾値より小さいか否かが判断される（図１１のＳ３５）。このため、ＰＣ３００が複数の画像の間の変化量が第一閾値より小さいか否かを判断する場合に比べて、ＰＣ３００の消費電力を低減することができる。

また、図１１のＳ３４において複数の画像の間の変化量が取得される場合に、画像の一部が比較されるので、画像全体を比較する場合に比べて、比較のための処理量を低減することができる。よって、ＨＭＤ１の消費電力を低減することができる。

本変形例において、図１１のＳ３４及びＳ３５の処理を行うＣＰＵ４１は本発明の「第二変化量判断手段」の一例である。図１１のＳ３６の処理を行うＣＰＵ４１は本発明の「第一情報送信手段」の一例である。図１１のＳ３７の処理を行うＣＰＵ４１は本発明の「第一切替指示受信手段」の一例である。図１２のＳ７１の処理を行うＣＰＵ３０１は本発明の「第一情報受信手段」の一例である。

なお、第一継続指示情報が受信された場合に（図１１のＳ３８：ＹＥＳ）、第一通信モードが継続されていたが、これに限定されない。例えば、Ｓ３７において、第一継続指示情報が所定時間（例えば２０秒）受信されなかった場合に、ＣＰＵ４１は処理をＳ１６に戻し、第一通信モードを継続してもよい。この場合、図１２のＳ７２において第二継続指示情報が送信されなくてもよい。

１ ヘッドマウントディスプレイ
１０ 作業補助システム
３６ 画像表示部
３９ カメラ
４１ ＣＰＵ
５３ 無線通信部
２５０ ネットワーク
３００ パーソナルコンピュータ
３０１ ＣＰＵ
３３０ 入力部

Claims (11)

1. 撮像部及び無線通信部を備え、作業の指示を受信して作業者に提示可能な作業装置と、
   第一表示部、入力部、及び通信部を備え、前記作業者に対する前記作業の指示を前記作業装置に送信可能な指示装置とを備え、
   前記作業装置及び前記指示装置がネットワークを介して接続された作業補助システムであって、
   前記作業装置は、
   前記無線通信部を使用した通信の通信モードを、前記撮像部によって撮像された画像の画像データを前記指示装置に送信する第一通信モードと、前記第一通信モードよりもデータ通信量の小さい第二通信モードとの間で切り替え可能な通信制御手段と、
   前記指示装置から送信される、前記第一通信モードから前記第二通信モードへの切り替えを指示する情報である第一切替指示情報を、前記無線通信部を介して受信する第一切替指示受信手段と、
   前記第一切替指示受信手段によって前記第一切替指示情報が受信された場合に、前記通信制御手段の前記通信モードを、前記第一通信モードから前記第二通信モードに切り替える第一通信切替手段と
   を備え、
   前記指示装置は、
   前記作業装置から送信された前記画像データを、前記通信部を介して受信する画像データ受信手段と、
   受信された前記画像データに基づく前記画像を前記第一表示部に表示する第一表示制御手段と、
   前記撮像部によって撮像された複数の前記画像の間の変化量が第一閾値より小さい場合に、前記第一通信モードから前記第二通信モードへの切り替えの指示が前記入力部に入力されたか否かを判断する第一切替判断手段と、
   前記第一切替判断手段によって前記第一通信モードから前記第二通信モードへの切り替えの指示が前記入力部に入力されたと判断された場合に、前記第一切替指示情報を前記作業装置に送信する第一切替指示手段と
   を備えたことを特徴とする作業補助システム。
2. 前記指示装置は、
   前記通信制御手段の前記通信モードが前記第一通信モードである場合に、前記画像データ受信手段によって受信された前記画像データに基づく複数の前記画像の間の変化量が前記第一閾値より小さいか否かを判断する第一変化量判断手段を備え、
   前記第一切替判断手段は、前記第一変化量判断手段によって複数の前記画像の間の変化量が前記第一閾値より小さいと判断された場合に、前記第一通信モードから前記第二通信モードへの切り替えの指示が前記入力部に入力されたか否かを判断することを特徴とする請求項１に記載の作業補助システム。
3. 前記作業装置は、
   前記通信制御手段の前記通信モードが前記第一通信モードである場合に、撮像部によって撮像された複数の前記画像の間の変化量が前記第一閾値より小さいか否かを判断する第二変化量判断手段と、
   前記第二変化量判断手段によって複数の前記画像の間の変化量が前記第一閾値より小さいと判断された場合に、複数の前記画像の間の変化量が前記第一閾値より小さいことを示す情報である第一閾値情報を前記指示装置に送信する第一情報送信手段と
   を備え、
   前記指示装置は、
   前記第一情報送信手段によって送信された前記第一閾値情報を受信する第一情報受信手段を備え、
   前記第一切替判断手段は、前記第一情報受信手段によって前記第一閾値情報が受信された場合に、前記第一通信モードから前記第二通信モードへの切り替えの指示が前記入力部に入力されたか否かを判断することを特徴とする請求項１に記載の作業補助システム。
4. 前記作業装置は、
   前記通信制御手段の前記通信モードが前記第二通信モードである場合に、前記撮像部によって撮像された複数の前記画像の間の変化量が第二閾値より大きいか否かを判断する第三変化量判断手段と、
   前記第三変化量判断手段によって複数の前記画像の間の変化量が前記第二閾値より大きいと判断された場合に、複数の前記画像の間の変化量が前記第二閾値より大きいことを示す情報である第二閾値情報を前記指示装置に送信する第二情報送信手段と、
   前記指示装置から送信される、前記第二通信モードから前記第一通信モードへの切り替えを指示する情報である第二切替指示情報を受信する第二切替指示受信手段と、
   前記第二切替指示受信手段によって前記第二切替指示情報が受信された場合に、前記通信制御手段の前記通信モードを、前記第二通信モードから前記第一通信モードに切り替える第二通信切替手段と
   を備え、
   前記指示装置は、
   前記第二情報送信手段によって送信される前記第二閾値情報を受信する第二情報受信手段と、
   前記第二情報受信手段によって前記第二閾値情報が受信された場合に、前記第二通信モードから前記第一通信モードへの切り替えの指示が前記入力部に入力されたか否かを判断する第二切替判断手段と、
   前記第二切替判断手段によって前記第二通信モードから前記第一通信モードへの切り替えの指示が前記入力部に入力されたと判断された場合に、前記第二切替指示情報を前記作業装置に送信する第二切替指示手段と
   を備えたことを特徴とする請求項１から３のいずれかに記載の作業補助システム。
5. 前記作業装置は、
   前記作業者の頭部に装着可能な第二表示部と、
   前記通信制御手段の前記通信モードが前記第二通信モードである場合に、前記撮像部によって撮像された前記画像を前記第二表示部に表示する第二表示制御手段と
   を備えたことを特徴とする請求項１から４のいずれかに記載の作業補助システム。
6. 前記第二表示制御手段は、前記通信制御手段の前記通信モードが前記第二通信モードである場合に、前記通信制御手段の前記通信モードが前記第一通信モードである場合に比べてフレームレートを下げて前記画像を前記第二表示部に表示することを特徴とする請求項５に記載の作業補助システム。
7. 前記作業装置は、前記通信制御手段の前記通信モードが前記第二通信モードである場合に、前記第二通信モードであることを報知する報知手段を備えたことを特徴とする請求項１から６のいずれかに記載の作業補助システム。
8. 前記第一変化量判断手段は、前記画像データ受信手段によって受信された前記画像データに基づく複数の前記画像の間の変化量が前記第一閾値より小さいか否かを判断する場合に、複数の前記画像それぞれの一部を比較することを特徴とする請求項２に記載の作業補助システム。
9. 前記第二変化量判断手段は、前記撮像部によって撮像された複数の前記画像の間の変化量が前記第一閾値より小さいか否かを判断する場合に、複数の前記画像それぞれの一部を比較することを特徴とする請求項３に記載の作業補助システム。
10. 前記第三変化量判断手段は、前記撮像部によって撮像された複数の前記画像の間の変化量が前記第二閾値より大きいか否かを判断する場合に、複数の前記画像それぞれの一部を比較することを特徴とする請求項４に記載の作業補助システム。
11. 第一表示部と入力部と通信部とを備えた指示装置であって作業者に対する作業の指示を送信可能な指示装置から送信される前記作業の指示を受信して前記作業者に提示可能であり、撮像部と無線通信部とを備えた作業装置であって、
    前記無線通信部を使用した通信の通信モードを、前記撮像部によって撮像された画像の画像データを前記指示装置に送信する第一通信モードと、前記第一通信モードよりもデータ通信量の小さい第二通信モードとの間で切り替え可能な通信制御手段と、
    撮像部によって撮像された複数の前記画像の間の変化量が第一閾値より小さい場合において、前記指示装置によって前記第一通信モードから前記第二通信モードへの切り替えの指示が前記入力部に入力されたと判断されて前記指示装置から送信される、前記第一通信モードから前記第二通信モードへの切り替えを指示する情報である第一切替指示情報を受信する第一切替指示受信手段と、
    前記第一切替指示受信手段によって前記第一切替指示情報が受信された場合に、前記通信制御手段の前記通信モードを、前記第一通信モードから前記第二通信モードに切り替える第一通信切替手段と
    を備えたことを特徴とする作業装置。

Images