JP2019004272A - 映像送受信システム - Google Patents

Abstract

【課題】的確な作業指示を出すことができる映像送受信システムを提供する。【解決手段】映像送受信システムは、第１ユーザーの頭部に装着され被写体を撮像して映像信号を出力する撮像装置と、映像信号を送信する第１通信装置と、第１ユーザーが視認可能な第１表示装置とを備えた電子機器と、第１通信装置から送信された映像信号を受信する第２通信装置と、第２通信装置が受信した映像信号に基づき第２ユーザーが視認可能に映像を表示する第２表示装置と、第２ユーザーの操作に応じて指示信号を出力する指示装置とを備えた遠隔端末装置とを有する。【選択図】図１

Description

本発明は、映像送受信システムに関し、電子機器と遠隔端末装置とを有する映像送受信システムに関する。

種々の業界において人手不足が深刻化しており、特に経験を積んだ熟練の作業者が不足していることが問題となっている。よって、経験の浅い作業者に作業を遂行させざるを得ないケースも多いが、作業手順を教える熟練の作業者が常にそばにいるとは限らない。よって、経験の浅い作業者でも単独で作業できるように、マニュアル等が整備されていることが多い。

しかしながら、細かい作業のような場合など、マニュアル等を見ても作業内容を正しく把握できないこともある。そのような場合、熟練の作業者の指示があるまで作業が中断してしまい、作業効率を図れないという問題がある。一方で、熟練の作業者が中断した作業状況を見れば、的確に作業指示を出せるという場合も多々ある。そこで、現場にあるカメラで現在の作業状況を撮像して映像信号に変換して中央センターに送信し、モニターで現場の作業の映像を見た熟練の作業者等が、作業指示を現場に送信するという作業支援システムが開発されている。

ここで、現場の作業者が見たままの作業状況を観察するには、固定カメラによる映像観察ではなく、例えば作業者の頭部に装着して視線方向にその光軸を向けたカメラによる映像観察が好ましいといえる。しかしながら、作業者の頭部は作業に応じて動きうるから、その頭部に装着されたカメラも頭部の動きに従って上下方向もしくは左右方向に揺れてしまう。このため、モニターには画面全体が揺れた不快な映像が表示されることとなり、場合によってはモニターを見た者が画面酔いを起こすなど強い違和感を覚える恐れがある。

これに対し特許文献１には、作業指示者側のＰＣ（パソコン）にて、作業者が装着しているヘッドマウントディスプレイから受信した揺れ情報に基づいて受信したカメラ画像情報から揺れを補正した補正画像を作成して、ディスプレイに表示する技術が開示されている。

特開２０１１−７１８８４号公報

しかるに、特許文献１の技術によれば、作業指示者側のＰＣにて揺れを補正した補正画像を作成するため、リアルタイム性（画像処理に要する時間）が損なわれる恐れがある。又、作業指示者側のＰＣが高度な画像処理を実施するため、高性能なものを準備する必要がありコストアップにつながる。仮に処理性能が比較的低いＰＣを使用した場合は、常に間欠的にカクカクと進む映像が表示されてしまい、遠隔作業支援には使いにくいという問題がある。

本発明は、上記の事情に鑑みてなされたものであって、例えば作業の映像を見る側の違和感を抑えつつ、的確な作業指示を出すことができる映像送受信システムを提供することを目的とする。

本発明の映像送受信システムは、
第１ユーザーの頭部に装着され被写体を撮像して映像信号を出力する撮像装置と、前記映像信号を送信する第１通信装置と、前記第１ユーザーが視認可能な第１表示装置とを備えた電子機器と、
前記第１通信装置から送信された映像信号を受信する第２通信装置と、前記第２通信装置が受信した前記映像信号に基づき前記第２ユーザーが視認可能に映像を表示する第２表示装置と、前記第２ユーザーの操作に応じて指示信号を出力する指示装置とを備えた遠隔端末装置とを有し、
前記指示装置から出力された前記指示信号が、前記第２通信装置から前記第１通信装置へと送信されたとき、前記第１表示装置は、前記指示情報に基づき映像を表示するようになっている映像送受信システムであって、
前記撮像装置が出力した映像信号に基づいて、フレームレートを変更した新たな映像信号を作成するデータ処理装置を有し、前記第２表示装置は,前記新たな映像信号に基づいて映像を表示するものである。

本発明によれば、例えば作業の映像を見る側の違和感を抑えつつ、的確な作業指示を出すことができる映像送受信システムを提供することができる。

本実施の形態にかかる映像送受信システムを説明するための図である。 本実施の形態にかかるウエアラブル機器の斜視図である。 作業者がウエアラブル機器のＨＭＤを装着した状態を示す図である。 ＨＭＤのブロック図である。 第１の動作パターンを示すフローチャートである。 端末ＴＭのモニターＭＮに表示される映像を時系列的に示す図である。 表示部１０８に表示された合成映像の一例を示す図である。 第２の動作パターンを示すフローチャートである。 第３の動作パターンを示すフローチャートである。 第４の動作パターンを示すフローチャートである。 第５の動作パターンを示すフローチャートである。

以下に、本発明の実施形態を、図面を参照して説明する。図１は、本実施の形態にかかる映像送受信システムを説明するための図である。図１において、車両ＶＨを整備する整備工場の作業者（第１ユーザー）ＷＫは、ウエアラブル端末（電子機器）であるＨＭＤ１００を頭部に装着している。ＨＭＤ１００は、アクセスポイントＡＰを介してサーバーＳＶに無線で通信可能となっている。サーバーＳＶは、広域ネットワークＷＡＮ等を介して、整備工場から離れた中央センターＣＴ内の端末（遠隔端末装置）ＴＭと通信可能となっている。

図２は、本実施の形態にかかるウエアラブル機器の斜視図である。図３は、作業者がウエアラブル機器のＨＭＤを装着した状態を示す図である。図４は、ウエアラブル機器のブロック図である。本実施の形態のウエアラブル機器は、作業者ＷＫの頭部に装着するヘッドマウントディスプレイ（ＨＭＤという）１００と、ＨＭＤ１００とは別体のコントロールボックスＣＢと、これらを連結するケーブルＣＢＬとを有する。

図２に示すように、ＨＭＤ１００は，フレームＦＲＭを有している。上方から見てコ字状であるフレームＦＲＭは、前方の一端側下部に矩形枠ＦＲを取り付け、その上部に本体部１２０を取り付けている。矩形枠ＦＲ内部が、ディスプレイである表示部（第１表示装置）１０８となる。ケーブルＣＢＬは、コントロールボックスＣＢ内のプロセッサー２０１とＨＭＤ１００の各部との間で情報伝達を行う信号線と、コントロールボックスＣＢ内のバッテリー２１０及び電源回路部２０９からＨＭＤ１００の各部に対して電力を供給する為の電力線とを内包している。

図３に示すように、フレームＦＲＭを作業者ＷＫの頭部に装着した状態で、作業者ＷＫの右目の前に矩形枠ＦＲが配置される。矩形枠ＦＲ内には、スルー表示が可能な表示部１０８が配置されている。尚、コントロールボックスＣＢは、本実施の形態では作業者ＷＫの腰部に保持されているが、不図示のポーチなどに収容されて作業者ＷＫが持ち歩けるようになっていても良い。

図４に示すように、ＨＭＤ１００内の本体部１２０内には、画像データの入力を行うカメラ（撮像装置）１０１と、地磁気データの検出を行う地磁気センサー１０２と、加速度データの検出を行う加速度センサー１０３と、角速度データの検出を行う角速度センサー（検出装置）１０４と、非接触で検出物体が近づいたことの検出を行う近接センサー１０５と、音声データの入力を行うマイク１０６と、表示部１０８の制御を行う表示制御部１０７と、音声データの出力を行うスピーカー１０９と、音声データの出力を行うイヤホン１１０と、ＨＭＤ１００の各部に電力を供給するための電源回路１１１と、ケーブルＣＢＬの接続／切断を検出する接続信号発生部１１２とを有する。これらは、信号線を介してコントロールボックスのプロセッサー２０１から送信される信号により制御され、また自身が発生した信号をプロセッサー２０１に送信するようになっている。尚、上述の装置全てが設けられている必要はなく、少なくともカメラ１０１と表示部１０８と表示制御部１０７が設けられていれば足りる。カメラ１０１は、ＨＭＤ１００を装着した作業者ＷＫの前方を撮像可能となっている。尚、本明細書中、映像とは画像を含むものとする。

一方、コントロールボックスＣＢ内には、ウエアラブル機器全体の制御を司る演算処理装置としてのプロセッサー２０１と、ＧＰＳデータの入力を行うＧＰＳ受信部２０２と、アクセスポイントＡＰを介してサーバーＳＶとの間で情報伝達を行うための通信部（第１通信装置）２０３と、プロセッサー２０１の制御プログラムなどが格納された不揮発性メモリであるＲＯＭ２０４と、プロセッサー２０１の演算結果やワークエリアとして機能する揮発性メモリであるＲＡＭ２０５と、カメラ撮影画像などのデータ保存用のストレージデバイス２０６と、通常はオン操作することでプロセッサー２０１を起動させる電源スイッチ２０７ａ（図２）を含み、作業者ＷＫの操作指示を受ける操作部２０７と、バッテリー２１０の制御を行うバッテリー制御部２０８と、コントロールボックスＣＢの各部及びＨＭＤ１００に対して給電を行う電源回路部２０９と、ウエアラブル機器を駆動するためのバッテリー２１０と、データ処理装置である画像処理部２１１とを有する。画像処理部２１１は、ＨＭＤ１００側で映像のフレームレートを変更する際に動作し、操作部２０７の固有の操作によりフレームレート変更が要求された場合、作業指示者側からフレームレート変更を要求された場合、もしくは角速度センサー１０４により揺れが大きいと判断した場合、作業指示者側に送信するカメラ１０１から出力された元映像信号に基づいてフレームレートを変更するように機能するが、各場合に関しての詳細は後述する。

センターに設けられた端末ＴＭは、通信部（第２通信装置）及び画像処理部（データ処理装置）を内蔵した本体ＢＤと、不図示の作業指示者（第２ユーザー）が観察できるモニター（第２表示装置）ＭＮと、作業指示者が自らの指示を入力できるキーボード（又はマウス）等（指示装置）ＫＢを有している。本体ＢＤの画像処理部は、キーボード（又はマウス）の操作によりフレームレート変更を要求された場合、もしくは揺れが比較的大きいとされる「揺れ情報」が送信された場合、作業指示者側に送信するカメラ１０１から出力された元映像信号に基づいてフレームレートを変更するように機能するが、各場合に関しての詳細は後述する。

（第１の動作パターン）
次に、本実施の形態にかかる映像送受信システムを用いた作業支援動作について説明する。図５は、第１の動作パターンを示すフローチャートである。図６は、端末ＴＭのモニターＭＮに表示される映像を時系列的に示す図である。第１の動作パターンでは、作業者ＷＫ側の操作により作業指示者側に送信する映像のフレームレートを変更する。

より具体的に第１のパターンでは、作業者ＷＫが、車両ＶＨの下をのぞき込むなど、揺れが大きくなる可能性が高い作業を行うことが明らかな場合、作業者ＷＫの意思で撮像した映像のフレームレートを変更し、その映像信号（画像情報ともいう）を広域ネットワークＷＡＮを介して、遠隔地のセンターＣＴにいる作業指示者側へ送信するのである。これにより、作業者ＷＫ側から作業指示者側へと送信される映像信号の容量を抑えることができるというメリットもある。以下、図５のフローチャートを参照して、具体的に第１の動作パターンを説明する。

図５のステップＳ１１１において、ＨＭＤ１００を装着した作業者ＷＫが電源スイッチ２０７ａをオン操作し、中央センターＣＴ側で作業指示者が端末ＴＭを起動することで作業支援ルーチンを開始する。このときＨＭＤ１００のカメラ１０１が動作を開始し、作業者ＷＫの作業を撮像して映像信号（元映像信号）として出力する。かかる映像信号はフレームレートが６０ｆｐｓであり、ストレージデバイス２０６に一時的に記憶される。

更にステップＳ１１２で、ＨＭＤ１００のプロセッサー２０１は、作業者ＷＫが操作部２０７を操作したか否かを判断する。作業者ＷＫが要求装置としての操作部２０７を操作することにより、要求信号が出力されたと判断した場合、続くステップＳ１１３で、プロセッサー２０１は、行われた作業者ＷＫの操作がフレームレートの変更を要求するものか否かを判断する。行われた作業者ＷＫの操作がフレームレートの変更を要求するものであると判断した場合、ステップＳ１１４で、プロセッサー２０１は画像処理部２１１を駆動して、ストレージデバイス２０６から映像信号を読み出して,そのフレームレートを変更する。

より具体的には、例えば操作部２０７の操作により、２段階（中、低）にフレームレートを変更できるものとした場合、その操作に応じて、ステップＳ１１４で、画像処理部２１１はフレームレートを変更する。その際、中フレームレートが要求されたときは、画像処理部２１１は映像信号に基づき、例えば３０ｆｐｓのフレームレートを設定し、低フレームレートが要求されたときは、画像処理部２１１は映像信号に基づき、例えば１５ｆｐｓのフレームレートを設定するか、静止画像に対応した画像信号に置き換える。フレームレートが変更された映像信号は、新たな映像信号としてストレージデバイス２０６に記憶される。

一方、プロセッサー２０１は、ステップＳ１１２で、操作部２０７を操作しないと判断した場合、又はステップＳ１１３で、ステップ行われた作業者ＷＫの操作がフレームレートの変更を要求するものでないと判断した場合、ステップＳ１１５で、フレームレートの変更を行わないと決定する。よって、ストレージデバイス２０６に記憶された映像信号のフレームレートは、元のまま（６０ｆｐｓ）である。

更に、ステップＳ１１６で、プロセッサー２０１は、ストレージデバイス２０６に記憶された映像信号（元映像信号又は新たな映像信号）を、サーバーＳＶを介して中央センターＣＴ側の端末ＴＭに送信する。尚、本明細書における「送信」とは、サーバーＳＶにアップロードされた映像信号を、端末ＴＭ又はＨＭＤ１００にダウンロードすることを含む。

映像信号を受信した端末ＴＭは、それに基づきステップＳ１１７でモニターＭＮに映像を表示する。例えば送信された映像信号が,フレームレートを変更しない（つまり６０ｂｐｓ）ものであれば、モニターＭＮに表示される映像は図６（ａ）に示すように連続的に変化するものとなる。作業時における作業者ＷＫの頭部の揺れが少ない場合、図６（ａ）に示すように連続的に変化する映像を観察しても、作業指示者が違和感を覚えることが少ない。

これに対し、中フレームレート（３０ｂｐｓ）の映像信号の場合、モニターＭＮに表示される映像は図６（ｂ）に示すように間引かれて、段階的に変化するものとなる。よって、作業時における作業者ＷＫの頭部の揺れが中程度に大きい場合、その映像を観察した作業指示者が違和感を覚える恐れが少ない。

更に、低フレームレート（１５ｂｐｓ）の映像信号もしくは静止画の画像信号の場合、モニターＭＮに表示される映像は図６（ｃ）に示すように更に間引かれて、段階的に変化するもの或いは静止画像となる。よって、作業者ＷＫの頭部の揺れが最も大きい場合でも、その映像を観察した作業指示者が違和感を覚える恐れが少ない。

ステップＳ１１８で、モニターＭＮの映像を見た作業指示者が、端末ＴＭのキーボード（又はマウス）ＫＢを用いて、作業指示を入力する。すると、ステップＳ１１９で、端末ＴＭで指示信号と、フレームレート変更前の映像信号又はフレート変更後の映像信号とを合成して合成映像信号を作成し、かかる合成映像信号をＨＭＤ１００側へと送信して、ステップＳ１２０で表示制御部１０７が表示部１０８に合成映像を表示する。一方、変形例として、ステップＳ１１９で端末ＴＭの本体ＢＤから、サーバーＳＶを介してＨＭＤ１００に指示信号（ここでは画像信号であり、共有画面情報ともいう）を送信することもできる。

かかる場合、ステップＳ１２０で、ＨＭＤ１００のプロセッサー２０１は、受信した指示信号と、ストレージデバイスに記憶された元のフレームレートの映像信号とを合成して合成映像信号を作成し、かかる合成映像信号に基づいて表示制御部１０７は表示部１０８に合成映像を表示する。指示信号を、フレームレート変更後の映像信号ではなく変更前の映像信号（フレームレート６０ｂｐｓ）と合成することにより、作業者ＷＫが自身で撮像した映像をリアルタイムに確認可能となり、作業効率低下を防止することができる。

図７は、表示部１０８に表示された合成映像の一例を示す図である。図７において、工具ＴＬを持った作業者ＷＫの手ＨＤに対して、作業指示者による指示情報としての赤い指示枠ＩＤが表示され、工具ＴＬを指示枠ＩＤ内に収めるように作業するよう促されるようになっている。作業者ＷＫは、眼前の表示部１０８に表示される自分の作業する手元の映像を見ながら、指示枠ＩＤに従って適切な作業を行うことができる。尚、表示される指示情報としては枠に限られず、矢印や文字等であって良い。

その後、ステップＳ１２１で作業支援の終了が要求されなければ、ステップＳ１１２へとフローが戻って同様の動作が行われるが、作業支援の終了が要求されれば、作業支援ルーチンは終了する。

（第２の動作パターン）
図８は、第２の動作パターンを示すフローチャートである。第２の動作パターンでは、揺れが大きくなる可能性が高い作業を行うことが明らかな場合、作業者ＷＫの意思に基づき「フレームレート変更信号」を送信する。かかる「フレームレート変更信号」は、カメラ１０１の撮像により得られた映像信号（フレームレート変更前）と共に作業者側へと送信されることとなる。

図８のステップＳ２１１において、ＨＭＤ１００を装着した作業者ＷＫが電源スイッチ２０７ａをオン操作し、中央センターＣＴ側で作業指示者が端末ＴＭを起動することで作業支援ルーチンを開始する。このときＨＭＤ１００のカメラ１０１が動作を開始し、作業者ＷＫの作業を撮像して映像信号（元映像信号）として出力する。かかる映像信号はフレームレートが６０ｆｐｓであり、ストレージデバイス２０６に一時的に記憶される。

更にステップＳ２１２で、ＨＭＤ１００のプロセッサー２０１は、作業者ＷＫが要求装置としての操作部２０７を操作したか否かを判断する。作業者ＷＫが操作部２０７を操作することにより要求信号が出力されたと判断した場合、続くステップＳ２１３で、プロセッサー２０１は、行われた作業者ＷＫの操作がフレームレートの変更を要求するものか否かを判断する。行われた作業者ＷＫの操作がフレームレートの変更を要求するものであると判断した場合、プロセッサー２０１はフレームレート変更が必要となることを示す「フレームレート変更信号」を出力する。その後ステップＳ２１４で、ストレージデバイス２０６に一時的に記憶された映像信号と、「フレームレート変更信号」とをサーバーＳＶを介して中央センターＣＴ側の端末ＴＭに送信する。

一方、プロセッサー２０１は、ステップＳ２１２で、操作部２０７を操作しないと判断した場合、又はステップＳ２１３で、ステップ行われた作業者ＷＫの操作がフレームレートの変更を要求するものでないと判断した場合、ステップＳ２１５で、「フレームレート変更信号」を出力しないと決定する。その後ステップＳ２１６で、ストレージデバイス２０６に一時的に記憶された映像信号，及びフレームレートが変更不要であることを示す「不要信号」を、サーバーＳＶを介して中央センターＣＴ側の端末ＴＭに送信する。尚、「フレームレート変更信号」を送信しないことで、「不要信号」を送信する代わりとしても良い。

ステップＳ２１４の後、ステップＳ２１６で、映像信号と「フレームレート変更信号」とを受信した端末ＴＭは、ＨＭＤ１００から送信された映像信号を内蔵メモリに記憶すると共に、映像信号のフレームレートを変更する。例えば操作部２０７の操作により、「フレームレート変更信号」のレベルが２段階（中、低）であるときは、そのレベルに応じて、端末ＴＭはフレームレートを変更する。具体的には、中フレームレートが要求されたときは、端末ＴＭは映像信号に基づき、例えば３０ｆｐｓのフレームレートを設定し、低フレームレートが要求されたときは、端末ＴＭは映像信号に基づき、例えば１５ｆｐｓのフレームレートを設定するか、静止画像に対応した画像信号に置き換える。

これに対し、ステップＳ２１５の後、ステップＳ２１７で、映像信号及び「不要信号」を受信した端末ＴＭは、映像信号のフレームレートを変更せず、そのまま内蔵メモリに記憶する。

その後、端末ＴＭは、ステップＳ２１８でモニターＭＮに映像を表示する。このとき、映像信号のフレームレートが変更されていなければ、モニターＭＮに表示される映像は図６（ａ）に示すように連続的に変化するものとなるのに対し、映像信号のフレームレートが変更されて入れば、モニターＭＮに表示される映像は図６（ｂ）、（ｃ）に示すように間引かれて、段階的に変化するものとなる。

ステップＳ２１９で、モニターＭＮの映像を見た作業指示者が、端末ＴＭのキーボード（又はマウス）ＫＢを用いて、作業指示を入力する。すると、端末ＴＭは内蔵メモリに記憶した映像信号と指示信号とを合成して合成映像信号を作成し、ステップＳ２２０で、サーバーＳＶを介してＨＭＤ１００に合成映像信号を送信する。

ステップＳ２２１で、ＨＭＤ１００のプロセッサー２０１が合成映像信号を受信した後、かかる合成映像信号に基づいて表示制御部１０７は表示部１０８に合成映像を表示する（図７参照）。

その後、ステップＳ２２２で作業支援の終了が要求されなければ、ステップＳ２１２へとフローが戻って同様の動作が行われるが、作業支援の終了が要求されれば、作業支援ルーチンは終了する。

（第３の動作パターン）
図９は、第３の動作パターンを示すフローチャートである。第３の動作パターンでは、作業指示者の操作に応じて、表示する画像のフレームレートを変更する。作業指示者がモニターＭＮ上に表示されている映像から揺れが大きいと判断した場合、作業指示者の意思で映像のフレームレートの変更を実施することができる。

図９のステップＳ３１１において、ＨＭＤ１００を装着した作業者ＷＫが電源スイッチ２０７ａをオン操作し、中央センターＣＴ側で作業指示者が端末ＴＭを起動することで作業支援ルーチンを開始する。このときＨＭＤ１００のカメラ１０１が動作を開始し、作業者ＷＫの作業を撮像して映像信号（元映像信号）として出力する。かかる映像信号はフレームレートが６０ｆｐｓであり、ストレージデバイス２０６に一時的に記憶される。

更にステップＳ３１２で、ＨＭＤ１００のプロセッサー２０１は、ストレージデバイス２０６に一時的に記憶された映像信号を、サーバーＳＶを介して中央センターＣＴ側の端末ＴＭに送信する。

一方、端末ＴＭは、ＨＭＤ１００から送信された映像信号を内蔵メモリに記憶すると共に、受信した映像信号に基づき作業の映像をモニターＭＮに表示するが、ステップＳ３１３で、モニターＭＮを観察した作業指示者が、要求装置としてのキーボード（又はマウス）ＫＢを介してフレームレートの変更を要求したか否かを判断する。表示された映像の揺れが酷いため、フレームレートの変更が要求された要求信号が出力されたと判断した場合、ステップＳ３１４で端末ＴＭは、映像信号のフレームレートを変更する。映像信号の揺れに応じて、端末ＴＭは２段階にフレームレートを変更することができる。具体的には、揺れが中程度であると判断した作業指示者の操作により、端末ＴＭは映像信号に基づき、例えば３０ｆｐｓのフレームレートを設定し、揺れが最も大きいと判断した作業指示者の操作により、端末ＴＭは映像信号に基づき、例えば１５ｆｐｓのフレームレートを設定するか、静止画像に対応した画像信号に置き換える。

これに対し、ステップＳ３１３で、モニターＭＮを観察した作業指示者が、キーボード（又はマウス）ＫＢを介してフレームレートの変更を要求しなかった場合、ステップＳ３１５で、端末ＴＭは、映像信号のフレームレートを変更せず、そのままとする。

その後、端末ＴＭは、ステップＳ３１６でモニターＭＮに映像を表示する。このとき、映像信号のフレームレートが変更されていなければ、モニターＭＮに表示される映像は図６（ａ）に示すように連続的に変化するものとなるのに対し、映像信号のフレームレートが変更されて入れば、モニターＭＮに表示される映像は図６（ｂ）、（ｃ）に示すように間引かれて、段階的に変化するものとなる。

ステップＳ３１７で、モニターＭＮの映像を見た作業指示者が、端末ＴＭのキーボード（又はマウス）ＫＢを用いて、作業指示を入力する。すると、端末ＴＭは内蔵メモリに記憶した元映像信号と指示信号とを合成して合成映像信号を作成し、ステップＳ３１８で、サーバーＳＶを介してＨＭＤ１００に合成映像信号を送信する。

ステップＳ３１９で、ＨＭＤ１００のプロセッサー２０１が合成映像信号を受信した後、かかる合成映像信号に基づいて表示制御部１０７は表示部１０８に合成映像を表示する（図７参照）。

その後、ステップＳ３２０で作業支援の終了が要求されなければ、ステップＳ３１２へとフローが戻って同様の動作が行われるが、作業支援の終了が要求されれば、作業支援ルーチンは終了する。

（第４の動作パターン）
図１０は、第４の動作パターンを示すフローチャートである。第４の動作パターンでは、ＨＭＤ１００に搭載された角速度センサー１０４によって検出された作業者ＷＫの頭部の揺れ情報に基づいて、揺れが大きいと判断した場合は、作業指示者側へ送信する映像のフレームレートを変更する。

図１０のステップＳ４１１において、ＨＭＤ１００を装着した作業者ＷＫが電源スイッチ２０７ａをオン操作し、中央センターＣＴ側で作業指示者が端末ＴＭを起動することで作業支援ルーチンを開始する。このときＨＭＤ１００のカメラ１０１が動作を開始し、作業者ＷＫの作業を撮像して映像信号（元映像信号）として出力する。かかる映像信号はフレームレートが６０ｆｐｓであり、ストレージデバイス２０６に一時的に記憶される。

更にステップＳ４１２で、ＨＭＤ１００のプロセッサー２０１は、角速度センサー１０４からの角速度信号を受信する。続くステップＳ４１３で、検出した角速度が閾値（例えば角速度100deg/s）以上であるか否かをプロセッサー２０１が判断する。検出した角速度が閾値以上であると判断した場合、揺れが比較的大きいと認識して、プロセッサー２０１は、ステップＳ４１４でストレージデバイス２０６に記憶した映像信号のフレームレートを変更する。

ここで、検出した角速度に応じて「揺れ情報」を複数レベル（角速度が閾値未満でほぼ揺れなし、角速度が閾値以上で中程度の揺れあり、更に大きな揺れあり）に設定することができる。具体的には、中程度の揺れを検出したときは、プロセッサー２０１は映像信号に基づき、例えば３０ｆｐｓのフレームレートを設定し、大きな揺れを検出したときは、プロセッサー２０１は映像信号に基づき、例えば１５ｆｐｓのフレームレートを設定するか、静止画像に対応した画像信号に置き換える。

これに対し、ステップＳ４１３で、検出した角速度が閾値未満であると判断した場合、揺れが比較的小さいと認識して、プロセッサー２０１は、ステップＳ４１５で映像信号のフレームレートを変更しないことを決定する。よって、ストレージデバイス２０６に記憶された映像信号のフレームレートは、元のまま（６０ｆｐｓ）である。

更に、ステップＳ４１６で、プロセッサー２０１は、ストレージデバイス２０６に記憶された映像信号（元映像信号又は新たな映像信号）を、サーバーＳＶを介して中央センターＣＴ側の端末ＴＭに送信する。

映像信号を受信した端末ＴＭは、それに基づきステップＳ４１７でモニターＭＮに映像を表示する。例えば送信された映像信号が,フレームレートを変更しない（つまり６０ｂｐｓ）ものであれば、モニターＭＮに表示される映像は図６（ａ）に示すように連続的に変化するものとなるのに対し、映像信号のフレームレートが変更されて入れば、モニターＭＮに表示される映像は図６（ｂ）、（ｃ）に示すように間引かれて、段階的に変化するものとなる。

ステップＳ４１８で、モニターＭＮの映像を見た作業指示者が、端末ＴＭのキーボード（又はマウス）ＫＢを用いて、作業指示を入力する。すると、端末ＴＭは内蔵メモリに記憶したフレーム変更前又は変更後の映像信号と、指示信号とを合成して合成映像信号を作成し、ステップＳ４１９で端末ＴＭの本体ＢＤから、サーバーＳＶを介してＨＭＤ１００に合成映像信号が送信される。

ステップＳ４２０で、ＨＭＤ１００のプロセッサー２０１は、受信した合成映像信号に基づいて表示制御部１０７は表示部１０８に合成映像を表示する。

その後、ステップＳ４２１で作業支援の終了が要求されなければ、ステップＳ４１２へとフローが戻って同様の動作が行われるが、作業支援の終了が要求されれば、作業支援ルーチンは終了する。

（第５の動作パターン）
図１１は、第５の動作パターンを示すフローチャートである。第５の動作パターンでは、ＨＭＤ１００の角速度センサー１０４によって検出した揺れ情報を、元映像信号と共に作業指示者側へ送信し、作業指示者の端末ＴＭにおいて揺れ情報から揺れが大きいと判断した場合は、映像のフレームレートを変更する。

図１１のステップＳ５１１において、ＨＭＤ１００を装着した作業者ＷＫが電源スイッチ２０７ａをオン操作し、中央センターＣＴ側で作業指示者が端末ＴＭを起動することで作業支援ルーチンを開始する。このときＨＭＤ１００のカメラ１０１が動作を開始し、作業者ＷＫの作業を撮像して映像信号として出力する。かかる映像信号はフレームレートが６０ｆｐｓであり、ストレージデバイス２０６に一時的に記憶される。

更にステップＳ５１２で、ＨＭＤ１００のプロセッサー２０１は、角速度センサー１０４からの角速度信号を受信して、検出した角速度に応じて揺れ情報を作成する。上述したように、検出した角速度に応じて「揺れ情報」を複数レベル（角速度が閾値未満でほぼ揺れなし、角速度が閾値以上で中程度の揺れあり、更に大きな揺れあり）に設定することができる。

続くステップＳ５１３で、プロセッサー２０１は、フレームレート変更前の映像信号と共に揺れ情報を端末ＴＭに送信する。端末ＴＭは、送信された映像信号と揺れ情報を内蔵メモリに記憶する。

ステップＳ５１４で端末ＴＭは、受信した揺れ情報に基づき比較的大きい揺れ（例えば検出した角速度閾値以上）であるか否かを判断する。検出した角速度が閾値以上であると判断した場合、ステップＳ５１５でプロセッサー２０１は、送信された映像信号のフレームレートを変更する。具体的には、揺れ情報が中程度の揺れを示していたときは、端末ＴＭは映像信号に基づき、例えば３０ｆｐｓのフレームレートを設定し、揺れ情報が大きな揺れを示していたときは、端末ＴＭは映像信号に基づき、例えば１５ｆｐｓのフレームレートを設定するか、静止画像に対応した画像信号に置き換える。

これに対し、ステップＳ５１４で、受信した揺れ情報が小さい（例えば検出した角速度が閾値未満）であると判断した場合、端末ＴＭは、ステップＳ５１６で映像信号のフレームレートを変更しないことを決定する。よって、映像信号のフレームレートは、元のまま（６０ｆｐｓ）である。

更にステップＳ５１７で、端末ＴＭは、フレームレート変更前又はフレームレート変更後の映像信号に基づきモニターＭＮに映像を表示する。例えば送信された映像信号が,フレームレートを変更しない（つまり６０ｂｐｓ）ものであれば、モニターＭＮに表示される映像は図６（ａ）に示すように連続的に変化するものとなるのに対し、映像信号のフレームレートが変更されて入れば、モニターＭＮに表示される映像は図６（ｂ）、（ｃ）に示すように間引かれて、段階的に変化するものとなる。

ステップＳ５１８で、モニターＭＮの映像を見た作業指示者が、端末ＴＭのキーボード（又はマウス）ＫＢを用いて、作業指示を入力する。すると、端末ＴＭは内蔵メモリに記憶したフレーム変更前の映像信号と指示信号とを合成して合成映像信号を作成し、更にステップＳ５１９で端末ＴＭの本体ＢＤから、サーバーＳＶを介してＨＭＤ１００に合成映像信号が送信される。

ステップＳ５２０で、ＨＭＤ１００のプロセッサー２０１は、受信した合成映像信号に基づいて表示制御部１０７は表示部１０８に合成映像を表示する。

その後、ステップＳ５２１で作業支援の終了が要求されなければ、ステップＳ５１２へとフローが戻って同様の動作が行われるが、作業支援の終了が要求されれば、作業支援ルーチンは終了する。

更に変形例として、ＨＭＤ１００のカメラ１０１がズーム可能な光学系を有する場合、カメラの撮像時の画角を変更可能となる。そこでカメラ１０１のズーム動作を行って画角を変更した場合、閾値以下（望遠側）になるよう画角が変更されたときは、ＨＭＤ１００の画像処理部２１１又は端末ＴＭでフレームレートを変更し、表示された映像を観察する作業指示者の違和感を抑制できる。一方、カメラ１０１のズーム動作で閾値を超える（広角側）ように画角が変更されたときは、表示された映像に揺れが少ないと考えられるので、フレームレートを変更しないようにできる。

以上述べた実施の形態で、フレームレートの変更は２段階としたが、１段階、もしくは３段階以上であっても良い。作業者の頭部の揺れを検出する検出装置としては、角速度センサーではなくジャイロセンサーを用いても良い。又、作業指示者側から作業者側へと送信される指示信号は、画像信号に限られず、音声信号やアラーム信号であっても良く、これにより聴覚を通じても作業指示を行える。電子機器と遠隔端末装置の間隔は、近距離（例えば同じ敷地内）であっても良い。

１００ ＨＭＤ
１０１ カメラ
１０２ 地磁気センサー
１０３ 加速度センサー
１０４ 角速度センサー
１０５ 近接センサー
１０６ マイク
１０７ 表示制御部
１０８ 表示部
１０９ スピーカー
１１０ イヤホン
１１１ 電源回路
１１２ 接続信号発生部
１２０ 本体部
２０１ プロセッサー
２０２ ＧＰＳ受信部
２０３ 通信部
２０６ ストレージデバイス
２０７ 操作部
２０７ａ 電源スイッチ
２０８ バッテリー制御部
２０９ 電源回路部
２１０ バッテリー
２１１ 画像処理部
ＡＰ アクセスポイント
ＢＤ 本体
ＣＢ コントロールボックス
ＣＢＬ ケーブル
ＣＴ 中央センター
ＦＲＭ フレーム
ＨＤ 手
ＭＮ モニター
ＳＶ サーバー
ＴＬ 工具
ＴＭ 端末
ＷＡＮ 広域ネットワーク
ＷＫ 作業者

Claims (10)

1. 第１ユーザーの頭部に装着され被写体を撮像して映像信号を出力する撮像装置と、前記映像信号を送信する第１通信装置と、前記第１ユーザーが視認可能な第１表示装置とを備えた電子機器と、
   前記第１通信装置から送信された映像信号を受信する第２通信装置と、前記第２通信装置が受信した前記映像信号に基づき前記第２ユーザーが視認可能に映像を表示する第２表示装置と、前記第２ユーザーの操作に応じて指示信号を出力する指示装置とを備えた遠隔端末装置とを有し、
   前記指示装置から出力された前記指示信号が、前記第２通信装置から前記第１通信装置へと送信されたとき、前記第１表示装置は、前記指示情報に基づき映像を表示するようになっている映像送受信システムであって、
   前記撮像装置が出力した映像信号に基づいて、フレームレートを変更した新たな映像信号を作成するデータ処理装置を有し、前記第２表示装置は,前記新たな映像信号に基づいて映像を表示する映像送受信システム。
2. 前記電子機器は、前記撮像装置の動きを検出する検出装置を有し、前記検出装置が閾値以上の前記撮像装置の動きを検出したときは、前記データ処理装置が前記映像信号に基づいて、フレームレートを変更した新たな映像信号を作成する請求項１に記載の映像送受信システム。
3. 前記第１ユーザー又は前記第２ユーザーの操作に応じて、フレームレートの変更を要求する要求信号を出力可能な要求装置を有し、前記要求装置から前記要求信号が出力されたとき、前記データ処理装置が前記映像信号に基づいて、フレームレートを変更した新たな映像信号を作成する請求項１に記載の映像送受信システム。
4. 前記要求装置は、前記電子機器に設けられており、前記第１ユーザーの操作に応じて前記要求信号を出力する請求項３に記載の映像送受信システム。
5. 前記要求装置は、前記遠隔端末装置に設けられており、前記第２ユーザーの操作に応じて前記要求信号を出力する請求項３に記載の映像送受信システム。
6. 前記データ処理装置は、前記電子機器に設けられており、前記新たな映像信号を前記第１通信装置から前記第２通信装置へと送信する請求項２〜５のいずれかに記載の映像送受信システム。
7. 前記データ処理装置は、前記指示装置から出力された前記指示信号と、フレームレート変更前の映像信号とを合成した合成映像信号を作成し、前記第１表示装置は、前記合成映像信号に基づいて映像を表示する請求項６に記載の映像送受信システム。
8. 前記データ処理装置は、前記遠隔端末装置に設けられている請求項２〜５のいずれかに記載の映像送受信システム。
9. 前記データ処理装置は、前記指示装置から出力された前記指示信号と、フレームレート変更前の映像信号とを合成した合成映像信号を作成し、前記第２通信装置は、前記合成映像信号を前記第１通信装置へと送信し、前記第１表示装置は、前記合成映像信号に基づいて映像を表示する請求項８に記載の映像送受信システム。
10. 前記撮像装置の撮像時の画角を変更可能となっており、変更された前記画角に応じて、前記データ処理装置が前記映像信号に基づいて、フレームレートを変更した新たな映像信号を作成する請求項１〜９のいずれかに記載の映像送受信システム。

Images