JP2018121195A - 遠隔制御システム - Google Patents

Abstract

【課題】操作者の動きにほぼリアルタイムで追従した映像を投影することのできる遠隔制御システムを提供する。【解決手段】作業機械を遠隔操作するための遠隔操作装置と、２個の魚眼レンズを備え、前記作業機械の運転室に設けられるステレオカメラと、角度センサを備え、前記ステレオカメラが撮像する映像を表示するヘッドマウントディスプレイと、を有し、前記ステレオカメラが撮像する広範囲の魚眼映像から、前記角度センサが検知した操作者の頭の向きに応じて所望方向の部分映像を抽出し、該部分映像の歪みを補正した補正映像を、前記ヘッドマウントディスプレイに両眼視差を再現して表示する遠隔制御システム。【選択図】図１

Description

本発明は、作業機械を無人で遠隔操作する遠隔制御システムに関する。

地震、洪水、土砂崩れ等による災害復旧工事において、有人の作業機械による作業は二次災害のおそれがあるため、遠隔操作した無人の作業機械による作業が行われる場合がある。
例えば、特許文献１には、人の立ち入りが不可能な領域内で無線運転制御される重機を、この領域外に設置した複数台の固定式の望遠カメラから得られる監視画像を見ながら操作する重機運転遠隔制御システムが提案されている。
特許文献１で提案されたシステムは、様々なアングルからの監視画像を取得するために複数台の望遠カメラを作業領域を取り囲むように設置する必要があり、無線運転制御される重機による作業に取り掛かるまでに時間がかかる。また、人が立ち入れないようなエリアでは、望遠カメラの設置作業自体が危険で困難である。さらに、望遠カメラから得られる監視画像は、アングルが固定されており、樹木、土砂、瓦礫等の障害物、さらには重機自体による死角が生じるため、作業性が悪い。

この特許文献１で提案されているシステムの問題点を解決するために、作業機械そのものにカメラを搭載する方法がある。例えば、特許文献２には、遠隔操作可能な作業機械に撮像装置を搭載し、この撮像装置からの画像を遠隔地にいる操作者が装着したヘッドマウントディスプレイに投影し、操作者の動きを検知するウェアラブルセンサからの信号により操作者の動きに応じて作業機械に設けた撮像装置の向きを調整する作業機械用遠隔操作システムが提案されている。
特許文献２で提案されたシステムは、作業機械に撮像装置が搭載されているため、特許文献１で提案されたシステムの問題点は生じない。しかし、操作者の動きに応じて作業機械に搭載された撮像装置が動くため、操作者が動いてから操作者が望む方向の映像がヘッドマウントディスプレイに投影されるまでに数秒のタイムラグが生じ、操作者のストレスが大きく、作業効率が悪いという問題がある。また、撮像装置は、作業機械に運動可能に搭載されているため、作業機械の移動や作業時の振動等により、撮像装置の方向がズレてしまうことがある。

特開平８−１６２３５号公報 特開２０１５−２２６０９４号公報

本発明は、操作者の動きにほぼリアルタイムで追従した映像を投影することのできる遠隔制御システムを提供することを課題とする。

１．作業機械を遠隔操作するための遠隔操作装置と、
２個の魚眼レンズを備え、前記作業機械の運転室に設けられるステレオカメラと、
角度センサを備え、前記ステレオカメラが撮像する映像を表示するヘッドマウントディスプレイと、
を有し、
前記ステレオカメラが撮像する広範囲の魚眼映像から、前記角度センサが検知した操作者の頭の向きに応じて所望方向の部分映像を抽出し、該部分映像の歪みを補正した補正映像を、前記ヘッドマウントディスプレイに両眼視差を再現して表示することを特徴とする遠隔制御システム。
２．前記作業機械に取付けられる撮像装置を有し、
前記ヘッドマウントディスプレイが、前記撮像装置が撮像する映像を表示可能であることを特徴とする１．に記載の遠隔制御システム。
３．前記ヘッドマウンドディスプレイが、ディスプレイ背面側を撮像する小型撮像装置を備え、
前記ヘッドマウントディスプレイが、前記小型撮像装置が撮像する映像を表示可能であることを特徴とする１．または２．に記載の遠隔制御システム。

本発明の遠隔制御システムは、予め撮像している広範囲の魚眼映像から、所望する領域の補正映像を作成するため、操作者の動きにほぼリアルタイムで追従した映像をヘッドマウントディスプレイに投影することができる。さらに、本発明の遠隔制御システムは、ステレオカメラの左右の魚眼レンズからの映像が、それぞれヘッドマウントディスプレイの左眼部分と右眼部分とに両目視差を再現して投影される。そのため、操作者は、実際の作業機械の運転室からの視界を忠実に再現した奥行き感のある映像をほぼリアルタイムで見ることができる。操作者は、リアルタイムで奥行き感のある映像を見ることができるため、遠隔操作でありながら、正確な作業を行うことができる。また、運転室からの視界を忠実に再現することができるため、運転室内に設置されている各種メーターを確認しながら作業することができる。
本発明の遠隔制御システムは、作業機械に遠隔操作装置とステレオカメラを後付けで設置し、システムを立ち上げるだけで構築することができるため、無人の作業機械の遠隔操作による作業を迅速に開始することができる。例えば、本発明の遠隔制御システムは、自然災害等で道路が分断され孤立状態となった場合からの復旧作業に好適に利用することができる。

本発明の遠隔制御システムは、作業機械にステレオカメラとは別の撮像装置を、作業機械の運転室からは死角となる方向を撮像するように取付けることにより、より安全な作業が可能である。また、ヘッドマウントディスプレイが備える小型撮像装置の映像を、ヘッドマウントディスプレイに投影することにより、ヘッドマウントディスプレイを外すことなく、操作者が現実に位置する場所の映像を視認することができる。

本発明の一実施態様である遠隔制御システムによりバックホウを遠隔制御する様を示す図。 本発明の一実施態様である遠隔制御システムの基本システム構成を示す図。 魚眼映像の例を示す図。 部分映像の例を示す図。 補正映像の例を示す図。

本発明は、作業機械を遠隔操作するための遠隔操作装置と、
２個の魚眼レンズを備え、作業機械の運転室に設けられるステレオカメラと、
角度センサを備え、ステレオカメラが撮像する映像を表示するヘッドマウントディスプレイと、を有し、
ステレオカメラが撮像する広範囲の魚眼映像から、角度センサが検知した操作者の頭の向きに応じて所望方向の部分映像を抽出し、この部分映像の歪みを補正した補正映像を、ヘッドマウントディスプレイに両眼視差を再現して表示する遠隔制御システムに関する。

以下、本発明の遠隔制御システムを作業機械の一種であるバックホウに搭載した一実施態様を用いて説明する。図１に、本発明の一実施態様である遠隔制御システム１００でバックホウ４０を遠隔制御する様を、図２に、この一実施態様である遠隔制御システム１００の基本システム構成を示す。

バックホウ４０は、平常時は作業員が乗って操作する有人操作機であるが、遠隔操作装置と接続することにより遠隔操作される無人操作機となる。
操作者は、ヘッドマウントディスプレイ３０を装着し、安全な場所に設置された操作室からコントローラ１１を用いてバックホウ４０を遠隔操作する。

一実施態様である遠隔操作装置１０は、バックホウ４０を遠隔操作するコントローラ１１、操作者側無線通信装置１２、作業機械側無線通信装置１３、バックホウ４０の動きを制御する作業機械制御装置１４とを備える。
なお、作業機械の遠隔操作装置は、作業機械ごとに開発されており、仕様も確立している。本発明の遠隔制御システムにおいて使用する遠隔操作装置は上記一実施態様のものに制限されない。例えば、作業機械側無線通信装置と作業機械制御装置は、予め作業機械に内蔵されている場合もある。

操作者側無線通信装置１２は、コントローラ１１からの操作信号を作業機械側無線通信装置１３に送信する。
作業機械側無線通信装置１３は、少なくともステレオカメラ２０の映像を操作者側無線通信装置１２に送信する。また、重油残量やラジエターの温度等のバックホウ４０の状態を操作者側無線通信装置１２に送信することもできる。
作業機械制御装置１４は、作業機械側無線通信装置１３が受信するコントローラ１１からの操作信号に応じて、バックホウ４０の動きを制御する。
操作者側無線通信装置１２と作業機械側無線通信装置１３とは、映像信号と操作信号とを送受信するものであるが、故障や障害物による電波障害等のトラブルに備えて、それぞれの信号について２以上の周波数による通信が可能であることが好ましい。

バックホウ４０の運転室には、有人操作の際の作業員の頭位置に相当する場所に、ステレオカメラ２０が、２個の魚眼レンズが水平方向に並ぶように固定される。ステレオカメラ２０は、移動時や作業時の振動等により位置がズレないように堅固に固定する。また、一実施態様である遠隔制御システム１００では、バックホウ４０の右前方に撮像装置２１が設置されている。

一実施態様であるヘッドマウントディスプレイ（以下、「ＨＭＤ」という。）３０は、映像が投影されるディスプレイ、操作者の頭の向きや動きを感知する角度センサ３１、ディスプレイ背面側を撮像する小型撮像装置３２とを備える。
ＨＭＤは、近年、多くの種類が上市されているが、本発明の遠隔制御システムにおいて使用するＨＭＤは、角度センサやジャイロセンサ等により感知した操作者の頭の向き、動きと、投影する映像とを連動させることができるものであれば特に制限されない。

本発明の遠隔制御システムは、ステレオカメラ２０が撮像する広範囲の魚眼映像から、ＨＭＤ３０の角度センサ３１が検知した操作者の頭の向きや動きに応じて操作者が所望する領域の部分映像を抽出し、この部分映像の歪みを補正した補正映像をＨＭＤ３０に投影することを特徴とする。
図３〜５に、バックホウの運転室に固定したステレオカメラから得られた魚眼映像、部分映像、補正映像の例を示す。

ステレオカメラ２０は、魚眼レンズを備えており、画角１７０°前後の広範囲の領域を魚眼映像（図３）で常時撮像している。魚眼映像は、広範囲の領域を映し出すことができるが、周辺部に行くほど歪みが大きくなる。本発明の遠隔制御システムは、この常時撮像している魚眼映像から、所望の方向（左前方）の部分映像（図４）を抽出し、この部分映像から歪みのない補正映像（図５）の作成を行う。
補正映像を作成する画像処理は、操作室内に設置された処理装置５０で行うことが好ましい。画像処理を、操作室内に設置された処理装置５０で行うことにより、画像処理の高速化、バックホウ４０に設置する装置構成の簡略化、ＨＭＤ３０の軽量化を実現することができる。

本発明の遠隔制御システムは、広範囲の魚眼映像を常時撮像しており、作業機械に搭載されたステレオカメラが動く必要が無い。また、本発明の遠隔制御システムは、広範囲の魚眼映像（図３）から抽出した部分映像（図４）のみに画像処理を施して補正映像（図５）の作成を行うため、画像処理に必要な演算量が少なく所要時間が短い。そのため、本発明の遠隔制御システムは、操作者が所望する方向の補正映像を、ほぼリアルタイムでＨＭＤに投影することができる。

本発明の遠隔制御システムは、作業機械に二個の魚眼レンズを備えたステレオカメラを搭載しており、ステレオカメラの左右の魚眼レンズからの映像は、それぞれＨＭＤの左眼部分、右眼部分に投影される。ステレオカメラは、二個の魚眼レンズにより対象物を異なる角度から撮像しており、操作者は、両目視差を再現した奥行き感のある映像を見ることができる。すなわち、本発明の遠隔制御システムにより、作業機械の運転室からの視界をほぼリアルタイムで忠実にＨＭＤに投影することができる。操作者は、奥行き感のある映像をほぼリアルタイムで見ながら作業することができるため、作業機械を正確に操作することができる。また、ステレオカメラは、運転室に設置されている各種メーターを常時撮像しているため、操作者は、必要時にこのメーターを視認することにより、実際の運転室と同じ情報を得ることができる。
ここで、人間の視野は、上方に６０°、下方に７０°、水平方向に１８０°程度と広いが、実際に注意が向けられ、焦点が合っている領域は非常に狭い。そのため、ＨＭＤに映像全体に焦点が合っている映像を投影した場合、操作者は、不自然な映像を見ることになり脳への負担が大きく、非常に疲れやすい。そのため、処理装置により、ＨＭＤに投影する映像の周辺部をぼやかして、自然な視界を再現することが好ましい。また、ＨＭＤの左眼部分と右眼部分に投影される映像に時間のずれが生じると、操作者へのストレスが大きいため、左右の魚眼レンズからの映像は同期してＨＭＤに投影することが好ましい。

一実施態様である遠隔制御システム１００は、バックホウ４０の右前方に取付けられた撮像装置２１を有する。この撮像装置２１からの映像は、バックホウ４０の右前方を確認したいとき、手動で切り替えることができる。バックホウ４０の運転室からは、右下方がブーム４１の死角となり視認しにくいが、この撮像装置２１の映像をＨＭＤ３０に投影することにより、操作者は、周囲の状況を正確に把握することができる。
なお、作業機械に取付ける撮像装置の数は制限されない。例えば、必要に応じて、バックホウの後方に撮像装置を追加で設置することができる。

コントローラは、バックホウを操作するためのスティックやボタン等を数多く備えている。操作者は、ＨＭＤを装着した状態でコントローラによりバックホウを遠隔操作するが、ＨＭＤにはバックホウに搭載されたステレオカメラからの映像が投影されるため、ＨＭＤを装着した状態ではコントローラを視認することができず、コントローラを手探りで操作しなければならない。
一実施態様である遠隔制御システム１００は、ＨＭＤ３０がディスプレイ背面側を撮像する小型撮像装置３２を備えており、この小型撮像装置３２からの映像をＨＭＤ３０に投影することができる。そのため、操作者は、小型撮像装置３２からの映像により、ＨＭＤ３０を装着したままコントローラ１１を視認することができる。一実施態様である遠隔制御システム１００は、ＨＭＤ３０の角度センサ３１が、操作者の頭が所定の角度以上下方を向いたことを検知した際に、ＨＭＤ３０に投影される映像の下半分が小型撮像装置３２からの映像に切り替わる。そのため、投影される映像の下半分でコントローラ１１を視認しつつ、上半分でバックホウ４０の動きを確認しながら操作することができる。

なお、本発明の遠隔制御システムは、上記一実施態様に限定されるものではない。例えば、作業機械として、ブルドーザ、ロードローラー、不整地運搬車等に好適に設置することができる。また、作業機械に３次元レーザー変位計を設置し、レーザー変位計で測定した地表面の凹凸情報を合成した映像を、ＨＭＤに投影することもできる。

１００ 遠隔制御システム

１０ 遠隔操作装置
１１ コントローラ
１２ 操作者側無線通信装置
１３ 作業機械側無線通信装置
１４ 作業機械制御装置

２０ ステレオカメラ
２１ 撮像装置

３０ ヘッドマウントディスプレイ
３１ 角度センサ
３２ 小型撮像装置

４０ バックホウ
４１ ブーム

Claims (3)

1. 作業機械を遠隔操作するための遠隔操作装置と、
   ２個の魚眼レンズを備え、前記作業機械の運転室に設けられるステレオカメラと、
   角度センサを備え、前記ステレオカメラが撮像する映像を表示するヘッドマウントディスプレイと、
   を有し、
   前記ステレオカメラが撮像する広範囲の魚眼映像から、前記角度センサが検知した操作者の頭の向きに応じて所望方向の部分映像を抽出し、該部分映像の歪みを補正した補正映像を、前記ヘッドマウントディスプレイに両眼視差を再現して表示することを特徴とする遠隔制御システム。
2. 前記作業機械に取付けられる撮像装置を有し、
   前記ヘッドマウントディスプレイが、前記撮像装置が撮像する映像を表示可能であることを特徴とする請求項１に記載の遠隔制御システム。
3. 前記ヘッドマウンドディスプレイが、ディスプレイ背面側を撮像する小型撮像装置を備え、
   前記ヘッドマウントディスプレイが、前記小型撮像装置が撮像する映像を表示可能であることを特徴とする請求項１または２に記載の遠隔制御システム。