以下、本発明に係る実施の形態について図面を参照しながら説明する。
(第1実施形態)
図1は、第1実施形態に係る作業機200の遠隔操作のための表示システム100を模式的に示す概略構成図である。
図1に示すように、作業機200の遠隔操作のための表示システム100は、作業機200が作業を行う作業現場から離れた場所で遠隔操作される作業機200にカメラ部310〜310が設けられ、カメラ部310〜310で撮影した画像(動画像)を遠隔操作側120に無線通信により送信し、得られた画像を遠隔操作側120の表示装置410にリアルタイムに表示する構成とされている。
表示システム100では、作業機200は、無人作業機とされており、作業現場から離れた場所で作業機200を遠隔操作する操作者500が表示装置410の表示画面を確認しながら遠隔操作側120から操作指令を送ることにより、遠隔操作される構成とされている。これにより、作業機200は、人間が入っていけないような危険な作業現場(例えば汚染された作業現場)で作業することができる。
作業機200は、水平方向に旋回可能かつ垂直方向に揺動可能な作業部220を有している。この例では、作業機200は、建設作業機(具体的にはショベルカー)とされている。作業機200は、クローラを構成する走行体210を有し、走行体210に対して作業部220が水平方向に(垂直方向に沿った軸線回りに)旋回可能に設けられている。作業部220は、走行体210に対して水平方向に旋回可能な上部体221と、上部体221に対して垂直方向に(水平方向に沿った軸線回りに)揺動可能なブーム222と、ブーム222に対して垂直方向に揺動可能なアーム223と、アーム223に対して垂直方向に揺動可能なバケット224とを有している。ここで、「水平方向」および「垂直方向」は、作業機200が水平面に設置された場合での方向である。
なお、アーム223の先端部に取り付けられるアタッチメントは、この例では、バケット224とされているが、それに限定されるものではなく、アーム223の先端部には、作業内容に応じたアタッチメントを適宜交換することができる。
また、作業機200は、この例では、ショベルカーとしたが、それに限定されるものではなく、他の建設作業機であってもよいし、農業作業機であってもよい。
作業機200は、遠隔操作装置230をさらに有している。遠隔操作装置230は、作業機200本体を遠隔操作するものであり、作業機200本体と無線通信を行う構成とされている。遠隔操作装置230は、操作者500による操作を受け付け、受け付けた操作に基づく操作指令を無線通信により作業機200本体に送信する。遠隔操作装置230は、作業部220(具体的には上部体221、ブーム222、アーム223およびバケット224等の構成部材)を操作するための操作レバー等の操作部231を備えている。
表示システム100は、作業機側110の構成要素300と、遠隔操作側120の構成要素400とで構成されている。
作業機側110の構成要素300は、作業機200に設けられた複数のカメラ部310〜310および画像処理装置320を備えている。遠隔操作側120の構成要素400は、表示装置410および遠隔制御装置420を備えている。
作業機側110の構成要素300は、支持部材330をさらに備えている。支持部材330は、下端部が作業機200の作業部220における上部体221に支持される(この例では固定される)一方、上端部が複数のカメラ部310〜310を該複数のカメラ部310〜310が水平姿勢になるように支持する(この例では固定する)構成とされている。ここで、水平姿勢は、作業機200が水平面に設置された場合での姿勢である。
支持部材330は、複数のカメラ部310〜310を支持する支持体331と、上端部で支持体331を支持する一方、下端部で上部体221に支持される支持台(この例では支柱332)とを有している。
図2は、図1に示す作業機200に設けられた支持部材330における支持体331および支持体331に支持された複数のカメラ部310〜310の概略構成を示す斜視図である。なお、図2では、支持体331に設けられる複数(この例では5つ)のカメラ部310〜310のうち一部を支持体331から取り外した状態を示しており、実際には、複数(この例では5つ)のカメラ部310〜310の全てが支持体331に設けられる。
図2に示すように、複数のカメラ部310〜310は、何れも、左目用および右目用の一対のカメラ311,312からなっている。詳しくは、一対のカメラ311,312は、操作者500の左目に相当する左目用のカメラ311および操作者500の右目に相当する右目用のカメラ312で構成されている。一対のカメラ311,312は、レンズの中心位置の間隔dが平均的な人の瞳の中心位置の間隔と同じとされている。複数のカメラ部310〜310を構成する一対のカメラ311,312は、この例では、何れも同一タイプの小型デジタルビデオカメラとされている。
支持体331は、複数のカメラ部310〜310により撮影された撮影画像が所定の撮影面積比率でオーバーラップするように、複数のカメラ部310〜310を全方位的または略全方位的に支持する構成とされている。具体的には、支持体331は、左目用の複数のカメラ311〜311により撮影された左目用の撮影画像が所定の撮影面積比率でオーバーラップするように、左目用の複数のカメラ311〜311を全方位的または略全方位的に支持し、かつ、右目用の複数のカメラ312〜312により撮影された右目用の撮影画像が所定の撮影面積比率でオーバーラップするように、右目用の複数のカメラ312〜312を全方位的または略全方位的に支持する構成とされている。
詳しくは、支持体331は、カメラ部310が2つの場合には、予め定めた所定の距離をおいて相対する位置に2つのカメラ部310,310を設けることができ、カメラ部310が3つ以上の場合には、予め定めた所定の半径の仮想円上において放射状にかつ均等または略均等な位置に3つ以上のカメラ部310〜310を設けることができる。
具体的には、支持体331は、板状のものとされており、カメラ部310の数に応じた数の辺を有する形状とされている。支持体331は、例えば、カメラ部310が2つの場合には、平面視でカメラ部310,310が並設される方向に長い長尺状のものとすることができ、3つ以上の場合には、カメラ部310〜310の数と同じ数で同一距離の辺を有する正多角形状(具体的には3つのカメラ部310〜310では平面視で正三角形状、4つのカメラ部310〜310では平面視で正方形状、5つのカメラ部310〜310では平面視で正五角形状、…)のものとすることができる。また、支持体331は、平面視で円形状のものであってもよい。
この例では、カメラ部310〜310は、5つ(すなわちカメラ部310〜310を構成するカメラ311,312の合計台数は10台)とされており、平面視で五角形状の支持体331に対して支持体331の中心位置から所定の半径の仮想円上において放射状にかつ均等または略均等な位置(各辺の中央位置)に固定部材331aを介して固定されている。
このように、支持体331は、複数のカメラ部310〜310を相反する位置または放射状にかつ均等または略均等な位置に支持することで、複数のカメラ部310〜310全体として水平方向における360°の視界をカバーすることができる。なお、カメラ部310〜310を構成する一対のカメラ311,312の画角は、カメラ部310の配設位置によって適宜決定することができる。この例では、一対のカメラ311,312の垂直方向の画角は、140°(具体的には仮想水平面を基準として上下70°ずつの角度)とされている。
複数のカメラ部310〜310(図1参照)は、作業機200に設けられるべき座席(この例では、作業機200が有人作業機であると想定した場合での作業者が運転する際に座る座席)の水平方向(具体的には前後方向および左右方向の双方)における位置に相当する配設位置に設けられている。また、複数のカメラ部310〜310は、カメラ部310におけるレンズの中心位置が作業機200の仕向地(例えば欧米仕様やアジア仕様)の平均的な体格(例えば身長や座高)を有する作業者(例えば欧米人やアジア人の作業者)が作業機200に設けられるべき座席に着座したと想定した場合での目線高さに相当する着座高さ位置に設けられている。
この例では、上部体221の前部には、進行方向に向かって左右方向における中央部にブーム222が設けられていることから、支持部材330は、上部体221の前側の左右方向における一方側(図1の例では左側)に立設されている。
また、支持部材330は、作業者が作業機200に設けられるべき座席に着座したと想定した場合での目線高さに相当する高さ位置に複数のカメラ部310〜310におけるレンズの中心位置が位置するように複数のカメラ部310〜310を支持するようになっている。
画像処理装置320は、この例では、作業機200における作業部220に設けられている。但し、それに限定されるものではなく、画像処理装置320は、支持部材330や走行体210に設けられていてもよい。
画像処理装置320は、複数のカメラ部310〜310によって撮影された複数の撮影画像(動画像データ)に基づいてパノラマ画像(パノラマ動画像データ)を生成し、生成したパノラマ画像の一部を切り取り、切り取ったパノラマ画像の一部を無線通信により送信する構成とされている。画像処理装置320は、この例では、コンピュータ(具体的にはパーソナルコンピュータ)で構成されている。
図3は、第1実施形態に係る表示システム100における作業機側110の画像処理装置320のシステム構成を示すブロック図である。
図3に示すように、画像処理装置320は、各種のプログラムや各種の演算処理等の処理を実行する制御部321と、各種データを記憶する記憶部322とを備えている。
画像処理装置320は、複数のカメラ部310〜310と通信する予め定めた所定の通信インターフェースを有しており、該通信インターフェース用の接続ケーブルCB1を介して複数のカメラ部310〜310と電気的に接続されるようになっている。これにより、画像処理装置320は、複数のカメラ部310〜310によって撮影された複数の撮影画像IM〜IM,IM〜IM(動画像データ)を受信することができる。
複数のカメラ部310〜310と画像処理装置320との間の通信インターフェースは、この例では、ユニバーサルシリアルバス(USB:Universal Serial Bus)インターフェース(具体的にはUSB3.0規格対応のインターフェース)とされている。なお、複数のカメラ部310〜310と画像処理装置320との間の通信インターフェースは、USBインターフェースに限定されるものではなく、他の何れの通信インターフェースであってもよい。また、複数のカメラ部310〜310と画像処理装置320との間の通信は、有線通信に限定されるものではなく、短距離無線通信であってもよい。
記憶部322は、RAM(Random Access Memory)等の揮発性メモリおよびハードディスク装置やフラッシュメモリ等の不揮発性メモリを含んでいる。揮発性メモリは、制御部321により演算処理等の各種の処理を実行する際にワークメモリ等として適宜使用される。不揮発性メモリには、外部のリソース(例えば記録媒体やインターネット上のサーバ)からのプログラムを含むソフトウェアが予め格納(インストール)される。
また、画像処理装置320は、遠隔操作側120の遠隔制御装置420における通信部423と無線通信(この例では短距離無線通信)を行う通信部323をさらに備えている。
ここで、短距離無線通信としては、数メートルから100メートル程度の短距離で通信を行う無線通信を例示でき、例えば、数十メートル〜100メートル程度の短距離で通信を行う無線LAN(Local Area Network)通信や、数メートル〜数十メートル程度の短距離で通信を行う無線PAN(Personal Area Network)通信を挙げることができる。
無線LAN通信としては、例えば、IEEE802.11規格の無線LAN通信を挙げることができる。無線PAN通信としては、例えば、IEEE802.15規格の無線PAN通信を挙げることができる。
通信部323は、遠隔制御装置420における通信部423との間で短距離無線通信を利用してデータの送受信を行うものであり、この例では、IEEE802.11規格の無線LAN通信を行うようになっている。
なお、画像処理装置320と遠隔制御装置420との間の通信は、短距離無線通信に限定されるものではなく、100m程度を超える遠距離無線通信であってもよい。
画像処理装置320は、複数のカメラ部310〜310を構成する一対のカメラ311〜311,312〜312によってそれぞれ撮影された左目用の撮影画像IM〜IM(動画像)および右目用の撮影画像IM〜IM(動画像)に基づいて左目用のパノラマ画像PI(パノラマ動画像)および右目用のパノラマ画像PI(パノラマ動画像)をそれぞれ生成する構成とされている。
パノラマ画像を生成する手法では、例えば、左目用のパノラマ画像PIの場合、撮影画像IM〜IMがオーバーラップするように全方位的または略全方位的に配置した左目用の複数のカメラ311〜311によりそれぞれ撮影された左目用の複数の撮影画像IM〜IMのそれぞれオーバーラップさせた共通画像をコマ毎に合成することで、左目用のパノラマ画像PI(パノラマ動画像)を生成する。同様に、右目用のパノラマ画像PIの場合、撮影画像IM〜IMがオーバーラップするように全方位的または略全方位的に配置した右目用の複数のカメラ312〜312によりそれぞれ撮影された右目用の複数の撮影画像IM〜IMのそれぞれオーバーラップさせた共通画像をコマ毎に合成することで、右目用のパノラマ画像PI(パノラマ動画像)を生成する。パノラマ画像PIを生成する手法としては、従来公知の手法を用いることができ、ここでは詳しい説明を省略する。
画像処理装置320は、生成した左目用のパノラマ画像PIおよび右目用のパノラマ画像PIを一旦記憶部322に格納する。
画像処理装置320は、記憶部322に格納した左目用のパノラマ画像PIの一部PIPおよび右目用のパノラマ画像PIの一部PIPを切り取る切り取り処理を行う構成とされている。
図4は、画像処理装置320によりパノラマ画像PI,PIの一部PIP,PIPを切り取る切り取り処理を説明するための説明図である。なお、左目用のパノラマ画像PIおよび右目用のパノラマ画像PIは、実質的に同じ構成であるため、図4では、左目用のパノラマ画像PIおよび右目用のパノラマ画像PIを1つの図で示し、それらの切り取り処理をまとめて説明する。
画像処理装置320によりパノラマ画像PI,PIの一部PIP,PIPを切り取る切り取り処理は、図4に示すように、全方位的または略全方位的(この例では略全方位的)にパノラマ画像PI,PIを構成した中空球体の中心に操作者500の頭部510を配置することで、理解しやすくなる。
画像処理装置320は、パノラマ画像PI,PIを、予め定めた所定の基準点α(例えば作業機200の前方のヨーイング基準角度φy、ローリング基準角度φr、ピッチング基準角度φp)を基準にして、操作者500の視認角度に相当する予め定めた所定の切り取り角度(β,γ)で一部PIP,PIPを切り取る構成とされている。切り取り角度(β,γ)は、記憶部322に予め設定(記憶)されている。
所定の基準点αとしては、例えば、複数のカメラ部310〜310のうちの一つのカメラ部310を作業機200の前方位置に位置するように設けた場合、作業機200の前方位置のカメラ部310から送られてきた画像の全体画素領域における中心画素を挙げることができる。また、所定の切り取り角度(β,γ)としては、平均的な人の視野角以下の角度に対応する角度とすることができ、例えば、水平方向の切り取り角度βで200°程度以下、垂直方向の切り取り角度γで125°(具体的には仮想水平面を基準として下75°および上50°)程度以下を挙げることができる。
画像処理装置320(図3参照)は、切り取った左目用のパノラマ画像PI(パノラマ動画像データ)の一部PIPおよび右目用のパノラマ画像PI(パノラマ動画像データ)の一部PIPを遠隔操作側120の遠隔制御装置420に無線通信によりそれぞれ送信する構成とされている。詳しくは、画像処理装置320は、切り取ったパノラマ画像PI,PIの一部PIP,PIPを圧縮し、リアルタイムで遠隔制御装置420に無線通信によりそれぞれ送信する。この例では、無線通信で送信されるデータは、暗号化されたデータとされている。
遠隔操作側120の遠隔制御装置420は、画像処理装置320から送られてきた左目用のパノラマ画像PIの一部PIPおよび右目用のパノラマ画像PIの一部PIPをそれぞれ受信し、受信した左目用のパノラマ画像PIの一部PIPおよび右目用のパノラマ画像PIの一部PIPを表示装置410にそれぞれ送信する構成とされている。遠隔制御装置420は、この例では、コンピュータ(この例ではタブレット型コンピュータ)で構成されている。
図5は、第1実施形態に係る表示システム100における遠隔操作側120の遠隔制御装置420のシステム構成を示すブロック図である。
図5に示すように、遠隔制御装置420は、各種のプログラムや各種の演算処理等の処理を実行する制御部421と、各種データを記憶する記憶部422とを備えている。
遠隔制御装置420は、表示装置410と通信する予め定めた所定の通信インターフェースを有しており、該通信インターフェース用の接続ケーブルCB2を介して表示装置410と電気的に接続されるようになっている。これにより、遠隔制御装置420は、左目用のパノラマ画像PIの一部PIPおよび右目用のパノラマ画像PIの一部PIPを表示装置410にそれぞれ送信することができる。
遠隔制御装置420と表示装置410との間の通信インターフェースは、この例では、高精細度マルチメディアインターフェース〔HDMI(登録商標):High−Definition Multimedia Interface〕とされている。なお、遠隔制御装置420と表示装置410との間の通信インターフェースは、HDMI(登録商標)に限定されるものでなく、他の何れの通信インターフェースであってもよい。また、遠隔制御装置420と表示装置410との間の通信は、有線通信に限定されるものではなく、短距離無線通信であってもよい。
記憶部422は、RAM等の揮発性メモリおよびフラッシュメモリ等の不揮発性メモリを含んでいる。揮発性メモリは、制御部421により演算処理等の各種の処理を実行する際にワークメモリ等として適宜使用される。不揮発性メモリには、外部のリソース(例えば記録媒体やインターネット上のサーバ)からのプログラムを含むソフトウェアが予め格納(インストール)される。
また、遠隔制御装置420は、作業機側110の画像処理装置320における通信部323と無線通信(この例では短距離無線通信)を行う通信部423をさらに備えている。
遠隔制御装置420における通信部423による無線通信は、画像処理装置320における通信部323による無線通信と同じ通信であり、ここでは、説明を省略する。
遠隔制御装置420は、この例では、タブレット型コンピュータとされているが、この他、例えば、ノート型コンピュータ、多機能型携帯電話機(所謂スマートフォン)、腕時計型端末装置や、衣服に装着可能な端末装置といった持ち運び可能な端末装置であってもよい。遠隔制御装置420は、表示装置410に設けられてもよい。また、遠隔制御装置420は、持ち運び可能な端末装置の限定されるものではなく、卓上型のコンピュータであってもよい。また、操作者500は、作業機200を立った状態で遠隔操作してもよいし、座った状態で遠隔操作してもよい。
詳しくは、遠隔制御装置420は、受信した左目用のパノラマ画像PIの一部PIPおよび右目用のパノラマ画像PIの一部PIPを一旦記憶部422に格納しつつ表示装置410にそれぞれ送信する構成とされている。
遠隔操作側120の表示装置410は、遠隔制御装置420から送られてきた左目用のパノラマ画像PIの一部PIPおよび右目用のパノラマ画像PIの一部PIPをそれぞれ受信しつつ表示する構成とされている。詳しくは、表示装置410は、遠隔制御装置420からリアルタイムで送られてくる左目用のパノラマ画像PI(パノラマ動画像)の一部PIPおよび右目用のパノラマ画像PI(パノラマ動画像)の一部PIPを受信しながら再生(表示)するストリーミング再生を行うようになっている。
これにより、表示装置410は、リアルタイムで(生で)かつ3次元的な視界表示(いわゆる3D画像)を実現することができる。表示装置410による3次元的な視界表示を実現する手法としては、従来公知の手法を用いることができ、ここでは詳しい説明を省略する。
表示装置410(図1参照)は、この例では、操作者500の頭部510(具体的には目の部分)に装着される構成とされている。詳しくは、表示装置410は、頭部装着型表示装置(HMD:Head Mounted Display)とされている。なお、表示装置410は、頭部装着型表示装置(HMD)に限定されるものではなく、卓上型表示装置(モニター)や、ビデオプロジェクタであってもよい。
遠隔操作側120の構成要素400は、操作者500の視線の動きを検知する視線検知部411(図1および図5参照)をさらに備えている。視線検知部411は、この例では、操作者500(図1参照)の頭部510の姿勢を検知する姿勢検知部とされている。
視線検知部411は、図1に示すように、操作者500の頭部510に装着され、頭部510の基準姿勢(例えば操作者500が水平方向を視た姿勢)を基準にして、操作者500の頭部510の垂直方向に沿った軸線y回りのヨーイング(yawing)角度θy、前後方向に沿った軸線r回りのローリング(rolling)角度θrおよび左右方向に沿った軸線p回りのピッチング(pitching)角度θpを検知することができるようになっている。なお、基準姿勢の基準値は、操作者500の頭部510を検知するに先立って予め設定しておくことができる。
視線検知部411は、本例のように姿勢検知部とした場合、例えば、3次元ジャイロセンサ、3次元重力加速度センサ、ロータリーエンコーダー、ポテンショメータ等の各種センサを用いることができる。視線検知部411は、従来公知のものを用いることができ、ここでは詳しい説明を省略する。
また、視線検知部411(図5参照)は、検知した操作者500の頭部510の動き(具体的には頭部510の基準姿勢に対するヨーイング角度θy、ローリング角度θrおよびピッチング角度θp)のデータを遠隔制御装置420に送信するようになっている。
本実施の形態では、視線検知部411は、表示装置410に備えられている。すなわち、表示装置410は、視線検知部411を備え、視線検知部411により操作者500の頭部510の動き(具体的には頭部510の基準姿勢に対するヨーイング角度θy、ローリング角度θrおよびピッチング角度θp)を検知し、視線検知部411にて検知した操作者500の頭部510の動き(具体的には頭部510の基準姿勢に対するヨーイング角度θy、ローリング角度θrおよびピッチング角度θp)のデータを遠隔制御装置420に送信するようになっている。
視線検知部411(この例では表示装置410)から遠隔制御装置420への操作者500の頭部510の動きの送信は、遠隔制御装置420と表示装置410との間の通信と同様の通信とすることができる。また、視線検知部411(この例では表示装置410)から遠隔制御装置420への操作者500の頭部510の動きの送信は、有線通信に限定されるものではなく、短距離無線通信であってもよい。
遠隔制御装置420は、視線検知部411(この例では表示装置410)から送られてきた操作者500の頭部510の動き(具体的には頭部510の基準姿勢に対するヨーイング角度θy、ローリング角度θrおよびピッチング角度θp)のデータを作業機側110の画像処理装置320に無線通信により送信する構成とされている。
作業機側110の画像処理装置320は、遠隔制御装置420から送られてきた操作者500の頭部510の動き(具体的には頭部510の基準姿勢に対するヨーイング角度θy、ローリング角度θrおよびピッチング角度θp)のデータを受信し、受信した操作者500の頭部510の動き(具体的には頭部510の基準姿勢に対するヨーイング角度θy、ローリング角度θrおよびピッチング角度θp)に応じて、表示装置410に送信する左目用のパノラマ画像PIの一部PIPおよび右目用のパノラマ画像PIの一部PIPをそれぞれ調整する構成とされている。
図6は、画像処理装置320により操作者500の頭部510の動きに応じてパノラマ画像PI,PIの一部PIP,PIPを調整する調整処理を説明するための説明図である。なお、左目用のパノラマ画像PIおよび右目用のパノラマ画像PIは、実質的に同じ構成であるため、図6では、左目用のパノラマ画像PIおよび右目用のパノラマ画像PIを1つの図で示し、それらの調整処理をまとめて説明する。
画像処理装置320により操作者500の頭部510の動きに応じてパノラマ画像PI,PIの一部PIP,PIPを調整する調整処理は、図6に示すように、全方位的または略全方位的(この例では略全方位的)にパノラマ画像PI,PIを構成した中空球体の中心に操作者500の頭部510を配置することで、理解しやすくなる。
画像処理装置320は、パノラマ画像PI,PIにおける所定の基準点α(例えば作業機200の前方のヨーイング基準角度φy、ローリング基準角度φr、ピッチング基準角度φp)から、受信した操作者500の頭部510の動き(具体的には頭部510の基準姿勢に対するヨーイング角度θy、ローリング角度θrおよびピッチング角度θp)だけ移動させた相対基準点Δα(例えば作業機200の前方の基準点に対する相対ヨーイング基準角度φy+θy、相対ローリング基準角度φr+θr、相対ピッチング基準角度φp+θp)を算出する。
また、画像処理装置320は、パノラマ画像PI,PIにおいて、調整したパノラマ画像PI,PIの一部PIP,PIPを切り取る構成とされている。詳しくは、画像処理装置320は、パノラマ画像PI,PIから、算出した相対基準点Δαを基準にして、操作者500の視認角度に相当する切り取り角度(β,γ)で一部PIP,PIPを切り取る構成とされている。
なお、この例では、視線検知部411は、操作者500の頭部510の姿勢を検知する姿勢検知部とされているが、操作者500の視線(眼球の動き)を検知する視線検知部であってもよい。この場合、画像処理装置320は、視線検知部からの応答速度が速すぎる場合には該応答速度を遅延させて調整処理または切り取り処理を行うようにすることができる。
図7は、第1実施形態に係る表示システム100の制御動作の一例を示すフローチャートである。
第1実施形態に係る表示システム100の制御動作では、図7に示すように、先ず、作業機側110の画像処理装置320は、複数のカメラ部310〜310で撮影された複数の撮影画像IM〜IM,IM〜IMによりパノラマ画像PI,PIを生成する(ステップS101)。
次に、画像処理装置320は、生成したパノラマ画像PI,PIの一部PIP,PIPを切り取る切り取り処理を行う(ステップS102)。
次に、画像処理装置320は、切り取ったパノラマ画像PI,PIの一部PIP,PIPを遠隔操作側120の遠隔制御装置420に無線通信により送信する(ステップS103)。
次に、遠隔操作側120の遠隔制御装置420は、作業機側110の画像処理装置320から送られてきたパノラマ画像PI,PIの一部PIP,PIPを受信しながら表示装置410に送信する(ステップS104)。
次に、表示装置410は、遠隔制御装置420から送られてきたパノラマ画像PI,PIの一部PIP,PIPを受信しながら表示する(ステップS105)。
次に、表示装置410は、操作者500の頭部510の動きを検知しながら遠隔制御装置420に送信する(ステップS106)。
次に、遠隔制御装置420は、表示装置410から送られてきた操作者500の頭部510の動きを受信しながら作業機側110の画像処理装置320に無線通信により送信する(ステップS107)。
次に、作業機側110の画像処理装置320は、遠隔操作側120の遠隔制御装置420から送られてきた操作者500の頭部510の動きを受信しながら頭部510の動きに応じてパノラマ画像PI,PIの一部PIP,PIPを調整する(ステップS108)。
そして、第1実施形態に係る表示システム100は、前記したステップS101〜S108の処理を処理動作が終了するまで繰り返す(ステップS109)。
以上説明した第1実施形態に係る表示システム100によれば、画像処理装置320は、遠隔制御装置420から送られてきた操作者500の頭部510の動きに応じて、表示装置410に送信する左目用のパノラマ画像PIの一部PIPおよび右目用のパノラマ画像PIの一部PIPをそれぞれ調整するので、操作者500の頭部510の動きに合わせて表示装置410に表示される3次元的な視界を調整することができ、従って、表示装置410に表示される表示画像を操作者500の視線の動きに追従させることができる。これにより、遠隔操作の操作性を向上させることが可能となる。しかも、画像処理装置320は、パノラマ画像PI,PIの一部PIP,PIPを遠隔制御装置420に無線通信により送信するので、全てのパノラマ画像PI,PIを遠隔制御装置420に無線通信により送信する場合に比べて、無線通信上のトラフィック負荷を低減させることができる。
ところで、カメラ自身を移動させて表示装置に表示画像を表示する構成にした表示システムにおいては、表示装置に表示する表示画像を移動させるにあたり、カメラを移動させるための時間が必要となる。
この点、第1実施形態に係る表示システム100では、画像処理装置320においてパノラマ画像PI,PI(全方位的な画像または略全方位的な画像)を有しているため、カメラ自身を移動させて表示装置に表示画像を表示する構成にした表示システムに比べてカメラを移動させるために要する時間の遅れをなくすことができる。
また、第1実施形態では、複数のカメラ部310〜310は、作業機200に設けられるべき座席の水平方向(具体的には前後方向および左右方向の双方)における位置に相当する配設位置であって、該カメラ部310〜310におけるレンズの中心位置が作業機200の仕向地の平均的な体格(例えば身長や座高)を有する作業者が座席に着座したと想定した場合での目線高さに相当する着座高さ位置に設けられていることで、作業者が実際に座席に着座した場合の視界と同様のパノラマ画像PI,PIの一部PIP,PIPを表示装置410に表示することができる。
(第2実施形態)
図8は、第2実施形態に係る作業機200の遠隔操作のための表示システム100を模式的に示す概略構成図である。
図8に示すように、第2実施形態に係る表示システム100は、第1実施形態に係る表示システム100において、遠隔操作側120の遠隔制御装置420を複数の遠隔制御装置420〜420とし、表示装置410を、複数の遠隔制御装置420〜420にそれぞれ対応する複数の表示装置410〜410としたものである。
第2実施形態に係る表示システム100において、第1実施形態に係る表示システム100と実質的に同じ構成要素には同一符号を付し、第1実施形態に係る表示システム100とは異なる点を中心に説明する。
作業機側110の画像処理装置320は、パノラマ画像PI,PIの一部PIP〜PIP,PIP〜PIPを切り取り、切り取ったパノラマ画像PI,PIの一部PIP〜PIP,PIP〜PIPを無線通信により遠隔操作側120の複数の遠隔制御装置420〜420に送信するように構成されている。ここで、作業機側110の画像処理装置320と遠隔操作側120の複数の遠隔制御装置420〜420との間の通信は、一つの伝送路で複数の信号を同時的に伝送する多重化通信とすることができる。多重化通信としては、それには限定されないが、例えば、周波数分割多重化(FDM:Frequency Division Multiplexing)通信や時分割多重化(TDM:Time Division Multiplexing)通信等の多重化通信を挙げることができる。
遠隔操作側120の複数の遠隔制御装置420〜420は、画像処理装置320から送られてきたパノラマ画像PI,PIの一部PIP〜PIP,PIP〜PIPをそれぞれ受信し、受信したパノラマ画像PI,PIの一部PIP〜PIP,PIP〜PIPを、それぞれ対応する複数の表示装置410〜410に送信するように構成されている。
遠隔操作側120の複数の表示装置410〜410は、それぞれ対応する複数の遠隔制御装置420〜420から送られてきたパノラマ画像PI,PIの一部PIP〜PIP,PIP〜PIPを受信し、受信したパノラマ画像PI,PIの一部PIP〜PIP,PIP〜PIPをそれぞれ表示する。複数の視線検知部411〜411(この例では複数の表示装置410〜410)は、それぞれ対応する複数の操作者500〜500の頭部510〜510の動きをそれぞれ検知し、検知した複数の操作者500〜500の頭部510〜510の動きを、それぞれ対応する複数の遠隔制御装置420〜420に送信する。複数の遠隔制御装置420〜420は、それぞれ対応する複数の視線検知部411〜411(この例では複数の表示装置410〜410)から送られてきた複数の操作者500〜500の頭部510〜510の動きを画像処理装置320に無線通信により送信する。
作業機側110の画像処理装置320は、複数の遠隔制御装置420〜420から送られてきた複数の操作者500〜500の頭部510〜510の動きに応じてパノラマ画像PI,PIの一部PIP〜PIP,PIP〜PIPをそれぞれ調整する。
また、画像処理装置320は、パノラマ画像PI,PIにおいて、調整したパノラマ画像PI,PIの一部PIP〜PIP,PIP〜PIPをそれぞれ切り取る。
第2実施形態に係る表示システム100の処理の流れは、遠隔制御装置420を複数の遠隔制御装置420〜420とし、表示装置410を複数の表示装置410〜410とした以外は図7に示す第1実施形態に係る表示システム100の処理の流れと実質的に同じであり、ここでは説明を省略する。
第2実施形態に係る表示システム100によれば、複数の操作者500〜500は、各自が所望の視野で同時期にそれぞれ対応する複数の表示装置410〜410に表示される表示画像を視認することができ、これにより、第1実施形態の如く、一人の操作者500が表示装置410に表示される表示画像を視認する場合よりも作業の安全性を高めることが可能となる。
(第3実施形態)
第3実施形態に係る表示システム100は、第1実施形態に係る表示システム100において作業機側110の画像処理装置320で行っていた、パノラマ画像PI,PIの一部PIP,PIPの切り取り処理および調整処理を、遠隔操作側120の遠隔制御装置420で行うように構成したものである。
第3実施形態に係る表示システム100において、第1実施形態に係る表示システム100と実質的に同じ構成要素には同一符号を付し、第1実施形態に係る表示システム100とは異なる点を中心に説明する。
図9は、第3実施形態に係る作業機200の遠隔操作のための表示システム100における作業機側110の画像処理装置320のシステム構成を示すブロック図である。また、図10は、第3実施形態に係る表示システム100における遠隔操作側120の遠隔制御装置420のシステム構成を示すブロック図である。
図9に示すように、作業機側110の画像処理装置320は、生成した左目用のパノラマ画像PI(全てのパノラマ画像PIのデータ)および右目用のパノラマ画像PI(全てのパノラマ画像PIのデータ)を遠隔操作側120の遠隔制御装置420に無線通信によりそれぞれ送信する構成とされている。
図10に示すように、遠隔操作側120の遠隔制御装置420は、画像処理装置320から送られてきた左目用のパノラマ画像PI(全てのパノラマ画像PIのデータ)および右目用のパノラマ画像PI(全てのパノラマ画像PIのデータ)を受信し、受信した左目用のパノラマ画像PIの一部PIPおよび右目用のパノラマ画像PIの一部PIPを切り取り、切り取った左目用のパノラマ画像PIの一部PIPおよび右目用のパノラマ画像PIの一部PIPを表示装置410にそれぞれ送信する構成とされている。
詳しくは、遠隔制御装置420は、受信した左目用のパノラマ画像PIおよび右目用のパノラマ画像PIを一旦記憶部422に格納する。
遠隔制御装置420は、記憶部422に格納した左目用のパノラマ画像PIの一部PIPおよび右目用のパノラマ画像PIの一部PIPを切り取る切り取り処理を行う構成とされている。
なお、遠隔制御装置420によりパノラマ画像PI,PIの一部PIP,PIPを切り取る切り取り処理は、図4に示す画像処理装置320によりパノラマ画像PI,PIの一部PIP,PIPを切り取る切り取り処理と同様の処理であり、ここでは説明を省略する。
遠隔制御装置420は、表示装置410から送られてきた操作者500の頭部510の動きに応じて、表示装置410に送信する左目用のパノラマ画像PIの一部PIPおよび右目用のパノラマ画像PIの一部PIPをそれぞれ調整する。
なお、遠隔制御装置420により操作者500の頭部510の動きに応じてパノラマ画像PI,PIの一部PIP,PIPを調整する調整処理は、図6に示す画像処理装置320により操作者500の頭部510の動きに応じてパノラマ画像PI,PIの一部PIP,PIPを調整する調整処理と同様の処理であり、ここでは説明を省略する。
また、遠隔制御装置420は、パノラマ画像PI,PIにおいて、調整したパノラマ画像PI,PIの一部PIP,PIPをそれぞれ切り取る。
図11は、第3実施形態に係る表示システム100の制御動作の一例を示すフローチャートである。
第3実施形態に係る表示システム100の制御動作では、図11に示すように、先ず、作業機側110の画像処理装置320は、複数のカメラ部310〜310で撮影された複数の撮影画像IM〜IM,IM〜IMによりパノラマ画像PI,PIを生成する(ステップS201)。
次に、画像処理装置320は、生成したパノラマ画像PI,PIを遠隔操作側120の遠隔制御装置420に無線通信により送信する(ステップS202)。
次に、遠隔操作側120の遠隔制御装置420は、作業機側110の画像処理装置320から送られてきたパノラマ画像PI,PIを受信しながらパノラマ画像PI,PIの一部PIP,PIPを切り取る切り取り処理を行う(ステップS203)。
次に、遠隔制御装置420は、切り取ったパノラマ画像PI,PIの一部PIP,PIPを表示装置410に送信する(ステップS204)。
次に、表示装置410は、遠隔制御装置420から送られてきたパノラマ画像PI,PIの一部PIP,PIPを受信しながら表示する(ステップS205)。
次に、表示装置410は、操作者500の頭部510の動きを検知しながら遠隔制御装置420に送信する(ステップS206)。
次に、遠隔制御装置420は、表示装置410から送られてきた操作者500の頭部510の動きを受信しながら頭部510の動きに応じてパノラマ画像PI,PIの一部PIP,PIPを調整する(ステップS207)。
そして、第3実施形態に係る表示システム100は、前記したステップS201〜S207の処理を処理動作が終了するまで繰り返す(ステップS208)。
第3実施形態に係る表示システム100によれば、遠隔制御装置420は、表示装置410から送られてきた操作者500の頭部510の動きに応じて、表示装置410に送信する左目用のパノラマ画像PIの一部PIPおよび右目用のパノラマ画像PIの一部PIPをそれぞれ調整するので、操作者500の頭部510の動きに合わせて表示装置410に表示される3次元的な視界を調整することができ、従って、表示装置410に表示される表示画像を操作者500の視線の動きに追従させることができる。これにより、遠隔操作の操作性を向上させることが可能となる。しかも、操作者500の頭部510の動きに応じてパノラマ画像PI,PIの一部PIP,PIPを調整する調整処理を遠隔操作側120の遠隔制御装置420で行うので、該調整処理を作業機側110の画像処理装置320で行う場合に比べて、遠隔操作側120の遠隔制御装置420から作業機側110の画像処理装置320に頭部510の動きを送信するための時間を短縮することができる。
ところで、カメラ自身を移動させて表示装置に表示画像を表示する構成にした表示システムにおいては、表示装置に表示する表示画像を移動させるにあたり、カメラを移動させるための時間が必要となる。
この点、第3実施形態に係る表示システム100では、遠隔制御装置420においてパノラマ画像PI,PI(全方位的な画像または略全方位的な画像)を有しているため、カメラ自身を移動させて表示装置に表示画像を表示する構成にした表示システムに比べてカメラを移動させるために要する時間の遅れをなくすことができる。
(第4実施形態)
図12は、第4実施形態に係る作業機200の遠隔操作のための表示システム100を模式的に示す概略構成図である。
図12に示すように、第4実施形態に係る表示システム100は、第3実施形態に係る表示システム100において、遠隔操作側120の遠隔制御装置420を複数の遠隔制御装置420〜420とし、表示装置410を、複数の遠隔制御装置420〜420にそれぞれ対応する複数の表示装置410〜410としたものである。
第4実施形態に係る表示システム100において、第3実施形態に係る表示システム100と実質的に同じ構成要素には同一符号を付し、第3実施形態に係る表示システム100とは異なる点を中心に説明する。
作業機側110の画像処理装置320は、パノラマ画像PI,PI(全てのパノラマ画像PI,PIのデータ)を無線通信により遠隔操作側120の複数の遠隔制御装置420〜420に送信するように構成されている。ここで、作業機側110の画像処理装置320と遠隔操作側120の複数の遠隔制御装置420〜420との間の通信は、第2実施形態の場合と同様であり、ここでは説明を省略する。
遠隔操作側120の複数の遠隔制御装置420〜420は、画像処理装置320から送られてきたパノラマ画像PI,PIをそれぞれ受信し、受信したパノラマ画像PI,PIの一部PIP〜PIP,PIP〜PIPを切り取り、切り取ったパノラマ画像PI,PIの一部PIP〜PIP,PIP〜PIPを、それぞれ対応する複数の表示装置410〜410に送信するように構成されている。
遠隔操作側120の複数の表示装置410〜410は、それぞれ対応する複数の遠隔制御装置420〜420から送られてきたパノラマ画像PI,PIの一部PIP〜PIP,PIP〜PIPを受信し、受信したパノラマ画像PI,PIの一部PIP〜PIP,PIP〜PIPをそれぞれ表示する。複数の視線検知部411〜411(この例では複数の表示装置410〜410)は、それぞれ対応する複数の操作者500〜500の頭部510〜510の動きをそれぞれ検知し、検知した複数の操作者500〜500の頭部510〜510の動きを、それぞれ対応する複数の遠隔制御装置420〜420に送信する。
遠隔操作側120の複数の遠隔制御装置420〜420は、複数の視線検知部411〜411(この例では複数の表示装置410〜410)から送られてきた複数の操作者500〜500の頭部510〜510の動きに応じてパノラマ画像PI,PIの一部PIP〜PIP,PIP〜PIPをそれぞれ調整する。
また、遠隔制御装置420は、パノラマ画像PI,PIにおいて、調整したパノラマ画像PI,PIの一部PIP〜PIP,PIP〜PIPをそれぞれ切り取る。
第4実施形態に係る表示システム100の処理の流れは、遠隔制御装置420を複数の遠隔制御装置420〜420とし、表示装置410を複数の表示装置410〜410とした以外は図11に示す第3実施形態に係る表示システム100の処理の流れと実質的に同じであり、ここでは説明を省略する。
第4実施形態に係る表示システム100によれば、複数の操作者500〜500は、各自が所望の視野で同時期にそれぞれ対応する複数の表示装置410〜410に表示される表示画像を視認することができ、これにより、第3実施形態の如く、一人の操作者500が表示装置410に表示される表示画像を視認する場合よりも作業の安全性を高めることが可能となる。
(第5実施形態)
図13は、第5実施形態に係る作業機200の遠隔操作のための表示システム100を模式的に示す概略側面図である。
図13に示すように、第5実施形態に係る表示システム100は、第1実施形態から第4実施形態に係る表示システム100〜100において、作業機200に設けられた支持部材330に代えて、昇降可能および垂直方向に回動可能な支持部材340を設けたものである。
第5実施形態に係る表示システム100において、第1実施形態から第4実施形態に係る表示システム100〜100と実質的に同じ構成要素には同一符号を付し、その説明を省略する。
支持部材340は、複数のカメラ部310〜310を支持する支持体331と、上端部で支持体331を複数のカメラ部310〜310が水平姿勢を維持するように支持する一方、下端部で上部体221に支持される支持台(この例では支持アーム342)とを有している。
支持アーム342は、この例では、上端部で支持体331を左右方向に沿った軸線(第1支点342a)回りに回動自在に支持する一方、下端部で上部体221に左右方向に沿った軸線(第2支点342b)回りに回動自在に支持される構成とされている。詳しくは、支持アーム342は、左右方向に沿った軸線(第2支点342b)回りの回動に拘わらず、第2支点342bが第1支点342aよりも後方に位置するように構成されている。支持アーム342は、複数(この例では前後方向で2本)の支持アーム342〜342とされている。複数の支持アーム342〜342は、前後方向に沿って平行に並設された状態で支持体331を上下移動可能に支持する平行リンク構成とされている。複数の支持アーム342〜342の第1支点342a〜342aと第2支点342b〜342bとの間の距離は、複数のカメラ部310〜310が水平姿勢を維持する距離とされている。この例では、複数の支持アーム342〜342の第1支点342a〜342aと第2支点342b〜342bとは、水平方向に沿って設けられており、複数の支持アーム342〜342の第1支点342a〜342aと第2支点342b〜342bとの間の距離は、何れも同一距離とされている。これにより、支持部材340は、複数の支持アーム342〜342の左右方向に沿った軸線(第2支点342b〜342b)回りの回動に拘わらず、複数のカメラ部310〜310を水平姿勢に維持することができる。ここで、水平姿勢は、既述のとおり、作業機200が水平面に設置された場合での姿勢である。
また、支持部材340は、支持アーム342〜342を駆動する駆動部343を備えている。駆動部343は、遠隔操作側120の遠隔操作装置230から操作指令が送信されることで作動し、支持アーム342〜342を回動および複数のカメラ部310〜310を昇降するようになっている。これにより、操作者500は、支持アーム342〜342の回動動作を遠隔操作することにより、複数のカメラ部310〜310を昇降させることができる。
この例では、支持部材340は、カメラ部310〜310におけるレンズの中心位置の昇降方向における移動範囲Rが作業機200の仕向地の平均的な体格(例えば身長や座高)を有する作業者が座席に着座したと想定した場合での目線高さに相当する着座高さ位置Hを含むように構成されている。ここで、画像処理装置320は、カメラ部310〜310におけるレンズの中心位置の昇降方向における現在の高さ位置を遠隔制御装置420に送信し、遠隔制御装置420は、現在の高さ位置を表示装置410に送信し、表示装置410は、カメラ部310〜310におけるレンズの中心位置の最大高さ位置MAX、最小高さ位置MINさらには着座高さ位置H等の各種の指標位置を表示した状態で、現在の高さ位置を表示するようになっていてもよい。これにより、操作者500は、カメラ部310〜310におけるレンズの中心位置の現在の高さ位置を認識することが可能となる。
また、支持部材340は、カメラ部310〜310におけるレンズの中心位置が着座高さ位置Hに位置しているときに、カメラ部310〜310が作業機200に設けられるべき座席の水平方向(具体的には前後方向)における位置に相当する配設位置に位置するように構成されている。
なお、支持アーム342は、上端部で支持体331を固定した状態で支持体331を昇降可能に支持する構成とされていてもよい。
第5実施形態に係る表示システム100によれば、複数のカメラ部310〜310は、昇降可能および垂直方向に回動可能な支持部材340に設けられていることで、操作者500は、必要に応じて複数のカメラ部310〜310におけるレンズの中心位置の高さ、ひいては、操作者500の視野高さを調整することができる。その結果、例えば、操作者500は、鳥瞰的な視野により作業機200の周囲状況のより広い視野を把握することが可能となる。また、複数のカメラ部310〜310の高さ位置が低くなるように支持部材340を作動させることで、作業機200は、たとえ作業現場が穴の中や天井が低い場所であっても該作業現場に容易に入っていくことが可能となる。さらに、操作者500が周囲状況を直視して(直接確認して)操作している場合は、複数のカメラ部310〜310が作業機200に納まるように支持部材340を作動させることで、複数のカメラ部310〜310を作業機200に格納することができる。また、支持アーム342〜342は、第2支点342b〜342bが第1支点342a〜342aよりも後方に位置するように構成されていることで、カメラ部310〜310は作業部220における第1支点342a〜342aより前方の作業状態を確実に撮影することが可能となる。
(第6実施形態)
第6実施形態に係る表示システム100は、第1実施形態から第5実施形態に係る表示システム100〜100において、複数のカメラ部310〜310の周辺部(近傍或いは近接した位置)に設けられた照明装置350〜350,350〜350を備えたものである。
図14は、第6実施形態に係る作業機200の遠隔操作のための表示システム100におけるカメラ部310を構成する一対のカメラ311,312および一対のカメラ311,312に設けられた照明装置350,350の一例を正面から視た概略構成図である。なお、複数のカメラ部310〜310にそれぞれ設けられる照明装置350〜350,350〜350は、何れも同じ構成であり、図14では、複数のカメラ部310〜310のうちの1つのカメラ部310に設けられた照明装置350,350に代表させて示している。
図14に示すように、照明装置350,350は、一対のカメラ311,312のレンズ311a,312aの周縁部の少なくとも一部に(この例では全周にわたって)光出射側が被写体側を向くように設けられている。この例では、照明装置350,350は、一対のカメラ311,312のレンズ311a,312aの周縁部の全周に亘ってそれぞれ設けられた複数(この例では8個)の発光素子351〜351,351〜351(具体的には発光ダイオード)を備えている。複数の発光素子351〜351,351〜351は、レンズ311a,312aの周方向に沿って均等または略均等に設けられている。
第6実施形態に係る表示システム100によれば、複数のカメラ部310〜310の周辺部に照明装置350〜350,350〜350が設けられていることで、照明装置350〜350,350〜350から照射される光により、複数のカメラ部310〜310によって撮影された撮影画像に影が入ることを効果的に防止することが可能となる。
(第7実施形態)
ところで、作業現場では、作業計画(例えばどの程度の深さや範囲で掘削するのかといった作業計画)、作業部220の回動範囲(具体的には上部体221の旋回範囲やブーム222、アーム223およびバケット224の揺動範囲)またはガス管や水道管等の埋設管の位置などを操作者500が予め認識して作業することは、作業の効率性や安全性といった作業性を向上させる上で極めて重要である。
かかる観点から、第7実施形態に係る表示システム100は、第1実施形態から第6実施形態に係る表示システム100〜100において、パノラマ画像PI,PIの一部PIP,PIPに対応する作業補助情報Q,Q(例えば作業計画、作業部220の回動範囲またはガス管や水道管等の埋設管の位置などや、その他の補足的な情報)の一部Q1,Q1をパノラマ画像PI,PIの一部PIP,PIPと共にパノラマ画像PI,PIの一部PIP,PIPに対応させて追加的に表示装置410に表示させて拡張現実(AR:Augmented Reality)を実現する構成とされている。ここで、拡張現実は、現実環境の情報に現実環境に関連する視覚情報を付け加える技術、詳しくは、カメラ部310〜310で撮影された現実環境の映像にコンピュータによる現実環境に関連する映像をリアルタイムでカメラ部310〜310の映像の動きに合わせて合成する技術である。
図15は、第7実施形態に係る作業機200の遠隔操作のための表示システム100において、パノラマ画像PI,PIの一部PIP,PIPに対応する作業補助情報Q,Qの一部Q1,Q1をパノラマ画像PI,PIの一部PIP,PIPと共にパノラマ画像PI,PIの一部PIP,PIPに対応させて追加的に表示装置410に表示している表示画面D,Dの一例を示す表示図である。図15では、作業補助情報Q,Qとして、地面G,Gの下に埋められた配管網の地図に基づいたガス管や水道管等の埋設管(作業補助情報Q,Qの一部Q1,Q1)の例を示している。また、左目用のパノラマ画像PIの一部PIPおよび右目用のパノラマ画像PIの一部PIPは、実質的に同じ構成であるため、図15では、左目用のパノラマ画像PIの一部PIPおよび右目用のパノラマ画像PIの一部PIPを1つの図で示し、それらの拡張現実の処理をまとめて説明する。
第1実施形態および第3実施形態での遠隔制御装置420,420または第1実施形態での画像処理装置320は、表示システム100において予め準備されたデータベース(例えば遠隔制御装置420における記憶部422または画像処理装置320における記憶部322に予め格納されたデータベース)、または、表示システム100とは別の場所に設けられたデータベース(例えばインターネット上のサーバからダウンロードされたデータベース)に基づいて切り取り処理後のパノラマ画像PI,PIの一部PIP,PIPに対応する作業補助情報Q,Qの一部Q1,Q1を切り取り処理後のパノラマ画像PI,PIの一部PIP,PIPに対応させて切り取り処理後のパノラマ画像PI,PIの一部PIP,PIPに付加する構成とされている。
或いは、第1実施形態および第3実施形態での画像処理装置320,320または第3実施形態での遠隔制御装置420は、表示システム100において予め準備されたデータベース(例えば遠隔制御装置420における記憶部422または画像処理装置320における記憶部322に予め格納されたデータベース)、または、表示システム100とは別の場所に設けられたデータベース(例えばインターネット上のサーバからダウンロードされたデータベース)に基づいて切り取り処理前のパノラマ画像PI,PIに対応する作業補助情報Q,Qを切り取り処理前のパノラマ画像PI,PIに対応させて切り取り処理前のパノラマ画像PI,PIに付加する構成とされている。そして、パノラマ画像PI,PIの一部PIP,PIPを切り取り処理では、対応する作業補助情報Q,Qの一部Q1,Q1も切り取る。
このデータベースとしては、例えば、CAD(Computer Aided Design)モデルに存在するデータベースを挙げることができる。なお、パノラマ画像PI,PIは、例えば、作業機200における全地球測位システム(GNNS:Global Navigation Satellite System)を用いた位置情報(緯度、経度)を含んでいる。また、作業補助情報Q,Qは、例えば、パノラマ画像PI,PIの位置情報(緯度、経度)に対応した位置情報(緯度、経度)を含むパノラマ画像を構成する情報とされている。
そして、表示装置410は、パノラマ画像PI,PIの一部PIP,PIPに対応する作業補助情報Q,Qの一部Q1,Q1をパノラマ画像PI,PIの一部PIP,PIPと共にパノラマ画像PI,PIの一部PIP,PIPに対応させて追加的に表示する構成とされている。
これにより、操作者500は、作業補助情報Q,Qを予め認識することができる。例えば、操作者500は、作業部220の回動位置(具体的には上部体221の旋回位置並びにブーム222、アーム223およびバケット224の揺動位置)が作業計画の所定の基準値に達しているか否か(例えば基準作業深さや所定の基準作業範囲を超えるか否か)、作業現場の作業範囲に達しているか否か(例えば作業現場の天井に接触するか否か)、また、作業現場の埋設物に達しているか否か(例えばガス管や水道管等の埋設管Q1に接触するか否か)を認識することができる。
なお、かかる拡張現実を実現する構成は、従来公知の手法を用いて実現することができ、ここでは詳しい説明を省略する。
第7実施形態に係る表示システム100によれば、表示装置410は、表示システム100において予め準備されたデータベース、または、表示システム100とは別の場所に設けられたデータベースに基づいてパノラマ画像PI,PIの一部PIP,PIPに対応する作業補助情報Q,Qの一部Q1,Q1をパノラマ画像PI,PIの一部PIP,PIPと共にパノラマ画像PI,PIの一部PIP,PIPに対応させて追加的に表示することで、操作者500は、作業補助情報Q,Q(例えば作業計画、前記作業部の回動範囲またはガス管や水道管等の埋設管の位置などや、その他の補足的な情報)を予め認識することができ、これにより、作業の効率性や安全性といった作業性を向上させることが可能となる。
本発明は、以上説明した実施の形態に限定されるものではなく、他のいろいろな形で実施することができる。そのため、かかる実施の形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。