JP2021022827A - 表示システム、遠隔操作システム、及び表示方法 - Google Patents

Abstract

【課題】限られた回線容量でも、作業機械を遠隔操作する作業者に作業現場の遠近感を効果的に知覚させること。【解決手段】表示システムは、第１カメラで撮像された作業現場の第１画像及び第２カメラで撮像された作業現場の第２画像のそれぞれを取得する画像取得部と、作業者の視点位置を算出する視点位置算出部と、視点位置に基づいて、第１画像及び第２画像の少なくとも一方の輝度を調整する輝度調整部と、輝度が調整された第１画像及び第２画像を合成して表示装置に表示させる表示制御部と、を備える。【選択図】図４

Description

本発明は、表示システム、遠隔操作システム、及び表示方法に関する。

作業機械を無人化する方法の一つとして作業機械を遠隔操作する方法が提案されている。作業機械を遠隔操作する場合、作業現場の画像が遠隔地に存在する表示装置に送信される。作業者は、表示装置に表示された作業現場の画像を確認しながら作業機械を遠隔操作する。特許文献１には、作業現場を撮像するＴＶカメラと、作業者の頭部の位置を検出する頭部位置検出センサと、ＴＶカメラの撮像方向が頭部位置検出センサの検出結果に対応する方向となるようにＴＶカメラの向きを制御するアクチュエータと、撮像信号から画像光波を作成してスクリーンに投影するプロジェクタとを備えるテレオペレーティングシステムが開示されている。

特開平０６−３３９１５３号公報

作業現場の２次元画像が表示装置に表示される場合、作業者は作業現場の遠近感を知覚し難い。その結果、作業者は遠隔操作を円滑に実施することができず、作業機械の作業効率が低下する可能性がある。頭部位置検出センサの検出信号が遠隔地から作業現場のアクチュエータに送信され、作業者の頭部に連動してカメラが移動するようにアクチュエータが駆動し、カメラで取得された画像が作業現場から遠隔地の表示装置に送信されることにより、表示装置に表示される画像の視点が作業者の頭部に連動して移動する。これにより、視点の移動に連動した運動視差が作業者に提示され、作業者は、運動立体視により遠近感を知覚することができ、遠隔操作を円滑に実施し易くなる。

しかし、遠隔地から作業現場に送信される検出信号の通信遅延又は作業現場から遠隔地に送信される画像の通信遅延などに起因して、表示装置に表示される画像の視点の移動が作業者の頭部の移動に対して遅延する可能性がある。その結果、視点に正しく対応した運動視差を提示し難くなり、作業者は運動立体視による遠近感を知覚し難くなる。

一方、多数の視点に相当する多数のカメラからの画像が遠隔地の表示装置に送信されることにより、作業者は、遠近感を知覚することができる可能性が高くなるものの、多数のカメラからの大容量の画像を送信する回線容量を確保することは困難である。

本発明の態様は、限られた回線容量でも、作業機械を遠隔操作する作業者に作業現場の遠近感を効果的に知覚させることを目的とする。

本発明の態様に従えば、第１カメラで撮像された作業現場の第１画像及び第２カメラで撮像された前記作業現場の第２画像のそれぞれを取得する画像取得部と、作業者の視点位置を算出する視点位置算出部と、前記視点位置に基づいて、前記第１画像及び前記第２画像の少なくとも一方の輝度を調整する輝度調整部と、前記輝度が調整された前記第１画像及び前記第２画像を合成して表示装置に表示させる表示制御部と、を備える、表示システムが提供される。

本発明の態様によれば、限られた回線容量でも、作業機械を遠隔操作する作業者に作業現場の遠近感を効果的に知覚させることができる。

図１は、本実施形態に係る作業機械の遠隔操作システムを模式的に示す図である。 図２は、本実施形態に係る作業機械の一部を模式的に示す図である。 図３は、本実施形態に係る遠隔操作施設を模式的に示す図である。 図４は、本実施形態に係る表示システムを示す機能ブロック図である。 図５は、本実施形態に係る輝度調整部の動作を説明するための図である。 図６は、本実施形態に係る表示制御部の動作を説明するための図である。 図７は、本実施形態に係る表示制御部の動作を説明するための図である。 図８は、本実施形態に係る表示制御部の動作を説明するための図である。 図９は、本実施形態に係る表示システムの表示方法を示すフローチャートである。 図１０は、本実施形態に係るコンピュータシステムを示すブロック図である。 図１１は、本実施形態に係る輝度調整部の動作を説明するための図である。

以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

［遠隔操作システム］
図１は、本実施形態に係る作業機械１の遠隔操作システム１００を模式的に示す図である。図２は、本実施形態に係る作業機械１の一部を模式的に示す図である。本実施形態においては、作業機械１が油圧ショベルであることとする。以下の説明においては、作業機械１を適宜、油圧ショベル１、と称する。

油圧ショベル１は、作業現場で作業する。油圧ショベル１は、作業機２と、運転台４を有する旋回体３と、旋回体３を旋回可能に支持する走行体５と、制御装置３００とを備える。

作業機２は、旋回体３に連結されるブーム６と、ブーム６に連結されるアーム７と、アーム７に連結されるバケット８と、ブーム６を駆動するブームシリンダ１０と、アーム７を駆動するアームシリンダ１１と、バケット８を駆動するバケットシリンダ１２とを有する。ブームシリンダ１０、アームシリンダ１１、及びバケットシリンダ１２のそれぞれは、油圧により駆動される油圧シリンダである。

走行体５は、履帯を有する。履帯が回転することにより、油圧ショベル１が走行する。

制御装置３００は、油圧ショベル１を制御する制御信号を出力する。制御装置３００は、コンピュータシステムを含む。

遠隔操作システム１００は、作業現場を撮像する撮像装置３０と、作業現場に係る画像を遠隔操作施設において表示させる表示システム２００と、遠隔操作施設に設けられる遠隔操作装置４０とを備える。遠隔操作施設は、作業現場の遠隔地に設けられる。

撮像装置３０は、油圧ショベル１に設けられる。撮像装置３０は、対象物が撮像できる位置に設置すればよく、運転台以外に設置してもよい。運転台のないキャブレスの車両においては、撮像装置３０は、対象物が撮像できる位置にカメラを設置すればよい。撮像装置３０は、第１カメラ３１及び第２カメラ３２を有する。第１カメラ３１及び第２カメラ３２のそれぞれは、ビデオカメラであり、作業現場を撮像する。第１カメラ３１及び第２カメラ３２は、ステレオカメラでもよい。第１カメラ３１及び第２カメラ３２のそれぞれは、光学系と、光学系を通過した光を受光するイメージセンサとを有する。イメージセンサは、ＣＣＤ（Couple Charged Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含む。

図２に示すように、第１カメラ３１及び第２カメラ３２のそれぞれは、旋回体３の運転台４に固定される。

旋回体３に３次元の車体座標系（Ｘｍ、Ｙｍ、Ｚｍ）が規定される。Ｘｍ軸方向は、旋回体３の前後方向である。Ｙｍ軸方向は、旋回体３の車幅方向である。Ｚｍ軸方向は、旋回体３の上下方向である。第１カメラ３１と第２カメラ３２とは、旋回体３の所定方向に配置される。第１カメラ３１と第２カメラ３２とは、旋回体３の車幅方向（Ｙｍ軸方向）に配置される。第１カメラ３１と第２カメラ３２とは、旋回体３の高さ方向である上下方向（Ｚｍ軸方向）や、視軸方向である前後方向（Ｘｍ軸方向）に配置してもよい。第１カメラ３１の光学系の視野領域と第２カメラ３２の光学系の視野領域の少なくとも一部とは、重複する。

第１カメラ３１及び第２カメラ３２のそれぞれは、旋回体３の前方に存在する作業現場の対象物を撮像する。

撮像装置３０により撮像される対象物は、作業現場において施工される施工対象を含む。施工対象は、油圧ショベル１の作業機２で掘削される掘削対象を含む。なお、施工対象は、油圧ショベル１とは別の作業機械により施工される施工対象でもよいし、作業者により施工される施工対象でもよい。また、施工対象は、施工前の施工対象、施工中の施工対象、及び施工後の施工対象を含む概念である。

また、撮像装置３０により撮像される対象物は、油圧ショベル１の少なくとも一部を含む。撮像装置３０により撮像される対象物は、例えば作業機２、旋回体３、及び走行体５の少なくとも一つを含む。対象物である作業機２は、掘削している状態の作業機２でもよいし、掘削していない状態の作業機２でもよい。対象物である旋回体３は、旋回している状態の旋回体３でもよいし、旋回していない状態の旋回体３でもよい。対象物である走行体５は、走行している状態の走行体５でもよいし、走行していない状態の走行体５でもよい。また、撮像装置３０により撮像される対象物は、遠隔操作される油圧ショベル１の周囲に配置される作業機械でもよい。撮像装置３０により撮像される対象物は、遠隔操作される油圧ショベル１とは別の油圧ショベルでもよいし、ダンプトラックでもよい。

以下の説明においては、第１カメラ３１で撮像された作業現場の画像を適宜、第１画像Ｍ１、と称し、第２カメラ３２で撮像された作業現場の画像を適宜、第２画像Ｍ２、と称する。

表示システム２００は、油圧ショベル１の外部に配置される表示装置５０と、油圧ショベル１の外部に配置される処理装置６０とを備える。表示システム２００は、さらに撮像装置３０を含んでもよい。表示装置５０及び処理装置６０のそれぞれは、油圧ショベル１とは別体である。表示装置５０及び処理装置６０のそれぞれは、例えば遠隔操作施設に設けられる。

表示装置５０として、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）のようなフラットパネルディスプレイが例示される。処理装置６０は、コンピュータシステムを含む。

遠隔操作装置４０は、油圧ショベル１の外部に配置される。遠隔操作装置４０は、油圧ショベル１とは別体である。遠隔操作装置４０は、油圧ショベル１の作業機２及び旋回体３を遠隔操作する作業レバー及び走行体５を遠隔操作する走行レバーを含む。作業者は、遠隔操作施設において遠隔操作装置４０を操作する。

処理装置６０は、通信システム４００を介して油圧ショベル１の制御装置３００と通信可能である。通信システム４００は、油圧ショベル１に搭載される無線通信機４０１を有する。通信システム４００は、インターネット（internet）、ローカルエリアネットワーク（ＬＡＮ：Local Area Network）、携帯電話通信網、及び衛星通信網の少なくとも一つを含む。

遠隔操作装置４０が操作されることにより生成された操作信号は、通信システム４００を介して制御装置３００に送信される。制御装置３００は、取得した操作信号に基づいて、作業機２、旋回体３、及び走行体５を制御する制御信号を出力する。これにより、油圧ショベル１が遠隔操作される。

第１カメラ３１で撮像された作業現場の第１画像Ｍ１及び第２カメラ３２で撮像された作業現場の第２画像Ｍ２のそれぞれは、通信システム４００を介して処理装置６０に送信される。処理装置６０は、第１画像Ｍ１及び第２画像Ｍ２を画像処理して、所定の画像を表示装置５０に表示させる。

［遠隔操作施設］
図３は、本実施形態に係る遠隔操作施設を模式的に示す図である。図３に示すように、遠隔操作システム１００は、作業者の頭部の位置及び姿勢を検出する頭部位置センサ４１と、作業者の頭部に装着されるキャップ４２と、作業者が着座する操縦席４３と、遠隔操作装置４０と、表示装置５０と、処理装置６０とを有する。頭部位置センサ４１、キャップ４２、操縦席４３、遠隔操作装置４０、表示装置５０、及び処理装置６０のそれぞれは、例えば油圧ショベル１の外部の遠隔操作施設に設けられる。

頭部位置センサ４１は、作業者の頭部の位置及び姿勢を検出する。キャップ４２が作業者の頭部に装着される。キャップ４２に頭部マーカが設けられる。頭部位置センサ４１は、キャップ４２の頭部マーカを光学的に検出して、作業者の頭部の位置及び姿勢を検出する。

頭部位置センサ４１は、油圧ショベル１の外部において作業者の視点位置を検出する視点位置センサとして機能する。視点位置は、頭部の位置及び姿勢から従属的に決定される。頭部と視点との相対位置は既知データである。そのため、作業者の頭部の位置及び姿勢が検出されることにより、作業者の視点位置が検出される。

作業者は、表示装置５０の表示画面と正対するように操縦席４３に着座する。作業者は、表示装置５０の表示画面を確認しながら、遠隔操作装置４０を操作する。頭部位置センサ４１は、操縦席に着座している作業者の頭部の位置及び姿勢を検出する。

頭部位置センサ４１に３次元のローカル座標系（Ｘｒ、Ｙｒ、Ｚｒ）が規定される。車体座標系の位置を規定の変換式又は変換行列でローカル座標系の位置に変換した場合、Ｘｍ軸方向の位置はＸｒ軸方向の位置に変換され、Ｙｍ軸方向の位置はＹｒ軸方向の位置に変換され、Ｚｍ軸方向の位置はＺｒ軸方向の位置に変換される。すなわち、ローカル座標系のＸｒ軸は、車体座標系のＸｍ軸に対応し、同様に、Ｙｒ軸はＹｍ軸に、Ｚｒ軸はＺｍ軸に対応する。Ｘｒ軸方向は、操縦席４３に着座した作業者の前後方向である。Ｙｒ軸方向は、操縦席４３に着座した作業者の左右方向である。Ｚｒ軸方向は、操縦席４３に着座した作業者の上下方向である。Ｙｒ軸方向は、表示装置５０の表示画面の横方向に相当する。

［表示システム］
図４は、本実施形態に係る表示システム２００を示す機能ブロック図である。図４に示すように、表示システム２００は、頭部位置センサ４１と、表示装置５０と、制御装置６０とを有する。

撮像装置３０の第１カメラ３１は、作業現場を撮像して、作業現場の第１画像Ｍ１を取得する。撮像装置３０の第２カメラ３２は、作業現場を撮像して、作業現場の第２画像Ｍ２を取得する。第１カメラ３１で取得された第１画像Ｍ１及び第２カメラ３２で取得された第２画像Ｍ２は、通信システム４００を介して処理装置６０に送信される。頭部位置センサ４１の検出データは、処理装置６０に出力される。

処理装置６０は、画像取得部６１と、視点位置算出部６２と、輝度調整部６３と、表示制御部６４と、記憶部６５とを有する。

画像取得部６１は、第１カメラ３１で撮像された作業現場の第１画像Ｍ１及び第２カメラ３２で撮像された作業現場の第２画像Ｍ２のそれぞれを、通信システム４００を介して取得する。

視点位置算出部６２は、頭部位置センサ４１の検出データに基づいて、作業者の視点位置を算出する。頭部位置センサ４１は、作業者の頭部の位置及び姿勢を逐次取得する。作業者の視点位置は逐次変化する。視点位置は、頭部の位置及び姿勢から従属的に決定される。頭部と視点との相対位置は既知データであり、記憶部６５に記憶されている。視点位置算出部６２は、頭部位置センサ４１の検出データと記憶部６５に記憶されている既知データとに基づいて、作業者の視点位置を算出することができる。

輝度調整部６３は、視点位置算出部６２により算出された作業者の視点位置に基づいて、第１画像Ｍ１及び第２画像Ｍ２の少なくとも一方の輝度を調整する。

図５は、本実施形態に係る輝度調整部６３の動作を説明するための図である。作業者が頭部を動かすことにより、作業者の視点位置が変化する。

本実施形態において、視点位置は、第１位置Ｒ１と第２位置Ｒ２との間を移動することとする。第１位置Ｒ１と第２位置Ｒ２とは、旋回体３のＹｍ軸方向（車幅方向）に対応するＹｒ軸方向に配置される。Ｙｍ軸方向に対応するＹｒ軸方向とは、規定の変換式又は変換行列で車体座標系をローカル座標系に変換した場合、Ｙｍ軸方向を変換した後のＹｒ軸方向をいう。上述のように、Ｙｒ軸方向は、操縦席４３に着座した作業者の左右方向であり、表示装置５０の表示画面の横方向に相当する。なお、Ｘｒ軸方向の頭部運動に対応したＸｍ軸方向について、さらに第３カメラ、第４カメラなど複数のカメラを設置し、同様の変換を成立させてもよい。

図２に示したように、第２カメラ３２は、第１カメラ３１よりも＋Ｙｍ側に配置される。図５に示すように、第２位置Ｒ２は、第１位置Ｒ１よりも＋Ｙｒ側に配置される。車体座標系における第１カメラ３１と第２カメラ３２との相対位置と、ローカル座標系における第１位置Ｒ１と第２位置Ｒ２との相対位置とは、一致する。

例えば、車体座標系の第１カメラ３１の位置は、ローカル座標系の第１位置Ｒ１に変換される。車体座標系の第２カメラ３２の位置は、ローカル座標系の第２位置Ｒ２に変換される。なお、車体座標系における第１カメラ３１と第２カメラ３２との相対位置と、ローカル座標系における第１位置Ｒ１と第２位置Ｒ２との相対位置とが一致していればよく、第１カメラ３１の位置が第１位置Ｒ１とは異なる位置に変換されてもよいし、第２カメラ３２の位置が第２位置Ｒ２とは異なる位置に変換されてもよい。

図５において、ラインＭＬ１は、Ｙｒ軸方向の視点位置と第１画像Ｍ１の輝度Ｌ１との関係を示す。ラインＭＬ２は、Ｙｒ軸方向の視点位置と第２画像Ｍ２の輝度Ｌ２との関係を示す。ラインＭＬ１で示すように、輝度調整部６３は、Ｙｒ軸方向の視点位置に基づいて、第１画像Ｍ１の輝度Ｌ１を調整する。また、ラインＭＬ２で示すように、輝度調整部６３は、Ｙｒ軸方向の視点位置に基づいて、第２画像Ｍ２の輝度Ｌ２を調整する。

輝度調整部６３は、視点位置が第１位置Ｒ１にあるときに第１画像Ｍ１の輝度Ｌ１が第２画像Ｍ２の輝度Ｌ２よりも高くなり、視点位置が第２位置Ｒ２にあるときに第２画像Ｍ２の輝度Ｌ２が第１画像Ｍ１の輝度Ｌ１よりも高くなるように、輝度Ｌ１及び輝度Ｌ２を調整する。

輝度調整部６３は、視点位置が第１位置Ｒ１に近いほど第１画像Ｍ１の輝度Ｌ１が高くなり、視点位置が第２位置Ｒ２に近いほど第２画像Ｍ２の輝度Ｌ２が高くなるように調整する。また、輝度調整部６３は、視点位置が第１位置Ｒ１に近いほど第２画像Ｒ２の輝度Ｌ２が低くなり、視点位置が第２位置Ｒ２に近いほど第１画像Ｍ１の輝度Ｌ１が低くなるように、輝度Ｌ１及び輝度Ｌ２を調整する。

すなわち、輝度調整部６３は、視点位置が第１位置Ｒ１に近いほど第１画像Ｍ１の輝度Ｌ１が第２画像Ｍ２の輝度Ｌ２よりも高くなり、視点位置が第２位置Ｒ２に近いほど第２画像Ｍ２の輝度Ｌ２が第１画像Ｍ１の輝度Ｌ１よりも高くなるように、輝度Ｌ１及び輝度Ｌ２を調整する。

本実施形態において、輝度調整部６３は、視点位置が第１位置Ｒ１と第２位置Ｒ２との中心位置Ｒｍよりも第１位置Ｒ１に近いときに第１画像Ｍ１の輝度Ｌ１が第２画像Ｍ２の輝度Ｌ２よりも高くなり、視点位置が中心位置Ｒｍよりも第２位置Ｍ２に近いときに第２画像Ｍ２の輝度Ｌ２が第１画像Ｍ１の輝度Ｌ１よりも高くなるように、輝度Ｌ１及び輝度Ｌ２を調整する。

また、輝度調整部６３は、視点位置が第１位置Ｒ１にあるときに第１画像Ｍ１の輝度Ｌ１が規定値ＭＡになり第２画像Ｍ２の輝度Ｌ２がゼロになるように、輝度Ｌ１及び輝度Ｌ２を調整する。また、輝度調整部６３は、視点位置が第２位置Ｒ２にあるときに第２画像Ｍ２の輝度Ｌ２が規定値ＭＡになり第１画像Ｍ１の輝度Ｌ１がゼロになるように、輝度Ｌ１及び輝度Ｌ２を調整する。すなわち、輝度調整部６３は、視点位置が第１位置Ｒ１にあるときに、［輝度Ｌ１：輝度Ｌ２＝１：０］になり、視点位置が第２位置Ｒ２にあるときに、［輝度Ｌ１：輝度Ｌ２＝０：１］になるように、輝度Ｌ１及び輝度Ｌ２を調整する。

また、輝度調整部６３は、視点位置が中心位置Ｒｍにあるときに第１画像Ｍ１の輝度Ｌ１が規定値ＭＡの半分になり第２画像Ｍ２の輝度Ｌ２が規定値ＭＡの半分になるように、輝度Ｌ１及び輝度Ｌ２を調整する。すなわち、輝度調整部６３は、視点位置が中心位置Ｒｍにあるときに、［輝度Ｌ１：輝度Ｌ２＝１：１］になるように、輝度Ｌ１及び輝度Ｌ２を調整する。

ラインＭＬ１の傾きとラインＭＬ２の傾きとは等しい。ラインＭＬ１の傾きとは、第１位置Ｒ１から視点位置までの距離に対する輝度Ｌ１の変化率をいい、ラインＭＬ２の傾きとは、第２位置Ｒ２から視点位置までの距離に対する輝度Ｌ２の変化率をいう。

表示制御部６４は、輝度調整部６３により輝度が調整された第１画像Ｍ１及び第２画像Ｍ２を合成して表示装置５０に表示させる。

図６、図７、及び図８のそれぞれは、本実施形態に係る表示制御部６４の動作を説明するための図である。図６は、視点位置が第１位置Ｒ１にあるときに表示装置５０に表示される画像を示す。図７は、視点位置が中心位置Ｒｍにあるときに表示装置５０に表示される画像を示す。図８は、視点位置が第２位置Ｒ２にあるときに表示装置５０に表示される画像を示す。

図６に示すように、表示制御部６４は、視点位置が第１位置Ｒ１にあるとき、輝度Ｌ１が規定値ＭＡである第１画像Ｍ１のみを表示装置５０に表示させる。

図７に示すように、表示制御部６４は、視点位置が中心位置Ｒｍにあるとき、輝度Ｌ１が［０．５×ＭＡ］である第１画像Ｍ１と輝度Ｌ２が［０．５×ＭＡ］である第２画像Ｍ２とを重畳させて表示装置５０に表示させる。

図８に示すように、表示制御部６４は、視点位置が第２位置Ｒ２にあるとき、輝度Ｌ２が規定値ＭＡである第２画像Ｍ２のみを表示装置５０に表示させる。

［表示方法］
図９は、本実施形態に係る表示システム２００の表示方法を示すフローチャートである。第１カメラ３１及び第２カメラ３２は、作業現場を撮像する。制御装置３００は、第１カメラ３１で撮像された作業現場の第１画像Ｍ１及び第２カメラ３２で撮像された作業現場の第２画像Ｍ２のそれぞれを、通信システム４００を介して処理装置６０に送信する。処理装置６０の画像取得部６１は、第１カメラ６１で撮像された作業現場の第１画像Ｍ１及び第２カメラ３２で撮像された作業現場の第２画像Ｍ２のそれぞれを取得する（ステップＳ１）。

頭部位置センサ４１は、作業者の頭部の位置及び姿勢を検出する。頭部位置センサ４１の検出データは、視点位置算出部６２に出力される。視点位置算出部６２は、頭部位置センサ４１の検出データと記憶部６５に記憶されている頭部と視点との相対位置を示す既知データとに基づいて、作業者の視点位置を算出する（ステップＳ２）。

輝度調整部６３は、視点位置算出部６２により算出された作業者の視点位置に基づいて、第１画像Ｍ１の輝度Ｌ１及び第２画像Ｍ２の輝度Ｌ２を調整する（ステップＳ３）。

図５を参照して説明したように、輝度調整部６３は、視点位置が第１位置Ｒ１にあるときに第１画像Ｍ１の輝度Ｌ１が第２画像Ｍ２の輝度Ｌ２よりも高くなり、視点位置が第２位置Ｒ２にあるときに第２画像Ｍ２の輝度Ｌ１が第１画像Ｍ１の輝度Ｌ１よりも高くなるように、輝度Ｌ１及び輝度Ｌ２を調整する。

表示制御部６４は、輝度調整部６３により輝度Ｌ１が調整された第１画像Ｍ１及び輝度Ｌ２が調整された第２画像Ｍ２を合成して表示装置５０に表示させる（ステップＳ４）。

［コンピュータシステム］
図１０は、本実施形態に係るコンピュータシステム１０００を示すブロック図である。上述の処理装置６０は、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central Processing Unit）のようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述の処理装置６０の機能は、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、コンピュータプログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。

コンピュータプログラムは、上述の実施形態に従って、作業者の視点位置に基づいて、第１カメラ３１で撮像された作業現場の第１画像Ｍ１及び第２カメラ３２で撮像された作業現場の第２画像Ｍ２の少なくとも一方の輝度を調整することと、輝度が調整された第１画像Ｍ１及び第２画像Ｍ２を合成して表示装置５０に表示させることと、を実行することができる。

［効果］
以上説明したように、本実施形態によれば、第１カメラ３１及び第２カメラ３２により作業現場の第１画像Ｍ１及び第２画像Ｍ２が取得される。作業者の視点位置に基づいて、第１画像Ｍ１の輝度Ｌ１及び第２画像Ｍ２の輝度Ｌ２が調整される。作業者の視点位置の移動（作業者の頭部の運動）に合わせて、第１画像Ｍ１と第２画像Ｍ２との輝度合成比が追従的に変化することにより、仮現運動と同様の視覚効果が作業者にもたらされる。この視覚効果によって、作業者は、実際には作業現場から遠隔操作施設に伝送されていない視点画像があたかも伝送されているように錯覚する。そのため、作業現場から遠隔操作施設に大容量の画像を伝送しなくても、限られた回線容量において、作業現場の遠近感を作業者に効果的に知覚させることができる。

［その他の実施形態］
図１１は、本実施形態に係る輝度調整部６３の動作を説明するための図である。図１１のラインＭＬ１で示すように、Ｙｒ軸方向の視点位置と第１画像Ｍ１の輝度Ｌ１とが比例し、図１１のラインＭＬ２で示すように、Ｙｒ軸方向の視点位置と第２画像Ｍ２の輝度Ｌ２とが比例してもよい。

図１１に示す例においても、輝度調整部６３は、視点位置が第１位置Ｒ１にあるときに、［輝度Ｌ１：輝度Ｌ２＝１：０］になり、視点位置が第２位置Ｒ２にあるときに、［輝度Ｌ１：輝度Ｌ２＝０：１］になるように、輝度Ｌ１及び輝度Ｌ２を調整する。

また、輝度調整部６３は、視点位置が中心位置Ｒｍにあるときに、［輝度Ｌ１：輝度Ｌ２＝１：１］になるように、輝度Ｌ１及び輝度Ｌ２を調整する。

また、輝度調整部６３は、視点位置が第１位置Ｒ１と第２位置Ｒ２との間の図示しない任意位置Ｒａにあるときに、［輝度Ｌ１：輝度Ｌ２＝ｍ：ｎ］になるように、輝度Ｌ１及び輝度Ｌ２を調整する。任意位置Ｒａは、第１位置Ｒ１との距離がｎであり、第２位置Ｒ２との距離がｍである位置である。

表示制御部６４は、視点位置が任意位置Ｒａにあるとき、輝度Ｌ１が［規定値ＭＡ×ｍ％］である第１画像Ｍ１と輝度Ｌ２が［規定値ＭＡ×ｎ％］である第２画像Ｍ２とを重畳させて表示装置５０に表示させる。

なお、上述の実施形態においては、視点位置が第１位置Ｒ１にあるときに第２画像Ｍ２の輝度Ｌ２がゼロになり、視点位置が第２位置Ｒ２にあるときに第１画像Ｍ１の輝度Ｌ１がゼロになるように、輝度Ｌ１及び輝度Ｌ２が調整されることとした。視点位置が第１位置Ｒ１にあるときに第２画像Ｍ２の輝度Ｌ２がゼロよりも大きくてもよいし、視点位置が第２位置Ｒ２にあるときに第１画像Ｍ１の輝度Ｌ１がゼロよりも大きくてもよい。

上述の実施形態においては、視点位置に基づいて、第１画像Ｍ１の輝度Ｌ１と第２画像Ｍ２の輝度Ｌ２との両方が調整されることとした。例えば第１画像Ｍ１の輝度Ｌ１が一定値に維持され、視点位置に基づいて第２画像Ｍ２の輝度Ｌ２のみが調整されてもよいし、第２画像Ｍ２の輝度Ｌ２が一定値に維持され、視点位置に基づいて第１画像Ｍ１の輝度Ｌ１のみが調整されてもよい。

上述の実施形態においては、撮像装置３０は、第１カメラ３１及び第２カメラ３２を有することとした。撮像装置３０は、３台以上の任意の複数台のカメラにより構成されてもよい。

上述の実施形態においては、撮像装置３０が油圧ショベル１に設けられることとした。撮像装置３０は、作業現場の対象物を撮像可能であれば任意の位置に設けることができる。例えば、撮像装置３０は遠隔操作対象である油圧ショベル１とは別の作業機械に設けられてもよいし、ドローンのような飛行体に設けられてもよいし、作業現場に設けられている構造物に設けられてもよい。

上述の実施形態においては、光学式の頭部位置センサ４１で作業者の頭部の位置及び姿勢を検出することによって、作業者の視点位置が取得されることとした。例えば、磁気式の頭部位置センサで作業者の頭部の位置及び姿勢を検出してもよいし、視線検出装置によって作業者の瞳孔の位置が直接的に検出されてもよい。

上述の実施形態においては、作業機械１が油圧ショベルであることとした。作業機械１は、施工対象を施工可能な作業機械であればよく、施工対象を掘削可能な掘削機械及び土砂を運搬可能な運搬機械でもよい。作業機械１は、例えばホイールローダでもよいし、ブルドーザでもよいし、ダンプトラックでもよい。より詳しくは、作業機械１がショベル以外の車両である場合、カメラの位置は対象物や車両の進行方向が撮像できる位置に設置すればよい。作業機械１がブルドーザである場合、後進において作業を実施する場合があるため、カメラの設置位置は車両の前方に限らず、車両の後方にカメラを設けてもよい。

１…油圧ショベル（作業機械）、２…作業機、３…旋回体、４…運転台、５…走行体、６…ブーム、７…アーム、８…バケット、１０…ブームシリンダ、１１…アームシリンダ、１２…バケットシリンダ、３０…撮像装置、３１…第１カメラ（第１撮像装置）、３２…第２カメラ（第２撮像装置）、４０…遠隔操作装置、４１…頭部位置センサ（視点位置センサ）、４２…キャップ、４３…操縦席、５０…表示装置、６０…処理装置、６１…画像取得部、６２…視点位置算出部、６３…輝度調整部、６４…表示制御部、６５…記憶部、１００…遠隔操作システム、２００…表示システム、３００…制御装置、４００…通信システム、４０１…無線通信機、Ｍ１…第１画像、Ｍ２…第２画像。

Claims (8)

1. 第１撮像装置で撮像された作業現場の第１画像及び第２撮像装置で撮像された前記作業現場の第２画像のそれぞれを取得する画像取得部と、
   作業者の視点位置を算出する視点位置算出部と、
   前記視点位置に基づいて、前記第１画像及び前記第２画像の少なくとも一方の輝度を調整する輝度調整部と、
   前記輝度が調整された前記第１画像及び前記第２画像を合成して表示装置に表示させる表示制御部と、を備える、
   表示システム。
2. 前記視点位置は、第１位置と第２位置との間を移動し、
   前記輝度調整部は、前記視点位置が前記第１位置にあるときに前記第１画像の輝度が前記第２画像の輝度よりも高くなり、前記視点位置が前記第２位置にあるときに前記第２画像の輝度が前記第１画像の輝度よりも高くなるように調整する、
   請求項１に記載の表示システム。
3. 前記輝度調整部は、前記視点位置が前記第１位置にあるときに前記第２画像の輝度がゼロになり、前記視点位置が前記第２位置にあるときに前記第１画像の輝度がゼロになるように調整する、
   請求項２に記載の表示システム。
4. 前記輝度調整部は、前記視点位置が前記第１位置に近いほど前記第１画像の輝度が高くなり、前記視点位置が前記第２位置に近いほど前記第２画像の輝度が高くなるように調整する、
   請求項３に記載の表示システム。
5. 前記輝度調整部は、前記視点位置が前記第１位置と前記第２位置との中心位置よりも前記第１位置に近いときに前記第１画像の輝度が前記第２画像の輝度よりも高くなり、前記視点位置が前記中心位置よりも前記第２位置に近いときに前記第２画像の輝度が前記第１画像の輝度よりも高くなるように調整する、
   請求項３または４に記載の表示システム。
6. 前記第１撮像装置及び前記第２撮像装置のそれぞれは、前記作業現場で作業する作業機械に設けられ、
   前記第１撮像装置と前記第２撮像装置とは、前記作業機械の所定方向に配置され、
   前記第１位置と前記第２位置とは、前記所定方向に対応する規定方向に配置される、
   請求項３から請求項５のいずれか一項に記載の表示システム。
7. 作業機械に設けられ、作業現場を撮像する第１撮像装置及び第２撮像装置と、
   前記作業機械の外部に配置される表示装置と、
   前記作業機械の外部において作業者の視点位置を検出する視点位置センサと、
   前記作業機械の外部に配置され、前記作業機械と通信可能な処理装置と、を備え、
   前記処理装置は、
   前記第１撮像装置で撮像された第１画像及び前記第２撮像装置で撮像された第２画像のそれぞれを取得する画像取得部と、
   前記視点位置センサの検出データに基づいて、前記第１画像及び前記第２画像の少なくとも一方の輝度を調整する輝度調整部と、
   前記輝度が調整された前記第１画像及び前記第２画像を合成して前記表示装置に表示させる表示制御部と、を有する、
   遠隔操作システム。
8. 作業者の視点位置に基づいて、第１撮像装置で撮像された作業現場の第１画像及び第２撮像装置で撮像された前記作業現場の第２画像の少なくとも一方の輝度を調整することと、
   前記輝度が調整された前記第１画像及び前記第２画像を合成して表示装置に表示させることと、を含む、
   表示方法。