JP2022143729A - 遠隔操作システム - Google Patents

Abstract

【課題】操縦者に遠隔操作する車両が受信する電波強度に加えて電波強度の変化を知らせることができる。【解決手段】車両との間で電波を送受信して車両を操縦する。通信装置１４であって、通信装置１４は情報を表示する表示部２１を備え、表示部２１は現在車両が受信している電波の電波強度である第１電波強度を表す第１画像２２と、第１電波強度の変化に関する情報を表す第２画像３２とを表示可能である。【選択図】図１

Description

本発明は、操縦者が離れた場所から作業機械を遠隔操作する遠隔操作システムに関し、特に作業機械の通信状態を把握できる改善された遠隔操作システムに関する。

近年、特許文献１に開示されているように、作業現場の作業機械を遠隔操作することにより作業を行うシステムが開発されている。特許文献１の遠隔操作システムでは、実機の操縦席と同じように製作された遠隔操作用操縦装置に操縦者が搭乗して遠隔操作を行う。操縦装置には、操縦者の前面に大型のモニタが備えられており、操縦者は実車に搭乗している時と同じ視野を見られることで、実車に乗車している感覚で作業機械を操縦することができる。

特開２０２０－２００６６０号公報

しかしながら、操縦者は遠隔操作している作業機械の通信状態を把握することができない。作業機械が移動すると、場所により作業機械が受信する電波の電波強度が変化する。したがって、作業機械が移動する作業区域の中の電波が不安定な場所に移動した場合、通信が切断される恐れがある。しかし、操縦者は作業機械の通信状態を把握することができないため、通信切断を予測することができない。その結果、予想しない通信切断が発生し、作業が中断することになる。または、作業機械の制御遅れ、作業機械から操縦者が操作する遠隔装置に送信される映像の不安定化等が発生し、作業遅延の要因となってしまう。

上記のような作業の中断、及び遅延を避けるために、移動しながら作業する作業機械の変化する通信状況を把握できる手段が望まれていた。

本発明は、上記課題を解決するためになされたものであり、遠隔操作する作業機械の通信状況を把握できる手段を提供することを目的とする。

本発明に係る通信装置は、車両との間で電波を送受信して前記車両を遠隔操作する通信装置であって、通信装置は、情報を表示する表示装置を備え、表示装置は、現在前記車両が受信している電波の電波強度である第１電波強度を表す第１画像と、第１電波強度の変化に関する情報を表す第２画像と、を表示可能であることを特徴とする。

本発明に係る通信装置によれば、操縦者に遠隔操作する車両が受信する電波強度に加えて電波強度の変化を知らせることができる。

また、本発明に係る通信装置において、第１電波強度の変化に関する情報は、現時点から所定時間前の時点における電波強度である第２電波強度に対する第１電波強度の変化であり、第２画像は、第１電波強度が第２電波強度以上であることを示す第３画像と、第１電波強度が第２電波強度未満であることを示す第４画像と、を含むことが好ましい。

本発明に係る通信装置によれば、操縦者に遠隔操作する車両が受信する電波強度が強くなるのか、弱くなるのかの何れかの変化なのかを第３画像および第４画像を含む第２画像により知らせることができる。特に、車両を遠隔操作する操縦者は、遠隔操作による作業に集中する必要があるが、そのような状況であっても第２画像を一目することで電波強度の変化を容易に把握させることができる。

また、本発明に係る通信装置は、車両の位置を特定する位置特定部を備え、車両が受信した１つ以上の電波強度の履歴を含む情報を、それぞれの電波強度の位置情報に関連付けて記憶する記憶部を備え、表示部は履歴に含まれる電波強度を、対応する位置情報に関連付けて表示する第５画像を表示可能であることが好ましい。

本発明に係る通信装置によれば、遠隔操作する車両が作業している作業エリア内の特定場所の電波強度を、操縦者が知りたい時に知ることができる。したがって、操縦者は通信状況がよい作業場所を選択して作業したり、通信状況が悪いことを前提として作業したりすることができる。

また、本発明に係る通信装置において、第５画像は、車両が走行する領域を示す地図上に表示されることが好ましい。

本発明に係る通信装置によれば、車両走行領域内において車両が走行した場所の電波強度を、車両走行領域を示す地図に重ねて表示することにより、操縦者に車両走行領域における電波状況を容易に把握させることができる。

本発明の実施の形態にかかる遠隔操作システムの概要図である。 図１の通信装置に表示される第１画像及び第２画像である。 図１の通信装置に表示される第１画像及び第２画像である。 図１の通信装置に表示される第１画像である。 図１の通信装置に表示される第５画像である。

図１を参照して、本発明に係る実施の形態の遠隔操作システム１００を説明する。遠隔操作システム１００は、操縦者が車両を遠隔操作する遠隔操作装置１０と、遠隔操作装置１０から離れた場所にある車両に設置されている送受信装置８０と、を備えている。以下の実施の形態においては、車両は、車両の一例である作業機械として説明する。作業機械は、例えばパワーショベル、クレーン、又はダンプカー等である。なお、遠隔操作システム１００は、車両の種類を限定せず作業機械以外の車両に適用することができる。遠隔操作システム１００は、例えば、乗用車、バス、トラック、二輪車、等に適用することができる。

次に、遠隔操作装置１０と、作業機械に搭載されている送受信装置８０と、を説明する。遠隔操作装置１０は、演算処理装置１１と、表示処理装置１２と、モニタ１３と、通信装置１４と、を備えている。加えて、遠隔操作装置１０は、図示しないシート、操作レバー、及びスイッチ類を備えており、モニタ１３は操縦者が座るシートの前に配置されている。また、演算処理装置１１は、図示しないＣＰＵとメモリとを有している。演算処理装置１１と表示処理装置１２との間、及び演算処理装置１１と通信装置１４との間は、ＬＡＮケーブルで接続されている。また、表示処理装置１２とモニタ１３との間は、ＨＤＭＩケーブルで接続されている。

遠隔操作する作業機械には、送受信装置８０が設けられている。また、作業機械には、前面視野を撮像する図示しないカメラが取り付けられており、カメラにより撮像された画像は、送受信装置８０を介して遠隔操作装置１０に送信される。遠隔操作装置１０と、送受信装置８０との間は、無線通信を介して送受信される。無線通信の種類は適宜選択でき、例えばＷｉＦｉ通信、又は携帯電話用通信の無線電波が利用される。送信された画像は、遠隔操作装置１０に設置されている通信装置１４で受信され、演算処理装置１１、及び表示処理装置１２を介してモニタ１３に表示される。操縦者は、モニタ１３に表示される画像を見ながら、作業機械に搭乗している時と同じように遠隔操作装置１０に備えられている操作レバー、及びスイッチ類を操作する。演算処理装置１１は、操縦者により操作された装置の種類と操作量とを検出し、通信装置１４を介して作業機械に制御信号を送信する。

制御信号は、送受信装置８０により受信されて、作業機械が遠隔操作される。また、送受信装置８０は受信した電波の強度を認識することができ、受信した電波の強度に関する情報を、一定時間間隔でリアルタイムに遠隔操作装置１０に送信する。遠隔操作装置１０は、送信された受信した電波の強度に関する情報を記憶部６１に記憶するとともに、第１画像に表示する。受信した電波の強度に関する情報は一定時間間隔で受信できるようになっているが、電波強度低下等により受信できず、受信情報に欠損が生じた場合は、一定時間ごとの欠損時刻の電波強度は、所定の最小電波強度未満とされて自動的に記憶される。

次に、図２を参照して通信装置１４に表示される第１画像２２、及び第２画像３２を説明する。通信装置１４は表示部２１を有しており、送受信装置８０が受信した電波強度を含む情報が表示される。表示部２１は、液晶画面、有機ＥＬ画面、等のディスプレイ、又は、複数のＬＥＤが組み合わされたＬＥＤ式表示装置などの表示装置から選択される。表示部２１は、モニタ１３の表示面の一部を表示装置として選択してもよい。

第１画像２２は、作業機械が現在受信している電波の強度である第１電波強度を表している。第１画像２２は、第１画像要素２３、第２画像要素２４、第３画像要素２５、及び第４画像要素２６を含んでいる。受信している電波の電波強度は、受信可能な所定の最小電波強度から所定の最大電波強度までの範囲を４段階に分け、各段階を第１画像要素２３、第２画像要素２４、第３画像要素２５、及び第４画像要素２６を用いて表示される。各段階に応じて、第１画像要素２３から第４画像要素２６の各々は、表示又は非表示にされる。

第１画像要素２３、第２画像要素２４、第３画像要素２５、及び第４画像要素２６はそれぞれ、長さが少しずつ異なって形成されている矩形である。第１画像要素２３から第４画像要素２６のそれぞれは、第１長辺２７、第２長辺２８、第１短辺２９、第２短辺３０を含んでおり、長手方向を図２中において、縦方向にして配置されている。第１長辺２７と、第２長辺２８は平行であり、かつ第２長辺２８は、第１長辺２７より少し長く形成されている。また、第１短辺２９を横方向にして下に配置され、第１短辺２９の左端に第１長辺２７の下端、右端に第２長辺２８の下端をそれぞれ重ねて、第１長辺２７と第２長辺２８とが縦方向に配置されている。さらに、それらの上側に、第２短辺３０が第２短辺３０の左端を第１長辺２７の上端に、右端を第２長辺２８の上端にそれぞれ重ねて配置されている。右側の第２長辺２８は、左側の第１長辺２７より少し長く形成されているため、各々の第２短辺３０は右上がりに形成されている。

図２に示されているように、第１画像要素２３～第４画像要素２６は、第１画像要素２３～第４画像要素２６の長手方向を縦方向、かつわずかな一定隙を挟んで、一番短い第１画像要素２３から一番長い第４画像要素２６の順序で左から右に、隣接配置されている。それぞれの下側の各第１短辺２９は同一直線上に位置するように配置されている。また、それぞれの上側の右上がりに形成された各第２短辺３０は、同一直線上に位置するように配置されている。第１画像要素２３から第４画像要素２６の長さは、右端の第４画像要素２６に向かうほど長く、第１画像要素２３から第４画像要素２６の上端側が右上がりに形成されている。そのため、第１画像は、右側ほど電波強度が強い状態を意味するということを、操縦者が一目しただけで感覚的にわかるように構成されている。

電波強度の４段階の内、最も弱い第１段階では第１画像要素２３のみが表示される。また、第１段階より少し強い第２段階では第１画像要素２３、及び第２画像要素２４が表示される。また、第２段階より少し強い第３段階では第１画像要素２３、第２画像要素２４、及び第３画像要素２５が表示される。また、第３段階よりさらに強い第４段階では第１画像要素２３から第４画像要素２６までの全てが表示される。このように、第１画像２２は電波強度に比例して、表示される画像要素の数が増えるように構成されているため、操縦者は第１画像２２を一目しただけで現在の電波強度を感覚的に知ることができる。

上記説明では、電波強度を４段階に分けて説明したが、４段階以外に分けてもよい。例えば、２段階、３段階、又は５段階以上でもよい。その場合、段階数に応じて、第１画像に含まれる第１画像要素２３等の数が形成される。また、上記では、最下位段階の第１段階を意味する第１画像要素２３から、現在の当該段階、例えば第３画像要素２５まで連続して表示される構成を説明したが、現在より最下の段階を表示せず、現在の当該段階のみを表示するようにしてもよい。例えば、現在の電波強度が第３段階であれば、第３画像要素２５のみが表示されるようにしてもよい。

第１画像要素２３から第４画像要素２６の色は、背景と異なる色に形成されている。第１画像要素２３等を明確に認識できるように、背景色とは異なる色が好ましい。例えば、第１画像要素２３等は白色、背景は黒色である。又は、それと逆の配色でもよい。それぞれの色は白、黒の他、青、赤、黄、緑、グレー、それらの中間色等、それぞれ任意に選択できる。

または、それぞれの色を変える他に、同じ色で明度を異ならせることもできる。さらに、色と明度とを合わせて変えることもできる。明度と同様に、彩度を異ならせることもできる。さらに、第１画像要素２３等は、背景とは異なる表示パターンで形成してもよい。例えば、何れか一方を無地、他方を網掛けパターン、ドットパターン、等にしてもよい。また、第１画像要素２３等と、背景とは、それぞれの色とパターンとを合わせて異ならせてもよい。

また、第１画像要素２３から第４画像要素２６の色は同じ色ではなく、それぞれ異なる色でもよい。または、それぞれ異なる明度、彩度、表示パターンにしてもよい。第１画像要素２３から第４画像要素２６が、背景に対し、及び、互いに対し明確に認識できるような状態であればよい。さらに、電波強度が弱い状態の第１画像を表示する場合は、他に比べて目立つ状態に形成されることも可能である。例えば、第１画像要素２３、又は第１画像要素２３と第２画像要素２４のみを、赤、黄等にすることができる。または、点滅表示にしてもよい。なお、第１画像要素２３から第４画像要素２６は、それらの一部または全部の外形に沿った輪郭線を備えていてもよい。

次に、作業機械が受信している電波強度の変化に関する情報を表す第２画像３２を説明する。走行領域内を移動している作業機械等の車両が受信する電波の電波強度は、作業機械のアンテナからの距離、作業機械の周囲に存在する構造物の大きさや有無、遠隔操作装置１０が用いる周波数に近い周波数帯の電波の有無によって大きく変動する。第２画像３２は、現時点から所定時間前の時点における電波強度である第２電波強度に対する第１電波強度の変化を表している。すなわち、操縦者は、第２画像３２により、現時点の電波強度である第１電波強度が所定時間以前の時点と比べて同等以上か、またはそれ未満かを知ることができる。第２画像３２は、前者を示す第３画像３３と、後者を示す第４画像３４とを含んでいる。

第１電波強度の現在の時点に対し、比較の基準である第２電波強度の時点である所定時間前について、その所定時間は初期設定されている。また、所定時間は任意に設定できる。車両の種類に応じて設定されてもよい。例えば、移動速度が低くあまり長距離移動しない作業機械では、１０秒、１５秒、３０秒、４５秒、１分等に設定できる。移動速度が高く長距離移動もする乗用車等では、１秒、３秒、５秒、１０秒等に設定できる。

図２には、第１画像２２の上側に隣接して第３画像３３が示されている。第３画像３３は、現時点から所定時間前の時点における電波強度である第２電波強度に対し、第１電波強度が第２電波強度以上であることを表す表示である。第３画像３３は、例えば、第１画像要素２３のみの表示から、第２画像要素２４、又は第２画像要素２４と第３画像要素２５との表示に変わった時、又は表示されている第１画像に変化がない状態の時などの場合に表示される。第３画像３３が表示されている時は、電波強度が同等、又は強くなっている状態であり、操縦者は通信切断が起こりにくい状況であることを認識することができる。

図２に示されている第３画像３３は、パワーショベルが坂を登っている状態を示した模式図である。第３画像３３は、クローラを含む駆動部３３１と、駆動部３３１の上に配置された搭乗部３３２と、搭乗部３３２の前面に配置されたパワーショベル等のアタッチメント部３３３とを含んでなり、パワーショベルが登り坂を上がっているように前方向が斜め上向きにして形成されている。

なお、第３画像３３は、任意の形状とすることができる。例えば、上向きの三角、上向き又は斜め上向き又は右向きの矢印、並びに、丸、四角などの図形でもよい。第３画像３３は、特定の色、パターン、又はそれらの両方の何れかで形成されていてよい。さらに、第３画像３３は、第３画像３３単独、第１画像の一部とともに、又は第１画像の全部とともに、点滅表示させてもよい。

図３には、第１画像２２の上側に隣接して第４画像３４が示されている。第３画像３３は、第２電波強度に対し、第１電波強度が第２電波強度未満であることを表す表示である。第３画像３３は、例えば、第１画像要素２３から第３画像要素２５まで表示されている状態から、第１画像要素２３のみの表示に変わった時などの場合に表示される。第４画像３４が表示されている時は、電波強度が弱くなるように変化した状態であり、操縦者は通信切断等の通信不良が起こり得る状況であることを認識することができる。

図３に示されている第４画像３４は、パワーショベルが坂を下っている状態を示した模式図である。第４画像３４は、クローラを含む駆動部３４１と、駆動部３４１の上に配置された搭乗部３４２と、搭乗部３４２の前面に配置されたパワーショベル等のアタッチメント部３４３とを含んでなり、パワーショベルが下り坂を下がっているように前方向が斜め下向きにして形成されている。

なお、第４画像３４は、任意の形状とすることができる。例えば、下向きの三角、下向き又は斜め下向き又は左向きの矢印、並びに、丸、四角などの図形等、第３画像３３と区別できる表示であれば何れでもよい。第４画像３４は、特定の色、パターン、又はそれらの両方の何れかにより形成されていてよい。操縦者に認識されやすいように、赤色、黄色、等の目立つ色にしてもよい。さらに、第４画像３４は、第４画像３４単独、第１画像の一部とともに、又は第１画像の全部とともに、点滅表示させてもよい。

上記において、第２画像３２が第３画像３３と第４画像３４とを含む場合について説明したが、第２画像３２は第３画像３３を含まず、第４画像３４のみを含むように構成してもよい。すなわち、作業機械が受信している電波強度の変化に関する情報を表す第２画像３２は、第２電波強度に対し、第１電波強度が第２電波強度未満であることを表す第３画像３３のみとしてもよい。この場合は、表示が簡素化できるため、操縦者の視認性が向上する。

次に、図４を参照して、電波強度が所定値未満の状態、すなわち電波の検出が無く電波を受信していない電波無検出状態の場合について説明する。図４には、第１画像２２に重ねて、直線が交差する×形状に形成された第５画像要素３１が示されている。電波強度が所定値未満の状態とは、作業機械の送受信装置８０が受信する電波強度が、所定の最低受信強度未満である場合、遠隔操作装置１０側、又は作業機械側の送受信装置８０の何らかの問題があり正常に電波が送受信できていない、等の状態である。電波無検出状態のため、第１画像要素２３～第４画像要素２６、第３画像３３、及び第４画像３４は表示されない。なお、第５画像要素３１の表示形状は、これに限らない。また、×形状は、第１画像２２に重ねずに表示されてもよい。

次に、電波強度を対応する位置情報に関連付けて表示する第５画像を説明する。通信装置１４は、作業機械の位置を特定する位置特定部５１と、位置特定部５１により特定された作業機械の位置、及びその位置での電波強度に関する情報とを関連付けて記憶する記憶部６１とを有している。一方、作業機械に搭載されている送受信装置８０は、位置検出装置８１を有している。作業機械の位置情報は、位置検出装置８１により検出され、送受信装置８０により送信される。

送信された作業機械の位置情報は、通信装置１４により受信され、位置特定部５１に送られて作業機械の位置が特定される。その後、作業機械の位置情報と、その位置における電波強度に関する情報とが関連付けられて、記憶部６１に記憶される。記憶部６１に記憶される位置情報と、その位置における電波強度に関する情報とは、現時点を含む両者の履歴として複数のセットが記憶されている。

図５を参照して、上記をさらに説明する。図５は、第５画像４１を示している。第５画像４１において、領域４２内の第６画像要素４３の位置が、現在の車両すなわち作業機械の場所である。領域４２を示す地図は、作業機械の位置に基づいて表示される。表示される領域４２は、地形データを含めた作業機械周辺の地図であり、通信装置１４の記憶部６１に地図データとして記憶されている。表示される地図領域の範囲は、初期設定されている。移動距離が少ない作業機械の場合には、地図上の狭い領域範囲が表示部２１に表示される。また、乗用車等、移動距離が長い、又は移動範囲が広い車両の場合には、地図上の広い領域範囲が表示される。

領域４２内に表示されている第７画像要素４４は、作業機械と通信する電波を送受信するアンテナである。アンテナは、遠隔操作装置１０と送受信装置８０との間の通信を中継する基地局であり、遠隔操作装置１０と有線又は無線で通信する。また、電波強度Ａ４５～電波強度Ｃ４７は、現在までに作業機械が走行したＡ地点からＣ地点における電波強度である。Ａ地点はアンテナに近いため、Ａ地点の電波強度表示は、第１画像２２のうちの第１画像要素２３から第３画像要素２５までの３本が示されている。また、Ｃ地点はアンテナから遠いため、Ｃ地点の電波強度は、第１画像２２のうちの第１画像要素２３のみの１本が示されている。また、Ｂ地点はアンテナとの距離がＡ地点及びＣ地点の中間であるため、Ｂ地点の電波強度は第１画像２２のうちの第１画像要素２３から第２画像要素２４までの２本が示されている。

このように、作業機械が走行した場所における電波強度が、第５画像４１の領域４２内の対応する位置に表示される。したがって、操縦者は領域４２内の場所ごとの電波強度を一括して容易に把握することができ、通信切断の可能性が予測される場所を避けて走行する計画を立てることができる。

なお、表示部２１に表示される表示領域の範囲は、所望の範囲に変更できる。さらに、車両の移動距離の長さ、又は移動範囲の大きさに応じて、表示される領域範囲が移動範囲の領域とほぼ同じになるように、自動的に変更することもできる。例えば、車両の移動範囲が、設定されている表示範囲に比べてより狭い範囲の場合は、移動範囲の領域のみが表示されるように、表示される地図上の領域範囲が小さく設定されて表示部２１に表示される。

一方、車両の移動範囲が、設定されている表示範囲に比べてより広い範囲の場合は、移動範囲の領域全体が表示されるように、表示される地図上の領域範囲が大きく設定されて表示部２１に表示される。このようにすることで、表示部２１に車両の移動範囲全体がちょうどよく表示部２１に自動的に表示されるようにして、車両が走行している場所の電波強度を見やすく表示することができる。

また、第５画像の領域４２に電波強度を表示する地点は、選択可能である。例えば、第１画像中の第１画像要素２３から第４画像要素２６までの３本以上、又は４本以上のみの電波強度が強い地点のみを表示することができる。また、第１画像中の第１画像要素２３から第２画像要素２４までの２本まで、又は第１画像要素２３のみの１本のみの電波強度が弱い地点のみを表示することができる。

また、第５画像の領域４２は、電波強度に応じて地図を複数に塗り分けて表示することが可能である。例えば、Ａ地点からＣ地点における各電波強度とアンテナ位置を参考に領域４８a～領域４８ｄが塗り分けられる。領域４８aは第１画像要素２３から第４画像要素２６が表示に切換りうる領域であり、領域４８ｂは第１画像要素２３から第３画像要素２５が表示に切換りうる領域であり、領域４８ｃは第１画像要素２３と第２画像要素２４が表示に切換りうる領域であり、領域４８ｄは第１画像要素２３のみが表示に切換りうる領域である。領域４８a～領域４８ｄは、それぞれを識別可能なように、色やグラデーション等が異なるように表示される。塗分けに用いるための電波強度を計測する地点を増やして塗分けの精度を高めるようにしてもよい。

本発明によれば、操縦者により遠隔操作される車両が受信する電波の電波強度に加え、電波強度の変化を操縦者に知らせることができる。

１４ 通信装置、 ２１ 表示部、 ２２ 第１画像、 ３２ 第２画像、
３３ 第３画像、 ３４ 第４画像、 ５１ 位置特定部、 ６１ 記憶部、
４１ 第５画像、 ４２ 領域。

Claims (4)

1. 車両との間で電波を送受信して前記車両を遠隔操作する通信装置であって、
   前記通信装置は、情報を表示する表示部を備え、
   前記表示部は、現在前記車両が受信している電波の電波強度である第１電波強度を表す第１画像と、
   前記第１電波強度の変化に関する情報を表す第２画像と、を表示可能である、通信装置。
2. 前記第１電波強度の変化に関する情報は、現時点から所定時間前の時点における電波強度である第２電波強度に対する前記第１電波強度の変化状況であり、
   前記第２画像は、前記第１電波強度が前記第２電波強度以上であることを示す第３画像と、
   前記第１電波強度が前記第２電波強度未満であることを示す第４画像と、を含む、請求項１に記載の通信装置。
3. 前記通信装置は、前記車両の位置を特定する位置特定部と、
   前記車両が受信した電波についての１つ以上の電波強度の履歴を含む情報を、それぞれの電波強度の受信位置情報に関連付けて記憶する記憶部と、を備え、
   前記表示部は、前記履歴に含まれる前記１つ以上の電波強度を、対応する位置情報に関連付けて表示する第５画像を表示可能である、請求項１又は２に記載の通信装置。
4. 前記第５画像は、車両が走行する領域を示す地図上に表示される、請求項３に記載の通信装置。
   
   

Images