JP2022144601A - 遠隔操作支援サーバおよび遠隔操作支援システム - Google Patents
遠隔操作支援サーバおよび遠隔操作支援システム Download PDFInfo
- Publication number
- JP2022144601A JP2022144601A JP2021045675A JP2021045675A JP2022144601A JP 2022144601 A JP2022144601 A JP 2022144601A JP 2021045675 A JP2021045675 A JP 2021045675A JP 2021045675 A JP2021045675 A JP 2021045675A JP 2022144601 A JP2022144601 A JP 2022144601A
- Authority
- JP
- Japan
- Prior art keywords
- remote
- space area
- real space
- remote operation
- operation support
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 74
- 230000008859 change Effects 0.000 claims abstract description 38
- 238000006073 displacement reaction Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims description 61
- 230000008602 contraction Effects 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 7
- 238000012806 monitoring device Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 59
- 230000007246 mechanism Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 11
- 206010034719 Personality change Diseases 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 5
- 238000004091 panning Methods 0.000 description 4
- 239000010720 hydraulic oil Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/205—Remotely operated machines, e.g. unmanned vehicles
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/36—Component parts
- E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
- E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
- E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Component Parts Of Construction Machinery (AREA)
- Manipulator (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】作業機械に搭載されている実機撮像装置により取得される画像範囲を変化させる際、当該作業機械を遠隔操作するオペレータの心理的負担の軽減を図ることができるシステム等を提供する。【解決手段】遠隔画像出力装置221に表示されている作業環境画像に映り込んでいる実空間領域の未来の変化態様を表わす予告が遠隔出力インターフェース220に出力される。実空間領域の変位態様に応じて変位する仮想音源Vssおよび/または実空間領域の変位態様を表わす矢印状のアイコン画像A1に接したオペレータに、作業環境画像に映り込む実空間領域が未来において当該変位態様にしたがって変位することを事前に把握させることができる。【選択図】図6
Description
本発明は、作業機械の状態を作業者に報知する技術に関する。
安全性の向上と作業効率の向上を実現させたクレーンを提供する観点から、カメラが撮影した画像における被写体(例えばサブフック)を追従し、当該被写体を含んだ箇所を切り出して表示装置に表示する技術が提案されている(例えば、特許文献1参照)。
作業機械の周囲に存在する障害物に関して過不足の無い適切な警報を発する観点から、作業機械(油圧ショベル)の姿勢および動作の情報に基づいて当該作業機械の運転席からの死角領域を算出し、当該死角領域と、障害物と作業機械との位置関係に基づいて障害物に対する視認レベルを決定し、当該視認レベルに応じて警報レベルを補正する技術が提案されている(例えば、特許文献2参照)。
しかし、作業機械が遠隔操作される場合、当該作業機械に搭載されている実機撮像装置により取得され、オペレータに対して提供される画像範囲が対象物の追従等のために急に変化した際、当該オペレータに不安などの心理的負担を増大させてしまう可能性がある。
そこで、本発明は、作業機械に搭載されている実機撮像装置により取得される画像範囲を変化させる際、当該作業機械を遠隔操作するオペレータの心理的負担の軽減を図ることができるシステム等を提供することを目的とする。
本発明の遠隔操作支援サーバは、
遠隔操作装置を用いた作業機械の遠隔操作を支援するためのサーバであって、
前記作業機械に搭載されている実機撮像装置を通じて当該作業機械の環境を表わす撮像画像を取得し、前記撮像画像に応じた作業環境画像を、前記遠隔操作装置を構成する遠隔画像出力装置に表示させる第1支援処理要素と、
前記第1支援処理要素により前記遠隔画像出力装置に表示されている前記作業環境画像に映り込んでいる実空間領域の未来の変化態様を認識し、前記遠隔操作装置を構成する遠隔出力インターフェースに、前記実空間領域の未来の変化態様を表わす予告を出力させる第2支援処理要素と、
を備えている。
遠隔操作装置を用いた作業機械の遠隔操作を支援するためのサーバであって、
前記作業機械に搭載されている実機撮像装置を通じて当該作業機械の環境を表わす撮像画像を取得し、前記撮像画像に応じた作業環境画像を、前記遠隔操作装置を構成する遠隔画像出力装置に表示させる第1支援処理要素と、
前記第1支援処理要素により前記遠隔画像出力装置に表示されている前記作業環境画像に映り込んでいる実空間領域の未来の変化態様を認識し、前記遠隔操作装置を構成する遠隔出力インターフェースに、前記実空間領域の未来の変化態様を表わす予告を出力させる第2支援処理要素と、
を備えている。
当該構成の遠隔操作支援サーバによれば、遠隔画像出力装置に表示されている作業環境画像に映り込んでいる実空間領域の未来の変化態様を表わす予告が遠隔操作装置を構成する遠隔出力インターフェースに出力される。例えば、実機撮像装置の光軸方向および/または撮影倍率のほか、複数の実機撮像装置のうち作業環境画像に対応する一の実機撮像装置の切り替え、第1支援処理要素による画像処理などに応じて、作業環境画像に映り込んでいる実空間領域の空間占有態様が変化しうる。そして、当該予告に接したオペレータに、作業環境画像に映り込んでいる実空間領域の未来の変化態様を事前に把握させることができる。このため、その直後に当該予告通りの態様にしたがって、遠隔画像出力装置に表示されている作業環境画像に映り込んでいる実空間領域の空間占有態様が変化した際の当該オペレータの心理的負担の軽減が図られる。
前記構成の遠隔操作支援サーバにおいて、
前記第2支援処理要素が、前記作業機械に搭載されている実機周辺監視装置により検知された指定状態に応じて、前記作業環境画像に映り込んでいる実空間領域の未来の変化態様を認識する
ことが好ましい。
前記第2支援処理要素が、前記作業機械に搭載されている実機周辺監視装置により検知された指定状態に応じて、前記作業環境画像に映り込んでいる実空間領域の未来の変化態様を認識する
ことが好ましい。
当該構成の遠隔操作支援サーバによれば、出力箇所が変位する形態の予告に接したオペレータに、作業環境画像に映り込む実空間領域が未来において当該変位態様にしたがって変位することに加えて、作業機械が指定状態にあることを事前に把握させることができる。このため、当該予告通りに遠隔画像出力装置に表示されている作業環境画像に映り込む実空間領域が変位した際の当該オペレータの心理的負担の軽減が図られる。
前記構成の遠隔操作支援サーバにおいて、
前記第2支援処理要素が、前記実空間領域の未来の変化態様として当該実空間領域の未来の変位態様を認識し、前記実空間領域の未来の変位態様にしたがって、前記遠隔出力インターフェースにより構成される前記予告の出力箇所を変位させる
ことが好ましい。
前記第2支援処理要素が、前記実空間領域の未来の変化態様として当該実空間領域の未来の変位態様を認識し、前記実空間領域の未来の変位態様にしたがって、前記遠隔出力インターフェースにより構成される前記予告の出力箇所を変位させる
ことが好ましい。
当該構成の遠隔操作支援サーバによれば、出力箇所が変位する形態の予告に接したオペレータに、作業環境画像に映り込む実空間領域が未来において当該変位態様にしたがって変位することを事前に把握させることができる。例えば、実機撮像装置の光軸方向の変化、複数の実機撮像装置のうち作業環境画像に対応する一の実機撮像装置の切り替え、第1支援処理要素による画像処理などに応じて、作業環境画像に映り込んでいる実空間領域の空間占有態様が変位しうる。このため、当該予告通りに遠隔画像出力装置に表示されている作業環境画像に映り込む実空間領域が変位した際の当該オペレータの心理的負担の軽減が図られる。
前記構成の遠隔操作支援サーバにおいて、
前記第2支援処理要素が、前記実空間領域の未来の変化態様として当該実空間領域の未来の拡縮態様をさらに認識し、前記実空間領域の未来の変位態様にしたがって前記遠隔出力インターフェースにより構成される前記予告の出力箇所を変位させる前または後に、前記実空間領域の未来の拡縮態様にしたがって前記遠隔出力インターフェースに前記予告の出力箇所を変位させる
ことが好ましい。
前記第2支援処理要素が、前記実空間領域の未来の変化態様として当該実空間領域の未来の拡縮態様をさらに認識し、前記実空間領域の未来の変位態様にしたがって前記遠隔出力インターフェースにより構成される前記予告の出力箇所を変位させる前または後に、前記実空間領域の未来の拡縮態様にしたがって前記遠隔出力インターフェースに前記予告の出力箇所を変位させる
ことが好ましい。
当該構成の遠隔操作支援サーバによれば、出力箇所が2段階にわたり変位する形態の予告に接したオペレータに、作業環境画像に映り込む実空間領域が未来において第1変位態様にしたがって変位することおよび第2変位態様にしたがって拡縮されることを事前に把握させることができる。このため、当該予告通りに遠隔画像出力装置に表示されている作業環境画像に映り込む実空間領域が変位し、かつ、拡縮された際の当該オペレータの心理的負担の軽減が図られる。
前記構成の遠隔操作支援サーバにおいて、
前記第2支援処理要素が、前記遠隔出力インターフェースを構成する遠隔音響出力装置に前記予告としての音響を発する仮想音源を変位させる
ことが好ましい。
前記第2支援処理要素が、前記遠隔出力インターフェースを構成する遠隔音響出力装置に前記予告としての音響を発する仮想音源を変位させる
ことが好ましい。
当該構成の遠隔操作支援サーバによれば、仮想音源が変位する形態の予告に接したオペレータに、作業環境画像に映り込む実空間領域が未来において当該変位態様にしたがって変位すること(さらには拡縮されること)を事前に把握させることができる。例えば、仮想音源が右(左、上、下)に変位した場合、作業環境画像に映り込む実空間領域が直後に右(左、上、下)に変位することをオペレータに把握させることができる。この際、予告は視覚ではなく聴覚を通じてオペレータに伝えられるため、当該オペレータの作業環境画像に対する視覚的注意を散漫させる事態が回避される。このため、当該予告通りに遠隔画像出力装置に表示されている作業環境画像に映り込む実空間領域が変位した際の当該オペレータの心理的負担の軽減が図られる。
前記構成の遠隔操作支援サーバにおいて、
前記第2支援処理要素が、前記作業機械に搭載されている複数の前記実機撮像装置のうち一の実機撮像装置から他の実機撮像装置への切り替え態様に応じて、前記実空間領域の未来の変化態様として当該実空間領域の未来の変位態様を認識する
ことが好ましい。
前記第2支援処理要素が、前記作業機械に搭載されている複数の前記実機撮像装置のうち一の実機撮像装置から他の実機撮像装置への切り替え態様に応じて、前記実空間領域の未来の変化態様として当該実空間領域の未来の変位態様を認識する
ことが好ましい。
当該構成の遠隔操作支援サーバによれば、出力態様が変化する予告に接したオペレータに、作業環境画像に映り込む実空間領域の未来における拡縮態様が、実機撮像装置の切り替えに由来して当該出力態様の変化に応じて変化することを事前に把握させることができる。このため、当該予告通りに遠隔画像出力装置に表示されている作業環境画像に映り込む実空間領域が拡大または縮小された際の当該オペレータの心理的負担の軽減が図られる。
前記構成の遠隔操作支援サーバにおいて、
前記第2支援処理要素が、前記実空間領域の未来の変化態様として当該実空間領域の未来の拡縮態様を認識し、前記実空間領域の未来の拡縮態様にしたがって、前記遠隔出力インターフェースに前記予告の出力態様を変化させる
ことが好ましい。
前記第2支援処理要素が、前記実空間領域の未来の変化態様として当該実空間領域の未来の拡縮態様を認識し、前記実空間領域の未来の拡縮態様にしたがって、前記遠隔出力インターフェースに前記予告の出力態様を変化させる
ことが好ましい。
当該構成の遠隔操作支援サーバによれば、出力態様が変化する予告に接したオペレータに、作業環境画像に映り込む実空間領域の未来における拡縮態様が当該出力態様の変化に応じて変化することを事前に把握させることができる。例えば、実機撮像装置の撮影倍率、複数の実機撮像装置のうち作業環境画像に対応する一の実機撮像装置の切り替え、第1支援処理要素による画像処理などに応じて、作業環境画像に映り込んでいる実空間領域の空間占有態様が拡大または縮小されうる。このため、当該予告通りに遠隔画像出力装置に表示されている作業環境画像に映り込む実空間領域が拡大または縮小された際の当該オペレータの心理的負担の軽減が図られる。
前記構成の遠隔操作支援サーバにおいて、
前記第2支援処理要素が、前記遠隔出力インターフェースを構成する遠隔音響出力装置に前記予告としての音響の音圧の高低および周波数の高低のうち少なくとも一方を変化させる
ことが好ましい。
前記第2支援処理要素が、前記遠隔出力インターフェースを構成する遠隔音響出力装置に前記予告としての音響の音圧の高低および周波数の高低のうち少なくとも一方を変化させる
ことが好ましい。
当該構成の遠隔操作支援サーバによれば、音圧の高低および/または周波数の高低が変化する音響としての予告に接したオペレータに、作業環境画像に映り込む実空間領域が未来において当該変化態様に応じて拡縮されることを事前に把握させることができる。例えば、音圧が徐々に高くなる場合、実空間領域が縮小することをオペレータに事前に把握させることができる。一方、音圧が徐々に低くなる場合、実空間領域が拡大することをオペレータに事前に把握させることができる。この際、予告は視覚ではなく聴覚を通じてオペレータに伝えられるため、当該オペレータの作業環境画像に対する視覚的注意を散漫させる事態が回避される。このため、当該予告通りに遠隔画像出力装置に表示されている作業環境画像に映り込む実空間領域が拡大または縮小された際の当該オペレータの心理的負担の軽減が図られる。
(遠隔操作支援システムの構成)
図1に示されている遠隔操作支援システムは、遠隔操作支援サーバ10と、遠隔操作装置20と、遠隔操作装置20を通じて遠隔操作可能な作業機械40と、により構成されている。遠隔操作装置20および作業機械14のうち一方のみが、遠隔操作支援システムの構成要素であってもよい。遠隔操作支援サーバ10、遠隔操作装置20および作業機械40は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ10および遠隔操作装置20の相互通信ネットワークと、遠隔操作支援サーバ10および作業機械40の相互通信ネットワークと、は同一であってもよく相違していてもよい。
図1に示されている遠隔操作支援システムは、遠隔操作支援サーバ10と、遠隔操作装置20と、遠隔操作装置20を通じて遠隔操作可能な作業機械40と、により構成されている。遠隔操作装置20および作業機械14のうち一方のみが、遠隔操作支援システムの構成要素であってもよい。遠隔操作支援サーバ10、遠隔操作装置20および作業機械40は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ10および遠隔操作装置20の相互通信ネットワークと、遠隔操作支援サーバ10および作業機械40の相互通信ネットワークと、は同一であってもよく相違していてもよい。
(遠隔操作支援サーバの構成)
遠隔操作支援サーバ10は、データベース102と、第1支援処理要素121と、第2支援処理要素122と、を備えている。データベース102は、撮像画像データ等を記憶保持する。データベース102は、遠隔操作支援サーバ10とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。
遠隔操作支援サーバ10は、データベース102と、第1支援処理要素121と、第2支援処理要素122と、を備えている。データベース102は、撮像画像データ等を記憶保持する。データベース102は、遠隔操作支援サーバ10とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。
(遠隔操作装置の構成)
遠隔操作装置20は、遠隔制御装置200と、遠隔入力インターフェース210と、遠隔出力インターフェース220と、を備えている。遠隔制御装置200は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
遠隔操作装置20は、遠隔制御装置200と、遠隔入力インターフェース210と、遠隔出力インターフェース220と、を備えている。遠隔制御装置200は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
遠隔入力インターフェース210は、遠隔操作機構211を備えている。遠隔出力インターフェース220は、遠隔画像出力装置221と、遠隔音響出力装置222と、遠隔無線通信機器224と、を備えている。
遠隔操作機構211には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー(走行レバー)は、作業機械40の下部走行体410を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー(旋回レバー)は、作業機械40の旋回機構430を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー(ブームレバー)は、作業機械40のブームシリンダ442を動かすために操作される。アーム用操作装置の操作レバー(アームレバー)は作業機械40のアームシリンダ444を動かすために操作される。バケット用操作装置の操作レバー(バケットレバー)は作業機械40のバケットシリンダ446を動かすために操作される。
遠隔操作機構211を構成する各操作レバーは、例えば、図2に示されているように、オペレータが着座するためのシートStの周囲に配置されている。シートStは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。
シートStの前方に左右のクローラに応じた左右一対の走行レバー2110が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図2に示されているシートStの左側フレームの前方に設けられている左側操作レバー2111が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図2に示されているシートStの右側フレームの前方に設けられている右側操作レバー2112が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
遠隔画像出力装置221は、例えば図2に示されているように、シートStの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央遠隔画像出力装置2210、左側遠隔画像出力装置2211および右側遠隔画像出力装置2212により構成されている。中央遠隔画像出力装置2210、左側遠隔画像出力装置2211および右側遠隔画像出力装置2212のそれぞれの画面(画像表示領域)の形状およびサイズは同じであってもよく相違していてもよい。
図2に示されているように、中央遠隔画像出力装置2210の画面および左側遠隔画像出力装置2211の画面が傾斜角度θ1(例えば、120°≦θ1≦150°)をなすように、左側遠隔画像出力装置2211の右縁が、中央遠隔画像出力装置2210の左縁に隣接している。図2に示されているように、中央遠隔画像出力装置2210の画面および右側遠隔画像出力装置2212の画面が傾斜角度θ2(例えば、120°≦θ2≦150°)をなすように、右側遠隔画像出力装置2212の左縁が、中央遠隔画像出力装置2210の右縁に隣接している。当該傾斜角度θ1およびθ2は同じであっても相違していてもよい。
中央遠隔画像出力装置2210、左側遠隔画像出力装置2211および右側遠隔画像出力装置2212のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央遠隔画像出力装置2210、左側遠隔画像出力装置2211および右側遠隔画像出力装置2212のうち少なくとも1つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央遠隔画像出力装置2210が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。
遠隔音響出力装置222は、一または複数のスピーカーにより構成され、例えば図2に示されているように、シートStの後方、左アームレスト後部および右アームレスト後部のそれぞれに配置された中央音響出力装置2220、左側音響出力装置2221および右側音響出力装置2222により構成されている。中央音響出力装置2220、左側音響出力装置2221および右側音響出力装置2222のそれぞれの仕様は同じであってもよく相違していてもよい。遠隔音響出力装置222は、シートStの周りで位置の変位が可能な音響である仮想音源Vssを実現する。
(作業機械の構成)
作業機械40は、実機制御装置400と、実機入力インターフェース41と、実機出力インターフェース42と、作業機構440と、を備えている。実機制御装置400は、画像処理装置30を備えている。画像処理装置30は、状態検知要素31と、画像予測要素32と、画像圧縮要素34と、を備えている。実機制御装置400および画像処理装置30の構成要素のそれぞれは、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
作業機械40は、実機制御装置400と、実機入力インターフェース41と、実機出力インターフェース42と、作業機構440と、を備えている。実機制御装置400は、画像処理装置30を備えている。画像処理装置30は、状態検知要素31と、画像予測要素32と、画像圧縮要素34と、を備えている。実機制御装置400および画像処理装置30の構成要素のそれぞれは、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
作業機械40は、例えばクローラショベル(建設機械)であり、図3に示されているように、クローラ式の下部走行体410と、下部走行体410に旋回機構430を介して旋回可能に搭載されている上部旋回体420と、を備えている。上部旋回体420の前方左側部にはキャブ424(運転室)が設けられている。上部旋回体420の前方中央部には作業機構440が設けられている。
実機入力インターフェース41は、実機操作機構411と、実機撮像装置412と、実機周辺監視装置414と、を備えている。実機操作機構411は、キャブ424の内部に配置されたシートの周囲に遠隔操作機構211と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ424に設けられている。実機撮像装置412は、例えばキャブ424の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作業機構440の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。実機周辺監視装置414は、基本姿勢(例えば、光軸が前方に向けられている姿勢)の実機撮像装置412では撮像できない実空間領域(例えば、キャブ424の右側領域、左側領域および/もしくは後方領域および/または死角領域)における対象物体(例えば、作業員、他の作業機械および/または車両など)の存在を検知するための測距センサ等により構成されている。
実機出力インターフェース42は、実機無線通信機器422を備えている。
図3に示されているように、作業機構としての作業機構440は、上部旋回体420に起伏可能に装着されているブーム441と、ブーム441の先端に回動可能に連結されているアーム443と、アーム443の先端に回動可能に連結されているバケット445と、を備えている。作業機構440には、伸縮可能な油圧シリンダにより構成されているブームシリンダ442、アームシリンダ444およびバケットシリンダ446が装着されている。
ブームシリンダ442は、作動油の供給を受けることにより伸縮してブーム441を起伏方向に回動させるように当該ブーム441と上部旋回体420との間に介在する。アームシリンダ444は、作動油の供給を受けることにより伸縮してアーム443をブーム441に対して水平軸回りに回動させるように当該アーム443と当該ブーム441との間に介在する。バケットシリンダ446は、作動油の供給を受けることにより伸縮してバケット445をアーム443に対して水平軸回りに回動させるように当該バケット445と当該アーム443との間に介在する。
(機能)
前記構成の遠隔操作支援システムの機能について図4に示されているフローチャートを用いて説明する。当該フローチャートにおいて「C●」というブロックは、記載の簡略のために用いられ、データの送信および/または受信を意味し、当該データの送信および/または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
前記構成の遠隔操作支援システムの機能について図4に示されているフローチャートを用いて説明する。当該フローチャートにおいて「C●」というブロックは、記載の簡略のために用いられ、データの送信および/または受信を意味し、当該データの送信および/または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
遠隔操作装置20において、遠隔無線通信機器224を通じて、遠隔操作支援サーバ10に対して環境確認要求が送信される(図4/STEP210)。例えば、オペレータにより遠隔入力インターフェース210を通じて指定操作があったことが、環境確認要求の送信開始要件として定められていてもよい。「指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械40を指定するための遠隔入力インターフェース210におけるタップなどの操作である。
遠隔操作支援サーバ10において、環境確認要求が受信された場合、第1支援処理要素121により当該環境確認要求が該当する作業機械40に対して送信される(図4/C10)。
作業機械40において、実機無線通信機器422を通じて環境確認要求が受信された場合(図4/C40)、実機制御装置400により実機撮像装置412を通じて撮像画像が取得され、かつ、実機無線通信機器422を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置10に対して送信される(図4/STEP410)。
遠隔操作支援サーバ10において、第1支援処理要素121により撮像画像データが受信された場合(図4/C11)、第2支援処理要素122により撮像画像に応じた作業環境画像データが遠隔操作装置20に対して送信される(図4/STEP110)。作業環境画像データは、撮像画像データそのもののほか、撮像画像に基づいて生成された模擬的な作業環境画像を表わす画像データである。
遠隔操作装置20において、遠隔無線通信機器224を通じて作業環境画像データが受信された場合(図4/C21)、遠隔制御装置200により、作業環境画像データに応じた作業環境画像が遠隔画像出力装置221に出力される(図4/STEP212)。
これにより、例えば、図5に示されているように、キャブ424を画定する窓枠を通じて、キャブ424の前方において、作業機構440の一部であるブーム441、アーム443および(バケット445による作業対象である)瓦礫または土砂の山が映り込んでいる作業環境画像が遠隔画像出力装置221(特に、中央遠隔画像出力装置2210)に出力される。
作業機械40において、実機制御装置400により、当該作業機械40が指定状態にあるか否かが判定される(図4/STEP411)。この際、当該指定状態が、あらかじめ定められた異なる複数の指定状態のうちいずれの指定状態に該当するかが判定されてもよい。「指定状態」は、作業機械40が指定状態になったことに応じて実機制御装置400が実機撮像装置412にそのパン機能および/またはチルト機能、ならびに、ズーム機能を発揮させるようにあらかじめ設定またはプログラムされている状態である。
例えば、実機周辺監視装置414により、通常姿勢にある実機撮像装置412の死角領域で対象物体の存在が検知された状態が指定状態として定義されていてもよい。キャブ424の左側領域は通常姿勢にある実機撮像装置412の死角領域であり、当該左側領域に対象物体の存在が検知された場合、実機撮像装置412のパン機能によりその光軸が左方向に向けられ、必要に応じてチルト機能によりその光軸が下方(または上方)に向けられる。同様に、キャブ424の右側領域は通常姿勢にある実機撮像装置412の死角領域であり、当該右側領域に対象物体の存在が検知された場合、実機撮像装置412のパン機能によりその光軸が右方向に向けられ、必要に応じてチルト機能によりその光軸が下方(または上方)に向けられる。
例えば、実機撮像装置412の撮像対象となる実空間領域において指定種類の対象物体の存在が検知された状態が指定状態として定義されていてもよい。第1指定種類の対象物体(例えば、作業員等の人間)の存在が検知された場合、実機撮像装置412のズームイン機能により、当該対象物体が含まれている画像領域の表示倍率が増大される。第2指定種類の対象物体(例えば、他の作業機械)の存在が検知された場合、実機撮像装置412のズームアウト機能により、当該対象物体が含まれている画像領域の表示倍率が低減される。実機撮像装置412のズーム機能とともに、撮像画像における対象物体の位置を調節するためにパン機能および/またはチルト機能が制御されてもよい。
例えば、実機撮像装置412の撮像対象となる実空間領域において対象物体の変位量および/変位速度が所定値以上であることが検知された状態が指定状態として定義されていてもよい。対象物体(例えば、バケット445)の変位量が所定値を超えた場合、実機撮像装置412のパン機能および/またはチルト機能により、当該対象物体に追従するように当該実機撮像装置412の光軸の向きが変更される。
作業機械40が指定状態にあると判定された場合(図4/STEP411‥YES)、実機制御装置400により、当該指定状態に応じた実機撮像装置412の姿勢変更機能(パン機能および/またはチルト機能)ならびに/またはズーム機能の制御態様が認識され、かつ、実機無線通信機器422を通じて当該認識結果が遠隔操作支援サーバ10に対して送信される(図4/STEP412)。指定状態(の種類)および実機撮像装置412の姿勢変更機能および/またはズーム機能の制御態様との対応関係は、実機制御装置400を構成する記憶装置またはデータベース102に格納されていてもよい。
作業機械40が指定状態にないと判定された場合(図4/STEP411‥NO)、実機撮像装置412のズーム機能等の制御態様が認識されることはなく後続の処理が実行される。
遠隔操作支援サーバ10において、実機撮像装置412の姿勢変更機能および/またはズーム機能の制御態様が受信された場合(図4/C12)、第2支援処理要素122により、撮像画像(ひいては作業環境画像)に映り込む実空間領域の変化態様が認識されたうえで、作業機械40に対して送信される(図4/STEP112)。実機撮像装置412のパン機能により光軸の向きが左右に変化する場合、撮像画像に映り込む実空間領域が同様に左右に変位することが認識される。実機撮像装置412のチルト機能により光軸の向きが上下に変化する場合、撮像画像に映り込む実空間領域が同様に上下に変位することが認識される。実機撮像装置412のズームイン機能によりズーム倍率が増大する場合、撮像画像に映り込む実空間領域が縮小されることが認識される。実機撮像装置412のズームアウト機能によりズーム倍率が低減する場合、撮像画像に映り込む実空間領域が拡大されることが認識される。
遠隔操作装置20において、遠隔無線通信機器224を通じて実空間領域の変化態様が受信された場合(図4/C22)、遠隔制御装置200により、遠隔出力インターフェース220を通じて当該変化態様を表わす予告が出力される(図4/STEP214)。
これにより、例えば、撮像画像に映り込んでいる実空間領域が左方向に変位することが当該実空間領域の変化態様として認識された場合、図6に示されているように、遠隔音響出力装置222により実現される仮想音源Vssが左方向(実空間領域の変位方向と同じ方向)に変位するように制御される。この場合、仮想音源Vssの変位に加えてまたは代えて、図6に示されているように、画像出力装置221に左向き(実空間領域の変位方向と同じ向き)の矢印状の図形またはアイコンA1が出力されてもよい。また、指定のアイコンが遠隔画像出力装置211において仮想音源Vssと同一方向に動かされるように出力されてもよい。
また、例えば、撮像画像に映り込んでいる実空間領域が縮小されることが当該実空間領域の変化態様として認識された場合、図7に示されているように、遠隔音響出力装置222により実現される仮想音源Vssが定位された状態で音響が徐々に強くなるように、かつ/または、音響の周波数が徐々に高くなるように制御される。この場合、仮想音源Vssの強弱および/または周波数の高低に加えてまたは代えて、図7に示されているように、画像出力装置221にズームインにより拡大される画像領域Sおよび/または当該画像領域Sの外側に向かう矢印状の図形またはアイコンA2が出力されてもよい。また、指定のアイコンが遠隔画像出力装置211において実空間領域または画像領域の拡縮に応じて拡縮されるように出力されてもよい。
これとは逆に、撮像画像に映り込んでいる実空間領域が拡大されることが当該実空間領域の変化態様として認識された場合、遠隔音響出力装置222により実現される仮想音源Vssが定位された状態で音響が徐々に弱くなるように、かつ/または、音響の周波数が徐々に低くなるように制御される。この場合、仮想音源Vssの強弱および/または周波数の高低に加えてまたは代えて、画像出力装置221にズームアウトにより縮小される画像領域および/または当該画像領域の内側に向かう矢印状の図形またはアイコンが出力されてもよい。
その後、遠隔制御装置200により、遠隔出力インターフェース220を通じて予告が出力されたことを示す予告出力済通知が、遠隔無線通信機器224を通じて遠隔操作支援サーバ10に対して送信される(図4/STEP216)。
遠隔操作支援サーバ10において、予告出力済通知が受信された場合、第2支援処理要素122により、当該予告出力済通知が作業機械40に対して送信される(図4/C14)。
作業機械40において、実機無線通信機器422を通じて予告出力済通知が受信された場合(図4/C44)、実機制御装置400により、指定状態に応じた形態で実機撮像装置412の姿勢変更機能および/またはズーム機能が制御される(図4/STEP414)。
これにより、実機撮像装置412を通じて取得される撮像画像、ひいては遠隔画像出力装置221において出力される作業環境画像に映り込んでいる実空間領域が変化する(図4/STEP410→‥→STEP212、図5参照)。
例えば、実機撮像装置412のパン機能の制御により光軸方向が作業機械40の前方から左斜め前方に変化する場合、作業環境画像に映り込んでいる実空間領域が作業機械40の前方領域から左斜め前方領域に変化する。また、実機撮像装置412のチルト機能の制御により光軸方向が前方水平方向から前方斜め下方に変化する場合、作業環境画像に映り込んでいる実空間領域がそれまでよりも下方の領域に変化する。
例えば、実機撮像装置412のズームイン機能が制御されてズーム倍率が増大されることにより、作業環境画像に映り込んでいる実空間領域が縮小される(または画像領域が拡大される)。また、実機撮像装置412のズームアウト機能が制御されてズーム倍率が低減されることにより、作業環境画像に映り込んでいる実空間領域が拡大される(または画像領域が縮小される)。
遠隔操作装置20において、遠隔制御装置200により遠隔操作機構211の操作態様が認識され、かつ、遠隔無線通信機器224を通じて、当該操作態様に応じた遠隔操作指令が遠隔操作支援サーバ10に対して送信される(図4/STEP220)。
遠隔操作支援サーバ10において、第2支援処理要素122により当該遠隔操作指令が受信された場合、第1支援処理要素121により、当該遠隔操作指令が作業機械40に対して送信される(図4/C16)。
作業機械40において、実機制御装置400により、実機無線通信機器422を通じて操作指令が受信された場合(図4/C46)、作業機構440等の動作が制御される(図4/STEP420)。例えば、バケット445により作業機械40の前方の土をすくい、上部旋回体410を旋回させたうえでバケット445から土を落とす作業が実行される。
(作用効果)
当該構成の遠隔操作支援システムによれば、遠隔画像出力装置221に表示されている作業環境画像に映り込んでいる実空間領域の未来の変化態様を表わす予告が遠隔出力インターフェース220に出力される。
当該構成の遠隔操作支援システムによれば、遠隔画像出力装置221に表示されている作業環境画像に映り込んでいる実空間領域の未来の変化態様を表わす予告が遠隔出力インターフェース220に出力される。
具体的には、実空間領域の変位態様に応じて変位する仮想音源Vssおよび/または実空間領域の変位態様を表わす矢印状のアイコン画像A1に接したオペレータに、作業環境画像に映り込む実空間領域が未来において当該変位態様にしたがって変位することを事前に把握させることができる(図6参照)。例えば、実機撮像装置412の光軸方向の変化などに応じて、作業環境画像に映り込んでいる実空間領域の空間占有態様が変位しうる(図5参照)。このため、当該予告通りに遠隔画像出力装置221に表示されている作業環境画像に映り込む実空間領域が変位した際の当該オペレータの心理的負担の軽減が図られる。
さらに、実空間領域の拡縮態様に応じて強弱および/または周波数の高低が変化する音響を発する仮想音源Vssおよび/または実空間領域の拡縮態様を表わす矢印状のアイコン画像A2に接したオペレータに、作業環境画像に映り込む実空間領域が未来において当該拡縮態様にしたがって拡縮されることを事前に把握させることができる(図7参照)。例えば、実機撮像装置412の撮影倍率の変化などに応じて、作業環境画像に映り込んでいる実空間領域の空間占有態様が拡大または縮小されうる。このため、当該予告通りに遠隔画像出力装置221に表示されている作業環境画像に映り込む実空間領域が拡大または縮小された際の当該オペレータの心理的負担の軽減が図られる。
(本発明の他の実施形態)
前記実施形態では、遠隔操作支援サーバ10により第1支援処理要素121および第2支援処理要素122が構成されていたが、他の実施形態として、作業機械40および/または遠隔操作装置20により第1支援処理要素121および/または第2支援処理要素122が構成されていてもよい。
前記実施形態では、遠隔操作支援サーバ10により第1支援処理要素121および第2支援処理要素122が構成されていたが、他の実施形態として、作業機械40および/または遠隔操作装置20により第1支援処理要素121および/または第2支援処理要素122が構成されていてもよい。
前記実施形態では、作業機械40が指定状態であることが認識されたことに応じて、実機制御装置400により当該指定状態に応じた実機撮像装置412の姿勢変更機能および/またはズーム機能の制御態様が認識されたが(図4/STEP411‥YES→STEP412参照)、他の実施形態として、遠隔操作支援サーバ10または第2支援処理要素122により指定状態に応じた実機撮像装置412の姿勢変更機能および/またはズーム機能の制御態様が認識されてもよい。
この場合、図4に示されているフローチャートに代えて図8に示されているフローチャートにしたがって一連の処理が実行されてもよい。当該フローチャートにおいて「C●」というブロックは、記載の簡略のために用いられ、データの送信および/または受信を意味し、当該データの送信および/または受信を条件として分岐方向の処理が実行される条件分岐を意味している。図8において図4と共通する処理については同一符号を用いるとともにその説明を省略する。
作業機械40が指定状態にあると判定された場合(図8/STEP411‥YES)、実機制御装置400により、当該指定状態が実機無線通信機器422を通じて遠隔操作支援サーバ10に対して送信される(図8/STEP413)。
遠隔操作支援サーバ10において、指定状態が受信された場合(図8/C13)、第2支援処理要素122により、当該指定状態に応じた実機撮像装置412の姿勢変更機能(パン機能および/またはチルト機能)ならびに/またはズーム機能の制御態様が認識される(図8/STEP111)。さらに、第2支援処理要素122により、実機撮像装置412の姿勢変更機能および/またはズーム機能の制御態様に応じた、撮像画像(ひいては作業環境画像)に映り込む実空間領域の変化態様が認識されたうえで、作業機械40に対して送信される(図8/STEP112)。
その後、遠隔操作支援サーバ10において、遠隔操作装置20から予告出力済通知が受信された場合(図8/C15)、第2支援処理要素122により、指定状態に応じた形態で実機撮像装置412の姿勢変更機能および/またはズーム機能の制御指令が生成され、かつ、作業機械40に対して送信される(図8/STEP114)。
作業機械40において、実機無線通信機器422を通じて制御指令が受信された場合(図8/C44)、実機制御装置400により、当該制御指令にしたがって実機撮像装置412の姿勢変更機能および/またはズーム機能が制御される(図8/STEP414)。
これにより、実機撮像装置412を通じて取得される撮像画像、ひいては遠隔画像出力装置221において出力される作業環境画像に映り込んでいる実空間領域が変化する(図4/STEP410→‥→STEP212、図5参照)。
前記実施形態では、作業機械40が指定状態であることが認識されたことに応じて、実機制御装置400により当該指定状態に応じた実機撮像装置412の姿勢変更機能および/またはズーム機能の制御態様が認識されたが(図4/STEP411‥YES→STEP412参照)、他の実施形態として、遠隔操作装置20または遠隔制御装置200により指定状態に応じた実機撮像装置412の姿勢変更機能および/またはズーム機能の制御態様が認識されてもよい。
前記実施形態では、実機撮像装置412のパン機能および/またはチルト機能により、撮像画像およびこれに応じた作業環境画像に映り込む実空間領域が連続的に変位したが、他の実施形態として、異なる撮像領域を有する複数の実機撮像装置が作業機械40に搭載され、作業環境画像の基礎となる撮像画像を取得する実機撮像装置が、一の実機撮像装置から他の実機撮像措置に切り替えられることにより、作業環境画像に映り込む実空間領域が不連続的に変位してもよい。例えば、一の実機撮像装置が、実機周辺監視装置414により対象物体が検知された実空間領域を撮像領域とする他の実機撮像装置に切り替えられてもよい。この場合も、遠隔出力インターフェース220により出力される予告によって、遠隔画像出力装置221に出力されている作業環境画像が不連続的に変位または変化した場合でもオペレータにかかる心理的負担の軽減が図られる。
前記実施形態では、実機撮像装置412のパン機能および/またはチルト機能により、撮像画像およびこれに応じた作業環境画像に映り込む実空間領域が連続的に変位したが、他の実施形態として、第1支援処理要素121による作業環境画像の生成時における画像処理によって、作業環境画像に映り込む実空間領域が変位してもよく、かつ/または、拡縮されてもよい。この場合も、遠隔出力インターフェース220により出力される予告によって、遠隔画像出力装置221に出力されている作業環境画像が変位した場合および/または拡縮された場合でもオペレータにかかる心理的負担の軽減が図られる。
前記実施形態では、実機撮像装置412のズームインおよびズームアウトが、仮想音源Vssから発せられる音響の強弱(音圧の高低)および/または周波数の高低により予告された(図7参照)。他の実施形態として、実機撮像装置412がパン機能のみを有しており、パン角度の変更が仮想音源Vssの左右への変位により予告される前後において(図6参照)、実機撮像装置412のズームインおよびズームアウトが、仮想音源Vssの上下への変位により予告されてもよい。同様に、他の実施形態として、実機撮像装置412がチルト機能のみを有しており、チルト角度の変更が仮想音源Vssの上下への変位により予告される前後において、実機撮像装置412のズームインおよびズームアウトが、仮想音源Vssの左右への変位により予告されてもよい。
10‥遠隔操作支援サーバ、20‥遠隔操作装置、40‥作業機械、102‥データベース、121‥第1支援処理要素、122‥第2支援処理要素、200‥遠隔制御装置、210‥遠隔入力インターフェース、211‥遠隔操作機構、220‥遠隔出力インターフェース、221‥遠隔画像出力装置、222‥遠隔音響出力装置、400‥実機制御装置、410‥実機入力インターフェース、420‥実機出力インターフェース、424‥キャブ(運転室)、440‥作業機構、445‥バケット(作業部)。
Claims (9)
- 遠隔操作装置を用いた作業機械の遠隔操作を支援するためのサーバであって、
前記作業機械に搭載されている実機撮像装置を通じて当該作業機械の環境を表わす撮像画像を取得し、前記撮像画像に応じた作業環境画像を、前記遠隔操作装置を構成する遠隔画像出力装置に表示させる第1支援処理要素と、
前記第1支援処理要素により前記遠隔画像出力装置に表示されている前記作業環境画像に映り込んでいる実空間領域の未来の変化態様を認識し、前記遠隔操作装置を構成する遠隔出力インターフェースに、前記実空間領域の未来の変化態様を表わす予告を出力させる第2支援処理要素と、
を備えている遠隔操作支援サーバ。 - 請求項1に記載の遠隔操作支援サーバにおいて、
前記第2支援処理要素が、前記作業機械に搭載されている実機周辺監視装置により検知された指定状態に応じて、前記作業環境画像に映り込んでいる実空間領域の未来の変化態様を認識する
遠隔操作支援サーバ。 - 請求項1または2に記載の遠隔操作支援サーバにおいて、
前記第2支援処理要素が、前記実空間領域の未来の変化態様として当該実空間領域の未来の変位態様を認識し、前記実空間領域の未来の変位態様にしたがって前記遠隔出力インターフェースにより構成される前記予告の出力箇所を変位させる
遠隔操作支援サーバ。 - 請求項3に記載の遠隔操作支援サーバにおいて、
前記第2支援処理要素が、前記実空間領域の未来の変化態様として当該実空間領域の未来の拡縮態様をさらに認識し、前記実空間領域の未来の変位態様にしたがって前記遠隔出力インターフェースにより構成される前記予告の出力箇所を変位させる前または後に、前記実空間領域の未来の拡縮態様にしたがって前記遠隔出力インターフェースに前記予告の出力箇所を変位させる
遠隔操作支援サーバ。 - 請求項3または4に記載の遠隔操作支援サーバにおいて、
前記第2支援処理要素が、前記遠隔出力インターフェースを構成する遠隔音響出力装置に前記予告としての音響を発する仮想音源を変位させる
遠隔操作支援サーバ。 - 請求項3~5のうちいずれか1項に記載の遠隔操作支援サーバにおいて、
前記第2支援処理要素が、前記作業機械に搭載されている複数の前記実機撮像装置のうち一の実機撮像装置から他の実機撮像装置への切り替え態様に応じて、前記実空間領域の未来の変化態様として当該実空間領域の未来の変位態様を認識する
遠隔操作支援サーバ。 - 請求項1~6のうちいずれか1項に記載の遠隔操作支援サーバにおいて、
前記第2支援処理要素が、前記実空間領域の未来の変化態様として当該実空間領域の未来の拡縮態様を認識し、前記実空間領域の未来の拡縮態様にしたがって、前記遠隔出力インターフェースに前記予告の出力態様を変化させる
遠隔操作支援サーバ。 - 請求項7に記載の遠隔操作支援サーバにおいて、
前記第2支援処理要素が、前記遠隔出力インターフェースを構成する遠隔音響出力装置に前記予告としての音響の音圧の高低および周波数の高低のうち少なくとも一方を変化させる
遠隔操作支援サーバ。 - 請求項1~8のうちいずれか1項に記載の遠隔操作支援サーバと、遠隔操作装置および作業機械のうち少なくとも一方と、により構成されている遠隔操作支援システム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021045675A JP2022144601A (ja) | 2021-03-19 | 2021-03-19 | 遠隔操作支援サーバおよび遠隔操作支援システム |
CN202180095647.5A CN117043732A (zh) | 2021-03-19 | 2021-12-13 | 远程操作支援服务器及远程操作支援系统 |
US18/278,209 US20240141616A1 (en) | 2021-03-19 | 2021-12-13 | Remote operation assistance server and remote operation asistance system |
PCT/JP2021/045780 WO2022195988A1 (ja) | 2021-03-19 | 2021-12-13 | 遠隔操作支援サーバおよび遠隔操作支援システム |
EP21931730.2A EP4279667A1 (en) | 2021-03-19 | 2021-12-13 | Remote operation assistance server and remote operation assistance system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021045675A JP2022144601A (ja) | 2021-03-19 | 2021-03-19 | 遠隔操作支援サーバおよび遠隔操作支援システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022144601A true JP2022144601A (ja) | 2022-10-03 |
Family
ID=83320041
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021045675A Pending JP2022144601A (ja) | 2021-03-19 | 2021-03-19 | 遠隔操作支援サーバおよび遠隔操作支援システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240141616A1 (ja) |
EP (1) | EP4279667A1 (ja) |
JP (1) | JP2022144601A (ja) |
CN (1) | CN117043732A (ja) |
WO (1) | WO2022195988A1 (ja) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005286590A (ja) * | 2004-03-29 | 2005-10-13 | Fuji Photo Film Co Ltd | 画像表示方法および画像表示装置 |
JP2008294724A (ja) * | 2007-05-24 | 2008-12-04 | Panasonic Corp | 画像受信装置 |
JP5902444B2 (ja) * | 2011-11-24 | 2016-04-13 | 京セラ株式会社 | 携帯端末装置、プログラムおよび表示制御方法 |
WO2016174754A1 (ja) * | 2015-04-28 | 2016-11-03 | 株式会社小松製作所 | 作業機械の周辺監視装置及び作業機械の周辺監視方法 |
JP6581139B2 (ja) | 2017-03-31 | 2019-09-25 | 日立建機株式会社 | 作業機械の周囲監視装置 |
JP2019156533A (ja) | 2018-03-09 | 2019-09-19 | 株式会社タダノ | クレーン |
JP7151392B2 (ja) * | 2018-11-07 | 2022-10-12 | コベルコ建機株式会社 | 建設機械の遠隔操作装置 |
JP7310338B2 (ja) * | 2019-06-10 | 2023-07-19 | コベルコ建機株式会社 | 遠隔操作システムおよび遠隔操作サーバ |
-
2021
- 2021-03-19 JP JP2021045675A patent/JP2022144601A/ja active Pending
- 2021-12-13 EP EP21931730.2A patent/EP4279667A1/en active Pending
- 2021-12-13 US US18/278,209 patent/US20240141616A1/en active Pending
- 2021-12-13 CN CN202180095647.5A patent/CN117043732A/zh active Pending
- 2021-12-13 WO PCT/JP2021/045780 patent/WO2022195988A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP4279667A1 (en) | 2023-11-22 |
US20240141616A1 (en) | 2024-05-02 |
CN117043732A (zh) | 2023-11-10 |
WO2022195988A1 (ja) | 2022-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6427597B2 (ja) | 作業機械の周辺監視装置及び作業機械の周辺監視方法 | |
JP5779244B2 (ja) | 作業機械の周囲監視装置 | |
EP2717570A1 (en) | Device for monitoring area around working machine | |
JP5546427B2 (ja) | 作業機械の周囲監視装置 | |
WO2016158265A1 (ja) | 作業機械 | |
WO2019189430A1 (ja) | 建設機械 | |
CN112840283A (zh) | 工程机械的远程操作装置 | |
JP6917167B2 (ja) | 建設機械用俯瞰画像表示装置 | |
JP7472578B2 (ja) | 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 | |
JP7318258B2 (ja) | 遠隔操作システムおよび遠隔操作サーバ | |
EP3739131B1 (en) | Construction machine | |
US20190291579A1 (en) | Projection display device, method for controlling projection display device, and program for controlling projection display device | |
EP4050164A1 (en) | Work assisting server and method for selecting imaging device | |
WO2021176883A1 (ja) | 作業支援サーバ、作業支援方法 | |
WO2022195988A1 (ja) | 遠隔操作支援サーバおよび遠隔操作支援システム | |
JP2021099017A (ja) | 遠隔操作装置および遠隔操作システム | |
JP2021180468A (ja) | 画像処理装置および画像処理方法 | |
JP2023040971A (ja) | 遠隔操作支援装置、遠隔操作支援システムおよび遠隔操作支援方法 | |
WO2021166475A1 (ja) | 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 | |
US11939744B2 (en) | Display system, remote operation system, and display method | |
WO2023100533A1 (ja) | 画像表示システム、遠隔操作支援システムおよび画像表示方法 | |
US20230151583A1 (en) | Collision avoidance system and method for avoiding collision of work machine with obstacles | |
US20230150358A1 (en) | Collision avoidance system and method for avoiding collision of work machine with obstacles | |
WO2021124858A1 (ja) | 遠隔操作装置および遠隔操作システム | |
JP2023103876A (ja) | 遠隔操作支援システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240516 |