JP2021143541A - 作業支援サーバ、作業支援方法 - Google Patents
作業支援サーバ、作業支援方法 Download PDFInfo
- Publication number
- JP2021143541A JP2021143541A JP2020043744A JP2020043744A JP2021143541A JP 2021143541 A JP2021143541 A JP 2021143541A JP 2020043744 A JP2020043744 A JP 2020043744A JP 2020043744 A JP2020043744 A JP 2020043744A JP 2021143541 A JP2021143541 A JP 2021143541A
- Authority
- JP
- Japan
- Prior art keywords
- work
- image
- work machine
- machine
- support server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 12
- 230000002093 peripheral effect Effects 0.000 claims abstract description 27
- 238000003384 imaging method Methods 0.000 claims description 28
- 238000012790 confirmation Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 51
- 230000006870 function Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 4
- 239000010720 hydraulic oil Substances 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/205—Remotely operated machines, e.g. unmanned vehicles
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
- E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/36—Component parts
- E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
- E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
- E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
Abstract
【課題】作業者に作業機械の周辺の状況を効率的に報知することができる作業支援サーバを提供する。【解決手段】本発明の作業支援サーバ10は、作業機械40による作業の開始が要求される場合に、作業機械40の周辺領域を捉えた周囲画像を作成する第1支援処理要素121と、前記周囲画像を遠隔操作装置20の画像出力装置221に表示させることを条件に、作業機械40による作業を許可する第2支援処理要素122を備えている。【選択図】図1
Description
本発明は、作業機械による遠隔操作を支援する作業支援サーバ、および作業機械による作業を作業支援方法に関する。
従来、遠隔ショベル等の作業機械が作業する作業現場には定点カメラが複数設置され、現場全体を俯瞰して見たり、特定のショベルの動き、作業等を監視したりすることが可能となっている。
また、作業機械の周辺の状況を確認するため、作業機械に複数のカメラを搭載して画像を撮像する手法が知られている。
例えば、下記の特許文献1のショベルは、キャビンの左前側のステーに左カメラが取り付けられ、カウンタウェイトの上部にバックカメラが取り付けられている。そして、上部旋回体の右前側のハンドレールに右カメラが取り付けられている。
左カメラおよび右カメラは、その撮像範囲に上部旋回体の側面が含まれるように取り付けられている。また、バックカメラはその撮像範囲にカウンタウェイトの上面後端が含まれるように取り付けられている。これらのカメラにより、ショベルの操作者は、周辺に存在する物体との位置関係を容易に認識することができる(段落0015〜0019、図2)。
しかしながら、遠隔作業機械が遠隔操作される場合においては、操作者(作業者)は遠隔作業機械から離れた位置にいる。このため、その作業に際して遠隔操作対象である作業機械の周囲を撮像するカメラの映像を効率的に確認できるようにしたいという要望がある。
本発明は、上述の点に鑑みてなされたものであり、作業者に作業機械の周辺の状況を効率的に報知することができる作業支援サーバを提供することを目的とする。
第1発明は、表示装置を有する遠隔操作装置に対して行われる操作に応じて、操作対象の作業機械を遠隔操作し得るように、前記操作対象の作業機械による作業を支援する作業支援サーバであって、前記作業機械による作業の開始が要求される場合に、前記作業機械の周辺領域を捉えた周囲画像を作成する第1支援処理要素と、前記周囲画像を前記表示装置に表示させることを条件に、当該作業機械による作業を許可する第2支援処理要素と、を備えていることを特徴とする。
本発明の作業支援サーバでは、表示装置に作業機械の周辺領域を撮像した撮像画像(静止画または動画)が送られ、作業者がその様子を確認することができる。これにより、作業者の作業機械による作業を支援するものである。
第1支援処理要素は、作業機械による作業の開始が要求される場合に、作業機械の周辺領域を捉えた周囲画像を作成し、遠隔操作装置の表示装置に当該周囲画像を表示させる。また、第2支援処理要素は、周囲画像を前記表示装置に表示させることを条件に、作業機械による作業を許可する。これにより、オペレータは、作業機械による作業を開始する前に、作業機械の周辺領域を見渡せるようになる。作業支援サーバは、オペレータに確認されるべき周囲画像が遠隔操作装置の表示装置に確実に表示された後に、遠隔操作装置による作業機械の操作を許可することができる。
第1発明の作業支援サーバにおいて、前記第2支援処理要素は、前記遠隔操作装置に対して操作を行うオペレータが前記表示装置に表示された前記周囲画像を確認することに関する情報に基づいて、当該作業機械による作業を許可することが好ましい。
第2支援処理要素は、オペレータが前記表示装置に表示された周囲画像を確認することに関する情報に基づいて、遠隔操作装置による作業機械の操作を許可する。これにより、作業支援サーバは、オペレータによって当該周囲画像が確認された可能性が高い状況のとき、当該作業機械の操作を許可することができる。
また、第1発明の作業支援サーバにおいて、前記情報は、前記周囲画像が前記表示装置に表示された時間に関する情報であり、前記第2支援処理要素は、前記周囲画像が前記表示装置に所定時間表示されたことに基づいて、当該作業機械による作業を許可することが好ましい。
第2支援処理要素は、周囲画像が前記表示装置に所定時間表示されたことに基づいて、当該周囲画像がオペレータによって確認された可能性が高いと推定し、当該作業機械の作業を許可することができる。
また、第1発明の作業支援サーバにおいて、前記情報は、前記オペレータの確認動作の検出結果に関する情報であり、前記第2支援処理要素は、前記表示装置に表示された前記周囲画像に対して前記確認動作が検出されたことに基づいて、当該作業機械による作業を許可することが好ましい。
この場合、第2支援処理要素は、前記表示装置に表示された周囲画像に対して前記確認動作が検出されたという、当該周囲画像がオペレータによって確実に確認された可能性が高い状況のとき、当該作業機械の作業を許可することができる。
また、第1発明の作業支援サーバにおいて、前記第1支援処理要素は、前記作業機械に設けられた、当該作業機械の周囲を撮像する周囲撮像装置により撮像された撮像画像に基づいて、前記周囲画像を作成することが好ましい。
第1支援処理要素は、作業機械に設けられた周囲撮像装置により撮像された撮像画像に基づいて、周囲画像を作成することができる。その後、当該周囲画像が表示装置に表示されるので、オペレータによる作業の許可に用いることができる。
また、第1発明の作業支援サーバにおいて、前記第1支援処理要素は、前記作業機械の位置する作業現場に配置された複数の設備カメラの位置と撮像方向を把握しており、当該設備カメラの位置および撮像方向と、前記作業機械の位置とから、前記作業機械を捉える前記設備カメラを選択し、当該選択された前記設備カメラにより撮像された撮像画像に基づいて、前記周囲画像を作成することが好ましい。
この場合、第1支援処理要素は、作業現場に配置された設備カメラにより撮像された撮像画像に基づいて周囲画像を作成することができる。これにより、作業機械が周囲撮像装置を備えていない場合でも、周囲画像を作成することができる。
また、第1発明の作業支援サーバにおいて、前記第1支援処理要素は、前記作業機械の上空を飛行可能な飛行機に設けられた撮像装置により撮像された撮像画像に基づいて、前記周囲画像を作成することが好ましい。
この場合、第1支援処理要素は、作業機械の上空を飛行する飛行機に設けられた撮像装置により撮像された撮像画像に基づいて周囲画像を作成することができる。これにより、作業機械が周囲撮像装置を備えていない場合、また、適切な設備カメラがない場合でも、周囲画像を作成することができる。
第2発明は、表示装置を有する遠隔操作装置に対して行われる操作に応じて、操作対象の作業機械を遠隔操作し得るように、前記操作対象の作業機械による作業を支援する作業支援方法であって、前記作業機械による作業の開始が要求される場合に、前記作業機械の周辺領域を捉えた周囲画像を作成する第1のステップと、前記周囲画像を前記表示装置に表示させることを条件に当該作業機械による作業を許可する第2のステップと、を備えていることを特徴とする。
本発明の作業支援方法では、第1のステップにより、作業機械による作業の開始が要求される場合に、作業機械の周辺領域を捉えた周囲画像を作成し、遠隔操作装置の表示装置に当該周囲画像を表示させる。また、第2ステップにより、周囲画像を前記表示装置に表示させることを条件に、作業機械による作業を許可する。これにより、オペレータは、作業機械による作業を開始する前に、作業機械の周辺領域を見渡せるようになる。
作業支援方法では、オペレータに確認されるべき周囲画像が遠隔操作装置の表示装置に確実に表示された後に、遠隔操作装置による作業機械の操作を許可することができる。
以下では、図面を参照しながら、本発明の作業支援サーバの詳細を説明する。
まず、図1を参照して、本発明の実施形態に係る作業支援サーバ10と、これを含む作業支援システム1を説明する。
本実施形態の建設機械の作業支援システム1は、オペレータOPが遠隔操作装置20を操作することで、オペレータOPまたは遠隔操作装置20に対して操作対象として割り当てられた複数の作業機械40のそれぞれを選択的に遠隔操作し得るように構成されたシステムである。なお、遠隔操作装置20による操作対象の複数の作業機械40が配置される作業現場は、1つの作業現場、或いは複数の作業現場の何れであってもよい。
この作業支援システム1は、作業機械40に加えて、少なくとも作業支援サーバ10と、作業機械40を遠隔操作するための遠隔操作装置20とにより構成されている。作業支援サーバ10、遠隔操作装置20および作業機械40は、無線通信網を含むネットワークNWにより相互に通信可能に構成されている。作業支援サーバ10は、作業機械40の切替え、移動、作業内容等に応じて、自動で適切な撮像装置、撮像画像を選択する。そして、作業支援サーバ10は、遠隔操作装置20のオペレータOPの操作を支援するため、後述する画像出力装置221(本発明の「表示装置」)に撮像画像を出力する。
作業支援サーバ10は、データベース102と、第1支援処理要素121と、第2支援処理要素122と、サーバ無線通信機器125とを備えている。データベース102は、後述する実機撮像装置412、周囲撮像装置413等で撮像された撮像画像等を記憶保持する。データベース102は、作業支援サーバ10とは別個のデータベースサーバにより構成されていてもよい。
支援処理要素121,122は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサ、若しくはこれを構成するプロセッサコア)により構成され、メモリ等の記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。また、サーバ無線通信機器125は、ネットワークNWを経由して画像出力装置221に表示を指示したり、撮像装置から撮像画像を受信したりする。
次に、遠隔操作装置20は、遠隔制御装置200と、遠隔入力インターフェース210と、遠隔出力インターフェース220とを備えている。遠隔制御装置200は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサ、若しくはこれを構成するプロセッサコア)により構成され、メモリ等の記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
遠隔入力インターフェース210は、遠隔操作機構211を備えている。また、遠隔出力インターフェース220は、画像出力装置221と、作業者撮像装置222と、遠隔無線通信機器223とを備えている。
作業者撮像装置222は、遠隔操作装置20に取り付けられたカメラであり、少なくとも操作席(シートSt)を撮像する。
遠隔無線通信機器223は、ネットワークNWを経由して作業機械40に操作信号を送信したり、実機撮像装置412、周囲撮像装置413等からの撮像画像を受信したりする。
遠隔操作機構211は、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置とを備えている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー(走行レバー)は、作業機械40の下部走行体427を動作させるために操作される(図3A、図3B参照)。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定された走行ペダルが設けられていてもよい。
旋回用操作装置の操作レバー(旋回レバー)は、作業機械40の旋回機構430を構成する油圧式の旋回モータを動作させるために用いる。また、ブーム用操作装置の操作レバー(ブームレバー)は、作業機械40のブームシリンダ442を動作させるために用いる(図3A、図3B参照)。
アーム用操作装置の操作レバー(アームレバー)は、作業機械40のアームシリンダ444を動作させるために用い、バケット用操作装置の操作レバー(バケットレバー)は、作業機械40のバケットシリンダ446を動作させるために用いる(図3A、図3B参照)。
ここで、図2に、遠隔操作機構211を構成する各操作レバー、オペレータOPが着座するためのシートStの一例を示す。シートStは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態または背もたれがないチェアのような形態等、オペレータが着座できる任意の形態であってもよい。
シートStの前方に左右のクローラに応じた左右一対の走行レバー2110が左右横並びに配置されている。1つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、シートStの右側フレームの前方に設けられている右側操作レバー2111が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。
同様に、シートStの左側フレームの前方に設けられている左側操作レバー2112が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。また、レバーパターンは、オペレータOPの操作指示によって任意に変更されてもよい。
画像出力装置221は、図2に示されているように、シートStの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置2210、左側画像出力装置2211および右側画像出力装置2212により構成されている。中央画像出力装置2210、左側画像出力装置2211および右側画像出力装置2212は、それぞれの画面(画像表示領域)の形状およびサイズが同じであってもよいし、相違していてもよい。
また、中央画像出力装置2210の画面および左側画像出力装置2211の画面が傾斜角度θ1(例えば、120°≦θ1≦150°)をなすように、左側画像出力装置2211の右縁が中央画像出力装置2210の左縁に隣接している。同様に、中央画像出力装置2210の画面および右側画像出力装置2212の画面が傾斜角度θ2(例えば、120°≦θ2≦150°)をなすように、右側画像出力装置2212の左縁が中央画像出力装置2210の右縁に隣接している。当該傾斜角度θ1およびθ2は、同じであってもよいし、相違していてもよい。
中央画像出力装置2210、左側画像出力装置2211および右側画像出力装置2212は、それぞれの画面が鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。また、中央画像出力装置2210、左側画像出力装置2211および右側画像出力装置2212のうち少なくとも1つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置2210は、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。なお、画像出力装置2210〜2212は、スピーカ(音声出力装置)をさらに備えていてもよい。
次に、作業機械40は、実機制御装置400と、実機入力インターフェース410と、実機出力インターフェース420と、作動機構(作業アタッチメント)440とを備えている。実機制御装置400は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサ、若しくはこれを構成するプロセッサコア)により構成され、メモリ等の記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
ここで、図3A、図3Bに、本実施形態の作業機械40の一例を示す。作業機械40は、例えばクローラショベル(建設機械)であり、クローラ式の下部走行体427と、下部走行体427に旋回機構430を介して旋回可能に搭載された上部旋回体435と、作動機構440とから構成される機体450を備えている。上部旋回体435の前方左側部にはキャブ(運転室)425が設けられ、上部旋回体435の前方中央部には作動機構440が設けられている。キャブ(運転室)425の後方には、エンジン等の機械を収容する機械収容部436と、機械収容部436の後方に配置されるカウンタウェイト437とが配置されている。
図1に戻り、実機入力インターフェース410は、実機操作機構411と、実機撮像装置412と、周囲撮像装置413とを備えている。実機操作機構411は、キャブ425の内部に配置されたシートの周囲に遠隔操作機構211と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ425に設けられている。
図3A、図3Bに示すように、実機撮像装置412は、例えばキャブ425の内部に設置され、作業機械40の前方方位をキャブ425のフロントウィンドウ越しに撮像する。
また、図3A、図3Bに示すように、周囲撮像装置413は、例えばキャブ425の前方下部に設置され、作業機械40の前方を撮像する前方カメラ413A、機体450上に設置され、作業機械40の右方を撮像する右方カメラ413B、機体450上に設置され、作業機械40の左方を撮像する左方カメラ413D、および機体450上に設置され、作業機械40の後方を撮像する後方カメラ413Cで構成される。カメラ413A〜413Dのそれぞれの撮像範囲は互いに重なり合うように設定されており、作業機械40の周辺領域の全方位(360°)を撮像可能となっている。
実機出力インターフェース420は、実機無線通信機器422を備えている。実機無線通信機器422は、ネットワークNWを経由して遠隔操作装置20の遠隔無線通信機器223から遠隔操作レバーの操作態様に応じた信号を受信する。当該信号は、さらに実機制御装置400に送信され、作業機械40が当該信号に応じて動作する。なお、当該信号に基づいて実機操作レバーを作動させる駆動機構またはロボットは、キャブ425に設けられている。
作動機構440は、上部旋回体435に装着されたブーム441と、ブーム441の先端部に回動可能に連結されたアーム443と、アーム443の先端部に回動可能に連結されたバケット445とを備えている。作動機構440には、伸縮可能な油圧シリンダにより構成されたブームシリンダ442、アームシリンダ444およびバケットシリンダ446が装着されている。
また、測位装置460は、作業機械40の位置を検出する装置であり、例えば、GNSS受信機(GNNS:Global Navigation Satellite System)により構成される。測位装置460で検出された作業機械40の位置は、実機無線通信機器422を介して作業支援サーバ10に送信され、データベース102に記憶される。
ブームシリンダ442は、作動油の供給を受けることにより伸縮してブーム441を起伏方向に回動させるように当該ブーム441と上部旋回体435との間に介在する。アームシリンダ444は、作動油の供給を受けることにより伸縮してアーム443をブーム441に対して水平軸回りに回動させるように当該アーム443と当該ブーム441との間に介在する。
バケットシリンダ446は、作動油の供給を受けることにより伸縮してバケット445をアーム443に対して水平軸回りに回動させるように当該バケット445と当該アーム443との間に介在する。
作業支援システム1は、さらに、各作業機械40が配置される作業現場に設置された設備カメラ70と、各作業機械40が配置される作業現場の上空を飛行する無人飛行機80と、によっても構成され得る。
作業支援サーバ10および遠隔操作装置20は、適宜、ネットワークNWを介して設備カメラ70の撮像装置713の撮像映像および無人飛行機80の撮像装置813の撮像映像を取得し、画像出力装置221に出力可能となっている。
次に、図4A、図4Bを参照して、本実施形態の作業支援システム1の機能に関するフローチャートを説明する。また、適宜図5〜図10を参照して、撮像装置の選択、撮像画像の表示等について説明する。
なお、フローチャート中の「C10」〜「C44」のブロックは、記載を簡略化するために用いたが、データの送信および/または受信を意味し、当該データの送信および/または受信を条件として、分岐方向の処理が実行されることを意味する。
(第1機能)
まず、遠隔操作装置20にて、オペレータOPにより遠隔入力インターフェース210を通じた第1指定操作の有無が判定される(図4A/STEP210)。ここで、「第1指定操作」とは、遠隔操作装置20と連携する作業機械40を選択する操作である。
まず、遠隔操作装置20にて、オペレータOPにより遠隔入力インターフェース210を通じた第1指定操作の有無が判定される(図4A/STEP210)。ここで、「第1指定操作」とは、遠隔操作装置20と連携する作業機械40を選択する操作である。
第1指定操作の有無は、例えば、次のように判定される。まず、遠隔操作装置20と連携可能な作業機械40のそれぞれの存在位置を示すマップや一覧表等が遠隔出力インターフェース220に出力される。次いで、オペレータOPにより遠隔操作装置20と連携させる一の作業機械40を指定するためのタップ等の操作が行われたか否かを判定する。
当該判定結果が否定的である場合(図4A/STEP210‥NO)、第1機能の処理を終了する。一方、当該判定結果が肯定的である場合(図4A/STEP210‥YES)、遠隔無線通信機器223を介して作業支援サーバ10に対して接続要求信号を送信する(図4A/STEP211)。「接続要求信号」には、遠隔操作装置20との通信が確立している作業機械40、または遠隔入力インターフェース210を通じて指定された作業機械40を識別するための作業機械識別子が含まれる。
作業支援サーバ10において、当該作業開始信号を受信した場合(図4A/C10)、第1支援処理要素121によって、当該作業機械識別子により識別される作業機械40に対して撮像画像の送信開始指示を行う(図4A/STEP111)。ここでは、少なくとも作業機械40の実機撮像装置412の撮像装置が選択される。
作業機械40は、当該送信開始指示を受けた場合(図4A/C40)、作業支援サーバ10に撮像画像を送信する(図4A/STEP411)。作業支援サーバ10において、サーバ無線通信機器125を介して撮像画像を受信した場合(図4A/C11)、周囲画像を作成し(図4A/STEP112)、サーバ無線通信機器125を介して当該周囲画像を遠隔操作装置20に送信する(図4A/STEP113)。この周囲画像の例としては、以降で挙げる周囲画像1〜3がある。
(周囲画像1)
例えば、作業機械40が、図3A、図3Bに示される周囲撮像装置413を備えている場合には、周囲撮像装置413を構成するカメラ413A〜413Dでそれぞれ撮像した画像を、実機無線通信機器422を介して作業支援サーバ10に送信する(図4A/STEP411)。
例えば、作業機械40が、図3A、図3Bに示される周囲撮像装置413を備えている場合には、周囲撮像装置413を構成するカメラ413A〜413Dでそれぞれ撮像した画像を、実機無線通信機器422を介して作業支援サーバ10に送信する(図4A/STEP411)。
作業支援サーバ10において、サーバ無線通信機器125を介してカメラ413A〜413Dの撮像画像が受信された場合(図4A/C11)、第1支援処理要素121によってカメラ413A〜413Dの撮像画像を合成する。そして、図5に示されるような、作業機械40の上方から俯瞰した周囲画像を作成し(図4A/STEP112)、サーバ無線通信機器125を介して当該周囲画像を遠隔操作装置20に送信する(図4A/STEP113)。
遠隔操作装置20は、遠隔無線通信機器223を介して周囲画像を受信した場合(図4A/C20)、当該周囲画像を画像出力装置221に出力する(図4A/STEP212)。
図5に示される周囲画像において、中央に示される作業機械40の画像は、予め図形情報としてデータベース102に記憶されていたものでもよい。この周囲画像において、破線はカメラ413A〜413Dの撮像画像の繋ぎ目を示している。なお、当該破線は、画像出力装置221に出力しなくてもよい。
また、作業機械40の周囲撮像装置413が、カメラ413A〜413Dの撮像画像の合成を行うことで周囲画像を作成するようにしてもよい。この場合、周囲撮像装置413により作成された周囲画像を、実機無線通信機器422を介して作業支援サーバ10に送信する(図4A/STEP411)。
そして、作業支援サーバ10において、サーバ無線通信機器125を介して周囲画像が受信された場合(図4A/C11)、サーバ無線通信機器125を介して当該周囲画像を遠隔操作装置20に送信する(図4A/STEP113)、というように構成することができる。
また、遠隔操作装置20の遠隔出力インターフェース220が、カメラ413A〜413Dの撮像画像の合成を行うことで周囲画像を作成するようにしてもよい。作業支援サーバ10において、サーバ無線通信機器125を介してカメラ413A〜413Dの撮像画像が受信された場合(図4A/C11)、当該撮像画像を、サーバ無線通信機器125を介して遠隔操作装置20に送信する(図4A/STEP113)。
そして、遠隔操作装置20において、遠隔無線通信機器223を介して当該撮像画を受信した場合に、カメラ413A〜413Dの撮像画像の合成を行う。その後、作成された周囲画像を画像出力装置221に出力する(図4A/STEP212)。
(周囲画像2)
作業機械40は、実機撮像装置412が撮像した撮像画像を、実機無線通信機器422を介して作業支援サーバ10に送信する(図4A/STEP411)。さらに、測位装置460で検出された作業機械40の位置が、実機無線通信機器422を介して作業支援サーバ10に送信され、データベース102に保存される。
作業機械40は、実機撮像装置412が撮像した撮像画像を、実機無線通信機器422を介して作業支援サーバ10に送信する(図4A/STEP411)。さらに、測位装置460で検出された作業機械40の位置が、実機無線通信機器422を介して作業支援サーバ10に送信され、データベース102に保存される。
作業支援サーバ10において、サーバ無線通信機器125を介して実機撮像装置412が撮像した撮像画像が受信された場合(図4A/C11)、第1支援処理要素121にて、図7に示されるような、実機撮像装置412が撮像した撮像画像上に設備カメラ70A、70Bが撮像した撮像画像を重ねた周囲画像が作成される(図4A/STEP112)。
具体的には、作業支援サーバ10は、サーバ無線通信機器125を介して実機撮像装置412が撮像した撮像画像に加えて、設備カメラ70の通信機器723を介して送付される、撮像装置713が撮像した撮像画像を受信することができる。
第1支援処理要素121は、設備カメラ70の作業現場における位置および撮影可能範囲を把握している。そして、データベース102に保存された作業機械40の位置をもとに、作業機械40の位置が撮影可能範囲に含まれる設備カメラ70を特定する。さらに、当該特定した設備カメラ70により作業機械40を捉えている設備カメラ70が撮像した撮像画像を、実機撮像装置412が撮像した撮像画像上に重ね、画像出力装置221に出力する(図4A/STEP212)。
図6に示されるように、作業機械40の位置が撮影可能範囲に含まれる設備カメラ70が複数存在する場合には、設備カメラ70の撮像画像を全て表示してもよいし、一部のみ表示してもよい。
また、図7においては、作業機械40を左側から撮影する設備カメラ70Bの撮像画像を画像出力装置221の左側に出力し、作業機械40を右側から撮影する設備カメラ70Aの撮像画像を画像出力装置221の右側に出力している。このように、作業機械40を異なる方向から撮像した撮像画像が選択されることにより、作業機械40の周囲の状況を周囲画像に反映することができる。
(周囲画像3)
また、図8に示されるように、作業機械40が配置される作業現場の上空を飛行することができる無人飛行機80が存在する場合には、作業支援サーバ10は、通信機器823を介して送信される無人飛行機80に搭載された撮像装置813の撮像画像を受信することができる。
また、図8に示されるように、作業機械40が配置される作業現場の上空を飛行することができる無人飛行機80が存在する場合には、作業支援サーバ10は、通信機器823を介して送信される無人飛行機80に搭載された撮像装置813の撮像画像を受信することができる。
無人飛行機80は、充電式で無線により飛行できるものでもよいし、有線により給電されるものでもよい。無人飛行機80は、作業現場または作業機械40上に設けられた発着所に待機する。撮像装置813は、少なくとも無人飛行機80の下方を撮像することができる。
そして、作業機械40が送信開始指示を受けた場合(図4A/C40)、無人飛行機80は、作業機械40の上空に移動し、撮像装置813により撮像を開始する。
作業機械40は、実機撮像装置412が撮像した撮像画像を、実機無線通信機器422を介して作業支援サーバ10に送信する(図4A/STEP411)。これと同時に、撮像装置813により撮像された撮像画像が、通信機器823を介して作業支援サーバ10に送信される。ここで、撮像装置813により撮像された撮像画像は、作業機械40の実機無線通信機器422を介して作業支援サーバ10に送信されてもよい。
作業支援サーバ10において、サーバ無線通信機器125を介して撮像装置813により撮像された撮像画像が受信された場合(図4A/C11)、第1支援処理要素121は、当該撮像画像を周囲画像とし、サーバ無線通信機器125を介して当該周囲画像を遠隔操作装置20に送信する(図4A/STEP113)。
遠隔操作装置20は、遠隔無線通信機器223を介して周囲画像を受信した場合(図4A/C20)に、図9に示されるような周囲画像を画像出力装置221に出力する(図4A/STEP212)。当該周囲画像において、中央に示される作業機械40の画像とその周囲の作業現場の画像は、撮像装置813により撮像された撮像画像である。
無人飛行機80は、作業機械40を上空から撮影する際の高さおよび向きが設定されていてもよい。例えば、撮像画像における作業機械40の画像の向きおよび大きさが適当な画像を規定画像として記憶させておき、当該規定画像を撮影することのできる高さおよび向きになるように、無人飛行機80の高さと向きが制御され得る。
上述の周囲画像1〜3は、適宜選択され得る。例えば、作業機械40が周囲撮像装置413を搭載している場合には、周囲画像1を採用することができる。
また、作業支援サーバ10および遠隔操作装置20が、作業機械40が配置される作業現場に設置された設備カメラ70の撮像画像を、ネットワークNWを介して取得可能である場合には、周囲画像2を採用することができる。
また、作業機械40の上空に無人飛行機80があり、撮像装置813により撮像された撮像画像を、ネットワークNWを介して取得可能である場合には、周囲画像3を採用することができる。
以上のようにして、周囲画像が画像出力装置221に出力された場合(図4A/STEP212)に、オペレータOPは、車両や現場作業者が存在していないか等、安全を確認することができる。
次に、遠隔無線通信機器223を介してオペレータ情報が作業支援サーバ10に送信される(図4A/STEP213)。「オペレータの情報」は、オペレータОPが画像出力装置221に出力された周囲画像を確認したか否かを判断することができる情報である。
例えば、オペレータ情報は、周囲画像が画像出力装置221に所定時間(例えば、10秒)以上に亘って表示されたという情報である。当該情報が送信され、作業支援サーバ10において、サーバ無線通信機器125を介して当該情報が受信された場合(図4A/C12)、第2支援処理要素122によって、作業許可条件を満たすか否かが判定される(図4A/STEP114)。
周囲画像が画像出力装置221に表示された時間が所定時間未満である場合には、オペレータが周囲画像を確認していない可能性が高い。そのため、第2支援処理要素122は、作業許可条件を満たさない(図4A/STEP114‥NO)と判定し、再度、周囲画像を作成し(図4A/STEP112)、周囲画像を更新する。
一方、周囲画像が画像出力装置221に表示された時間が所定時間以上である場合には、オペレータOPが周囲画像を確認している可能性が高い。そのため、第2支援処理要素122は、作業許可条件を満たす(図4A/STEP114‥YES)と判定し、サーバ無線通信機器125を介して作業機械40に対して操作受付許可信号を送信する(図4A/STEP115)。
また、オペレータ情報は、オペレータOPが画像出力装置221に出力された周囲画像を確認する動作を捉えることのできる画像であってもよい。この場合、遠隔操作装置20は、作業者撮像装置222によりシートStに着座するオペレータOPを撮像し、オペレータ画像として遠隔無線通信機器223を介して作業支援サーバ10に送信する(図4A/STEP213)。
作業支援サーバ10において、サーバ無線通信機器125を介して当該オペレータ画像が受信された場合(図4A/C12)、第2支援処理要素122によって、作業許可条件を満たすか否かが判定される(図4A/STEP114)。
第2支援処理要素122は、オペレータ画像に対して画像解析を行いオペレータの動作を特定し、例えば、オペレータOPの目線や顔が画像出力装置221の方向に向けられていることや、オペレータOPが画像出力装置221を指さし確認していることを検出した場合には、作業許可条件を満たす(図4A/STEP114‥YES)と判定する。そして、第2支援処理要素122は、サーバ無線通信機器125を介して作業機械40に対して操作受付許可信号を送信する(図4A/STEP115)。
一方、第2支援処理要素122は、作業許可条件を満たさない(図4A/STEP114‥NO)と判定すると、再度、周囲画像を作成する(図4A/STEP112)。これにより、オペレータOPに画像出力装置221に出力された周囲画像を確認させる。
また、第2支援処理要素122は、オペレータ画像の解析結果において、作業許可条件を満たさない(図4A/STEP114‥NO)状態が所定時間以上継続した場合に、遠隔操作装置20のスピーカから警告音等を出力するように制御してもよい。
作業機械40は、実機無線通信機器422を介して当該駆動許可信号を受信した場合(図4A/C41)、遠隔操作装置20による遠隔操作の受付を開始する(図4A/STEP412)。
(第2機能)
次に、図4Bのフローチャートを参照して、作業支援システム1のさらなる機能について説明する。
次に、図4Bのフローチャートを参照して、作業支援システム1のさらなる機能について説明する。
作業支援サーバ10は、サーバ無線通信機器125を介して作業機械40に撮像画像切替え指示を送信する(図4B/STEP120)。「撮像画像切替え指示」は、遠隔操作装置20によって、作業機械40の遠隔操作を行う際に用いる画像を画像出力装置221に表示させるための指示である。
作業機械40は、実機無線通信機器422を介して当該撮像画像切替え指示が受信された場合(図4B/C42)、実機制御装置400が実機撮像装置412から実機撮像画像を取得する(図4B/STEP421)。すなわち、実機制御装置400によって、当該実機撮像画像を表わす実機撮像画像データが作業支援サーバ10に対して送信される(図4B/STEP422)。
作業支援サーバ10において、第1支援処理要素121によってサーバ無線通信機器125を介して実機撮像画像データが受信された場合(図4B/C14)、第2支援処理要素122によって当該実機撮像画像データが遠隔操作装置20に対して送信される(図4B/STEP121)。
遠隔操作装置20において、遠隔無線通信機器223を介して実機撮像画像データが受信された場合(図4B/C21)、遠隔制御装置200によって当該実機撮像画像データに応じた作業環境画像が画像出力装置221に出力される(図4B/STEP220)。
これにより、例えば、図10に示されるように、作動機構440の一部であるブーム441、アーム443およびバケット445が映り込んでいる作業環境画像が画像出力装置221に出力される。
遠隔操作装置20において、遠隔制御装置200によって遠隔操作機構211の操作態様が認識され(図4B/STEP221)、さらに、遠隔無線通信機器223を介して当該操作態様に応じた遠隔操作指令が作業支援サーバ10に対して送信される(図4B/STEP222)。
作業支援サーバ10において、第2支援処理要素122によって当該遠隔操作指令が受信された場合(図4B/C15)、第1支援処理要素121は、当該遠隔操作指令を作業機械40に対して送信する(図4B/STEP122)。
作業機械40において、実機制御装置400によって実機無線通信機器422を介して遠隔操作指令が受信された場合(図4B/C43)、作動機構440等の動作が制御される(図4B/STEP423)。これにより、作業機械40の遠隔操作が開始される。例えば、バケット445により作業機械40の前方の土をすくい、上部旋回体435を旋回させたうえでバケット445から土を落とす作業が実行される。
その後、遠隔操作装置20において、オペレータOPが作業機械40による作業を終了する。このとき、遠隔操作装置20は、作業支援サーバ10に向けて作業終了信号を送信する(図4B/STEP223)。
作業支援サーバ10は、実機無線通信機器422を介して当該作業終了信号を受信した場合(図4B/C16)、作業機械40に向けて作業終了信号を送信する(図4B/STEP123)。このとき、作業支援サーバ10は、現在、撮像画像を送信している撮像装置に限らず、全ての撮像装置に対して作業終了の指示を行ってもよい。
作業機械40は、当該作業終了信号を受信した場合(図4B/C44)、撮像装置による撮像と作業機械40の駆動を停止する(図4B/STEP424)。
最後に、遠隔操作装置20は、撮像画像の出力を中止する(図4B/STEP224)。これにより、画像出力装置221での撮像画像の表示が終了する。
また、オペレータOPは、遠隔操作装置20から複数の作業機械40を操作することが可能であり、作業機械40を切替えることがある。新たな作業機械40に切替えたとき、作業支援システム1は、上述の図4A、図4Bの処理を実行するようにしてもよい。以上で、作業支援サーバ10の一連の処理(第1機能、第2機能)を終了する。
このように、作業支援サーバ10は、作業機械40の実機撮像装置412、周囲撮像装置413、設備カメラ70等の撮像画像を用いて、作業機械40の周辺の撮像画像を画像出力装置221に表示させる。オペレータOPは、作業機械40の周囲の状況のみならず、障害物との相対位置関係等を把握し、確実に作業を行うことができる。また、オペレータOPが自ら撮像装置の切替えを行う手間もなくなる。
1…作業支援システム、10…作業支援サーバ、20…遠隔操作装置、40…作業機械、70,70A,70B…設備カメラ、80…無人飛行機、121…第1支援処理要素、122…第2支援処理要素、200…遠隔制御装置、221…画像出力装置、222…作業者撮像装置、412…実機撮像装置、413…周囲撮像装置、425…キャブ、427…下部走行体、430…旋回機構、435…上部旋回体、440…作動機構(作業アタッチメント)、445…バケット、460…測位装置、713…撮像装置、723…通信機器、813…撮像装置、823…通信機器、2110…走行レバー、2111…右側操作レバー、2112…左側操作レバー。
Claims (8)
- 表示装置を有する遠隔操作装置に対して行われる操作に応じて、操作対象の作業機械を遠隔操作し得るように、前記操作対象の作業機械による作業を支援する作業支援サーバであって、
前記作業機械による作業の開始が要求される場合に、前記作業機械の周辺領域を捉えた周囲画像を作成する第1支援処理要素と、
前記周囲画像を前記表示装置に表示させることを条件に、当該作業機械による作業を許可する第2支援処理要素と、
を備えていることを特徴とする作業支援サーバ。 - 請求項1に記載の作業支援サーバにおいて、
前記第2支援処理要素は、前記遠隔操作装置に対して操作を行うオペレータが前記表示装置に表示された前記周囲画像を確認することに関する情報に基づいて、当該作業機械による作業を許可することを特徴とする作業支援サーバ。 - 請求項2に記載の作業支援サーバにおいて、
前記情報は、前記周囲画像が前記表示装置に表示された時間に関する情報であり、
前記第2支援処理要素は、前記周囲画像が前記表示装置に所定時間表示されたことに基づいて、当該作業機械による作業を許可することを特徴とする作業支援サーバ。 - 請求項2または3に記載の作業支援サーバにおいて、
前記情報は、前記オペレータの確認動作の検出結果に関する情報であり、
前記第2支援処理要素は、前記表示装置に表示された前記周囲画像に対して前記確認動作が検出されたことに基づいて、当該作業機械による作業を許可することを特徴とする作業支援サーバ。 - 請求項1〜4の何れか1項に記載の作業支援サーバにおいて、
前記第1支援処理要素は、前記作業機械に設けられた、当該作業機械の周囲を撮像する周囲撮像装置により撮像された撮像画像に基づいて、前記周囲画像を作成することを特徴とする作業支援サーバ。 - 請求項1〜4の何れか1項に記載の作業支援サーバにおいて、
前記第1支援処理要素は、前記作業機械の位置する作業現場に配置された複数の設備カメラの位置と撮像方向を把握しており、当該設備カメラの位置および撮像方向と、前記作業機械の位置とから、前記作業機械を捉える前記設備カメラを選択し、当該選択された前記設備カメラにより撮像された撮像画像に基づいて、前記周囲画像を作成することを特徴とする作業支援サーバ。 - 請求項1〜4の何れか1項に記載の作業支援サーバにおいて、
前記第1支援処理要素は、前記作業機械の上空を飛行可能な飛行機に設けられた撮像装置により撮像された撮像画像に基づいて、前記周囲画像を作成することを特徴とする作業支援サーバ。 - 表示装置を有する遠隔操作装置に対して行われる操作に応じて、操作対象の作業機械を遠隔操作し得るように、前記操作対象の作業機械による作業を支援する作業支援方法であって、
前記作業機械による作業の開始が要求される場合に、前記作業機械の周辺領域を捉えた周囲画像を作成する第1のステップと、
前記周囲画像を前記表示装置に表示させることを条件に当該作業機械による作業を許可する第2のステップと、
を備えていることを特徴とする作業支援方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020043744A JP2021143541A (ja) | 2020-03-13 | 2020-03-13 | 作業支援サーバ、作業支援方法 |
EP21767335.9A EP4079978A4 (en) | 2020-03-13 | 2021-01-25 | WORK SUPPORT SERVER AND WORK SUPPORT METHOD |
PCT/JP2021/002418 WO2021181916A1 (ja) | 2020-03-13 | 2021-01-25 | 作業支援サーバ、作業支援方法 |
US17/794,655 US20230092296A1 (en) | 2020-03-13 | 2021-01-25 | Work assistance server and work assistance method |
CN202180020031.1A CN115244254A (zh) | 2020-03-13 | 2021-01-25 | 作业辅助服务器、作业辅助方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020043744A JP2021143541A (ja) | 2020-03-13 | 2020-03-13 | 作業支援サーバ、作業支援方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021143541A true JP2021143541A (ja) | 2021-09-24 |
Family
ID=77671352
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020043744A Pending JP2021143541A (ja) | 2020-03-13 | 2020-03-13 | 作業支援サーバ、作業支援方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230092296A1 (ja) |
EP (1) | EP4079978A4 (ja) |
JP (1) | JP2021143541A (ja) |
CN (1) | CN115244254A (ja) |
WO (1) | WO2021181916A1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1028265A (ja) * | 1996-07-11 | 1998-01-27 | Hitachi Constr Mach Co Ltd | 遠隔操縦作業機械の作業現場モニタ装置 |
JP2017102604A (ja) * | 2015-11-30 | 2017-06-08 | 住友重機械工業株式会社 | 作業機械用周辺監視システム |
WO2017131194A1 (ja) * | 2016-01-29 | 2017-08-03 | 住友建機株式会社 | ショベル及びショベルの周囲を飛行する自律式飛行体 |
JP2018105064A (ja) * | 2016-12-28 | 2018-07-05 | 株式会社小松製作所 | 作業車両および作業車両の制御システム |
JP2019060228A (ja) * | 2018-11-01 | 2019-04-18 | 住友重機械工業株式会社 | 作業機械用周辺監視装置 |
WO2019111859A1 (ja) * | 2017-12-04 | 2019-06-13 | 住友重機械工業株式会社 | 周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム |
WO2020032267A1 (ja) * | 2018-08-10 | 2020-02-13 | 住友建機株式会社 | ショベル |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6456584B2 (ja) * | 2013-03-19 | 2019-01-23 | 住友重機械工業株式会社 | 作業機械用周辺監視装置 |
JPWO2015125979A1 (ja) * | 2015-04-28 | 2018-02-15 | 株式会社小松製作所 | 作業機械の周辺監視装置及び作業機械の周辺監視方法 |
WO2017022042A1 (ja) * | 2015-07-31 | 2017-02-09 | 株式会社小松製作所 | 作業機械の表示システム、および作業機械の表示方法 |
EP3399744B1 (en) | 2015-12-28 | 2021-09-22 | Sumitomo (S.H.I.) Construction Machinery Co., Ltd. | Shovel |
CN205894129U (zh) * | 2016-07-25 | 2017-01-18 | 山推工程机械股份有限公司 | 一种遥控推土机无线视频监控系统 |
JP7087545B2 (ja) * | 2018-03-28 | 2022-06-21 | コベルコ建機株式会社 | 建設機械 |
JP7338514B2 (ja) * | 2020-03-04 | 2023-09-05 | コベルコ建機株式会社 | 作業支援サーバ、作業支援方法 |
-
2020
- 2020-03-13 JP JP2020043744A patent/JP2021143541A/ja active Pending
-
2021
- 2021-01-25 US US17/794,655 patent/US20230092296A1/en active Pending
- 2021-01-25 EP EP21767335.9A patent/EP4079978A4/en active Pending
- 2021-01-25 WO PCT/JP2021/002418 patent/WO2021181916A1/ja unknown
- 2021-01-25 CN CN202180020031.1A patent/CN115244254A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1028265A (ja) * | 1996-07-11 | 1998-01-27 | Hitachi Constr Mach Co Ltd | 遠隔操縦作業機械の作業現場モニタ装置 |
JP2017102604A (ja) * | 2015-11-30 | 2017-06-08 | 住友重機械工業株式会社 | 作業機械用周辺監視システム |
WO2017131194A1 (ja) * | 2016-01-29 | 2017-08-03 | 住友建機株式会社 | ショベル及びショベルの周囲を飛行する自律式飛行体 |
JP2018105064A (ja) * | 2016-12-28 | 2018-07-05 | 株式会社小松製作所 | 作業車両および作業車両の制御システム |
WO2019111859A1 (ja) * | 2017-12-04 | 2019-06-13 | 住友重機械工業株式会社 | 周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム |
WO2020032267A1 (ja) * | 2018-08-10 | 2020-02-13 | 住友建機株式会社 | ショベル |
JP2019060228A (ja) * | 2018-11-01 | 2019-04-18 | 住友重機械工業株式会社 | 作業機械用周辺監視装置 |
Also Published As
Publication number | Publication date |
---|---|
US20230092296A1 (en) | 2023-03-23 |
EP4079978A4 (en) | 2023-06-14 |
WO2021181916A1 (ja) | 2021-09-16 |
EP4079978A1 (en) | 2022-10-26 |
CN115244254A (zh) | 2022-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6243926B2 (ja) | 車両走行システム、搬送車の停車姿勢設定装置が実行する方法、及び搬送車の停車姿勢設定装置 | |
WO2021124654A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
WO2021176883A1 (ja) | 作業支援サーバ、作業支援方法 | |
US20230073325A1 (en) | Remote operation assistance server, remote operation assistance system, and remote operation assistance method | |
WO2021181916A1 (ja) | 作業支援サーバ、作業支援方法 | |
WO2021131161A1 (ja) | 作業支援サーバ、撮像装置の選択方法 | |
WO2021153187A1 (ja) | 作業支援サーバおよび作業支援システム | |
WO2021106278A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
WO2022070567A1 (ja) | 遠隔操作支援装置及び遠隔操作支援システム | |
JP7283283B2 (ja) | 作業機械 | |
WO2021106280A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
WO2021106279A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
WO2023136070A1 (ja) | 遠隔操作支援システムおよび遠隔操作支援方法 | |
EP4060129A1 (en) | Remote operation support system and remote operation support method | |
WO2021106281A1 (ja) | 作業支援サーバ、作業支援方法および作業支援システム | |
JP2022152338A (ja) | 作業支援システムおよび作業支援複合システム | |
JP2023032997A (ja) | 遠隔操作システム | |
JP2021111875A (ja) | 建設機械の点検システム | |
CN117043732A (zh) | 远程操作支援服务器及远程操作支援系统 | |
JP2021190773A (ja) | 遠隔操作支援装置、遠隔操作支援システム及び遠隔操作支援方法 | |
CN115118874A (zh) | 拍摄功能控制系统和拍摄功能控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240319 |