JP2021139144A - 作業支援サーバ、作業支援方法 - Google Patents

作業支援サーバ、作業支援方法 Download PDF

Info

Publication number
JP2021139144A
JP2021139144A JP2020036585A JP2020036585A JP2021139144A JP 2021139144 A JP2021139144 A JP 2021139144A JP 2020036585 A JP2020036585 A JP 2020036585A JP 2020036585 A JP2020036585 A JP 2020036585A JP 2021139144 A JP2021139144 A JP 2021139144A
Authority
JP
Japan
Prior art keywords
work
work machine
processing element
image
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020036585A
Other languages
English (en)
Other versions
JP7338514B2 (ja
Inventor
均 佐々木
Hitoshi Sasaki
均 佐々木
誠司 佐伯
Seiji Saeki
誠司 佐伯
洋一郎 山▲崎▼
Yoichiro Yamazaki
洋一郎 山▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Priority to JP2020036585A priority Critical patent/JP7338514B2/ja
Priority to EP21765216.3A priority patent/EP4070999A4/en
Priority to CN202180018166.4A priority patent/CN115210434A/zh
Priority to PCT/JP2021/002434 priority patent/WO2021176883A1/ja
Priority to US17/791,251 priority patent/US20230033706A1/en
Publication of JP2021139144A publication Critical patent/JP2021139144A/ja
Application granted granted Critical
Publication of JP7338514B2 publication Critical patent/JP7338514B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2054—Fleet management
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Mining & Mineral Resources (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Operation Control Of Excavators (AREA)
  • Selective Calling Equipment (AREA)

Abstract

【課題】操作対象である複数の作業機械の周囲の状況、相対位置関係等を作業者に認識させて、作業を支援する作業支援サーバを提供する。【解決手段】本発明の作業支援サーバ１０は、画像出力装置２２１を有する遠隔操作装置２０に対して行われる操作に応じて、複数の操作対象の作業機械４０が選択的に遠隔操作し得るようにして作業を支援する。作業支援サーバ１０の第１支援処理要素１２１は、各作業機械４０の位置を認識し、第２支援処理要素１２２は、遠隔操作装置２０の操作対象が第１の作業機械４０ａから第２の作業機械４０ｂに切替わる際に、第１の作業機械４０ａおよび第２の作業機械４０ｂの各位置を同時に捉えた画像を画像出力装置２２１に表示する。【選択図】図１

Description

本発明は、作業機械による遠隔操作を支援する作業支援サーバおよび作業機械による作業を作業支援方法に関する。
従来、遠隔ショベル等の作業機械が作業する作業現場には定点カメラが複数設置され、現場全体を俯瞰して見たり、特定のショベルの動き、作業等を監視したりすることが可能となっている。
例えば、下記の特許文献１の施工現場管理システムは、複数の撮像装置と情報提示装置とを備えている。複数の撮像装置は、それぞれ施工現場の上方に設置され、施工現場を俯瞰撮影し、施工現場のうち有人運転車両が走行可能なすべての地点が、もれなく少なくとも１つの撮像装置によって撮像されるように設けられている。
また、情報提示装置は、複数の撮像装置が撮像した画像に基づいて施工現場全体が写る全体俯瞰画像を生成し、運搬車両を描画した全体俯瞰画像を積込車両の車載端末に表示させることができる。情報提示装置は、例えば、施工現場の建屋内部に設けられる（段落０００８〜００１０、図１）。
特開２０１９−１５１９６８号公報
このような撮像装置による画像（映像）は、作業現場における複数の作業機械の位置を把握するのに役立つ。ところで、遠隔操作装置により作業機械を操作する場合には、その操作対象を切替える場合がある。具体的には、操作対象機を現在操作している作業機械から次に予定している作業機械に切替える操作が行われる。この際には、操作予定の作業機械の位置のみならず、その姿勢や周囲の状況を把握することが要求される。しかしながら、上記特許文献１に記載の情報提示装置では、これらの情報を把握することは難しかった。
本発明は、上述の点に鑑みてなされたものであり、操作対象である複数の作業機械の周囲の状況、相対位置関係等を作業者に認識させて、作業を支援する作業支援サーバを提供することを目的とする。
第１発明は、表示装置を有する遠隔操作装置に対して行われる操作に応じて、複数の操作対象の作業機械が選択的に遠隔操作し得るように、前記操作対象の作業機械による作業を支援する作業支援サーバであって、前記遠隔操作装置の操作対象である前記作業機械の位置を認識する第１支援処理要素と、前記遠隔操作装置の操作対象が第１の前記作業機械から第２の前記作業機械に切替わる際に、前記第１の前記作業機械および前記第２の前記作業機械の各位置を同時に捉えた画像を前記表示装置に表示する第２支援処理要素と、を備えていることを特徴とする。
本発明の作業支援サーバは、遠隔操作装置により操作対象の作業機械を操作して行う作業を支援するため、第１支援処理要素と第２支援処理要素とを備えている。第１支援処理要素は、操作対象の作業機械の位置を認識する。
また、第２支援処理要素は、操作対象が第１の作業機械による作業から第２の作業機械による作業に切替わる際に、当該第１の作業機械と当該第２の作業機械の各位置を同時に捉えた画像を表示する表示制御を行い、当該画像を表示装置に表示する。これにより、作業者に複数の作業機械の相対位置関係等を認識させて、安全かつ確実に作業させることができる。
本発明の作業支援サーバにおいて、前記第１支援処理要素は、前記作業機械の位置する作業現場に配置された複数の設備カメラの位置と撮像方向を把握しており、当該設備カメラの位置および撮像方向と、前記第１の前記作業機械および前記第２の前記作業機械の各位置とから、当該各位置を同時に捉える前記設備カメラを選択し、前記第２支援処理要素は、前記第１支援処理要素により選択された前記設備カメラが撮像した撮像画像を前記表示装置に表示する設備カメラ表示処理を行うことが好ましい。
この構成によれば、第１支援処理要素は、第１の作業機械および第２の作業機械の各位置を認識することができるので、作業現場に配置された複数の設備カメラから当該各位置を同時に捉える設備カメラを選択することができる。また、第２支援処理要素は、設備カメラの撮像画像から第１の作業機械および第２の作業機械の各位置を作業者に示すことができる。これにより、作業機械の周辺の状況を示すことができる。
また、本発明の作業支援サーバにおいて、前記第１支援処理要素により認識された前記第１の前記作業機械および前記第２の前記作業機械の各位置に基づいて、前記設備カメラが当該各位置を俯瞰する俯瞰画像を撮像し、前記第２支援処理要素は、撮像された前記俯瞰画像を前記表示装置に表示する俯瞰画像表示処理を行うことが好ましい。
この構成によれば、遠隔操作装置の表示装置には、第１の作業機械および第２の作業機械の各位置が認識可能な俯瞰画像が表示される。これにより、作業者に作業機械の相対的な位置関係等を認識させることができる。
また、本発明の作業支援サーバにおいて、前記第１支援処理要素により、前記作業機械の位置する作業現場に配置された設備カメラの位置と撮像方向を把握させ、当該設備カメラの位置および当該撮像方向と、前記第１の前記作業機械および前記第２の前記作業機械の各位置とから当該各位置を同時に捉える前記設備カメラを選択させ、前記第２支援処理要素により、前記第１支援処理要素により選択された設備カメラが撮像した撮像画像を前記表示装置に表示させる設備カメラ表示処理と、前記第１支援処理要素により、前記第１の前記作業機械および前記第２の前記作業機械の各位置に基づいて、当該各位置を同時に捉える俯瞰画像を選択させ、前記第２支援処理要素により、前記第１支援処理要素により選択された俯瞰画像を前記表示装置に表示させる俯瞰画像表示処理と、を実行可能であり、前記第２支援処理要素は、前記設備カメラ表示処理を行うことができない場合、または前記設備カメラ表示処理を行わない設定と判断された場合に、前記俯瞰画像表示処理を行うことが好ましい。
この構成によれば、設備カメラの撮像画像にて第１の作業機械および第２の作業機械の位置を確認できる場合には、設備カメラ表示処理を実行し、作業機械の各位置を同時に捉えた撮像画像を表示装置に表示させる。
一方、設備カメラの撮像画像にて、第１の作業機械および第２の作業機械の位置を確認できない場合には、俯瞰画像表示処理を実行し、前記撮像画像の代わりに俯瞰画像を表示させる。これにより、作業者に作業機械の相対位置関係等を認識させることができる。また、設備カメラの撮像画像にて第１の作業機械および第２の作業機械の位置を確認できる場合であっても、設定によっては俯瞰画像を表示させることができる。
また、本発明の作業支援サーバにおいて、前記第１支援処理要素は、前記第１の前記作業機械が位置する作業現場に配置された何れの設備カメラでも前記第１の前記作業機械および前記第２の前記作業機械の各位置を捉えられない場合に、前記設備カメラ表示処理を行えないと判断することが好ましい。
表示装置においては、リアルタイムで撮像される設備カメラの撮像画像を表示することを優先する。しかしながら、第１支援処理要素は、第１の作業機械および第２の作業機械の各位置を同時に捉えられない場合には、設備カメラ表示処理が行えないと判断する。この場合、例えば、俯瞰画像を表示することで、作業者に作業機械の相対位置を確実に認識させることできる。
また、本発明の作業支援サーバにおいて、前記第１支援処理要素は、前記表示装置に表示された前記各位置を同時に捉えた画像を、前記第１の前記作業機械をズームアップした状態、前記第１の前記作業機械をズームアウトして前記第２の前記作業機械も映り込む状態、前記第２の前記作業機械をズームアップした状態、の順に遷移させる遷移画像表示処理を行うことが好ましい。
この構成によれば、遷移画像表示処理を行うことで、作業者に注視すべき作業機械を確実に認識させることができる。すなわち、作業者に第１の作業機械から第２の作業機械への制御対象の変更を確実に認識させるとともに、作業機械の相対位置関係を示すことができる。
第２発明は、表示装置を有する遠隔操作装置に対して行われる操作に応じて、複数の操作対象の作業機械が選択的に遠隔操作し得るように、前記操作対象の作業機械による作業を支援する作業支援方法であって、前記遠隔操作装置の操作対象である前記作業機械の位置を認識する第１のステップと、前記遠隔操作装置の操作対象が第１の前記作業機械から第２の前記作業機械に切替わる際に、前記第１の前記作業機械および前記第２の前記作業機械の各位置を同時に捉えた画像を前記表示装置に表示する第２のステップと、を備えていることを特徴とする。
本発明の作業支援方法では、遠隔操作装置により操作対象の作業機械を操作して行う作業を支援するため、第１のステップと第２のステップとを備えている。第１のステップでは、操作対象の作業機械の位置を認識する。そして、第２のステップでは、操作対象が第１の作業機械による作業から第２の作業機械による作業に切替わる際に、当該第１の作業機械と当該第２の作業機械の各位置を同時に捉えた画像を表示する表示制御を行い、当該画像を表示装置に表示する。これにより、作業者に複数の作業機械の相対位置関係等を認識させて、安全かつ確実に作業させることができる。
本発明の実施形態に係る作業支援システムの概要を説明する図。 作業機械の操作機構の構成を説明する図。 作業機械の詳細を説明する図。 作業現場を上空から見た俯瞰画像の例。 作業支援サーバと遠隔操作装置とが行う各処理のフローチャート。 作業機械が切替わる過程の表示処理のフローチャート。 第１の条件の判定を行う処理のフローチャート。 画像出力装置に表示される撮像画像の例（１）。 画像出力装置に表示される撮像画像の例（２）。
以下では、図面を参照しながら、本発明の作業支援サーバの詳細を説明する。
まず、図１を参照して、本発明の実施形態に係る作業支援サーバ１０と、これを含む作業支援システム１を説明する。作業支援システム１は、作業機械４０に加えて、作業支援サーバ１０と、作業機械４０を遠隔操作するための遠隔操作装置２０と、作業現場の所定の位置に設置されて、作業機械４０を撮像する複数の設備カメラ３０とにより構成されている。
作業支援サーバ１０、遠隔操作装置２０、設備カメラ３０および作業機械４０は、ネットワークＮＷにより相互に通信可能に構成されている。作業支援サーバ１０は、遠隔操作装置２０の遠隔操作対象である作業機械４０が別の作業機械４０に切替えられること、作業機械４０が遠隔操作装置２０の遠隔操作に応じて移動すること、遠隔操作装置２０の遠隔操作によりなされる作業機械４０の作業内容等に応じて、自動で適切な設備カメラ３０を選択する。そして、作業支援サーバ１０は、遠隔操作装置２０のオペレータＯＰの操作を支援するため、後述する画像出力装置２２１に撮像画像を出力する。
作業支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、サーバ無線通信機器１２４とを備えている。データベース１０２は、設備カメラ３０で撮像された撮像画像等を記憶保持する。データベース１０２は、作業支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。
支援処理要素１２１，１２２は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサ、若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。また、サーバ無線通信機器１２４は、ネットワークＮＷを経由して画像出力装置２２１に表示を指示したり、設備カメラ３０から撮像画像を受信したりする。
次に、遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０とを備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサ、若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。また、遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２とを備えている。遠隔無線通信機器２２２は、ネットワークＮＷを経由して作業機械４０に操作信号を送信したり、設備カメラ３０からの撮像画像を受信したりする。
遠隔操作機構２１１は、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置とを備えている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４２７を動作させるために操作される（図３参照）。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定された走行ペダルが設けられていてもよい。
旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動作させるために用いる。また、ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動作させるために用いる（図３参照）。
アーム用操作装置の操作レバー（アームレバー）は、作業機械４０のアームシリンダ４４４を動作させるために用い、バケット用操作装置の操作レバー（バケットレバー）は、作業機械４０のバケットシリンダ４４６を動作させるために用いる（図３参照）。
ここで、図２に、遠隔操作機構２１１を構成する各操作レバー、オペレータＯＰが着座するためのシートＳｔの一例を示す。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または背もたれがないチェアのような形態等、オペレータＯＰが着座できる任意の形態であってもよい。
シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。１つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、シートＳｔの右側フレームの前方に設けられている右側操作レバー２１１１が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。
同様に、シートＳｔの左側フレームの前方に設けられている左側操作レバー２１１２が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。また、レバーパターンは、オペレータＯＰの操作指示によって任意に変更されてもよい。
画像出力装置２２１は、図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２により構成されている。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２は、それぞれの画面（画像表示領域）の形状およびサイズが同じであってもよいし、相違していてもよい。
また、中央画像出力装置２２１０の画面および左側画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側画像出力装置２２１１の右縁が中央画像出力装置２２１０の左縁に隣接している。同様に、中央画像出力装置２２１０の画面および右側画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側画像出力装置２２１２の左縁が中央画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は、同じであってもよいし、相違していてもよい。
中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２は、それぞれの画面が鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。また、中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置２２１０は、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。なお、画像出力装置２２１０〜２２１２は、スピーカ（音声出力装置）をさらに備えていてもよい。
図１に戻り、設備カメラ３０は、撮像装置３００と、カメラ無線通信機器３１０とを備えている。撮像装置３００は所定の撮像範囲を有し、上下左右に可動する視野角が設定されていてもよい。撮像装置３００は、基本的に作業時には常に撮像を継続しているが、設備カメラ３０が選択されたとき撮像を開始してもよい。
また、カメラ無線通信機器３１０は、ネットワークＮＷを経由して作業支援サーバ１０のサーバ無線通信機器１２４および遠隔操作装置２０の遠隔無線通信機器２２２に撮像装置３００で撮像した撮像画像を送信する。撮像対象、方向、ズームイン、ズームアウト等の表示切替え指示は、作業支援サーバ１０側で画像解析をしつつ行ってもよいし、オペレータＯＰ側から指示するようにしてもよい。
次に、作業機械４０は、実機制御装置４００と、実機入力インターフェース４１０と、実機出力インターフェース４２０と、作動機構（作業アタッチメント）４４０とを備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサ、若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
次に、図３に、本実施形態の作業機械４０の一例を示す。
作業機械４０は、例えば、クローラショベル（建設機械）であり、クローラ式の下部走行体４２７と、下部走行体４２７に旋回機構４３０を介して旋回可能に搭載された上部旋回体４３５とを備えている。また、上部旋回体４３５の前方左側部にはキャブ（運転室）４２５が設けられ、上部旋回体４３５の前方中央部には作動機構４４０が設けられている。
図１に戻り、実機入力インターフェース４１０は、実機操作機構４１１と、実機撮像装置４１２とを備えている。実機操作機構４１１は、キャブ４２５の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２５に設けられている。
実機撮像装置４１２はキャブ４２５の内部に設置され、キャブ４２５のフロントウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。作業機械４０は、実機撮像装置４１２の他に、複数の撮像装置で構成され、作業機械４０の周辺領域の全方位（３６０°）を撮像可能な全方位カメラを備えていてもよい。
実機出力インターフェース４２０は、実機無線通信機器４２２を備えている。実機無線通信機器４２２は、ネットワークＮＷを経由して遠隔操作装置２０の遠隔無線通信機器２２２から遠隔操作レバーの操作態様に応じた信号を受信する。当該信号は、さらに実機制御装置４００に送信され、作業機械４０が当該信号に応じて動作する。なお、当該信号に基づいて実機操作レバーを作動させる駆動機構またはロボットは、キャブ４２５に設けられている。
作動機構（作業アタッチメント）４４０は、上部旋回体４３５に装着されたブーム４４１と、ブーム４４１の先端部に回動可能に連結されたアーム４４３と、アーム４４３の先端部に回動可能に連結されたバケット４４５とを備えている。作動機構４４０には、伸縮可能な油圧シリンダにより構成されたブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。また、測位装置４６０は、作業機械４０の位置を検出する装置であり、例えば、ＧＮＳＳ受信機（ＧＮＮＳ：Global Navigation Satellite System）により構成される。
ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４３５との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。
バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。
ここで、図４に、作業現場における設備カメラ３０の配置例を示す。
図４は、作業現場を上空から見た俯瞰画像を示している。作業現場には、設備カメラ３０ａと設備カメラ３０ｂとが離れた場所に設置されている。また、地点Ｒ１〜Ｒ３で囲まれた破線で示す領域Ｒは、２台の設備カメラ３０ａ，３０ｂにより撮像可能な全領域である。領域Ｒ内には、第１の作業機械４０ａおよび第２の作業機械４０ｂが存在する。なお、設備カメラ３０ａ，３０ｂと異なる位置に、さらに設備カメラを設置してもよい。
次に、図５を参照して、本実施形態の作業支援システム１の機能に関するフローチャートを説明する。また、適宜図６〜図９を参照して、設備カメラ３０の切替え、撮像画像の表示等について説明する。
なお、フローチャート中の「Ｃ１１」〜「Ｃ１３」のブロックは、記載を簡略化するために用いたが、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として、分岐方向の処理が実行されることを意味する。
まず、遠隔操作装置２０において、オペレータＯＰが第１の作業機械４０ａによる作業を開始する（ＳＴＥＰ２０１）。このとき、遠隔操作装置２０は、作業支援サーバ１０に向けて「作業開始信号」を送信する。
作業支援サーバ１０は、当該作業開始信号を受信し（Ｃ１１）、撮像画像の送信開始指示を行う（ＳＴＥＰ１０１）。ここでは、第１の作業機械４０ａに搭載された実機撮像装置４１２が選択される。なお、選択される撮像装置は実機撮像装置４１２に限られない。例えば、作業現場の所定の位置に設置され、撮像範囲に第１の作業機械４０ａが含まれる第１のカメラが、実機撮像装置４１２と同時に選択されてもよい。
次に、遠隔操作装置２０において、ＳＴＥＰ１０１にて選択された撮像装置による撮像画像の画像出力装置２２１への出力を開始する（ＳＴＥＰ２０２）。これにより、オペレータＯＰは画像出力装置２２１を見て、第１の作業機械４０ａのキャブ４２５内部からキャブ４２５のフロントウィンドウ越しに作業機械４０ａの前方を眺めた様子を確認することができる。
実機撮像装置４１２の他に撮像装置が同時に選択される場合には、作業機械４０ａの様子を他の視点から同時に確認することができる。例えば、設備カメラ３０ａが同時に選択された場合には、作業機械４０ａの周囲の様子を併せて確認することができる。
次に、遠隔操作装置２０において、オペレータＯＰが第１の作業機械４０ａによる作業から、第２の作業機械４０ｂによる作業に切替える操作が行われた場合、作業支援サーバ１０に向けて「作業機械切替信号」が送信される（ＳＴＥＰ２０３）。
作業支援サーバ１０は、当該作業機械切替信号を受信し（Ｃ１２）、画像出力装置２２１に対して、操作対象が切替わる過程を示す出力をする表示処理Ｓを実行する（ＳＴＥＰ１０２）。
ここで、図６、図７を参照して、上述の表示処理Ｓに関するフローチャートを説明する。
表示処理Ｓの実行が開始されると、まず、第１の条件を満たすか否かが判定される（図６／ＳＴＥＰ３０１）。当該第１の条件を満たすか否かにより、画像出力装置２２１に対する操作対象が切替わる過程の出力様態を変更する。
当該第１の条件は、例えば、設備カメラ３０の撮像画像に第１の作業機械４０ａおよび第２の作業機械４０ｂが捉えられていることである。設備カメラ３０にズームイン、ズームアウトの機能がある場合には、ズームアウトしたとき撮像が可能な最大範囲の状態で、撮像画像に第１の作業機械４０ａおよび第２の作業機械４０ｂが捉えられていることである。
第１の条件を満たすか否かの判定は、具体的には次のように行う。作業支援サーバ１０は、設備カメラ３０が撮像する各撮像画像に対して画像解析処理を実施し、当該各撮像画に映り込んでいる作業機械４０を表わす実機画像Ｑｉの有無を判定する（図７／ＳＴＥＰ４０１）。
当該判定結果が肯定的である場合（図７／ＳＴＥＰ４０１‥ＹＥＳ）、第１支援処理要素１２１により、実機画像Ｑｉが第１の作業機械４０ａおよび第２の作業機械４０ｂの何れかに該当するか否かが判定される（図７／ＳＴＥＰ４０２）。具体的には、実機画像Ｑｉに相当する第１の作業機械４０ａおよび第２の作業機械４０ｂの実空間位置が、データベース１０２に登録されている作業機械４０ａおよび第２の作業機械４０ｂの実空間位置と一致するか否か、または対応するか否かが判定される。
画像座標系における実機画像Ｑｉの位置（例えば、重心位置）が、実空間座標系に座標変換されることにより、当該実機画像Ｑｉに相当する作業機械４０の実空間位置が求められる。この際、各撮像画像における実機画像Ｑｉにサイズの大小に基づき、設備カメラ３０から作業機械４０までの実空間距離が推定される。
また、当該座標変換に際して、設備カメラ３０の座標系における作業機械４０の位置が認識され、実空間座標系における撮像装置の位置および姿勢を表わす座標変換因子（行列またはクォータニオン）が用いられる。座標変換因子は、データベース１０２に撮像装置の識別子（ひいては画像識別子）と関連付けられて登録されている。
遠隔操作装置２０（クライアント）と作業機械４０との相互通信が確立された際、遠隔操作装置２０（またはそのオペレータ）および作業機械４０のそれぞれの識別子と、作業機械４０の実空間位置と、が関連付けられてデータベース１０２に登録される。
作業機械４０の実空間位置は、当該作業機械４０に搭載されている測位装置４６０により測定される。作業機械４０が実空間位置またはその時系列を作業支援サーバ１０に対して送信することにより、データベース１０２に登録されている作業機械４０の実空間位置が更新される。これにより、識別子に基づき、第１の作業機械４０ａおよび第２の作業機械４０ｂの実空間位置がデータベース１０２から検索または認識され得る。
当該判定結果が肯定的である場合（図７／ＳＴＥＰ４０２‥ＹＥＳ）、第１の条件を満たすと判定する（図７／ＳＴＥＰ４０３）。この場合、各撮像画像にフラグを付け、データベース１０２に保存する。すなわち、第１の作業機械４０ａおよび第２の作業機械４０ｂの少なくとも一方の実機画像Ｑｉが映り込む撮像画像を蓄積する（図７／ＳＴＥＰ４０４）。
その後、データベース１０２に蓄積した撮像画像から第１の作業機械４０ａおよび第２の作業機械４０ｂの位置関係、第１の作業機械４０ａおよび第２の作業機械４０ｂの間の作業現場の様子を捉えた撮像画像が選択される（図７／ＳＴＥＰ４０５）。
撮像画像の選択（図７／ＳＴＥＰ４０５）は、例えば、下記の基準（１）〜（４）により行われる。各基準を満たすごとに点数を加点していき、その上位の点数のものが選択される。
（１）第１の作業機械４０ａおよび第２の作業機械４０ｂが同時に映る。
（２）実機画像Ｑｉの面積が大きい。
（３）第１の作業機械４０ａおよび第２の作業機械４０ｂが横並びに見える。
（４）第１の作業機械４０ａおよび第２の作業機械４０ｂが重ならない。
実機画像Ｑｉの有無の判定結果が否定的であった場合（図７／ＳＴＥＰ４０１‥ＮＯ）、または実機画像Ｑｉが第１の作業機械４０ａおよび第２の作業機械４０ｂの何れに該当するか否かの判定結果が否定的であった場合（図７／ＳＴＥＰ４０２‥ＮＯ）、当該第１の条件を満たさないと判定する（図７／ＳＴＥＰ４０６）。
当該第１の条件を満たす場合（図６／ＳＴＥＰ３０１‥ＹＥＳ）、作業支援サーバ１０は、撮像画像の送信変更指示を行う（図６／ＳＴＥＰ３０２）。具体的には、作業支援サーバ１０により、撮像画像の選択（図７／ＳＴＥＰ４０５）で選択された撮像画像を撮影する設備カメラ３０が選択される。
そして、当該設備カメラ３０に対し、第１の作業機械４０ａを中心にズームインさせる指示をする。これにより、画像出力装置２２１に出力される画像は、図８（ａ）に示される第１の作業機械４０ａのキャブ４２５の内部からキャブ４２５のフロントウィンドウ越しに作業機械４０ａの前方を眺めた画像から、図８（ｂ）に示される設備カメラ３０で撮像される第１の作業機械４０ａをズームインした画像に切替わる。
続いて、作業支援サーバ１０は、当該設備カメラ３０に対して第２の作業機械が映り込むまでズームアウトさせる指示をする（図６／ＳＴＥＰ３０３）。これにより、図８（ｃ）に示されるように、設備カメラ３０の撮像範囲に第１の作業機械４０ａおよび第２の作業機械４０ｂが捉えられ、撮像画像が画像出力装置２２１に出力される。
次に、作業支援サーバ１０は、当該設備カメラ３０に第２の作業機械４０ｂを中心にズームインさせる指示をする（図６／ＳＴＥＰ３０４）。これにより、図８（ｄ）に示されるように、当該設備カメラ３０で撮像される第２の作業機械４０ｂをズームインした撮像画像が画像出力装置２２１に出力される。
最後に、作業支援サーバ１０は、撮像画像の送信変更指示を行う（図６／ＳＴＥＰ３０５）。これにより、図８（ｅ）に示されるように、第２の作業機械４０ｂのキャブ４２５の内部からキャブ４２５のフロントウィンドウ越しに作業機械４０ａの前方を眺めた撮像画像が画像出力装置２２１に出力される。
以上のように、操作対象が切替わる過程の表示がなされ、表示処理Ｓが終了する（ＳＴＥＰ１０２）。このようにして、作業支援サーバ１０（第１支援処理要素１２１）は、操作対象が切替わる過程の表示を制御して、オペレータＯＰに認識させる。
なお、作業支援サーバ１０（第２支援処理要素１２２）は、第１の作業機械４０ａおよび第２の作業機械４０ｂの画像を点滅させたり、色を付したりして表示してもよい。これにより、オペレータＯＰは、作業機械４０ａ，４０ｂの現在位置、位置関係等を容易に把握することができる。
また、図４に示されるように、第１の作業機械４０ａから第２の作業機械４０ｂへ向かう矢印のマーカＭを表示して、遠隔操作装置２０の遠隔操作対象が第１の作業機械４０ａから第２の作業機械４０ｂへ変更されることを示唆してもよい。
当該第１の条件を満たさない（図６／ＳＴＥＰ３０１‥ＮＯ）場合、作業支援サーバ１０は、撮像画像の送信変更指示を行う（図６／ＳＴＥＰ３０６）。具体的には、作業支援サーバ１０は、第１の作業機械４０ａが位置する作業現場の俯瞰画像データを選択し、さらに第１の作業機械４０ａを中心にズームインさせる指示をする。
当該瞰画像データは、例えば、事前に航空機により撮影された写真でもよく、地図情報でもよい。これにより、当該瞰画像データに対して第１の作業機械４０ａの位置を中心にズームインさせた画像が画像出力装置２２１に出力される。
ここで、図９に、この場合における画像出力装置２２１の表示例を示す。
画像出力装置２２１に出力される画像は、図９（ａ）に示される第１の作業機械４０ａのキャブ４２５の内部からキャブ４２５のフロントウィンドウ越しに作業機械４０ａの前方を眺めた画像から、図９（ｂ）に示される第１の作業機械４０ａが位置する作業現場の俯瞰画像データを第１の作業機械４０ａの位置を中心にズームインさせた画像に切替わる。第１の作業機械４０ａの位置には疑似的な作業機械４０ａの機械画像を表示させる。
続いて、作業支援サーバ１０は、第１の作業機械４０ａが位置する作業現場の俯瞰画像を第２の作業機械の位置が映り込むまでズームアウトする（図６／ＳＴＥＰ３０７）。第２の作業機械４０ｂの位置には、疑似的な作業機械４０ｂの機械画像を表示させる。具体的には、図９（ｃ）に示されるように、第１の作業機械４０ａおよび第２の作業機械４０ｂの位置が捉えられた俯瞰画像が画像出力装置２２１に出力される。
なお、第１の作業機械４０ａが位置する作業現場と第２の作業機械４０ｂの位置する作業現場とが大きく離れている場合もある。この場合は、俯瞰画像をズームアウトした後、図９（ｃ’）に示されるように、地図上に第１の作業機械４０ａおよび第２の作業機械４０ｂの位置が映り込むまでズームアウトする。
次に、作業支援サーバ１０は、俯瞰画像を第２の作業機械４０ｂの位置にズームインさせる指示をする（図６／ＳＴＥＰ３０８）。これにより、図９（ｄ）に示されるように、第２の作業機械４０ｂの位置をズームインした俯瞰画像が画像出力装置２２１に出力される。
最後に、作業支援サーバ１０は、図９（ｅ）に示されるように、第２の作業機械４０ｂのキャブ４２５の内部からキャブ４２５のフロントウィンドウ越しに作業機械４０ａの前方を眺めた画像を画像出力装置２２１に出力する。
以上のように、操作対象が切替わる過程の表示がなされ、表示処理Ｓが終了する（ＳＴＥＰ１０２）。このようにして、作業支援サーバ１０（第１支援処理要素１２１）は、操作対象が切替わる過程の表示を制御して、オペレータＯＰに認識させる。
なお、作業支援サーバ１０（第２支援処理要素１２２）は、俯瞰画像において、第１の作業機械４０ａおよび第２の作業機械４０ｂの画像を点滅させたり、色を付したりして表示してもよい。これにより、オペレータＯＰは、作業機械４０ａ，４０ｂの現在位置、位置関係等を容易に把握することができる。
また、第１の作業機械４０ａから第２の作業機械４０ｂへ向かう矢印のマーカＭを表示して遠隔操作装置２０の遠隔操作対象が第１の作業機械４０ａから第２の作業機械４０ｂへ変更されることを示唆してもよい。
図８および図９で示した画像出力装置２２１に表示される画像は、自動で連続的に切替わってもよいし、作業者による操作（例えば、ボタン操作）により切替わってもよい。
なお、第１の条件を満たす（図６／ＳＴＥＰ３０１‥ＹＥＳ）と判定した場合であっても、第１の条件を満たさない（図６／ＳＴＥＰ３０１‥Ｎｏ）場合の表示処理を行うようにしてもよい。この場合、例えば、第１の条件を満たす場合の処理と満たさない場合の処理が同時に選択可能である。このような場合において、作業者の好みに応じて、何れかの表示処理を選択可能とすることができる。
その後、作業支援サーバ１０において、オペレータＯＰが第２の作業機械４０ｂによる作業を終了する（ＳＴＥＰ２０４）。このとき、作業支援サーバ１０に向けて「作業終了信号」が送信される。
作業支援サーバ１０は、当該作業終了信号を受信し（Ｃ１３）、撮像画像の送信中止指示を行う（ＳＴＥＰ１０６）。作業支援サーバ１０は、現在撮像画像を送信している第２のカメラに限らず、作業現場の全てのカメラに対して送信中止指示を行ってもよい。以上で、作業支援サーバ１０の一連の処理を終了する。
最後に、遠隔操作装置２０において、撮像画像の出力を中止する（ＳＴＥＰ２０５）。これにより、画像出力装置２２１での撮像画像の表示が終了する。以上で、遠隔操作装置２０の一連の処理を終了する。
上記実施形態では、作業支援サーバ１０は、作業現場の所定の位置に設置された複数の設備カメラ３０を切替えて、操作対象を第１の作業機械４０ａから第２の作業機械４０ｂに変更する過程を表示するように制御したが、設備カメラ３０の代わりとなるカメラがあればそれを用いてもよい。例えば、第３の作業機械４０ｃが有するカメラが第１の作業機械４０ａおよび第２の作業機械４０ｂを撮影できる場合には、第３の作業機械４０ｃが有するカメラも当該過程を表示するために選択され得る。
このように、作業支援サーバ１０は、設備カメラ３０、作業機械４０の実機撮像装置４１２等の撮像画像を用いて、作業機械４０の切替えを画像出力装置２２１に表示させる。これにより、オペレータＯＰは、作業機械４０の周囲の状況、相対位置関係等を把握し易くなる。
１…作業支援システム、１０…作業支援サーバ、２０…遠隔操作装置、３０，３０ａ，３０ｂ…設備カメラ、４０，４０ａ，４０ｂ…作業機械、１０２…データベース、１２１…第１支援処理要素、１２２…第２支援処理要素、１２３…サーバ無線通信機器、２００…遠隔制御装置、２１０…遠隔入力インターフェース、２２０…遠隔出力インターフェース、２２１…画像出力装置、２２２…遠隔無線通信機器、３００…撮像装置、３１０…カメラ無線通信機器、４００…実機制御装置、４１０…実機入力インターフェース、４１２…実機撮像装置、４２０…実機出力インターフェース、４２５…キャブ、４２７…下部走行体、４３０…旋回機構、４３５…上部旋回体、４４０…作動機構（作業アタッチメント）、４４５…バケット、４６０…測位装置、２１１０…走行レバー、２１１１…右側操作レバー、２１１２…左側操作レバー。

Claims (7)

  1. 表示装置を有する遠隔操作装置に対して行われる操作に応じて、複数の操作対象の作業機械が選択的に遠隔操作し得るように、前記操作対象の作業機械による作業を支援する作業支援サーバであって、
    前記遠隔操作装置の操作対象である前記作業機械の位置を認識する第１支援処理要素と、
    前記遠隔操作装置の操作対象が第１の前記作業機械から第２の前記作業機械に切替わる際に、前記第１の前記作業機械および前記第２の前記作業機械の各位置を同時に捉えた画像を前記表示装置に表示する第２支援処理要素と、
    を備えていることを特徴とする作業支援サーバ。
  2. 請求項１に記載の作業支援サーバにおいて、
    前記第１支援処理要素は、前記作業機械の位置する作業現場に配置された複数の設備カメラの位置と撮像方向を把握しており、当該設備カメラの位置および撮像方向と、前記第１の前記作業機械および前記第２の前記作業機械の各位置とから、当該各位置を同時に捉える前記設備カメラを選択し、
    前記第２支援処理要素は、前記第１支援処理要素により選択された前記設備カメラが撮像した撮像画像を前記表示装置に表示する設備カメラ表示処理を行うことを特徴とする作業支援サーバ。
  3. 請求項２に記載の作業支援サーバにおいて、
    前記第１支援処理要素により認識された前記第１の前記作業機械および前記第２の前記作業機械の各位置に基づいて、前記設備カメラが当該各位置を俯瞰する俯瞰画像を撮像し、
    前記第２支援処理要素は、撮像された前記俯瞰画像を前記表示装置に表示する俯瞰画像表示処理を行うことを特徴とする作業支援サーバ。
  4. 請求項１に記載の作業支援サーバにおいて、
    前記第１支援処理要素により、前記作業機械の位置する作業現場に配置された設備カメラの位置と撮像方向を把握させ、当該設備カメラの位置および当該撮像方向と、前記第１の前記作業機械および前記第２の前記作業機械の各位置とから当該各位置を同時に捉える前記設備カメラを選択させ、前記第２支援処理要素により、前記第１支援処理要素により選択された設備カメラが撮像した撮像画像を前記表示装置に表示させる設備カメラ表示処理と、
    前記第１支援処理要素により、前記第１の前記作業機械および前記第２の前記作業機械の各位置に基づいて、当該各位置を同時に捉える俯瞰画像を選択させ、前記第２支援処理要素により、前記第１支援処理要素により選択された俯瞰画像を前記表示装置に表示させる俯瞰画像表示処理と、
    を実行可能であり、
    前記第２支援処理要素は、前記設備カメラ表示処理を行うことができない場合、または前記設備カメラ表示処理を行わない設定と判断された場合に、前記俯瞰画像表示処理を行うことを特徴とする作業支援サーバ。
  5. 請求項４に記載の作業支援サーバにおいて、
    前記第１支援処理要素は、前記第１支援処理要素は、前記第１の前記作業機械が位置する作業現場に配置された何れの設備カメラでも前記第１の前記作業機械および前記第２の前記作業機械の各位置を捉えられない場合に、前記設備カメラ表示処理が行えないと判断することを特徴とする作業支援サーバ。
  6. 請求項１〜５の何れか１項に記載の作業支援サーバにおいて、
    前記第１支援処理要素は、前記表示装置に表示された前記各位置を同時に捉えた画像を、前記第１の前記作業機械をズームアップした状態、前記第１の前記作業機械をズームアウトして前記第２の前記作業機械も映り込む状態、前記第２の前記作業機械をズームアップした状態、の順に遷移させる遷移画像表示処理を行うことを特徴とする作業支援サーバ。
  7. 表示装置を有する遠隔操作装置に対して行われる操作に応じて、複数の操作対象の作業機械が選択的に遠隔操作し得るように、前記操作対象の作業機械による作業を支援する作業支援方法であって、
    前記遠隔操作装置の操作対象である前記作業機械の位置を認識する第１のステップと、
    前記遠隔操作装置の操作対象が第１の前記作業機械から第２の前記作業機械に切替わる際に、前記第１の前記作業機械および前記第２の前記作業機械の各位置を同時に捉えた画像を前記表示装置に表示する第２のステップと、
    を備えていることを特徴とする作業支援方法。
JP2020036585A 2020-03-04 2020-03-04 作業支援サーバ、作業支援方法 Active JP7338514B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020036585A JP7338514B2 (ja) 2020-03-04 2020-03-04 作業支援サーバ、作業支援方法
EP21765216.3A EP4070999A4 (en) 2020-03-04 2021-01-25 SERVER AND WORK SUPPORT METHOD
CN202180018166.4A CN115210434A (zh) 2020-03-04 2021-01-25 作业辅助服务器、作业辅助方法
PCT/JP2021/002434 WO2021176883A1 (ja) 2020-03-04 2021-01-25 作業支援サーバ、作業支援方法
US17/791,251 US20230033706A1 (en) 2020-03-04 2021-01-25 Work support server and work support method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020036585A JP7338514B2 (ja) 2020-03-04 2020-03-04 作業支援サーバ、作業支援方法

Publications (2)

Publication Number Publication Date
JP2021139144A true JP2021139144A (ja) 2021-09-16
JP7338514B2 JP7338514B2 (ja) 2023-09-05

Family

ID=77613628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020036585A Active JP7338514B2 (ja) 2020-03-04 2020-03-04 作業支援サーバ、作業支援方法

Country Status (5)

Country Link
US (1) US20230033706A1 (ja)
EP (1) EP4070999A4 (ja)
JP (1) JP7338514B2 (ja)
CN (1) CN115210434A (ja)
WO (1) WO2021176883A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021143541A (ja) * 2020-03-13 2021-09-24 コベルコ建機株式会社 作業支援サーバ、作業支援方法
WO2023132321A1 (ja) * 2022-01-06 2023-07-13 住友重機械工業株式会社 周辺監視システム、作業機械

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09244745A (ja) * 1996-03-05 1997-09-19 Cap Top Eng:Kk 無人車両制御方法および装置
JP2019195169A (ja) * 2019-04-29 2019-11-07 株式会社センシンロボティクス 飛行体の制御に関する情報表示方法
JP2019215672A (ja) * 2018-06-12 2019-12-19 コベルコ建機株式会社 施工管理システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100534534B1 (ko) * 2000-03-31 2005-12-07 히다치 겡키 가부시키 가이샤 건설기계의 관리방법과 시스템 및 연산처리장치
JP4759851B2 (ja) * 2000-07-13 2011-08-31 ソニー株式会社 伝送信号処理装置及び信号伝送方法
JP2003064725A (ja) * 2001-08-28 2003-03-05 Maeda Corp 無人化機械土工システム
US20070078791A1 (en) * 2005-09-30 2007-04-05 Caterpillar Inc. Asset management system
KR102023196B1 (ko) * 2012-01-27 2019-09-19 두산인프라코어 주식회사 건설기계의 조작안정성 향상장치
JP6236432B2 (ja) * 2013-03-08 2017-11-22 日立建機株式会社 作業機械の管理サーバ及び作業機械の管理方法
TWI588747B (zh) * 2014-01-14 2017-06-21 仁寶電腦工業股份有限公司 切換作業系統的方法及電子裝置
CN109563698B (zh) * 2017-03-29 2021-04-20 日立建机株式会社 作业机械
US10407877B2 (en) * 2017-05-17 2019-09-10 Caterpillar Inc. Method and system for controlling a machine operating at a worksite
JP7150447B2 (ja) * 2018-02-28 2022-10-11 株式会社小松製作所 情報提示装置および情報提示方法
JP7472578B2 (ja) * 2020-03-23 2024-04-23 コベルコ建機株式会社 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09244745A (ja) * 1996-03-05 1997-09-19 Cap Top Eng:Kk 無人車両制御方法および装置
JP2019215672A (ja) * 2018-06-12 2019-12-19 コベルコ建機株式会社 施工管理システム
JP2019195169A (ja) * 2019-04-29 2019-11-07 株式会社センシンロボティクス 飛行体の制御に関する情報表示方法

Also Published As

Publication number Publication date
US20230033706A1 (en) 2023-02-02
WO2021176883A1 (ja) 2021-09-10
CN115210434A (zh) 2022-10-18
JP7338514B2 (ja) 2023-09-05
EP4070999A1 (en) 2022-10-12
EP4070999A4 (en) 2023-05-24

Similar Documents

Publication Publication Date Title
EP2717570A1 (en) Device for monitoring area around working machine
WO2021176883A1 (ja) 作業支援サーバ、作業支援方法
JP6767241B2 (ja) 端末装置、制御装置、データ統合装置、作業車両、撮像システム、および撮像方法
WO2021124654A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
US20230073325A1 (en) Remote operation assistance server, remote operation assistance system, and remote operation assistance method
WO2021131161A1 (ja) 作業支援サーバ、撮像装置の選択方法
WO2021153187A1 (ja) 作業支援サーバおよび作業支援システム
WO2021106278A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
JP7238542B2 (ja) 解体システム
WO2021181916A1 (ja) 作業支援サーバ、作業支援方法
WO2021166475A1 (ja) 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
WO2021106279A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
WO2021106281A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
WO2023136070A1 (ja) 遠隔操作支援システムおよび遠隔操作支援方法
WO2021106280A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
WO2022070567A1 (ja) 遠隔操作支援装置及び遠隔操作支援システム
JP2023032997A (ja) 遠隔操作システム
CN114902311A (zh) 作业辅助服务器、作业辅助方法以及作业辅助系统
CN115118873A (zh) 拍摄功能控制系统及拍摄功能控制方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230807

R150 Certificate of patent or registration of utility model

Ref document number: 7338514

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150