JP2021086226A - 作業支援サーバおよび作業支援システム - Google Patents

作業支援サーバおよび作業支援システム Download PDF

Info

Publication number
JP2021086226A
JP2021086226A JP2019212619A JP2019212619A JP2021086226A JP 2021086226 A JP2021086226 A JP 2021086226A JP 2019212619 A JP2019212619 A JP 2019212619A JP 2019212619 A JP2019212619 A JP 2019212619A JP 2021086226 A JP2021086226 A JP 2021086226A
Authority
JP
Japan
Prior art keywords
target object
work
image
client
real space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019212619A
Other languages
English (en)
Other versions
JP7490948B2 (ja
Inventor
祐介 澤田
Yusuke Sawada
祐介 澤田
佐々木　均
Hitoshi Sasaki
均 佐々木
誠司 佐伯
Seiji Saeki
誠司 佐伯
山▲崎▼　洋一郎
Yoichiro Yamazaki
洋一郎 山▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Priority to JP2019212619A priority Critical patent/JP7490948B2/ja
Priority to PCT/JP2020/030682 priority patent/WO2021106280A1/ja
Priority to US17/776,324 priority patent/US20220398512A1/en
Priority to CN202080080788.5A priority patent/CN114731388A/zh
Priority to EP20894545.1A priority patent/EP4044591A4/en
Publication of JP2021086226A publication Critical patent/JP2021086226A/ja
Application granted granted Critical
Publication of JP7490948B2 publication Critical patent/JP7490948B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2054—Fleet management
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Mining & Mineral Resources (AREA)
  • Multimedia (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Manipulator (AREA)
  • Selective Calling Equipment (AREA)

Abstract

【課題】作業エリアにおいて注意を要する物体に関する情報を、複数の作業関係者に共有させることができるサーバおよびシステムを提供する。【解決手段】第１クライアント（例えば、作業員端末６０）の撮像装置（例えば、撮像装置６１２）を通じて取得された撮像画像の一部である対象物体画像領域Ｒにおける対象物体の実空間における延在態様および対象物体関連情報を示す作業環境画像が、第２クライアント（例えば、遠隔操作装置２０）の出力インターフェース（例えば、遠隔出力インターフェース２２０）に出力される。【選択図】図１

Description

本発明は、 複数の作業員のそれぞれに対して割り当てられた複数のクライアントとの通信により、前記複数の作業員の間の作業現場に関する情報の共有を支援するための作業支援サーバに関する。
プラント内を巡回点検中の作業従事者と、その作業現場外に待機している者との間で十分な精度で情報の共有化を図るための遠隔監視支援システム用端末装置が提案されている（例えば、特許文献１参照）。この端末装置は、現場の映像データを入力する映像入力手段と、ペンあるいはマウスタイプの入力操作選択手段と、新規の映像取得の有無を検出する検出手段と、外部とのデータ送受信を無線で行う通信制御手段と、所定のデータを入力する入力画面を表示する入出力画面表示手段と、を備えている。
特開２００５−２４２８３０号公報
しかし、複数の作業関係者が関与する作業エリアにおいて注意を要する物体に関する情報を、当該複数の作業関係者の間で共有できることが好ましい。
そこで、本発明は、作業エリアにおいて注意を要する物体に関する情報を、複数の作業関係者に共有させることができるサーバおよびシステムを提供することを目的とする。
本発明は、複数の作業員のそれぞれに対して割り当てられた複数のクライアントとの通信により、前記複数の作業員の間の作業現場に関する情報の共有を支援するための作業支援サーバに関する。
本発明の作業支援サーバは、前記複数のクライアントのうちの第１クライアントとの通信に基づき、撮像装置を通じて取得された撮像画像の一部である対象物体画像領域における対象物体の存在および当該対象物体に関する対象物体関連情報と、前記撮像装置の実空間位置および実空間姿勢と、を認識し、前記撮像装置の実空間位置および実空間姿勢に基づき、前記対象物体の実空間における延在態様を推定する第１支援処理要素と、前記複数のクライアントのうちの前記第２クライアントとの通信に基づき、前記第１支援処理要素により推定された前記対象物体の延在態様および対象物体関連情報を示す作業環境画像を、前記第２クライアントの出力インターフェースに出力させる第２支援処理要素と、を備えていることを特徴とする。
本発明の作業支援システムは、本発明の作業支援サーバと、前記複数のクライアントと、により構成されていることを特徴とする。
本発明の作業支援サーバおよび作業支援システム（以下、適宜「作業支援サーバ等」という。）によれば、第１クライアントの撮像装置を通じて取得された撮像画像の一部である対象物体画像領域における対象物体の実空間における延在態様および対象物体関連情報を示す作業環境画像が、第２クライアントの出力インターフェースに出力される。このため、例えば、各作業員がその周囲に対象物体の存在を認識した際、クライアントを第１クライアントとして用いて当該対象物体の撮像画像を迅速に取得することができる。そして、他の作業員がクライアントを第２クライアントとして用いてその出力インターフェースに出力された作業環境画像を通じて当該対象物体の実空間における延在態様および対象物体関連情報を迅速に認識することができる。さらに、例えば、共通の現場にいる複数の作業員のそれぞれがクライアントを第１クライアントとして用いることにより、さまざまな対象物体に関する情報量の豊富なマップを当該複数の作業員の間で共有することができる。これにより、例えば、作業員が作業機械を用いて作業する際に、対象物体の延在態様を意識しながら作業を円滑に遂行することができる。
本発明の作業支援サーバ等において、前記第１支援処理要素が、前記第１クライアントとの通信に基づき、前記第１クライアントの出力インターフェースに出力された撮像画像において、前記第１クライアントの入力インターフェースを通じて指定された対象物体画像領域における対象物体の延在態様および当該対象物体に関する対象物体関連情報を認識することが好ましい。
当該構成の作業支援サーバ等によれば、例えば、前記のように、各作業員がその周囲に対象物体の存在を認識した際、クライアントを第１クライアントとして用いて当該対象物体の撮像画像を迅速に取得することができる。さらに、各作業員が第１クライアントの出力インターフェースに出力された当該対象物体の撮像画像のうち対象物体が存在する一部の画像領域を、入力インターフェースを通じて対象物体画像領域として指定し、かつ、対象物体関連情報を入力することができる。このため、各作業員が気付いた対象物体の存在および対象物体関連情報を、他の作業員により高精度で伝えることができる。
本発明の作業支援サーバ等において、前記第１支援処理要素が、作業機械を遠隔操作するための、前記第１クライアントとしての遠隔操作装置との通信に基づき、前記作業機械に搭載されている撮像装置を通じて取得された撮像画像の一部である前記対象物体画像領域における前記対象物体の存在および当該対象物体に関する対象物体関連情報と、前記撮像装置の実空間位置および実空間姿勢と、を認識することが好ましい。
当該構成の作業支援サーバ等によれば、作業機械に搭載されている撮像装置を通じて取得された撮像画像に基づき、当該作業機械の周辺における対象物体の延在態様および対象物体関連情報を複数の作業員で共有することができる。
本発明の一実施形態としての作業支援システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 作業支援システムの第１機能に関する説明図。 作業支援システムの第２機能に関する説明図。 撮像画像および対象物体画像領域に関する説明図。 第１環境画像に関する説明図。 作業環境画像に関する説明図。 第２環境画像に関する説明図。
（作業支援システムの構成）
図１に示されている本発明の一実施形態としての作業支援システムは、作業支援サーバ１０と、作業機械４０を遠隔操作するための遠隔操作装置２０と、作業員端末６０と、により構成されている。「複数のクライアント」は、一または複数の遠隔操作装置２０および一または複数の作業員端末６０により構成されていてもよく、複数の遠隔操作装置２０または複数の作業員端末６０により構成されていてもよい。作業支援サーバ１０と、遠隔操作装置２０と、作業機械４０と、作業員端末６０と、は相互にネットワーク通信可能に構成されている。
（作業支援サーバの構成）
作業支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、「撮像画像」、「撮像装置６１２の実空間位置および実空間姿勢」、「当該撮像画像における対象物体画像領域の延在態様」および「当該対象物体画像領域に存在する対象物体に関する対象物体関連情報」などを記憶保持する。データベース１０２は、作業支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。
（遠隔操作装置の構成）
一のクライアントを構成する遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２と、を備えている。
遠隔操作装置２０と連携するまたは相互通信機能を有する携帯端末により当該一のクライアントが構成されていてもよい。当該携帯端末は、後述する作業員端末６０と同様の構成を有している。
遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。
遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、遠隔オペレータＯＰ２が着座できる任意の形態でもよい。
シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図３に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１１が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１２が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
画像出力装置２２１は、例えば図２に示されているように、シートＳｔの右斜め前方、前方および左斜め前方のそれぞれに配置された右斜め前方画像出力装置２２１１、前方画像出力装置２２１２および左斜め前方画像出力装置２２１３により構成されている。当該画像出力装置２２１１〜２２１３は、スピーカ（音声出力装置）をさらに備えていてもよい。
（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１０と、実機出力インターフェース４２０と、作動機構４４０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
作業機械４０は、例えばクローラショベル（建設機械）であり、図２に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ（運転室）４２４が設けられている。上部旋回体２２０の前方中央部には作業アタッチメント４４０が設けられている。
実機入力インターフェース４１０は、実機操作機構４１１と、実機撮像装置４１２と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、キャブ４２４のフロントウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。
実機出力インターフェース４２０は、実機無線通信機器４２２を備えている。
作動機構としての作業アタッチメント４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業アタッチメント４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。
ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。
（作業員端末の構成）
他のクライアントを構成する作業員端末６０は、スマートホンまたはタブレット端末などの端末装置であり、制御装置６００と、入力インターフェース６１０と、出力インターフェース６２０と、を備えている。制御装置６００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
入力インターフェース６１０は、撮像装置６１２を備えている。入力インターフェース６１０は、タッチパネル方式のボタンおよびスイッチなどにより構成されている。出力インターフェース６２０は、画像出力装置６２１（および必要に応じて音声出力装置）と、無線通信機器６２２と、を備えている。
（機能）
（第１機能（作業環境画像の出力））
前記構成の作業支援システムの機能について図４および図５に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。図４には、作業員端末６０が「第１クライアント」を構成し、遠隔操作装置２０が「第２クライアント」を構成する場合のフローチャートが示されているが、これとは逆に、作業員端末６０が「第２クライアント」を構成し、遠隔操作装置２０が「第１クライアント」を構成していてもよい。
遠隔操作装置２０において、オペレータＯＰにより遠隔入力インターフェース２１０を通じた第１指定操作の有無が判定される（図４／ＳＴＥＰ２０２）。第１指定操作は、例えば、遠隔入力インターフェース２１０における所定箇所のタップなどの操作である。当該判定結果が肯定的である場合（図／ＳＴＥＰ２０２‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、作業支援サーバ１０に対して第１環境確認要求が送信される（図４／ＳＴＥＰ２０４）。
作業支援サーバ１０において、第１環境確認要求が受信された場合（図４／Ｃ１０）、第１支援処理要素１２１により、作業現場の大局的な様子を表わす第１環境画像データが当該遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１０２）。
遠隔操作装置２０において、遠隔無線通信機器２２２を通じて第１環境画像データが受信された場合（図４／Ｃ２０）、第１環境画像データに応じた第１環境画像が画像出力装置２２１に出力される（図５／ＳＴＥＰ２１２）。これにより、例えば図７に示されているように、作業現場の大局的な様子を示す鳥瞰マップまたは鳥瞰撮像画像が出力インターフェース６２０を構成する画像出力装置２２１において出力される。鳥瞰マップにおける位置は緯度および経度により特定されうる。鳥瞰撮像画像には、第１の作業機械４０の所在を示す画像またはアイコンＱ１および第２の作業機械４０の所在を示す画像またはアイコンＱ２、ならびに、第１作業員の所在を示す画像ＯＰ１が含まれている。鳥瞰撮像画像は、例えば無人飛行機に搭載されている撮像装置または作業現場のポール等の構造物に設置されている撮像装置を通じて取得されてもよい。第１環境画像としての撮像画像の撮像箇所および画角のそれぞれは任意に変更されてもよい。鳥瞰マップは、鳥瞰撮像画像を基礎として生成されてもよい。
作業員端末６０において、第１作業員により入力インターフェース６１０を通じて、撮像操作があったことに応じて、撮像装置６１２を通じて撮像画像が取得される（図４／ＳＴＥＰ６０２）。また、当該撮像画像が出力インターフェース６２０を構成する画像出力装置６２１に出力される（図４／ＳＴＥＰ６０４）。これにより、例えば図６に示されているように、作業機械４０が通過した跡が窪地になっている作業現場の様子を示す撮像画像が画像出力装置６２１に出力される。遠隔操作装置２０が「第１クライアント」に該当する場合、作業機械４０に搭載されている実機撮像装置４１２を通じて取得された、当該作業機械４０の周囲の様子を示す撮像画像（第２環境画像）が、遠隔出力インターフェース２２０を構成する画像出力装置２２１において出力される（図９参照）。
制御装置６００により、撮像画像が取得された際の撮像装置６１２の実空間位置および実空間姿勢が測定される（図４／ＳＴＥＰ６０６）。撮像装置６１２の実空間位置（緯度および経度）はＧＰＳなどの測位センサの出力信号に基づいて測定される。撮像装置６１２の実空間姿勢は３軸方位センサまたは加速度センサの出力信号に基づいて測定される。
制御装置６００により、入力インターフェース６１０における操作を通じて、対象物体画像領域Ｒが指定されたか否かが判定される（図４／ＳＴＥＰ６０６）。例えば、作業員端末６０において、入力インターフェース６１０および出力インターフェース６２０の両方を構成するタッチパネルにおいて、第１作業員の指先またはペンの軌跡が認識されることにより、対象物体画像領域の延在態様または輪郭が認識されてもよい。これにより、例えば図６に示されているように、撮像画像において略台形状の対象物体画像領域Ｒが第１作業員により指定されうる。遠隔操作装置２０が「第１クライアント」に該当する場合、出力インターフェース６２０において出力されている、作業機械４０に搭載されている実機撮像装置４１２を通じて取得された撮像画像としての第２環境画像（図９参照）において、入力インターフェース６１０における操作を通じて対象物体画像領域Ｒの指定および対象物体関連情報の入力が可能である（図４／ＳＴＥＰ６０６参照）。
当該判定結果が肯定的である場合（図４／ＳＴＥＰ６０６‥ＹＥＳ）、制御装置６００により、入力インターフェース６１０における第１作業員の操作を通じて、対象物体関連情報が入力されたか否かが判定される（図４／ＳＴＥＰ６１２）。例えば、入力インターフェース６１０および出力インターフェース６２０の両方を構成するタッチ式キーボードにおいて、第１作業員の指先またはペンの接触態様が認識されることにより、対象物体関連情報が認識されてもよい。これにより、例えば「砂利」、「瓦礫」、「資材」、「砂地」、「穴」、「窪地」、「水たまり」または「岩」など、対象物体の種類または性質などを示す情報が対象物体関連情報として認識されうる。
当該判定結果が肯定的である場合（図４／ＳＴＥＰ６１２‥ＹＥＳ）、「撮像画像」、「撮像装置６１２の実空間位置および実空間姿勢」、「当該撮像画像における対象物体画像領域Ｒの延在態様」および「当該対象物体画像領域に存在する対象物体に関する対象物体関連情報」のそれぞれを表わすデータが、出力インターフェース６２０を構成する無線通信機器６２２により、作業支援サーバ１０に対して送信される（図４／ＳＴＥＰ６１６）。遠隔操作装置２０が「第１クライアント」に該当する場合、「撮像画像」、「実機撮像装置４１２の実空間位置および実空間姿勢」、「当該撮像画像における対象物体画像領域Ｒの延在態様」および「当該対象物体画像領域に存在する対象物体に関する対象物体関連情報」のそれぞれを表わすデータが、遠隔出力インターフェース２２０を構成する遠隔無線通信機器２２２により、作業支援サーバ１０に対して送信される。
作業支援サーバ１０において、「撮像画像データ」、「撮像装置６１２の実空間位置および実空間姿勢」、「対象物体画像領域Ｒの延在態様」および「対象物体関連情報」のそれぞれを表わすデータが受信された場合（図４／Ｃ１３）、第１支援処理要素１２１により、対象物体の実空間における延在態様が推定される（図４／ＳＴＥＰ１０８）。例えば、作業員が接している地面を基準とした撮像装置６１２の高さは、当該地面に立っているまたは座っている人間の標準的な腰部位置から頭部位置までの範囲の所定の高さにあると仮定される。また、当該地面と同じ高さの水平面（２次元空間）に対象物体が存在していると仮定される。すなわち、撮像画像において指定された対象物体画像領域Ｒが、撮像装置６１２の画角に応じた広がりをもって当該水平面に投影されたエリアに対象物体が２次元的に延在していると仮定される。
これらの仮定の上で、撮像画像座標系における対象物体画像領域Ｒの延在態様に加えて、撮像装置６１２の実空間位置および実空間姿勢、ならびに画角または焦点距離に基づき、対象物体の延在態様（緯度方向および経度方向のそれぞれへの広がり方）が推定される。対象物体が地面よりも高い位置にある構造物または地面よりも窪んでいる窪地などである場合、当該過程に基づく推定精度は低くなるが、対象物体の実空間における大まかな延在態様は把握可能である。
作業員端末６０に搭載されている測距センサ（または撮像装置６１２としての測距センサ）により測定された対象物体までの距離が画素値として割り当てられた撮像画像（または撮像画像としての距離画像）が、当該作業員端末６０から作業支援サーバ１０に対して送信されてもよい。この場合、撮像装置６１２の実空間位置を基準とする対象物体またはその表面の実空間における延在態様がより高精度で推定されうる。
続いて、第２支援処理要素１２２により、第１環境画像を基礎として、第１支援処理要素１２１による対象物体の実空間における延在態様の推定結果および対象物体関連情報を示す作業環境画像が生成される（図４／ＳＴＥＰ１１０）。その上で、第２支援処理要素１２２により、作業環境画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１２）。
遠隔操作装置２０において、遠隔出力インターフェース２２０を構成する遠隔無線通信機器２２２により作業環境画像データが受信された場合（図４／Ｃ２１）、遠隔出力インターフェース６２０を構成する画像出力装置６２１において作業環境画像が出力される（図４／ＳＴＥＰ２０８）。これにより、例えば図８に示されているように、第１作業環境画像（図７参照）において、対象物体の実空間における対象物体Ｒの延在態様を表わす画像および当該対象物体Ｒに関連する「窪地あり」という対象物体関連情報が出力インターフェース６２０を構成する画像出力装置に出力される。
作業員端末６０において、制御装置６００により、入力インターフェース６１０における第１作業員の操作を通じて、対象物体関連情報が入力されていないと判定された場合（図４／ＳＴＥＰ６１２‥ＮＯ）、「撮像画像」、「撮像装置６１２の実空間位置および実空間姿勢」および「当該撮像画像における対象物体画像領域Ｒの延在態様」のそれぞれを表わすデータが、出力インターフェース６２０を構成する無線通信機器６２２により、作業支援サーバ１０に対して送信される（図４／ＳＴＥＰ６１４）。
作業支援サーバ１０において、「撮像画像データ」、「撮像装置６１２の実空間位置および実空間姿勢」および「対象物体画像領域Ｒの延在態様」のそれぞれを表わすデータが受信された場合（図４／Ｃ１２）、第１支援処理要素１２１により、対象物体関連情報が認識可能であるか否かが判定される（図４／ＳＴＥＰ１０６）。例えば、対象物体画像領域Ｒのテクスチャ解析処理によって、当該対象物体画像領域Ｒに存在する物体の種類または性質が対象物体関連情報として認識されうる。当該判定結果が肯定的である場合（図４／ＳＴＥＰ１０６‥ＹＥＳ）、前述の対象物体の実空間における延在態様の推定（図４／ＳＴＥＰ１０８）以降の処理が実行される。当該判定結果が否定的である場合（図４／ＳＴＥＰ１０６‥ＮＯ）、作業環境画像データが遠隔操作装置２０に対して送信されることなく、ひいては作業環境画像（図８参照）が遠隔操作装置２０において出力されることなく、図４に示された一連の処理が終了する。
作業員端末６０において、制御装置６００により、入力インターフェース６１０における第１作業員の操作を通じて、対象物体画像領域Ｒが指定されていないと判定された場合（図４／ＳＴＥＰ６０６‥ＮＯ）、「撮像画像」および「撮像装置６１２の実空間位置および実空間姿勢」のそれぞれを表わすデータが、出力インターフェース６２０を構成する無線通信機器６２２により、作業支援サーバ１０に対して送信される（図４／ＳＴＥＰ６１０）。
作業支援サーバ１０において、「撮像画像データ」および「撮像装置６１２の実空間位置および実空間姿勢」のそれぞれを表わすデータが受信された場合（図４／Ｃ１１）、第１支援処理要素１２１により、対象物体画像領域が認識可能であるか否かが判定される（図４／ＳＴＥＰ１０４）。例えば、撮像画像を対象とするパターンマッチング等の画像解析処理によって、当該撮像画像の一部が対象物体画像領域として認識されうる。当該判定結果が肯定的である場合（図４／ＳＴＥＰ１０４‥ＹＥＳ）、前述の対象物体関連情報の認識可否判定（図４／ＳＴＥＰ１０６）以降の処理が実行される。当該判定結果が否定的である場合（図４／ＳＴＥＰ１０４‥ＮＯ）、作業環境画像データが遠隔操作装置２０に対して送信されることなく、ひいては作業環境画像（図８参照）が遠隔操作装置２０において出力されることなく、図４に示された一連の処理が終了する。
（第２機能（作業機械の遠隔操作））
遠隔操作装置２０において、オペレータＯＰにより遠隔入力インターフェース２１０を通じた第２指定操作の有無が判定される（図５／ＳＴＥＰ２２０）。「第２指定操作」は、例えば、作業環境画像（図７参照）において、作業員が遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０における画像Ｑ１またはＱ２のタップなどの操作である。第２指定操作は第１指定操作と異なる態様の操作であってもよく、同一の態様の操作であってもよい。当該判定結果が否定的である場合（図５／ＳＴＥＰ２２０‥ＮＯ）、一連の処理が終了する。その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ２２０‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、作業支援サーバ１０に対して第２環境確認要求が送信される（図４／ＳＴＥＰ２２２）。
作業支援サーバ１０において、第２環境確認要求が受信された場合、第１支援処理要素１２１により当該第２環境確認要求が該当する作業機械４０に対して送信される（図５／Ｃ１４）。
作業機械４０において、実機無線通信機器４２２を通じて環境確認要求が受信された場合（図５／Ｃ４１）、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を取得する（図５／ＳＴＥＰ４０２）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置１０に対して送信される（図５／ＳＴＥＰ４０４）。
作業支援サーバ１０において、撮像画像データが受信された場合（図５／Ｃ１５）、撮像画像データに応じた第２環境画像データ（撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な環境画像を表わすデータ）が遠隔操作装置２０に対して送信される（図５／ＳＴＥＰ１１２）。
遠隔操作装置２０において、遠隔無線通信機器２２２を通じて第２環境画像データが受信された場合（図５／Ｃ２２）、第２環境画像データに応じた第２環境画像が画像出力装置２２１に出力される（図５／ＳＴＥＰ２２４）。これにより、例えば図９に示されているように、作動機構としての作業アタッチメント４４０の一部であるブーム４４１、アーム４４３、バケット４４５およびアームシリンダ４４４が含まれている環境画像が画像出力装置２２１および第２画像出力装置２２１のそれぞれに表示される。
遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図５／ＳＴＥＰ２２６）、かつ、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令が作業支援サーバ１０に対して送信される（図５／ＳＴＥＰ２２８）。
作業支援サーバ１０において、当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図５／Ｃ１６）。
作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図５／Ｃ４２）、作業アタッチメント４４０等の動作が制御される（図５／ＳＴＥＰ４０６）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される。
（効果）
当該構成の作業支援システムおよびこれを構成する作業支援サーバ１０によれば、第１クライアント（例えば、作業員端末６０）の撮像装置（例えば、撮像装置６１２）を通じて取得された撮像画像の一部である対象物体画像領域Ｒにおける対象物体の実空間における延在態様および対象物体関連情報を示す作業環境画像が、第２クライアント（例えば、遠隔操作装置２０）の出力インターフェース（例えば、遠隔出力インターフェース２２０）に出力される（図４／ＳＴＥＰ６０２‥ＹＥＳ→‥ＳＴＥＰ６１０、ＳＴＥＰ６１４、ＳＴＥＰ６１６→‥→ＳＴＥＰ１１２→ＳＴＥＰ２０８、図８参照）。
このため、例えば、各作業員がその周囲に対象物体の存在を認識した際、クライアントを第１クライアントとして用いて当該対象物体の撮像画像を迅速に取得することができる（図４／ＳＴＥＰ６０２および図６参照）。そして、他の作業員がクライアントを第２クライアントとして用いてその出力インターフェースに出力された作業環境画像を通じて当該対象物体の実空間における延在態様および対象物体関連情報を迅速に認識することができる（図４／ＳＴＥＰ２０８および図８参照）。さらに、例えば、共通の現場にいる複数の作業員のそれぞれがクライアントを第１クライアントとして用いることにより、さまざまな対象物体に関する情報量の豊富なマップを当該複数の作業員の間で共有することができる。これにより、例えば、作業員が作業機械を用いて作業する際に、対象物体の延在態様を意識しながら作業を円滑に遂行することができる。
（本発明の他の実施形態）
前記実施形態では、作業支援サーバ１０が、遠隔操作装置２０、作業機械４０および作業員端末６０のそれぞれとは別個の一または複数のサーバにより構成されていたが（図１参照）、他の実施形態として、作業支援サーバ１０が、遠隔操作装置２０、作業機械４０または作業員端末６０の構成要素であってもよい。作業支援サーバ１０の各構成要素１１０、１２１および１２２のそれぞれが、遠隔操作装置２０、作業機械４０および作業員端末６０のうちの相互通信可能な２つ以上のそれぞれの構成要素であってもよい。
前記実施形態では、第１クライアント（例えば、作業員端末６０または遠隔操作装置２０）において、対象物体画像領域Ｒの指定および対象物体関連情報の入力が可能とされていたが、他の実施形態として、第１クライアントにおいて、対象物体画像領域Ｒの指定および対象物体関連情報の入力がないことが前提とされ、撮像装置を通じて取得された撮像画像が当該撮像装置の実空間位置および実空間姿勢を表わすデータとともに作業支援サーバ１０に対して送信されてもよい（図４／ＳＴＥＰ６１０参照）。
また、第１クライアントにおいて、対象物体関連情報の入力がないことが前提とされ、撮像装置を通じて取得された撮像画像が、対象物体画像領域Ｒならびに当該撮像装置の実空間位置および実空間姿勢を表わすデータとともに作業支援サーバ１０に対して送信されてもよい（図４／ＳＴＥＰ６１４参照）。さらに、第１クライアントにおいて、対象物体画像領域Ｒの指定がないことが前提とされ、撮像装置を通じて取得された撮像画像が、対象物体関連情報ならびに当該撮像装置の実空間位置および実空間姿勢を表わすデータとともに作業支援サーバ１０に対して送信されてもよい。
１０‥作業支援サーバ、２０‥遠隔操作装置、４０‥作業機械、６０‥作業員端末、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、２１０‥遠隔入力インターフェース、２２０‥遠隔出力インターフェース、４１０‥実機入力インターフェース、４１２‥実機撮像装置、４２０‥実機出力インターフェース、４４０‥作業アタッチメント（作動機構）、６１０‥入力インターフェース、６１２‥撮像装置、６２０‥出力インターフェース。

Claims (4)

  1. 複数の作業員のそれぞれに対して割り当てられた複数のクライアントとの通信により、前記複数の作業員の間の作業現場に関する情報の共有を支援するための作業支援サーバであって、
    前記複数のクライアントのうちの第１クライアントとの通信に基づき、撮像装置を通じて取得された撮像画像の一部である対象物体画像領域における対象物体の存在および当該対象物体に関する対象物体関連情報と、前記撮像装置の実空間位置および実空間姿勢と、を認識し、前記撮像装置の実空間位置および実空間姿勢に基づき、前記対象物体の実空間における延在態様を推定する第１支援処理要素と、
    前記複数のクライアントのうちの前記第２クライアントとの通信に基づき、前記第１支援処理要素により推定された前記対象物体の延在態様および対象物体関連情報を示す作業環境画像を、前記第２クライアントの出力インターフェースに出力させる第２支援処理要素と、を備えていることを特徴とする作業支援サーバ。
  2. 請求項１記載の作業支援サーバにおいて、
    前記第１支援処理要素が、前記第１クライアントとの通信に基づき、前記第１クライアントの出力インターフェースに出力された撮像画像において、前記第１クライアントの入力インターフェースを通じて指定された対象物体画像領域における対象物体の延在態様および当該対象物体に関する対象物体関連情報を認識することを特徴とする作業支援サーバ。
  3. 請求項１または２に記載の作業支援サーバにおいて、
    前記第１支援処理要素が、作業機械を遠隔操作するための、前記第１クライアントとしての遠隔操作装置との通信に基づき、前記作業機械に搭載されている撮像装置を通じて取得された撮像画像の一部である前記対象物体画像領域における前記対象物体の存在および当該対象物体に関する対象物体関連情報と、前記撮像装置の実空間位置および実空間姿勢と、を認識することを特徴とする作業支援サーバ。
  4. 請求項１〜３のうちいずれか１項に記載の作業支援サーバと、前記複数のクライアントと、により構成されていることを特徴とする作業支援システム。
JP2019212619A 2019-11-25 2019-11-25 作業支援サーバおよび作業支援システム Active JP7490948B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019212619A JP7490948B2 (ja) 2019-11-25 2019-11-25 作業支援サーバおよび作業支援システム
PCT/JP2020/030682 WO2021106280A1 (ja) 2019-11-25 2020-08-12 作業支援サーバ、作業支援方法および作業支援システム
US17/776,324 US20220398512A1 (en) 2019-11-25 2020-08-12 Work assist server, work assist method, and work assist system
CN202080080788.5A CN114731388A (zh) 2019-11-25 2020-08-12 作业支援服务器、作业支援方法以及作业支援系统
EP20894545.1A EP4044591A4 (en) 2019-11-25 2020-08-12 WORK SUPPORT SERVER, WORK SUPPORT METHOD, AND WORK SUPPORT SYSTEM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019212619A JP7490948B2 (ja) 2019-11-25 2019-11-25 作業支援サーバおよび作業支援システム

Publications (2)

Publication Number Publication Date
JP2021086226A true JP2021086226A (ja) 2021-06-03
JP7490948B2 JP7490948B2 (ja) 2024-05-28

Family

ID=76087663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019212619A Active JP7490948B2 (ja) 2019-11-25 2019-11-25 作業支援サーバおよび作業支援システム

Country Status (5)

Country Link
US (1) US20220398512A1 (ja)
EP (1) EP4044591A4 (ja)
JP (1) JP7490948B2 (ja)
CN (1) CN114731388A (ja)
WO (1) WO2021106280A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019029889A (ja) * 2017-08-01 2019-02-21 株式会社リアルグローブ 映像配信システム
WO2019139102A1 (ja) * 2018-01-10 2019-07-18 住友建機株式会社 ショベル及びショベルの管理システム
JP2019148926A (ja) * 2018-02-26 2019-09-05 株式会社リコー 情報処理装置、移動体システム、撮像システム及び情報処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242830A (ja) 2004-02-27 2005-09-08 Toshiba Corp 遠隔監視支援システムおよび遠隔監視支援システム用携帯端末装置
JP6938389B2 (ja) * 2016-01-29 2021-09-22 住友建機株式会社 ショベル及びショベルの周囲を飛行する自律式飛行体
CN107343381A (zh) * 2016-03-01 2017-11-10 株式会社小松制作所 评价装置以及评价方法
JP6807781B2 (ja) * 2017-03-13 2021-01-06 株式会社小松製作所 表示システム、表示方法、及び遠隔操作システム
KR102627093B1 (ko) * 2017-12-04 2024-01-18 스미도모쥬기가이고교 가부시키가이샤 주변감시장치
EP3763885A4 (en) * 2018-03-08 2021-10-27 Sumitomo Heavy Industries, Ltd. WORKING MACHINE, INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHODS AND PROGRAM
US11402823B2 (en) * 2019-11-15 2022-08-02 Caterpillar Inc. System for validating worksites

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019029889A (ja) * 2017-08-01 2019-02-21 株式会社リアルグローブ 映像配信システム
WO2019139102A1 (ja) * 2018-01-10 2019-07-18 住友建機株式会社 ショベル及びショベルの管理システム
JP2019148926A (ja) * 2018-02-26 2019-09-05 株式会社リコー 情報処理装置、移動体システム、撮像システム及び情報処理方法

Also Published As

Publication number Publication date
JP7490948B2 (ja) 2024-05-28
CN114731388A (zh) 2022-07-08
EP4044591A1 (en) 2022-08-17
WO2021106280A1 (ja) 2021-06-03
US20220398512A1 (en) 2022-12-15
EP4044591A4 (en) 2022-11-09

Similar Documents

Publication Publication Date Title
WO2021124654A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
US11732440B2 (en) Remote operation system and remote operation server
WO2021153187A1 (ja) 作業支援サーバおよび作業支援システム
EP4130400A1 (en) Remote operation assistance device and remote operation assistance method
WO2021106280A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
WO2021106278A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
WO2021106281A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
WO2023136070A1 (ja) 遠隔操作支援システムおよび遠隔操作支援方法
WO2023100533A1 (ja) 画像表示システム、遠隔操作支援システムおよび画像表示方法
JP7444094B2 (ja) 遠隔操作支援システムおよび遠隔操作支援方法
WO2023189216A1 (ja) 作業支援システム
JP7508815B2 (ja) 作業支援サーバ、作業支援方法
WO2021166475A1 (ja) 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
WO2023026568A1 (ja) 遠隔操作システムおよび遠隔操作複合システム
JP2024057362A (ja) 作業支援システム、遠隔操作支援システム、作業支援方法および表示装置
JP2021157359A (ja) 情報処理装置、作業機械、情報処理装置の制御方法及び制御プログラム
JP2021143541A (ja) 作業支援サーバ、作業支援方法
JP2023032997A (ja) 遠隔操作システム
CN118318080A (en) Image display system, remote operation support system, and image display method
JP2023006464A (ja) 情報処理装置、情報処理装置の制御プログラム
CN117043732A (zh) 远程操作支援服务器及远程操作支援系统
JP2021086225A (ja) 作業支援サーバおよび作業支援システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240429

R150 Certificate of patent or registration of utility model

Ref document number: 7490948

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150