JP2023150920A - 支援装置、作業機械、プログラム - Google Patents

支援装置、作業機械、プログラム Download PDF

Info

Publication number
JP2023150920A
JP2023150920A JP2022060273A JP2022060273A JP2023150920A JP 2023150920 A JP2023150920 A JP 2023150920A JP 2022060273 A JP2022060273 A JP 2022060273A JP 2022060273 A JP2022060273 A JP 2022060273A JP 2023150920 A JP2023150920 A JP 2023150920A
Authority
JP
Japan
Prior art keywords
work
unit
shovel
target
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022060273A
Other languages
English (en)
Inventor
竜次 續木
Ryuji Tsuzuki
大稀 安達
Daiki Adachi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Priority to JP2022060273A priority Critical patent/JP2023150920A/ja
Priority to PCT/JP2023/013195 priority patent/WO2023190877A1/ja
Publication of JP2023150920A publication Critical patent/JP2023150920A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

【課題】作業機械の作業部位の軌道をより容易に生成することが可能な技術を提供する。【解決手段】本開示の一実施形態に係る支援装置150は、ショベル100の周辺の施工対象の地形形状に関するデータを取得する作業対象形状取得部302Bと、作業対象形状取得部302Bにより取得されるデータに基づき、ショベル100の周辺の地形形状を表す画像を表示する表示装置50Aと、ユーザからの入力に応じて、ショベル100の周辺の地形形状におけるショベル100の動作時の目標となる点を設定する条件設定部302Dと、作業対象形状取得部302Bにより取得されるデータ、及び条件設定部302Dにより設定される点に基づき、ショベル100のバケット6の軌道を生成する軌道生成部302Eと、を備える。【選択図】図6

Description

本開示は、作業機械の支援装置等に関する。
例えば、ティーチングポイントを設定し、そのティーチングポイントに基づき作業機械の作業部位の軌道を生成する技術が開示されている(特許文献1参照)。
特開2021-50576号公報
しかしながら、例えば、特許文献1では、実施にショベルを操作し作業機械を動作させることによってティーチングポイントを設定する必要があり、その結果、作業部位の目標軌道の生成に多くの時間や手間が必要になる可能性がある。
そこで、上記課題に鑑み、作業機械の作業部位の軌道をより容易に生成することが可能な技術を提供することを目的とする。
上記目的を達成するため、本開示の一実施形態では、
作業機械の周辺の作業対象の形状に関するデータを取得する取得部と、
前記取得部により取得されるデータに基づき、前記作業対象の形状を表す画像を表示する表示部と、
前記作業対象の形状における前記作業機械の動作時の目標となる点を設定する設定部と、
前記取得部により取得されるデータ、前記作業対象の目標形状、及び前記設定部により設定される点に基づき、前記作業機械の作業部位の軌道を生成する生成部と、を備える、
支援装置が提供される。
また、本開示の他の実施形態では、
上述の支援装置を備える、
作業機械が提供される。
また、本開示の更に他の実施形態では、
支援装置に、
作業機械の周辺の作業対象の形状に関するデータを取得する取得ステップと、
前記取得ステップで取得されるデータに基づき、前記作業対象の形状を表す画像を表示部に表示させる表示ステップと、
前記作業対象の形状における前記作業機械の動作時の目標となる点を設定する設定ステップと、
前記取得ステップで取得されるデータ、前記作業対象の目標形状、及び前記設定ステップで設定される点に基づき、前記作業機械の作業部位の軌道を生成する生成ステップと、を実行させる、
プログラムが提供される。
上述の実施形態によれば、作業機械の作業部位の軌道をより容易に生成することができる。
稼働支援システムの一例を示す図である。 ショベルの一例を示す上面図である。 ショベルの遠隔操作に関する構成の一例を示す図である。 ショベルのハードウェア構成の一例を示すブロック図である。 情報処理装置のハードウェア構成の一例を示す図である。 ショベルの作業部位の目標軌道の生成に関する機能構成の一例を示す機能ブロック図である。 ショベルの作業部位の目標軌道の生成に関する画面の一例を示す図である。 ショベルの作業部位の目標軌道の生成に関する画面の他の例を示す図である。 ショベルの作業部位の目標軌道の生成に関する画面の更に他の例を示す図である。 ショベルの作業部位の目標軌道の生成に関する処理の一例を概略的に示すフローチャートである。
以下、図面を参照して実施形態について説明する。
[稼働支援システムの概要]
まず、図1~図3を参照して、本実施形態に係る稼働支援システムSYSの概要について説明をする。
図1は、稼働支援システムSYSの一例を示す図である。図1において、ショベル100は、左側面図が示される。図2は、ショベル100の一例を示す上面図である。図3は、ショベルの遠隔操作に関する構成の一例を示す図である。以下、ショベル100の上面視でアタッチメントATが延び出す方向(図2の上方向)を"前"と規定して、ショベル100における方向、或いは、ショベル100から見た方向を説明する場合がある。
図1に示すように、稼働支援システムSYSは、ショベル100と、情報処理装置200とを含む。
稼働支援システムSYSは、情報処理装置200を用いて、ショベル100と連携し、ショベル100の稼働に関する支援を行う。
稼働支援システムSYSに含まれるショベル100は、1台であってもよいし、複数台であってもよい。
ショベル100は、稼働支援システムSYSにおいて、稼働に関する支援の対象の作業機械である。
図1、図2に示すように、ショベル100は、下部走行体1と、上部旋回体3と、ブーム4、アーム5、及び、バケット6を含むアタッチメントATと、キャビン10とを備える。
下部走行体1は、クローラ1Cを用いて、ショベル100を走行させる。クローラ1Cは、左側のクローラ1CL及び右側のクローラ1CRを含む。クローラ1CLは、走行油圧モータ1MLで油圧駆動される。同様に、クローラ1CLは、走行油圧モータ1MRで油圧駆動される。これにより、下部走行体1は、自走することができる。
上部旋回体3は、旋回機構2を介して下部走行体1に旋回可能に搭載される。例えば、上部旋回体3は、旋回油圧モータ2Mで旋回機構2が油圧駆動されることにより、下部走行体1に対して旋回する。
ブーム4は、左右方向に沿う回転軸を中心として俯仰可能なように、上部旋回体3の前部中央に取り付けられる。アーム5は、左右方向に沿う回転軸を中心として回転可能なように、ブーム4の先端に取り付けられる。バケット6は、左右方向に沿う回転軸を中心として回転可能なように、アーム5の先端に取り付けられる。
バケット6は、エンドアタッチメントの一例であり、例えば、掘削作業に用いられる。
バケット6は、ショベル100の作業内容に応じて、適宜交換可能な態様で、アーム5の先端に取り付けられている。つまり、アーム5の先端には、バケット6に代えて、バケット6とは異なる種類のバケット、例えば、相対的に大きい大型バケット、法面用バケット、浚渫用バケット等が取り付けられてもよい。また、アーム5の先端には、バケット以外の種類のエンドアタッチメント、例えば、攪拌機、ブレーカ、クラッシャー等が取り付けられてもよい。また、アーム5と、エンドアタッチメントとの間には、例えば、クイックカップリングやチルトローテータ等の予備アタッチメントが設けられてもよい。
ブーム4、アーム5、及び、バケット6は、それぞれ、ブームシリンダ7、アームシリンダ8、及び、バケットシリンダ9により油圧駆動される。
キャビン10は、オペレータが搭乗し、ショベル100を操作するための操縦室である。キャビン10は、例えば、上部旋回体3の前部左側に搭載される。
例えば、ショベル100は、キャビン10に搭乗するオペレータの操作に応じて、下部走行体1(即ち、左右の一対のクローラ1CL,1CR)、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素を動作させる。
また、ショベル100は、キャビン10に搭乗するオペレータによって操作可能に構成されるのに代えて、或いは、加えて、ショベル100の外部から遠隔操作(リモート操作)が可能に構成されてもよい。ショベル100が遠隔操作される場合、キャビン10の内部は、無人状態であってもよい。以下、オペレータの操作には、キャビン10のオペレータの操作装置26に対する操作、及び外部のオペレータの遠隔操作の少なくとも一方が含まれる前提で説明を進める。
例えば、図3に示すように、遠隔操作には、遠隔操作支援装置300で行われるショベル100のアクチュエータに関する操作入力によって、ショベル100が操作される態様が含まれる。
遠隔操作支援装置300は、例えば、ショベル100の作業を外部から管理する管理センタ等に設けられる。また、遠隔操作支援装置300は、可搬型の操作端末であってもよく、この場合、オペレータは、ショベル100の周辺からショベル100の作業状況を直接確認しながらショベル100の遠隔操作を行うことができる。
ショベル100は、例えば、後述の通信装置60を通じて、後述の撮像装置40が出力する撮像画像に基づくショベル100の前方を含む周辺の様子を表す画像(以下、「周辺画像」)を遠隔操作支援装置300に送信してよい。そして、遠隔操作支援装置300は、ショベル100から受信される画像(周辺画像)を表示装置に表示させてよい。また、ショベル100のキャビン10の内部の出力装置50(表示装置50A)に表示される各種の情報画像(情報画面)は、同様に、遠隔操作支援装置300の表示装置にも表示されてよい。これにより、遠隔操作支援装置300を利用するオペレータは、例えば、表示装置に表示されるショベル100の周辺の様子を表す画像や情報画面等の表示内容を確認しながら、ショベル100を遠隔操作することができる。そして、ショベル100は、通信装置60により遠隔操作支援装置300から受信される、遠隔操作の内容を表す遠隔操作信号に応じて、アクチュエータを動作させ、下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素を駆動してよい。
また、遠隔操作には、例えば、ショベル100の周囲の人(例えば、作業者)のショベル100に対する外部からの音声入力やジェスチャ入力等によって、ショベル100が操作される態様が含まれてよい。具体的には、ショベル100は、自機に搭載される音声入力装置(例えば、マイクロフォン)やジェスチャ入力装置(例えば、撮像装置)等を通じて、周囲の作業者等により発話される音声や作業者等により行われるジェスチャ等を認識する。そして、ショベル100は、認識した音声やジェスチャ等の内容に応じて、アクチュエータを動作させ、下部走行体1(左右のクローラ1C)、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素を駆動してもよい。
また、ショベル100の作業が遠隔監視されてもよい。この場合、遠隔操作支援装置300と同様の機能を有する遠隔監視支援装置が設けられてもよい。遠隔監視支援装置は、例えば、情報処理装置200である。これにより、遠隔監視支援装置のユーザである監視者は、遠隔監視支援装置の表示装置に表示される周辺画像を確認しながら、ショベル100の作業の状況を監視することができる。また、例えば、監視者は、安全性の観点から必要と判断した場合、遠隔監視支援装置の入力装置を用いて、所定の入力を行うことによって、ショベル100のオペレータによる操作に介入し緊急停止させることができる。
情報処理装置200は、ショベル100と通信を行うことにより相互に連携し、ショベル100の稼働に関する支援を行う。
情報処理装置200は、例えば、ショベル100の作業現場内の管理事務所、或いは、ショベル100の作業現場とは異なる場所にある、ショベル100の稼働状況等を管理する管理センタ等に設置されるサーバや管理用の端末装置である。管理用の端末装置は、例えば、デスクトップ型のPC(Personal Computer)等の定置型の端末装置であってもよいし、タブレット端末、スマートフォン、ラップトップ型のPC等の可搬型の端末装置(携帯端末)であってもよい。後者の場合、作業現場の作業者や作業を監督する監督者や作業現場を管理する管理者等は、可搬型の情報処理装置200を所持して作業現場内を移動することができる。また、後者の場合、オペレータは、例えば、可搬型の情報処理装置200をショベル100のキャビンに持ち込むことができる。
情報処理装置200は、例えば、ショベル100から稼働状態に関するデータを取得する。これにより、情報処理装置200は、ショベル100の稼働状態を把握し、ショベル100の異常の有無等を監視することができる。また、情報処理装置200は、後述の表示装置208を通じて、ショベル100の稼働状態に関するデータを表示し、ユーザに確認させることができる。
また、情報処理装置200は、例えば、ショベル100にコントローラ30等の処理で利用されるプログラムや参照データ等の各種データをショベル100に送信する。これにより、ショベル100は、情報処理装置200からダウンロードされる各種データを用いて、ショベル100の稼働に関する各種の処理を行うことができる。
[稼働支援システムのハードウェア構成]
次に、図1~図3に加えて、図4、図5を参照して、稼働支援システムSYSのハードウェア構成について説明する。
<ショベルのハードウェア構成>
図4は、ショベル100のハードウェア構成の一例を示すブロック図である。
尚、図4では、機械的動力が伝達される経路は二重線、油圧アクチュエータを駆動する高圧の作動油が流れる経路は実線、パイロット圧が伝達される経路は破線、電気信号が伝達される経路は点線でそれぞれ示される。
ショベル100は、被駆動要素の油圧駆動に関する油圧駆動系、被駆動要素の操作に関する操作系、ユーザとの情報のやり取りに関するユーザインタフェース系、外部との通信に関する通信系、及び各種制御に関する制御系等のそれぞれの構成要素を含む。
≪油圧駆動系≫
図4に示すように、ショベル100の油圧駆動系は、上述の如く、下部走行体1(左右のクローラ1C)、上部旋回体3、及びアタッチメントAT等の被駆動要素のそれぞれを油圧駆動する油圧アクチュエータHAを含む。また、本実施形態に係るショベル100の油圧駆動系は、エンジン11と、レギュレータ13と、メインポンプ14と、コントロールバルブ17とを含む。
油圧アクチュエータHAには、走行油圧モータ1ML,1MR、旋回油圧モータ2M、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9等が含まれる。
尚、ショベル100は、油圧アクチュエータHAの一部又は全部が電動アクチュエータに置換されてもよい。つまり、ショベル100は、ハイブリッドショベルや電動ショベルであってもよい。
エンジン11は、ショベル100の原動機であり、油圧駆動系におけるメイン動力源である。エンジン11は、例えば、軽油を燃料とするディーゼルエンジンである。エンジン11は、例えば、上部旋回体3の後部に搭載される。エンジン11は、後述するコントローラ30による直接或いは間接的な制御下で、予め設定される目標回転数で一定回転し、メインポンプ14及びパイロットポンプ15を駆動する。
尚、エンジン11に代えて、或いは、加えて、他の原動機(例えば、電動機)等がショベル100に搭載されてもよい。
レギュレータ13は、コントローラ30の制御下で、メインポンプ14の吐出量を制御(調節)する。例えば、レギュレータ13は、コントローラ30からの制御指令に応じて、メインポンプ14の斜板の角度(以下、「傾転角」)を調節する。
メインポンプ14は、高圧油圧ラインを通じてコントロールバルブ17に作動油を供給する。メインポンプ14は、例えば、エンジン11と同様、上部旋回体3の後部に搭載される。メインポンプ14は、上述の如く、エンジン11により駆動される。メインポンプ14は、例えば、可変容量式油圧ポンプであり、上述の如く、コントローラ30の制御下で、レギュレータ13により斜板の傾転角が調節されることによりピストンのストローク長が調整され、吐出流量や吐出圧が制御される。
コントロールバルブ17は、オペレータの操作装置26に対する操作や遠隔操作の内容、或いは、自動運転機能に対応する操作指令に応じて、油圧アクチュエータHAを駆動する。コントロールバルブ17は、例えば、上部旋回体3の中央部に搭載される。コントロールバルブ17は、上述の如く、高圧油圧ラインを介してメインポンプ14と接続され、メインポンプ14から供給される作動油を、オペレータの操作、或いは、自動運転機能に対応する操作指令に応じて、それぞれの油圧アクチュエータに選択的に供給する。具体的には、コントロールバルブ17は、メインポンプ14から油圧アクチュエータHAのそれぞれに供給される作動油の流量と流れる方向を制御する複数の制御弁(「方向切換弁」とも称する)を含む。
≪操作系≫
図4に示すように、ショベル100の操作系は、パイロットポンプ15と、操作装置26と、油圧制御弁31と、シャトル弁32と、油圧制御弁33とを含む。
パイロットポンプ15は、パイロットライン25を介して各種油圧機器にパイロット圧を供給する。パイロットポンプ15は、例えば、エンジン11と同様、上部旋回体3の後部に搭載される。パイロットポンプ15は、例えば、固定容量式油圧ポンプであり、上述の如く、エンジン11により駆動される。
尚、パイロットポンプ15は、省略されてもよい。この場合、メインポンプ14から吐出される相対的に高い圧力の作動油が所定の減圧弁により減圧された後の相対的に低い圧力の作動油がパイロット圧として各種油圧機器に供給されてよい。
操作装置26は、キャビン10の操縦席付近に設けられ、オペレータが各種被駆動要素の操作を行うために用いられる。具体的には、操作装置26は、オペレータがそれぞれの被駆動要素を駆動する油圧アクチュエータHAの操作を行うために用いられ、その結果として、油圧アクチュエータHAの駆動対象の被駆動要素のオペレータによる操作を実現することができる。操作装置26は、それぞれの被駆動要素(油圧アクチュエータHA)を操作するためのペダル装置やレバー装置を含む。
例えば、図4に示すように、操作装置26は、油圧パイロット式である。具体的には、操作装置26は、パイロットライン25及びそこから分岐するパイロットライン25Aを通じてパイロットポンプ15から供給される作動油を利用し、操作内容に応じたパイロット圧を二次側のパイロットライン27Aに出力する。パイロットライン27Aは、シャトル弁32の一方の入口ポートに接続され、シャトル弁32の出口ポートに接続されるパイロットライン27を介して、コントロールバルブ17に接続される。これにより、コントロールバルブ17には、シャトル弁32を介して、操作装置26における各種被駆動要素(油圧アクチュエータHA)に関する操作内容に応じたパイロット圧が入力されうる。そのため、コントロールバルブ17は、オペレータ等による操作装置26に対する操作内容に応じて、それぞれの油圧アクチュエータHAを駆動することができる。
また、操作装置26は、電気式であってもよい。この場合、パイロットライン27A、シャトル弁32、及び油圧制御弁33は省略される。具体的には、操作装置26は、操作内容に応じた電気信号(以下、「操作信号」)を出力し、操作信号は、コントローラ30に取り込まれる。そして、コントローラ30は、操作信号の内容に応じた制御指令、つまり、操作装置26に対する操作内容に応じた制御信号を油圧制御弁31に出力する。これにより、油圧制御弁31からコントロールバルブ17に操作装置26の操作内容に応じたパイロット圧が入力され、コントロールバルブ17は、操作装置26の操作内容に応じて、それぞれの油圧アクチュエータHAを駆動することができる。
また、コントロールバルブ17に内蔵される、それぞれの油圧アクチュエータHAを駆動する制御弁(方向切換弁)は、電磁ソレノイド式であってもよい。この場合、操作装置26から出力される操作信号がコントロールバルブ17に、即ち、電磁ソレノイド式の制御弁に直接入力されてもよい。
また、上述の如く、油圧アクチュエータHAの一部又は全部は電動アクチュエータに置換されてもよい。この場合、コントローラ30は、操作装置26の操作内容や遠隔操作信号で規定される遠隔操作の内容に応じた制御指令を電動アクチュエータ或いは電動アクチュエータを駆動するドライバ等に出力してよい。また、ショベル100が遠隔操作される場合、操作装置26は省略されてもよい。
油圧制御弁31は、操作装置26の操作対象の被駆動要素(油圧アクチュエータHA)ごと且つ被駆動要素(油圧アクチュエータHA)の駆動方向(例えば、ブーム4の上げ方向及び下げ方向)ごとに設けられる。つまり、複動式である油圧アクチュエータHAごとに、2つの油圧制御弁31が設けられる。油圧制御弁31は、例えば、パイロットポンプ15とコントロールバルブ17との間のパイロットライン25Bに設けられ、その流路面積(即ち、作動油が通流可能な断面積)を変更可能に構成されてよい。これにより、油圧制御弁31は、パイロットライン25Bを通じて供給されるパイロットポンプ15の作動油を利用して、所定のパイロット圧を二次側のパイロットライン27Bに出力することができる。そのため、油圧制御弁31は、パイロットライン27Bとパイロットライン27の間のシャトル弁32を通じて、間接的に、コントローラ30からの制御信号に応じた所定のパイロット圧をコントロールバルブ17に作用させることができる。よって、コントローラ30は、油圧制御弁31から自動運転機能に対応する操作指令に応じたパイロット圧をコントロールバルブ17に供給させ、自動運転機能によるショベル100の動作を実現することができる。
また、コントローラ30は、例えば、油圧制御弁31を制御し、ショベル100の遠隔操作を実現してもよい。具体的には、コントローラ30は、通信装置60によって、遠隔操作支援装置300から受信される遠隔操作信号で指定される遠隔操作の内容に対応する制御信号を油圧制御弁31に出力する。これにより、コントローラ30は、油圧制御弁31から遠隔操作の内容に対応するパイロット圧をコントロールバルブ17に供給させ、オペレータの遠隔操作に基づくショベル100の動作を実現することができる。
また、操作装置26が電気式の場合、コントローラ30は、油圧制御弁31から操作装置26の操作内容(操作信号)に応じたパイロット圧を直接的にコントロールバルブ17に供給させ、オペレータの操作に基づくショベル100の動作を実現することができる。
シャトル弁32は、2つの入口ポートと1つの出口ポートを有し、2つの入口ポートに入力されたパイロット圧のうちの高い方のパイロット圧を有する作動油を出口ポートに出力させる。シャトル弁32は、操作装置26の操作対象の被駆動要素(油圧アクチュエータHA)ごと且つ被駆動要素(油圧アクチュエータHA)の駆動方向ごとに設けられる。シャトル弁32の2つの入口ポートのうちの一方が操作装置26(具体的には、操作装置26に含まれる上述のレバー装置やペダル装置)の二次側のパイロットライン27Aに接続され、他方が油圧制御弁31の二次側のパイロットライン27Bに接続される。シャトル弁32の出口ポートは、パイロットライン27を通じて、コントロールバルブ17の対応する制御弁のパイロットポートに接続される。対応する制御弁とは、シャトル弁32の一方の入口ポートに接続される上述のレバー装置或いはペダル装置の操作対象である油圧アクチュエータを駆動する制御弁である。そのため、これらのシャトル弁32は、それぞれ、操作装置26の二次側のパイロットライン27Aのパイロット圧と油圧制御弁31の二次側のパイロットライン27Bのパイロット圧のうちの高い方を、対応する制御弁のパイロットポートに作用させることができる。つまり、コントローラ30は、操作装置26の二次側のパイロット圧よりも高いパイロット圧を油圧制御弁31から出力させることで、オペレータの操作装置26に対する操作に依らず、対応する制御弁を制御することができる。よって、コントローラ30は、オペレータの操作装置26に対する操作状態に依らず、被駆動要素(下部走行体1、上部旋回体3、アタッチメントAT)の動作を制御し、遠隔操作機能や自動運転機能を実現することができる。
油圧制御弁33は、操作装置26とシャトル弁32とを接続するパイロットライン27Aに設けられる。油圧制御弁33は、例えば、その流路面積を変更可能なように構成される。油圧制御弁33は、コントローラ30から入力される制御信号に応じて動作する。これにより、コントローラ30は、オペレータにより操作装置26が操作されている場合に、操作装置26から出力されるパイロット圧を強制的に減圧させることができる。そのため、コントローラ30は、操作装置26が操作されている場合であっても、操作装置26の操作に対応する油圧アクチュエータの動作を強制的に抑制させたり停止させたりすることができる。また、コントローラ30は、例えば、操作装置26が操作されている場合であっても、操作装置26から出力されるパイロット圧を減圧させ、油圧制御弁31から出力されるパイロット圧よりも低くすることができる。そのため、コントローラ30は、油圧制御弁31及び油圧制御弁33を制御することで、例えば、操作装置26の操作内容とは無関係に、所望のパイロット圧をコントロールバルブ17内の制御弁のパイロットポートに確実に作用させることができる。よって、コントローラ30は、例えば、油圧制御弁31に加えて、油圧制御弁33を制御することで、ショベル100の遠隔操作機能や自動運転機能をより適切に実現することができる。
≪ユーザインタフェース系≫
図4に示すように、ショベル100のユーザインタフェース系は、操作装置26と、出力装置50と、入力装置52とを含む。
出力装置50は、ショベル100のユーザ(例えば、キャビン10のオペレータや外部の遠隔操作のオペレータ)やショベル100の周辺の人(例えば、作業者や作業車両の運転者)等に向けて各種情報を出力する。
例えば、出力装置50は、視覚的な方法で各種情報を出力する照明機器や表示装置50A(図5参照)等を含む。照明機器は、例えば、警告灯(インジケータランプ)等である。表示装置50Aは、例えば、液晶ディスプレイや有機EL(Electroluminescence)ディスプレイ等である。例えば、図2に示すように、照明機器や表示装置50Aは、キャビン10の内部に設けられ、キャビン10の内部のオペレータ等に視覚的な方法で各種情報を出力してよい。また、照明機器や表示装置50Aは、例えば、上部旋回体3の側面等に設けられ、ショベル100の周囲の作業者等に視覚的な方法で各種情報を出力してもよい。
また、例えば、出力装置50は、聴覚的な方法で各種情報を出力する音出力装置を含む。音出力装置には、例えば、ブザーやスピーカ等が含まれる。音出力装置は、例えば、キャビン10の内部及び外部の少なくとも一方に設けられ、キャビン10の内部のオペレータやショベル100の周囲の人(作業者等)に聴覚的な方法で各種情報を出力してよい。
また、例えば、出力装置50は、操縦席の振動等の触覚的な方法で各種情報を出力する装置を含んでもよい。
入力装置52は、ショベル100のユーザからの各種入力を受け付け、受け付けられる入力に対応する信号は、コントローラ30に取り込まれる。入力装置52は、例えば、キャビン10の内部に設けられ、キャビン10の内部のオペレータ等からの入力を受け付ける。また、入力装置52は、例えば、上部旋回体3の側面等に設けられ、ショベル100の周辺の作業者等からの入力を受け付けてもよい。
例えば、入力装置52は、ユーザからの機械的な操作による入力を受け付ける操作入力装置を含む。操作入力装置には、表示装置に実装されるタッチパネル、表示装置の周囲に設置されるタッチパッド、ボタンスイッチ、レバー、トグル、操作装置26(レバー装置)に設けられるノブスイッチ等が含まれてよい。
また、例えば、入力装置52は、ユーザの音声入力を受け付ける音声入力装置を含んでもよい。音声入力装置には、例えば、マイクロフォンが含まれる。
また、例えば、入力装置52は、ユーザのジェスチャ入力を受け付けるジェスチャ入力装置を含んでもよい。ジェスチャ入力装置には、例えば、ユーザが行うジェスチャの様子を撮像する撮像装置が含まれる。
また、例えば、入力装置52は、ユーザの生体入力を受け付ける生体入力装置を含んでもよい。生体入力には、例えば、ユーザの指紋、虹彩等の生体情報の入力が含まれる。
≪通信系≫
図4に示すように、本実施形態に係るショベル100の通信系は、通信装置60を含む。
通信装置60は、外部の通信回線に接続し、ショベル100と別に設けられる装置と通信を行う。ショベル100と別に設けられる装置には、ショベル100の外部にある装置の他、ショベル100のユーザによってキャビン10に持ち込まれる可搬型の端末装置(携帯端末)が含まれてもよい。通信装置60は、例えば、4G(4th Generation)や5G(5th Generation)等の規格に準拠する移動体通信モジュールを含んでよい。また、通信装置60は、例えば、衛星通信モジュールを含んでもよい。また、通信装置60は、例えば、WiFi通信モジュールやブルートゥース(登録商標)通信モジュール等を含んでもよい。また、通信装置60は、接続対象の通信回線に合わせて、複数の通信装置を含んでもよい。
例えば、通信装置60は、作業現場に構築される局所的な通信回線を通じて、作業現場内の情報処理装置200や遠隔操作支援装置300等の外部装置と通信を行う。局所的な通信回線は、例えば、作業現場に構築される局所的な5G(いわゆるローカル5G)による移動体通信回線やWiFi6によるローカルネットワーク(LAN:Local Area Network)である。
また、例えば、通信装置60は、作業現場を含む広域の通信回線、即ち、広域ネットワーク(WAN:Wide Area Network)を通じて、作業現場の外部にある情報処理装置200や遠隔操作支援装置300等と通信を行う。広域ネットワークは、例えば、広域の移動体通信網や衛星通信網やインターネット網等を含む。
≪制御系≫
図4に示すように、ショベル100の制御系は、コントローラ30を含む。また、本実施形態に係るショベル100の制御系は、操作圧センサ29と、撮像装置40と、センサS1~S5とを含む。
コントローラ30は、ショベル100に関する各種制御を行う。
コントローラ30の機能は、任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。例えば、図4に示すように、コントローラ30は、バスB1で接続される、補助記憶装置30A、メモリ装置30B、CPU(Central Processing Unit)30C、及びインタフェース装置30Dを含む。
補助記憶装置30Aは、不揮発性の記憶手段であり、インストールされるプログラムを格納すると共に、必要なファイルやデータ等を格納する。補助記憶装置30Aは、例えば、EEPROM(Electrically Erasable Programmable Read-Only Memory)やフラッシュメモリ等である。
メモリ装置30Bは、例えば、プログラムの起動指示があった場合に、補助記憶装置30AのプログラムをCPU30Cが読み込み可能なようにロードする。メモリ装置30Bは、例えば、SRAM(Static Random Access Memory)である。
CPU30Cは、例えば、メモリ装置30Bにロードされるプログラムを実行し、プログラムの命令に従って、コントローラ30の各種機能を実現する。
インタフェース装置30Dは、例えば、ショベル100の内部の通信回線に接続するための通信インタフェースとして機能する。インタフェース装置30Dは、接続する通信回線の種類に合わせて、複数の異なる種類の通信インタフェースを含んでよい。
また、インタフェース装置30Dは、記録媒体からのデータの読み取りや記録媒体へのデータの書き込みのための外部インタフェースとして機能する。記録媒体は、例えば、キャビン10の内部に設置されるコネクタに着脱可能なケーブルで接続される専用ツールである。また、記録媒体は、例えば、SDメモリカードやUSB(Universal Serial Bus)メモリ等の汎用の記録媒体であってもよい。これにより、コントローラ30の各種機能を実現するプログラムは、例えば、可搬型の記録媒体によって提供され、コントローラ30の補助記憶装置30Aにインストールされうる。また、プログラムは、通信装置60を通じて、ショベル100の外部の他のコンピュータからダウンロードされ、補助記憶装置30Aにインストールされてもよい。
尚、コントローラ30の機能の一部は、他のコントローラ(制御装置)により実現されてもよい。即ち、コントローラ30の機能は、複数のコントローラにより分散して実現される態様であってもよい。
操作圧センサ29は、油圧パイロット式の操作装置26の二次側(パイロットライン27A)のパイロット圧、即ち、操作装置26におけるそれぞれの被駆動要素(油圧アクチュエータ)の操作状態に対応するパイロット圧を検出する。操作圧センサ29による操作装置26におけるそれぞれの被駆動要素(油圧アクチュエータHA)に関する操作状態に対応するパイロット圧の検出信号は、コントローラ30に取り込まれる。
尚、操作装置26が電気式である場合、操作圧センサ29は省略される。コントローラ30は、操作装置26から取り込まれる操作信号に基づき、操作装置26を通じたそれぞれの被駆動要素の操作状態を把握することができるからである。
撮像装置40は、ショベル100の周辺の画像を取得する。また、撮像装置40は、取得した画像及び後述の距離に関するデータに基づき、撮像範囲(画角)内におけるショベル100の周辺の物体の位置及び外形を表す三次元データ(以下、単に「物体の三次元データ」)を取得(生成)してもよい。ショベル100の周辺の物体の三次元データは、例えば、物体の表面を表す点群の座標情報のデータや距離画像データ等である。
例えば、図2に示すように、撮像装置40は、上部旋回体3の前方を撮像するカメラ40F、上部旋回体3の後方を撮像するカメラ40B、上部旋回体3の左方を撮像するカメラ40L、及び上部旋回体3の右方を撮像するカメラ40Rを含む。これにより、撮像装置40は、ショベル100の上面視において、ショベル100を中心とする全周、即ち360度の角度方向に亘る範囲を撮像することができる。また、オペレータは、出力装置50(表示装置50A)や遠隔操作用表示装置を通じて、カメラ40B,40L,40Rの撮像画像や当該撮像画像に基づき生成される加工画像等の周辺画像を視認し、上部旋回体3の左方、右方、及び後方の様子を確認することができる。また、オペレータは、遠隔操作用表示装置を通じて、カメラ40Fの撮像画像や当該撮像画像に基づき生成される加工画像等の周辺画像を視認することで、バケット6を含むアタッチメントATの動作を確認しながら、ショベル100を遠隔操作することができる。以下、カメラ40F,40B,40L,40Rを包括的に、或いは、個別に、「カメラ40X」と称する場合がある。
カメラ40Xは、例えば、単眼カメラである。また、カメラ40Xは、例えば、ステレオカメラ、TOF(Time Of Flight)カメラ等(以下、包括的に「3Dカメラ」)のように、二次元の画像に加えて、距離(深度)に関するデータを取得可能であってもよい。
撮像装置40(カメラ40X)の出力データ(例えば、画像データやショベル100の周辺の物体の三次元データ等)は、一対一の通信線や車載ネットワークを通じて、コントローラ30に取り込まれる。これにより、例えば、コントローラ30は、カメラ40Xの出力データに基づき、ショベル100の周辺の物体に関する監視を行うことができる。また、例えば、コントローラ30は、カメラ40Xの出力データに基づき、ショベル100の周辺環境を判断することができる。また、例えば、コントローラ30は、カメラ40X(カメラ40F)の出力データに基づき、撮像画像に映るアタッチメントATの姿勢状態を判断することができる。また、例えば、コントローラ30は、カメラ40Xの出力データに基づき、ショベル100の周辺の物体を基準として、ショベル100の機体(上部旋回体3)の姿勢状態を判断することができる。
尚、カメラ40F,40B,40L,40Rのうちの一部が省略されてもよい。例えば、ショベル100の遠隔操作が行われない場合、カメラ40Fやカメラ40Lは、省略されてもよい。ショベル100の前方や左側方の様子は、キャビン10のオペレータから見て、比較的確認しやすいからである。また、撮像装置40(カメラ40X)に代えて、或いは、加えて、距離センサが上部旋回体3に設けられてもよい。距離センサは、例えば、上部旋回体3の上部に取り付けられ、ショベル100を基準とする周辺の物体の距離及び方向に関するデータを取得する。また、距離センサは、取得したデータに基づき、センシング範囲内におけるショベル100の周辺の物体の三次元データ(例えば、点群の座標情報のデータ)を取得(生成)してもよい。距離センサは、例えば、LIDAR(Light Detection and Ranging)である。また、例えば、距離センサは、例えば、ミリ波レーダや超音波センサや赤外線センサ等であってもよい。
センサS1は、ブーム4に取り付けられ、ブーム4の上部旋回体3との連結部に相当する基端の回転軸回りの姿勢角度(以下、「ブーム角度」)を検出する。センサS1は、例えば、ロータリポテンショメータ、ロータリエンコーダ、加速度センサ、角加速度センサ、6軸センサ、IMU(Inertial Measurement Unit:慣性計測装置)等を含む。以下、センサS2、センサS4についても同様であってよい。また、センサS1は、ブームシリンダ7の伸縮位置を検出するシリンダセンサを含んでもよい。以下、センサS2についても同様であってもよい。センサS1によるブーム角度の検出信号は、コントローラ30に取り込まれる。これにより、コントローラ30は、ブーム4の姿勢状態を把握することができる。
センサS2は、アーム5に取り付けられ、アーム5のブーム4との連結部に相当する基端の回転軸回りの姿勢角度(以下、「アーム角度」)を検出する。センサS2によるアーム角度の検出信号は、コントローラ30に取り込まれる。これにより、コントローラ30は、アーム5の姿勢状態を把握することができる。
センサS3は、バケット6に取り付けられ、バケット6のアーム5との連結部に相当する基端の回転軸回りの姿勢角度(以下、「アーム角度」)を検出する。センサS3によるアーム角度の検出信号は、コントローラ30に取り込まれる。これにより、コントローラ30は、バケット6の姿勢状態を把握することができる。
センサS4は、所定の基準面(例えば、水平面)に対する機体(例えば、上部旋回体3)の傾斜状態を検出する。センサS4は、例えば、上部旋回体3に取り付けられ、ショベル100(即ち、上部旋回体3)の前後方向及び左右方向の2軸回りの傾斜角度(以下、「前後傾斜角」及び「左右傾斜角」)を検出する。センサS4により検出される傾斜角度(前後傾斜角及び左右傾斜角)に対応する検出信号は、コントローラ30に取り込まれる。これにより、コントローラ30は、機体(上部旋回体3)の傾斜状態を把握することができる。
センサS5は、上部旋回体3に取り付けられ、上部旋回体3の旋回状態に関する検出情報を出力する。センサS5は、例えば、上部旋回体3の旋回角速度や旋回角度を検出する。センサS5は、例えば、ジャイロセンサ、レゾルバ、ロータリエンコーダ等を含む。センサS5により検出される旋回状態に関する検出情報は、コントローラ30に取り込まれる。これにより、コントローラ30は、上部旋回体3の旋回角度等の旋回状態を把握することができる。
尚、センサS4に3軸回りの角速度を検出可能なジャイロセンサ、6軸センサ、IMU等が含まれる場合、センサS4の検出信号に基づき上部旋回体3の旋回状態(例えば、旋回角速度)が検出されてもよい。この場合、センサS5は、省略されてもよい。また、撮像装置40や距離センサの出力に基づき、上部旋回体3やアタッチメントAT等の姿勢状態を把握することが可能な場合、センサS1~S5の少なくとも一部は省略されてもよい。
≪情報処理装置のハードウェア構成>
図5は、情報処理装置200のハードウェア構成の一例を示すブロック図である。
情報処理装置200の機能は、任意のハードウェア或いは任意のハードウェア及びソフトウェアの組み合わせ等により実現される。例えば、図5に示すように、情報処理装置200は、バスB2で接続される、外部インタフェース201、補助記憶装置202、メモリ装置203、CPU204、高速演算装置205、通信インタフェース206、入力装置207、及び表示装置208を含む。
外部インタフェース201は、記録媒体201Aからデータの読み取りや記録媒体201Aへのデータの書き込みのためのインタフェースとして機能する。記録媒体201Aには、例えば、フレキシブルディスク、CD(Compact Disc)、DVD(Digital Versatile Disc)、BD(Blu-ray(登録商標) Disc)、SDメモリカード、USBメモリ等が含まれる。これにより、情報処理装置200は、記録媒体201Aを通じて、処理で利用する各種データを読み込み、補助記憶装置202に格納したり、各種機能を実現するプログラムをインストールしたりすることができる。
尚、情報処理装置200は、通信インタフェース206を通じて、外部装置から処理で利用する各種データやプログラムを取得してもよい。
補助記憶装置202は、インストールされた各種プログラムを格納すると共に、各種処理に必要なファイルやデータ等を格納する。補助記憶装置202は、例えば、HDD(Hard Disc Drive)やSSD(Solid State Disc)やフラッシュメモリ等を含む。
メモリ装置203は、プログラムの起動指示があった場合に、補助記憶装置202からプログラムを読み出して格納する。メモリ装置203は、例えば、DRAM(Dynamic Random Access Memory)やSRAMを含む。
CPU204は、補助記憶装置202からメモリ装置203にロードされた各種プログラムを実行し、プログラムに従って情報処理装置200に関する各種機能を実現する。
高速演算装置205は、CPU204と連動し、相対的に高い速度で演算処理を行う。高速演算装置205は、例えば、GPU(Graphics Processing Unit)やASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)等を含む。
尚、高速演算装置205は、必要な演算処理の速度に応じて、省略されてもよい。
通信インタフェース206は、外部機器と通信可能に接続するためのインタフェースとして用いられる。これにより、情報処理装置200は、通信インタフェース206を通じて、例えば、ショベル100等の外部機器と通信することができる。また、通信インタフェース206は、接続される機器との間の通信方式等によって、複数の種類の通信インタフェースを有してもよい。
入力装置207は、ユーザから各種入力を受け付ける。
入力装置207は、例えば、ユーザからの機械的な操作入力を受け付ける操作入力装置を含む。操作入力装置は、例えば、ボタン、トグル、レバー等を含む。また、操作入力装置は、例えば、表示装置208に実装されるタッチパネル、表示装置208とは別に設けられるタッチパッド等を含む。
また、入力装置207は、例えば、ユーザからの音声入力を受付可能な音声入力装置を含む。音声入力装置は、例えば、ユーザの音声を集音可能なマイクロフォンを含む。
また、入力装置207は、例えば、ユーザからのジェスチャ入力を受付可能なジェスチャ入力装置を含む。ジェスチャ入力装置は、例えば、ユーザのジェスチャの様子を撮像可能なカメラを含む。
また、入力装置207は、例えば、ユーザからの生体入力を受付可能な生体入力装置を含む。生体入力装置は、例えば、ユーザの指紋や虹彩に関する情報を内包する画像データを取得可能なカメラを含む。
表示装置208は、ユーザに向けて、情報画面や操作画面を表示する。例えば、表示装置208には、上述の遠隔操作用表示装置が含まれる。表示装置208は、例えば、液晶ディスプレイや有機EL(Electroluminescence)ディスプレイ等である。
尚、遠隔操作支援装置300についても、情報処理装置200と同様、任意のハードウェア或いは任意のハードウェア及びソフトウェアの組み合わせ等により実現され、同様のハードウェア構成が採用されてよい。例えば、遠隔操作支援装置300は、情報処理装置200(図6)と同様、CPU、メモリ装置、補助記憶装置、インタフェース装置、入力装置、及び表示装置を含むコンピュータを中心に構成される。メモリ装置は、例えば、SRAMやDRAM等である。補助記憶装置は、例えば、HDDやSSDやEEPROMやフラッシュメモリ等である。インタフェース装置は、外部の記録媒体と接続するための外部インタフェースやショベル100等の外部と通信を行う通信インタフェースを含む。入力装置は、例えば、レバー式の操作入力装置を含む。これにより、オペレータは、操作入力装置を用いて、ショベル100のアクチュエータに関する操作入力を行い、遠隔操作支援装置300は、通信インタフェースを用いて、操作入力に対応する信号をショベル100に送信することができる。そのため、オペレータは、遠隔操作支援装置を利用したショベル100の遠隔操作を行うことができる。
[作業部位の軌道の生成に関する機能構成]
次に、図1~図5に加えて、図6~図9を参照して、ショベル100の作業部位の軌道(以下、「目標軌道」)の生成に関する機能構成について説明する。
図6は、ショベル100の作業部位の目標軌道の生成に関する機能構成の第1例を示すブロック図である。図7は、表示装置50Aに表示される、ショベル100の作業部位の目標軌道の生成に関する画面の一例(画面700)を示す図である。図8は、表示装置50Aに表示される、ショベル100の作業部位の目標軌道の生成に関する画面の他の例(画面800)を示す図である。図9は表示装置50Aに表示される、ショベル100の作業部位の目標軌道の生成に関する画面の更に他の例(画面900)を示す図である。
尚、ショベル100が遠隔操作される場合、図7、図8と同様の画面が遠隔操作支援装置300(表示装置)に表示される。
ショベル100の作業部位は、例えば、バケット6の爪先や背面である。
ショベル100は、支援装置150を含む。支援装置150は、ショベル100の作業に関する支援を行う。
図6に示すように、支援装置150は、操作装置26と、コントローラ30と、撮像装置40と、出力装置50とを含む。また、ショベル100の遠隔操作が行われる場合、支援装置150は、通信装置60を含んでもよい。
コントローラ30は、機能部として、動作ログ提供部301と、作業支援部302とを含む。
尚、稼働支援システムSYSに含まれるショベル100が複数台である場合、コントローラ30が動作ログ提供部301及び作業支援部302のうちの前者のみを含むショベル100と、後者のみを含むショベル100とが存在してもよい。この場合、前者のショベル100は、後者のショベル100におけるオペレータの操作支援機能(動作提案機能)のために用いられる、ショベル100の動作ログを取得し情報処理装置200に提供する機能のみを有する。
情報処理装置200は、機能部として、動作ログ取得部2001と、動作ログ記憶部2002と、教師データ生成部2003と、機械学習部2004と、学習済みモデル記憶部2005と、配信部2006とを含む。
動作ログ提供部301は、ショベル100の作業部位の目標軌道を生成する機能を実現するための元データである、ショベル100の動作ログを取得し、情報処理装置200に提供するための機能部である。具体的には、ショベル100の運転歴が長く、相対的に経験のあるオペレータ(以下、便宜的に「熟練者」)がショベル100を操作したときの動作ログを取得し、情報処理装置200に提供する。
ショベル100の動作ログは、ショベル100の周辺の作業対象の形状に関するデータと、その作業対象の形状に対して実行された、ショベル100の動作に関するデータとを含む。ショベル100の周辺の作業対象の形状に関するデータは、例えば、ショベル100の作業対象としての作業現場の地面の地形形状に関するデータである。ショベル100の作業対象の形状に関するデータは、例えば、撮像装置40の画像データやその画像データから得られる、作業対象の三次元データである。ショベル100の動作に関するデータは、例えば、オペレータの操作内容を表すデータである。オペレータの操作内容を表すデータは、例えば、油圧パイロット式の操作装置26の場合における操作圧センサ29の出力データや電気式の操作装置26の場合における操作装置26の出力データ(操作信号のデータ)である。また、ショベル100の動作に関するデータは、オペレータの操作に応じて実際に実行された、ショベル100の動作状態を表すデータであってもよい。ショベル100の動作状態を表すデータは、例えば、センサS1~S5の出力データ、或いは、センサS1~S5の出力データから取得される、ショベル100の姿勢状態に関するデータである。
動作ログ提供部301は、動作ログ記録部301Aと、動作ログ記憶部301Bと、動作ログ送信部301Cとを含む。
動作ログ記録部301Aは、ショベル100の動作ログを取得し、動作ログ記憶部301Bに記録する。例えば、動作ログ記録部301Aは、ショベル100の動作が実行されるごとに、その動作の実行開始時或いは実行直前のショベル100の周辺の作業対象の形状に関するデータ、及びショベル100のその動作に関するデータを動作ログ記憶部301Bに記録する。
動作ログ記憶部301Bには、ショベル100の動作ログが蓄積される形で記憶される。例えば、動作ログ記憶部301Bには、ショベル100の動作ごとのショベル100の周辺の作業対象の形状に関するデータと、ショベル100の動作に関するデータとが紐づけられる形で記憶される。具体的には、動作ログ記憶部301Bには、ショベル100の動作ごとのショベル100の周辺の作業対象の形状に関するデータ、及びショベル100の動作に関するデータの対応関係を表すレコードデータが蓄積され、動作ログのデータベースが構築されてよい。
尚、後述の動作ログ送信部301Cにより情報処理装置200に送信済みの動作ログ記憶部301Bの動作ログは、事後的に消去されてもよい。
動作ログ送信部301Cは、動作ログ記憶部301Bに記憶される、ショベル100の動作ログを、通信装置60を通じて情報処理装置200に送信する。また、動作ログ送信部301Cは、ショベル100の動作ごとのショベル100の周辺の作業対象の形状に関するデータ、及びショベル100の動作に関するデータの対応関係を表すレコードデータを併せて情報処理装置200に送信してもよい。
例えば、動作ログ送信部301Cは、情報処理装置200から受信される、ショベル100の動作ログの送信を要求する信号(以下、「送信要求信号」)に応じて、動作ログ記憶部301Bに記憶される、未送信のショベル100の動作ログを情報処理装置200に送信する。また、動作ログ送信部301Cは、所定のタイミングで、動作ログ記憶部301Bに記憶される、未送信のショベル100の動作ログを自動的に情報処理装置200に送信してもよい。所定のタイミングは、例えば、ショベル100の稼働停止(キースイッチのオフ)時や稼働開始(キースイッチのオン)時である。
動作ログ取得部2001は、ショベル100から受信される、ショベル100の動作ログを取得する。
動作ログ取得部2001は、情報処理装置200のユーザの操作に応じて、或いは、所定のタイミングで自動的に、ショベル100に送信要求信号を送信することにより、ショベル100の動作ログを取得する。また、動作ログ取得部2001は、ショベル100から所定のタイミングで送信される、ショベル100の動作ログを取得してもよい。
動作ログ記憶部2002には、動作ログ取得部2001により取得された、ショベル100の動作ログが蓄積される形で記憶される。例えば、動作ログ記憶部2002には、動作ログ記憶部301Bの場合と同様、ショベル100の動作ごとのショベル100の周辺の作業対象の形状に関するデータと、ショベル100の動作に関するデータとが紐づけられる形で記憶される。
教師データ生成部2003は、動作ログ記憶部2002のショベル100の動作ログに基づき、機械学習用の教師データを生成する。教師データ生成部2003は、バッチ処理によって、自動的に教師データを生成してもよいし、情報処理装置200のユーザからの入力に応じて、教師データを生成してもよい。教師データは、入力データとしてのショベル100の周辺の作業対象の形状に関するデータと、正解の出力データとしての入力データに対応するショベル100の作業部位の軌道(軌跡)を表すデータ(以下、「正解データ」)との組み合わせのデータである。
ショベル100の作業部位の軌跡を表すデータは、例えば、ショベル100の動作に関するデータに含まれる、センサS1~S5の出力データに基づき生成される。
機械学習部2004は、教師データ生成部2003により生成される教師データのセットに基づき、ベースの学習モデルに機械学習を行わせ、学習済みモデルLMを生成する。学習済みモデルLM(ベースの学習モデル)は、例えば、DNN(Deep Neural Network)等のニューラルネットワークを含む。
学習済みモデルLMは、例えば、ショベル100の動作の種類、及びショベル100の周辺の作業対象の形状に関するデータを入力条件として、ショベル100の作業部位の目標軌道を表すデータ、及び予測確率を出力する。また、学習済みモデルLMは、ショベル100の作業部位の目標軌道を表すデータ、及びショベル100の動作の種類には、例えば、掘削動作、掃出し動作、水平引き動作、転圧動作、ほうき動作等を含む。掃出し動作は、例えば、アタッチメントATを動作させ、バケット6を地面に沿って前方に押し出すことで、バケット6の背面で土砂を前方に掃出す動作である。掃出し動作では、例えば、アタッチメントATは、ブーム4を下げ動作、及びアーム5の開き動作を行う。水平引き動作は、例えば、アタッチメントATを動作させ、バケット6の爪先を地面に沿って略水平に手前に向かって引きつけるように移動させることで、地面の表面の凹凸を均す動作である。水平引き動作では、例えば、アタッチメントATは、ブーム4の上げ動作、アーム5の閉じ動作を行う。転圧動作は、例えば、アタッチメントATを動作させ、バケット6の背面で地面を押し付ける動作である。また、転圧動作は、バケット6を地面に沿って前方に押し出すことで、バケット6の背面で土砂を前方の所定の位置まで掃出した後に、所定の位置の地面をバケット6の背面で地面を押し付ける動作であってもよい。転圧動作では、例えば、アタッチメントATは、地面を押し付ける際にブーム4の下げ動作を行う。ほうき動作は、例えば、上部旋回体3を動作させ、バケット6を地面に沿わせた状態で左右に旋回させる動作である。また、ほうき動作は、例えば、アタッチメントAT及び上部旋回体3を動作させ、バケット6を地面に沿わせた状態で左右交互に旋回させながら、バケット6を前方の押し出す動作であってもよい。ほうき動作では、例えば、上部旋回体3が左右の旋回動作を交互に繰り返す。また、ほうき動作では、例えば、上部旋回体3の左右交互の旋回動作に加えて、掃出し動作の場合と同様、ブーム4の下げ動作及びアーム5の開き動作を行ってもよい。予測確率は、作業部位の目標軌道の信頼度を表す。学習済みモデルLMには、上述の如く、熟練者によるショベル100の操作時の動作ログが反映され、予測確率が高いほど、その作業部位の目標軌道の信頼度が高いと考えられるからである。また、予測確率は、入力条件としてのショベル100の周辺の作業対象の形状に対する作業部位の目標軌道の適合度を表す。予測確率が高いほど、熟練者が作業対象の形状に対してその候補の動作が適していると判断する可能性が高いと考えられるからである。例えば、学習済みモデルLMは、整地作業、法面施工作業、及び盛土作業等の作業ごとに生成される。
学習済みモデル記憶部2005には、機械学習部2004により出力される学習済みモデルLMが記憶される。
配信部2006は、学習済みモデルLMをショベル100に配信する。
例えば、配信部2006は、機械学習部2004により学習済みモデルLMが生成されると、直近で生成された学習済みモデルLMをショベル100に配信する。また、配信部2006は、ショベル100から受信される、学習済みモデルLMの配信を要求する信号に応じて、学習済みモデル記憶部2005の最新の学習済みモデルLMをショベル100に配信してもよい。
作業支援部302は、オペレータの操作によるショベル100の作業を支援するための機能部である。
作業支援部302は、学習済みモデル記憶部302Aと、作業対象形状取得部302Bと、動作選択部302Cと、条件設定部302Dと、軌道生成部302Eと、表示処理部302Fと、動作制御部302Gとを含む。
学習済みモデル記憶部302Aには、情報処理装置200から配信され、通信装置60を通じて受信される学習済みモデルLMが記憶される。
作業対象形状取得部302Bは、撮像装置40や距離センサの出力に基づき、ショベル100の周辺の作業対象の形状(地形形状)に関するデータを取得する。
動作選択部302Cは、入力装置52を通じて受け付けられる、ユーザ(オペレータ)からの入力に応じて、複数の動作の候補の中からショベル100の動作(の種類)を選択する。また、ショベル100が遠隔操作される場合、動作選択部302Cは、通信装置60を通じて受け付けられる、遠隔操作支援装置300を利用するユーザ(オペレータ)からの入力に応じて、複数の動作の候補の中からショベル100の動作を選択してもよい。
条件設定部302Dは、入力装置52を通じて受け付けられる、ユーザ(オペレータ)からの入力に応じて、ショベル100の作業部位の目標軌道の生成に関する前提条件を設定する。ショベル100が遠隔操作される場合、条件設定部302Dは、通信装置60を通じて受け付けられる、遠隔操作支援装置300を利用するユーザ(オペレータ)からの入力に応じて、ショベル100の目標軌道に関する前提条件を設定してもよい。また、条件設定部302Dは、ユーザからの入力に依らず、自動で、前提条件を設定してもよい。例えば、条件設定部302Dは、作業対象の形状に関するデータと、その作業対象の形状に対して設定された前提条件との組み合わせのデータの履歴を教師データセットとして用いて生成される学習済みモデルに基づき、前提条件を自動で設定してもよい。この場合、条件設定部302Dは、ユーザからの入力に応じて、自動で設定済みの前提条件を修正してもよい。
前提条件は、例えば、ショベル100の周辺の地形形状におけるショベル100の動作時の目標となる点(以下、「目標点」)である。目標点には、例えば、ショベル100の動作時に作業部位が通過する目標点やショベル100の動作時にバケット6の土砂を排土する場所に相当する点等が含まれる。また、前提条件は、目標点におけるバケット6の姿勢状態(バケット6の姿勢角度)を含んでもよい。
軌道生成部302Eは、作業対象形状取得部302Bにより取得されるデータ、作業対象の目標形状、動作選択部302Cにより選択される動作、及び条件設定部302Dにより設定される前提条件に基づき、ショベル100の作業部位の目標軌道を生成する。作業対象の目標形状は、例えば、作業対象(作業現場の地面)に対する作業によって形成される、施工対象としての平面或いは曲面を表す目標施工面である。作業対象の目標形状は、例えば、入力装置52や遠隔操作支援装置300(入力装置)を通じて、ユーザからの平面や曲面を表すパラメータの入力により設定される。また、作業対象の目標形状は、例えば、情報処理装置200等の外部装置からショベル100に配信されてもよい。軌道生成部302Eは、作業対象形状取得部302Bにより取得されるデータ、作業対象の目標形状、動作選択部302Cにより選択される動作、及び条件設定部302Dにより設定される前提条件を入力データとして、学習済みモデルLMを適用する。また、軌道生成部302Eは、作業対象の目標形状、動作選択部302Cにより選択される動作、及び作業対象形状取得部302Bにより取得されるデータを入力データとして、学習済みモデルLMから作業部位の目標軌道を出力させてもよい。そして、軌道生成部302Eは、出力された作業部位の目標軌道を、条件設定部302Dにより設定される前提条件によって最適化することにより、作業部位の目標軌道を生成してもよい。
表示処理部302Fは、ショベル100の作業部位の目標軌道の生成に関する画面を表示装置50Aに表示させる(図7、図8参照)。ショベル100の作業部位の目標軌道の生成に関する画面には、例えば、動作選択部302Cにより選択される、ショベル100の動作や条件設定部302Dにより設定される前提条件に関する操作入力をユーザ(オペレータ)が行うための操作画面が含まれる(図。また、ショベル100の作業部位の目標軌道の生成に関する画面には、軌道生成部302Eにより生成される、ショベル100の作業部位の目標軌道を表示する画面が含まれる。また、ショベル100が遠隔操作される場合、表示処理部302Fは、ショベル100の作業部位の目標軌道の生成に関する画面に関するデータを、通信装置60を通じて遠隔操作支援装置300に送信してもよい。これにより、表示処理部302Fは、ショベル100の作業部位の目標軌道の生成に関する画面を遠隔操作支援装置300(表示装置)に表示させることができる。
例えば、図7、図8に示すように、表示処理部302Fは、画面700,800を表示装置50Aに表示させる。
図7に示すように、画面700は、画像TG,CG,SB,PB1を含む。
画像TGは、ショベル100の周辺の地形形状を表す画像である。画像TGは、作業対象形状取得部302Bにより取得されるデータに基づき生成される。本例では、画像TGは、ショベル100の外部の所定の視点から見た、ショベル100の周辺の地形形状を表す画像である。所定の視点は、例えば、入力装置52や遠隔操作支援装置300(入力装置)を通じたユーザ(オペレータ)からの入力に応じて変化させることが可能である。
画像CGは、ショベル100を表す画像である。
画像TG,CGの位置関係は、ショベル100の周辺の地形形状とショベル100との実際の位置関係と同じになるように設定される。
画像SBは、動作選択部302Cにより選択可能な候補の動作を表す画像である。本例では、画像SBには、整地作業で実施されうる、ショベル100候補の動作を表す画像SB1~SB5が含まれる。
画像SB1は、ショベル100の掘削動作及び排土動作の組み合わせの動作をユーザが選択するための操作用のアイコンである。
画像SB2は、ショベル100の掃出し動作をユーザが選択するための操作用のアイコンである。
画像SB3は、ショベル100の水平引き動作をユーザが選択するための操作用のアイコンである。
画像SB4は、ショベル100のほうき動作をユーザが選択するための操作用のアイコンである。
画像SB5は、ショベル100の転圧動作をユーザが選択するための操作用のアイコンである。
ユーザは、入力装置52や遠隔操作支援装置300(入力装置)を通じて、画像SB1~SB5の何れか一つを指定し、動作選択部302Cを通じて、ショベル100の動作を選択することができる。本例では、画像SB1にカーソル(図中の梨地)があり、ショベル100の掘削動作及び排土動作の組み合わせの動作が選択されている状態が表現されている。
尚、画像SBには、画像SB1~SB5に加えて、画像SB1~SB5に対応する動作とは異なる他の動作をユーザが選択するための操作用アイコンが表示されてもよい。また、画像SBには、画像SB1~SB5の少なくとも一つと代えて、画像SB1~SB5と異なる他の動作をユーザが選択するための操作用アイコンが表示されてもよい。
本例では、画像TGは、画像領域TG1,TG2を含む。
画像領域TG1は、ショベル100の周辺(前方)の地面にある凸部を表す。
画像領域TG2は、ショベル100の周辺(前方)の地面にある凹部を表す。
また、本例では、画面700は、目標点に相当する画像P1,P2を含む。
画像P1は、画像領域TG1に重畳して表示される。
画像P2は、画像領域TG2に重畳して表示される。
例えば、ユーザは、入力装置52や遠隔操作支援装置300(入力装置)を通じて、画像領域TG1,TG2を指定することにより、条件設定部302Dを通じて、画像P1,P2に相当する目標点を設定することができる。ユーザは、入力装置52や遠隔操作支援装置300(入力装置)を通じて、画像TGの全範囲で目標点を設定可能であってもよいし、画像TGの全範囲の中でバケット6の作業部位を届かせることが可能な範囲に限定して目標点を設定可能であってもよい。前者の場合、画像TGの全範囲の中のバケット6の作業部位を届かせることが可能な範囲に目標点が設定されると、画面700には、エラー(警告)を表す表示内容が表示されてもよい。後者の場合、画像TGの全範囲の中のバケット6の作業部位を届かせることが可能な範囲を表す画像が画像TGに重畳して表示されてもよい。また、ユーザは、入力装置52や遠隔操作支援装置300(入力装置)を通じて、設定済みの目標点を削除することが可能であってもよい。
また、本例では、画面700には、画像P1,P2のそれぞれに付随するように画像RC1,RC2が表示される。
画像RC1は、画像P1に相当する目標点に対応するバケット6の姿勢角度の前提条件を表す画像である。
画像RC2は、画像P2に相当する目標点に対応するバケット6の姿勢角度の前提条件を表す画像である。
例えば、ユーザは、入力装置52や遠隔操作支援装置300(入力装置)を通じて、画像P1,P2を指定することにより、条件設定部302Dを通じて、画像RC1,RC2に相当するバケット6の姿勢角度の前提条件を設定することができる。
画像PB1は、画面800で選択される動作、及び画面800で設定される前提条件に沿って、軌道生成部302Eにバケット6の作業部位の軌道を生成させるための操作用のアイコンである。
例えば、ユーザは、入力装置52や遠隔操作支援装置300(入力装置)を通じて、画像PB1を操作することにより、軌道生成部302Eを通じてバケット6の目標軌道を生成することができる。
画像PB1が操作されると、表示装置50Aの表示内容が画面700から画面800に遷移する。
画面800は、画面700と同様、画像TG,CG,SBを含む。また、画面800は、画面700と同様、画像P1,P2を含む。また、画面800は、画像OG,CG1,PB2を含む。
画像OGは、目標軌道を表す画像である。
画像CG1は、目標軌道に相当する画像OGに付随する形で表示される、バケット6を表す画像である。
本例では、画像OGは、画像P1に相当する目標点の土砂を掘削動作で掬って、画像P2に相当する目標点に排土する動作を実現する目標軌道を表している。画像OGは、バケット6の作業部位が土砂に接触する軌道部分とそれ以外の軌道部分とが区別可能なように表現されてもよい。例えば、画像OGは、バケット6の作業部位が土砂に接触する軌道部分とそれ以外の軌道部分とが異なる色で表示される。
画像PB2は、画像OGに相当する目標軌道でバケット6の作業部位を移動させる動作を動画像(アニメーション)により画面800上で再現させるための操作用のアイコンである。
例えば、ユーザは、入力装置52や遠隔操作支援装置300(入力装置)を通じて、画像PB2を操作することにより、目標軌道に相当する画像OGに沿って、バケット6に相当する画像CG1が移動する動画像を画面800に表示させることができる。そのため、ユーザは、動画像を確認することによって、目標軌道が適切であるか否かを判断することができる。
また、動画像では、目標軌道に沿ってバケット6を移動させるショベル100の動作の後の作業対象の形状(地形形状)が表示されてもよい。つまり、画面800には、画像OGに対応する目標軌道に沿ってバケット6を移動させるように、ショベル100を動作させた後の予測される、ショベル100の周辺の作業対象の形状(地形形状)が表示されてもよい。これにより、ユーザは、動画像と予測される地形形状の変化とを確認することによって、目標軌道が適切であるか否かをより適切に判断することができる。
画像PB1が操作されると、表示装置50Aの表示内容が画面800から画面900に遷移する。
画面900は、画面800と同様、画像TG,CG,SBを含む。また、画面900は、画面800と同様、画像P1,P2を含む。また、画面900は、画像OG,CG1を含む。また、画面900は、画像PB3を含む。
画像PB3は、画像OGに相当する目標軌道でバケット6の作業部位を移動させるように、ショベル100を自動で動作させるための操作用アイコンである。
例えば、ユーザは、入力装置52や遠隔操作支援装置300(入力装置)を通じて、画像PB3を操作することにより、動作制御部302Gを通じて、画像OGに相当する目標軌道でバケット6が移動するようにショベル100を自動で動作させることができる。
尚、ユーザが上述の動画像を確認することなく、ショベル100に画像OGに相当する目標軌道に沿ってバケット6が移動するようにショベル100を自動で動作させることが可能であってもよい。この場合、画面800には、画像PB2に加えて、画像PB3に相当する操作用アイコンが表示される。
図7に戻り、動作制御部302Gは、入力装置52を通じて受け付けられる、ユーザ(オペレータ)からの入力に応じて、軌道生成部302Eにより生成される目標軌道に沿ってバケット6の作業部位が移動するように、ショベル100を動作させる。具体的には、動作制御部302Gは、センサS1~S5の出力等からバケット6の作業部位の位置を把握しながら、油圧制御弁31を制御することで、目標軌道に沿ってバケット6の作業部位が移動するようにショベル100を動作させることができる。
例えば、動作制御部302Gは、ユーザからの動作実行の指示の入力に応じて、軌道生成部302Eにより生成される目標軌道に沿ってバケット6の作業部位が移動するように、ショベル100を動作させる。
また、動作制御部302Gは、操作装置26の操作や遠隔操作信号に応じて、オペレータの操作を補助する形で、軌道生成部302Eにより生成される目標軌道に沿ってバケット6の作業部位が移動するように、ショベル100を動作させてもよい。
[作業部位の軌道の生成に関する処理]
次に、図10を参照して、ショベル100の作業部位の目標軌道の生成に関する処理について説明する。
図10は、ショベル100の作業部位の目標軌道の生成に関する処理の一例を概略的に示すフローチャートである。
図10のフローチャートは、例えば、ショベル100の作業部位の目標軌道の生成に関する機能の作動中に繰り返し実行される。ショベル100の作業部位の目標軌道の生成に関する機能は、入力装置52や遠隔操作支援装置300(入力装置)を通じて受け付けられる、ユーザからの指示の入力で作動(起動)する。
図10に示すように、ステップS102(取得ステップの一例)にて、作業対象形状取得部302Bは、撮像装置40からショベル100の周辺の作業対象の形状に関するデータを取得する。
コントローラ30は、ステップS102の処理が完了すると、ステップS104に進む。
ステップS104(表示ステップの一例)にて、表示処理部302Fは、ステップS102で取得されるデータに基づき、地形形状を表す画像を含む設定画面(例えば、画面700)を表示装置50Aや遠隔操作支援装置300(表示装置)に表示させる。
コントローラ30は、ステップS104の処理が完了すると、ステップS106に進む。
ステップS106にて、動作選択部302Cは、ユーザからの入力に応じて、ショベル100の複数の候補の動作の中から一の動作を選択する。
コントローラ30は、ステップS106の処理が完了すると、ステップS108に進む。
ステップS108にて、条件設定部302D(設定ステップの一例)は、ユーザからの入力に応じて、ショベル100の作業部位の目標軌道の生成に関する前提条件を設定する。
コントローラ30は、ステップS108の処理が完了すると、ステップS110に進む。
尚、ステップS106,S108の順序は、ユーザからの入力に応じて前後する場合がある。
ステップS110(生成ステップの一例)にて、軌道生成部302Eは、ステップS106で選択された動作について、ステップS108で設定される前提条件の下で、ショベル100の作業部位の目標軌道を生成する。
コントローラ30は、ステップS110の処理が完了すると、ステップS112に進む。
ステップS112にて、表示処理部302Fは、ステップS110で生成された目標軌道を表す画像を表示装置50Aや遠隔操作支援装置300(表示装置)に表示させる。
コントローラ30は、ステップS112の処理が完了すると、ステップS114に進む。
ステップS114にて、コントローラ30は、ステップS112で生成された目標軌道に沿ってバケット6の作業部位を移動させるためのショベル100の動作の実行を指示する操作入力が受け付けられたか否かを判定する。コントローラ30は、ショベル100の動作の実行を指示する操作入力が受け付けられた場合、ステップS116に進み、それ以外の操作、具体的には、再度、目標軌道を生成するための操作が受け付けられた場合、ステップS106に戻る。
ステップS116にて、動作制御部302Gは、油圧制御弁31を制御し、直近のステップS110の処理で生成された目標軌道でバケット6の作業部位が移動するように、ショベル100を自動で動作させる。
コントローラ30は、ステップS116の処理が完了すると、今回のフローチャートの処理を終了する。
尚、ステップS116の処理の完了時において、ショベル100(アタッチメントAT)は、目標軌道の終点にバケット6の作業部位がある状態にあってもよいし。ステップS114の処理の開始前の姿勢状態に戻されていてもよい。
このように、本例では、支援装置150(コントローラ30)は、作業対象の形状に適合する目標軌道を生成することができる。そのため、ショベル100の作業効率を向上させることができる。
また、本例では、支援装置150は、目標点やバケット6の姿勢角度等の前提条件に適合する目標軌道を生成することができる。そのため、作業対象の形状等を前提とするユーザの判断や意図を反映させて、より適切な目標軌道を生成することができる。
また、本例では、支援装置150は、生成した目標軌道に沿ってバケット6の作業部位が移動するように、ショベル100を自動で動作させることができる。そのため、経験の浅いオペレータであっても、ショベル100に適切な動作を行わせることが可能となり、その結果、ショベル100の作業効率をより向上させることができる。
[他の実施形態]
次に、他の実施形態について説明する。
上述の実施形態は、適宜、その内容が組み合わせられてもよいし、変形や変更が加えられてもよい。
例えば、上述の実施形態では、軌道生成部302Eは、学習済みモデルLMを用いずに、目標軌道を生成してもよい。例えば、複数の候補の動作ごとに作業部位の基準となる軌道が予め規定され、軌道生成部302Eは、動作選択部302Cにより選択された動作の基準となる軌道を、ショベル100の周辺の作業対象の形状(地形形状)に関するデータ、及び前提条件に沿って最適化することにより、作業部位の目標軌道を生成してもよい。
また、上述の実施形態やその変形例では、ショベル100の外部に設置される撮像装置や距離センサ等のデータに基づき、ショベル100の周辺の作業対象の形状に関するデータが取得されてもよい。例えば、作業現場に設置される撮像装置や距離センサのデータが、通信装置60を通じてショベル100に受信されることにより、作業対象形状取得部302Bは、ショベル100の周辺の作業対象の形状に関するデータを取得することができる。また、例えば、作業現場の上空を飛行するドローンに搭載される撮像装置や距離センサのデータが、通信装置60を通じてショベル100に受信されることにより、作業対象形状取得部302Bは、ショベル100の周辺の作業対象の形状に関するデータを取得することができる。
また、上述の実施形態やその変形例では、支援装置150の機能の一部又は全部は、遠隔操作支援装置300に移管されてもよい。
また、上述の実施形態やその変形例では、支援装置150の機能の一部又は全部は、情報処理装置200に移管されてもよい。
[作用]
次に、本実施形態に係る稼働支援システムSYS(操作支援装置)の作用について説明する。
本実施形態では、支援装置は、取得部と、表示部と、設定部と、生成部と、を備える。支援装置は、例えば、支援装置150である。取得部は、例えば、作業対象形状取得部302Bである。表示部は、例えば、表示装置50Aである。設定部は、例えば、条件設定部302Dである。生成部は、例えば、軌道生成部302Eである。具体的には、取得部は、作業機械の周辺の施工対象の地形形状に関するデータを取得する。作業機械は、例えば、ショベル100である。また、表示部は、取得部により取得されるデータに基づき、施工対象の地形形状を表す画像を表示する。また、設定部は、施工対象の地形形状における作業機械の動作時の目標となる点(目標点)を設定する。そして、生成部は、取得部により取得されるデータ、施工対象の目標形状、及び設定部により設定される点に基づき、作業機械の作業部位の軌道を生成する。
これにより、作業機械の作業部位の軌道をより容易に生成することができる。また、目標点が設定されることから、例えば、作業機械の周辺の作業対象の形状を視認したユーザの判断や意図を反映させた、より適切な作業部位の軌道を生成することができる。そのため、作業機械の作業効率を向上させることができる。
また、本実施形態では、支援装置は、選択部を備えてもよい。具体的には、選択部は、ユーザからの入力に応じて、作業機械の複数の候補の動作の中から一の動作を選択してもよい。そして、生成部は、取得部により取得されるデータ、及び設定部により設定される点に基づき、作業機械の一の動作による作業部位の軌道を生成してもよい。
これにより、支援装置は、作業機械の動作を規定して作業部位の軌道を生成することができる。そのため、作業機械の作業効率をより向上させることができる。
また、本実施形態では、設定部は、ユーザからの入力に応じて、作業機械の周辺の地形形状における作業機械の動作時の目標となる点(目標点)、及びその点に対応する作業部位の姿勢を設定してもよい。
これにより、支援装置は、作業部位の姿勢に関するユーザの判断や意図を反映させた、より適切な作業部位の軌道を生成することができる。作業機械の作業効率をより向上させることができる。
また、本実施形態では、表示部は、作業機械の周辺の地形形状を表す画像に重畳して、生成部により生成される軌道を表す画像を表示してもよい。
これにより、ユーザは、生成された画像を視覚的に確認することができる。また、ユーザは、作業機械の周辺の地形形状と、生成された軌道とを同時に視認することによって、生成された軌道の妥当性をより適切に判断することができる。
また、本実施形態では、表示部は、作業機械の周辺の地形形状を表す画像に重畳して、生成部により生成される軌道に沿って作業部位が動作する動画像を表示してもよい。
これにより、ユーザは、動画像を確認することによって、生成された軌道の妥当性をより適切に判断することができる。
また、本実施形態では、表示部は、生成部により生成される軌道で作業部位が動作した後に予測される、作業機械の周辺の作業対象の形状を表す画像を表示してもよい。
これにより、生成された軌道に沿って作業部位が動作した後の作業対象の形状を確認することによって、生成された軌道の妥当性をより適切に判断することができる。
また、本実施形態では、支援装置は、ユーザの入力に応じて、生成部により生成される軌道に基づき、作業機械を自動で動作させる制御部を備えてもよい。制御部は、例えば、動作制御部302Gである。
これにより、相対的に経験の浅いオペレータであっても、目標軌道に沿って作業部位を動作させることができる。そのため、作業効率を向上させることができる。また、ユーザの利便性を向上させることができる。
また、本実施形態では、作業機械は、上述の操作支援装置を備えてもよい。
これにより、作業機械は、より容易に目標軌道を生成することができると共に、作業効率を向上させることができる。
以上、実施形態について詳述したが、本開示はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された要旨の範囲内において、種々の変形・変更が可能である。
1 下部走行体
1C,1CL,1CR クローラ
1ML,1MR 走行油圧モータ
2 旋回機構
2M 旋回油圧モータ
3 上部旋回体
4 ブーム
5 アーム
6 バケット
7 ブームシリンダ
8 アームシリンダ
9 バケットシリンダ
10 キャビン
11 エンジン
13 レギュレータ
14 メインポンプ
15 パイロットポンプ
17 コントロールバルブ
26 操作装置
29 操作圧センサ
30 コントローラ
31 油圧制御弁
32 シャトル弁
33 油圧制御弁
40 撮像装置
50 出力装置
50A 表示装置
52 入力装置
60 通信装置
100 ショベル
150 支援装置
200 情報処理装置
300 遠隔操作支援装置
301 動作ログ提供部
301A 動作ログ記録部
301B 動作ログ記憶部
301C 動作ログ送信部
302 作業支援部
302A 学習済みモデル記憶部
302B 作業対象形状取得部
302C 動作選択部
302D 条件設定部
302E 軌道生成部
302F 表示処理部
302G 動作制御部
700,800,900 画面
2001 動作ログ取得部
2002 動作ログ記憶部
2003 教師データ生成部
2004 機械学習部
2005 学習済みモデル記憶部
2006 配信部
AT アタッチメント
HA 油圧アクチュエータ
LM 学習済みモデル
S1~S5 センサ
SYS 稼働支援システム

Claims (9)

  1. 作業機械の周辺の作業対象の形状に関するデータを取得する取得部と、
    前記取得部により取得されるデータに基づき、前記作業対象の形状を表す画像を表示する表示部と、
    前記作業対象の形状における前記作業機械の動作時の目標となる点を設定する設定部と、
    前記取得部により取得されるデータ、前記作業対象の目標形状、及び前記設定部により設定される点に基づき、前記作業機械の作業部位の軌道を生成する生成部と、を備える、
    支援装置。
  2. ユーザからの入力に応じて、前記作業機械の複数の候補の動作の中から一の動作を選択する選択部を備え、
    前記生成部は、前記取得部により取得されるデータ、及び前記設定部により設定される点に基づき、前記作業機械の前記一の動作による前記作業部位の軌道を生成する、
    請求項1に記載の支援装置。
  3. 前記設定部は、ユーザからの入力に応じて、前記作業機械の周辺の地形形状における前記作業機械の動作時の目標となる点、及びその点に対応する前記作業部位の姿勢を設定する、
    請求項1又は2に記載の支援装置。
  4. 前記表示部は、前記作業機械の周辺の地形形状を表す画像に重畳して、前記生成部により生成される軌道を表す画像を表示する、
    請求項1乃至3の何れか一項に記載の支援装置。
  5. 前記表示部は、前記作業機械の周辺の地形形状を表す画像に重畳して、前記生成部により生成される軌道に沿って前記作業部位が動作する動画像を表示する、
    請求項4に記載の支援装置。
  6. 前記表示部は、前記生成部により生成される軌道で前記作業部位が動作した後に予測される、前記作業機械の周辺の前記作業対象の形状を表す画像を表示する、
    請求項4又は5に記載の支援装置。
  7. ユーザの入力に応じて、前記生成部により生成される軌道に基づき、作業機械を自動で動作させる制御部を備える、
    請求項1乃至6の何れか一項に記載の支援装置。
  8. 請求項1乃至7の何れか一項に記載の支援装置を備える、
    作業機械。
  9. 支援装置に、
    作業機械の周辺の作業対象の形状に関するデータを取得する取得ステップと、
    前記取得ステップで取得されるデータに基づき、前記作業対象の形状を表す画像を表示部に表示させる表示ステップと、
    前記作業対象の形状における前記作業機械の動作時の目標となる点を設定する設定ステップと、
    前記取得ステップで取得されるデータ、前記作業対象の目標形状、及び前記設定ステップで設定される点に基づき、前記作業機械の作業部位の軌道を生成する生成ステップと、を実行させる、
    プログラム。
JP2022060273A 2022-03-31 2022-03-31 支援装置、作業機械、プログラム Pending JP2023150920A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022060273A JP2023150920A (ja) 2022-03-31 2022-03-31 支援装置、作業機械、プログラム
PCT/JP2023/013195 WO2023190877A1 (ja) 2022-03-31 2023-03-30 支援装置、作業機械、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022060273A JP2023150920A (ja) 2022-03-31 2022-03-31 支援装置、作業機械、プログラム

Publications (1)

Publication Number Publication Date
JP2023150920A true JP2023150920A (ja) 2023-10-16

Family

ID=88326738

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022060273A Pending JP2023150920A (ja) 2022-03-31 2022-03-31 支援装置、作業機械、プログラム

Country Status (1)

Country Link
JP (1) JP2023150920A (ja)

Similar Documents

Publication Publication Date Title
US11959254B2 (en) Shovel
CN112867831B (zh) 挖土机
JP7358349B2 (ja) 掘削機、情報処理装置
JP7301875B2 (ja) ショベル、ショベルの制御装置
KR102602384B1 (ko) 쇼벨
WO2021054436A1 (ja) ショベル
JP7367001B2 (ja) ショベル及び施工システム
KR102659076B1 (ko) 쇼벨
US10968601B2 (en) Controlling earthmoving machine
JPWO2020175645A1 (ja) 表示装置、ショベル、情報処理装置
WO2019189920A1 (ja) 作業機械、情報処理装置
JP2023174887A (ja) 作業機械、情報処理装置
WO2023190877A1 (ja) 支援装置、作業機械、プログラム
JP2023150920A (ja) 支援装置、作業機械、プログラム
US20210372079A1 (en) Shovel and system
WO2023190843A1 (ja) 支援装置、作業機械、プログラム
WO2024034624A1 (ja) 支援装置、作業機械、支援システム、プログラム
JP2022154722A (ja) ショベル
WO2024111596A1 (ja) 作業機械、情報処理装置、プログラム
JP2023150082A (ja) 支援装置、作業機械、プログラム
JP2023034771A (ja) 建設機械の支援システム、建設機械の支援プログラム
JP2024076741A (ja) 作業機械、情報処理装置、プログラム
JP2023183992A (ja) 支援システム、遠隔操作支援装置、作業機械、プログラム
JP2024072055A (ja) 作業機械、情報処理装置、作業支援システム、プログラム
JP2021155995A (ja) ショベルの支援装置、ショベルの管理装置