JP2023149157A - 操作支援装置、作業機械、遠隔操作支援装置、プログラム - Google Patents

Abstract

【課題】作業機械の外部からの指示で作業機械をより適切に動作させることが可能な技術を提供する。【解決手段】本開示の一実施形態に係る操作支援装置１５０は、ショベル１００の周辺の様子を表すセンシング情報に基づき、ショベル１００の周辺の指示者からのショベル１００の操作に関する指示を表すジェスチャを認識し、ショベル１００の操作に関する指示を受け付ける操作指示受付部３０１と、操作指示受付部３０１により受け付けられる、ショベル１００の操作に関する指示をユーザに通知する操作指示通知部３０２と、を備える。【選択図】図６

Description

本開示は、作業機械の操作支援装置等に関する。

作業機械の外部からの指示によって、作業機械を動作させる技術が知られている（例えば、特許文献１参照）。

特許文献１では、作業機械（ショベル）の周辺の時系列の画像情報（動画像情報）から作業者の動作（ジェスチャ）を認識し、その動作に応じて、作業機械を動作させることが開示されている。

国際公開第２０２０／０３２２６７号

しかしながら、例えば、作業機械の外部からの指示を出し、直接操作する場合、指示を出す人の位置によっては、作業機械の奥の箇所等、作業機械の周辺に死角が存在し、その結果、作業機械の周辺の状況を応じた適切な操作ができない可能性がある。また、例えば、ジェスチャ等の人の動作によって作業機械の外部からの指示を出し、直接操作する場合、その認識精度等によっては、作業機械の動作を適切に操作できない可能性がある。

そこで、上記課題に鑑み、作業機械の外部からの指示で作業機械をより適切に動作させることが可能な技術を提供することを目的とする。

上記目的を達成するため、本開示の一実施形態では、
作業機械の外部からの前記作業機械の操作に関する指示を受け付ける受付部と、
前記受付部により受け付けられる、前記作業機械の操作に関する指示をユーザに通知する通知部と、を備える、
操作支援装置が提供される。

また、本開示の他の実施形態では、
上述の操作支援装置を備える、
作業機械が提供される。

また、本開示の更に他の実施形態では、
上述の操作支援装置を備え、
前記操作部は、前記作業機械に対する遠隔操作の操作入力を受け付ける、
遠隔操作支援装置が提供される。

また、本開示の更に他の実施形態では、
情報処理装置に、
作業機械の外部からの前記作業機械の操作に関する指示の情報を取得する取得ステップと、
前記取得ステップで取得される情報に基づき、前記作業機械の操作に関する指示をユーザに通知する通知ステップと、を実行させる、
プログラムが提供される。

上述の実施形態によれば、作業機械の外部からの指示で作業機械をより適切に動作させることができる。

ショベル稼働支援システムの一例を示す図である。 ショベルの一例を示す上面図である。 ショベルの遠隔操作に関する構成の一例を示す図である。 ショベルのハードウェア構成の一例を示すブロック図である。 情報処理装置のハードウェア構成の一例を示す図である。 操作支援装置の機能構成の第１例を示す機能ブロック図である。 表示装置に表示される操作指示通知画面の一例を示す図である。 操作支援装置の機能構成の第２例を示す機能ブロック図である。 作業機械の他の例を示す図である。

以下、図面を参照して実施形態について説明する。

［稼働支援システムの概要］
まず、図１～図３を参照して、本実施形態に係る稼働支援システムＳＹＳの概要について説明をする。

図１は、稼働支援システムＳＹＳの一例を示す図である。図１において、ショベル１００は、左側面図が示される。図２は、ショベル１００の一例を示す上面図である。図３は、ショベルの遠隔操作に関する構成の一例を示す図である。以下、ショベル１００の上面視でアタッチメントＡＴが延び出す方向（図２の上方向）を"前"と規定して、ショベル１００における方向、或いは、ショベル１００から見た方向を説明する場合がある。

図１に示すように、稼働支援システムＳＹＳは、ショベル１００と、情報処理装置２００とを含む。

稼働支援システムＳＹＳは、情報処理装置２００を用いて、ショベル１００と連携し、ショベル１００の稼働に関する支援を行う。

稼働支援システムＳＹＳに含まれるショベル１００は、１台であってもよいし、複数台であってもよい。

ショベル１００は、稼働支援システムＳＹＳにおいて、稼働に関する支援の対象の作業機械である。

図１、図２に示すように、ショベル１００は、下部走行体１と、上部旋回体３と、ブーム４、アーム５、及び、バケット６を含むアタッチメントＡＴと、キャビン１０とを備える。

下部走行体１は、クローラ１Ｃを用いて、ショベル１００を走行させる。クローラ１Ｃは、左側のクローラ１ＣＬ及び右側のクローラ１ＣＲを含む。クローラ１ＣＬは、走行油圧モータ１ＭＬで油圧駆動される。同様に、クローラ１ＣＬは、走行油圧モータ１ＭＲで油圧駆動される。これにより、下部走行体１は、自走することができる。

上部旋回体３は、旋回機構２を介して下部走行体１に旋回可能に搭載される。例えば、上部旋回体３は、旋回油圧モータ２Ｍで旋回機構２が油圧駆動されることにより、下部走行体１に対して旋回する。

ブーム４は、左右方向に沿う回転軸を中心として俯仰可能なように、上部旋回体３の前部中央に取り付けられる。アーム５は、左右方向に沿う回転軸を中心として回転可能なように、ブーム４の先端に取り付けられる。バケット６は、左右方向に沿う回転軸を中心として回転可能なように、アーム５の先端に取り付けられる。

バケット６は、エンドアタッチメントの一例であり、例えば、掘削作業に用いられる。

また、バケット６には、クレーン作業（吊り作業）用のフックＨＫが取り付けられる。これにより、ショベル１００は、フックＨＫに吊荷を吊り下げて、下部走行体１、上部旋回体３，及びアタッチメントＡＴの少なくとも一つを動作させることにより、吊荷を所定の搬送先まで搬送するクレーン作業（吊り作業）を行うことができる。

フックＨＫは、基端が、アーム５とバケット６との間を連結するバケットピンに回動可能に連結される。これにより、掘削作業等のクレーン作業以外の作業が行われる場合、２本のバケットリンクの間に形成される空間にフックＨＫを収納することができる。

バケット６は、ショベル１００の作業内容に応じて、適宜交換可能な態様で、アーム５の先端に取り付けられている。つまり、アーム５の先端には、バケット６に代えて、バケット６とは異なる種類のバケット、例えば、相対的に大きい大型バケット、法面用バケット、浚渫用バケット等が取り付けられてもよい。また、アーム５の先端には、バケット以外の種類のエンドアタッチメント、例えば、攪拌機、ブレーカ、クラッシャー等が取り付けられてもよい。また、アーム５と、エンドアタッチメントとの間には、例えば、クイックカップリングやチルトローテータ等の予備アタッチメントが設けられてもよい。

ブーム４、アーム５、及び、バケット６は、それぞれ、ブームシリンダ７、アームシリンダ８、及び、バケットシリンダ９により油圧駆動される。

キャビン１０は、オペレータが搭乗し、ショベル１００を操作するための操縦室である。キャビン１０は、例えば、上部旋回体３の前部左側に搭載される。

例えば、ショベル１００は、キャビン１０に搭乗するオペレータの操作に応じて、下部走行体１（即ち、左右の一対のクローラ１ＣＬ，１ＣＲ）、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素を動作させる。

また、ショベル１００は、キャビン１０に搭乗するオペレータによって操作可能に構成されるのに代えて、或いは、加えて、ショベル１００の外部から遠隔操作（リモート操作）が可能に構成されてもよい。ショベル１００が遠隔操作される場合、キャビン１０の内部は、無人状態であってもよい。以下、オペレータの操作には、キャビン１０のオペレータの操作装置２６に対する操作、及び外部のオペレータの遠隔操作の少なくとも一方が含まれる前提で説明を進める。

例えば、図３に示すように、遠隔操作には、遠隔操作支援装置３００で行われるショベル１００のアクチュエータに関する操作入力によって、ショベル１００が操作される態様が含まれる。

遠隔操作支援装置３００は、例えば、ショベル１００の作業を外部から管理する管理センタ等に設けられる。また、遠隔操作支援装置３００は、可搬型の操作端末であってもよく、この場合、オペレータは、ショベル１００の周辺からショベル１００の作業状況を直接確認しながらショベル１００の遠隔操作を行うことができる。

ショベル１００は、例えば、後述の通信装置６０を利用し、通信回線ＮＷ通じて、後述の撮像装置４０が出力する撮像画像に基づくショベル１００の前方を含む周辺の様子を表す画像（以下、「周辺画像」）を遠隔操作支援装置３００に送信してよい。そして、遠隔操作支援装置３００は、ショベル１００から受信される画像（周辺画像）を表示装置に表示させてよい。また、ショベル１００のキャビン１０の内部の出力装置５０（表示装置）に表示される各種の情報画像（情報画面）は、同様に、遠隔操作支援装置３００の表示装置にも表示されてよい。これにより、遠隔操作支援装置３００を利用するオペレータは、例えば、表示装置に表示されるショベル１００の周辺の様子を表す画像や情報画面等の表示内容を確認しながら、ショベル１００を遠隔操作することができる。そして、ショベル１００は、通信装置６０により遠隔操作支援装置３００から受信される、遠隔操作の内容を表す遠隔操作信号に応じて、アクチュエータを動作させ、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素を駆動してよい。

また、遠隔操作には、例えば、ショベル１００の周囲の人（例えば、作業者）のショベル１００に対する外部からの音声入力やジェスチャ入力等によって、ショベル１００が操作される態様が含まれてよい。具体的には、ショベル１００は、自機に搭載される音声入力装置（例えば、マイクロフォン）やジェスチャ入力装置（例えば、撮像装置）等を通じて、周囲の作業者等により発話される音声や作業者等により行われるジェスチャ等を認識する。そして、ショベル１００は、認識した音声やジェスチャ等の内容に応じて、アクチュエータを動作させ、下部走行体１（左右のクローラ１Ｃ）、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素を駆動してもよい。

また、ショベル１００の作業が遠隔監視されてもよい。この場合、遠隔操作支援装置３００と同様の機能を有する遠隔監視支援装置が設けられてもよい。遠隔監視支援装置は、例えば、情報処理装置２００である。これにより、遠隔監視支援装置のユーザである監視者は、遠隔監視支援装置の表示装置に表示される周辺画像を確認しながら、ショベル１００の作業の状況を監視することができる。また、例えば、監視者は、安全性の観点から必要と判断した場合、遠隔監視支援装置の入力装置を用いて、所定の入力を行うことによって、ショベル１００のオペレータによる操作に介入し緊急停止させることができる。

情報処理装置２００は、通信回線ＮＷを通じて、ショベル１００と通信を行うことにより相互に連携し、ショベル１００の稼働に関する支援を行う。

情報処理装置２００は、例えば、ショベル１００の作業現場内の管理事務所、或いは、ショベル１００の作業現場とは異なる場所にある、ショベル１００の稼働状況等を管理する管理センタ等に設置されるサーバや管理用の端末装置である。管理用の端末装置は、例えば、デスクトップ型のＰＣ（Personal Computer）等の定置型の端末装置であってもよいし、タブレット端末、スマートフォン、ラップトップ型のＰＣ等の可搬型の端末装置（携帯端末）であってもよい。後者の場合、作業現場の作業者や作業を監督する監督者や作業現場を管理する管理者等は、可搬型の情報処理装置２００を所持して作業現場内を移動することができる。また、後者の場合、オペレータは、例えば、可搬型の情報処理装置２００をショベル１００のキャビンに持ち込むことができる。

情報処理装置２００は、例えば、ショベル１００から稼働状態に関するデータを取得する。これにより、情報処理装置２００は、ショベル１００の稼働状態を把握し、ショベル１００の異常の有無等を監視することができる。また、情報処理装置２００は、後述の表示装置２０８を通じて、ショベル１００の稼働状態に関するデータを表示し、ユーザに確認させることができる。

また、情報処理装置２００は、例えば、ショベル１００にコントローラ３０等の処理で利用されるプログラムや参照データ等の各種データをショベル１００に送信する。これにより、ショベル１００は、情報処理装置２００からダウンロードされる各種データを用いて、ショベル１００の稼働に関する各種の処理を行うことができる。

［稼働支援システムのハードウェア構成］
次に、図１～図３に加えて、図４、図５を参照して、稼働支援システムＳＹＳのハードウェア構成について説明する。

＜ショベルのハードウェア構成＞
図４は、ショベル１００のハードウェア構成の一例を示すブロック図である。

尚、図４では、機械的動力が伝達される経路は二重線、油圧アクチュエータを駆動する高圧の作動油が流れる経路は実線、パイロット圧が伝達される経路は破線、電気信号が伝達される経路は点線でそれぞれ示される。

ショベル１００は、被駆動要素の油圧駆動に関する油圧駆動系、被駆動要素の操作に関する操作系、ユーザとの情報のやり取りに関するユーザインタフェース系、外部との通信に関する通信系、及び各種制御に関する制御系等のそれぞれの構成要素を含む。

≪油圧駆動系≫
図４に示すように、ショベル１００の油圧駆動系は、上述の如く、下部走行体１（左右のクローラ１Ｃ）、上部旋回体３、及びアタッチメントＡＴ等の被駆動要素のそれぞれを油圧駆動する油圧アクチュエータＨＡを含む。また、本実施形態に係るショベル１００の油圧駆動系は、エンジン１１と、レギュレータ１３と、メインポンプ１４と、コントロールバルブ１７とを含む。

油圧アクチュエータＨＡには、走行油圧モータ１ＭＬ，１ＭＲ、旋回油圧モータ２Ｍ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９等が含まれる。

尚、ショベル１００は、油圧アクチュエータＨＡの一部又は全部が電動アクチュエータに置換されてもよい。つまり、ショベル１００は、ハイブリッドショベルや電動ショベルであってもよい。

エンジン１１は、ショベル１００の原動機であり、油圧駆動系におけるメイン動力源である。エンジン１１は、例えば、軽油を燃料とするディーゼルエンジンである。エンジン１１は、例えば、上部旋回体３の後部に搭載される。エンジン１１は、後述するコントローラ３０による直接或いは間接的な制御下で、予め設定される目標回転数で一定回転し、メインポンプ１４及びパイロットポンプ１５を駆動する。

尚、エンジン１１に代えて、或いは、加えて、他の原動機（例えば、電動機）等がショベル１００に搭載されてもよい。

レギュレータ１３は、コントローラ３０の制御下で、メインポンプ１４の吐出量を制御（調節）する。例えば、レギュレータ１３は、コントローラ３０からの制御指令に応じて、メインポンプ１４の斜板の角度（以下、「傾転角」）を調節する。

メインポンプ１４は、高圧油圧ラインを通じてコントロールバルブ１７に作動油を供給する。メインポンプ１４は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載される。メインポンプ１４は、上述の如く、エンジン１１により駆動される。メインポンプ１４は、例えば、可変容量式油圧ポンプであり、上述の如く、コントローラ３０の制御下で、レギュレータ１３により斜板の傾転角が調節されることによりピストンのストローク長が調整され、吐出流量や吐出圧が制御される。

コントロールバルブ１７は、オペレータの操作装置２６に対する操作や遠隔操作の内容に応じて、油圧アクチュエータＨＡを駆動する。コントロールバルブ１７は、例えば、上部旋回体３の中央部に搭載される。コントロールバルブ１７は、上述の如く、高圧油圧ラインを介してメインポンプ１４と接続され、メインポンプ１４から供給される作動油を、オペレータの操作に応じて、それぞれの油圧アクチュエータに選択的に供給する。具体的には、コントロールバルブ１７は、メインポンプ１４から油圧アクチュエータＨＡのそれぞれに供給される作動油の流量と流れる方向を制御する複数の制御弁（「方向切換弁」とも称する）を含む。

≪操作系≫
図４に示すように、ショベル１００の操作系は、パイロットポンプ１５と、操作装置２６と、油圧制御弁３１と、シャトル弁３２と、油圧制御弁３３とを含む。

パイロットポンプ１５は、パイロットライン２５を介して各種油圧機器にパイロット圧を供給する。パイロットポンプ１５は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載される。パイロットポンプ１５は、例えば、固定容量式油圧ポンプであり、上述の如く、エンジン１１により駆動される。

尚、パイロットポンプ１５は、省略されてもよい。この場合、メインポンプ１４から吐出される相対的に高い圧力の作動油が所定の減圧弁により減圧された後の相対的に低い圧力の作動油がパイロット圧として各種油圧機器に供給されてよい。

操作装置２６は、キャビン１０の操縦席付近に設けられ、オペレータが各種被駆動要素の操作を行うために用いられる。具体的には、操作装置２６は、オペレータがそれぞれの被駆動要素を駆動する油圧アクチュエータＨＡの操作を行うために用いられ、その結果として、油圧アクチュエータＨＡの駆動対象の被駆動要素のオペレータによる操作を実現することができる。操作装置２６は、それぞれの被駆動要素（油圧アクチュエータＨＡ）を操作するためのペダル装置やレバー装置を含む。

例えば、図４に示すように、操作装置２６は、油圧パイロット式である。具体的には、操作装置２６は、パイロットライン２５及びそこから分岐するパイロットライン２５Ａを通じてパイロットポンプ１５から供給される作動油を利用し、操作内容に応じたパイロット圧を二次側のパイロットライン２７Ａに出力する。パイロットライン２７Ａは、シャトル弁３２の一方の入口ポートに接続され、シャトル弁３２の出口ポートに接続されるパイロットライン２７を介して、コントロールバルブ１７に接続される。これにより、コントロールバルブ１７には、シャトル弁３２を介して、操作装置２６における各種被駆動要素（油圧アクチュエータＨＡ）に関する操作内容に応じたパイロット圧が入力されうる。そのため、コントロールバルブ１７は、オペレータ等による操作装置２６に対する操作内容に応じて、それぞれの油圧アクチュエータＨＡを駆動することができる。

また、操作装置２６は、電気式であってもよい。この場合、パイロットライン２７Ａ、シャトル弁３２、及び油圧制御弁３３は省略される。具体的には、操作装置２６は、操作内容に応じた電気信号（以下、「操作信号」）を出力し、操作信号は、コントローラ３０に取り込まれる。そして、コントローラ３０は、操作信号の内容に応じた制御指令、つまり、操作装置２６に対する操作内容に応じた制御信号を油圧制御弁３１に出力する。これにより、油圧制御弁３１からコントロールバルブ１７に操作装置２６の操作内容に応じたパイロット圧が入力され、コントロールバルブ１７は、操作装置２６の操作内容に応じて、それぞれの油圧アクチュエータＨＡを駆動することができる。

また、コントロールバルブ１７に内蔵される、それぞれの油圧アクチュエータＨＡを駆動する制御弁（方向切換弁）は、電磁ソレノイド式であってもよい。この場合、操作装置２６から出力される操作信号がコントロールバルブ１７に、即ち、電磁ソレノイド式の制御弁に直接入力されてもよい。

また、上述の如く、油圧アクチュエータＨＡの一部又は全部は電動アクチュエータに置換されてもよい。この場合、コントローラ３０は、操作装置２６の操作内容や遠隔操作信号で規定される遠隔操作の内容に応じた制御指令を電動アクチュエータ或いは電動アクチュエータを駆動するドライバ等に出力してよい。また、ショベル１００が遠隔操作される場合、操作装置２６は省略されてもよい。

油圧制御弁３１は、操作装置２６の操作対象の被駆動要素（油圧アクチュエータＨＡ）ごと且つ被駆動要素（油圧アクチュエータＨＡ）の駆動方向（例えば、ブーム４の上げ方向及び下げ方向）ごとに設けられる。つまり、複動式である油圧アクチュエータＨＡごとに、２つの油圧制御弁３１が設けられる。油圧制御弁３１は、例えば、パイロットポンプ１５とコントロールバルブ１７との間のパイロットライン２５Ｂに設けられ、その流路面積（即ち、作動油が通流可能な断面積）を変更可能に構成されてよい。これにより、油圧制御弁３１は、パイロットライン２５Ｂを通じて供給されるパイロットポンプ１５の作動油を利用して、所定のパイロット圧を二次側のパイロットライン２７Ｂに出力することができる。そのため、油圧制御弁３１は、パイロットライン２７Ｂとパイロットライン２７の間のシャトル弁３２を通じて、間接的に、コントローラ３０からの制御信号に応じた所定のパイロット圧をコントロールバルブ１７に作用させることができる。

コントローラ３０は、例えば、油圧制御弁３１を制御し、ショベル１００の遠隔操作を実現する。具体的には、コントローラ３０は、通信装置６０によって、遠隔操作支援装置３００から受信される遠隔操作信号で指定される遠隔操作の内容に対応する制御信号を油圧制御弁３１に出力する。これにより、コントローラ３０は、油圧制御弁３１から遠隔操作の内容に対応するパイロット圧をコントロールバルブ１７に供給させ、オペレータの遠隔操作に基づくショベル１００の動作を実現することができる。

また、操作装置２６が電気式の場合、コントローラ３０は、油圧制御弁３１から操作装置２６の操作内容（操作信号）に応じたパイロット圧を直接的にコントロールバルブ１７に供給させ、オペレータの操作に基づくショベル１００の動作を実現することができる。

シャトル弁３２は、２つの入口ポートと１つの出口ポートを有し、２つの入口ポートに入力されたパイロット圧のうちの高い方のパイロット圧を有する作動油を出口ポートに出力させる。シャトル弁３２は、操作装置２６の操作対象の被駆動要素（油圧アクチュエータＨＡ）ごと且つ被駆動要素（油圧アクチュエータＨＡ）の駆動方向ごとに設けられる。シャトル弁３２の２つの入口ポートのうちの一方が操作装置２６（具体的には、操作装置２６に含まれる上述のレバー装置やペダル装置）の二次側のパイロットライン２７Ａに接続され、他方が油圧制御弁３１の二次側のパイロットライン２７Ｂに接続される。シャトル弁３２の出口ポートは、パイロットライン２７を通じて、コントロールバルブ１７の対応する制御弁のパイロットポートに接続される。対応する制御弁とは、シャトル弁３２の一方の入口ポートに接続される上述のレバー装置或いはペダル装置の操作対象である油圧アクチュエータを駆動する制御弁である。そのため、これらのシャトル弁３２は、それぞれ、操作装置２６の二次側のパイロットライン２７Ａのパイロット圧と油圧制御弁３１の二次側のパイロットライン２７Ｂのパイロット圧のうちの高い方を、対応する制御弁のパイロットポートに作用させることができる。つまり、コントローラ３０は、操作装置２６の二次側のパイロット圧よりも高いパイロット圧を油圧制御弁３１から出力させることで、オペレータの操作装置２６に対する操作に依らず、対応する制御弁を制御することができる。よって、コントローラ３０は、オペレータの操作装置２６に対する操作状態に依らず、被駆動要素（下部走行体１、上部旋回体３、アタッチメントＡＴ）の動作を制御し、遠隔操作機能を実現することができる。

油圧制御弁３３は、操作装置２６とシャトル弁３２とを接続するパイロットライン２７Ａに設けられる。油圧制御弁３３は、例えば、その流路面積を変更可能なように構成される。油圧制御弁３３は、コントローラ３０から入力される制御信号に応じて動作する。これにより、コントローラ３０は、オペレータにより操作装置２６が操作されている場合に、操作装置２６から出力されるパイロット圧を強制的に減圧させることができる。そのため、コントローラ３０は、操作装置２６が操作されている場合であっても、操作装置２６の操作に対応する油圧アクチュエータの動作を強制的に抑制させたり停止させたりすることができる。また、コントローラ３０は、例えば、操作装置２６が操作されている場合であっても、操作装置２６から出力されるパイロット圧を減圧させ、油圧制御弁３１から出力されるパイロット圧よりも低くすることができる。そのため、コントローラ３０は、油圧制御弁３１及び油圧制御弁３３を制御することで、例えば、操作装置２６の操作内容とは無関係に、所望のパイロット圧をコントロールバルブ１７内の制御弁のパイロットポートに確実に作用させることができる。よって、コントローラ３０は、例えば、油圧制御弁３１に加えて、油圧制御弁３３を制御することで、ショベル１００の遠隔操作機能をより適切に実現することができる。

≪ユーザインタフェース系≫
図４に示すように、ショベル１００のユーザインタフェース系は、操作装置２６と、出力装置５０と、入力装置５２とを含む。

出力装置５０は、ショベル１００のユーザ（例えば、キャビン１０のオペレータや外部の遠隔操作のオペレータ）やショベル１００の周辺の人（例えば、作業者や作業車両の運転者）等に向けて各種情報を出力する。

例えば、出力装置５０は、視覚的な方法で各種情報を出力する照明機器や表示装置５０Ａ（図６参照）等を含む。照明機器は、例えば、警告灯（インジケータランプ）等である。表示装置５０Ａは、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイ等である。例えば、図２に示すように、照明機器や表示装置５０Ａは、キャビン１０の内部に設けられ、キャビン１０の内部のオペレータ等に視覚的な方法で各種情報を出力してよい。また、照明機器や表示装置５０Ａは、例えば、上部旋回体３の側面等に設けられ、ショベル１００の周囲の作業者等に視覚的な方法で各種情報を出力してもよい。

また、例えば、出力装置５０は、聴覚的な方法で各種情報を出力する音出力装置５０Ｂ（図６参照）を含む。音出力装置５０Ｂには、例えば、ブザーやスピーカ等が含まれる。音出力装置５０Ｂは、例えば、キャビン１０の内部及び外部の少なくとも一方に設けられ、キャビン１０の内部のオペレータやショベル１００の周囲の人（作業者等）に聴覚的な方法で各種情報を出力してよい。

また、例えば、出力装置５０は、操縦席の振動等の触覚的な方法で各種情報を出力する装置を含んでもよい。

入力装置５２は、ショベル１００のユーザからの各種入力を受け付け、受け付けられる入力に対応する信号は、コントローラ３０に取り込まれる。入力装置５２は、例えば、キャビン１０の内部に設けられ、キャビン１０の内部のオペレータ等からの入力を受け付ける。また、入力装置５２は、例えば、上部旋回体３の側面等に設けられ、ショベル１００の周辺の作業者等からの入力を受け付けてもよい。

例えば、入力装置５２は、ユーザからの機械的な操作による入力を受け付ける操作入力装置を含む。操作入力装置には、表示装置に実装されるタッチパネル、表示装置の周囲に設置されるタッチパッド、ボタンスイッチ、レバー、トグル、操作装置２６（レバー装置）に設けられるノブスイッチ等が含まれてよい。

また、例えば、入力装置５２は、ユーザの音声入力を受け付ける音声入力装置を含んでもよい。音声入力装置には、例えば、マイクロフォンが含まれる。

また、例えば、入力装置５２は、ユーザのジェスチャ入力を受け付けるジェスチャ入力装置を含んでもよい。ジェスチャ入力装置には、例えば、ユーザが行うジェスチャの様子を撮像する撮像装置が含まれる。

また、例えば、入力装置５２は、ユーザの生体入力を受け付ける生体入力装置を含んでもよい。生体入力には、例えば、ユーザの指紋、虹彩等の生体情報の入力が含まれる。

≪通信系≫
図４に示すように、本実施形態に係るショベル１００の通信系は、通信装置６０を含む。

通信装置６０は、外部の通信回線ＮＷに接続し、ショベル１００と別に設けられる装置と通信を行う。ショベル１００と別に設けられる装置には、ショベル１００の外部にある装置の他、ショベル１００のユーザによってキャビン１０に持ち込まれる可搬型の端末装置（携帯端末）が含まれてもよい。通信装置６０は、例えば、４Ｇ（4^th Generation）や５Ｇ（5^th Generation）等の規格に準拠する移動体通信モジュールを含んでよい。また、通信装置６０は、例えば、衛星通信モジュールを含んでもよい。また、通信装置６０は、例えば、ＷｉＦｉ通信モジュールやブルートゥース（登録商標）通信モジュール等を含んでもよい。また、通信装置６０は、接続対象の通信回線ＮＷに合わせて、複数の通信装置を含んでもよい。

例えば、通信装置６０は、作業現場に構築される局所的な通信回線ＮＷを通じて、作業現場内の情報処理装置２００や遠隔操作支援装置３００等の外部装置と通信を行う。局所的な通信回線ＮＷは、例えば、作業現場に構築される局所的な５Ｇ（いわゆるローカル５Ｇ）による移動体通信回線やＷｉＦｉ６によるローカルネットワーク（ＬＡＮ：Local Area Network）である。

また、例えば、通信装置６０は、作業現場を含む広域の通信回線ＮＷ、即ち、広域ネットワーク（ＷＡＮ：Wide Area Network）を通じて、作業現場の外部にある情報処理装置２００や遠隔操作支援装置３００等と通信を行う。広域ネットワークは、例えば、広域の移動体通信網や衛星通信網やインターネット網等を含む。

≪制御系≫
図４に示すように、ショベル１００の制御系は、コントローラ３０を含む。また、本実施形態に係るショベル１００の制御系は、操作圧センサ２９と、撮像装置４０とを含む。

コントローラ３０は、ショベル１００に関する各種制御を行う。

コントローラ３０の機能は、任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。例えば、図４に示すように、コントローラ３０は、バスＢ１で接続される、補助記憶装置３０Ａ、メモリ装置３０Ｂ、ＣＰＵ（Central Processing Unit）３０Ｃ、及びインタフェース装置３０Ｄを含む。

補助記憶装置３０Ａは、不揮発性の記憶手段であり、インストールされるプログラムを格納すると共に、必要なファイルやデータ等を格納する。補助記憶装置３０Ａは、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）やフラッシュメモリ等である。

メモリ装置３０Ｂは、例えば、プログラムの起動指示があった場合に、補助記憶装置３０ＡのプログラムをＣＰＵ３０Ｃが読み込み可能なようにロードする。メモリ装置３０Ｂは、例えば、ＳＲＡＭ（Static Random Access Memory）である。

ＣＰＵ３０Ｃは、例えば、メモリ装置３０Ｂにロードされるプログラムを実行し、プログラムの命令に従って、コントローラ３０の各種機能を実現する。

インタフェース装置３０Ｄは、例えば、ショベル１００の内部の通信回線に接続するための通信インタフェースとして機能する。インタフェース装置３０Ｄは、接続する通信回線の種類に合わせて、複数の異なる種類の通信インタフェースを含んでよい。

また、インタフェース装置３０Ｄは、記録媒体からのデータの読み取りや記録媒体へのデータの書き込みのための外部インタフェースとして機能する。記録媒体は、例えば、キャビン１０の内部に設置されるコネクタに着脱可能なケーブルで接続される専用ツールである。また、記録媒体は、例えば、ＳＤメモリカードやＵＳＢ（Universal Serial Bus）メモリ等の汎用の記録媒体であってもよい。これにより、コントローラ３０の各種機能を実現するプログラムは、例えば、可搬型の記録媒体によって提供され、コントローラ３０の補助記憶装置３０Ａにインストールされうる。また、プログラムは、通信装置６０を通じて、ショベル１００の外部の他のコンピュータからダウンロードされ、補助記憶装置３０Ａにインストールされてもよい。

尚、コントローラ３０の機能の一部は、他のコントローラ（制御装置）により実現されてもよい。即ち、コントローラ３０の機能は、複数のコントローラにより分散して実現される態様であってもよい。

操作圧センサ２９は、油圧パイロット式の操作装置２６の二次側（パイロットライン２７Ａ）のパイロット圧、即ち、操作装置２６におけるそれぞれの被駆動要素（油圧アクチュエータ）の操作状態に対応するパイロット圧を検出する。操作圧センサ２９による操作装置２６におけるそれぞれの被駆動要素（油圧アクチュエータＨＡ）に関する操作状態に対応するパイロット圧の検出信号は、コントローラ３０に取り込まれる。

尚、操作装置２６が電気式である場合、操作圧センサ２９は省略される。コントローラ３０は、操作装置２６から取り込まれる操作信号に基づき、操作装置２６を通じたそれぞれの被駆動要素の操作状態を把握することができるからである。

撮像装置４０は、ショベル１００の周辺の画像を取得する。また、撮像装置４０は、取得した画像及び後述の距離に関するデータに基づき、撮像範囲（画角）内におけるショベル１００の周辺の物体の位置及び外形を表す三次元データ（以下、単に「物体の三次元データ」）を取得（生成）してもよい。ショベル１００の周辺の物体の三次元データは、例えば、物体の表面を表す点群の座標情報のデータや距離画像データ等である。

例えば、図２に示すように、撮像装置４０は、上部旋回体３の前方を撮像するカメラ４０Ｆ、上部旋回体３の後方を撮像するカメラ４０Ｂ、上部旋回体３の左方を撮像するカメラ４０Ｌ、及び上部旋回体３の右方を撮像するカメラ４０Ｒを含む。これにより、撮像装置４０は、ショベル１００の上面視において、ショベル１００を中心とする全周、即ち３６０度の角度方向に亘る範囲を撮像することができる。また、オペレータは、出力装置５０（表示装置）や遠隔操作用表示装置を通じて、カメラ４０Ｂ，４０Ｌ，４０Ｒの撮像画像や当該撮像画像に基づき生成される加工画像等の周辺画像を視認し、上部旋回体３の左方、右方、及び後方の様子を確認することができる。また、オペレータは、遠隔操作用表示装置を通じて、カメラ４０Ｆの撮像画像や当該撮像画像に基づき生成される加工画像等の周辺画像を視認することで、バケット６を含むアタッチメントＡＴの動作を確認しながら、ショベル１００を遠隔操作することができる。以下、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒを包括的に、或いは、個別に、「カメラ４０Ｘ」と称する場合がある。

カメラ４０Ｘは、例えば、単眼カメラである。また、カメラ４０Ｘは、例えば、ステレオカメラ、ＴＯＦ（Time Of Flight）カメラ等（以下、包括的に「３Ｄカメラ」）のように、二次元の画像に加えて、距離（深度）に関するデータを取得可能であってもよい。

撮像装置４０（カメラ４０Ｘ）の出力データ（例えば、画像データやショベル１００の周辺の物体の三次元データ等）は、一対一の通信線や車載ネットワークを通じて、コントローラ３０に取り込まれる。これにより、例えば、コントローラ３０は、カメラ４０Ｘの出力データに基づき、ショベル１００の周辺の物体に関する監視を行うことができる。また、例えば、コントローラ３０は、カメラ４０Ｘの出力データに基づき、ショベル１００の周辺環境を判断することができる。また、例えば、コントローラ３０は、カメラ４０Ｘ（カメラ４０Ｆ）の出力データに基づき、撮像画像に映るアタッチメントＡＴの姿勢状態を判断することができる。また、例えば、コントローラ３０は、カメラ４０Ｘの出力データに基づき、ショベル１００の周辺の物体を基準として、ショベル１００の機体（上部旋回体３）の姿勢状態を判断することができる。

尚、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒのうちの一部が省略されてもよい。例えば、ショベル１００の遠隔操作が行われない場合、カメラ４０Ｆやカメラ４０Ｌは、省略されてもよい。ショベル１００の前方や左側方の様子は、キャビン１０のオペレータから見て、比較的確認しやすいからである。また、撮像装置４０（カメラ４０Ｘ）に代えて、或いは、加えて、距離センサが上部旋回体３に設けられてもよい。距離センサは、例えば、上部旋回体３の上部に取り付けられ、ショベル１００を基準とする周辺の物体の距離及び方向に関するデータを取得する。また、距離センサは、取得したデータに基づき、センシング範囲内におけるショベル１００の周辺の物体の三次元データ（例えば、点群の座標情報のデータ）を取得（生成）してもよい。距離センサは、例えば、ＬＩＤＡＲ（Light Detection and Ranging）である。また、例えば、距離センサは、例えば、ミリ波レーダや超音波センサや赤外線センサ等であってもよい。

＜情報処理装置のハードウェア構成＞
図５は、情報処理装置２００のハードウェア構成の一例を示すブロック図である。

情報処理装置２００の機能は、任意のハードウェア或いは任意のハードウェア及びソフトウェアの組み合わせ等により実現される。例えば、図５に示すように、情報処理装置２００は、バスＢ２で接続される、外部インタフェース２０１、補助記憶装置２０２、メモリ装置２０３、ＣＰＵ２０４、高速演算装置２０５、通信インタフェース２０６、入力装置２０７、及び表示装置２０８を含む。

外部インタフェース２０１は、記録媒体２０１Ａからデータの読み取りや記録媒体２０１Ａへのデータの書き込みのためのインタフェースとして機能する。記録媒体２０１Ａには、例えば、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）、ＳＤメモリカード、ＵＳＢメモリ等が含まれる。これにより、情報処理装置２００は、記録媒体２０１Ａを通じて、処理で利用する各種データを読み込み、補助記憶装置２０２に格納したり、各種機能を実現するプログラムをインストールしたりすることができる。

尚、情報処理装置２００は、通信インタフェース２０６を通じて、外部装置から処理で利用する各種データやプログラムを取得してもよい。

補助記憶装置２０２は、インストールされた各種プログラムを格納すると共に、各種処理に必要なファイルやデータ等を格納する。補助記憶装置２０２は、例えば、ＨＤＤ（Hard Disc Drive）やＳＳＤ（Solid State Disc）やフラッシュメモリ等を含む。

メモリ装置２０３は、プログラムの起動指示があった場合に、補助記憶装置２０２からプログラムを読み出して格納する。メモリ装置２０３は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭを含む。

ＣＰＵ２０４は、補助記憶装置２０２からメモリ装置２０３にロードされた各種プログラムを実行し、プログラムに従って情報処理装置２００に関する各種機能を実現する。

高速演算装置２０５は、ＣＰＵ２０４と連動し、相対的に高い速度で演算処理を行う。高速演算装置２０５は、例えば、ＧＰＵ（Graphics Processing Unit）やＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等を含む。

尚、高速演算装置２０５は、必要な演算処理の速度に応じて、省略されてもよい。

通信インタフェース２０６は、外部機器と通信可能に接続するためのインタフェースとして用いられる。これにより、情報処理装置２００は、通信インタフェース２０６を通じて、例えば、ショベル１００等の外部機器と通信することができる。また、通信インタフェース２０６は、接続される機器との間の通信方式等によって、複数の種類の通信インタフェースを有してもよい。

入力装置２０７は、ユーザから各種入力を受け付ける。

入力装置２０７は、例えば、ユーザからの機械的な操作入力を受け付ける操作入力装置を含む。操作入力装置は、例えば、ボタン、トグル、レバー等を含む。また、操作入力装置は、例えば、表示装置２０８に実装されるタッチパネル、表示装置２０８とは別に設けられるタッチパッド等を含む。

また、入力装置２０７は、例えば、ユーザからの音声入力を受付可能な音声入力装置を含む。音声入力装置は、例えば、ユーザの音声を集音可能なマイクロフォンを含む。

また、入力装置２０７は、例えば、ユーザからのジェスチャ入力を受付可能なジェスチャ入力装置を含む。ジェスチャ入力装置は、例えば、ユーザのジェスチャの様子を撮像可能なカメラを含む。

また、入力装置２０７は、例えば、ユーザからの生体入力を受付可能な生体入力装置を含む。生体入力装置は、例えば、ユーザの指紋や虹彩に関する情報を内包する画像データを取得可能なカメラを含む。

表示装置２０８は、ユーザに向けて、情報画面や操作画面を表示する。例えば、表示装置２０８には、上述の遠隔操作用表示装置が含まれる。表示装置２０８は、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイ等である。

尚、遠隔操作支援装置３００についても、情報処理装置２００と同様、任意のハードウェア或いは任意のハードウェア及びソフトウェアの組み合わせ等により実現され、同様のハードウェア構成が採用されてよい。例えば、遠隔操作支援装置３００は、情報処理装置２００（図５）と同様、ＣＰＵ、メモリ装置、補助記憶装置、インタフェース装置、入力装置、及び表示装置を含むコンピュータを中心に構成される。メモリ装置は、例えば、ＳＲＡＭやＤＲＡＭ等である。補助記憶装置は、例えば、ＨＤＤやＳＳＤやＥＥＰＲＯＭやフラッシュメモリ等である。インタフェース装置は、外部の記録媒体と接続するための外部インタフェースやショベル１００等の外部と通信を行う通信インタフェースを含む。入力装置は、例えば、レバー式の操作入力装置を含む。これにより、オペレータは、操作入力装置を用いて、ショベル１００のアクチュエータに関する操作入力を行い、遠隔操作支援装置３００は、通信インタフェースを用いて、操作入力に対応する信号をショベル１００に送信することができる。そのため、オペレータは、遠隔操作支援装置を利用したショベル１００の遠隔操作を行うことができる。

［操作支援装置の機能構成］
次に、図１～図５に加えて、図６～図８を参照して、ショベル１００に搭載される操作支援装置１５０の機能構成について説明する。

＜第１例＞
図６は、操作支援装置１５０の機能構成の第１例を示すブロック図である。図７は、表示装置５０Ａに表示される、ショベル１００の操作に関する指示を通知する画面（以下、「操作指示通知画面」）の一例（操作指示通知画面８００）を示す図である。

操作支援装置１５０は、キャビン１０に搭乗するオペレータＯＰによるショベル１００の操作を支援する。

図６に示すように、操作支援装置１５０は、操作装置２６と、コントローラ３０と、撮像装置４０と、出力装置５０と、通信装置６０とを含む。

コントローラ３０は、機能部として、操作指示受付部３０１と、操作指示通知部３０２とを含む。

操作指示受付部３０１は、ショベル１００の外部からのショベル１００の操作に関する指示を受け付ける。ショベル１００の操作に関する指示には、例えば、操作対象の被駆動要素を指定し、その被駆動要素を特定の方向に操作させるための指示（以下、便宜的に、「被駆動要素を指定しての操作指示」）を含む。被駆動要素を指定しての操作指示には、例えば、ブーム４の上げ方向或いは下げ方向の操作の指示や上部旋回体３の左旋回方向或いは右旋回方向への操作の指示等が含まれる。また、ショベル１００の操作に関する指示には、所定の作業に含まれるショベル１００の所定の動作を指定し、その動作を実施させる操作の指示（以下、便宜的に「動作を指定しての操作指示」）を含む。所定の作業には、例えば、クレーン作業等のように一連の複数のショベル１００の動作の組み合わせによって実現される作業が含まれる。クレーン作業は、例えば、所定の動作として、吊荷の持ち上げ動作、吊荷の水平移動の動作、吊荷の持ち下げ動作、及び吊荷の移動を停止させる動作等により構成される。吊荷の水平移動の動作には、下部走行体１の走行による吊荷の水平移動の動作、及び上部旋回体３の旋回による吊荷の水平移動の動作が含まれる。また、ショベルの操作に関する指示には、現在の操作に伴う被駆動要素の動作速度や吊荷の移動速度等の調整の指示（以下、便宜的に「速度調整指示」）が含まれる。速度調整指示には、例えば、速度を上げる指示、速度を下げる指示が含まれる。また、速度を上げる指示及び速度を下げる指示のそれぞれには、速度の上げ幅や下げ幅を指定する指示が含まれていてもよい。また、ショベル１００の操作に関する指示には、ショベル１００を操作して実施される作業の手順（段取り）に関する指示（以下、「作業手順指示」）が含まれる。作業手順指示には、動作の順序等が決まっていない作業について、動作の順序を示す指示や複数の作業を続けて実施する場合の作業の順序を示す指示等が含まれる。

例えば、操作指示受付部３０１は、ショベル１００の周辺の人（以下、便宜的に「指示者」）からのショベル１００の操作に関する指示を受け付ける。指示者は、例えば、同じ作業を連携して行う作業者やショベル１００の作業を監督する監督者やショベル１００の作業現場を管理する管理者等である。

具体的には、操作指示受付部３０１は、撮像装置４０の撮像画像（動画像）に基づき、既知の画像認識技術等を用いることで、ショベル１００の周辺の指示者により実施される、ショベル１００の操作に関する指示を表すジェスチャを認識してよい。これにより、操作指示受付部３０１は、認識したジェスチャに対応するショベル１００の操作に関する指示を受け付けることができる。

ショベル１００の操作に関する指示を表すジェスチャは、対象の指示内容ごとに予め規定され、指示内容ごとのジェスチャに関する情報は、補助記憶装置３０Ａ等に予め登録される。例えば、被駆動要素を指定しての操作指示の場合、ブーム４の上げ方向の操作、ブーム４の下げ方向の操作、上部旋回体３の左旋回方向の操作、及び上部旋回体３の右旋回方向の操作等の指示内容ごとに、互いに異なるジェスチャが予め規定される。また、例えば、クレーン作業に関する動作指示の場合、吊荷を持ち上げる動作、吊荷を水平移動させる動作、吊荷を持ち下げる動作、吊荷の移動を停止させる動作、吊荷を微動させる動作等の指示内容ごとにジェスチャが予め規定される。吊荷を微動させる動作を規定するジェスチャには、その動作方向や動作量を指定する指示内容が含まれてもよい。また、例えば、速度調整指示の場合、速度を上げる指示、速度を下げる指示等の指示内容ごとにジェスチャが予め規定される。速度を上げる指示や速度を下げる指示を規定するジェスチャには、速度の上げ幅や下げ幅を規定するジェスチャが含まれてもよい。また、例えば、作業手順指示の場合、複数の動作ごと或いは複数の作業ごとにジェスチャが予め規定され、そのジェスチャを組みわせることにより作業手順指示が実現される。

尚、操作指示受付部３０１は、距離センサの出力に基づき、ショベル１００の周辺の指示者のジェスチャを認識してもよい。

また、操作指示受付部３０１は、ショベル１００の周辺の指示者が所持する情報処理装置２００から受信される、ショベル１００の操作に関する指示を含む信号（以下、「指示信号」）に基づき、ショベル１００の操作に関する指示を受け付けてもよい。この場合、情報処理装置２００は、入力装置２０７を通じた指示者からの入力に応じて、その入力で指定されるショベル１００の操作に関する指示の内容を含む指示信号を送信し、ショベル１００は、通信装置６０を通じて、指示信号を受信する。これにより、ショベル１００の周辺の指示者は、情報処理装置２００を用いて、ショベル１００（オペレータＯＰ）に向けて、ショベル１００の操作に関する指示を出すことができる。

また、操作指示受付部３０１は、情報処理装置２００を通じて、ショベル１００の作業を遠隔監視する監視者からのショベル１００の操作に関する指示を受け付ける。例えば、クレーン作業の場合、作業現場の作業者等は、クレーンからある程度離れる必要があることから、監視者の方が吊荷の状況をより適切に把握しながら、ショベル１００の操作に関する指示を出すことが可能な場面がありうるからである。

具体的には、操作指示受付部３０１は、監視者が使用する情報処理装置２００から受信される、ショベル１００の操作に関する指示を含む信号（指示信号）に基づき、ショベル１００の操作に関する指示を受け付けてよい。この場合、情報処理装置２００は、入力装置２０７を通じた指示者からの入力に応じて、その入力で指定されるショベル１００の操作に関する指示の内容を含む指示信号を送信し、ショベル１００は、通信装置６０を通じて、指示信号を受信する。これにより、ショベル１００の周辺の指示者は、情報処理装置２００を用いて、ショベル１００（オペレータＯＰ）に向けて、ショベル１００の操作に関する指示を出すことができる。

操作指示通知部３０２は、出力装置５０を通じて、操作指示受付部３０１により受け付けられる、ショベル１００の操作に関する指示をショベル１００のオペレータＯＰに通知する。操作指示通知部３０２は、表示装置５０Ａ等を通じて、視覚的な方法で通知を行ってもよいし、音出力装置５０Ｂを通じて、聴覚的な方法で通知を行ってもよいし、その両方で通知を行ってもよい。

例えば、操作指示通知部３０２は、出力装置５０を通じて、ショベル１００の操作に関する指示の内容をそのまま通知する。

また、操作指示通知部３０２は、出力装置５０を通じて、ショベル１００の操作に関する指示の内容に応じた、操作装置２６の操作方法を通知してもよい（図７参照）。これにより、操作装置２６の具体的な操作方法が通知されることから、例えば、ショベル１００の操作実績が相対的に少ないオペレータＯＰが操作を行う場合であっても、ショベル１００の操作に関する指示の内容を容易に把握することができる。

図７に示すように、操作指示通知画面８００には、操作装置２６に含まれるレバー装置を模した画像８０１が表示される。画像８０１には、運転席の左側の操作レバーを模した画像８０１Ｌと、運転席の右側の操作レバーを模した画像８０１Ｒを含む。運転席の左側の操作レバーは、例えば、前後方向の操作によりアーム５を操作し、左右方向の開閉操作により上部旋回体３を旋回操作するために用いられる。運転席の右側の操作レバーは、例えば、前後方向の操作によりブーム４の上げ下げの操作をし、左右方向の操作によりバケット６を開閉操作するために用いられる。

本例では、運転席の右側の操作レバーの画像８０１Ｒの上に重畳して、操作対象であることを示すマーカ画像８０２が表示される。これにより、オペレータＯＰは、右側の操作レバーが操作対象であることを容易に認識することができる。

また、本例では、運転席の操作レバーの画像８０１Ｒに付随して操作方向を示す下向きの矢印画像８０３が表示される。これにより、オペレータＯＰは、右側の操作レバーを下方向に操作する指示（即ち、ブーム４を下げる操作の指示）がされていることを容易に認識することができる。

尚、操作指示通知部３０２は、表示装置５０Ａに代えて、或いは、加えて、操作装置２６に取り付けられる照明装置（インジケータランプ）を用いて、ショベル１００の操作に関する指示の内容に応じた、操作装置２６の操作方法を通知してもよい。例えば、運転席の左側の操作レバー及び右側の操作レバーには、操作対象を示すインジケータランプ及び操作方向を示すインジケータランプが搭載される。

このように、本例では、コントローラ３０は、ショベル１００の外部からのショベル１００の操作に関する指示を、出力装置５０を通じてオペレータＯＰに通知することができる。そのため、オペレータＯＰは、ショベル１００の外部からの指示を確認した上で、より適切にショベル１００の操作を行うことができる。

また、本例では、ショベル１００の操作に関する指示がショベル１００（コントローラ３０）により受け付けられ、その受け付けられたショベル１００の操作に関する指示が、オペレータＯＰにより認識された上で、オペレータＯＰが操作を行う。そのため、ショベル１００の外部からの指示に対して、ショベル１００及びオペレータＯＰのダブルチェックの後に、ショベル１００が動作することから、より適切にショベル１００を動作させることができる。

＜第２例＞
図８は、操作支援装置１５０の機能構成の第２例を示す機能ブロック図である。

以下の上述の第１例（図６）と異なる部分を中心に説明し、上述の第１例と同じ或いは対応する内容の説明を省略する場合がある。

尚、図８では、便宜的に、情報処理装置２００からの信号の受信機能を表す通信装置６０と、情報処理装置２００への信号の送信機能を表す通信装置６０とが別個に描画されている。

図８に示すように、操作支援装置１５０は、コントローラ３０と、撮像装置４０と、出力装置５０と、油圧制御弁３３とを含む。

コントローラ３０は、機能部として、操作指示受付部３０１と、操作指示通知部３０２と、操作内容評価部３０３と、記憶部３０４と、送信部３０５とを含む。

操作内容評価部３０３は、操作指示受付部３０１により受け付けられ操作指示通知部３０２により通知される、ショベル１００の操作に関する指示の内容に対して、実際のオペレータの操作の内容を評価する。

例えば、操作内容評価部３０３は、ショベル１００の操作に関する指示の内容と、操作指示通知部３０２の通知後の実際のオペレータＯＰの操作装置２６に対する操作入力の内容との間に差異があるか否かを評価する。そして、操作内容評価部３０３は、ショベル１００の操作に関する指示の内容と、実際のオペレータＯＰの操作装置２６に対する操作入力の内容との間に差異がある場合、出力装置５０を通じて、その旨をユーザに報知してよい。操作内容評価部３０３は、表示装置５０Ａ等を通じて、視覚的な方法で報知を行ってもよいし、音出力装置５０Ｂを通じて、聴覚的な方法で報知を行ってもよいし、その両方で報知を行ってもよい。これにより、例えば、オペレータＯＰが行った操作について、ショベル１００の外部からのショベル１００の操作に関する指示と異なる操作であったことをオペレータＯＰに警告することができる。

また、操作内容評価部３０３は、ショベル１００の操作に関する指示の内容と、実際のオペレータＯＰの操作装置２６に対する操作入力の内容との間に差異がある場合、油圧制御弁３３を制御し、ショベル１００の動作を制限してもよい。ショベル１００の動作の制限には、例えば、オペレータの操作に依らず被駆動要素を停止させ停止状態を維持させる、ショベル１００の動作の停止が含まれる。また、ショベル１００の動作の制限には、例えば、オペレータの操作に対する被駆動要素の動作を通常よりも遅くする、ショベル１００の動作の減速が含まれてもよい。ショベル１００の動作の制限の被駆動要素は、全ての被駆動要素であってもよいし、実際のオペレータＯＰの操作装置２６に対する操作入力で動作する対象の被駆動要素を含む一部の被駆動要素のみであってもよい。これにより、オペレータＯＰがショベル１００の操作に関する指示の内容と異なる操作を行った場合であっても、ショベル１００の動作を制限し、ショベル１００の安全性を向上させることができる。

また、操作内容評価部３０３は、ショベル１００の操作に関する指示の内容と、実際のオペレータＯＰの操作装置２６に対する操作入力の内容との間に差異がある場合、記憶部
３０４にその旨を表すログを記録してもよい。ログには、例えば、ショベル１００の操作に関する指示の内容と、実際のオペレータＯＰの操作装置２６に対する操作入力の内容との間に差異が生じた日時を表す情報、及びその事実を表す情報が含まれる。また、ログには、ショベル１００の操作に関する指示の内容と、実際のオペレータＯＰの操作装置２６に対する操作入力の内容とが含まれてもよい。また、ログには、ショベル１００の操作に関する指示の内容と、実際のオペレータＯＰの操作装置２６に対する操作入力の内容との間に差異が生じたときのショベル１００の稼働状態に関するデータが含まれてもよい。ショベル１００の稼働状態に関するデータには、例えば、撮像装置４０の画像データが含まれる。これにより、例えば、記憶部３０４に蓄積されるログを分析し、指示者の指示に関する評価やオペレータの操作に関する評価やショベル１００の作業に関する評価等に役立てることができる。

記憶部３０４には、上記のログのデータが記憶される。

尚、記憶部３０４のログのデータは、後述の送信部３０５により情報処理装置２００にアップロードされると、その後、所定のタイミングで消去されてもよい。

送信部３０５は、記憶部３０４のログのデータを情報処理装置２００に送信（アップロード）する。

例えば、送信部３０５は、例えば、所定のタイミングで自動的に記憶部３０４の未送信分のログを情報処理装置２００に送信する。所定のタイミングは、例えば、ショベル１００の稼働が停止されるタイミング（即ち、キースイッチオフのタイミング）やショベル１００の稼働が開始されるタイミング（即ち、キースイッチオンのタイミング）等である。

また、送信部３０５は、通信装置６０を通じて情報処理装置２００から受信される、ログのデータの送信を要求する信号に応じて、記憶部３０４の未送信のログのデータを情報処理装置２００に送信してもよい。

このように、本例では、コントローラ３０は、ショベル１００の操作に関する指示の内容と、実施のオペレータＯＰの操作入力に内容との差異を評価することができる。そのため、オペレータＯＰの操作が指示と異なるような状況で、オペレータＯＰに警告を行ったり、ショベル１００の動作を制限したりし、ショベル１００の安全性を向上させることができる。

［他の実施形態］
次に、図９を参照して、他の実施形態について説明する。

図９は、作業機械の他の例を示す図である。具体的には、クローラクレーン４００の一例を示す側面図である。

上述の実施形態は、適宜、その内容が組み合わせられてもよいし、変形や変更が加えられてもよい。

例えば、上述の実施形態では、操作支援装置１５０は、遠隔操作支援装置３００を用いて、ショベル１００の遠隔操作を行うオペレータの操作支援を行ってもよい。この場合、操作支援装置１５０の操作指示通知部３０２は、通信装置６０を通じて、ショベル１００の操作に関する指示の通知に関するデータを遠隔操作支援装置３００に送信する。これにより、遠隔操作支援装置３００は、ショベル１００から受信されるデータに基づき、表示装置や音出力装置を用いて、遠隔操作のオペレータに対してショベル１００の操作に関する指示を通知することができる。

また、上述の実施形態や変形例では、遠隔操作支援装置３００には、操作支援装置１５０と同様の機能（以下、便宜的に「遠隔操作用の操作支援装置」）が設けられてもよい。即ち、操作支援装置１５０に関するコントローラ３０の機能の一部又は全部が遠隔操作支援装置３００に移管されてもよい。この場合、遠隔操作用の操作支援装置は、操作装置２６に代えて、遠隔操作支援装置３００の入力装置に含まれる、遠隔操作用の操作装置を含む。

具体的には、操作指示通知部３０２の機能は、遠隔操作支援装置３００に移管されてよい。これにより、遠隔操作支援装置３００は、表示装置等を通じて、遠隔操作のオペレータに対して、ショベル１００の操作に関する指示を通知することができる。そのため、遠隔操作のオペレータは、通知を確認しながら、遠隔操作支援装置３００の入力装置（遠隔操作用の操作装置）に操作入力をし、ショベル１００の操作を行うことができる。この場合、操作指示受付部３０１により受け付けられる、ショベル１００の周辺の指示者からのショベル１００の操作に関する指示を表すデータは、ショベル１００から通信装置６０を通じて情報処理装置２００に送信される。

また、操作支援装置１５０の操作指示通知部３０２の機能に加えて、操作指示受付部３０１の機能が遠隔操作支援装置３００に移管されてもよい。この場合、撮像装置４０のデータは、通信装置６０を通じて、ショベル１００から遠隔操作支援装置３００に送信（アップロードされる）。これにより、遠隔操作用の支援装置は、ショベル１００の周辺の指示者のジェスチャを認識し、ショベル１００の操作に関する指示を受け付けることができる。また、この場合、指示者が利用する情報処理装置２００から指示信号は、ショベル１００を経由して、遠隔操作支援装置３００に送信されてもよいし、情報処理装置２００から遠隔操作支援装置３００に直接送信されてもよい。

同様に、操作支援装置１５０の操作指示通知部３０２の機能に加えて、操作内容評価部３０３や記憶部３０４や送信部３０５の機能が遠隔操作支援装置３００に移管されてもよい。

また、上述の実施形態やその変形例では、オペレータがショベル１００のキャビン１０に持ち込む可搬型の情報処理装置２００には、操作支援装置１５０と同様の機能（以下、便宜的に「可搬型の操作支援装置」）が設けられてもよい。即ち、操作支援装置１５０に関するコントローラ３０の機能の一部又は全部が情報処理装置２００に移管されてもよい。

具体的には、操作指示通知部３０２の機能は、可搬型の情報処理装置２００に移管されてよい。これにより、可搬型の情報処理装置２００は、表示装置等を通じて、遠隔操作のオペレータに対して、ショベル１００の操作に関する指示を通知することができる。そのため、遠隔操作のオペレータは、通知を確認しながら、可搬型の情報処理装置２００の入力装置（遠隔操作用の操作装置）に操作入力をし、ショベル１００の操作を行うことができる。この場合、操作指示受付部３０１により受け付けられる、ショベル１００の周辺の指示者からのショベル１００の操作に関する指示を表すデータは、ショベル１００から通信装置６０を通じて情報処理装置２００に送信される。

また、操作支援装置１５０の操作指示通知部３０２の機能に加えて、操作指示受付部３０１の機能が可搬型の情報処理装置２００に移管されてもよい。この場合、撮像装置４０のデータは、通信装置６０を通じて、ショベル１００から可搬型の情報処理装置２００に送信（アップロードされる）。これにより、遠隔操作用の支援装置は、ショベル１００の周辺の指示者のジェスチャを認識し、ショベル１００の操作に関する指示を受け付けることができる。また、この場合、指示者が利用する情報処理装置２００から指示信号は、ショベル１００を経由して、可搬型の情報処理装置２００に送信されてもよいし、情報処理装置２００から可搬型の情報処理装置２００に直接送信されてもよい。

同様に、操作支援装置１５０の操作指示通知部３０２の機能に加えて、操作内容評価部３０３や記憶部３０４や送信部３０５の機能が可搬型の情報処理装置２００に移管されてもよい。

また、上述の実施形態の操作支援装置１５０は、ショベル１００とは異なる他の作業機械の操作に関する指示を受け付け、その作業機械の操作に関する指示をユーザ、即ち、その作業機械のオペレータに通知してもよい。例えば、図９に示すように、他の作業機械は、クローラクレーン４００である。この場合、稼働支援システムＳＹＳは、ショベル１００に代えて、或いは、加えて、クローラクレーン４００等の他の作業機械を含む。

［作用］
次に、本実施形態に係る稼働支援システムＳＹＳ（操作支援装置）の作用について説明する。

例えば、作業機械の外部からの指示を出し、作業機械を直接操作する場合、指示を出す人の位置によっては、作業機械の奥の箇所等、作業機械の周辺に死角が存在し、その結果、作業機械の周辺の状況を応じた適切な操作ができない可能性がある。また、例えば、ジェスチャ等の人の動作によって作業機械の外部からの指示を出し、作業機械を直接操作する場合、その認識精度等によっては、作業機械の動作を適切に操作できない可能性がある。

これに対して、本実施形態では、操作支援装置は、作業機械の外部からの作業機械の操作に関する指示を受け付ける受付部と、受付部により受け付けられる、作業機械の操作に関する指示をユーザに通知する通知部と、を備える。操作支援装置は、例えば、操作支援装置１５０や遠隔操作用の操作支援装置や可搬型の操作支援装置である。また、作業機械は、例えば、ショベル１００やクローラクレーン４００である。また、受付部は、例えば、操作指示受付部３０１である。また、通知部は、例えば、操作指示通知部３０２である。

また、操作支援装置は、ユーザの作業機械に対する操作入力を受け付ける操作部を備えてもよい。操作部は、例えば、ショベル１００の操作装置２６や遠隔操作支援装置３００における遠隔操作用の操作装置である。

これにより、作業機械の外部からの指示内容を操作支援装置が認識すると共に、その指示内容がユーザ（オペレータ）に通知されることで、ユーザが指示内容を認識し、指示内容を認識したユーザによって、作業機械が操作される。そのため、作業機械の操作に関する指示の内容が操作支援装置及びオペレータによってダブルチェックされる。その結果、例えば、操作支援装置１５０による指示の認識に問題があるような場合には、オペレータは、その指示内容に沿った操作を行わないようにすることができる。また、例えば、ショベル１００の周辺の指示者からは把握できない障害物が存在し、指示内容に沿った操作が適切でない場合、その指示内容に沿った操作を行わないようにすることができる。よって、操作支援装置は、作業機械の外部からの指示で作業機械をより適切に動作させることができる。

また、本実施形態では、作業機械の操作に関する指示は、作業機械の被駆動要素を指定しその被駆動要素を特定の方向に操作させるための第１の指示、作業を構成する動作を指定しその動作を実施させる操作のための第２の指示、作業機械の動作速度の調整の操作のための第３の指示、及び複数の動作又は複数の作業の手順に関する第４の指示の少なくとも一つを含んでもよい。

これにより、操作支援装置は、ユーザに対して、特定の被駆動要素の特定の方向への操作を指示することができる。また、操作支援装置は、ユーザに対して、作業を構成する特定の動作を実施させる操作を指示することができる。また、操作支援装置は、ユーザに対して、作業機械の動作速度の調整を指示することができる。また、操作支援装置は、ユーザに対して、複数の動作や複数の作業の手順を指示することができる。

また、本実施形態では、受付部は、作業機械の周辺の指示者からの作業機械の操作に関する指示を受け付けてもよい。

これにより、ユーザは、作業機械の周辺の指示者からの指示を確認しながら、作業機械を操作することができる。

また、本実施形態では、受付部は、作業機械の周辺の様子を表すセンシング情報に基づき、指示者からの作業機械の操作に関する指示を表すジェスチャを認識し、作業機械の操作に関する指示を受け付けてもよい。

これにより、指示者は、ジェスチャによって、作業機械を操作するユーザに指示を出すことができる。

また、本実施形態では、通知部により通知される作業機械の操作に関する指示の内容と、その後の実際の作業機械に対する操作入力の内容との間に差異がある場合、ユーザに報知を行う報知部を備えてもよい。報知部は、例えば、操作内容評価部３０３である。

これにより、操作支援装置は、例えば、作業機械の操作に関する指示に対して、実際のユーザの作業機械に対する操作入力の内容に差異がある旨をユーザに警告することができる。

また、本実施形態では、通知部により通知される作業機械の操作に関する指示の内容と、その後の実際の作業機械に対する操作入力の内容との間に差異がある場合、その旨を表すログを所定の記憶部に記録する記録部を備えてもよい。記録部は、例えば、操作内容評価部３０３である。

これにより、操作支援装置は、例えば、ログを分析し、指示者の指示に関する評価やオペレータの操作に関する評価や作業機械の作業に関する評価等を行うことができる。

また、本実施形態では、作業機械は、上述の操作支援装置を備えてもよい。

これにより、作業機械は、自身に搭乗するオペレータや遠隔操作を行うオペレータ等のユーザに対して自身の外部からの指示を通知することができる。

また、本実施形態では、遠隔操作支援装置は、上述の操作支援装置を備えてもよい。そして、操作部は、作業機械に対する遠隔操作の操作入力を受け付けてもよい。遠隔操作支援装置は、例えば、遠隔操作支援装置３００である。操作部は、例えば、遠隔操作用の操作装置である。

これにより、遠隔操作支援装置は、遠隔操作のオペレータに対して、作業機械の外部からの指示を通知することができる。

以上、実施形態について詳述したが、本開示はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された要旨の範囲内において、種々の変形・変更が可能である。

１ 下部走行体
１Ｃ，１ＣＬ，１ＣＲ クローラ
２ 旋回機構
３ 上部旋回体
４ ブーム
５ アーム
６ バケット
１０ キャビン
２６ 操作装置
２９ 操作圧センサ
３０ コントローラ
３１ 油圧制御弁
３２ シャトル弁
３３ 油圧制御弁
４０ 撮像装置
４０Ｂ，４０Ｆ，４０Ｌ，４０Ｒ カメラ
５０ 出力装置
５０Ａ 表示装置
５０Ｂ 音出力装置
５２ 入力装置
６０ 通信装置
１００ ショベル
１５０ 操作支援装置
２００ 情報処理装置
３００ 遠隔操作支援装置
３０１ 操作指示受付部
３０２ 操作指示通知部
３０３ 操作内容評価部
３０４ 記憶部
３０５ 送信部
４００ クローラクレーン
ＡＴ アタッチメント
ＨＫ フック
ＯＰ オペレータ
ＳＹＳ 稼働支援システム

Claims (10)

1. 作業機械の外部からの前記作業機械の操作に関する指示を受け付ける受付部と、
   前記受付部により受け付けられる、前記作業機械の操作に関する指示をユーザに通知する通知部と、を備える、
   操作支援装置。
2. 前記作業機械の操作に関する指示は、作業機械の被駆動要素を指定しその被駆動要素を特定の方向に操作させるための第１の指示、作業を構成する動作を指定しその動作を実施させる操作のための第２の指示、作業機械の動作速度の調整の操作のための第３の指示、及び複数の動作又は複数の作業の手順に関する第４の指示の少なくとも一つを含む、
   請求項１に記載の操作支援装置。
3. 前記受付部は、前記作業機械の周辺の指示者からの前記作業機械の操作に関する指示を受け付ける、
   請求項１又は２に記載の操作支援装置。
4. 前記受付部は、前記作業機械の周辺の様子を表すセンシング情報に基づき、前記指示者からの前記作業機械の操作に関する指示を表すジェスチャを認識し、前記作業機械の操作に関する指示を受け付ける、
   請求項３に記載の操作支援装置。
5. 前記通知部により通知される前記作業機械の操作に関する指示の内容と、その後の実際の前記作業機械に対する操作入力の内容との間に差異がある場合、ユーザに報知を行う報知部を備える、
   請求項１乃至４の何れか一項に記載の操作支援装置。
6. 通知部により通知される前記作業機械の操作に関する指示の内容と、その後の実際の前記作業機械に対する操作入力の内容との間に差異がある場合、その旨を表すログを所定の記憶部に記録する記録部を備える、
   請求項１乃至５の何れか一項に記載の操作支援装置。
7. ユーザの作業機械に対する操作入力を受け付ける操作部を備える、
   請求項１乃至６の何れか一項に記載の操作支援装置。
8. 請求項１乃至７の何れか一項に記載の操作支援装置を備える、
   作業機械。
9. 請求項７に記載の操作支援装置を備え、
   前記操作部は、前記作業機械に対する遠隔操作の操作入力を受け付ける、
   遠隔操作支援装置。
10. 情報処理装置に、
    作業機械の外部からの前記作業機械の操作に関する指示を受け付ける受付ステップと、
    前記受付ステップで受け付けられる、前記作業機械の操作に関する指示をユーザに通知する通知ステップと、を実行させる、
    プログラム。

Images