JP2023034766A - 建設機械の作業支援装置、建設機械の作業支援プログラム - Google Patents

Abstract

【課題】建設機械の取り扱い方を容易に把握させることを目的とする。【解決手段】建設機械の全部又は一部を含む画像を示す画像データを取得する画像データ取得部と、前記画像と、前記画像に含まれる前記建設機械の操作部位のうち、取扱説明情報が対応付けられた操作部位を示す情報と、を表示装置に表示させる表示制御部と、を有する建設機械の作業支援装置である。【選択図】図１

Description

本開示は、建設機械に関する作業を支援する建設機械の作業支援プログラムに関する。

従来では、建設機械を撮像した画像から、交換すべき部品の画像を認識すると、認識された画像と対応するように、部品交換の作業手順を拡張現実的に表示することで、建設機械の作業を支援する技術が知られている。

特開２０１９－１６３６７０号公報

上述した従来の技術では、何らかの作業が必要となった場合に、必要な作業を支援することは想定されているが、建設機械そのものの取り扱い方に対する支援は考慮されていない。

そこで、上記事情に鑑み、建設機械の取り扱い方を容易に把握させることを目的とする。

本発明の実施形態に係る建設機械の作業支援装置は、建設機械の全部又は一部を含む画像を示す画像データを取得する画像データ取得部と、前記画像と、前記画像に含まれる前記建設機械の操作部位のうち、取扱説明情報が対応付けられた操作部位を示す情報と、を表示装置に表示させる表示制御部と、を有する建設機械の作業支援装置である。

本発明の実施形態に係る建設機械の作業支援プログラムは、建設機械の全部又は一部を含む画像を示す画像データを取得し、前記画像と、前記画像に含まれる前記建設機械の操作部位のうち、取扱説明情報が対応付けられた操作部位を示す情報と、を表示装置に表示させる、処理を、建設機械の作業支援装置に実行させる、建設機械の支援プログラムである。

建設機械の取り扱い方を容易に把握させることができる。

作業支援システムの構成例を示す概略図である。 作業支援装置のハードウェア構成例について説明する図である。 作業支援システムの有する各装置の機能について説明する図である。 作業支援装置の処理を説明するフローチャートである。 作業支援装置の表示例を示す第一の図である。 作業支援装置の表示例を示す第二の図である。 作業支援装置の表示例を示す第三の図である。 作業支援装置の表示例を示す第四の図である。 作業支援装置の表示例を示す第五の図である。

最初に、図１を参照し、本発明の実施形態に係る建設機械の作業支援装置２００を含む作業支援システムＳＹＳについて説明する。図１は、作業支援システムＳＹＳの構成例を示す図である。

作業支援システムＳＹＳは、建設機械に関する作業を支援するシステムである。建設機械に関する作業は、建設機械の部品を交換する作業、建設機械の故障の原因を特定する作業、原因を特定した後の修理に関する作業等を含む。建設機械は、油圧ショベル、ブルドーザー、掘削機、リフティングマグネット機、クレーン等を含む。

本実施形態では、作業支援システムＳＹＳは、掘削機としてのショベル１００に関する作業を支援するシステムであり、主に、ショベル１００、作業支援装置２００及び管理装置３００で構成されている。

作業支援システムＳＹＳを構成するショベル１００、作業支援装置２００及び管理装置３００はそれぞれ１台であってもよく複数台であってもよい。本実施形態では、作業支援システムＳＹＳは、１台のショベル１００と、１台の作業支援装置２００と、１台の管理装置３００とで構成されている。

ショベル１００は、主に、下部走行体１及び上部旋回体３で構成されている。下部走行体１には旋回機構２を介して上部旋回体３が旋回可能に搭載されている。上部旋回体３にはブーム４が取り付けられ、ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはバケット６が取り付けられている。

作業要素としてのブーム４、アーム５及びバケット６はアタッチメントの一例である掘削アタッチメントを構成する。ブーム４はブームシリンダ７によって駆動され、アーム５はアームシリンダ８によって駆動され、バケット６はバケットシリンダ９によって駆動される。上部旋回体３には運転室としてのキャビン１０が設けられ、且つ、エンジン、若しくは、電動モータ等の原動機が搭載されている。また、上部旋回体３にはコントローラ３０、測位装置Ｐ１及び通信装置Ｔ１が取り付けられている。

キャビン１０の内部には、後述するように操作部位、コントローラ３０、表示装置２８等が設けられている。操作部位は、操作者がアクチュエータの操作のために用いる装置である。アタッチメントを駆動するアクチュエータは、油圧アクチュエータ及び電動アクチュエータの少なくとも一方を含む。本実施形態では、操作部位は、パイロットラインを介して、パイロットポンプ（図示せず）が吐出する作動油を、コントロールバルブ内の対応する制御弁のパイロットポートに供給することで、アクチュエータを制御する。

パイロットポートのそれぞれに供給される作動油の圧力（パイロット圧）は、油圧アクチュエータのそれぞれに対応する操作部位のレバー又はペダル（図示せず。）の操作方向及び操作量に応じた圧力である。但し、操作部位は、上述のようなパイロット圧式ではなく、電気制御式であってもよい。この場合、コントロールバルブの制御弁は、電磁ソレノイド式スプール弁であってもよい。更に、パイロットポンプとパイロットポートとの間には、パイロットラインの連通と遮断を切り替えるゲートロック弁が配置される。なお、本実施形態では、便宜上、上部旋回体３における、アタッチメントが取り付けられている側を前方とし、カウンタウェイトが取り付けられている側を後方とする。

コントローラ３０は、ショベル１００を制御するための制御装置である。本実施形態では、コントローラ３０は、ＣＰＵ、ＲＡＭ、ＮＶＲＡＭ、ＲＯＭ等を備えたコンピュータで構成されている。そして、コントローラ３０は、様々な機能に対応するアプリケーションプログラムをＲＯＭから読み出してＲＡＭにロードし、対応する処理をＣＰＵに実行させる。

測位装置Ｐ１は、上部旋回体３の位置及び向きを測定するように構成されている。測位装置Ｐ１は、例えばＧＮＳＳコンパスであり、上部旋回体３の位置及び向きを検出し、検出値をコントローラ３０に対して出力する。

通信装置Ｔ１は、ショベル１００の外部にある外部機器との通信を制御するように構成されている。本実施形態では、通信装置Ｔ１は、衛星通信網、携帯電話通信網、インターネット網等を介した外部機器との通信を制御する。また、通信装置Ｔ１は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ等の近距離無線通信網を介した作業支援装置２００との通信を制御してもよい。

作業支援装置２００は、携帯情報端末装置であり、例えば、作業現場にいる操作者等が携帯するタブレットＰＣ、スマートフォン、ウェアラブルＰＣ、スマートグラス等である。

管理装置３００は、管理サーバ等の固定端末装置であり、例えば、作業現場外の管理センタ等に設置されるコンピュータである。管理装置３００は、例えば、ノートＰＣ、タブレットＰＣ、スマートフォン等の可搬性のコンピュータであってもよい。

また、本実施形態の管理装置３００は、ショベル１００の取り扱い方を示す取扱説明情報が格納されている。本実施形態の管理装置３００は、作業支援装置２００において、ショベル１００の画像から、ショベル１００の操作部位の選択を受け付けると、選択された操作部位に応じた取扱説明情報を作業支援装置２００に出力する。

作業支援装置２００は、管理装置３００から取得した取扱説明情報を、選択された操作部位と対応付けて表示させることで、ショベル１００の操作者等に、選択された操作部位の取り扱い方を容易に把握させることができる。

次に、図２を参照し、作業支援装置２００のハードウェア構成例について説明する。図２は、作業支援装置の構成例を説明する図である。本実施形態では、作業支援装置２００は、例えば、操作者が所持するスマートフォンであってよい。

また、作業支援装置２００は、ヘッドマウントディスプレイ方式の拡張現実ウェアラブルコンピュータとしてのスマートグラスであってもよい。また、作業支援装置２００は、スマートグラスとスマートフォンの組み合わせであってもよい。また、作業支援装置２００は、スマートスピーカを構成していてもよい。

作業支援装置２００は、例えば、制御装置２１、メモリ装置２２、通信装置２３、入力装置２４、出力装置２５、測位装置２６、撮像装置２７、表示装置２８を有する。

制御装置２１は、例えば、ＣＰＵ（Central Processing Unit）等であり、作業支援装置２００の全体の動作を制御する。また、制御装置２１は、メモリ装置２２に格納されたプログラムを読み出して実行する。

メモリ装置２２は、ＣＰＵ、ＲＡＭ、ＮＶＲＡＭ、ＲＯＭ等である。メモリ装置２２には、作業支援装置２００の動作を制御するための制御プログラムや、制御装置２１における演算結果等が格納されている。本実施形態の作業支援プログラムは、制御プログラムの一部であってよい。

また、本実施形態の制御プログラムは、操作者を支援するための支援プログラム（支援アプリケーション）を含んでよい。以下の説明では、支援プログラムを支援アプリと表現する場合がある。支援アプリは、例えば、通信装置２３により、ネットワークを介して作業支援装置２００にインストールされて、メモリ装置２２に格納されてもよい。また、本実施形態の支援アプリは、後述する支援メニューに応じた複数のアプリを含んでいてもよい。

通信装置２３は、作業支援装置２００の外部にある外部機器との通信を制御する装置である。本実施形態では、通信装置２３は、衛星通信網、携帯電話通信網、インターネット網等を介した外部機器との通信を制御する。また、通信装置２３は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ等の近距離無線通信網を介したショベル１００との通信を制御してもよい。

入力装置２４は、作業支援装置２００に対する各種の情報を入力するためのものである。具体的には、入力装置２４は、端末装置のタッチパネルであってよい。また、入力装置２４は、例えば、作業支援装置２００がスマートグラスである場合には、スマートグラスのフレームに取り付けられた押しボタンであってもよい。作業支援装置２００の利用者は、この入力装置２４を通じて様々な命令を作業支援装置２００に与えることができる。

また、入力装置２４は、音を電気信号に変換する装置であってもよい。具体的には、入力装置２４は、作業支援装置２００がスマートグラスである場合には、スマートグラスのフレームに取り付けられたマイクロフォンであってもよい。この場合、入力装置２４は、変換後の電気信号を制御装置２１に対して出力する。作業支援装置２００の利用者は、入力装置２４を通じて音声命令を作業支援装置２００に与えることができる。

出力装置２５は、作業支援装置２００から各種の情報を出力するためのものである。出力装置２５は、例えば、電気信号を音に変換する装置であってもよい。具体的には、出力装置２５は、スマートフォンやスマートグラスのフレーム等に取り付けられたスピーカであり、制御装置２１からの指令に応じて音声情報を出力する。また、出力装置２５は、ワイヤレスイヤホン、ワイヤレスヘッドホン等であってもよい。

測位装置２６は、作業支援装置２００の位置を測定する装置である。本実施形態の測位装置２６は、スマートフォンやスマートグラスのフレームに取り付けられたＧＮＳＳコンパスであり、作業支援装置２００の位置及び向きを測定し、測定値を制御装置２１に対して出力する。

撮像装置２７は、画像を取得する装置である。本実施形態の撮像装置２７は、スマートフォンに設けられたＣＣＤ、ＣＭＯＳ等の撮像素子を含むカメラであり、取得した画像を制御装置２１に対して出力する。撮像装置２７は、ステレオカメラ、ＬＩＤＡＲ、距離画像センサ等であってもよい。また、撮像装置２７は、作業支援装置２００がスマートグラスである場合には、フレームに取り付けられていてもよい。

表示装置２８は、画像を表示する装置であり、端末装置のディスプレイ等であってもよい。また、表示装置２８は、作業支援装置２００がスマートグラスである場合には、スマートグラスのレンズを構成する透過型の有機ＥＬディスプレイであってもよい。表示装置２８は、制御装置２１からの指令に応じて画像を表示する。表示装置２８は、作業支援装置２００がスマートグラスである場合には、スマートグラスを着用する利用者の網膜に画像を投影する網膜投影型の装置であってもよい。

本実施形態の管理装置３００のハードウェア構成は、図２に示す構成と同様であってよいから、説明を省略する。なお、管理装置３００のハードウェア構成は、例えば、測位装置や撮像装置は有していなくてもよい。

次に、図３を参照して、本実施形態の作業支援装置２００の機能について説明する。図３は、作業支援システムの有する各装置の機能を説明する図である。

本実施形態の作業支援装置２００の有する各部は、制御装置２１が、メモリ装置２２に格納された作業支援プログラムを読み出して実行することで実現される。

本実施形態の作業支援装置２００は、入力受付部２１０、画像データ取得部２２０、部位認識部２３０、情報取得部２４０、表示制御部２５０を有する。

入力受付部２１０は、作業支援装置２００に対する各種の入力を受け付ける。画像データ取得部２２０は、撮像装置２７により撮像された画像データを取得する。

部位認識部２３０は、画像データ取得部２２０により取得された画像データから、ショベル１００の各操作部位を認識する。具体的には、部位認識部２３０は、取得した画像データを解析し、画像データが示す画像に含まれる画像要素の形状や位置関係等から、ショベル１００の操作部位を認識してもよい。

情報取得部２４０は、管理装置３００から、部位認識部２３０によりに認識された操作部位と対応する取扱説明情報を取得する。

なお、本実施形態では、画像データ取得部２２０は、撮像装置２７により撮像された画像データを取得するものとしたが、これに限定されない。本実施形態では、撮像装置２７を含む空間認識装置による認識結果を示すデータを画像データの代わりに用いてもよい。空間認識装置とは、例えば、Ｌｉｄｅｒや赤外線センサ等である。

本実施形態の管理装置３００は、情報保持部３１０、情報特定部３２０、情報出力部３３０を有する。本実施形態の情報保持部３１０は、管理装置３００の有するメモリ装置等によって実現されてよい。また、本実施形態の情報特定部３２０、情報出力部３３０は、管理装置３００の有する制御装置（例えば、ＣＰＵ）が、メモリ装置に格納されたプログラムを読み出して実行することで実現される。

情報保持部３１０は、ショベル１００の取り扱い方を示す取扱説明情報３４０が格納されている。具体的には、取扱説明情報３４０は、ショベル１００の機種を示す情報と、０は、ショベル１００の操作部位を示す情報と、操作部位毎の取扱説明情報とが対応付けられている。言い換えれば、取扱説明情報３４０は、ショベル１００の機種毎の各操作部位の取扱説明情報の集合である。

例えば、取扱説明情報３４０において、機種１のショベル１００の操作部位のうち、部位１と、部位１の取り扱い方を示す取扱説明情報１とが対応付けられている。また、取扱説明情報３４０では、機種１のショベル１００の操作部位のうち、部位２と、部位２の取り扱い方を示す取扱説明情報２とが対応付けられている。

また、本実施形態の取扱説明情報３４０は、例えば、取扱説明情報が更新された操作部位には、取扱説明情報の更新を示すフラグ等が付与されていてもよい。取扱説明情報が更新される場合とは、例えば、ショベル１００に新たな機能が追加された場合や、ショベル１００に新たな操作部位が追加された場合である。この場合、取扱説明情報３４０には、追加された新たな機能や操作部位に対応する取扱説明情報に追加されることになる。

また、取扱説明情報の更新を示すフラグは、フラグが付与された後に取扱説明情報が作業支援装置２００に出力されると、消去されてよい。このようにすれば、例えば、作業支援装置２００において、最新の取扱説明情報のみを表示させる選択がなされた場合に、管理装置３００は、最新の取扱説明情報のみを特定し、作業支援装置２００に出力することができる。

情報特定部３２０は、作業支援装置２００から、選択されたショベル１００の操作部位を示す通知を受信すると、情報保持部３１０に保持された取扱説明情報３４０から、選択された操作部位と対応する取扱説明情報を特定する。

具体的には、情報特定部３２０は、例えば、作業支援装置２００から、ショベル１００の機種を示す情報と、選択された操作部位を示す情報とを取得し、取扱説明情報３４０において、機種と操作部位とに対応する取扱説明情報を特定する。

情報出力部３３０は、情報特定部３２０により特定された取扱説明情報を、作業支援装置２００に対して出力する。

次に、図４を参照して、本実施形態の作業支援装置２００の処理について説明する。図４は、作業支援装置の処理を説明するフローチャートである。なお、図４に示す処理は、作業支援装置２００の支援アプリの処理であってよい。

本実施形態の作業支援装置２００は、入力受付部２１０により、画像の表示指示を受け付けると（ステップＳ４０１）、画像データ取得部２２０により、撮像装置２７が撮像した画像データを取得する（ステップＳ４０２）。ここでは、撮像装置２７により、少なくともショベル１００の一部を含む画像を示す画像データが取得されるものとする。

続いて、作業支援装置２００は、部位認識部２３０により、画像に含まれるショベル１００の操作部位のうち、管理装置３００に対応する取扱説明情報が存在する操作部位を特定する（ステップＳ４０３）。

具体的には、部位認識部２３０は、画像データを機械学習、パターンマッチング等により解析し、画像の形状等から、ショベル１００の操作部位を認識してもよい。そして、部位認識部２３０は、管理装置３００を参照し、認識した各操作部位毎と対応する取扱説明情報が存在するか否かを判定し、対応する取扱説明情報が存在する操作部位を特定してもよい。

続いて、作業支援装置２００は、表示制御部２５０により、ステップＳ４０２で取得した画像データが示す画像と、ステップＳ４０３で特定された操作部位を示す画像とを表示装置２８に表示させる（ステップＳ４０４）。具体的には、表示制御部２５０は、撮像装置２７が撮像した画像データが示す画像において、取扱説明情報が存在する操作部位と対応する位置に、取扱説明情報が存在することを示すマーク等の画像を表示させる。

続いて、作業支援装置２００は、入力受付部２１０により、マークの画像の選択を受け付ける（ステップＳ４０５）。

このとき、作業支援装置２００は、撮像装置２７により画像が撮像されたショベル１００の機種を示す情報と、管理装置３００に画像と対応する操作部位を示す情報と、を管理装置３００に送信してもよい。管理装置３００は、情報特定部３２０により、この情報に基づき、選択された操作部位の取扱説明情報を特定し、情報出力部３３０により、特定された取扱説明情報を作業支援装置２００に送信してもよい。

作業支援装置２００は、ステップＳ４０５に続いて、表示装置２８に、選択された操作部位と対応付けられた位置に、選択された操作部位の名称と、取扱説明情報とを表示させる（ステップＳ４０６）。なお、ステップＳ４０６では、取扱説明情報のみが表示されてもよい。

続いて、作業支援装置２００は、他の操作部位が選択されたか否かを判定する（ステップＳ４０７）。言い換えれば、作業支援装置２００は、他のマークの画像が選択されたか否かを判定する。

ステップＳ４０６において、他の操作部位が選択された場合、作業支援装置２００は、ステップＳ４０５に戻る。ステップＳ４０６において、他の操作部位が選択されない場合、作業支援装置２００は、処理を終了する。

更に、作業支援装置２００をショベル１００と無線通信により接続し、ショベル１００の稼働状況を支援アプリの起動条件としてもよい。作業支援装置２００は、例えば、ショベル１００のゲートロック弁の遮断、原動機のＯＦＦ等により、操作部位に対する操作が無効であることがショベル１００のコントローラ３０との無線通信により判断されると、支援アプリの起動を許可する。このようにして、取扱説明情報の表示を、操作部位が無効であると判定された場合を条件として表示してもよい。

また、作業支援装置２００は、支援アプリの起動後に、ショベル１００に対し、操作部位に対する操作を無効にするように、ショベル１００のゲートロック弁の遮断指令、原動機のＯＦＦ指令等を送信してもよい。このように、操作者が作業支援装置２００の支援アプリを操作しているときには、ショベル１００の操作部位に対する操作は無効とされる。

以下に、本実施形態の作業支援装置２００の表示例について説明する。図５は、作業支援装置の表示例を示す第一の図である。

図５に示す画面５０は、例えば、支援アプリによって表示される支援メニュー画面の一例である。画面５０は、例えば、図４のステップＳ４０１において、作業支援装置２００の表示装置２８に表示される。

画面５０は、表示領域５１と、操作ボタン５２とを含む。表示領域５１には、支援メニューの一覧が表示される。具体的には、表示領域５１には、支援メニューのそれぞれと対応する操作ボタン５３、５４等が表示される。なお、画面５０に表示される操作ボタンは、全てソフトウェアキーボードであってよい。また、各操作ボタンは、支援アプリに含まれる複数のアプリを起動させるため操作ボタンであってよい。

図５の例では、操作ボタン５３は、ショベル１００の現在位置の検索を行う位置検索アプリを起動させるための操作ボタンである。操作ボタン５４は、ショベル１００の各操作部位の取扱説明情報を表示させる取扱説明情報表示アプリを起動させるための操作ボタンである。

本実施形態の作業支援装置２００は、例えば、操作者（作業支援装置２００の操作者）の操作によって支援アプリを起動させ、図４のステップＳ４０１において、表示装置２８に画面５０を表示させてもよい。そして、作業支援装置２００は、画面５０において、操作者により、操作ボタン５４が選択されると、取扱説明情報表示アプリを起動させ、図４に示すステップＳ４０２以降の処理を実行してもよい。

本実施形態の作業支援装置２００は、取扱説明情報表示アプリが起動すると、作業支援装置２００は、拡張現実（ＡＲ；Augmented Reality）モードに切り替わる。

本実施形態の拡張現実モードとは、撮像装置２７を介して表示される画像から、所定の画像が検知されると、所定の画像と対応付けられた情報を、撮像装置２７により撮像された撮像画像に重ねて表示させる機能である。本実施形態の所定の画像とは、例えば、取扱説明情報が対応付けられている操作部位の画像である。

作業支援装置２００において、取扱説明情報表示アプリが起動し、拡張現実モードとなると、撮像装置２７は、取扱説明情報表示アプリを終了する操作を受け付けるまで、撮像状態を維持する。言い換えれば、作業支援装置２００では、取扱説明情報表示アプリが起動すると、撮像装置２７により撮像された画像が、表示装置２８の画面に表示され、取扱説明情報表示アプリが終了するまで、その状態が維持される。

また、画面５０における操作ボタン５２は、支援アプリを終了させるための操作ボタンである。

図６は、作業支援装置の表示例を示す第二の図である。図６に示す画面６０は、図４のステップＳ４０４で表示装置２８に表示される画面の一例である。

図６では、撮像装置２７により、ショベル１００のキャビン１０内で画像が撮像された場合を示している。したがって、画面６０は、取扱説明情報表示アプリを起動した後に、キャビン１０内の運転席に着座している操作者が、ショベル１００の前方に向かってキャビン１０内を撮像している状態における画像が表示されている。

また、画面６０では、部位認識部２３０により、マーク画像６１、６２、６３、６４が表示されており、このマークと対応する位置にある操作部位の取扱説明情報が存在することがわかる。つまり、本実施形態のマーク画像は、画面６０に表示された画像に含まれるショベル１００の操作部位のうち、取扱説明情報が存在する操作部位を示す情報である。

具体的には、作業支援装置２００は、画像データ取得部２２０により、キャビン１０内の画像を示す画像データを取得すると、部位認識部２３０により、画像から、ショベル１００の有する表示装置４０、スイッチ４１、操作ペダル４２、操作レバー４３等の操作部位を認識する。表示装置４０、スイッチ４１、操作ペダル４２、操作レバー４３等の操作部位は、建設機械の全部又は一部を含む画像が示す建設機械の操作部位である。

次に、部位認識部２３０は、管理装置３００を参照し、認識した操作部位の取扱説明情報が管理装置３００に格納されているか否かを判定する。図６の例では、認識した操作部位の取扱説明情報が管理装置３００に格納されている場合を示している。

したがって、画面６０では、部位認識部２３０によって認識された表示装置４０、スイッチ４１、操作ペダル４２、操作レバー４３のそれぞれと対応する位置に、各操作部位の取扱説明情報が存在することを示すマーク画像６１、６２、６３、６４が表示される。

また、本実施形態では、部位認識部２３０によって認識された操作部位に、複数の操作部位（パーツ）が含まれる場合には、認識された操作部位に、複数の操作部位毎の取扱説明情報が対応付けられてもよい。また、本実施形態では、部位認識部２３０によって認識された操作部位に対応付けられた取扱説明情報の量に応じて、マーク画像の大きさを変更してもよい。言い換えれば、本実施形態では、部位認識部２３０によって認識された操作部位に含まれる操作部位（パーツ）の数に応じて、マーク画像の大きさを変更してもよい。

図６の例では、マーク画像６１、６２の大きさは、マーク画像６３、６４の大きさよりも大きい。したがって、部位認識部２３０により認識された操作部位である表示装置４０とスイッチ４１のそれぞれには、複数の操作部位（パーツ）が含まれることがわかる。また、表示装置４０とスイッチ４１の取扱説明情報には、複数の操作部位それぞれの取扱説明情報が含まれることがわかる。

言い換えれば、操作者は、マーク画像６１、６２が示す操作部位である表示装置４０とスイッチ４１とに、取扱説明情報が対応付けられた操作部位（パーツ）が、更に複数個存在することが認識できる。

これに対し、操作者は、マーク画像６３、６４が示す操作部位である走行用操作レバー４２と左操作４３は、取扱説明情報が対応付けられた操作部位が１つであることを認識できる。また、操作者は、マーク画像が表示されない走行用操作ペダル４４、右操作レバー４５等には、取扱説明情報が対応付けられた操作部位（パーツ）は存在しないこともわかる。

つまり、本実施形態のマーク画像の大きさは、マーク画像と対応する操作部位の取扱説明情報の情報量に応じた大きさとされる。なお、取扱説明情報の情報量に応じたマーク画像の表示形態は、マーク画像の大きさの相違以外でも表すことができる。例えば、色の相違、形状の相違等により表わしてもよい。

取扱説明情報の情報量とは、具体的には、マーク画像が示す操作部位に含まれる、個別に取扱説明情報が対応付けられた操作部位（パーツ）の数に相当する。

さらに、本実施形態では、本機種から新たに追加された新機能が存在する場合には、マーク画像の表示態様を他のマーク画像の表示態様と異ならせてもよい。また、本実施形態では、取扱説明情報が、前回マーク画像を表示したときから更新されていた場合には、マーク画像の表示態様を他のマーク画像の表示態様と異ならせてもよい。

また、図６の例では、マーク画像６２の色が、他のマーク画像６１、６３、６４と異なる。したがって、操作者は、本機種から新たに追加された新機能であると認識できる。このように、本実施形態では、取扱説明情報表示アプリが起動している間は、表示装置２８では、撮像装置２７から入力された画像と、部位認識部２３０による画像の解析結果に応じたマーク画像との重畳表示が維持される。また、本実施形態では、撮像装置２７からの画像が入力されていても、部位認識部２３０により操作部位が認識できない場合には、マーク画像は表示されない。

なお、本実施形態では、取扱説明情報が存在する部位に対して、部位と対応する位置にマーク画像を表示させるものとしたが、これに限定されない。本実施形態では、例えば、画面６０において、取扱説明情報が存在する部位の画像の色を変化させたり、取扱説明情報が存在する部位の画像を点滅させるようにしてもよい。つまり、本実施形態では、取扱説明情報が存在する部位を視認できるように表示させればよい。

また、本実施形態では、その後、操作者が表示装置４０における操作部位の操作方法について確認する場合、操作者は、作業支援装置２００を表示装置４０に向かって近づける。そして、作業支援装置２００は、部位認識部２３０が表示装置４０に含まれる複数の操作部位（パーツ）が認識されると、表示装置４０の操作部位（パーツ）毎にマーク画像を、作業支援装置２００の表示装置２８に表示させる。

図７は、作業支援装置の表示例を示す第三の図である。図７（Ａ）に示す画面８０Ａは、表示装置４０のパーツ毎にマーク画像が表示された画面の一例である。図７（Ｂ）に示す画面８０Ｂは、取扱説明情報が表示された画面の一例である。

画面８０Ａは、作業支援装置２００の利用者が、表示装置４０の画像が画面８０Ａの表示領域において最大の大きさなる程度まで、作業支援装置２００を表示装置４０に近づけて、静止させた状態を示している。

この場合、画面８０Ａには、表示装置４０が有するパーツと対応する位置に、操作部位（パーツ）毎の取扱説明情報が存在することを示すマーク画像８１ａ～８１ｊが表示されている。

画面８０Ａにおいて、マーク画像８１ｇがタッチ操作等により選択されたとする。この場合、作業支援装置２００は、情報取得部２４０により、マーク画像８１ｈが示す操作部位（パーツ）４０ａと対応付けられた取扱説明情報を管理装置３００から取得する。そして、作業支援装置２００は、表示制御部２５０により、操作部位（パーツ）４０ａが表示されている位置を示すように、取得した取扱説明情報を表示させる。

画面８０Ｂは、操作部位（パーツ）４０ａの取扱説明情報が表示された状態を示している。画面８０Ｂにおいて、表示領域８２は、操作部位（パーツ）４０ａの画像と対応付けられている。また、表示領域８２は、表示欄８２ａと、表示欄８２ｂとを含む。表示欄８２ａは、操作部位（パーツ）４０ａの機能を示す情報が表示される。表示欄８２ｂは、操作部位（パーツ）４０ａを操作したときの動画が表示される。

ここで、操作部位４０ａは、表示装置４０に表示されるカメラ画像を切り替えるカメラスイッチである。具体的には、例えば、操作者が、操作部位４０ａを押す度に、後方カメラ画像の表示画面、後方カメラ画像と右側方カメラ画像を並べた表示画面、後方カメラ画像とショベルの稼働状況を示す画像とを並べた表示画面が順番に切り替わる。つまり、操作部位４０ａは、表示モードの切り替えを行うスイッチである。表示画像に俯瞰画像を用いてもよい。

このため、表示欄８２ａには、操作部位の機能の説明として、「表示モードの切替」と表示される。また、表示欄８２ｂでは、操作者が操作部位（パーツ）４０ａを操作する場面から操作部位（パーツ）４０ａを操作した場合において、表示装置４０の画面が遷移する状況が、動画として再生される。

具体的には、表示欄８２ｂには、操作部位４０ａが操作される場面とその操作に伴いカメラ画像が遷移する状況とが動画として表示される。このように、表示欄８２ａに選択された操作部位の機能が表示されると同時に、表示欄８２ｂには、操作部位４０ａが操作される場面から操作部位４０ａに対応付けされた被操作部位の動作態様（例えば、表示装置４０の画面の遷移等）までを示す動画として表示される。

なお、本実施形態の被操作部位とは、作業支援装置２００に表示された操作部位に対する操作により、動作が制御される操作部位（パーツ）である。言い換えれば、本実施形態の被操作部位は、部位認識部２３０により認識された操作部位と対応付けられている。

図７の例では、操作部位は、カメラスイッチ（操作部位４０ａ）であり、被操作部位は、表示装置４０と言える。

図８は、作業支援装置の表示例を示す第四の図である。本実施形態では、例えば、図５に示す画面５０において、操作者が、作業支援装置をスイッチ４１に近づけた状態で操作ボタン５４を操作した場合の表示例を示す。この場合、画像データ取得部２２０が取得した画像データが示す画像において認識された操作部位のうち、新たな機能が追加された操作部位のみ、対応するマーク画像を表示させてもよい。言い換えれば、本実施形態では、取扱説明情報３４０が更新された操作部位のみ、対応するマーク画像を表示させてもよい。

ショベルに新しく機能が追加された場合、その機能の取扱方法だけでなく有益性も操作者に把握されていない。このため、本実施形態では、動画により操作者にその機能の取扱方法だけでなく有益性を伝えることができる。

図８に示す画面９０では、表示された画像から認識された操作部位のうち、スイッチ４１の取扱説明情報のみ、新たな機能と対応する取扱説明情報が追加された場合を示している。この場合、画面９０では、スイッチ４１と対応する位置に、マーク画像６２が表示される。

この場合、作業支援装置２００は、例えば、図５に示す画面５０において、操作ボタン５４の操作を受け付けた後に、追加された取扱説明情報のみを表示させるか否かを作業支援装置２００の利用者に選択させてもよい。

また、本実施形態の管理装置３００は、作業支援装置２００において認識されたショベル１００の操作部位を示す情報を受信すると、認識された操作部位と対応する取扱説明情報のうち、前回、作業支援装置２００に出力した後に追加された取扱説明情報を特定する。具体的には、管理装置３００は、情報特定部３２０により、取扱説明情報が追加されたことを示すフラグが付与された取扱説明情報を特定すればよい。

図９は、作業支援装置の表示例を示す第五の図である。図９（Ａ）に示す画面１０１Ａは、スイッチ４１に含まれる操作部位（パーツ）毎にマーク画像が表示された画面の一例である。図９（Ｂ）に示す画面１０１Ｂは、取扱説明情報が表示された画面の一例である。

画面１０１Ａは、作業支援装置２００の利用者が、スイッチ４１の画像が画面１０１Ａの表示領域において最大の大きさなる程度まで、作業支援装置２００をスイッチ４１に近づけて、静止させた状態を示している。

この場合、画面１０１Ａには、スイッチ４１に含まれる操作部位と対応する位置に、操作部位毎の取扱説明情報が存在することを示すマーク画像１０２ａ～１０２ｆが表示されている。

画面１０１Ａにおいて、マーク画像１０２ｅがタッチ操作等により選択されたとする。この場合、作業支援装置２００は、情報取得部２４０により、マーク画像１０２ｅが示す操作部位４１ａと対応付けられた取扱説明情報を管理装置３００から取得する。そして、作業支援装置２００は、表示制御部２５０により、マーク画像１０２ｅが示す操作部位４１ａと対応する位置に、取得した取扱説明情報を表示させる。

画面１０１Ｂは、マーク画像１０２ｅが示す操作部位４１ａの取扱説明情報が表示された状態を示している。画面１０１Ｂにおいて、表示領域１０３は、操作部位４１ａの画像と対応付けられている。

また、表示領域１０３は、表示欄１０３ａと、表示欄１０３ｂとを含む。表示欄１０３ａは、操作部位４１ａの機能を示す情報が表示される。表示欄１０３ｂは、操作部位４１ａを操作した場合に、操作部位４１ａに対応する被操作部位の動画が表示される。図９において、操作部位４１ａは、ワイパーを動作させるための操作部位である。したがって、被操作部位は、ワイパーとなる。

具体的には、表示欄１０３ａには、操作部位４１ａの機能の説明として、「ワイパー動作」と表示される。また、表示欄１０３ｂでは、操作部位４１ａが操作される場面と、その操作に伴い被操作部位であるワイパーが動作する場面と、を含む動画が表示される。

このように、表示欄１０３ａには選択された操作部位の機能が表示されると同時に、表示欄８２ｂには操作部位４１ａが操作される場面から操作部位４１ａに対応付けされた被操作部位の動作態様（例えば、ワイパーの動き等）までが動画として表示される。

このように、本実施形態では、例えば、最初の撮像装置２７によって取得される画像データが示す画像において、認識された操作部位の画像の大きさが、ある一定以上の大きさになると、認識された操作部位に含まれる複数のパーツ毎にマーク画像を表示させる。ある一定以上の大きさとは、例えば、画面の表示領域の面積に対する、各パーツの画像の面積の割合が所定の値以上となった場合に、パーツ毎にマーク画像を表示させてもよい。

言い換えれば、本実施形態では、表示装置２８において、複数のパーツを含む操作部位の画像の大きさが、部位認識部２３０による各パーツの認識が可能となる所定の大きさに拡大されると、各パーツと対応する位置に、パーツの取扱説明情報が存在することを示すマーク画像を表示させる。

したがって、本実施形態によれば、複雑な構造の操作部位であっても、操作部位に含まれるパーツ毎の取扱説明情報の存在を作業支援装置２００の利用者に把握させることができる。

なお、本実施形態では、１つの操作部位に複数のパーツが存在する場合に、パーツの画像の大きさに応じて、パーツ毎のマーク画像を表示させるものとしたが、これに限定されない。

例えば、画像データ取得部２２０が取得した画像データが示す画像において、複数のパーツを有していない操作部位が、一定の領域に集中して存在している場合等も、同様にすることができる。

つまり、画像において、複数の操作部位が集中している領域には、１つのマーク画像を表示させてもよい。この場合、この領域が拡大されて、複数の操作部位のそれぞれの画像の面積が、画面の表示領域に対して所定の値以上となったときに、複数の操作部位のそれぞれについて、マーク画像を表示させてもよい。

また、本実施形態では、上述した各表示例は、作業支援装置２００の表示装置２８に表示されるものとしたが、これに限定されない。例えば、ショベル１００の遠隔操作室では、ショベル１００のキャビン１０内に配置された操作レバー、スイッチ等が再現される。このため、本実施形態を遠隔操作室へ適用する場合には、例えば、作業支援装置２００の表示装置２８に表示される画面と同様の画面を、ショベル１００の遠隔操作室に設けられた遠隔操作画面に表示させてもよい。言い換えれば、作業支援装置２００は、作業支援装置２００の表示装置２８に表示させる画面と、遠隔操作室に設けられた遠隔操作画面とを同期させてもよい。

また、遠隔操作画面に、取扱説明情報を表示させる場合には、ショベル１００の画像は、作業支援装置２００の有する撮像装置２７以外の撮像装置で撮像されてもよい。つまり、撮像装置は、作業支援システムＳＹＳに含まれなくても良い。

このようにすれば、ショベル１００を遠隔操作する場合であっても、実際のショベル１００を撮像した画像において、所望する操作部位の取扱説明情報を、大きい画面で遠隔操作者に提示することができる。

また、上述した各表示例では、ショベル１００の画像を、キャビン１０内の画像としたが、これに限定されない。例えば、ポンプ室内の画像ではフィルタ等の交換部品を操作部位として認識してもよい。ショベル１００の画像は、例えば、ショベル１００を外部から撮像した画像であってもよい。したがって、例えば、ショベル１００の画像は、ドローン等の飛行体で撮像された画像であってもよい。

また、上述した各表示例では、作業支援装置２００と管理装置３００が情報を送受信することを前提としたが、この形態に限る必要はない。例えば、作業支援装置２００が情報保持部３１０、情報特定部３２０、情報出力部３３０を備えてもよい。つまり、作業支援装置２００は、管理装置３００の機能を有していてもよい。

この場合、作業支援装置２００の操作者が、事前に特定の機種に関する取扱説明情報３４０を管理装置３００から作業支援装置２００へダウンロードしてもよい。この構成により、通信電波が悪い場所においても、操作者は本アプリケーションを利用できる。

以上、本発明の好ましい実施形態について詳説した。しかしながら、本発明は、上述した実施形態に制限されることはない。上述した実施形態は、本発明の範囲を逸脱することなしに、種々の変形、置換等が適用され得る。また、別々に説明された特徴は、技術的な矛盾が生じない限り、組み合わせが可能である。

１ 下部走行体
２ 旋回機構
３ 上部旋回体
３ｃ ハウスカバー
３ｄ サイドドア
４ ブーム
５ アーム
６ バケット
７ ブームシリンダ
８ アームシリンダ
９ バケットシリンダ
１０ キャビン
１００ ショベル
２００ 作業支援装置
２１０ 入力受付部
２２０ 画像データ取得部
２３０ 部位認識部
２４０ 情報取得部
２５０ 表示制御部
３００ 管理装置
３４０ 取扱説明情報
ＳＹＳ 作業支援システム

Claims (9)

1. 建設機械の全部又は一部を含む画像を示す画像データを取得する画像データ取得部と、
   前記画像と、前記画像に含まれる前記建設機械の操作部位のうち、取扱説明情報が対応付けられた操作部位を示す情報と、を表示装置に表示させる表示制御部と、を有する建設機械の作業支援装置。
2. 前記表示制御部は、
   前記表示装置において、前記取扱説明情報が対応付けられた操作部位に対する選択を受け付けて、選択された前記操作部位と対応付けられた取扱説明情報を、前記選択された操作部位の画像と対応する位置を示すように表示させる、請求項１記載の建設機械の作業支援装置。
3. 前記取扱説明情報は、前記操作部位に対応付けられた被操作部位の動作態様の動画である、請求項１記載の建設機械の作業支援装置。
4. 前記表示制御部は、
   前記取扱説明情報が対応付けられた操作部位を示す情報の表示態様と、前記取扱説明情報が更新された操作部位を示す情報の表示態様と、を異ならせる、請求項１又は２記載の建設機械の作業支援装置。
5. 前記表示制御部は、
   前記取扱説明情報が対応付けられた操作部位を示す情報の表示態様を、前記取扱説明情報の情報量に応じて異ならせる、請求項１乃至４の何れか一項に記載の建設機械の作業支援装置。
6. 前記取扱説明情報の情報量は、
   前記取扱説明情報が対応付けられた操作部位に含まれる、個別に取扱説明情報が対応付けられた操作部位の数である、請求項５記載の建設機械の作業支援装置。
7. 前記表示制御部は、
   前記個別に取扱説明情報が対応付けられた操作部位の画像が所定の大きさまで拡大された場合に、前記個別に取扱説明情報が対応付けられた操作部位と対応する位置に、該操作部位と対応付けられた取扱説明情報が存在することを示すマーク画像を表示させる、
   請求項６記載の建設機械の作業支援装置。
8. 前記取扱説明情報は、前記建設機械の操作部位に対する操作が無効とされた状態において表示される、請求項１乃至７の何れか一項に記載の建設機械の作業支援装置。
9. 建設機械の全部又は一部を含む画像を示す画像データを取得し、
   前記画像と、前記画像に含まれる前記建設機械の操作部位のうち、取扱説明情報が対応付けられた操作部位を示す情報と、を表示装置に表示させる、処理を、建設機械の作業支援装置に実行させる、建設機械の作業支援プログラム。

Images