JP2019163670A - 建設機械の作業支援装置 - Google Patents

Abstract

【課題】建設機械に関する作業をより効率的に支援できる作業支援装置を提供すること。【解決手段】本発明の実施形態に係る建設機械の作業支援装置２００は、建設機械としてのショベル１００に関する作業を支援する作業支援装置であって、制御装置２０と、撮像装置２１と、表示装置２６と、を備えている。制御装置２０は、撮像装置２１が取得した画像における所定物の画像を認識し、所定物に対応するように所定物に関する情報を拡張現実的に表示するように構成されている。部品交換作業では、所定物は、例えば、燃料ライン５０、ストップバルブ５１、燃料プレフィルタケース５２、エア抜きプラグ５３、ドレインホース５４、キャップ５５等を含む。【選択図】図２

Description

本開示は、建設機械に関する作業を支援する建設機械の作業支援装置に関する。

従来、ショベルから送られてくる情報に基づいて故障が発生している部品を推定し、その部品に関する既登録の複数の画像を、操作者による手動操作に応じて切り換えながら表示することで、操作者が故障に関する情報を容易に取得できるようにする管理装置が知られている（特許文献１参照。）。

国際公開第２０１３／０４７４０８号

しかしながら、上述の管理装置では、故障が発生していると推定された部品の画像を表示する画面と、その部品に関する情報を表示する画面とが別々に用意されている。そのため、操作者は、所望の情報を得るために画面を頻繁に切り換える必要がある。

そこで、建設機械に関する作業をより効率的に支援できる建設機械の作業支援装置を提供することが望ましい。

本発明の実施形態に係る建設機械の作業支援装置は、建設機械に関する作業を支援する作業支援装置であって、撮像装置と、表示装置と、制御装置と、を備え、前記制御装置は、前記撮像装置が取得した画像における所定物の画像を認識し、前記所定物に対応するように前記所定物に関する情報を拡張現実的に表示するように構成されている。

本発明の実施形態に係る建設機械の作業支援装置は、建設機械に関する作業をより効率的に支援できる。

作業支援システムの構成例を示す概略図である。 作業支援装置の構成例を示す図である。 部品交換支援処理のフローチャートである。 スマートグラスのレンズに表示される情報の表示例を示す図である スマートグラスのレンズに表示される情報の表示例を示す図である スマートグラスのレンズに表示される情報の表示例を示す図である。 スマートグラスのレンズに表示される情報の表示例を示す図である。 スマートグラスのレンズに表示される情報の表示例を示す図である。 スマートグラスのレンズに表示される情報の表示例を示す図である。 トラブルシューティング支援処理のフローチャートである。 スマートグラスのレンズに表示される情報の表示例を示す図である。 スマートグラスのレンズに表示される情報の表示例を示す図である。 スマートフォンの表示装置に表示される画面の表示例を示す図である。 スマートフォンの表示装置に表示される画面の表示例を示す図である。 スマートフォンの表示装置に表示される画面の表示例を示す図である。 作業支援システムを構成するショベルの構成例を示す図である。

最初に、図１を参照し、本発明の実施形態に係る建設機械の作業支援装置２００を含む作業支援システムＳＹＳについて説明する。図１は、作業支援システムＳＹＳの構成例を示す図である。

作業支援システムＳＹＳは、建設機械に関する作業を支援するシステムである。建設機械に関する作業は、建設機械の部品を交換する作業、建設機械の故障の原因を特定する作業、原因を特定した後の修理に関する作業等を含む。建設機械は、掘削機、リフティングマグネット機、クレーン等を含む。本実施形態では、作業支援システムＳＹＳは、掘削機としてのショベル１００に関する作業を支援するシステムであり、主に、ショベル１００、作業支援装置２００及び管理装置３００で構成されている。作業支援システムＳＹＳを構成するショベル１００、作業支援装置２００及び管理装置３００はそれぞれ１台であってもよく複数台であってもよい。本実施形態では、作業支援システムＳＹＳは、１台のショベル１００と、１台の作業支援装置２００と、１台の管理装置３００とで構成されている。

ショベル１００は、主に、下部走行体１及び上部旋回体３で構成されている。下部走行体１には旋回機構２を介して上部旋回体３が旋回可能に搭載されている。上部旋回体３にはブーム４が取り付けられ、ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはバケット６が取り付けられている。作業要素としてのブーム４、アーム５及びバケット６はアタッチメントの一例である掘削アタッチメントを構成する。ブーム４はブームシリンダ７によって駆動され、アーム５はアームシリンダ８によって駆動され、バケット６はバケットシリンダ９によって駆動される。上部旋回体３には運転室としてのキャビン１０が設けられ、且つ、エンジン等の動力源が搭載されている。また、上部旋回体３にはコントローラ３０、測位装置Ｐ１及び通信装置Ｔ１が取り付けられている。

コントローラ３０は、ショベル１００を制御するための制御装置である。本実施形態では、コントローラ３０は、ＣＰＵ、ＲＡＭ、ＮＶＲＡＭ、ＲＯＭ等を備えたコンピュータで構成されている。そして、コントローラ３０は、様々な機能に対応するアプリケーションプログラムをＲＯＭから読み出してＲＡＭにロードし、対応する処理をＣＰＵに実行させる。

測位装置Ｐ１は、上部旋回体３の位置及び向きを測定するように構成されている。測位装置Ｐ１は、例えばＧＮＳＳコンパスであり、上部旋回体３の位置及び向きを検出し、検出値をコントローラ３０に対して出力する。

通信装置Ｔ１は、ショベル１００の外部にある外部機器との通信を制御するように構成されている。本実施形態では、通信装置Ｔ１は、衛星通信網、携帯電話通信網、インターネット網等を介した外部機器との通信を制御する。また、通信装置Ｔ１は、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ等の近距離無線通信網を介した作業支援装置２００との通信を制御してもよい。

作業支援装置２００は、携帯端末装置であり、例えば、作業現場にいる作業者等が携帯するタブレットＰＣ、スマートフォン、ウェアラブルＰＣ、スマートグラス等である。

管理装置３００は、管理サーバ等の固定端末装置であり、例えば、作業現場外の管理センタ等に設置されるコンピュータである。管理装置３００は、例えば、ノートＰＣ、タブレットＰＣ、スマートフォン等の可搬性のコンピュータであってもよい。

次に、図２を参照し、作業支援装置２００の構成例について説明する。図２は、作業支援装置２００の構成例を示す図である。本実施形態では、作業支援装置２００は、ヘッドマウントディスプレイ方式の拡張現実ウェアラブルコンピュータとしてのスマートグラスである。作業支援装置２００は、スマートグラスとスマートフォンの組み合わせであってもよい。また、作業支援装置２００は、スマートスピーカを構成していてもよい。

作業支援装置２００は、例えば、制御装置２０を有し、撮像装置２１、音声入力装置２２、測位装置２３及び通信装置２４等を通じて情報を取得し、且つ、音声出力装置２５及び表示装置２６等を通じて情報を出力するように構成されている。

制御装置２０は、作業支援装置２００を制御する装置である。本実施形態では、制御装置２０は、ＣＰＵ、ＲＡＭ、ＮＶＲＡＭ、ＲＯＭ等を備えたコンピュータで構成されている。そして、制御装置２０は、様々な機能に対応するアプリケーションプログラムをＲＯＭから読み出してＲＡＭにロードし、対応する処理をＣＰＵに実行させる。

撮像装置２１は、画像を取得する装置である。本実施形態では、スマートグラスのフレームに取り付けられた、ＣＣＤ、ＣＭＯＳ等の撮像素子を含むカメラであり、取得した画像を制御装置２０に対して出力する。撮像装置２１は、ステレオカメラ、ＬＩＤＡＲ、距離画像センサ等であってもよい。

音声入力装置２２は、音を電気信号に変換する装置である。本実施形態では、スマートグラスのフレームに取り付けられたマイクロフォンであり、変換後の電気信号を制御装置２０に対して出力する。作業支援装置２００の使用者は、音声入力装置２２を通じて音声命令を作業支援装置２００に与えることができる。

測位装置２３は、作業支援装置２００の位置を測定する装置である。本実施形態では、測位装置２３は、スマートグラスのフレームに取り付けられたＧＮＳＳコンパスであり、作業支援装置２００の位置及び向きを測定し、測定値を制御装置２０に対して出力する。

通信装置２４は、作業支援装置２００の外部にある外部機器との通信を制御する装置である。本実施形態では、通信装置２４は、衛星通信網、携帯電話通信網、インターネット網等を介した外部機器との通信を制御する。また、通信装置２４は、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ等の近距離無線通信網を介したショベル１００との通信を制御してもよい。

音声出力装置２５は、電気信号を音に変換する装置である。本実施形態では、スマートグラスのフレームに取り付けられたスピーカであり、制御装置２０からの指令に応じて音声情報を出力する。音声出力装置２５は、ワイヤレスイヤホン、ワイヤレスヘッドホン等であってもよい。

表示装置２６は、画像を表示する装置である。本実施形態では、スマートグラスのレンズを構成する透過型の有機ＥＬディスプレイであり、制御装置２０からの指令に応じて画像を表示する。表示装置２６は、スマートグラスを着用する使用者の網膜に画像を投影する網膜投影型の装置であってもよい。

作業支援装置２００は、入力装置を備えていてもよい。入力装置は、例えば、スマートグラスのフレームに取り付けられた押しボタンである。作業支援装置２００の使用者は、この入力装置を通じて様々な命令を作業支援装置２００に与えることができる。

次に、制御装置２０が有する機能について説明する。本実施形態では、制御装置２０は、画像認識部４０、画像表示部４１、部品交換サポート部４２及びトラブルシューティング部４３をアプリケーションプログラムとして有する。

画像認識部４０は、撮像装置２１が取得した画像における所定物の画像を認識するように構成されている。本実施形態では、画像認識部４０は、既知の画像認識技術を用い、撮像装置２１が取得した画像における所定物の画像を認識するように構成されている。所定物は、例えば、ハウスカバー３ｃ（図１参照。）、サイドドア３ｄ（図１参照。）、燃料プレフィルタケース５２（図７参照。）等のショベル１００を構成する部品である。

画像表示部４１は、画像認識部４０が認識した所定物に対応するようにその所定物に関する情報を拡張現実的に表示するように構成されている。「拡張現実的に表示する」は、拡張現実（Augmented Reality）技術を用いて表示することを意味する。本実施形態では、画像認識部４０は、例えば、撮像装置２１が取得した画像においてサイドドア３ｄの画像を認識した場合、スマートグラスのレンズを通じて視認できる現実のサイドドア３ｄの近くにサイドドア３ｄに関する情報が拡張現実的に表示されるようにする。

部品交換サポート部４２は、ショベル１００の部品を交換する作業（以下、「部品交換作業」とする。）を支援するように構成されている。本実施形態では、部品交換サポート部４２は、入力認識部４２Ａ、シーケンス制御部４２Ｂ及び記録部４２Ｃを含む。

入力認識部４２Ａは、作業支援装置２００の使用者による入力の内容を認識するように構成されている。例えば、入力認識部４２Ａは、音声入力装置２２を通じて入力された音声の内容を認識するように構成されている。本実施形態では、入力認識部４２Ａは、音声入力装置２２を通じて入力された音声に含まれている登録語を認識するように構成されている。入力認識部４２Ａは、音声入力装置２２以外の他の入力装置を通じた使用者による入力の内容を認識するように構成されていてもよい。

シーケンス制御部４２Ｂは、予め定められた順序にしたがって部品交換作業を進行させるように構成されている。本実施形態では、シーケンス制御部４２Ｂは、画像認識部４０による所定物の画像の認識、画像表示部４１による所定物に関する情報の拡張現実的な表示、及び、入力認識部４２Ａによる入力内容の認識が所定の順序にしたがって実行されるように作業支援装置２００を動作させる。

記録部４２Ｃは、部品交換作業に関する情報を記録するように構成されている。本実施形態では、部品交換作業中に撮像装置２１が取得する画像をＲＡＭ等に記録するように構成されている。撮像装置２１が取得する画像は、通信装置２４を通じて管理装置３００に送られ且つ記録されてもよい。また、撮像装置２１が取得する画像は、静止画像であってもよく動画像であってもよい。部品交換作業中に使用される工具等に取り付けられたセンサが出力する情報を記録するように構成されていてもよい。記録部４２Ｃは、ＲＡＭ等に記録した情報を、通信装置２４を通じて外部に送信するように構成されていてもよい。この場合、管理センタ等にいる管理者又は管理装置３００は、受信した情報に基づいて部品交換が適切に行われたか否かを確認できる。

トラブルシューティング部４３は、ショベル１００の不具合の原因を特定しその不具合を解消する作業（以下、「トラブルシューティング作業」とする。）を支援するように構成されている。本実施形態では、トラブルシューティング部４３は、入力認識部４３Ａ、シーケンス制御部４３Ｂ及び記録部４３Ｃを含む。

入力認識部４３Ａは、入力認識部４２Ａと同様に、作業支援装置２００の使用者による入力の内容を認識するように構成されている。例えば、入力認識部４３Ａは、音声入力装置２２を通じて入力された音声の内容を認識するように構成されている。本実施形態では、入力認識部４３Ａは、音声入力装置２２を通じて入力された音声に含まれている登録語を認識するように構成されている。入力認識部４３Ａは、音声入力装置２２以外の他の入力装置を通じた使用者による入力の内容を認識するように構成されていてもよい。

シーケンス制御部４３Ｂは、シーケンス制御部４２Ｂと同様に、予め定められた順序にしたがってトラブルシューティング作業を進行させるように構成されている。本実施形態では、シーケンス制御部４３Ｂは、画像認識部４０による所定物の画像の認識、画像表示部４１による所定物に関する情報の拡張現実的な表示、及び、入力認識部４３Ａによる入力内容の認識が所定の順序にしたがって実行されるように作業支援装置２００を動作させる。

記録部４３Ｃは、記録部４２Ｃと同様に、トラブルシューティング作業に関する情報を記録するように構成されている。本実施形態では、トラブルシューティング作業中に撮像装置２１が取得する画像をＲＡＭ等に記録するように構成されている。撮像装置２１が取得する画像は、通信装置２４を通じて管理装置３００に送られ且つ記録されてもよい。また、撮像装置２１が取得する画像は、静止画像であってもよく動画像であってもよい。トラブルシューティング作業中に使用される工具等に取り付けられたセンサが出力する情報を記録するように構成されていてもよい。記録部４３Ｃは、ＲＡＭ等に記録した情報を、通信装置２４を通じて外部に送信するように構成されていてもよい。この場合、管理センタ等にいる管理者又は管理装置３００は、受信した情報に基づいて不具合箇所を特定でき、或いは、不具合が適切に解決されたか否かを確認できる。

次に、図３を参照し、作業支援装置２００が部品交換作業を支援する処理（以下、「部品交換支援処理」とする。）の構成例について説明する。図３は、部品交換支援処理のフローチャートである。作業支援装置２００は、例えば、「部品交換」といった所定の登録語である音声命令が音声入力装置２２を通じて入力された場合にこの部品交換支援処理を実行する。

最初に、作業支援装置２００は、交換可能な部品のリスト（交換部品リスト）を表示する（ステップＳＴ１）。本実施形態では、部品交換作業を実際に行う作業者は、作業支援装置２００としてのスマートグラスを着用している。そして、作業支援装置２００がショベル１００の存在を認識した場合、すなわち、画像認識部４０がショベル１００の画像を認識した場合に、画像表示部４１は、表示装置２６を構成するスマートグラスのレンズの一部に交換部品リストを表示させる。図４は、ショベル１００の右側方にいる作業者が見る光景を示す。具体的には、スマートグラスのレンズの一部に交換部品リストＧ１が表示された状態を示す。図４に示すような交換部品リストＧ１を見ることで、作業者は、「燃料メインフィルタ」、「燃料プレフィルタ」及び「エアフィルタ」のうちの１つを交換すべき部品として選択できることが分かる。

作業支援装置２００は、例えば、撮像装置２１、音声入力装置２２、測位装置２３、通信装置２４等を通じて取得したショベル１００に関する情報に基づいて交換部品リストＧ１に表示すべき部品を決定してもよい。例えば、作業支援装置２００は、撮像装置２１が取得した画像に含まれるショベル１００の銘板の画像からショベル１００の機番を認識してショベル１００を特定することで、ショベル１００の累積稼動時間等の管理情報を管理装置３００から取得できる。そして、その累積稼動時間から、交換時期に達している部品を、交換部品リストＧ１に表示すべき部品として決定してもよい。この場合、作業支援装置２００は、例えば、累積稼動時間から算出される各フィルタの詰まり具合を百分率等で表示させてもよい。また、音声入力装置２２を通じて「エアフィルタの交換」といった登録語が入力された場合、すなわち、交換すべき部品が特定された場合、作業支援装置２００は、交換部品リストＧ１の表示を省略してもよい。

その後、作業支援装置２００は、交換すべき部品が選択されたか否かを判定する（ステップＳＴ２）。本実施形態では、部品交換サポート部４２は、入力認識部４２Ａが認識した入力の内容に基づき、交換すべき部品が選択されたか否か、及び、どの部品が選択されたかを認識できる。部品交換サポート部４２は、例えば、音声入力装置２２を通じて「２番」という音声が入力された場合、交換すべき部品として「燃料プレフィルタ」が選択されたと判定できる。

交換すべき部品が選択されていないと判定した場合（ステップＳＴ２のＮＯ）、作業支援装置２００は、交換すべき部品が選択されるまでステップＳＴ２の判定を繰り返す。

交換すべき部品が選択されたと判定した場合（ステップＳＴ２のＹＥＳ）、作業支援装置２００は、部品交換の際に必要な物品のリスト（物品リスト）を表示する（ステップＳＴ３）。部品交換の際に必要な物品は、例えば、交換部品、工具等を含む。図５は、ショベル１００の右側方にいる作業者が見る光景を示す。具体的には、スマートグラスのレンズの一部に物品リストＧ２が表示された状態を示す。図５に示すような物品リストＧ２を見ることで、作業者は、燃料プレフィルタを交換する際には、交換部品としてのフィルタエレメント、１０ｍｍのトルクレンチ及び廃油ケースが必要なことが分かる。

その後、作業支援装置２００は、物品が揃っているか否かを判定する（ステップＳＴ４）。本実施形態では、部品交換サポート部４２は、入力認識部４２Ａが認識した入力の内容に基づき、物品が揃っているか否かを判定する。部品交換サポート部４２は、例えば、音声入力装置２２を通じて「準備よし」という音声が入力された場合、物品が揃っていると判定でき、音声入力装置２２を通じて「交換部品無し」という音声が入力された場合、物品が揃っていないと判定できる。

物品が揃っていないと判定した場合（ステップＳＴ４のＮＯ）、作業支援装置２００は、発注支援機能を実行する（ステップＳＴ５）。本実施形態では、画像表示部４１は、表示装置２６を構成するスマートグラスのレンズの一部に発注を支援する情報を表示させる。作業者は、表示された情報を利用して部品、工具等の発注を行うことができる。作業支援装置２００は、作業者が携帯しているスマートフォンの表示装置に発注画面を表示させてもよい。

物品が揃っていると判定した場合（ステップＳＴ４のＹＥＳ）、作業支援装置２００は、作業対象がある場所まで作業者を誘導する（ステップＳＴ６）。本実施形態では、作業支援装置２００は、画像認識部４０の認識結果に基づいてショベル１００と作業者の位置関係を把握する。そして、画像表示部４１を通じ、所定物が配置されている場所である作業対象の場所に関する情報をスマートグラスのレンズの一部に表示させる。作業対象がある場所（所定物の設置箇所）に関する情報は、例えば、作業対象がある場所に至る経路を表す矢印、文字情報等を含む。作業支援装置２００は、音声出力装置２５を通じ、「ハウスカバーに近づいて下さい」、「右側のサイドドアを開けて下さい」といった作業対象がある場所に関する音声情報を出力させてもよい。

その後、作業支援装置２００は、作業対象の画像を認識したか否かを判定する（ステップＳＴ７）。本実施形態では、作業支援装置２００は、燃料プレフィルタを覆う右側のサイドドア３ｄの画像を認識したか否かを判定する。

作業対象の画像を認識していないと判定した場合（ステップＳＴ７のＮＯ）、作業支援装置２００は、作業対象の画像を認識したと判定するまで、ステップＳＴ６及びステップＳＴ７を繰り返し実行する。

作業対象の画像を認識したと判定した場合（ステップＳＴ７のＹＥＳ）、作業支援装置２００は、作業の手順を表示する（ステップＳＴ８）。作業支援装置２００は、所定物そのものを認識せずに、所定物が設置されている場所の周辺にある機器に関する情報（カバー形状等）を認識することで作業対象の領域であることを認識してもよい。このように、作業支援装置２００は、撮像装置２１が取得した画像における、所定物が配置される作業領域の画像を認識し、作業の手順等の作業領域に関する指示情報を拡張現実的に表示してもよい。本実施形態では、シーケンス制御部４２Ｂは、適切なタイミングで適切な場所に適切な情報を拡張現実的に表示させる。具体的には、「右側のサイドドアを開けて下さい」といった文字情報を拡張現実的に表示させる。適切な情報は、例えば、作業安全上の注意点に関する情報を含んでいてもよい。

作業支援装置２００は、作業の様子を記録してもよい。具体的には、記録部４２Ｃは、撮像装置２１が取得する画像をＲＡＭ等に記録してもよい。

その後、作業支援装置２００は、作業が実際に行われたか否かを判定する（ステップＳＴ９）。本実施形態では、部品交換サポート部４２は、入力認識部４２Ａが認識した入力の内容に基づき、所定の作業が実際に行われたか否かを判定する。具体的には、部品交換サポート部４２は、所定の作業に関する登録語が作業者によって発話されたことを認識した場合に、所定の作業が実際に行われたと判定する。工具が発信する情報に基づいて所定の作業が実際に行われたか否かを判定してもよい。例えば、受信部としての通信装置２４を通じて取得した工具からの情報に基づき、その工具を用いた所定の作業が実際に行われたか否かを判定してもよい。この場合、その工具は、締め付けトルク、緩めトルク等の作業に関する情報を、作業支援装置２００又はショベル１００に向けて発信する機能を有する。工具は、作業に関する情報と共に、工具ＩＤ等の工具識別情報を発信するように構成されていてもよい。作業者を特定できるようにするためである。

作業が実際に行われていないと判定した場合（ステップＳＴ９のＮＯ）、作業支援装置２００は、作業が実際に行われたと判定するまで、ステップＳＴ９の判定を繰り返す。作業支援装置２００は、予め定められた手順とは異なる手順で作業が行われたと判定した場合に警告を出力してもよい。警告は、視覚的な警告であってもよく、聴覚的な警告であってもよい。

作業が実際に行われたと判定した場合（ステップＳＴ９のＹＥＳ）、作業支援装置２００は、全ての作業が完了したか否かを判定する（ステップＳＴ１０）。

全ての作業が完了していないと判定した場合（ステップＳＴ１０のＮＯ）、作業支援装置２００は、処理をステップＳＴ６に戻す。具体的には、作業支援装置２００は、次の作業対象がある場所まで作業者を誘導する。

全ての作業が完了したと判定した場合（ステップＳＴ１０のＹＥＳ）、作業支援装置２００は、今回の部品交換支援処理を終了させる。

次に、図６〜図９を参照し、スマートグラスを着用している作業者が部品交換支援処理の実行中に見る光景について説明する。図６〜図９はスマートグラスのレンズの一部に表示される情報の表示例を示す。

図６は、右側のサイドドア３ｄを開いた作業者が見る光景を示す。具体的には、スマートグラスのレンズの一部に「燃料ラインのストップバルブを閉める」というガイダンス画像Ｇ３が表示された状態を示す。作業支援装置２００は、燃料ライン５０に取り付けられているストップバルブ５１の画像を認識した場合に、ガイダンス画像Ｇ３を表示する。本実施形態では、ガイダンス画像Ｇ３は、吹き出し枠を含み、吹き出し枠のくちばしがストップバルブ５１の位置を指すように表示されている。このように、ガイダンス画像Ｇ３は、典型的には、スマートグラスのレンズを通して所定物が視認される場合には、ガイダンス画像Ｇ３の一部（例えば吹き出し枠のくちばしの先端）が実際の所定物の位置に適合するように拡張現実的に表示される。なお、ストップバルブ５１は、燃料ライン５０における燃料の流れを遮断するための弁である。

図７は、ストップバルブ５１を閉めた作業者が見る光景を示す。具体的には、スマートグラスのレンズの一部に「エア抜きプラグを緩める（トルクレンチ１０ｍｍ）」というガイダンス画像Ｇ４が表示された状態を示す。「トルクレンチ１０ｍｍ」は、エア抜きプラグ５３を緩めるために必要な工具を表している。作業支援装置２００は、ストップバルブ５１が閉められた場合で、且つ、燃料プレフィルタケース５２の上部に設けられているエア抜きプラグ５３の画像を認識した場合に、ガイダンス画像Ｇ４を表示する。作業支援装置２００は、画像認識部４０の認識結果に基づいてストップバルブ５１が閉められたか否かを判定してもよく、入力認識部４２Ａの認識結果に基づいてストップバルブ５１が閉められたか否かを判定してもよい。本実施形態では、作業支援装置２００は、音声入力装置２２を通じて入力された音声に含まれている「ストップバルブよし」等の所定の登録語を認識した場合に、ストップバルブ５１が閉められたと判定する。そして、エア抜きプラグ５３の画像を認識した場合にガイダンス画像Ｇ４を表示する。本実施形態では、ガイダンス画像Ｇ４は、吹き出し枠を含み、吹き出し枠のくちばしがエア抜きプラグ５３の位置を指すように表示されている。

図８は、エア抜きプラグ５３を緩めた作業者が見る光景を示す。具体的には、スマートグラスのレンズの一部に「廃油ケース設置！！」という注意喚起画像Ｇ５が矢印画像Ｇ６と共に表示された状態を示す。矢印画像Ｇ６は、廃油ケースを設置すべき位置を示している。作業支援装置２００は、エア抜きプラグ５３が緩められた場合で、且つ、燃料プレフィルタケース５２の下部から延びるドレインホース５４の画像を認識した場合に、注意喚起画像Ｇ５及び矢印画像Ｇ６を表示する。作業支援装置２００は、画像認識部４０の認識結果に基づいてエア抜きプラグ５３が緩められたか否かを判定してもよく、入力認識部４２Ａの認識結果に基づいてエア抜きプラグ５３が緩められたか否かを判定してもよい。本実施形態では、作業支援装置２００は、通信装置２４を通じて取得したトルクレンチからの情報に基づいてエア抜きプラグ５３が緩められたか否かを判定する。この場合、工具としてのトルクレンチは、エア抜きプラグ５３を緩める際の緩めトルクに関する情報を、作業支援装置２００又はショベル１００に向けて発信する機能を有する。作業支援装置２００は、トルクレンチから受信した情報から導き出される緩めトルクが所定値以上である場合に、エア抜きプラグ５３が緩められたと判定する。この場合、作業支援装置２００は、エア抜きプラグ５３が適切に緩められたことをスマートグラスのレンズの一部に表示させてもよい。或いは、作業支援装置２００は、音声入力装置２２を通じて入力された音声に含まれている「エア抜きプラグよし」等の所定の登録語を認識した場合に、エア抜きプラグ５３が緩められたと判定してもよい。そして、その後にドレインホース５４の画像を認識した場合に注意喚起画像Ｇ５及び矢印画像Ｇ６を表示する。

注意喚起画像Ｇ５は、作業者の注意を喚起できるようにガイダンス画像Ｇ３及びＧ４とは異なる態様で表示されてもよい。本実施形態では、注意喚起画像Ｇ５は、目立つように黄色の背景を有するように表示されている。点滅するように表示されてもよい。

図９は、ドレインホース５４の出口に廃油ケース（図示せず。）を設置した作業者が見る光景を示す。具体的には、スマートグラスのレンズの一部に「キャップを緩めて燃料を排出」というガイダンス画像Ｇ７が表示された状態を示す。作業支援装置２００は、廃油ケースが設置された場合で、且つ、燃料プレフィルタケース５２の下部に設けられているキャップ５５の画像を認識した場合に、ガイダンス画像Ｇ７を表示する。作業支援装置２００は、画像認識部４０の認識結果に基づいて廃油ケースが設置されたか否かを判定してもよく、入力認識部４２Ａの認識結果に基づいて廃油ケースが設置されたか否かを判定してもよい。本実施形態では、作業支援装置２００は、音声入力装置２２を通じて入力された音声に含まれている「廃油ケースよし」等の所定の登録語を認識した場合に、廃油ケースが設置されたと判定する。そして、キャップ５５の画像を認識した場合にガイダンス画像Ｇ７を表示する。本実施形態では、ガイダンス画像Ｇ７は、吹き出し枠を含み、吹き出し枠のくちばしがキャップ５５の位置を指すように表示されている。

キャップ５５を緩めた後、作業者は、燃料プレフィルタケース５２に入っている燃料の排出が完了したときに「燃料排出よし」といった登録語を発話する。作業支援装置２００は、登録語「燃料排出よし」を認識した場合に、燃料の排出が完了したと判定する。

その後、作業支援装置２００は、燃料プレフィルタケース５２の画像を認識した場合に「燃料プレフィルタケースを取り外す」といったガイダンス画像を表示し、使用中のフィルタエレメントの画像を認識した場合に「フィルタエレメントを取り出す」といったガイダンス画像を表示する等、上述と同様の一連の処理を順番に実行する。未使用のフィルタエレメントの取り付け、燃料プレフィルタケース５２の取り付け、キャップ５５の締め付け、エア抜きプラグ５３の締め付け、ストップバルブ５１の開放等についても同様である。

そして、作業支援装置２００は、例えば、ストップバルブ５１が開けられたと判定した場合に、燃料プレフィルタに関するフィルタエレメントの交換が完了したと判定し、部品交換支援処理を終了させる。

作業支援装置２００は、予め定められた手順とは異なる手順で作業が行われたと判定した場合に警告を出力してもよい。例えば、画像認識部４０の認識結果に基づき、廃油ケースが設置される前にキャップ５５が緩められようとしていると判定した場合に警告を出力してもよい。警告は、視覚的な警告であってもよく、聴覚的な警告であってもよい。

次に、図１０を参照し、作業支援装置２００がトラブルシューティング作業を支援する処理（以下、「トラブルシューティング支援処理」とする。）の構成例について説明する。図１０は、トラブルシューティング支援処理のフローチャートである。作業支援装置２００は、例えば、「トラブルシューティング」といった所定の登録語である音声命令が音声入力装置２２を通じて入力された場合にこのトラブルシューティング支援処理を実行する。

最初に、作業支援装置２００は、異常内容を表示させる（ステップＳＴ１１）。本実施形態では、トラブルシューティング作業を実際に行う作業者は、作業支援装置２００としてのスマートグラスを着用している。そして、作業支援装置２００がショベル１００の存在を認識した場合、すなわち、画像認識部４０がショベル１００の画像を認識した場合に、画像表示部４１は、表示装置２６を構成するスマートグラスのレンズの一部に異常内容を表示させる。図１１は、ショベル１００の左側方にいる作業者が見る光景を示す。具体的には、スマートグラスのレンズの一部に異常内容通知画像Ｇ８が表示された状態を示す。図１１に示すような異常内容通知画像Ｇ８を見ることで、作業者は、「エンジン水温高温異常」が報告されていることが分かる。

作業支援装置２００は、例えば、撮像装置２１、音声入力装置２２、測位装置２３、通信装置２４等を通じて取得したショベル１００に関する情報に基づいて異常内容通知画像Ｇ８に表示すべき内容を決定してもよい。例えば、ショベル１００の操作者等が、電話等を通じ、ショベル１００で異常が発生したことを管理センタに報告している場合、作業支援装置２００は、通信装置２４を通じてショベル１００の異常に関する情報を管理装置３００から取得できる。この場合、作業支援装置２００は、例えば、撮像装置２１が取得した画像に含まれるショベル１００の銘板の画像からショベル１００の機番を認識してショベル１００を特定することで、ショベル１００の異常に関する情報を管理装置３００から取得できる。そして、取得した情報に基づいて異常内容通知画像Ｇ８に表示すべき内容を決定できる。ショベル１００で異常が発生したことが管理装置３００に報告されていない場合、作業支援装置２００は、例えば、「異常は報告されていません」といった内容を異常内容通知画像Ｇ８として表示させてもよい。

その後、作業支援装置２００は、チェック対象の画像を認識したか否かを判定する（ステップＳＴ１２）。本実施形態では、作業支援装置２００は、エンジン水温高温異常の原因として、防塵ネットの汚れ、ラジエータの汚れ、オイルクーラの汚れ、ファンの動作不良、サーモスタットの動作不良、リザーブタンク内の冷却水の不足、ラジエータの動作不良等を想定している。そのため、作業支援装置２００は、これらの原因を所定の順番で作業者にチェックさせるため、最初に、チェック対象としての防塵ネットの画像を認識したか否かを判定する。

チェック対象の画像を認識していないと判定した場合（ステップＳＴ１２のＮＯ）、作業支援装置２００は、チェック対象の画像を認識したと判定するまで、ステップＳＴ１２の判定を繰り返す。この場合、画像表示部４１は、画像認識部４０の認識結果を利用し、チェック対象のところまで作業者を誘導するための情報をスマートグラスのレンズの一部に表示させてもよい。

図１２は、ショベル１００の右側方にいる作業者が見る光景を示す。具体的には、スマートグラスのレンズの一部にガイダンス画像Ｇ９、矢印画像Ｇ１０及びチェック対象画像Ｇ１１が表示された状態を示す。ガイダンス画像Ｇ９は、次のチェック対象に関する情報を表す。矢印画像Ｇ１０は、作業者が移動すべき方向を表す。チェック対象画像Ｇ１１は、次のチェック対象の大まかな位置を表す。ガイダンス画像Ｇ９を見ることで、作業者は、次のチェック対象が「防塵ネット」であることが分かる。また、矢印画像Ｇ１０及びチェック対象画像Ｇ１１を見ることで、作業者は、進むべき方向が分かり、且つ、防塵ネットを覆う左側のサイドドア３ｄを開く必要があることが分かる。

チェック対象の画像を認識したと判定した場合（ステップＳＴ１２のＹＥＳ）、作業支援装置２００は、チェック手順を表示する（ステップＳＴ１３）。本実施形態では、シーケンス制御部４３Ｂは、適切なタイミングで適切な場所に適切な情報を拡張現実的に表示させる。具体的には、シーケンス制御部４３Ｂは、例えば、作業者が左側のサイドドア３ｄを開けてスマートグラスのレンズ越しに防塵ネットを見たとき、すなわち、撮像装置２１が防塵ネットの画像を取得したときに、防塵ネットの汚れのチェック手順に関する情報を拡張現実的に表示させる。例えば、防塵ネットのどの部分をチェックすべきか等を表示させる。

作業支援装置２００は、チェックの様子を記録してもよい。具体的には、記録部４３Ｃは、撮像装置２１が取得する画像をＲＡＭ等に記録してもよい。

その後、作業支援装置２００は、チェックが実際に行われたか否かを判定する（ステップＳＴ１４）。本実施形態では、トラブルシューティング部４３は、入力認識部４３Ａが認識した入力の内容に基づき、所定のチェックが実際に行われたか否かを判定する。具体的には、トラブルシューティング部４３は、「防塵ネットよし」といった登録語が作業者によって発話されたことを認識した場合に、防塵ネットのチェックが実際に行われたと判定してもよい。

チェックが実際に行われていないと判定した場合（ステップＳＴ１４のＮＯ）、作業支援装置２００は、チェックが実際に行われたと判定するまで、ステップＳＴ１４の判定を繰り返す。

そして、チェックが実際に行われたと判定した場合（ステップＳＴ１４のＹＥＳ）、作業支援装置２００は、全てのチェックが完了したか否かを判定する（ステップＳＴ１５）。

全てのチェックが完了していないと判定した場合（ステップＳＴ１０のＮＯ）、作業支援装置２００は、処理をステップＳＴ１２に戻す。具体的には、作業支援装置２００は、次のチェック対象がある場所まで作業者を誘導する。本実施形態では、トラブルシューティング部４３は、防塵ネットの次のチェック対象であるラジエータがある場所まで作業者を誘導する。そして、撮像装置２１がラジエータの画像を取得したときに、ラジエータの汚れのチェック手順に関する情報を拡張現実的に表示させる。オイルクーラの汚れ、ファンの動作不良、サーモスタットの動作不良、リザーブタンク内の冷却水の不足、ラジエータの動作不良等のその後のチェック対象についても同様である。

そして、全てのチェックが完了したと判定した場合（ステップＳＴ１５のＹＥＳ）、作業支援装置２００は、今回のトラブルシューティング支援処理を終了させる。この際、作業支援装置２００は、チェックの際に記録部４３ＣがＲＡＭ等に記憶した情報を、管理装置３００又はショベル１００に向けて送信してもよい。

上述の手順により、作業支援装置２００は、トラブルシューティング作業におけるチェック漏れ等の発生を防止できる。

このように、建設機械の作業支援装置２００は、経験が浅い作業者が、効率、質等において、ベテランの作業者と同程度のレベルで部品交換、トラブルシューティング等の作業を行うことができるように、その作業者を支援できる。また、作業支援装置２００は、作業者が作業手順書を都度確認する手間を省くことができるように構成されているため、作業効率を向上させることができる。また、作業支援装置２００は、作業者が作業手順を現場で確認したり、部品の有無を現場で確認したりする手間を省くことができるように構成されているため、手順誤り、作業漏れ等の発生を防止できる。

また、作業支援装置２００は、音声入力装置２２を通じて作業者の入力を受けるように構成されていてもよい。この場合、作業者は、作業中に汚れた手で作業支援装置２００に触れることなく、所定の手順にしたがって作業支援装置２００を動作させることができる。

また、作業支援装置２００は、作業安全上の注意点を作業者に知らせることができるため、作業者の安全性を高めることができる。

また、作業支援装置２００は、作業者が実際に作業を行う状況を動画等で記録できる。そのため、管理者は、作業に不備があった否かを事後的に確認できる。また、管理者は、記録した内容を、別の作業者のための教材として利用できる。

次に、図１３〜図１６を参照し、部品交換又はトラブルシューティングの対象となっているショベル１００の場所まで作業支援装置２００が作業者を誘導する処理（以下、「誘導処理」とする。）について説明する。図１３〜図１６に示す例では、作業支援装置２００は、スマートフォン６０を含む。図１３〜図１５は、作業支援装置２００を構成するスマートフォン６０に搭載されている表示装置に表示される画面の表示例を示す。図１６は、スマートフォン６０と連携して作業者を誘導するショベル１００の構成例を示す。

具体的には、図１３は、ショベル１００の位置に関する情報を作業者が検索する際に表示される画面の表示例を示す。作業者は、登録語「ショベル検索」を発話したり、スマートフォン６０の表示装置に表示されている所定のアイコンをタッチ操作したりする等の所定の入力操作を行うことで、図１３に示すような画面を表示させることができる。

図１３の画面は、４つの検索機能のうちの１つを選択するための検索メニューと、この画面を消去するためのソフトウェアボタンである終了ボタンＧＲ５を含む。検索メニューは、４つの検索機能のそれぞれを開始させるためのソフトウェアボタンである、周辺機番検索ボタンＧＲ１、機番検索ボタンＧＲ２、機種検索ボタンＧＲ３及び住所検索ボタンＧＲ４を含む。

周辺機番検索ボタンＧＲ１は、スマートフォン６０の周辺に存在するショベル１００を検索するためのソフトウェアボタンである。

機番検索ボタンＧＲ２は、特定の機番を有するショベル１００を検索するためのソフトウェアボタンである。スマートフォン６０は、例えば、機番検索ボタンＧＲ２が押されたときに、機番を入力させるための画面を表示する。そして、機番が入力されたときに、その機番を有するショベル１００を表す図形を地図画像上に表示する。

機種検索ボタンＧＲ３は、特定の機種に属するショベル１００を検索するためのソフトウェアボタンである。スマートフォン６０は、例えば、機種検索ボタンＧＲ３が押されたときに、機種を選択させるための画面を表示する。そして、機種が選択されたときに、その機種に属するショベル１００を表す図形を地図画像上に表示する。

住所検索ボタンＧＲ４は、住所を用いてショベル１００を検索するためのソフトウェアボタンである。スマートフォン６０は、例えば、住所検索ボタンＧＲ４が押されたときに、住所を入力させるための画面を表示する。そして、住所が入力されたときに、その住所で特定される場所の周辺に存在するショベル１００を表す図形を地図画像上に表示する。

図１４は、図１３における周辺機番検索ボタンＧＲ１が押されたときに表示される画面の表示例を示す。図１４の画面は、地図画像ＧＲ６、現在位置アイコンＧＲ７、範囲図形ＧＲ８、ショベル図形ＧＲ９、ショベル図形ＧＲ１０、検索結果表ＧＲ１１及び情報更新ボタンＧＲ１２を含む。

地図画像ＧＲ６は、作業者（スマートフォン６０）がいる位置の周辺の地図を表す画像である。現在位置アイコンＧＲ７は、作業者（スマートフォン６０）の現在位置を表すアイコンである。現在位置は、例えば、測位装置２３が出力する情報に基づく。範囲図形ＧＲ８は、作業者（スマートフォン６０）から所定距離の範囲を表す円である。ショベル図形ＧＲ９及びショベル図形ＧＲ１０は、作業者（スマートフォン６０）から所定距離の範囲内に存在するショベル１００の位置を表す図形である。また、矩形枠で囲まれたショベル図形ＧＲ９は、修理、部品交換等の要請を受けているショベル１００であることを表す。但し、矩形枠の表示は省略されてもよい。

検索結果表ＧＲ１１は、作業者（スマートフォン６０）の周辺に存在するショベル１００の検索結果を表す表である。検索結果表ＧＲ１１は、付箋カラム、機番カラム、住所カラム及び距離カラムを含む。

付箋カラムは、修理、部品交換等の要請を受けているショベル１００であるか否を表す。「●」は、修理、部品交換等の要請を受けているショベル１００であることを表し、空欄は、修理、部品交換等の要請を受けていないショベル１００であることを表す。「●」は、例えば、顧客からの電話を管理センタで受けた者により、管理装置３００を通じて設定される。

機番カラムは、ショベル１００の機番を表す。住所カラムは、ショベル１００が存在する住所を表す。距離カラムは、作業者（スマートフォン６０）からショベル１００までの距離を表す。

情報更新ボタンＧＲ１２は、ショベル１００の位置に関する情報を更新するためのボタンである。本実施形態では、ショベル１００の位置に関する情報は、所定時間（例えば１時間）毎に更新されている。そのため、地図画像ＧＲ６上に表示されているショベル図形ＧＲ９の位置は、作業者が探しているショベル１００（修理、部品交換等の要請を受けているショベル１００）の現在位置とは異なる位置を表している場合がある。作業者が探しているショベル１００が移動してしまっている場合があるためである。そこで、スマートフォン６０は、作業者が情報更新ボタンＧＲ１２を押すことで、修理、部品交換等の要請を受けているショベル１００の位置に関する情報を更新できるように構成されている。具体的には、スマートフォン６０は、情報更新ボタンＧＲ１２が押されたときに、通信装置２４を通じ、付箋カラムに「●」が付されているショベル１００に対して情報発信指令を送信する。スマートフォン６０は、情報更新ボタンＧＲ１２が押されたときに、作業者（スマートフォン６０）から所定の距離範囲内に存在する全てのショベルに対して情報発信指令を送信してもよい。情報発信指令を受けたショベル１００は、現在位置に関する情報をスマートフォン６０に向けて発信する。現在位置に関する情報は、例えば、測位装置Ｐ１の出力に基づく。その後、ショベル１００の現在位置に関する情報を受信したスマートフォン６０は、その現在位置に対応する地図画像ＧＲ６上の位置にショベル図形ＧＲ９を移動させる。このとき、スマートフォン６０は、ショベル図形ＧＲ９までの経路を表示してもよく、ショベル図形ＧＲ９に対応するショベル１００に関する稼動情報等を表示してもよい。ショベル１００に関する稼動情報は、例えば、ショベル１００が稼動しているか否かといった情報を含む。

スマートフォン６０は、付箋カラムにおける「●」の部分又はそれに対応する機番、住所若しくは距離の部分がタッチ操作されたときに、関連するショベル１００に対して情報発信指令を送信してもよい。

図１５は、作業者が情報更新ボタンＧＲ１２を押したときに表示される画面の表示例を示す。図１５では、図１４の場合に比べ、現在位置アイコンＧＲ７の位置がショベル図形ＧＲ１０の近くに移動している。スマートフォン６０を携帯する作業者が移動したためである。また、範囲図形ＧＲ８で示す範囲内に別のショベル図形ＧＲ１３が表示されている。作業者（スマートフォン６０）から所定の距離範囲内に３台目のショベル１００が入ったためである。そのため、検索結果表ＧＲ１１にも３台目のショベル１００に関する情報が追加されている。更に、ショベル図形ＧＲ９の位置が変化している。作業者が探しているショベル１００の現在位置が更新されたためである。更に、図１５では、地図画像ＧＲ６の下に機体特定ボタンＧＲ１４が表示されている。本実施形態では、機体特定ボタンＧＲ１４は、ショベル図形ＧＲ９に対応するショベル１００に向けて報知指令を出力するためのボタンである。報知指令を受けたショベル１００は、自身の存在を作業者に知らせるために音、光等を出力する。機体特定ボタンＧＲ１４は、ショベル図形ＧＲ９に対応するショベル１００と作業者（スマートフォン６０）との距離が所定値を下回った場合に表示されるように構成されていてもよい。すなわち、その距離が所定値を下回るまでは表示されないように構成されていてもよい。

作業者は、図１５の画面を見ることで、所定の距離範囲内に３台のショベル１００が存在し、そのうちの１台が、修理、部品交換等の要請を受けているショベル１００であることを認識できる。また、図１５の画面を見ることで、作業者は、修理、部品交換等の要請を受けているショベル１００がすぐ近くに存在することを認識できる。このように、作業者は、機番を入力したり、機種を選択したり、或いは、住所を入力したりすることなく、探しているショベル１００を見つけ出すことができる。

修理、部品交換等の要請を受けているショベル１００は、スマートフォン６０を携帯している作業者が所定の距離範囲内に進入したと判断した場合に、自身の位置を作業者に報知する報知機能を有するように構成されていてよい。

図１６は、報知機能を有するショベル１００の構成例を示す。図１６の例では、ショベル１００は、報知装置Ｄ１を有する点で図１のショベル１００と異なるが、その他の点で図１のショベル１００と共通する。そのため、共通部分の説明を省略し、相違部分を詳細に説明する。

報知装置Ｄ１は、ショベル１００の周囲に存在する人にショベル１００の存在を報知するように構成されている。報知装置Ｄ１は、例えば、コントローラ３０からの指令に応じ、ショベル１００の周囲に存在する人にショベル１００の存在を視覚的又は聴覚的に報知するように構成されていてもよい。この場合、報知装置Ｄ１は、例えば、ライト、ホーン、ブザー等である。或いは、報知装置Ｄ１は、コントローラ３０からの指令に応じ、ショベル１００の周囲に存在する作業者が携帯しているスマートフォン６０に向けて電波信号を送信するビーコンであってもよい。この場合、電波信号を受信したスマートフォン６０は、ショベル１００が存在する方向を画面上に表示してもよい。或いは、報知装置Ｄ１は、コントローラ３０からの指令に応じ、ショベル１００のエンジンを始動させるように構成されていてもよい。

本実施形態では、報知装置Ｄ１は、キャビン１０の上部に設置されたライトである。スマートフォン６０は、例えば、機体特定ボタンＧＲ１４が押されたときに、ショベル１００に向けて報知指令を出力する。スマートフォン６０は、ショベル図形ＧＲ９に関するショベル１００とスマートフォン６０との距離が第１所定値を下回った場合に自動的にショベル１００に向けて報知指令を出力してもよい。この処理は、管理センタに設置されている管理装置３００で実行されてもよく、ショベル１００のコントローラ３０で実行されてもよい。報知指令を受けた報知装置Ｄ１は、ショベル１００の周囲を照らすように発光する。スマートフォン６０を携帯する作業者の方向を照らすように構成されていてもよい。この構成により、ショベル１００は、自身の存在を作業者に知らせることができ、作業者がショベル１００を探す手間を軽減させることができる。すなわち、作業者は、広い作業現場であっても、探しているショベル１００を確実に且つ容易に見つけ出すことができる。

報知装置Ｄ１は、ショベル図形ＧＲ９に関するショベル１００と作業者（スマートフォン６０）との距離が第１所定値より小さい第２所定値を下回った場合に、報知を停止させてもよい。

上述の通り、本発明の実施形態に係る作業支援装置２００は、建設機械としてのショベル１００に関する作業を支援する。具体的には、作業支援装置２００は、撮像装置２１と、表示装置２６と、制御装置２０と、を備えている。制御装置２０は、撮像装置２１が取得した画像における、燃料ライン５０、ストップバルブ５１、燃料プレフィルタケース５２、エア抜きプラグ５３、ドレインホース５４、キャップ５５等の所定物の画像を認識し、所定物に対応するように所定物に関する情報を拡張現実的に表示するように構成されている。この構成により、作業支援装置２００は、ショベル１００に関する作業をより効率的に支援できる。

建設機械としてのショベル１００に関する作業は、例えば、ショベル１００の故障の原因を特定する作業、又は、原因を特定した後の修理に関する作業を含む。この場合、所定物は、ショベル１００の故障に関する部品であってもよい。そして、制御装置２０は、所定の手順にしたがって、複数の部品に関する情報を順に表示するように構成されていてもよい。

作業支援装置２００は、音声入力装置２２を備えていてもよい。そして、制御装置２０は、音声入力装置２２を通じて入力される音声に応じて表示装置２６に表示される情報を変化させるように構成されていてもよい。

制御装置２０は、ショベル１００に関する作業を支援する際に、撮像装置２１が取得した画像を記録するように構成されていてもよく、撮像装置２１が取得した画像を管理装置３００に送信するように構成されていてもよい。

作業支援装置２００は、測位装置２３と、通信装置２４と、を備えていてもよい。そして、制御装置２０は、測位装置２３及び通信装置２４を利用し、周囲に存在するショベル１００に関する情報を取得して表示装置２６に表示するように構成されていてもよい。

制御装置２０は、ショベル１００に対して指令を送信し、ショベル１００に備えられた報知装置Ｄ１を動作させるように構成されていてもよい。

制御装置２０は、ショベル１００との距離が所定値となったときにショベル１００に対して指令を送信し、報知装置Ｄ１の動作を停止させるように構成されていてもよい。

以上、本発明の好ましい実施形態について詳説した。しかしながら、本発明は、上述した実施形態に制限されることはない。上述した実施形態は、本発明の範囲を逸脱することなしに、種々の変形、置換等が適用され得る。また、別々に説明された特徴は、技術的な矛盾が生じない限り、組み合わせが可能である。

１・・・下部走行体 ２・・・旋回機構 ３・・・上部旋回体 ３ｃ・・・ハウスカバー ３ｄ・・・サイドドア ４・・・ブーム ５・・・アーム ６・・・バケット ７・・・ブームシリンダ ８・・・アームシリンダ ９・・・バケットシリンダ １０・・・キャビン ２０・・・制御装置 ２１・・・撮像装置 ２２・・・音声入力装置 ２３・・・測位装置 ２４・・・通信装置 ２５・・・音声出力装置 ２６・・・表示装置 ３０・・・コントローラ ４０・・・画像認識部 ４１・・・画像表示部 ４２・・・部品交換サポート部 ４２Ａ・・・入力認識部 ４２Ｂ・・・シーケンス制御部 ４２Ｃ・・・記録部 ４３・・・トラブルシューティング部 ４３Ａ・・・入力認識部 ４３Ｂ・・・シーケンス制御部 ４３Ｃ・・・記録部 ５０・・・燃料ライン ５１・・・ストップバルブ ５２・・・燃料プレフィルタケース ５３・・・エア抜きプラグ ５４・・・ドレインホース ５５・・・キャップ ６０・・・スマートフォン １００・・・ショベル ２００・・・作業支援装置 ３００・・・管理装置 Ｄ１・・・報知装置 Ｐ１・・・測位装置 ＳＹＳ・・・作業支援システム Ｔ１・・・通信装置

Claims (10)

1. 建設機械に関する作業を支援する建設機械の作業支援装置であって、
   撮像装置と、
   表示装置と、
   制御装置と、を備え、
   前記制御装置は、前記撮像装置が取得した画像における所定物の画像を認識し、前記所定物に対応するように前記所定物に関する情報を拡張現実的に表示するように構成されている、
   建設機械の作業支援装置。
2. 前記建設機械に関する作業は、前記建設機械の故障の原因を特定する作業、又は、原因を特定した後の修理に関する作業であり、
   前記所定物は、前記建設機械の故障に関する部品であり、
   前記制御装置は、所定の手順にしたがって、複数の前記部品に関する情報を順に表示するように構成されている、
   請求項１に記載の建設機械の作業支援装置。
3. 音声入力装置を備え、
   前記制御装置は、前記音声入力装置を通じて入力される音声に応じて前記表示装置に表示される情報を変化させる、
   請求項１又は２に記載の建設機械の作業支援装置。
4. 前記制御装置は、前記建設機械に関する作業を支援する際に、前記撮像装置が取得した画像を記録するように構成されている、
   請求項１乃至３の何れかに記載の建設機械の作業支援装置。
5. 前記制御装置は、前記建設機械に関する作業を支援する際に、前記撮像装置が取得した画像を管理装置に送信するように構成されている、
   請求項１乃至４の何れかに記載の建設機械の作業支援装置。
6. 測位装置と、
   通信装置と、を備え、
   前記制御装置は、前記測位装置及び前記通信装置を利用し、周囲に存在する前記建設機械に関する情報を取得して前記表示装置に表示するように構成されている、
   請求項１乃至５の何れかに記載の建設機械の作業支援装置。
7. 前記制御装置は、前記建設機械に対して指令を送信し、前記建設機械に備えられた報知装置を動作させるように構成されている、
   請求項６に記載の建設機械の作業支援装置。
8. 前記制御装置は、前記建設機械との距離が所定値となったときに前記建設機械に対して指令を送信し、前記報知装置の動作を停止させるように構成されている、
   請求項７に記載の建設機械の作業支援装置。
9. 工具が発信する情報を受信する受信部と、
   前記工具が発信する情報を記憶する記憶部と、を備える、
   請求項１乃至８の何れかに記載の建設機械の作業支援装置。
10. 前記制御装置は、前記撮像装置が取得した画像における、前記所定物が配置される作業領域の画像を認識し、前記作業領域に関する指示情報を拡張現実的に表示するように構成されている、
    請求項１乃至９の何れかに記載の建設機械の作業支援装置。

Images