JP2020160799A - 建設機械アタッチメントの管理システム及び管理サーバ - Google Patents

Abstract

【課題】各建設機械に装着されたアタッチメントの識別情報を過度な労力を費やすことなく収集してアタッチメントの各種情報をメーカ側で管理可能なデータベースを構築することができる建設機械アタッチメントの管理システム及び管理サーバを提供する。【解決手段】管理システムは、建設機械に装着されたアタッチメントを識別するための識別情報を含むアタッチメントに関する複数種の情報を格納するデータベースを有する管理サーバ１０と、識別対象のアタッチメントの画像データを取得して管理サーバへ送信する画像データ取得装置と、管理サーバと情報の授受が可能な情報処理装置とを備える。管理サーバは、画像データ取得装置から送信された識別対象のアタッチメントの画像データを基に識別対象のアタッチメントの識別情報を取得し、識別情報をデータベースに照合して識別対象のアタッチメントの識別を行い、照合結果に応じてデータベースを更新する。【選択図】図２０

Description

本発明は、建設機械アタッチメントの管理システム及び管理サーバに係り、更に詳しくは、建設機械に装着されたアタッチメントに関する各種情報を格納するデータベースを備える管理サーバ及びそれを備える管理システムに関する。

油圧ショベルやホイルローダ等の建設機械では、バケットやブレーカ、カッターなど、作業用途に応じて様々な種類のアタッチメントが存在する。アタッチメントとして、建設機械メーカ製の純正品以外に、アタッチメントメーカ製の市販品や改造品が使用されることがある。しかし、市販品や改造品のアタッチメントの中には、建設機械の車体仕様に適合しないものがある。建設機械の操作は、一般的に、車体仕様に合わせて最適化された制御パラメータを用いて制御されている。アタッチメントの寸法や重量等の仕様が車体仕様に適合していない場合（純正品のアタッチメントの仕様と大幅に異なる場合）、その最適な制御パラメータは純正品用に最適化された制御パラメータと異なるものとなる。純正品用に最適化された制御パラメータをそのまま用いて市販品や改造品のアタッチメントを操作すると、操作性の低下や作業効率の低下が懸念される。

これらの不具合をサービス員が修理により改善しようとすると、メーカ側として各建設機械に使用されているアタッチメントを識別して当該アタッチメントの各種情報を把握した上で不具合の原因を特定する必要がある。しかし、建設機械に装着されているアタッチメントの製造元や型式、重量、寸法等の諸元情報をメーカ側で把握することは非常に手間が掛かる作業であり、サービス員にとって大きな負担となっている。

建設機械に装着されているアタッチメントを識別する技術として、例えば、特許文献１に記載のものがある。特許文献１に記載のアタッチメント認識装置は、姿勢センサ及び距離センサの検出結果を基に抽出したアタッチメントの特徴量とデータベースに予め記憶されている参照アタッチメントの特徴量とを照合することで、装着されているアタッチメントの認識を行うものである。

特開２０１７-１５７０１６号公報

しかしながら、特許文献１に記載の技術では、アタッチメントの形状や種類以外の情報を収集することは難しい。このようなことから、アタッチメントの形状や種類以外に、アタッチメントの型式や製造元等のアタッチメントを識別するための識別情報を過度な労力を費やすことなく収集する新たな方法が求められている。

さらに、特許文献１は車体内でアタッチメントの認識作業が行われているので、メーカ側で個々の車体のアタッチメントの装着状況を管理することは難しい。

本発明は、上記の問題点を解消するためになされたものであり、その目的は、各建設機械に装着されたアタッチメントの識別情報を過度な労力を費やすことなく収集してアタッチメントの各種情報をメーカ側で管理することができるデータベースを構築することができる建設機械アタッチメントの管理システム及び管理サーバを提供することである。

本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、建設機械に装着されたアタッチメントを識別するための識別情報を含むアタッチメントに関する複数種の情報を格納するデータベースを有する管理サーバと、識別対象のアタッチメントの画像データを取得して前記管理サーバへ送信するように構成されている画像データ取得装置と、前記管理サーバと情報の授受が可能な情報処理装置とを備える建設機械アタッチメントの管理システムにおいて、前記管理サーバは、前記画像データ取得装置から送信された識別対象のアタッチメントの画像データを基に前記識別対象のアタッチメントの識別情報を取得し、取得した識別情報を前記データベースに照合して前記識別対象のアタッチメントの識別を行い、照合結果に応じて前記データベースを更新するように構成されていることを特徴とする。

本発明によれば、管理サーバが、画像データ取得装置から送信された識別対象のアタッチメントの画像データを基に識別情報を取得してデータベースと照合することで識別対象のアタッチメントを識別し、照合結果に応じてデータベースを更新するので、各建設機械に装着されたアタッチメントの識別情報を過度な労力を費やすことなく収集してアタッチメントの各種情報をメーカ側で管理できるデータベースを構築することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の建設機械アタッチメントの管理システムの一実施の形態を示す構成図である。 本発明の建設機械アタッチメントの管理システムの一実施の形態の管理対象であるアタッチメントの一例のバケットの構造を示す斜視図である。 本発明の建設機械アタッチメントの管理システムの一実施の形態の管理対象であるアタッチメントに取り付けられた銘板の一例を示す図である。 本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する画像データ取得装置のハードウェアの構成図である。 本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する画像データ取得装置の機能ブロック図である。 本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する画像データ取得装置によって取得される識別対象のアタッチメントの全体画像の一例を示す図である。 本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する画像データ取得装置によって取得される識別対象のアタッチメントの銘板・打刻画像の一例を示す図である。 本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する画像データ取得装置によって取得される識別対象のアタッチメントのメーカロゴ画像の一例を示す図である。 本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する画像データ取得装置によって取得される識別対象のアタッチメントの破損画像の一例を示す図である。 本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する画像データ取得装置における識別対象のアタッチメントの画像データの取得のための処理手順の一例を示すフローチャート図である。 本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する画像データ取得装置に表示される建設機械の機体情報画面の一例を示す図である。 本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する画像データ取得装置に表示されるアタッチメント全体画像の撮像のための表示画面の一例を示す図である。 本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する画像データ取得装置に表示される銘板・打刻の有無の入力画面の一例を示す図である。 本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する画像データ取得装置に表示される銘板・打刻の撮像のための表示画面の一例を示す図である。 本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する画像データ取得装置に表示されるメーカロゴの有無の入力画面の一例を示す図である。 本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する画像データ取得装置に表示されるメーカロゴの撮像のための表示画面の一例を示す図である。 本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する画像データ取得装置に表示される破損箇所の有無の入力画面の一例を示す図である。 本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する画像データ取得装置に表示される破損箇所の撮像のための表示画面の一例を示す図である。 本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する管理サーバのハードウェアの構成図である。 本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する管理サーバの機能ブロック図である。 本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する管理サーバにおけるアタッチメント情報データベースに格納されている情報の構成の一例を示す図である。 本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する管理サーバにおけるアタッチメントの識別のための処理手順の一例を示すフローチャート図である。 図２２に示すフローチャート図のステップＳ３０の詳細な処理手順の一例を示すフローチャート図である。 本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する管理サーバのアタッチメント識別部の処理を示す説明図である。 本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する画像データ取得装置に表示される識別対象のアタッチメントに関する情報の確認画面の一例を示す図である。 本発明の建設機械アタッチメントの管理システムの一実施の形態における管理サーバとコンピュータ（クライアント）間の授受可能な情報を示す説明図である。

以下、本発明の建設機械アタッチメントの管理システム及び管理サーバの実施の形態について図面を用いて説明する。

［一実施の形態］
まず、本発明の建設機械アタッチメントの管理システムの一実施の形態の構成について図１を用いて説明する。図１は本発明の建設機械アタッチメントの管理システムの一実施の形態を示す構成図である。本実施の形態においては、建設機械の一例として油圧ショベルを例に説明する。

図１において、油圧ショベル１００は、建設機械製造業者（建設機械メーカ）の工場から出荷され、土木作業や解体作業、竣工作業などの作業現場で稼働する。図１では、図面の簡略化のために、１台の油圧ショベル１００のみを示しているが、実際には、複数の油圧ショベル１００が様々な作業現場で稼働している。油圧ショベル１００は、自走可能な下部走行体１０１と、下部走行体１０１上に搭載された上部旋回体１０２と、上部旋回体１０２の前側に設けられた作業装置１０３とを備えている。作業装置１０３は、上部旋回体１０２に回動可能に取り付けられたブーム１０５と、ブーム１０５の先端部に回動可能に取り付けられたアーム１０６と、アーム１０６の先端部に回動可能に取り付けられたアタッチメント１１０とで構成されている。

各油圧ショベル１００は、作業内容に応じて異なる種類のアタッチメント１１０を装着することが可能である。アタッチメント１１０には、主に掘削に用いられるバケット（図１で図示したもの）、瓦礫などのふるい分けが可能なスケルトンバケット、法面造成のための法面バケット、解体作業で用いられるカッターやブレーカなどの多種多様なものが存在する。アタッチメント１１０には、建設機械メーカが当該建設機械のために製造した純正品以外に、建設機械メーカ以外の製造業者が製造する市販品が存在する。作業現場で稼働する建設機械１００には、建設機械１００を使用する顧客の要望等により、純正品以外のアタッチメント１１０が装着されることもある。そのため、建設機械１００に装着されているアタッチメント１１０に関する各種情報、例えば、種類や製造メーカ、型式等を建設機械メーカ側で把握することが求められている。

そこで、本実施の形態に係る建設機械アタッチメントの管理システム（以下、管理システムという）は、各建設機械１００に装着されているアタッチメント１１０の各種情報を収集して建設機械メーカ側で管理可能なデータベースを構築し、当該データベースに格納されたアタッチメント１１０の各種情報を建設機械１００の関係者に対して提供するものである。管理システムは、アタッチメント１１０の情報を含む建設機械１００に関する各種情報を格納したデータベース２０を備える管理サーバ１０と、建設機械１００に装着された識別対象のアタッチメント１１０の画像データを取得して管理サーバ１０へ送信する画像データ取得装置５０と、管理サーバ１０と建設機械１００の各種情報の授受が可能な情報処理装置としてのコンピュータ（クライアント）８０とを備えている。コンピュータ８０は、例えば、建設機械メーカの設計者やサービス員、建設機械１００のオペレータ、施工管理者等が使用するものである。コンピュータ８０を利用可能な建設機械１００の関係者及びその閲覧可能な情報の詳細については後述する。

管理サーバ１０は、建設機械メーカによって管理されるものであり、例えば、管理センタ１に設置されている。管理センタ１は、基地局とも呼ばれ、建設機械メーカの本社や支社、生産工場等に設置されている。なお、管理サーバ１０は、サーバの運営保守を専門的に扱うデータセンタに設置することも可能である。

管理センタ１は、例えば、無線通信アンテナ１２１と専用回線１３１を介して接続されている。画像データ取得装置５０は、例えば、移動体通信基地局１２２を介した無線通信１３２により無線通信アンテナ１２１と接続可能であると共に、インターネット回線１３３を介して管理センタ１に接続可能である。また、画像データ取得装置５０は、無線通信１３４により油圧ショベル１００と接続可能である。コンピュータ８０は、インターネット回線１３３を介して管理センタ１に接続可能である。建設機械１００は、通信衛星１２３を介した衛星通信１３５より無線通信アンテナ１２１と接続可能である。

次に、本発明の建設機械アタッチメントの管理システムの一実施の形態の管理対象であるアタッチメントについて図２及び図３を用いて説明する。図２は本発明の建設機械アタッチメントの管理システムの一実施の形態の管理対象であるアタッチメントの一例のバケットの構造を示す斜視図である。図３は本発明の建設機械アタッチメントの管理システムの一実施の形態の管理対象であるアタッチメントに取り付けられた銘板の一例を示す図である。

アタッチメント１１０の一例であるバケットは、例えば図２に示すように、底部側から開口側に向けて湾曲した底板１１１と、底板１１１の左右両側にそれぞれ設けられた側板１１２と、底板１１１の一方側端縁に側板１１２の並び方向に間隔をあけて設けられた複数の爪１１３と、底板１１１の他方側端部に設けられ、アーム１０６（図１を参照）とアタッチメント１１０を接続するピン（図示せず）が挿入されるヒンジ１１４とを備えている。

アタッチメント１１０には、例えば、銘板１１５が取り付けられている。銘板１１５は、アタッチメント１１０を識別するための識別情報やアタッチメント１１０の物理的特性を示す物理情報など、アタッチメント１１０に関する各種情報が文字列で記されたものである。識別情報として、製造メーカや型式、製造番号等がある。物理情報として、容量や重量、寸法等がある。銘板１１５は、例えば図３に示すように、上から順に、容量を示す文字列１１５ａ、重量を示す文字列１１５ｂ、型式を示す文字列１１５ｃ、製造番号を示す文字列１１５ｄが記されている。なお、図３に示す銘板１１５に記された文字列（情報）は、英数字のみで構成されているが、英数字に加えて、日本語やその他の言語及び記号を含む文字列で構成することも可能である。

銘板１１５に代えて、アタッチメント１１０の各種情報が記されたラベルが貼付されることもある。また、銘板１１５に代えて、アタッチメント１１０の底板１１１や側板１１２等の部材にアタッチメント１１０の各種情報を直接刻む打刻形式の場合もある。すなわち、銘板やラベル、打刻は、アタッチメント１１０の識別情報や物理情報等の各種情報を示す文字列を記した文字列情報表示部として機能する。

次に、本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する画像データ取得装置について説明する。まず、画像データ取得装置のハードウェアの構成について図４を用いて説明する。図４は画像データ取得装置のハードウェアの構成図である。

画像データ取得装置５０は、建設機械に装着された識別対象のアタッチメント１１０（図１参照）の画像データを取得して管理サーバ１０（図１参照）へ送信するように構成されている。画像データ取得装置５０は、例えば、そのハードウェアの構成として、マイクロコンピュータ５１、通信モジュール５２、撮像モジュール５３、ユーザインターフェース５４、ＧＰＳセンサ５５を備えている。

マイクロコンピュータ５１は、ＲＡＭやＲＯＭ等からなる記憶装置５７と、処理装置（例えば、ＣＰＵ）５８とを有している。記憶装置５７には、処理装置５８の演算に必要なプラグラムや各種情報が予め記憶されている。記憶装置５７として、ＲＯＭ及びＲＡＭの半導体メモリに代えて又は加えて、ハードディスクドライブ等の磁気記憶装置を備える構成も可能である。処理装置５８は、記憶装置５７からプログラムや各種情報を適宜読み込み、当該プログラムに従って処理を実行する。

通信モジュール５２は、移動体通信基地局１２２（図１参照）や無線通信アンテナ１２１（図１参照）を介して管理サーバ１０に対して各種情報を送受信するものである。また、インターネット回線１３３（図１参照）を介して管理サーバ１０に対して各種情報を送受信するものである。さらに、無線通信１３４により建設機械と各種情報を送受信するものである。

撮像モジュール５３は、識別対象のアタッチメント１１０を直接撮像してアタッチメント１１０の画像データを取得するものであり、例えば、カメラである。なお、画像データ取得装置は、撮像モジュール５３を省略し、外部の撮像装置が撮像したアタッチメント１１０の画像データを外部の記憶媒体（例えば、ＵＳＢメモリやＳＤメモリカード）を介して記憶装置５７に取り込むようにした構成も可能である。

ユーザインターフェース５４は、ユーザ（画像データ取得装置５０を操作するサービス員等）とマイクロコンピュータ５１の間で情報の授受を行う部分である。ユーザインターフェース５４は、例えば、各種の画面を表示する表示装置とユーザからの入力が可能な入力装置とを組み合わせたタッチパネルや操作ボタン等を含んでいる。

ＧＰＳ（グローバル・ポジショニング・システム）センサ５５は、ＧＰＳ衛星からの信号を受信するアンテナ５５ａを備えている。ＧＰＳセンサ５５は、複数のＧＰＳ衛星から受信した信号の時間差に基づき地球座標系におけるアンテナ５５ａの位置座標を演算するものである。

画像データ取得装置５０として、例えば、スマートフォンやタブレット端末を用いることが可能である。また、マイクロコンピュータ及び通信機能を備える建設機械内のシステムを用いることも可能である。

次に、画像データ取得装置の機能を図５〜図９を用いて説明する。図５は画像データ取得装置の機能ブロック図である。図６は画像データ取得装置によって取得される識別対象のアタッチメントの全体画像の一例を示す図である。図７は画像データ取得装置によって取得される識別対象のアタッチメントの銘板・打刻画像の一例を示す図である。図８は画像データ取得装置によって取得される識別対象のアタッチメントのメーカロゴ画像の一例を示す図である。図９は画像データ取得装置によって取得される識別対象のアタッチメントの破損画像の一例を示す図である。

以下で説明する画像データ取得装置５０の各機能は、所定のアプリケーションのプログラムがマイクロコンピュータ５１で実行されることにより実現される。図５において、画像データ取得装置５０は、機体情報取得部６１と、全体画像取得部６２と、銘板・打刻画像取得部６３と、メーカロゴ画像取得部６４と、破損画像取得部６５と、位置情報取得部６６と、時刻情報取得部６７と、記憶部６９と、情報送信処理部７１として機能する構成を備えている。

機体情報取得部６１は、識別対象のアタッチメント１１０が装着された建設機械１００の機体に関する各種情報を示す機体情報を建設機械１００から通信モジュール５２（図４を参照）を介して取得して記憶部６９に一時的に記憶させるものである。また、機体情報取得部６１は、建設機械１００から取得した機体情報をユーザインターフェース５４（図４を参照）の表示装置に表示させるものである。具体的な処理は後述する。

全体画像取得部６２は、ユーザの所定の操作に基づき撮像モジュール５３（図４を参照）を介して識別対象のアタッチメント１１０の全体画像を撮像することで全体画像の画像データを取得し、取得した全体画像の画像データを記憶部６９に一時的に記憶させるものである。全体画像は、識別対象のアタッチメントの全体形状を写した画像であり、例えば、図６に示す全体画像６２１である。具体的な処理は後述する。

銘板・打刻画像取得部６３は、ユーザの入力操作に基づき識別対象のアタッチメント１１０に銘板１１５または打刻が有るか否かを判別するものである。加えて、銘板１１５または打刻が有ると判別した場合には、ユーザの所定の操作に基づき撮像モジュール５３を介して識別対象のアタッチメント１１０の銘板・打刻画像を撮像することで銘板・打刻画像の画像データを取得し、取得した銘板・打刻画像の画像データを一時的に記憶部６９に記憶させるものである。銘板・打刻画像は、銘板やラベル、打刻など、アタッチメント１１０の各種情報を示す文字列が記された文字列情報表示部を撮像したものであり、例えば、図７に示す銘板・打刻画像６３１である。具体的な処理は後述する。

メーカロゴ画像取得部６４は、ユーザの入力操作に基づき識別対象のアタッチメント１１０にメーカロゴが有るか否かを判別するものである。加えて、メーカロゴが有ると判別した場合には、ユーザの所定の操作に基づき撮像モジュール５３を介して識別対象のアタッチメント１１０のメーカロゴ画像を撮像することでメーカロゴ画像の画像データを取得し、取得したメーカロゴ画像の画像データを一時的に記憶部６９に記憶させるものである。メーカロゴ画像は、アタッチメント１１０に記されたアタッチメント製造業者を示す文字や記号、図形などを記したロゴを撮像したものであり、例えば、図８に示すメーカロゴ画像６４１である。具体的な処理は後述する。

破損画像取得部６５は、ユーザの入力操作に基づき識別対象のアタッチメント１１０に破損箇所が有るか否かを判別するものである。加えて、破損箇所が有ると判別した場合には、ユーザの所定の操作に基づき撮像モジュール５３を介して識別対象のアタッチメント１１０の破損画像を撮像することで破損画像の画像データを取得し、取得した破損画像の画像データを一時的に記憶部６９に記憶させるものである。破損画像は、アタッチメント１１０の破損箇所を撮像したものであり、例えば、図９に示すクラック６５１ａや爪の欠損６５１ｂを含む破損画像６５１である。具体的な処理は後述する。

位置情報取得部６６は、各画像取得部６２、６３、６４、６５がそれぞれ各画像６２１、６３１、６４１、６５１を撮像する際に、ＧＰＳセンサ５５を介して位置座標（位置情報）を取得し、取得した各位置情報を各画像取得部６２、６３、６４、６５が撮像した各画像６２１、６３１、６４１、６５１の画像データに紐付けて一時的に記憶部６９に記憶させるものである。すなわち、位置情報取得部６６は、各画像６２１、６３１、６４１、６５１の撮像場所の位置座標を取得し、各画像６２１、６３１、６４１、６５１の画像データに対して撮像場所の位置情報を紐付けるものである。

時刻情報取得部６７は、各画像取得部６２、６３、６４、６５がそれぞれ各画像６２１、６３１、６４１、６５１を撮像する際の現在時刻を取得し、取得した各時刻情報を各画像取得部６２、６３、６４、６５が撮像した各画像６２１、６３１、６４１、６５１の画像データに紐付けて一時的に記憶部６９に記憶させるものである。すなわち、時刻情報取得部６７は、各画像６２１、６３１、６４１、６５１の撮像時刻を取得し、各画像６２１、６３１、６４１、６５１の画像データに対して撮像時刻を紐付けるものである。時刻情報取得部６７は、例えば、移動体通信基地局１２２から通信モジュール５２を介して現在時刻を取得することが可能である。また、より高精度の時刻を取得したい場合には、通信衛星１２３から送られてくる現在時刻を通信モジュール５２を介して取得することも可能である。また、処理装置５８（図４参照）に内蔵した内部タイマ（図示せず）に基づき現在時刻を取得することも可能である。

情報送信処理部７１は、記憶部６９に一時的に記憶した全体画像６２１、銘板・打刻画像６３１、メーカロゴ画像６４１、及び破損画像６５１の識別対象のアタッチメント１１０の各画像データを、当該アタッチメント１１０を装着している建設機械１００の機体情報と共に、管理サーバ１０へ通信モジュール５２を介して送信するものである。なお、送信する各画像データには、撮像場所を示す位置情報及び撮像時刻を示す時間情報が付加されている。

画像データ取得装置５０は、さらに、情報修正部７２の機能を備えている。情報修正部７２は、管理サーバ１０から送信された識別対象のアタッチメント１１０に関する情報（画像データ取得装置５０が送信した識別対象のアタッチメント１１０の画像データを基に管理サーバ１０が後述の処理によって得た結果）をユーザの操作を介して修正し、修正した情報を管理サーバ１０へ通信モジュール５２を介して送信（返信）するものである。具体的な処理は後述する。

次に、本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する画像データ取得装置におけるアタッチメントの画像データを取得するための処理手順の一例を図５及び図１０〜図１８を用いて説明する。図１０は本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する画像データ取得装置における識別対象のアタッチメントの画像データの取得のための処理手順の一例を示すフローチャート図である。

各アタッチメント１１０の画像を取得する時期は、例えば、アタッチメント１１０の定期点検時や交換時である。アタッチメント１１０の定期点検等を行うサービス員が画像データ取得装置５０に対して所定の操作を行うことで、画像データ取得装置５０が識別対象のアタッチメント１１０の画像データを取得して管理サーバ１０へ送信するためのアプリケーションを起動する（画像データ取得装置５０が所定の処理を開始する）。

先ず、図５に示す画像データ取得装置５０では、機体情報取得部６１が建設機械１００の機体情報を建設機械１００から取得し、取得した機体情報をユーザインターフェース５４（図４参照）の表示装置に機体情報画面として表示する（図１０に示すステップＳ１１）。図１１は本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する画像データ取得装置に表示される建設機械の機体情報画面の一例を示す図である。図１１に示す機体情報画面６１１は、機種や号機番号、稼働時間の機体情報を示す機体情報表示部６１１ａを含んでいる。また、機体情報画面６１１は、「アタッチメントの登録」というパネル６１１ｂを含んでいる。画像データ取得装置５０を操作するサービス員は、機体情報画面６１１を確認することで、アタッチメント１１０が装着されている建設機械１００の機体情報を確認することができる。機体情報画面６１１の「アタッチメントの登録」のパネル６１１ｂがサービス員によりタッチ操作されることで、図５に示す機体情報取得部６１は、建設機械１００から取得した機体情報を一時的に記憶部６９に記憶する。

また、「アタッチメントの登録」のパネル６１１ｂがサービス員により操作されることで、識別対象のアタッチメント１１０の各種の画像データを取得するための処理を開始する。具体的には、画像データ取得装置５０の全体画像取得部６２は、撮影可能な状態に待機し、アタッチメント１１０の全体画像の撮像を促す第１表示画面を表示する。図１２は画像データ取得装置に表示されるアタッチメント全体画像の撮像のための表示画面の一例を示す図である。図１２に示す第１表示画面６２２は、「アタッチメント全体画像を撮影してください」という表記を含んでいる。第１表示画面６２２の表示中にサービス員が所定の操作を行うことで、図５に示す全体画像取得部６２がアタッチメント１１０の全体画像６２１（図６参照）を撮像して全体画像６２１の画像データを取得する（図１０に示すステップＳ１２）。さらに、取得した全体画像６２１の画像データを記憶部６９に一時的に記憶する。

なお、全体画像取得部６２の全体画像６２１の撮像時に、位置情報取得部６６がＧＰＳセンサ５５から位置座標を取得し、取得した位置座標を撮影の位置情報として全体画像６２１の画像データに紐付けて記憶部６９に記憶する。加えて、時刻情報取得部６７が移動体通信基地局１２２から現在時刻を取得し、取得した現在時刻を撮影の時刻情報として全体画像６２１の画像データに紐付けて記憶部６９に記憶する。

次に、画像データ取得装置５０の銘板・打刻画像取得部６３がサービス員の入力に基づきアタッチメント１１０の銘板１１５及び打刻の有無を判定する（図１０に示すステップＳ１３）。具体的には、銘板・打刻画像取得部６３は、アタッチメント１１０に銘板１１５または打刻が有るか否かの判定を入力可能な第１入力画面を表示装置に表示する。図１３は画像データ取得装置に表示される銘板・打刻の有無の入力画面の一例を示す図である。図１３に示す第１入力画面６３２は、「アタッチメントに銘板または打刻がありますか？」という表示６３２ａ、並びに、「はい（打刻・銘板撮影）」及び「いいえ」という表記の選択パネル６３２ｂ、６３２ｃを含んでいる。第１入力画面６３２で「はい（打刻・銘板撮影）」の選択パネル６３２ｂがサービス員によりタッチ操作される場合、銘板・打刻画像取得部６３は、アタッチメント１１０に銘板１１５又は打刻が有る（ＹＥＳ）と判定する。一方、「いいえ」の選択パネル６３２ｃがタッチ操作される場合、銘板・打刻画像取得部６３は、アタッチメント１１０に銘板１１５及び打刻が無い（ＮＯ）と判定する。

ステップＳ１３においてＹＥＳと判定した場合、銘板・打刻画像取得部６３は、撮影可能な状態に待機し、アタッチメント１１０の銘板・打刻画像の撮像を促す第２表示画面を表示する。図１４は画像データ取得装置に表示される銘板・打刻の撮像のための表示画面の一例を示す図である。図１４に示す第２表示画面６３３は、「銘板または打刻を撮影してください」という表記を含んでいる。第２表示画面６３３の表示中にサービス員が所定の操作を行うことで、銘板・打刻画像取得部６３はアタッチメント１１０の銘板・打刻画像６３１（図７参照）を撮像して銘板・打刻画像６３１の画像データを取得する（ステップ図１０に示すステップＳ１４）。サービス員の第１入力画面６３２を介したタッチ操作による「はい」の入力後に撮像された画像の画像データに対しては、銘板・打刻画像６３１である旨の情報を付加する。さらに、取得した銘板・打刻画像６３１の画像データを記憶部６９に一時的に記憶し、ステップＳ１５に進む。一方、ステップＳ１３においてＮＯと判定した場合、銘板・打刻画像６３１を撮像することなく銘板・打刻画像取得部６３の処理を終了し、ステップＳ１５に進む。

なお、図５に示す位置情報取得部６６及び時刻情報取得部６７は、銘板・打刻画像取得部６３が銘板・打刻画像６３１を撮像した際に、全体画像取得部６２が全体画像６２１を撮像した場合と同様に、位置座標及び現在時刻を銘板・打刻画像６３１の画像データに紐付けて記憶部６９に記憶する。

次いで、画像データ取得装置５０のメーカロゴ画像取得部６４がサービス員の入力に基づきメーカロゴの有無を判定する（図１０に示すステップＳ１５）。具体的には、メーカロゴ画像取得部６４は、アタッチメント１１０にメーカロゴが有るか否かの判定を入力可能な第２入力画面を表示装置に表示する。図１５は画像データ取得装置に表示されるメーカロゴの有無の入力画面の一例を示す図である。図１５に示す第２入力画面６４２は、「アタッチメントにメーカロゴがありますか？」という表示６４２ａ、並びに、「はい（メーカロゴ撮影）」及び「いいえ」という表記の選択パネル６４２ｂ、６４２ｃを含んでいる。第２入力画面６４２で「はい（メーカロゴ撮影）」の選択パネル６４２ｂがサービス員によりタッチ操作される場合、メーカロゴ画像取得部６４は、アタッチメント１１０にメーカロゴが有る（ＹＥＳ）と判定する。一方、「いいえ」の選択パネル６４２ｃがタッチ操作される場合、メーカロゴ画像取得部６４は、アタッチメント１１０にメーカロゴが無い（ＮＯ）と判定する。

ステップＳ１５においてＹＥＳと判定した場合、メーカロゴ画像取得部６４は、撮影可能な状態に待機し、アタッチメント１１０のメーカロゴ画像の撮像を促す第３表示画面を表示する。図１６は画像データ取得装置に表示されるメーカロゴの撮像のための表示画面の一例を示す図である。図１６に示す第３表示画面６４３は、「メーカロゴを撮影してください」という表記を含んでいる。第３表示画面６４３の表示中にサービス員が所定の操作を行うことで、メーカロゴ画像取得部６４はアタッチメント１１０のメーカロゴ画像６４１（図８参照）を撮像してメーカロゴ画像６４１の画像データを取得する（図１０に示すステップＳ１６）。サービス員の第２入力画面６４２を介したタッチ操作による「はい」の入力後に撮像された画像の画像データに対しては、メーカロゴ画像６４１である旨の情報を付加する。さらに、取得したメーカロゴ画像６４１の画像データを記憶部６９に一時的に記憶し、ステップＳ１７に進む。一方、ステップＳ１５においてＮＯと判定した場合、メーカロゴ画像６４１を撮像することなくメーカロゴ画像取得部６４の処理を終了し、ステップＳ１７に進む。

なお、図５に示す位置情報取得部６６及び時刻情報取得部６７は、メーカロゴ画像取得部６４がメーカロゴ画像６４１を撮像した際に、全体画像取得部６２が全体画像６２１を撮像した場合と同様に、位置座標及び現在時刻をメーカロゴ画像６４１の画像データに紐付けて記憶部６９に記憶する。

続いて、画像データ取得装置５０の破損画像取得部６５がサービス員の入力に基づき破損箇所の有無を判定する（ステップ１７）。具体的には、破損画像取得部６５は、アタッチメント１１０に破損箇所が有るか否かの判定を入力可能な第３入力画面を表示装置に表示する。図１７は画像データ取得装置に表示される破損箇所の有無の入力画面の一例を示す図である。図１７に示す第３入力画面６５２は、「アタッチメントに破損箇所がありますか？」という表示６５２ａ、並びに、「はい（破損箇所撮影）」及び「いいえ」という表記の選択パネル６５２ｂ、６５２ｃを含んでいる。第３入力画面６５２で「はい（破損箇所撮影）」の選択パネル６５２ｂがサービス員によりタッチ操作される場合、破損画像取得部６５は、アタッチメント１１０に破損箇所が有る（ＹＥＳ）と判定する。一方、「いいえ」の選択パネル６５２ｃがタッチ操作される場合、破損画像取得部６５は、アタッチメント１１０に破損箇所が無い（ＮＯ）と判定する。

ステップＳ１７においてＹＥＳと判定した場合、破損画像取得部６５は、撮影可能な状態に待機し、アタッチメント１１０の破損画像の撮像を促す第４表示画面を表示する。図１８は画像データ取得装置に表示される破損箇所の撮像のための表示画面の一例を示す図である。図１８に示す第４表示画面６５３は、「破損箇所を撮影してください」という表記を含んでいる。第４表示画面６５３の表示中にサービス員が所定の操作を行うことで、破損画像取得部６５はアタッチメント１１０の破損画像６５１（図９参照）を撮像して破損画像６５１の画像データを取得する（図１０に示すステップＳ１８）。サービス員の第３入力画面６５２を介したタッチ操作による「はい」の入力後に撮像された画像の画像データに対しては、破損画像６５１である旨の情報を付加する。さらに、取得した破損画像６５１の画像データを記憶部６９に一時的に記憶し、ステップＳ１９に進む。一方、ステップＳ１７においてＮＯと判定した場合、破損画像６５１を撮像することなく破損画像取得部６５の処理を終了し、ステップＳ１９に進む。

なお、図５に示す位置情報取得部６６及び時刻情報取得部６７は、破損画像取得部６５が破損画像６５１を撮像した際に、全体画像取得部６２が全体画像６２１を撮像した場合と同様に、位置座標及び現在時刻を破損画像６５１の画像データに紐付けて記憶部６９に記憶する。

それから、画像データ取得装置５０の情報送信処理部７１が、記憶部６９に記憶されているアタッチメント１１０の全体画像６２１、銘板・打刻画像６３１、メーカロゴ画像６４１、破損画像６５１の各画像データを、識別対象のアタッチメント１１０を装着している建設機械１００の機体情報と共に、管理サーバ１０へ送信する（図１０に示すステップＳ１９）。各画像データには、位置情報取得部６６によって取得された撮像場所の位置情報及び時刻情報取得部６７によって取得された撮像時刻の時間情報が付加されている。

このように、本実施の形態においては、識別対象のアタッチメント１１０の全体画像６２１、銘板・打刻画像６３１、メーカロゴ画像６４１、破損画像６５１の画像データを取得して管理サーバ１０へ送信するように画像データ取得装置５０が構成されている。

次に、本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する管理サーバについて説明する。まず、管理サーバのハードウェアの構成について図１９を用いて説明する。図１９は管理サーバのハードウェアの構成図である。

管理サーバ１０は、そのハードウェアの構成として、入力インターフェース１１、記憶装置１２、処理装置１３、出力インターフェース１４を備えている。

入力インターフェース１１は、画像データ取得装置５０から送信される識別対象のアタッチメント１１０の各種の画像データを建設機械の機体情報と共に入力する。また、入力インターフェース１１は、建設機械の関係者側のコンピュータ（クライアント）８０から送信される情報閲覧要求を入力する。情報閲覧要求は、管理サーバ１０のデータベース２０に格納された情報の閲覧を要求するものである。

記憶装置１２は、ＲＡＭやＲＯＭ等の半導体メモリやハードディスクドライブ等の磁気メモリ等で構成されている。記憶装置１２には、アタッチメント１１０の情報を含む建設機械に関する各種情報で構成されたデータベース２０が記憶されている。また、記憶装置１２には、識別対象のアタッチメント１１０の画像データを基にアタッチメント１１０の識別情報を取得してデータベース２０を更新するための所定のプログラムが予め記憶されている。

処理装置１３は、例えば、ＣＰＵ（Central Processing Unit）１６及びＧＰＵ（Graphics Processing Unit）１７を有している。ＧＰＵ１７は、画像処理専用の演算処理装置であり、ＣＰＵ１６によって制御される。なお、処理装置１３は、ＧＰＵ１７がＣＰＵ１６の主演算機能を有するＧＰＧＰＵを備える構成も可能である。処理装置１３は、記憶装置１２から読み出した所定のプログラムに従って、識別対象のアタッチメント１１０の各種の画像データを処理する。

出力インターフェース１４は、処理装置１３の処理結果を画像データ取得装置５０へ出力する。また、出力インターフェース１４は、コンピュータ８０の情報閲覧要求に対する応答としての情報をコンピュータ８０へ出力する。

次に、管理サーバの機能について図２０を用いて説明する。図２０は管理サーバの機能ブロック図である。

以下で説明する管理サーバ１０の各機能は、ＣＰＵ１６及びＧＰＵ１７を含む処理装置１３（図１９参照）が所定のプログラムを実行することにより実現される。図２０において、管理サーバ１０は、建設機械に関する各種情報を格納するデータベース２０と、画像データ取得装置５０から送信された識別対象のアタッチメント１１０の各種の画像データを基にアタッチメント１１０の識別情報を取得し、取得した識別情報をデータベース２０に照合して識別対象のアタッチメント１１０の識別を行うアタッチメント識別部３０とを備えている。

データベース２０は、建設機械の機体情報を格納する機体情報データベース（以下、機体情報ＤＢという）２１と、建設機械に装着されたアタッチメント１１０に関する複数種の情報を格納するアタッチメント情報データベース（以下、アタッチメント情報ＤＢという）２２とを備えている。機体情報ＤＢ２１は、例えば、建設機械の機種情報、号機番号情報、稼働時間情報を含んでいる。アタッチメント情報ＤＢ２２は、画像データ取得装置５０から送信された各種の画像データ等を基に収集されたアタッチメント１１０の各種情報によって建設機械メーカ側で管理できるように構築されるものである。アタッチメント情報ＤＢ２２の構成の詳細について後述するが、アタッチメント情報ＤＢ２２はアタッチメント１１０の識別情報２４や物理情報２５等を含んでいる。

アタッチメント識別部３０は、識別情報認識部３１と、識別情報推定部３２とを有している。識別情報認識部３１は、画像データ取得装置５０から送信された識別対象のアタッチメント１１０の各種の画像データのうち「銘板・打刻画像６３１（図７参照）」の画像データからアタッチメント１１０の識別情報を認識する。さらに、認識した識別情報をアタッチメント情報ＤＢ２２と照合して識別対象のアタッチメント１１０の識別を行い、照合結果に応じてアタッチメント情報ＤＢ２２を更新する。識別情報推定部３２は、画像データ取得装置５０から送信された識別対象のアタッチメント１１０の各種の画像データのうち「全体画像６２１（図６参照）」及び「メーカロゴ画像６４１（図８参照）」の画像データから学習済みモデル３４を用いてアタッチメント１１０の識別情報を推定する。さらに、推定した識別情報をアタッチメント情報ＤＢ２２と照合して識別対象のアタッチメント１１０の識別を行い、照合結果に応じてアタッチメント情報ＤＢ２２を更新する。識別情報推定部３２で用いられる学習済みモデル３４は、例えば、アタッチメント１１０の各種画像の画像データを学習データとして、畳み込みニューラルネットワーク（Convolution Neural Network；CNN）などの多層ニューロンネットワークを用いた機械学習アルゴリズムによって生成された訓練の終了したモデルである。

更に、アタッチメント識別部３０は、画像データ取得装置５０から送信された各種の画像データを基に取得した識別対象のアタッチメント１１０の識別情報を画像データ取得装置５０へ送信する。アタッチメント識別部３０の処理の詳細については後述する。

管理サーバ１０は、さらに、モデル更新部４０を備えている。モデル更新部４０は、画像データ取得装置５０から送信された識別対象のアタッチメント１１０の各種の画像データをニューラルネットワークに更に学習させることで、識別情報推定部３２で用いられている学習済みモデル３４を更新する。

次に、本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する管理サーバにおけるアタッチメント情報ＤＢの構成の詳細について図２１を用いて説明する。図２１は管理サーバのアタッチメント情報ＤＢに格納されている情報の構成の一例を示す図である。

アタッチメント情報ＤＢ２２は、例えば図２１に示すにように、アタッチメント１１０の仕様に関する各種情報を示す諸元情報２３と、アタッチメント１１０の複数種の画像で構成された画像情報２６と、アタッチメント１１０のサービスに関する各種情報を示すサービス情報２７と、アタッチメント１１０の販売に関する各種情報を示す販売情報２８と、アタッチメント１１０の各画像を撮像した時刻を示す撮像時刻情報２９とに分類されている。以下に示す各種情報は、互いに紐付けられている。

諸元情報２３は、アタッチメント１１０を識別するための情報を示す識別情報２４と、アタッチメント１１０の物理的特性を示す物理情報２５とで構成されている。識別情報２４は、バケットやカッター、ブレーカ等のアタッチメント１１０の種類を示す種類情報２４１と、アタッチメント１１０の製造メーカを示す製造メーカ情報２４２と、アタッチメント１１０の型式を示す型式情報２４３とを含んでいる。物理情報２５は、アタッチメント１１０の重量を示す重量情報２５１と、アタッチメント１１０の容量を示す容量情報２５２と、アタッチメント１１０の寸法を示す寸法情報２５３とを含んでいる。

画像情報２６は、全体画像情報２６１、銘板・打刻画像情報２６２、メーカロゴ画像情報２６３、破損画像情報２６４を含んでいる。全体画像情報２６１は、アタッチメント１１０の全体画像６２１（図６参照）の画像データを蓄積したものである。銘板画像情報２６２は、銘板・打刻画像６３１（図７参照）の画像データを蓄積したものである。メーカロゴ画像情報２６３は、メーカロゴ画像６４１（図８参照）の画像データを蓄積したものである。破損画像情報２６４は、破損画像６５１（図９参照）の画像データを蓄積したものである
サービス情報２７は、破損有無情報２７１、使用場所情報２７２、使用者情報２７３、作業モード警告情報２７４、契約情報２７５を含んでいる。破損有無情報２７１は、アタッチメント１１０の破損箇所の有無を示すものである。使用場所情報２７２は、アタッチメント１１０の各画像を撮像した位置座標を示すものであり、アタッチメントが使用されている場所と想定される。使用者情報２７３は、建設機械を使用している施工業者を示すものである。作業モード警告情報２７４は、例えば、法令で定められたアタッチメント以外の種類のアタッチメント１１０を使用している場合に、実施不可能な作業を示す情報である。契約情報２７５は、建設機械メーカが保証する契約に関して、例えば、建設機械メーカ製の純正品以外のアタッチメントを使用した場合のリスクや保証範囲に関する情報である。

販売情報２８は、価格情報２８１、在庫情報２８２、販売者情報２８３を含んでいる。価格情報２８１は、アタッチメント１１０の販売価格やレンタル価格を示すものである。在庫情報２８２は、アタッチメント１１０の販売用やレンタル用の在庫を示すものである。販売者情報２８３は、アタッチメント１１０の販売会社やレンタル会社を示すものである。

次に、本発明の建設機械アタッチメントの管理システムの一実施の形態の一部を構成する管理サーバにおけるアタッチメントの識別の処理手順の一例を図２０及び図２２〜図２４を用いて説明する。図２２は管理サーバにおけるアタッチメントの識別のための処理手順の一例を示すフローチャート図である。図２３は図２２に示すフローチャート図のステップＳ３０の詳細な処理手順の一例を示すフローチャート図である。図２４は管理サーバのアタッチメント識別部の処理を示す説明図である。

図２０に示す管理サーバ１０が画像データ取得装置５０から送信された識別対象のアタッチメント１１０の各種の画像データを受信すると、管理サーバ１０のアタッチメント識別部３０は、画像データ取得装置５０から送信された各種の画像データの中に銘板・打刻画像６３１の画像データが含まれているか否かを判定する（図２２に示すステップＳ２１）。本実施の形態においては、画像データ取得装置５０から送信される画像データには、画像データ取得装置５０の処理の説明で述べたように、「全体画像６２１（図６参照）」、「銘板・打刻画像６３１（図７参照）」、「メーカロゴ画像６４１（図８参照）」、「破損画像６５１（図９参照）」の何れの画像であるかを示す情報が付加されている。この付加情報に基づき、アタッチメント識別部３０は銘板・打刻画像６３１の画像データが含まれているか否かを判定する。銘板・打刻画像６３１が含まれている（ＹＥＳ）と判定した場合には、ステップＳ２２に進む。銘板・打刻画像６３１が含まれていない（ＮＯ）と判定した場合には、ステップＳ３０に進む。ステップＳ３０の詳細は後述する。

ステップＳ２２において、アタッチメント識別部３０の識別情報認識部３１が、銘板・打刻画像６３１の画像データから型式を示す文字列を認識することで識別対象のアタッチメント１１０の型式情報を取得する。具体的には、識別情報認識部３１は、図２４に示すように、光学的文字認識（ＯＣＲ：Optical Character Recognition）を用いることで、入力された銘板・打刻画像６３１の画像データから銘板１１５に記されている型式を示す文字列を認識する。図２４に示す例では、上から順に容量を示す文字列１１５ａ、重量を示す文字列１１５ｂ、型式を示す文字列１１５ｃ、製造番号を示す文字列１１５ｄが記された銘板１１５（図３参照）の銘板・打刻画像６３１が識別情報認識部３１に入力されると、識別情報認識部３１のＯＣＲの型式認識結果３１ａとして「０１２３４５６７」を出力する。

なお、ＯＣＲとしては、従来型のＯＣＲやＡＩ−ＯＣＲを用いることができる。ただし、従来型のＯＣＲを使用する場合、銘板や打刻で記された複数の文字列の配列順とアタッチメントの各種情報の対応関係を予め指定する必要がある。一方、ＡＩ−ＯＣＲを使用する場合、複数の文字列の配列順とアタッチメントの各種情報の対応関係をＡＩ−ＯＣＲが自ら自動的に判別するので、当該対応関係を予め指定する必要がない。

次いで、識別情報認識部３１は、認識結果３１ａの型式情報をアタッチメント情報ＤＢ２２における識別情報２４の型式情報２４３と照合し、認識結果３１ａの型式情報がアタッチメント情報ＤＢ２２に既に登録されているか否かを判定する（図２２に示すステップＳ２３）。照合の結果、認識結果３１ａの型式情報がアタッチメント情報ＤＢ２２に既に登録されている（ＹＥＳ）と判定した場合には、ステップＳ２４に進む。一方、照合の結果、認識結果３１ａの型式情報がアタッチメント情報ＤＢ２２に未登録である（ＮＯ）と判定した場合には、ステップＳ２７に進む。

ステップＳ２３においてＹＥＳと判定した場合、識別情報認識部３１は、識別対象のアタッチメント１１０の各種の画像データをアタッチメント情報ＤＢ２２に新規に登録する（図２２に示すステップＳ２４）。さらに、識別情報認識部３１は、図２４に示すように、ステップＳ２２においてアタッチメント情報ＤＢ２２に既に登録されていると判定した型式情報に紐付けられている種類情報２４１や製造メーカ情報２４２、重量情報２５１、容量情報２５２等の諸元情報２３をアタッチメント情報ＤＢ２２から抽出する（図２２に示すステップＳ２５）。

続いて、アタッチメント識別部３０は、ステップＳ２２において取得した型式情報及び当該型式情報に紐付いている諸元情報２３を画像データ取得装置５０へ送信し（図２２に示すステップＳ２６）、アタッチメント識別部３０の処理を終了する。この場合、識別対象のアタッチメント１１０は、ステップＳ２２において取得した型式情報及び当該型式情報に紐付いている種類情報２４１や製造メーカ情報２４２により識別可能となる。

一方、ステップＳ２３においてＮＯと判定した場合、アタッチメント識別部３０の識別情報推定部３２がアタッチメント１１０の全体画像６２１の画像データからアタッチメント１１０の種類（バケット、カッター、ブレーカ等）を推定する（図２２に示すステップＳ２７）。具体的には、識別情報推定部３２は、図２４に示すように、種類判別学習済みモデル３５を用いることで、入力されたアタッチメント１１０の全体画像６２１の画像データからアタッチメント１１０の種類を推定する。種類判別学習済みモデル３５は、多数のアタッチメント１１０の全体画像６２１を学習データとして機械学習によってアタッチメント１１０の種類情報を推定するように生成されたモデルである。図２４に示す例では、種類判別学習済みモデル３５に全体画像６２１が入力されると、種類判別結果３５ａとして「バケット」を出力する。

次に、識別情報推定部３２は、アタッチメント１１０のメーカロゴ画像６４１の画像データからアタッチメント１１０の製造メーカを推定する（図２２に示すステップＳ２８）。具体的には、識別情報推定部３２は、図２４に示すように、製造メーカ判別学習済みモデル３６を用いることで、入力されたメーカロゴ画像６４１の画像データからアタッチメント１１０の製造メーカを推定する。種類判別学習済みモデル３５は、多数のアタッチメント１１０のメーカロゴ画像６４１を学習データとして機械学習によってアタッチメント１１０の製造メーカ情報を推定するように生成されたモデルである。図２４に示す例では、製造メーカ判別学習済みモデル３６にメーカロゴ画像６４１が入力されると、製造メーカ判別結果３６ａとして「・・・株式会社」を出力する。

なお、ステップＳ２７及びＳ２８の順序を逆にする処理も可能である。ステップＳ２７及びＳ２８で得られた推定結果（種類判別結果３５ａ及び製造メーカ判別結果３６ａ）は、一時的に記憶装置１２（図１９参照）に記憶される。

次いで、アタッチメント識別部３０は、ステップＳ２２において取得した型式情報（銘板・打刻画像６３１の画像データから認識した型式情報）を新規に登録すると共に、識別対象のアタッチメント１１０の各種の画像データをアタッチメント情報ＤＢ２２に新規に登録する（図２２に示すステップＳ２９）。このとき、アタッチメント識別部３０は、新規に登録する型式情報をステップＳ２７及びＳ２８の推定結果の種類情報２４１及び製造メーカ情報２４２と紐付けておく。これにより、識別対象のアタッチメント１１０は、新規に登録する型式情報並びに推定結果の種類情報２４１及び製造メーカ情報２４２によって識別可能となる。

続いて、アタッチメント識別部３０は、アタッチメント情報ＤＢ２２に新規に登録した型式情報並びに推定結果のアタッチメント１１０の種類情報及び製造メーカ情報を画像データ取得装置５０へ送信し（図２２に示すステップＳ２６）、アタッチメント識別部３０の処理を終了する。

また、アタッチメント識別部３０がステップＳ２１においてＮＯと判定してステップＳ３０に進んだ場合、アタッチメント識別部３０は、アタッチメント１１０の全体画像６２１及びメーカロゴ画像６４１の画像データを基に識別対象のアタッチメント１１０を識別してアタッチメント情報ＤＢ２２を更新する。

詳細には、図２３に示すように、アタッチメント識別部３０の識別情報推定部３２がアタッチメント１１０の全体画像６２１の画像データからアタッチメント１１０の種類（バケット、カッター、ブレーカ等）を推定する（ステップＳ３１）。具体的には、ステップＳ２７と同様で図２４に示すように、識別情報推定部３２が種類判別学習済みモデル３５を用いてアタッチメント１１０の全体画像６２１からアタッチメント１１０の種類を推定する。図２４に示す例では、種類判別結果３５ａは「バケット」である。

次に、識別情報推定部３２は、アタッチメント１１０のメーカロゴ画像６４１の画像データからアタッチメント１１０の製造メーカを推定する（図２３に示すステップＳ３２）。具体的には、ステップＳ２８と同様で図２４に示すように、識別情報推定部３２が製造メーカ判別学習済みモデル３６を用いてメーカロゴ画像６４１からアタッチメント１１０の製造メーカを推定する。図２４に示す例では、製造メーカ判別結果３６ａは「・・・株式会社」である。

なお、ステップＳ３１及びＳ３２の順序を逆にする処理も可能である。ステップＳ３１及びＳ３２で得られた種類推定結果３５ａ及び製造メーカ推定結果３６ａは、一時に記憶装置１２に記憶される。

次いで、識別情報推定部３２は、推定結果の種類情報及び製造メーカ情報をアタッチメント情報ＤＢ２２と照合し、アタッチメント１１０の型式候補の有無を判定する（図２３に示すステップＳ３３）。例えば、種類推定結果３５ａが「バケット」であり、製造メーカ推定結果３６ａが「・・・株式会社」であった場合、両条件に合致するアタッチメント１１０の型式を型式候補としてアタッチメント情報ＤＢ２２から抽出する。照合の結果、単一または複数の型式候補をアタッチメント情報ＤＢ２２から抽出できる場合には、型式候補が存在する（ＹＥＳ）と判定し、ステップＳ３４に進む。一方、照合の結果、アタッチメント情報ＤＢ２２から型式候補を抽出できない場合には、型式候補が存在しない（ＮＯ）と判定し、ステップＳ３６に進む。

ステップＳ３３においてＹＥＳと判定した場合、識別情報推定部３２は、識別対象のアタッチメント１１０の各種の画像データをアタッチメント情報ＤＢ２２に新規に登録する（図２３に示すステップＳ３４）。この場合、識別対象のアタッチメント１１０は、アタッチメント情報ＤＢ２２から抽出した型式候補並びにステップＳ３１及びＳ３２の推定結果の種類情報２４１及び製造メーカ情報２４２によって識別可能となる。続いて、識別情報推定部３２は、型式候補並びに推定結果の種類情報及び製造メーカ情報を画像データ取得装置５０へ送信し（図２３に示すステップＳ３５）、アタッチメント識別部３０の処理を終了する。

一方、ステップＳ３３においてＮＯと判定した場合、識別情報推定部３２は、新たな型式を発行してアタッチメント情報ＤＢ２２に新規に登録すると共に、識別対象のアタッチメント１１０の各種の画像データをアタッチメント情報ＤＢ２２に新規に登録する（図２３に示すステップＳ３６）。このとき、識別情報推定部３２は、新規に登録する型式情報をステップＳ３１及びＳ３２の推定結果の種類情報２４１及び製造メーカ情報２４２と紐付けておく。これにより、識別対象のアタッチメント１１０は、新規に登録する型式情報並びに推定結果の種類情報２４１及び製造メーカ情報２４２によって識別可能となる。

続いて、アタッチメント識別部３０は、型式候補が存在しないことを示す照合結果を画像データ取得装置５０へ送信し（図２３に示すステップＳ３７）、アタッチメント識別部３０の処理を終了する。

本実施の形態においては、画像データ取得装置５０から送信されたアタッチメント１１０の銘板・打刻画像６３１の画像データからアタッチメント識別部３０が文字列を認識してアタッチメント１１０の識別情報の型式情報を取得する。さらに、アタッチメント識別部３０は取得した型式情報をアタッチメント情報ＤＢ２２と照合して識別対象のアタッチメントの識別を行い、照合結果に応じてアタッチメント情報ＤＢ２２を更新する。

また、本実施の形態においては、画像データ取得装置５０から送信されたアタッチメント１１０の全体画像６２１及びメーカロゴ画像６４１の画像データからアタッチメント識別部３０の学習済みモデル３４を用いた推定によりアタッチメント１１０の識別情報である種類情報及び製造メーカ情報を取得する。さらに、アタッチメント識別部３０は取得した種類情報及び製造メーカ情報をアタッチメント情報ＤＢ２２と照合して識別対象のアタッチメントの識別を行い、照合結果に応じてアタッチメント情報ＤＢ２２を更新する。

このように、管理サーバ１０は、画像データ取得装置５０から送信された各種の画像データを基にアタッチメント１１０の識別情報を収集してアタッチメント情報ＤＢ２２を自動的に構築する。したがって、建設機械メーカ側で管理可能なアタッチメント情報ＤＢ２２の構築に過度な労力を費やすことがない。

次に、本発明の建設機械アタッチメントの管理システムの一実施の形態を構成する管理サーバによる識別対象のアタッチメントの識別結果を修正する処理手順の一例を図５及び図２５を用いて説明する。図２５は画像データ取得装置に表示される識別対象のアタッチメントの各種情報の確認画面の一例を示す図である。本実施の形態においては、画像データ取得装置５０を操作するユーザ（サービス員）に管理サーバ１０のアタッチメント識別部３０による識別結果を提示し、識別結果に誤りが有る場合に画像データ取得装置５０を介して修正するものである。

図５に示す画像データ取得装置５０の情報修正部７２は、管理サーバ１０から送信された識別対象のアタッチメント１１０の識別結果を示す確認画面を表示装置に表示する。確認画面７２１は、例えば図２５に示すように、画像データ取得装置５０が管理サーバ１０へ送信したアタッチメント１１０の画像（例えば、全体画像６２１及びメーカロゴ画像６４１）を示す画像部７２１ａと、管理サーバ１０のアタッチメント識別部３０による識別結果（例えば、アタッチメント１１０の種類、製造メーカ、型式等）を示す識別結果表７２１ｂとで構成されている。確認画面７２１は、識別結果表７２１ｂに記された各情報に対して修正を行うための修正パネル７２１ｃと、識別結果表７２１ｂに対して情報を入力するための入力パネル７２１ｄと、修正情報または入力情報を確定させて管理サーバ１０へ送信するための確定パネル７２１ｆとを含んでいる。すなわち、画像データ取得装置５０は、ユーザによる修正パネル７２１ｃ及び入力パネル７２１ｄの操作により情報の修正及び入力を受け付けると共に、受け付けた修正情報及び入力情報をユーザによる確定パネル７２１ｆの操作により管理サーバ１０へ送信する。管理サーバ１０では、画像データ取得装置５０から送信された入力情報又は修正情報に基づいてアタッチメント情報ＤＢ２２を修正する。

本実施の形態においては、確認画面７２１には画像データ取得装置５０が取得した画像と管理サーバ１０による識別対象のアタッチメント１１０の識別結果が同時に示されているので、画像データ取得装置５０の識別結果に誤りがあるとユーザが判断した場合、ユーザが修正パネル７２１ｃを操作することで管理サーバ１０の識別結果を正しい情報に修正することができる。また、画像データからは取得することができないアタッチメント１１０の重量や寸法、容量等の物理情報及びアタッチメント１１０の使用者等のサービス情報を追加入力したい場合には、ユーザが入力パネル７２１ｄを操作することで入力が可能である。なお、確認画面７２１の識別結果表７２１ｂに追加する情報が不明の場合、情報入力は不要である。

次に、本発明の建設機械アタッチメントの管理システムの一実施の形態における管理サーバと各関係者のコンピュータ（クライアント）間の情報の授受の関係ついて図２６を用いて説明する。図２６は本発明の建設機械アタッチメントの管理システムの一実施の形態における管理サーバとコンピュータ（クライアント）間の授受可能な情報を示す説明図である。

建設機械のサービス員８１、建設機械１００のオペレータ８２、建設機械を現場で使用する施工管理者８３、建設機械製造業者（設計者等）８４、アタッチメント製造業者８５、アタッチメント１１０のレンタル会社８６等の建設機械のアタッチメント１１０の関係者が使用するコンピュータ（クライアント）は、インターネット回線１３３を介して管理サーバ１０のデータベース２０にアクセス可能であり、データベース２０に格納された建設機械１００の各種情報を閲覧可能である。各関係者８１、８２、８３、８４、８５、８６のコンピュータがインターネット回線１３３を介して管理サーバ１０に情報閲覧要求を送信すると、管理サーバ１０は許可可能な関係者８１、８２、８３、８４、８５、８６のコンピュータに対してのみアタッチメント情報ＤＢ２２から情報閲覧要求に応じた情報を返信する。各関係者８１、８２、８３、８４、８５、８６のコンピュータは、管理サーバ１０のアタッチメント情報ＤＢ２２に対して、予め設定された範囲内で情報の閲覧が可能であると共に、予め設定された範囲内で情報の入力が可能となっている。

各関係者８１、８２、８３、８４、８５、８６のアタッチメント情報ＤＢ２２に対する閲覧可能な範囲は、例えば、以下のとおりである。管理サーバ１０は、アタッチメント情報ＤＢ２２（図２１参照）に格納されているサービス情報２７及び販売情報２８をサービス員８１及び施工管理者８３に対して提供可能である。これにより、サービス員８１及び施工管理者８３は、サービス情報２７に含まれるアタッチメント１１０の破損有無情報２７１や使用場所情報２７２（アタッチメント１１０の破損画像６５１の撮像場所）、使用者情報２７３を把握することができる。また、販売情報２８の価格情報２８１からアタッチメント１１０の交換時の価格又はレンタル時の価格を把握することができる。また、サービス員８１及び施工管理者８３は、破損画像情報２６４や撮像時刻情報２９の提供を受けることが可能である。

また、管理サーバ１０は、サービス情報２７のうち作業モード警告情報２７４をオペレータ８２に提供可能である。オペレータ８２には、例えば、アタッチメント１１０の交換後に起こりえるリスクが通知される。

さらに、管理サーバ１０は、アタッチメント情報ＤＢ２２に格納されている物理情報２５及びサービス情報２７を建設機械製造業者８４の設計者に対して提供可能である。これにより、設計者は、サービス情報２７に含まれる使用者情報２７２（使用者は誰か）や使用場所情報２７３（どこで使用されているか）に加えて、種類情報２４１及び全体画像情報２６１（どの種類のアタッチメントを使用しているか）、撮像時刻情報２９を把握することができる。

また、管理サーバ１０は、アタッチメント情報ＤＢ２２に格納されている販売情報２８をレンタル会社８６に対して提供可能である。レンタル会社８６は、アタッチメント１１０のレンタル価格を把握することができる。

一方、各関係者８１、８２、８３、８４、８５、８６のコンピュータのアタッチメント情報ＤＢ２２に対する情報の入力が可能な範囲は、例えば、以下のとおりである。サービス員８１及びオペレータ８２は、アタッチメント情報ＤＢ２２に対して、物理情報及びサービス情報の入力が可能である。建設機械製造業８４及びアタッチメント製造業者８５は、型式情報２４３に紐付けられる情報のうち不足する物理情報、例えば画像データから正確な情報を取得できない寸法情報等の入力が可能である。また、アタッチメント１１０の販売価格や在庫、販売者等の販売情報を入力することも可能である。施工管理者８３は、サービス員８１またはオペレータ８２が提供できない情報、例えば型式情報やアタッチメント１１０の製造メーカを入力することが可能である。レンタル会社８６は、アタッチメント１１０のレンタル価格や在庫、納期情報などの販売情報を入力可能である。

なお、管理サーバ１０のアタッチメント情報ＤＢ２２には、アタッチメント製造業者８５が公開するアタッチメントカタログから取得されたアタッチメント１１０の画像データや建設機械製造業者８４が有するアタッチメント１１０の画像データを新規に登録することも可能である。

上述した本発明の建設機械アタッチメントの管理システム及び管理サーバの一実施の形態によれば、管理サーバ１０が、画像データ取得装置５０から送信された識別対象のアタッチメント１１０の画像データを基に識別情報を取得してアタッチメント情報ＤＢ（データベース）２２と照合することで識別対象のアタッチメント１１０を識別し、照合結果に応じてアタッチメント情報ＤＢ（データベース）２２を更新するので、各建設機械に装着されたアタッチメント１１０の識別情報を過度な労力を費やすことなく収集してアタッチメントの各種情報をメーカ側で管理できるアタッチメント情報ＤＢ（データベース）２２を構築することができる。

また、本実施の形態においては、管理サーバが、識別対象のアタッチメント１１０の画像データから文字列を認識することで識別対象のアタッチメント１１０の型式情報を取得し、取得した型式情報をアタッチメント情報ＤＢ２２と照合し、取得した型式情報がアタッチメント情報ＤＢ２２に未登録であると判定した場合に取得した型式情報をアタッチメント情報ＤＢ２２に新規に登録するように構成されている。この構成では、識別対象のアタッチメント１１０の型式情報を画像データから直接的に取得することができるので、アタッチメント１１０の識別情報の収集が容易である。

また、本実施の形態においては、管理サーバ１０が、アタッチメント１１０の画像データを学習データとする機械学習によって生成された学習済みモデル３４を用いて識別対象のアタッチメント１１０の画像データから識別対象のアタッチメント１１０の種類情報及びアタッチメント１１０の製造メーカ情報を推定し、推定した種類情報及び製造メーカ情報をアタッチメント情報ＤＢ２２と照合して識別対象のアタッチメント１１０の型式候補の有無を判別し、識別対象のアタッチメント１１０の型式候補が無い場合、識別対象のアタッチメント１１０に対して新たな型式情報を発行してアタッチメント情報ＤＢ２２に新規に登録するように構成されている。この構成では、画像データから文字列を認識できない場合でも、識別対象のアタッチメント１１０の型式候補を画像データに基づきアタッチメント情報ＤＢ２２から抽出することが可能となる。

また、本実施の形態においては、管理サーバ１０が、画像データ取得装置５０から送信された識別対象のアタッチメント１１０の画像データを用いて学習済みモデル３４を更新する。これにより、学習済みモデル３４の推定精度を向上させることができる。

また、本実施の形態においては、管理サーバ１０が取得した識別情報を画像データ取得装置５０へ送信し、画像データ取得装置５０が管理サーバ１０から送信された識別情報を画像データ取得装置５０が表示し、表示された識別情報を修正する修正情報のユーザ操作による入力を受け付け、受け付けた修正情報を管理サーバ１０へ送信し、管理サーバ１０が画像データ取得装置５０から送信された修正情報に基づきアタッチメント情報ＤＢ２２に格納されている識別情報を修正する。この構成では、管理サーバ１０が取得した識別情報を画像データ取得装置５０に表示させるので、識別対象のアタッチメント１１０の画像データの送信側のユーザに当該識別情報の正誤を判定させることができる。また、当該識別情報が誤りであった場合にはアタッチメント情報ＤＢ２２を修正するので、アタッチメント情報ＤＢ２２に格納された情報の正確性を担保することができる。

［その他の実施の形態］
なお、本発明は上述した一実施の形態に限られるものではなく、様々な変形例が含まれる。上記した実施形態は本発明をわかり易く説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。例えば、ある実施形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加、削除、置換をすることも可能である。

例えば、上述した本発明の建設機械アタッチメントの管理システムの一実施の形態においては、建設機械１００から取得した機体情報を表示装置に表示させることでサービス員に報知するように画像データ取得装置５０を構成した例を示した。しかし、建設機械１００から取得した機体情報を音声によりサービス員に報知するように画像データ取得装置を構成することも可能である。

また、上述した一実施の形態においては、識別情報推定部３２の学習済みモデル３４として、ニューラルネットワークを用いた機械学習アルゴリズムを用いて生成されたモデルを利用した例を説明した。しかし、識別情報推定部３２の学習済みモデル３４として、ニューラルネットワークを用いた機械学習アルゴリズムとは異なる、学習用の画像データを多数用意する必要のない他の機械学習のアルゴリズムを用いて生成された学習済みモデルを利用することが可能である。

１０…管理サーバ、 ２２…アタッチメント情報ＤＢ（データベース）、３０…アタッチメント識別部、 ３４…学習済みモデル、 ４０…モデル更新部、 ５０…画像データ取得装置、５４…ユーザインターフェース、 ８０…コンピュータ（情報処理装置）、 １００…建設機械、 １１０…アタッチメント

Claims (6)

1. 建設機械に装着されたアタッチメントを識別するための識別情報を含むアタッチメントに関する複数種の情報を格納するデータベースを有する管理サーバと、
   識別対象のアタッチメントの画像データを取得して前記管理サーバへ送信するように構成されている画像データ取得装置と、
   前記管理サーバと情報の授受が可能な情報処理装置とを備える建設機械アタッチメントの管理システムにおいて、
   前記管理サーバは、
   前記画像データ取得装置から送信された識別対象のアタッチメントの画像データを基に前記識別対象のアタッチメントの識別情報を取得し、
   取得した識別情報を前記データベースに照合して前記識別対象のアタッチメントの識別を行い、
   照合結果に応じて前記データベースを更新するように構成されている
   ことを特徴とする建設機械アタッチメントの管理システム。
2. 請求項１に記載の建設機械アタッチメントの管理システムにおいて、
   前記データベースの前記識別情報は、アタッチメントの型式を示す型式情報を含み、
   前記管理サーバは、
   前記識別対象のアタッチメントの画像データから文字列を認識することで前記識別対象のアタッチメントの型式情報を取得し、
   取得した型式情報を前記データベースと照合し、取得した型式情報が前記データベースに未登録であると判定した場合に取得した型式情報を前記データベースに新規に登録する
   ことを特徴とする建設機械アタッチメントの管理システム。
3. 請求項１に記載の建設機械アタッチメントの管理システムにおいて、
   前記データベースの前記識別情報は、互いに紐付けられたアタッチメントの型式を示す型式情報とアタッチメントの種類を示す種類情報とアタッチメントの製造メーカを示す製造メーカ情報とを含み、
   前記管理サーバは、
   アタッチメントの画像データを学習データとする機械学習によって生成された学習済みモデルを用いて前記識別対象のアタッチメントの画像データから前記識別対象のアタッチメントの種類情報及びアタッチメントの製造メーカ情報を推定し、
   推定した種類情報及び製造メーカ情報を前記データベースと照合して前記識別対象のアタッチメントの型式候補の有無を判別し、前記識別対象のアタッチメントの型式候補が無い場合、前記識別対象のアタッチメントに対して新たな型式情報を発行して前記データベースに新規に登録する
   ことを特徴とする建設機械アタッチメントの管理システム。
4. 請求項３に記載の建設機械アタッチメントの管理システムにおいて、
   前記管理サーバは、前記画像データ取得装置から送信された前記識別対象のアタッチメントの画像データを用いて前記学習済みモデルを更新する
   ことを特徴とする建設機械アタッチメントの管理システム。
5. 請求項１に記載の建設機械アタッチメントの管理システムにおいて、
   前記管理サーバは、取得した識別情報を前記画像データ取得装置へ送信し、
   前記画像データ取得装置は、
   前記管理サーバから送信された識別情報を表示し、
   表示された識別情報を修正する修正情報のユーザ操作による入力を受け付け、
   受け付けた修正情報を前記管理サーバへ送信し、
   前記管理サーバは、前記画像データ取得装置から送信された修正情報に基づき前記データベースを修正する
   ことを特徴とする建設機械アタッチメントの管理システム。
6. 建設機械に装着されたアタッチメントを識別するための識別情報を含むアタッチメントに関する複数種の情報を格納するデータベースを備える管理サーバにおいて、
   前記管理サーバは、
   画像データ取得装置から送信される識別対象のアタッチメントの画像データを基に前記識別対象のアタッチメントの識別情報を取得し、
   取得した識別情報を前記データベースに照合して前記識別対象のアタッチメントの識別を行い、
   照合結果に応じて前記データベースを更新するように構成されている
   ことを特徴とする建設機械アタッチメントの管理サーバ。

Images