JP2021021245A - 建設機械の作業内容判定システム及び作業判定方法 - Google Patents

Abstract

【課題】建設機械の作業内容を判定するためのセンサを、当該建設機械に新たに搭載することを必要とせず又は前記建設機械に新たに搭載することを必要最小限に抑えつつ、建設機械の作業内容を判定することができる作業内容判定システムを提供する。【解決手段】作業内容判定システム２０は、作業現場における建設機械１００の作業内容を判定する。この作業内容判定システム２０は、前記作業現場における前記建設機械１００を含む画像を取得する撮像装置３０と、前記撮像装置３０により取得される前記画像の時系列の変化に基づいて前記建設機械１００の前記作業内容を判定し、当該作業内容を出力する画像処理装置４０と、を備える。【選択図】図３

Description

本発明は、建設機械の作業内容を判定するための作業内容判定システムに関するものである。

建設機械の作業内容を判定する方法として、特許文献１は、ショベルの処理装置及び作業内容判定方法を開示している。この特許文献１の装置及び方法では、建設機械に搭載された複数のセンサが建設機械の稼働状態に依存する複数の運転変数を測定し、処理装置が前記運転変数の時間変化に基づいて、運転変数が検出されたときの作業内容を判定する。

特開２０１８−１５９２６８号公報

しかしながら、建設機械の作業が行われる作業現場では、様々なメーカーの建設機械及び様々な種類の建設機械が使用されるため、作業内容を判定する対象となる建設機械が前記運転変数を測定することが可能なセンサを備えていない場合がある。この場合には、作業内容を判定するためのセンサを前記建設機械に新たに搭載する必要がある。

本発明は、上記の問題を解決するためになされたもので、建設機械の作業内容を判定するためのセンサを、当該建設機械に新たに搭載することを必要とせず又は前記建設機械に新たに搭載することを必要最小限に抑えつつ、建設機械の作業内容を判定することができる作業内容判定システムを提供することを目的とするものである。

本発明は、作業現場における建設機械の作業内容を判定するための作業内容判定システムであって、前記作業現場における前記建設機械を含む画像を取得する撮像装置と、前記撮像装置により取得される前記画像の時系列の変化に基づいて前記建設機械の前記作業内容を判定し、当該作業内容を出力する画像処理装置と、を備える。

この作業内容判定システムでは、前記撮像装置により取得される前記画像の時系列の変化に基づいて前記画像処理装置が前記建設機械の作業内容を判定し、当該作業内容を出力する。このことは、前記建設機械の作業内容を判定するためのセンサを、当該建設機械に新たに搭載することを必要とせず又は前記建設機械に新たに搭載することを必要最小限に抑えつつ、前記建設機械の作業内容を判定することを可能にする。

前記作業内容判定システムは、前記画像処理装置から出力される前記作業内容を履歴として記憶する作業履歴記憶部をさらに備えることが好ましい。

この態様では、前記作業現場の作業を発注する発注者、前記作業現場の作業を管理する管理者、前記作業現場の作業を行うオペレータなどの作業関係者が、前記作業履歴記憶部に履歴として記憶された前記作業内容に基づいて、当該作業内容の把握、分析などを行うことが可能になる。

具体的には、前記作業内容判定システムにおいて、前記画像処理装置は、前記撮像装置により取得される前記画像に基づいて前記建設機械の姿勢を推定する姿勢推定部と、前記姿勢推定部により推定される前記姿勢の時系列の変化に基づいて前記作業内容を判定する作業内容判定部と、を含むことが好ましい。

この態様では、前記建設機械の前記作業内容を前記建設機械の姿勢の動的な変化に基づいて判定することができる。具体的に、前記建設機械の作業は、例えば、掘削作業、整地作業、法面整形作業、積み込み作業などを含み、これらの作業のそれぞれは、当該建設機械の姿勢の点において、特有の時系列の変化を伴いながら行われる。従って、前記建設機械の姿勢の時系列の変化は、前記建設機械の前記作業内容との関連性があり、当該作業内容の判定の指標となる。

より具体的には、前記作業内容判定システムにおいて、前記建設機械は、機械本体と、当該機械本体に起伏可能に支持されるブームと、当該ブームの先端部に回動可能に連結されるアームと、を含み、前記姿勢推定部は、前記撮像装置により取得される前記画像に基づいて前記ブームの姿勢及び前記アームの姿勢を推定することが好ましい。

この態様は、前記建設機械の作業中に衝撃を最も受けやすいブームやアームに対して、作業内容を判定するためのセンサを取り付けなくても、前記ブームの姿勢及び前記アームの姿勢を前記画像に基づいて推定し、これらの姿勢の時系列の変化に基づいて前記作業内容を判定することを可能にする。

また、前記作業内容判定システムにおいて、前記撮像装置は、前記機械本体に取り付けられるカメラであって前記ブーム及び前記アームを含む画像を取得可能な位置に配置されるカメラを含んでいてもよい。

この態様では、建設機械の機械本体に前記カメラが取り付けられるので、作業現場における当該建設機械の位置、向き及び姿勢にかかわらず、前記カメラが当該建設機械の前記ブーム及び前記アームを含む画像を取得することができる。これにより、建設機械の位置、向き及び姿勢によって前記作業内容の判定の精度にばらつきが生じることを抑制できる。

また、前記作業内容判定システムにおいて、前記機械本体は、基体と、当該基体に旋回可能に支持される上部旋回体と、を含み、前記作業内容判定システムは、前記機械本体に取り付けられ、前記基体に対する前記上部旋回体の旋回角度を検出する旋回角度センサと、当該旋回角度センサにより検出される前記旋回角度に基づいて前記上部旋回体の姿勢を判定する旋回体姿勢判定部と、をさらに備えていてもよい。

この態様では、前記建設機械の作業中に衝撃を最も受けやすいブームやアームの姿勢は、前記画像に基づいて推定される一方で、前記建設機械の作業中に前記ブームや前記アームに比べて衝撃を受けにくい機械本体の姿勢、具体的には前記基体に対する前記上部旋回体の姿勢は、前記機械本体に取り付けられる前記旋回角度センサにより検出される前記旋回角度に基づいて判定される。この態様では、前記上部旋回体の姿勢が前記画像に基づいて判定される場合に比べて、前記上部旋回体の姿勢が前記旋回角度センサによってより正確に判定され、しかも、前記建設機械の作業内容を判定するためのセンサが当該建設機械に新たに搭載されることを必要最小限に抑えることができる。

前記作業内容判定システムにおいて、前記画像処理装置は、予め定義された複数の作業内容候補を記憶しており、前記撮像装置により取得される前記画像の時系列の変化に基づいて、前記複数の作業内容候補のうちから何れかの作業内容候補を前記作業内容として選ぶことが好ましい。

前記建設機械の作業内容は、例えば、掘削作業、整地作業、法面整形作業、積み込み作業などのように、数種類の作業に限られる場合が多い。そして、これらの作業のそれぞれは、当該建設機械の動作の点において、特有の時系列の変化を伴いながら行われる。従って、この態様では、各作業内容に特有の動作に対応する画像の時系列の変化に基づいて、限られた選択肢、すなわち、予め定義された前記複数の作業内容候補のうちから前記作業内容を判定することが可能になるので、前記作業内容判定システムを構築しやすくなる。

本発明の作業判定方法は、作業現場における建設機械の作業内容を判定するための方法であって、前記作業現場における前記建設機械を含む画像を取得することと、取得される前記画像の時系列の変化に基づいて前記建設機械の前記作業内容を判定することと、当該作業内容を出力することと、を含む。

この作業判定方法では、取得される前記画像の時系列の変化に基づいて前記建設機械の作業内容を判定し、当該作業内容を出力する。このことは、前記建設機械の作業内容を判定するためのセンサを、当該建設機械に新たに搭載することを必要とせず又は前記建設機械に新たに搭載することを必要最小限に抑えつつ、前記建設機械の作業内容を判定することを可能にする。

本発明によれば、建設機械の作業内容を判定するためのセンサを、当該建設機械に新たに搭載することを必要とせず又は前記建設機械に新たに搭載することを必要最小限に抑えつつ、建設機械の作業内容を判定することができる。

本発明の実施の形態に係る作業内容判定システムの概要を示す図である。 前記作業内容判定システムによる作業内容の判定対象である建設機械の一例である油圧ショベルを示す斜視図である。 前記作業内容判定システムの構成を示すブロック図である。 前記作業内容判定システムにおいて前記建設機械の姿勢を推定する処理について説明するための図である。 前記作業内容判定システムにおいて前記建設機械の姿勢の時系列の変化のデータを示す図である。 アタッチメントの角度の定義を説明するための図である。 前記作業内容判定システムにおいて前記建設機械の姿勢の時系列の変化のデータから前記作業内容を判定する処理について説明するための図である。 前記作業内容判定システムにおいて判定された作業内容に基づいて集計された作業分類結果を示す図である。 前記作業内容判定システムの作業履歴記憶部に記憶された作業履歴の一例を示す図である。 前記作業内容判定システムの作業履歴記憶部に記憶された作業履歴の他の例を示す図である。 前記作業内容判定システムの画像処理装置が行う演算処理を示すフローチャートである。 前記実施の形態の変形例に係る作業内容判定システムにおいて前記建設機械の機械本体に取り付けられるカメラについて説明するための図である。

以下、図面を参照しながら、本発明の実施の形態について説明する。なお、以下の実施の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。

図１は、本実施の形態に係る作業内容判定システム２０の概要を示す図である。図２は、前記作業内容判定システム２０による作業内容の判定対象である建設機械１００を示す斜視図である。図３は、前記作業内容判定システム２０の構成を示すブロック図である。

前記作業内容判定システム２０は、作業現場における建設機械１００の作業内容を判定するためのシステムである。図１に示す具体例では、前記作業内容判定システム２０は、作業現場において、複数の油圧ショベル（第１の油圧ショベル１００Ａ及び第２の油圧ショベル１００Ｂ）のそれぞれの作業内容を判定する。これらの油圧ショベル１００Ａ，１００Ｂのそれぞれは、前記建設機械１００の一例である。

図２に示すように、前記油圧ショベル１００Ａ，１００Ｂのそれぞれは、クローラ式の下部走行体１０１と、その走行面に対して垂直な旋回中心軸まわりに旋回可能となるように下部走行体１０１の上に搭載される上部旋回体１０２と、この上部旋回体２に搭載されるアタッチメント１０３と、を備える。当該アタッチメント１０３は、前記上部旋回体１０２に起伏可能に支持されるブーム１０４と、当該ブーム１０４の先端に回動可能に連結されるアーム１０５と、当該アーム１０５の先端に回動可能に連結される先端アタッチメント１０６と、を含む。

本実施の形態では、当該先端アタッチメント６はバケットである。前記下部走行体１０１は、基体の一例であり、前記下部走行体１０１及び前記上部旋回体１０２は、機械本体の一例である。前記上部旋回体１０２は、前記機械本体の前部である本体前部を構成するキャブ１０２Ａと、前記機械本体の後部である本体後部を構成するカウンタウエイト１０２Ｂと、を有する。

前記油圧ショベル１００Ａ，１００Ｂのそれぞれは、前記上部旋回体１０２に対して前記ブーム１０４を起伏動作させるように作動するブームシリンダ１０７と、当該ブーム１０４に対して前記アーム１０５を回動動作させるように作動するアームシリンダ１０８と、当該アーム１０５に対して前記先端アタッチメント１０６を回動動作させるように作動する先端アタッチメントシリンダ１０９と、を含む。

前記建設機械１００が油圧ショベルである場合、前記作業現場における作業は、例えば、掘削作業、整地作業、法面整形作業、積み込み作業、走行（走行作業）、休車などを含む。図１に示すように、前記第１の油圧ショベル１００Ａは、地面Ｇの土砂を掘削する作業である掘削作業と、掘削されて前記先端アタッチメント１０６（バケット）に保持された土砂をダンプカー１１０の荷台１１０Ａに積み込む作業である積み込み作業と、を行う。前記第２の油圧ショベル１００Ｂは、切土又は盛土により作られる人工的な斜面である法面を整形する作業である法面整形作業を行う。前記走行作業は、前記作業現場において、前記建設機械１００を次の作業場所に移動させるための作業である。前記休車は、前記掘削作業、整地作業、法面整形作業、積み込み作業、走行作業などの実際の作業が行われずに、前記建設機械１００を停止させた状態のことをいう。

前記作業内容判定システム２０は、複数のカメラ３０と、画像処理装置４０と、タイムスタンプ部５０と、サーバ６０と、を備える。

前記複数のカメラ３０は、前記作業現場における前記第１の油圧ショベル１００Ａを含む画像を取得することが可能な位置に配置された第１のカメラ３０Ａと、前記作業現場における前記第２の油圧ショベル１００Ｂを含む画像を取得することが可能な位置に配置された第２のカメラ３０Ｂと、を含む。前記第１及び第２のカメラ３０Ａ，３０Ｂのそれぞれは、撮像装置の一例である。各カメラ３０は、所定の時間間隔で周期的に撮像を行い、各カメラ３０により取得された画像に関するデータ（画像信号）は、無線通信手段又は有線通信手段により前記画像処理装置４０に逐次入力される。

前記タイムスタンプ部５０は、時間情報（時刻情報）を後述の作業内容判定部４２に入力する機能を有する。当該タイムスタンプ部５０は、前記画像処理装置４０に含まれていてもよく、前記撮像装置を構成する各カメラ３０に含まれていてもよく、前記画像処理装置４０及び前記撮像装置とは別の装置として構成されていてもよい。

前記画像処理装置４０は、前記第１の油圧ショベル１００Ａの作業内容を判定するとともに、前記第２の油圧ショベル１００Ｂの作業内容を判定し、これらの作業内容を出力する。前記画像処理装置４０は、ＣＰＵ等のプロセッサと、メモリと、通信部４３と、を備えるコンピュータにより構成される。当該画像処理装置４０は、姿勢推定部４１と、作業内容判定部４２と、を機能として備える。

前記姿勢推定部４１は、前記第１のカメラ３０Ａにより取得される前記画像に基づいて前記第１の油圧ショベル１００Ａの姿勢を推定する。同様に、前記姿勢推定部４１は、前記第２のカメラ３０Ｂにより取得される前記画像に基づいて前記第２の油圧ショベル１００Ｂの姿勢を推定する。すなわち、前記姿勢推定部４１は、各カメラ３０により取得される各画像に対応する前記姿勢を推定する。具体的に、本実施の形態では、前記姿勢推定部４１は、前記第１及び第２のカメラ３０Ａ，３０Ｂのそれぞれにより取得される前記画像に基づいて、前記ブーム１０４の姿勢、前記アーム１０５の姿勢、前記先端アタッチメント１０６の姿勢、前記下部走行体１０１の姿勢、及び前記上部旋回体１０２の姿勢を推定する。前記姿勢推定部４１により推定された姿勢に関するデータ（姿勢情報）は、前記作業内容判定部４２に入力される。

具体的に、前記姿勢推定部４１は、例えば、ディープラーニングにより機械学習した多層構造のニューラルネットワーク（例えば、畳み込みニューラルネットワーク）に前記画像を入力することにより、当該画像に含まれる建設機械１００の複数の特徴点を抽出する。すなわち、前記ニューラルネットワークは、建設機械１００の特徴点に関するデータを用いて予め学習した姿勢推定アルゴリズムである。前記姿勢推定部４１が参照する前記ニューラルネットワークは、例えば、前記建設機械１００（油圧ショベル）の画像と、当該画像中における前記特徴点の座標との対応関係を示す教師データによる学習処理により学習する。

図２は、当該建設機械１００の複数の特徴点の一例を示している。本実施の形態における前記ニューラルネットワークでは、前記建設機械１００（油圧ショベル）の複数の特徴点は、アタッチ先端（１）、アタッチ底（２）、アタッチ関節（３）、アーム関節（４）、ブーム関節１（５）、ブーム関節２（６）、本体前部（７）、本体右側部（８）、本体後部（９）、本体左側部（１０）、クローラ右前（１１）、クローラ右後（１２）、クローラ左前（１３）、及びクローラ左後（１４）を含む。なお、前記アタッチ先端（１）、前記アタッチ底（２）、及び前記アタッチ関節（３）は、前記バケット１０６の先端、前記バケット１０６の底、及び前記バケット１０６の関節をそれぞれ示す。また、図２において、前記本体左側部（１０）は図示されていない。

図４は、前記作業内容判定システム２０において前記建設機械１００の姿勢を推定する処理について説明するための図である。図４に示すように、前記ニューラルネットワーク（姿勢推定アルゴリズム）は、入力される前記建設機械１００の画像に基づいて、上記の複数の特徴点のそれぞれの座標を抽出して出力する。そして、前記姿勢推定部４１は、前記ニューラルネットワークから出力された前記複数の特徴点の座標に基づいて、前記建設機械１００の姿勢、具体的には、前記ブーム１０４の姿勢、前記アーム１０５の姿勢、前記先端アタッチメント１０６の姿勢、前記下部走行体１０１の姿勢、及び前記上部旋回体１０２の姿勢を推定する。

前記ブーム１０４の姿勢は、例えば、前記上部旋回体１０２に対する前記ブーム１０４の角度（ブーム角度）により特定される。前記アーム１０５の姿勢は、例えば、前記ブーム１０４に対する前記アーム１０５の角度（アーム角度）により特定される。前記先端アタッチメント１０６の姿勢は、例えば、前記アーム１０５に対する前記バケット１０６の角度（バケット角度）により特定される。前記下部走行体１０１の姿勢及び前記上部旋回体１０２の姿勢は、例えば前記下部走行体１０１に対する前記上部旋回体１０２の角度（旋回角度）により特定される。前記姿勢推定部４１により推定された姿勢に関するデータ（姿勢情報）は、前記作業内容判定部４２に入力される。

なお、前記姿勢推定部４１は、例えばＯｐｅｎｐｏｓｅ（登録商標）などの技術を用い、前記撮像装置により取得される前記画像に基づいて前記建設機械の姿勢を推定してもよい。

前記作業内容判定部４２は、各画像に対応する前記姿勢情報と、前記タイムスタンプ部５０から入力される時刻情報と、に基づいて、各画像に対応する前記姿勢情報に時刻情報を付与する。前記作業内容判定部４２は、各カメラ３０によって所定の時間間隔で周期的に取得される画像に関するデータに基づいて推定される姿勢情報、すなわち、所定の時間間隔で得られる周期的な姿勢情報のそれぞれに時刻情報を付与することができる。これにより、前記作業内容判定部４２は、前記姿勢の時系列データを作成することができる。なお、各カメラ３０による撮像の時間間隔は、例えば１／６０秒、１／３０秒、１／１０秒、１秒などに設定される。

前記作業内容判定部４２は、前記姿勢推定部４１により推定される前記第１の油圧ショベル１００Ａの前記姿勢の時系列の変化（前記姿勢の時系列データ）に基づいて、当該第１の油圧ショベル１００Ａにより行われた作業内容を判定する。同様に、前記作業内容判定部４２は、前記姿勢推定部４１により推定される前記第２の油圧ショベル１００Ｂの前記姿勢の時系列の変化（前記姿勢の時系列データ）に基づいて、当該第２の油圧ショベル１００Ｂにより行われた作業内容を判定する。前記画像処理装置４０は、前記作業内容判定部４２において判定された作業内容を前記サーバ６０に入力する。

具体的に、前記作業内容判定部４２は、例えば、ディープラーニングにより機械学習した多層構造のニューラルネットワーク（例えば、リカレントニューラルネットワーク）に前記姿勢の時系列データを入力することにより、当該姿勢の時系列データに含まれる特徴を抽出する。すなわち、前記ニューラルネットワークは、前記建設機械１００の特徴点の動きに関する時系列データを用いて予め学習した作業分類アルゴリズムである。前記作業内容判定部４２が参照する前記ニューラルネットワークは、例えば、予め定義された複数の作業内容候補と、前記建設機械１００のタグ付けされた前記姿勢の時系列データとの対応関係を示す教師データによる学習処理により学習する。前記予め定義された前記複数の作業内容候補は、例えば、掘削作業、整地作業、法面整形作業、及び積み込み作業を含む（図７参照）。

図５は、前記作業内容判定システム２０において前記建設機械１００の姿勢の時系列の変化（前記姿勢の時系列データ）を示す図である。図５に示す具体例では、ブーム角度、アーム角度、バケット角度及び旋回角度に関する時系列データ（姿勢の時系列データ）が示されている。

図６は、アタッチメント１０３の角度の定義を説明するための図である。図６に示すように、前記ブーム角度は、例えば、前記上部旋回体１０２の旋回中心に直交する平面と、前記ブーム１０４の長手方向に沿って延びる直線とのなす角度である。前記アーム角度は、例えば、前記ブーム１０４の前記長手方向に沿って延びる前記直線と、前記アーム１０５の長手方向に沿って延びる直線とのなす角度である。前記アーム１０５の長手方向に沿って延びる前記直線は、例えば、前記ブーム１０４の先端部と前記アーム１０５の基端部との前記連結部分の回動中心（連結ピンの中心）と、前記アーム１０５の先端部と前記バケット１０６の基端部との連結部分の回動中心（連結ピンの中心）とを結ぶ直線である。前記バケット角度は、例えば、前記アーム１０５の長手方向に沿って延びる前記直線と、前記バケット１０６の方向を規定する予め設定された直線とのなす角度である。前記バケット１０６の方向を規定する前記直線は、例えば、前記アーム１０５の先端部と前記バケットの基端部との前記連結部分の回動中心（連結ピンの中心）と、前記バケットの先端部（例えば前記バケットの爪先部分）とを結ぶ直線である。前記旋回角度は、例えば、前記下部走行体１０１の前進方向と、前記上部旋回体１０２の前方（前記アタッチメント１０３が延びる方向）とが一致する位置（位相）を基準として規定される。

図５に示す具体例は、前記掘削作業が行われているときの前記建設機械１００の姿勢の時系列の変化（前記姿勢の時系列データ）と、この掘削作業の後に行われる積み込み作業が行われているときの建設機械１００の姿勢の時系列の変化（前記姿勢の時系列データ）と、を示している。これらの作業のそれぞれは、当該建設機械１００の姿勢の点において、特有の時系列の変化を伴いながら行われる。従って、前記建設機械１００の姿勢の時系列の変化は、前記建設機械１００の前記作業内容との関連性があり、当該作業内容の判定の指標となる。具体的には次の通りである。

前記掘削作業は旋回動作を伴わないので、前記掘削作業では、図５に示すように旋回角度は一定である。前記ブーム角度及び前記アーム角度は、当該掘削作業の序盤から終盤にかけて次第に増加する。前記バケット角度は、当該掘削作業の序盤から中盤にかけて次第に増加し、終盤において大きく増加する。

前記積み込み作業は旋回動作を伴うので、前記掘削作業から前記積み込み作業に切り換わるときに、前記旋回角度が増加し始める。前記旋回角度及び前記ブーム角度は、当該積み込み作業の序盤から中盤にかけて次第に増加し、前記アーム角度及び前記バケット角度は、当該積み込み作業の序盤から中盤にかけて一定である。一方、前記旋回角度及び前記ブーム角度は、当該積み込み作業の終盤において一定であり、前記アーム角度及び前記バケット角度は、当該積み込み作業の終盤において次第に減少する。

図７は、前記作業内容判定システム２０において前記建設機械１００の姿勢の時系列データから前記作業内容を判定する処理について説明するための図である。図７に示すように、前記ニューラルネットワーク（作業分類アルゴリズム）の出力層は、例えばソフトマックス関数による演算を実行し、前記複数の作業内容候補ごとのスコアを出力する。前記作業内容判定部４２は、前記ニューラルネットワークの出力層から出力された前記複数の作業内容候補ごとのスコアに基づいて、スコアの最も高い前記作業内容候補を前記作業内容として決定する。図７の具体例では、前記作業内容判定部４２は、前記複数の作業内容候補のうち、スコアの最も高い「掘削作業」を前記作業内容として判定する。

図８は、判定された作業内容に基づいて集計された作業分類結果を示す図である。図８に示すように、前記作業内容判定部４２は、例えば、建設機械１００ごとに１日の作業内容を判定し、図８に示すような作業分類を生成する。図８に示す作業分類は、１日の時間帯ごとの作業内容を集計したものである。前記画像処理装置４０は、前記作業分類を含む作業内容のデータを前記サーバ６０に送信する。

図３に示すように、前記サーバ６０は、前記画像処理装置４０から出力される前記作業内容のデータを履歴として記憶する機能と、当該サーバ６０に接続可能な図略の端末に前記履歴を表示させることを許容する可視化機能と、を有する装置（記憶可視化装置）である。前記端末は、前記作業関係者が使用するものであり、例えばパーソナルコンピュータなどのコンピュータにより構成される。

前記サーバ６０は、通信路ＮＴを介して画像処理装置４０と通信可能に接続されている。前記通信路ＮＴは、例えば、インターネット、携帯電話通信網等の長距離情報通信網により構成される。また、前記通信路ＮＴは、例えば、特定省電力無線、ブルーツース（登録商標）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのように、前記画像処理装置４０と前記サーバ６０とを数十ｍ〜数百ｍ程度の距離で無線通信させることが可能な通信網により構成されていてもよい。但し、これらの通信路は一例であり、前記通信路ＮＴは例えば有線通信網であってもよい。

前記サーバ６０は、ＣＰＵ等のプロセッサと、作業履歴記憶部６１と、通信部６２とを備えるコンピュータにより構成される。前記サーバ６０は、前記画像処理装置４０の前記通信部４３から送信される前記作業内容に関するデータを、前記通信部６２において受信する。

前記作業履歴記憶部６１は、受信された前記作業内容に関するデータを記憶する。

前記サーバ６０は、例えば、前記作業関係者が使用する前記端末から前記履歴の閲覧を要求するための要求を受け付ける。当該要求には、前記作業関係者のアクセスコードが含まれる。前記サーバ６０は、前記作業関係者のアクセスコードが当該サーバ６０のメモリに予め記憶されたアクセスコードと一致すると、前記端末に前記履歴を送信する。これにより、前記端末において前記履歴が表示される。

図９は、前記作業内容判定システム２０の作業履歴記憶部６１に記憶された作業履歴の一例を示す図であり、ある建設機械１００の１日の作業実績を示している。図１０は、前記作業内容判定システム２０の作業履歴記憶部６１に記憶された作業履歴の他の例を示す図であり、例えば、あるオペレータの過去の作業実績（累積時間）を示している。前記サーバ６０は、例えば図９や図１０に示すような履歴データを前記端末に送信し、前記端末は、受信した前記履歴データを表示する。

次に、本実施の形態における作業内容判定システム２０の動作について説明する。図１０は、前記作業内容判定システム２０の画像処理装置４０が行う演算処理を示すフローチャートである。

図１１に示すように、前記画像処理装置４０の前記姿勢推定部４１は、各カメラ３０から出力される前記画像に関するデータを取得する。また、前記画像処理装置４０の前記作業内容判定部４２は、前記タイプスタンプ部５０から出力される時刻情報を取得する（ステップＳ１）。

次に、前記姿勢推定部４１は、図４に示すように、前記ニューラルネットワーク（姿勢推定アルゴリズム）に前記画像に関するデータを入力し、当該ニューラルネットワークは、入力される前記画像に基づいて前記複数の特徴点のそれぞれの座標を抽出して出力する。前記姿勢推定部４１は、出力された前記複数の特徴点の座標に基づいて、前記ブーム１０４の姿勢（ブーム角度）、前記アーム１０５の姿勢（アーム角度）、前記バケット１０６の姿勢（バケット角度）、前記下部走行体１０１及び前記上部旋回体１０２の姿勢（旋回角度）を推定する（ステップＳ２）。前記姿勢推定部４１により推定された姿勢に関するデータ（姿勢情報）は、前記作業内容判定部４２に入力される。

次に、前記作業内容判定部４２は、各画像に対応する前記姿勢情報と、前記タイムスタンプ部５０から入力される時刻情報と、に基づいて、各画像に対応する前記姿勢情報に時刻情報を付与する。当該時刻情報の付与は、所定の時間間隔で得られる周期的な姿勢情報のそれぞれに対して行われる。これにより、前記作業内容判定部４２は、図５に示すような前記姿勢の時系列データを作成する（ステップＳ３）。

次に、前記作業内容判定部４２は、図７に示すように、前記ニューラルネットワーク（作業分類アルゴリズム）に前記姿勢の時系列データを入力し、当該ニューラルネットワークの出力層は、前記複数の作業内容候補ごとのスコアを出力する。前記作業内容判定部４２は、出力された前記複数の作業内容候補ごとのスコアに基づいて、スコアの最も高い前記作業内容候補を前記作業内容として決定する（ステップＳ４）。当該作業内容の判定は、前記姿勢の時系列データの全てについて行われる。これにより、一定時間（例えば１日）のうちに各建設機械１００により行われた種々の作業内容が判定される。

次に、作業内容判定部４２は、一定時間において行われた種々の作業内容に関する図８に示すような作業分類を生成する。前記画像処理装置４０は、前記作業分類を含む作業内容のデータを前記サーバ６０に送信する（ステップＳ５）。

なお、ステップＳ１〜ステップＳ５の処理は、前記建設機械１００の電源がオンされてからオフされるまで行われる。

［変形例］
本発明は、以上説明した実施の形態に限定されない。本発明は、例えば次のような態様を含むことが可能である。

（Ａ）撮像装置について
前記実施の形態では、前記撮像装置（カメラ３０）は、前記作業現場における建設機械１００を含む画像を取得することが可能な位置に配置されており、当該建設機械１００に取り付けられていないが、本発明はこれに限られない。本発明では、前記撮像装置は、建設機械１００に取り付けられていてもよい。具体的には次の通りである。

図１２は、前記実施の形態の変形例に係る作業内容判定システム２０において前記建設機械１００の機械本体に取り付けられるカメラ３０について説明するための図である。この変形例では、前記カメラ３０は、上部旋回体１０２のキャブ１０２Ａに取り付けられており、前記ブーム１０４、前記アーム１０５及び前記バケット１０６を含む画像を取得することが可能な位置に配置されている。

また、この変形例では、図１２に示すように、前記作業内容判定システム２０は、前記建設機械１００の前記機械本体に取り付けられ、前記基体に対する前記上部旋回体の旋回角度を検出する旋回角度センサ７０と、当該旋回角度センサ７０により検出される前記旋回角度に基づいて前記上部旋回体１０２の姿勢を判定する旋回体姿勢判定部７１と、をさらに備える。当該旋回角度センサ７０としては、例えばジャイロセンサ、エンコーダ、レゾルバなどのセンサを用いることができるが、これらに限られない。前記旋回体姿勢判定部７１は、前記建設機械１００の図略のコンピュータが備える機能であってもよく、前記画像処理装置４０の前記コンピュータが備える機能であってもよく、これらのコンピュータとは別に設けられたコンピュータが備える機能であってもよい。

この変形例では、前記建設機械１００の作業中に衝撃を最も受けやすいブーム１０４やアーム１０５の姿勢は、上述した実施の形態と同様に前記画像に基づいて推定される。その一方で、前記建設機械１００の作業中に前記ブーム１０４や前記アーム１０５に比べて衝撃を受けにくい機械本体の姿勢、具体的には前記下部走行体１０１に対する前記上部旋回体１０２の姿勢（旋回角度）は、前記上部旋回体１０２に取り付けられる前記旋回角度センサ７０により検出される前記旋回角度に基づいて判定される。この態様では、前記上部旋回体１０２の姿勢が前記画像に基づいて判定される場合に比べて、前記上部旋回体１０２の姿勢が前記旋回角度センサ７０によってより正確に判定され、しかも、前記建設機械１００の作業内容を判定するためのセンサが当該建設機械１００に新たに搭載されることを必要最小限に抑えることができる。

（Ｂ）サーバについて
前記サーバ６０が有する上記の機能は、前記画像処理装置４０が備えていてもよく、この場合、前記サーバ６０を省略することができる。

（Ｃ）建設機械について
前記先端アタッチメントは、バケットに限られず、例えばグラップル、圧砕機、ブレーカ、フォークなどの他の先端アタッチメントであってもよい。また、前記建設機械は、前記油圧ショベルに限られず、他の建設機械であってもよい。また、前記実施の形態では、基体が下部走行体１０１であるが、前記基体は下部走行体１０１のように走行可能なものに限定されず、特定の場所に設置されて上部旋回体１０２を支持する基台であってもよい。

（Ｄ）作業内容の判定について
前記実施の形態では、姿勢推定部４１が前記撮像装置３０により取得される前記画像に基づいて前記建設機械１００の姿勢を推定し、作業内容判定部４２が前記姿勢推定部４１により推定される前記姿勢の時系列の変化に基づいて前記作業内容を判定するが、本発明はこれに限られない。本発明では、前記姿勢推定部４１を省略し、作業内容判定部４２が前記撮像装置３０により取得される時系列の前記画像の変化に基づいて前記作業内容を判定してもよい。

また、前記実施の形態では、前記作業内容の判定が、予め機械学習したニューラルネットワーク（姿勢推定アルゴリズム及び作業分類アルゴリズム）を用いて行われるが、本発明はこれに限られない。本発明では、前記建設機械の前記作業内容の判定は、前記撮像装置により取得される前記画像の時系列の変化に基づいて行われるものであればよく、前記ニューラルネットワークを用いた手法以外の手法により行われるものであってもよい。前記他の手法としては、例えば、前記ニューラルネットワークを用いた手法以外の機械学習を用いた手法、時系列アルゴリズムなどを例示できる。

２０ 作業内容判定システム
３０ 撮像装置
４０ 画像処理装置
４１ 姿勢推定部
４２ 作業内容判定部
５０ タイムスタンプ部
６０ サーバ
６１ 作業履歴記憶部
７０ 旋回角度センサ
７１ 旋回体姿勢判定部
１００ 建設機械
１０１ 下部走行体（機械本体を構成する基体の一例）
１０２ 上部旋回体（機械本体を構成するものの一例）
１０４ ブーム
１０５ アーム

Claims (8)

1. 作業現場における建設機械の作業内容を判定するための作業内容判定システムであって、
   前記作業現場における前記建設機械を含む画像を取得する撮像装置と、
   前記撮像装置により取得される前記画像の時系列の変化に基づいて前記建設機械の前記作業内容を判定し、当該作業内容を出力する画像処理装置と、を備える作業内容判定システム。
2. 請求項１に記載の作業内容判定システムであって、
   前記画像処理装置から出力される前記作業内容を履歴として記憶する作業履歴記憶部をさらに備える、作業内容判定システム。
3. 請求項１又は２に記載の作業内容判定システムであって、
   前記画像処理装置は、
   前記撮像装置により取得される前記画像に基づいて前記建設機械の姿勢を推定する姿勢推定部と、
   前記姿勢推定部により推定される前記姿勢の時系列の変化に基づいて前記作業内容を判定する作業内容判定部と、を含む作業内容判定システム。
4. 請求項３に記載の作業内容判定システムであって、
   前記建設機械は、機械本体と、当該機械本体に起伏可能に支持されるブームと、当該ブームの先端部に回動可能に連結されるアームと、を含み、
   前記姿勢推定部は、前記撮像装置により取得される前記画像に基づいて前記ブームの姿勢及び前記アームの姿勢を推定する、作業内容判定システム。
5. 請求項４に記載の作業内容判定システムであって、
   前記撮像装置は、前記機械本体に取り付けられるカメラであって前記ブーム及び前記アームを含む画像を取得可能な位置に配置されるカメラを含む、作業内容判定システム。
6. 請求項４又は５に記載の作業内容判定システムであって、
   前記機械本体は、基体と、当該基体に旋回可能に支持される上部旋回体と、を含み、
   前記作業内容判定システムは、
   前記機械本体に取り付けられ、前記基体に対する前記上部旋回体の旋回角度を検出する旋回角度センサと、
   当該旋回角度センサにより検出される前記旋回角度に基づいて前記上部旋回体の姿勢を判定する旋回体姿勢判定部と、をさらに備える、作業内容判定システム。
7. 請求項１〜６の何れか１項に記載の作業内容判定システムであって、
   前記画像処理装置は、予め定義された複数の作業内容候補を記憶しており、前記撮像装置により取得される前記画像の時系列の変化に基づいて、前記複数の作業内容候補のうちから何れかの作業内容候補を前記作業内容として選ぶ、作業内容判定システム。
8. 作業現場における建設機械の作業内容を判定するための作業判定方法であって、
   前記作業現場における前記建設機械を含む画像を取得することと、
   取得される前記画像の時系列の変化に基づいて前記建設機械の前記作業内容を判定することと、
   当該作業内容を出力することと、を含む作業判定方法。